 — это облачная база данных, предназначенная для рабочих нагрузок с интенсивным использованием данных. Это распределенная реляционная система управления базами данных SQL, которая поддерживает ANSI SQL и  за скорость приема данных, обработки транзакций и обработки запросов. SingleStore может хранить реляционные данные, данные JSON, графики и данные временных рядов, обслуживая смешанные рабочие нагрузки, такие как HTAP, а также сценарии использования OLTP и OLAP. Он компилирует SQL-запросы в машинный код и может быть развернут в различных средах, включая локальные установки, общедоступные/частные облака и контейнеры с помощью оператора Kubernetes. Один магазин   признанный  Современная архитектура Datalake  в  , SingleStore полностью вписывается в уровень обработки. На этом уровне находятся механизмы обработки для преобразований, предоставления данных другим инструментам, исследования данных и других вариантов использования. Инструменты уровня обработки, такие как SingleStore, хорошо работают вместе с другими: часто несколько инструментов уровня обработки используют одно и то же озеро данных. Обычно такая конструкция реализуется в случае специализации инструмента. Например, сверхбыстрые платформы обработки данных в памяти, такие как SingleStore с гибридным векторным и полнотекстовым поиском, оптимизированы для рабочих нагрузок ИИ.  для случаев использования генеративного ИИ.   Современная архитектура Datalake   особенно  Предварительные условия  Для завершения этого руководства вам потребуется настроить некоторое программное обеспечение. Вот разбивка того, что вам понадобится:    Этот мощный инструмент позволяет упаковывать и запускать приложения в стандартизированных программных модулях, называемых контейнерами.   Докер-движок :    действует как оркестратор, упрощая управление многоконтейнерными приложениями. Это помогает с легкостью определять и запускать сложные приложения.   Докер Составление :    Если вы начинаете заново,  Установщик предоставляет удобное универсальное решение для установки Docker и Docker Compose на вашей конкретной платформе (Windows, macOS или Linux). Зачастую это оказывается проще, чем загружать и устанавливать их по отдельности. Установка:   Докер Рабочий стол  После установки Docker Desktop или комбинации Docker и Docker Compose вы можете проверить их наличие, выполнив следующую команду в своем терминале:   docker-compose --version  Вам также понадобится лицензия SingleStore, которую вы можете получить  .    здесь  Запишите свой лицензионный ключ и пароль root. Вашей учетной записи будет назначен случайный пароль root, но вы сможете изменить свой пароль root с помощью пользовательского интерфейса SingleStore.  Начиная  Это руководство зависит от  . Клонируйте репозиторий в любое место по вашему выбору.   этот репозиторий  Самый важный файл в этом репозитории —   , который описывает среду Docker с базой данных SingleStore (   ), экземпляром MinIO (   ) и контейнером   , который зависит от службы MinIO. docker-compose.yaml singlestore minio mc  Контейнер mc содержит сценарий   , который сначала ожидает, пока MinIO станет доступным, добавляет MinIO в качестве хоста, создает корзину   , загружает файл   , содержащий данные книг, устанавливает общедоступную политику корзины и затем завершает работу. entrypoint classic-books books.txt  version: '3.7' services: singlestore: image: 'singlestore/cluster-in-a-box' ports: - "3306:3306" - "8080:8080" environment: LICENSE_KEY: "" ROOT_PASSWORD: "" START_AFTER_INIT: 'Y' minio: image: minio/minio:latest ports: - "9000:9000" - "9001:9001" volumes: - data1-1:/data1 - data1-2:/data2 environment: MINIO_ROOT_USER: minioadmin MINIO_ROOT_PASSWORD: minioadmin command: ["server", "/data1", "/data2", "--console-address", ":9001"] mc: image: minio/mc:latest depends_on: - minio entrypoint: > /bin/sh -c " until (/usr/bin/mc config host add --quiet --api s3v4 local http://minio:9000 minioadmin minioadmin) do echo '...waiting...' && sleep 1; done; echo 'Title,Author,Year' > books.txt; echo 'The Catcher in the Rye,JD Salinger,1945' >> books.txt; echo 'Pride and Prejudice,Jane Austen,1813' >> books.txt; echo 'Of Mice and Men,John Steinbeck,1937' >> books.txt; echo 'Frankenstein,Mary Shelley,1818' >> books.txt; /usr/bin/mc cp books.txt local/classic-books/books.txt; /usr/bin/mc policy set public local/classic-books; exit 0; " volumes: data1-1: data1-2:  Используя редактор документов, замените заполнители своим лицензионным ключом и паролем root.  В окне терминала перейдите туда, где вы клонировали репозиторий, и выполните следующую команду, чтобы запустить все контейнеры:   docker-compose up  Откройте окно браузера, перейдите к  и войдите в систему, используя имя пользователя root и пароль root.    http://локальный хост:8080/  Проверьте МинИО  Перейдите к  для запуска веб-интерфейса MinIO. Войдите, используя имя пользователя и пароль для   . Вы увидите, что контейнер mc создал корзину под названием   и что в ней есть один объект.    http://127.0.0.1:9001 minioadmin:minioadmin classic-books  Исследуйте с помощью SQL  В SingleStore перейдите в редактор SQL и выполните следующую команду:  :   команды   -- Create a new database named 'books' CREATE DATABASE books; -- Switch to the 'books' database USE books; -- Create a table named 'classic_books' to store information about classic books CREATE TABLE classic_books ( title VARCHAR(255), author VARCHAR(255), date VARCHAR(255) ); -- Define a pipeline named 'minio' to load data from an S3 bucket called 'classic-books' -- The pipeline loads data into the 'classic_books' table CREATE PIPELINE IF NOT EXISTS minio AS LOAD DATA S3 'classic-books' CONFIG '{"region": "us-east-1", "endpoint_url":"http://minio:9000/"}' CREDENTIALS '{"aws_access_key_id": "minioadmin", "aws_secret_access_key": "minioadmin"}' INTO TABLE classic_books FIELDS TERMINATED BY ','; -- Start the 'minio' pipeline to initiate data loading START PIPELINE minio; -- Retrieve and display all records from the 'classic_books' table SELECT * FROM classic_books; -- Drop the 'minio' pipeline to stop data loading DROP PIPELINE minio; -- Drop the 'classic_books' table to remove it from the database DROP TABLE classic_books; -- Drop the 'books' database to remove it entirely DROP DATABASE books;  Этот сценарий SQL инициирует последовательность действий для обработки данных, связанных с классическими книгами. Все начинается с создания новой базы данных под названием   . В этой базе данных создается таблица   , предназначенная для хранения таких сведений, как название, автор и дата публикации. books classic_books  После этого настраивается конвейер с именем   для извлечения данных из корзины S3 с меткой   и загрузки их в таблицу   . Определены параметры конфигурации для этого конвейера, включая регион, URL-адрес конечной точки и учетные данные аутентификации. minio classic-books classic_books  Впоследствии конвейер «минио» активируется, чтобы начать процесс извлечения и заполнения данных. После успешной загрузки данных в таблицу запрос SELECT извлекает и отображает все записи, хранящиеся в   . classic_books  После завершения извлечения и просмотра данных конвейер   останавливается и удаляется, таблица   удаляется из базы данных   , а сама база данных   удаляется, обеспечивая чистый лист и завершая операции по управлению данными. Этот сценарий поможет вам начать работать с данными в MinIO в SingleStore.  minio classic_books books books  Используйте этот стек  В этом руководстве быстро создается надежный стек данных, который позволяет экспериментировать с хранением, обработкой и запросом данных в объектном хранилище. Интеграция SingleStore, облачной базы данных, известной своей скоростью и универсальностью, с MinIO образует важный кирпичик в современном стеке озер данных.  Поскольку отраслевая тенденция склоняется к разделению хранилищ и вычислений, эта установка дает разработчикам возможность исследовать инновационные стратегии управления данными. Если вы заинтересованы в создании приложений с интенсивным использованием данных, реализации расширенной аналитики или экспериментировании с рабочими нагрузками ИИ, это руководство послужит стартовой площадкой.  Мы приглашаем вас использовать этот стек данных, экспериментировать с различными наборами данных и конфигурациями и раскрыть весь потенциал ваших приложений, управляемых данными. Если у вас есть какие-либо вопросы или идеи, пишите нам по адресу hello@min.io или присоединяйтесь к нашему  .   Слабый канал

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Developers do. Download MinIO and see for yourself. 

MinIO

Этот звук создан на языке оригинала истории!

Слишком долго; Читать

Get Free Unlimited IP Geo Data With IPinfo Lite

Разработка решений для обработки данных следующего поколения: SingleStore, MinIO и современный стек Datalake

About Author

КОММЕНТАРИИ

БИРКИ

ЭТА СТАТЬЯ БЫЛА ПРЕДСТАВЛЕНА В

Related Stories

Нажмите, чтобы заработать: Telegram может привлечь следующие 10 миллиардов пользователей криптовалюты до Соланы

Цифровые кочевники слушают: что нужно знать о новой визе DTV в Таиланде

Как улучшить ваш рабочий процесс в 10 раз: 17 основных приложений

Полное руководство по успешной миграции в облако: стратегии и лучшие практики

Нажмите, чтобы заработать: Telegram может привлечь следующие 10 миллиардов пользователей криптовалюты до Соланы

Цифровые кочевники слушают: что нужно знать о новой визе DTV в Таиланде

Как улучшить ваш рабочий процесс в 10 раз: 17 основных приложений

Полное руководство по успешной миграции в облако: стратегии и лучшие практики

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps