 est une base de données cloud native conçue pour les charges de travail gourmandes en données. Il s'agit d'un système de gestion de base de données SQL relationnel distribué qui prend en charge ANSI SQL et est  pour sa rapidité d'absorption des données, de traitement des transactions et de traitement des requêtes. SingleStore peut stocker des données relationnelles, JSON, graphiques et chronologiques, répondant aux charges de travail mixtes telles que HTAP et aux cas d'utilisation OLTP et OLAP. Il compile les requêtes SQL en code machine et peut être déployé dans divers environnements, notamment des installations sur site, des cloud publics/privés et des conteneurs via l'opérateur Kubernetes. Magasin unique   reconnu  Architecture de lac de données moderne  Dans le  , SingleStore s’intègre parfaitement dans la couche de traitement. Cette couche est l'endroit où vivent les moteurs de traitement pour les transformations, fournissant des données à d'autres outils, à l'exploration de données et à d'autres cas d'utilisation. Les outils de couche de traitement, comme SingleStore, fonctionnent bien avec d'autres : souvent, plusieurs outils de couche de traitement sirotent le même lac de données. Habituellement, cette conception est mise en œuvre dans le cas d’une spécialisation des outils. Par exemple, les plates-formes de traitement de données en mémoire ultra-rapides comme SingleStore avec recherche hybride vectorielle et en texte intégral sont optimisées pour les charges de travail d'IA,  pour les cas d’utilisation de l’IA générative.   Architecture Datalake moderne   particulièrement  Conditions préalables  Pour terminer ce didacticiel, vous devrez configurer certains logiciels. Voici une liste de ce dont vous aurez besoin :    Cet outil puissant vous permet de regrouper et d'exécuter des applications dans des unités logicielles standardisées appelées conteneurs.   Moteur Docker :    Celui-ci agit comme un orchestrateur, simplifiant la gestion des applications multi-conteneurs. Il permet de définir et d’exécuter facilement des applications complexes.   Docker Composer :    Si vous repartez à zéro, le  Le programme d'installation fournit une solution unique et pratique pour installer Docker et Docker Compose sur votre plate-forme spécifique (Windows, macOS ou Linux). Cela s’avère souvent plus simple que de les télécharger et de les installer individuellement. Installation :   Bureau Docker  Une fois que vous avez installé Docker Desktop ou la combinaison de Docker et Docker Compose, vous pouvez vérifier leur présence en exécutant la commande suivante dans votre terminal :   docker-compose --version  Vous aurez également besoin d'une licence SingleStore, que vous pouvez obtenir  .    ici  Gardez note de votre clé de licence et de votre mot de passe root. Un mot de passe root aléatoire sera attribué à votre compte, mais vous pourrez modifier votre mot de passe root à l'aide de l'interface utilisateur SingleStore.  Commencer  Ce tutoriel dépend de  . Clonez le dépôt dans un emplacement de votre choix.   ce référentiel  Le fichier le plus important de ce dépôt est le   qui décrit un environnement Docker avec une base de données SingleStore (   ), une instance MinIO (   ) et un conteneur   qui dépend du service MinIO. docker-compose.yaml singlestore minio mc  Le conteneur mc contient un script   qui attend d'abord que MinIO soit accessible, ajoute MinIO en tant qu'hôte, crée le compartiment   , télécharge un fichier   contenant les données du livre, définit la stratégie du compartiment sur publique, puis se ferme. entrypoint classic-books books.txt  version: '3.7' services: singlestore: image: 'singlestore/cluster-in-a-box' ports: - "3306:3306" - "8080:8080" environment: LICENSE_KEY: "" ROOT_PASSWORD: "" START_AFTER_INIT: 'Y' minio: image: minio/minio:latest ports: - "9000:9000" - "9001:9001" volumes: - data1-1:/data1 - data1-2:/data2 environment: MINIO_ROOT_USER: minioadmin MINIO_ROOT_PASSWORD: minioadmin command: ["server", "/data1", "/data2", "--console-address", ":9001"] mc: image: minio/mc:latest depends_on: - minio entrypoint: > /bin/sh -c " until (/usr/bin/mc config host add --quiet --api s3v4 local http://minio:9000 minioadmin minioadmin) do echo '...waiting...' && sleep 1; done; echo 'Title,Author,Year' > books.txt; echo 'The Catcher in the Rye,JD Salinger,1945' >> books.txt; echo 'Pride and Prejudice,Jane Austen,1813' >> books.txt; echo 'Of Mice and Men,John Steinbeck,1937' >> books.txt; echo 'Frankenstein,Mary Shelley,1818' >> books.txt; /usr/bin/mc cp books.txt local/classic-books/books.txt; /usr/bin/mc policy set public local/classic-books; exit 0; " volumes: data1-1: data1-2:  À l’aide d’un éditeur de documents, remplacez les espaces réservés par votre clé de licence et votre mot de passe root.  Dans une fenêtre de terminal, accédez à l'endroit où vous avez cloné le dépôt et exécutez la commande suivante pour démarrer tous les conteneurs :   docker-compose up  Ouvrez une fenêtre de navigateur, accédez à  , et connectez-vous avec le nom d'utilisateur « root » et votre mot de passe root.    http://localhost:8080/  Vérifier MinIO  Aller vers  pour lancer l'interface Web MinIO. Connectez-vous avec le nom d'utilisateur et le mot de passe   . Vous verrez que le conteneur mc a créé un bucket appelé   et qu'il y a un objet dans le bucket.    http://127.0.0.1:9001 minioadmin:minioadmin classic-books  Explorer avec SQL  Dans SingleStore, accédez à l'éditeur SQL et exécutez ce qui suit  :   commandes   -- Create a new database named 'books' CREATE DATABASE books; -- Switch to the 'books' database USE books; -- Create a table named 'classic_books' to store information about classic books CREATE TABLE classic_books ( title VARCHAR(255), author VARCHAR(255), date VARCHAR(255) ); -- Define a pipeline named 'minio' to load data from an S3 bucket called 'classic-books' -- The pipeline loads data into the 'classic_books' table CREATE PIPELINE IF NOT EXISTS minio AS LOAD DATA S3 'classic-books' CONFIG '{"region": "us-east-1", "endpoint_url":"http://minio:9000/"}' CREDENTIALS '{"aws_access_key_id": "minioadmin", "aws_secret_access_key": "minioadmin"}' INTO TABLE classic_books FIELDS TERMINATED BY ','; -- Start the 'minio' pipeline to initiate data loading START PIPELINE minio; -- Retrieve and display all records from the 'classic_books' table SELECT * FROM classic_books; -- Drop the 'minio' pipeline to stop data loading DROP PIPELINE minio; -- Drop the 'classic_books' table to remove it from the database DROP TABLE classic_books; -- Drop the 'books' database to remove it entirely DROP DATABASE books;  Ce script SQL initie une séquence d'actions pour gérer les données liées aux livres classiques. Cela commence par établir une nouvelle base de données nommée   . Dans cette base de données, une table appelée   est créée, conçue pour contenir des détails tels que le titre, l'auteur et la date de publication. books classic_books  Suite à cela, un pipeline nommé   est configuré pour extraire les données d'un compartiment S3 étiqueté   et les charger dans la table   . Les paramètres de configuration de ce pipeline, notamment la région, l'URL du point de terminaison et les informations d'authentification, sont définis. minio classic-books classic_books  Par la suite, le pipeline « minio » est activé pour commencer le processus de récupération et de remplissage des données. Une fois les données chargées avec succès dans la table, une requête SELECT récupère et affiche tous les enregistrements stockés dans   . classic_books  Une fois l'extraction et la visualisation des données terminées, le pipeline   est arrêté et supprimé, la table   est supprimée de la base de données   et la base de données   elle-même est supprimée, garantissant ainsi une table rase et concluant les opérations de gestion des données. Ce script devrait vous permettre de commencer à jouer avec les données dans MinIO dans SingleStore.  minio classic_books books books  Construisez sur cette pile  Ce didacticiel met rapidement en place une pile de données robuste qui permet d'expérimenter le stockage, le traitement et l'interrogation de données dans le stockage d'objets. L'intégration de SingleStore, une base de données cloud native connue pour sa rapidité et sa polyvalence, avec MinIO constitue une brique importante dans la pile datalake moderne.  Alors que la tendance du secteur s'oriente vers la désagrégation du stockage et du calcul, cette configuration permet aux développeurs d'explorer des stratégies innovantes de gestion des données. Que vous souhaitiez créer des applications gourmandes en données, mettre en œuvre des analyses avancées ou expérimenter des charges de travail d'IA, ce didacticiel sert de rampe de lancement.  Nous vous invitons à vous appuyer sur cette pile de données, à expérimenter différents ensembles de données et configurations et à libérer tout le potentiel de vos applications basées sur les données. Pour toute question ou idée, n'hésitez pas à nous contacter à hello@min.io ou à rejoindre notre  .   Chaîne Slack

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Developers do. Download MinIO and see for yourself. 

MinIO

Cet audio est produit dans la langue originale de l'histoire !

Développer des solutions de données de nouvelle génération : SingleStore, MinIO et la pile Datalake moderne

About Author

COMMENTAIRES

ÉTIQUETTES

CET ARTICLE A ÉTÉ PARU DANS

Related Stories

Créer des produits cryptographiques centrés sur l'utilisateur : l'importance des retours clients

Vous voulez gagner un concours d’écriture HackerNoon ? Voici ce que recommandent les gagnants du concours #crypto-api

Guide de l'architecte pour créer une architecture de référence pour un datalake IA/ML

La fuite de l'invite du système Claude Sonnet 3.5 : une analyse médico-légale

Créer des produits cryptographiques centrés sur l'utilisateur : l'importance des retours clients

Vous voulez gagner un concours d’écriture HackerNoon ? Voici ce que recommandent les gagnants du concours #crypto-api

Guide de l'architecte pour créer une architecture de référence pour un datalake IA/ML

La fuite de l'invite du système Claude Sonnet 3.5 : une analyse médico-légale

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps