 é um banco de dados nativo da nuvem projetado para cargas de trabalho com uso intensivo de dados. É um sistema de gerenciamento de banco de dados SQL relacional e distribuído que suporta ANSI SQL e é  por sua velocidade na ingestão de dados, processamento de transações e processamento de consultas. O SingleStore pode armazenar dados relacionais, JSON, gráficos e de série temporal, atendendo a cargas de trabalho combinadas como HTAP e casos de uso de OLTP e OLAP. Ele compila consultas SQL em código de máquina e pode ser implantado em vários ambientes, incluindo instalações locais, nuvens públicas/privadas e contêineres por meio do operador Kubernetes. Loja única   reconhecido  Arquitetura moderna do Datalake  No  , o SingleStore se encaixa perfeitamente na camada de processamento. Essa camada é onde residem os mecanismos de processamento para transformações, fornecimento de dados para outras ferramentas, exploração de dados e outros casos de uso. Ferramentas de camada de processamento, como SingleStore, funcionam bem com outras: muitas vezes, várias ferramentas de camada de processamento extraem do mesmo datalake. Normalmente, este projeto é implementado no caso de especialização de ferramentas. Por exemplo, plataformas de processamento de dados na memória super-rápidas, como SingleStore, com vetor híbrido e pesquisa de texto completo, são otimizadas para cargas de trabalho de IA,  para casos de uso de IA generativa.   Arquitetura moderna do Datalake   particularmente  Pré-requisitos  Para concluir este tutorial, você precisará configurar algum software. Aqui está uma análise do que você precisa:    esta ferramenta poderosa permite empacotar e executar aplicativos em unidades de software padronizadas chamadas contêineres.   Motor Docker :    atua como um orquestrador, simplificando o gerenciamento de aplicativos com vários contêineres. Ajuda a definir e executar aplicativos complexos com facilidade.   Composição do Docker :    Se você estiver começando do zero, o  O instalador fornece uma solução conveniente e completa para instalar o Docker e o Docker Compose em sua plataforma específica (Windows, macOS ou Linux). Muitas vezes, isso é mais fácil do que baixá-los e instalá-los individualmente. Instalação:   Área de Trabalho Docker  Depois de instalar o Docker Desktop ou a combinação do Docker e do Docker Compose, você pode verificar sua presença executando o seguinte comando em seu terminal:   docker-compose --version  Você também precisará de uma licença SingleStore, que pode ser obtida  .    aqui  Anote sua chave de licença e sua senha root. Uma senha root aleatória será atribuída à sua conta, mas você poderá alterar sua senha root usando a UI do SingleStore.  Começando  Este tutorial depende  . Clone o repositório em um local de sua escolha.   este repositório  O arquivo mais importante neste repositório é o   que descreve um ambiente Docker com um banco de dados SingleStore (   ), uma instância MinIO (   ) e um contêiner   que depende do serviço MinIO. docker-compose.yaml singlestore minio mc  O contêiner mc contém um script   que primeiro espera até que o MinIO esteja acessível, adiciona o MinIO como host, cria o bucket   , carrega um arquivo   contendo dados do livro, define a política do bucket como pública e, em seguida, sai. entrypoint classic-books books.txt  version: '3.7' services: singlestore: image: 'singlestore/cluster-in-a-box' ports: - "3306:3306" - "8080:8080" environment: LICENSE_KEY: "" ROOT_PASSWORD: "" START_AFTER_INIT: 'Y' minio: image: minio/minio:latest ports: - "9000:9000" - "9001:9001" volumes: - data1-1:/data1 - data1-2:/data2 environment: MINIO_ROOT_USER: minioadmin MINIO_ROOT_PASSWORD: minioadmin command: ["server", "/data1", "/data2", "--console-address", ":9001"] mc: image: minio/mc:latest depends_on: - minio entrypoint: > /bin/sh -c " until (/usr/bin/mc config host add --quiet --api s3v4 local http://minio:9000 minioadmin minioadmin) do echo '...waiting...' && sleep 1; done; echo 'Title,Author,Year' > books.txt; echo 'The Catcher in the Rye,JD Salinger,1945' >> books.txt; echo 'Pride and Prejudice,Jane Austen,1813' >> books.txt; echo 'Of Mice and Men,John Steinbeck,1937' >> books.txt; echo 'Frankenstein,Mary Shelley,1818' >> books.txt; /usr/bin/mc cp books.txt local/classic-books/books.txt; /usr/bin/mc policy set public local/classic-books; exit 0; " volumes: data1-1: data1-2:  Usando um editor de documentos, substitua os espaços reservados pela sua chave de licença e senha root.  Em uma janela de terminal, navegue até onde você clonou o repositório e execute o seguinte comando para iniciar todos os contêineres:   docker-compose up  Abra uma janela do navegador e navegue até  e faça login com o nome de usuário `root` e sua senha root.    http://localhost:8080/  Verifique MinIO  Navegar para  para iniciar o MinIO WebUI. Faça login com o nome de usuário e senha para   . Você verá que o contêiner mc criou um balde chamado   e que há um objeto no balde.    http://127.0.0.1:9001 minioadmin:minioadmin classic-books  Explorar com SQL  No SingleStore, navegue até o Editor SQL e execute o seguinte  :   comandos   -- Create a new database named 'books' CREATE DATABASE books; -- Switch to the 'books' database USE books; -- Create a table named 'classic_books' to store information about classic books CREATE TABLE classic_books ( title VARCHAR(255), author VARCHAR(255), date VARCHAR(255) ); -- Define a pipeline named 'minio' to load data from an S3 bucket called 'classic-books' -- The pipeline loads data into the 'classic_books' table CREATE PIPELINE IF NOT EXISTS minio AS LOAD DATA S3 'classic-books' CONFIG '{"region": "us-east-1", "endpoint_url":"http://minio:9000/"}' CREDENTIALS '{"aws_access_key_id": "minioadmin", "aws_secret_access_key": "minioadmin"}' INTO TABLE classic_books FIELDS TERMINATED BY ','; -- Start the 'minio' pipeline to initiate data loading START PIPELINE minio; -- Retrieve and display all records from the 'classic_books' table SELECT * FROM classic_books; -- Drop the 'minio' pipeline to stop data loading DROP PIPELINE minio; -- Drop the 'classic_books' table to remove it from the database DROP TABLE classic_books; -- Drop the 'books' database to remove it entirely DROP DATABASE books;  Este script SQL inicia uma sequência de ações para tratar dados relacionados a livros clássicos. Começa estabelecendo um novo banco de dados chamado   . Dentro desse banco de dados, é criada uma tabela chamada   , projetada para conter detalhes como título, autor e data de publicação. books classic_books  Em seguida, um pipeline chamado   é configurado para extrair dados de um bucket S3 denominado   e carregá-los na tabela   . Os parâmetros de configuração para este pipeline, incluindo região, URL do endpoint e credenciais de autenticação, são definidos. minio classic-books classic_books  Posteriormente, o pipeline 'minio' é ativado para iniciar o processo de recuperação e população de dados. Depois que os dados são carregados com sucesso na tabela, uma consulta SELECT recupera e exibe todos os registros armazenados em   . classic_books  Após a conclusão da extração e visualização dos dados, o pipeline   é interrompido e removido, a tabela   é eliminada do banco de dados   e o próprio banco de dados   é removido, garantindo uma lousa limpa e concluindo as operações de gerenciamento de dados. Este script deve ajudá-lo a começar a brincar com dados no MinIO no SingleStore.  minio classic_books books books  Construa nesta pilha  Este tutorial configura rapidamente uma pilha de dados robusta que permite a experimentação com armazenamento, processamento e consulta de dados no armazenamento de objetos. A integração do SingleStore, um banco de dados nativo da nuvem conhecido por sua velocidade e versatilidade, com o MinIO constitui um elemento importante na pilha moderna de datalake.  À medida que a tendência da indústria se inclina para a desagregação do armazenamento e da computação, esta configuração permite aos programadores explorar estratégias inovadoras de gestão de dados. Esteja você interessado em criar aplicativos com uso intensivo de dados, implementar análises avançadas ou experimentar cargas de trabalho de IA, este tutorial serve como plataforma de lançamento.  Convidamos você a desenvolver essa pilha de dados, experimentar diferentes conjuntos de dados e configurações e liberar todo o potencial de seus aplicativos orientados a dados. Para qualquer dúvida ou ideia, sinta-se à vontade para entrar em contato conosco pelo e-mail hello@min.io ou junte-se ao nosso  .   Canal Slack

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Developers do. Download MinIO and see for yourself. 

MinIO

Este áudio é produzido no idioma original da história!

Muito longo; Para ler

Get Free Unlimited IP Geo Data With IPinfo Lite

Desenvolvendo soluções de dados de última geração: SingleStore, MinIO e Modern Datalake Stack

About Author

COMENTARIOS

Rótulos

ESTE ARTIGO FOI APRESENTADO EM

Related Stories

Toque para ganhar: Telegram pode integrar os próximos 10 bilhões de usuários criptográficos antes de Solana

Aumente sua produtividade com estas 18 ferramentas para desenvolvedores 🚀🔥

Guia do arquiteto para construir arquitetura de referência para um Datalake de IA/ML

Vazamento do prompt do sistema Claude Sonnet 3.5: uma análise forense

Toque para ganhar: Telegram pode integrar os próximos 10 bilhões de usuários criptográficos antes de Solana

Aumente sua produtividade com estas 18 ferramentas para desenvolvedores 🚀🔥

Guia do arquiteto para construir arquitetura de referência para um Datalake de IA/ML

Vazamento do prompt do sistema Claude Sonnet 3.5: uma análise forense

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps