O cenário de dados moderno exige um novo tipo de infraestrutura – uma que integre perfeitamente dados estruturados e não estruturados, seja dimensionada sem esforço e capacite cargas de trabalho eficientes de IA/ML. É aqui que  entre, fornecendo um hub central para todas as suas necessidades de dados. No entanto, construir e gerenciar um data lake eficaz pode ser complexo.   lagos de dados modernos  Esta postagem do blog se aprofunda em três ferramentas poderosas que podem otimizar sua abordagem atual:  ,  e MinIO. As etapas abaixo orientarão você sobre como esses serviços se combinam perfeitamente para criar uma arquitetura de data lake robusta e nativa da nuvem, otimizada especificamente para cargas de trabalho de IA/ML.   Iceberg Apache   Tabular,  O que é tabular?  Tabular é uma plataforma de dados criada pelos criadores originais do Apache Iceberg. Ele foi projetado para fornecer uma plataforma de armazenamento independente e universal que se conecta a qualquer camada de computação, eliminando a dependência do fornecedor de dados. Esse recurso é fundamental para a pilha de dados moderna, pois permite que os usuários escolham as melhores ferramentas de computação e armazenamento da categoria sem serem forçados a usar o conjunto de ferramentas antigas e/ou incompatíveis de um determinado fornecedor.  Em um  do MinIO e Iceberg e pode ser aprimorado pelo Tabular. Tabular pode ser usado para gerenciar e consultar dados Iceberg armazenados no MinIO, permitindo o armazenamento e gerenciamento de dados estruturados de maneira escalonável, de alto desempenho e nativa da nuvem. Esses componentes nativos do Kubernetes funcionam juntos perfeitamente com muito pouco atrito e se baseiam nas capacidades uns dos outros para funcionar em escala.   arquitetura  Por que S3FileIO em vez do file-io do Hadoop?  Esta implementação aproveita o S3FileIO do Iceberg. S3FileIO é considerado melhor que o file-io do Hadoop por vários motivos. Alguns dos quais já discutimos  :   em outro lugar    : o S3FileIO da Iceberg foi projetado para funcionar com armazenamento nativo em nuvem. Otimizado para armazenamento em nuvem    o Iceberg usa um  para distribuir arquivos entre vários prefixos em um bucket MinIO, o que ajuda a minimizar a limitação e maximizar o rendimento para operações de IO relacionadas ao S3. Rendimento melhorado e limitação minimizada:   ObjectStoreLocationProvider    O Iceberg tem sido  para aproveitar totalmente a consistência estrita, eliminando verificações de consistência redundantes que poderiam afetar o desempenho. Consistência Estrita:   Atualizada    o S3FileIO do Iceberg implementa um  algoritmo, que carrega partes dos arquivos de dados em paralelo assim que cada parte está pronta, reduzindo o uso do disco local e aumentando a velocidade de upload. Multipart Upload progressivo:   upload multiparte progressivo    o Iceberg permite  para gravações da API S3 para garantir a integridade dos objetos carregados, o que pode ser ativado definindo a propriedade de catálogo apropriada. Verificação de soma de verificação:   validações de soma de verificação    Iceberg suporta adição  a objetos durante operações de gravação e exclusão com a API S3, o que pode ser útil para rastreamento e gerenciamento de custos. Tags personalizadas:   tags personalizadas    A interface FileIO no Iceberg não exige garantias tão rigorosas quanto um FileSystem compatível com Hadoop, o que permite  que de outra forma poderia degradar o desempenho. Evitar cache negativo:   evite cache negativo  Por outro lado, o S3A FileSystem do Hadoop, usado antes do S3FileIO, não oferece o mesmo nível de otimização para armazenamento em nuvem. Tudo isso para dizer: não prejudique sua infraestrutura de data lake voltada para o futuro com as armadilhas do passado.  Pré-requisitos  Antes de começar, certifique-se de que seu sistema atenda aos seguintes requisitos:   Docker   Composição do Docker  Se você está começando do zero, você pode instalar ambos usando o  instalador para sua plataforma específica. Muitas vezes é mais fácil do que baixar o Docker e o Docker Compose separadamente. Verifique se o Docker está instalado executando o seguinte comando:   Área de Trabalho Docker   docker-compose --version  Começando  Para começar, clone ou copie o arquivo YAML no Tabular's  . Você só precisa do YAML para este tutorial. Sinta-se à vontade para explorar o restante do repositório posteriormente.   repositório git  Dividindo  O arquivo YAML fornecido é um arquivo de configuração do Docker Compose. Ele define um conjunto de serviços e suas configurações para um aplicativo Docker multicontêiner. Neste caso, existem dois serviços: Spark-Iceberg e MinIO. Vamos detalhar cada seção:   1. Serviço Spark-Iceberg:   spark-iceberg: image: tabulario/spark-iceberg container_name: spark-iceberg build: spark/ networks: iceberg_net: depends_on: - rest - minio volumes: - ./warehouse:/home/iceberg/warehouse - ./notebooks:/home/iceberg/notebooks/notebooks environment: - AWS_ACCESS_KEY_ID=admin - AWS_SECRET_ACCESS_KEY=password - AWS_REGION=us-east-1 ports: - 8888:8888 - 8080:8080 - 10000:10000 - 10001:10001 rest: image: tabulario/iceberg-rest container_name: iceberg-rest networks: iceberg_net: ports: - 8181:8181 environment: - AWS_ACCESS_KEY_ID=admin - AWS_SECRET_ACCESS_KEY=password - AWS_REGION=us-east-1 - CATALOG_WAREHOUSE=s3://warehouse/ - CATALOG_IO__IMPL=org.apache.iceberg.aws.s3.S3FileIO - CATALOG_S3_ENDPOINT=http://minio:9000    especifica a imagem Docker a ser usada para o serviço spark-iceberg. Neste caso, utiliza a imagem tabulario/spark-iceberg:latest. imagem:    especifica que o serviço spark-iceberg depende dos serviços rest e minio. depende_on:    Atribui um nome específico (spark-iceberg) ao container. container_name:    define variáveis de ambiente para o contêiner, incluindo credenciais Spark e AWS. ambiente:    monta diretórios locais (./warehouse e ./notebooks) como volumes dentro do contêiner. volumes:    mapeia portas de contêiner para portas de host para acessar a UI do Spark e outros serviços. portas:   2. Serviço Minio:   minio: image: minio/minio container_name: minio environment: - MINIO_ROOT_USER=admin - MINIO_ROOT_PASSWORD=password - MINIO_DOMAIN=minio networks: iceberg_net: aliases: - warehouse.minio ports: - 9001:9001 - 9000:9000 command: ["server", "/data", "--console-address", ":9001"]    especifica a imagem Docker para o serviço MinIO. imagem:    atribui um nome específico (MinIO) ao contêiner. container_name:    define variáveis de ambiente para configurar o MinIO, incluindo credenciais de usuário root. ambiente:    mapeia portas de contêiner para portas de host para acessar a UI do MinIO. portas:    especifica o comando para iniciar o servidor MinIO com parâmetros específicos. comando:  Outro aspecto do serviço MinIO é  , ferramenta de linha de comando do MinIO.   MC  mc: depends_on: - minio image: minio/mc container_name: mc networks: iceberg_net: environment: - AWS_ACCESS_KEY_ID=admin - AWS_SECRET_ACCESS_KEY=password - AWS_REGION=us-east-1 entrypoint: > /bin/sh -c " until (/usr/bin/mc config host add minio http://minio:9000 admin password) do echo '...waiting...' && sleep 1; done; /usr/bin/mc rm -r --force minio/warehouse; /usr/bin/mc mb minio/warehouse; /usr/bin/mc policy set public minio/warehouse; tail -f /dev/null "    especifica que o serviço mc depende do serviço MinIO. depende_on:    especifica a imagem Docker para o serviço mc. imagem:    Atribui um nome específico (mc) ao container. container_name:    define variáveis de ambiente para configurar o cliente MinIO. ambiente:    define o comando do ponto de entrada para o contêiner, incluindo etapas de configuração para o cliente MinIO. ponto de entrada:  /usr/bin/mc rm -r --force minio/warehouse; /usr/bin/mc mb minio/warehouse; /usr/bin/mc policy set public minio/warehouse; tail -f /dev/null "  Esta sequência de comandos executa essencialmente as seguintes tarefas:  Remove o diretório do warehouse existente e seu conteúdo do servidor MinIO.  Cria um novo bucket chamado warehouse.  Define a política de acesso do bucket do warehouse como pública.  Este arquivo Docker Compose orquestra um ambiente multicontêiner com serviços para Spark, PostgreSQL, MinIO. Ele configura dependências, variáveis de ambiente e comandos necessários para executar os serviços juntos. Os serviços trabalham em conjunto para criar um ambiente de desenvolvimento para processamento de dados usando Spark e Iceberg com MinIO como back-end de armazenamento de objetos.  Começando  Em uma janela de terminal, entre no diretório tabular-spark-setup no repositório e execute o seguinte comando:   docker-compose up  Faça login no MinIO em   com as credenciais   para ver se o bucket do warehouse foi criado.  http://127.0.0.1:9001 admin:password  Depois que todos os contêineres estiverem funcionando, você poderá acessar o servidor Jupyter Notebook navegando até    http://localhost:8888  Execute um dos notebooks de amostra e retorne ao MinIO em   para ver seu warehouse preenchido com dados.  http://127.0.0.1:9001  Construindo seu Datalake moderno  Este tutorial sobre como construir um datalake moderno com Iceberg, Tabular e MinIO é apenas o começo. Este poderoso trio abre portas para um mundo de possibilidades. Com essas ferramentas, você pode integrar e analisar perfeitamente todos os seus dados, estruturados e não estruturados, para descobrir padrões ocultos e impulsionar decisões baseadas em dados que impulsionam a inovação. Aproveite a eficiência e a flexibilidade dessa arquitetura na produção para agilizar suas iniciativas de IA/ML e liberar o verdadeiro potencial de seus modelos de aprendizado de máquina, acelerando seu caminho para descobertas inovadoras. Entre em contato conosco em  ou em nosso  canal se você tiver alguma dúvida durante a construção.   olá@min.io   Folga

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

This writer has a vested interest be it monetary, business, or otherwise, with 1 or more of the products or companies mentioned within.

Developers do. Download MinIO and see for yourself. 

MinIO

Este áudio é produzido no idioma original da história!

Construindo arquiteturas de dados modernas e eficazes com Iceberg, Tabular e MinIO

About Author

COMENTARIOS

Rótulos

ESTE ARTIGO FOI APRESENTADO EM

Related Stories

Criando produtos criptográficos centrados no usuário: a importância do feedback do cliente

Guia do arquiteto para construir arquitetura de referência para um Datalake de IA/ML

Como melhorar seu fluxo de trabalho em 10 vezes: 17 aplicativos essenciais

As camadas invisíveis: por que as entrevistas com usuários são um ativo insubstituível

Criando produtos criptográficos centrados no usuário: a importância do feedback do cliente

Guia do arquiteto para construir arquitetura de referência para um Datalake de IA/ML

Como melhorar seu fluxo de trabalho em 10 vezes: 17 aplicativos essenciais

As camadas invisíveis: por que as entrevistas com usuários são um ativo insubstituível

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps