El panorama de datos moderno exige un nuevo tipo de infraestructura, una que integre perfectamente datos estructurados y no estructurados, escale sin esfuerzo y potencie cargas de trabajo de IA/ML eficientes. Aquí es donde  entre, proporcionando un centro central para todas sus necesidades de datos. Sin embargo, crear y gestionar un lago de datos eficaz puede resultar complejo.   lagos de datos modernos  Esta publicación de blog profundiza en tres poderosas herramientas que pueden optimizar su enfoque actual:  ,  y MinIO. Los pasos a continuación le explicarán cómo estos servicios se combinan a la perfección para crear una arquitectura de lago de datos sólida y nativa de la nube optimizada específicamente para cargas de trabajo de IA/ML.   Iceberg apache   Tabular,  ¿Qué es tabular?  Tabular es una plataforma de datos creada por los creadores originales de Apache Iceberg. Está diseñado para proporcionar una plataforma de almacenamiento universal e independiente que se conecta a cualquier capa informática, eliminando la dependencia del proveedor de datos. Esta característica es fundamental para la pila de datos moderna, ya que permite a los usuarios elegir las mejores herramientas informáticas y de almacenamiento de su clase sin verse obligados a utilizar un conjunto de herramientas antiguo o no coincidente de un proveedor en particular.  en un  de MinIO e Iceberg y puede mejorarse con Tabular. Tabular se puede utilizar para administrar y consultar datos de Iceberg almacenados en MinIO, lo que permite el almacenamiento y la administración de datos estructurados de una manera escalable, de alto rendimiento y nativa de la nube. Estos componentes nativos de Kubernetes funcionan juntos sin problemas con muy poca fricción y se basan en las capacidades de cada uno para funcionar a escala.   arquitectura  ¿Por qué S3FileIO en lugar del file-io de Hadoop?  Esta implementación aprovecha S3FileIO de Iceberg. S3FileIO se considera mejor que file-io de Hadoop por varias razones. Algunos de los cuales ya hemos discutido  :   en otra parte    : S3FileIO de Iceberg está diseñado para funcionar con almacenamiento nativo en la nube. Optimizado para almacenamiento en la nube    Iceberg utiliza un  para distribuir archivos a través de múltiples prefijos en un depósito MinIO, lo que ayuda a minimizar la limitación y maximizar el rendimiento para las operaciones de IO relacionadas con S3. Rendimiento mejorado y limitación minimizada:   Proveedor de ubicación de almacén de objetos    Iceberg ha sido  aprovechar al máximo la coherencia estricta eliminando comprobaciones de coherencia redundantes que podrían afectar el rendimiento. Consistencia estricta:   actualizado    S3FileIO de Iceberg implementa una  algoritmo, que carga partes de archivos de datos en paralelo tan pronto como cada parte está lista, lo que reduce el uso del disco local y aumenta la velocidad de carga. Carga progresiva multiparte:   carga progresiva multiparte    Iceberg permite  para escrituras de API de S3 para garantizar la integridad de los objetos cargados, lo que se puede habilitar configurando la propiedad de catálogo adecuada. Verificación de suma de comprobación:   validaciones de suma de control    Iceberg admite la adición  a objetos durante las operaciones de escritura y eliminación con la API de S3, lo que puede resultar útil para el seguimiento y la gestión de costes. Etiquetas personalizadas:   etiquetas personalizadas    la interfaz FileIO en Iceberg no requiere garantías tan estrictas como un sistema de archivos compatible con Hadoop, lo que le permite  que de otro modo podría degradar el rendimiento. Evitar el almacenamiento en caché negativo:   evitar el almacenamiento en caché negativo  Por el contrario, el S3A FileSystem de Hadoop, que se utilizaba antes de S3FileIO, no ofrece el mismo nivel de optimización para el almacenamiento en la nube. Todo esto para decir: no limite su infraestructura de lago de datos de cara al futuro con las trampas del pasado.  Requisitos previos  Antes de comenzar, asegúrese de que su sistema cumpla con los siguientes requisitos:   Estibador   Composición acoplable  Si está comenzando desde cero, puede instalar ambos usando el  instalador para su plataforma específica. A menudo es más fácil que descargar Docker y Docker Compose por separado. Verifique si Docker está instalado ejecutando el siguiente comando:   Escritorio acoplable   docker-compose --version  Empezando  Para comenzar, clone o copie el archivo YAML en Tabular.  . Solo necesitas el YAML para este tutorial. Siéntase libre de explorar el resto del repositorio más adelante.   repositorio git  Rompiéndolo  El archivo YAML proporcionado es un archivo de configuración de Docker Compose. Define un conjunto de servicios y sus configuraciones para una aplicación Docker de múltiples contenedores. En este caso, existen dos servicios: Spark-Iceberg y MinIO. Analicemos cada sección:   1. Servicio Spark-Iceberg:   spark-iceberg: image: tabulario/spark-iceberg container_name: spark-iceberg build: spark/ networks: iceberg_net: depends_on: - rest - minio volumes: - ./warehouse:/home/iceberg/warehouse - ./notebooks:/home/iceberg/notebooks/notebooks environment: - AWS_ACCESS_KEY_ID=admin - AWS_SECRET_ACCESS_KEY=password - AWS_REGION=us-east-1 ports: - 8888:8888 - 8080:8080 - 10000:10000 - 10001:10001 rest: image: tabulario/iceberg-rest container_name: iceberg-rest networks: iceberg_net: ports: - 8181:8181 environment: - AWS_ACCESS_KEY_ID=admin - AWS_SECRET_ACCESS_KEY=password - AWS_REGION=us-east-1 - CATALOG_WAREHOUSE=s3://warehouse/ - CATALOG_IO__IMPL=org.apache.iceberg.aws.s3.S3FileIO - CATALOG_S3_ENDPOINT=http://minio:9000    especifica la imagen de Docker que se utilizará para el servicio spark-iceberg. En este caso, utiliza el tabulario/spark-iceberg:latest image. imagen:    especifica que el servicio spark-iceberg depende de los servicios rest y minio. depende_on:    Asigna un nombre específico (spark-iceberg) al contenedor. nombre_contenedor:    establece variables de entorno para el contenedor, incluidas las credenciales de Spark y AWS. entorno:    monta directorios locales (./warehouse y ./notebooks) como volúmenes dentro del contenedor. volúmenes:    asigna puertos de contenedores a puertos de host para acceder a Spark UI y otros servicios. puertos:   2. Servicio Minio:   minio: image: minio/minio container_name: minio environment: - MINIO_ROOT_USER=admin - MINIO_ROOT_PASSWORD=password - MINIO_DOMAIN=minio networks: iceberg_net: aliases: - warehouse.minio ports: - 9001:9001 - 9000:9000 command: ["server", "/data", "--console-address", ":9001"]    especifica la imagen de Docker para el servicio MinIO. imagen:    Asigna un nombre específico (MinIO) al contenedor. nombre_contenedor:    establece variables de entorno para configurar MinIO, incluidas las credenciales de usuario raíz. entorno:    asigna puertos de contenedores a puertos de host para acceder a la interfaz de usuario de MinIO. puertos:    especifica el comando para iniciar el servidor MinIO con parámetros específicos. Comando:  Otro aspecto del servicio MinIO es  , la herramienta de línea de comandos de MinIO.   mc  mc: depends_on: - minio image: minio/mc container_name: mc networks: iceberg_net: environment: - AWS_ACCESS_KEY_ID=admin - AWS_SECRET_ACCESS_KEY=password - AWS_REGION=us-east-1 entrypoint: > /bin/sh -c " until (/usr/bin/mc config host add minio http://minio:9000 admin password) do echo '...waiting...' && sleep 1; done; /usr/bin/mc rm -r --force minio/warehouse; /usr/bin/mc mb minio/warehouse; /usr/bin/mc policy set public minio/warehouse; tail -f /dev/null "    especifica que el servicio mc depende del servicio MinIO. depende_on:    especifica la imagen de Docker para el servicio mc. imagen:    Asigna un nombre específico (mc) al contenedor. nombre_contenedor:    establece variables de entorno para configurar el cliente MinIO. entorno:    define el comando del punto de entrada para el contenedor, incluidos los pasos de configuración para el cliente MinIO. punto de entrada:  /usr/bin/mc rm -r --force minio/warehouse; /usr/bin/mc mb minio/warehouse; /usr/bin/mc policy set public minio/warehouse; tail -f /dev/null "  Esta secuencia de comandos esencialmente realiza las siguientes tareas:  Elimina el directorio de almacén existente y su contenido del servidor MinIO.  Crea un nuevo depósito llamado almacén.  Establece la política de acceso del depósito de almacén como pública.  Este archivo Docker Compose organiza un entorno de múltiples contenedores con servicios para Spark, PostgreSQL y MinIO. Configura dependencias, variables de entorno y comandos necesarios para ejecutar los servicios juntos. Los servicios funcionan en conjunto para crear un entorno de desarrollo para el procesamiento de datos utilizando Spark e Iceberg con MinIO como backend de almacenamiento de objetos.  Empezando  En una ventana de terminal, ingrese al directorio tabular-spark-setup en el repositorio y ejecute el siguiente comando:   docker-compose up  Inicie sesión en MinIO en   con las credenciales   para ver que se ha creado el depósito de almacén.  http://127.0.0.1:9001 admin:password  Una vez que todos los contenedores estén en funcionamiento, puede acceder a su servidor Jupyter Notebook navegando a    http://localhost:8888  Ejecute uno de los cuadernos de muestra y regrese a MinIO en   para ver su almacén lleno de datos.  http://127.0.0.1:9001  Construyendo su lago de datos moderno  Este tutorial sobre cómo construir un lago de datos moderno con Iceberg, Tabular y MinIO es solo el comienzo. Este poderoso trío abre puertas a un mundo de posibilidades. Con estas herramientas, puede integrar y analizar sin problemas todos sus datos, estructurados y no estructurados, para descubrir patrones ocultos e impulsar decisiones basadas en datos que impulsen la innovación. Aproveche la eficiencia y la flexibilidad de esta arquitectura en producción para acelerar sus iniciativas de IA/ML y desbloquear el verdadero potencial de sus modelos de aprendizaje automático, acelerando su camino hacia descubrimientos innovadores. Comuníquese con nosotros en  o en nuestro  canal si tiene alguna pregunta mientras construye.   hola@min.io   Flojo

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

This writer has a vested interest be it monetary, business, or otherwise, with 1 or more of the products or companies mentioned within.

Developers do. Download MinIO and see for yourself. 

MinIO

Este audio es producido en el idioma original de la historia!

Creación de arquitecturas de datos modernas y eficaces con Iceberg, Tabular y MinIO

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Creación de productos criptográficos centrados en el usuario: la importancia de los comentarios de los clientes

Nómadas digitales escuchen: lo que necesitan saber sobre la nueva visa DTV de Tailandia

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Las capas invisibles: por qué las entrevistas con los usuarios son un activo irremplazable

Creación de productos criptográficos centrados en el usuario: la importancia de los comentarios de los clientes

Nómadas digitales escuchen: lo que necesitan saber sobre la nueva visa DTV de Tailandia

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Las capas invisibles: por qué las entrevistas con los usuarios son un activo irremplazable

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps