Muchos de nosotros hemos realizado cambios en los datos en función de requisitos que luego evolucionaron. Cuando nos damos cuenta de ello, resulta imposible retroceder. El cambio no es sólo una constante; es una parte esencial de la gestión de datos que exige un enfoque sofisticado. Ingrese a la funcionalidad similar a Git del catálogo de datos de Dremio, Nessie.  Así como Git se ha vuelto fundamental para el desarrollo de software, los ingenieros de datos necesitan herramientas similares para trabajar en paralelo, comparar versiones de datos, promover cambios en la producción y revertir datos cuando sea necesario. Nessie proporciona a los ingenieros de datos un sistema de control de versiones similar a Git para gestionar versiones, ramas, fusiones y confirmaciones de datos. Esto puede resultar muy útil cuando varios ingenieros de datos trabajan con datos y los transforman al mismo tiempo. Nessie permite que cada ingeniero trabaje en ramas separadas mientras mantiene una única fuente de verdad en la forma de la rama principal. Esta funcionalidad permite a los equipos de ingeniería de datos mantener la calidad de los datos de forma colaborativa frente al cambio implacable.  Este artículo proporciona una guía paso a paso que demuestra cómo Nessie, Dremio y MinIO trabajan juntos para mejorar la calidad de los datos y la colaboración en sus flujos de trabajo de ingeniería de datos. Ya sea que sea ingeniero de datos, ingeniero de aprendizaje automático o simplemente un entusiasta de los lagos de datos modernos, este blog le brinda el conocimiento y las herramientas necesarias para mejorar de manera efectiva sus prácticas de control de versiones de datos.  Comprender los conceptos básicos: cargas de trabajo de Nessie  Nessie permite cargas de trabajo similares a Git que le permiten probar, desarrollar y pasar a producción. Analicemos algunos conceptos clave:    al igual que en Git, las sucursales en Nessie le permiten trabajar en diferentes tareas de ingeniería de datos al mismo tiempo. Por ejemplo, es posible que tenga una rama para el desarrollo de funciones, la limpieza y la transformación de datos. Cada rama puede tener su propio conjunto de cambios de datos. Sucursales:    en Nessie, una confirmación representa una instantánea de los datos en un momento específico. Cuando realiza cambios en sus datos, crea una nueva confirmación, que registra esos cambios. Los compromisos están vinculados a una rama específica. Cuando necesita revertir sus datos a un estado estable o en buen estado, Nessie facilita la selección de una confirmación específica y la reversión a esa versión de datos. Esto garantiza la calidad y coherencia de los datos. Confirmaciones:    : Nessie le permite fusionar los cambios de una rama en otra. Esto es similar a fusionar cambios de código en Git. Cuando fusiona una rama, los cambios de datos realizados en esa rama pasan a formar parte de la rama de destino. Fusiones  Los componentes     es un motor de análisis distribuido que opera como una plataforma de código abierto y ofrece una interfaz de autoservicio intuitiva para la exploración, transformación y trabajo colaborativo de datos. Su diseño se basa en  un formato de memoria en columnas de alta velocidad. Dremio   flecha apache,  Ya hemos explorado cómo implementar Dremio con Kubernetes y también cómo  . Para información adicional sobre Dremio, consulte  .   consultar tablas Iceberg en MinIO con Dremio   Recursos de Dremio    es un almacenamiento de objetos de alto rendimiento. Reconocido por su excepcional  y  , MinIO sirve como un componente fundamental en la construcción y el mantenimiento de infraestructuras modernas de lagos de datos. MinIO permite a los arquitectos administrar y almacenar de manera eficiente volúmenes masivos de datos en las instalaciones, en el sistema básico, en el borde o en cualquiera de las nubes públicas. MinIO   velocidad   escalabilidad  es un formato de tabla abierta adecuado para gestionar grandes volúmenes de datos en lagos de datos. Las características únicas como el viaje en el tiempo, la evolución dinámica del esquema y la evolución de la partición lo convierten en un punto de inflexión, ya que permiten que los motores de consulta trabajen simultáneamente con los mismos datos de forma segura y eficiente. Ver  para obtener más información sobre las características de Iceberg.   Iceberg apache    MinIO La guía definitiva para la arquitectura Lakehouse con Iceberg y  Empezando  Necesitarás el  y  para este tutorial. La forma más sencilla de obtener ambos si aún no los tiene es instalar Docker Desktop.   Motor acoplable   Composición acoplable  Esta parte del tutorial se basa en Dremio.  . Puedes obtener el repositorio de este proyecto.  .   entrada en el blog   aquí  Para comenzar, abra una terminal y navegue hasta la carpeta donde clonó/descargó el repositorio y ejecute el siguiente comando para iniciar Dremio.   docker-compose up dremio  Espere unos momentos y luego navegue hasta   para acceder a Dremio. Actualice los campos solicitados y luego haga clic en Siguiente.  http://localhost:9047  A continuación, ejecute el siguiente comando para iniciar MinIO.   docker-compose up minio  El comando final   a continuación iniciará Nessie. docker-compose up   docker-compose up nessie  Navegue a   para iniciar sesión en MinIO con el nombre de usuario y contraseña de   . Se le pedirá que cree un depósito.  http://localhost:9001 minioadmin:minioadmin  Crea uno llamado   .  iceberg-datalake  Luego regrese a Dremio en   y haga clic en Agregar fuente y seleccione Nessie.  http://localhost:9047  Establece el nombre en  nessie  Establezca la URL del punto final en  http://nessie:19120/api/v2  Establecer la autenticación en    none  No hagas clic en Guardar todavía. En su lugar, en el panel de navegación de la izquierda, haga clic en Almacenamiento. MinIO es un almacenamiento de objetos compatible con S3-API y puede utilizar las mismas rutas de conexión que AWS S3.  Para su clave de acceso, configure  minioadmin  Para su clave secreta, configure  minioadmin  Establecer la ruta raíz a    /iceberg-datalake  Desplácese hacia abajo para ver el siguiente conjunto de instrucciones.  Haga clic en el botón   en   para crear y configurar las siguientes propiedades. Add Property Connection Properties    a  fs.s3a.path.style.access true    a  fs.s3a.endpoint minio:9000    a  dremio.s3.compat true  Desmarque    Encrypt connection  Luego haga clic en Guardar. Ahora deberías ver los catálogos de Nessie en tus fuentes de datos.   Crear una fuente de datos  En Dremio, navegue hasta SQL Runner en el lado izquierdo. Asegúrese de que   en el área superior derecha del editor de texto esté configurado en nuestra fuente Nessie. De lo contrario, tendrá que hacer referencia al contexto como   en lugar de solo   para ejecutar esta consulta. Copie y pegue el siguiente SQL y ejecútelo. Context nessie.SalesData SalesData     CREATE TABLE SalesData (    id INT,    product_name VARCHAR,    sales_amount DECIMAL,    transaction_date DATE ) PARTITION BY (transaction_date);  Ejecute la siguiente consulta para insertar datos en la tabla que acaba de crear.     INSERT INTO SalesData (id, product_name, sales_amount, transaction_date) VALUES    (1, 'ProductA', 1500.00, '2023-10-15'),    (2, 'ProductB', 2000.00, '2023-10-15'),    (3, 'ProductA', 1200.00, '2023-10-16'),    (4, 'ProductC', 1800.00, '2023-10-16'),    (5, 'ProductB', 2200.00, '2023-10-17');  Vuelva a MinIO para ver que su lago de datos se ha poblado con las tablas Iceberg.   Ramificándose y fusionándose con Nessie  Regrese a Dremio en   . Comience consultando una tabla en la rama principal usando la sintaxis   : http://localhost:9047 AT BRANCH     SELECT * FROM nessie.SalesData AT BRANCH main;  Cree una rama ETL (Extract Transform and Load) que le permita jugar y transformar datos sin afectar la producción.   CREATE BRANCH etl_06092023 in nessie  Dentro de la rama ETL, inserte nuevos datos en la tabla:   USE BRANCH etl_06092023 in nessie; INSERT INTO nessie.SalesData (id, product_name, sales_amount, transaction_date) VALUES (6, 'ProductC', 1400.00, '2023-10-18');  Confirmar la disponibilidad inmediata de los nuevos datos dentro de la sucursal ETL:   SELECT * FROM nessie.SalesData AT BRANCH etl_06092023;  Tenga en cuenta el aislamiento de los cambios de los usuarios en la rama principal:   SELECT * FROM nessie.SalesData AT BRANCH main;  Fusione los cambios de la rama ETL nuevamente en la rama principal:   MERGE BRANCH etl_06092023 INTO main in nessie;  Seleccione la rama principal nuevamente para ver que los cambios efectivamente se han fusionado.   SELECT * FROM nessie.SalesData AT BRANCH main  Esta estrategia de ramificación permite a los ingenieros de datos manejar de forma independiente numerosas transacciones en varias tablas. Cuando estén listos, los ingenieros de datos pueden fusionar estas transacciones en una transacción única e integral de múltiples tablas dentro de la sucursal principal.  Conclusión  Esta publicación de blog profundizó en el poder del control de versiones similar a Git en la ingeniería de datos, enfatizando cómo  Gestiona sin problemas versiones, bifurcaciones y fusiones de datos. Esta guía paso a paso demuestra cómo Nessie, en colaboración con Dremio y MinIO, como base de almacenamiento de objetos, mejora la calidad de los datos y la colaboración en los flujos de trabajo de ingeniería de datos.   nessie  Háganos saber cómo se ve su data lakehouse  o en  .   hola@minio.io   nuestro canal flojo  También aparece   . aquí

Developers do. Download MinIO and see for yourself. 

MinIO

Este audio es producido en el idioma original de la historia!

Misterios del lago de datos revelados: Nessie, Dremio y MinIO hacen olas

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

El modelo Bitcoin UTXO, impulsando un ecosistema único

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

Creación de productos criptográficos centrados en el usuario: la importancia de los comentarios de los clientes

Valhalla de Floki se une como patrocinador asociado de la gira de la India por Sri Lanka

El modelo Bitcoin UTXO, impulsando un ecosistema único

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

Creación de productos criptográficos centrados en el usuario: la importancia de los comentarios de los clientes

Valhalla de Floki se une como patrocinador asociado de la gira de la India por Sri Lanka

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps