Este artículo fue publicado originalmente en el New Stack. Compare Apache Iceberg, Delta Lake y Apache Hudi y aprenda a elegir el formato de tabla abierta correcto para su data lakehouse. Los formatos de tablas abiertas y el almacenamiento de objetos están redefiniendo la forma en que las organizaciones arquitectan sus sistemas de datos, proporcionando la base para almacenes de datos escalables, eficientes y seguros para el futuro.Al aprovechar los puntos fuertes únicos del almacenamiento de objetos - su escalabilidad, flexibilidad y rentabilidad- junto con las capacidades avanzadas de gestión de metadatos de formatos de tablas abiertas como Apache Iceberg, Delta Lake y Apache Hudi, las organizaciones pueden crear arquitecturas modulares que satisfagan las demandas de las cargas de trabajo de datos modernas. En el núcleo de este cambio arquitectónico está la desagregación de la computación y el almacenamiento. El almacenamiento de objetos sirve como la base, ofreciendo una gestión sin problemas de datos estructurados, semi-estructurados y no estructurados, mientras que los formatos de tabla abierta actúan como una capa de abstracción de metadatos, permitiendo características similares a la base de datos como esquemas, particiones y atomicidad, consistencia, aislamiento y durabilidad (ACID) transacciones. motores de computación como Spark, Presto, Trino y Dremio interactúan con estos formatos de tabla, proporcionando la flexibilidad para procesar y analizar datos a escala sin bloquear a los proveedores. Esta guía profundizará en el papel de los formatos de tablas abiertas y el almacenamiento de objetos en la construcción de lagos de datos modernos. exploraré su evolución, compararé los formatos de tablas líderes y destacaré las consideraciones de rendimiento que optimizan su arquitectura para la analítica avanzada y las cargas de trabajo de IA. Al entender estos componentes, estarás equipado para diseñar sistemas de datos que no solo sean eficientes y escalables, sino que también puedan adaptarse a las rápidamente cambiantes demandas de la era de datos. Where Open Table Formats Fit In Dónde se ajustan los formatos de mesa abierta Dónde se ajustan los formatos de mesa abierta La arquitectura moderna del lago de datos se basa en tres componentes críticos: la capa de almacenamiento, el formato de tabla abierta y los motores de computación. Este diseño modular está optimizado para aprovechar plenamente la escalabilidad y la rentabilidad del almacenamiento de objetos, aprovechando al mismo tiempo los formatos de tabla abierta para la gestión de metadatos y la interoperabilidad sin problemas entre diversos motores de computación. En su base se encuentra la capa de almacenamiento del almacenamiento de objetos, que proporciona almacenamiento escalable y flexible para datos estructurados, semi-estructurados y no estructurados. En la capa de almacenamiento se encuentran los formatos de tabla abierta, que podrían ser Apache Iceberg, Delta Lake o Apache Hudi. Estos formatos de tabla abierta actúan como una capa de abstracción de metadatos, proporcionando características de base de datos como esquemas, particiones y versiones, así como funciones avanzadas como transacciones ACID, evolución de esquemas y viaje en el tiempo. Finalmente, los motores de computación como Spark, Presto, Trino y Dremio interactúan con los formatos de tabla abierta para procesar y analizar datos a escala, ofreciendo a los Evolution of Data Architectures Evolución de las arquitecturas de datos El ascenso de los lagos de datos puede entenderse como parte de la evolución más amplia de las arquitecturas de datos.Los sistemas tempranos como el procesamiento de transacciones en línea (OTLP) priorizaban la integridad transaccional pero carecían de capacidades analíticas.El surgimiento de los sistemas de procesamiento analítico en línea (OLAP) introdujo almacenes de datos, optimizados para consultas de datos estructurados, pero a costa de manejar datos semi-estructurados y no estructurados de manera eficiente. Los lagos de datos surgieron para abordar estas limitaciones, ofreciendo almacenamiento escalable para variados tipos de datos y capacidades de lectura de esquemas. Sin embargo, la falta de garantías transaccionales en los lagos de datos estimuló el desarrollo de lagos de datos, que integran los puntos fuertes de los lagos de datos y los almacenes de datos en una arquitectura unificada. Los lagos están construidos en formatos de tabla abierta y almacenamiento de objetos y están completamente desconectados, lo que significa que están construidos de componentes modulares.Esta arquitectura desagregada proporciona tanto la consistencia transaccional de las bases de datos como la escalabilidad del almacenamiento de objetos. Why Open Table Formats Are Ideal for Object Storage Por qué los formatos de tabla abierta son ideales para el almacenamiento de objetos Las arquitecturas de lagos de datos están diseñadas para aprovechar la escalabilidad y la rentabilidad de los sistemas de almacenamiento de objetos, como Amazon Web Services (AWS) S3, Google Cloud Storage y Azure Blob Storage.Esta integración permite la gestión sin problemas de diversos tipos de datos —estructurados, semiestructurados y no estructurados— dentro de una plataforma unificada. Las características clave de las arquitecturas de lagos de datos en el almacenamiento de objetos incluyen: capa de almacenamiento unificada: Al utilizar el almacenamiento de objetos, los lagos de datos pueden almacenar grandes cantidades de datos en su formato nativo, eliminando la necesidad de transformaciones de datos complejas antes del almacenamiento. Escalabilidad: Los sistemas de almacenamiento de objetos son inherentemente escalables, lo que permite a los almacenes de datos acomodar volúmenes crecientes de datos sin cambios significativos en la infraestructura. Flexibilidad: el mejor almacenamiento de objetos de su clase se puede implementar en cualquier lugar: en las instalaciones, en las nubes privadas, en las nubes públicas, en las instalaciones de colocación, en los centros de datos y en la periferia.Esta flexibilidad permite a las organizaciones adaptar su infraestructura de datos a necesidades geográficas y operativas específicas. Al integrar estos elementos, las arquitecturas de lagos de datos ofrecen una solución integral que combina los puntos fuertes de lagos de datos y almacenes de datos. Este diseño facilita el almacenamiento eficiente de datos, gestión y análisis, todo construido sobre la base de sistemas de almacenamiento de objetos escalables y flexibles. Open Table Formats Defined Formatos de tabla abierta definidos Un formato de tabla abierta es un marco estandarizado y de código abierto diseñado para gestionar de manera eficiente los conjuntos de datos analíticos a gran escala, funcionando como una capa de metadatos encima de los archivos de datos, facilitando la gestión de datos sin problemas y el acceso a varios motores de procesamiento. Aquí está una visión general de los tres formatos de mesa abierta: Iceberg Delta Lake y Hudi: Apache Iceberg Apache Iceberg es un formato de tabla de alto rendimiento diseñado para conjuntos de datos masivos. Su arquitectura prioriza las operaciones de lectura eficientes y la escalabilidad, lo que lo convierte en una piedra angular para las cargas de trabajo de análisis modernas.Una de sus características definidoras es la separación de metadatos de datos, permitiendo un aislamiento y planificación eficientes basados en snapshots. Los recientes avances en el ecosistema de Iceberg destacan su creciente adopción en toda la industria. Tables S3 simplifican la gestión de datos al permitir a los motores de consulta acceder directamente a metadatos de tablas y archivos de datos almacenados en sistemas compatibles con S3, reduciendo la latencia y mejorando la interoperabilidad. Destaca el papel de primacía de Iceberg en las plataformas de lagos abiertos y enfatiza su enfoque en el rendimiento y la gobernanza. Demostra el compromiso de la industria con la apertura e interoperabilidad, consolidando aún más la posición de Iceberg como un formato de mesa líder. La adquisición de Databricks de Tabular Polaris código abierto La adquisición de Databricks de Tabular Polaris código abierto Delta Lake Originalmente desarrollado por Databricks, Delta Lake estaba estrechamente relacionado con Apache Spark. Es totalmente compatible con las APIs de Spark e integra con el Streaming estructurado de Spark, permitiendo tanto operaciones de batch como de streaming. Una característica clave de Delta Lake es que emplea un registro de transacciones para registrar todos los cambios realizados en los datos, asegurando vistas consistentes y aislamiento de escritura. Apache Hudi Apache Hudi está diseñado para abordar los desafíos de la ingestión de datos en tiempo real y la analítica, especialmente en entornos que requieren actualizaciones frecuentes.Su arquitectura soporta el almacenamiento optimizado para escribir (WOS) para la ingestión de datos eficiente y el almacenamiento optimizado para leer (ROS) para la consulta, permitiendo vistas actualizadas de conjuntos de datos. Al procesar cambios en los flujos de datos de forma incremental, Hudi facilita el análisis en tiempo real a escala. Características como los filtros de Bloom y la indexación global optimizan las operaciones de I/O, mejorando el rendimiento de consulta y escritura. Además, Hudi incluye herramientas para agrupar, comprimir y limpiar, que ayudan a mantener la organización y el rendimiento de la tabla. Su capacidad para manejar actualizaciones de nivel de registro y eliminaciones lo convierte en una opción práctica para flujos de datos de alta velocidad y escenarios que requieren cumplimiento y gobernanza de datos estricta. Comparing Open Table Formats Comparar los formatos de tablas abiertas Apache Iceberg, Delta Lake y Apache Hudi aportan fortalezas únicas a las arquitecturas de lagos de datos. Transacciones ACID: Todos los tres formatos proporcionan la conformidad con ACID, asegurando operaciones de datos fiables. Iceberg emplea el aislamiento instantáneo para la integridad transaccional, Delta Lake utiliza un registro de transacciones para vistas consistentes y aislamiento de escritura, y Hudi ofrece control de concurrencia a nivel de archivo para escenarios de alta competencia. Evolución de esquemas: Cada formato admite cambios de esquemas, permitiendo la adición, eliminación o modificación de columnas. Iceberg ofrece evolución de esquemas flexible sin reescribir los datos existentes, Delta Lake aplica esquemas en el tiempo de ejecución para mantener la calidad de los datos, y Hudi proporciona transformaciones precomitadas para una flexibilidad adicional. Evolución de particiones: Iceberg soporta la evolución de particiones, permitiendo actualizaciones sin problemas a los esquemas de particiones sin reescribir los datos existentes.Delta Lake permite cambios de particiones pero puede requerir una intervención manual para un rendimiento óptimo, mientras que Hudi ofrece agrupamiento de grano fino como una alternativa a la partición tradicional. Viaje en el tiempo: Todos los tres formatos ofrecen capacidades de viaje en el tiempo, lo que permite a los usuarios consultar estados de datos históricos. Adopción generalizada: Iceberg es el formato de tabla abierta más ampliamente adoptado por la comunidad de datos. Desde Databricks a Snowflake a AWS, muchas plataformas grandes han invertido en Iceberg. Indexación: Hudi ofrece capacidades de indexación multimodales, incluidos los filtros de Bloom y la indexación a nivel de registro, que pueden mejorar el rendimiento de las consultas.Delta Lake y Iceberg dependen de la optimización de metadatos, pero no ofrecen el mismo nivel de flexibilidad de indexación. Competitividad y streaming: Hudi está diseñado para análisis en tiempo real con control de concurrencia avanzado y herramientas integradas como DeltaStreamer para la ingestión incremental. Delta Lake soporta la transmisión a través del feed de datos de cambios, y Iceberg proporciona capacidades básicas de lectura incremental. Estas distinciones resaltan que, aunque los tres formatos proporcionan una base sólida para las arquitecturas de datos modernas, la elección óptima depende de los requisitos específicos de carga de trabajo y las necesidades de la organización. Performance Expectations Expectativas de rendimiento Alcanzar el rendimiento óptimo en las arquitecturas de lagos de datos es esencial para aprovechar plenamente las capacidades de los formatos de tablas abiertas. La capa de almacenamiento debe proporcionar una latencia baja y un alto rendimiento para satisfacer las demandas de análisis a gran escala.Las soluciones de almacenamiento de objetos deben facilitar el acceso rápido a los datos y soportar transferencias de alta velocidad, asegurando operaciones suaves incluso bajo cargas de trabajo altas.Además, las operaciones de entrada/salida eficientes por segundo (IOPS) son cruciales para el manejo de numerosas solicitudes de datos simultáneas, permitiendo interacciones de datos sensibles sin obstáculos. Igualmente importante es el rendimiento de la capa de computación, que influye directamente en el procesamiento de datos y las velocidades de ejecución de consultas. Los motores de computación deben ser escalables para gestionar volúmenes de datos crecientes y consultas de usuarios sin comprometer el rendimiento. El empleo de planes de ejecución de consultas optimizados y estrategias de gestión de recursos puede mejorar aún más la eficiencia del procesamiento. Además, los motores de computación deben integrarse sin problemas con formatos de tablas abiertas para aprovechar plenamente las funciones avanzadas como las transacciones ACID, la evolución del esquema y el viaje en el tiempo. Los formatos de tabla abierta también incorporan características diseñadas para aumentar el rendimiento. Estos también necesitan ser configurados correctamente y aprovechados para una pila totalmente optimizada. Una de estas características es el manejo eficiente de metadatos, donde los metadatos se gestionan por separado de los datos, lo que permite una planificación y ejecución de consultas más rápidas. El particionamiento de datos organiza los datos en subconjuntos, mejorando el rendimiento de la consulta al reducir la cantidad de datos escaneados durante las operaciones. Al centrarse en estos aspectos de rendimiento en las capas de almacenamiento y computación, las organizaciones pueden asegurarse de que sus entornos de almacenamiento de datos sean eficientes, escalables y capaces de satisfacer las demandas de las modernas cargas de trabajo de análisis y IA. Estas consideraciones permiten que los formatos de tablas abiertas alcancen su pleno potencial, proporcionando el alto rendimiento necesario para la toma de decisiones en tiempo real. Open Data Lakehouses and Interoperability Archivos de datos abiertos e interoperabilidad La arquitectura del lago de datos se basa en los formatos de tablas abiertas para ofrecer un enfoque unificado para la gestión de datos. Sin embargo, lograr la verdadera apertura requiere más que simplemente adoptar formatos de tablas abiertas. Los lagos de datos abiertos deben integrar componentes modulares, interoperables y de código abierto como motores de almacenamiento, catálogos y motores de computación para permitir el funcionamiento sin problemas en diversas plataformas. Los formatos de tablas abiertas son estándares abiertos y, por su diseño, soportan la interoperabilidad y la apertura en toda la pila. Sin embargo, siguen existiendo desafíos prácticos, como asegurar la interoperabilidad de catálogos y evitar dependencias de servicios propietarios para la gestión de tablas. Demostra el progreso hacia la compatibilidad universal, proporcionando un camino para escribir-una vez, consultas-en cualquier lugar sistemas. Es importante notar que XTable no le permite escribir en varios formatos de tabla abierta, sólo leer. Descargar Apache XTable Descargar Apache XTable The Future of Open Table Formats El futuro de las tablas abiertas Como el paisaje de los lagos de datos continúa evolucionando, ciertas tendencias y avances son susceptibles de dar forma a su futuro. ) de directamente en la arquitectura del lago. Para la capa de almacenamiento, esto podría parecer como plataformas con integraciones directas a las principales plataformas de IA como Hugging Face y OpenAI. Para la capa de computación, la integración de IA podría conducir a la creación de motores de computación especializados optimizados para los algoritmos de ML, mejorando la eficiencia de los procesos de capacitación y inferencia dentro del ecosistema del lago. ML Trabajadores ML Trabajadores Otra área de crecimiento significativo probablemente estará en la comunidad de código abierto. Cuando las grandes empresas privadas como Databricks, Snowflake y AWS comiencen a arrojar su peso, es fácil olvidar que los formatos de tablas abiertas son verdaderos estándares abiertos. Iceberg, Hudi y Delta Lake están disponibles para cualquier contribuyente, colaboración o integración en herramientas y plataformas de código abierto. En otras palabras, son parte de un ecosistema de datos abiertos estándar vibrante y creciente. Es importante recordar que el código abierto engendra código abierto. Veremos la proliferación continua de aplicaciones de código abierto, complementos, catálogos e innovaciones en este espacio. Por último, la adopción de los formatos de tablas abiertas seguirá aumentando a medida que las empresas construyan lagos de datos de gran escala y de alto rendimiento para la IA y otros casos de uso avanzado. Los profesionales de la industria equivalen la popularidad de los formatos de tablas abiertas con el ascenso y la supremacía de Hadoop a principios de los años 2000. Algunos Algunos Build for Today and Tomorrow Construido para hoy y mañana La combinación de formatos de tablas abiertas con almacenamiento de objetos de alto rendimiento permite a los arquitectos construir sistemas de datos que sean abiertos, interoperables y capaces de satisfacer las demandas de IA, ML y análisis avanzado.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Developers do. Download MinIO and see for yourself. 

MinIO

Este audio es producido en el idioma original de la historia!

El manual del arquitecto para abrir los formatos de mesa y el almacenamiento de objetos

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

Aumente su productividad con estas 18 herramientas para desarrolladores 🚀🔥

Una breve introducción a la teoría del cerebro de Boltzmann

Nómadas digitales escuchen: lo que necesitan saber sobre la nueva visa DTV de Tailandia

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

Aumente su productividad con estas 18 herramientas para desarrolladores 🚀🔥

Una breve introducción a la teoría del cerebro de Boltzmann

Nómadas digitales escuchen: lo que necesitan saber sobre la nueva visa DTV de Tailandia

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps