Cómo Iceberg + AIStor potencia el moderno lago de datos multi-motor

parece haber tomado el mundo de los datos por una tormenta (neve). Inicialmente incubado en Netflix por Ryan Blue (también de En su núcleo, es un formato de tabla abierta para conjuntos de datos a escala (pensemos cientos de TBs a cientos de PBs). Con la IA agobiando grandes cantidades de datos para la creación de modelos, ajuste y inferencia en tiempo real, la necesidad de esta tecnología solo ha aumentado desde su desarrollo inicial. El iceberg de Apache Tablón El iceberg de Apache Tablón Iceberg es un formato compatible con varios motores. Esto significa que Spark, Trino, Flink, Presto, Snowflake y Dremio pueden funcionar de forma independiente y simultánea en el mismo conjunto de datos. Iceberg soporta SQL, el lenguaje universal de análisis de datos, y ofrece características avanzadas como transacciones atómicas, evolución de esquemas, evolución de particiones, viaje en el tiempo, rollback y ramificación de copia cero. Este post examina cómo las características y el diseño de Iceberg, en combinación con la capa de almacenamiento de alto rendimiento de AIStor, ofrecen la flexibilidad y la fiabilidad necesarias para construir lagos de datos. Related: Soluciones de Data Lakehouse de Minio Soluciones de Data Lakehouse de Minio Objetivos para un formato de mesa abierta moderna La promesa de un lago está en su capacidad de unificar lo mejor de los lagos de datos y almacenes. Los lagos de datos almacenados en el almacenamiento de objetos fueron diseñados para almacenar cantidades masivas de datos crudos en su formato nativo, ofreciendo escalabilidad, facilidad de uso y rentabilidad. Sin embargo, los lagos de datos por sí solos lucharon con problemas como la gobernanza de datos, y la capacidad de consultar de manera eficiente los datos almacenados en ellos. Iceberg y otros formatos de tabla abierta como Apache Hudi y Delta Lake representan un salto hacia adelante. Estos formatos hacen que los lagos de datos se comporten como almacenes a la vez que mantienen la flexibilidad y escalabilidad inicial del almacenamiento de objetos. Esta nueva pila de formatos de tabla abierta y almacenamiento abierto puede soportar diversas cargas de trabajo como la IA, el aprendizaje automático, la analítica avanzada y la visualización en tiempo real. Iceberg se distingue por su enfoque SQL-first y se centra en la compatibilidad multi-motor. Aquí está una mirada a cómo podría funcionar esta infraestructura. Los motores de consulta pueden sentarse directamente en la parte superior del almacenamiento de objetos en su pila y interrogar los datos dentro de ella sin migración. El viejo paradigma de migración de datos a un almacenamiento de bases de datos d ya no es relevante. En cambio, usted puede y debe ser capaz de interrogar sus Tablas de Iceberg desde cualquier lugar. Las herramientas de análisis y las visualizaciones a menudo pueden conectarse directamente a su almacenamiento donde se almacenan sus tablas de Iceberg, pero más típicamente interactúan con su motor de consultas para una experiencia de usuario más simplificada. Finalmente, AI/ML tiene el mismo principio de diseño que los motores de consulta. Estas herramientas AI/ML utilizarán las tablas Iceberg directamente en el almacenamiento de objetos sin migración. , particularmente por su capacidad de mantener versiones múltiples de modelos y conjuntos de datos sin dificultad. Los trabajos de ML Los trabajos de ML ¿Qué hay de especial en Iceberg? Apache Iceberg se distingue a través de una combinación de características y principios de diseño que lo separan de alternativas como Apache Hudi y Delta Lake. Iceberg ofrece soporte integral para la evolución de esquemas, permitiendo a los usuarios añadir, bajar, actualizar o renombrar columnas sin necesitar una reescritura completa de los datos existentes. Schema Evolution Iceberg soporta la evolución de particiones, permitiendo modificaciones a los esquemas de partición a lo largo del tiempo sin requerir reescritura de datos.Esta capacidad permite la optimización dinámica del diseño de datos a medida que cambian los patrones de acceso. Partition Evolution Iceberg emplea una estructura de metadatos jerárquica, incluyendo archivos manifiestos, listas manifiestas y archivos de metadatos. Este diseño mejora la planificación y optimización de consultas al proporcionar información detallada sobre los archivos de datos, facilitando un acceso y gestión de datos eficientes. Metadata Management Diseñado con la apertura en mente, Iceberg es compatible con diversos motores de procesamiento como Apache Spark, Flink, Trino y Presto.Esta interoperabilidad proporciona a las organizaciones la flexibilidad para elegir las herramientas que mejor se adapten a sus necesidades y de manera eficaz. reducir los precios y impulsar la innovación en estos productos. Multi-Engine Compatibility Los motores de búsqueda Los motores de búsqueda Como con todos los formatos de mesa abierta, Iceberg se beneficia de una comunidad diversa y activa, contribuyendo a su robustez y mejora continua”. Open Source Community Objeto de almacenamiento y iceberg El almacenamiento de objetos forma la base de las arquitecturas modernas de lagos, proporcionando la escalabilidad, durabilidad y rentabilidad necesarias para gestionar vastos conjuntos de datos en muchos entornos.En una arquitectura de lagos, la capa de almacenamiento juega un papel crítico en asegurar la durabilidad y la disponibilidad de los datos, mientras que un formato de tabla abierta como Iceberg gestiona los metadatos. es particularmente adecuado para estos requisitos. Por ejemplo, para cargas de trabajo de alto rendimiento como el entrenamiento de modelos, el soporte de AIStor para S3 sobre RDMA garantiza el acceso de baja latencia a los datos. Esta característica hace que la combinación de las dos tecnologías sea una solución muy efectiva, particularmente para tuberías de IA y análisis a gran escala. El alto rendimiento es crucial para el éxito de las iniciativas de lago - No importa lo fresco que sea el formato de su tabla si no puede atender las consultas tan rápido como los usuarios requieren. Aislador Aislador Pruebe usted mismo: Prerequisitos Necesitará instalar Docker y Docker Compose. Cuando ambos son necesarios, a menudo es más fácil de instalar Descargar e instalar Docker Desktop desde el sitio web oficial de Docker. Siga las instrucciones de instalación proporcionadas en el instalador para su sistema operativo. Descargar Desktop Descargar Desktop Si lo prefieres, también puedes verificar la instalación de Docker y Docker Compose abriendo un terminal y ejecutando: docker --version docker-compose --version Iceberg Tutorial Esta sección demuestra cómo integrar Iceberg y AIStor para una arquitectura de lago robusto. Para crear nuestro entorno inicial: Descarga de Apache Iceberg Spark Quickstart Descarga de Apache Iceberg Spark Quickstart Step 1: Setup with Docker Compose Paso 1: Configuración con Docker Compose Sigue el para lanzar un entorno containerizado con Spark e Iceberg preconfigurado.El primer paso en la guía es copiar la información a continuación en un archivo y guardar como un archivo llamado docker-compose.yml: Apache Iceberg Spark Guía de inicio rápido Apache Iceberg Spark Guía de inicio rápido version: "3" services: spark-iceberg: image: tabulario/spark-iceberg container_name: spark-iceberg build: spark/ networks: iceberg_net: depends_on: - rest - minio volumes: - ./warehouse:/home/iceberg/warehouse - ./notebooks:/home/iceberg/notebooks/notebooks environment: - AWS_ACCESS_KEY_ID=admin - AWS_SECRET_ACCESS_KEY=password - AWS_REGION=us-east-1 ports: - 8888:8888 - 8080:8080 - 10000:10000 - 10001:10001 rest: image: apache/iceberg-rest-fixture container_name: iceberg-rest networks: iceberg_net: ports: - 8181:8181 environment: - AWS_ACCESS_KEY_ID=admin - AWS_SECRET_ACCESS_KEY=password - AWS_REGION=us-east-1 - CATALOG_WAREHOUSE=s3://warehouse/ - CATALOG_IO__IMPL=org.apache.iceberg.aws.s3.S3FileIO - CATALOG_S3_ENDPOINT=http://minio:9000 minio: image: minio/minio container_name: minio environment: - MINIO_ROOT_USER=admin - MINIO_ROOT_PASSWORD=password - MINIO_DOMAIN=minio networks: iceberg_net: aliases: - warehouse.minio ports: - 9001:9001 - 9000:9000 command: ["server", "/data", "--console-address", ":9001"] mc: depends_on: - minio image: minio/mc container_name: mc networks: iceberg_net: environment: - AWS_ACCESS_KEY_ID=admin - AWS_SECRET_ACCESS_KEY=password - AWS_REGION=us-east-1 entrypoint: > /bin/sh -c " until (/usr/bin/mc config host add minio http://minio:9000 admin password) do echo '...waiting...' && sleep 1; done; /usr/bin/mc rm -r --force minio/warehouse; /usr/bin/mc mb minio/warehouse; /usr/bin/mc policy set public minio/warehouse; tail -f /dev/null " networks: iceberg_net: Luego, en una ventana de terminal, navega al lugar donde has guardado el archivo .yml y inicia los contenedores de docker con este comando: docker-compose up Luego puede ejecutar los siguientes comandos para iniciar una sesión de Spark-SQL. Docker Exec -it Spark-Iceberg Spark-Sql es una aplicación para Step 2: Create a Table Paso 2: Crear una mesa Abre una carcasa Spark y crea una tabla: CREATE TABLE my_catalog.my_table ( id BIGINT, data STRING, category STRING ) USING iceberg PARTITIONED BY (category); Inspeccione su MinIO Console navegando por y iniciar sesión con las credenciales del .yml: AWS_ACCESS_KEY_ID=admin, AWS_SECRET_ACCESS_KEY=password http://127.0.0.1:9001 http://127.0.0.1:9001 Aquí, observe el camino iceberg/my_table/metadata creado para la tabla. Inicialmente, no existen archivos de datos, sólo metadatos que definen el esquema y las particiones. Step 3: Insert Data Paso 3: Insertar datos Introduce algunos datos de mock: INSERT INTO my_catalog.my_table VALUES (1, 'a', 'music'), (2, 'b', 'music'), (3, 'c', 'video'); Esta operación crea archivos de datos en las particiones apropiadas (my_table/data/category=...) y actualiza los metadatos. Step 4: Query the Data Paso 4: Querer los datos Execute una consulta básica para validar: SELECT COUNT(1) AS count, data FROM my_catalog.my_table GROUP BY data; Su salida debe parecer algo como lo siguiente: spark-sql ()> SELECT COUNT(1) AS count, data > FROM my_catalog.my_table > GROUP BY data; 1 c 1 b 1 a Time taken: 0.575 seconds, Fetched 3 row(s) Características clave de Iceberg Ahora que ha establecido un lago de datos de base con datos que puede manipular.Vamos a ver las características que hacen a Iceberg único: Schema Evolution y Partition Evolution. Schema Evolution El esquema de evolución Schema evolution es una de las características más poderosas y definidoras de Apache Iceberg, abordando un punto de dolor significativo en los sistemas de almacenamiento tradicionales.Le permite modificar el esquema de una tabla sin requerir reescritos de datos caros y demorados, lo que es particularmente beneficioso para conjuntos de datos a gran escala.Esta capacidad permite a las organizaciones adaptar sus modelos de datos a medida que evolucionan las necesidades empresariales sin interrumpir consultas o operaciones en curso. En Iceberg, los cambios de esquema se tratan exclusivamente a nivel de metadatos. a cada columna de una tabla se le asigna un ID único, lo que asegura que los cambios en el esquema no afecten a los archivos de datos subyacentes. Por ejemplo, si se agrega una nueva columna, Iceberg le asigna un nuevo ID sin reinterpretar o reescribir los datos existentes. Aquí está un ejemplo de cómo funciona la evolución del esquema en la práctica. Supongamos que necesita agregar una nueva columna, comprador, para almacenar información adicional sobre transacciones. Puede ejecutar el siguiente comando SQL: ALTER TABLE my_catalog.my_table ADD COLUMN buyer STRING; Esta operación actualiza los metadatos de la tabla, permitiendo que los nuevos archivos de datos incluyan la columna de comprador.Los archivos de datos antiguos permanecen intactos y se pueden escribir consultas para manejar datos nuevos y viejos sin problemas. Del mismo modo, si una columna ya no es necesaria, puede eliminarla sin afectar a los datos almacenados: ALTER TABLE my_catalog.my_table DROP COLUMN buyer; Esta acción actualiza el esquema para excluir la columna de la categoría. Iceberg asegura que los metadatos asociados se limpian mientras se mantiene la integridad de las consultas históricas que todavía pueden referirse a versiones de datos anteriores. La evolución del esquema de Iceberg también soporta el renombre de columnas, el cambio de tipos de columnas y el reordenamiento de columnas, todo a través de operaciones eficientes basadas en metadatos. Estos cambios se hacen sin alterar los archivos de datos, haciendo que las modificaciones del esquema sean instantáneas y rentables. Este enfoque es especialmente ventajoso en entornos con frecuentes cambios de esquema, como aquellos impulsados por experimentos de IA / ML, lógica empresarial dinámica o requisitos regulatorios en evolución. Partition Evolution Evolución de la partición Iceberg soporta la evolución de particiones que puede manejar las tareas aburridas y propensas a errores de producir valores de partición para filas en una tabla. Los usuarios se centran en agregar filtros a las consultas que resuelven problemas de negocio y no se preocupan por cómo se particiona la tabla. Iceberg evita automáticamente las lecturas de particiones innecesarias. Iceberg maneja las complicaciones de la partición y el cambio del esquema de partición de una tabla para usted, simplificando enormemente el proceso para los usuarios finales. Puede definir la partición o dejar que Iceberg se encargue de ella para usted. Iceberg le gusta la partición en un timestamp, como el tiempo del evento. Las particiones son rastreadas por snapshots en los manifestos. Las consultas ya no dependen del diseño físico de una tabla. Debido a esta separación entre tablas físicas y lógicas, las tablas de Iceberg pueden evolucionar las particiones con el tiempo a medida que se añaden más datos. ALTER TABLE my_catalog.my_table ADD COLUMN month int AFTER buyer; ALTER TABLE my_catalog.my_table ADD PARTITION FIELD month; Ahora tenemos dos esquemas de partición para la misma tabla. A partir de ahora, los planes de consulta se dividen, utilizando el viejo esquema de partición para interrogar datos antiguos, y el nuevo esquema de partición para interrogar datos nuevos. Iceberg se encarga de esto para usted - las personas que interrogan la tabla no necesitan saber que los datos se almacenan usando dos esquemas de partición. Iceberg lo hace a través de una combinación de cláusulas WHERE detrás de las escenas y filtros de partición que eliminan los archivos de datos sin coincidencias. Time Travel and Rollback Viajes en el tiempo y rollback Cada escritura a las tablas de Iceberg crea nuevas capturas instantáneas. Las capturas instantáneas son como las versiones y se pueden utilizar para viajar en el tiempo y hacer un rollback como lo hacemos con las capacidades de versión de AIStor. La forma en que se gestionan las capturas instantáneas es mediante la configuración de expireSnapshot para que el sistema se mantenga bien. El tiempo de viaje permite consultas reproducibles que utilizan exactamente la misma captura instantánea de la tabla, o permite a los usuarios examinar fácilmente los cambios. A medida que se cambian las tablas, Iceberg rastrea cada versión como una imagen instantánea y luego proporciona la posibilidad de viajar en el tiempo a cualquier imagen instantánea cuando se consulta la tabla. Esto puede ser muy útil si desea ejecutar consultas históricas o reproducir los resultados de consultas anteriores, particularmente para reportar. Para ver las instantáneas que se han guardado para una tabla, ejecute la siguiente consulta: SELECT * FROM my_catalog.my_table.snapshots; Tu salida debería parecer algo así: 2025-01-10 00:35:03.35 4613228935063023150 NULL append s3://warehouse/my_catalog/my_table/metadata/snap-4613228935063023150-1-083e4483-566f-4f5c-ab47-6717577948cb.avro {"added-data-files":"2","added-files-size":"1796","added-records":"3","changed-partition-count":"2","spark.app.id":"local-1736469268719","total-data-files":"2","total-delete-files":"0","total-equality-deletes":"0","total-files-size":"1796","total-position-deletes":"0","total-records":"3"} Time taken: 0.109 seconds, Fetched 1 row(s) Algunos ejemplos: -- time travel to October 26, 1986 at 01:21:00 SELECT * FROM my_catalog.my_table TIMESTAMP AS OF '1986-10-26 01:21:00'; -- time travel to snapshot with id 10963874102873 SELECT * FROM prod.db.table VERSION AS OF 10963874102873; Puede hacer lecturas incrementales usando snapshots, pero debe usar Spark, no Spark-SQL. scala> spark.read() .format(“iceberg”) .option(“start-snapshot-id”, “10963874102873”) .option(“end-snapshot-id”, “10963874102994”) .load(“s3://iceberg/my_table”) También puede desplazar la tabla a un punto en el tiempo o a una imagen instantánea específica, como en estos dos ejemplos CALL my_catalog.system.rollback_to_timestamp(‘my_table’, TIMESTAMP ‘2022-07-25 12:15:00.000’); CALL my_catalog.system.rollback_to_snapshot(‘my_table’, 527713811620162549); Expresiones SQL Iceberg soporta todos los comandos SQL expresivos como borrar, fusionar y actualizar a nivel de fila, y lo más importante a destacar es que Iceberg soporta tanto las estrategias Eager como lazy.Podemos codificar todas las cosas que necesitamos borrar (por ejemplo, GDPR o CCPA), pero no reescribir todos esos archivos de datos de inmediato, podemos recoger la basura lentamente según sea necesario y eso ayuda en la eficiencia en las enormes tablas respaldadas por Iceberg. Por ejemplo, puede eliminar todos los registros en una tabla que coincidan con un predicado específico. DELETE FROM my_catalog.my_table WHERE category = 'video'; Alternativamente, puede utilizar CREATE TABLE AS SELECT o REPLACE TABLE AS SELECT para lograr esto: CREATE TABLE my_catalog.my_table_music AS SELECT * FROM my_catalog.my_table WHERE category = 'music'; Puedes combinar dos tablas muy fácilmente: MERGE INTO my_catalog.my_data pt USING (SELECT * FROM my_catalog.my_data_new) st ON pt.id = st.id WHEN NOT MATCHED THEN INSERT *; Ingeniería de Datos Iceberg es la base para el estándar de tablas analíticas abiertas y utiliza el comportamiento SQL y aplica los fundamentos del almacén de datos para solucionar los problemas antes de que sepa que lo tenemos. Con la ingeniería de datos declarativos podemos configurar tablas y no preocuparnos de cambiar cada motor para adaptarse a las necesidades de los datos. Esto desbloquea la optimización automática y las recomendaciones. Con los compromisos seguros, son posibles los servicios de datos que ayudan a evitar las cargas de trabajo de datos de los humanos. Para inspeccionar el historial de una tabla, snapshots y otros metadatos, Iceberg admite la consulta de metadatos. las tablas de metadatos se identifican añadiendo el nombre de la tabla de metadatos (por ejemplo, historial) después del nombre de la tabla original en su consulta. Para mostrar los archivos de datos de una tabla: SELECT * FROM my_catalog.my_table.files; Para mostrar los manifiestos: SELECT * FROM my_catalog.my_table.manifests; Mostrar la historia de la mesa SELECT * FROM my_catalog.my_table.history; Para mostrar snapshots SELECT * FROM my_catalog.my_table.snapshots; También puede unirse a los snapshots y el historial de la tabla para ver la aplicación que escribió cada snapshot select h.made_current_at, s.operation, h.snapshot_id, h.is_current_ancestor, s.summary['spark.app.id'] from my_catalog.my_table.history h join my_catalog.my_table.snapshots s on h.snapshot_id = s.snapshot_id order by made_current_at; Ahora que has aprendido los principios básicos, carga algunos de tus datos en Iceberg, luego aprende más de la . Documentación de Iceberg integraciones Varios motores de consulta y ejecución han implementado conectores de Iceberg, lo que facilita la creación y gestión de tablas de Iceberg. , de , de , de , de , de Y la lista está creciendo. Esparcimiento muy bien Pronto Trino Sueño Neumáticos Este amplio paisaje de integración garantiza que las organizaciones puedan adoptar Apache Iceberg sin restringirse a un único motor de procesamiento, promoviendo flexibilidad y en su infraestructura de datos. Interoperabilidad Interoperabilidad Catálogos Los catálogos de Iceberg son centrales para gestionar metadatos de tablas y facilitar conexiones entre conjuntos de datos y motores de consulta. Estos catálogos mantienen información crítica como esquemas de tablas, snapshots y diseños de particiones, permitiendo las características avanzadas de Iceberg como el viaje en el tiempo, la evolución de esquemas y las actualizaciones atómicas. Hay varias implementaciones de catálogos disponibles para satisfacer diversas necesidades operativas. Por ejemplo, Polaris ofrece una solución de catalogación nativa a la nube escalable adaptada a las infraestructuras de datos modernas, mientras que Dremio Nessie introduce la versión con semántica similar a Git, permitiendo a los equipos rastrear cambios en datos y metadatos con precisión. Las soluciones tradicionales como Hive Metastore Es cool construir lagos de datos con Iceberg y AIStor Apache Iceberg recibe mucha atención como un formato de tabla para lagos de datos.La creciente comunidad de código abierto y el número creciente de integraciones de múltiples proveedores de nube y marcos de aplicaciones significa que es hora de tomar Iceberg en serio, y comenzar a experimentar, aprender y planificar su integración en la arquitectura de lagos de datos existente. A medida que empieces con Iceberg y AIStor, por favor, contacta y comparta tus experiencias o plantea preguntas a través de . El canal Slack