Wie Iceberg + AIStor das moderne Multi-Engine Data Lakehouse leitet

scheint die Datenwelt durch einen (Schnee) Sturm übernommen zu haben. Ursprünglich auf Netflix von Ryan Blue (auch von , jetzt Databricks Ruhm), wurde es schließlich an die Apache Software Foundation übertragen, wo es derzeit wohnt. In seinem Kern ist es ein offenes Tabellenformat für datensätze auf skalierbarer Ebene (denken Sie an Hunderte von TBs bis zu Hunderten von PBs). Der Apache Iceberg Tabellen Der Apache Iceberg Tabellen Iceberg ist ein multi-engine-kompatibles Format. Das bedeutet, dass Spark, Trino, Flink, Presto, Snowflake und Dremio alle unabhängig und gleichzeitig auf demselben Datensatz arbeiten können. Iceberg unterstützt SQL, die universelle Sprache der Datenanalyse, und bietet erweiterte Funktionen wie atomare Transaktionen, Schema-Evolution, Partition-Evolution, Zeitreisen, Rollback und Zero-Copy-Zweigung. im Zusammenhang: Data Lakehouse Solutions von MinIO Data Lakehouse Solutions von MinIO Ziele für ein modernes Open Table Format Das Versprechen eines Seehäuses liegt in seiner Fähigkeit, das Beste aus Datenseen und Lagern zu vereinen. Datenseen, die auf Objektspeicher gespeichert wurden, wurden entworfen, um massive Mengen an Rohdaten in ihrem nativen Format zu speichern, was Skalierbarkeit, Benutzerfreundlichkeit und Kosteneffizienz bietet. Jedoch kämpften Datenseen allein mit Problemen wie Datenverwaltung und der Fähigkeit, die darin gespeicherten Daten effizient abzufragen. Iceberg und andere Open-Table-Formate wie Apache Hudi und Delta Lake stellen einen Sprung nach vorne dar. Diese Formate machen Datenseen wie Lagern verhalten und behalten gleichzeitig die anfängliche Flexibilität und Skalierbarkeit des Objektspeichers. Dieser neue Stapel von Open-Table-Formaten und Open-Speicher kann vielfältige Workloads wie KI, maschinelles Lernen, erweiterte Analytik und Echtzeit-Visualisierung unterstützen. Iceberg zeichnet sich durch seinen SQL-First-Ansatz aus und konzentriert sich auf Multi-Engine-Kompatibilität. Hier ist ein Blick darauf, wie diese Infrastruktur funktionieren könnte. Die Abfrage-Engines können direkt auf dem Objekt-Speicher in Ihrem Stapel sitzen und die Daten darin ohne Migration abfragen. Das alte Paradigma der Migration von Daten in eine d-Datenbanken-Speicher ist nicht mehr relevant. Analyse-Tools und Visualisierungen können sich oft direkt mit Ihrem Speicher verbinden, in dem Ihre Iceberg-Tabellen gespeichert sind, aber in der Regel mit Ihrer Abfrage-Engine für eine optimierte Benutzererfahrung interagieren. Schließlich hat AI/ML das gleiche Designprinzip wie die Abfrage-Engines.Diese AI/ML-Tools werden Iceberg-Tabellen direkt in Objektspeicher ohne Migration verwenden.Während nicht alle AI/ML-Tools Iceberg zurzeit nutzen, gibt es ein wachsendes Interesse an der Verwendung von Iceberg für AI/ vor allem für ihre Fähigkeit, mehrere Versionen von Modellen und Datensätzen ohne Schwierigkeiten zu halten. ML Arbeitsbelastungen ML Arbeitsbelastungen Was ist das Besondere an Iceberg Apache Iceberg zeichnet sich durch eine Kombination von Funktionen und Designprinzipien aus, die es von Alternativen wie Apache Hudi und Delta Lake unterscheiden. Iceberg bietet umfassende Unterstützung für Schema-Evolution, so dass Benutzer Spalten hinzufügen, fallen lassen, aktualisieren oder umbenennen können, ohne dass eine vollständige Umschreibung bestehender Daten erforderlich ist. Schema Evolution Iceberg unterstützt die Evolution von Partitionen, wodurch Änderungen an Partitionierungsschemata im Laufe der Zeit ohne Dateneinschreibung erforderlich sind. Partition Evolution Iceberg verwendet eine hierarchische Metadatenstruktur, einschließlich Manifestdateien, Manifestlisten und Metadatendateien.Dieses Design verbessert die Abfrageplanung und -optimierung, indem es detaillierte Informationen über Datendateien liefert und einen effizienten Datenzugriff und -management erleichtert. Metadata Management Iceberg ist mit verschiedenen Prozessoren wie Apache Spark, Flink, Trino und Presto kompatibel.Diese Interoperabilität bietet Organisationen die Flexibilität, die Werkzeuge zu wählen, die ihren Bedürfnissen am besten entsprechen und effektiv sind. Preise senken und Innovationen in diesen Produkten fördern. Multi-Engine Compatibility Suchmaschinen mit Query Engine Suchmaschinen mit Query Engine Wie bei allen Open-Table-Formaten profitiert Iceberg von einer vielfältigen und aktiven Gemeinschaft, die zu ihrer Robustheit und kontinuierlichen Verbesserung beiträgt.“ Open Source Community Object Storage und Eisberg Object Storage bildet die Grundlage für moderne Lakehouse-Architekturen und bietet die Skalierbarkeit, Haltbarkeit und Kosteneffizienz, die erforderlich sind, um große Datensätze in vielen Umgebungen zu verwalten.In einer Lakehouse-Architektur spielt die Speicherebene eine entscheidende Rolle bei der Gewährleistung der Haltbarkeit und Verfügbarkeit von Daten, während ein Open-Table-Format wie Iceberg die Metadaten verwaltet. ist besonders gut für diese Anforderungen geeignet. Zum Beispiel für Hochdurchsatz-Workloads wie Modelltraining gewährleistet die Unterstützung von AIStor für S3 über RDMA einen niedrigen Latenzzugang zu Daten. Diese Funktion macht die Kombination der beiden Technologien zu einer sehr effektiven Lösung, insbesondere für große KI- und Analyse-Pipelines. Hohe Leistung ist für den Erfolg von Lakehouse-Initiativen von entscheidender Bedeutung - es spielt keine Rolle, wie cool Ihr Tischformat ist, wenn es Anfragen nicht so schnell anbietet, wie Ihre Benutzer es benötigen. AISTOR AISTOR Probieren Sie es selbst aus: Voraussetzungen Sie müssen Docker und Docker Compose installieren.Wenn beide erforderlich sind, ist es oft einfacher zu installieren .Download und installieren Sie Docker Desktop von der offiziellen Docker-Website. Folgen Sie den Installationsanweisungen im Installationsprogramm für Ihr Betriebssystem. Öffnen Sie Docker Desktop, um sicherzustellen, dass es läuft. Docker für Desktop Docker für Desktop Wenn Sie es vorziehen, können Sie auch die Installation von Docker und Docker Compose überprüfen, indem Sie ein Terminal öffnen und ausführen: docker --version docker-compose --version Iceberg Tutorials Dieser Abschnitt zeigt, wie Iceberg und AIStor für eine robuste Seehäuserarchitektur integriert werden können. Um unsere ursprüngliche Umgebung zu erstellen: Apache Iceberg Spark Schnellstart Apache Iceberg Spark Schnellstart Step 1: Setup with Docker Compose Schritt 1: Setup mit Docker Compose Folge dem um eine containerisierte Umgebung mit Spark und Iceberg vorkonfiguriert zu starten.Der erste Schritt in der Anleitung besteht darin, die folgenden Informationen in eine Datei zu kopieren und als Datei namens docker-compose.yml zu speichern: Apache Iceberg Spark Quickstart Anleitung Apache Iceberg Spark Quickstart Anleitung version: "3" services: spark-iceberg: image: tabulario/spark-iceberg container_name: spark-iceberg build: spark/ networks: iceberg_net: depends_on: - rest - minio volumes: - ./warehouse:/home/iceberg/warehouse - ./notebooks:/home/iceberg/notebooks/notebooks environment: - AWS_ACCESS_KEY_ID=admin - AWS_SECRET_ACCESS_KEY=password - AWS_REGION=us-east-1 ports: - 8888:8888 - 8080:8080 - 10000:10000 - 10001:10001 rest: image: apache/iceberg-rest-fixture container_name: iceberg-rest networks: iceberg_net: ports: - 8181:8181 environment: - AWS_ACCESS_KEY_ID=admin - AWS_SECRET_ACCESS_KEY=password - AWS_REGION=us-east-1 - CATALOG_WAREHOUSE=s3://warehouse/ - CATALOG_IO__IMPL=org.apache.iceberg.aws.s3.S3FileIO - CATALOG_S3_ENDPOINT=http://minio:9000 minio: image: minio/minio container_name: minio environment: - MINIO_ROOT_USER=admin - MINIO_ROOT_PASSWORD=password - MINIO_DOMAIN=minio networks: iceberg_net: aliases: - warehouse.minio ports: - 9001:9001 - 9000:9000 command: ["server", "/data", "--console-address", ":9001"] mc: depends_on: - minio image: minio/mc container_name: mc networks: iceberg_net: environment: - AWS_ACCESS_KEY_ID=admin - AWS_SECRET_ACCESS_KEY=password - AWS_REGION=us-east-1 entrypoint: > /bin/sh -c " until (/usr/bin/mc config host add minio http://minio:9000 admin password) do echo '...waiting...' && sleep 1; done; /usr/bin/mc rm -r --force minio/warehouse; /usr/bin/mc mb minio/warehouse; /usr/bin/mc policy set public minio/warehouse; tail -f /dev/null " networks: iceberg_net: Navigieren Sie anschließend in einem Terminalfenster zum Ort, an dem Sie die .yml-Datei gespeichert haben, und starten Sie die Docker-Container mit diesem Befehl: docker-compose up Sie können dann die folgenden Befehle ausführen, um eine Spark-SQL-Sitzung zu starten. Docker Exec -it Spark-Iceberg Spark-Sql im Internet Step 2: Create a Table Schritt 2: Erstellen eines Tisches Öffnen Sie eine Spark-Schale und erstellen Sie eine Tabelle: CREATE TABLE my_catalog.my_table ( id BIGINT, data STRING, category STRING ) USING iceberg PARTITIONED BY (category); Überprüfen Sie Ihre MinIO Console, indem Sie auf AWS_ACCESS_KEY_ID=admin, AWS_SECRET_ACCESS_KEY=Passwort http://127.0.0.1:9001 http://127.0.0.1:9001 Beobachten Sie hier den Eisberg/my_table/Metadatenweg, der für die Tabelle erstellt wurde. Anfangs gibt es keine Datendateien – nur Metadaten, die das Schema und die Partitionen definieren. Step 3: Insert Data Schritt 3: Daten einfügen Geben Sie ein paar Mock-Daten ein: INSERT INTO my_catalog.my_table VALUES (1, 'a', 'music'), (2, 'b', 'music'), (3, 'c', 'video'); Dieser Vorgang erstellt Datendateien in den entsprechenden Partitionen (my_table/data/category=...) und aktualisiert die Metadaten. Step 4: Query the Data Schritt 4: Query die Daten Führen Sie eine grundlegende Abfrage aus, um zu validieren: SELECT COUNT(1) AS count, data FROM my_catalog.my_table GROUP BY data; Ihre Ausgabe sollte wie folgt aussehen: spark-sql ()> SELECT COUNT(1) AS count, data > FROM my_catalog.my_table > GROUP BY data; 1 c 1 b 1 a Time taken: 0.575 seconds, Fetched 3 row(s) Test Key Iceberg Eigenschaften Nun, da Sie ein Baseline-Datenlagerhaus mit Daten geschaffen haben, die Sie manipulieren können, schauen wir uns die Funktionen an, die Iceberg einzigartig machen: Schema Evolution und Partition Evolution. Schema Evolution Schema Evolution Schema evolution ist eines der leistungsstärksten und definierendsten Features von Apache Iceberg und befasst sich mit einem erheblichen Schmerzpunkt in herkömmlichen Lagersystemen. Es ermöglicht es Ihnen, das Schema einer Tabelle zu ändern, ohne teure und zeitaufwendige Daten neu zu schreiben, was besonders für große Datensätze von Vorteil ist. In Iceberg werden Schemaänderungen rein auf der Metadatenebene bearbeitet. Jede Spalte in einer Tabelle wird einer eindeutigen ID zugewiesen, wodurch sichergestellt wird, dass Änderungen an dem Schema die zugrunde liegenden Datendateien nicht beeinflussen.Wenn z.B. eine neue Spalte hinzugefügt wird, wird Iceberg einer neuen ID zugewiesen, ohne vorhandene Daten neu zu interpretieren oder neu zu schreiben. Hier ist ein Beispiel dafür, wie Schema-Evolution in der Praxis funktioniert. Angenommen, Sie müssen eine neue Spalte, Käufer, hinzufügen, um zusätzliche Informationen über Transaktionen zu speichern. Sie können den folgenden SQL-Befehl ausführen: ALTER TABLE my_catalog.my_table ADD COLUMN buyer STRING; Diese Operation aktualisiert die Metadaten der Tabelle, sodass neue Datendateien die Käuferspalte enthalten können. Ältere Datendateien bleiben unberührt, und Abfragen können geschrieben werden, um sowohl neue als auch alte Daten nahtlos zu verarbeiten. Wenn eine Spalte nicht mehr erforderlich ist, können Sie sie auch löschen, ohne die gespeicherten Daten zu beeinflussen: ALTER TABLE my_catalog.my_table DROP COLUMN buyer; Iceberg stellt sicher, dass alle damit verbundenen Metadaten gereinigt werden und gleichzeitig die Integrität historischer Abfragen beibehalten wird, die möglicherweise noch auf ältere Datenversionen verweisen. Icebergs Schema-Evolution unterstützt auch die Umbenennung von Spalten, das Ändern von Spaltentypen und das Neuordnen von Spaltenordnungen, alles durch effiziente, nur auf Metadaten basierende Operationen. Dieser Ansatz ist besonders vorteilhaft in Umgebungen mit häufigen Schemaänderungen, wie denen, die durch KI/ML-Experimente, dynamische Geschäftslogik oder sich entwickelnde regulatorische Anforderungen angetrieben werden. Partition Evolution Partition Evolution Iceberg unterstützt Partition Evolution, die die langweiligen und fehleranfälligen Aufgaben der Erzeugung von Partitionswerten für Zeilen in einer Tabelle bewältigen kann. Benutzer konzentrieren sich darauf, Filter zu den Abfragen hinzuzufügen, die Geschäftsprobleme lösen und sich keine Sorgen darüber machen, wie die Tabelle partitioniert wird. Iceberg befasst sich mit den Komplexitäten des Partitionierens und der Änderung des Partitionsschemas einer Tabelle für Sie, was den Prozess für Endbenutzer erheblich vereinfacht. Sie können Partitionieren definieren oder Iceberg für Sie kümmern lassen. Iceberg mag die Partitionierung auf einem Zeitstempel, wie z. B. Ereigniszeit. Partitionen werden durch Snapshots in Manifesten verfolgt. Abfragen sind nicht mehr von der physischen Layout einer Tabelle abhängig. Aufgrund dieser Trennung zwischen physischen und logischen Tabellen können Iceberg-Tabellen Partitionen im Laufe der Zeit entwickeln, wenn mehr Daten hinzugefügt werden. ALTER TABLE my_catalog.my_table ADD COLUMN month int AFTER buyer; ALTER TABLE my_catalog.my_table ADD PARTITION FIELD month; Wir haben jetzt zwei Partitionierungsschemata für die gleiche Tabelle. Von nun an werden Abfragepläne geteilt, wobei das alte Partitionsschema verwendet wird, um alte Daten zu abfragen, und das neue Partitionsschema, um neue Daten zu abfragen. Iceberg kümmert sich um dies für Sie – Personen, die die Tabelle abfragen, müssen nicht wissen, dass Daten mit zwei Partitionsschemata gespeichert werden. Time Travel and Rollback Zeitreisen und Rollback Jedes Schreiben an Iceberg-Tabellen erzeugt neue Snapshots. Snapshots sind wie die Versionen und können zum Zeitreisen und Rollback verwendet werden, genau wie wir es mit AIStor-Versionierungskapazitäten tun. Die Art und Weise, wie Snapshots verwaltet werden, ist durch das Setzen von existierenSnapshot, so dass das System gut gehalten wird. Time travel ermöglicht reproduzierbare Abfragen, die genau das gleiche Tabellen-Snapshot verwenden, oder ermöglicht es Benutzern, Änderungen leicht zu untersuchen. Version Rollback ermöglicht es Benutzern, Probleme schnell zu beheben, indem sie Tabellen in einen guten Zustand zurückstellen. Wenn Tabellen geändert werden, verfolgt Iceberg jede Version als Snapshot und bietet dann die Möglichkeit, bei der Abfrage in der Tabelle zu jeder Zeit zu reisen. Dies kann sehr nützlich sein, wenn Sie historische Abfragen ausführen oder die Ergebnisse früherer Abfragen reproduzieren möchten, insbesondere für die Berichterstattung. Um die für eine Tabelle gespeicherten Snapshots anzuzeigen, führen Sie die folgende Abfrage aus: SELECT * FROM my_catalog.my_table.snapshots; Ihre Ausgabe sollte so etwas aussehen: 2025-01-10 00:35:03.35 4613228935063023150 NULL append s3://warehouse/my_catalog/my_table/metadata/snap-4613228935063023150-1-083e4483-566f-4f5c-ab47-6717577948cb.avro {"added-data-files":"2","added-files-size":"1796","added-records":"3","changed-partition-count":"2","spark.app.id":"local-1736469268719","total-data-files":"2","total-delete-files":"0","total-equality-deletes":"0","total-files-size":"1796","total-position-deletes":"0","total-records":"3"} Time taken: 0.109 seconds, Fetched 1 row(s) Einige Beispiele: -- time travel to October 26, 1986 at 01:21:00 SELECT * FROM my_catalog.my_table TIMESTAMP AS OF '1986-10-26 01:21:00'; -- time travel to snapshot with id 10963874102873 SELECT * FROM prod.db.table VERSION AS OF 10963874102873; Sie können incrementelle Lesungen mithilfe von Snapshots durchführen, aber Sie müssen Spark und nicht Spark-SQL verwenden. scala> spark.read() .format(“iceberg”) .option(“start-snapshot-id”, “10963874102873”) .option(“end-snapshot-id”, “10963874102994”) .load(“s3://iceberg/my_table”) Sie können die Tabelle auch zu einem bestimmten Zeitpunkt oder zu einem bestimmten Snapshot rollen, wie in diesen beiden Beispielen CALL my_catalog.system.rollback_to_timestamp(‘my_table’, TIMESTAMP ‘2022-07-25 12:15:00.000’); CALL my_catalog.system.rollback_to_snapshot(‘my_table’, 527713811620162549); Ausdrucksweise SQL Iceberg unterstützt alle ausdrucksstarken SQL-Befehle wie Zeilenebene löschen, fusionieren und aktualisieren, und das größte, was hervorzuheben ist, ist, dass Iceberg sowohl Eager als auch faule Strategien unterstützt. Wir können alle Dinge kodieren, die wir löschen müssen (z. B. GDPR oder CCPA), aber nicht alle diese Datendateien sofort neu schreiben, wir können faul Müll sammeln, wenn nötig und das hilft bei der Effizienz auf den riesigen Tabellen, die von Iceberg unterstützt werden. Beispielsweise können Sie alle Datensätze in einer Tabelle löschen, die einem bestimmten Predikat entsprechen. DELETE FROM my_catalog.my_table WHERE category = 'video'; Alternativ können Sie CREATE TABLE AS SELECT oder REPLACE TABLE AS SELECT verwenden, um dies zu erreichen: CREATE TABLE my_catalog.my_table_music AS SELECT * FROM my_catalog.my_table WHERE category = 'music'; Sie können zwei Tische sehr einfach miteinander verbinden: MERGE INTO my_catalog.my_data pt USING (SELECT * FROM my_catalog.my_data_new) st ON pt.id = st.id WHEN NOT MATCHED THEN INSERT *; Datentechnik Iceberg ist die Grundlage für den Open-Table-Analytics-Standard und verwendet SQL-Verhalten und wendet die Datenlager-Grundlagen an, um die Probleme zu beheben, bevor wir wissen, dass wir sie haben.Mit der deklarativen Datentechnik können wir Tabellen konfigurieren und keine Sorgen darüber machen, dass jeder Motor den Bedürfnissen der Daten entspricht.Dies entsperrt automatische Optimierung und Empfehlungen.Mit sicheren Kompromissen sind Datendienste möglich, die dazu beitragen, menschliche Babysitting-Datenarbeitslasten zu vermeiden. Um die Historie, Snapshots und andere Metadaten einer Tabelle zu überprüfen, unterstützt Iceberg die Abfrage von Metadaten. Metadatentabellen werden identifiziert, indem Sie den Namen der Metadatentabelle (z. B. Historie) nach dem ursprünglichen Namen der Tabelle in Ihrer Abfrage hinzufügen. Um die Datendateien einer Tabelle anzuzeigen: SELECT * FROM my_catalog.my_table.files; Demonstration der Manifeste: SELECT * FROM my_catalog.my_table.manifests; Tischgeschichte anzeigen SELECT * FROM my_catalog.my_table.history; Anzeigen von Snapshots SELECT * FROM my_catalog.my_table.snapshots; Sie können auch Snapshots und Tabellenverlauf anschließen, um die Anwendung zu sehen, die jeden Snapshot geschrieben hat select h.made_current_at, s.operation, h.snapshot_id, h.is_current_ancestor, s.summary['spark.app.id'] from my_catalog.my_table.history h join my_catalog.my_table.snapshots s on h.snapshot_id = s.snapshot_id order by made_current_at; Nachdem Sie die Grundlagen gelernt haben, laden Sie einige Ihrer Daten in Iceberg ein, und lernen Sie dann mehr von der . Iceberg Dokumentation Integrationen Verschiedene Abfrage- und Ausführungsmaschinen haben Iceberg-Anschlüsse implementiert, was es einfach macht, Iceberg-Tabellen zu erstellen und zu verwalten. , der , der , der , der , der Und die Liste wächst. Sparken sehr gut bald Trino Träumen Schneeflocken Diese umfangreiche Integrationslandschaft gewährleistet, dass Organisationen Apache Iceberg anwenden können, ohne auf eine einzige Verarbeitungsmaschine beschränkt zu sein, was Flexibilität und Flexibilität fördert. in ihrer Dateninfrastruktur. Interoperabilität Interoperabilität Kataloge Iceberg-Kataloge sind für die Verwaltung von Tabellenmetadaten und die Erleichterung von Verbindungen zwischen Datensätzen und Abfrage-Engines von zentraler Bedeutung. Diese Kataloge behalten kritische Informationen wie Tabellenschemata, Snapshots und Partitionslayouts aufrecht, was Icebergs fortschrittliche Funktionen wie Zeitreisen, Schema-Evolution und atomare Updates ermöglicht. Mehrere Katalog-Implementierungen sind verfügbar, um unterschiedliche Bedürfnisse zu erfüllen. Zum Beispiel bietet Polaris eine skalierbare, cloud-native Katalogisierungslösung, die auf moderne Dateninfrastrukturen zugeschnitten ist, während Dremio Nessie Versionen mit Git-ähnlicher Semantik einführt, die es Teams ermöglicht, Änderungen an Daten Es ist cool, Datenseen mit Iceberg und AIStor zu bauen Die wachsende Open-Source-Community und die wachsende Anzahl von Integrationen von mehreren Cloud-Anbietern und Anwendungsrahmen bedeuten, dass es an der Zeit ist, Iceberg ernst zu nehmen und zu experimentieren, zu lernen und zu planen, es in die bestehende Data Lake-Architektur zu integrieren. Wenn Sie mit Iceberg und AIStor beginnen, kontaktieren Sie uns bitte und teilen Sie Ihre Erfahrungen oder stellen Sie Fragen über . Unser Slack Channel