Viele von uns haben aufgrund späterer Anforderungen Änderungen an Daten vorgenommen. Wenn wir es merken, ist ein Zurücksetzen unmöglich. Veränderung ist nicht nur eine Konstante; Es handelt sich um einen wesentlichen Teil der Datenverwaltung, der einen ausgefeilten Ansatz erfordert. Nutzen Sie die Git-ähnliche Funktionalität von Dremios Datenkatalog Nessie.  So wie Git für die Softwareentwicklung von grundlegender Bedeutung ist, benötigen Dateningenieure ähnliche Tools, um parallel zu arbeiten, Datenversionen zu vergleichen, Änderungen an der Produktion voranzutreiben und bei Bedarf Daten zurückzusetzen. Nessie stellt Dateningenieuren ein Git-ähnliches Versionskontrollsystem zur Verwaltung von Datenversionen, Verzweigungen, Zusammenführungen und Commits zur Verfügung. Dies kann sehr hilfreich sein, wenn mehrere Dateningenieure gleichzeitig mit Daten arbeiten und diese transformieren. Mit Nessie kann jeder Ingenieur in separaten Zweigen arbeiten und gleichzeitig eine einzige Informationsquelle in Form des Hauptzweigs beibehalten. Diese Funktionalität ermöglicht es Data-Engineering-Teams, die Datenqualität angesichts ständiger Veränderungen gemeinsam aufrechtzuerhalten.  Dieser Artikel enthält eine Schritt-für-Schritt-Anleitung, die zeigt, wie Nessie, Dremio und MinIO zusammenarbeiten, um die Datenqualität und Zusammenarbeit in Ihren Data-Engineering-Workflows zu verbessern. Egal, ob Sie Dateningenieur, ML-Ingenieur oder einfach nur ein moderner Data-Lake-Enthusiast sind, dieser Blog stattet Sie mit dem Wissen und den Tools aus, die Sie zur effektiven Verbesserung Ihrer Datenversionierungspraktiken benötigen.  Die Grundlagen verstehen: Nessie Workloads  Nessie ermöglicht Git-ähnliche Workloads, mit denen Sie testen, entwickeln und in die Produktion bringen können. Lassen Sie uns einige Schlüsselkonzepte aufschlüsseln:    Genau wie in Git können Sie mit Zweigen in Nessie gleichzeitig an verschiedenen Data-Engineering-Aufgaben arbeiten. Beispielsweise könnten Sie einen Zweig für die Funktionsentwicklung, Datenbereinigung und Datentransformation haben. Jeder Zweig kann seinen eigenen Satz an Datenänderungen haben. Zweige:    In Nessie stellt ein Commit eine Momentaufnahme der Daten zu einem bestimmten Zeitpunkt dar. Wenn Sie Änderungen an Ihren Daten vornehmen, erstellen Sie einen neuen Commit, der diese Änderungen aufzeichnet. Commits sind mit einem bestimmten Branch verknüpft. Wenn Sie Ihre Daten in einen stabilen oder bekanntermaßen guten Zustand zurückversetzen müssen, können Sie mit Nessie ganz einfach einen bestimmten Commit auswählen und auf diese Datenversion zurücksetzen. Dies gewährleistet Datenqualität und -konsistenz. Commits:    : Mit Nessie können Sie die Änderungen von einem Zweig in einen anderen zusammenführen. Dies ähnelt dem Zusammenführen von Codeänderungen in Git. Wenn Sie einen Zweig zusammenführen, werden die in diesem Zweig vorgenommenen Datenänderungen Teil des Zielzweigs. Zusammenführungen  Die Komponenten     ist eine verteilte Analyse-Engine, die als Open-Source-Plattform arbeitet und eine intuitive Self-Service-Schnittstelle für Datenexploration, -transformation und kollaboratives Arbeiten bietet. Sein Design basiert auf  ein Hochgeschwindigkeits-Säulenspeicherformat. Dremio   Apache-Pfeil,  Wir haben bereits untersucht, wie und wie Dremio mit Kubernetes bereitgestellt werden kann  . Weitere Informationen zu Dremio finden Sie unter  .   Fragen Sie Iceberg-Tabellen auf MinIO mit Dremio ab   Dremio-Ressourcen    ist ein leistungsstarker Objektspeicher. Bekannt für sein Außergewöhnliches  Und  MinIO dient als zentrale Komponente beim Aufbau und der Wartung moderner Data-Lake-Infrastrukturen. Mit MinIO können Architekten große Datenmengen vor Ort, auf Bare-Metal, am Edge oder in einer der öffentlichen Clouds effizient verwalten und speichern. MinIO   Geschwindigkeit   Skalierbarkeit  ist ein offenes Tabellenformat, das sich für die Verwaltung großer Datenmengen in Data Lakes eignet. Einzigartige Funktionen wie Zeitreisen, dynamische Schemaentwicklung und Partitionsentwicklung machen es bahnbrechend und ermöglichen es Abfrage-Engines, gleichzeitig sicher und effizient mit denselben Daten zu arbeiten. Sehen  Weitere Informationen zu den Funktionen von Iceberg finden Sie hier.   Apache-Eisberg    MinIO Der ultimative Leitfaden zur Lakehouse-Architektur mit Iceberg und  Erste Schritte  Du wirst das brauchen  Und  für dieses Tutorial. Der einfachste Weg, beides zu bekommen, wenn Sie sie noch nicht haben, ist die Installation von Docker Desktop.   Docker-Engine   Docker Compose  Dieser Teil des Tutorials basiert auf Dremios  . Sie können das Repo für dieses Projekt erhalten  .   Blogeintrag   Hier  Öffnen Sie zunächst ein Terminal, navigieren Sie zu dem Ordner, in dem Sie das Repo geklont/heruntergeladen haben, und führen Sie den folgenden Befehl aus, um Dremio zu starten.   docker-compose up dremio  Warten Sie einen Moment und navigieren Sie dann zu   um auf Dremio zuzugreifen. Aktualisieren Sie die angeforderten Felder und klicken Sie dann auf Weiter.  http://localhost:9047  Führen Sie als Nächstes den folgenden Befehl aus, um MinIO zu starten.   docker-compose up minio  Der letzte Befehl   unten startet Nessie. docker-compose up   docker-compose up nessie  Navigieren Sie zu   um sich mit dem Benutzernamen und Passwort   bei MinIO anzumelden. Sie werden aufgefordert, einen Bucket zu erstellen.  http://localhost:9001 minioadmin:minioadmin  Erstellen Sie einen mit dem Namen   .  iceberg-datalake  Gehen Sie dann zurück zu Dremio unter   , klicken Sie auf Quelle hinzufügen und wählen Sie Nessie aus.  http://localhost:9047  Legen Sie den Namen auf   fest nessie  Legen Sie die Endpunkt-URL auf   fest http://nessie:19120/api/v2  Setzen Sie die Authentifizierung auf    none  Klicken Sie noch nicht auf Speichern. Klicken Sie stattdessen im Navigationsbereich links auf „Speicher“. MinIO ist ein S3-API-kompatibler Objektspeicher und kann dieselben Verbindungspfade wie AWS S3 verwenden.  Legen Sie als Zugriffsschlüssel   fest minioadmin  Legen Sie als Ihren geheimen Schlüssel   fest minioadmin  Legen Sie den Root-Pfad auf   fest  /iceberg-datalake  Scrollen Sie nach unten, um zur nächsten Anleitung zu gelangen.  Klicken Sie unter   auf die Schaltfläche   , um die folgenden Eigenschaften zu erstellen und zu konfigurieren. Connection Properties Add Property    auf  fs.s3a.path.style.access true    zu  fs.s3a.endpoint minio:9000    auf   setzen dremio.s3.compat true  Deaktivieren Sie   .  Encrypt connection  Klicken Sie dann auf Speichern. Sie sollten jetzt Nessie-Kataloge in Ihren Datenquellen sehen.   Erstellen Sie eine Datenquelle  Navigieren Sie in Dremio auf der linken Seite zu SQL Runner. Stellen Sie sicher, dass   im oberen rechten Bereich des Texteditors auf unsere Nessie-Quelle eingestellt ist. Andernfalls müssen Sie zum Ausführen dieser Abfrage auf den Kontext wie   und nicht nur auf   verweisen. Kopieren Sie die folgende SQL-Anweisung, fügen Sie sie ein und führen Sie sie aus. Context nessie.SalesData SalesData     CREATE TABLE SalesData (    id INT,    product_name VARCHAR,    sales_amount DECIMAL,    transaction_date DATE ) PARTITION BY (transaction_date);  Führen Sie die folgende Abfrage aus, um Daten in die soeben erstellte Tabelle einzufügen.     INSERT INTO SalesData (id, product_name, sales_amount, transaction_date) VALUES    (1, 'ProductA', 1500.00, '2023-10-15'),    (2, 'ProductB', 2000.00, '2023-10-15'),    (3, 'ProductA', 1200.00, '2023-10-16'),    (4, 'ProductC', 1800.00, '2023-10-16'),    (5, 'ProductB', 2200.00, '2023-10-17');  Navigieren Sie zurück zu MinIO, um zu sehen, dass Ihr Data Lake mit den Iceberg-Tabellen gefüllt wurde.   Verzweigung und Verschmelzung mit Nessie  Kehren Sie zu Dremio unter   zurück. Beginnen Sie mit der Abfrage einer Tabelle im Hauptzweig mithilfe der   Syntax: http://localhost:9047 AT BRANCH     SELECT * FROM nessie.SalesData AT BRANCH main;  Erstellen Sie einen ETL-Zweig (Extract Transform and Load), damit Sie mit Daten experimentieren und diese transformieren können, ohne die Produktion zu beeinträchtigen.   CREATE BRANCH etl_06092023 in nessie  Fügen Sie im ETL-Zweig neue Daten in die Tabelle ein:   USE BRANCH etl_06092023 in nessie; INSERT INTO nessie.SalesData (id, product_name, sales_amount, transaction_date) VALUES (6, 'ProductC', 1400.00, '2023-10-18');  Bestätigen Sie die sofortige Verfügbarkeit der neuen Daten innerhalb der ETL-Zweigstelle:   SELECT * FROM nessie.SalesData AT BRANCH etl_06092023;  Beachten Sie die Isolierung von Änderungen von Benutzern im Hauptzweig:   SELECT * FROM nessie.SalesData AT BRANCH main;  Führen Sie die Änderungen aus dem ETL-Zweig wieder in den Hauptzweig ein:   MERGE BRANCH etl_06092023 INTO main in nessie;  Wählen Sie den Hauptzweig erneut aus, um zu sehen, dass die Änderungen tatsächlich zusammengeführt wurden.   SELECT * FROM nessie.SalesData AT BRANCH main  Diese Verzweigungsstrategie ermöglicht es Dateningenieuren, zahlreiche Transaktionen über mehrere Tabellen hinweg unabhängig abzuwickeln. Wenn sie bereit sind, können Dateningenieure diese Transaktionen in einer einzigen, umfassenden Multi-Table-Transaktion innerhalb der Hauptverzweigung zusammenführen.  Abschluss  Dieser Blog-Beitrag befasste sich eingehend mit der Leistungsfähigkeit der Git-ähnlichen Versionskontrolle im Data Engineering und betonte, wie  verwaltet Datenversionen, Verzweigungen und Zusammenführungen nahtlos. Diese Schritt-für-Schritt-Anleitung zeigt, wie Nessie in Zusammenarbeit mit Dremio und MinIO als Objektspeicher-Grundlage die Datenqualität und Zusammenarbeit in Data-Engineering-Workflows verbessert.   Nessie  Teilen Sie uns mit, wie Ihr Data Lakehouse aussieht  oder weiter  .   hallo@minio.io   unser Slack-Kanal  Erscheint auch   . hier

Developers do. Download MinIO and see for yourself. 

MinIO

Dieses Audio ist in der Originalsprache der Geschichte produziert!

Data-Lake-Rätsel aufgedeckt: Nessie, Dremio und MinIO sorgen für Aufsehen

About Author

KOMMENTARE

Hängeetiketten

DIESER ARTIKEL WURDE VORGESTELLT IN

Related Stories

HackerNoon Decoded 2024: Celebrating Our Tech Stories Community!

HackerNoon Decoded 2024: Wir feiern die Community unserer Technologieunternehmen!

HackerNoon Decoded 2024: Celebrating Our Programming Community!

Starting 2025 with New Features: Settings Dashboard, HackerNoon Decoded, Updated Search UI, and More

HackerNoon Decoded 2024: Celebrating Our Tech Stories Community!

HackerNoon Decoded 2024: Wir feiern die Community unserer Technologieunternehmen!

HackerNoon Decoded 2024: Celebrating Our Programming Community!

Starting 2025 with New Features: Settings Dashboard, HackerNoon Decoded, Updated Search UI, and More

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps