Viele von uns haben aufgrund späterer Anforderungen Änderungen an Daten vorgenommen. Wenn wir es merken, ist ein Zurücksetzen unmöglich. Veränderung ist nicht nur eine Konstante; Es handelt sich um einen wesentlichen Teil der Datenverwaltung, der einen ausgefeilten Ansatz erfordert. Nutzen Sie die Git-ähnliche Funktionalität von Dremios Datenkatalog Nessie. So wie Git für die Softwareentwicklung von grundlegender Bedeutung ist, benötigen Dateningenieure ähnliche Tools, um parallel zu arbeiten, Datenversionen zu vergleichen, Änderungen an der Produktion voranzutreiben und bei Bedarf Daten zurückzusetzen. Nessie stellt Dateningenieuren ein Git-ähnliches Versionskontrollsystem zur Verwaltung von Datenversionen, Verzweigungen, Zusammenführungen und Commits zur Verfügung. Dies kann sehr hilfreich sein, wenn mehrere Dateningenieure gleichzeitig mit Daten arbeiten und diese transformieren. Mit Nessie kann jeder Ingenieur in separaten Zweigen arbeiten und gleichzeitig eine einzige Informationsquelle in Form des Hauptzweigs beibehalten. Diese Funktionalität ermöglicht es Data-Engineering-Teams, die Datenqualität angesichts ständiger Veränderungen gemeinsam aufrechtzuerhalten. Dieser Artikel enthält eine Schritt-für-Schritt-Anleitung, die zeigt, wie Nessie, Dremio und MinIO zusammenarbeiten, um die Datenqualität und Zusammenarbeit in Ihren Data-Engineering-Workflows zu verbessern. Egal, ob Sie Dateningenieur, ML-Ingenieur oder einfach nur ein moderner Data-Lake-Enthusiast sind, dieser Blog stattet Sie mit dem Wissen und den Tools aus, die Sie zur effektiven Verbesserung Ihrer Datenversionierungspraktiken benötigen. Die Grundlagen verstehen: Nessie Workloads Nessie ermöglicht Git-ähnliche Workloads, mit denen Sie testen, entwickeln und in die Produktion bringen können. Lassen Sie uns einige Schlüsselkonzepte aufschlüsseln: Genau wie in Git können Sie mit Zweigen in Nessie gleichzeitig an verschiedenen Data-Engineering-Aufgaben arbeiten. Beispielsweise könnten Sie einen Zweig für die Funktionsentwicklung, Datenbereinigung und Datentransformation haben. Jeder Zweig kann seinen eigenen Satz an Datenänderungen haben. Zweige: In Nessie stellt ein Commit eine Momentaufnahme der Daten zu einem bestimmten Zeitpunkt dar. Wenn Sie Änderungen an Ihren Daten vornehmen, erstellen Sie einen neuen Commit, der diese Änderungen aufzeichnet. Commits sind mit einem bestimmten Branch verknüpft. Wenn Sie Ihre Daten in einen stabilen oder bekanntermaßen guten Zustand zurückversetzen müssen, können Sie mit Nessie ganz einfach einen bestimmten Commit auswählen und auf diese Datenversion zurücksetzen. Dies gewährleistet Datenqualität und -konsistenz. Commits: : Mit Nessie können Sie die Änderungen von einem Zweig in einen anderen zusammenführen. Dies ähnelt dem Zusammenführen von Codeänderungen in Git. Wenn Sie einen Zweig zusammenführen, werden die in diesem Zweig vorgenommenen Datenänderungen Teil des Zielzweigs. Zusammenführungen Die Komponenten ist eine verteilte Analyse-Engine, die als Open-Source-Plattform arbeitet und eine intuitive Self-Service-Schnittstelle für Datenexploration, -transformation und kollaboratives Arbeiten bietet. Sein Design basiert auf ein Hochgeschwindigkeits-Säulenspeicherformat. Dremio Apache-Pfeil, Wir haben bereits untersucht, wie und wie Dremio mit Kubernetes bereitgestellt werden kann . Weitere Informationen zu Dremio finden Sie unter . Fragen Sie Iceberg-Tabellen auf MinIO mit Dremio ab Dremio-Ressourcen ist ein leistungsstarker Objektspeicher. Bekannt für sein Außergewöhnliches Und MinIO dient als zentrale Komponente beim Aufbau und der Wartung moderner Data-Lake-Infrastrukturen. Mit MinIO können Architekten große Datenmengen vor Ort, auf Bare-Metal, am Edge oder in einer der öffentlichen Clouds effizient verwalten und speichern. MinIO Geschwindigkeit Skalierbarkeit ist ein offenes Tabellenformat, das sich für die Verwaltung großer Datenmengen in Data Lakes eignet. Einzigartige Funktionen wie Zeitreisen, dynamische Schemaentwicklung und Partitionsentwicklung machen es bahnbrechend und ermöglichen es Abfrage-Engines, gleichzeitig sicher und effizient mit denselben Daten zu arbeiten. Sehen Weitere Informationen zu den Funktionen von Iceberg finden Sie hier. Apache-Eisberg MinIO Der ultimative Leitfaden zur Lakehouse-Architektur mit Iceberg und Erste Schritte Du wirst das brauchen Und für dieses Tutorial. Der einfachste Weg, beides zu bekommen, wenn Sie sie noch nicht haben, ist die Installation von Docker Desktop. Docker-Engine Docker Compose Dieser Teil des Tutorials basiert auf Dremios . Sie können das Repo für dieses Projekt erhalten . Blogeintrag Hier Öffnen Sie zunächst ein Terminal, navigieren Sie zu dem Ordner, in dem Sie das Repo geklont/heruntergeladen haben, und führen Sie den folgenden Befehl aus, um Dremio zu starten. docker-compose up dremio Warten Sie einen Moment und navigieren Sie dann zu um auf Dremio zuzugreifen. Aktualisieren Sie die angeforderten Felder und klicken Sie dann auf Weiter. http://localhost:9047 Führen Sie als Nächstes den folgenden Befehl aus, um MinIO zu starten. docker-compose up minio Der letzte Befehl unten startet Nessie. docker-compose up docker-compose up nessie Navigieren Sie zu um sich mit dem Benutzernamen und Passwort bei MinIO anzumelden. Sie werden aufgefordert, einen Bucket zu erstellen. http://localhost:9001 minioadmin:minioadmin Erstellen Sie einen mit dem Namen . iceberg-datalake Gehen Sie dann zurück zu Dremio unter , klicken Sie auf Quelle hinzufügen und wählen Sie Nessie aus. http://localhost:9047 Legen Sie den Namen auf fest nessie Legen Sie die Endpunkt-URL auf fest http://nessie:19120/api/v2 Setzen Sie die Authentifizierung auf none Klicken Sie noch nicht auf Speichern. Klicken Sie stattdessen im Navigationsbereich links auf „Speicher“. MinIO ist ein S3-API-kompatibler Objektspeicher und kann dieselben Verbindungspfade wie AWS S3 verwenden. Legen Sie als Zugriffsschlüssel fest minioadmin Legen Sie als Ihren geheimen Schlüssel fest minioadmin Legen Sie den Root-Pfad auf fest /iceberg-datalake Scrollen Sie nach unten, um zur nächsten Anleitung zu gelangen. Klicken Sie unter auf die Schaltfläche , um die folgenden Eigenschaften zu erstellen und zu konfigurieren. Connection Properties Add Property auf fs.s3a.path.style.access true zu fs.s3a.endpoint minio:9000 auf setzen dremio.s3.compat true Deaktivieren Sie . Encrypt connection Klicken Sie dann auf Speichern. Sie sollten jetzt Nessie-Kataloge in Ihren Datenquellen sehen. Erstellen Sie eine Datenquelle Navigieren Sie in Dremio auf der linken Seite zu SQL Runner. Stellen Sie sicher, dass im oberen rechten Bereich des Texteditors auf unsere Nessie-Quelle eingestellt ist. Andernfalls müssen Sie zum Ausführen dieser Abfrage auf den Kontext wie und nicht nur auf verweisen. Kopieren Sie die folgende SQL-Anweisung, fügen Sie sie ein und führen Sie sie aus. Context nessie.SalesData SalesData CREATE TABLE SalesData (    id INT,    product_name VARCHAR,    sales_amount DECIMAL,    transaction_date DATE ) PARTITION BY (transaction_date); Führen Sie die folgende Abfrage aus, um Daten in die soeben erstellte Tabelle einzufügen. INSERT INTO SalesData (id, product_name, sales_amount, transaction_date) VALUES    (1, 'ProductA', 1500.00, '2023-10-15'),    (2, 'ProductB', 2000.00, '2023-10-15'),    (3, 'ProductA', 1200.00, '2023-10-16'),    (4, 'ProductC', 1800.00, '2023-10-16'),    (5, 'ProductB', 2200.00, '2023-10-17'); Navigieren Sie zurück zu MinIO, um zu sehen, dass Ihr Data Lake mit den Iceberg-Tabellen gefüllt wurde. Verzweigung und Verschmelzung mit Nessie Kehren Sie zu Dremio unter zurück. Beginnen Sie mit der Abfrage einer Tabelle im Hauptzweig mithilfe der Syntax: http://localhost:9047 AT BRANCH SELECT * FROM nessie.SalesData AT BRANCH main; Erstellen Sie einen ETL-Zweig (Extract Transform and Load), damit Sie mit Daten experimentieren und diese transformieren können, ohne die Produktion zu beeinträchtigen. CREATE BRANCH etl_06092023 in nessie Fügen Sie im ETL-Zweig neue Daten in die Tabelle ein: USE BRANCH etl_06092023 in nessie; INSERT INTO nessie.SalesData (id, product_name, sales_amount, transaction_date) VALUES (6, 'ProductC', 1400.00, '2023-10-18'); Bestätigen Sie die sofortige Verfügbarkeit der neuen Daten innerhalb der ETL-Zweigstelle: SELECT * FROM nessie.SalesData AT BRANCH etl_06092023; Beachten Sie die Isolierung von Änderungen von Benutzern im Hauptzweig: SELECT * FROM nessie.SalesData AT BRANCH main; Führen Sie die Änderungen aus dem ETL-Zweig wieder in den Hauptzweig ein: MERGE BRANCH etl_06092023 INTO main in nessie; Wählen Sie den Hauptzweig erneut aus, um zu sehen, dass die Änderungen tatsächlich zusammengeführt wurden. SELECT * FROM nessie.SalesData AT BRANCH main Diese Verzweigungsstrategie ermöglicht es Dateningenieuren, zahlreiche Transaktionen über mehrere Tabellen hinweg unabhängig abzuwickeln. Wenn sie bereit sind, können Dateningenieure diese Transaktionen in einer einzigen, umfassenden Multi-Table-Transaktion innerhalb der Hauptverzweigung zusammenführen. Abschluss Dieser Blog-Beitrag befasste sich eingehend mit der Leistungsfähigkeit der Git-ähnlichen Versionskontrolle im Data Engineering und betonte, wie verwaltet Datenversionen, Verzweigungen und Zusammenführungen nahtlos. Diese Schritt-für-Schritt-Anleitung zeigt, wie Nessie in Zusammenarbeit mit Dremio und MinIO als Objektspeicher-Grundlage die Datenqualität und Zusammenarbeit in Data-Engineering-Workflows verbessert. Nessie Teilen Sie uns mit, wie Ihr Data Lakehouse aussieht oder weiter . hallo@minio.io unser Slack-Kanal Erscheint auch . hier

Dieses Audio ist in der Originalsprache der Geschichte produziert!

Zu lang; Lesen

Developers: Build Less. Deliver More. [Learn how]	

Data-Lake-Rätsel aufgedeckt: Nessie, Dremio und MinIO sorgen für Aufsehen

Zu lang; Lesen

MinIO

About Author

Hängeetiketten

Languages

DIESER ARTIKEL WURDE VORGESTELLT IN...

Data-Lake-Rätsel aufgedeckt: Nessie, Dremio und MinIO sorgen für Aufsehen

Zu lang; Lesen

MinIO

About Author

Hängeetiketten

Languages

DIESER ARTIKEL WURDE VORGESTELLT IN...

ÄHNLICHE BEITRÄGE