In digitalen Gesundheitsdatenplattformen, Business-Entscheidungen, regulatorische Berichterstattung, Machine Learning-Modelle und Executive-Dashboards hängen alle von einer Sache ab: . data quality is no longer a nice-to-have trustworthy data Dennoch behandeln viele Data-Engineering-Teams die Datenqualität immer noch als Nachdenken und validieren Daten erst, nachdem sie sich bereits nach unten verbreitet haben. Databricks führte eine starke Veränderung in dieser Denkweise durch . Declarative Pipelines using Delta Live Tables (DLT) Anstatt komplexe Validierungslogik manuell zu schreiben, können Ingenieure jetzt und lassen Sie die Plattform es automatisch durchsetzen, überwachen und steuern. declare what good data looks like Dieser Blog erforscht Warum es so wichtig ist und wie man Pipelines auf Produktionsebene mit diesem Ansatz entwirft. how declarative data quality works in Databricks The Traditional Problem with Data Quality In traditionellen ETL-Pipelines in der Gesundheitsversorgung wird die Datenqualität in der Regel mithilfe von: 
 
 
 
 
 Custom IF Bedingungen getrennte Validierungsarbeiten Manuelle Logging Tische Post-Load Versöhnungsanfragen Obwohl dieser Ansatz zunächst funktionieren kann, breitet er sich schnell im Maßstab ab: 
 
 
 
 
 Validierungslogik wird über Notebooks verteilt Fehler sind schwer zurück zu den Ursachen zurückzuführen Metriken sind über Pipelines hinweg inkonsistent Schlechte Daten werden kompliziert Am wichtigsten ist, wo der Einfluss viel teurer ist. bad data often reaches downstream systems silently Deklarative Pipelines lösen dieses Problem, indem sie die Datenqualität verbessern Die Pipeline selbst. a first-class citizen What Is Declarative Data Quality? Deklarative Datenqualität bedeutet definieren Nicht die Verfahrenslogik. rules and expectations Anstatt zu sagen: “ ” Überprüfen Sie, ob der Betrag positiv ist und dann den Rekord fallen lassen. Überprüfen Sie, ob der Betrag positiv ist und dann den Rekord fallen lassen. Du sagst: “ ” Der Betrag muss immer größer als Null sein. Der Betrag muss immer größer als Null sein. In Databricks wird dies mit Hilfe von . Delta Live Tables (DLT) Expectations Erwartungen ermöglichen es Ihnen, Datenqualitätsregeln direkt an Tabellen anzuschließen, wodurch die Pipeline: 
 
 
 
 Selbstdokumentation Konsistente Leichter zu halten Delta Live Tables and Expectations Delta Live Tables bieten einen deklarativen Rahmen für den Aufbau von Batch- und Streaming-Pipelines. , which are evaluated automatically during pipeline execution. Expectations DLT unterstützt drei Erwartungsverhaltensweisen: 1. Expect (Monitor Only) Dieser Modus verfolgt Datenqualitätsprobleme, erlaubt jedoch die Übertragung aller Datensätze. Verwenden Sie Fälle: 
 
 
 Überwachung von Upstream-Daten Gesundheit Schrittweise Umsetzung der Qualitätsregeln @dlt.expect("valid_date", "order_date IS NOT NULL")
 2. Expect or Drop Datensätze, die gegen die Regel verstoßen, werden automatisch aus dem Datensatz entfernt. Verwenden Sie Fälle: 
 
 
 Entfernen ungültiger oder beschädigter Datensätze Aufrechterhaltung der Sauberkeit in kurierten Schichten @dlt.expect_or_drop("amount_positive", "amount > 0")
 3. Expect or Fail Die Pipeline scheitert sofort, wenn die Regel verletzt wird. Verwenden Sie Fälle: 
 
 
 Geschäftskritische Einschränkungen Regulatorische oder finanzielle Daten @dlt.expect_or_fail("order_id_present", "order_id IS NOT NULL")
 Diese klare Trennung ermöglicht es den Teams, . apply the right level of strictness at the right stage Data Quality in the Medallion Architecture Deklarative Datenqualität funktioniert am besten in Kombination mit . Bronze–Silver–Gold (Medallion) Architecture Bronze Layer – Raw Data Die Bronzeschicht konzentriert sich auf die Zuverlässigkeit der Einnahme, nicht auf die Korrektheit. 
 
 
 
 Schema im Lesen Minimale Validierung Rohdaten speichern Deklarative Erwartungen werden hier normalerweise vermieden, mit Ausnahme der grundlegenden technischen Kontrollen. Silver Layer – Validated and Cleaned Data Der silberne Schleier ist wo . most data quality rules live Typische Regeln umfassen: 
 
 
 
 
 Nicht null Prüfungen Range Validierungen Referenzintegrität Deduplizierung Zum Beispiel: @dlt.table
@dlt.expect_or_drop("valid_amount", "amount > 0")
@dlt.expect("customer_present", "customer_id IS NOT NULL")
def silver_sales():
    return dlt.read("bronze_sales")
 Dadurch wird sichergestellt, dass nur vertrauenswürdige Datenflüsse nach vorne fließen und gleichzeitig die Sichtbarkeit in Qualitätsfragen erhalten bleibt. Gold Layer – Business-Ready Data Die Gold-Schicht dient der Analyse, Berichterstattung und maschinellem Lernen. Hier sind die Erwartungen streng: 
 
 
 
 Business-Schlüssel müssen existieren Aggregationen müssen konsistent sein Keine Toleranz für ungültige Aufzeichnungen Fehlerhafte Erwartungen werden häufig zum Schutz der Verbraucher eingesetzt. Built-In Observability and Metrics Einer der größten Vorteile der deklarativen Datenqualität in Databricks ist . automatic observability Für jede Erwartung erfasst Databricks: 
 
 
 
 
 Gesamtaufzeichnungen verarbeitet Vergangene und gescheiterte Rekorde zählen Verlorene Rekorde Fehlergründe Diese Metriken sind über: 
 
 
 
 Über Delta Live Tables Event Log Tische Databricks Systemtabellen Dadurch wird der Bedarf an benutzerdefinierten Überwachungsrahmen beseitigt und die Auditfähigkeit erheblich verbessert. Quarantine Pattern: Don’t Lose Bad Data Schlechte Aufzeichnungen fallen zu lassen, reicht nicht immer aus. In regulierten oder unternehmerischen Umgebungen müssen Teams häufig . retain invalid data for analysis and reprocessing Ein gemeinsames Muster besteht darin, fehlgeschlagene Datensätze in eine Quarantänentabelle zu schreiben: @dlt.table
def quarantine_sales():
    return dlt.read("bronze_sales") \
        .filter("amount <= 0 OR customer_id IS NULL")
 Vorteile dieses Ansatzes: 
 
 
 
 Analyse der Wurzelursache SLA und Verkäufer Problem Tracking Wiederverarbeitung nach Fixierungen Why Declarative Data Quality Scales Better 
 
 
 
 
 
 
 
 
 
 Traditional   ETL 
 Declarative   Pipelines 
 
 
 
 Manual   validation code 
 Built-in   expectations 
 
 
 
 Hard   to audit 
 Automatic   metrics 
 
 
 
 Complex   error handling 
 Clear   rule enforcement 
 
 
 
 Reactive   fixes 
 Preventive   design Manueller Validierungskodex Erwartungen aufgebaut schwer zu überprüfen Automatische Metriken Komplexe Fehlerbehandlung Klare Durchsetzungsregeln Reaktive Fixierung Vorbeugendes Design Deklarative Pipelines reduzieren die Komplexität des Codes und erhöhen gleichzeitig die Zuverlässigkeit – eine seltene, aber wertvolle Kombination. Common Mistakes to Avoid 
 
 
 
 
 Anwendung strenger Regeln in der Bronzeschicht Mit expect_or_fail überall Karantäne Tische ignorieren Datenqualität als einmalige Einrichtung behandeln Deklarative Qualität funktioniert am besten, wenn Regeln gelten . evolve with the data and business requirements Sample Data and Expected Output Um die deklarative Datenqualität konkreter zu machen, gehen wir durch eine mithilfe von Stichprobendaten und sehen, wie die Erwartungen die Ausgabe in jeder Schicht beeinflussen. simple end-to-end example Sample Input Data (Bronze Layer) Angenommen, dies sind Rohverkaufsdaten, die aus einem Quellsystem in das . Bronze table 
 
 
 
 
 
 
 
 
 
 
 
 
 order_id 
 customer_id 
 amount 
 order_date 
 
 
 
 
 
 101 
 C001 
 250 
 2024-11-01 
 
 
 
 
 
 102 
 C002 
 -50 
 2024-11-01 
 
 
 
 
 
 103 
 NULL 
 120 
 2024-11-02 
 
 
 
 
 
 104 
 C003 
 0 
 2024-11-02 
 
 
 
 
 
 NULL 
 C004 
 300 
 2024-11-03 101 C001 250 2024 bis 11-01 102 C002 -50 2024 bis 11-01 103 Null ist 120 2024 bis 11-02 104 C003 0 2024 bis 11-02 Null ist C004 300 2024 bis 11-03 In dieser Phase: 
 
 
 Keine Aufzeichnungen werden abgelehnt Daten werden als-is für die Rückverfolgbarkeit gespeichert Data Quality Rules Applied (Silver Layer) In der Silberebene wenden wir deklarative Erwartungen an: 
 
 
 Betrag > 0 → expect_or_drop customer_id IS NOT NULL → expect (nur Monitor) @dlt.table
@dlt.expect_or_drop("amount_positive", "amount > 0")
@dlt.expect("customer_not_null", "customer_id IS NOT NULL")
def silver_sales():
    return dlt.read("bronze_sales")
 Silver Output Table 
 
 
 
 
 
 
 
 
 
 
 order_id 
 customer_id 
 amount 
 quality_status 
 
 
 
 
 
 101 
 C001 
 250 
 PASS 
 
 
 
 
 
 103 
 NULL 
 120 
 WARN 
 
 
 
 
 
 NULL 
 C004 
 300 
 WARN 101 C001 250 Passieren 103 Null ist 120 Warnung Null ist C004 300 Warnung Verlorene Aufzeichnungen : 
 
 
 Befehl 102 (betrag = -50) Befehl 104 (betrag = 0) DLT automatisch aufzeichnen und . how many rows were dropped which rule caused it Quarantine Table Output Anstatt verlorene Daten zu verlieren, erfassen wir sie in einer Quarantäne-Tabelle. @dlt.table
def silver_sales_quarantine():
    return dlt.read("bronze_sales") \
        .filter("amount <= 0")
 Quarantine Output 
 
 
 
 
 
 
 
 
 
 
 order_id 
 customer_id 
 amount 
 order_date 
 Reason 
 
 
 
 
 
 
 102 
 C002 
 -50 
 2024-11-01 
 Invalid   amount 
 
 
 
 
 
 
 104 
 C003 
 0 
 2024-11-02 
 Invalid   amount 102 C002 -50 2024 bis 11-01 Ungültiger Betrag 104 C003 0 2024 bis 11-02 Ungültiger Betrag Diese Tabelle ist nützlich für: 
 
 
 
 Analyse der Wurzelursache Anbieter- oder Upstream-Systemfeedback Wiederverarbeitung nach Fixierungen Business Rules Applied (Gold Layer) In der Gold-Schicht gelten strenge Geschäftsregeln: • Order_id ist nicht Null expect_or_fail @dlt.table
@dlt.expect_or_fail("order_id_present", "order_id IS NOT NULL")
def gold_sales():
    return dlt.read("silver_sales") \
        .groupBy("customer_id") \
        .agg(sum("amount").alias("total_spend"))
 Gold Output Table 
 
 
 
 
 
 
 customer_id 
 total_spend 
 
 
 
 C001 
 250 C001 250 Pipeline Ausfall ausgelöst: 
 
 Record with order_id = NULL verursacht das Scheitern der Pipeline Dies schützt downstreRecordsam Verbraucher durch . preventing incorrect aggregations What DLT Captures Automatically Für dieses Beispiel verfolgt Databricks automatisch: 
 
 
 
 
 Gesamtaufzeichnungen eingespielt: 5 Rekorde in Silber gefallen: 2 Erwartungsverletzungen nach Regel Pipeline Ausfall Gründe in Gold Alle Metriken sind in der Mit null custom code. DLT UI and event logs Final Thoughts Dieses einfache Beispiel zeigt die wirkliche Macht der deklarativen Datenqualität: 
 
 
 
 Regeln sind klar und selbstdokumentierend Schlechte Daten werden kontrolliert, nicht verborgen Ausgaben sind vorhersehbar und auditierbar Deklarative Pipelines gewährleisten, dass jeder nachgelagerte Datensatz auf Damit sind sie ideal für Datenplattformen auf Produktionsebene. explicit trust guarantees

Read My Stories

Dieses Audio ist in der Originalsprache der Geschichte produziert!

Architektur vertrauenswürdiger Gesundheitsdatenplattformen mit Declarative Pipelines

About Author

KOMMENTARE

Hängeetiketten

DIESER ARTIKEL WURDE VORGESTELLT IN

Related Stories

HackerNoon Decoded 2024: Celebrating Our Life Hacking Community!

HackerNoon Decoded 2024: Wir feiern unsere Gaming-Community!

HackerNoon Decoded 2024: Celebrating Our Programming Community!

HackerNoon Decoded 2024: Celebrating Our Cybersecurity Community!

HackerNoon Decoded 2024: Celebrating Our Life Hacking Community!

HackerNoon Decoded 2024: Wir feiern unsere Gaming-Community!

HackerNoon Decoded 2024: Celebrating Our Programming Community!

HackerNoon Decoded 2024: Celebrating Our Cybersecurity Community!

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps