Dans les plateformes de données numériques de santé, Les décisions commerciales, les rapports réglementaires, les modèles d’apprentissage automatique et les tableaux de bord exécutifs dépendent d’une chose : . data quality is no longer a nice-to-have trustworthy data Cependant, de nombreuses équipes d'ingénierie de données traitent encore la qualité des données comme une réflexion postérieure, validant les données seulement après qu'elles aient déjà été propagées en aval. Databricks a introduit un changement puissant dans cette mentalité à travers . Declarative Pipelines using Delta Live Tables (DLT) Au lieu d'écrire manuellement une logique de validation complexe, les ingénieurs peuvent maintenant et laissez la plateforme l’appliquer, le surveiller et le gouverner automatiquement. declare what good data looks like Ce blog explore Pourquoi cela compte, et comment concevoir des pipelines de niveau de production en utilisant cette approche. how declarative data quality works in Databricks The Traditional Problem with Data Quality Dans les pipelines ETL de soins de santé traditionnels, la qualité des données est généralement traitée en utilisant: 
 
 
 
 
 Couture si les conditions Travaux de validation séparés Les tables manuelles Requêtes de réconciliation post-load Bien que cette approche puisse fonctionner au début, elle se décompose rapidement à l'échelle: 
 
 
 
 
 La logique de validation devient dispersée sur les ordinateurs Les échecs sont difficiles à retrouver à la cause fondamentale Les métriques sont incohérentes à travers les pipelines Le traitement des mauvaises données devient complexe Le plus important, Là où l’impact est beaucoup plus cher. bad data often reaches downstream systems silently Les pipelines déclaratives résolvent ce problème en rendant la qualité des données du gazoduc lui-même. a first-class citizen What Is Declarative Data Quality? La qualité des données signifie définir Pas de logique de procédure. rules and expectations Au lieu de dire : “ ” Vérifiez si le montant est positif, puis laissez tomber le record. Vérifiez si le montant est positif, puis laissez tomber le record. Vous dites : “ ” Le montant doit toujours être supérieur à zéro. Le montant doit toujours être supérieur à zéro. Dans Databricks, cela est mis en œuvre en utilisant . Delta Live Tables (DLT) Expectations Les attentes vous permettent d'attacher des règles de qualité des données directement aux tables, ce qui fait le pipeline: 
 
 
 
 Autodocumentation cohérente plus facile à maintenir Delta Live Tables and Expectations Delta Live Tables fournit un cadre déclaratif pour la construction de pipelines de lots et de flux. , qui sont évaluées automatiquement lors de l'exécution du pipeline. Expectations Le DLT prend en charge trois comportements d’attente : 1. Expect (Monitor Only) Ce mode suit les problèmes de qualité des données, mais permet le passage de tous les enregistrements. Utiliser les cas : 
 
 
 Surveillance de la santé des données upstream Déploiement progressif des règles de qualité @dlt.expect("valid_date", "order_date IS NOT NULL")
 2. Expect or Drop Les enregistrements qui violent la règle sont automatiquement supprimés du groupe de données. Utiliser les cas : 
 
 
 Supprimer des fichiers non valides ou corrompus Appliquer la propreté dans les couches curées @dlt.expect_or_drop("amount_positive", "amount > 0")
 3. Expect or Fail Le pipeline échoue immédiatement si la règle est violée. Utiliser les cas : 
 
 
 Les contraintes commerciales critiques Données financières ou réglementaires @dlt.expect_or_fail("order_id_present", "order_id IS NOT NULL")
 Cette distinction permet aux équipes de . apply the right level of strictness at the right stage Data Quality in the Medallion Architecture La qualité des données déclaratives fonctionne le mieux lorsqu'elle est combinée avec . Bronze–Silver–Gold (Medallion) Architecture Bronze Layer – Raw Data La couche de bronze se concentre sur la fiabilité de l'ingestion, pas sur la correction. 
 
 
 
 Programme de lecture Validation minimale Préserver les données brutes Les attentes déclaratives sont généralement évitées ici, à l'exception des contrôles techniques de base. Silver Layer – Validated and Cleaned Data La couche d'argent est où . most data quality rules live Les règles typiques comprennent : 
 
 
 
 
 Les vérifications non zéro Range de validation L’intégrité de référence dédoublement Exemple : @dlt.table
@dlt.expect_or_drop("valid_amount", "amount > 0")
@dlt.expect("customer_present", "customer_id IS NOT NULL")
def silver_sales():
    return dlt.read("bronze_sales")
 Cela garantit uniquement des flux de données fiables, tout en conservant la visibilité sur les questions de qualité. Gold Layer – Business-Ready Data La couche Gold sert à l'analyse, au reporting et à l'apprentissage automatique. Les attentes sont strictes : 
 
 
 
 Les clés d’entreprise doivent exister Les associations doivent être cohérentes Pas de tolérance pour les enregistrements non valides Les attentes inexactes sont généralement utilisées pour protéger les consommateurs. Built-In Observability and Metrics L'un des principaux avantages de la qualité des données déclaratives dans Databricks est . automatic observability Pour toutes les attentes, Databricks capture : 
 
 
 
 
 Total des dossiers traités Compter les records passés et échoués Des records tombés Les raisons de l’échec Ces métriques sont disponibles à travers : 
 
 
 
 Découvrir Delta Live Tables Événements log tables Système de tables Databricks Cela élimine la nécessité de cadres de surveillance personnalisés et améliore considérablement l’auditabilité. Quarantine Pattern: Don’t Lose Bad Data L'abandon de mauvais enregistrements n'est pas toujours suffisant. Dans les environnements réglementés ou d'entreprise, les équipes ont souvent . retain invalid data for analysis and reprocessing Un schéma commun consiste à écrire les enregistrements échoués sur une table de quarantaine : @dlt.table
def quarantine_sales():
    return dlt.read("bronze_sales") \
        .filter("amount <= 0 OR customer_id IS NULL")
 Les avantages de cette approche : 
 
 
 
 Analyse des causes racines SLA et suivi du problème du vendeur Recyclage après fixation Why Declarative Data Quality Scales Better 
 
 
 
 
 
 
 
 
 
 Traditional   ETL 
 Declarative   Pipelines 
 
 
 
 Manual   validation code 
 Built-in   expectations 
 
 
 
 Hard   to audit 
 Automatic   metrics 
 
 
 
 Complex   error handling 
 Clear   rule enforcement 
 
 
 
 Reactive   fixes 
 Preventive   design Code de validation manuel Les attentes construites Difficile à auditer Métriques automatiques Gestion des erreurs complexes Exécution de règles claires Réactifs fixes Design préventif Les pipelines déclaratives réduisent la complexité du code tout en augmentant la fiabilité – une combinaison rare mais précieuse. Common Mistakes to Avoid 
 
 
 
 
 Application de règles strictes dans la couche de bronze Utiliser expect_or_fail partout Les tables de quarantaine Traiter la qualité des données comme une configuration unique La qualité déclarative fonctionne le mieux lorsque les règles . evolve with the data and business requirements Sample Data and Expected Output Pour rendre la qualité des données déclaratives plus concrète, passons à travers un utiliser des données d'échantillon et voir comment les attentes affectent la sortie à chaque couche. simple end-to-end example Sample Input Data (Bronze Layer) Supposons que ce soit des données de ventes brutes ingérées à partir d'un système source dans le . Bronze table 
 
 
 
 
 
 
 
 
 
 
 
 
 order_id 
 customer_id 
 amount 
 order_date 
 
 
 
 
 
 101 
 C001 
 250 
 2024-11-01 
 
 
 
 
 
 102 
 C002 
 -50 
 2024-11-01 
 
 
 
 
 
 103 
 NULL 
 120 
 2024-11-02 
 
 
 
 
 
 104 
 C003 
 0 
 2024-11-02 
 
 
 
 
 
 NULL 
 C004 
 300 
 2024-11-03 101 Le C001 250 Le 2024-11-01 102 C002 -50 Le 2024-11-01 103 zéro 120 Le 2024-11-02 104 Le C003 0 Le 2024-11-02 zéro Le C004 300 Le 2024-11-03 À ce stade : 
 
 
 Aucun enregistrement n'est rejeté Les données sont stockées comme-est pour la traçabilité Data Quality Rules Applied (Silver Layer) Dans la couche d’argent, nous appliquons des attentes déclaratives : 
 
 
 quantité > 0 → expect_or_drop client_id N'EST PAS NULL → attendre (uniquement moniteur) @dlt.table
@dlt.expect_or_drop("amount_positive", "amount > 0")
@dlt.expect("customer_not_null", "customer_id IS NOT NULL")
def silver_sales():
    return dlt.read("bronze_sales")
 Silver Output Table 
 
 
 
 
 
 
 
 
 
 
 order_id 
 customer_id 
 amount 
 quality_status 
 
 
 
 
 
 101 
 C001 
 250 
 PASS 
 
 
 
 
 
 103 
 NULL 
 120 
 WARN 
 
 
 
 
 
 NULL 
 C004 
 300 
 WARN 101 Le C001 250 passe 103 zéro 120 Avertissement zéro Le C004 300 Avertissement Enregistrements tombés : 
 
 
 Commande 102 (montant = -50) Ordre 104 (montant = 0) Enregistrement automatique et . how many rows were dropped which rule caused it Quarantine Table Output Au lieu de perdre des données, nous les capturons dans une table de quarantaine. @dlt.table
def silver_sales_quarantine():
    return dlt.read("bronze_sales") \
        .filter("amount <= 0")
 Quarantine Output 
 
 
 
 
 
 
 
 
 
 
 order_id 
 customer_id 
 amount 
 order_date 
 Reason 
 
 
 
 
 
 
 102 
 C002 
 -50 
 2024-11-01 
 Invalid   amount 
 
 
 
 
 
 
 104 
 C003 
 0 
 2024-11-02 
 Invalid   amount 102 C002 -50 Le 2024-11-01 Montant Invalide 104 Le C003 0 Le 2024-11-02 Montant Invalide Cette table est utile pour : 
 
 
 
 Analyse des causes racines Feedback du fournisseur ou du système upstream Recyclage après fixation Business Rules Applied (Gold Layer) Dans la couche d'or, des règles d'affaires strictes sont appliquées: • l'ordre_id n'est pas nul expect_or_fail @dlt.table
@dlt.expect_or_fail("order_id_present", "order_id IS NOT NULL")
def gold_sales():
    return dlt.read("silver_sales") \
        .groupBy("customer_id") \
        .agg(sum("amount").alias("total_spend"))
 Gold Output Table 
 
 
 
 
 
 
 customer_id 
 total_spend 
 
 
 
 C001 
 250 Le C001 250 L’échec du pipeline a déclenché : 
 
 Enregistrement avec ordre_id = NULL provoque l'échec du pipeline Ceci protège les consommateurs de . preventing incorrect aggregations What DLT Captures Automatically Pour cet exemple, Databricks suit automatiquement : 
 
 
 
 
 Total des enregistrements enregistrés : 5 Enregistrements tombés en argent : 2 Violation des attentes par règle Les raisons de l'échec du pipeline en or Toutes les métriques sont visibles dans le Avec un code custom zéro. DLT UI and event logs Final Thoughts Cet exemple simple démontre la puissance réelle de la qualité des données déclaratives : 
 
 
 
 Les règles sont claires et autodocumentées Les mauvaises données sont contrôlées, pas cachées Les résultats sont prévisibles et audibles Les pipelines déclaratives garantissent que chaque ensemble de données en aval est construit sur , les rendant idéales pour les plates-formes de données de niveau de production. explicit trust guarantees

Read My Stories

Cet audio est produit dans la langue originale de l'histoire !

Architecture de plateformes de données de soins de santé fiables à l'aide de pipelines déclaratives

About Author

COMMENTAIRES

ÉTIQUETTES

CET ARTICLE A ÉTÉ PARU DANS

Related Stories

Appuyez pour gagner : Telegram pourrait intégrer les 10 prochains milliards d'utilisateurs de crypto avant Solana

La fuite de l'invite du système Claude Sonnet 3.5 : une analyse médico-légale

Libérer la puissance de l’IA. Une revue systématique des techniques de pointe : résumé et introduction

State of the Noonion: Green Clock Strikes Noon

Appuyez pour gagner : Telegram pourrait intégrer les 10 prochains milliards d'utilisateurs de crypto avant Solana

La fuite de l'invite du système Claude Sonnet 3.5 : une analyse médico-légale

Libérer la puissance de l’IA. Une revue systématique des techniques de pointe : résumé et introduction

State of the Noonion: Green Clock Strikes Noon

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps