Dijital Sağlık Verileri Platformu, İş kararları, düzenleyici raporlama, makine öğrenimi modelleri ve yönetici kontrol panoları hepsi bir şeye bağlıdır: . data quality is no longer a nice-to-have trustworthy data Bununla birlikte, birçok veri mühendisliği ekibi hala verilerin kalitesini bir sonraki düşünce olarak değerlendirir ve verileri zaten aşağıda yayıldıktan sonra doğrulamaktadır. Databricks, bu düşünce tarzında güçlü bir değişiklik getirdi . Declarative Pipelines using Delta Live Tables (DLT) Karmaşık doğrulama mantığını el ile yazmak yerine, mühendisler şimdi Platformun otomatik olarak uygulamasını, izlemesini ve yönetmesini sağlayın. declare what good data looks like Bu blog araştırıyor Neden önemli ve bu yaklaşımı kullanarak üretim düzeyinde borular nasıl tasarlanır. how declarative data quality works in Databricks The Traditional Problem with Data Quality Geleneksel sağlık ETL borularında, veri kalitesi genellikle şunları kullanılarak ele alınır: 
 
 
 
 
 Şartlar ve koşullar Ayrı Validasyon İşleri Manual logging tablosu Etiket Arşivleri: Reconciliation Queries Bu yaklaşım başlangıçta işe yarayabilirken, hızla ölçekte bozulur: 
 
 
 
 
 Validasyon mantığı not defterlerine dağılıyor Başarısızlıklar kök nedenine geri dönmek zordur Metrikler tüm borularda tutarsızdır Kötü verilerin yeniden işlenmesi karmaşık hale geliyor En önemlisi de, Etkisi çok daha pahalı olduğu yerde. bad data often reaches downstream systems silently Deklaratif borular, verilerin kalitesini artırarak bu sorunu çözer Pipelin kendisi için. a first-class citizen What Is Declarative Data Quality? Bilgi kalitesi tanımlama anlamına gelir Prosedür mantığı değil. rules and expectations Söylemek yerine: “ ” Bu miktarın pozitif olup olmadığını kontrol edin ve ardından rekoru düşürün. Bu miktarın pozitif olup olmadığını kontrol edin ve ardından rekoru düşürün. Sen diyor ki: “ ” Bu miktar her zaman sıfırdan daha yüksek olmalıdır. Bu miktar her zaman sıfırdan daha yüksek olmalıdır. Databricks'te, bu uygulama kullanılarak . Delta Live Tables (DLT) Expectations Beklentiler, veri kalitesi kurallarını doğrudan tablolara bağlamanızı sağlar, bu sayede: 
 
 
 
 Kendi belgelendirme Düzenli Korumak için daha kolay Delta Live Tables and Expectations Delta Live Tables, grup ve akış borularını oluşturmak için deklaratif bir çerçeve sağlar. Bu işlemler otomatik olarak boru hattının çalıştırılması sırasında gerçekleştirilir. Expectations DLT üç bekleme davranışını destekler: 1. Expect (Monitor Only) Bu mod veri kalitesi sorunlarını izler, ancak tüm kayıtların geçmesine izin verir. Kullanılan durumlar : 
 
 
 Upstream Sağlık Verileri Kalite kurallarının yavaş yavaş uygulanması @dlt.expect("valid_date", "order_date IS NOT NULL")
 2. Expect or Drop Kuralları ihlal eden kayıtlar, veri kümesinden otomatik olarak silinir. Kullanılan durumlar : 
 
 
 Kötü veya bozuk kayıtları silme Temizliğe dayanıklılık sağlamak için Kur’an’da @dlt.expect_or_drop("amount_positive", "amount > 0")
 3. Expect or Fail Kuralın ihlal edildiği takdirde boru hattı anında başarısız olur. Kullanılan durumlar : 
 
 
 İş kritik kısıtlamaları Düzenleyici veya finansal veriler @dlt.expect_or_fail("order_id_present", "order_id IS NOT NULL")
 Bu ayrımcılık, ekiplerin . apply the right level of strictness at the right stage Data Quality in the Medallion Architecture Veri kalitesi en iyi şekilde birlikte çalıştığında . Bronze–Silver–Gold (Medallion) Architecture Bronze Layer – Raw Data Bronz tabaka, alım güvenilirliğine değil doğruluğa odaklanmaktadır. 
 
 
 
 Okuma Programı Minimum validasyon RAW verileri saklayın Temel teknik kontroller hariç, burada açıklayıcı beklentiler genellikle önlenir. Silver Layer – Validated and Cleaned Data Gümüş Çekirdek Nerede . most data quality rules live Tipik kurallar şunları içerir: 
 
 
 
 
 Null Kontrolü Validasyon Aralığı Referans Integritesi Deduplikasyon Örnek : @dlt.table
@dlt.expect_or_drop("valid_amount", "amount > 0")
@dlt.expect("customer_present", "customer_id IS NOT NULL")
def silver_sales():
    return dlt.read("bronze_sales")
 Bu, yalnızca güvenilir veri akışını sağlar, aynı zamanda kalite konularında görünürlüğü korur. Gold Layer – Business-Ready Data Altın tabaka analiz, raporlama ve makine öğrenimi hizmet vermektedir. Burada beklentiler sıkı: 
 
 
 
 İş anahtarları olmalı Topluluklar tutarlı olmalı Geçersiz kayıtlar için tolerans yok Hızlı beklentiler genellikle tüketicileri korumak için kullanılır. Built-In Observability and Metrics Databricks'te deklaratif veri kalitesinin en büyük avantajlarından biri . automatic observability Her beklenti için, Databricks yakalar: 
 
 
 
 
 Toplam kayıt işlemleri Geçmiş ve başarısız rakamlar Kayıp Rekorlar Başarısızlık Nedenleri Bu metrikler şunlar aracılığıyla kullanılabilir: 
 
 
 
 Delta Live Tables UI Hakkında Event log tablosu Databricks Sistem Tabloları Bu, özelleştirilmiş izleme çerçevelerinin gerekliliğini ortadan kaldırır ve denetleyiciliği önemli ölçüde geliştirir. Quarantine Pattern: Don’t Lose Bad Data Kötü kayıtları atmak her zaman yeterli değildir. düzenlenmiş veya kurumsal ortamlarda, ekipler genellikle . retain invalid data for analysis and reprocessing Karantina tablosuna başarısız kayıtları yazmak için yaygın bir model: @dlt.table
def quarantine_sales():
    return dlt.read("bronze_sales") \
        .filter("amount <= 0 OR customer_id IS NULL")
 Bu yaklaşımın faydaları: 
 
 
 
 Root Cause Analizi SLA ve Satıcı Sorunu İzleme Düzeltme sonrası düzeltme Why Declarative Data Quality Scales Better 
 
 
 
 
 
 
 
 
 
 Traditional   ETL 
 Declarative   Pipelines 
 
 
 
 Manual   validation code 
 Built-in   expectations 
 
 
 
 Hard   to audit 
 Automatic   metrics 
 
 
 
 Complex   error handling 
 Clear   rule enforcement 
 
 
 
 Reactive   fixes 
 Preventive   design manuel validation kodları İnşaat beklentileri denetim yapmak zor otomatik metrikler Karmaşık hata yönetimi Açık kural uygulanması Reaktif düzeltme Önleyici Tasarım Deklaratif borular, kod karmaşıklığını azaltırken güvenilirliği artırır - nadir ama değerli bir kombinasyon. Common Mistakes to Avoid 
 
 
 
 
 Bronz tabakada sıkı kurallar uygulanması Her yerde expect_or_fail kullanın Karantina masaları Veri kalitesi tek seferlik bir kurulum olarak değerlendirilir Etiket: kurallar olduğu zaman en iyisi . evolve with the data and business requirements Sample Data and Expected Output Verilerin kalitesini daha belirgin hale getirmek için, bir Örnek verileri kullanın ve beklentilerin her katmanda çıkışın nasıl etkilediğini görün. simple end-to-end example Sample Input Data (Bronze Layer) Bu, bir kaynak sisteminden kaydedilen ham satış verileri olduğunu varsayalım. . Bronze table 
 
 
 
 
 
 
 
 
 
 
 
 
 order_id 
 customer_id 
 amount 
 order_date 
 
 
 
 
 
 101 
 C001 
 250 
 2024-11-01 
 
 
 
 
 
 102 
 C002 
 -50 
 2024-11-01 
 
 
 
 
 
 103 
 NULL 
 120 
 2024-11-02 
 
 
 
 
 
 104 
 C003 
 0 
 2024-11-02 
 
 
 
 
 
 NULL 
 C004 
 300 
 2024-11-03 101 C001 Hakkında 250 2024 - 11 yıl önce 102 C002 Hakkında -50 2024 - 11 yıl önce 103 sıfır 120 2024 - 11 Şubat 104 C003 Hakkında 0 2024 - 11 Şubat sıfır C004 Hakkında 300 2024 - 11 yıl önce Bu aşamada : 
 
 
 Hiçbir kayıt reddedilmiyor Data is stored as-is için izlenebilirlik Data Quality Rules Applied (Silver Layer) Gümüş tabakasında, deklaratif beklentiler uygulanır: 
 
 
 Sayı > 0 → expect_or_drop customer_id IS NOT NULL → expect (sadece monitör) @dlt.table
@dlt.expect_or_drop("amount_positive", "amount > 0")
@dlt.expect("customer_not_null", "customer_id IS NOT NULL")
def silver_sales():
    return dlt.read("bronze_sales")
 Silver Output Table 
 
 
 
 
 
 
 
 
 
 
 order_id 
 customer_id 
 amount 
 quality_status 
 
 
 
 
 
 101 
 C001 
 250 
 PASS 
 
 
 
 
 
 103 
 NULL 
 120 
 WARN 
 
 
 
 
 
 NULL 
 C004 
 300 
 WARN 101 C001 Hakkında 250 geçiş 103 sıfır 120 Uyarı sıfır C004 Hakkında 300 Uyarı Kayıp kayıtlar : 
 
 
 Sipariş 102 ( miktar = -50) Sipariş 104 ( miktar = 0 ) DLT Otomatik Kayıt ve . how many rows were dropped which rule caused it Quarantine Table Output Düşen verileri kaybetmek yerine, karantina tablosunda yakaladık. @dlt.table
def silver_sales_quarantine():
    return dlt.read("bronze_sales") \
        .filter("amount <= 0")
 Quarantine Output 
 
 
 
 
 
 
 
 
 
 
 order_id 
 customer_id 
 amount 
 order_date 
 Reason 
 
 
 
 
 
 
 102 
 C002 
 -50 
 2024-11-01 
 Invalid   amount 
 
 
 
 
 
 
 104 
 C003 
 0 
 2024-11-02 
 Invalid   amount 102 C002 Hakkında -50 2024 - 11 yıl önce Kötü miktar 104 C003 Hakkında 0 2024 - 11 Şubat Kötü miktar Bu tablo için yararlıdır: 
 
 
 
 Root Cause Analizi Satıcı veya Upstream Sistem Yorumları Düzeltme sonrası düzeltme Business Rules Applied (Gold Layer) Altın katmanında, sıkı iş kuralları uygulanır: Order_id Null Değil expect_or_fail @dlt.table
@dlt.expect_or_fail("order_id_present", "order_id IS NOT NULL")
def gold_sales():
    return dlt.read("silver_sales") \
        .groupBy("customer_id") \
        .agg(sum("amount").alias("total_spend"))
 Gold Output Table 
 
 
 
 
 
 
 customer_id 
 total_spend 
 
 
 
 C001 
 250 C001 Hakkında 250 Pipeline hatası meydana geldi: 
 
 Order_id = NULL ile kayıt, boru hattının başarısızlığa neden olur Bu, downstreRecordsam tüketicilerini korur . preventing incorrect aggregations What DLT Captures Automatically Bu örnek için Databricks otomatik olarak izler: 
 
 
 
 
 Toplam Kayıt Sayısı: 5 Gümüş'te kaydedilen kayıtlar: 2 Kuralları ihlal eden beklentiler Altın'da Pipeline Başarısızlık Sebebi Tüm metrikler görülebilir Sıfır custom code. DLT UI and event logs Final Thoughts Bu basit örnek, deklaratif veri kalitesinin gerçek gücünü göstermektedir: 
 
 
 
 Kurallar açık ve kendini belgelendiren Kötü veriler kontrol edilir, saklanmaz Sonuçlar öngörülebilir ve denetlenebilir Deklaratif boru hattı, her aşağıdaki veritabanının Üretim düzeyinde veri platformları için idealdir. explicit trust guarantees

Read My Stories

Bu ses hikayenin orijinal dilinde üretilmiştir!

Declarative Pipelines kullanılarak Güvenilir Sağlık Verileri Platformları Tasarımı

About Author

YORUMLAR

ETİKETLERİ ASIN

BU YAZI

Related Stories

Kripto Büyümesi: Etkili Kullanıcı Kişilikleri Oluşturma

AI/ML Datalake için Referans Mimarisi Oluşturmaya Yönelik Mimar Kılavuzu

Floki'den Valhalla Hindistan'ın Sri Lanka Turuna Yardımcı Sponsor Olarak Katıldı

Benzersiz Bir Ekosistemi Güçlendiren Bitcoin UTXO Modeli

Kripto Büyümesi: Etkili Kullanıcı Kişilikleri Oluşturma

AI/ML Datalake için Referans Mimarisi Oluşturmaya Yönelik Mimar Kılavuzu

Floki'den Valhalla Hindistan'ın Sri Lanka Turuna Yardımcı Sponsor Olarak Katıldı

Benzersiz Bir Ekosistemi Güçlendiren Bitcoin UTXO Modeli

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps