デジタル医療データプラットフォームでは、 ビジネス意思決定、規制報告、機械学習モデル、およびエグゼクティブ・ダッシュボードはすべて一つのことに依存します。 . data quality is no longer a nice-to-have trustworthy data それにもかかわらず、多くのデータエンジニアリングチームは、データの品質を後悔として扱い、データが既に下流に拡散した後にのみデータを検証します。 Databricksは、この考え方に強力な転換を導入しました。 . Declarative Pipelines using Delta Live Tables (DLT) 複雑な検証論理を手動で書く代わりに、エンジニアは そして、プラットフォームが自動的にそれを強制し、監視し、管理するようにしてください。 declare what good data looks like このブログ explores なぜ重要なのか、そしてこのアプローチを使用して生産レベルのパイプラインを設計する方法。 how declarative data quality works in Databricks The Traditional Problem with Data Quality 伝統的なヘルスケアETLパイプラインでは、データの品質は通常、以下を用いて処理されます。 
 
 
 
 
 カスタム IF 条件 Separate Validation Jobs(別々の検証作業) マニュアル テーブル Post-load reconciliation queries の検索結果 このアプローチは最初に働くかもしれないが、それは急速に規模で崩壊する: 
 
 
 
 
 Validation logic becomes scattered across notebooks. 認証論理がノートブックに散らばります。 失敗は根源に戻るのが難しい。 Metrics are inconsistent across pipelines パイプライン 悪質なデータの再処理が複雑になる 最も重要なのは、 影響がもっと高価なところです。 bad data often reaches downstream systems silently Declarative pipelines solve this problem by making data quality. Declarative pipelines solve this problem by making data quality. Declarative pipelines solve this problem by making data quality. パイプライン自体が a first-class citizen What Is Declarative Data Quality? データ品質とは、定義することを意味する。 プロセス論理ではない。 rules and expectations と言うよりは、 “ ” 金額が陽性かどうかを確認し、その後レコードを落とします。 金額が陽性かどうかを確認し、その後レコードを落とします。 あなたは言います: “ ” 金額は常にゼロより大きいはずです。 金額は常にゼロより大きいはずです。 Databricksでは、これを使用して実装されます。 . Delta Live Tables (DLT) Expectations Expectations により、データ品質規則をテーブルに直接付加し、パイプラインを作成できます。 
 
 
 
 自己文書化 一貫性 維持しやすくなる Delta Live Tables and Expectations Delta Live Tables は、バッチおよびストリーミングパイプラインを構築するための宣言フレームワークを提供します。 パイプラインの実行中に自動的に評価されます。 Expectations DLTは3つの期待行動をサポートしています。 1. Expect (Monitor Only) このモードでは、データ品質の問題を追跡しますが、すべてのレコードを渡すことができます。 使用ケース: 
 
 
 Upstream Data Healthの検索結果 品質規則の段階的な導入 @dlt.expect("valid_date", "order_date IS NOT NULL")
 2. Expect or Drop ルールに違反するレコードは、データセットから自動的に削除されます。 使用ケース: 
 
 
 無効または破損したレコードの削除 クリーンシップの強化 クリーンシップの強化 in curated layers @dlt.expect_or_drop("amount_positive", "amount > 0")
 3. Expect or Fail ルールに違反した場合、パイプラインは直ちに失敗します。 使用ケース: 
 
 
 ビジネス批判的制約 規制または財務データ @dlt.expect_or_fail("order_id_present", "order_id IS NOT NULL")
 この明確な分離により、チームは . apply the right level of strictness at the right stage Data Quality in the Medallion Architecture Declarative data quality works best when combined with the . Bronze–Silver–Gold (Medallion) Architecture Bronze Layer – Raw Data ブロンズ層は、摂取の信頼性ではなく正確性に焦点を当てています。 
 
 
 
 読書スケジュール 最小認証 RAWデータの保存 ここでは、基本的なテクニカルチェックを除いて、宣言的な期待は通常避けられます。 Silver Layer – Validated and Cleaned Data シルバーレイヤーはどこ . most data quality rules live 典型的なルールには、 
 
 
 
 
 非ゼロチェック 範囲認証 参考整合性 デダブル化 例: @dlt.table
@dlt.expect_or_drop("valid_amount", "amount > 0")
@dlt.expect("customer_present", "customer_id IS NOT NULL")
def silver_sales():
    return dlt.read("bronze_sales")
 これにより、信頼できるデータの流れのみを確保し、品質の問題に対する可視性を維持します。 Gold Layer – Business-Ready Data ゴールド レイヤーは、分析、レポート、機械学習を提供します。 ここでは、期待は厳しい: 
 
 
 
 ビジネスキーは存在しなければならない。 アグレージは一貫しなければならない。 無効なレコードに対する容認なし 失敗の早い期待は、一般的に消費者を保護するために使用されます。 Built-In Observability and Metrics Databricksにおける宣言データ品質の最大の利点の1つは、 . automatic observability すべての期待に応じて、DataBricks は: 
 
 
 
 
 全記録処理 過去と失敗の記録 落ちたレコード 失敗の理由 これらのメトリックは、以下を通じて利用できます。 
 
 
 
 デルタ Live Tables UI イベントログテーブル Databricks システム テーブル これにより、カスタムモニタリングフレームワークの必要性がなく、監査能力が大幅に向上します。 Quarantine Pattern: Don’t Lose Bad Data 悪いレコードを落とすことは常に十分ではありません。規制された環境や企業環境では、チームはしばしば . retain invalid data for analysis and reprocessing 共通のパターンは、失敗したレコードを隔離テーブルに書き込むことです。 @dlt.table
def quarantine_sales():
    return dlt.read("bronze_sales") \
        .filter("amount <= 0 OR customer_id IS NULL")
 このアプローチの利点: 
 
 
 
 根因分析 SLA と ベンダー トラッキング 修正後の再処理 Why Declarative Data Quality Scales Better 
 
 
 
 
 
 
 
 
 
 Traditional   ETL 
 Declarative   Pipelines 
 
 
 
 Manual   validation code 
 Built-in   expectations 
 
 
 
 Hard   to audit 
 Automatic   metrics 
 
 
 
 Complex   error handling 
 Clear   rule enforcement 
 
 
 
 Reactive   fixes 
 Preventive   design マニュアル認証コード 建設的な期待 監査が難しい 自動メトリック 複雑なエラー処理 明確な規則の実施 反応フィクション 予防デザイン 宣言パイプラインは、コードの複雑さを減らし、信頼性を高めます - 珍しいが貴重な組み合わせです。 Common Mistakes to Avoid 
 
 
 
 
 ブロンズ層における厳格なルールの適用 expect_or_fail はどこでも使用できます。 カラオケテーブルを無視 データの品質を一度のセットアップとして扱う Declarative quality works best when rules. 宣言的な品質はルールがあるときに最も効果的です。 . evolve with the data and business requirements Sample Data and Expected Output 宣言データの品質をより具体的に行うためには、A サンプルデータを使用して、予想が各層の出力にどのように影響するかを確認します。 simple end-to-end example Sample Input Data (Bronze Layer) これは、ソースシステムから入力した原価の販売データであると仮定します。 . Bronze table 
 
 
 
 
 
 
 
 
 
 
 
 
 order_id 
 customer_id 
 amount 
 order_date 
 
 
 
 
 
 101 
 C001 
 250 
 2024-11-01 
 
 
 
 
 
 102 
 C002 
 -50 
 2024-11-01 
 
 
 
 
 
 103 
 NULL 
 120 
 2024-11-02 
 
 
 
 
 
 104 
 C003 
 0 
 2024-11-02 
 
 
 
 
 
 NULL 
 C004 
 300 
 2024-11-03 101 C001 250 2024 - 11 - 01 102 C002 -50 2024 - 11 - 01 103 ゼロ 120 2024 - 11 - 02 104 C003 0 2024 - 11 - 02 ゼロ C004 300 2024年11月30日 この段階で: 
 
 
 レコードは拒否されない。 Data is stored as-is for traceability (データは追跡性のために保存されます) Data Quality Rules Applied (Silver Layer) 銀層では、宣言的な期待を適用します: 
 
 
 数値 > 0 → expect_or_drop customer_id IS NOT NULL → expect(モニターのみ) @dlt.table
@dlt.expect_or_drop("amount_positive", "amount > 0")
@dlt.expect("customer_not_null", "customer_id IS NOT NULL")
def silver_sales():
    return dlt.read("bronze_sales")
 Silver Output Table 
 
 
 
 
 
 
 
 
 
 
 order_id 
 customer_id 
 amount 
 quality_status 
 
 
 
 
 
 101 
 C001 
 250 
 PASS 
 
 
 
 
 
 103 
 NULL 
 120 
 WARN 
 
 
 
 
 
 NULL 
 C004 
 300 
 WARN 101 C001 250 パス 103 ゼロ 120 警告 ゼロ C004 300 警告 ダウンロードレコード: 
 
 
 オーダー 102 (金額 = -50) 第104号(金額=0) DLT 自動レコード そして . how many rows were dropped which rule caused it Quarantine Table Output 落とされたデータを失う代わりに、私たちはそれを隔離テーブルに収録します。 @dlt.table
def silver_sales_quarantine():
    return dlt.read("bronze_sales") \
        .filter("amount <= 0")
 Quarantine Output 
 
 
 
 
 
 
 
 
 
 
 order_id 
 customer_id 
 amount 
 order_date 
 Reason 
 
 
 
 
 
 
 102 
 C002 
 -50 
 2024-11-01 
 Invalid   amount 
 
 
 
 
 
 
 104 
 C003 
 0 
 2024-11-02 
 Invalid   amount 102 C002 -50 2024 - 11 - 01 無効金額 104 C003 0 2024 - 11 - 02 無効金額 このテーブルは、役に立つ: 
 
 
 
 根因分析 サプライヤーまたはアップストリームシステムのフィードバック 修正後の再処理 Business Rules Applied (Gold Layer) ゴールド・レイヤーでは、厳格なビジネスルールが適用されます: ● order_id IS NOT NULL → expect_or_fail @dlt.table
@dlt.expect_or_fail("order_id_present", "order_id IS NOT NULL")
def gold_sales():
    return dlt.read("silver_sales") \
        .groupBy("customer_id") \
        .agg(sum("amount").alias("total_spend"))
 Gold Output Table 
 
 
 
 
 
 
 customer_id 
 total_spend 
 
 
 
 C001 
 250 C001 250 パイプラインの故障: 
 
 record with order_id = NULL causes the pipeline to fail これは downstreRecordsam 消費者を保護します。 . preventing incorrect aggregations What DLT Captures Automatically この例では、DataBricks が自動的に追跡します: 
 
 
 
 
 収録レコード: 5 シルバーで落ちたレコード:2 ルールによる期待の違反 ゴールドにおけるパイプライン故障の理由 すべてのメトリックは、 ゼロコードのコード DLT UI and event logs Final Thoughts このシンプルな例は、宣言データの品質の本当のパワーを示しています。 
 
 
 
 ルールは明確で自己文書化 悪いデータはコントロールされ、隠されない 出力は予測可能で監査可能である。 Declarative pipelines ensure that every downstream dataset is built on. Declarative pipelines ensure that every downstream dataset is built on. これらを生産レベルのデータプラットフォームに最適にします。 explicit trust guarantees

Read My Stories

このオーディオは、ストーリーの元の言語で制作されています。

Declarative Pipelinesを使用して信頼できる医療データプラットフォームを構築する

About Author

コメント

ラベル

この記事は

Related Stories

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド

デジタルノマドの皆さん、タイの新しい DTV ビザについて知っておくべきこと

AI の力を解き放つ。最先端技術の体系的レビュー: 概要と序論

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド

デジタルノマドの皆さん、タイの新しい DTV ビザについて知っておくべきこと

AI の力を解き放つ。最先端技術の体系的レビュー: 概要と序論

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps