在数字医疗数据平台中, 商业决策、监管报告、机器学习模型和执行仪表板都取决于一件事: . data quality is no longer a nice-to-have trustworthy data 然而,许多数据工程团队仍然将数据质量视为后续考虑,仅在数据已下游传播后才进行验证。 Databricks 引入了这种思维方式的强大转变 . Declarative Pipelines using Delta Live Tables (DLT) 而不是手动编写复杂的验证逻辑,工程师现在可以 让平台自动执行、监控和管理它。 declare what good data looks like 这个博客探索 为什么重要,以及如何使用这种方法设计生产级管道。 how declarative data quality works in Databricks The Traditional Problem with Data Quality 在传统的医疗 ETL 管道中,数据质量通常使用: 
 
 
 
 
 定制如果条件 单独验证工作 手动记录表 后载调解请求 虽然这种方法可能起初起作用,但它在规模上迅速下降: 
 
 
 
 
 验证逻辑在笔记本上散布 失败很难追溯到根源 指标在管道上不一致 恶意数据重新处理变得复杂 最重要的是, ,影响更为昂贵的地方。 bad data often reaches downstream systems silently 声明管道通过提高数据质量来解决这个问题 管道本身。 a first-class citizen What Is Declarative Data Quality? 数据质量说明意味着定义 不是程序逻辑。 rules and expectations 而不是说: “ ” 检查是否是正值,然后放下记录。 检查是否是正值,然后放下记录。 你说: “ ” 总数必须大于零。 总数必须大于零。 在 Databricks 中,使用 . Delta Live Tables (DLT) Expectations 预期允许您将数据质量规则直接附加到表中,从而使管道: 
 
 
 
 自我文档 一致性 更容易维护 Delta Live Tables and Expectations Delta Live Tables 提供了建立批量和流通管道的声明框架。 ,在管道执行过程中自动评估。 Expectations DLT支持三个期望行为: 1. Expect (Monitor Only) 此模式追踪数据质量问题,但允许所有记录传输。 使用案例: 
 
 
 上游数据健康监测 逐步实施质量规则 @dlt.expect("valid_date", "order_date IS NOT NULL")
 2. Expect or Drop 违反规则的记录会自动从数据集中删除。 使用案例: 
 
 
 删除无效或损坏的记录 在清洁层中施行清洁 @dlt.expect_or_drop("amount_positive", "amount > 0")
 3. Expect or Fail 如果规则被违反,管道会立即失效。 使用案例: 
 
 
 商业批判性限制 监管或财务数据 @dlt.expect_or_fail("order_id_present", "order_id IS NOT NULL")
 这种清晰的分离使团队能够 . apply the right level of strictness at the right stage Data Quality in the Medallion Architecture 声明数据质量在与声明数据相结合时最有效 . Bronze–Silver–Gold (Medallion) Architecture Bronze Layer – Raw Data 铜层侧重于摄入的可靠性,而不是正确性。 
 
 
 
 阅读计划 最小验证 保存原始数据 在此情况下,除了基本的技术检查之外,通常会避免声明的期望。 Silver Layer – Validated and Cleaned Data 银层是哪里 . most data quality rules live 典型的规则包括: 
 
 
 
 
 非零检查 范围验证 参考完整性 重复性 例子: @dlt.table
@dlt.expect_or_drop("valid_amount", "amount > 0")
@dlt.expect("customer_present", "customer_id IS NOT NULL")
def silver_sales():
    return dlt.read("bronze_sales")
 这确保只有可信的数据流向前,同时仍然保持对质量问题的可见性。 Gold Layer – Business-Ready Data 黄金层用于分析,报告和机器学习。 这里的期望是严格的: 
 
 
 
 企业钥匙必须存在 合并必须是一致的 无对无效记录的容忍 失败的期望通常用于保护消费者。 Built-In Observability and Metrics Databricks 中的声明数据质量的最大优势之一是 . automatic observability 对于每一个期望,Databricks捕捉: 
 
 
 
 
 全部记录处理 过去和失败的记录 掉落纪录 失败原因 这些指标可通过: 
 
 
 
 Delta Live Tables 用户界面 活动日志表 Databricks 系统表 这消除了对自定义监控框架的需求,并显著提高了审计能力。 Quarantine Pattern: Don’t Lose Bad Data 丢掉坏记录并不总是足够的,在监管或企业环境中,团队往往需要 . retain invalid data for analysis and reprocessing 一个常见的模式是将失败的记录写入隔离表: @dlt.table
def quarantine_sales():
    return dlt.read("bronze_sales") \
        .filter("amount <= 0 OR customer_id IS NULL")
 这种方法的好处: 
 
 
 
 根因分析 SLA和供应商问题跟踪 修复后再处理 Why Declarative Data Quality Scales Better 
 
 
 
 
 
 
 
 
 
 Traditional   ETL 
 Declarative   Pipelines 
 
 
 
 Manual   validation code 
 Built-in   expectations 
 
 
 
 Hard   to audit 
 Automatic   metrics 
 
 
 
 Complex   error handling 
 Clear   rule enforcement 
 
 
 
 Reactive   fixes 
 Preventive   design 手动验证代码 构建期望 难以审计 自动计量 复杂的错误处理 明确规则执行 反应性修复 预防设计 声明管道可减少代码的复杂性,同时提高可靠性 - 这是一个罕见但有价值的组合。 Common Mistakes to Avoid 
 
 
 
 
 在铜层中应用严格的规则 在任何地方使用 expect_or_fail 无视隔离表 将数据质量视为一次性设置 声明质量在规则时最有效 . evolve with the data and business requirements Sample Data and Expected Output 为了使声明数据质量更具具体性,让我们通过一个 使用样本数据,看看预期如何影响每个层的输出。 simple end-to-end example Sample Input Data (Bronze Layer) 假设这是从源系统中输入的原始销售数据 . Bronze table 
 
 
 
 
 
 
 
 
 
 
 
 
 order_id 
 customer_id 
 amount 
 order_date 
 
 
 
 
 
 101 
 C001 
 250 
 2024-11-01 
 
 
 
 
 
 102 
 C002 
 -50 
 2024-11-01 
 
 
 
 
 
 103 
 NULL 
 120 
 2024-11-02 
 
 
 
 
 
 104 
 C003 
 0 
 2024-11-02 
 
 
 
 
 
 NULL 
 C004 
 300 
 2024-11-03 101 C001 的 250 2024年11月11日 102 第002章 -50 2024年11月11日 103 零 120 2024年11月02日 104 第003章 0 2024年11月02日 零 第004章 300 2024年11月11日 在这个阶段: 
 
 
 没有记录被拒绝 数据存储为可跟踪 Data Quality Rules Applied (Silver Layer) 在银层中,我们应用宣言期望: 
 
 
 數量 > 0 → expect_or_drop customer_id IS NOT NULL → expect(仅限监视器) @dlt.table
@dlt.expect_or_drop("amount_positive", "amount > 0")
@dlt.expect("customer_not_null", "customer_id IS NOT NULL")
def silver_sales():
    return dlt.read("bronze_sales")
 Silver Output Table 
 
 
 
 
 
 
 
 
 
 
 order_id 
 customer_id 
 amount 
 quality_status 
 
 
 
 
 
 101 
 C001 
 250 
 PASS 
 
 
 
 
 
 103 
 NULL 
 120 
 WARN 
 
 
 
 
 
 NULL 
 C004 
 300 
 WARN 101 C001 的 250 通行证 103 零 120 警告 零 第004章 300 警告 丢失纪录: 
 
 
 订单 102(金额 = -50) 命令 104(数量 = 0) DLT 自动记录 和 . how many rows were dropped which rule caused it Quarantine Table Output 而不是丢失丢失的数据,我们将其捕捉到隔离表中。 @dlt.table
def silver_sales_quarantine():
    return dlt.read("bronze_sales") \
        .filter("amount <= 0")
 Quarantine Output 
 
 
 
 
 
 
 
 
 
 
 order_id 
 customer_id 
 amount 
 order_date 
 Reason 
 
 
 
 
 
 
 102 
 C002 
 -50 
 2024-11-01 
 Invalid   amount 
 
 
 
 
 
 
 104 
 C003 
 0 
 2024-11-02 
 Invalid   amount 102 第002章 -50 2024年11月11日 无效金额 104 第003章 0 2024年11月02日 无效金额 这个表是有用的: 
 
 
 
 根因分析 供应商或上游系统反馈 修复后再处理 Business Rules Applied (Gold Layer) 在黄金层中,严格的商业规则被执行: ● order_id 不是 NULL expect_or_fail @dlt.table
@dlt.expect_or_fail("order_id_present", "order_id IS NOT NULL")
def gold_sales():
    return dlt.read("silver_sales") \
        .groupBy("customer_id") \
        .agg(sum("amount").alias("total_spend"))
 Gold Output Table 
 
 
 
 
 
 
 customer_id 
 total_spend 
 
 
 
 C001 
 250 C001 的 250 管道故障引发: 
 
 记录与 order_id = NULL 导致管道失败 这保护了 downstreRecordsam 消费者 . preventing incorrect aggregations What DLT Captures Automatically 对于此示例,DataBricks 会自动跟踪: 
 
 
 
 
 共收录记录:5 在 银 降下的记录: 2 预期违反规则 黄金管道故障原因 所有指数都可见于 用零定制代码。 DLT UI and event logs Final Thoughts 这个简单的例子展示了声明数据质量的真正力量: 
 
 
 
 规则清晰、自我记录 坏数据被控制,而不是隐藏 输出是可预测和可审计的 声明管道确保每一个下游数据集都建立在 ,使其成为生产级数据平台的理想选择。 explicit trust guarantees

Read My Stories

該音頻是用故事的原始語言製作的！

使用声明管道构建可靠的医疗保健数据平台

About Author

註釋

標籤

这篇文章刊登在

Related Stories

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

如何将您的工作流程提高 10 倍：17 个必备应用程序

点击赚钱：Telegram 可能会在 Solana 之前吸引下一个 100 亿加密用户

Claude Sonnet 3.5 系统提示泄漏：法医分析

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

如何将您的工作流程提高 10 倍：17 个必备应用程序

点击赚钱：Telegram 可能会在 Solana 之前吸引下一个 100 亿加密用户

Claude Sonnet 3.5 系统提示泄漏：法医分析

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps