Nas plataformas de dados digitais de saúde, Decisões de negócios, relatórios regulatórios, modelos de aprendizado de máquina e painéis executivos dependem de uma coisa: . data quality is no longer a nice-to-have trustworthy data No entanto, muitas equipes de engenharia de dados ainda tratam a qualidade dos dados como uma reflexão posterior, validando os dados apenas depois que eles já se propagaram para baixo. Databricks introduziu uma poderosa mudança nesta mentalidade através de . Declarative Pipelines using Delta Live Tables (DLT) Em vez de escrever a lógica de validação complexa manualmente, os engenheiros podem agora e deixe a plataforma aplicá-la, monitorá-la e governá-la automaticamente. declare what good data looks like Este blog explora , por que isso importa, e como projetar tubulações de nível de produção usando esta abordagem. how declarative data quality works in Databricks The Traditional Problem with Data Quality Em pipelines tradicionais de saúde ETL, a qualidade dos dados é geralmente tratada usando: 
 
 
 
 
 Condições Se Condições Trabalhos de validação separados Tabelas de logging manuais Requerimentos de reconciliação pós-carga Embora esta abordagem possa funcionar inicialmente, ela rapidamente se decompõe em escala: 
 
 
 
 
 A lógica de validação se dispersa em todos os notebooks As falhas são difíceis de traçar de volta para a causa raiz As métricas são inconsistentes entre os gasodutos Reprocessamento de dados ruins torna-se complexo O mais importante, onde o impacto é muito mais caro. bad data often reaches downstream systems silently As tubulações declarativas resolvem este problema, tornando a qualidade dos dados do próprio tubo. a first-class citizen What Is Declarative Data Quality? Qualidade de dados significa definição Não é lógica processual. rules and expectations Em vez de dizer: “ ” Verifique se o valor é positivo e, em seguida, baixe o recorde. Verifique se o valor é positivo e, em seguida, baixe o recorde. Você diz: “ ” O valor deve ser sempre maior que zero. O valor deve ser sempre maior que zero. Em databricks, isso é implementado usando . Delta Live Tables (DLT) Expectations As expectativas permitem anexar regras de qualidade de dados diretamente às tabelas, fazendo o pipeline: 
 
 
 
 Autodocumentação Consistência Mais fácil de manter Delta Live Tables and Expectations A Delta Live Tables fornece uma estrutura declarativa para a construção de pipelines de lote e streaming. , que são avaliados automaticamente durante a execução do pipeline. Expectations O DLT suporta três comportamentos de expectativa: 1. Expect (Monitor Only) Este modo rastreia problemas de qualidade de dados, mas permite que todos os registros passem. Usando os casos: 
 
 
 Monitoramento de dados de saúde upstream A implantação gradual das regras de qualidade @dlt.expect("valid_date", "order_date IS NOT NULL")
 2. Expect or Drop Os registros que violam a regra são removidos automaticamente do conjunto de dados. Usando os casos: 
 
 
 Remoção de registros inválidos ou corrompidos Implantação da limpeza em camadas curadas @dlt.expect_or_drop("amount_positive", "amount > 0")
 3. Expect or Fail O gasoduto falha imediatamente se a regra for violada. Usando os casos: 
 
 
 Restrições empresariais críticas Dados regulamentares ou financeiros @dlt.expect_or_fail("order_id_present", "order_id IS NOT NULL")
 Esta distinção permite que as equipes . apply the right level of strictness at the right stage Data Quality in the Medallion Architecture A qualidade dos dados declaracionais funciona melhor quando combinada com . Bronze–Silver–Gold (Medallion) Architecture Bronze Layer – Raw Data A camada de bronze centra-se na confiabilidade da ingestão, não na correção. 
 
 
 
 Programação em leitura Validação mínima Manter os dados brutos As expectativas declarativas são geralmente evitadas aqui, exceto para verificações técnicas básicas. Silver Layer – Validated and Cleaned Data A camada de prata é onde . most data quality rules live As regras típicas incluem: 
 
 
 
 
 Verificação não nula Range Validação Integridade de referência Deduplicação Exemplo do: @dlt.table
@dlt.expect_or_drop("valid_amount", "amount > 0")
@dlt.expect("customer_present", "customer_id IS NOT NULL")
def silver_sales():
    return dlt.read("bronze_sales")
 Isso garante apenas fluxos de dados confiáveis para a frente, mantendo ainda a visibilidade em questões de qualidade. Gold Layer – Business-Ready Data A camada de ouro serve para análise, relatórios e aprendizado de máquina. Aqui, as expectativas são rigorosas: 
 
 
 
 As chaves de negócios devem existir As associações devem ser coerentes Nenhuma tolerância para registros inválidos As expectativas fracassadas são comumente usadas para proteger os consumidores. Built-In Observability and Metrics Uma das maiores vantagens da qualidade de dados declarativos em Databricks é . automatic observability Para cada expectativa, a Databricks captura: 
 
 
 
 
 Total de registros processados Contagem de Recordes Passados e Fracassados Recordes caídos Razões do fracasso Essas métricas estão disponíveis através de: 
 
 
 
 Conheça o Delta Live Tables Tabelas de Eventos Tabelas do sistema Databricks Isso elimina a necessidade de quadros de monitoramento personalizados e melhora significativamente a auditabilidade. Quarantine Pattern: Don’t Lose Bad Data Em ambientes regulamentados ou empresariais, as equipes muitas vezes precisam de . retain invalid data for analysis and reprocessing Um padrão comum é escrever registros falhados em uma tabela de quarentena: @dlt.table
def quarantine_sales():
    return dlt.read("bronze_sales") \
        .filter("amount <= 0 OR customer_id IS NULL")
 Benefícios desta abordagem: 
 
 
 
 Análise de Causa Raiz SLA e rastreamento de problemas de vendedor Reprocessamento após fixação Why Declarative Data Quality Scales Better 
 
 
 
 
 
 
 
 
 
 Traditional   ETL 
 Declarative   Pipelines 
 
 
 
 Manual   validation code 
 Built-in   expectations 
 
 
 
 Hard   to audit 
 Automatic   metrics 
 
 
 
 Complex   error handling 
 Clear   rule enforcement 
 
 
 
 Reactive   fixes 
 Preventive   design Código de validação manual Expectativas construídas Dificuldade em auditar Metrologia automática Gerenciamento de erros complexos Execução de regras claras Reações fixas Design Preventivo Os pipelines declarativos reduzem a complexidade do código enquanto aumentam a confiabilidade – uma combinação rara, mas valiosa. Common Mistakes to Avoid 
 
 
 
 
 Aplicando regras rigorosas na camada de bronze Usando expect_or_fail em todos os lugares Tabelas de quarentena Tratar a qualidade dos dados como uma configuração única Qualidade Declarativa funciona melhor quando as regras . evolve with the data and business requirements Sample Data and Expected Output Para tornar a qualidade dos dados declarativos mais concreta, vamos passar por um Use dados de amostra e veja como as expectativas afetam a saída em cada camada. simple end-to-end example Sample Input Data (Bronze Layer) Suponhamos que estes sejam dados de vendas brutos injetados de um sistema de origem para o . Bronze table 
 
 
 
 
 
 
 
 
 
 
 
 
 order_id 
 customer_id 
 amount 
 order_date 
 
 
 
 
 
 101 
 C001 
 250 
 2024-11-01 
 
 
 
 
 
 102 
 C002 
 -50 
 2024-11-01 
 
 
 
 
 
 103 
 NULL 
 120 
 2024-11-02 
 
 
 
 
 
 104 
 C003 
 0 
 2024-11-02 
 
 
 
 
 
 NULL 
 C004 
 300 
 2024-11-03 101 C001 250 2024 - 11 de janeiro 102 C002 -50 2024 - 11 de janeiro 103 zero 120 2024 - 11 - 02 104 C003 0 2024 - 11 - 02 zero C004 300 2024 - 11 de junho Nessa fase: 
 
 
 Os registros não são rejeitados Os dados são armazenados para fins de rastreabilidade Data Quality Rules Applied (Silver Layer) Na camada de prata, aplicamos expectativas declarativas: 
 
 
 quantidade > 0 → expect_or_drop customer_id IS NOT NULL → expect (somente para monitor) @dlt.table
@dlt.expect_or_drop("amount_positive", "amount > 0")
@dlt.expect("customer_not_null", "customer_id IS NOT NULL")
def silver_sales():
    return dlt.read("bronze_sales")
 Silver Output Table 
 
 
 
 
 
 
 
 
 
 
 order_id 
 customer_id 
 amount 
 quality_status 
 
 
 
 
 
 101 
 C001 
 250 
 PASS 
 
 
 
 
 
 103 
 NULL 
 120 
 WARN 
 
 
 
 
 
 NULL 
 C004 
 300 
 WARN 101 C001 250 passagem 103 zero 120 advertência zero C004 300 advertência Caiu o recorde: 
 
 
 Ordem 102 (montante = -50) Ordem 104 (montante = 0) DLT gravação automática e . how many rows were dropped which rule caused it Quarantine Table Output Em vez de perder dados perdidos, captamos em uma tabela de quarentena. @dlt.table
def silver_sales_quarantine():
    return dlt.read("bronze_sales") \
        .filter("amount <= 0")
 Quarantine Output 
 
 
 
 
 
 
 
 
 
 
 order_id 
 customer_id 
 amount 
 order_date 
 Reason 
 
 
 
 
 
 
 102 
 C002 
 -50 
 2024-11-01 
 Invalid   amount 
 
 
 
 
 
 
 104 
 C003 
 0 
 2024-11-02 
 Invalid   amount 102 C002 -50 2024 - 11 de janeiro Quantidade inválida 104 C003 0 2024 - 11 - 02 Quantidade inválida Esta tabela é útil para: 
 
 
 
 Análise de Causa Raiz Feedback do vendedor ou do sistema upstream Reprocessamento após fixação Business Rules Applied (Gold Layer) Na camada de ouro, as regras de negócios rigorosas são aplicadas: • Order_id NÃO É NULL expect_or_fail @dlt.table
@dlt.expect_or_fail("order_id_present", "order_id IS NOT NULL")
def gold_sales():
    return dlt.read("silver_sales") \
        .groupBy("customer_id") \
        .agg(sum("amount").alias("total_spend"))
 Gold Output Table 
 
 
 
 
 
 
 customer_id 
 total_spend 
 
 
 
 C001 
 250 C001 250 A falha do gasoduto provocou: 
 
 Record com ordem_id = NULL faz com que o pipeline falhe Isso protege os consumidores de . preventing incorrect aggregations What DLT Captures Automatically Para este exemplo, o Databricks rastreia automaticamente: 
 
 
 
 
 Total de registros inseridos: 5 Recordes caídos em Silver: 2 Violações de expectativas por regra Razão de falha do gasoduto em ouro Todas as métricas são visíveis na com código custom zero. DLT UI and event logs Final Thoughts Este exemplo simples demonstra o poder real da qualidade de dados declarativos: 
 
 
 
 As regras são claras e autodocumentadas Dados ruins são controlados, não escondidos Os resultados são previsíveis e auditáveis Os pipelines declarativos garantem que cada conjunto de dados a jusante é construído em , tornando-os ideais para plataformas de dados de nível de produção. explicit trust guarantees

Read My Stories

Este áudio é produzido no idioma original da história!

Arquitetura de plataformas de dados de saúde confiáveis usando pipelines declarativos

About Author

COMENTARIOS

Rótulos

ESTE ARTIGO FOI APRESENTADO EM

Related Stories

Liberando o poder da IA. Uma revisão sistemática de técnicas de ponta: resumo e introdução

Criando produtos criptográficos centrados no usuário: a importância do feedback do cliente

Modelo Bitcoin UTXO, alimentando um ecossistema único

Digital Nomads Ouçam: O que você precisa saber sobre o novo visto DTV da Tailândia

Liberando o poder da IA. Uma revisão sistemática de técnicas de ponta: resumo e introdução

Criando produtos criptográficos centrados no usuário: a importância do feedback do cliente

Modelo Bitcoin UTXO, alimentando um ecossistema único

Digital Nomads Ouçam: O que você precisa saber sobre o novo visto DTV da Tailândia

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps