En las plataformas digitales de datos de salud, Las decisiones empresariales, la información regulatoria, los modelos de aprendizaje automático y los dashboards ejecutivos dependen de una cosa: . data quality is no longer a nice-to-have trustworthy data Sin embargo, muchos equipos de ingeniería de datos todavía tratan la calidad de los datos como una reflexión posterior, validando los datos sólo después de que ya se hayan propagado a continuación. Databricks introdujo un poderoso cambio en esta mentalidad a través de . Declarative Pipelines using Delta Live Tables (DLT) En lugar de escribir la lógica de validación compleja manualmente, los ingenieros ahora pueden y deje que la plataforma la aplique, monitoree y gobierne automáticamente. declare what good data looks like Este blog explora , por qué importa, y cómo diseñar tuberías de grado de producción utilizando este enfoque. how declarative data quality works in Databricks The Traditional Problem with Data Quality En las tuberías ETL tradicionales de atención médica, la calidad de los datos suele manejarse utilizando: 
 
 
 
 
 Condiciones IF Condiciones Trabajos de validación separados Tablas de logotipo manuales Preguntas de reconciliación post-carga Aunque este enfoque puede funcionar inicialmente, rápidamente se descompone en escala: 
 
 
 
 
 La lógica de validación se dispersa a través de los notas Los fracasos son difíciles de trazar de vuelta a la causa raíz Las métricas son inconsistentes entre las tuberías El procesamiento de datos malos se vuelve complejo Lo más importante, donde el impacto es mucho más caro. bad data often reaches downstream systems silently Las tuberías declarativas resuelven este problema haciendo que la calidad de los datos de la propia tubería. a first-class citizen What Is Declarative Data Quality? La calidad de los datos implica la definición No la lógica procedimental. rules and expectations En lugar de decir: “ ” Compruebe si la cantidad es positiva y luego descargue el registro. Compruebe si la cantidad es positiva y luego descargue el registro. Usted dice: “ ” La cantidad siempre debe ser mayor que cero. La cantidad siempre debe ser mayor que cero. En Databricks, esto se implementa utilizando . Delta Live Tables (DLT) Expectations Las expectativas le permiten anexar las reglas de calidad de los datos directamente a las tablas, haciendo la ruta: 
 
 
 
 Autodocumentación coherente Más fácil de mantener Delta Live Tables and Expectations Delta Live Tables proporciona un marco declarativo para construir tuberías de batch y streaming. , que se evalúan automáticamente durante la ejecución de la tubería. Expectations DLT admite tres comportamientos de expectativa: 1. Expect (Monitor Only) Este modo rastrea los problemas de calidad de los datos, pero permite que todos los registros pasen. Uso de casos: 
 
 
 Monitorización de datos de salud de arriba La implantación gradual de las normas de calidad @dlt.expect("valid_date", "order_date IS NOT NULL")
 2. Expect or Drop Los registros que violen la regla se eliminan automáticamente del conjunto de datos. Uso de casos: 
 
 
 Eliminar archivos dañados o inválidos Impulsar la limpieza en las capas curadas @dlt.expect_or_drop("amount_positive", "amount > 0")
 3. Expect or Fail La tubería falla inmediatamente si se viola la regla. Uso de casos: 
 
 
 Limitaciones empresariales críticas Datos regulatorios o financieros @dlt.expect_or_fail("order_id_present", "order_id IS NOT NULL")
 Esta separación permite a los equipos . apply the right level of strictness at the right stage Data Quality in the Medallion Architecture La calidad de los datos declarativos funciona mejor cuando se combina con la . Bronze–Silver–Gold (Medallion) Architecture Bronze Layer – Raw Data La capa de bronce se centra en la fiabilidad de la ingestión, no en la corrección. 
 
 
 
 Esquema de lectura Validación mínima Conservación de datos crudos Las expectativas declarativas generalmente se evitan aquí, excepto en las comprobaciones técnicas básicas. Silver Layer – Validated and Cleaned Data La capa de plata es donde . most data quality rules live Las reglas típicas incluyen: 
 
 
 
 
 Verificación no nula Rango de validación Integridad de referencia Deduplicación El ejemplo: @dlt.table
@dlt.expect_or_drop("valid_amount", "amount > 0")
@dlt.expect("customer_present", "customer_id IS NOT NULL")
def silver_sales():
    return dlt.read("bronze_sales")
 Esto garantiza únicamente flujos de datos confiables hacia adelante, al tiempo que mantiene la visibilidad en los problemas de calidad. Gold Layer – Business-Ready Data La capa de oro sirve para análisis, informes y aprendizaje automático. Las expectativas son estrictas: 
 
 
 
 Las claves de negocio deben existir Las agrupaciones deben ser coherentes No hay tolerancia para registros inválidos Las expectativas fallidas se utilizan comúnmente para proteger a los consumidores. Built-In Observability and Metrics Una de las mayores ventajas de la calidad declarativa de los datos en Databricks es . automatic observability Para cada expectativa, Databricks captura: 
 
 
 
 
 Total de registros procesados Recordes pasados y fallidos Recordes caídos Causas del fracaso Estas métricas están disponibles a través de: 
 
 
 
 Información sobre Delta Live Tables Tablas de Eventos Tablas de sistemas de Databricks Esto elimina la necesidad de marcos de seguimiento personalizados y mejora significativamente la audibilidad. Quarantine Pattern: Don’t Lose Bad Data En entornos regulados o empresariales, los equipos a menudo necesitan . retain invalid data for analysis and reprocessing Un patrón común es escribir registros fallidos en una tabla de cuarentena: @dlt.table
def quarantine_sales():
    return dlt.read("bronze_sales") \
        .filter("amount <= 0 OR customer_id IS NULL")
 Beneficios de este enfoque: 
 
 
 
 Análisis de la causa raíz SLA y seguimiento del problema del vendedor Recuperación después de la fijación Why Declarative Data Quality Scales Better 
 
 
 
 
 
 
 
 
 
 Traditional   ETL 
 Declarative   Pipelines 
 
 
 
 Manual   validation code 
 Built-in   expectations 
 
 
 
 Hard   to audit 
 Automatic   metrics 
 
 
 
 Complex   error handling 
 Clear   rule enforcement 
 
 
 
 Reactive   fixes 
 Preventive   design Código de validación manual Las expectativas construidas Dificultad para la auditoría Metrología automática Gestión de errores complejos Reglas claras de ejecución Reacciones fijas Diseño preventivo Los conductos declarativos reducen la complejidad del código mientras aumentan la fiabilidad, una combinación rara pero valiosa. Common Mistakes to Avoid 
 
 
 
 
 Aplicación de reglas estrictas en la capa de bronce Uso de expect_or_fail en cualquier lugar Las tablas de cuarentena Tratar la calidad de los datos como una configuración única La calidad declarativa funciona mejor cuando las reglas . evolve with the data and business requirements Sample Data and Expected Output Para hacer que la calidad de los datos declarativos sea más concreta, caminemos a través de un usar datos de muestra y ver cómo las expectativas afectan la salida en cada capa. simple end-to-end example Sample Input Data (Bronze Layer) Supongamos que se trata de datos de ventas brutos ingeridos de un sistema de fuente en el . Bronze table 
 
 
 
 
 
 
 
 
 
 
 
 
 order_id 
 customer_id 
 amount 
 order_date 
 
 
 
 
 
 101 
 C001 
 250 
 2024-11-01 
 
 
 
 
 
 102 
 C002 
 -50 
 2024-11-01 
 
 
 
 
 
 103 
 NULL 
 120 
 2024-11-02 
 
 
 
 
 
 104 
 C003 
 0 
 2024-11-02 
 
 
 
 
 
 NULL 
 C004 
 300 
 2024-11-03 101 C001 250 2024 - 11 de noviembre 102 C002 -50 2024 - 11 de noviembre 103 cero 120 El 2024-11-02 104 C003 0 El 2024-11-02 cero C004 300 El 2024-11-03 En esta etapa: 
 
 
 No se rechazan registros Los datos se almacenan como es para la trazabilidad Data Quality Rules Applied (Silver Layer) En la capa de plata, aplicamos expectativas declarativas: 
 
 
 cantidad > 0 → expect_or_drop cliente_id NO ES NULL → espera (sólo monitor) @dlt.table
@dlt.expect_or_drop("amount_positive", "amount > 0")
@dlt.expect("customer_not_null", "customer_id IS NOT NULL")
def silver_sales():
    return dlt.read("bronze_sales")
 Silver Output Table 
 
 
 
 
 
 
 
 
 
 
 order_id 
 customer_id 
 amount 
 quality_status 
 
 
 
 
 
 101 
 C001 
 250 
 PASS 
 
 
 
 
 
 103 
 NULL 
 120 
 WARN 
 
 
 
 
 
 NULL 
 C004 
 300 
 WARN 101 C001 250 Paso 103 cero 120 advertencia cero C004 300 advertencia Los discos caídos: 
 
 
 Orden 102 (número = -50) Orden 104 (número = 0) DLT registra automáticamente y . how many rows were dropped which rule caused it Quarantine Table Output En lugar de perder los datos perdidos, los captamos en una tabla de cuarentena. @dlt.table
def silver_sales_quarantine():
    return dlt.read("bronze_sales") \
        .filter("amount <= 0")
 Quarantine Output 
 
 
 
 
 
 
 
 
 
 
 order_id 
 customer_id 
 amount 
 order_date 
 Reason 
 
 
 
 
 
 
 102 
 C002 
 -50 
 2024-11-01 
 Invalid   amount 
 
 
 
 
 
 
 104 
 C003 
 0 
 2024-11-02 
 Invalid   amount 102 C002 -50 2024 - 11 de noviembre Cuantía Invalida 104 C003 0 El 2024-11-02 Cuantía Invalida Esta tabla es útil para: 
 
 
 
 Análisis de la causa raíz Feedback del vendedor o del sistema Upstream Recuperación después de la fijación Business Rules Applied (Gold Layer) En la capa de oro, se aplican reglas de negocios estrictas: Orden_id no es nulo expect_or_fail @dlt.table
@dlt.expect_or_fail("order_id_present", "order_id IS NOT NULL")
def gold_sales():
    return dlt.read("silver_sales") \
        .groupBy("customer_id") \
        .agg(sum("amount").alias("total_spend"))
 Gold Output Table 
 
 
 
 
 
 
 customer_id 
 total_spend 
 
 
 
 C001 
 250 C001 250 Fracaso del gasoducto provocado: 
 
 Record with order_id = NULL causa que el tubo falle Esto protege a los consumidores de . preventing incorrect aggregations What DLT Captures Automatically Para este ejemplo, Databricks rastrea automáticamente: 
 
 
 
 
 Número de registros registrados: 5 Recordes bajados en plata: 2 Violaciones de expectativas por regla Causa del fallo del gasoducto en oro Todas las métricas son visibles en el Con el código custom cero. DLT UI and event logs Final Thoughts Este ejemplo simple demuestra el verdadero poder de la calidad de los datos declarativos: 
 
 
 
 Reglas claras y autodocumentadas Los datos malos se controlan, no se ocultan Los resultados son predecibles y audibles Los conductos declarativos garantizan que cada conjunto de datos descendente se construya en , lo que los hace ideales para plataformas de datos de nivel de producción. explicit trust guarantees

Read My Stories

Este audio es producido en el idioma original de la historia!

Arquitectura de plataformas de datos de atención médica confiables utilizando tuberías declarativas

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Navegando por las aguas: desarrollo de aplicaciones RAG de nivel de producción con lagos de datos

La guía completa para una migración exitosa a la nube: estrategias y mejores prácticas

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

El modelo Bitcoin UTXO, impulsando un ecosistema único

Navegando por las aguas: desarrollo de aplicaciones RAG de nivel de producción con lagos de datos

La guía completa para una migración exitosa a la nube: estrategias y mejores prácticas

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

El modelo Bitcoin UTXO, impulsando un ecosistema único

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps