В цифровых платформах здравоохранения, Бизнес-решения, нормативные отчеты, модели машинного обучения и руководящие панели все зависят от одного: . data quality is no longer a nice-to-have trustworthy data Тем не менее, многие команды инженеров по обработке данных по-прежнему рассматривают качество данных как последующую мысль, проверяя данные только после того, как они уже распространены вниз. Databricks ввел мощный сдвиг в этом мышлении через . Declarative Pipelines using Delta Live Tables (DLT) Вместо того чтобы писать сложную логику проверки вручную, инженеры теперь могут и позволять платформе осуществлять, контролировать и управлять им автоматически. declare what good data looks like Этот блог исследует , почему это важно, и как проектировать трубопроводы производственного уровня с помощью этого подхода. how declarative data quality works in Databricks The Traditional Problem with Data Quality В традиционных трубопроводах ETL здравоохранения качество данных обычно обрабатывается с использованием: 
 
 
 
 
 Кондиционеры, если условия Отдельные работы по валидации Ручная регистрация таблиц Вопросы по примирению после загрузки Хотя этот подход может сначала работать, он быстро распадается по масштабу: 
 
 
 
 
 Логика валидации рассеивается по ноутбукам Неудачи трудно проследить обратно к корневой причине Метрики несовместимы между трубопроводами Переработка плохих данных становится сложной И самое главное, Там, где воздействие намного дороже. bad data often reaches downstream systems silently Декларативные трубопроводы решают эту проблему, делая качество данных от самого трубопровода. a first-class citizen What Is Declarative Data Quality? Декларативное качество данных означает определение Нет процедурной логики. rules and expectations Вместо того чтобы сказать: “ ” Проверьте, является ли сумма положительной, а затем сбросьте рекорд. Проверьте, является ли сумма положительной, а затем сбросьте рекорд. Вы говорите: “ ” Сумма всегда должна быть больше нуля. Сумма всегда должна быть больше нуля. В DataBricks это реализуется с помощью . Delta Live Tables (DLT) Expectations Ожидания позволяют прикреплять правила качества данных непосредственно к таблицам, делая трубопровод: 
 
 
 
 Самодокументирование последовательно Легче поддержать Delta Live Tables and Expectations Delta Live Tables обеспечивают декларативную структуру для создания партийных и потоковых трубопроводов. , которые оцениваются автоматически во время выполнения трубопровода. Expectations DLT поддерживает три типа ожидания: 1. Expect (Monitor Only) Этот режим отслеживает проблемы с качеством данных, но позволяет проходить все записи. Используйте случаи: 
 
 
 Контроль за здоровьем Upstream Data Постепенное внедрение правил качества @dlt.expect("valid_date", "order_date IS NOT NULL")
 2. Expect or Drop Записи, нарушающие правило, автоматически удаляются из набора данных. Используйте случаи: 
 
 
 Удаление недействительных или поврежденных записей Соблюдение чистоты в очищенных слоях @dlt.expect_or_drop("amount_positive", "amount > 0")
 3. Expect or Fail Трубопровод немедленно проваливается, если нарушается правило. Используйте случаи: 
 
 
 Бизнес-критические ограничения Регулирующие или финансовые данные @dlt.expect_or_fail("order_id_present", "order_id IS NOT NULL")
 Это четкое разделение позволяет командам . apply the right level of strictness at the right stage Data Quality in the Medallion Architecture Декларативное качество данных лучше всего работает в сочетании с . Bronze–Silver–Gold (Medallion) Architecture Bronze Layer – Raw Data Бронзовый слой фокусируется на надежности приема пищи, а не на правильности. 
 
 
 
 Схема чтения Минимальная валидация Сохранение сырых данных Обычно здесь избегаются декларативные ожидания, за исключением базовых технических проверок. Silver Layer – Validated and Cleaned Data Серебряный слой находится где . most data quality rules live Типичные правила включают: 
 
 
 
 
 Ненулевые проверки Валидация диапазона Референтная целостность Дедупликация Пример : @dlt.table
@dlt.expect_or_drop("valid_amount", "amount > 0")
@dlt.expect("customer_present", "customer_id IS NOT NULL")
def silver_sales():
    return dlt.read("bronze_sales")
 Это обеспечивает только надежные потоки данных вперед, сохраняя при этом видимость в вопросах качества. Gold Layer – Business-Ready Data Золотой слой служит аналитике, отчетности и машинному обучению. Здесь ожидания жесткие: 
 
 
 
 Бизнес-ключи должны существовать Агрегации должны быть последовательными Нет толерантности к недействительным записям Неудачные ожидания обычно используются для защиты потребителей. Built-In Observability and Metrics Одним из самых больших преимуществ декларирующего качества данных в Databricks является . automatic observability Для каждого ожидания, Databricks улавливает: 
 
 
 
 
 Общий объем обработанных записей Прошедшие и провалившиеся рекорды Сброшенные рекорды Причины неудачи Эти метрики доступны через: 
 
 
 
 Delta Live Tables UI Таблица событий Системные таблицы Databricks Это устраняет необходимость в настраиваемых рамках мониторинга и значительно улучшает аудитность. Quarantine Pattern: Don’t Lose Bad Data Отказ от плохих записей не всегда достаточно.В регулируемой или корпоративной среде командам часто требуется . retain invalid data for analysis and reprocessing Распространенная схема заключается в написании неудачных записей в карантинную таблицу: @dlt.table
def quarantine_sales():
    return dlt.read("bronze_sales") \
        .filter("amount <= 0 OR customer_id IS NULL")
 Преимущества такого подхода: 
 
 
 
 Анализ корневой причины SLA и отслеживание проблем с продавцом Переработка после фиксации Why Declarative Data Quality Scales Better 
 
 
 
 
 
 
 
 
 
 Traditional   ETL 
 Declarative   Pipelines 
 
 
 
 Manual   validation code 
 Built-in   expectations 
 
 
 
 Hard   to audit 
 Automatic   metrics 
 
 
 
 Complex   error handling 
 Clear   rule enforcement 
 
 
 
 Reactive   fixes 
 Preventive   design Ручной код валидации Встроенные ожидания Трудно провести аудит Автоматические метрики Сложная обработка ошибок Четкое соблюдение правил Реактивные фиксаторы Профилактический дизайн Декларативные трубопроводы уменьшают сложность кода и повышают надежность — редкое, но ценное сочетание. Common Mistakes to Avoid 
 
 
 
 
 Применение строгих правил в бронзовом слое Использование expect_or_fail везде Игнорирование карантинных столов Обращение с качеством данных как с одноразовой настройкой Декларативное качество лучше всего работает, когда есть правила . evolve with the data and business requirements Sample Data and Expected Output Чтобы сделать качество декларативных данных более конкретным, давайте пройдемся через Используйте примерные данные и посмотрите, как ожидания влияют на выход в каждом слое. simple end-to-end example Sample Input Data (Bronze Layer) Предположим, что это сырые данные о продажах, введенные из исходной системы в . Bronze table 
 
 
 
 
 
 
 
 
 
 
 
 
 order_id 
 customer_id 
 amount 
 order_date 
 
 
 
 
 
 101 
 C001 
 250 
 2024-11-01 
 
 
 
 
 
 102 
 C002 
 -50 
 2024-11-01 
 
 
 
 
 
 103 
 NULL 
 120 
 2024-11-02 
 
 
 
 
 
 104 
 C003 
 0 
 2024-11-02 
 
 
 
 
 
 NULL 
 C004 
 300 
 2024-11-03 101 С001 250 В 2024-11-01 102 С002 -50 В 2024-11-01 103 нулевой 120 В 2024-11-02 104 С003 0 В 2024-11-02 нулевой С004 300 В 2024-11-03 На этом этапе: 
 
 
 Никакие записи не отвергаются Данные хранятся как для отслеживания Data Quality Rules Applied (Silver Layer) В серебряном слое мы применяем декларативные ожидания: 
 
 
 Количество > 0 → expect_or_drop customer_id IS NOT NULL → expect (только для монитора) @dlt.table
@dlt.expect_or_drop("amount_positive", "amount > 0")
@dlt.expect("customer_not_null", "customer_id IS NOT NULL")
def silver_sales():
    return dlt.read("bronze_sales")
 Silver Output Table 
 
 
 
 
 
 
 
 
 
 
 order_id 
 customer_id 
 amount 
 quality_status 
 
 
 
 
 
 101 
 C001 
 250 
 PASS 
 
 
 
 
 
 103 
 NULL 
 120 
 WARN 
 
 
 
 
 
 NULL 
 C004 
 300 
 WARN 101 С001 250 Пассы 103 нулевой 120 Предупреждение нулевой С004 300 Предупреждение Сброшенные рекорды : 
 
 
 Приказ 102 (сумма = -50) Приказ 104 (сумма = 0) DLT автоматически записывает и . how many rows were dropped which rule caused it Quarantine Table Output Вместо того чтобы терять упущенные данные, мы захватываем их в карантинной таблице. @dlt.table
def silver_sales_quarantine():
    return dlt.read("bronze_sales") \
        .filter("amount <= 0")
 Quarantine Output 
 
 
 
 
 
 
 
 
 
 
 order_id 
 customer_id 
 amount 
 order_date 
 Reason 
 
 
 
 
 
 
 102 
 C002 
 -50 
 2024-11-01 
 Invalid   amount 
 
 
 
 
 
 
 104 
 C003 
 0 
 2024-11-02 
 Invalid   amount 102 С002 -50 В 2024-11-01 Недействительная сумма 104 С003 0 В 2024-11-02 Недействительная сумма Такой стол полезен для: 
 
 
 
 Анализ корневой причины Обратная связь поставщика или системы Upstream Переработка после фиксации Business Rules Applied (Gold Layer) В золотом слое соблюдаются строгие правила ведения бизнеса: • order_id IS NOT NULL → expect_or_fail @dlt.table
@dlt.expect_or_fail("order_id_present", "order_id IS NOT NULL")
def gold_sales():
    return dlt.read("silver_sales") \
        .groupBy("customer_id") \
        .agg(sum("amount").alias("total_spend"))
 Gold Output Table 
 
 
 
 
 
 
 customer_id 
 total_spend 
 
 
 
 C001 
 250 С001 250 Провал трубопровода вызван: 
 
 Запись с order_id = NULL вызывает сбой трубопровода Это защищает потребителей от . preventing incorrect aggregations What DLT Captures Automatically Для этого примера Databricks автоматически отслеживает: 
 
 
 
 
 Общее количество записей: 5 Рекордсмены, сброшенные в серебряном: 2 Нарушения ожидания по правилу Причина неисправности трубопровода в золоте Все метрики видны в с нулевым кодом. DLT UI and event logs Final Thoughts Этот простой пример демонстрирует реальную силу качества декларативных данных: 
 
 
 
 Правила четкие и самодокументируемые Плохие данные контролируются, а не скрываются Выходы являются предсказуемыми и аудируемыми Декларативные трубопроводы гарантируют, что каждый набор данных вниз построен на Это делает их идеальными для производственных платформ. explicit trust guarantees

Read My Stories

Этот звук создан на языке оригинала истории!

Архитектура надежных платформ данных о здравоохранении с использованием декларативных трубопроводов

About Author

КОММЕНТАРИИ

БИРКИ

ЭТА СТАТЬЯ БЫЛА ПРЕДСТАВЛЕНА В

Related Stories

Повысьте свою производительность с помощью этих 18 инструментов разработчика 🚀🔥

Хотите выиграть конкурс HackerNoon? Вот что рекомендуют победители конкурса #crypto-api

Невидимые слои: почему интервью с пользователями являются незаменимым активом

От форумов до лент новостей: как алгоритмы социальных сетей формируют цифровое взаимодействие

Повысьте свою производительность с помощью этих 18 инструментов разработчика 🚀🔥

Хотите выиграть конкурс HackerNoon? Вот что рекомендуют победители конкурса #crypto-api

Невидимые слои: почему интервью с пользователями являются незаменимым активом

От форумов до лент новостей: как алгоритмы социальных сетей формируют цифровое взаимодействие

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps