Trong các nền tảng dữ liệu y tế kỹ thuật số, Quyết định kinh doanh, báo cáo quy định, mô hình học máy và bảng điều khiển điều hành đều phụ thuộc vào một điều: . data quality is no longer a nice-to-have trustworthy data Tuy nhiên, nhiều nhóm kỹ thuật dữ liệu vẫn coi chất lượng dữ liệu như một suy nghĩ sau, xác nhận dữ liệu chỉ sau khi nó đã được lan truyền xuống. Databricks đã giới thiệu một sự thay đổi mạnh mẽ trong tư duy này thông qua . Declarative Pipelines using Delta Live Tables (DLT) Thay vì viết logic xác thực phức tạp bằng tay, các kỹ sư bây giờ có thể và để nền tảng thực thi, giám sát và quản lý nó tự động. declare what good data looks like Blog này khám phá , tại sao nó quan trọng, và làm thế nào để thiết kế đường ống cấp sản xuất bằng cách sử dụng phương pháp này. how declarative data quality works in Databricks The Traditional Problem with Data Quality Trong các đường ống ETL y tế truyền thống, chất lượng dữ liệu thường được xử lý bằng cách sử dụng: 
 
 
 
 
 Custom IF điều kiện Các công việc xác nhận riêng biệt Bảng logging manual Post-load hòa giải yêu cầu Mặc dù cách tiếp cận này có thể làm việc ban đầu, nhưng nó nhanh chóng phá vỡ quy mô: 
 
 
 
 
 Logic xác thực trở nên rải rác trên các sổ ghi chép Thất bại là khó khăn để theo dõi trở lại nguyên nhân gốc rễ Metrics là không nhất quán trên các đường ống Xử lý dữ liệu xấu trở nên phức tạp Quan trọng nhất, , nơi tác động là đắt hơn nhiều. bad data often reaches downstream systems silently Declarative pipelines giải quyết vấn đề này bằng cách làm cho chất lượng dữ liệu  of the pipeline itself. a first-class citizen What Is Declarative Data Quality? Chất lượng dữ liệu có nghĩa là xác định Không phải logic thủ tục. rules and expectations Thay vì nói: “ ” Kiểm tra nếu số tiền là tích cực và sau đó thả kỷ lục. Kiểm tra nếu số tiền là tích cực và sau đó thả kỷ lục. Bạn nói: “ ” Số tiền phải luôn luôn lớn hơn zero. Số tiền phải luôn luôn lớn hơn zero. Trong Databricks, điều này được thực hiện bằng cách sử dụng . Delta Live Tables (DLT) Expectations Hy vọng cho phép bạn đính kèm các quy tắc chất lượng dữ liệu trực tiếp vào các bảng, làm cho đường ống dẫn: 
 
 
 
 Tự tài liệu nhất quán Dễ dàng duy trì Delta Live Tables and Expectations Delta Live Tables cung cấp một khuôn khổ tuyên bố để xây dựng lô và đường ống phát trực tuyến. chất lượng dữ liệu được thực thi bằng cách sử dụng , được đánh giá tự động trong quá trình thực hiện đường ống. Expectations DLT hỗ trợ ba hành vi kỳ vọng: 1. Expect (Monitor Only) Chế độ này theo dõi các vấn đề về chất lượng dữ liệu nhưng cho phép tất cả các bản ghi được thông qua. Sử dụng trường hợp: 
 
 
 Theo dõi dữ liệu sức khỏe Upstream Lập trình dần dần các quy tắc chất lượng @dlt.expect("valid_date", "order_date IS NOT NULL")
 2. Expect or Drop Các bản ghi vi phạm quy tắc sẽ tự động bị xóa khỏi tập dữ liệu. Sử dụng trường hợp: 
 
 
 Xóa các bản ghi không hợp lệ hoặc bị hỏng Thực thi sự sạch sẽ trong các lớp curated @dlt.expect_or_drop("amount_positive", "amount > 0")
 3. Expect or Fail Đường ống sẽ thất bại ngay lập tức nếu quy tắc bị vi phạm. Sử dụng trường hợp: 
 
 
 Các hạn chế kinh doanh quan trọng Dữ liệu quy định hoặc tài chính @dlt.expect_or_fail("order_id_present", "order_id IS NOT NULL")
 Sự phân chia rõ ràng này cho phép các đội . apply the right level of strictness at the right stage Data Quality in the Medallion Architecture Chất lượng dữ liệu tuyên bố hoạt động tốt nhất khi kết hợp với . Bronze–Silver–Gold (Medallion) Architecture Bronze Layer – Raw Data Lớp đồng tập trung vào độ tin cậy của việc hấp thụ, không phải sự chính xác. 
 
 
 
 Chương trình đọc Validation tối thiểu Bảo vệ dữ liệu thô Các kỳ vọng tuyên bố thường được tránh ở đây, ngoại trừ các kiểm tra kỹ thuật cơ bản. Silver Layer – Validated and Cleaned Data The Silver Layer là nơi . most data quality rules live Các quy tắc điển hình bao gồm: 
 
 
 
 
 Kiểm tra không null Range Validations Integrity tham chiếu Deduplicate Ví dụ : @dlt.table
@dlt.expect_or_drop("valid_amount", "amount > 0")
@dlt.expect("customer_present", "customer_id IS NOT NULL")
def silver_sales():
    return dlt.read("bronze_sales")
 Điều này đảm bảo chỉ dòng dữ liệu đáng tin cậy về phía trước, trong khi vẫn duy trì khả năng hiển thị trong các vấn đề chất lượng. Gold Layer – Business-Ready Data Lớp vàng phục vụ phân tích, báo cáo và học máy. Ở đây, kỳ vọng rất nghiêm ngặt: 
 
 
 
 Chìa khóa kinh doanh phải tồn tại Aggregations phải là nhất quán Không có sự khoan dung cho các bản ghi không hợp lệ Những kỳ vọng thất bại thường được sử dụng để bảo vệ người tiêu dùng. Built-In Observability and Metrics Một trong những lợi thế lớn nhất của chất lượng dữ liệu tuyên bố trong Databricks là . automatic observability Đối với mọi kỳ vọng, Databricks nắm bắt: 
 
 
 
 
 Toàn bộ hồ sơ xử lý Những kỷ lục đã qua và thất bại Thất kỷ lục Nguyên nhân thất bại Các métri này có sẵn thông qua: 
 
 
 
 Tiện ích của Delta Live Tables Event log bảng Bảng hệ thống Databricks Điều này loại bỏ sự cần thiết cho các khung giám sát tùy chỉnh và cải thiện đáng kể khả năng kiểm toán. Quarantine Pattern: Don’t Lose Bad Data Thả các hồ sơ xấu không phải lúc nào cũng đủ.Trong môi trường quy định hoặc doanh nghiệp, các nhóm thường cần . retain invalid data for analysis and reprocessing Một mô hình phổ biến là viết các bản ghi thất bại vào một bảng cách ly: @dlt.table
def quarantine_sales():
    return dlt.read("bronze_sales") \
        .filter("amount <= 0 OR customer_id IS NULL")
 Lợi ích của phương pháp này: 
 
 
 
 Phân tích root-cause Theo dõi vấn đề SLA và Vendor Tái xử lý sau khi fix Why Declarative Data Quality Scales Better 
 
 
 
 
 
 
 
 
 
 Traditional   ETL 
 Declarative   Pipelines 
 
 
 
 Manual   validation code 
 Built-in   expectations 
 
 
 
 Hard   to audit 
 Automatic   metrics 
 
 
 
 Complex   error handling 
 Clear   rule enforcement 
 
 
 
 Reactive   fixes 
 Preventive   design Mã xác thực thủ công Built-in kỳ vọng Khó kiểm toán Metric tự động Xử lý lỗi phức tạp Quy tắc thực thi rõ ràng Phản ứng Fix Thiết kế phòng ngừa Các đường ống tuyên bố làm giảm sự phức tạp của mã trong khi tăng độ tin cậy - một sự kết hợp hiếm hoi nhưng có giá trị. Common Mistakes to Avoid 
 
 
 
 
 Áp dụng các quy tắc nghiêm ngặt trong lớp đồng Sử dụng expect_or_fail ở khắp mọi nơi Vô hiệu hóa quarantine table Xử lý chất lượng dữ liệu như một thiết lập một lần Chất lượng tuyên bố hoạt động tốt nhất khi các quy tắc . evolve with the data and business requirements Sample Data and Expected Output Để làm cho chất lượng dữ liệu tuyên bố cụ thể hơn, hãy đi qua một Sử dụng dữ liệu mẫu và xem kỳ vọng ảnh hưởng đến sản lượng ở mỗi lớp như thế nào. simple end-to-end example Sample Input Data (Bronze Layer) Giả sử đây là dữ liệu bán hàng thô được nhập từ một hệ thống nguồn vào . Bronze table 
 
 
 
 
 
 
 
 
 
 
 
 
 order_id 
 customer_id 
 amount 
 order_date 
 
 
 
 
 
 101 
 C001 
 250 
 2024-11-01 
 
 
 
 
 
 102 
 C002 
 -50 
 2024-11-01 
 
 
 
 
 
 103 
 NULL 
 120 
 2024-11-02 
 
 
 
 
 
 104 
 C003 
 0 
 2024-11-02 
 
 
 
 
 
 NULL 
 C004 
 300 
 2024-11-03 101 C001 250 Chương 2024-11-01 102 C002 -50 Chương 2024-11-01 103 0 0 120 Năm 2024-11-02 104 C003 0 Năm 2024-11-02 0 0 C004 300 Chương 2024-11-03 Ở giai đoạn này: 
 
 
 Không có hồ sơ bị từ chối Dữ liệu được lưu trữ như là để theo dõi Data Quality Rules Applied (Silver Layer) Trong lớp bạc, chúng tôi áp dụng kỳ vọng tuyên bố: 
 
 
 Số lượng > 0 → expect_or_drop customer_id IS NOT NULL → expect (chỉ màn hình) @dlt.table
@dlt.expect_or_drop("amount_positive", "amount > 0")
@dlt.expect("customer_not_null", "customer_id IS NOT NULL")
def silver_sales():
    return dlt.read("bronze_sales")
 Silver Output Table 
 
 
 
 
 
 
 
 
 
 
 order_id 
 customer_id 
 amount 
 quality_status 
 
 
 
 
 
 101 
 C001 
 250 
 PASS 
 
 
 
 
 
 103 
 NULL 
 120 
 WARN 
 
 
 
 
 
 NULL 
 C004 
 300 
 WARN 101 C001 250 Pass đi 103 0 0 120 cảnh báo 0 0 C004 300 cảnh báo Thất kỷ lục: 
 
 
 Lệnh 102 (số lượng = -50) Lệnh 104 (số lượng = 0) DLT tự động ghi âm và . how many rows were dropped which rule caused it Quarantine Table Output Thay vì mất dữ liệu bị rơi, chúng tôi thu thập nó trong một bảng cách ly. @dlt.table
def silver_sales_quarantine():
    return dlt.read("bronze_sales") \
        .filter("amount <= 0")
 Quarantine Output 
 
 
 
 
 
 
 
 
 
 
 order_id 
 customer_id 
 amount 
 order_date 
 Reason 
 
 
 
 
 
 
 102 
 C002 
 -50 
 2024-11-01 
 Invalid   amount 
 
 
 
 
 
 
 104 
 C003 
 0 
 2024-11-02 
 Invalid   amount 102 C002 -50 Chương 2024-11-01 Số tiền bất hợp lệ 104 C003 0 Năm 2024-11-02 Số tiền bất hợp lệ Bảng này rất hữu ích cho: 
 
 
 
 Phân tích root-cause Nhà cung cấp hoặc Upstream System Feedback Tái xử lý sau khi fix Business Rules Applied (Gold Layer) Trong lớp vàng, các quy tắc kinh doanh nghiêm ngặt được thực thi: Order_id không phải là NULL expect_or_fail @dlt.table
@dlt.expect_or_fail("order_id_present", "order_id IS NOT NULL")
def gold_sales():
    return dlt.read("silver_sales") \
        .groupBy("customer_id") \
        .agg(sum("amount").alias("total_spend"))
 Gold Output Table 
 
 
 
 
 
 
 customer_id 
 total_spend 
 
 
 
 C001 
 250 C001 250 Vụ hư hỏng đường ống dẫn: 
 
 Record with order_id = NULL làm cho đường ống thất bại Điều này bảo vệ downstreRecordsam người tiêu dùng bằng cách . preventing incorrect aggregations What DLT Captures Automatically Đối với ví dụ này, Databricks tự động theo dõi: 
 
 
 
 
 Tổng số hồ sơ thu thập: 5 Kỷ lục rơi trong Silver: 2 Vi phạm kỳ vọng theo quy tắc Nguyên nhân thất bại đường ống dẫn trong vàng Tất cả các métri đều có thể nhìn thấy trong Với zero custom code. DLT UI and event logs Final Thoughts Ví dụ đơn giản này cho thấy sức mạnh thực sự của chất lượng dữ liệu tuyên bố: 
 
 
 
 Các quy tắc rõ ràng và tự tài liệu Dữ liệu xấu được kiểm soát, không che giấu Sản lượng có thể dự đoán và kiểm toán Các đường ống dẫn khai báo đảm bảo rằng mọi tập dữ liệu tiếp theo được xây dựng trên , làm cho chúng lý tưởng cho các nền tảng dữ liệu cấp độ sản xuất. explicit trust guarantees

Read My Stories

Nghe bài viết này bằng Tiếng Anh, đọc bởi robot thông minh của HackerNoon

Xây dựng các nền tảng dữ liệu chăm sóc sức khỏe đáng tin cậy bằng cách sử dụng đường ống dẫn khai báo

About Author

BÌNH LUẬN

chuyên mục

BÀI VIẾT NÀY CŨNG CÓ MẶT TẠI

Related Stories

145 Stories To Learn About Book

189 Stories To Learn About Reading Books

223 Stories To Learn About Science

85 Stories To Learn About Travel

145 Stories To Learn About Book

189 Stories To Learn About Reading Books

223 Stories To Learn About Science

85 Stories To Learn About Travel

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps