ডিজিটাল স্বাস্থ্য ডেটা প্ল্যাটফর্ম ব্যবসায়িক সিদ্ধান্ত, নিয়ন্ত্রক রিপোর্টিং, মেশিন লার্নিং মডেল, এবং নির্বাহী ড্যাশবোর্ড সব একটি জিনিস উপর নির্ভর করে: . data quality is no longer a nice-to-have trustworthy data যাইহোক, অনেক ডেটা ইঞ্জিনিয়ারিং টিম এখনও ডেটা গুণমানকে একটি পরবর্তী চিন্তা হিসাবে বিবেচনা করে, ডেটা শুধুমাত্র তারপর যখন এটি ইতিমধ্যে নিচের প্রবাহে ছড়িয়ে পড়ে। ডাটাব্রিক্স এই মনোভাবের একটি শক্তিশালী পরিবর্তন চালিয়েছে . Declarative Pipelines using Delta Live Tables (DLT) ম্যানুয়ালভাবে জটিল যাচাই লজিক লিখার পরিবর্তে, ইঞ্জিনিয়াররা এখন এবং প্ল্যাটফর্মটি এটি স্বয়ংক্রিয়ভাবে প্রয়োগ করে, পর্যবেক্ষণ করে এবং পরিচালনা করে। declare what good data looks like এই ব্লগটি অনুসন্ধান করে , কেন এটি গুরুত্বপূর্ণ, এবং কীভাবে এই পদ্ধতি ব্যবহার করে উৎপাদন স্তরের পাইপলাইন ডিজাইন করা যায়। how declarative data quality works in Databricks The Traditional Problem with Data Quality ঐতিহ্যগত স্বাস্থ্য ETL পাইপলাইনে, ডেটা গুণমান সাধারণত ব্যবহার করে পরিচালিত হয়: 
 
 
 
 
 কাস্টম যদি শর্ত পৃথক validation চাকরি ম্যানুয়াল লগিং টেবিল Post-loading সমন্বয় অনুরোধ যদিও এই পদ্ধতি প্রাথমিকভাবে কাজ করতে পারে, তবে এটি দ্রুত মাত্রায় ভেঙে যায়: 
 
 
 
 
 ভ্যালিডেশন লজিকটি নোটবুকগুলিতে ছড়িয়ে পড়ে ব্যর্থতাগুলি মূল কারণে ফিরে পেতে কঠিন পাইপলাইনগুলির মধ্যে মেট্রিক অনিশ্চয়তা খারাপ তথ্য পুনরায় প্রক্রিয়াকরণ জটিল হয়ে যায় সবচেয়ে গুরুত্বপূর্ণ, যেখানে প্রভাব অনেক বেশি ব্যয়বহুল। bad data often reaches downstream systems silently ডকুমেন্টেশন পাইপলাইন ডেটা গুণমান তৈরি করে এই সমস্যার সমাধান করে পাইপলাইন নিজেই। a first-class citizen What Is Declarative Data Quality? ডাটা সার্টিফিকেট মানে ডাটা সার্টিফিকেট পদ্ধতিগত যুক্তি নয়। rules and expectations বলার পরিবর্তে: “ ” চেক করুন যদি পরিমাণটি ইতিবাচক হয় এবং তারপর রেকর্ডটি ছাড়ুন। চেক করুন যদি পরিমাণটি ইতিবাচক হয় এবং তারপর রেকর্ডটি ছাড়ুন। আপনি বলছেন: “ ” সংখ্যা সবসময় শূন্যের চেয়ে বেশি হতে হবে। সংখ্যা সবসময় শূন্যের চেয়ে বেশি হতে হবে। ডাটাবেসের ক্ষেত্রে, এটি ব্যবহার করা হয় . Delta Live Tables (DLT) Expectations প্রত্যাশাগুলি আপনাকে ডেটা গুণমান নিয়মগুলি সরাসরি টেবিলগুলিতে সংযুক্ত করতে দেয়, যা পাইপলাইন তৈরি করে: 
 
 
 
 স্ব-ডকুমেন্টিং সামঞ্জস্যপূর্ণ বজায় রাখা সহজ Delta Live Tables and Expectations ডেল্টা লাইভ টেবিলগুলি ব্যাটারি এবং স্ট্রিমিং পাইপলাইন নির্মাণ করার জন্য একটি ঘোষণামূলক কাঠামো সরবরাহ করে। , যা পাইপলাইন বাস্তবায়নের সময় স্বয়ংক্রিয়ভাবে মূল্যায়ন করা হয়। Expectations DLT তিনটি প্রত্যাশা আচরণ সমর্থন করে: 1. Expect (Monitor Only) এই মোডটি ডেটা মানের সমস্যাগুলি ট্র্যাক করে কিন্তু সমস্ত রেকর্ডগুলি পাস করতে দেয়। ব্যবহারের ক্ষেত্রে: 
 
 
 UPSTREAM ডেটা স্বাস্থ্য গুণমান নিয়মের ধীরগতি @dlt.expect("valid_date", "order_date IS NOT NULL")
 2. Expect or Drop নিয়ম লঙ্ঘনকারী রেকর্ডগুলি স্বয়ংক্রিয়ভাবে ডাটা সেট থেকে মুছে ফেলা হয়। ব্যবহারের ক্ষেত্রে: 
 
 
 অনিয়মিত বা ক্ষতিগ্রস্ত রেকর্ড মুছে ফেলা কুরবানী জায়গাগুলোতে পরিষ্কার রাখা @dlt.expect_or_drop("amount_positive", "amount > 0")
 3. Expect or Fail নিয়ম লঙ্ঘন হলে পাইপলাইন অবিলম্বে ব্যর্থ হবে। ব্যবহারের ক্ষেত্রে: 
 
 
 ব্যবসায়িক সমালোচনামূলক বাধা নিয়ন্ত্রক বা আর্থিক তথ্য @dlt.expect_or_fail("order_id_present", "order_id IS NOT NULL")
 এই পরিষ্কার পার্থক্য টিমগুলিকে অনুমতি দেয় . apply the right level of strictness at the right stage Data Quality in the Medallion Architecture ডাটা গুণগত মান সর্বোত্তমভাবে কাজ করে যখন সংযুক্ত করা হয় . Bronze–Silver–Gold (Medallion) Architecture Bronze Layer – Raw Data ব্রোঞ্জ স্তরটি ইনজেকশন নির্ভরযোগ্যতা, সঠিকতা নয় উপর ফোকাস করে। 
 
 
 
 বই পড়ার পরিকল্পনা ন্যূনতম বৈধতা রাইড ডেটা সংরক্ষণ এখানে সাধারণত মৌলিক প্রযুক্তিগত চেকগুলি ব্যতীত বিবৃতিগত প্রত্যাশা এড়ানো হয়। Silver Layer – Validated and Cleaned Data সিলভার লেয়ার কোথায় . most data quality rules live সাধারণ নিয়মগুলি অন্তর্ভুক্ত: 
 
 
 
 
 নোংরা চেক বৈশিষ্ট্যসমূহ রেফারেন্স ইন্টিগ্রেশন ডিপোজিট উদাহরণ : @dlt.table
@dlt.expect_or_drop("valid_amount", "amount > 0")
@dlt.expect("customer_present", "customer_id IS NOT NULL")
def silver_sales():
    return dlt.read("bronze_sales")
 এটি শুধুমাত্র নির্ভরযোগ্য ডেটা প্রবাহ নিশ্চিত করে, যদিও মানের বিষয়গুলিতে দৃশ্যমানতা বজায় রাখে। Gold Layer – Business-Ready Data গোল্ড লেয়ারটি বিশ্লেষণ, রিপোর্টিং এবং মেশিন শেখার জন্য কাজ করে। এখানে, প্রত্যাশা কঠোর: 
 
 
 
 ব্যবসায়িক চাবি থাকতে হবে সমন্বয়কে অবশ্যই সামঞ্জস্যপূর্ণ হতে হবে অনিয়মিত রেকর্ডের জন্য কোন সহনশীলতা নেই দ্রুত প্রত্যাশাগুলি সাধারণত ভোক্তা রক্ষার জন্য ব্যবহৃত হয়। Built-In Observability and Metrics ডাটাবেজিংয়ের মধ্যে ডাটাবেজিং মানের বৃহত্তম সুবিধাগুলির একটি হল . automatic observability প্রতিটি প্রত্যাশা জন্য, Databricks ক্যাপচার: 
 
 
 
 
 মোট রেকর্ড প্রক্রিয়া পাস এবং ব্যর্থ রেকর্ড হিসাব পতন রেকর্ড ব্যর্থতার কারণ এই মেট্রিক্সগুলি পাওয়া যায়: 
 
 
 
 ডেল্টা লাইভ টেবিল ইভেন্ট লগ টেবিল Databricks সিস্টেম টেবিল এটি কাস্টম মনিটরিং ফ্রেমওয়ার্কগুলির প্রয়োজনকে সরিয়ে দেয় এবং অডিটযোগ্যতাকে উল্লেখযোগ্যভাবে উন্নত করে। Quarantine Pattern: Don’t Lose Bad Data খারাপ রেকর্ড ছাড়াই সবসময় যথেষ্ট নয়. নিয়ন্ত্রিত বা কর্পোরেট পরিবেশে, দলের প্রায়ই . retain invalid data for analysis and reprocessing একটি সাধারণ প্যাটার্ন একটি ক্যারান্টিন টেবিলে ব্যর্থ রেকর্ড লিখতে হয়: @dlt.table
def quarantine_sales():
    return dlt.read("bronze_sales") \
        .filter("amount <= 0 OR customer_id IS NULL")
 এই পদ্ধতির সুবিধা: 
 
 
 
 রুট কারণ বিশ্লেষণ SLA এবং বিক্রেতা সমস্যা ট্র্যাকিং ফিক্সার পরে পুনর্ব্যবহার Why Declarative Data Quality Scales Better 
 
 
 
 
 
 
 
 
 
 Traditional   ETL 
 Declarative   Pipelines 
 
 
 
 Manual   validation code 
 Built-in   expectations 
 
 
 
 Hard   to audit 
 Automatic   metrics 
 
 
 
 Complex   error handling 
 Clear   rule enforcement 
 
 
 
 Reactive   fixes 
 Preventive   design ম্যানুয়াল validation code ভিত্তিক প্রত্যাশা অডিট করা কঠিন স্বয়ংক্রিয় মেট্রিক্স জটিল ভুল ব্যবস্থাপনা পরিষ্কার নিয়ম বাস্তবায়ন প্রতিক্রিয়াশীল ফিচার প্রতিরোধী ডিজাইন Declarative পাইপলাইন কোড জটিলতা হ্রাস করে এবং নির্ভরযোগ্যতা বৃদ্ধি করে - একটি বিরল কিন্তু মূল্যবান সংমিশ্রণ। Common Mistakes to Avoid 
 
 
 
 
 ব্রোঞ্জ স্তরে কঠোর নিয়মগুলি প্রয়োগ করুন expect_or_fail সব জায়গায় ব্যবহার করুন ৪. ক্যারান্টিন টেবিল একবারের সেটিং হিসাবে ডেটা গুণমান চিকিত্সা নিয়ম যখন সবচেয়ে ভাল কাজ করে . evolve with the data and business requirements Sample Data and Expected Output তথ্যের গুণমান আরো নির্ভরযোগ্য করার জন্য, চলুন একটি নমুনা ডেটা ব্যবহার করে দেখুন এবং প্রত্যাশাগুলি প্রতিটি স্তরের আউটপুটকে কীভাবে প্রভাবিত করে। simple end-to-end example Sample Input Data (Bronze Layer) ধারণা করা যাক এটি একটি উৎস সিস্টেম থেকে বিক্রয় ডেটা অন্তর্ভুক্ত করা কাঁচা। . Bronze table 
 
 
 
 
 
 
 
 
 
 
 
 
 order_id 
 customer_id 
 amount 
 order_date 
 
 
 
 
 
 101 
 C001 
 250 
 2024-11-01 
 
 
 
 
 
 102 
 C002 
 -50 
 2024-11-01 
 
 
 
 
 
 103 
 NULL 
 120 
 2024-11-02 
 
 
 
 
 
 104 
 C003 
 0 
 2024-11-02 
 
 
 
 
 
 NULL 
 C004 
 300 
 2024-11-03 101 C001 এর 250 ২০২০-১০১ 102 C002 -50 ২০২০-১০১ 103 শূন্য 120 ২০২০-১০২০ 104 জি003 0 ২০২০-১০২০ শূন্য জি004 300 ২০২০-১০৩ এই পর্যায়ে : 
 
 
 কোন রেকর্ড প্রত্যাখ্যান করা হয় না ট্র্যাকিংয়ের জন্য ডেটা সংরক্ষণ করা হয় Data Quality Rules Applied (Silver Layer) সিলভার স্তরে, আমরা ঘোষণািক প্রত্যাশাগুলি প্রয়োগ করি: 
 
 
 সংখ্যা > 0 → expect_or_drop customer_id IS NOT NULL → expect (মনিটর শুধুমাত্র) @dlt.table
@dlt.expect_or_drop("amount_positive", "amount > 0")
@dlt.expect("customer_not_null", "customer_id IS NOT NULL")
def silver_sales():
    return dlt.read("bronze_sales")
 Silver Output Table 
 
 
 
 
 
 
 
 
 
 
 order_id 
 customer_id 
 amount 
 quality_status 
 
 
 
 
 
 101 
 C001 
 250 
 PASS 
 
 
 
 
 
 103 
 NULL 
 120 
 WARN 
 
 
 
 
 
 NULL 
 C004 
 300 
 WARN 101 C001 এর 250 পাস 103 শূন্য 120 সতর্ক শূন্য জি004 300 সতর্ক ডাউনলোড রেকর্ড: 
 
 
 অর্ডার 102 (সংখ্যা = -50) অর্ডার 104 (সংখ্যা = 0) DLT স্বয়ংক্রিয়ভাবে রেকর্ড এবং . how many rows were dropped which rule caused it Quarantine Table Output হারানো ডেটা হারানোর পরিবর্তে, আমরা এটি একটি ক্যারান্টিন টেবিলে ক্যাপচার করি। @dlt.table
def silver_sales_quarantine():
    return dlt.read("bronze_sales") \
        .filter("amount <= 0")
 Quarantine Output 
 
 
 
 
 
 
 
 
 
 
 order_id 
 customer_id 
 amount 
 order_date 
 Reason 
 
 
 
 
 
 
 102 
 C002 
 -50 
 2024-11-01 
 Invalid   amount 
 
 
 
 
 
 
 104 
 C003 
 0 
 2024-11-02 
 Invalid   amount 102 C002 -50 ২০২০-১০১ অনিয়মিত পরিমাণ 104 জি003 0 ২০২০-১০২০ অনিয়মিত পরিমাণ এই টেবিলটি উপকারী: 
 
 
 
 রুট কারণ বিশ্লেষণ বিক্রেতা বা আপস্ট্রিম সিস্টেম ফায়ারফাইড ফিক্সার পরে পুনর্ব্যবহার Business Rules Applied (Gold Layer) গোল্ড লেয়ারে, কঠোর ব্যবসায়িক নিয়মগুলি প্রয়োগ করা হয়: অর্ডার_ইডি NULL নয় expect_or_fail @dlt.table
@dlt.expect_or_fail("order_id_present", "order_id IS NOT NULL")
def gold_sales():
    return dlt.read("silver_sales") \
        .groupBy("customer_id") \
        .agg(sum("amount").alias("total_spend"))
 Gold Output Table 
 
 
 
 
 
 
 customer_id 
 total_spend 
 
 
 
 C001 
 250 C001 এর 250 পাইপলাইন ব্যর্থতা: 
 
 order_id = NULL এর সাথে রেকর্ড পাইপলাইন ব্যর্থ হওয়ার কারণ এটি downstreRecordsam ভোক্তাদের রক্ষা করে . preventing incorrect aggregations What DLT Captures Automatically এই উদাহরণের জন্য, Databricks স্বয়ংক্রিয়ভাবে ট্র্যাক: 
 
 
 
 
 মোট রেকর্ড ইনভেস্ট: 5 সিলভারে হারানো রেকর্ড: 2 নিয়ম অনুযায়ী ভবিষ্যদ্বাণী স্বর্ণে পাইপলাইন ব্যর্থতার কারণ সমস্ত মিটারগুলি দৃশ্যমান 0 0 0 0 0 0 0 0 0 0 0 0 0 DLT UI and event logs Final Thoughts এই সহজ উদাহরণটি বর্ণনাগত ডেটা গুণমানের বাস্তব ক্ষমতা প্রদর্শন করে: 
 
 
 
 নিয়ম পরিষ্কার এবং স্ব-ডকুমেন্টিং খারাপ তথ্য নিয়ন্ত্রণ করা হয়, লুকানো নয় আউটপুট পূর্বাভাসযোগ্য এবং অডিটযোগ্য Declarative পাইপলাইন নিশ্চিত করে যে প্রতিটি downstream ডেটা সেট নির্মাণ করা হয় যা তাদের উৎপাদন স্তরের ডেটা প্ল্যাটফর্মের জন্য আদর্শ করে তোলে। explicit trust guarantees

Read My Stories

গল্পের মূল ভাষায় এই অডিও তৈরি!

Declarative পাইপলাইন ব্যবহার করে নির্ভরযোগ্য স্বাস্থ্য ডেটা প্ল্যাটফর্ম আর্কাইটিং

About Author

মন্তব্য

আসে ট্যাগ

এই নিবন্ধটি উপস্থাপন করা হয়েছে

Related Stories

ব্যবহারকারী-কেন্দ্রিক ক্রিপ্টো পণ্য তৈরি করা: গ্রাহক প্রতিক্রিয়ার গুরুত্ব

এআই/এমএল ডাটালেকের জন্য রেফারেন্স আর্কিটেকচার তৈরির জন্য একজন স্থপতির গাইড

ডিজিটাল যাযাবর শুনুন: থাইল্যান্ডের নতুন ডিটিভি ভিসা সম্পর্কে আপনার যা জানা দরকার

ফোরাম থেকে ফিড পর্যন্ত: কীভাবে সোশ্যাল মিডিয়া অ্যালগরিদম ডিজিটাল ইন্টারঅ্যাকশনকে আকার দেয়

ব্যবহারকারী-কেন্দ্রিক ক্রিপ্টো পণ্য তৈরি করা: গ্রাহক প্রতিক্রিয়ার গুরুত্ব

এআই/এমএল ডাটালেকের জন্য রেফারেন্স আর্কিটেকচার তৈরির জন্য একজন স্থপতির গাইড

ডিজিটাল যাযাবর শুনুন: থাইল্যান্ডের নতুন ডিটিভি ভিসা সম্পর্কে আপনার যা জানা দরকার

ফোরাম থেকে ফিড পর্যন্ত: কীভাবে সোশ্যাল মিডিয়া অ্যালগরিদম ডিজিটাল ইন্টারঅ্যাকশনকে আকার দেয়

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps