د بشپړ شوي ډیټا مسلکي یو له حیاتي مهارتونو څخه د لوی ډیټاسیټونو مؤثره اداره کول دي ، د معلوماتو کیفیت او اعتبار ډاډمن کول. ډیټا د هر ډیټا سیسټم مرکزي او اساسي برخه ده، او هر هغه څه چې تاسو زموږ د سوداګرۍ په نورو اړخونو کې ښه مهارتونه لرئ، دا هغه یو دی چې تاسو یې سترګې پټول نشي کولی.  پدې مقاله کې، زه د Deequ کتابتون او احصایوي میتودونو په کارولو سره په لوی ډیټاسیټونو کې د QA چکونو ترسره کولو لپاره قوي تخنیکونه وپلټم. د هغو تګلارو په یوځای کولو سره چې زه یې لاندې تشریح کوم، تاسو به وکولی شئ د ډیټا بشپړتیا وساتئ، ستاسو د معلوماتو مدیریت کړنې ته وده ورکړئ، او د لاندې غوښتنلیکونو کې د احتمالي مسلو مخه ونیسئ.   QA د Deequ کتابتون په کارولو سره چک کوي   ولې دیک؟  په پیمانه د معلوماتو کیفیت ډاډمن کول یو ستونزمن کار دی، په ځانګړې توګه کله چې د توزیع شوي فایل سیسټمونو یا ډیټا ګودامونو کې د ملیاردونو قطارونو سره معامله کول. د Deequ کتابتون د خلاصې سرچینې ډیټا پروفایلنګ او QA چوکاټ دی چې په سپارک کې جوړ شوی چې د دې ستونزې د حل لپاره ډیزاین شوی عصري او څو اړخیزه وسیله ده. هغه څه چې دا د ورته وسیلو څخه جلا کوي د دې وړتیا ده چې پرته له سپارک سره مدغم شي ، د لوی کچې ډیټاسیټونو مؤثره اداره کولو لپاره د توزیع شوي پروسس ځواک څخه ګټه پورته کوي.  کله چې تاسو دا هڅه وکړئ، تاسو به وګورئ چې د دې انعطاف څنګه تاسو ته اجازه درکوي چې ستاسو د ځانګړو اړتیاو سره سم پیچلي تایید قواعد تعریف کړئ، جامع پوښښ ډاډمن کړئ. سربیره پردې ، Deequ پراخه میټریکونه او د بې نظمۍ کشف کولو وړتیاوې وړاندې کوي چې تاسو سره به د ډیټا کیفیت مسلو پیژندلو او په فعاله توګه حل کولو کې مرسته وکړي. د ډیټا متخصصینو لپاره چې د لوی او متحرک ډیټاسیټونو سره کار کوي ، ډییک د سویس چاقو حل دی. راځئ وګورو چې څنګه یې وکاروو.   د Deequ تنظیم کول  د Deequ کتابتون په اړه نور توضیحات او د ډیټا پروفایل کولو شاوخوا قضیې کارول   د لاسرسي وړ دي. د سادګۍ لپاره، پدې مثال کې، موږ یوازې د لوبو څو ریکارډونه تولید کړل: دلته   val rdd = spark.sparkContext.parallelize(Seq( Item(1, "Thingy A", "awesome thing.", "high", 0), Item(2, "Thingy B", "available at http://thingb.com", null, 0), Item(3, null, null, "low", 5), Item(4, "Thingy D", "checkout https://thingd.ca", "low", 10), Item(5, "Thingy E", null, "high", 12))) val data = spark.createDataFrame(rdd)   د معلوماتو انګیرنې تعریف کول  د ډیټا ډیری غوښتنلیکونه د ډیټا ځانګړتیاو په اړه ضمني انګیرنې سره راځي ، لکه غیر NULL ارزښتونه او انفرادیت. د Deequ سره، دا انګیرنې د واحد ازموینې له لارې روښانه کیږي. دلته ځینې عام چکونه دي:    ډاډ ترلاسه کړئ چې ډیټاسیټ د قطارونو ځانګړي شمیر لري. د قطار شمیره:    وګورئ چې د id او محصول نوم په څیر ځانګړتیاوې هیڅ کله ناکله ندي. د خاصیت بشپړتیا:    ډاډ ترلاسه کړئ چې ځینې ځانګړتیاوې لکه ID، ځانګړي دي. د خاصیت انفرادیت:    تایید کړئ چې ځانګړتیاوې لکه لومړیتوب او numViews په تمه شوي حدونو کې راځي. د ارزښت سلسله:    تایید کړئ چې توضیحات د URLs لري کله چې تمه کیږي. د نمونې سره سمون:    ډاډ ترلاسه کړئ چې د شمیري ځانګړتیاو منځنی ځانګړي معیارونه پوره کوي. احصایوي ملکیتونه:  دلته د Deequ په کارولو سره دا چیکونه څنګه پلي کولی شئ:   import com.amazon.deequ.VerificationSuite import com.amazon.deequ.checks.{Check, CheckLevel, CheckStatus} val verificationResult = VerificationSuite() .onData(data) .addCheck( Check(CheckLevel.Error, "unit testing my data") .hasSize(_ == 5) // we expect 5 rows .isComplete("id") // should never be NULL .isUnique("id") // should not contain duplicates .isComplete("productName") // should never be NULL // should only contain the values "high" and "low" .isContainedIn("priority", Array("high", "low")) .isNonNegative("numViews") // should not contain negative values // at least half of the descriptions should contain a url .containsURL("description", _ >= 0.5) // half of the items should have less than 10 views .hasApproxQuantile("numViews", 0.5, _ <= 10)) .run()   د پایلو تشریح کول  د دې چکونو له چلولو وروسته، Deequ دوی د سپارک دندو په لړۍ کې وژباړي، کوم چې دا په ډیټا کې د میټریکونو محاسبه کولو لپاره اجرا کوي. وروسته، دا په دې میترونو کې ستاسو د ادعا دندې (د بیلګې په توګه، _ == 5 د اندازې چک لپاره) غوښتنه کوي ترڅو وګوري چې آیا محدودیتونه په ډاټا کې ساتل کیږي. موږ کولی شو د اعتراض "تصدیق پایلې" معاینه کړو ترڅو وګورو چې ایا ازموینې غلطی موندلی:   import com.amazon.deequ.constraints.ConstraintStatus if (verificationResult.status == CheckStatus.Success) { println("The data passed the test, everything is fine!") } else { println("We found errors in the data:\n") val resultsForAllConstraints = verificationResult.checkResults .flatMap { case (_, checkResult) => checkResult.constraintResults } resultsForAllConstraints .filter { _.status != ConstraintStatus.Success } .foreach { result => println(s"${result.constraint}: ${result.message.get}") } }  که موږ مثال چلوو، موږ لاندې محصول ترلاسه کوو:   We found errors in the data: CompletenessConstraint(Completeness(productName)): Value: 0.8 does not meet the requirement! PatternConstraint(containsURL(description)): Value: 0.4 does not meet the requirement!  ازموینې وموندله چې زموږ انګیرنې سرغړونه شوې! یوازې د 5 څخه 4 (80٪) د productName خاصیت ارزښتونه غیر ناپاک دي، او یوازې د 5 څخه 2 (یعنې، 40٪) د تشریح خاصیت یو آر ایل لري. خوشبختانه، موږ یوه ازموینه واخیسته او تېروتنې مو وموندلې؛ یو څوک باید سمدستي معلومات سم کړي!   QA د احصایوي میتودونو سره چک کوي  پداسې حال کې چې Deequ د معلوماتو اعتبار لپاره یو پیاوړی چوکاټ وړاندې کوي، د احصایوي میتودونو یوځای کول کولی شي ستاسو د QA چکونو ته وده ورکړي، په ځانګړې توګه که تاسو د ډیټاسیټ مجموعي میترونو سره معامله کوئ. راځئ وګورو چې تاسو څنګه کولی شئ د احصایوي میتودونو څخه کار واخلئ ترڅو د معلوماتو کیفیت څارنه او ډاډ ترلاسه کړئ.   د ریکارډ شمیره تعقیب  د سوداګرۍ سناریو په پام کې ونیسئ چیرې چې د ETL (استخراج، لیږد، بار) پروسه په ورځني ټاکل شوي دندې کې N ریکارډونه تولیدوي. د ملاتړ ټیمونه ممکن د QA چیکونه تنظیم کړي ترڅو خبرداری رامینځته کړي که چیرې د ریکارډ شمیر کې د پام وړ انحراف شتون ولري. د مثال په توګه، که چیرې پروسه په عمومي ډول د دوو میاشتو په اوږدو کې هره ورځ د 9,500 څخه تر 10,500 پورې ریکارډونه رامینځته کړي، د پام وړ زیاتوالی یا کمښت کیدای شي د اصلي معلوماتو سره مسله په ګوته کړي.  موږ کولی شو د احصایوي میتود څخه کار واخلو ترڅو دا حد وټاکو چې کوم بهیر باید د ملاتړ ټیم ته خبرداری ورکړي. لاندې د دوو میاشتو په اوږدو کې د ریکارډ شمیرې تعقیب یوه بیلګه ده:   د دې تحلیل لپاره، موږ کولی شو د ریکارډ شمیرې ډاټا بدل کړو ترڅو د ورځني بدلونونو څارنه وکړو. دا بدلونونه عموما د صفر شاوخوا ګرځي، لکه څنګه چې په لاندې چارټ کې ښودل شوي:   کله چې موږ د بدلون دا نرخ د نورمال توزیع سره نمایش کوو، دا د بیل وکر جوړوي، دا په ګوته کوي چې ډاټا په نورمال ډول ویشل کیږي. متوقع بدلون د 0٪ شاوخوا دی، د 2.63٪ معیاري انحراف سره.   دا تحلیل وړاندیز کوي چې د ریکارډ شمیره معمولا د 90٪ باور سره -5.26٪ څخه +5.25٪ حد کې راځي. د دې پراساس، تاسو کولی شئ د خبرتیا لوړولو لپاره یو قاعده رامینځته کړئ که چیرې د ریکارډ شمیره د دې حد څخه بهر وي، د وخت مداخله یقیني کړي.   د خاصیت پوښښ تعقیب    e د ډیټاسیټ سنیپ شاټ لپاره د ټول ریکارډ شمیرې ته د غیر NULL ارزښتونو تناسب ته اشاره کوي. د مثال په توګه، که د 100 ریکارډونو څخه 8 د یو ځانګړي خاصیت لپاره NULL ارزښت ولري، د دې خاصیت پوښښ 92٪ دی. د خاصیت پوښښ  راځئ چې د ETL پروسې سره د بلې سوداګرۍ قضیه بیاکتنه وکړو چې هره ورځ د محصول میز سنیپ شاټ تولیدوي. موږ غواړو د محصول توضیحي ځانګړتیاو پوښښ وڅیړو. که چیرې پوښښ د یو ټاکلي حد څخه ښکته وي، د ملاتړ ټیم لپاره باید خبرتیا راپورته شي. لاندې د دوه میاشتو په اوږدو کې د محصول توضیحاتو لپاره د ځانګړتیا پوښښ بصری نمایش دی:   په پوښښ کې د مطلق ورځني توپیرونو تحلیل کولو سره، موږ ګورو چې بدلونونه د صفر په شاوخوا کې تیریږي:   د دې ډاټا استازیتوب د نورمال توزیع په توګه ښیي چې دا په نورمال ډول د شاوخوا 0٪ اټکل شوي بدلون او د 2.45٪ معیاري انحراف سره توزیع کیږي.   لکه څنګه چې موږ ګورو ، د دې ډیټا سیټ لپاره ، د محصول توضیحي ځانګړتیا پوښښ معمولا د 4.9٪ څخه تر +4.9٪ پورې د 90٪ باور سره وي. د دې شاخص پراساس، موږ کولی شو د خبرتیا لوړولو لپاره یو قاعده جوړه کړو که چیرې پوښښ د دې حد څخه بهر وي.   QA د وخت لړۍ الګوریتمونو سره چک کوي  که تاسو د ډیټاسیټونو سره کار کوئ چې د فکتورونو لکه موسم یا رجحاناتو له امله د پام وړ بدلونونه ښیې، دودیز احصایوي میتودونه ممکن غلط خبرتیاوې رامینځته کړي. د وخت لړۍ الګوریتمونه ستاسو د QA چکونو دقت او اعتبار ته وده ورکولو سره یو ډیر رغنده چلند وړاندیز کوي.  د لا ډیر حساس خبرتیاو تولید لپاره، تاسو کولی شئ یا هم وکاروئ  یا د  . پخوانی د رجحاناتو سره د ډیټاسیټونو لپاره کافي ښه دی ، مګر وروستی موږ ته اجازه راکوي د ډیټاسیټونو سره د رجحان او موسم دواړه سره معامله وکړو. دا طریقه د کچې، رجحان، او موسمیت لپاره اجزا کاروي، کوم چې دا اجازه ورکوي چې د وخت په تیریدو سره بدلونونو سره په نرمۍ سره تطبیق کړي.   د اتوماتیک مدغم حرکت اوسط (ARIMA)   هولټ - د ژمي طریقه  راځئ چې د ورځني پلور مسخره ماډل کړو چې د هولټ-وینټر په کارولو سره رجحان او موسمي نمونې دواړه نندارې ته وړاندې کوي:   import pandas as pd from statsmodels.tsa.holtwinters import ExponentialSmoothing # Load and preprocess the dataset data = pd.read_csv('sales_data.csv', index_col='date', parse_dates=True) data = data.asfreq('D').fillna(method='ffill') # Fit the Holt-Winters model model = ExponentialSmoothing(data, trend='add', seasonal='add', seasonal_periods=365) fit = model.fit() # Forecast and detect anomalies forecast = fit.fittedvalues residuals = data - forecast threshold = 3 * residuals.std() anomalies = residuals[abs(residuals) > threshold] print("Anomalies detected:") print(anomalies)  د دې میتود په کارولو سره، تاسو کولی شئ د پام وړ انحرافات ومومئ کوم چې ممکن د ډیټا کیفیت مسلې په ګوته کړي، د QA چکونو لپاره خورا مهم چلند چمتو کوي.  زه امید لرم چې دا مقاله به تاسو سره ستاسو د لوی ډیټاسیټونو لپاره د QA چیکونو په مؤثره توګه پلي کولو کې مرسته وکړي. د Deequ کتابتون په کارولو او د احصایوي میتودونو او د وخت لړۍ الګوریتمونو یوځای کولو سره، تاسو کولی شئ د ډیټا بشپړتیا او اعتبار ډاډمن کړئ، په نهایت کې ستاسو د معلوماتو مدیریت کړنې ته وده ورکوي.  د پورته ذکر شوي تخنیکونو پلي کول به تاسو سره مرسته وکړي چې د لاندې جریان غوښتنلیکونو کې د احتمالي مسلو مخه ونیسي او ستاسو د ډیټا کاري فلو عمومي کیفیت ښه کړي.

Array

scale

Series

Read My Stories

دا غږ د کیسې په اصلي ژبه تولید شوی!

ډېر اوږد؛ لوستل

Get Free Unlimited IP Geo Data With IPinfo Lite

QA د ډیکو او احصایوي میتودونو سره د لوی ډیټاسیټونو لپاره چک کوي

About Author

تبصرې

hang tags

دا مقاله په کې وړاندې شوې وه

Related Stories

Goodtalent is the Startup of the Year in Lagos, Nigeria

Psychology of the Unconscious by C. G. Jung - Table of Links

Teylor has Been Named Startup of the Year 2021 in Zürich

Psychopathology of Everyday Life by Sigmund Freud - Table of Links

Goodtalent is the Startup of the Year in Lagos, Nigeria

Psychology of the Unconscious by C. G. Jung - Table of Links

Teylor has Been Named Startup of the Year 2021 in Zürich

Psychopathology of Everyday Life by Sigmund Freud - Table of Links

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps