ډیوټر: (1) Mårten Schultzberg، Experimentation Platform ټیم، Spotify، ستوکولډ، سویډن؛ (2) Sebastian Ankargren، Experimentation Platform ټیم، Spotify، ستوکولډ، سویډن؛ (3) Mattias Frånberg، Experimentation Platform ټیم، Spotify، ستوکولډ، سویډن. د کارونکي: د نویسنده: (1) Mårten Schultzberg، Experimentation Platform ټیم، Spotify، ستوکولډ، سویډن؛ (2) Sebastian Ankargren، Experimentation Platform ټیم، Spotify، ستوکولډ، سویډن؛ (3) Mattias Frånberg، Experimentation Platform ټیم، Spotify، ستوکولډ، سویډن. د لینکونو جدول نمايښت او 1 لارښوونې نمايښت او 1 لارښوونې 1.1 اړوند ادبیات 1.1 د اړیکو د کتابتون 2.2 د مختلفو ډولونو د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې لپاره د نمونې د میټریک ډولونه او د دوی hypothesis او 2.1 د میټریک ډولونه 2.2 د میټریک ډولونو hypothesis د میټریکي ډولونه او د دوی hypothesis او 2.1 د میټریکي ډولونه د میټریکي ډولونه او د دوی hypothesis او 2.1 د میټریکي ډولونه 2.2 د مختلفو ډولونو د نمونې hypotheses 2.2 د مختلفو ډولونو لپاره hypotheses Type I او ډول II د غلطي کچه د حل د قوانین په شمول د superiority او غیر inferiority ازموینې 3.1 د UI او IU ازموینې لپاره د ډول I او II د غلطي کچه د ترکیب hypotheses او غیر inferiority ازموینې د ډول I او ډول II د اختیاري قواعدو لپاره د اختیاري قواعدو په ګډون د لوړوالی او غیر کموالی ازموینه د ډول I او ډول II د اختیاري قواعدو لپاره د اختیاري قواعدو لپاره د اختیاري او غیر کموالی ازموینې شامل دي 3.1 د لوړوالی او غیر کموالی ازموینې مرکزي hypotheses 3.1 د لوړوالی او غیر کموالی ازموينه مرکزي hypotheses 3.2 د UI او IU ازموینه لپاره د ډول I او ډول II د غلطی کچه محدود کول 3.2 د UI او IU ازمايښت لپاره د ډول I او ډول II غلطی کچه محدود کول 3.3 د بریالیتوب کچه د یو فیصلہ قانون لپاره د بریالیتوب او guardrail مټیکونو په ګډون د بریالیتوب کچه محدود کول 3.3 د بریښنا د کچه د يو فیصلہ قاعده په شمول هم د بریالیتوب او guardrail مټريکونو د محدودولو 3.4 د بریښنا د کمیت ازموينه لپاره د بریښنا د اصلاحاتو 3.4 د بریښنا د اصلاحاتو لپاره د غیر کمیت ازموینه د کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه د کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه کارپوه لګښتونه او د کیفیت د معیارونو سره د فیصلہ قانون د پراختیا د مونتي کارلو Simulation Study 5.1 پایلې Monte Carlo Simulation Study د کانټینټ کارلو Simulation مطالعه 5.1 پایلې 5.1 پايلې د بحث او پایلې د بحث او پایلې د بحث او پایلې پیژندنه A: د پروژې 4.1 د اضافي اړتیاوو سره د اغیزمنۍ د ښه کولو APPENDIX A: د فورمه A: د پروپیلن 4.1 سره اضافي اړتیاوو د اغیزمنۍ د ښه کولو پیژندل B: د نړۍ د غلط او حق مثبت نرخونه نمونې د بډایه ب: د بډایه ب: د نړۍ د غلط او حق مثبت نرخونه نمونه APPLICATION C: د ټیسټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټینټ دايرې C: د مخکښ C: د ټیکنالوژۍ په اړه یو نوټ APPENDIX D: د NYHOLT پروژې کارولو سره د مستقل تجربو اغیزمن شمېر د فورمه D: د فورمه D: د NYHOLT پروسه کارولو سره د مستقل تجربو اغیزمن شمېر د نندارتون او اشاره د نندارتون او اشاره ټایټ ډاټا. په وروستیو کلونو کې، A / B ټیسټونه د تکنالوژۍ شرکتونو کې د محصول غوښتنلیکونه جوړولو معياري روش دی. دوی د محصول د پرمختګ لپاره د معياري hypothesis ټیسټونه کاروي چې د غلط غوښتنلیکونو خطرونو کنټرول کړي. په معمول ډول، د A / B ټیسټونو کې د مختلفو مقاصد لپاره کارول شوي دي، لکه د بریالیتوب د ارزښتونو جوړولو، د ریګریزونو مخنیوی، یا د ټیسټ اعتبار تصدیق کولو. د ډیرو پایلو سره د A / B ټیسټونو کې خطرونو کمولو لپاره، دا مهم دی چې د ډیزاین او تحلیل د دغو پایلو مختلفو رولونو سره سمون شي. دا کاغذ د تجربو د ارزښتونو په اړه د پړاو 1. د انډول د راندومیز تجربو د سببي اړیکو د شواهد برابرولو لپاره د ګولډن معیار دي. د عصري تکنالوژۍ شرکتونه د A / B ازموینې، په ډیجیټل حالت کې د راندومیز کنټرول شوي آزموینې، په پراخه کچه د خپلو توليداتو کې د نوي بدلونونو اغیزمنتیا تبادله کوي. دا محصولات شامل دي ride-sharing اپلیکیشنونه، څیړنې انجنونه، سټراییم خدمتونه، سپارښتنه او نور. په پایله کې، د دغو تجربو هدف دا ده چې آیا یا نه یو محصول بدلون په پراخه کچه اعلان کړي. د randomized تجربو لپاره د اټکل شوي تجربو په اړه د اټکل شوي تجربو په اړه اکثریت په یو واحد پایلې کې د یو واحد پایلې کې د شتون ټسټ کې تمرکز کوي، او څنګه د اټکل کولو لپاره د ډول I او ډول II غلطی نرخونو سره تړاو وکړي. په هرصورت، تجربو د انفرادي پایلو په اړه یو واحد ټسټ نه دي. په بل کې، د خطرونه چې مهم دي د محصول لپاره غلط انتخاب کولو خطرونه دي. د مثال په توګه، د ټیکنالوژۍ شرکت کې لکه Spotify، موږ غواړو چې محدود کړئ چې څومره موږ د محصول د بدلونونو ته وړاندیز کوو چې په حقیقت کې نه لري، او څومره موږ د بدلونونو ته وړاندیز نه کوو چې د پرمختګونو ته رامینځته کوو مګر موږ نه لرو د آنلاین تجربو په کتابتون کې، د څو ازموینې د حل کولو یوازې برخه چې په پراخه کچه پوښل کیږي د څو ازموینې اصلاح دی. د څو ازموینې اصلاحات، لکه Bonferroni، هولم [7] او هومل [8]، د ډول I د غلطی کچه د غیرقانوني فیصلہ قاعده ته تړاو لري چې اعلان کوي چې تاسو به د انفرادي hypothesis ازموینې پایلو په اساس څه فیصلہ وکړئ. لکه څنګه چې موږ به په پراخه کچه په دې کاغذ کې بحث وکړئ، که تاسو غواړئ چې ستاسو د فیصلہ قاعده د څو ازموینې اصلاح په لټه کې وي، دا عموما غلط دی. په دې کاغذ کې، موږ ښيي چې څنګه دا امکان دی چې د تجربو د فیصلہ کولو پروسه رسمي کړي د معياري hypothesis ازموینې چارچوب له الرې. د دې تضمین لپاره چې تاسو د محصول د فیصلہ لپاره د اړتیا وړ خطر محدودیتونه ترلاسه کړئ، دا ده چې په ځانګړې توګه د فیصلہ قواعدو مشخص کړئ. د فیصلہ قواعد په بشپړه توګه مشخص کوي چې تاسو به د تجربو پایلو په اساس هغه محصول د فیصلہ ترلاسه کړئ. مهم، د غلطې فیصلہ کولو خطرونو سره تړاو کولو لپاره، ستاسو د تجربو ډیزاین او تحلیل باید د فیصلہ قواعد سره په ژوره توګه تړاو وي. د فیصلہ قواعدو د مختلفو دلیلونو له امله مهم دی. د هغه څه په اړه چې د پایلو په اړه معلوم نلري چې د مثبت محصول فیصلې ته اړتيا لري، معنی لري چې د تجربې خطرونو لپاره د شرکت لپاره اړین کچه په مناسب توګه کنټرول لپاره د میکانیزم نه شتون لري، د دې لپاره چې د ځانګړتیا ته رسولو یا نه. برسېره پر دې، د یو articulated او معياري انتخاب قواعد لګښت کیدی شي چې د سازمان په مختلفو ټیمونو یا برخو کې د مختلفو معیارونو ته اړتيا لري. زموږ د فیصلہ قواعد فریم ورکشاپ د دغو مسلو لپاره یو ساده مګر اغیزمن لارښود ده. د فیصلہ قواعد فریم ورک د تجربو تجزیه کولو ته مرسته کوي او د تجربې پلیټ فارمونو لپاره یو ګټور وسیله ده. هغه څه چې د فیصلہ قواعد شامل دي کولی شي ډیر یا لږ انعطاف شي. د مثال په توګه، د نوي تجربو کولی شي د ثابتولو ته اړتیا ولري چې مهم شرکت مقناطیسي ندي منفي اغېز نه لري په داسې حال کې چې د مقناطیسي ټولې غوره کول چې باید د پرمختګ ښودل شي په بشپړه توګه د تجربو لپاره جوړ شوی دی. حتی که د مقناطیسي انتخاب په بشپړه توګه د مقناطیسي له خوا د پلیټ فارم له خوا اړتيا نه کوي، د فیصلہ قواعد لارښوونې د بریالیتوب تجربو په اړه یو مشترکه درک ته وده ورکوي. د دې کاغذ په اوږدو کې، او په عمومي توګه د کمولو له امله، موږ یوازې د دوو ګروپونو سره تجربو په پام کې ونیسئ چې د نمونې په ساده کولو لپاره. برسېره پر دې، موږ یوازې د یوځای ټیسټونو په پام کې ونیسئ، که څه هم د یوځای ټیسټ څخه زیات د هر میټریک لپاره کارول کیدی شي. موږ خپل ځان د یوځای ټیسټونو ته محدود کوو ځکه چې د میټریک کې د بدلون لپاره اړتیا لري چې د محصول کې د اندازه کولو لپاره د ښه کولو لپاره کارول شي. د ساده کولو لپاره، موږ فرض کوو چې د ټولو میټریکونه په پرتله ښه وي. برسېره پر دې، موږ فرض کوو چې هر اساتټیټیټ hypothesis ټیسټ ارزښت دی او د ډول I او ډول II دا کاغذ لاندې CC BY 4.0 DEED لائسنس. تولید شوی په arxiv دا کاغذ لاندې CC BY 4.0 DEED لائسنس. تولید شوی په arxiv د arxiv کې شتون لري د arxiv په اړه شتون لري
