מחבר : דניאל ביסלי Daniel Beasley Author: דניאל ביסלי Daniel Beasley שולחן שמאל Introduction Hypothesis testing 2.1 Introduction 2.2 Bayesian statistics 2.3 Test martingales 2.4 p-values 2.5 Optional Stopping and Peeking 2.6 Combining p-values and Optional Continuation 2.7 A/B testing Safe Tests 3.1 Introduction 3.2 Classical t-test 3.3 Safe t-test 3.4 χ2 -test 3.5 Safe Proportion Test Safe Testing Simulations 4.1 Introduction and 4.2 Python Implementation 4.3 Comparing the t-test with the Safe t-test 4.4 Comparing the χ2 -test with the safe proportion test Mixture sequential probability ratio test 5.1 Sequential Testing 5.2 Mixture SPRT 5.3 mSPRT and the safe t-test Online Controlled Experiments 6.1 Safe t-test on OCE datasets Vinted A/B tests and 7.1 Safe t-test for Vinted A/B tests 7.2 Safe proportion test for sample ratio mismatch Conclusion and References 1 ההקדמה ניסויים מבוקרים אקראיים (RCTs) הם הסטנדרט הזהב להסיק קשרים סיבותיים בין טיפולים ותופעות. הם משמשים באופן נרחב על ידי מדענים כדי להעמיק את ההבנה של הדיסציפלינות שלהם. בשנים האחרונות, הם מצאו יישומים במוצרים דיגיטליים גם, תחת השם בדיקת A / B. בדיקת A / B היא RCT פשוט להשוות את ההשפעה של טיפול (קבוצה B) עם שליטה (קבוצה A). שתי הקבוצות משווים עם בדיקה סטטיסטית המשמשת כדי לקבל החלטה על ההשפעה. כמעט כל הבדיקות הסטטיסטיות עבור מבחנים A/B מסתמכות על מבחני אופק קבועים. התקנה זו של הבדיקה כרוכה בקביעת מספר המשתמשים הדרושים לבדיקה, איסוף הנתונים, ובסופו של דבר ניתוח התוצאות. עם זאת, שיטה זו של הבדיקה אינה תואמת את היכולות בזמן אמת של תשתית הנתונים המודרנית והרצונות של הניסויים לקבל החלטות במהירות. מתודולוגיות סטטיסטיות שפותחו לאחרונה מאפשרות לניסויים לבדיקה אופק קבוע לנתח ולנתח את תוצאות הבדיקה בכל עת. בדיקת אבטחה היא תיאוריה סטטיסטית חדשה שמצליחה להשיג מטרות אלה. כפי שאנו רואים, בדיקת אבטחה A/B מאפשרת לחוקרים לפקח על התוצאות של הניסויים שלהם ללא הגדלת הסיכון להסיק מסקנות לא נכונות. יתר על כן, נוכל לראות כי זה דורש פחות נתונים מאשר בדיקות סטטיסטיות סטנדרטיות כדי להשיג תוצאות אלה. תזה זו מכילה 6 סעיפים. סעיף 2 מכיל מבוא לניסוי ההיפותזה, כמו גם מושגים סטטיסטיים אחרים הרלוונטיים לקורא. היא גם מסבירה כיצד חוסר גמישות של בדיקות סטטיסטיות קלאסיות גורם לבעיות עבור מתרגלים. סעיף 3 מציג את מושגי הבדיקה הבטוחה. יתר על כן, הוא מקבל את סטטיסטיקות הבדיקה עבור הבדיקה בטוחה t-test ואת הבדיקה יחס בטוח. סעיף 4 מדמיין את הביצועים של סטטיסטיקה בטוחה ומשווה אותם עם החלופות הקלאסיות שלהם. סעיף 5 משווה את הבדיקה בטוחה t-test עם עוד מבחן פופולרי בכל עת, בדיקת יחס הסיכוי המשתנה (mSPRT). מאמר זה זמין בארכיון תחת רישיון ATTRIBUTION-NONCOMMERCIAL-SHAREALIKE 4.0 INTERNATIONAL. הנייר הזה הוא רישיון ATTRIBUTION-NONCOMMERCIAL-SHAREALIKE 4.0 INTERNATIONAL available on arxiv זמין בArchiv
