Masanın sol tarafı Introduction Hypothesis testing 2.1 Introduction 2.2 Bayesian statistics 2.3 Test martingales 2.4 p-values 2.5 Optional Stopping and Peeking 2.6 Combining p-values and Optional Continuation 2.7 A/B testing Safe Tests 3.1 Introduction 3.2 Classical t-test 3.3 Safe t-test 3.4 χ2 -test 3.5 Safe Proportion Test Safe Testing Simulations 4.1 Introduction and 4.2 Python Implementation 4.3 Comparing the t-test with the Safe t-test 4.4 Comparing the χ2 -test with the safe proportion test Mixture sequential probability ratio test 5.1 Sequential Testing 5.2 Mixture SPRT 5.3 mSPRT and the safe t-test Online Controlled Experiments 6.1 Safe t-test on OCE datasets Vinted A/B tests and 7.1 Safe t-test for Vinted A/B tests 7.2 Safe proportion test for sample ratio mismatch Conclusion and References 5 Sıralı olasılık oranı testleri 5.1 Sıralı testler A/B testlerinin gelişmesiyle birlikte, test sonuçlarına baktığımızda, bu, sahte pozitif oranı yükseltme olumsuz sonuçlarına yol açar. Bu altyapısından yararlanmak için, büyük teknoloji şirketleri her zaman geçerli olan istatistiksel yöntemleri uygulamaya başlamışlardır. Bu istatistiksel alanda, sekans testleri veya her zaman geçerli sonuçlar olarak bilinir. Sekans testleri, Wald’ın konuyla ilgili seminal kağıdı, Statistical Hypotheses Sequential Tests [Wal45] ile ortaya çıkmıştır. Wald, sekanslı olasılık test oranı (SPRT) olarak bilinen ilk sekanslı test yöntemini tanıttı. SPRT, örnek alanı, alınan kararı karşılıklı olarak hariç tutan üç bölgeye bölünür: H0, H0, Reject, veya Wald ve Wolfowitz, SPRT'nin istatistiksel güç açısından en iyi sekans test olduğunu kanıtlamışlardır [WW48]. Bununla birlikte, bir sekans testinin formülasyonlarının güvenli testlerle uyumlu olmadığına dikkat edilmelidir. Kanıtları, olasılık oranı alanını üç bölgeye bölünmesine dayanmaktadır: H0, H0'u kabul et, H0'u reddet veya örneklemeyi devam ettirmek. Buna karşılık, güvenli t testinin GROW [Pér+22] açısından optimum olduğu anlamına gelir, bu da E değişkeninin H0'nun doğru olmadığı zaman en hızlı büyüyeceği anlamına gelir. H0'u reddetme kararı, E ≥ 1/α olduğunda alınır, H0'u kabul etme kararı her zaman alınabilir. Bu sekans testlerinin farklı formülasyonlarını anlamak ve 5.2 Karışım SPRT A/B testinin geliştirilmesi, SPRT'yi iki örnek veriyle çalıştırmak üzere genişletmeyi içeriyordu. [Joh+17] Bu, A/B testinin bir yöntemi olarak bilinen karışım Sequential Probability Ratio test (mSPRT) olarak ilham alan Johari et al. [Joh+17] tarafından gerçekleştirildi. Bu test, Uber ve Netflix gibi büyük teknoloji şirketlerinde kabul edilmiştir [SA23]. Güvenli t testi gibi, mSPRT, granüler, seri verilerle optimum bir şekilde çalışmaktadır. mSPRT, gerçek parametrenin θ0'a yakın olduğuna dair bir önceki inançla SPRT'ye benzer. Performansını güvenli t testi ile karşılaştırmak için mSPRT istatistikleri martingale biçiminde saklayacağız. Yazar : 1. Daniel Beasley Hakkında Author: 1. Daniel Beasley Hakkında Bu makale ATTRIBUTION-NONCOMMERCIAL-SHAREALIKE 4.0 INTERNATIONAL lisansı altında arşivde kullanılabilir. Bu kağıt ATTRIBUTION-NONCOMMERCIAL-SHAREALIKE 4.0 INTERNATIONAL lisansı altında. Arşivde kullanılabilir Arşivde kullanılabilir
