Табела левице Introduction Hypothesis testing 2.1 Introduction 2.2 Bayesian statistics 2.3 Test martingales 2.4 p-values 2.5 Optional Stopping and Peeking 2.6 Combining p-values and Optional Continuation 2.7 A/B testing Safe Tests 3.1 Introduction 3.2 Classical t-test 3.3 Safe t-test 3.4 χ2 -test 3.5 Safe Proportion Test Safe Testing Simulations 4.1 Introduction and 4.2 Python Implementation 4.3 Comparing the t-test with the Safe t-test 4.4 Comparing the χ2 -test with the safe proportion test Mixture sequential probability ratio test 5.1 Sequential Testing 5.2 Mixture SPRT 5.3 mSPRT and the safe t-test Online Controlled Experiments 6.1 Safe t-test on OCE datasets Vinted A/B tests and 7.1 Safe t-test for Vinted A/B tests 7.2 Safe proportion test for sample ratio mismatch Conclusion and References 5 Тест секвенцијалног односа вероватноће 5.1 Секундарни тестови Као што смо видели, ово доводи до непредвиђене последице надувавања лажно позитивне стопе. Да би искористили своју инфраструктуру, велике технолошке компаније су почеле да имплементирају статистичке методе које су валидне у сваком тренутку. Ово поље статистике је познато као секвенцијално тестирање, или било када валидно закључење. Секвенцијално тестирање потиче из Валдовог семиналног папира о предмету, Секуенцијални тестови статистичких хипотеза [Вал45]. Валд уводи први секвенцијални тест метод, познат као секвенцијални вероватноћа тест однос (СПРТ). СПРТ је тест величине једног узорка м који дели простор узорка у три међусобно искључиве регије које одговарају одлуци која Валд и Волфовитз су доказали да је СПРТ оптимални секвенцијски тест у смислу статистичке снаге [WW48]. Треба напоменути, међутим, да њихова формулација секвенцијског теста није усклађена са сигурносним тестовима. Њихов доказ се заснива на поделе простора вероватноће у три региона: прихватити Х0, одбацити Х0, или наставити узорковање. Насупрот томе, безбедни т-тест је оптималан у смислу ГРОВ [Пер+22], што значи да ће Е-варијална Е расти најбрже када Х0 није истинита. Одлука да се одбаци Х0 се доноси када је Е ≥ 1/α, док се супротна одлука да се прихвати Х0 може донети у било ком тренутку 5.2 Мешавина СПРТ Развијање А / Б теста за секвенцијално тестирање укључивало је проширење СПРТ-а како би функционисао са подацима из два узорка. Ово је постигао Јохари ет ал. [Јох+17] који су пионирали метод А / Б тестирања познат као тест мешавине Секуенциал Вероватност Ратион (мСПРТ). Овај тест је усвојен у великим технолошким компанијама као што су Убер и Нетфлик [СА23]. Као и са безбедним т-тестом, мСПРТ функционише оптимално са грануларним, секвенцијалним подацима. мСПРТ је у суштини сличан СПРТ-у, уз претпоставку да је прави параметар близу θ0. Ми ћемо држати мСПРТ статистику у својој мартингеловој форми како бисмо упоредили перформансе са безбедним т-тестом. Аутор : Данијел Беасли Author: Данијел Беасли Овај документ је доступан на архиву под лиценцом ATTRIBUTION-NONCOMMERCIAL-SHAREALIKE 4.0 INTERNATIONAL. Овај документ је доступан на архиву под лиценцом ATTRIBUTION-NONCOMMERCIAL-SHAREALIKE 4.0 INTERNATIONAL. Доступно у архиви
