Ny toeranao ery amin'ny ankavia Introduction Hypothesis testing 2.1 Introduction 2.2 Bayesian statistics 2.3 Test martingales 2.4 p-values 2.5 Optional Stopping and Peeking 2.6 Combining p-values and Optional Continuation 2.7 A/B testing Safe Tests 3.1 Introduction 3.2 Classical t-test 3.3 Safe t-test 3.4 χ2 -test 3.5 Safe Proportion Test Safe Testing Simulations 4.1 Introduction and 4.2 Python Implementation 4.3 Comparing the t-test with the Safe t-test 4.4 Comparing the χ2 -test with the safe proportion test Mixture sequential probability ratio test 5.1 Sequential Testing 5.2 Mixture SPRT 5.3 mSPRT and the safe t-test Online Controlled Experiments 6.1 Safe t-test on OCE datasets Vinted A/B tests and 7.1 Safe t-test for Vinted A/B tests 7.2 Safe proportion test for sample ratio mismatch Conclusion and References 6 Fanandramana mifehy an-tserasera Araka ny fitomboan'ny fampiharana ny fanandramana A/B, dia mitombo ihany koa ny fomba fiasan'ny statistika vaovao. Ny fomba fiasan'ny fahasamihafana toy ny CUPED [Den+13] sy ny fanandramana vaovao toy ny mSPRT [Joh+17] dia lasa fomba fiasan'ny orinasa teknolojia samihafa. Ny sehatry ny fanandramana A/B dia mitombo hatrany amin'ny fomba fiasan'ny fomba vaovao, saingy tsy misy marika ahafahana mampitaha sy mifanohitra azy ireo. Mba hanatanterahana ity olana ity, ny mpikaroka avy amin'ny Imperial College London dia nanangona karazana tahirin-kevitra ho an'ny fanandramana mifehy an-tserasera (OCE) [Liu+22]. Ireo tahirin-kevitra ireo dia ahitana Ny OCE datasets dia taxonomy amin'ny 13 anonymized datasets hita manerana ny aterineto. Ny datasets dia ahitana snapshots isan'andro amin'ny metriky efatra voamarina amin'ny 78 fanandramana sy hatramin'ny telo variants. Ny angon-drakitra avy amin'ny fanandramana dia mety ho binary, tsirairay, na tena voamarina, izay mamela ny maro isan-karazany ny fomba fiasan'ny antontan-taratasy ho voaporofo. Ny toe-javatra mety ho an'ny OCE dataset dia ny benchmarking ny fomba fanapahan-kevitra tsy misy safidy, satria ny fomba novolavolaina dia mety manana fanapahan-kevitra tsy azo antoka mba hahazoana antoka ny fahamarinan'ny vokatra. Ny fidirana amin'ny snapshots isan'andro ao amin'ny dataset dia midika fa azo ampiharina amin'ny fomba semi-sequential ny fitsapana. Ao amin'ny taratasy, ny mSPRT dia mifanaraka amin'ny t-test mahazatra mba hanamarinana ny fitsapana amin'ny OCE dataset. Ao amin'ity fizarana ity, ny fitsapana t azo antoka dia hatao amin'ny fanangonana daty OCE, ary ny vokatra dia mifanaraka amin'ny fitsapana t mahazatra sy ny mSPRT. 6.1 Safe t-test amin'ny OCE datasets Mba hampitaha ny fahombiazan'ny fitsapana azo antoka, dia azontsika atao ny mampitaha ny vokatra amin'ny fitsapana t. Araka ny efa hitantsika ao amin'ny sary 4 (ny ankavanana), ny fitsapana roa dia tsy mahatratra foana ny fanapahan-kevitra mitovy amin'ny angon-drakitra tsirairay. Na izany aza, satria ny fitsapana t no fitsapana statika ampiasaina indrindra amin'ny fitsapana A / B, dia zava-dehibe ny mifanohitra ny vokatra mba hahafantarana ny toe-javatra izay tsy mitovy ny vokatra. Ny fitsapana T azo antoka dia mamantatra vokatra maro bebe kokoa noho ny fitsapana T klasika. Na dia ao amin'ny teoria aza, ny tahan'ny fahadisoana tsara ny fitsapana T azo antoka dia tokony ho ambany amin'ny α, dia toa tsy azo antoka fa ireo fanavakavahana rehetra ireo amin'ny H0 dia mifanaraka amin'ny vokatra marina. Taorian'ny fanadihadiana ny fitondran'ny E-values nandritra ny dingana ireo fanandramana ireo, dia manapa-kevitra isika fa ny habetsaky ny fanavakavahana H0 dia mety ho mifandray amin'ny vokatry ny vaovao. Araka ny voalaza teo aloha, ny fanavakavahana dia mifandray amin'ny fampitomboana ny fifandraisana amin'ny endri-javatra taorian'ny famoahana azy. Tsy mahagaga raha jerena ny fitondrantenan'ny hita ao amin'ny endrika 8, ny hipotezy zero izay noraisin'ny mSPRT dia mitovy amin'izany amin'ny fanandramana azo antoka. Na izany aza, ny fanandramana azo antoka dia manala ny hipotezy bebe kokoa noho ny mSPRT. Izany dia mety satria ny fanandramana azo antoka dia mahatsiravina kokoa noho ny mSPRT ary mamaly mafy kokoa amin'ny angon-drakitra mifanohitra amin'ny fanandramana azo antoka. Ao amin'ny fizarana manaraka, dia hanohy ny fandalinana ny fanandramana azo antoka amin'ny orinasa teknolojia lehibe, Vinted. Ny mpanoratra: Ny vadiny dia Daniel Beasley. Author: Ny vadiny dia Daniel Beasley. Ity lahatsoratra ity dia azo jerena ao amin'ny archiv eo ambany fahazoan-dalana ATTRIBUTION-NONCOMMERCIAL-SHAREALIKE 4.0 INTERNATIONAL. Ity lahatsoratra ity dia azo jerena ao amin'ny archiv eo ambany fahazoan-dalana ATTRIBUTION-NONCOMMERCIAL-SHAREALIKE 4.0 INTERNATIONAL. Azo jerena ao amin'ny Archive
