Ny toeranao ery amin'ny ankavia Introduction Hypothesis testing 2.1 Introduction 2.2 Bayesian statistics 2.3 Test martingales 2.4 p-values 2.5 Optional Stopping and Peeking 2.6 Combining p-values and Optional Continuation 2.7 A/B testing Safe Tests 3.1 Introduction 3.2 Classical t-test 3.3 Safe t-test 3.4 χ2 -test 3.5 Safe Proportion Test Safe Testing Simulations 4.1 Introduction and 4.2 Python Implementation 4.3 Comparing the t-test with the Safe t-test 4.4 Comparing the χ2 -test with the safe proportion test Mixture sequential probability ratio test 5.1 Sequential Testing 5.2 Mixture SPRT 5.3 mSPRT and the safe t-test Online Controlled Experiments 6.1 Safe t-test on OCE datasets Vinted A/B tests and 7.1 Safe t-test for Vinted A/B tests 7.2 Safe proportion test for sample ratio mismatch Conclusion and References 7 Ny fanandramana A / B Vinted dia tsena an-tserasera ho an'ny fitafiana sy ny fitafiana. Hatramin'ny nanombohan'ny 2008, dia nahazo mpampiasa maherin'ny 75 tapitrisa izy ka niova haingana ho tsena lehibe indrindra ho an'ny fitafiana ampiasaina any Eoropa. Amin'ny ankamaroan'ny mpampiasa, dia mitarika fitsapana A / B maro izy mba hanome ny traikefa tsara indrindra ho an'ny mpampiasa azy. Izany no mahatonga Vinted ho tontolo iainana tsara ho an'ny fanombanana ny fahombiazan'ny fitsapana azo antoka. Ao amin'ity fizarana ity, dia mampihatra ny fitsapana azo antoka t sy ny fitsapana azo antoka ho an'ny angona momba ny fanandramana Vinted. Ny fitsapana azo antoka 7.1 Safe t-test ho an'ny Vinted A / B fitsapana Ny metrika ho an'ny 162 fanandramana Vinted avy amin'ny Martsa 2023 ka hatramin'ny Jona 2023 dia ho voamarina ho an'ity fanadihadiana ity. Nifangaro ny snapshots isan'andro amin'ny 143 metrika, izay ahitana ny habetsaky ny metrika, ny fivoaran'ny fitsipika, ary ny habetsaky ny sampana ho an'ny vondrona fanaraha-maso sy ny fanandramana. Ny fanandramana amin'ny endrika maro dia heverina ho fanandramana samihafa amin'ny vondrona fanaraha-maso mitovy. Ny fanandramana azo antoka T sy ny fanandramana t mahazatra dia nifanaraka tamin'ny 42115 fanandramana / fanandramana mifanohitra ao amin'ity dataset ity. Ny vokatra avy amin'ny Tabilao 7 dia mampiseho fa ny fitsapana azo antoka sy ny fitsapana t klasika dia mahatratra ny fanapahan-kevitra mitovy amin'ny maha-zava-dehibe ny metriky. Ny tranga 379 izay manaisotra ny fitsapana azo antoka t H0 fa ny fitsapana t dia tsy mifanaraka amin'ny simulations izay mampiseho fa ny fitsapana dia tsy mifanaraka foana amin'ny vokatra manan-danja. Ny isan'ny 1645 tranga izay manaisotra ny fitsapana t H0 raha tsy misy ny fitsapana azo antoka t dia tsy manan-danja kokoa. Ny fitsapana azo antoka t dia mahatsiravina kokoa rehefa mijery ny angon-drakitra isan-karazany, manome fahafahana bebe kokoa mba hanaisotra ny H Ny fitsapana amin'ny fifandraisana amin'ny probability sequential mixture (mSPRT) dia novolavolaina tamin'ny fanandramana mitovy amin'izany. Raha mampitaha ny vokatra avy amin'ny Tabilao 8 miaraka amin'ny Tabilao 7, dia mampiseho fa ny mSPRT dia kely kokoa mahery noho ny azo antoka t-test. Na dia izany aza dia ampahany noho ny vondrom-pifandraisana fametrahana, ny vokatry ny simulation dia manoro hevitra fa ny mSPRT dia tsotra kokoa noho ny azo antoka t-test. Rehefa miverina amin'ny valin'ny t-test azo antoka, dia hita fa ny valin'ny t-test azo antoka dia nahavita tsara kokoa amin'ny sasany amin'ny metrics noho ny hafa. Eto dia hamoaka fanadihadiana bebe kokoa ny metrics mba hahatakatra ny antony mahatonga izany. Mba handrefesana ny valin'ny t-test azo antoka amin'ny metrics, dia mampiasa ny coefficient phi mba hampitaha ny fanapahan-kevitra amin'ny t-test klasik. Ny coefficient phi, fantatra koa amin'ny anarana hoe coefficient mathews correlation, dia ampiasaina mba hamantatra ny fifandraisana amin'ny variable binary. Mba hahafantarana ny tanjona amin'ny metrics tsirairay, misy famaritana lahatsoratra momba ny Ao amin'ny fampidirana ny fanandramana A / B, dia voalaza fa ny sasany ny metriky dia mila fotoana be kokoa mba hahatakatra. Izany dia midika fa ny angon-drakitra dia tsy ho tsy miankina sy mitovy isan-karazany manerana ny andro ny fanandramana. Rehefa mandinika ny Tabilao 9, dia mahita fifandraisana avo lenta eo amin'ny fampisehoana ny azo antoka t-test sy ny t-test mahazatra amin'ny metriky mifandraika amin'ny fikarohana, fivoriana, ary ny fampisehoana. Izany rehetra izany dia habetsaky ny fotoana eo amin'ny fametrahana ny fanandramana sy ny fampisehoana ny metriky. Ankoatra izany, ny azo antoka t-test dia tsy mahomby tsara amin'ny metriky lava- 7.2 Test Safe Proportion ho an'ny sample ratio mismatch Mba hamantatra ny fahombiazan'ny fitsapana ny tahan'ny azo antoka sy ny fitsapana χ2 amin'ny fampitandremana ny tsy fifanarahana amin'ny fifanarahana amin'ny sampana (SRM), ny fizarana avy amin'ny fanandramana 195 avy amin'ny Vinted dia novolavolaina. Ny fitsapana azo antoka dia ampiharina amin'ny sary fohy isan'andro amin'ny fizarana, raha ny fitsapana χ2 dia ampiharina amin'ny fizarana amin'ny andro farany amin'ny fanandramana. Ho an'ny SRM, ny lanjan'ny fahasamihafana α = 0,01 dia ampiasaina mba hampihena ny isan'ny fahadisoana diso. Ny lanjan'ny beta amin'ny α1, β1 = 1000 dia ampiasaina amin'ny fitsap Ny mpanoratra: Ny vadiny dia Daniel Beasley. Author: Ny vadiny dia Daniel Beasley. Ity lahatsoratra ity dia azo jerena ao amin'ny archiv eo ambany fahazoan-dalana ATTRIBUTION-NONCOMMERCIAL-SHAREALIKE 4.0 INTERNATIONAL. Ity lahatsoratra ity dia Miaraka amin'ny fahazoan-dalana ATTRIBUTION-NONCOMMERCIAL-SHAREALIKE 4.0 International. Azo jerena ao amin'ny Archive Azo jerena ao amin'ny Archive
