Úvodná V zrelom produkte je často ťažké dosiahnuť štatisticky významný vplyv na kľúčové obchodné metriky, ako sú príjmy na používateľa alebo počet objednávok. Väčšina zmien je zameraná na bodové zlepšenia v funneli alebo jednotlivých etapách užívateľskej cesty a vplyv takýchto zmien na obchodné metriky sa zvyčajne stráca v hluku. Avšak z času na čas si všimneme, že metriky funnelov sa nepohybujú v súlade s dynamikou ukazovateľov najvyššej úrovne. Navyše v niektorých testoch sa konverzie v štádiách, ktoré predchádzajú implementovaným zmenám, môžu zmeniť štatisticky významným spôsobom. Ako príklad zvážte službu, v ktorej používateľ vytvorí objednávku, dostane ponuky od rôznych dodávateľov, vyberie vhodnú službu a čaká na dokončenie úlohy. Predpokladajme, že sme vyvinuli novú funkciu, ktorá zdôrazňuje najlepšiu ponuku a očakáva sa, že zvýši podiel objednávok, kde dochádza k zhody medzi zákazníkom a výkonným umelcom. Počas experimentu môžeme pozorovať, že: 
 
 
 
 Podiel úspešných objednávok klesá. Celkový počet objednávok a dokončených objednávok sa zvyšuje. Podiel objednávok, ktoré dostali aspoň jednu ponuku, klesá. Takýto vzor sa môže vyskytnúť, ak má používateľ možnosť vrátiť sa do predchádzajúcich fáz a napríklad opätovne odoslať objednávku. Podobné vzory sme objavili v našich vlastných experimentoch. V službe inDrive môžu cestujúci navrhnúť svoju vlastnú cenu, po ktorej dostanú ponuky od vodičov a vyberú ten najvhodnejší. Mnohí používatelia aktívne využívajú funkcie vyjednávania a pokúšajú sa získať lepšiu cenu, môžu zmeniť podmienky objednávky a vytvoriť ju znova. Náš tím pre vyhovenie cestujúcim je zodpovedný za cestu používateľa od okamihu vytvorenia objednávky až po dokončenie cesty.V tomto článku vysvetlíme, ako sme tieto vzorce správania preskúmali a na ich základe zaviedli nové metriky, ktoré pomohli zlepšiť interpretáciu výsledkov testov. Tento článok bude užitočný pre produktových analytikov a produktových manažérov, ktorí pracujú s produktmi, ktoré majú komplexnú, nelineárnu užívateľskú cestu, kde metrická interpretácia vyžaduje zohľadnenie vzorcov správania a opakovaných akcií používateľov. Ako sa správajú kľúčové metriky a metriky Funnel? V našom produkte funnel vyzerá približne takto: cestujúci vytvára objednávku, dostáva ponuky od vodičov, vyberá vhodnú, čaká na príchod vodiča a potom začína a dokončuje cestu. Predstavte si, že spustíme malú zmenu v rozhraní používateľského rozhrania: používateľovi ukážeme priebeh pri hľadaní vodiča, aby sme znížili neistotu. očakávame, že s priebehovým riadkom budú používatelia častejšie čakať na ponuky vodičov a v dôsledku toho budú cestovať viac. Je logické vybrať konverziu z vytvorenia objednávky na prijatie ponuky ako cieľovú metriku pre takýto test. V dôsledku testovania vidíme: 
 
 
 
 
 Počet jazdcov: ↑ (nie štatisticky významný nárast) Počet objednávok: ↑ ↑ (štatisticky významný nárast) CR od objednávky po ponuku: ↓↓ (štatisticky významný pokles) Done Rate: ↓↓ (štatisticky významný pokles) Vidíme mierny nárast počtu zájazdov, štatisticky významný nárast počtu objednávok, ale zároveň pokles konverzie z vytvárania objednávok na prijímanie ponuky a pokles podielu úspešných zájazdov. Používateľ interaguje s funkciou až po vytvorení objednávky, takže na prvý pohľad sa zdá, že sme nemohli ovplyvniť počet vytvorených objednávok.Ak sa v testovacej skupine stalo, že zahŕňajú používateľov, ktorí majú tendenciu vytvárať objednávky častejšie, zvýšenie počtu objednávok by mohlo skresliť ukazovatele funnel a vysvetliť pozitívnu dynamiku v jazdách. Avšak hlbšia analýza ukázala, že to nebol problém náhodnosti.Po príchode pokroku sa objavil, niektorí používatelia, ktorí mali tendenciu dlho čakať na ponuky vodičov, začali objednávku zrušiť skôr a urobiť ďalší pokus o cestu. V dôsledku toho sa počet re-objednávateľov zvýšil najviac (štatisticky významný rast). Ako reordery ovplyvňujú metriky kľúčov a tunelov? Po vytvorení objednávky môže používateľ odísť v rôznych fázach: ak nedostali ponuky od vodičov, ak ponuka nebola vhodná, alebo neskôr, ak vodič prišiel príliš dlho. Namiesto očakávaného lineárneho toku používateľov pozorujeme opakujúce sa cykly – používatelia sa pokúšajú prejsť rovnakým scenárom niekoľkokrát. Pri analýze efektívnosti opakovaných pokusov sme si všimli, že ich úspešnosť je často výrazne nižšia.Ak používatelia začnú reorganizovať častejšie, ovplyvní to všetky štádiá funnelu – vrátane tých, ktoré predchádzajú skutočnej zmene. Zrútenie rebríčka Naším cieľom je pochopiť, či úmysly používateľov (nie jednotlivé pokusy) začali končiť v cestách častejšie. Po diskusiách s tímami sme dospeli k záveru, že dve objednávky by mali mať nasledujúce vlastnosti, aby sa mohli považovať za jeden zámer: 
 
 
 
 Pick-up a drop-off body oboch objednávok by sa nemali výrazne líšiť. Čas vytvorenia objednávky by mal byť blízko (objednávky umiestnené v krátkom intervale). Predchádzajúca objednávka nesmie byť dokončená cestou. Zvyšnou úlohou bolo definovať hodnoty prahových hodnôt – čo by sa malo považovať za „blízko v čase“ a „malú zmenu trasy.“ Spočiatku boli tieto prahové hodnoty definované na základe obchodných potrieb, takže prvá vec, ktorú sme sa rozhodli urobiť, bolo opätovne skontrolovať, ako dobre tieto hodnoty zodpovedajú skutočnému používateľskému správaniu. Našli sme to: 
 
 
 
 
 V prípade reorganizácie používateľ zriedka zmení cieľový bod (bod B). Odberný bod (bod A) sa mení častejšie, ale vo väčšine prípadov zanedbateľne - asi o 50 metrov od pôvodnej polohy. Väčšina reorderov nastane v priebehu prvých 10 – 20 minút. Potom sme fixovali body A a B v rozmedzí 500 metrov a pokúsili sme sa zistiť, aký podiel reorderov sa vykonáva najneskôr do X minút. 
 
 Počiatočné škrty nám vyhovovali: pokrývajú viac ako 90% re-objednávok a ďalšie zvyšovanie prahov takmer neovplyvňuje podiel pokrytia. V prípadoch, keď používateľ vytvorí tri alebo viac príkazov v rade, kolaps sa vykonáva postupne: najprv sa kontrolujú a zlúčia prvé a druhé príkazy, potom druhé a tretie a tak ďalej - pokiaľ sú splnené podmienky blízkosti času a miesta. alternatívy Ako alternatívny prístup sme zvážili použitie identifikátora mobilnej relácie na zoskupenie objednávok v rámci jedného zámeru. Táto možnosť sa však ukázala ako menej spoľahlivá z dvoch dôvodov: 
 
 
 Sedenie môže byť prerušené alebo „prilepené“, napríklad keď používateľ zadá objednávku, potom sa vydá na cestu a čoskoro vytvorí a dokončí novú. Mobilné analytické dáta sú menej presné ako záložné dáta: časy udalostí a ich objednávky môžu byť zaznamenané s oneskorením alebo stratou. V dôsledku toho sme sa rozhodli nepoužívať identifikátor relácie ako základ pre definovanie zámeru cesty. Nové metriky V dôsledku toho sme vytvorili novú entitu a definovali pravidlo na vytvorenie jedinečného identifikátora. Na základe tejto entity sme vytvorili niekoľko odvodených metrík: 
 
 
 Agregovaný funnel – umožňuje vyhodnotiť konverzie bez skreslenia súvisiaceho s reordermi a umožňuje interpretovať výsledky testov. Funnely prvého, druhého a nasledujúcich pokusov – pomáhajú nám pochopiť, ktoré akcie stimulujú používateľov k opakovanému pokusu a zvyšujú pravdepodobnosť jeho úspechu. Teraz sa vráťme k testu, ktorý sme diskutovali skôr a porovnajte získané hodnoty v rôznych prístupoch. 
 
 
 
 
 
 
 
 
 
 
 
 Metric 
 Classic Funnel 
 Aggregated Funnel 
 Interpretation 
 
 
 
 
 
 Rides 
 ↑ (not statistically significant growth) 
 Same counting 
 No change 
 
 
 
 
 
 Orders 
 ↑↑ (statistically significant growth) 
 ~0 (not statistically significant) 
 The number of intentions hardly changed — the growth in orders is explained by reorders 
 
 
 
 
 
 Done rate 
 ↓↓ (statistically significant drop) 
 ↑ (not statistically significant growth) 
 The shares of successful orders and successful intentions move in different directions 
 
 
 
 
 
 Order → bid 
 ↓↓ (statistically significant drop) 
 ↓ (not statistically significant drop) 
 Within an intention, users began to receive bids less often; the effect is close to statistical significance jazdiť ↑ (nie štatisticky významný rast) Rovnaké počítanie Žiadna zmena Príkazy ↑ ↑ ↑ (štatisticky významný rast) 0 (nie štatisticky významné) Počet zámerov sa sotva zmenil – rast objednávok vysvetľujú reordery Done sadzba ↓↓ (štatisticky významný pokles) ↑ (nie štatisticky významný rast) Podiel úspešných objednávok a úspešných zámerov sa pohybuje v rôznych smeroch Príkaz → bid ↓↓ (štatisticky významný pokles) ↓ (nie štatisticky významný pokles) V rámci úmyslu začali používatelia dostávať ponuky menej často; účinok je blízko štatistického významu Aby sme vysvetlili, prečo súhrnná miera splnenia rastie, zatiaľ čo konverzia „objednávka → ponuka“ klesá, pozreli sme sa na to, ako presne používatelia vykonávajú reordery. Ukázalo sa, že správanie sa rozdelilo na dva vzory: 
 
 
 Niektorí používatelia začali prestať vyhľadávať rýchlejšie bez čakania na ponuku. Iná skupina, naopak, začala zvyšovať cenu častejšie pri opätovnom objednávaní a takéto objednávky boli menej často zrušené po prijatí. Ďalšie pozorovania : 
 
 
 CR na zvýšenie ceny po opätovnom objednaní: ↑ ↑ (štatisticky významný rast) Zhromaždená ponuka → vykonaná: ↑ ↑ (štatisticky významný rast) záver Pozorované výsledky sa môžu zdať rozporuplné a v takýchto prípadoch je dôležité používať metriky, ktoré odrážajú vzorce správania zákazníkov alebo, ako v našom prípade, vytvoriť nové entity, ktoré popisujú realitu presnejšie.

This story contains new, firsthand information uncovered by the writer.

inDrive.Tech

Tento zvuk je vyrobený v pôvodnom jazyku príbehu!

Meranie nonlineárnych užívateľských ciest: prehodnotenie metrík tunelov v A/B testovaní

About Author

KOMENTÁRE

ZAVISTE ŠTÍTKY

TENTO ČLÁNOK BOL PREDSTAVENÝ V

Related Stories

THE CRAB-SPIDER

Mutmut: a Python mutation testing system

16 Best Sklearn Datasets for Building Machine Learning Models

When Blood Told

THE CRAB-SPIDER

Mutmut: a Python mutation testing system

16 Best Sklearn Datasets for Building Machine Learning Models

When Blood Told

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps