Ievads Pieaugušajam produktam bieži vien ir grūti sasniegt statistiski nozīmīgu ietekmi uz galvenajām uzņēmējdarbības rādītājiem, piemēram, ieņēmumiem uz lietotāju vai pasūtījumu skaitu. Lielākā daļa izmaiņu ir vērstas uz punkta uzlabojumiem lietotāja ceļojuma funnel vai atsevišķos posmos, un šādu izmaiņu ietekme uz uzņēmējdarbības rādītājiem parasti tiek zaudēta troksnī. Tomēr laiku pa laikam mēs pamanām, ka funnel metrikas nepārvietojas saskaņā ar augšējā līmeņa rādītāju dinamiku. Turklāt dažos testos konversijas posmos, kas ir pirms īstenotajām izmaiņām, var mainīties statistiski nozīmīgā veidā. Piemēram, apsveriet pakalpojumu, kurā lietotājs izveido pasūtījumu, saņem piedāvājumus no dažādiem izpildītājiem, izvēlas piemērotu un gaida uzdevuma pabeigšanu. Pieņemsim, ka mēs esam izstrādājuši jaunu funkciju, kas izceļ labāko piedāvājumu un ir paredzams, ka tas palielinās pasūtījumu daļu, ja notiek atbilstība starp klientu un izpildītāju. Eksperimenta laikā var novērot, ka: 
 
 
 
 Samazinās veiksmīgu pasūtījumu īpatsvars. Kopējais pasūtījumu skaits un pabeigtie pasūtījumi palielinās. Samazinās to pasūtījumu īpatsvars, kuri saņēmuši vismaz vienu piedāvājumu. Šāds modelis var rasties, ja lietotājam ir iespēja atgriezties iepriekšējos posmos un, piemēram, atkārtoti publicēt pasūtījumu. Mēs atklājām līdzīgus modeļus mūsu pašu eksperimentos. inDrive, pasažieri var ierosināt savu cenu, pēc kura viņi saņem piedāvājumus no autovadītājiem un izvēlas vispiemērotāko.Daudzi lietotāji aktīvi izmanto sarunu funkcijas un, cenšoties iegūt labāku cenu, var mainīt pasūtījuma nosacījumus un izveidot to vēlreiz. Mūsu pasažieru izpildes komanda ir atbildīga par lietotāja braucienu no brīža, kad tiek izveidots pasūtījums, līdz brauciena pabeigšanai. Šajā rakstā mēs izskaidrosim, kā mēs pētījām šos uzvedības modeļus un, pamatojoties uz tiem, ieviesām jaunus rādītājus, kas palīdzēja padarīt testa rezultātus interpretējamus. Šis raksts būs noderīgs produktu analītiķiem un produktu vadītājiem, kuri strādā ar produktiem, kuriem ir sarežģīts, nelineārs lietotāja ceļš, kur metrikas interpretācija prasa ņemt vērā uzvedības modeļus un atkārtotas lietotāja darbības. Kā darbojas galvenie metrikas un funnel metrikas? Mūsu produktā funnelis izskatās aptuveni šādi: pasažieris izveido pasūtījumu, saņem piedāvājumus no autovadītājiem, izvēlas piemērotu, gaida autovadītāja ierašanos un pēc tam sāk un pabeidz braucienu. Iedomājieties, ka mēs uzsākam nelielu lietotāja interfeisa maiņu: mēs lietotājiem parādām progresa joslu, meklējot autovadītāju, lai samazinātu nenoteiktību. Ir loģiski izvēlēties konversiju no pasūtījuma izveides līdz piedāvājuma saņemšanai kā šāda testa mērķa rādītāju. Pēc testa rezultātiem mēs redzam: 
 
 
 
 
 Pārgājienu skaits: ↑ (statistiski nenozīmīgs pieaugums) Pasūtījumu skaits: ↑ ↑ (statistiski nozīmīgs pieaugums) CR no pasūtījuma līdz piedāvājumam: ↓↓ (statistiski nozīmīgs samazinājums) Done Rate: ↓↓ (statistiski nozīmīgs samazinājums) Mēs redzam nelielu braucienu skaita pieaugumu, statistiski nozīmīgu pasūtījumu skaita pieaugumu, bet tajā pašā laikā samazinās konversija no pasūtījuma izveides līdz piedāvājuma saņemšanai, kā arī samazinās veiksmīgu braucienu īpatsvars. Lietotājs mijiedarbojas ar funkciju tikai pēc pasūtījuma izveides, tāpēc no pirmā acu uzmetiena šķiet, ka mēs nevaram ietekmēt radīto pasūtījumu skaitu.Ja testēšanas grupā gadījās iekļaut lietotājus, kuri mēdz veidot pasūtījumus biežāk, pasūtījumu skaita pieaugums varētu izkropļot funnel rādītājus un izskaidrot pozitīvo dinamiku braucienos. Tomēr padziļināta analīze parādīja, ka šī nav nejaušības problēma. pēc tam, kad parādījās progresa josla, daži lietotāji, kuri ilgu laiku gaidīja autovadītāju piedāvājumus, sāka atcelt pasūtījumu agrāk un mēģināja vēlreiz doties ceļojumā. Tā rezultātā visvairāk palielinājās atkārtoto pasūtījumu skaits (statistiski nozīmīgs pieaugums). Kā Reorder ietekmē atslēgu un funnel metrikas? Pēc pasūtījuma izveidošanas lietotājs var atteikties dažādos posmos: ja viņi nesaņēma piedāvājumus no autovadītājiem, ja piedāvājuma cena nebija piemērota, vai vēlāk, ja autovadītājam nācās ierasties pārāk ilgi. Gaidāmās lineārās lietotāju plūsmas vietā mēs novērojam atkārtojošus ciklus – lietotāji mēģina iet cauri vienam un tam pašam scenārijam vairākas reizes. Analizējot atkārtoto mēģinājumu efektivitāti, mēs pamanījām, ka to panākumu līmenis bieži vien ir ievērojami zemāks.Ja lietotāji sāk pārkārtoties biežāk, tas ietekmē visus kanāla posmus, tostarp tos, kas ir pirms faktiskās izmaiņas.Tajā pašā laikā vairākos scenārijos (piemēram, ja mēs mudinām lietotājus mēģināt vēlreiz, nevis pamest), mēs varam novērot pozitīvu ietekmi uz augšējā līmeņa biznesa rādītājiem. Iznīcinātās kārtis Mūsu mērķis ir saprast, vai lietotāju nodomi (nevis atsevišķi mēģinājumi) ir sākuši biežāk beigt braucienus. Pēc diskusijām ar komandām, mēs secinājām, ka diviem pasūtījumiem vajadzētu būt šādām īpašībām, lai tos varētu uzskatīt par vienu nodomu ceļot: 
 
 
 
 Abu pasūtījumu pick-up un drop-off punkti nedrīkst būt būtiski atšķirīgi. Pasūtījuma izveides laikam jābūt tuvu (pasūtījumi tiek veikti īsā intervālā). Iepriekšējais pasūtījums nedrīkst būt pabeigts ar ceļojumu. Atlikušais uzdevums bija definēt slieksnis vērtības – ko vajadzētu uzskatīt par “tuvu laikā” un “mazu maršruta maiņu.” Sākotnēji šie slieksni tika definēti, pamatojoties uz biznesa vajadzībām, tāpēc pirmā lieta, ko mēs nolēmām darīt, bija pārbaudīt, cik labi šīs vērtības atbilst reālajai lietotāju uzvedībai. Mēs atradām to: 
 
 
 
 
 Atkārtota pasūtījuma gadījumā lietotāji reti maina galamērķa punktu (punkts B). Pickup punkts (punkts A) mainās biežāk, bet vairumā gadījumu, nenozīmīgi - apmēram par 50 metriem no sākotnējās pozīcijas. Lielākā daļa atkārtotu pasūtījumu notiek pirmajās 10–20 minūtēs. Tad mēs fiksējām punktus A un B 500 metru attālumā un mēģinājām redzēt, kāda daļa no pārrakstiem tiek veikta ne vēlāk kā X minūtes. 
 
 Sākotnējie samazinājumi mums bija piemēroti: tie aptver vairāk nekā 90% no atkārtotajiem pasūtījumiem, un, vēl vairāk palielinot slieksni, gandrīz neietekmē seguma daļu. Gadījumos, kad lietotājs izveido trīs vai vairāk pasūtījumus pēc kārtas, sabrukums tiek veikts secīgi: pirmkārt, pirmie un otrie pasūtījumi tiek pārbaudīti un apvienoti, tad otrais un trešais, un tā tālāk - tik ilgi, kamēr ir izpildīti laika un atrašanās vietas tuvuma nosacījumi. Alternatīvas Kā alternatīvu pieeju, mēs apsveram izmantot mobilo sesiju identifikatoru, lai grupētu pasūtījumus vienā nodomā. Tomēr šī iespēja izrādījās mazāk uzticama divu iemeslu dēļ: 
 
 
 Sesiju var pārtraukt vai “pievilkt”, piemēram, kad lietotājs veic pasūtījumu, tad dodas ceļojumā, un drīz izveido un pabeidz jaunu. Mobilās analīzes dati ir mazāk precīzi nekā backend dati: notikumu laiki un to pasūtījums var tikt ierakstīts ar kavējumiem vai zaudējumiem. Tā rezultātā mēs nolēmām neizmantot sesijas identifikatoru kā pamatu ceļojuma nodoma definēšanai. Jaunā Metrika Tā rezultātā mēs izveidojām jaunu vienību un definējām noteikumu, lai izveidotu unikālu identifikatoru. Pamatojoties uz šo vienību, mēs izveidojām vairākas atvasinātās metrikas: 
 
 
 Apkopotais kanāls - ļauj mums novērtēt konversijas bez izkropļojumiem, kas saistīti ar atkārtotiem pasūtījumiem, un padara testa rezultātus interpretējamus. Pirmajā, otrajā un turpmākajos mēģinājumos - palīdz mums saprast, kuras darbības mudina lietotājus atkārtot mēģinājumu un palielināt tā panākumu varbūtību. Tagad atgriezīsimies pie iepriekš apspriestajiem testiem un salīdzināsim iegūtās vērtības dažādās pieejās. 
 
 
 
 
 
 
 
 
 
 
 
 Metric 
 Classic Funnel 
 Aggregated Funnel 
 Interpretation 
 
 
 
 
 
 Rides 
 ↑ (not statistically significant growth) 
 Same counting 
 No change 
 
 
 
 
 
 Orders 
 ↑↑ (statistically significant growth) 
 ~0 (not statistically significant) 
 The number of intentions hardly changed — the growth in orders is explained by reorders 
 
 
 
 
 
 Done rate 
 ↓↓ (statistically significant drop) 
 ↑ (not statistically significant growth) 
 The shares of successful orders and successful intentions move in different directions 
 
 
 
 
 
 Order → bid 
 ↓↓ (statistically significant drop) 
 ↓ (not statistically significant drop) 
 Within an intention, users began to receive bids less often; the effect is close to statistical significance Riteņbraukšana ↑ (nav statistiski nozīmīgs pieaugums) Tāds pats skaitlis Nekādas izmaiņas Pasūtījumi ↑ ↑ (statistiski nozīmīgs pieaugums) 0 (statistiski nav nozīmīgs) Mērķu skaits gandrīz nemainījās - pasūtījumu pieaugumu izskaidro reorders Done likme ↓↓ (statistiski nozīmīgs samazinājums) ↑ (nav statistiski nozīmīgs pieaugums) Veiksmīgu pasūtījumu un veiksmīgu nodomu daļas virzās dažādos virzienos Rīkojums par piedāvājumu ↓↓ (statistiski nozīmīgs samazinājums) ↓ (statistiski nenozīmīgs samazinājums) Mērķa ietvaros lietotāji sāka saņemt piedāvājumus retāk; efekts ir tuvu statistikas nozīmei Lai izskaidrotu, kāpēc kopējais izpildes ātrums pieaug, kamēr “pasūtījums → piedāvājums” konversija samazinās, mēs apskatījām, kā tieši lietotāji veic atkārtoti pasūtījumus. Izrādījās, ka uzvedība ir sadalīta divos modeļos: 
 
 
 Daži lietotāji sāka pārtraukt meklēšanu ātrāk, negaidot piedāvājumu. Cita grupa, gluži pretēji, sāka cenu paaugstināt biežāk, pārrēķinot, un pēc pieņemšanas šādi pasūtījumi tika atcelti retāk. Papildu novērojumi : 
 
 
 CR uz cenu pieaugumu pēc pārkārtošanas: ↑ ↑ ↑ (statistiski nozīmīgs pieaugums) Kopējais piedāvājums → darīts: ↑ ↑ (statistiski nozīmīgs pieaugums) Secinājums Dažreiz lietotāja mijiedarbību ar produktu nevar pilnībā aprakstīt ar klasiskām funnel metrikām. novērotie rezultāti var šķist pretrunīgi, un šādos gadījumos ir svarīgi izmantot metrikas, kas atspoguļo klientu uzvedības modeļus vai, kā mūsu gadījumā, izveidot jaunas vienības, kas precīzāk apraksta realitāti.

This story contains new, firsthand information uncovered by the writer.

inDrive.Tech

Šis audio ir izveidots stāsta oriģinālvalodā!

Mērīt nelineāros lietotāju braucienus: pārdomājot kanālu metrikas A/B testēšanā

About Author

KOMENTĀRI

PAKARINĀT TAGUS

ŠIS RAKSTS TIKS PĀRSTRĀDĀTS

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps