Въведение В един зрял продукт често е трудно да се постигне статистически значимо въздействие върху ключовите бизнес показатели като приходите на потребител или броя на поръчките. Повечето промени са насочени към подобрения в точката или индивидуалните етапи на потребителското пътуване, а въздействието на такива промени върху бизнес показателите обикновено се губи в шума. Въпреки това, от време на време забелязваме, че метриките на фуннелите не се движат в съответствие с динамиката на показателите на най-високо ниво. Освен това в някои тестове конверсиите на етапите, предхождащи въведените промени, могат да се променят по статистически значим начин. Като пример, помислете за услуга, в която потребителят създава поръчка, получава оферти от различни изпълнители, избира подходяща и чака задачата да бъде завършена. Да предположим, че сме разработили нова функция, която подчертава най-добрата оферта и се очаква да увеличи дела на поръчките, където се случва съвпадение между клиента и изпълнителя. По време на експеримента можем да наблюдаваме, че: 
 
 
 
 Делът на успешните поръчки намалява. Броят на поръчките и изпълнените поръчки се увеличава. Делът на поръчките, които са получили поне една оферта, намалява. Такъв модел може да възникне, ако потребителят има възможността да се върне към предишни етапи и например да възстанови поръчката. Открихме подобни модели в собствените си експерименти.В inDrive пътниците могат да предложат своя собствена цена, след което получават оферти от шофьори и избират най-подходящата.Много потребители активно използват функциите за договаряне и, опитвайки се да получат по-добра цена, могат да променят условията на поръчката и да я създадат отново. Нашият екип за обслужване на пътниците е отговорен за пътуването на потребителя от момента на създаване на поръчката до завършване на пътуването.В тази статия ще обясним как изследвахме тези модели на поведение и въз основа на тях въведохме нови показатели, които помогнаха да се направят резултатите от тестовете по-интерпретируеми. Тази статия ще бъде полезна за анализатори на продукти и мениджъри на продукти, които работят с продукти, които имат сложно, нелинейно потребителско пътуване, където метричното тълкуване изисква да се вземат предвид моделите на поведение и повтарящите се действия на потребителите. Как се държат ключовите метрики и метриките на фуннелите? В нашия продукт фуннелът изглежда приблизително така: пътник създава поръчка, получава оферти от шофьори, избира подходящ, чака шофьора да пристигне, а след това започва и завършва пътуването. Представете си, че стартираме малка промяна в потребителския интерфейс: показваме на потребителя лента за напредък, докато търси шофьор, за да намалим несигурността. Логично е да изберете конверсията от създаването на поръчка до получаването на оферта като целева метрика за такъв тест. В резултат на теста виждаме: 
 
 
 
 
 Брой пътувания: ↑ (не статистически значимо увеличение) Брой поръчки: ↑ ↑ (статистически значимо увеличение) CR от поръчка до оферта: ↓↓ (статистически значимо намаляване) Статистически значимо намаление (Statistically Significant Decrease) Виждаме леко увеличение на броя на пътуванията, статистически значимо увеличение на броя на поръчките, но в същото време намаляване на конверсията от създаването на поръчки до получаването на оферта и намаляване на дела на успешните пътувания. Потребителят взаимодейства с функцията само след създаването на поръчката, така че на пръв поглед изглежда, че не можем да повлияем на броя на създадените поръчки.Ако в тестовата група се случи да се включат потребители, които са склонни да създават поръчки по-често, увеличаването на броя на поръчките може да изкриви индикаторите на фуннела и да обясни положителната динамика в пътуванията. След появата на лентата за напредък, някои потребители, които са склонни да чакат дълго време за оферти за шофьори, започват да отменят поръчката по-рано и да направят друг опит да направят пътуване. В резултат на това броят на презареждащите се е нараснал най-много (статистически значим ръст). Как Реордерите Засягат Метриките За Ключ и Фуннел? След като създаде поръчка, потребителят може да се откаже на различни етапи: ако не са получили оферти от шофьори, ако цената на офертата не е подходяща, или по-късно, ако шофьорът е отнел твърде дълго, за да пристигне. Вместо очаквания линеен потребителски поток, ние наблюдаваме повтарящи се цикли – потребителите се опитват да преминат през същия сценарий няколко пъти. Когато анализираме ефективността на повтарящите се опити, забелязваме, че техният процент на успех често е значително по-нисък.Ако потребителите започват да пренареждат по-често, това засяга всички етапи от тръбата – включително тези, които предхождат действителната промяна.В същото време в редица сценарии (например, когато насърчаваме потребителите да опитат отново, вместо да напуснат), може да наблюдаваме положителен ефект върху бизнес показателите на най-високо ниво. Разрушаване на редакторите Нашата цел е да разберем дали намеренията на потребителите (а не индивидуалните опити) са започнали да завършват с пътувания по-често. След обсъждане с екипите, стигнахме до заключението, че две поръчки трябва да имат следните свойства, за да се разглеждат като едно намерение за пътуване: 
 
 
 
 Точките за вземане и слизане на двете поръчки не трябва да се различават значително. Времето за създаване на поръчката трябва да бъде близо (за поръчки, поставени в кратък интервал). Предишната поръчка не трябва да е завършена с пътуване. Първоначално тези прагове бяха определени въз основа на бизнес нуждите, така че първото нещо, което решихме да направим, беше да проверим отново колко добре тези стойности съответстват на действителното потребителско поведение. Намерихме това: 
 
 
 
 
 В случай на пренареждане, потребителите рядко променят местоназначението (точка Б). Точката на вземане (точка А) се сменя по-често, но в повечето случаи незначително - с около 50 метра от първоначалното положение. Повечето презареждания се случват в рамките на първите 10-20 минути. След това фиксирахме точки А и Б в рамките на 500 метра и се опитахме да видим каква част от реордерите се правят не по-късно от X минути. 
 
 Първоначалните намаления ни подхождаха добре: те покриват повече от 90% от повторните поръчки, а по-нататъшното увеличаване на праговете почти не засяга дела на покритието. В случаите, когато потребителят създава три или повече поръчки в един ред, сривът се извършва последователно: първо, първите и вторите поръчки се проверяват и се сливат, след това вторият и третият и така нататък - стига да са изпълнени условията за близост на времето и мястото. Алтернативи Като алтернативен подход разгледахме използването на идентификатор за мобилна сесия за групиране на поръчки в рамките на едно намерение. Въпреки това, тази опция се оказа по-малко надеждна по две причини: 
 
 
 Сесията може да бъде прекъсната или „прилепнала“, например, когато потребител постави поръчка, след това предприеме пътуване и скоро създава и завършва нова. Мобилните аналитични данни са по-малко точни от базата данни: времената на събитията и техните поръчки могат да бъдат записани със закъснения или загуби. В резултат на това решихме да не използваме идентификатора на сесията като основа за определяне на намерението за пътуване. Нови метрики В резултат на това създадохме нова единица и определихме правило за образуване на уникален идентификатор. Въз основа на тази единица, ние изградихме няколко производни метрики: 
 
 
 Агрегиран фуннел – позволява ни да оценяваме конверсиите без изкривявания, свързани с пренарежданията, и прави резултатите от тестовете по-интерпретируеми. Фуннели от първия, втория и следващите опити – ни помагат да разберем кои действия стимулират потребителите да направят повторен опит и да увеличат вероятността от неговия успех. Сега да се върнем към теста, който обсъдихме по-рано и да сравним получените стойности в различни подходи. 
 
 
 
 
 
 
 
 
 
 
 
 Metric 
 Classic Funnel 
 Aggregated Funnel 
 Interpretation 
 
 
 
 
 
 Rides 
 ↑ (not statistically significant growth) 
 Same counting 
 No change 
 
 
 
 
 
 Orders 
 ↑↑ (statistically significant growth) 
 ~0 (not statistically significant) 
 The number of intentions hardly changed — the growth in orders is explained by reorders 
 
 
 
 
 
 Done rate 
 ↓↓ (statistically significant drop) 
 ↑ (not statistically significant growth) 
 The shares of successful orders and successful intentions move in different directions 
 
 
 
 
 
 Order → bid 
 ↓↓ (statistically significant drop) 
 ↓ (not statistically significant drop) 
 Within an intention, users began to receive bids less often; the effect is close to statistical significance Езда ↑ (не е статистически значим растеж) Същото броене Няма промяна заповеди ↑ ↑ ↑ (статистически значим растеж) 0 (не е статистически значима) Броят на намеренията едва се е променил – нарастването на поръчките се обяснява с презарежданията Данъчна ставка ↓↓ (статистически значим спад) ↑ (не е статистически значим растеж) Делът на успешните поръчки и успешните намерения се движат в различни посоки Поръчка за оферта ↓↓ (статистически значим спад) ↓ (не е статистически значим спад) В рамките на едно намерение, потребителите започнаха да получават оферти по-рядко; ефектът е близо до статистическо значение За да обясним защо съвкупната скорост на изпълнение се увеличава, докато конвертирането на "орд → оферта" намалява, разгледахме как точно потребителите извършват повторни поръчки. Оказа се, че поведението се разделя на два модела: 
 
 
 Някои потребители започват да спират търсенето по-бързо, без да чакат за оферта. Друга група, напротив, започна да увеличава цената по-често при презареждане, а такива поръчки по-рядко се анулират след приемане. Допълнителни забележки : 
 
 
 КЗК към увеличение на цените след пренареждане: ↑ ↑ (статистически значим растеж) Агрегирана оферта → направено: ↑ ↑ (статистически значим ръст) Заключението Понякога взаимодействието на потребителите с даден продукт не може да бъде напълно описано от класическите метрики на фуннелите.Наблюдаваните резултати може да изглеждат противоречиви и в такива случаи е важно да се използват метрики, които отразяват моделите на поведение на клиентите или, както в нашия случай, да се създадат нови субекти, които описват реалността по-точно.

This story contains new, firsthand information uncovered by the writer.

inDrive.Tech

Това аудио е създадено на оригиналния език на историята!

Измерване на нелинейните пътувания на потребителите: Преосмисляне на метриките на тръбите в A/B тестването

About Author

КОМЕНТАРИ

ЗАКАЧВАЙТЕ ЕТИКЕТИ

ТАЗИ СТАТИЯ Е ПРЕДСТАВЕНА В

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps