Introduksi Dalam produk yang matang, seringkali sulit untuk mencapai dampak signifikan secara statistik pada metrik bisnis utama seperti pendapatan per pengguna atau jumlah pesanan. Kebanyakan perubahan ditujukan pada perbaikan titik di funnel atau tahap individu dari perjalanan pengguna, dan dampak dari perubahan tersebut pada metrik bisnis biasanya hilang dalam kebisingan. oleh karena itu, tim produk cukup sering memilih konversi yang sesuai sebagai metrik target dan eksperimen desain dengan cara yang mencapai kekuatan statistik yang diperlukan. Namun, dari waktu ke waktu, kita memperhatikan bahwa metrik funnel tidak bergerak sesuai dengan dinamika indikator tingkat atas.Selain itu, dalam beberapa tes, konversi pada tahap-tahap yang mendahului perubahan yang diterapkan dapat berubah dengan cara yang signifikan secara statistik. Sebagai contoh, pertimbangkan layanan di mana seorang pengguna membuat pesanan, menerima penawaran dari penyelenggara yang berbeda, memilih yang sesuai, dan menunggu tugas untuk diselesaikan. Suppose we have developed a new feature that highlights the best offer and is expected to increase the share of orders where a match between the customer and the performer occurs. Selama percobaan, kita dapat melihat bahwa: 
 
 
 
 Jumlah pesanan yang berhasil berkurang. Jumlah total pesanan dan pesanan yang diselesaikan meningkat. Angka pesanan yang menerima setidaknya satu penawaran menurun. Pola seperti itu dapat terjadi jika pengguna memiliki kemampuan untuk kembali ke tahap sebelumnya dan, misalnya, memposting kembali pesanan. Dalam inDrive, penumpang dapat mengusulkan harga mereka sendiri, setelah itu mereka menerima penawaran dari pengemudi dan memilih yang paling cocok. Banyak pengguna secara aktif menggunakan fitur negosiasi dan, mencoba mendapatkan harga yang lebih baik, dapat mengubah kondisi pesanan dan membuatnya lagi. Tim pemenuhan penumpang kami bertanggung jawab atas perjalanan pengguna dari saat pesanan dibuat hingga penyelesaian perjalanan. dalam artikel ini, kami akan menjelaskan bagaimana kami menyelidiki pola perilaku ini dan, berdasarkan mereka, memperkenalkan metrik baru yang membantu membuat hasil tes lebih dapat ditafsirkan. Artikel ini akan berguna bagi analis produk dan manajer produk yang bekerja dengan produk yang memiliki perjalanan pengguna yang kompleks dan non-linear, di mana interpretasi metrik membutuhkan mempertimbangkan pola perilaku dan tindakan pengguna yang berulang. Bagaimana Key Metrics dan Funnel Metrics berperilaku? Dalam produk kami, funnel terlihat seperti ini: penumpang membuat pesanan, menerima penawaran dari pengemudi, memilih yang cocok, menunggu pengemudi tiba, dan kemudian memulai dan menyelesaikan perjalanan. Bayangkan bahwa kita meluncurkan perubahan UI kecil: kita menunjukkan pengguna bar kemajuan saat mencari pengemudi, untuk mengurangi ketidakpastian. kita berharap bahwa dengan bar kemajuan, pengguna akan lebih sering menunggu penawaran pengemudi dan, sebagai hasilnya, melakukan lebih banyak perjalanan. Adalah logis untuk memilih konversi dari pembuatan pesanan untuk menerima penawaran sebagai metrik target untuk tes tersebut. Sebagai hasil dari tes, kita dapat melihat: 
 
 
 
 
 Rides count: ↑ (not statistically significant increase) Jumlah pesanan: ↑ ↑ (peningkatan yang signifikan secara statistik) CR dari urutan untuk penawaran: ↓↓ (penurunan yang signifikan secara statistik) Rata-rata dilakukan: ↓↓ (penurunan yang signifikan secara statistik) We see a slight increase in the number of rides, a statistically significant increase in the number of orders, but at the same time, a drop in conversion from order creation to receiving a bid, and a decrease in the share of successful trips. Pengguna berinteraksi dengan fitur hanya setelah membuat pesanan, jadi pada pandangan pertama, tampaknya kita tidak bisa mempengaruhi jumlah pesanan yang dibuat.Jika kelompok uji terjadi untuk mencakup pengguna yang cenderung untuk membuat pesanan lebih sering, peningkatan jumlah pesanan dapat membingungkan indikator funnel dan menjelaskan dinamika positif dalam perjalanan. Namun, analisis yang lebih mendalam menunjukkan bahwa ini bukan masalah randomisasi.Setelah bar kemajuan muncul, beberapa pengguna yang cenderung menunggu lama untuk penawaran pengemudi mulai membatalkan pesanan lebih awal dan melakukan upaya lain untuk melakukan perjalanan. Akibatnya, jumlah reorder meningkat paling banyak (peningkatan yang signifikan secara statistik). Bagaimana Reorder Mempengaruhi Key dan Funnel Metrics? Setelah membuat pesanan, pengguna dapat berhenti pada tahap yang berbeda: jika mereka tidak menerima penawaran dari pengemudi, jika harga penawaran tidak sesuai, atau kemudian jika pengemudi mengambil waktu terlalu lama untuk tiba. dalam kasus seperti itu, beberapa pengguna tidak berhenti mencoba, tetapi membuat pesanan baru untuk akhirnya mendapatkan perjalanan. Alih-alih aliran pengguna linear yang diharapkan, kita mengamati siklus yang berulang – pengguna mencoba untuk melalui skenario yang sama beberapa kali. Ketika menganalisis efisiensi percobaan berulang, kami melihat bahwa tingkat keberhasilan mereka seringkali jauh lebih rendah.Jika pengguna mulai mengatur ulang lebih sering, ini mempengaruhi semua tahap funnel – termasuk yang mendahului perubahan sebenarnya.Pada saat yang sama, dalam sejumlah skenario (misalnya, ketika kami mendorong pengguna untuk mencoba lagi daripada meninggalkan), kami dapat melihat efek positif pada metrik bisnis tingkat atas. Collapsing Reorders Tujuan kami adalah untuk memahami apakah niat pengguna (bukan upaya individu) telah mulai berakhir dalam perjalanan lebih sering. untuk melakukan ini, kami perlu memberikan definisi yang lebih ketat dari "niat perjalanan" yang akan memungkinkan kami untuk menghancurkan beberapa reorder dari satu pengguna. Setelah diskusi dengan tim, kami menyimpulkan bahwa dua pesanan harus memiliki properti berikut untuk dianggap sebagai satu niat untuk melakukan perjalanan: 
 
 
 
 Titik pickup dan drop-off dari kedua pesanan tidak harus berbeda secara signifikan. Waktu pembuatan pesanan harus dekat (pesanan yang ditempatkan dalam interval singkat). Pesanan sebelumnya tidak dapat diselesaikan dengan perjalanan. Tugas yang tersisa adalah untuk mendefinisikan nilai ambang batas - apa yang harus dianggap "dekat waktu" dan "perubahan rute kecil."Pada awalnya, ambang batas ini didefinisikan berdasarkan kebutuhan bisnis, jadi hal pertama yang kami putuskan adalah untuk memeriksa kembali seberapa baik nilai-nilai ini sesuai dengan perilaku pengguna nyata. Kami menemukan ini: 
 
 
 
 
 Dalam kasus pemesanan ulang, pengguna jarang mengubah titik tujuan (Titik B). Titik pickup (titik A) bergeser lebih sering, tetapi dalam kebanyakan kasus, tidak signifikan - sekitar 50 meter dari posisi aslinya. Sebagian besar reorder terjadi dalam 10-20 menit pertama. Kami kemudian memperbaiki titik A dan B dalam jarak 500 meter dan mencoba untuk melihat bagian mana dari reorder dibuat tidak lebih dari X menit. 
 
 Pemotongan awal sesuai dengan kami: mereka mencakup lebih dari 90% pemesanan ulang, dan peningkatan lebih lanjut ambang batas hampir tidak mempengaruhi bagian cakupan. Dalam kasus di mana seorang pengguna membuat tiga atau lebih pesanan berturut-turut, kolaps dilakukan secara berturut-turut: pertama, pesanan pertama dan kedua diperiksa dan digabungkan, kemudian yang kedua dan ketiga, dan seterusnya - selama kondisi waktu dan kedekatan lokasi terpenuhi. Alternatives Sebagai pendekatan alternatif, kami mempertimbangkan menggunakan pengidentifikasi sesi seluler untuk mengumpulkan pesanan dalam satu niat. Namun, opsi ini ternyata kurang dapat diandalkan karena dua alasan: 
 
 
 A session can be interrupted or “stick”, for example, when a user places an order, then takes a trip, and soon creates and completes a new one. In such cases, session boundaries do not match real behavior. Data analisis seluler kurang akurat daripada data backend: waktu acara dan pesanan mereka dapat dicatat dengan keterlambatan atau hilang. As a result, we decided not to use the session identifier as the basis for defining a trip intention. Metrik baru Akibatnya, kami menciptakan entitas baru dan mendefinisikan aturan untuk membentuk identifier unik. Berdasarkan entitas ini, kami membangun beberapa metrik derivatif: 
 
 
 Funnel agregat - memungkinkan kami untuk mengevaluasi konversi tanpa distorsi yang terkait dengan reorder dan membuat hasil tes lebih dapat ditafsirkan. Funnels dari percobaan pertama, kedua, dan berikutnya - membantu kami memahami tindakan mana yang mendorong pengguna untuk melakukan percobaan berulang dan meningkatkan kemungkinan keberhasilannya. Sekarang, mari kita kembali ke tes yang kita bicarakan sebelumnya dan membandingkan nilai yang diperoleh dalam pendekatan yang berbeda. 
 
 
 
 
 
 
 
 
 
 
 
 Metric 
 Classic Funnel 
 Aggregated Funnel 
 Interpretation 
 
 
 
 
 
 Rides 
 ↑ (not statistically significant growth) 
 Same counting 
 No change 
 
 
 
 
 
 Orders 
 ↑↑ (statistically significant growth) 
 ~0 (not statistically significant) 
 The number of intentions hardly changed — the growth in orders is explained by reorders 
 
 
 
 
 
 Done rate 
 ↓↓ (statistically significant drop) 
 ↑ (not statistically significant growth) 
 The shares of successful orders and successful intentions move in different directions 
 
 
 
 
 
 Order → bid 
 ↓↓ (statistically significant drop) 
 ↓ (not statistically significant drop) 
 Within an intention, users began to receive bids less often; the effect is close to statistical significance Berkendara ↑ (Bukan pertumbuhan yang signifikan secara statistik) Jumlah yang sama Tidak berubah Orders ↑ ↑ ↑ (perkembangan yang signifikan secara statistik) 0 (tidak signifikan secara statistik) Jumlah niat hampir tidak berubah - pertumbuhan pesanan dijelaskan oleh reorder Tingkat Done ↓↓ (penurunan yang signifikan secara statistik) ↑ (not statistically significant growth) Saham pesanan yang sukses dan niat yang sukses bergerak ke arah yang berbeda Perintah Membeli ↓↓ (penurunan yang signifikan secara statistik) ↓ (not statistically significant drop) Dalam niat, pengguna mulai menerima penawaran lebih jarang; efeknya dekat dengan signifikansi statistik Untuk menjelaskan mengapa persentase dilakukan agregat meningkat sementara konversi “order → bid” menurun, kami melihat bagaimana pengguna melakukan reorder. Ternyata perilaku itu terbagi menjadi dua pola: 
 
 
 Beberapa pengguna mulai berhenti mencari lebih cepat tanpa menunggu penawaran. Kelompok lain, sebaliknya, mulai menaikkan harga lebih sering saat memesan ulang, dan pesanan tersebut kurang sering dibatalkan setelah diterima. Pengamatan tambahan : 
 
 
 CR untuk kenaikan harga setelah reorder: ↑ ↑ ↑ (peningkatan signifikan secara statistik) Aggregated bid → done: ↑ ↑ ↑ (perkembangan yang signifikan secara statistik) Kesimpulan Terkadang, interaksi pengguna dengan produk tidak dapat sepenuhnya dijelaskan oleh metrik funnel klasik. hasil yang diamati mungkin tampak bertentangan, dan dalam kasus seperti itu, penting untuk menggunakan metrik yang mencerminkan pola perilaku pelanggan atau, seperti dalam kasus kami, untuk menciptakan entitas baru yang menggambarkan realitas lebih akurat.

This story contains new, firsthand information uncovered by the writer.

inDrive.Tech

Audio ini diproduksi dalam bahasa asli cerita!

Mengukur Perjalanan Pengguna Non-Linear: Rethinking Funnels Metrics dalam Pengujian A / B

About Author

KOMENTAR

HANG TAG

ARTIKEL INI DISAJIKAN PADA

Related Stories

The Crypto Trading Writing Contest: Submission Deadline Extended!

Why do you need JWT in your ASP.NET Core project?

Building an API-Powered Platform

And In The Open Air

The Crypto Trading Writing Contest: Submission Deadline Extended!

Why do you need JWT in your ASP.NET Core project?

Building an API-Powered Platform

And In The Open Air

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps