Introducción In a mature product, it is often difficult to achieve a statistically significant impact on key business metrics such as revenue per user or the number of orders. Most changes are aimed at point improvements in the funnel or individual stages of the user journey, and the impact of such changes on business metrics is usually lost in the noise. Therefore, product teams quite often choose a corresponding conversion as the target metric and design experiments in a way that achieves the required statistical power. Sin embargo, de vez en cuando, notamos que las métricas de funnel no se mueven de acuerdo con la dinámica de los indicadores de nivel superior. Además, en algunas pruebas, las conversiones en las etapas que preceden a los cambios implementados pueden cambiar de una manera estadísticamente significativa. Como resultado, la interpretación de tales experimentos se vuelve difícil, y el riesgo de tomar decisiones equivocadas aumenta. Por ejemplo, considere un servicio en el que un usuario crea un pedido, recibe ofertas de diferentes realizadores, elige uno adecuado y espera que la tarea se complete. Supongamos que hemos desarrollado una nueva característica que destaca la mejor oferta y se espera que aumente la proporción de pedidos donde se produce un encuentro entre el cliente y el presentador. Durante el experimento, podemos observar que: 
 
 
 
 La proporción de pedidos exitosos disminuye. El número total de pedidos y pedidos completados aumenta. La proporción de pedidos que recibieron al menos una oferta disminuye. Tal patrón puede ocurrir si el usuario tiene la posibilidad de volver a las etapas anteriores y, por ejemplo, reenviar el pedido. Descubrimos patrones similares en nuestros propios experimentos.En inDrive, los pasajeros pueden proponer su propio precio, después de lo cual reciben ofertas de los conductores y eligen el más adecuado.Muchos usuarios utilizan activamente las características de negociación y, tratando de obtener un precio mejor, pueden cambiar las condiciones del pedido y crearlo de nuevo. Nuestro equipo de cumplimiento de pasajeros es responsable del viaje del usuario desde el momento en que se crea el pedido hasta la finalización del viaje.En este artículo, explicaremos cómo hemos investigado estos patrones de comportamiento y, en base a ellos, introducimos nuevas métricas que ayudaron a hacer los resultados de los ensayos más interpretables. This article will be useful for product analysts and product managers who work with products that have a complex, non-linear user journey, where metric interpretation requires taking behavioral patterns and repeated user actions into account. How Do Key Metrics and Funnel Metrics Behave? En nuestro producto, el funnel parece aproximadamente lo siguiente: un pasajero crea un pedido, recibe ofertas de los conductores, selecciona uno adecuado, espera a que llegue el conductor, y luego comienza y completa el viaje. Imagine that we launch a small UI change: we show the user a progress bar while searching for a driver, in order to reduce uncertainty. We expect that with the progress bar, users will more often wait for driver offers and, as a result, make more trips. Es lógico elegir la conversión de la creación de la orden a la recepción de una oferta como la métrica objetivo para tal prueba. Como resultado de la prueba, vemos: 
 
 
 
 
 Número de viajes: ↑ (incremento no estadísticamente significativo) Número de pedidos: ↑ ↑ (incremento estadísticamente significativo) CR de orden a oferta: ↓↓ (diminuación estadísticamente significativa) Tasa realizada: ↓↓ (disminución estadísticamente significativa) Vemos un ligero aumento en el número de viajes, un aumento estadísticamente significativo en el número de pedidos, pero al mismo tiempo, una caída en la conversión de la creación de pedidos a la recepción de una oferta, y una disminución en la proporción de viajes exitosos. El usuario interactúa con la característica sólo después de crear el orden, por lo que a primera vista parece que no podíamos influir en el número de órdenes creadas.Si el grupo de prueba ocurrió a incluir usuarios que tienden a crear órdenes más a menudo, el aumento en el número de órdenes podría distorsionar los indicadores de funnel y explicar la dinámica positiva en las carreras. Sin embargo, un análisis más profundo mostró que este no era un problema de aleatorización.Después de que apareciera la barra de progreso, algunos usuarios que tienden a esperar mucho tiempo por las ofertas de conductores comenzaron a cancelar el pedido antes y hacer otro intento de tomar un viaje. As a result, the number of reorders increased the most (statistically significant growth). ¿Cómo afectan los reordenadores a las métricas de llave y funil? Después de crear un pedido, un usuario puede abandonar en diferentes etapas: si no recibieron ofertas de los conductores, si el precio de la oferta no era adecuado, o más tarde si el conductor tardó demasiado tiempo en llegar. Instead of the expected linear user flow, we observe repeating cycles — users try to go through the same scenario several times. When analyzing the efficiency of repeat attempts, we noticed that their success rate is often significantly lower. If users start reordering more often, this affects all stages of the funnel — including those that precede the actual change. At the same time, in a number of scenarios (for example, when we encourage users to try again instead of leaving), we may observe a positive effect on top-level business metrics. Colapso de los ordenadores Nuestro objetivo es comprender si las intenciones de los usuarios (no los intentos individuales) han comenzado a terminar en viajes con más frecuencia.Para ello, necesitamos dar una definición más estricta de una “intención de viaje” que nos permitiría colapsar múltiples reordenes de un usuario. Después de las discusiones con los equipos, concluimos que dos pedidos deben tener las siguientes propiedades para ser considerados como una sola intención de hacer un viaje: 
 
 
 
 The pickup and drop-off points of both orders should not differ significantly. El tiempo de creación de la orden debe estar cerca (ordenes colocados dentro de un intervalo corto). El pedido anterior no debe haber sido completado por un viaje. La tarea restante fue definir los valores de umbral – lo que debería considerarse “cerca de tiempo” y un “pequeño cambio de ruta”. Inicialmente, estos umbrales se definieron en función de las necesidades de los negocios, por lo que la primera cosa que decidimos hacer fue volver a comprobar cuán bien estos valores corresponden al comportamiento real del usuario. We found that: 
 
 
 
 
 In the case of reordering, users rarely change the destination point (point B). El punto de recogida (punto A) cambia con más frecuencia, pero en la mayoría de los casos, de manera insignificante - aproximadamente 50 metros de la posición original. Most reorders happen within the first 10–20 minutes. Luego fijamos los puntos A y B dentro de 500 metros y tratamos de ver qué parte de los reordenadores se hacen no más tarde de X minutos. 
 
 Los cortes iniciales nos pasaron bien: cubren más del 90% de los reordenadores, y aumentar aún más los umbrales casi no afecta a la cuota de cobertura. En los casos en que un usuario crea tres o más órdenes en una fila, el colapso se realiza de forma secuencial: primero, los primeros y los segundos órdenes se checan y se fusionan, luego el segundo y el tercero, y así sucesivamente, siempre que se cumplan las condiciones de proximidad de tiempo y ubicación. Alternatives As an alternative approach, we considered using a mobile session identifier to group orders within a single intention. Sin embargo, esta opción resultó ser menos fiable por dos razones: 
 
 
 Una sesión puede ser interrumpida o “colgada”, por ejemplo, cuando un usuario coloca un pedido, luego toma un viaje, y pronto crea y completa un nuevo. Los datos de análisis móviles son menos precisos que los datos de backend: los tiempos de eventos y su orden pueden ser registrados con retrasos o perdidos. As a result, we decided not to use the session identifier as the basis for defining a trip intention. Nuevas métricas Como resultado, creamos una nueva entidad y definimos una regla para formar un identificador único.El nombre final y adoptado es “orden agregado”. Based on this entity, we built several derived metrics: 
 
 
 Funnel agregado: nos permite evaluar las conversiones sin distorsiones relacionadas con los reordenadores y hace que los resultados de las pruebas sean más interpretables. Funnels of the first, second, and subsequent attempts — help us understand which actions stimulate users to make a repeat attempt and increase the probability of its success. Now, let’s return to the test we discussed earlier and compare the obtained values in different approaches. 
 
 
 
 
 
 
 
 
 
 
 
 Metric 
 Classic Funnel 
 Aggregated Funnel 
 Interpretation 
 
 
 
 
 
 Rides 
 ↑ (not statistically significant growth) 
 Same counting 
 No change 
 
 
 
 
 
 Orders 
 ↑↑ (statistically significant growth) 
 ~0 (not statistically significant) 
 The number of intentions hardly changed — the growth in orders is explained by reorders 
 
 
 
 
 
 Done rate 
 ↓↓ (statistically significant drop) 
 ↑ (not statistically significant growth) 
 The shares of successful orders and successful intentions move in different directions 
 
 
 
 
 
 Order → bid 
 ↓↓ (statistically significant drop) 
 ↓ (not statistically significant drop) 
 Within an intention, users began to receive bids less often; the effect is close to statistical significance Rías ↑ (incremento no estadísticamente significativo) El mismo contador No cambia órdenes ↑ ↑ ↑ (crecimiento estadísticamente significativo) ~0 (not statistically significant) El número de intenciones apenas cambió - el crecimiento de los pedidos se explica por los reordenadores Tasa Dónde ↓↓ (descenso estadísticamente significativo) ↑ (incremento no estadísticamente significativo) Las acciones de las órdenes exitosas y las intenciones exitosas se mueven en direcciones diferentes Order → bid ↓↓ (statistically significant drop) ↓ (no es una caída estadísticamente significativa) Dentro de una intención, los usuarios comenzaron a recibir ofertas menos a menudo; el efecto es cercano a la significancia estadística Para explicar por qué la tasa agregada de rendimiento está creciendo mientras la conversión “orden → oferta” está disminuyendo, examinamos cómo exactamente los usuarios realizan reordenamientos. Se reveló que el comportamiento se dividió en dos patrones: 
 
 
 Algunos usuarios comenzaron a dejar de buscar más rápido sin esperar a una oferta. Otro grupo, por el contrario, comenzó a aumentar el precio con más frecuencia cuando se reordenaba, y tales pedidos se cancelaban menos a menudo después de la aceptación. Observaciones adicionales: 
 
 
 CR al aumento de precios después de reordenar: ↑ ↑ ↑ (crecimiento estadísticamente significativo) Oferta agregada → hecho: ↑ ↑ ↑ (crecimiento estadísticamente significativo) Conclusión Los resultados observados pueden parecer contradictorios, y en tales casos, es importante utilizar métricas que reflejen los patrones de comportamiento de los clientes o, como en nuestro caso, crear nuevas entidades que describan la realidad con más precisión.

This story contains new, firsthand information uncovered by the writer.

inDrive.Tech

Este audio es producido en el idioma original de la historia!

Medir los viajes de los usuarios no lineales: repensar las métricas de los túneles en las pruebas A/B

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Liberando el poder de la IA. Una revisión sistemática de técnicas de vanguardia: resumen e introducción

Valhalla de Floki se une como patrocinador asociado de la gira de la India por Sri Lanka

Las capas invisibles: por qué las entrevistas con los usuarios son un activo irremplazable

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

Liberando el poder de la IA. Una revisión sistemática de técnicas de vanguardia: resumen e introducción

Valhalla de Floki se une como patrocinador asociado de la gira de la India por Sri Lanka

Las capas invisibles: por qué las entrevistas con los usuarios son un activo irremplazable

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps