4 pasos para definir GRANDES métricas para CUALQUIER producto

Un modelo mental y un marco que puede usar para nuevos productos, productos existentes e entrevistas de PM incluso En esta serie... — ¿WTF es una métrica? Parte 1: introducción a los conceptos básicos de las métricas, qué es y por qué es importante. Parte 2: 4 pasos para definir GRANDES métricas para CUALQUIER producto: cómo desarrollar una métrica desde cero. ¿Qué le está haciendo su métrica a sus clientes? Parte 3: — cómo evitar las consecuencias no deseadas de la "única métrica que importa". Las métricas importan. El éxito de su producto depende y está definido por las métricas. Las métricas son una lente para ver la salud y el rendimiento de su producto. Definir sus métricas, por lo tanto, debe ser tan intrínseco al proceso de desarrollo de su producto como definir los requisitos. De hecho, las métricas son una de las preguntas más frecuentes en las entrevistas de gerentes de productos: ¿Cómo definiría la métrica de éxito para la función X? El reto Desarrollar métricas desde cero puede ser increíblemente desalentador, precisamente porque hay mucho en juego. A menos que trabaje en una industria donde las métricas estándar son ampliamente aceptadas (como en juegos, comercio electrónico o venta minorista), las métricas son cualquier cosa menos triviales. Muchos gerentes de productos comienzan de abajo hacia arriba: monitorean y recopilan la cantidad casi infinita de puntos de datos que pueden obtener. Sin embargo, una verdad obvia comienza a surgir rápidamente... …no todos los datos se crean de la misma manera. El hecho de que pueda realizar un seguimiento de todo no significa que deba hacerlo. porque le brindan una visión única de la salud de su producto. Por el contrario, hay una gran cantidad de datos deficientes que pueden nublar su juicio. Algunos datos son más valiosos que otros Un modelo mental para métricas Demos un paso atrás. Piense en su producto como una caja: Puede comenzar a instrumentar este cuadro y recopilar todos los datos disponibles, pero esto puede convertirse en un enfoque sin rumbo caracterizado por un constante ensayo y error. Para crear un producto que sus usuarios valoren, primero debe determinar las entradas y salidas de este cuadro. Sus entradas son cualquier cosa que sus usuarios le presenten: sus problemas y sus recursos. Sus salidas son las circunstancias resultantes del uso de su producto. Estos se convierten en sus . objetivos Pero esto no es una caja negra. La mayoría de los productos requieren que el usuario realice dentro del producto para extraer valor y lograr sus . acciones objetivos Cuantificar y medir estas acciones le brinda información sobre cómo (y cuántos) usuarios obtienen valor de su producto. Cuando realiza un seguimiento de estas acciones a lo largo del tiempo, se convierten en sus . métricas Una vez que comience a recopilar datos para sus métricas, puede ponerlos a trabajar para evaluar su producto. Los resultados de sus pueden informar cualquier cantidad de ajustes en sus , o incluso . evaluaciones objetivos acciones métricas Puede comenzar a ver que este modelo tan simple se puede aplicar de muchas maneras: Definición de métricas de éxito para un nuevo producto Determinar el éxito y el impacto de una nueva característica Renovación de métricas para un producto existente Responder sobre métricas preguntas de la entrevista Para cada paso, aquí hay un poco más de detalles sobre cómo hacer esto. El Marco JUEGO El marco GAME es un . En el resto de la publicación, me referiré a un "producto" hipotético, pero siéntase libre de sustituirlo por "característica" cada vez que se discuta un "producto". proceso de 4 pasos que puede definir métricas para cualquier característica o producto Paso 1: Articula tus objetivos Esto es obvio, pero para tu producto. Sus objetivos son fundamentales para garantizar que mantenga una mentalidad estratégica orientada a un propósito. También sirven como marcadores tangibles para revisar y validar la corrección direccional a lo largo del proceso de desarrollo de métricas. Colocar el establecimiento de objetivos como su primer paso lo obliga a ser de arriba hacia abajo, lo cual es fundamental para desarrollar métricas. Un enfoque de abajo hacia arriba es subóptimo porque se basa en la intuición y, a menudo, puede conducir a la parálisis del análisis. siempre debes comenzar definiendo tus objetivos Para definir tus objetivos, hazte las siguientes preguntas: ¿Cómo se beneficiarán mis usuarios de mi producto? ¿Qué problemas quieren mis usuarios que mi producto les resuelva? ¿Cómo interactuarán mis usuarios con el producto? ¿Cómo se sentirán mis usuarios cuando utilicen mi producto? ¿Cuál es mi visión de cómo este producto se integrará en la vida de mis usuarios? Objetivos del usuario: ¿Cuáles son los beneficios comerciales tácticos o estratégicos? ¿Aumentar los ingresos? ¿Disminuir el costo? ¿Ser más competitivo? ¿Entrar en un nuevo mercado? ¿Cómo se ve mi negocio si mi producto tiene éxito? Objetivos comerciales: Tenga en cuenta que para muchos de los mejores productos, los objetivos comerciales y de usuario se alinean. Estos objetivos son a menudo dos caras de la misma moneda. Una vez que tenga este conjunto, estará listo para entrar en acción. Paso 2: Haga una lista de las acciones que importan El siguiente paso es definir sus acciones de usuario, o más precisamente, todas las acciones que desea que sus usuarios realicen dentro de su producto. Esto debería comenzar como una lista . No se preocupe por los números o si ya son rastreables. cualitativa Aquí hay algunos ejemplos de preguntas que puede hacerse usando el marco de métricas ARM común. Elija el conjunto de preguntas que se alineen con sus objetivos: : ¿Cómo se enterarán mis posibles usuarios acerca de mi producto? ¿Qué acciones deben realizar mis posibles usuarios para convertirse en usuarios de mi producto? ¿Qué acciones deben realizar mis usuarios para obtener valor de mi producto? ¿En qué momento mi producto está resolviendo un problema real para mis usuarios? Adquisición y activación : ¿Qué hace que mis usuarios vuelvan a mi producto? ¿Qué hacen mis usuarios cuando están comprometidos e interesados en mi producto? ¿Cuáles son las acciones que brindan valor repetido a mis usuarios? ¿Con qué frecuencia tiene sentido que mis usuarios realicen esas acciones? ¿Diariamente? ¿Semanalmente? ¿Mensual? ¿De vez en cuando? Retención y compromiso : ¿Con qué forma de "pago" compra mi usuario, dinero o tiempo? ¿Qué acciones toman mis usuarios para que mi producto comience a cobrarse? Si mi producto es gratuito, ¿cuáles son las razones por las que mis usuarios optarán por pagarlo? ¿Me pagan directamente o alguien más me paga cuando mis usuarios realizan una acción (por ejemplo, publicidad/afiliación)? ¿Me pagan por cada acción (transacción) o me pagan periódicamente (suscripción)? Monetización e ingresos También puede usar marcos de métricas como para eliminar las acciones. La clave para hacerlo bien es ser : tener la cobertura más amplia, pero no molestarse en diferenciar las minucias. AARRR completo pero no exhaustivo Por ejemplo, si su acción de usuario de adquisición es "suscribirse al boletín", no se preocupe (todavía) por enumerar cada interfaz de suscripción al boletín. Paso 3: Defina sus métricas Ahora está listo para convertir cada acción de usuario deseada (cualitativa) en un valor medible y rastreable (cuantitativo). Tenga en cuenta que, si aún no lo ha hecho, traiga equipos de datos e ingeniería en esta etapa para examinar sus métricas y brindar orientación técnica sobre la viabilidad de recopilar/almacenar los datos deseados. Aquí hay algunas decisiones importantes sobre cómo contar cada acción: : ¿Se puede rastrear directamente la acción? ¿O tienes que usar un proxy para medir la acción? Directo vs. Proxy Por ejemplo, puede medir los "clics" directamente, pero es posible que necesite representar las "vistas" con valores como el desplazamiento. : ¿Puede agrupar muchas acciones para obtener una descripción general y luego separarlas como porciones para un análisis posterior? Individual frente a agregado Por ejemplo: ingresos totales → ingresos por línea de productos → ingresos por producto individual. : ¿Le importa más medir las magnitudes generales de la acción? ¿O debería realizar un seguimiento como comparación utilizando una relación, ya sea una tasa (por tiempo) o un factor de normalización (porcentaje, por usuario, etc.)? Magnitud vs. Razón Por ejemplo, puede medir "ingresos totales" o "ingresos por día" e "ingresos por pagador", lo que le dará perspectivas muy diferentes sobre los mismos datos. : ¿Puede obtener más conocimiento de la medida intrínsecamente? ¿O tiene que confiar en la heurística para que la métrica sea valiosa? Intrínseco vs. Heurístico Por ejemplo, mientras que el "usuario activo diario" (DAU) puede ser intrínsecamente útil para las aplicaciones B2C, una heurística como "número de usuarios de pago que estuvieron activos en los últimos 30 días" puede ser más apropiada para los productos SaaS B2B que se espera que sean usado mensualmente. Para la mayoría, este es el paso más difícil en el marco. Algunas de sus decisiones se basan en una fuerte intuición, mientras que otras se basan en restricciones técnicas o análisis de datos adicionales. A menudo, no sabrá con certeza si una métrica funciona hasta algunas iteraciones. En esta etapa, también puede comenzar a eliminar las . Modifique las métricas que se pueden "jugar", es decir, inflar o desinflar artificialmente a través de un diseño/ingeniería inteligente o una intención maliciosa del usuario. métricas de vanidad Por ejemplo, inflar las vistas de página mediante paginación o presentaciones de diapositivas. Paso 4: evalúa tus métricas La mejor manera de asegurarse de que sus métricas le proporcionen la información correcta sobre su producto es . Simplemente no sabrá cómo se comporta una métrica hasta que comience a recopilar datos. probar e iterar Puede verificar la utilidad al monitorear la métrica en busca de falsos positivos o falsos negativos. Por ejemplo, si la métrica cae, ¿señala un problema real en el producto? Por el contrario, si surge un problema, ¿la métrica lo está ayudando a señalarlo? Por supuesto, también esperaría que la métrica marque verdaderos positivos y verdaderos negativos. La evaluación más importante que debe hacer es la utilidad funcional de la métrica. Un comportamiento diferente con sus métricas puede informar las iteraciones en cada uno de los pasos de su JUEGO: : ¿Los datos muestran la tendencia que esperaba? ¿La métrica es estable a lo largo del tiempo (es decir, no fluctúa mucho)? ¿La métrica marca problemas con su producto y provoca un análisis adicional? ¿Son estos los puntos de datos correctos para recopilar? Si responde "no" a cualquiera de estas preguntas, querrá reconsiderar cómo desarrolló sus métricas. Evaluación de métricas : ¿Estas acciones reflejan los objetivos del producto, del usuario o del negocio? ¿Tus acciones clave cuentan la historia correcta sobre el comportamiento del usuario? ¿Su conjunto de acciones cubre todos los comportamientos emergentes de los usuarios? ¿Están sus acciones a salvo de ser "jugadas" por sus usuarios? Si responde “no” a cualquiera de estas preguntas, quiere redefinir el conjunto de acciones clave. Evaluación de acciones : ¿La métrica se correlaciona con el éxito del negocio o del usuario? ¿Tus usuarios están más contentos cuando tus métricas son positivas? Si responde "no" a cualquiera de estas preguntas, desea reevaluar cómo se relacionan sus métricas con sus objetivos. Evaluación de objetivos Hágase estas preguntas honestas y recuerde que está buscando sus métricas para medir los signos vitales que le brindan una indicación procesable de salud y rendimiento. Aplicación de GAME: Ejemplo de suministro de noticias de Facebook 😇 Descargo de responsabilidad: no tengo información privilegiada de Facebook. Esta sección es pura especulación. El suministro de noticias de Facebook surge como una de las preguntas de entrevista más comunes, particularmente porque tiene la combinación correcta de ubicuidad, complejidad y opacidad. Apliquemos el framework paso a paso: Los objetivos para el suministro de noticias se pueden desglosar entre usuarios y objetivos comerciales: : quiero poder ver lo último de lo que están haciendo mis amigos sin tener que ir a cada uno de sus perfiles. Objetivo del usuario : los usuarios solo visitan Facebook cuando tienen un motivo para hacerlo: buscan publicar o han recibido un mensaje o una mención. Queremos mejorar el compromiso mediante la creación de una experiencia de descubrimiento de contenido permanente. Objetivo comercial Las acciones realizadas en el suministro de noticias se pueden recopilar en la siguiente lista cualitativa cuando se considera la "participación" como el objetivo principal tanto para el usuario como para la empresa: en Facebook para ver Newsfeed Iniciar sesión en Newsfeed (texto, foto/video, álbum de fotos/video, video en vivo) Publicación de elementos del suministro de noticias, incluido el visionado de un vídeo Visualización por el suministro de noticias Desplazarse en los elementos del suministro de noticias (contenido, nombre/foto del cartel) Al hacer clic o responder a un comentario Comentar me gusta a un artículo de suministro de noticias o un comentario Dar un elemento de suministro de noticias en su propio muro o en el de otra persona (persona, página, grupo) o como un mensaje privado Compartir una publicación (sí, puedes ... ¿quién sabe?) Guardar ver las publicaciones guardadas más tarde de un elemento del suministro de noticias Ocultar, dejar de seguir, informar o desactivar las notificaciones Observe cómo la lista es relativamente : cubre todas las bases pero no trata de dividir los pelos entre todos los diferentes tipos de publicaciones, clics o comentarios. También podemos ver cómo el diseño de productos en torno a la creación o el cambio de acciones puede ser una palanca importante para impactar en el compromiso. completa pero no exhaustiva Métricas es donde esto se pone interesante. Al tratar de desarrollar la métrica procesable más útil, podemos examinarlos a través de nuestros diversos puntos de decisión: : la mayoría de las acciones anteriores se pueden rastrear directamente con clics, para ver un elemento de noticias en tiempo real. Para la visualización, podemos usar un proxy para contar la cantidad de elementos vistos, como "recuento visto si el 75% del elemento de alimentación está en la ventana gráfica del dispositivo". Directo frente a proxy excepto : debido a que nuestro objetivo principal es medir el compromiso, nos preocupamos de que nuestros usuarios interactúen con el suministro de noticias en general más que cualquier acción específica, por lo que definiremos una métrica con medidas agregadas. Dicho esto, algunas acciones (como publicar) son más valiosas para nosotros, por lo que podemos optar por agruparlas de manera diferente. Por ejemplo, podemos agregar acciones suministro de noticias en el primer depósito, acciones en un segundo depósito y acciones de (incluidos enlaces, comentarios, compartir, bloques) en un tercero. Individual frente a agregado de publicación de ver interacción a proporciones: mirar la magnitud de la acción de Newsfeed no tiene mucho sentido, ya que cualquier usuario puede generar una gran cantidad de acciones. Es más útil si consideramos acciones por día o acciones por usuario (o ambas, es decir, acciones por usuario por día). Magnitudes frente : Desafortunadamente, no existe una medida fácil para determinar si alguien está “comprometido” o no. Digamos que un análisis muestra que las personas que O O tienen el doble de probabilidades de volver a Facebook al día siguiente. Podemos usar estos datos para desarrollar una heurística en torno a una métrica de compromiso, por lo que si un usuario cruza cualquiera de los tres umbrales anteriores, se lo considera "comprometido". Intrínseco vs. Heurístico hipotético publican al menos 1 elemento del feed ven al menos 20 elementos del feed interactúan con al menos 3 elementos del feed Juntando todo esto, nuestra métrica para el suministro de noticias de Facebook se verá así...: …donde “usuario comprometido” es una que se desarrolla acciones y comparándolas como una con el “total de usuarios” a diario. heurística agregando directas y de representación proporción Las evaluaciones vendrán en la forma de validar muchas de las suposiciones que hicimos anteriormente al poner a trabajar su métrica recién definida. Por ejemplo: : podemos encontrar que la definición de "usuario comprometido" es demasiado permisiva y que el 90 % de nuestros usuarios se considera regularmente "comprometido", lo que no deja mucho espacio para la comprensión o la mejora. Profundizamos más para encontrar que del 90%, la mayoría se involucró a través del criterio "ver al menos 20 elementos de noticias en tiempo real", por lo que ajustamos ese umbral hasta 50 para crear una barra más alta para un usuario comprometido. Perfeccionamiento de la heurística : podemos encontrar que las personas que toman medidas contra las publicaciones negativas (ocultar, dejar de seguir, informar o desactivar las notificaciones) en realidad se correlacionan inversamente con el compromiso. A partir de esto, podemos decidir sacar estas acciones de nuestro cubo de "interacción" (cubo 3) y desarrollar una métrica separada para monitorear el comportamiento negativo de Newsfeed. Desagregación de acciones : es posible que descubramos que hemos hecho un trabajo tan bueno al involucrar a los usuarios con el suministro de noticias que la participación ya no es el objetivo principal. En su lugar, podemos decidir cambiar el objetivo a la "monetización", donde desarrollamos funciones relacionadas con anuncios en el suministro de noticias. Si bien es posible que la participación ya no sea el objetivo principal, queremos continuar monitoreando la métrica de participación para garantizar que las nuevas funciones de monetización no tengan un impacto adverso en la participación. Metas cambiantes Un caso para definir sus métricas antes de que las necesite En un mundo de "moverse rápido y romper cosas", es tentador preocuparse por las métricas solo después de que se haya lanzado el producto. Sin embargo, tener métricas definidas antes de comenzar el desarrollo puede traducirse en grandes beneficios porque: Las métricas te ayudan a mantener el enfoque Las métricas establecen un para que el equipo se reúna objetivo común Las métricas lo hacen a usted (el PM) ante sus usuarios y negocios responsable Las métricas permiten una durante el período crítico de lanzamiento, incluido el triaje y la priorización toma de decisiones más objetiva Volar a ciegas en cualquier etapa del ciclo de vida de su producto disminuirá sustancialmente su capacidad de aprendizaje. Después de todo, no puedes mejorar lo que no mides. ¡Tener los datos correctos por adelantado puede ser la diferencia entre el éxito y el fracaso para una ! startup Espero que esto haya sido un desglose útil sobre cómo desarrollar métricas. ¡Deje comentarios si tiene alguna idea o idea sobre cómo mejorar esta publicación, o si pudo aprovechar las herramientas aquí para mejorar sus métricas! Para obtener más información sobre productos o sobre negocios en general, sígueme en Medium o explora mis otros escritos: @vincelawco. También me pueden encontrar en mi sitio web , en respondiendo preguntas relacionadas con el producto, o en la comunidad si desea chatear. Gestión de http://vincelaw.co Quora PMHQ Slack