Fondo  Al ver la sorprendente respuesta a los primeros 3 artículos de esta serie, tuve que publicar una cuarta parte.  En los tres artículos anteriores, analizamos las definiciones de métricas de rendimiento, la instrumentación y la escalabilidad de los agentes de IA de conversación. En caso de que no hayas consultado los artículos anteriores, aquí te dejamos los enlaces:  Parte 1 -  Métricas: Trague la píldora roja  Parte 2:  Métricas recargadas: El Oráculo  Parte 3:  La revolución de las métricas: escalamiento  En este artículo, discutiremos cómo hacer que   (utilizando los últimos avances de LLM) para mejorar el rendimiento de forma continua. El objetivo será mantener el debate simplificado y de un nivel bastante alto para todos los que trabajan en este ámbito. estas métricas sean más procesables  El problema      son dos clases de métricas de alto nivel que hemos analizado. Tradicionalmente, la primera se considera una métrica a nivel de sistema: estas métricas se miden directamente a partir de registros. Como resultado,   son procesables por naturaleza y, por lo tanto, operativas. Las métricas percibidas por el usuario y  las métricas informadas por el usuario las métricas percibidas por el usuario  Las métricas operativas se rastrean periódicamente a partir de los registros de producción y se pueden utilizar para establecer objetivos en relación con los OKR de todo el equipo.  Sin embargo, aunque   son fáciles de poner en práctica, cabe señalar que se trata de métricas de usuario “percibidas” y no “reales”. Como resultado, es posible que mejorar estas métricas no conduzca a una mejora significativa en la percepción del usuario sobre su agente de IA conversacional. Esto podría conducir a una gestión ineficiente de los recursos si estos proyectos abarcan varios trimestres. las métricas percibidas por el usuario  Es necesario que haya una manera de medir el impacto esperado de todas las mejoras de rendimiento directamente con   Esto debería tratarse como el  las métricas informadas por el usuario. impacto de la “estrella polar”. ¿Entonces, cuál es el problema?  Se espera que los comentarios directos de los usuarios no estén estructurados, no sean procesables y sean diferentes de operacionalizar.  Los comentarios detallados proporcionados por los usuarios no deben estar estructurados por naturaleza. Si los comentarios informados por los usuarios se estructuran, pueden terminar centrándose en áreas que el equipo interno ya conoce. Además de estos,   también se ven afectadas por factores como la estacionalidad y la percepción de la empresa. las métricas informadas por los usuarios  El impacto en   se puede estimar con mayor precisión, pero   tienen muchos factores incontrolables. las métricas percibidas por el usuario las métricas informadas por el usuario  Solución  Los   deben convertirse a un formato estructurado que pueda convertirse en procesable. Puede haber modelos de ML específicos entrenados con el fin de convertir comentarios no estructurados en métricas existentes a nivel de sistema. comentarios no estructurados informados por los usuarios  Cabe señalar que podría ser más práctico utilizar el objetivo principal   para   para protegerse contra el sesgo inherente en estas métricas. Para   , estas métricas deben usarse para medir el impacto en la percepción del usuario junto con métricas a nivel del sistema. de las métricas informadas por el usuario regresiones de métricas de usuarios "recientes" proyectos más horizontales a largo plazo  Los LLM son los que cambian las reglas del juego  Ahora la pregunta sigue siendo: ¿cuál es el esfuerzo necesario para entrenar modelos de ML para las métricas específicas que buscamos? Con el reciente aumento en popularidad y disponibilidad de los LLM, podría ser posible utilizar API listas para usar para convertir comentarios no estructurados en algo que pueda rastrearse y medirse de manera similar a las métricas a nivel de sistema.  Es importante tener en cuenta que con el aumento en la cantidad de tokens que los LLM pueden procesar, se puede proporcionar mucha información específica del producto como parte del "mensaje" en sí. Como resultado, las API LLM listas para usar junto con alguna  ingeniería rápida pueden proporcionar  métricas informadas por el usuario procesables.  Esto proporciona una manera realmente rápida de evaluar el impacto de los proyectos de mejora de métricas a nivel del sistema en la percepción del usuario, lo que puede resultar útil para priorizar proyectos de mejora del rendimiento.  Incluso con este enfoque de   todavía hay margen para cambios inesperados. Sin embargo, se puede asumir con cierto nivel de confianza que si un proyecto específico (destinado a mejorar una métrica a nivel de sistema) termina impactando positivamente   entonces lo más probable es que el proyecto en realidad esté mejorando la percepción del usuario. métricas estructuradas informadas por el usuario, las métricas reportadas,  Sin embargo, no hay garantía de que todos los cambios realmente "buenos" siempre mejoren de manera efectiva    las métricas informadas por los usuarios. Como resultado, es importante utilizar una combinación de ambos para priorizar y evaluar proyectos de mejora del desempeño.

Read My Stories

Este audio es producido en el idioma original de la historia!

Las resurrecciones de las métricas: ¡acción! ¡Acción! ¡Acción!

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Las capas invisibles: por qué las entrevistas con los usuarios son un activo irremplazable

La guía completa para una migración exitosa a la nube: estrategias y mejores prácticas

Valhalla de Floki se une como patrocinador asociado de la gira de la India por Sri Lanka

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Las capas invisibles: por qué las entrevistas con los usuarios son un activo irremplazable

La guía completa para una migración exitosa a la nube: estrategias y mejores prácticas

Valhalla de Floki se une como patrocinador asociado de la gira de la India por Sri Lanka

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps