Hintergrund  Angesichts der erstaunlichen Resonanz auf die ersten drei Artikel dieser Reihe musste ich einen vierten Teil herausbringen.  In den vorherigen 3 Artikeln haben wir Leistungsmetrikdefinitionen, Instrumentierung und Skalierbarkeit für Konversations-KI-Agenten besprochen. Falls Sie die vorherigen Artikel noch nicht gelesen haben, hier die Links:  Teil 1 -  Kennzahlen: Schlucken Sie die rote Pille  Teil 2 -  Metrics Reloaded: Das Orakel  Teil 3 -  Die Metrik-Revolution: Skalierung  In diesem Artikel besprechen wir, wie wir   machen können, um die Leistung kontinuierlich zu verbessern. Ziel ist es, die Diskussion für alle, die in diesem Bereich arbeiten, vereinfacht und auf einem relativ hohen Niveau zu halten. diese Kennzahlen (mithilfe der neuesten LLM-Fortschritte) umsetzbarer  Das Problem      sind zwei hochrangige Metrikklassen, die wir besprochen haben. Traditionell wird Ersteres als Metrik auf Systemebene betrachtet – diese Metriken werden direkt aus Protokollen gemessen. Daher sind   von Natur aus umsetzbar und daher betriebsbereit. Vom Benutzer wahrgenommene Metriken und  vom Benutzer gemeldete Metriken vom Benutzer wahrgenommene Metriken  Betriebskennzahlen werden regelmäßig anhand von Produktionsprotokollen verfolgt und können zur Zielsetzung für teamweite OKRs verwendet werden.  Obwohl   leicht operationalisieren lassen, sollte beachtet werden, dass es sich dabei um „wahrgenommene“ und nicht um „tatsächliche“ Benutzermetriken handelt. Daher führt das Anheben dieser Metriken möglicherweise nicht zu einer signifikanten Verbesserung der Benutzerwahrnehmung Ihres Konversations-KI-Agenten. Dies kann zu einer ineffizienten Ressourcenverwaltung führen, wenn sich diese Projekte über mehrere Quartale erstrecken. sich vom Benutzer wahrgenommene Metriken  Es muss eine Möglichkeit geben, die erwarteten Auswirkungen aller Leistungsverbesserungen direkt anhand   Dies sollte als  der vom Benutzer gemeldeten Metriken zu messen. „Nordstern“-Auswirkung behandelt werden. Also, wo liegt das Problem?  Direktes Benutzerfeedback ist voraussichtlich unstrukturiert, nicht umsetzbar und schwer zu operationalisieren.  Detailliertes benutzerberichtetes Feedback sollte von Natur aus unstrukturiert sein. Wenn das benutzerberichtete Feedback strukturiert ist, kann es sich auf Bereiche konzentrieren, die dem internen Team bereits bekannt sind. Darüber hinaus werden   auch von Faktoren wie Saisonalität und Unternehmenswahrnehmung beeinflusst. benutzerberichtete Metriken  Die Auswirkungen auf   können genauer geschätzt werden, aber   enthalten viele unkontrollierbare Faktoren. vom Benutzer wahrgenommene Metriken von Benutzern gemeldete Metriken  Lösung  Das unstrukturierte   sollte in ein strukturiertes Format umgewandelt werden, das umsetzbar ist. Es können spezielle ML-Modelle trainiert werden, um unstrukturiertes Feedback in vorhandene Metriken auf Systemebene umzuwandeln. Feedback des Benutzers  Es sollte beachtet werden, dass es praktischer sein könnte, das Hauptziel   für   zu verwenden, um sich vor der inhärenten Schiefe dieser Metriken zu schützen. Bei   sollten diese Metriken zusammen mit Metriken auf Systemebene verwendet werden, um die Auswirkungen auf die Benutzerwahrnehmung zu messen. von User Reported Metrics „aktuelle“ Regressionen von Benutzermetriken horizontaleren Langzeitprojekten  LLMs verändern das Spiel  Nun bleibt die Frage, wie viel Aufwand erforderlich ist, um ML-Modelle für die spezifischen Metriken zu trainieren, nach denen wir suchen. Angesichts der in letzter Zeit gestiegenen Popularität und Verfügbarkeit von LLMs könnte es möglich sein, sofort einsatzbereite APIs zu verwenden, um unstrukturiertes Feedback in etwas umzuwandeln, das ähnlich wie Metriken auf Systemebene verfolgt und gemessen werden kann.  Es ist wichtig zu beachten, dass mit der zunehmenden Anzahl von Token, die LLMs verarbeiten können, viele produktspezifische Informationen als Teil der „Eingabeaufforderung“ selbst bereitgestellt werden können. Infolgedessen  können handelsübliche LLM-APIs zusammen mit etwas Eingabeaufforderungs-Engineering umsetzbare,  vom Benutzer gemeldete Metriken bereitstellen.  Auf diese Weise lässt sich die Auswirkung von Projekten zur Verbesserung der Messgrößen auf Systemebene auf die Benutzerwahrnehmung sehr schnell beurteilen. Dies kann bei der Priorisierung von Projekten zur Leistungsverbesserung hilfreich sein.  Selbst bei diesem Ansatz strukturierter   besteht immer noch Raum für unerwartete Änderungen. Man kann jedoch mit einiger Sicherheit davon ausgehen, dass ein bestimmtes Projekt (das auf die Verbesserung einer Metrik auf Systemebene abzielt) sich am Ende positiv auf   dann verbessert das Projekt höchstwahrscheinlich tatsächlich die Benutzerwahrnehmung. , vom Benutzer gemeldeter Metriken die gemeldeten Metriken auswirkt,  Es gibt jedoch keine Garantie dafür, dass alle wirklich „guten“ Änderungen auch immer    die vom Benutzer gemeldeten Metriken effektiv verbessern. Daher ist es wichtig, eine Mischung aus beidem zu verwenden, um Projekte zur Leistungsverbesserung zu priorisieren und zu bewerten.

Read My Stories

Dieses Audio ist in der Originalsprache der Geschichte produziert!

Die Wiederauferstehung der Metriken: Aktion! Aktion! Aktion!

About Author

KOMMENTARE

Hängeetiketten

DIESER ARTIKEL WURDE VORGESTELLT IN

Related Stories

HackerNoon Decoded 2024: Celebrating Our Management Community!

Genuine Content Creation in the Age of AI: Why Startups Need Quality Content

HackerNoon Decoded 2024: Celebrating Our Data Science Community!

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

HackerNoon Decoded 2024: Celebrating Our Management Community!

Genuine Content Creation in the Age of AI: Why Startups Need Quality Content

HackerNoon Decoded 2024: Celebrating Our Data Science Community!

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps