背景 このシリーズの最初の 3 つの記事に対する驚くべき反響を見て、私は第 4 部を発表せざるを得ませんでした。 前回の 3 つの記事では、会話 AI エージェントのパフォーマンス メトリックの定義、インストルメンテーション、スケーラビリティについて説明しました。前回の記事をまだご覧になっていない方は、次のリンクをご覧ください。 パート 1 - メトリクス: レッド ピルを飲み込む パート 2 - メトリクスの再読み込み: Oracle パート3 - メトリクス革命: スケーリング この記事では、 にして（最新の LLM の進歩を利用して）、継続的にパフォーマンスを向上させる方法について説明します。目的は、この分野で働くすべての人にとって、議論をシンプルかつかなり高度なものにすることです。 これらのメトリックをより実用的なもの 問題 ここで説明した 2 つの高レベルなメトリクス クラスです。従来、前者はシステム レベルのメトリクスと考えられており、これらのメトリクスはログから直接測定されます。その結果、 本質的に実行可能であり、したがって運用可能です。 ユーザーが認識したメトリクス と は、 ユーザーが報告したメトリクス ユーザーが認識したメトリクスは 運用メトリックは、運用ログから定期的に追跡され、チーム全体の OKR に関する目標設定に使用できます。 ただし、 簡単に運用できますが、これらは「認識された」ユーザー指標であり、「実際の」ユーザー指標ではないことに注意する必要があります。その結果、これらの指標を徹底的に調査しても、会話型 AI エージェントに対するユーザー認識が大幅に改善されるとは限りません。これらのプロジェクトが複数の四半期にまたがる場合、リソース管理が非効率的になる可能性があります。 ユーザー認識指標は すべてのパフォーマンス改善の予想される影響を これは 、ユーザーが報告した指標と直接比較して測定する方法が必要です。 「北極星」の影響として扱われるべきです。では、問題は何でしょうか? 直接のユーザーからのフィードバックは構造化されていないことが予想され、実行可能ではなく、運用化も異なります。 詳細なユーザー報告フィードバックは、本質的に構造化されていない必要があります。ユーザー報告フィードバックを構造化すると、社内チームがすでに認識している領域に焦点が当てられる可能性があります。これらに加えて、 、季節性や企業の認識などの要因によっても影響を受けます。 ユーザー報告メトリックは への影響はより正確に推定できますが、 制御できない要因が多数あります。 ユーザーが認識した指標 ユーザーが報告した指標には 解決 構造化されていない 、実用的な構造化形式に変換する必要があります。構造化されていないフィードバックを既存のシステムレベルのメトリックに変換することを目的として、特定の ML モデルをトレーニングすることもできます。 ユーザー報告フィードバックは これらのメトリックの固有の偏りを防ぐために、 主な目標を に使用する方が実用的である可能性があることに注意してください。より では、これらのメトリックを使用して、システム レベルのメトリックとともにユーザーの認識への影響を測定する必要があります。 ユーザー報告メトリックの 「最近の」ユーザー メトリック回帰 水平的な長期プロジェクト  LLMはゲームチェンジャー ここで疑問が残ります。私たちが求めている特定のメトリクスに合わせて ML モデルをトレーニングするには、どの程度の労力が必要でしょうか。最近、LLM の人気が高まり、利用できるようになったため、すぐに使用できる API を使用して、構造化されていないフィードバックを、システムレベルのメトリクスと同様に追跡および測定できるものに変換できる可能性があります。  LLM が処理できるトークンの数が増えると、多くの製品固有の情報が「プロンプト」自体の一部として提供される可能性があることに注意することが重要です。その結果、既製の LLM API といくつかの プロンプト エンジニアリングを組み合わせることで、実用的な ユーザー レポート メトリックを提供できるようになります。 これにより、システムレベルのメトリック改善プロジェクトがユーザーの認識に与える影響を非常に迅速に評価できるようになり、パフォーマンス改善プロジェクトの優先順位付けに役立ちます。 構造化された 予期しない変更が発生する余地はあります。ただし、特定のプロジェクト (システム レベルのメトリックスの改善を目的としたプロジェクト) が そのプロジェクトは実際にユーザーの認識を改善している可能性が高いと、ある程度の確信を持って推測できます。 ユーザー報告メトリックスのこのアプローチでも、 報告メトリックスにプラスの影響を与える場合、 ただし、実際に「良い」変更がすべて、 ユーザー報告指標を常に効果的に改善するという保証はありません。 そのため、パフォーマンス改善プロジェクトの優先順位付けと評価には、両方を組み合わせて使用することが重要です。

Read My Stories

このオーディオは、ストーリーの元の言語で制作されています。

長すぎる; 読むには

Make resilience your competitive advantage

メトリクスの復活: アクション! アクション! アクション!

About Author

コメント

ラベル

この記事は

Related Stories

フロキのヴァルハラがインドのスリランカツアーのアソシエイトスポンサーに加わる

フォーラムからフィードへ: ソーシャルメディアアルゴリズムがデジタルインタラクションを形作る仕組み

Claude Sonnet 3.5 システムプロンプトの漏洩: 法医学的分析

タップして稼ぐ：テレグラムはソラナより先に次の100億人の暗号通貨ユーザーを獲得する可能性がある

フロキのヴァルハラがインドのスリランカツアーのアソシエイトスポンサーに加わる

フォーラムからフィードへ: ソーシャルメディアアルゴリズムがデジタルインタラクションを形作る仕組み

Claude Sonnet 3.5 システムプロンプトの漏洩: 法医学的分析

タップして稼ぐ：テレグラムはソラナより先に次の100億人の暗号通貨ユーザーを獲得する可能性がある

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps