AI 可観測性と大規模言語モデル (LLM) 評価プラットフォームであるArize AI は、今週の Google Cloud Next '24 のステージ上で、プロンプト変数のモニタリングと分析を発表しました。
このデビューは、大きなニーズがある時期に行われました。企業は、ますます AI 主導の世界で競争力を維持するために基盤モデルの導入を競っていますが、幻覚や応答の正確さが、実稼働環境への導入の障壁となっています。
Arize の新しいプロンプト変数モニタリングは、AI エンジニアや機械学習チームがプロンプト変数のバグを自動的に検出し、問題のあるデータセットを正確に特定するのに役立ちます。LLM を利用したアプリケーションで使用されるプロンプトのイントロスペクションと改良を通じて、チームは生成された出力が精度、関連性、正確性などの指標に関する期待値と一致していることを確認できます。本日リリースされる追加のコンテキスト ウィンドウ管理ツールにより、さらに詳しく調べることができます。
「今日、LLM システムのデバッグは非常に困難です」と、Arize AI の CEO 兼共同創設者である Jason Lopatecki 氏は言います。「AI システムがさまざまなプロンプトにどのように応答するかを分析し、モデルの動作に関するより深い洞察を提供することで、Arize の新しいプロンプト変数分析ツールは、継続的な改良に役立つトレーニングとフィードバック ループを備え、AI エンジニアが本番環境でより成功した結果を得られるよう支援します。」
Arize AI は、チームがより効果的な AI を本番環境で提供し、維持するのに役立つ AI 観測および LLM 評価プラットフォームです。Arize の自動監視および観測プラットフォームにより、チームは問題が発生したときにすぐに検出し、問題の発生原因をトラブルシューティングし、従来の ML とRAG LLMなどの生成ユースケースの両方で全体的なパフォーマンスを向上させることができます。Arize はカリフォルニア州バークレーに本社を置いています。