エージェントフレームワークが私たちに仕掛けたトリック

悪魔が仕掛けた最大のトリックは、自分が存在しないことを世界に信じ込ませることだった…

「悪魔が仕掛けた最大のトリックは、自分が存在しないと世界に信じ込ませることだった」という有名な言葉を聞いたことがあるでしょう。

ここで神学的な言及が関連しているのは、近年のあらゆる技術的進歩よりも、生成 AI を取り巻く熱狂が科学や工学というよりも宗教的であるためです。

このブログの目的は、カウンターウェイトを求めて誇大宣伝の波（私はGary Marcusを推薦します）と戦うことではありません。これは、何も知らない消費者に売られているインチキ薬に対する批判的な分析です。私の主張はシンプルです。エージェント AI フレームワークは信頼性が低く、根本的に非現実的な抽象化です。LLM を使用して複雑で連鎖した反復可能なフローを構築するには、知識、スキル、そして努力が必要です。

近道や特効薬を探すのは魅力的ですが、線路が崩れるまで誇大宣伝に乗るか、長期戦のための基盤を築くかのどちらかを選ぶことができます。

エージェントAIとは何ですか?

小麦と籾殻の区別

「エージェント AI は、人工知能の画期的な進歩です。さまざまな AI 技術、モデル、アプローチを組み合わせることで、データを分析し、目標を設定し、それを達成するための行動をとることができる新しいタイプの自律エージェントを実現します。これらはすべて、人間の監督を最小限に抑えて実行できます。エージェント AI により、これらの自律エージェントは多くの分野で人間に近い認知能力を獲得し、動的な環境で繁栄し、あらゆるやり取りを通じて継続的に学習して改善する問題解決マシンになります。」

すごい。素晴らしい。衝撃的だ。

まったくナンセンスだ... やってみよう、

エージェント AI とは、複雑なワークフローで生成 AI を使用することです。LLM によって生成される出力は、割り当てられたタスクに関連する場合も、そうでない場合もあります。エージェント AI は、システム命令とプログラミングからの出力の洗練性、インテリジェンス、信頼性を継承しますが、そのほとんどは高度に抽象化されており、初心者によって記述されているため、ほとんど機能しないシステムになります。

エージェント AI は、経験の浅い消費者向けのデモを作成するのには最適ですが、結果が実際に重要なユースケースに実装するには一般的に不向きです。専門家でなければまったく機能しませんが、専門家ではないことはほぼ間違いありません。

はっきりさせておきますが、私は Gen AI に少しも懐疑的ではありません。巧みに使用し、まだ存在しないツールを使用すれば、タスクの実行方法を変えるワークフローを実装できると考えています。AI の悲観論者が言うほどではないかもしれませんが、多くの作業方法にパラダイム シフトをもたらすことは間違いありません。

Gen AI の最初のキラー ユースケースがプログラミングであることは偶然ではありません。なぜなら、プログラミングは常に適切なツールとインフラストラクチャを取得する最初の領域となるからです。その理由は簡単です。プログラミング ツールのツールとインフラストラクチャは、プログラミングによって構築されます。プログラミングは低レベルの問題であり、最初のユースケースとして最適です。また、これは、今後数日、数週間、数か月、数年、そしておそらく数世代にわたって、関連性が高く、最も切望されるスキルでもあります (「唯一の」スキルではないにしても)。

コーディング ツールは Gen AI の可能性を証明しました。私は 2 つの別々の LLM ツールを所有しており、(料金を支払って) コーディングに毎日使用しています。なぜなら、これらのツールは、圧倒的な需要とグリーン インフラストラクチャによってブロックされることが多いからです。私はこれらのツールを、異なる IDE ウィンドウで同時に使用しています。これは、これらのツールが新しいため、遅く、不安定な場合があるためです。

こうやっても、彼らは私のワークフローに革命を起こしました。調子が悪い日、コンピューターを起動するとクロードが忙しいので、代わりに o1-mini と話します。そして、これが Gen AI があなたの仕事のやり方を変える変化の始まりです...

これらのツールはゼロから構築されており、まったく新しいもので、まだ信頼できません。これは始まりなので、ワクワクします。私たちは新しい波の真っ只中にいるのです。これがこのブログの主題です。エージェント AI の嘘と行き過ぎです。

エージェントAIの嘘

複雑で信頼性の低い API の単純な抽象化。

何年も前、私は開発会社を経営していましたが、新卒の開発者がチームに加わりました。私は彼らに比較的簡単なタスク（PHP で Web フォームを構築する）を与え、定期的にチェックインしていました。

"調子はどうだい？

「本当に順調です！

何日も何週間も経ち、キーボードがタップタップと叩かれました。時間がかかりすぎたので、プログラマーのところに行って、作業中のコードを見せてもらいました。それは forEach ループのネストされたレイヤーで、数千行に及ぶコードでした。

私はショックで言葉を失いました (クライアントはこれを待っていたのです…)。それは肉体的な打撃でした。すべてがうまくいきました。指導しなかったのは私のせいでしょうか? プログラマーはもうダメだったのでしょうか? 一体、誰がこの費用を払うべきなのか、クライアントに何て言えばいいのでしょうか? (私たちは結果ではなく時間を請求しました…)

私が余談した理由は、これは私がこれまでに出会った Agentic Framework のドキュメントを読んだときに感じるのとまったく同じ感覚だからです。私だけではありません。

特定のフレームワークを取り上げたいわけではありません (これを適用できない Python Agentic Framework はまだ見つかっていません) が、ドキュメントで役割や労働者、上司、背景について説明し始めると、全体のコンセプトがファンタジー小説のように読み始めます。

その理由は、この作品全体がファンタジー小説だからです。これは、画期的な技術に基づいて構築された、初心者でもすぐに使える、革新的で洗練されたツールです。そして、その言葉が示す通り、複雑で矛盾だらけです。

複雑な LLM ワークフローが機能しないと言っているのではありません。必要な専門知識とニュアンスのコントロール レベルが非常に高く、ツールがより成熟し、基盤がより強固になるまでは「シンプルでアクセスしやすい」フレームワークを作成することは不可能だ、と言っているのです。

現在、大多数に販売されているエージェント ワークフローの定義に忠実で、機能する信頼性の高い複雑な反復ワークフロー (Gen AI に基づくかどうかは関係ありません) を作成および維持する専門知識を持つ人は、世界にほとんどいません (ただし、そのような人は私たちの間で暮らしています)。

しかし、ここで気になることがあります。これらの先駆者たちは、おそらく私たちが気付いていない最先端のユースケースに取り組んでいます。彼らは Twitter で公開して構築したり、ブログやハウツー ガイドを書いたりしていません。LinkedIn の投稿を簡単に自動化できるフレームワークの作成に注力しているわけではありません。彼らはひっそりと密室で作業を進めています。

わかりますよ、本当にわかります。

人々は、信頼性が高く複雑なワークフローを構築して実際のビジネス成果を上げることができる、アクセスしやすく使いやすいフレームワークを求めています。私は多くのことを望んでいます。不老不死の薬。身長を数センチ伸ばすこと。スポーツ クラブでテニス チャンピオンになること。平均的なユーザー向けにこれらのエージェント フレームワークが機能するよりも、私が永遠の若さを持つ背の高い地元のテニス チャンピオンになる可能性の方が高く、私や私がテニスをするのを見たことがある人なら誰でも、これが極めてありそうにないと言うことを信じてください。

エージェント フレームワークは、HTML の単一の統一標準にまだ同意していない段階で WYSIWYG ウェブサイト ビルダーを構築しようとする試みです。まだ時期尚早です。

これは本末転倒ではありません。電気が発見される前にロケットを作ろうとしているようなものです。すでに成功している日和見主義的な土地の奪い合いです。

抽象化のレイヤー

壊れた道具。

機能を抽象化できるツールやフレームワークを提供する際の問題は、一連の仮定が伴うことです。ハンマーを購入するとき、私はそれが機能すると想定します。高圧洗浄機を購入するときも、それが機能すると想定します。

問題は、フレームワークを使用するとき、それが機能すると想定してしまうことです。しかし、基盤となるテクノロジーの成熟度を考えると、これは文字通り不可能です。エージェント フレームワークは、採用を増やすどころか、高度に制御されたデモと、一般的なユーザー (数百万人います…) の手によって実際に機能することのない限定されたユース ケースの上に幻想を売りつけています。

彼らが引き起こしている被害は甚大です。最近の開発者が JavaScript を学ぶ前に React を学んだり、プログラミングの原則を学ぶ前にフレームワークを採用したりするのと同じです。熱心なテクノロジストの世代は、'x' フレームワークを学ぶために大騒ぎしています。問題は、それが機能しないということです (合理的な基準では)。実際、デモやプロトタイプを作成すること自体がかなりの成果です。

しかし、短期的にはそれが前提となるでしょうが、それは Gen AI や LLM が「機能しない」という意味ではありません。単に、その上にしっかりとした抽象化を安全に構築できるほど、基盤となるテクノロジーの成熟度がまだ達していないことを意味します。まず解決すべき問題が多すぎます。LLM プロバイダーが深いレベルで解決する必要があるいくつかの基本的な問題には、次のものが含まれますが、これらに限定されません。

レイテンシー

可用性

安全性

信頼性の高い出力

規模

つまり、私が言いたいのは、基盤となる API が使用率で圧倒されることが多く、遅く、ハッキング (特にプロンプト ハッキング) に対して脆弱で、毎週のように破壊的な変更が導入されるということです。真のイノベーターは、これらの問題に対して密室で懸命に取り組んでいます。しかし、さらなる進歩が見られるまでは、フレームワークどころか、信頼性の高い実稼働システムを構築することさえ難しいでしょう。

基礎となる API (ちなみに、これは私たち全員が取り組んでいる実際の貴重なブレークスルーです) を理解していなければ、その上にシステムを構築することなどできるでしょうか。一部の API は、ただ動作するだけのブラック ボックスであるため、主にその制限を理解する必要がありません。LLM がこのレベルの成熟度に達するには、何年も、あるいは 1 世代かかるでしょう。それまでは、「専門家のみによる実稼働での使用」という警告サインが付くはずです。

流動的な砂の上に信頼できる抽象化を構築することは不可能です。実際、これはコンピュータ プログラミングの基本原則に反します。コンピュータ サイエンスにおける抽象化とは、より重要な要素から注意をそらす要素を削除するプロセスです。低レベルのシステムが信頼できない場合、高レベルの詳細に焦点を当てることはできません。洗練されたパラダイム内でのニュアンスと使用方法を理解する必要があります。ローコード/ノーコードの魔法のフレームワーク (空想的な抽象化を使用) ではありません。

これにより、私たちは幻滅の谷に追いやられています。これは、真の価値のあるものを構築する余地を提供するため、それ自体は問題ではありませんが、それでも観察するのは残念です。

最大のトリック

ジュラ紀に車輪が発明される。

エージェント AI フレームワークがこれまでに仕掛けた最大のトリックは、それらが必要であると説得することです。それらは LLM の世界の悪魔です。

決してうまくいかないものを示すクルーやエージェント、バックストーリー、美しいグラフィカル インターフェースは必要ありません。

LLM は、ファンタジー小説のストーリーを読まなくても理解できる強力なツールであることを理解する必要があります。Hello World とデモ アプリは、手動でコードで構築する必要があります。方法、理由、内容を理解し、Gen AI モデルの入力と出力を制御できるようになれば、世界に出て何か役に立つものを構築するための基盤が整います。そして、それにはおそらくしばらく時間がかかるでしょう。

魔法使いやマネージャーやエージェントやドラゴンではなく、AI の画期的な進歩を正確かつ決定論的に活用することです。

初出: https://tyingshoelaces.com/blog/agentic-framework-lie