生成型 AI は、まさにテクノロジーの旋風です。GPT-4 のようなモデルは、人間の会話を模倣したテキストを生成したり、エッセイを書いたり、コードを書いたり、かなり複雑なタスクに独創的な解決策を考え出したりするという、非現実的な能力で世界を席巻しました。私たちは、デジタル アシスタントが私たちのニーズを難なく理解し、それに応えてくれる AI 支援の未来に、着実に近づいています。誰もが信じるようになるには十分ですよね? まあ、ほぼ…だけど、まだちょっと違う。  GPT の派手な出力と文法の巧妙さの裏には、多くの技術者を悩ませる根本的な限界があります この一見単純な (しかしイライラする) 問題は、現在の AI システムの中心的なギャップを明らかにしています。数十億のデータポイントから印象的な文章を合成できるにもかかわらず、実際に新しいもの (これまでに見たこともトレーニングしたこともない) を課されると、GPT スタイルのモデルは固有の壁にぶつかります。 。生成 AI は、特にワンショット学習のシナリオでは、まったく新しい情報を処理するのに苦労します。 これは、私が と呼んでいるものの図を描き出しています。つまり、GPT のような AI システムがどれほど強力で、どれほど「スマート」に見えても、1 つまたは少数の目に見えない例から迅速に一般化する必要がある場合、システムは崩壊します。 「ワンショット一般化パラドックス」 このパラドックスを少し紐解き、その背後にある を探ってみましょう。でも心配しないでください。これは純粋に哲学的な話に留まるものではありません。技術的な泥沼に入り込み、現世代の AI が未知のものに直面したときに人間が持つ魔法のような柔軟性に匹敵できないのはなぜなのかを探っていきます。 理由 生成モデルの魔法とメカニズム…壊れるまで GPT-4 のようなモデルの核となる素晴らしさは、言語モデルから視覚タスクまであらゆるものを動かすことで有名な、洗練された にあります。この記事の早い段階で専門用語で読者を煩わせたくはありませんが (まだ始まったばかりです)、亀裂がどこで、なぜ現れ始めるのかを理解するには、いくつかの技術レイヤーを解明する必要があります。 Transformer アーキテクチャ まず、GPT は ファミリーに属し、任意のテキスト内の次の単語またはトークンを予測するようにトレーニングされています。どのようにして、GPT はこれほど優れた能力を発揮するのでしょうか。その大きな理由は、  に組み込まれた です。このメカニズムにより、これらのモデルは大量のテキストをふるいにかけ、基本的に文の重要な部分に「焦点を当てる」と同時に、シーケンス全体の単語を調べることができます。このグローバル注意メカニズムは、テキストの大部分で文脈に応じた意味を捉えるための基盤として急速に定着しました。 シーケンスベースのモデル Transformer 自己注意メカニズム しかし、ここにパラドックスの核心があります。生成 AI はこのトレーニング データに 依存しています。生成 AI は、以前に見たデータ内のトークン間のパターンと統計的関係を認識するのに優れていますが、本質的にそのデータに依存しています。モデルがリリースされたとき、GPT-4 は 推論したり世界を理解したりすることを学習していませんでした。むしろ、オンライン (書籍、Wikipedia、Reddit スレッド、学術論文など) で見つかった数十億のテキスト例から取得した関連性を活用しています。 大きく 実際には したがって、GPT は、首尾一貫した、時には洞察に満ちたテキストを生成する、すべてを見通す神託のように感じられるかもしれませんが、 行っているのは、確率的パターン マッチングの印象的なゲームをプレイすることです。つまり、何か新しいもの (量子力学に関する最新の科学論文やニッチな業界特有の専門用語など) が登場すると、それを意味のある形で理解するのに苦労します。 実際に それは...理解できません。 待ってください。しかし、なぜ人間のように一般化できないのでしょうか? さて、ここで人間と機械は大きく異なります。初めて自分の専門分野を全く超えた概念について読んでいるところを想像してください。あなたは機械工学の世界を進む技術系スタートアップの創業者かもしれません。もちろん、最初に読んだだけではすべての点が結びつかないかもしれませんが、いくつかの例や図をざっと見ただけで、直感的にひらめくことがあるでしょう。 そして、なんと、理解できたのです（少なくとも大部分は）。 ああ、これは制御システムだ！これはあれにつながる！ このニュアンスは と呼ばれ、最小限の例に基づいてパターンをすばやく拾い上げたり、まったく新しい情報を理解したりする能力です。これは人間が非常に得意とするものです。私たちは、小さな知識を取り上げ、それをすでに知っているより広いテーマ、構造、または類推に直感的にマッピングします。言い換えれば、ひらめきを得るのに、100 万の例や過去の膨大なデータは必要ありません。 ワンショット一般化 対照的に、生成モデルには世界についての 。統計空間をランダムウォークし、どの単語や構造が共起する可能性が最も高いかに基づいて予測を行います。そのため、まったく新しいもの（まったく新しい科学用語、オンラインで公開されたことのない真新しい理論など）を扱うように求められると、真っ先に壁にぶつかってしまいます。簡単に言えば、 、未知の領域を飛び越えるための真の概念的枠組みが欠けているのです。 本質的な理解がまったくありません これまでに遭遇したことがなく さて、それはかなり抽象的です。これをさらに詳しく説明しましょう。 生成 AI モデルは、既存のデータ ポイント間を ことで学習します。つまり、既に見たポイントと使い慣れたパターンの間の ことに関してはエキスパートになりますが、 挿、つまりトレーニング データに前例がない場合に新しい概念に基づいて予測を立てることは苦手です。たとえば、GPT-4 は、何百万もの例があるため、日常言語の「通常の」言語構造をうまく処理できます。しかし、物理学における の最近の進歩の詳細など、新しく非常に専門的なアイデアを求めると、まったく意味不明な言葉になってしまいます。なぜでしょうか。GPT には、このようなニッチで新しい用語に対する統計的な参照点がありません。本質的には、流暢さではもっともらしいものの、 ために 犠牲にした、知識に基づいた推測があります。 補間する ギャップを埋める 外 ソリトン ファイバー レーザー 構文の正確さの 真の一貫性を 問題の技術的な核心 さて、もう少し技術的なことに詳しい方は、この制限がなぜそれほど頑固なのか、そしてワンショット学習の試行中に内部で何が起こっているのかについて、さらに詳しく調べてみましょう。 ワンショット一般化に関する中心的な問題の 1 つは、 中にモデルが内部的に表現する情報に関するものです。GPT スタイルのモデルは、制限内で動作しているときはかなり適切に動作します。これは、 と呼ばれる現象です。十分に広大なトレーニング例を見たトピックの境界内では、GPT-4 でさえ不気味なほど洞察に満ちた出力を生み出すことができます。これは、モデルの構造により、単語と概念の関連性を捉える密なベクトル表現 ( の形式) できるためです。 自己教師ありトレーニング 分布内学習 コンテキスト化された埋め込み を介して情報をエンコード しかし、ここで事態は混乱します。モデルが分布外一般化を必要とする状況、つまり、これまでトレーニングされたことのない概念に遭遇する状況に対処しなければならない場合、システムは人間のような推論をしません。このように考えてみましょう。これらのモデルは本質的に であり、統計的な「直感」に依存しています。データを超えて作成または推論する組み込みの能力はありません。 パターン マシン たとえば、GPT が文法規則を学習する方法を考えてみましょう。これは、英語の文章で単語が使用される何千もの方法を暗記するために誰かが座っているようなものです。十分な観察の後、システムは「ああ、主語の後に動詞が来て、次に目的語が来るかもしれない、そして必要に応じて冠詞や前置詞を投げ込む」ことを認識する内部マップを構築します。しかし、まったく新しい言語やまったく新しい文構造が提示されると、この能力は、すでに見た (または暗黙的な) 関係のみを認識することに制限されるため、機能しなくなります。 潜在的な 残念ながら、これには限界があります。量子 のようなあまり知られていない物理学のトピックにおける画期的な発見など、未発表の主題について首尾一貫したテキストを生成する必要があるタスクを考えてみましょう。このモデルには、古い知識を再解釈して新しい可能性を推測するために必要な 欠けています。人間の脳には、柔軟性を与える高レベルの表現（概念、理論、類推！）が常にあります。しかし、GPTにはそれがありません！創造的な飛躍ではなく、 に基づいて結果を生成します。 重力二重性 構成性が 予測可能性 これは、前世紀のルートのみをあらかじめプログラムした地図を使って運転するのと似ています。工事中や、過去 6 か月間に発生した曲がりくねった道を進むのには役立ちません。 技術的な話 - なぜこれが内部で起こるのか 制限を理解するための第一歩は、 の役割を認識することです。 密な表現と疎な表現 これはどういう意味でしょうか? 従来のトランスフォーマー モデルは、 で動作します。文中の各トークンは高次元ベクトルで表現され、これらのベクトルは、統語構造、意味、位置のダイナミクスなど、単語間のさまざまな関係を捉えます。しかし、これらの表現は高密度であるため、柔軟で適応的な一般化につながるような抽象化をサポートするには 。 高密度ベクトル埋め込み 十分に分離されていません 高密度埋め込みは、モデルのトレーニング中に によって制限されます。このトレードオフは重要です。1 つのこと (一般的な統計能力) を最適化することで、モデルは他の何か (まったく新しい状況で推論する能力) を犠牲にします。すでに経験した世界に 一致するようにメンタル モデルを常に調整していると想像してください。トレードオフは、予測できないシナリオによって完全に混乱することです。 当然のことながら、小さな 1 回限りのケースには苦労します。これは、これらのモデルが「平均的なシナリオ」を繰り返すことに長けており、学習したルールの例外に直面して固まってしまうためです。 バイアスと分散のトレードオフ 正確に 複雑でありながらも厳格な統計モデルは、 ここでの潜在的な重要な解決策は、 、つまり 次元を作成する技術です。スパース ネットワークは、より柔軟で一般化された方法で情報を表現および取得します。これは、人間が結果を予測する際に、細かい詳細にこだわるのではなく、主要な中核的な特徴に焦点を当てるのとよく似ています。 スパース表現 さまざまな特徴を異なる解釈レベルで分離する したがって、ワンショット一般化の問題の 1 つは、現代のネットワーク構造がそのような分離タスクを重視していないことです。つまり、高密度のデータ駆動型パターンに大きく依存しているのです。そのため、最小限のコンテキストでまったく新しい独自の素材を一般化するように求められた場合、ネットワーク構造は失敗します。 これを解決できるものは何でしょうか? 幸いなことに、アイデアが尽きたわけではありません。AI 研究者 (私も含めて!) は、AI のワンショット一般化能力を向上させるいくつかの方法について理論化を始めています。最も興味深いアプローチのいくつかは、 アーキテクチャを中心に展開されています。これらのアーキテクチャは、今日のモデルとは根本的に異なり、システムがパラメータを動的に適応させて新しいデータ タイプに迅速に適合させる学習機能を可能にします。これは、人間のような動作に非常によく似ています。 メタ学習 たとえば、 では、モデルは最小限のトレーニング例で新しいタスクを学習するように調整されます。 ことで同様に機能します。これは、過去の重要な教訓を記憶し、新しい同様の状況に遭遇したときに直感的に再利用するのと似ています。 モデルに依存しないメタ学習 (MAML) メモリ拡張ニューラル ネットワーク (MANN) は、 学習したコンテキストを複数のインスタンスに保持する ディープラーニング モデルに統合することも、有望なアプローチの 1 つです。シンボリック コンポーネントを備えたモデルは、統計的なオーバーレイに頼るだけでなく、ロジックを通じて「推論」できます。 などの分野では、コネクショニスト モデルとルール ベース システムのハイブリッドが提供され、特に抽象的な推論シナリオで AI が高次の思考をエミュレートできるようになります。 シンボリック推論機能を ニューロ シンボリック AI 前進への道？ では、これらすべては AI の将来にとって何を意味するのでしょうか。確かに、GPT-4 は、流暢なカスタマー サービス インタラクションを提供したり、一般的な質問に答えたりするときには魔法のように感じられますが、単なる記憶エンジンではないモデルを開発する必要があります。私たちは、 、 、 が融合して、より適応性の高い学習者を生み出す未来に向かっています。 転移学習 メタ学習 ニューロ シンボリック アーキテクチャ ワンショット一般化パラドックスは、AI にとって終末的な行き止まりではありません。これは、知性と柔軟性に関する根本的な前提を再考させる障害です。データだけではこの問題を解決できないため、モデルには、単に記憶するだけでなく、 、 、 能力が必要になります。 抽象化から学習し 類推を作成し コア機能を記憶する 知識の統合に関しては、将来のモデルは機械よりも人間的である必要があります。そして、最先端の研究者、開発者、イノベーターとして、私たちはまだ、真に柔軟で新しい世界で AI が自ら学習するということの意味を定義する初期段階にあります。 これは単なる技術的な課題ではありません。哲学的な課題です。

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Read My Stories

Software Engineer

このオーディオは、ストーリーの元の言語で制作されています。

ワンショット一般化パラドックス: 生成型 AI が新しい情報に苦戦する理由

About Author

コメント

ラベル

この記事は

Related Stories

Claude Sonnet 3.5 システムプロンプトの漏洩: 法医学的分析

ワークフローを10倍に向上させる方法: 必須アプリ17選

タップして稼ぐ：テレグラムはソラナより先に次の100億人の暗号通貨ユーザーを獲得する可能性がある

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

Claude Sonnet 3.5 システムプロンプトの漏洩: 法医学的分析

ワークフローを10倍に向上させる方法: 必須アプリ17選

タップして稼ぐ：テレグラムはソラナより先に次の100億人の暗号通貨ユーザーを獲得する可能性がある

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps