AIの進歩は鈍化しているのか？OpenAIが望まないスケーリングの議論

OpenAI は、データとコンピューティングのみで AI を拡張した場合の収益の減少について正直ではないと思います。また、このトピックについてもっとオープンに話さないことで、経済、世界、そしてこの業界全体を危険にさらしていると思います。

最初は、計算能力とデータを増やすだけで、LLM も他のモデルも単純に改善されるという彼らの話を信じていました。モデル間の関係、計算能力とデータは、永遠に直線的に成長できると。GPT-3 と GPT-3.5 の飛躍は計り知れないものでした。GPT-3.5 から GPT-4 への飛躍は、この推測が正しいことの明確な証拠のように思えました。しかし、その後、事態はおかしくなり始めました。

GPT-5 や GPT-4.5 というモデルをリリースする代わりに、GPT-4-turbo をリリースしました。GPT-4-turbo は GPT-4 ほどインテリジェントではありませんが、はるかに高速で安価です。それはすべて理にかなっています。しかし、その後、この傾向は続きました。

GPT-4-turbo の次に OpenAI がリリースしたのは GPT-4o (ストロベリー) でした。GPt-4o は GPT-4-turbo とほぼ同じくらいインテリジェントですが、さらに高速でさらに安価です。しかし、私たちが本当に気に入ったのは、音声で会話して理解する機能とそのスピードです。ただし、この時点では、GPT-4-turbo は GPT-4 よりもインテリジェントではなく、GPT-4o は GPT-4-turbo よりもインテリジェントではありません。そして、どちらも GPT-4 よりもインテリジェントではありません。

次の最新リリースは GPT-o1 です。GPT-o1 は、一部のタスクでは GPT-4 よりも優れたパフォーマンスを発揮します。しかし、これは o1 が実際には単一のモデルではないためです。GPT-o1 は実際には、連携して動作する複数の軽量 LLM モデルのブラック ボックスです。おそらく、o1 は実際のモデルというよりも、ソフトウェアまたはミドルウェアとして説明したほうが適切でしょう。質問を与えると、o1 は答えを出し、次に、その答えが正しいことを確認するために他のモデルを繰り返し使用し、これらの操作をすべて隠します。これらすべてを非常に高速に実行します。

なぜ GPT-4 よりも強力な LLM を作らないのでしょうか? なぜ新しいリリースを実現するためにこのような秘密の手法に頼るのでしょうか? GPT-4 は 2 年前に登場したので、今ではその能力をはるかに超えているはずです。さて、OpenAI の研究者である Noam Brown は、TED AI で o1 でこの方法をとった理由について語りました。彼は、「ポーカーのハンドでボットに 20 秒間考えさせるだけで、モデルを 10 万倍にスケールアップして 10 万倍長くトレーニングした場合と同じブースト パフォーマンスが得られることが判明しました」と述べました。

ここで立ち止まって、ここで言われていることを本当によく考えてください。20 秒間考えるボットは、10 万倍の計算能力で 10 万倍長くトレーニングされたボットと同等です。スケーリングの法則が無限である場合、その計算は不可能です。何かが間違っているか、誰かが嘘をついているかのどちらかです。

なぜこれらすべてが重要なのでしょうか? OpenAI の価値は 1,500 億ドルで、その時価総額の大部分は、時間の経過に伴うモデルの改良に依存する予測に基づいています。AI が現在と同じ程度しか優れていないとしても、それはまだ興味深い未来ですが、そのモデルが IP 全体の AI 企業が投資家に売り込んでいるのは、そのような未来ではありません。また、これは、LLM の継続的な進歩に依存して独自の製品を構築している他の多くの企業の製品ロードマップも変更します。これがすべて真実であれば、OpenAI の目標と AGI の野望は大幅に遅れることになります。

仮説

LLM がこれほど素晴らしい理由は、私たちが考えたことのない高次の哲学的現象、つまり言語は本質的に、テキストの小さな部分でさえも世界に関する非常に大量のコンテキストとデータを持っているという現象によるものです。画像や動画のピクセルとは異なり、文中の単語は暗黙的に互いを説明します。完全にまとまりのある文は、定義上「合理的」です。それが真実であるかどうかはまったく別の話であり、言語だけを超越する問題です。どれだけ多くのテキストを消費しても、「真実」と「虚偽」は単なる言語概念ではありません。何かが完全に合理的であるが、決して「真実」ではないと言うことはできます。この時点で、LLM は常に壁にぶつかります。過去 12 か月間、私は正式に推測しますが、密室では OpenAI、GrokAI、Google の LLM に大きな飛躍はありませんでした。具体的に言うと、GPT-4 より 1.5 倍優れた LLM を誰も、どこでも作ったことはないと思います。

OpenAI では、上級スタッフが辞めているようです。今のところ、彼らは安全のためだと言っていますが、私は今、アルミホイルの帽子をかぶって、アイデアを出してみようと思います。彼らはこの問題を認識しており、手遅れになる前に辞めるつもりです。

確認

3か月前に友人たちとこの懸念について話し合い始めました。いろいろな名前で呼ばれました（笑）。

しかし、過去 3 週間で、多くのマスコミが何か怪しいと感じ始めました。

• OpenAI は、期待されたパフォーマンス ベンチマークを満たさず、収益が減少しているため、Orion (GPT-5) をリリースしなくなりました。 ( https://www.theinformation.com/articles/openai-shifts-strategy-as-rate-of-gpt-ai-improvements-slows )

  
  

• ブルームバーグは、OpenAI、Google、Anthropic の 3 社がいずれも、より高度な AI の開発に苦戦していると報じています。 ( https://www.bloomberg.com/news/articles/2024-11-13/openai-google-and-anthropic-are-struggling-to-build-more-advanced-ai )
  

私たちはそれに対して何ができるでしょうか?

単一のソリューションを推奨するのは難しいです。o1 の背後にあるテクノロジーは、低パフォーマンスのモデルでも複雑な操作を行うために再利用できるということを証明しています。しかし、それは AI のスケーリングの問題に対する解決策ではありません。新しいモデル アーキテクチャへの多大な投資と迅速なテストが必要だと思います。また、データが不足しているため、LLM をトレーニングするための使用可能なデータを外挿する新しい方法が必要です。おそらく、参照を直接真実の情報に導くのに役立つ多次元ラベルを使用するでしょう。もう 1 つの良いアイデアは、o1 と同様に、AI エージェント ワークフローを実行して使用する数学、科学、ヘルスケアなどの特定のユース ケースに合わせて LLM を微調整し続けることです。新しいアーキテクチャが登場するまで、多くの企業に余裕が生まれるかもしれません。この問題は本当にひどいものですが、それが刺激する機械学習とソフトウェア開発の創造性は計り知れないものになると思います。このハードルを乗り越えれば、AGI やおそらく ASI も予定通りに進んでいくでしょう。