物理学のおかげでAIの冬が近づいている

冬（物理）が来る

GPT テクノロジーで実行される大規模言語モデルは、現在、開発の停滞期に近づいているようです。これは、人気物理学者 Sabine Hossenfelder 博士の最新の YouTube ビデオからの抜粋です。

サビーン博士は、ビル・ゲイツ氏を含むいくつかの情報源を引用しています。ゲイツ氏は昨年、GPT 5 は GPT 4 よりそれほど優れているわけではないと述べました。また、ゲイリー・マーカス教授は、この特定のビートを何年も主張してきたと述べています。これは、ビデオで見られるように、サム・アルトマン氏とイリヤ・サツケバー氏によるレイ・カーツワイル的な誇大宣伝に反しています。

しかし、サビーネ博士がいつも私たちに思い出させてくれるように、単に美しい数学だけでは物理学の進歩を促進できないのであれば、単に希望的な集団思考だけでは超人的な汎用人工知能 (AGI) は生まれないだろう。

なぜ、可能な限り多くのデータ、計算能力、そして人間の監督を投入しても、超人的な AGI が誕生しないのでしょうか?

サビーン博士はすぐに答えを出しました。彼女の説明によると、問題はスケールの分離です。

スケールの分離

世界は鱗に分かれている。

物質の世界には、私たち人間のような陸上動物のスケールがあります。その下には微生物があり、その下には分子、原子、素粒子があります。反対方向には、航空機や高層ビル、山、惑星、星、太陽系、銀河などがあります。

データの世界には、「触れるもの」「動物」「猫」といったカテゴリの高解像度データがあります。そして、そのカテゴリをさらに拡張した「猫の種類」「猫の模様」「月曜日の午前8時の猫の行動」などの低解像度データがあります。

ただし、他の分類法もあります。一部のデータはオンライン上にあり、一部は書籍、論文、人々の心の中にオフライン上にあります。

インターネット上では、人間の言語創造に関する高解像度スケールで、望む知識をすべて得られるかもしれない。しかし、それは、世界における人間の言語創造という、はるかに大規模で低解像度のデータソースと同等ではない。

したがって、サム・アルトマンの AI は、下の画像のアリストテレスのようなものです。彼は自分の手を見て、物理学の標準モデルを発見することを望んでいます。

しかし、原子核粒子を突いてその中に隠れている奇妙な新しいデータを見ることができる大型ハドロン衝突型加速器のような装置がなければ、アリストテレスはどのように進めていけばよいのか途方に暮れてしまう。

AIのための大型ハドロン衝突型加速器

GPT アーキテクチャは、驚異的な ChatGPT とともにわずか 2 年前に世界に公開されましたが、その「改善」の終わりに近づいている可能性があります。おそらく、バトンと VC 資金を他のものに渡すことを真剣に検討する時期が来ているのでしょう。

私は、現在 Extropic などの企業によって研究されている熱力学コンピューティングを応援しています。これは、熱ノイズを利用して安定拡散技術のようにデータのランダム サンプルを作成し、統計分析を使用してノイズを除去することによって機能します。

実際、どのニューラル ネットワークでも、初期の重みは通常、ランダム ノイズで初期化されます。トレーニング中、バックプロパゲーションによってこのランダム ノイズから最終的な重みが形成されます - Laszlo Fazekas 氏は書いています。

その利点は、量子効果によって大量の熱雑音が発生する従来のデジタルコンピューティングよりも小さなスケールで動作するチップにあります。

とにかく、熱雑音は常に多かった。

私の台所のコンロは熱雑音でいっぱいです。

本当の問題は常に、回帰分析中にデータを捨てることなく、データの統計的なチャンク化を通じてそれをよりよく理解する方法でした。

私の推測では、スマートフォン、ビットコインノード、テレビ、ラジオなどを活用した、ある種の大規模なクラウドコンピューティング AI トレーニングです。

現在、AI に「考える時間」を与えて、同じデータに対してより長い推論を実行できるようにすることで、AI 企業は AI の力をさらに引き出そうとしています。たとえば、ChatGPT の o1 モデルがそうです。

しかし、トレーニング時間も延長する必要があるかもしれません。おそらく、子供のように優れた AI を得るには、あらゆるところから収集されたデータから何十年もトレーニングする必要があります。収集されたデータは、いくつかのサーバーでゆっくりと凝縮された AI モデルに吸い上げられます。

サム・アルトマンは、そのような計画のために何兆ドルもの政府資金を必要とするかもしれない。残念ながら、それは簡単には得られそうにない。DOGE は彼に資金を提供しないかもしれない (xAI が同じ問題を抱えている場合)。

一方、ビットコインは依然として成長を続けている

上のグラフが示すように、ビットコインを使っている人はほとんどいません。しかし、すでに 9 万ドルに達しています。

Bitboのデータによると、実際にはビットコインを毎日使用しているのは 40 万人だけです。そしてビットコインを所有しているのは 1 億 600 万人だけです。

これを、 StatistaのデータによるとAIツールを使用したことがある3億1,400万人と比較してみましょう。ChatGPTだけでも1日あたり数百万人のユーザーがいます。おそらくビットコインブロックチェーン全体を合わせた数よりも多いでしょう。

さらに、AI は 1 年足らずでこれらのユーザーの大部分を獲得しました。これは間違っているように感じます。ビットコインは成長するまでに何年もかかりました。人々は汗をかき、損失を被り、DCA を行い、信頼を寄せました。

たぶんそうでしょう。ChatGPT は急速に成長しすぎました。今では成長が鈍化し、誰もが不満を抱いています。

残念ですが、皆さん、まだやるべきことがあります。AGI はそれほど簡単には理解できませんし、GPT の科学者はビットコイン愛好家のように保有することを学ぶ必要があります。冬は来ては去りますが、今は代償を払う時です。