15 Core Ideas Shaping the Future of AI—and Why They Matter Today(AIの未来を形作る15のコアアイデア)

人気の想像力は現在、The Futureをスカイネット、Hal 9000、R2-D2の時代に向かう不屈不屈な行進として構成しています。 そして こうした夢を生き延びるために必要なテクノロジーの進化の微妙なバランスについて、ほとんど語られていない。 一般人工知能 人工超知能 一般人工知能 人工超知能 In fact, as models grow in complexity and computational demands, experts are warning that foundational technologies enabling AI development may soon not evolve fast enough to create anything better than OpenAI’s o3 model. AIの現在と未来のこれらの基本的な要素を取り巻く構造的な弱点は、すでに達したかもしれない野心を打ち破ることができる。 . バブル領土 まず、枠組みが必要です。 大規模なAIは、相互ロック技術のレレーレースよりも単一の奇跡ではありません。 バトンパスと全スペクトルフェイスプラント。この記事の目的のために、AIモデルが動作するために必要なインターロックは、大体こんな感じです。 one 原料データとそれを生み出した人々の権利 Silicon and its Memory Enablers(シリコンとそのメモリエンパワー) モデルアーキテクチャとそれらをパワーアップするトランスフォーマー エネルギーグリッドからエッジデバイスまで サーカスが自らを燃やさないようにするための政府の鉄道 原料データとそれを生み出した人々の権利 AIアルゴリズムはテキスト、画像、ビデオを作成するためにデータを必要としています。過去半年の間に、インターネットはOpenAI、Google、Meta、Anthropicとその同僚に無料で幅広いデータベースへのアクセスを提供してきました。 だって。 しかし、パーティーは終わりに近づいており、インターネットはAGIが現れるには小さすぎる可能性があり、規制当局は、データがユーザーから直接収集されたときにデータのプライバシーについて心配し始めています。 財団モデル 弁護士 1. 無限のトレーニングセットを作成するために合成体が必要です。 1. 無限のトレーニングセットを作成するために合成体が必要です。 人間が作ったデータに頼るのではなく、 これは、無制限のデータポイントを生成することを可能にし、または機密情報を損なうことなく、特に幅広いデータセットが利用できない環境(医療、財務、自動車開発など)で強力です。 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ AI企業は現在、他のモデルから学ぶためのテキストや画像を作成するためにAIを使用しています。 合成体 あるモデルによって作成されたデータが他のモデルを訓練するために不正確であり、その欠陥が人間の訂正なしにカスケードされることが許される場合、文法とアイデアはすぐに自分自身に戻ります。 : each generation a blurrier photocopy, errors and clichés compounding until scale alone can’t buy improvement. モデル崩壊 Guardrails, in the form of 変数、人間データのリフレッシュサイクル、およびフィルターは、井戸が中毒されるのを防ぐために不可欠です。 豊かなドメイン なぜ重要なのか*:* 合成体がうまく実装されていない場合(間違いなく必要であるように)、明日の大型モデルは、どれだけのコンピュータを投げかけても厳しい天井に打ち込むでしょう。 なぜ重要なのか データプライバシーを尊重するために連邦学習が必要です。 データプライバシーを尊重するために連邦学習が必要です。 人間が作ったデータは常に必要になるだろうが、私たちはプライバシーのアイデアを放棄して、万能なものに奉仕しなければならないのだろうか? たぶんそうではない。 私たちのデバイスは、デバイス自体に「共有された」AIモデルを教えることができ、大規模なデータセンターに原始データを送信する必要性を排除します。 連邦学習 このプロセスでは、モデルの「学んだレッスン」のみ(小さい重量のアップデートではなく、原始写真やメッセージ)が送信されるので、デバイスを離れることはありません。 FHEは、サーバーが一度も開かないうちに揺れ動かすことができるロックされたボックスのようなもので、暗号化された数字の新しいモデル重量を計算し、内部にあるものを決して見ることができません。 完全にホモモルフな暗号化 Finally, it’s possible to shrink each update with 全体のモデルを書き換える代わりに、最も重要な調整指示だけを格納します. That keeps the files small enough for phones with modest bandwidth and memory. 低ランクの適応 これらのトリックを組み合わせると、何百万ものデバイスが強力な言語モデルを共同訓練し、すべての人のデータをプライベートに保ち、スケーラブルに十分に効率的に行うことができます。 なぜ重要なのか*:* Skynet は起こる必要はありません。私たちのプライバシーオプションについて学ぶことで、AI の未来に影響を与え、大規模なAI 企業に正しいことを私たちに求めることができます。 なぜ重要なのか プライバシーを強化する技術は、より良いガードレーンを構築するのに役立ちます。 3. Privacy‑enhancing technologies can help build better guardrails 連邦化学習が広く実施されない場合、企業は ノイズは調節され、AIモデルは依然として幅広いパターンを学ぶ(ウイルスがどのように広がるか、購入がどう見えるかなど)、しかし、一人の人の医療記録やショッピングカートに戻るものは何もありません。 差別プライバシー プライバシーを強化する2つの主要なテクノロジーがあります: (いくつかの料理は、秘密のレシピのそれぞれの部分を調理し、全体のレシピを見ることなくケーキを一緒に焼く) (チップの内部で作成された小さなクローゼット:データが入り、計算がクローゼットで行われ、結果が出、データがクローゼットに残ります)。 安全なマルチパーティコンピューティング 信頼できる実行環境 より多くの騒音や重い暗号化は、プライバシー対精度の交換、パフォーマンスヒットや予想以上に高いエネルギー請求を意味します。 なぜ重要なのか*:* 差別プライバシーとその他のプライバシーを向上させるテクノロジーは、企業が原始的な秘密を共有することなくAIを共有し、トレーニングすることを可能にします。しかし、ボタンは慎重に設定されなければなりません、プライバシー、速度、正確さをバランスをとります。私たちは、企業の答えが「OKですが、アルゴリズムを悪化させます」ということを覚えながら、より多くのプライバシーのために戦わなければなりません。 なぜ重要なのか Silicon and its Memory Enablers(シリコンとそのメモリエンパワー) シリコン(チップ、半導体、GPUなど)は、AIが「起こる」場所です。 今や多くの地政学的議論の中心に座っているこれらの小さな技術的奇跡について。 ゆっくりと、そして、 業界は今、選択に直面している:シリコンの再設計または再設計の期待。 全部の本が書かれた。 モアの法則 デンナードスケーリング 4. Neuromorphic チップは、エネルギー消費を削減し、デバイスコンピューティングを可能にします。 4. Neuromorphic チップは、エネルギー消費を削減し、デバイスコンピューティングを可能にします。 NVIDIA しかし、10年後には勝者にはなれないかもしれない。 で、 そして 完全に異なる方向へ向かっているGPU: . AI加速器市場の90%以上を占めることができました。 ブラインチップ Intelの IBM Neuromorphic Architectures(ニューロモルフ建築) 脳の生物学的構造にインスピレーションを与え、このチップの構築方法は、従来のGPUによりエネルギー効率的で適応性の高い代替手段を提供します。暗いフィールドで100万羽の花火をイメージしてください。 ニュース、そしてこのニュースを気にする近くの昆虫だけが気付くでしょう したがって、ほとんどのフィールドは暗くなります...そして彼らの強さは一晩中続きます。 彼らがラインの下に1ビットの「スピーク」を渡さなければならないまで静かに座って、全体のボードが動くようにします。 . ハイ SpiNNaker 2 ホーム > ホーム > ホーム > ホーム > ホーム > ホーム > ライトバブル 実際には、サイン言語を翻訳できるメガネや、分支を自律的に回避するポケットドローンを意味します。ハードウェアはメガフォンを通して叫ぶ代わりにを聞き、電力の節約は巨大です。 なぜ重要なのか*:* どこでも安価な認知力は、より多くの監視玩具を意味するので、社会の議論は「モデルを実行できるか?」から「私たちはそれを実行すべきか?」へと変わります。 なぜ重要なのか 5.メモリの突破は他の何よりも必要です。 5.メモリの突破は他の何よりも必要です。 最も速いGPUさえも、データを待たなければならない瞬間、非常に高価な紙の重量に変わります. 一つのチップは、別のAでまだ作業している場合、またはAが完了しているというメッセージが到着するのに年齢がかかる場合、Bを作ることができません。 「...そして、そこは、 入ってくる。 メモリーウォール High Bandwidth メモリ 第4回(2026年に予定)のHBM4は、高性能コンピューティング環境での使用に最適化され、HBM3と2秒あたり2倍の情報量を提供しています。 : このセクションが短く見える場合、それは何を説明するためです。 そして あと500単語は必要だろう。 NB ドラマ コンピュータ says なぜ重要なのか*:* テクノロジーが崩壊すれば、より大きなモデルがメモリを待つだけの壁にぶつかるでしょう; より明るい GPU でさえ進歩が止まります。 なぜ重要なのか 6. Wafer スケールの統合は、多くの遅延問題を解決する可能性があります(しかし、エネルギー問題を生み出すでしょう)。 6. Wafer スケールの統合は、多くの遅延問題を解決する可能性があります(しかし、エネルギー問題を生み出すでしょう)。 情報が一つのチップからもう一つのチップに移動するのに時間がかかるのなら、なぜそれらを一つの非常に大きなチップに組み合わせないのか? それが背後にあるアイデアです。 . ワフェルスケール統合 実用的に言えば、これは1兆個のパラメータモデルが1つのチップに座ることができ、16のGPUボードとビザンチンネットワークのテーブルに散らばる代わりに意味します。 理論だけではない: このアーキテクチャは、10倍低い遅延を可能にします。 しかし、これらのチップは多くのパワーを必要とします: 30 個の NVIDIA H100 GPU までです。これは、利点と欠点についてかなり複雑な数学を生み出し、おそらく非常に特定の用例のみです。 Cerebras Systemsは、9万個のコアと7000倍のメモリ帯域幅を持つプロセッサを開発中です。 インテリジェンス AI INFERENCE なぜ重要なのか*:*バッファースケールが信頼性があるとすれば、トレーニング時間は数週間から数時間に短縮し、実験は繁栄するでしょう。 なぜ重要なのか モデルアーキテクチャとそれらをパワーアップするトランスフォーマー 現代の生成型AIシステムは、ニューラル・ネットワーク・アーキテクチャと呼ばれる。 トランスフォーマーは、内部テーブルを使用して動作します(the " 」と聞かれたら、入門の言葉の全てに、 ” トランスフォーマー 注意メカニズム それぞれの言葉にどれだけ注目すべきか。 このメカニズムは、要求される計算作業は、クエリのサイズが大きくなるにつれて四方的に増加することを意味します。3単語は9つの接続を意味し、4単語は16、5単語は25を意味します。 7. Differential transformers make attention mechanisms “smarter” 7. 差異変換器は注意メカニズムを「スマート」にします。 While classical transformers “pay attention” to all words, 無関係な信号に自動的に音量を下げるので、役に立つ情報だけが突出します。 Differential Techniques First Apply Noise-Canceling Attention ノイズ・キャンセル 注意 」という概念も導入している。 システムが積極的に互いから離れなければならないトークンのカップルをラベル化することを可能にし、モデルが偽の接続を避けるのを助けるのではなく、単にそれらを減らすだけです。 ネガティブな注意 最後に、トレーニングプロセス 間 » これらの調整は、モデルがより速く学び、より効率的にメモリを使用し、より正確で一貫した結果を提供することを可能にします。 ダブルな行動の罰則 注目ヘッド なぜ重要なのか*:* 差異変換器は、幻想を減らし、長期的な回想をより明確にし、同じ精度で30%から40%の計算を減らすことを可能にします。 なぜ重要なのか ステート・スペース・モデルは「注意のない」繰り返しを生み出す ステート・スペース・モデルは「注意のない」繰り返しを生み出す 「通常の」トランスフォーマーは、新しい単語を追加するたびに会話全体を再読します(例えば、各文を書く前にページ1に戻る人など)、状態空間モデル(Mamba、S4)。 これは、プロンプトを2倍にするだけで作業を2倍にすることを意味します(平方の代わりに)。 学んだ「国家」を前進させる これらのモデルはまた、GPUが並行して咀嚼できるビットサイズの塊に長いプロンプトをカットし、その後、パーツを再び一緒にまとめ、その答えは他の方法で達成できたものと同一であるが、より速く到着する。 更新プログラム全体は、一連の厳密にパッケージされた指示の内側に組み込まれており、メモリラウンドツアーを排除します. Because it can recalculate small pieces on the fly, it hardly stores anything in slow memory, which cuts energy use. *:* Put together, these tricks let tomorrow’s assistants digest much, much longer streams (hour‑long podcasts, week‑long chats, etc). This opens the door for new use cases (particularly around genomics). Why it matters なぜ重要なのか Mixture-of-Experts トリックは、より多くのパラメータを可能にします。 Mixture-of-Experts トリックは、より多くのパラメータを可能にします。 次に、Experts Mixtureのトリックがあり、これらのネットワークの部分(専門家)だけが特定のプロンプトで重要であることを基本的にオンにします。 品質を下げることなく、 教育費を40%削減 たとえ すでに注目されているものと、 モデルは、線形的にスケールするものに注意を完全に置き換えるが、MOEは容量をわずかに増加させるので、トークンごとに最も関連性のあるサブネットワークの火災しかない。 差異変換 スペース しかし、これらの眠っている専門家はまだGPUメモリに生きていなければならず、ルーターは「熱い」専門家を避けるためにトークンをジョギングしなければなりません。 *:* Efficiency breakthroughs bite into the “ ’’ mantra, potentially democratising the creation of very large foundation models. なぜ重要なのか scale is all you need なぜ重要なのか エッジデバイスからエネルギーネットワークまで AIは、結局のところアルゴリズムです. 重さはありません. 触れることはできません. 実際の世界で生活しています. デバイスで動作します. 生きるためにエネルギーが必要です. そして、そのエネルギーはデバイスを熱くし、新しい革新的なタイプの冷却を必要とします。 10.Edgeデバイスはあなたのポケットに生成モデルを置く 10.Edgeデバイスはあなたのポケットに生成モデルを置く GPU の創造以来、モデルはクラウドに住んでおり、クラウド自体は物理データセンターに住んでいます。この世界では、あらゆるプロンプトにはクラウドへのツアーが必要です。 (つまり、飛行機モードでもLLMを使用できるということです)。 携帯電話とラップトップは、現地で推論を処理できる処理ユニットを搭載しています。 たとえば、フレームワークでは、Androidアプリがミリ秒でカットされたファウンダムモデルを呼び出すことができます. No network, no server fees, and stricter privacy guarantees. Googleのジェミニ・ナノ これらの展開は、AIの数学を変えることはありませんが、他の必要な進歩を生み出す:スマートな注意はコンピューティングの廃棄物を削減し、ステートススペースの再現性はコンテキストコストを削減し、「専門家」はそれらが必要になるまでほとんどのパラメータを冷やします。 On‑device inference eliminates the latency and privacy penalties of the cloud, drops serving costs to zero, and spreads powerful AI to billions of phones and low‑cost PCs. It enables always‑available assistants in areas with poor connectivity, keeps sensitive data (health logs, camera feeds) local by default, and reduces the embodied carbon of every token generated. This is all good news for us, maybe bad news for pure AI players, who would not be able to charge a monthy fee to users (but rather a one-off). ****: Why it matters なぜ重要なのか 11.グリッドの近代化と柔軟な電力供給は、ライトを点灯させます。 11.グリッドの近代化と柔軟な電力供給は、ライトを点灯させます。 We need そして我々は我々の家を暖め、工場を稼働させなければならないが、その余分なエネルギーを供給する高電圧の「高速道路」はすでに混雑している。 ケーブルがシリコンのように急速に増加しない場合、GPUは混雑したり、空っぽになり、AIの夢は何年も、もしくは何十年も続くでしょう。 たくさんの 新しいエネルギー源を電力網に接続するための平均待機時間は5年です。 Three parallel options are emerging to unblock the situation: グリッドを強化する技術(ダイナミックラインランキング、トポロジー最適化、高度な導体など)は、既存のインフラストラクチャの隠れた容量を数カ月ではなく数十年で解除するだろう。 マイクログリッドの「エネルギーパーク」は、AI負荷の数百メガワットを風力、太陽光、電池、時には水素と並べる自立したキャンパスとして現れています。 Googleは2024年に世界初の企業SMR契約をカイロス・パワー(Kairos Power)と締結した。Microsoftは、東海岸の雲のためのトリミール・アイランド・ユニット1を再起動するための20年間の契約を締結した。 これらの戦術は時間を買うが、永遠ではない。 なぜ重要なのか:無制限でグリーンエネルギーが現実になれば、AIは気候目標を打ち破ることや電力会社を破綻させることなく拡大し続けることができます。 なぜ重要なのか: 12. Cooling Innovations Remove the Heat Bottleeck (冷却革新は熱のボトルネックを取り除く) 12. Cooling Innovations Remove the Heat Bottleeck (冷却革新は熱のボトルネックを取り除く) A few facts. One, AI is made possible by processing units. Two, these units require ever-more energy to work on ever-complex algorithms. Three, まとめると、電気はAIに供給され、熱を生み出します。 エネルギーは創造したり破壊したりすることはできません。 しばらくの間、ファンは仕事をすることができたが、それらはもはや十分ではないし、ほとんどのAIデータセンターで液体冷却が実装される必要がある。 そして , for example, swap server fans for cold plates or baths that move heat 1,000× faster than air. トップ > チップ Immersion 冷却 Liquid cooling is, by definition, also a water access story. Evaporative cooling (heat makes steam that goes into the air) can gulp (人口25万人の同一都市) すでに供給不足しているリソースが、AI上司によって独占されないようにするために必要です。 毎日500万ギャラリーまで 閉鎖ループ 最後に、コンピュータによって生成される熱が水に吸収されると、それはバグではなく機能になります。 で、 . EquinixのパリPA10キャンパスがオリンピック水学センターを温める メタのオデンジー工場はすでに11000のデンマークの家庭を暖房しています。 なぜ重要なのか:クラック冷却とAI価値チェーンの他のすべての要素(スーパーポッド、メモリ繊維、サーバーレス推測など)は呼吸の余地を得る。効率性が向上し、グリッドヘッドルームが上昇し、水の使用が低下し、廃棄熱の配分はAIの足跡にすでに気をつけている都市で社会的ライセンスを購入する。 なぜ重要なのか サーカスが自らを燃やさないようにするための政府の鉄道 政策、社会保障ネットワーク、国境を越えた規則は、反乱や制裁を引き起こさずに内部の機械を走らせる外側の檻を形成します。 13. Policy sets the tone for it all 政治はそれらすべてのためのトーンを設定する。 AIは危険です. それは単なる事実です. 今日作成されているツールはすでに使用されています。 二 二 法律は必要です。 偽ニュースの普及 自害を奨励する バイアス再生 2026年8月までに、あらゆる「高リスク」システム(クレジット、雇用、医療など)は、外部監査をクリアする必要があります。 したがって、連邦機関は現在、ボランティア(lol)NISTリスクフレームワークに依存し、 . ヨーロッパのAI Act 2025年政府は、以前のホワイトハウスの安全命令の一部を破った。 コロラドのような州が独自の拘束力のあるルールを採択 出力ラベルも顕微鏡の下にあります。 両方とも、目に見えるウォーターマークと隠れた出身地タグを主張するので、オンラインで移動するときと同じくらい簡単に法廷でディープファクを追跡することができます。 EU法案 最後に、規制当局はハードウェアを圧迫し始めた。 ヨーロッパは同様の「計算日記」を策定している。 いくつかのチップとトレーニングランのために なぜ重要なのか:コンプライアンスツールが急速に儲かる市場になっている理由があります。監査、ラベル、チップコントロールはGPUと同じくらいのコストとなっています。AIプレイヤーは適応する必要があります。 なぜ重要なのか 14. 社会経済的枕は明らかに必要である 14. 社会経済的枕は明らかに必要である 最も賢いシリコンでさえ、労働者が排除されたと感じるならば、政治的な反発を乗り越えることはできない。 以前の自動化の波を乗り越えた国々は、柔軟な労働市場と寛大な安全網と絶え間ない再訓練を伴う繰り返しの公式を示しています。 たとえば、企業が最低限のレッドテープで従業員を雇用し、解雇することを可能にする一方で、失業保険、賃金代替制度、迅速な再訓練は解雇の打撃を緩和する。 プログラムは、職場の変異の瞬間、AI関連のマイクロ認証にクレジットを費やすために、キャリア中間の労働者を許可します。 デンマークの「柔軟性」 未来スキル 欧州レベルでは、 すでに、米国のCHIPS法案と日本の税金の引き下げは、世界の反対側で同様の資金を掘り出している。 ユーロ19B「Just Transition Mechanism」 なぜ重要なのか:移住した労働者が新規の給料を手に入れるほど、反テクノロジーのポピュリズム、罰税、または毛布のモラトリアムのための酸素が少なくなる。 なぜ重要なのか 15.国際連携は今まで以上に必要である。 15.国際連携は今まで以上に必要である。 ガバナンスは水の端で噛みつきを失っている。これを認識し、G7は「 」は、署名者に合成コンテンツをウォーターマークし、安全評価を公表し、事件報告ホットラインを設置するよう求めるボランティアコードです。 広島裁判 The United Nations has also convened a High‑Level Advisory Body to weld national rules into a shared risk taxonomy and draft the blueprint for a global AI governance framework. 一方、米国、オランダ、日本は極度の紫外線リトグラフィーの輸出規制を強化し、中国が警察のモデル乱用に国際的なAI協調機関を呼びかけているのと同様に、その結果は、コンピュータ輸出、モデル監査、緊急取り下げ手続きを規制する共通の基準ルールに向けた脆弱で曖昧な推移である。 なぜ重要なのか:最小限の調和層がなければ、企業は最小限の管轄区域に移行し、対立するプレイヤーはレッドラインモデルを秘密に訓練し、AIの「安全な状態」はスパイの標的になる。 なぜ重要なのか AI モデルのパフォーマンスに基づいて進歩を処理することは快適だが、欺瞞的である Cerebras は数時間で数兆個のパラメーターのネットワークを磨くことができますが、HBM4 帯域幅なしでは飢餓に陥ります 連合学習はプライバシーを維持しますが、希少なアーキテクチャなしでは、あなたの電話のバッテリーが死んでしまいます。 したがって、10年ぶりのスコアカードは、「AIが勝ち、AIが失われた」というよりは、「時間内に十分なリンクがアップグレードされたか?」というよりは「AIが勝ち、AIが失われたか」というよりは「時間に十分なリンクがアップグレードされたか?」というよりは「AIが勝ち、AIが失われたか」というよりは「AIが失われたか」というよりは「AIが失われたか」というよりは、 . たぶん いずれにせよ、唯一の信頼できる予測は、次の突破が最初に疑わしく退屈に見えるということです。 外で幸運を。