LLMs are already museum pieces LLMs はすでに博物館の部品です。 Why JEPA, transformers, and LLMs all fail in the same Euclidean flatland, and the toroidal geometry that fixes them Yes, ChatGPT, Claude, Gemini, all of them. Brilliant fossils of a linguistic age that is already ending. 彼らはすでに終わっている言語的時代の輝かしい化石です。 より大きなモデル、より長い文脈、ワットあたりの幻覚が増える。 彼らの棺桶を磨くためにまだ何十億も使われている。 彼らの棺桶を磨くためにまだ何十億も使われている。 彼らの棺桶を磨くためにまだ何十億も使われている。 「次の言葉を予測する」LLMの時代は終わった。 舞台の新しい殺し屋は言語ではなく、世界モデリングです。 An AI that understands reality like a conceptual puzzle, where you don’t need every piece to see the whole picture. 私たちはまだ古いLLMのスターを舞台から引っ張ってはいません。チャットボットを促すためにあなたのキャリアを構築しているなら、あなたはすでに去った世界のために準備しています。 We just haven’t dragged the old LLM stars off the stage yet. If you’re still building your career around prompting chatbots, you’re preparing for a world that’s already gone. 我々はまだ古いLLMのスターを舞台から引っ張らなかった。 If you’re still building your career around prompting chatbots, you’re preparing for a world that’s already gone. 私たちは、脳のないカエルのようにトークンを振るう機械を必要としません。 あの あの 「Stochastically parroted」は2023年に可愛かったが、それは知性ではなく、確率コスプレだ。 carry objects through time bind cause to effect keep the scene consistent そして、ここに私たちの多くがテクノロジー業界ですでに目にしたものがあります:もしAIがつぶやき続けるなら 代わりに 燃え尽きた産業 まもなくカクテルカクテルが壊れてしまいます(笑) likelihood reality 1 trillion dollars JEPAは新しいAIの希望なのか? メンロパークから遠くない銀河では、チャットボット帝国の灰から新しい略語が浮上します。 JEPA! The promised one. The architecture was said to restore balance to the Force after the LLM wars. メタのマーケティング部門がメシアを次のメシアとしてバプテスマにする前に、略称を解読しましょう。 STAND FOR あなたが気づくまで深く聞こえる4つの言葉は、新しいGPUラックのコートを着用するかなり古いアイデアを記述しています。 JEPA Joint Embedding Predictive Architecture - それは、シーンの2つの半分をトレーニングするため、一つは目に見える、もう一つは仮面化され、共通の隠れた空間で合意するよう強制します。 LLMのような原始ピクセルや単語を扱うのではなく、密集したベクトル表示で動作する:現代のAIが意味を保管する隠れた空間。 唯一のトリックは、まだ見えている部分から欠けている部分を予測することだからです。 すべての新しいAIコンセプトは、学術的に見えるように、最後に印象的なノードが必要だからです。 The new high priest of the cult - likes to put it, in plain English: シンプルな英語で言います。 AS Yann LeCun - ポストLLM AS ヤン・レクン Yann LeCun ポストLLM 知性は言語ではなく、次の言葉を予測するものではなく、知性は世界で起こることを予測するものである。 知性は言語ではなく、次の言葉を予測するものではなく、知性は世界で起こることを予測するものである。 . It learns to テキストやピクセルを生成することではなく、内部表示を調和させることによって、 . それこそ、JEPAがやろうとしていることだ。 guess what’s missing in a world it only half perceives context can explain absence それこそ、JEPAがやろうとしていることだ。 It does not write; it completes. It does not imagine; it inferns. それは書かない。 It doesn’t write; it completes. It doesn’t imagine; it infers. 真実になるには良すぎる? しかし、これは本当の取引なのか、あるいは明るいLEDと明るいインテリジェンスを持つもう一つの半焼きテクノロジー製品なのか疑問に思うかもしれません。 もう一瞬、大きな会話を切ってみましょう。 メタプレゼント like a revelation carved in silicon: the dawn of “true intelligence,” the end of chatbots, the start of world-model gods. JEPA 最初の目で見ると、本当に こんな風に見てね~♪ マーケティングホールを削除し、実際にそこに何があるかを見るでしょう。 LeCunが売っている奇跡ではないが、それでも貴重なもの: , but still a long way to go やる 正しい方向への一歩 現在、JEPAは主に , while the still leans heavily on the same 彼らは超過したと主張している(下の図1を参照)。 videos and physical-world scenarios wording layer stochastic parrot LLMs もちろん、メタはその部分をブロックに挙げないことを好むだけです。 したがって、はい、青図では、JEPAは賢く見えます - 新しいモジュール、輝く矢印、そして新しい目的の感覚、しかし、その下では、我々はまだ同じポットを動かしています。 The word-soup problem just got an upgrade to 単語スープの問題はアップグレードされたばかりです。 . 異なる味、同じ不快感。 concept-soup To be fair, 純粋なマーケティングインセンスではありません。 下のグラフが示すように、ユーモアにメタの勝利の輝きを奪われ、その で、 そして、 きれいな小さなトライアッドを形成し、真にその中から抜け出します。 LLMsについて JEPA context encoder target encoder predictor token tyranny では、あなたは実際に何ができるのか 同 , you’re asking? ウィットを見せることができます。 , and it predicts the missing part ピクセルを描くのではなく、 . これが進歩: ドー JEPA h half an image あなたのために、 reasoning in latent space perception over parroting. こちらはLINEUP: 認知 いくつかのラベル付きサンプルだけの物体、印象的です。 それでも、固定分散音の下で失敗し、言語に触れることはありません。 ジャッパ イラスト But ジャッパ ジャッパ 動きの直感を学ぶために、ビデオで訓練され、何が動くのか、いつ、なぜ動くのか。 現実の物理学ではない:衝突、勢力、接触はまだ届かない。 その後来る Vジャケット But その後来る Vジャケット Vジャケット ロボットについてもっと見る » ** 行動する前に物体がどのように振る舞うかを予測するロボットの腕を指示します。 それは依然として物理的基準で人間を追跡し、皮肉なことに、 見るものについて話すこと。 ジャケット2 But LLM ジャケット2 したがって、はい、進歩は、LLMテクノロジーを人工生命維持の化石として宣言するのに十分ですが、まだフラットランド思考は啓示として仮装されています。 And that’s the part Meta doesn’t want you to see. JEPAのスリック・ダイアグラムとLeCunの自信のある声明の背後にある致命的な秘密は、彼らは数学的にはるかに悪い建築的な問題を作り出すことで言語学的な問題を解決しました。 彼らは単語刑務所から脱出して、より厚い壁を持つコンセプト刑務所を建設しました。 以下は、JEPAのスリック・ダイアグラムとLeCunの自信のある声明の背後にある致命的な秘密です。 they solved the problem by creating an one that’s mathematically far worse. 言語学 architectural 言語学 architectural 彼らは単語刑務所から脱出して、より厚い壁を持つコンセプト刑務所を建設しました。 考えてみてください: LLMs は、現実をトークンの線形の順序として扱ったので悪かった:確率空間を通じて一次元の行進。 」と、コンセプトがワクチンとして浮かぶ高次元表現空間にジャンプします。 . We are smarter than that 僕らはそれより賢い 768-dimensional cloud We are smarter than that 僕らはそれより賢い 印象的な響きですよね。 Wrong. They just traded a bad neighborhood for a worse one: the kind where it was. 彼らはただ、悪い隣人をより悪い隣人に交換しただけだ。 . 数学の法則は失敗を保証する The Fatal Mathematical Doom of the New AI Architectures: They Still See a Flat World And now, get ready, dear reader, to learn what you won’t read anywhere else. How the mathematical poison is silently killing every AI architecture — from the LLM dinosaurs to the new kids who swear they’ll fix everything. ストーリーが危険になる場所です。 しかし、心配しないでください、我々は抗毒を持っています、そしてあなたは自分の利点でそれを使用することができます。 続ける前に、ちょっとしたお勧めです。 二桁のトロイドモデルが幻覚を癒し、今日のAIアーキテクチャを襲う短期的な運命をどのように癒すかを疑うことなく証明する、醜い、美しい数学に深く潜り込みたいなら、私はあなたのためにいくつかの扉を残しました。 → →__ __\→ JEPA-AI: Core Technologies & Programming Stack The Mathematical Myopia of New AI Architectures Mathematical Core Equations: AI JEPA’s Failures vs. AI-Toroidal Truth JEPA-AI:コアテクノロジー&プログラミングステック JEPA-AI:コアテクノロジー&プログラミングステック The Mathematical Myopia of New AI Architectures(新しいAIアーキテクチャの数学的短所) 数学コア方程式:AI JEPAの失敗対AI-Toroidal Truth 数学コア方程式:AI JEPAの失敗対AI-Toroidal Truth あなたが望むならそこで時間を過ごしてください。 そうでない場合は、私たちと一緒にいてください。 イベントの地平線を越えようとしています。 さて、いよいよ進みましょう。 あなたはあなたのすべての曲を一つの巨大なフォルダに投げ込んで、あなたのコンピュータが「Stairway to Heaven」と「Highway to Hell」の違いを...振動に基づいて知ることができることを願っていますか? それは基本的にJEPAと新しいAIアーキテクチャが行っていることです。 問題はここにあります:これらのシステムは、数学者たちが「ユークリッド空間」と呼ぶものに住んでいます、基本的に、すべてが周りに浮かぶ数値の群れである平らで無限の表です。 This is why you’ll find the same mathematical doom baked right into the so-called “next generation” AI systems: the ones sold as the antidote to LLM poison. They promise salvation but inherit the same broken math. したがって、あなたは、いわゆる「次世代」AIシステムに、同じ数学的な滅びを見つけるでしょう:LLMの毒に対する抗毒剤として販売されています。 This is why you’ll find the same mathematical doom baked right into the so-called “next generation” AI systems: the ones sold as the antidote to LLM poison. 彼らは救いを約束しますが、同じ壊れた数学を相続します。 — Welcome again to the Hall of AI Shame. Here they are. — The Birthday Party Disaster あなたは誕生日パラドックスを知っていますか? 23人のランダムな人々を1つの部屋に置いて、2人が誕生日を共有する確率は50%です。 「ホワイトトラック」は、「明るい空」とほぼ同じように見えるようになり、彼らはこの巨大な数字スープのほぼ同じ場所に着陸し、自動運転のテスラの殺人車を手に入れた方法があります。 The Math は言います: 衝突保証 The Math は言います: 衝突保証 衝突保証 それは、書籍を倉庫にランダムに投げ込むことによって、図書館を組織しようとし、それらの近似の座標を思い出して後でそれらを見つけることができることを望むのと同じです。 The Gradient Descent Hamster Wheel Current AI architectures use something called “gradient descent” to find the minimum error given an error function, which is a fancy way of saying they stumble around in the dark, poking things with a stick, hoping to eventually find the exit. 彼らは、彼らが登ろうとしている丘の形を見ることができないが、一度に1本の石でしか見えず、まるでサンフランシスコを盲点と、歩道の1平方インチしか見せない拡大ガラスで航海しようとしているようなものだ。 The problem? They use false infinitesimals with point-wise myopic vision. 彼らは、点向きの短所視力を持つ偽の無限数を使用しています。 The problem? They use false infinitesimals with point-wise myopic vision. 彼らは、点向きの短所視力を持つ偽の無限数を使用しています。 The problem? They use false infinitesimals with point-wise myopic vision. 彼らは、点向きの短所視力を持つ偽の無限数を使用しています。 But wait, it gets dumber: you have to pick your epsilon (the step size) あなたは衝突し始める 大きすぎる? あなたはパーティーで、巨大なステップを踏み出して壁に突っ込む酔っ払った男です。 あなたはパラノイドのスナックのように前進し、どこにもいないうちに老後で死ぬのです。 はい、この混乱は19世紀の計算とそのエプシロン - デルタ限界形式主義から来ています。 前 しかし、最もクレイジーなことは、トレーニング中に起こります: AI は、その損失機能を最小限に抑えようとしているこれらの最適化ステップの数十億を実行します 数十億! それぞれが、バグなロボットのように崖から飛び降りたり、Windows が1%で充電するように進歩したりします。 But the craziest thing of all happens during training: AI runs billions of these tiptoeing optimization steps trying to minimize its loss function. Billions! Each one either jumps off the cliff like a buggy robot or advances like Windows loading at 1%. The computational waste is absolutely bonkers - all because this outdated framework, born in the 19th century, forces you to pick an epsilon value beforehand. あなたは、10^-8のような何かから始まり、「Eh、ゼロに十分に近い、正しい?」間違っています。それを平方で、あなたは10^-16を得ます。 まだ。 ゼロではありません。 何十億回繰り返しを経て、これらの無限値は地獄から化合物の利益のように積み重ね、数値の爆発、不安定性、および丸めのエラーを生み出し、最終的に完全なAI幻覚に変わります。 The second error はい、簡単な解決策があります:この全体のピエロショーを笑うダブルナンバーシステムに切り替えます. 制限はありません. エプシロンギャンブルゲームはありません. 何十億のステップのハムスターホイールはありません. 定義によって ε2 = 0 の場合、近似性はありません、実際の数学法則:由来は正確であり、トポロジーはすべてのものに属する場所を教えてくれます。 はい、簡単な解決策があります:この全体のピエロショーを笑うダブルナンバーシステムに切り替えます. 制限はありません. エプシロンギャンブルゲームはありません. 何十億のステップのハムスターホイールはありません. 定義によって ε2 = 0 の場合、近似性はありません、実際の数学法則:由来は正確であり、トポロジーはすべてのものに属する場所を教えてくれます。 はい、簡単な解決策があります:この全体のピエロショーで笑うダブルナンバーシステムに切り替えます。 The Attention Apocalypse 「注意」と呼ばれるものを使用し、各単語が他のすべての単語を見る. それは、テキストの長さを2倍にする場合、計算が4倍になることを意味するN平方複雑さです。 Transformers (the tech behind ChatGPT, not the robots) Transformers (the tech behind ChatGPT, not the robots) With 1000 words? That’s a million comparisons. With 10000 words? 100 million comparisons. Your AI is basically reading a book by comparing every single word to every other word simultaneously. Exhausting and expensive. 私たちのToroidalモデルがAI Flatland Doomを修正する方法 わたしと一緒にここにいなさい。 フラットプレートの代わりに、我々はA ドナルド (数学的にはトーラス) フラットプレートの代わりに、我々はA ドナルド ドナルド (数学的にはトーラス) ドーナツの上で、さまざまな方法でそれを取り巻くことができます:穴の周り、穴を通して、または両方。 それは確率ではなく、トポロジーです さまざまな曲がりパターンは、サークルと図8のように異なります。 これらの「風向きのパターン」は、あらゆる概念にユニークなアドレスを与えます。 できない collide これらの「風向きのパターン」は、あらゆる概念にユニークなアドレスを与えます。 できない できない collide The Real Infinitesimals - it’s the definition. This means our layers are separated by actual infinitesimals, not fake ones. No numerical explosions. No gradient descent needed. The topology just… works. We use dual numbers where ε² = 0 isn’t an approximation We use dual numbers where ε² = 0 isn’t an approximation Sparse by Design ほとんどの接続は「ゼロに近い」のではなく、 これは、複雑さをN平方から線形に落とします. それは1億の比較ですか? 当社の注意メカニズムは、互換性のある折りたたみパターンのみを接続します。 構造的に不可能 Now it’s 10,000. 当社の注意メカニズムは、互換性のある折りたたみパターンのみを接続します。 Now it’s 10,000. The Bottom Line Bottom Line JEPAとこれらの新しいAIアーキテクチャは、私たちの非常に原始的な状態を真のAIに置き換えるのに適したアイデアです。 実際の飛躍は、パラメータの別の調整から来るのではなく、空間自体を変えることから来るでしょう。 実際の飛躍は、パラメータの別の調整から来るのではなく、空間自体を変えることから来るでしょう。 We need to abandon the Euclidean coffin that traps intelligence in two dimensions, and build in a topology where meaning can breathe. 私たちのトロイドモデルでは、コンセプトは衝突したり混乱したりしません. They live in separate, protected neighborhoods: each one infinitesimally distinct, each one safe from the chaos of false merges. 彼らは別々の保護された近隣に住んでいます。 なぜToroidal AIはまだ構築されていないのか - まだ 今、鋭い読者は尋ねるかもしれません: “If this is so obvious, why hasn’t anyone built it yet?” 「もしこれが明らかならば、なぜ誰もまだ建てていないのだろうか?」 Fair question - and the answer itself proves the point. 人工知能の全設は、ユークリッドの建築に数兆ドルを埋め込んだ。 その地理を置き換えることは、その基盤から大聖堂を再建することを意味し、ほとんどのエンジニアが自分たちの寺院の柱を揺さぶる勇気を持っている。 1. Institutional Inertia: すべてのフレームワーク、すべてのGPUカーネル、すべての最適化ルートは、平らな世界を前提とします。 すべてのフレームワーク、すべてのGPUカーネル、すべての最適化ルートは、平らな世界を前提とします。 Every framework, every GPU kernel, every optimization routine assumes a flat world 彼らが曲線、連続性、および二重数で理論することを再訓練することは、週末のチュートリアルではありません - それは数学の文法の文明の転換です。 2. The Workforce Barrier: __ 機械学習エンジニアの全世代が、地理学ではなくグレディエントで考えるように訓練されています。 機械学習エンジニアの全世代が、地理学ではなくグレディエントで考えるように訓練されています。 真の地理学的パラダイムの転換は、既存の知的財産とライセンスチェーンの全層を無効にするだろう。 3. Patents and IP Locks: ビッグテクノロジーは革新するのではなく、そのを守る ビッグテクノロジーは革新するのではなく、そのを守る クラウドインフラストラクチャからAIチップまで、すべては平地パラダイムのために作られています。 それは壊れており、機械は動き続ける――。 . 4. The Sunk-Cost Fallacy: know なぜなら、それを認めれば、あまりにも多くのバランスシートとあまりにも多くのエゴが崩壊するからだ。 because admitting it would collapse too many balance sheets and too many egos なぜなら、それを認めれば、あまりにも多くのバランスシートとあまりにも多くのエゴが崩壊するからだ。 はい、まだ建てられていません。 間違っているからではない。 But because it’s あまりに破壊的で、自分自身の過ちに依存する世界にとってはあまりに費用がかかる。 too right And that’s precisely why it will happen. なぜなら、数学は誰が抵抗するかを気にしないからだ。 単純に勝つ(いつも) Toroidal AIは、あらゆる破壊的なテクノロジーが前にあるように進化するのを見るでしょう:最初に無視しすぎて、投資に1兆ドルを脅かしすぎました。その後、トポロジーを理解していない人々の「クレークポット」の非難を嘲笑しました。 Toroidal AIは、あらゆる破壊的なテクノロジーが前にあるように進化するのを見るでしょう:最初に無視しすぎて、投資に1兆ドルを脅かしすぎました。その後、トポロジーを理解していない人々の「クレークポット」の非難を嘲笑しました。 History doesn’t repeat itself. It curves. 😁 Top 10 Essential References On JEPA Architectures: (September 2025) 1.- LLM-JEPA: Large Language Models Meet Joint Embedding Predictive Architectures 1.- LLM-JEPA: Large Language Models Meet Joint Embedding Predictive Architectures 1.- LLM-JEPA:大規模な言語モデルが共通の埋め込み予測アーキテクチャに出会う (2025年4月) 2.- ACT-JEPA: Novel Joint-Embedding Predictive Architecture for Efficient Policy Representation Learning ACT-JEPA: Novel Joint-Embedding Predictive Architecture for Efficient Policy Representation ACT-JEPA: Novel Joint-Embedding Predictive Architecture for Efficient Policy Representation (February 2025) 3.- Point-JEPA: A Joint Embedding Predictive Architecture for Self-Supervised Learning on Point Cloud 3.- Point-JEPA: A Joint Embedding Predictive Architecture for Self-Supervised Learning on Point Cloud 3.- Point-JEPA: A Joint Embedding Predictive Architecture for Self-Supervised Learning on Point Cloud On Transformer Attention Complexity: (October 2024) 4.- The End of Transformers? On Challenging Attention and the Rise of Sub-Quadratic Architectures 4. トランスフォーマーの終焉? 注目に挑戦し、次元構造の出現について 4. トランスフォーマーの終焉? 注目に挑戦し、次元構造の出現について (2023年10月、2024年から2025年まで広く引用されている) FlashAttention-2:Faster Attention with Better Parallelism and Work Partitioning (FlashAttention-2:より速い注意とより良い並行性と作業分割) FlashAttention-2:Faster Attention with Better Parallelism and Work Partitioning (FlashAttention-2:より速い注意とより良い並行性と作業分割) FlashAttention-2:Faster Attention with Better Parallelism and Work Partitioning (FlashAttention-2:より速い注意とより良い並行性と作業分割) Toroidal/Topological Neural Networksについて: (2022年1月、Nature — still fundamental for 2024–25 work) 6.- Toroidal Topology of Population Activity in Grid Cells Toroidal Topology of Population Activity in Grid Cells(グリッドセルにおける人口活動のトポロジー) 6.- Toroidal Topology of Population Activity in Grid Cells (2022年6月) 7.- Deep Networks on Toroids: Removing Symmetries Reveals the Structure of Flat Regions in the Landscape Geometry Toroids: Removing Symmetries Reveals the Structure of Flat Regions in the Landscape Geometry トロイドの深いネットワーク:シメトリーを取り除くことは、風景の地理学における平らな領域の構造を明らかにする Toroids: Removing Symmetries Reveals the Structure of Flat Regions in the Landscape Geometry トロイドの深いネットワーク:シメトリーを取り除くことは、風景の地理学における平らな領域の構造を明らかにする On Dual Numbers & Automatic Differentiation: (2025年1月) Double Numbers for Arbitrary Order Automatic Differentiation デュアルナンバー Double Numbers for Arbitrary Order Automatic Differentiation デュアルナンバー Double Numbers for Arbitrary Order Automatic Differentiation デュアルナンバー LLM Hallucinationsについて: (2025年9月) 9.- Why Language Models Hallucinate なぜ言語モデルが幻覚化するのか 9.- Why Language Models Hallucinate ボーナス - Yann LeCunのビジョン: (2025年4月) 10.- Navigation World Models 10.- Navigation World Models 10. Navigation World Models (ナビゲーション・ワールド・モデル)