致命的数学错误杀死了每个AI架构 - 包括新的

LLMs are already museum pieces LLMs已经是博物馆作品 Why JEPA, transformers, and LLMs all fail in the same Euclidean flatland, and the toroidal geometry that fixes them 是的,ChatGPT,克劳德,双胞胎,他们都是一个已经结束的语言时代的辉煌化石。 :更大的模型,更长的背景,每瓦的幻觉更多。 仍在花费数十亿美元来打扫他们的棺材 仍在花费数十亿美元来打扫他们的棺材 仍在花费数十亿美元来打扫他们的棺材 “预测下一个词”LLM时代已经结束。 舞台上的新杀手不是语言,而是世界模型。 一个理解现实的人工智能就像一个概念拼图,你不需要每件东西才能看到整个图像。 我们还没有把旧的LLM明星从舞台上拖走,如果你仍然在鼓励聊天机器人建立你的职业生涯,你正在为已经消失的世界做准备。 我们还没有把旧的LLM明星从舞台上拖走,如果你仍然在鼓励聊天机器人建立你的职业生涯,你正在为已经消失的世界做准备。 我们还没有把旧的LLM明星从舞台上拖走。 如果你仍然围绕着鼓励聊天机器人来建立你的职业生涯,你正在为已经消失的世界做准备。 我们不需要像没有大脑的鸭子那样撕裂代币的机器,我们需要机器。 ,这 ,这 “Stochastically parroted”在2023年是可爱的。 carry objects through time bind cause to effect keep the scene consistent 以下是我们中的许多人在科技行业之前已经看到的:如果人工智能继续缝 相反, 燃烧的行业 likelihood reality 1 trillion dollars JEPA是新AI的希望吗? 在不远于门洛公园的星系中,一个新的缩写从聊天机器人帝国的灰中崛起: JEPA! The promised one. The architecture was said to restore balance to the Force after the LLM wars. 在我们让Meta的营销部门将其称为下一个弥赛亚之前,让我们解密缩写。 站为 四个字,听起来很深刻,直到你意识到他们描述了一个相当古老的想法穿着一个新的GPU涂料: JEPA Joint Embedding Predictive Architecture - 联合,因为它训练一个场景的两半 - 一个可见的,一个伪装的 - 并迫使他们在共享的隐藏空间中达成一致。 , because instead of dealing with raw pixels or words like LLMs do, it operates in dense vector representations: the hidden space where modern AI stores meaning. Embedding 预测性,因为它的唯一技巧是从它仍然看到的部分预测缺失的部分。 建筑,因为每一个新的AI概念都需要一个令人印象深刻的词汇在结尾看起来学术。 《新大祭司》 cult - 喜欢用简单的英语说: As 安东尼 读书 - 后期LLM 如 安东尼 读书 安东尼 读书 后期LLM 智力不是语言,也不是预测下一个单词,智力是预测世界会发生什么。 智力不是语言,也不是预测下一个单词,智力是预测世界会发生什么。 . 它学习到 不是通过生成文本或像素,而是通过调整内部表示,以便 . 而这正是JEPA试图做的。 guess what’s missing in a world it only half perceives context can explain absence 而这正是JEPA试图做的。 It doesn’t write; it completes. It doesn’t imagine; it infers. 它不写;它完成;它不想象;它推断。 太好,以至于是真的? 但你可能想知道这是否是真正的交易 - 或者只是另一款半面包技术产品,具有更明亮的LED和更糟糕的智能 让我们切断大谈话一秒钟。 目标介绍 就像一个雕刻在硅的启示:“真正的智能”的黎明,聊天机器人的终结,世界模范神的开始。 JEPA 乍一看,它真的 看着那样 - 直到你 切掉营销幻灯片,你会看到实际上是什么。 不完全是LeCun出售的奇迹,但仍然有价值的东西: 虽然还有很长的路要走 做 一步朝着正确的方向 For now, JEPA lives mostly in 虽然,当 仍然在同一方面沉重地倾斜 他们声称已超越(见下图1)。 videos and physical-world scenarios wording layer stochastic parrot LLMs 当然,Meta只是不愿在小册子中提到这一部分。 所以,是的,在蓝图中,JEPA看起来很聪明 - 新的模块,闪亮的箭头和新鲜的目的感,但在底下,我们仍然在搅动相同的锅。 单词汤问题刚刚升级到 . 不同的口味,相同的消化不良。 concept-soup 要公平, 这不是纯粹的营销香烟。 正如下面的图表所示 - 幽默地剥夺了Meta的胜利光芒,其 , ,和 形成一个干净的小三角形,真正从 关于LLMs JEPA context encoder target encoder predictor token tyranny 那么,你实际上能做什么 与 你在问? 你可以显示白 ,并预测缺失的部分 不是通过绘画像素,而是通过 . 这就是进步: 做 JEPA h half an image 对于你, reasoning in latent space perception over parroting. 这里是 lineup: 认可 只有几个标记样本的对象,令人印象深刻。 它仍然在固定的分散噪音下失败,从不触摸语言。 吉普赛 图像 But 吉普赛 吉普赛 ,在视频上训练学习运动直觉,移动什么,何时以及为什么。 不是真正的物理:碰撞,力量,接触仍然远离。 Then comes 吉普赛 But Then comes V-JEPA 吉普赛 更多关于机器人吗? **指引机器人手臂,预测物体在行动之前的行为。 它仍然在物理基准上追踪人类,讽刺的是,它需要一个 谈论他所看到的。 第2章 夹克 But LLM 第2章 夹克 因此,是的,进步,足以宣布LLM技术是人造生命维护的化石 - 但仍然平原思维装扮成启示。 And that’s the part Meta doesn’t want you to see. 以下是JEPA滑板图和LeCun自信的声明背后的致命秘密:他们通过创建一个数学上更糟糕的建筑解决了语言问题。 他们只是为了建造一个具有更厚的墙壁的概念监狱而逃脱了词监狱。 以下是JEPA滑板图和LeCun自信的声明背后的致命秘密:他们通过创建一个数学上更糟糕的建筑解决了语言问题。 语言学 建筑 他们只是为了建造一个具有更厚的墙壁的概念监狱而逃脱了词监狱。 想想一下:LLM是糟糕的,因为它们把现实看作是线性的代币序列:通过概率空间进行一维游行。 ” and jumps into high-dimensional representation space, where concepts float as vectors in a . 我们比这更聪明 第768章 云 我们比这更聪明 听起来令人印象深刻,不是吗? Wrong. They just traded a bad neighborhood for a worse one: the kind where . 数学规律本身保证失败。 新AI架构的致命数学终结:他们仍然看到一个平坦的世界 And now, get ready, dear reader, to learn what you won’t read anywhere else. How the mathematical poison is silently killing every AI architecture — from the LLM dinosaurs to the new kids who swear they’ll fix everything. 停止呼吸 ↓ 這就是故事變得危險的地方。 But don’t worry, we have the antidote. And you can use it to your own advantage. 在你继续之前,一个小建议。 如果你想更深入地沉浸 - 进入粗糙的,神秘的,美丽的数学,这无疑证明了双数的托罗伊德模型如何治愈幻觉和迫害当今AI架构的短暂的命运 - 我为你留下了几个敞开的门: → →__ __\→ JEPA-AI: Core Technologies & Programming Stack The Mathematical Myopia of New AI Architectures Mathematical Core Equations: AI JEPA’s Failures vs. AI-Toroidal Truth JEPA-AI:核心技术和编程堆栈 JEPA-AI:核心技术和编程堆栈 新AI架构的数学短信 数学核心方程式:AI JEPA的失败与AI-Toroidal真理 Mathematical Core Equations: AI JEPA’s Failures vs. AI-Toroidal Truth 如果你愿意,在那里度过你的时间。 如果没有,就跟我们在一起吧。 我们即将跨越事件视野。 现在,让我们继续吧。 假设你试图组织你的巨大的音乐库,你可以把所有的歌曲扔到一个巨大的文件夹中,并希望你的计算机可以根据......振动来分辨“天堂的梯子”和“地狱的高速公路”之间的区别?这基本上就是JEPA和新的AI架构正在做的事情。 这里是问题:这些系统生活在数学家称之为“欧克利底空间”的环境中,基本上是一个平的,无限的表格,其中一切都是一堆浮动的数字。 这就是为什么你会发现相同的数学命运被烤到所谓的“下一代”AI系统中:那些被出售为对LLM毒药。 This is why you’ll find the same mathematical doom baked right into the so-called “next generation” AI systems: the ones sold as the antidote to LLM poison. They promise salvation but inherit the same broken math. This is why you’ll find the same mathematical doom baked right into the so-called “next generation” AI systems: the ones sold as the antidote to LLM poison. They promise salvation but inherit the same broken math. — Welcome again to the Hall of AI Shame. Here they are. — The Birthday Party Disaster 你知道生日悖论吗?把23个随机的人放在一个房间里,有50%的机会有两个共享生日。 “白色卡车”最终看起来几乎与“明亮的天空”相同,因为他们在这个巨大的数字汤中降落在几乎相同的地方,这就是你获得那些自动驾驶的特斯拉杀手汽车的方式。 数学说: 碰撞保障 数学说: 碰撞保障 碰撞保障 这就像试图通过随机将书扔进仓库来组织一个图书馆,并希望你可以通过记住它们的大约坐标来找到它们。 The Gradient Descent Hamster Wheel 当前的AI架构使用所谓的“梯度下降”来找到错误函数给出的最小错误,这是一个幻想的方式,说他们在黑暗中碰撞。 poking things with a stick, hoping to eventually find the exit. . They can’t see the shape of the hill they’re trying to climb down, just one pebble at a time. It’s like trying to navigate San Francisco with a blindfold and a magnifying glass that only shows you one square inch of sidewalk. The problem? They use fake infinitesimals with point-wise myopic vision The problem? They use fake infinitesimals with point-wise myopic vision The problem? They use fake infinitesimals with point-wise myopic vision 但是等待,它变得愚蠢:你必须选择你的epsilon(步骤大小) 你开始碰撞,把它弄得太大吗?你在派对上喝醉了,踏上巨大的步伐,撞入墙壁,太小了吗?你像一个偏执狂的子一样前进,在你到达任何地方之前,你会死于老年。 之前 但是最疯狂的事情发生在训练过程中:人工智能运行了数十亿的这些优化步骤,试图最大限度地减少其损失功能! 数十亿! 每个步骤要么像一个buggy 机器人一样跳下悬崖,要么像 Windows 加载 1% 这样的进展,计算浪费绝对是可怕的 - 所有这些都是因为这个过时的框架,诞生于19世纪,迫使您提前选择一个epsilon值。 但是最疯狂的事情发生在训练过程中:人工智能运行了数十亿的这些优化步骤,试图最大限度地减少其损失功能! 数十亿! 每个步骤要么像一个buggy 机器人一样跳下悬崖,要么像 Windows 加载 1% 这样的进展,计算浪费绝对是可怕的 - 所有这些都是因为这个过时的框架,诞生于19世纪,迫使您提前选择一个epsilon值。 caused by this outdated way of doing infinitesimal calculus is the compounding effect of tiny approximation errors. You start with something like 10^-8 and think, “Eh, close enough to zero, right?” Wrong. Square it and you get 10^-16. Still. Not. Zero. After billions of iterations, these pretend infinitesimals pile up like compound interest from hell, spawning numerical explosions, instabilities, and rounding errors that eventually turn into full-blown AI hallucinations. The second error Yup, there is an easy solution: switch to a dual-number system that laughs at this entire clown show. No limits. No epsilon guessing games. No billion-step hamster wheel. When ε² = 0 by definition, not approximation, actual mathematical law: derivatives are exact, and topology just tells you where everything belongs. No stumbling required. 是的,有一个简单的解决方案:切换到一个双数字系统,在整个小丑秀中笑。 没有限制. 没有 Epsilon 猜测游戏. 没有十亿步的锤子轮. 当 ε2 = 0 定义时,没有接近,实际的数学定律:衍生品是准确的,而 topology 只是告诉你一切都属于哪里。 Yup, there is an easy solution: switch to a dual-number system that laughs at this entire clown show. The Attention Apocalypse 使用一种叫做“注意力”的东西,每个单词都看到了其他每个单词,这就是N平方的复杂性,这意味着如果你翻倍你的文本长度,计算会增加4倍。 转换器(ChatGPT背后的技术,而不是机器人) 转换器(ChatGPT背后的技术,而不是机器人) 用1000个单词?这是一百万个比较?用10万个单词?用100万个比较.你的AI基本上是通过将每一个单词与每一个单词同时进行比较来读一本书。 How Our Toroidal Model Fixes the AI Flatland Doom . Stay with me here. 而不是一个平板表格,我们使用一个 donut (mathematically, a torus) 而不是一个平板表格,我们使用一个 唐人 donut (数学上,一个托鲁斯) 你可以用不同的方式包裹一根弦:围绕洞,穿过洞,或者两者。 它不是概率,它是 topology. 不同的弯曲模式就像一个圆圈和一个图8一样不同。 这些“浮动模式”给每一个概念一个独特的地址。 不能 碰撞 这些“浮动模式”给每一个概念一个独特的地址。 不能 cannot 碰撞 The Real Infinitesimals - it’s the definition. This means our layers are separated by actual infinitesimals, not fake ones. No numerical explosions. No gradient descent needed. The topology just… works. We use dual numbers where ε² = 0 isn’t an approximation 我们使用双数,其中 ε2 = 0 不是一个接近。 Sparse by Design . Most connections are exactly zero - not “close to zero” but 这将复杂性从N平方降至线性,这100万个比较? Our attention mechanism only connects compatible winding patterns 结构上不可能 现在是10万。 Our attention mechanism only connects compatible winding patterns 现在是10万。 The Bottom Line The Bottom Line JEPA和这些新的AI架构是取代我们非常原始状态的正确想法,以真正的AI。 真正的跳跃不会来自参数的另一个调整,它将来自改变空间本身。 The real leap won’t come from another tweak in parameters. It will come from changing the space itself. 我们需要放弃把智力陷入两维的欧克利底棺材,并构建一个含义可以呼吸的地方。 In our toroidal model, concepts don’t collide or blur. They live in separate, protected neighborhoods: each one infinitesimally distinct, each one safe from the chaos of false merges. 为什么Toroidal AI尚未建成 - 然而 现在,尖锐的读者可能会问: “如果这是很明显的,为什么没有人建造它呢?” “如果这是很明显的,为什么没有人建造它呢?” 公平的问题 - 答案本身证明了这一点。 The entire AI establishment has sunk trillions into Euclidean architectures. . Replacing that geometry would mean rebuilding the cathedral from its foundations - and few engineers dare shake the pillars of their own temple. 1. Institutional Inertia: Every framework, every GPU kernel, every optimization routine assumes a flat world 每个框架,每个GPU内核,每个优化流程都假定了一个平坦的世界。 每个框架,每个GPU内核,每个优化流程都假定了一个平坦的世界。 重新训练他们用曲线,连续性和双数来推理不是一个周末的教程 - 这是数学文盲的文明转变。 2. The Workforce Barrier: __ A full generation of machine-learning engineers has been trained to think in gradients, not geometry A full generation of machine-learning engineers has been trained to think in gradients, not geometry 任何真正的地理范式的改变都会使现有的知识产权和许可链的整个层无效,系统不是对真理的优化,而是对控制的优化。 3. Patents and IP Locks: Big Tech doesn’t innovate; it defends its moat Big Tech doesn’t innovate; it defends its moat From cloud infrastructure to AI chips, everything has been built for the flatland paradigm. Even when engineers it’s broken, the machinery keeps running - . 4. The Sunk-Cost Fallacy: 知道 因为承认它会破坏太多平衡板和太多自我。 因为承认它会破坏太多平衡板和太多自我。 because admitting it would collapse too many balance sheets and too many egos 所以是的 - 它还没有建造。 不是因为这是错的。 但因为它是 对于一个依赖于自己的错误的世界来说,这太破坏了,太昂贵了。 too right 而这正是为什么会发生的原因。 因为数学并不在乎谁会抵制它。 它只是赢了 - 总是。 很快,新的初创公司会注意到这种差距,你会看到Toroidal AI正如每一个破坏性的技术所看到的那样发展:首先忽略了 - 太威胁到一万亿美元的沉没投资,然后嘲笑了不理解 topology的人们的“裂缝”指控,最后胜利地接受了*“当然!我们总是知道欧克利底空间是错误的。 很快,新的初创公司会注意到这种差距,你会看到Toroidal AI正如每一个破坏性的技术之前一样演变: 第一次被忽略 - 然后嘲笑了那些不理解地理学的人的“裂缝”指控。 最后,他胜利地接受了“当然!我们总是知道欧克利底空间是错误的。 太威胁到一万亿美元的沉没投资。 History doesn’t repeat itself. It curves. 😁 十大必不可少参考 On JEPA Architectures: (September 2025) LLM-JEPA:大型语言模型满足联合嵌入预测架构 LLM-JEPA:大型语言模型满足联合嵌入预测架构 LLM-JEPA:大型语言模型满足联合嵌入预测架构 (截至2025年) 2.- ACT-JEPA: Novel Joint-Embedding Predictive Architecture for Efficient Policy Representation Learning 2.- ACT-JEPA: Novel Joint-Embedding Predictive Architecture for Efficient Policy Representation Learning 2.- ACT-JEPA: Novel Joint-Embedding Predictive Architecture for Efficient Policy Representation Learning (2025年2月) 3.- Point-JEPA: A Joint Embedding Predictive Architecture for Self-Supervised Learning on Point Cloud Point-JEPA:在点云上实现自我监督学习的联合嵌入预测架构 Point-JEPA:在点云上实现自我监督学习的联合嵌入预测架构 關於轉換注意力複雜性: (2024年10月) 变形师的终结?关于挑战注意力和次方形建筑的崛起 变形师的终结?关于挑战注意力和次方形建筑的崛起 变形师的终结?关于挑战注意力和次方形建筑的崛起 (2023年10月,2024年至2025年仍被广泛引用) FlashAttention-2:更快的注意力与更好的平行和工作分区 FlashAttention-2:更快的注意力与更好的平行和工作分区 FlashAttention-2:更快的注意力与更好的平行和工作分区 关于托洛伊德 / 地形神经网络: (2022年1月,自然 - 仍然是2024年至2025年工作的基础) 网格细胞中人口活动的托洛伊德拓扑 网格细胞中人口活动的托洛伊德拓扑 6.- Toroidal Topology of Population Activity in Grid Cells (2022年6月) 7.- Deep Networks on Toroids: Removing Symmetries Reveals the Structure of Flat Regions in the Landscape Geometry 7.- Deep Networks on Toroids: Removing Symmetries Reveals the Structure of Flat Regions in the Landscape Geometry 7.- Deep Networks on Toroids: Removing Symmetries Reveals the Structure of Flat Regions in the Landscape Geometry 关于双数和自动差异化: (2025年1月) 8-. Dual Numbers for Arbitrary Order Automatic Differentiation 8-. Dual Numbers for Arbitrary Order Automatic Differentiation 双数 自动分化 任意排序 关于LLM幻觉: (2025年9月) 为什么语言模型幻觉 为什么语言模型幻觉 为什么语言模型幻觉 奖金 - Yann LeCun的愿景: (截至2025年) 10.- Navigation World Models 导航世界模型 导航世界模型