Fatalny błąd matematyki zabija każdą architekturę AI - w tym nowe

LLMs are already museum pieces LLM są już sztukami muzealnymi Why JEPA, transformers, and LLMs all fail in the same Euclidean flatland, and the toroidal geometry that fixes them Tak, ChatGPT, Claude, Gemini, wszystkie z nich. Świetne skamieniałości epoki językowej, która już się kończy. : większe modele, dłuższe konteksty, więcej halucynacji na wat. Miliardy są nadal wydawane na polerowanie swoich trumien Miliardy są nadal wydawane na polerowanie swoich trumien Miliardy są nadal wydawane na polerowanie swoich trumien Era "przewidzieć następne słowo" LLM dobiegła końca. Nowy zabójca na scenie to nie język, to modelowanie świata. Sztuczna inteligencja, która rozumie rzeczywistość jak koncepcyjną zagadkę, w której nie potrzebujesz każdego kawałka, aby zobaczyć cały obraz. Po prostu jeszcze nie wyciągnęliśmy starych gwiazd LLM ze sceny.Jeśli nadal budujesz swoją karierę wokół zachęcania chatbotów, przygotowujesz się do świata, który już minął. Po prostu jeszcze nie wyciągnęliśmy starych gwiazd LLM ze sceny.Jeśli nadal budujesz swoją karierę wokół zachęcania chatbotów, przygotowujesz się do świata, który już minął. Nie wyciągnęliśmy jeszcze starych gwiazd LLM ze sceny. Jeśli nadal budujesz swoją karierę wokół promowania chatbotów, przygotowujesz się do świata, który już zniknął. Nie potrzebujemy maszyn, które rzucają tokeny jak papugi bez mózgu. Tego Tego . “Stochastically parroted” was cute for 2023. It’s not intelligence. It’s probability cosplay. carry objects through time bind cause to effect keep the scene consistent I oto, co wielu z nas widziało już wcześniej w branży technologicznej: jeśli AI nadal szczyci się Zamiast Przemysł, który spłonął Wkrótce wybuchną kokardki. – Wkrótce wybuchną. likelihood reality 1 trillion dollars Czy JEPA to nowa nadzieja AI? W galaktyce nie tak daleko od Menlo Park, z popiołów imperium chatbotów powstaje nowy akronim: JEPA! The promised one. The architecture was said to restore balance to the Force after the LLM wars. Zanim pozwolimy działowi marketingowemu Meta ochrzcić go jako następnego Mesjasza, zdekodujmy akronim. stoją za cztery słowa, które brzmią głęboko, aż zdajesz sobie sprawę, że opisują dość stary pomysł noszący nowy płaszcz z lakierem GPU: JEPA Joint Embedding Predictive Architecture - Wspólne, ponieważ trenuje dwie połowy sceny - jedną widoczną, jedną maskowaną - i zmusza ich do zgody w wspólnej ukrytej przestrzeni. Embedding, ponieważ zamiast zajmować się surowymi pikselami lub słowami takimi jak LLM, działa w gęstych reprezentacjach wektorowych: ukrytej przestrzeni, w której nowoczesna sztuczna inteligencja przechowuje znaczenie. Jest przewidywalna, ponieważ jej jedynym sztuczką jest przewidywanie brakującego kawałka z tego, który nadal widzi. , because every new AI concept needs an impressive noun at the end to look academic. Architecture Nowy arcykapłan z Lubię to powiedzieć w prostym języku angielskim: As Yann LeCun - Poziom LLM As Yann LeCun Yann LeCun Poziom LLM Intelligence isn’t language, nor is it predicting the next word. Intelligence is predicting what will happen in the world. Inteligencja nie jest językiem, ani też nie przewiduje następnego słowa. . Uczy się to — nie poprzez generowanie tekstu lub pikseli, ale poprzez dostosowanie wewnętrznych reprezentacji w taki sposób, aby . And that’s exactly what JEPA tries to do guess what’s missing in a world it only half perceives context can explain absence I to jest dokładnie to, co JEPA stara się zrobić Nie pisze; wypełnia; nie wyobraża sobie; wyciąga wnioski. Nie pisze; wypełnia; nie wyobraża sobie; wyciąga wnioski. Zbyt dobry, by był prawdziwy? Ale prawdopodobnie zastanawiasz się, czy jest to prawdziwa transakcja - lub po prostu kolejny półgotowany produkt technologiczny z jaśniejszymi diodami LED i szorstszą inteligencją. Przerzućmy na chwilę wielką rozmowę. Meta prezenty like a revelation carved in silicon: the dawn of “true intelligence,” the end of chatbots, the start of world-model gods. JEPA Na pierwszy rzut oka, to naprawdę Spójrz w ten sposób – aż strip off the marketing halo, and you’ll see what’s actually there. Nie całkiem cud LeCun sprzedaje, ale nadal coś cennego: Ale jeszcze długa droga do podróży czyni Krok w dobrym kierunku For now, JEPA lives mostly in Podczas gdy The Wciąż ciężko na tym samym Oznacza to, że przekroczyły one wartość (patrz tabela 1 poniżej). videos and physical-world scenarios wording layer stochastic parrot LLMs Of course, Meta just prefers not to mention that part in the brochures. No surprise there Tak więc tak, w projekcie, JEPA wygląda inteligentnie - nowe moduły, błyszczące strzały i świeże poczucie celu, ale pod tym, nadal poruszamy ten sam garnek. Problem słowo-supa właśnie otrzymał aktualizację do . Różne zapachy, ta sama niedojrzałość. concept-soup By być sprawiedliwym, To nie jest czysty marketing. Jak pokazuje poniższy wykres – humorystycznie pozbawiony triumfalnego blasku Meta, jego , , oraz tworzy drobną trójkę, która prawdziwie odpada od of LLMs. JEPA context encoder target encoder predictor token tyranny Co tak naprawdę możesz z Czy Pan pyta? Możesz pokazać wit i przewiduje brakującą część Nie na pixelach, ale na . To jest postęp: do JEPA h half an image Dla Ciebie , reasoning in latent space perception over parroting. A oto lineup: Uznany Obiekty z zaledwie kilkoma oznakowanymi próbkami, imponujące. it still fails under fixed distractor noise and never touches language. I-JEPA wizerunek But I-JEPA I-JEPA , przeszkolony na wideo, aby nauczyć się intuicji ruchu, co się porusza, kiedy i dlaczego. nie realna fizyka: kolizje, siły, kontakt nadal poza zasięgiem. Następnie przychodzi V-JEPA But Następnie przychodzi V-JEPA V-JEPA Więcej na temat robotyki? **przewodzi ramionami robotów, przewidując zachowanie obiektów przed działaniem. it still trails humans on physical benchmarks and, irony of ironies, needs an Rozmawiać o tym, co widzi. V-JEPA 2 But LLM V-JEPA 2 Tak więc tak, postęp, wystarczający, aby ogłosić technologię LLM jako skamieniałość w sztucznym utrzymaniu życia - ale nadal myślenie na płaskiej ziemi ubierało się jako objawienie. And that’s the part Meta doesn’t want you to see. Here’s the fatal secret hiding behind JEPA’s slick diagrams and LeCun’s confident declarations: they solved the problem by creating an one that’s mathematically far worse. linguistic Architektoniczny Uciekli z więzienia słów tylko po to, by zbudować więzienie koncepcyjne z grubszymi ścianami. Here’s the fatal secret hiding behind JEPA’s slick diagrams and LeCun’s confident declarations: they solved the problem by creating an one that’s mathematically far worse. linguistic Architektoniczny językowość Architektoniczny Uciekli z więzienia słów tylko po to, by zbudować więzienie koncepcyjne z grubszymi ścianami. Pomyśl o tym: LLM były złe, ponieważ traktowały rzeczywistość jako liniową sekwencję tokenów: jednostronny marsz przez przestrzeń prawdopodobieństwa. i wchodzi w przestrzeń reprezentacji wysokim wymiarze, gdzie koncepcje pływają jako wektory w . Jesteśmy mądrzejsi od tego 768-wymiarowe chmury Jesteśmy mądrzejsi od tego Sounds impressive, right? Wrong. Po prostu wymieniali złe sąsiedztwo na gorsze: rodzaj, w którym . Prawa matematyki gwarantują porażkę Fatalny matematyczny koniec nowych architektur sztucznej inteligencji: nadal widzą płaski świat I teraz, przygotuj się, drogi czytelniku, aby dowiedzieć się, czego nie przeczytasz nigdzie indziej. jak matematyczny trucizna milcząco zabija każdą architekturę sztucznej inteligencji - od dinozaurów LLM po nowe dzieci, które przysięgają, że naprawią wszystko. Stop. oddychaj 😄 To tam historia staje się niebezpieczna. But don’t worry, we have the antidote. And you can use it to your own advantage. Zanim zaczniesz, mała rekomendacja. Jeśli chcesz zanurzyć się głębiej - w szorstką, nerdy, piękną matematykę, która bez wątpienia udowadnia, jak model dwucyfrowy toroidalny leczy halucynacje i krótkowzroczność, która nęka dzisiejsze architektury AI - zostawiłem kilka drzwi otwartych dla Ciebie: → →__ __\→ JEPA-AI: Core Technologies & Programming Stack The Mathematical Myopia of New AI Architectures Mathematical Core Equations: AI JEPA’s Failures vs. AI-Toroidal Truth JEPA-AI: Podstawy technologii i programowania JEPA-AI: Podstawy technologii i programowania The Mathematical Myopia of New AI Architectures Mathematical Core Equations: AI JEPA’s Failures vs. AI-Toroidal Truth Matematyczne równania rdzenia: porażki AI JEPA vs. AI-Toroidal Truth Take your time there if you wish. Jeśli nie, zostań z nami. Wkrótce przekroczymy horyzont wydarzeń. Now, let’s go on. Wyobraź sobie, że próbujesz zorganizować swoją ogromną bibliotekę muzyczną.Mógłbyś wrzucić wszystkie swoje piosenki do jednego olbrzymiego folderu i mieć nadzieję, że twój komputer może powiedzieć różnicę między „Stairway to Heaven” i „Highway to Hell” na podstawie... wibracji? Oto problem: te systemy żyją w tym, co matematycy nazywają „przestrzeń Euclidów”, w zasadzie płaski, nieskończony arkusz kalkulacyjny, w którym wszystko jest gromką liczb płynących wokół. This is why you’ll find the same mathematical doom baked right into the so-called “next generation” AI systems: the ones sold as the antidote to LLM poison. They promise salvation but inherit the same broken math. Dlatego znajdziesz tę samą matematyczną zagładę pieczoną w tak zwanych systemach AI „następnej generacji”: te sprzedawane jako antidotum na truciznę LLM.Oni obiecują zbawienie, ale dziedziczą tę samą złamaną matematykę. Dlatego znajdziesz tę samą matematyczną zagładę gotowaną w tak zwanych systemach sztucznej inteligencji „następnej generacji”: te sprzedawane jako antidotum na truciznę LLM. Obiecują zbawienie, ale odziedziczą tę samą złamaną matematykę. — Welcome again to the Hall of AI Shame. Here they are. — The Birthday Party Disaster Znasz paradoks urodzinowy? umieść 23 przypadkowe osoby w pokoju, a istnieje 50% szansa, że dwie osoby dzielą urodziny. „Biały ciężarówka” kończy się wyglądając prawie identycznie do „jasnego nieba”, ponieważ wylądowały w prawie tym samym miejscu w tej gigantycznej zupie liczbowej, i tak dostałeś te autonomiczne samochody zabójcze Tesla. Matematyka mówi: Kolizja gwarantowana Matematyka mówi: Kolizja gwarantowana Kolizja gwarantowana To tak, jakby próbować zorganizować bibliotekę, rzucając książki do magazynu i mając nadzieję, że znajdziesz je później, pamiętając ich przybliżone współrzędne... Nie możesz. The Gradient Descent Hamster Wheel Obecne architektury sztucznej inteligencji używają czegoś, co nazywa się „spadek stopniowy”, aby znaleźć minimalny błąd podany funkcji błędu, co jest fantazyjnym sposobem na stwierdzenie, że wpadają w ciemność, poking things with a stick, hoping to eventually find the exit. Nie widzą kształtu wzgórza, na którym próbują się wspiąć, tylko jeden kamień na raz.To tak, jakby próbować poruszać się po San Francisco z łopatką i powiększającym się szkłem, które pokazuje tylko jeden centymetr kwadratowy chodnika. Używają fałszywych infinitesimals z punktem widzenia krótkowzroczności Używają fałszywych infinitesimals z punktem widzenia krótkowzroczności Używają fałszywych infinitesimals z punktem widzenia krótkowzroczności But wait, it gets dumber: you have to pick your epsilon (the step size) you start stumbling. Pick it too big? You’re that drunk guy at a party, taking huge steps and crashing into walls. Too small? You’re inching forward like a paranoid snail, and you’ll die of old age before you get anywhere. Yup, this whole mess comes from 19th-century calculus and its epsilon–delta limit formalism. Przed But the craziest thing of all happens during training: AI runs billions of these tiptoeing optimization steps trying to minimize its loss function. Billions! Each one either jumps off the cliff like a buggy robot or advances like Windows loading at 1%. The computational waste is absolutely bonkers - all because this outdated framework, born in the 19th century, forces you to pick an epsilon value beforehand. Ale najbardziej szalona rzecz dzieje się podczas szkolenia: AI uruchamia miliardy tych kroków optymalizacji, próbując zminimalizować swoją funkcję utraty. Miliardy! Każdy z nich albo wyskakuje z klifu jak buggy robot, albo awansuje jak okno ładujące się w 1%. Odpady obliczeniowe są absolutnie przestarzałe - wszystko dlatego, że to przestarzałe ramy, urodzone w XIX wieku, zmuszają Cię do wyboru wartości epsilon z wyprzedzeniem. Powodem tego przestarzałego sposobu wykonywania kalkulacji nieskończoności jest kompozycyjny efekt drobnych błędów przybliżeniowych. Zaczynasz od czegoś takiego jak 10^-8 i myślisz: „Eh, wystarczająco blisko do zera, prawda?” Niewłaściwy. Square to i masz 10^-16. Nadal. Nie. Zero. Po miliardach iteracji, te nieskończoności udają, że gromadzą się jak związkowe zainteresowanie z piekła, wywołując liczbowe wybuchy, niestabilności i zaokrąglone błędy, które ostatecznie zamieniają się w pełnoprawne halucynacje AI. The second error Yup, there is an easy solution: switch to a dual-number system that laughs at this entire clown show. No limits. No epsilon guessing games. No billion-step hamster wheel. When ε² = 0 by definition, not approximation, actual mathematical law: derivatives are exact, and topology just tells you where everything belongs. No stumbling required. Tak, istnieje proste rozwiązanie: przejdź do systemu podwójnych liczb, który śmieje się z całego tego pokazu klaunów. No limits. No epsilon guessing games. No billion-step hamster wheel. When ε² = 0 by definition, not approximation, actual mathematical law: derivatives are exact, and topology just tells you where everything belongs. No stumbling required. Yup, there is an easy solution: switch to a dual-number system that laughs at this entire clown show. The Attention Apocalypse Użyj czegoś, co nazywa się „uwaga”, gdzie każde słowo patrzy na każde inne słowo.To jest złożoność N-kwadrat, co oznacza, że jeśli podwoisz długość tekstu, obliczenie wzrasta 4x. Transformers (technologia za ChatGPT, a nie roboty) Transformers (technologia za ChatGPT, a nie roboty) With 1000 words? That’s a million comparisons. With 10000 words? 100 million comparisons. Your AI is basically reading a book by comparing every single word to every other word simultaneously. Exhausting and expensive. How Our Toroidal Model Fixes the AI Flatland Doom Zostań ze mną tutaj. Instead of a flat spreadsheet, we use a donut (mathematically, a torus) Zamiast płaskiego arkusza, używamy Donut Donut (Matematycznie jest to torus) Na donut, można owinąć strunę wokół niego na różne sposoby: wokół dziury, przez dziurę, lub obu. . It’s not probability, it’s topology. Different winding patterns are as different as a circle and a figure-8. They literally cannot become each other. These “winding patterns” give every concept a unique address that Nie może collide These “winding patterns” give every concept a unique address that cannot Nie może kolizja The Real Infinitesimals - to jest definicja. Oznacza to, że nasze warstwy są oddzielone przez rzeczywiste nieskończoności, a nie fałszywe. Brak liczbowych eksplozji. Nie jest potrzebny spadek gradientu. Topologia... działa. We use dual numbers where ε² = 0 isn’t an approximation We use dual numbers where ε² = 0 isn’t an approximation Sparse by Design . Most connections are exactly zero - not “close to zero” but . This drops complexity from N-squared to linear. That 100 million comparisons? Our attention mechanism only connects compatible winding patterns Strukturalnie niemożliwe Teraz jest 10 tysięcy. Nasz mechanizm uwagi łączy tylko kompatybilne wzorce zwijania Teraz jest 10 tysięcy. The Bottom Line Dolna linia JEPA i te nowe architektury sztucznej inteligencji są właściwym pomysłem, aby zastąpić nasz bardzo prymitywny stan w kierunku prawdziwej sztucznej inteligencji. ale nadal, podobnie jak LLM, powtarzają ten sam błąd, próbując poruszać się po płaskim świecie ze złym kompasem i przybliżeniami. The real leap won’t come from another tweak in parameters. It will come from changing the space itself. Prawdziwy skok nie będzie wynikał z kolejnego dostosowania parametrów, będzie wynikał ze zmiany samej przestrzeni. Musimy zrezygnować z trumny euklidesowej, która zamyka inteligencję w dwóch wymiarach, i zbudować topologię, w której znaczenie może oddychać. W naszym modelu toroidalnym koncepcje nie kolidują ani nie rozmywają się, żyją w oddzielnych, chronionych dzielnicach: każda nieskończenie odrębna, każda bezpieczna od chaosu fałszywych fuzji. Dlaczego Toroidal AI nie jest budowany - jeszcze Now, the sharp reader may ask: “If this is so obvious, why hasn’t anyone built it yet?” "Jeśli jest to tak oczywiste, to dlaczego nikt go jeszcze nie zbudował?" Sprawiedliwe pytanie - a sama odpowiedź udowadnia sens. Cały establishment sztucznej inteligencji zanurzył biliony w architekturze Euclidów. . Replacing that geometry would mean rebuilding the cathedral from its foundations - and few engineers dare shake the pillars of their own temple. 1. Institutional Inertia: Every framework, every GPU kernel, every optimization routine assumes a flat world Every framework, every GPU kernel, every optimization routine assumes a flat world Każda rama, każde jądro GPU, każda rutyna optymalizacji zakłada płaski świat Ponowne przeszkolenie ich do rozumowania z krzywizną, ciągłością i podwójnymi liczbami nie jest samouczkiem weekendowym - jest to cywilizacyjna zmiana w umiejętności matematycznych. 2. The Workforce Barrier: __ Całe pokolenie inżynierów uczenia maszynowego zostało przeszkolonych do myślenia w gradientach, a nie w geometrii Całe pokolenie inżynierów uczenia maszynowego zostało przeszkolonych do myślenia w gradientach, a nie w geometrii . Any true geometric paradigm shift would invalidate entire layers of existing intellectual property and licensing chains. The system isn’t optimized for truth - it’s optimized for control. 3. Patents and IP Locks: Big Tech doesn’t innovate; it defends its moat Wielka technologia nie innowacyjna; broni swojego grobu Od infrastruktury chmury po chipy AI wszystko zostało zbudowane dla paradygmatu płaskiej ziemi. it’s broken, the machinery keeps running - . 4. The Sunk-Cost Fallacy: know Ponieważ przyznanie się do tego zepsułoby zbyt wiele bilansów i zbyt wiele ego. Ponieważ przyznanie się do tego zepsułoby zbyt wiele bilansów i zbyt wiele ego. because admitting it would collapse too many balance sheets and too many egos Więc tak - nie został jeszcze zbudowany. Nie dlatego, że jest źle. Ale ponieważ jest Zbyt destrukcyjne i zbyt kosztowne dla świata uzależnionego od własnych błędów. too right I właśnie dlatego to się wydarzy. Ponieważ matematyka nie obchodzi, kto mu się opiera. Po prostu wygrywa – zawsze. Zobaczysz, jak Toroidal AI ewoluuje dokładnie tak, jak każda przełomowa technologia: Najpierw zignorowano - zbyt groźne dla bilionów dolarów w inwestycjach zatopionych.Potem śmieszne oskarżenia „crackpot” od ludzi, którzy nie rozumieją topologii.I wreszcie zwycięsko zaakceptowano* „Oczywiście! Zobaczysz, jak Toroidal AI ewoluuje dokładnie tak, jak każda przełomowa technologia: Najpierw zignorowano - zbyt groźne dla bilionów dolarów w inwestycjach zatopionych.Potem śmieszne oskarżenia „crackpot” od ludzi, którzy nie rozumieją topologii.I wreszcie zwycięsko zaakceptowano* „Oczywiście! History doesn’t repeat itself. It curves. 😁 Top 10 podstawowych referencji On JEPA Architectures: (wrzesień 2025 roku) LLM-JEPA: Duże modele językowe spotykają wspólne architektury predykcyjne LLM-JEPA: Duże modele językowe spotykają wspólne architektury predykcyjne LLM-JEPA: Duże modele językowe spotykają wspólne architektury predykcyjne (kwiecień 2025 r.) 2.- ACT-JEPA: Novel Joint-Embedding Predictive Architecture for Efficient Policy Representation Learning ACT-JEPA: Nowa wspólna architektura predykcyjna dla efektywnego uczenia się reprezentowania polityki ACT-JEPA: Nowa wspólna architektura predykcyjna dla efektywnego uczenia się reprezentowania polityki (February 2025) 3.- Point-JEPA: A Joint Embedding Predictive Architecture for Self-Supervised Learning on Point Cloud 3.- Point-JEPA: A Joint Embedding Predictive Architecture for Self-Supervised Learning on Point Cloud 3.- Point-JEPA: A Joint Embedding Predictive Architecture for Self-Supervised Learning on Point Cloud On Transformer Attention Complexity: (w październiku 2024 r.) 4.- The End of Transformers? On Challenging Attention and the Rise of Sub-Quadratic Architectures 4.- The End of Transformers? On Challenging Attention and the Rise of Sub-Quadratic Architectures 4.- The End of Transformers? On Challenging Attention and the Rise of Sub-Quadratic Architectures (Październik 2023 nadal powszechnie cytowany w latach 2024–2025) FlashAttention-2: szybsza uwaga z lepszą równoległością i podziałem pracy FlashAttention-2: szybsza uwaga z lepszą równoległością i podziałem pracy FlashAttention-2: szybsza uwaga z lepszą równoległością i podziałem pracy On Toroidal/Topological Neural Networks: (January 2022, Nature — still foundational for 2024–25 work) 6.- Toroidal Topology of Population Activity in Grid Cells Toroidalna topologia aktywności populacji w komórkach siatki Toroidalna topologia aktywności populacji w komórkach siatki (czerwiec 2022 r.) 7.- Deep Networks on Toroids: Removing Symmetries Reveals the Structure of Flat Regions in the Landscape Geometry 7.- Deep Networks on Toroids: Removing Symmetries Reveals the Structure of Flat Regions in the Landscape Geometry Głębokie sieci na toroidach: usuwanie symetrii ujawnia strukturę płaskich regionów w geometrii krajobrazu Podwójne liczby i automatyczna różnicowanie: (w styczniu 2025 roku) Podwójne liczby dla automatycznej różnicowania porządkowego Podwójne liczby dla automatycznej różnicowania porządkowego Podwójne liczby dla automatycznej różnicowania porządkowego O halucynacjach LLM: (wrzesień 2025 roku) Dlaczego modele językowe halucynują Dlaczego modele językowe halucynują Dlaczego modele językowe halucynują Bonus - wizja Yann LeCun: (kwiecień 2025 r.) 10.- Navigation World Models Modele nawigacyjne świata 10.- Navigation World Models