Fatalna matematička pogreška koja ubija svaku AI arhitekturu - uključujući i nove

LLMs are already museum pieces LLM-ovi su već muzejski dijelovi Why JEPA, transformers, and LLMs all fail in the same Euclidean flatland, and the toroidal geometry that fixes them Da, ChatGPT, Claude, Gemini, svi oni. Briljantni fosili jezičnog doba koji se već završava. : veći modeli, duži konteksti, više halucinacija po vatu. Milijarde se još uvijek troše na poliranje njihovih kovčega Milijarde se još uvijek troše na poliranje njihovih kovčega Milijarde se još uvijek troše na poliranje njihovih kovčega Era "predvidjeti sljedeću riječ" LLM je gotova. Novi ubojica na pozornici nije jezik, to je modeliranje svijeta. AI koji razumije stvarnost kao konceptualnu zagonetku, gdje ne trebate svaki komad da biste vidjeli cijelu sliku. Još nismo povukli stare zvijezde LLM sa pozornice.Ako još uvijek gradite svoju karijeru oko promicanja chatbota, pripremate se za svijet koji je već otišao. Još nismo povukli stare zvijezde LLM sa pozornice.Ako još uvijek gradite svoju karijeru oko promicanja chatbota, pripremate se za svijet koji je već otišao. Još nismo povukli stare zvijezde LLM sa pozornice. Ako još uvijek gradite svoju karijeru oko promicanja chatbota, pripremate se za svijet koji je već otišao. We don’t need machines that shovel tokens like brainless parrots. We need machines that To je To je "Stochastically parroted" je bio sladak za 2023. godine.To nije inteligencija. carry objects through time bind cause to effect keep the scene consistent A evo što su mnogi od nas već vidjeli u tehnološkoj industriji: ako AI nastavi štipanje Umjesto Industrija koja je izgorjela Uskoro će se raspršiti šljunčane šljunčane šljunčane šljunčane šljunčane. likelihood reality 1 trillion dollars Je li JEPA nova AI nada? U galaksiji nedaleko od Menlo Parka, novi akronim izlazi iz pepela carstva chatbota: JEPA! The promised one. The architecture was said to restore balance to the Force after the LLM wars. Prije nego što dopustimo odjelu za marketing Meta da ga krsti kao sljedećeg Mesija, decodirajmo akronim. stoji za four words that sound profound until you realize they describe a fairly old idea wearing a new coat of GPU varnish: JEPA Joint Embedding Predictive Architecture - Zajednički, jer trenira dvije polovice scene - jednu vidljivu, jednu maskiranu - i prisiljava ih da se dogovore u zajedničkom latentnom prostoru. Ugrađivanje, jer umjesto da se bavi sirovim pikselima ili riječima poput LLM-a, radi u gustoj vektorskoj reprezentaciji: skrivenom prostoru gdje moderna AI skladišti značenje. Prediktivno, jer je njegov jedini trik predvidjeti manjkajući komad od onoga što još uvijek vidi. Arhitektura, jer svaki novi AI koncept treba impresivan naziv na kraju kako bi izgledao akademski. Novi veliki svećenik u Cult - voli to reći, na jednostavan engleski: kao Yann LeCun - Posljednji LLM kao Yann LeCun Yann LeCun Posljednji LLM Inteligencija nije jezik, niti predviđa sljedeću riječ.Inteligencija predviđa što će se dogoditi u svijetu. Inteligencija nije jezik, niti predviđa sljedeću riječ.Inteligencija predviđa što će se dogoditi u svijetu. . Uči se – ne stvaranjem teksta ili piksela, već usklađivanjem unutarnjih . And that’s exactly what JEPA tries to do guess what’s missing in a world it only half perceives context can explain absence I to je upravo ono što JEPA pokušava učiniti Ne piše; dovršava; ne zamišlja; zaključuje. Ne piše; dovršava; ne zamišlja; zaključuje. Previše dobro da bi bilo istinito? Ali vjerojatno se pitate je li ovo pravi posao - ili samo još jedan polupakirani tehnološki proizvod s svjetlijim LED-ovima i duljim inteligencijom Neka se prekine veliki razgovor na trenutak. Meta predstavljanje kao otkriće izrezano u siliciju: zora "prave inteligencije", kraj chatbotova, početak svjetskih modela bogova. JEPA And at first glance, it really Gledaj na taj način – dok ti ne uklonite marketing halo, i vidjet ćete što je zapravo tamo. Ne baš čudo LeCun prodaje, ali još uvijek nešto vrijedno: No, još uvijek je dug put do čini a step in the right direction For now, JEPA lives mostly in Dok je Još uvijek teže na istom Oni tvrde da su nadmašili (vidi graf 1 ispod). videos and physical-world scenarios wording layer stochastic parrot LLMs Naravno, Meta jednostavno ne želi spomenuti taj dio u brošuri. Dakle, da, u nacrtu, JEPA izgleda pametno - novi moduli, sjajne strele i svježi osjećaj svrhe, ali ispod, još uvijek miješamo isti lonac. Problem riječi juha upravo je dobio nadogradnju na . Različiti ukusi, ista indigestija concept-soup da bude pošteno, isn’t pure marketing incense. As the chart below shows — humorously stripped of Meta’s triumphal glow, its , i formirati čistu malu triadu koja se istinski razbija od I za LLM. JEPA context encoder target encoder predictor token tyranny Što zapravo možete s Jeste li pitali? Možeš pokazati bijelo , i predviđa nedostajući dio Ne samo slikanjem piksela, već . To je napredak: do JEPA h half an image za tebe, reasoning in latent space perception over parroting. A ovdje je lineup: Prepoznati objects with only a few labeled samples, impressive. još uvijek ne uspijeva pod fiksnom buke distractor i nikada ne dodiruje jezik. I-JEPA Imidž But I-JEPA I-JEPA , trained on videos to learn motion intuition, what moves, when, and why. nije stvarna fizika: sudari, sile, kontakt još uvijek izvan dosega. Tada dolazi V-Jepa But Tada dolazi V-Jepa V-Jepa Više o robotici? **guides robotic arms, predicting how objects behave before acting. još uvijek prati ljude na fizičkim referentnim točkama i, ironično, treba Razgovarati o onome što vidi. V-JEPA 2 But LLM Sljedeći članakJEPA 2 Dakle, da, napredak, dovoljno za proglašavanje LLM tehnologije kao fosila u održavanju umjetnog života - ali još uvijek ravnomjerno razmišljanje odijelo kao otkrivenje. And that’s the part Meta doesn’t want you to see. Ovdje je smrtonosna tajna koja se krije iza JEPA-inih slick dijagramova i LeCunovih pouzdanih izjava: riješili su jezični problem stvaranjem arhitektonskog koji je matematički daleko gori. Oni su pobjegli iz zatvora riječi samo da bi izgradili konceptualni zatvor s debljim zidovima. Here’s the fatal secret hiding behind JEPA’s slick diagrams and LeCun’s confident declarations: they solved the problem by creating an one that’s mathematically far worse. linguistic architectural jezični architectural Oni su pobjegli iz zatvora riječi samo da bi izgradili konceptualni zatvor s debljim zidovima. Razmislite o tome: LLM-ovi su bili loši jer su stvarnost tretirali kao linearnu sekvencu žetona: jednodimenzionalni marš kroz prostor vjerojatnosti. "I skoči u visoko-dimenzionalni reprezentativni prostor, gdje koncepti plutaju kao vektori u . Mi smo pametniji od toga 768-dimenzionalni oblak Mi smo pametniji od toga Zvuči impresivno, zar ne? Wrong. Jednostavno su trgovali lošim susjedstvom za lošije: onaj koji je . Zakoni matematike sami jamče neuspjeh Fatalna matematička sudbina novih AI arhitekture: Još uvijek vide ravni svijet I sada, budite spremni, dragi čitatelj, da naučite ono što nećete čitati nigdje drugdje.Kako matematički otrov tiho ubija svaku AI arhitekturu - od LLM dinosaura do novih djece koja se zaklinju da će popraviti sve. Stop. disaj 😄 To je mjesto gdje priča postaje opasna. Ali ne brinite, imamo antidot i možete ga koristiti u svoju korist. Prije nego što nastavite, mala preporuka. Ako želite prodrijeti dublje - u gritnu, nerdy, lijepu matematiku koja dokazuje bez sumnje kako dvostrukom broju toroidni model liječi halucinacije i kratkovidnu sudbinu koja opterećuje današnje AI arhitekture - ostavio sam nekoliko vrata otvorena za vas: → →__ __\→ JEPA-AI: Core Technologies & Programming Stack The Mathematical Myopia of New AI Architectures Mathematical Core Equations: AI JEPA’s Failures vs. AI-Toroidal Truth JEPA-AI: ključne tehnologije i programiranje JEPA-AI: ključne tehnologije i programiranje The Mathematical Myopia of New AI Architectures Matematske osnovne jednadžbe: AI JEPA neuspjesi vs. AI-Toroidal istina Matematske osnovne jednadžbe: AI JEPA neuspjesi vs. AI-Toroidal istina Uzmite svoje vrijeme ako želite. Ako ne, ostanite s nama. Uskoro prelazimo horizont događanja. Now, let’s go on. Možete baciti sve svoje pjesme u jednu veliku mapu i nadati se da vaš računalo može reći razliku između "Stairway to Heaven" i "Highway to Hell" na temelju... vibracija? Ovdje je problem: ti sustavi žive u onome što matematičari nazivaju "evklidskim prostorom", u osnovi ravnom, beskonačnom pregledniku gdje je sve gomila brojeva koji plutaju. To je razlog zašto ćete naći istu matematičku sudbinu pečenu u takozvanim sustavima "nasljednje generacije" AI: one koje se prodaju kao antidot za LLM otrov. To je razlog zašto ćete naći istu matematičku sudbinu pečenu u takozvanim sustavima "nasljednje generacije" AI: one koje se prodaju kao antidot za LLM otrov. Zato ćete naći istu matematičku sudbinu pečenu u takozvanim sustavima "nasljednje generacije" AI: one koje se prodaju kao antidot za LLM otrov. Oni obećavaju spasenje, ali nasljeđuju istu slomljenu matematiku. — Welcome again to the Hall of AI Shame. Here they are. — The Birthday Party Disaster Znate li paradoks rođendana? Stavite 23 slučajne osobe u sobu, a postoji 50% šansa da dvoje dijele rođendan. "Bijeli kamion" na kraju izgleda gotovo identično s "svijetlim nebom" jer su sletjeli na gotovo isto mjesto u ovoj supi s ogromnim brojem, i tako ste dobili te samovozeće Tesla ubojice. Matematika kaže: Zagarantovana kolizija Matematika kaže: Zagarantovana kolizija collision guaranteed It’s like trying to organize a library by randomly throwing books into a warehouse and hoping you can find them later by remembering their approximate coordinates… You can’t. The Gradient Descent Hamster Wheel Trenutačne arhitekture AI-a koriste nešto što se naziva "gradijentni pad" kako bi pronašli minimalnu pogrešku koju daje funkcija pogreške, što je fantastičan način da se kaže da se nalaze u mraku. poking things with a stick, hoping to eventually find the exit. Oni ne mogu vidjeti oblik brda koji pokušavaju popeti, samo jedan kamen u isto vrijeme.To je kao da pokušavate ploviti San Franciskom s oklopom i povećanim staklom koje vam pokazuje samo jedan kvadratni centimetar šetnice. The problem? They use fake infinitesimals with point-wise myopic vision The problem? They use fake infinitesimals with point-wise myopic vision The problem? They use fake infinitesimals with point-wise myopic vision But wait, it gets dumber: you have to pick your epsilon (the step size) you start stumbling. Pick it too big? You’re that drunk guy at a party, taking huge steps and crashing into walls. Too small? You’re inching forward like a paranoid snail, and you’ll die of old age before you get anywhere. Yup, this whole mess comes from 19th-century calculus and its epsilon–delta limit formalism. before Ali najluđa stvar od svega događa se tijekom treninga: AI pokreće milijarde tih koraka optimizacije pokušavajući smanjiti svoju funkciju gubitka. milijarde! Svaki od njih ili skoči s stijene poput buggy robota ili napreduje kao Windows koji se naplaćuje na 1%. Računalni otpad je apsolutno bonkers - sve zato što je ovaj zastarjeli okvir, rođen u 19. stoljeću, prisiljava vas da odaberete vrijednost epsilona unaprijed. Ali najluđa stvar od svega događa se tijekom treninga: AI pokreće milijarde tih koraka optimizacije pokušavajući smanjiti svoju funkciju gubitka. milijarde! Svaki od njih ili skoči s stijene poput buggy robota ili napreduje kao Windows koji se naplaćuje na 1%. Računalni otpad je apsolutno bonkers - sve zato što je ovaj zastarjeli okvir, rođen u 19. stoljeću, prisiljava vas da odaberete vrijednost epsilona unaprijed. Uzrok ovog zastarjelog načina rada infinitesimalnog izračuna je kompozitni učinak sitnih pogrešaka približavanja. Počinjete s nečim poput 10^-8 i mislite: "Eh, dovoljno blizu nule, ispravno?" Pogrešno. kvadrat i dobijete 10^-16. Još uvijek. Ne. Nula. Nakon milijardi iteracija, ti se infinitesimali pretvaraju da se nakupljaju kao kompozitni interes iz pakla, stvarajući numeričke eksplozije, nestabilnosti i zaokružne pogreške koje se na kraju pretvaraju u punopravne AI halucinacije. The second error Da, postoji jednostavno rješenje: prebacite se na sustav dvostrukih brojeva koji se smije u cijeloj ovoj klovnskoj predstavi. Nema granica. Nema epsilon nagađanja. Nema milijardu koraka krpelja. Kada ε2 = 0 po definiciji, nema približavanja, stvarni matematički zakon: derivati su točni, a topologija vam samo govori gdje sve pripada. Da, postoji jednostavno rješenje: prebacite se na sustav s dvostrukim brojevima koji se smije u cijeloj ovoj klovnskoj predstavi. Nema granica. nema epsilon igara nagađanja. nema milijardu koraka krpelja. kada ε2 = 0 po definiciji, ne približavanje, stvarni matematički zakon: derivati su točni, a topologija vam samo govori gdje sve pripada. Da, postoji jednostavno rješenje: prebacite se na sustav s dvostrukim brojevima koji se smije u cijeloj ovoj klovnskoj predstavi. The Attention Apocalypse Koristite nešto što se zove "pozornost", gdje svaka riječ gleda na svaku drugu riječ.To je N-kvadratna složenost, što znači da ako udvostručite dužinu teksta, izračun se povećava 4x. Transformeri (tehnologija iza ChatGPT-a, a ne roboti) Transformeri (tehnologija iza ChatGPT-a, a ne roboti) With 1000 words? That’s a million comparisons. With 10000 words? 100 million comparisons. Your AI is basically reading a book by comparing every single word to every other word simultaneously. Exhausting and expensive. Kako naš Toroidal Model popravlja AI Flatland Doom Ostani sa mnom ovdje. Instead of a flat spreadsheet, we use a donut (mathematically, a torus) Umjesto uobičajene tablice, koristimo donut Donut (Matematički riječ je o torusu) Na donut, možete omotati string oko njega na različite načine: oko rupe, kroz rupu, ili oboje. To nije vjerojatnost, to je topologija.Različiti obrasci savijanja su različiti kao krug i slika-8. Ovi "vlažni obrasci" daju svakom konceptu jedinstvenu adresu koja Ne može collide Ovi "vlažni obrasci" daju svakom konceptu jedinstvenu adresu koja Ne može cannot collide The Real Infinitesimals To znači da su naši slojevi odvojeni stvarnim infinitesimalima, a ne lažnim. Nema numeričkih eksplozija. Koristimo dvostruke brojeve gdje ε2 = 0 nije približavanje Koristimo dvostruke brojeve gdje ε2 = 0 nije približavanje Sparse by Design Većina veza je točno nula - ne "blizu nule", već To smanjuje složenost s N-kvadrata na linearnu. Our attention mechanism only connects compatible winding patterns structurally impossible Sada ih je 10.000. Our attention mechanism only connects compatible winding patterns Sada ih je 10.000. The Bottom Line Donja linija JEPA i ove nove AI arhitekture su prava ideja za zamjenu našeg vrlo primitivnog stanja prema istinskom AI-u. ali ipak, kao i LLM-ovi, ponavljaju istu pogrešku pokušavajući navigirati ravnim svijetom s lošim kompasom i približavanjem. Stvarni skok neće doći od drugog prilagodbe parametara.To će doći od promjene samog prostora. Stvarni skok neće doći od drugog prilagodbe parametara.To će doći od promjene samog prostora. Moramo napustiti Euclidski kovčeg koji zarobljava inteligenciju u dvije dimenzije i graditi u topologiji gdje značenje može disati. Oni žive u zasebnim, zaštićenim četvrtima: svaka je beskonačno različita, svaka je sigurna od kaosa lažnih spajanja. Zašto Toroidal AI nije izgrađen - još uvijek Sada, oštar čitatelj može pitati: "Ako je to tako očito, zašto ga još nitko nije izgradio?" “If this is so obvious, why hasn’t anyone built it yet?” Pošteno pitanje - i sam odgovor dokazuje poentu. Cijeli AI establishment potopio je bilijune u Euclidske arhitekture. Zamjena te geometrije značila bi obnovu katedrale od njezinih temelja - i malo inženjera se usuđuje tresti stupove vlastitog hrama. 1. Institutional Inertia: Every framework, every GPU kernel, every optimization routine assumes a flat world Svaki okvir, svaka GPU jezgra, svaka optimizacija pretpostavlja ravni svijet Svaki okvir, svaka GPU jezgra, svaka optimizacija pretpostavlja ravni svijet Ponovno ih osposobljavanje za razmatranje s krivuljom, kontinuitetom i dvostrukim brojevima nije vikend tutorial - to je civilizacijska promjena u matematičkoj pismenosti. 2. The Workforce Barrier: __ Cijela generacija inženjera strojnog učenja osposobljena je za razmišljanje u gradijentima, a ne u geometriji Cijela generacija inženjera strojnog učenja osposobljena je za razmišljanje u gradijentima, a ne u geometriji Svaka prava geometrijska promjena paradigme poništit će čitave slojeve postojećih lanaca intelektualnog vlasništva i licenciranja.Sustav nije optimiziran za istinu - optimiziran je za kontrolu. 3. Patents and IP Locks: Big Tech doesn’t innovate; it defends its moat Big Tech doesn’t innovate; it defends its moat Od infrastrukture u oblaku do AI čipova, sve je izgrađeno za paradigmu ravne zemlje. je slomljena, stroj i dalje teče - . 4. The Sunk-Cost Fallacy: znati jer bi priznavanje toga srušilo previše ravnoteža i previše ega jer bi priznavanje toga srušilo previše ravnoteža i previše ega jer bi priznavanje toga srušilo previše ravnoteža i previše ega Dakle, da - još nije izgrađen. Ne zato što je pogrešno. Ali zato što je Previše je poremećajno i skupo za svijet koji je ovisan o vlastitim pogreškama. too right I to je upravo razlog zašto će se to dogoditi. Jer matematiku nije briga tko joj se odupire. Jednostavno pobjeđuje – uvijek. Toroidal AI će se razvijati upravo kao i svaka disruptivna tehnologija koja ga je prethodila:Prvo ignorirana - pretjerano prijeteći trilijunima dolara u potopljenim investicijama.Tada su se ismijavale optužbe "crackpot" od ljudi koji ne razumiju topologiju.I konačno, pobjednički prihvatio * "Naravno! Vidjet ćete kako se Toroidal AI razvija upravo kao što je svaka disruptivna tehnologija imala prije: Prvo je zanemareno - Tada su se ismijavale optužbe o "crackpot" od ljudi koji ne razumiju topologiju. I na kraju, pobjednički prihvatio * "Naravno! uvijek smo znali da je Euclidski prostor bio pogrešan." Previše prijeti trilijunima dolara u potopljenim investicijama. History doesn’t repeat itself. It curves. 😁 Top 10 Essential References On JEPA Architectures: (srpanj 2025. godine) LLM-JEPA: Veliki jezični modeli susreću zajedničke ugrađene prediktivne arhitekture LLM-JEPA: Veliki jezični modeli susreću zajedničke ugrađene prediktivne arhitekture LLM-JEPA: Veliki jezični modeli susreću zajedničke ugrađene prediktivne arhitekture (od travnja 2025. godine) 2.- ACT-JEPA: Novel Joint-Embedding Predictive Architecture for Efficient Policy Representation Learning 2.- ACT-JEPA: Novel Joint-Embedding Predictive Architecture for Efficient Policy Representation Learning 2.- ACT-JEPA: Novel Joint-Embedding Predictive Architecture for Efficient Policy Representation Learning (February 2025) 3.- Point-JEPA: A Joint Embedding Predictive Architecture for Self-Supervised Learning on Point Cloud 3.- Point-JEPA: Zajednička ugrađena prediktivna arhitektura za samonadzorno učenje na Point Cloudu 3.- Point-JEPA: Zajednička ugrađena prediktivna arhitektura za samonadzorno učenje na Point Cloudu Transformer pažnje složenosti: (October 2024) 4.- The End of Transformers? On Challenging Attention and the Rise of Sub-Quadratic Architectures 4.- Kraj transformatora? o izazivanju pažnje i porastu podkvadrata arhitekture 4.- The End of Transformers? On Challenging Attention and the Rise of Sub-Quadratic Architectures (Oktober 2023, još uvijek široko citiran u 2024-2025.) FlashAttention-2: Brža pažnja uz bolju paralelnost i dijeljenje rada FlashAttention-2: Brža pažnja uz bolju paralelnost i dijeljenje rada FlashAttention-2: Brža pažnja uz bolju paralelnost i dijeljenje rada Toroidna i topološka neuronska mreža: (Januar 2022., Priroda – još uvijek temelj za 2024–25 rad) 6.- Toroidal Topology of Population Activity in Grid Cells 6.- Toroidal Topology of Population Activity in Grid Cells 6.- Toroidal Topology of Population Activity in Grid Cells (srpanj 2022) 7.- Deep Networks on Toroids: Removing Symmetries Reveals the Structure of Flat Regions in the Landscape Geometry 7.- Duboke mreže na toroidima: uklanjanje simetrije otkriva strukturu ravnih regija u geometriji krajolika 7.- Deep Networks on Toroids: Removing Symmetries Reveals the Structure of Flat Regions in the Landscape Geometry O dvostrukim brojevima i automatskoj diferencijaciji: (January 2025) 8-. Dual Numbers for Arbitrary Order Automatic Differentiation Dvostruki brojevi za proizvoljnu automatsku diferencijaciju Dvostruki brojevi za proizvoljnu automatsku diferencijaciju On LLM Hallucinations: (srpanj 2025. godine) Zašto jezični modeli haluciniraju 9.- Why Language Models Hallucinate Zašto jezični modeli haluciniraju Bonus - Vizija Yann LeCuna: (od travnja 2025. godine) 10.- Navigation World Models 10.- Navigacijski svjetski modeli 10.- Navigation World Models