AI fortsätter att krascha mot samma väggar Eller kanske de gör, och bara njuta av att se sina bilar utföra tolkande dansrutiner vid 60 mph. Apparently, not even Tesla - with its 1.4 Trillion valuation and army of PhDs - knows about this math. Hur som helst, här är de största hits samlingen du har sett över YouTube: The Tesla Self-Driving Blooper Reel: Bilen slår bromsarna för en skugga. för uppenbarligen är skuggorna # 1 hot mot motorvägssäkerheten på 2000-talet.  - Phantom Braking Phantom Braking Phantom Braking Tar kurvor i full fart, sedan går "OH SHIT A CURVE!" och kastar en mini-mobbning från ingenstans, komedi för alla utom din hals.  - Överraskningsfesten vänder Överraskningsfesten vänder Överraskningsfesten vänder Styrjusteringar så skarpa att du tror att bilen har en existentiell kris. Vänster, höger, vänster, höger.. det är inte att köra, det är  down the highway.  - Omdöme om Seizure Shuffle vibrerar Omdöme om Seizure Shuffle Omdöme om Seizure Shuffle "Varför gjorde det det?" - Gör något så oförklarligt att även AI-forskarna som tittar på loggarna bara skakar och muttrar "gradient nedstigning, förmodligen." - är The “Why Did It Do That?” Den ”varför gjorde det det?” Den ”varför gjorde det det?” “gradient descent, probably. Gradient nedgång, förmodligen. Nyfiken på den dolda sidan av AI? Upptäck mer på sidan av José Crespo, PhD. Den fix som ingen använder Tesla kunde lösa detta - enkelt - genom att använda andra derivat (Hessian-vektorprodukter, eller HVP för de coola barnen). Så kunde Google, Meta, OpenAI och nästan alla företag med en "AI Strategy" PowerPoint-däck. Men de är inte. Se tabellen nedan - märker ett mönster? Vänta – det här är olika problem, eller hur? De är olika symtom, men samma sjukdom. De använder alla matematik som kan svara "Vilken väg ska jag gå?" Vilken väg ska jag gå but not “ ” How sharply is this about to change? Men inte » ” Hur kraftigt är det här på väg att förändras? Hur kraftigt är det här på väg att förändras? It’s like asking a GPS for directions but never checking if there’s a cliff ahead. Den Root Cause: Din stor-stor-farfarfars beräkningar beräkningar As said, in the case of Tesla what is happening is that their cars are reacting to what’s happening right now,  not anticipating what’s about to happen. Inte förutse vad som kommer att hända. Inte förutse vad som kommer att hända. Det är som att spela schack genom att bara titta på den nuvarande styrelsepositionen - ingen planering, ingen strategi, bara ”Jag ser en bit, jag flyttar en bit.” Chess players call this “beginner level.” Tesla calls it “Full Self-Driving.” Schackspelare kallar detta för "nybörjarnivå" Tesla kallar det för "Full Self-Driving". Tesla ingenjörer, som alla andra i Silicon Valley, använder fortfarande 19th century-baserad gränsberäkning - den matematiska motsvarigheten till att försöka streama Netflix på en telegrafmaskin. Under tiden har lösningen suttit på hyllan i 60 år: . dual/jet numbers Seriöst, vem stör sig med den "wacko, exotiska matematiken" de inte undervisar i universitets CS-program? 
 
 Och ändå gör dessa hyperrealrelaterade algebraer (dualer och jets) andra derivat (HVP) en beräknat trivial operation genom den eleganta sammansättningen av två förstklassiga operatörer (JVP  VJP). Och ändå gör dessa hyperrealrelaterade algebraer (dualer och jets) andra derivat (HVP) en beräknat trivial operation genom den eleganta sammansättningen av två förstklassiga operatörer (JVP  VJP). Och ändå gör dessa hyperrealrelaterade algebraer (dualer och jets) andra derivat (HVP) en beräknat trivial operation genom den eleganta sammansättningen av två förstklassiga operatörer (JVP  VJP). Hold up - är du berätta för mig ... att den "guldstandard" h-gränsberäkningen gör det till ett slag, medan duals / jets gör det trivialt ... att vad som är beräkningsintractable med den traditionella h-gränsberäkningen så många Ivy-League-kurser behandlar som guldstandarden är trivial med dubbla / jetnummer, vilket kan fixa de flesta av de jävla kurvrelaterade problemen i vår nuvarande AI? H-gräns beräkning Flygbolag / Jet beräkningsintakt med den traditionella h-gränsberäkningen trivial med dubbla/jet nummer, Ja, det är precis det. And it gets worse. The Hyperreal Revolution: Din kalkylprofessor berättade aldrig detta för dig Den beräkning du lärde dig på college - den som fick dig genom differentialekvationer, optimeringsteori och maskininlärningskurser - Det är bara . isn’t wrong incomplete Det är som att lära sig aritmetik men aldrig lära sig att multiplikation bara är upprepade tillägg. Here’s the specific problem: Traditional calculus (the h-limit approach): f'(x) = lim[h→0] (f(x+h) - f(x)) / h Detta definierar Derivat som gränsvärden – vilket innebär: gränser 
 
 
 
 Matematiskt strikt Bra för att bevisa teorem Beräkningsmässigt mardröm för allt utöver första derivat Datoriskt mardröm för allt utöver det första derivatet   : Varför då? För att beräkna ett andra derivat måste du ta en gräns för en gräns Varför då? Gräns för en gräns f'(x+h) = lim[h'→0] (f(x+h+h') - f(x+h)) / h' Men Själva datorn kräver: f'(x+h) f'(x+h) = lim[h'→ 0] (f(x+h+h') - f(x+h)) / h' Eller så slutar du med och två steg storlekar som interagerar instabilt, eller du tillgriper som är utsökta känsliga för stegstorlek och buller. , så två första derivatpassager ( ) är till ett verkligt andra derivat - du är Istället för . So, summing up: nested limits (H och H) higher-order stencils lose derivative structure JVP → VJP don’t compose rebuilding guesses carrying derivatives (H och H) Ett tredje derivat?   Använd även stenciler i högre ordning. Three nested limits or or Nästa Nästa inlägg: Nest k layers Använd bredare stenciler - , trunkering beror på stencil ordning, och du fortfarande , så JVP→VJP kommer inte att komponera till HVP i en FD-rörledning. For the k-th derivative: eller noise blows up as O(h^-k) lose derivative structure So your self-driving car keeps crashing against sun-set lit walls. Och för GPT-5s cirka 1,8 biljoner parametrar? Computational impossibility. Sharp läsare kommer att notera: "Fortsätt, om vi känner till funktionen f, kan vi inte bara beräkna f' och f 'analytiskt? f F” F” Great question! Here’s why that doesn’t work for neural networks: Problemet: Neurala nätverk är svarta lådor When you write a simple function, you can compute derivatives analytically: # Enkelt fall - analytiska derivat fungerar bra f(x) = x2 + 3x + 5 f'(x) = 2x + 3 # Easy to derive by hand f''(x) = 2 # Ännu lättare But a neural network with 1.8 trillion parameters looks like this: f(x) = σ(W₁₇₅·σ(W₁₇₄·σ(...σ(W₂·σ(W₁·x))...))) Var är: Varje W är en matris med miljarder parametrar. - Varje "σ" är en icke-linjär aktiveringsfunktion - Det finns hundratals lager (GPT-stil) Kompositionen beräknas dynamiskt under löptiden Du kan bokstavligen inte skriva ner den analytiska formen för f'(x) eftersom: Funktionen ändras varje gång du uppdaterar parametrarna (varje träningssteg) Det är för stort för att uttrycka sig symboliskt Den innehåller miljarder förankrade kompositioner ## Varför traditionell kalkyl misslyckas här The h-limit formula: f''(x) = lim[h→0] (f'(x+h) - f'(x)) / h kräver att du utvärderar f' (x + h)', vilket innebär att f'(x+h) = lim[h'→0] (f(x+h+h') - f(x+h)) / h' And here’s the trap: 
 
 
 
 
 Du kan inte beräkna f' analytiskt (funktionen är för komplex) Så du närmar dig det med hjälp av ändliga skillnader (h-gränsen)     Now you need f'(x+h) for the second derivative Så du närmar dig det med en annan ändlig skillnad (med stegstorlek h’) närma den med hjälp av ändliga skillnader Det där Du närmar dig en approximation - . Result: errors compound catastrophically Den skeptiska läsaren kan fortsätta att invända: ”Men kan vi inte använda något som SymPy eller Mathematica för att beräkna derivat symboliskt?” I teorin ja, i praktiken har vi ett liknande problem. For a 1.8 trillion parameter model!: 
 
 
 
 
 Det symboliska uttrycket för f' skulle vara större än själva modellen. Computing it would take  years Att lagra det skulle kräva mer minne än det finns Att förenkla det skulle vara beräkningsintakt Även för ett litet 3-lager nätverk med 1000 neuroner per lager: Example: 
 
 
 
 Symbolic   lands in the  . f' millions of terms Symbolisk f" hoppar till miljarder av termer. Tillväxt är kombinatorisk med djup / bredd; vanliga underuttryckstrick sparar dig inte tillräckligt. Glöm det . For hundred of layers? Klart nu då? Låt oss ta tillbaka vår Hyperreals-smak för AI Computing och låt oss se vad som händer när hyperreals möter liknande scenarier: Vad dubbla/jet nummer gör annorlunda: automatisk differentiering Dubbla tal använder inga gränser alls. Istället använder de: 
 
 
 
 Encode the differentiation rules in the arithmetic Utvärdera f med speciella tal som bär derivatinformation Derivat framträder genom regelföljande aritmetik k-jets bär trunkerade Taylor-banor upp till order k (nilpotent ε^k+1=0), så högre-order derivat I ett pass. Jets generalize this. fall out 
 
 Här är nyckeln: Beräkningsreglerna (kraftregeln, kedjeregeln etc.) är inbyggda i jet aritmetiska operationer, inte tillämpas symboliskt!  The calculus rules (power rule, chain rule, etc.) are  , not applied symbolically! So you get all the advantages of analytical solution without using them! Here’s the key: built into the jet arithmetic operations De tre grundläggande skillnaderna Beräkning med Symbolic Rule Application (impraktiskt på modern AI-skala) Process: 
 
 
 
 
 Skriv ner funktionen: f(x) = x3 Kom ihåg strömregeln: d/dx[xn] = n·xn−1 Använd den symboliskt: f’(x) = 3x2 Lagra båda formlerna separat Måste bygga hela det härledda uttrycket - exponentiell minnesexplosion. For neural networks: Traditionell h-Limit Calculus: Numerisk tillnärmning Process: 
 
 
 
 Choose a step size h (guesswork) Utvärdera: (f(x+h) – f(x))/h Få en tillnärmning med fel Problems: 
 
 
 
 Inte exakt (alltid har trunkering eller rundningsfel) Kan inte komponera rent bryter ner vid högre order Dual/Jet Numbers Algebra: Evaluation with Augmented Arithmetic (practical at modern AI scale) Process: 
 
 
 
 Utöka talsystemet med ε där ε2 = 0 Utvärdera f vid (x + ε) med hjälp av denna aritmetik Derivat visas automatiskt som ε-koefficienter Utöka nummersystemet ε2 = 0  No expression built — just evaluate once with special numbers. Linear memory scaling. For neural networks: Hur det faktiskt fungerar: Den binomiala magin med dubbla tal Let’s see as a toy example how the power rule emerge without applying any calculus: Example: compute derivative of f(x) = x³ Step 1: Evaluate at augmented input f(x + ε) = (x + ε)³
 (Kombinatoriska men inte kalkylerade) Step 2: Expand using binomial theorem (x + ε)³ = x³ + 3x²ε + 3xε² + ε³
 (ε2 är 0) Step 3: Apply nilpotent algebra = x³ + 3x²ε + 0 + 0
= x³ + 3x²ε
 Step 4: Read the dual number x³ + 3x²ε = (x³) + ε·(3x²)
            ↑         ↑
         value   derivative
 The derivative f’(x) = 3x² emerged through: 
 
 
 
 Binomisk expansion (Algebra för binomisk expansion) Nilpotent förenkling (ε2 = 0) Coefficient läsning NOT through: 
 
 
 
 ❌ Power rule application ❌ h-limit formula ❌ Symbolic differentiation 
 
 Du tillämpar inte maktregeln - du låter binomial expansion avslöja det. Du tillämpar inte maktregeln - du låter binomial expansion avslöja det. Du tillämpar inte maktregeln - . you let binomial expansion reveal it Du låter binomial expansion avslöja det Why This Scales When Symbolic Differentiation Doesn’t Symbolisk differentiering (analytisk differentiering) With AI working with neural networkd you must build expressions: 
 
 
 
 Layer 1 derivat: tusentals termer Layer 2 derivat: miljoner termer (kombinatorisk explosion)  expression size grows   in depth/width; even with common-subexpression elimination it becomes   to construct, store, or simplify. Hundreds of layers: exponentially intractable Memory required: More than all atoms in the universe 👀 Utvärdering av dubbla nummer: Never builds expressions: 
 
 
 
 Each instrumented tensor stored  value + ε·derivative Minnet: 2 x basmodell (för k = 1) Or 3× base model with Jets (for k=2 with second derivative) For GPT-5 (1.8T parameters): 
 
 
 k=1:  ~14.4 TB → 18.0 TB (totally practical) k=2: ~14.4 TB → 21.6 TB (passar på ~34 H100 noder) ~14.4 TB → 18.0 TB (totally practical) ~14.4 TB → 21.6 TB (passar på ~34 H100 noder) Men vänta - du flyger första klass i AI-matematik And there’s still more. Algebra av dubbla/jet nummer låter dig använda (Yup, om du vill göra dig själv en tjänst och skriva verklig AI som fungerar, och ) composition of functions learn category theory now! Here’s your genius move: With composition of functions, we can get  second derivatives for the price of a first derivative!! Woah. 🤯 Bara genom att använda  — otherwise structurally impossible with limit-based calculus. How? composition of functions I enkel engelska: Varför komposition misslyckas med h-limits   För att: Traditional calculus can’t do JVP∘VJP = HVP 
 
 
 
 
 JVP via ändliga skillnader ger dig ett tal (en ungefärlighet av f’(x)·v) Det talet har ingen derivatstruktur för VJP att differentiera Du måste börja om med en ny finite-differential approximation Operationerna är inte kedjor – var och en avlägsnar strukturen som den nästa behöver   För att: Dual numbers CAN do JVP∘VJP = HVP 
 
 
 
 
 JVP med dubbla ger dig ett dubbeltal (f(x), f'(x)·v) Det dubbla talet bär derivatstrukturen i sin ε-koefficient VJP kan differentiera det direkt genom att behandla det som input Verksamhetskedjan går naturligt – var och en bevarar strukturen för nästa behov Dual numbers are algebraically closed under composition. Den praktiska följden what the new paradigm can compute that the old one can’t: Varför detta är nyckeln till att fixa AI Current AI (k=1 only): 
 
 
 
 Kan svara: ”Vilken riktning ska jag gå?” Cannot answer: “How sharply is this direction changing?” Resultat: Reaktiv, inte förutseende With composition (JVP∘VJP): 
 
 
 
 Få andra derivat för 2× kostnaden för första derivat Can anticipate curves, detect trajectory changes Resultat: ett av många exempel - Tesla stoppar spökbromsning; AI slutar hallucinera. Tesla slutar fantombromsning; AI slutar hallucinera. Tesla slutar fantombromsning; AI slutar hallucinera. With explicit k=3 jets: 
 
 
 
 Få tredje part derivat för 3× kostnaden Kan verifiera topologisk konsistens (vinge nummer) Resultat: Matematiskt certifierade AI-utgångar The Functors + Composition Advantage And why Hyperreal Algebra Matters: Without it (finite differences): 
 
 
 
 Varje derivatorder kräver att du börjar från början Errors accumulate with each nesting Ingen kompositionsstruktur att utnyttja With it (dual numbers): 
 
 
 
 Derivat av högre ordning = komponera operationer av lägre ordning Exakt (inom en flytande punkt) Automatisk (kedjeregel inbyggd i ε-aritmetik) 
 
 
 
 
 Det är därför: ✅ Dubbla siffror skala till hundra lager (lineärt minne) ✅ Komposition fungerar (JVPVJP = HVP automatiskt) ✅ Högre order tillgängliga med Jet nummer ( k = 3, k = 4 möjligt) Det är därför: Det är därför: ✅ Dubbla siffror skala till hundra lager (lineärt minne) ✅ Komposition fungerar (JVPVJP = HVP automatiskt) ✅ Högre order tillgängliga med Jet nummer ( k = 3, k = 4 möjligt) And why: 
 
 
 
 Symbolisk differentiering exploderar (exponentiella uttryck) ❌ Finite differences can’t compose (no functoriality) h-limit-metoder bryter vid högre order (felföreningar) Summera upp The entire AI industry is stuck at first-order optimization because: 
 
 
 
 De lärde sig beräkning som h-gränser (skalar inte) De implementerar derivat som finita skillnader (komponerar inte) De lärde sig aldrig om gruppteori och hyperreella tal (inte i CS läroplaner) Meanwhile: 
 
 
 
 Dual numbers make derivatives   (not approximations) algebraic objects Jets gör högre order linjärt i kostnad (inte exponentiellt) Funktionell sammansättning gör andra derivat billiga (JVPVJP) The math to fix Tesla’s phantom braking, OpenAI’s hallucinations, and Meta’s moderation chaos has been sitting in textbooks since 1960s. Väntar på att någon ska ansluta punkterna mellan: binomial teorem (~400 år gammal), nilpotent algebra (~150 år gammal), och funktoriell komposition + hyperreals (~60 år gammal). To the biggest unsolved problems in AI. Now you know what Silicon Valley doesn’t and see what they cannot. 
 
 OBS: I den här artikeln betyder "traditionell beräkning" den ändliga skillnad (h-gräns) implementering som används i praktiken - välj en h, ungefärlig, upprepa - inte analytiska / symboliska derivat. OBS: I den här artikeln betyder "traditionell beräkning" den ändliga skillnad (h-gräns) implementering som används i praktiken - välj en h, ungefärlig, upprepa - inte analytiska / symboliska derivat. Nyfiken på den dolda sidan av AI? Upptäck mer på sidan av José Crespo, PhD. 
 
 Bild: Tesla kraschar genom en vägg, delvis upplyst vid solnedgången - lätt undvikbar av en mänsklig förare. Bild skapad av författaren med Stable Diffusion. Featured image: Tesla crashing through a wall, partially lit by sunset - easily avoidable by a human driver.

This story contains new, firsthand information uncovered by the writer.

Alla använder fel algebra i AI

About Author

KOMMENTARER

HÄNG TAGGAR

DENNA ARTIKEL PRESENTERAS I

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps