Բոլորը օգտագործում են սխալ Algebra AI- ում

AI-ը միշտ կտրում է նույն գծերի հետ Արդյոք կարող են, եւ պարզապես սիրում են, որ իրենց մեքենաները կատարում են անմիջական դիզայնային դիզայններ 60 mph- ում: Apparently, not even Tesla - with its 1.4 Trillion valuation and army of PhDs - knows about this math. Որպես որ, այստեղ են ամենամեծ սերտիֆիկները, որոնք դուք տեսել եք YouTube- ում: The Tesla Self-Driving Blooper Reel: 🎬 Քանի որ, իհարկե, գիշերներ են # 1 վտանգավորությունը Highway անվտանգության 21st century. - Սպիտակներ Braking Սպիտակներ Braking Սպիտակներ Braking Հիմն է, թե ինչ է անում, թե ինչ է անում, թե ինչ է անում, թե ինչ է անում, թե ինչ է անում, թե ինչ է անում. - The Surprise Party-ի վերադառնալը The Surprise Party-ի վերադառնալը The Surprise Party-ի վերադառնալը Արդյոք, թե ինչպե՞ս կարող եք փոխել, թե ինչպե՞ս կարող եք փոխել, թե ինչպե՞ս կարող եք փոխել, թե ինչպե՞ս կարող եք փոխել, թե ինչպե՞ս կարող եք փոխել: Բեռնել Highway. - The Seizure Shuffle- ը VIBRATOR The Seizure Shuffle- ը The Seizure Shuffle- ը «Ինչո՞ւ դա անում է այն»: Դա ինչ-որ բան անում է, որ նույնիսկ AI- ի հետազոտողները, ովքեր տեսնում են գրասենյակները, պարզապես կանգնած են եւ կանգնած են «բրայդինետային ցածրությունը, կարող է լինել». - Մայիսի The “Why Did It Do That?” «Ինչո՞ւ է դա անել» «Ինչո՞ւ է դա անել» “gradient descent, probably. «Ուրբնացրեմ, կարող է լինել. Գիտեք, թե ինչն է AI-ի սխալը: Գիտեք ավելին José Crespo, PhD-ի էջում: The Fix, որ ոչ ոք չի օգտագործում Tesla կարող է լուծել այս - հեշտությամբ - օգտագործելով second derivatives (Hessian-vector արտադրանքը, կամ HVP համար գեղեցիկ երեխաների համար). Այսպիսով, Google, Meta, OpenAI եւ ամեն ընկերությունը կարող է "AI Strategy" PowerPoint- ի կետը: Տեսեք ներքեւի թերթը - տեսեք մի մոդել: Կարդալ, թե ինչու են այդ խնդիրները, ոչ թե՞: Նրանք տարբեր սխալներ են, բայց նույն բուժում են: Նրանք բոլորը օգտագործում են մեթոդներ, որոնք կարող են պատասխանել «Ինչ ճանապարհին պետք է գնալ»։ Ո՞ր ճանապարհով պետք է գնալ but not “ ” How sharply is this about to change? «Եթե ոչ» ” Ինչպե՞ս պետք է փոխվի այս խնդիրը։ Ինչպե՞ս պետք է փոխվի այս խնդիրը։ It’s like asking a GPS for directions but never checking if there’s a cliff ahead. The Root Cause: Your Great-great-grandfather’s Կառուցումներ Կառուցումներ As said, in the case of Tesla what is happening is that their cars are reacting to what’s happening right now, not anticipating what’s about to happen. Չնայած այն, թե ինչ կունենա. Չնայած այն, թե ինչ կունենա. Դա այնպես է, որ խաղում է սխալը, պարզապես տեսնում է current board position- ոչ պլանավորություն, ոչ պլանավորություն, պարզապես «Ես տեսնում եմ մի բան, ես փոխում եմ մի բան» Chess players call this “beginner level.” Tesla calls it “Full Self-Driving.” Chess players call this “beginner level.” Tesla calls it “Full Self-Driving.” Tesla- ի ինժեներներները, ինչպես նաեւ Սիլիկոն Վալենում բոլորը, այժմ օգտագործում են 1900-ական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղական մետաղ Մինչեւ 60 տարի անց, լուծումը տանում է պլանավորության վրա: . dual/jet numbers Ոչ ոք չգիտեց, որ պետք է ստուգել մոդելը: Իհարկե, թե ով է վախենում այն «կամ, վախենական մետաղական» հետ, որ նրանք չգիտում են համալսարանի CS ծրագրերի մեջ: Սակայն, այդ hyperreal-related algebras (դուալներ եւ jets) դարձնել second derivatives (HVP) մի համակարգչային բուժական գործառույթների միջոցով elegancy composition of two first-order operators (JVP VJP). Սակայն, այդ hyperreal-related algebras (դուալներ եւ jets) դարձնել second derivatives (HVP) մի համակարգչային բուժական գործառույթների միջոցով elegancy composition of two first-order operators (JVP VJP). Սակայն, այդ hyperreal-related algebras (դուալներ եւ jets) դարձնել second derivatives (HVP) մի համակարգչային բուժական գործառույթների միջոցով elegancy composition of two first-order operators (JVP VJP). Հիմնական հոդված՝ Are You Telling Me... Թե որ «հավատական» h-limit բաղադրիչը այն է բաղադրիչը, իսկ Dual / Jet- ը այն է բաղադրիչը ... որ ինչն է բաղադրիչը բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչի բաղադրիչ H-limit մանրամասներ Երկու / Jet Հիմնական սխալը H-limit calculus Dual/Jet թվերի հետ, Ահա, պարզապես այն է. And it gets worse. The Hyperreal Revolution: Your Calculus Professor- ը երբեք չի ասում այս մասին The calculus you learned in college — the one that got you through differential equations, optimization theory, and machine learning courses — Ավելի լավ է, որ դուք գիտեք, թե ինչ է դա: Դա պարզապես . isn’t wrong incomplete Դա այնպես է, ինչպիսիք է, որ գիտեք, որ սխալները անում են, բայց երբեք չգիտեք, որ սխալները անում են, որ սխալները անում են, բայց դուք կարող եք արել սխալները, բայց դուք կարող եք արել սխալները: Here’s the specific problem: Traditional calculus (the h-limit approach): Արդյոք, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն: Այս defines Derivatives as limits — որը նշանակում է, որ: Բարձրությունը Մետաղական ճշգրիտություն Լավ է ստուգել Theorems- ը Կատեգորիաների համար ամեն ինչ ավելի քան առաջին արտադրանքի համար Computationally Nightmare- ի համար ամեն ինչ ավելի քան առաջին արտադրանքի համար : Ինչպե՞ս Երբ դուք պետք է բեռնել երկու բեռնելը, դուք պետք է ստանալ մեկ բեռնելը: Ինչպե՞ս Արդյոք limits Արդյոք, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն: Բայց Մարդիկ պետք է computing: f'(x+h) Արդյոք, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն: Արդյոք դուք ավարտում եք and two step sizes Դա անսահմանափակ է, կամ դուք վերցնում եք Նրանք շատ հեշտ են լինել եւ հեշտ են լինել: Երկու օրերին , այնպես որ երկու առաջին արտադրանքի փոխանցումներ ( )՝ Արդյոք, մի ճշգրիտ երկրորդ արտադրանքը - դուք instead of . So, summing up: nested limits (տեսանյութ) higher-order stencils lose derivative structure JVP → VJP don’t compose rebuilding guesses carrying derivatives (տեսանյութ) Ինչպե՞ս կունենա երեք արտադրանքը: use even higher-order stencils. Three nested limits or կամ Արդյոք, թե ինչ է k layers use wider stencils - , truncation depends on the stencil order, եւ դուք դեռ , այնպես որ JVP→VJP- ը չի ստեղծում HVP-ին FD խողովակի մեջ: For the k-th derivative: կամ noise blows up as O(h^-k) lose derivative structure So your self-driving car keeps crashing against sun-set lit walls. Ինչպե՞ս է GPT-5- ի մոտ 1.8 միլիոն պարամետրերի համար: Computational impossibility. Sharp Readers- ը կարող է իմանալ, որ «Եթե մենք գիտենք, որ գործառույթը f- ը, մենք կարող ենք պարզապես փոխել f- ը եւ f- ը ինտեգրիտորեն: Ինչու պետք է մենք պետք ենք այս սահմանափակման կամ երկու մանրամասների բաները»: f F» «F» Great question! Here’s why that doesn’t work for neural networks: Հիմնական հոդված՝ Neural networks are black boxes Երբ դուք գրում եք պարզ գործառույթ, դուք կարող եք calculate derivatives analytically: # Simple Case - Analytical Derivatives աշխատում է լավ f(x) = x² + 3x + 5 f'(x) = 2x + 3 # Easy to deriv by hand f''(x) = 2 # Ավելի հեշտ է But a neural network with 1.8 trillion parameters looks like this: Հիմնական հոդված՝ W174·σ(...σ(W2·σ(W1·x)) Where: - Բոլոր `W`-ն մի մեթոդ է, որը պարունակում է միլիոնավոր պարամետրեր: - Ամեն `σ` է ոչ-լինե գործառույթը - Կան մի քանի գծեր (GPT-style) - Composition- ը Dynamically calculated է Runtime- ի ընթացքում: Դուք չեք կարող գրել f'(x) analytical ձեւը, քանի որ: 1. ֆունկցիա փոխվում է ամեն անգամ, երբ թարմացեք պարամետրերը (հարկե, յուրաքանչյուր դասընթացը) 2. Դա շատ մեծ է, որպեսզի բացահայտվել է սխալով 3. Այն ներառում է միլիոնավոր մանրամասների մանրամասներ ##Why Traditional Calculus սխալում է այստեղ The h-limit formula: Արդյոք, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն: Requires you to evaluate f'(x+h)`, which means: Արդյոք, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն: And here’s the trap: Դուք չգիտեք, որ f'- ը analytically (ֆորմացիա շատ հարմար է) (the h-limit) So you Տեղադրեք այն, որը օգտագործում է վերջնական տարբերությունները: Այժմ դուք պետք է f' (x + h) համար երկրորդ արտադրանքի Այսպիսով, դուք մոտեցեք, որ օգտագործելով մի այլ վերջնական տարբերություն (հարկի չափը h’) Տեղադրեք այն, որը օգտագործում է վերջնական տարբերությունները: that Դուք պետք է մոտեցեք մի հարմարավետություն - . Result: errors compound catastrophically Սպիտակային լսողը կարող է վերցնել հարցը: «Եթե մենք չենք կարող օգտագործել ինչ-որ բան, ինչպիսիք են SymPy- ը կամ Mathematica- ը, այնպես որ կասկածել ենք արտադրանքը սմարթորեն»: Հիմնականում, ոչ, եւ գործում, մենք ունենք նման խնդիրներ: For a 1.8 trillion parameter model!: The symbolic expression for would be f' larger than the model itself 👀 Computing it would take years Հեռնել այն պետք է ավելի մանրամասներ, քան ունակ է Արդյոք սխալը կունենա Computational Intractable Մինչեւ մի քիչ 3-կոտային ցանցի համար, որը 1000 neurons per layer: Example: Symbolic lands in the . f' millions of terms Symbolic jumps to the . f'' billions of terms Բարձրությունը համատեղելի է լայնության / լայնության հետ; համատեղելի subexpression բաղադրիչները չգիտեն ձեզ շատ. Դա մոռացեք For hundred of layers? clear now? Տեսեք, թե ինչ է կատարվում, երբ hyperreals- ը միասնական սենյակում է: What Dual/Jet Numbers Do Differently: Automatic Differentiation Երկու մանրամասները ոչինչ չեն օգտագործում, այլեւ: Արդյունաբերական տարբերակների կարգավորումը Arithmetic Գիտեք, որ f- ը հատուկ թվերի հետ է, որոնք ներառում են արտադրանքի տեղեկատվություն: Արդյունաբերական գործառույթներ, որոնք արտադրվում են regel-following arithmetic միջոցով k-jets carry truncated Taylor lane up to order k (nilpotent ε^k+1=0), այնպես որ բարձր մակարդակի արտադրանքի in one pass. Jets generalize this. fall out The calculus rules (power rule, chain rule, etc.) are , not applied symbolically! So you get all the advantages of analytical solution without using them! Here’s the key: built into the jet arithmetic operations Կառուցման պայմանները (power rule, chain rule, եւ այլն) , չի օգտագործվում մանրամասնորեն! Այսպիսով դուք ստանում եք analytical լուծման բոլոր առավելությունները, առանց օգտագործման նրանց! Here’s the key: built into the jet arithmetic operations Երեք հիմնական տարբերությունները Calculus with Symbolic Rule Application ( impractical at modern AI scale) Process: Տեղադրեք գործառույթը: f(x) = x3 Պահպանեք Power Rule: d/dx[xn] = n·xn−1 Տեղադրեք այն սմարթորեն: f’(x) = 3x2 Store both formulas separately Այն պետք է կառուցել ամբողջ արտադրանքի սխալը — արտադրանքի սխալը (Exponential memory explosion). For neural networks: Traditional h-Limit Calculus: Numerical Approximation Process: Խնդրում ենք ընտրել չափը H (Gesswork) Գնացեք: (f(x+h) — f(x))/h Տեղադրեք սխալով մոտավորությունը Problems: Ոչ ճշգրիտ (Մենք միշտ ունենք truncation կամ roundoff սխալ) Ոչ կարող է մաքրել Բեռնում է ավելի բարձր आदेशների վրա Dual/Jet Numbers Algebra: Evaluation with Augmented Arithmetic (հարեցված է ժամանակակից AI չափով) Process: Ապրիշը լայնացեք ε- ի հետ, որտեղ ε2 = 0 using this arithmetic Evaluate f at (x + ε) Derivatives- ը ավտոմատորեն տեսնում է ε-կորատորները Բարձրացեք նամակային համակարգը ε² = 0 No expression built — just evaluate once with special numbers. Linear memory scaling. For neural networks: Ինչպե՞ս աշխատում է: Binomial Magic with Dual Numbers Տեսենք, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են, թե ինչպիսիք են: Example: compute derivative of f(x) = x³ Step 1: Evaluate at augmented input f(x + ε) = (x + ε)³ (Տեսակներ եւ ոչ մի բաղադրիչ) Step 2: Expand using binomial theorem (x + ε)³ = x³ + 3x²ε + 3xε² + ε³ (ε² = 0) Step 3: Apply nilpotent algebra = x³ + 3x²ε + 0 + 0 = x³ + 3x²ε Step 4: Read the dual number x³ + 3x²ε = (x³) + ε·(3x²) ↑ ↑ value derivative The derivative f’(x) = 3x² emerged through: Binomial լայնությունը (Algebra) Nilpotent հեշտությունը (ε2 = 0) Կատեգորիաներ Reading NOT through: Power Rule- ը օգտագործվում է ❌ h-limit formula Նկարագրական տարբերություն You don’t apply the power rule — . You let binomial expansion բացահայտել այն Դուք չեք օգտագործում Power Rule- ը, դուք թույլ եք տալիս binomial լայնությունը բացահայտել այն. You don’t apply the power rule — . You let binomial expansion բացահայտել այն You let binomial expansion բացահայտել այն Ինչու է այն, որ սխալվում է, երբ սխալվում է սխալը Պահպանական տարբերություն (Symbolic Differentiation) With AI working with neural networkd you must build expressions: Layer 1 derivative: thousands terms 2-րդ մակերեսի արտադրանքը: Millions Terms (Combinatorial Explosion) expression size grows in depth/width; even with common-subexpression elimination it becomes to construct, store, or simplify. Hundreds of layers: exponentially intractable Memory required: More than all atoms in the universe 👀 Dual Number Evaluation: Never builds expressions: Each instrumented tensor stored value + ε·derivative Մեմա: 2× բազան մոդել (կ = 1) կամ 3× բազան մոդել Jets- ի հետ (կ-ի համար = 2 second derivative- ի հետ) For GPT-5 (1.8T parameters): k=1: ~14.4 TB → 18.0 TB (totally practical) k=2: ~14.4 TB → 21.6 TB (մաս է ~34 H100 կոճի համար) ~14.4 TB → 18.0 TB (հավատ ճշգրիտ) ~14.4 TB → 21.6 TB (հավատվում է ~34 H100 կետների համար) Տեղադրեք, թե դուք առաջին դասընթացում եք AI Math And there’s still more. Dual/Jet Number Algebra-ը թույլ է տալիս ձեզ օգտագործել (yup, if you want to do yourself a favor and write real AI that works, Ավելի composition of functions learn category theory now! Here’s your genius move: Հիմնական funktions, մենք կարող ենք ստանալ second derivatives for the price of a first derivative!! Արդյոք Միայն օգտագործելով — այլն պլանավորապես չի կարող լինել բազանային բազանային հաշվարկման հետ: How? composition of functions Հեղինակային անգլերենում: Ինչպե՞ս սարքավորումը սխալում է h-limits- ի հետ Քանի որ: Traditional calculus can’t do JVP∘VJP = HVP JVP- ը մետաղական տարբերակների միջոցով տալիս է քեզ մի քանակը (մասնավորությունը f’(x)·v) Այս թվը չի ունենում արտադրական կառուցվածքը VJP- ի համար with a new finite-difference approximation You must start over — each one discards the structure the next one needs The operations don’t chain Քանի որ: Dual numbers CAN do JVP∘VJP = HVP JVP- ը Dual- ի հետ կօգնի ձեզ մի Dual Number (f(x), f'(x)·v) in its ε-coefficient That dual number carries derivative structure VJP- ը կարող է ուղղակիորեն տարբերել այն, որ օգտագործում է այն որպես ինտեգրման Operations Chain- ը բնական է - յուրաքանչյուրը պահպանում է կառուցվածքը, հետո անհրաժեշտությունները: Dual numbers are algebraically closed under composition. The Practical Consequence what the new paradigm can compute that the old one can’t: Ինչպե՞ս պետք է վերահսկել AI-ը Current AI (k=1 only): «Ես կարող եմ պատասխանել, թե ինչ ուղղությամբ պետք է գնալ»: Cannot answer: “How sharply is this direction changing?” Result: Reactive, not anticipatory With composition (JVP∘VJP): Get second derivatives for 2× the cost of first derivatives - կարող է նախընտրել թռիչքներ, տեսնել թռիչքների փոխանցումներ Ապրանքը: Մեկ շատ օրինակ - Tesla stops phantom braking; AI stops hallucinating. Tesla stops phantom braking; AI stops hallucinating. Tesla stops phantom braking; AI stops hallucinating. With explicit k=3 jets: Արդյոք, դուք կարող եք ստանալ 3x արժեքը Can verify topological consistency (winding numbers) Ապրանքը: Mathematically Certified AI Outputs The Functors + Composition Ապրանքներ And why Hyperreal Algebra Matters: Without it (finite differences): Ամեն արտադրանքի կարգը պահանջում է սկսել ցածրից Արդյոք սխալները բաղադրվում են յուրաքանչյուր բաղադրիչի հետ No compositional structure to exploit With it (dual numbers): Higher-Order Derivatives = Compound Low-Order Operations-ի գործառույթները Բարձր (կամ ներսում է Flowing-point) Automatic (chain rule built into ε-arithmetic) Դա ինչու է: ✅ Dual Number Scale to Hundred Layers (լինե մենակներ) ✅ Composition works (JVP VJP = HVP ավտոմատ) ✅ Բարձր Order- ից, որոնք հասանելի են Jet Number- ի հետ ( k = 3, k = 4 կարող է) Դա ինչու է: Դա ինչու է: ✅ Dual Number Scale to Hundred Layers (լինե մենակներ) ✅ Composition works (JVP∘VJP = HVP automatically) ✅ Higher orders accessible with Jet numbers ( k=3, k=4 feasible) And why: Սմոմոլիկ տարբերակագրություն explodes (exponential expressions) ❌ Finite differences can’t compose (no functoriality) h-limit մեթոդները կտրում են բարձրագույն ուղիղներում (Error Compounds) Summing մինչեւ The entire AI industry is stuck at first-order optimization because: Նրանք գիտել են, որ calculus- ը h-limits- ում է (լուսանկարներ) Նրանք օգտագործում են արտադրանքը, քանի որ մանրամասն տարբերակներ են (լուսանկարներ) Նրանք երբեք չգիտեցին, թե ինչ է սերտիֆիկայի եւ hyperreal nombres- ի մասին (հա ոչ CS դասընթացներում) Meanwhile: Dual nombres make derivatives algebraic objects (լուսանկարներ) Jets- ը ավելի բարձր առաքում է գինը (լուսանկարներ) Functorial composition makes second derivatives (JVP∘VJP) cheap The math to fix Tesla’s phantom braking, OpenAI’s hallucinations, and Meta’s moderation chaos has been sitting in textbooks since 1960s. Ահա թե ինչ-որ բան կարող է միացնել միասին: binomial theorem (~400 տարի առաջ), nilpotent algebra (~150 տարի առաջ) եւ functiontorial composition + hyperreals (~60 տարի առաջ). To the biggest unsolved problems in AI. Now you know what Silicon Valley doesn’t and see what they cannot. Նշում է, որ այս հոդվածում, «պատեգորիաներային հաշվետվություն» նշանակում է կատարման, որը օգտագործվում է գործառույթում: pick a h, approximate, repeat - ոչ analytic / symbolic արտադրանքը. Նշում է, որ այս հոդվածում, «պատեգորիաներային հաշվետվություն» նշանակում է կատարման, որը օգտագործվում է գործառույթում: pick a h, approximate, repeat - ոչ analytic / symbolic արտադրանքը. Գիտեք, թե ինչն է AI-ի սխալը: Գիտեք ավելին José Crespo, PhD-ի էջում: Նկարագրված տեսակը: Tesla-ը կտրում է մի գծի վրա, որոշակի անգամ լուսավորվում է սննդի կտրումով - հեշտությամբ փնտրված է տղամարդկանց մեքենան: Image created by the author with Stable Diffusion. Image created by the author with Stable Diffusion. Featured image: Tesla crashing through a wall, partially lit by sunset - easily avoidable by a human driver.