Сите ја користат погрешната алгебра во АИ

АИ продолжува да се срушува против истите ѕидови Или можеби тие го прават тоа, и само уживаат да ги гледаат своите автомобили да изведуваат интерпретативни танцувачки рутини на 60 милји на час. Apparently, not even Tesla - with its 1.4 Trillion valuation and army of PhDs - knows about this math. Во секој случај, тука е најголемата компилација на хитови што сте ги виделе на YouTube: The Tesla Self-Driving Blooper Reel: Очигледно, сенките се #1 закана за безбедноста на автопатот во 21 век. - Фантомски кочница Фантомски кочница Фантомски кочница Се врти со полна брзина, а потоа оди "О, проклета курва!" и фрла мини-шакањ од ништо, комедија за секого, освен за вратот. - Партијата на изненадувањата се претвора Партијата на изненадувањата се претвора Партијата на изненадувањата се претвора Возењето на прилагодувањата се толку ожесточени што би помислиле дека автомобилот има егзистенцијална криза. лево, десно, лево, десно.. тоа не е возење, тоа е Долу на автопатот. - Зафаќање на shuffle Вибрација Зафаќање на shuffle Зафаќање на shuffle 🎬 Does something so inexplicable that even the AI researchers watching the logs just shrug and mutter ” - На “Зошто го направи тоа?” „Најверојатно ќе паднеме надолу. - The “Why Did It Do That?” На “Зошто го направи тоа?” На “Зошто го направи тоа?” “gradient descent, probably. „Најверојатно ќе паднеме надолу. Curious about the hidden side of AI? Discover more on the page of José Crespo, PhD. Поправка која никој не ја користи Тесла би можел лесно да го реши ова со користење на втори деривати (Хесијански векторски производи, или HVP за кул деца). Така можеше Google, Meta, OpenAI, и речиси секоја компанија со "AI Стратегија" PowerPoint палуба. Погледнете ја табелата подолу - забележете модел? Чекајте - ова се различни проблеми, нели? Тие се различни симптоми, но истата болест. Сите тие користат математика која може да одговори на "Каков пат треба да одам?" Which way should I go but not “ ” How sharply is this about to change? but not “ ” Колку драстично ова е на пат да се промени? Колку драстично ова е на пат да се промени? It’s like asking a GPS for directions but never checking if there’s a cliff ahead. Коренот на причината: Вашиот голем дедо пресметка пресметка As said, in the case of Tesla what is happening is that their cars are reacting to what’s happening right now, not anticipating what’s about to happen. Немојте да предвидувате што ќе се случи. Немојте да предвидувате што ќе се случи. Тоа е како да се игра шах само со гледање на тековната позиција на одборот - без планирање, без стратегија, само „Гледам парче, движам парче“ Chess players call this “beginner level.” Tesla calls it “Full Self-Driving.” Шаховските играчи го нарекуваат ова ниво „почетник“, а Тесла го нарекува „целосно автономно возење“. Инженерите на Тесла, како и сите други во Силиконската долина, сè уште користат калкулација базирана на границите од 19 век - математички еквивалент на обидот да се емитува Нетфликс на телеграфска машина. Во меѓувреме, решението седи на полицата 60 години: . dual/jet numbers Сериозно, кој се мачи со тоа „вачко, егзотична математика“ што не ги учат во универзитетските ЦС програми? И сепак, овие алгебри поврзани со хиперреалноста (дуали и авиони) прават втори деривати (HVP) компјутерски тривијална операција преку елегантната композиција на два оператори од прв ред (JVP VJP). И сепак, овие алгебри поврзани со хиперреалноста (дуали и авиони) прават втори деривати (HVP) компјутерски тривијална операција преку елегантната композиција на два оператори од прв ред (JVP VJP). И сепак, овие алгебри поврзани со хиперреалноста (дуали и авиони) прават втори деривати (HVP) компјутерски тривијална операција преку елегантната композиција на два оператори од прв ред (JVP VJP). „Држете се – дали ми кажуваш... Тоа што е компјутерски непотребно со традиционалниот h-лимит пресметка толку многу Ivy-Лига курсеви третираат како златен стандард е тривијален со двојни / Jet броеви, што може да ги поправи повеќето од оние проклети крива поврзани проблеми во нашата тековна AI? h-лимит пресметка Ѕвезди / Jet компјутерски нераскинливи со традиционалниот h-limit пресметка тривијални со двојни / авионски броеви, Да, тоа е токму тоа. And it gets worse. Хиперреалната револуција: Вашиот професор за пресметка никогаш не ви го кажа ова The calculus you learned in college — the one that got you through differential equations, optimization theory, and machine learning courses — . It’s just . isn’t wrong incomplete It’s like learning arithmetic but never being taught that multiplication is just repeated addition. You can still do math, but you’re doing it the hard way. Here’s the specific problem: Traditional calculus (the h-limit approach): f'(x) = лим[h→0] (f(x+h) - f(x)) / h Ова го дефинира деривати како граници - што значи: Ограничувања Математички ригорозни ✅ Great for proving theorems Компјутерски кошмар за сè надвор од првите деривати Компјутерски кошмар за сè надвор од првите деривати : Why? Бидејќи за да се пресмета вториот дериват, треба да се земе лимит на лимит Зошто ? Ограничување на границата f'(x+h) = lim[h'→0] (f(x+h+h') - f(x+h)) / h' Но Самиот компјутер е потребен: f'(x+h) f'(x+h) = lim[h'→ 0] (f(x+h+h') - f(x+h)) / h' Или ќе завршите со Две големини на чекор тоа комуницира нестабилно, или се прибегнувате кон кои се исклучително чувствителни на големината на чекорите и бучавата. , така што првите две деривативни пасоши ( ) на into a true second derivative - you’re Наместо . So, summing up: nested limits (Одделно од H) higher-order stencils lose derivative structure JVP → VJP don’t compose rebuilding guesses carrying derivatives (Одделно од H) За трета дериватива? Користете дури и стилови со повисок редослед. Three nested limits or или или Nest K Layers Користете пошироки стилови - , тронувањето зависи од редоследот на стинзил, а вие сè уште , so JVP→VJP won’t compose into HVP in an FD pipeline. For the k-th derivative: или noise blows up as O(h^-k) lose derivative structure So your self-driving car keeps crashing against sun-set lit walls. А за GPT-5 со околу 1,8 трилиони параметри? Computational impossibility. Sharp читателите ќе забележат: Ако ја знаеме функцијата f, не можеме само аналитички да пресметаме f’ и f’? f Ф“ Ф“ Great question! Here’s why that doesn’t work for neural networks: The Problem: Neural Networks Are Black Boxes Кога ќе напишете едноставна функција, можете аналитички да ги пресметате дериватите: # Едноставен случај - аналитичките деривати работат добро f(x) = x² + 3x + 5 f'(x) = 2x + 3 # Лесно да се изведе со рака f''(x) = 2 # уште полесно But a neural network with 1.8 trillion parameters looks like this: Каде е: Секој W е матрица со милијарди параметри. - Секоја 'σ' е нелинеарна функција за активирање Постојат стотици слоеви (GPT стил) - Композицијата е динамички пресметана за време на времетраењето Вие не можете буквално да ја запишете аналитичката форма на f'(x) затоа што: Функцијата се менува секој пат кога ќе ги ажурирате параметрите (секој тренинг чекор) Преголема е за да се изрази симболично 3. It contains billions of nested compositions ## Зошто традиционалниот калкулус не успева тука Формулата на h-limit е: f''(x) = лим[h→0] (f'(x+h) - f'(x)) / h Requires you to evaluate f' (x + h)`, што значи: f'(x+h) = lim[h'→0] (f(x+h+h') - f(x+h)) / h' And here’s the trap: Не можете да пресметате f' аналитички (функцијата е премногу комплексна) Значи, вие го приближувате користејќи конечни разлики (h-лимитот) Сега ви треба f' (x + h) за вториот дериват Значи, ќе го приближите тоа со користење на друга конечна разлика (со големина на чекор h’) Приближи го користејќи конечни разлики Тоа Вие се приближувате на приближување - . Result: errors compound catastrophically Скептичниот читател може да продолжи да се спротивставува: "Но, не можеме ли да користиме нешто како SymPy или Mathematica за симболично да ги пресметаме дериватите?" Во теорија, да, во пракса, ние се соочуваме со сличен проблем. For a 1.8 trillion parameter model!: Симболичниот израз за f' би бил поголем од самиот модел. Компјутерирањето ќе трае со години Storing it would require more memory than exists Поедноставување на тоа ќе биде компјутерски нераскинливо Even for a tiny 3-layer network with 1000 neurons per layer: Example: Симболични f' земји во милиони термини. Symbolic jumps to the . f'' billions of terms Растот е комбинаторски со длабочината и ширината; честите трикови за субекспресија не ве штедат доволно. Заборавете го тоа. For hundred of layers? Јасно сега? Да го вратиме нашиот вкус на хиперреалност за AI Computing и да видиме што се случува кога хиперреалностите се соочуваат со слични сценарија: What Dual/Jet Numbers Do Differently: Automatic Differentiation Двојните броеви воопшто не користат граници. Encode the differentiation rules in the arithmetic Оценете f со специјални броеви кои носат дериватни информации Дериватите се појавуваат преку аритметиката што следи правило k-Jets носат скршени Taylor ленти до ред k (nilpotent ε^k+1=0), па деривати од повисок ред во една патека. Jets generalize this. fall out Еве го клучот: Правилата за пресметка (правило за моќ, правило за синџири итн.) се вградени во аритметичките операции на струјата, а не се применуваат симболично! Правилата за пресметка (правило за моќ, правило за синџир итн.) се , not applied symbolically! So you get all the advantages of analytical solution without using them! Here’s the key: built into the jet arithmetic operations The Three Fundamental Differences Калкулус со примена на симболично правило (непрактично на модерната скала на АИ) Process: Запишете ја функцијата f(x) = x3 Запомнете го правилото за моќност: d/dx[xn] = n·xn−1 Применувајте го симболично: f’(x) = 3x2 Чувајте ги двете формули одделно Мора да се изгради целиот деривативен израз – експоненцијална експлозија на меморијата. For neural networks: Традиционална h-лимитска пресметка: нумерички пристап Process: Изберете големина на чекор h (гејс) Евалуација: (f(x+h) — f(x))/h Get an with error approximation Problems: Not exact (always has truncation or roundoff error) Can’t compose cleanly Паѓаат на повисоки наредби Dual/Jet Numbers Algebra: Evaluation with Augmented Arithmetic (practical at modern AI scale) Process: Проширете го бројот со ε каде ε2 = 0 Оценете f на (x + ε) со користење на оваа аритметика Дериватите автоматски се појавуваат како ε-коефициенти Проширете го системот на броеви ε² = 0 Нема израз изграден - само еднаш да се оцени со специјални броеви. For neural networks: Како всушност работи: Биномијална магија со двојни броеви Let’s see as a toy example how the power rule emerge without applying any calculus: Example: compute derivative of f(x) = x³ Step 1: Evaluate at augmented input f(x + ε) = (x + ε)³ (combinatorics, not calculus) Step 2: Expand using binomial theorem (x + ε)³ = x³ + 3x²ε + 3xε² + ε³ (ε² = 0) Step 3: Apply nilpotent algebra = x³ + 3x²ε + 0 + 0 = x³ + 3x²ε Step 4: Read the dual number x³ + 3x²ε = (x³) + ε·(3x²) ↑ ↑ value derivative The derivative f’(x) = 3x² emerged through: Биномијална експанзија (алгебра) Нилпотентно поедноставување (ε2 = 0) Коефициент на читање NOT through: Примена на правилото за моќ h-limit формула ❌ Symbolic differentiation Вие не го применувате правилото за моќ – дозволувате биномијално проширување да го открие тоа. You don’t apply the power rule — . you let binomial expansion reveal it Вие не го применувате правилото за моќ - . Вие дозволувате биномијалната експанзија да го открие тоа Вие дозволувате биномијалната експанзија да го открие тоа Why This Scales When Symbolic Differentiation Doesn’t Symbolic Differentiation (Analytical): With AI working with neural networkd you must build expressions: Layer 1 derivative: thousands terms Layer 2 derivative: millions terms (combinatorial explosion) expression size grows in depth/width; even with common-subexpression elimination it becomes to construct, store, or simplify. Hundreds of layers: exponentially intractable Memory required: More than all atoms in the universe 👀 Евалуација на двојниот број: Never builds expressions: Секој инструментиран тензор складира вредност + ε·дериватив Меморија: 2× основен модел (за k = 1) Или 3× основен модел со Jets (за k=2 со вториот дериват) For GPT-5 (1.8T parameters): k=1: ~14.4 TB → 18.0 TB (totally practical) k=2: ~14.4 TB → 21.6 TB (fits on ~34 H100 nodes) ~14.4 ТБ → 18.0 ТБ (целосно практично) ~14.4 TB → 21.6 TB (погоден за ~34 H100 јазли) Но, почекајте - вие сте летање прва класа во АИ математика And there’s still more. Алгебрата на двојни / авионски броеви ви овозможува да го користите (иуп, ако сакате да си направите услуга и да напишете вистинска АИ која работи, ) на composition of functions learn category theory now! Here’s your genius move: Со составот на функциите, можеме да добиеме second derivatives for the price of a first derivative!! Woah. 🤯 Само со користење - во спротивно структурно невозможно со пресметка врз основа на граници. How? composition of functions На обичен англиски: Зошто композицијата не успева со h-лимитите Затоа што: Traditional calculus can’t do JVP∘VJP = HVP JVP преку конечни разлики ви дава број (приближување на f’(x)·v) Овој број нема дериватна структура за VJP да се диференцира Мора да започнете од почеток со нова приближување на конечна разлика Операциите не се синџири – секоја од нив ја отфрла структурата на која е потребна следната Затоа што: Dual numbers CAN do JVP∘VJP = HVP gives you a dual number JVP with duals (f(x), f'(x)·v) in its ε-coefficient That dual number carries derivative structure by treating it as input VJP can differentiate it directly Ланецот на операции се одвива природно – секој ја задржува структурата на следните потреби Dual numbers are algebraically closed under composition. Практични последици what the new paradigm can compute that the old one can’t: Зошто ова е клучот за поправање на AI Current AI (k=1 only): Може да одговори: „Во кој правец треба да одам?“ Не можете да одговорите: „Колку остро се менува овој правец?“ Резултат: реактивен, а не предвидувачки With composition (JVP∘VJP): Добијте втори деривати за 2× цената на првите деривати Може да ги предвиди кривите, да ги открие промените во траекторијата Result: one of many examples - Тесла престанува со фантомско сопирање; АИ престанува со халуцинации. Тесла престанува со фантомско сопирање; АИ престанува со халуцинации. Тесла престанува со фантомско сопирање; АИ престанува со халуцинации. With explicit k=3 jets: Добијте трети деривати за 3× цената Може да ја провери тополошката конзистентност (броеви на вентилација) Резултат: Математички сертифицирани ИИ излези Предност на функциите + композиција And why Hyperreal Algebra Matters: Without it (finite differences): Секоја дериватна наредба бара да почне од нула Errors accumulate with each nesting Нема композиторска структура за да се искористи With it (dual numbers): Деривати од повисок ред = Компонирајте операции од понизок ред Exact (within floating-point) Автоматско (целосно правило вградено во ε-аритметиката) Ова е зошто: ✅ Двоен број скала до сто слоеви (линеарна меморија) ✅ Композиција работи (JVPVJP = HVP автоматски) ✅ Повисоки нарачки достапни со Jet броеви ( k = 3, k = 4 изводливо) This is why: Ова е зошто: ✅ Двоен број скала до сто слоеви (линеарна меморија) ✅ Композиција работи (JVPVJP = HVP автоматски) ✅ Повисоки нарачки достапни со Jet броеви ( k = 3, k = 4 изводливо) And why: Симболичка диференцијација експлодира (експоненцијални изрази) Конечните разлики не можат да сочинуваат (без функционалност) ❌ h-limit methods break at higher orders (error compounds) Сумирање на The entire AI industry is stuck at first-order optimization because: Тие го научиле калкулацијата како h-лимити (не скали) Тие ги имплементираат дериватите како конечни разлики (не сочинуваат) Тие никогаш не научиле за теоријата на групите и хиперреалните броеви (не во наставните програми на CS) Meanwhile: Двојните броеви ги прават дериватите алгебарски објекти (не приближувања) Џетите прават повисоки нарачки линеарно во трошоците (не експоненцијално) Функционалниот состав го прави вториот дериват евтин (JVPVJP) The math to fix Tesla’s phantom braking, OpenAI’s hallucinations, and Meta’s moderation chaos has been sitting in textbooks since 1960s. Чекајќи некој да ги поврзе точките меѓу: биномијалната теорема (~ 400 години), нилпотентната алгебра (~ 150 години) и функционалната композиција + хиперреали (~ 60 години). To the biggest unsolved problems in AI. Now you know what Silicon Valley doesn’t and see what they cannot. ЗАБЕЛЕШКА: Во оваа статија, "традиционален пресметка" значи конечна разлика (h-лимит) имплементација која се користи во пракса - изберете h, приближно, повторете - не аналитички / симболични деривати. ЗАБЕЛЕШКА: Во оваа статија, "традиционален пресметка" значи конечна разлика (h-лимит) имплементација која се користи во пракса - изберете h, приближно, повторете - не аналитички / симболични деривати. Curious about the hidden side of AI? Discover more on the page of José Crespo, PhD. Карактеристична слика: Тесла се урна низ ѕид, делумно осветлена од зајдисонце - лесно избегната од човечки возач. Слика создадена од авторот со стабилна дифузија. Featured image: Tesla crashing through a wall, partially lit by sunset - easily avoidable by a human driver.