Pokud nerozumíte vlastním hodnotám, nerozumíte AI Co kdybych vám řekl, že tři čísla - jen tři - mohou předpovědět, zda vaše AI bude fungovat nebo katastrofálně selhat? Žádná nová architektura, žádná rekonstrukce, žádná rekonstrukce infrastruktury. Matematika, která sedí v učebnicích od roku 1950 a čeká, až ji někdo zkontroluje. Tyto tři čísla by měly zachytit: Vaše Tesla Phantom brzdí bez důvodu. Vaše Tesla Phantom brzdí bez důvodu. GPT-4 s odkazem na soudní případ, který neexistuje: předložený právníkem, který dostal sankci. GPT-4 s odkazem na soudní případ, který neexistuje: předložený právníkem, který dostal sankci. Váš model, vycvičený po dobu tří týdnů, krásná ztrátová křivka, odeslaná na prod, okamžitě padá na obličej. Your model, trained for three weeks, beautiful loss curve, shipped to prod, immediately falling on its face. Stejné příčiny – pokaždé. Tři čísla, která všichni ignorují Nikdo vám o nich neřekne. Ne váš rámec. Ne vaše kurzy. Ne dokumentace, Bez ohledu na to, zda bude závěr stabilní nebo halucinující, zda je vaše minimum skutečné nebo past. i když předpovídají, zda váš trénink bude fungovat nebo explodovat ve tváři i když předpovídají, zda váš trénink bude fungovat nebo explodovat ve tváři Je váš optimalizátor plýtvání výpočetní zig-zagging? Toto číslo měří, jak „protažené“ vaše ztráty krajiny je. Spálíte 90% vašeho počítače směrem dolů namísto dolů (směr k minimální chybě) 1.  Číslo podmínky κ (λ_max / λ_min) Vysoká k znamená kaňon. Číslo podmínky κ (λ_max / λ_min) Číslo podmínky κ (λ_max / λ_min) Vysoká k znamená kaňon. : Naučil se váš model skutečně - nebo si jen pamatuje? čtěte dál a najdete GIF níže, který to vysvětluje lépe než celá řada rovnic. 2.  Velikost vlastní hodnoty ε (̧λ_max) roztomilé Velikost vlastní hodnoty ε (̧λ_max) Velikost vlastní hodnoty ε (̧λ_max) 3.  Můžete být přesvědčeni, že gradient z vašeho AI rámce je dostatečný k dokončení tréninku vaší lesklé nové sítě. : Počet záporných vlastních hodnot δ (#λ < 0) gradient říká "jsme hotovi, nikam jít", protože svah je plochý v každém směru, který měříte. Počet záporných vlastních hodnot δ (#λ < 0) Počet záporných vlastních hodnot δ (#λ < 0) But what if your training is stuck at a fake minimum? To je to, pro co je toto číslo killer δ. Jako náhled: 
 
 
 Když δ = 0, jste na skutečném minimu – údolí. Když δ > 0, jste na kopci. Further below, you’ll see an animated graphic that will clarify the questions you’re probably asking yourself right now. A přesto – věřte tomu nebo ne – toto stará matematika je Is Tato matematika existuje od roku 1950, dříve než někdo snil o neuronové síti. Sedmdesát pět let matematiků křičí do prázdna. And still — right now, today, as you read this — not in PyTorch. Not in TensorFlow. Not in JAX. Not in Keras. Not in any standard training pipeline, burning millions of dollars. Tři čísla, která vám řeknou všechno. Největší laboratoře AI na světě? sledují ztrátové křivky. překračují prsty. A nazývají to inženýrstvím. 
 
 OpenAI je ignoruje, Google je přeskočí, Anthropic ani neví, že existují. OpenAI ignores them. Google skips them. Anthropic doesn’t even know they exist. Nobody checks. Let it sink in. But keep reading, you haven’t seen the best part yet. 
 
 Zajímají vás skryté stránky AI?Zjistěte více na mé stránce zde Curious about the hidden side of AI? Discover more on my page here Tři čísla, která chybí každému So you’ve met κ, ε, and δ. Three numbers that predict everything. Three numbers that have existed since your grandparents were young. Zeptejte se sami sebe: Kde jsou? Ne na obrazovce, ne ve vašich denících, nikde v triliónovém průmyslu AI. Those three numbers aren’t theory. They’re a diagnostic panel that should exist… but doesn’t. Místo toho, tady je to, co nejoblíbenější AI rámce - PyTorch, TensorFlow, JAX, Keras - skutečně vám dát: 
 
 
 
 Ztráta hodnoty ✓ Zpětná vazba ✓ Úroveň vzdělávání ✓ To je to, to je celá tabulka. Tři čísla – ale ne správná tři. Ne κ (podmínkové číslo). Ne ε (vlastní hodnota). Ne δ (negativní vlastní hodnota). κ κ ε ε δ δ And it’s not just your framework. OpenAI’s internal tools? Same blind spot. Google’s infrastructure? Same gap. Anthropic’s training pipeline? Same missing panel. The entire industry is flying the same broken instrument cluster. 
 
 Trénink umělé inteligence dnes je jako létání 747 s měřičem rychlosti, kompasem a vibracemi. Trénink umělé inteligence dnes je jako létání 747 s měřičem rychlosti, kompasem a vibracemi. Trénink umělé inteligence dnes je jako létání 747 s měřičem rychlosti, kompasem a vibracemi. Velké – to znamená, že chyba klesá, trénink vypadá dobře. ale  is it going down? Is the model finding a real solution, or just memorizing noise and digging itself into a hole it’ll never escape? Proč Vlastní hodnoty vám to řeknou.Dashboard vašeho oblíbeného AI rámce nebude. Obrázek 2b ukazuje toto: Odkud pocházejí tato čísla :  Kóduje kompletní zakřivení vaší ztrátové krajiny. Každý kaňon, každý kopec, každé ploché plošiny. Žijí uvnitř něčeho, co se nazývá hesiánské Druhá derivativní matice vaší funkce ztráty 
 
 A tady je absurdní část: Hessian je plně výpočetní. Sedí tam, křičí diagnostické údaje, a nikdo se na to nedívá. A tady je absurdní část: Hessian je plně výpočetní. Sedí tam, křičí diagnostické údaje, a nikdo se na to nedívá. Zde je, jak to funguje: Podívejte se na dvě krabice uprostřed obrázku. Na levé straně: co vám PyTorch ukazuje. Ztráta vypadá dobře. Gradient blízko nuly. nastavení rychlosti učení. zelené světlo. Na pravé straně: co , , , a  reveal. Condition number through the roof. Sharpness off the charts. Two negative eigenvalues. You’re not at a minimum:  κ ε δ you’re stuck at a saddle point pretending to be done κ ε δ 
 
 Stejná čísla, stejný okamžik, opačné závěry Stejná čísla, stejný okamžik, opačné závěry Stejná čísla, stejný okamžik, opačné závěry OpenAI to nevypočítá, Google to nevypočítá. 
 
 Nobody running a several-hundred-thousand-bucks-a-month GPU cluster is checking eigenvalues. Nikdo, kdo provozuje několik stovek tisíc dolarů měsíčně GPU cluster, kontroluje vlastní hodnoty. Sledují ztrátové křivky a máte pravdu... modlitba! Ale Hessian je příliš těžký! To je místo, kde někdo z Googlu zvedne ruku. Hessian je n×n. Pro model s miliardami parametrů je to miliarda krát miliarda. Nemůžete to vypočítat. Hessian je n×n. Pro model s miliardami parametrů je to miliarda krát miliarda. Nemůžete to vypočítat. Correct. And completely irrelevant. You don’t need the full matrix. You never did. Maďarský fyzik jménem  — back when “computer” meant a room full of vacuum tubes and an obsessive cross-fingering. His method extracts the dominant eigenvalues using iterative matrix-vector products. Complexity:  V podstatě zdarma ve srovnání s jedním forwardem. Cornelius Lanczos figured this out in 1950 O(n) per iteration Cornelius Lanczos figured this out in 1950 Sedmdesát pět let pokroku od té doby?Nyní máme Hutchinsonův odhad stop, stochastickou Lanczosovu čtverec, randomizovanou SVD. Můžete získat odhady spektrální hustoty, nejvyšší vlastní hodnoty, hranice čísel podmínek – to vše za zanedbatelné výpočetní náklady. Nástroje jako  already prove this works at the ImageNet scale. Today. Right now. Pyšní Pyšní 
 
 Tak proč to není v PyTorchu? proč to není v TensorFlow? proč to není v JAX? So why isn’t this in PyTorch? Why isn’t it in TensorFlow? Why isn’t it in JAX? Tak proč to není v PyTorchu? proč to není v TensorFlow? proč to není v JAX? Because the people who understand spectral theory are in math departments, writing papers nobody reads. The people building frameworks are shipping features that look good in demos. And the people training models are too busy babysitting loss curves to ask why they’re babysitting loss curves. Matematika existuje. inženýrství existuje. vůle je spojit? Zřejmě ne. Seventy-five years. Still waiting… Co vám tato čísla skutečně říkají Let’s make this practical, concrete, and — above all — visual, so you can build the right mathematical intuitions. Udělejme to praktické, konkrétní a především vizuální, abyste si mohli vytvořit správné matematické intuice. The Condition Number Disaster Číslo podmínky κ (kappa) = λ_max / λ_min určuje, jak těžký je váš problém s optimalizací. Here’s what nobody tells you: gradient descent convergence scales as  (κ-1)/(κ+1)  per iteration. Zde je to, co vám nikdo neřekne: gradientní stupnice konvergence jako (třetí místo) (třetí místo) (třetí místo) (třetí místo) v rámci iterace. Translation: 
 
 
 Přibližně 100 iterací pro snížení vaší chyby na polovinu. Přibližně 10 000 iterací pro stejný pokrok. A κ = 10000 je běžné v praxi. není patologické. není vzácné. úterý. So what does high κ  Jako že? feel Představte si rolování mramoru dolů do údolí. Nádherná kulatá miska? mramor se valí rovnou na dno. But high κ means your valley is a razor-thin slot canyon: walls a mile high, floor barely visible. Your marble doesn’t roll down. It pinballs off the walls. Left. Right. Left. Right. Burning energy going sideways instead of down. To je váš gradient. Označování přesně tam, kde kalkulačka říká: nejostřejší svah. Problém je, že „nejostřejší svah“ je zaměřen na Nejezděte dolů směrem k řešení. Stěny kaňonu Ztráta zůstala u 0.0847, pak 0.0846, pak 0.0847 znovu? Změníte míru učení. Nic. Obětujete kaučukovou kachnu božstvům ML jistě. Nic. Those training runs that plateau for hours? To je vysoká k. Váš optimalizátor není rozbitý. Dělá přesně to, co jste požádali. To, co jste požádali, je jen geometricky šílené. Vypalujete geometrii počítačových bojů, kterou váš rámec odmítá uznat. The fix? Preconditioning. Second-order methods. Adaptive optimizers that implicitly estimate curvature. The math exists. It’s been in textbooks since the 1960s. Ale nejprve byste měli vědět, že k je problém. Váš přístrojový panel vám to neřekne, takže se nikdy nebudete ptát a váš výpočetní účet stále stoupá. The figure below shows exactly what’s happening. Same starting point. Same destination. One path takes ~100 iterations. The other takes ~10000 — zigzagging off canyon walls  while your GPU burns money. Sharp vs. Flat: Generalizace proroctví Nyní si promluvme o  — the eigenvalue magnitude |λ|_max. ε (epsilon) 
 
 Toto číslo odpovídá na otázku, kterou se každý inženýr ML tajně bojí: naučil se váš model skutečně něco, nebo si jen zapamatoval test? This number answers the question every ML engineer secretly dreads:  Did your model actually learn anything, or did it just memorize the test? Picture your loss landscape as terrain. A  je široký údolí – můžete se toulat a výška se sotva mění. Je to hřeben na špičce nože – jeden špatný krok a ty se ponoříš do propasti. flat minimum sharp minimum Small ε = flat minimum = good news. Když je ε malý, váš model našel ten široký údolí.Výrobní data přicházejí v mírně odlišných od vzdělávacích dat: uživatelé zadávají podivné věci, změny osvětlení, akcenty se liší a váš model shrugs. Dost blízko, dostala jsem tohle. To je generalizace.To je to, za co platíte. Níže uvedený GIF ukazuje, jak to vypadá geometricky: Nyní otočte scénář. What happens when ε is huge? When your eigenvalues are screaming large numbers? . Training loss looks perfect. Validation is “best run ever.” Well, when ε is  large , your model has squeezed itself into a tiny, sharp crevice No, když ε je Velký Velký , your model has squeezed itself into a tiny, sharp crevice Then real data arrives. Slightly different wording. Slightly different images. Slightly different anything. A model není a . perform a bit worse It blows up: 
 
 
 
 Confidence scores go crazy Predictions turn random Váš alarm-logový systém exploduje ve 2 hodin ráno. To je ostré minimum v akci. Stěny jsou tak strmé, že nejmenší posun posílá ztrátu rakety. Váš model nebyl robustní. . Brittle a fake to Níže uvedený GIF ukazuje rozdíl. Stejný horizontální posun. Divokě odlišné výsledky. Stiskněte nebo klikněte pro zobrazení obrázku v plné velikosti Jak vidíte, toto není filosofie, to je geometrie, kterou můžete měřit. Váš model, který zlomil referenční hodnotu a zemřel ve výrobě? Našel ostré minimum. Saddle Points: The Silent Killer Nyní pro - záporná hodnota vlastní hodnoty, #(λ < 0).Tento je podvodný.Tento leží na tváři. δ (delta) Váš gradient zasáhne nulu. Your loss curve goes flat. Váš framework vytiskne: ** „konverzní.“ \ Uvolníte se. But you’re not at an error minimum. You’re at a  saddle point ! 💀 You’re at a  Sádlo bod Sádlo bod A mountain pass where the terrain curves up in some directions and down in others. Ale můžete říct:  \ No, dear reader. No. It only means you’re balanced on a ridge, not that you’ve reached anything useful. PyTorch shows my gradient is zero — shouldn’t that mean the optimization is done? Jak časté jsou sedlové body? Pojďme si udělat matematiku. V každém kritickém bodě můžete myslet na každou vlastní hodnotu jako na to, že máte šanci být pozitivní nebo negativní. z nich pozitivní. hrubá pravděpodobnost? jedna polovina zvýšená na sílu vašeho rozměru parametrů. all Pro milion parametrů je to 1/2^(106). You have better odds of winning the lottery while being struck by lightning while a shark bites your leg. In high dimensions, almost every critical point is effectively a saddle.  True minima are statistical miracles. Dobrou zprávou je, že většina sedlových bodů je nestabilní.Vlastní hluk SGD vás obvykle nakonec odrazí. Špatné zprávy: „konečně“ by mohly být tři týdny plýtvání výpočetní technikou. Degenerované sedla – kde se vlastní hodnoty pohybují blízko nuly – vytvářejí plošiny, kde gradient šeptá namísto mluví. Ztráta nikam nechodí. 
 
 δ > 0 vám řekne okamžitě. jedno číslo. sedlo nebo ne. ale váš rámec to nevypočítá. Řekne vám to okamžitě. Jedno číslo. Sedlo nebo ne. Ale váš rámec to nepočíta. δ > 0 The GIF below shows what this trap looks like: Gradientní časová bomba Oh, you thought we were done? It gets worse. Vaše nervová síť není jedna funkce. Je to řetězec funkcí – vrstva za vrstvou za vrstvou. A gradienty musí proudit zpět každým během tréninku. Jako hra na telefonu, s výjimkou každého člověka může šeptat příliš tiše nebo křičet příliš nahlas. Každá vrstva má Jacobian matice - matice částečných derivátů, které řídí, jak se signály šíří. . The singular values of these Jacobians determine whether your gradients survive the journey or die along the way Jedinečné hodnoty těchto Jacobianů určují, zda vaše gradienty přežijí cestu nebo zemřou na cestě  The gradient gets amplified at each layer. By the time it reaches the early layers, it’s not a gradient anymore — it’s a bomb. Exploding gradients. Your weights go to infinity. Training crashes. NaN city. Singular values > 1: Opačná katastrofa. Gradient se při každé vrstvě roztrhne. Do doby, kdy dosáhne raných vrstev, je to chyba zaokrouhlení. Zmizí gradienty. Vaše rané vrstvy přestanou učit. Jsou zmrazeny, zatímco zbytek sítě předstírá, že trénuje. Singular values < 1: Zóna Goldilocks. Gradienty proudí čistě od konce do konce. Každá vrstva se učí. To je důvod, proč funguje ortogonální inicializace. To je důvod, proč existuje spektrální normalizace. Singular values ≈ 1: Ale tady je věc: tyto techniky byly objeveny náhodou a aplikovány jako pásové pomůcky. Nikdo během tréninku nekontroluje jacobiánské spektrum. Nikdo nedívá na jednotlivé hodnoty. Diagnóza, která by vám řekla: Jednoduše neexistuje v žádném komerčním prostředí. Layer 47 se chystá zabít váš gradientový tok Layer 47 se chystá zabít váš gradientový tok Your network could be bleeding out internally, and the dashboard shows nothing. Podívejte se na to sami: A tady jdete: skutečný Dashboard váš AI rámec chybí To je přístrojová deska, kterou by vám měl seriózní rámec AI ukázat. Matematicky gramotný tréninkový kruh by vypočítal lehkou spektrální diagnostiku na kontrolních místech a jednal na nich: 
 
 
 
  → switch to a preconditioned method. Hessian condition number exceeds a threshold Jednotlivé hodnoty jacobiánské se pohybují od 1 → uplatňují spektrální normalizaci. Negativní vlastní hodnoty se objeví → jste na sedle, rušíte se, abyste unikli. Hessian condition number exceeds a threshold Jednotlivé hodnoty Jacobian se pohybují od 1 Negativní vlastní hodnoty se objevují V současné době vám žádný komerčně dostupný rámec AI neposkytuje tyto základní předpovědi vlastní hodnoty. Proč to nikdo neřešil Three reasons: Když hodíte více výpočetní techniky na problémové práce, nikdo nezpochybňuje základy. To je dočasné. Rozšiřování zákonů plošiny. Když to udělají, průmysl najednou potřebuje matematiku, kterou se nikdy neobtěžoval učit. Scaling obscures mathematical sins.  The people who understand spectral theory work in applied math departments solving inverse problems. The people building AI frameworks took optimization and statistics. The Venn diagram overlap is nearly empty. Disciplinary silos. Implementace správného sledování spektra vyžaduje infrastrukturu, kterou nikdo nechce vybudovat. Abstraction debt. Bill přichází dva Zde je to, co chybí v každém výrobním rámci: Průmysl investoval 100 miliard dolarů do škálování AI. The mathematical foundations remain incomplete. Every unexplained training failure, every generalization anomaly, every model that worked in the lab and died in production — these are symptoms of mathematical pathologies that your tools cannot diagnose. Co můžete nyní udělat, abyste šli i nad rámec těchto velkých společností AI? Start here: 
 
 
 
 
 Zjistěte, co pro vaši konkrétní architekturu znamenají hesiánské vlastní hodnoty Monitorování stavových čísel během tréninku – dokonce i hrubé odhady pomáhají Zkontrolujte ostrost před odesláním - PyHessian existuje, použijte jej Zeptejte se všeho, když ztrátové plošiny - můžete být na sedle, ne na minimum Matematika existuje, čeká se od roku 1950. Jedinou otázkou je, zda se to naučíte dříve, než vás vaše další selhání ve výrobě naučí těžké cestě. 
 
 Zajímají vás skryté stránky AI?Zjistěte více na mé stránce zde Zajímají vás skryté stránky AI?Zjistěte více na mé stránce zde

This story contains new, firsthand information uncovered by the writer.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

Keep Reading: The Real Tech Narrative continues here

Tento zvuk je produkován v původním jazyce příběhu!

Tři čísla. to je vše, co vaše AI potřebuje k práci

About Author

KOMENTÁŘE

ZAVĚŠIT ZNAČKY

TENTO ČLÁNEK BYL PŘEDSTAVEN V

Related Stories

Coinshift Launches csUSDL, Announces Strategic Partnerships

Coinshift Launches csUSDL, Announces Strategic Partnerships

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps