Ako ne razumijete vlastite vrednosti, ne razumijete AI Što ako vam kažem da tri broja - samo tri - mogu predvidjeti hoće li vaša AI raditi ili katastrofalno propasti? Nema nove arhitekture, nema prekvalifikacije, nema rekonstrukcije infrastrukture. Matematika koja je sedela u udžbenicima od 1950. godine, čekajući da neko brine da je proveri. These three numbers would have caught: Vaša Tesla fantazija koči bez razloga. Vaša Tesla fantazija koči bez razloga. GPT-4 pozivajući se na sudski slučaj koji ne postoji: podnesen od strane odvjetnika koji je sankcionisan. GPT-4 pozivajući se na sudski slučaj koji ne postoji: podnesen od strane odvjetnika koji je sankcionisan. Vaš model, obučeni za tri tjedna, prekrasan gubitak krivulje, isporučen na prod, odmah pada na lice. Vaš model, obučeni za tri tjedna, prekrasan gubitak krivulje, isporučen na prod, odmah pada na lice. Isti koren uzroka. svaki put. Tri broja koje svi ignorišu Niko vam ne govori o njima. Ne vaš okvir. Ne vaš kurs. Ne dokumentaciju, Bez obzira da li će zaključak biti stabilan ili halucinatorni.Da li je vaš minimum stvaran ili zamka. iako predviđaju hoće li vaš trening raditi ili eksplodirati u vašem licu iako predviđaju hoće li vaš trening raditi ili eksplodirati u vašem licu : Je li vaš optimizator troši računarski zig-zagging? Ovaj broj mjeri koliko je vaš krajolik gubitka "prošireni". Goriš 90% svog računala ići bočno umjesto dole (smjer prema minimumu greške) 1.  Broj uslova κ (λ_max / λ_min) Visoka κ znači kanjon. Broj uslova κ (λ_max / λ_min) Broj uslova κ (λ_max / λ_min) A high κ means canyon. : Da li je vaš model zapravo naučio - ili samo zapamtio? Čitajte dalje, i naći ćete GIF ispod koji to objašnjava bolje od čitave serije jednadžbi. 2.  Veličina sopstvene vrednosti ε (̧λ_max) Slatki Veličina sopstvene vrednosti ε (̧λ_max) Veličina sopstvene vrednosti ε (̧λ_max) 3.   You might be convinced that the gradient from your AI framework is enough to finish training your shiny new network. That’s what you were told: : Negative eigenvalue count δ (#λ < 0) the gradient says “we’re done, nowhere to go” because the slope is flat in every direction you’re measuring. Negative eigenvalue count δ (#λ < 0) Negativni broj vlastite vrednosti δ (#λ < 0) Ali šta ako je vaš trening zaglavljen na lažnom minimumu? To je ono za šta je ovaj ubojica δ broj. 
 
 
 Kada je δ = 0, nalazite se na istinskom minimumu – podu doline. Kada je δ > 0, nalazite se na brdu. Dalje ispod, videćete animiranu grafiku koja će razjasniti pitanja koja se trenutno možda pitate. Ipak – verujte ili ne – ovo Stara matematika je je Ova matematika postoji od 1950. godine, prije nego što je bilo ko sanjao o neuronskoj mreži. Sedamdeset i pet godina matematičara koji vrište u prazninu. Ipak – upravo sada, danas, kako ovo čitate – ne u PyTorchu. ne u TensorFlow-u. ne u JAX-u. ne u Kerasu. ne u bilo kojoj standardnoj obuci, gori milijune dolara. Tri broja koja će vam reći sve. skriven u vidu. Najveće laboratorije AI na svetu?Gledaju krivulje gubitka.Prekrižanje prstiju.I zovu to inženjering. 
 
 OpenAI ih ignoriše. Google ih preskoči. Anthropic čak i ne zna da postoje. OpenAI ignores them. Google skips them. Anthropic doesn’t even know they exist. Nobody checks. Nastavi čitati, još nisi vidio najbolji deo. 
 
 Zanimljivo o skrivenoj strani AI? Otkrij više na mojoj stranici ovdje Zanimljivo o skrivenoj strani AI? Otkrij više na mojoj stranici ovdje The Three Numbers Everyone Misses Dakle, upoznali ste κ, ε i δ. Tri broja koja predviđaju sve. Sada se zapitajte: Gde su oni? Not on your screen. Not in your logs. Not anywhere in the trillion-dollar AI industry. Ta tri broja nisu teorija.Oni su dijagnostička ploča koja bi trebala postojati...ali ne. Instead, here’s what the most popular AI frameworks — PyTorch, TensorFlow, JAX, Keras — actually give you: 
 
 
 
 Loss value ✓ Gradientni smjer ✓ Stopa učenja ✓ That’s it. That’s the whole dashboard. Tri broja – ali ne i tačno tri. Ne κ (broj uvjeta). Ne ε (velikost vlastite vrednosti). Ne δ (broj negativne vlastite vrednosti). κ κ ε ε δ δ And it’s not just your framework. OpenAI’s internal tools? Same blind spot. Google’s infrastructure? Same gap. Anthropic’s training pipeline? Same missing panel. The entire industry is flying the same broken instrument cluster. 
 
 Treniranje AI danas je kao letenje 747 sa merom brzine, kompasom i vibracijama. Treniranje AI danas je kao letenje 747 sa merom brzine, kompasom i vibracijama. Training AI today is like flying a 747 with a speedometer, a compass, and vibes. The loss is going down. Great — that means the error is going down, training looks good. But  Da li model pronalazi pravo rešenje, ili samo pamti buku i kopa se u rupu koja nikada neće pobjeći? Zašto Vrednosti će vam reći. Vaša omiljena AI okvira kontrolna ploča neće. Slika 2b čini ovo očiglednim: Gde su ta tri broja došla Uslovi : Kodira potpunu zakrivljenost vašeg krajolika gubitka. Svaki kanjon, svaki brežuljak, svaki ravni planina. Oni žive unutar nečega što se zove Hesian Druga derivativna matrica funkcije gubitka 
 
 I evo apsurdnog dijela: Hesijski je u potpunosti izračunan. Sedi tamo, viče dijagnostičke podatke, a niko ne gleda u to. I evo apsurdnog dijela: Hesijski je u potpunosti izračunan. Sedi tamo, viče dijagnostičke podatke, a niko ne gleda u to. Here’s how it works: Pogledajte dve kutije u sredini figure. Na levoj strani: ono što vam PyTorch pokazuje. Gubitak izgleda dobro. Gradient blizu nule. Stopa učenja postavljena. Zelena svetlost. Na desnoj strani: šta U pitanju je i otkriti. broj stanja kroz krov. Oštrina od grafikona. Dve negativne vlastite vrednosti. Vi niste na minimum: κ ε δ you’re stuck at a saddle point pretending to be done κ ε δ 
 
 Isti broj, isti trenutak, suprotni zaključci Isti broj, isti trenutak, suprotni zaključci Same numbers. Same moment. Opposite conclusions. OpenAI to ne izračunava. Google to ne izračunava. 
 
 Nobody running a several-hundred-thousand-bucks-a-month GPU cluster is checking eigenvalues. Nitko koji upravlja nekoliko stotina hiljada dolara-a-mjesečni GPU klaster provjerava eigenvalues. Gledaju krivine gubitka i pogrešno ste pogodili... molite se! But the Hessian is Too Heavy! Ovde je neko iz Google-a podiže ruku. Za milijardu parametarskog modela, to je milijardu puta milijardu. Ne možete to izračunati. Za milijardu parametarskog modela, to je milijardu puta milijardu. Ne možete to izračunati. Correct. And completely irrelevant. You don’t need the full matrix. You never did. A Hungarian physicist named   — back when “computer” meant a room full of vacuum tubes and an obsessive cross-fingering. His method extracts the dominant eigenvalues using iterative matrix-vector products. Complexity:  U osnovi besplatno u poređenju s jednim naprednim prolazom. Cornelius Lanczos je to shvatio 1950. godine. O(n) per iteration Cornelius Lanczos je to shvatio 1950. godine. Sedamdeset i pet godina napretka od tada? Sada imamo Hutchinsonov procjenitelj tragova, stohastički Lanczos kvadrat, randomizirani SVD. Možete dobiti procjene spektralne gustoće, vrhunske vlastite vrednosti, granice broja stanja – sve to uz zanemarivi računalni trošak. alat kao što je  already prove this works at the ImageNet scale. Today. Right now. PyHessian PyHessian 
 
 Dakle, zašto nije u PyTorchu? zašto nije u TensorFlow-u? Dakle, zašto nije u PyTorchu? zašto nije u TensorFlow-u? Dakle, zašto nije u PyTorchu? zašto nije u TensorFlow-u? Jer ljudi koji razumiju spektralnu teoriju su u matematičkim odeljenjima, pisanje radova niko ne čita. Ljudi koji grade okvire su brodske karakteristike koje izgledaju dobro u demonstracijama. Matematika postoji. inženjering postoji. volja da ih povežete? očigledno ne. Seventy-five years. Still waiting… Šta ti ovi brojevi zapravo govore Neka to bude praktično, konkretno i – prije svega – vizualno, tako da možete izgraditi prave matematičke intuicije. Neka to bude praktično, konkretno i – prije svega – vizualno, tako da možete izgraditi prave matematičke intuicije. Uslovi broj katastrofa Broj uslova κ (kappa) = λ_max / λ_min kontrolira koliko je težak vaš problem optimizacije zapravo. Here’s what nobody tells you: gradient descent convergence scales as  (κ-1)/(κ+1)  per iteration. Here’s what nobody tells you: gradient descent convergence scales as  (tj-1) i (tj+1) (tj-1) i (tj+1) Za iteraciju Prevod od: 
 
 
  Roughly 100 iterations to cut your error in half. κ = 100?  Roughly 10k iterations for the same progress. κ = 10000? And κ = 10000 is common in practice. Not pathological. Not rare. Tuesday. Dakle, što čini visoku κ Kao da? Osećaj Zamislite da se mramor valja po dolini. Dobra okrugla čaša? mramor valja pravo na dno. Ali visoka κ znači da je vaša dolina tanak kanjon: zidovi visoki kilometar, pod jedva vidljiv. Vaš marmor se ne ruši. To se odbija od zidova. Levo. Desno. Levo. Desno. Goruća energija ide bočno umjesto dolje. To je vaš gradient. Pokazivanje tačno gde kalkulus kaže: najstuplji pad. Problem je, “najstuplji pad” ima za cilj Ne spuštajte pod prema rešenju. canyon walls Gubitak stajao na 0.0847, a zatim 0.0846, a zatim 0.0847 opet? Vi prilagođavate stopu učenja. ništa. Vi žrtvujete gumene patke ML bogovima gotovo . ništa. Those training runs that plateau for hours? To je visoka κ. Vaš optimizator nije slomljen. On radi upravo ono što ste tražili. Ono što ste tražili je samo geometrijski lud. You’re burning compute fighting geometry your framework refuses to acknowledge exists. The fix? Prekondicioniranje. Metode drugog reda. Adaptivni optimizatori koji implicitno procjenjuju zakrivljenost. Matematika postoji. To je bilo u udžbenicima od 1960-ih. Ali prvo, trebali biste znati κ je problem. Your dashboard won’t tell you. So you’ll never ask. And your compute bill keeps climbing. Slika ispod pokazuje tačno šta se događa. Isti početak. Isti cilj. Jedna staza traje ~100 iteracija. Druga traje ~10000 – zigzagging od zidova kanjona while your GPU burns money. Sharp vs. Flat: The Generalization Prophecy Hajde da pričamo o — veličina vlastite vrednosti λ λ_max. ε (epsilon) 
 
 This number answers the question every ML engineer secretly dreads:  Did your model actually learn anything, or did it just memorize the test? This number answers the question every ML engineer secretly dreads:  Did your model actually learn anything, or did it just memorize the test? Zamislite svoj izgubljeni krajolik kao teren. je široka dolina – možete se kretati, a visina se jedva mijenja.  is a knife-edge ridge — one wrong step and you’re tumbling into the abyss. flat minimum sharp minimum Small ε = flat minimum = good news. Kada je ε mali, vaš model je pronašao tu široku dolinu. Podaci o proizvodnji dolaze u nešto drugačijim podacima od podataka o obuci: korisnici tipkuju čudne stvari, promene osvetljenja, akcenti variraju, a vaš model se trese. Close enough. I got this. That’s a generalization. That’s what you’re paying for. The GIF below shows what this looks like geometrically: Now flip the script. Što se događa kada je ε ogroman? kada vaše vlastite vrednosti vrište velike brojeve? Trening gubitak izgleda savršeno. Validacija je “najbolji trčanje ikad.” Pa, kada je ε large , vaš model je stisnuo sebe u sitnu, oštru pukotinu Pa, kada je ε large large , vaš model je stisnuo sebe u sitnu, oštru pukotinu Tada stižu pravi podaci.Nekoliko drugačije formule.Nekoliko različite slike.Nekoliko različite stvari. Ovaj model ne .  Napravite nešto malo gore It blows up: 
 
 
 
 Confidence scores go crazy Predictions turn random Vaš alarm-log sistem eksplodira u 2 ujutro. To je oštar minimum u akciji. Zidovi su tako strmi da najmanji pomak šalje gubitak raketiranje. Vaš model nije bio robustan. . brittle and faking it GIF ispod prikazuje razliku. Isti horizontalni pomak. Divno različiti rezultati. Pritisnite enter ili kliknite da biste videli sliku u punoj veličini Kao što vidite, ovo nije filozofija, to je geometrija koju možete izmeriti. Vaš model koji je slomio referentnu vrijednost i umro u proizvodnji? Našao je oštar minimum. Saddle Points: Tihi ubica Sada za – negativni broj vlastite vrijednosti, #(λ < 0). Ovo je prljavo. Ovo leži na vašem licu. δ (delta) Vaš gradient udara nulu. Vaša gubitna krivulja ide ravnomjerno. Vaš okvir štampa: ** „konvergencija.“ \ Vi se opustite. But you’re not at an error minimum. You’re at a  saddle point ! 💀 Vi ste na a saddle point Sjedilačka tačka Planinski prolaz gde se teren zakrivlja u nekim smjerovima i u drugim. Ali možete reći: Ne, dragi čitatelj. Ne, to samo znači da ste uravnoteženi na obali, a ne da ste postigli nešto korisno. PyTorch pokazuje da je moj gradient nula – ne bi li to trebalo da znači da je optimizacija završena? Koliko su uobičajene točke sedla? Let’s do the math. At any critical point, you can think of each eigenvalue as having a coin-flip chance of being positive or negative. For a true minimum, you need   of them positive. The rough probability? One-half raised to the power of your parameter dimension. sve Za milion parametara, to je 1/2^ (106) Imate bolje šanse da pobedite na lutriji dok vas udari munja dok vam ajkula ugrize nogu. True minima are statistical miracles. Dobra vijest: većina točaka sedla je nestabilna. inherentna buka SGD-a obično vas pokreće na kraju. Loše vijesti: "u konačnici" može biti tri sedmice gubitka računala. Degenerisana sedla - gde se vlastite vrednosti kreću blizu nule - stvaraju platforme gde gradient šapne umjesto da govori. Gubitak ne ide nigde. 
 
 δ > 0 bi vam odmah rekao. jedan broj. Saddle ili ne. ali vaš okvir to ne izračunava.  would tell you instantly. One number. Saddle or not. But your framework doesn’t compute it. δ > 0 The GIF below shows what this trap looks like: Gradientni tok vremenske bombe Mislite li da smo završeni? – Sve je gore. Vaša neuronska mreža nije jedna funkcija. To je lanac funkcija – sloj za slojem za slojem. I gradijenti moraju protjecati unazad kroz svaku od njih tijekom treninga. Kao igra telefona, osim svake osobe može šaputati previše tiho ili vrištati previše glasno. Svaki sloj ima Jacobian matricu - matricu parcijalnih derivata koji reguliše kako se signali šire. . The singular values of these Jacobians determine whether your gradients survive the journey or die along the way The singular values of these Jacobians determine whether your gradients survive the journey or die along the way  The gradient gets amplified at each layer. By the time it reaches the early layers, it’s not a gradient anymore — it’s a bomb. Exploding gradients. Your weights go to infinity. Training crashes. NaN city. Singular values > 1: Suprotna katastrofa. Gradient se razbija na svakom sloju. Do trenutka kada dostigne rane slojeve, to je greška zaokruživanja. Izgubljeni gradienti. Vaši rani slojevi prestaju učiti. Oni su zamrznuti dok se ostatak mreže pretvara da trenira. Singular values < 1:  Goldilocks zone. Gradients flow cleanly from end to end. Every layer learns. This is why orthogonal initialization works. This is why spectral normalization exists. Singular values ≈ 1: Ali evo stvari: ove tehnike su slučajno otkrivene i primenjene kao pomoćni trakovi. Nitko ne prati Jacobian spektra tokom treninga. Nitko ne gleda singularne vrednosti drift. dijagnoza koja bi vam rekla: , jednostavno ne postoji u bilo kom komercijalnom okviru. Layer 47 je na putu da ubije vaš gradientni protok Layer 47 is about to kill your gradient flow 😁 Your network could be bleeding out internally, and the dashboard shows nothing. Pogledajte za sebe: I tu idete: Stvarna kontrolna ploča vašeg AI okvira nedostaje This is the dashboard a serious AI framework should show you. Matematski pisano obuku će izračunati lagane spektralne dijagnostike na kontrolnim točkama i delovati na njima: 
 
 
 
  → switch to a preconditioned method. Hessian condition number exceeds a threshold Jacobian pojedinačne vrednosti odstupaju od 1 → primjenjuju spektralnu normalizaciju. Negativne vlastite vrednosti pojavljuju se → vi ste na sedlu, uznemireni da pobegnete. Hesian status broj premašuje prag Jacobianske pojedinačne vrednosti odlaze od 1 Negativne sopstvene vrednosti Trenutno, nijedan komercijalno dostupan AI okvir vam ne daje ove osnovne prediktore vlastite vrednosti. Umjesto toga, rukom prilagođavate stope učenja i nadate se... Zašto to niko nije popravio Three reasons: Kada bacanje više računala na problem radova, niko ne postavlja pitanja o temeljima. Ovo je privremeno. Skala zakoni plateau. Kada to učine, industrija će iznenada trebati matematiku nikada nije brinuo da uče. Scaling obscures mathematical sins.  The people who understand spectral theory work in applied math departments solving inverse problems. The people building AI frameworks took optimization and statistics. The Venn diagram overlap is nearly empty. Disciplinary silos.  Implementing proper spectral monitoring requires infrastructure nobody wants to build. Everyone would benefit. Nobody wants to pay. Abstraction debt. Zakon dolazi dvaput Evo šta nedostaje u svakom proizvodnom okviru: Industrija je uložila 100 milijardi dolara u skaliranje AI. Matematičke osnove ostaju nepotpune. Svaki neobjašnjivi neuspeh u obuci, svaka anomalija generalizacije, svaki model koji je radio u laboratoriju i umro u proizvodnji – to su simptomi matematičkih patologija koje vaši alati ne mogu dijagnosticirati. Što sada možete učiniti da biste otišli čak i izvan tih velikih AI kompanija? Počnite ovde: 
 
 
 
 
 Saznajte što Hesijske vlastite vrednosti znače za vašu specifičnu arhitekturu Praćenje brojeva stanja tokom treninga – čak i sirove procjene pomažu Provjerite oštrinu pre nego što pošaljete - PyHessian postoji, koristite ga  when loss plateaus — you might be at a saddle, not a minimum Question everything The math exists. It’s been waiting since 1950. Jedino pitanje je da li ćete to naučiti prije nego što vam sledeći neuspjeh u proizvodnji nauči teški put. 
 
 Zanimljivo o skrivenoj strani AI? Otkrij više na mojoj stranici ovdje Zanimljivo o skrivenoj strani AI? Otkrij više na mojoj stranici ovdje

This story contains new, firsthand information uncovered by the writer.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

Keep Reading: The Real Tech Narrative continues here

Ovaj audio je proizveden na originalnom jeziku priče!

Tri broja.To je sve što vaša AI treba da radi

About Author

KOMENTARI

HANG TAGS

OVAJ ČLANAK JE PREDSTAVLJEN U

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps