Ja jūs nesaprotat pašvērtējumus, jūs nesaprotat AI Ko, ja es jums pateiktu, ka trīs skaitļi - tikai trīs - varētu paredzēt, vai jūsu AI darbosies vai katastrofāli neizdosies? Nav jaunas arhitektūras, nav pārkvalifikācijas, nav infrastruktūras pārveidošanas. Matemātika, kas ir sēdējusi mācību grāmatās kopš 1950. gada, gaidot, kad kāds to pārbaudīs. Šie trīs skaitļi būtu ieguvuši: Jūsu Tesla fantoms bremzē bez iemesla. Jūsu Tesla fantoms bremzē bez iemesla. GPT-4 atsaucoties uz tiesu lietu, kas neeksistē: iesniedza advokāts, kurš tika sodīts. GPT-4 citing a court case that doesn’t exist: submitted by a lawyer who got sanctioned. Jūsu modelis, apmācīts trīs nedēļas, skaista zaudējumu līkne, nosūtīta uz prod, nekavējoties nokrīt uz sejas. Jūsu modelis, apmācīts trīs nedēļas, skaista zaudējumu līkne, nosūtīta uz prod, nekavējoties nokrīt uz sejas. Tāda paša iemesla dēļ, katru reizi. The Three Numbers Everyone Ignores Neviens jums nestāsta par tiem. ne jūsu sistēma. ne jūsu kursa darbs. ne dokumentācija, Vai secinājums būs stabils vai halucinējošs, vai jūsu minimums ir reāls vai lamatas. though they predict whether your training will work or blow up in your face lai gan viņi paredz, vai jūsu treniņš darbosies vai uzsprāgs jūsu sejā : Vai jūsu optimizētājs izšķērdē datoru? šis skaitlis mēra, cik “izstiepts” ir jūsu zaudējumu ainava. Jūs sadedzināt 90% no jūsu datora iet sānos, nevis uz leju (virziens uz kļūdu minimumu) 1.  Nosacījuma numurs κ (λ_max / λ_min) Augsts κ nozīmē kanjonu. Nosacījuma numurs κ (λ_max / λ_min) Nosacījuma numurs κ (λ_max / λ_min) Augsts κ nozīmē kanjonu. Vai jūsu modelis patiešām ir iemācījies – vai vienkārši atcerējies? GIF zemāk, kas to izskaidro labāk nekā vesela virkne vienādojumu. 2.  Eigenvalue magnitude ε (|λ|_max) skaisti Pašvērtējuma lielums ε (̧λ_max) Pašvērtējuma lielums ε (̧λ_max) 3.  Jūs varētu būt pārliecināts, ka jūsu AI sistēmas gradients ir pietiekams, lai pabeigtu savu spīdīgo jauno tīklu apmācību. : Negatīvā pašnovērtējuma skaitlis δ (#λ < 0) gradients saka "mēs esam pabeiguši, nav kur iet", jo slīpums ir plakans visos virzienos, kurus jūs mēra. Negatīvā pašnovērtējuma skaitlis δ (#λ < 0) Negatīvā pašnovērtējuma skaitlis δ (#λ < 0) But what if your training is stuck at a fake minimum? That’s what this killer δ number is for. As a preview: 
 
 
 When  , you’re at a true minimum — a valley floor. δ = 0 Ja δ > 0, jūs esat uz kalna. Turpmāk zemāk jūs redzēsiet animētu grafiku, kas paskaidros jautājumus, kurus jūs, iespējams, jautājat sev tieši tagad. Un tomēr – ticiet vai nē – šis Vecā matemātika Is Is Šī matemātika pastāv kopš 1950. gada, pirms kāds būtu sapņojis par neironu tīklu. Seventy-five years of mathematicians screaming into the void. Un tomēr – tieši tagad, šodien, kā jūs lasāt šo – ne PyTorch. ne TensorFlow. ne JAX. ne Keras. ne jebkurā standarta apmācības caurulē, sadedzinot miljonus dolāru. Trīs skaitļi, kas jums visu pateiks. Lielākās AI laboratorijas pasaulē? viņi skatās zaudējumu līknes, šķērso pirkstus un to sauc par inženieriju. 
 
 OpenAI tos ignorē, Google tos izlaida, Anthropic pat nezina, ka tie pastāv. OpenAI tos ignorē, Google tos izlaida, Anthropic pat nezina, ka tie pastāv. Bet turpiniet lasīt, jūs vēl neesat redzējuši labāko daļu. 
 
 Interesanti par AI slēpto pusi? atrodiet vairāk manā lapā šeit Interesanti par AI slēpto pusi? atrodiet vairāk manā lapā šeit Trīs skaitļi, kurus visi zaudē Tātad jūs esat satikuši κ, ε un δ. Trīs skaitļi, kas paredz visu. Tagad pajautājiet sev: kur viņi ir? Not on your screen. Not in your logs. Not anywhere in the trillion-dollar AI industry. Šie trīs skaitļi nav teorija, tie ir diagnostikas panelis, kam vajadzētu pastāvēt... bet tas tā nav. Tā vietā šeit ir tas, ko vispopulārākie AI frameworks - PyTorch, TensorFlow, JAX, Keras - faktiski sniedz jums: 
 
 
 
 Loss value ✓ Virziena virziens ✓ Mācību līmenis ✓ Tas ir tas, tas ir viss dashboard. Three numbers — but not the right three. Not   (condition number). Not   (eigenvalue magnitude). Not   (negative eigenvalue count). κ ε δ κ κ ε ε δ δ Un tas nav tikai jūsu framework. OpenAI iekšējie rīki? Tas pats aklais punkts. Google infrastruktūra? Tāda pati plaisa. Anthropic apmācības cauruļvads? Tas pats trūkst panelis. Visa nozare lido pa to pašu bojātu instrumentu kopu. 
 
 Training AI today is like flying a 747 with a speedometer, a compass, and vibes. Mūsdienās AI apmācība ir kā lidot ar 747 ar ātruma mērītāju, kompasu un vibrācijām. Mūsdienās AI apmācība ir kā lidot ar 747 ar ātruma mērītāju, kompasu un vibrācijām. Liels - tas nozīmē, ka kļūda samazinās, apmācība izskatās labi. Bet  is it going down? Is the model finding a real solution, or just memorizing noise and digging itself into a hole it’ll never escape? why Jūsu iecienītākās AI sistēmas kontroles panelis jums to nepaziņos. Saraksts 2b padara to acīmredzamu: No kurienes nāk šie trīs skaitļi : no Tas kodē jūsu zaudējumu ainavas pilnīgu izliekumu. Katrs kanjons, katrs kalns, katrs plakanais platums. Viņi dzīvo kaut ko, ko sauc par Hesian Jūsu zaudējumu funkcijas otrā atvasinātā matrica 
 
 Un šeit ir absurda daļa: Hessiešu valoda ir pilnībā aprēķināma. tā sēž tieši tur, kliedzot diagnostikas datus, un neviens to neredz. Un šeit ir absurda daļa: Hessiešu valoda ir pilnībā aprēķināma. tā sēž tieši tur, kliedzot diagnostikas datus, un neviens to neredz. Here’s how it works: Paskaties uz divām kastēm skaitļa vidū. Kreisajā pusē: ko PyTorch jums parāda. Zaudējums izskatās labi. Gradients tuvu nullei. Mācīšanās ātrums. Zaļā gaisma. Kuģot to. Labajā pusē: kas ,  un nosaka. nosacījuma numurs caur jumtu. Asums no diagrammas. Divas negatīvās īpašās vērtības. Jūs neesat vismaz: • κ ε δ you’re stuck at a saddle point pretending to be done κ ε δ 
 
 Līdzīgi rezultāti, līdzīgi rezultāti, pretēji rezultāti. Līdzīgi rezultāti, līdzīgi rezultāti, pretēji rezultāti. Līdzīgi rezultāti, līdzīgi rezultāti, pretēji rezultāti. OpenAI to neaprēķina, Google to neaprēķina. 
 
 Nobody running a several-hundred-thousand-bucks-a-month GPU cluster is checking eigenvalues. Neviens, kas darbojas vairāku simtu tūkstošu dolāru mēnesī GPU klasteris, pārbauda pašu vērtības. They’re watching loss curves and you guessed right… praying! Bet hesiāns ir pārāk smags! Lūk, kur kāds no Google pacēla roku. Hesiāns ir n×n. Miljardu parametru modelim tas ir miljarda reizes miljarda. Hesiāns ir n×n. Miljardu parametru modelim tas ir miljarda reizes miljarda. Correct. And completely irrelevant. You don’t need the full matrix. You never did. A Hungarian physicist named  — atpakaļ, kad “dators” nozīmēja telpu, kas piepildīta ar vakuuma caurulēm un obsesīvu krustojumu.Viņa metode iegūst dominējošās pašu vērtības, izmantojot iteratīvos matricas-vektora produktus.Sarežģītība: Būtībā bezmaksas salīdzinājumā ar vienu priekšpusi. Cornelius Lanczos figured this out in 1950 O(n) per iteration Cornelius Lanczos figured this out in 1950 Mums tagad ir Hutchinsona pēdu aprēķinātājs, stochastic Lanczos kvadrāts, izlases SVD. Jūs varat iegūt spektrālās blīvuma aprēķinus, augstākās kvalitātes pašu vērtības, stāvokļa numura robežas - viss ar nenozīmīgām aprēķina izmaksām. Tools like  Tas jau pierāda, ka tas darbojas ImageNet mērogā. šodien. PyHessian Pītersons 
 
 Tātad, kāpēc tas nav PyTorch? kāpēc tas nav TensorFlow? kāpēc tas nav JAX? Tātad, kāpēc tas nav PyTorch? kāpēc tas nav TensorFlow? kāpēc tas nav JAX? Tātad, kāpēc tas nav PyTorch? kāpēc tas nav TensorFlow? kāpēc tas nav JAX? Tā kā cilvēki, kas saprot spektrālo teoriju, ir matemātikas nodaļās, rakstot papīrus neviens nolasīs. Cilvēki, kas veido sistēmu, ir kuģošanas funkcijas, kas izskatās labi demos. Matemātika pastāv. Inženierzinātne pastāv. Vēlme tos savienot? Acīmredzot nē. Seventy-five years. Still waiting… What These Numbers Actually Tell You Padariet to praktisku, konkrētu un, pirmkārt, vizuālu, lai jūs varētu veidot pareizās matemātiskās intuīcijas. Padariet to praktisku, konkrētu un, pirmkārt, vizuālu, lai jūs varētu veidot pareizās matemātiskās intuīcijas. Nosacījuma numurs katastrofa Nosacījuma numurs κ (kappa) = λ_max / λ_min kontrolē, cik grūti jūsu optimizācijas problēma faktiski ir. Here’s what nobody tells you: gradient descent convergence scales as  (κ-1)/(κ+1)  per iteration. Lūk, ko neviens jums nesaka: gradientu lejupslīdes konverģences skalas kā (k1 / k1 / k1 / k1) (k1 / k1 / k1 / k1) per iteration. tulkojums : 
 
 
 aptuveni 100 iterācijas, lai samazinātu savu kļūdu uz pusi. aptuveni 10k iterācijas par to pašu progresu. And κ = 10000 is common in practice. Not pathological. Not rare. Tuesday. Tātad, kas ir augsts k Tāpat kā ? sajūta Iedomājieties marmora rullēšanu pa ieleju. jauka apļveida bļoda? marmors rullē taisni uz apakšu. Bet augsts κ nozīmē, ka jūsu ieleja ir šķērsgriezuma plāns kanjons: sienas ir jūdzes augstas, grīda ir gandrīz neredzama. Jūsu marmors neslīd uz leju. Tas noņemas no sienām. kreisā. labajā pusē. labajā pusē. Degšanas enerģija iet sānos, nevis uz leju. Tas ir jūsu gradients. Norādot precīzi, kur kalkulators saka: stingrākais lejupslīde. Problēma ir tāda, ka "stingrākais lejupslīde" ir vērsta uz Bet ne zem grīdas uz risinājumu. Kanjonu sienas Zaudējums iestrēdzis 0.0847, tad 0.0846, tad 0.0847 atkal? Jūs pielāgojat mācīšanās ātrumu. Nekas. Jūs upurējat gumijas kaķi ML dieviem. Nekas. Those training runs that plateau for hours? Tas ir augsts κ. Jūsu optimizētājs nav bojāts. tas dara tieši to, ko jūs lūdzāt. tas, ko jūs lūdzāt, ir tikai ģeometriski traks. Jūs sadedzināt datoru cīņas ģeometriju, jūsu sistēma atsakās atzīt, ka tā pastāv. The fix? Preconditioning. Second-order methods. Adaptive optimizers that implicitly estimate curvature. The math exists. It’s been in textbooks since the 1960s. Bet vispirms jums vajadzētu zināt, ka k ir problēma. Your dashboard won’t tell you. So you’ll never ask. And your compute bill keeps climbing. Zemāk esošais attēls parāda tieši to, kas notiek. Tas pats sākuma punkts. Tas pats galamērķis. Viens ceļš aizņem ~100 iterācijas. otrs aizņem ~10 000 - zigzagging off kanjonu sienām while your GPU burns money. Sharp vs. Flat: Generalizācijas pravietojums Tagad parunāsim par — īpašās vērtības lielums, tātad max. ε (epsilon) 
 
 Šis skaitlis atbild uz jautājumu, ko katrs ML inženieris slepeni baidās: vai jūsu modelis faktiski kaut ko iemācījās, vai tas vienkārši atcerējās testu? Šis skaitlis atbild uz jautājumu, ko katrs ML inženieris slepeni baidās: Did your model actually learn anything, or did it just memorize the test? Attēlojiet savu zaudēto ainavu kā zemes gabalu. ir plašs ieleja - jūs varat klīst apkārt un augstums gandrīz nemainās. ir naža malā kalns - viens nepareizs solis un jūs krītat bezdibenī. flat minimum sharp minimum Small ε = flat minimum = good news. When ε is small, your model found that wide valley. Production data comes in slightly different from training data: users type weird things, lighting changes, accents vary, and your model shrugs.  Close enough. I got this. That’s a generalization. That’s what you’re paying for. The GIF below shows what this looks like geometrically: Tagad pagrieziet scenāriju. What happens when ε is huge? When your eigenvalues are screaming large numbers? Apmācības zaudējumi izskatās perfekti.Validācija ir “labākais jebkad”. Well, when ε is  large , your model has squeezed itself into a tiny, sharp crevice Nu, kad ε ir large large , jūsu modelis ir saspiests mazā, asā plaisā Tad ierodas reālie dati. nedaudz atšķirīgs formulējums. nedaudz atšķirīgi attēli. nedaudz atšķirīgs kaut kas. Un modelis nav .  perform a bit worse It blows up: 
 
 
 
 Uzticības rādītāji iet traks Prognozes kļūst nejaušas Your alert-log system explodes at 2 AM. 💀 That’s a sharp minimum in action. The walls are so steep that the tiniest shift sends the loss rocketing. Your model wasn’t robust. It was  . brittle and faking it Zemāk esošais GIF parāda atšķirību. tāda pati horizontālā maiņa. savādi atšķirīgi rezultāti. Press enter or click to view image in full size Kā redzat, tā nav filozofija, tā ir ģeometrija, kuru var izmērīt. Jūsu modelis, kas sabojāja kritēriju un nomira ražošanā? Tas atrada asu minimumu. Saddle Points: The Silent Killer Tagad par  — the negative eigenvalue count, #(λ < 0). This one’s sneaky. This one lies to your face. δ (delta) Your gradient hits zero. Jūsu zaudējumu līkne iet līdzenumā. Jūsu rāmis drukā: ** “konverģēts.” \ Jūs atpūsties. But you’re not at an error minimum. You’re at a  saddle point ! 💀 You’re at a  saddle point saddle point A mountain pass where the terrain curves up in some directions and down in others. Bet jūs varētu teikt: Nē, dārgais lasītājs.Nē. Tas nozīmē tikai to, ka jūs esat līdzsvarots uz kalna, nevis to, ka esat sasniedzis kaut ko noderīgu. PyTorch shows my gradient is zero — shouldn’t that mean the optimization is done? Cik bieži ir sēdekļu punkti? Tagad darīsim matemātiku. At any critical point, you can think of each eigenvalue as having a coin-flip chance of being positive or negative. For a true minimum, you need  no tiem pozitīvi. Bruto varbūtība? Puse palielinājās līdz jūsu parametru izmēra jaudai. Visi Miljonam parametru tas ir 1/2^ (106). You have better odds of winning the lottery while being struck by lightning while a shark bites your leg. In high dimensions, almost every critical point is effectively a saddle.  True minima are statistical miracles. Labā ziņa: lielākā daļa sēdekļu punkti ir nestabili.SGD iedzimtais troksnis parasti galu galā iznīcina jūs. Sliktā ziņa: “galu galā” var būt trīs nedēļas izšķērdētas datortehnikas. deģenerēti sēdekļi – kur pašu vērtības svārstās tuvu nullei – rada plato, kur gradients šūpojas, nevis runā. 
 
  would tell you instantly. One number. Saddle or not. But your framework doesn’t compute it. δ > 0 Viens skaitlis, sēdeklis vai nē, bet jūsu sistēma to neaprēķina. δ > 0 Zemāk esošais gif parāda, kā izskatās šī slazds: Gradientu plūsmas laika bumba Vai jūs domājat, ka mēs esam galā? tas kļūst sliktāk. Jūsu neironu tīkls nav viena funkcija. Tas ir funkciju ķēde - slānis pēc slāņa pēc slāņa. Un gradientiem ir jāplūst atpakaļ caur katru vienu apmācības laikā. Each layer has a Jacobian matrix — the matrix of partial derivatives that governs how signals propagate.  . The singular values of these Jacobians determine whether your gradients survive the journey or die along the way Šo jakobiešu unikālās vērtības nosaka, vai jūsu gradienti izdzīvo ceļojumu vai mirst pa ceļu  The gradient gets amplified at each layer. By the time it reaches the early layers, it’s not a gradient anymore — it’s a bomb. Exploding gradients. Your weights go to infinity. Training crashes. NaN city. Singular values > 1: Pretējā katastrofa. Gradients tiek saspiests katrā slānī. Līdz brīdim, kad tas sasniedz agrākos slāņus, tas ir noapaļošanas kļūda. Izzūd gradienti. Jūsu agrākie slāņi pārtrauc mācīšanos. Tie ir iesaldēti, bet pārējais tīkls izliekas trenēties. Singular values < 1: Goldilocks zona. Gradienti plūst tīri no gala līdz galam. Katrs slānis mācās. Tas ir iemesls, kāpēc darbojas orthogonal initialization. Singular values ≈ 1: But here’s the thing: these techniques were discovered by accident and applied as band-aids. Nobody monitors Jacobian spectra during training. Nobody watches the singular values drift. The diagnostic that would tell you:  Vienkārši neeksistē nevienā komerciālā kontekstā. 47. slānis ir gatavs nogalināt jūsu gradientu plūsmu 47. slānis ir gatavs nogalināt jūsu gradientu plūsmu Your network could be bleeding out internally, and the dashboard shows nothing. See it for yourself: Un šeit jūs ejat: reālā vadības plāksne jūsu AI sistēmai trūkst Tas ir instruments, kas nopietna AI sistēma jums vajadzētu parādīt. Matemātiski rakstveida apmācības sloksne aprēķinātu vieglas spektrālās diagnostikas uz kontrolpunktiem un rīkoties uz tiem: 
 
 
 
 Hesian nosacījumu skaits pārsniedz slieksni → pāriet uz iepriekš nosacītu metodi. Jacobian singular vērtības atkāpjas no 1 → piemēro spektra normalizāciju. Negatīvās pašvērtības parādās → jūs esat sēžamvietā, traucē, lai aizbēgtu. Hesian nosacījumu skaits pārsniedz slieksni Jacobian singular values drift away from 1 Negatīvās pašu vērtības parādās Right now, no commercially available AI framework gives you these basic eigenvalue predictors. Instead, you’re hand-tuning learning rates and hoping… Kāpēc neviens to nav izlabojis Three reasons: Kad mest vairāk datoru uz problēmas darbu, neviens nejautā pamatus. tas ir īslaicīgs. mēroga likumi platums. Kad viņi dara, nozare pēkšņi būs nepieciešama matemātika tas nekad neuztraucas, lai uzzinātu. Scaling obscures mathematical sins. Cilvēki, kas saprot spektrālo teoriju, strādā pielietotās matemātikas nodaļās, risinot pretējās problēmas. Cilvēki, kas izveidoja AI sistēmas, izmantoja optimizāciju un statistiku. Disciplinary silos.  Implementing proper spectral monitoring requires infrastructure nobody wants to build. Everyone would benefit. Nobody wants to pay. Abstraction debt. The Bill Comes Due Lūk, kas trūkst katrā ražošanas sistēmā: Nozare ir ieguldījusi 100 miljardus ASV dolāru AI mērogojumā. Matemātiskie pamati joprojām ir nepilnīgi. Every unexplained training failure, every generalization anomaly, every model that worked in the lab and died in production — these are symptoms of mathematical pathologies that your tools cannot diagnose. Ko jūs tagad varat darīt, lai iet pat ārpus šiem lielajiem AI uzņēmumiem? Sāciet šeit: 
 
 
 
 
 Uzziniet, ko Hessian eigenvalues nozīmē jūsu specifiskajai arhitektūrai Pārbaudiet stāvokļa numurus apmācības laikā - pat neapstrādātas aplēses palīdz  before you ship — PyHessian exists, use it Check for sharpness Jautājiet par visu, kad zaudējumi plato - jūs varētu būt uz sēdekļa, nevis minimums Matemātika pastāv. tā ir gaidīta kopš 1950. gada. The only question is whether you’ll learn it before your next production failure teaches you the hard way. 
 
 Curious about the hidden side of AI? Discover more on my page here Interesanti par AI slēpto pusi? atrodiet vairāk manā lapā šeit

This story contains new, firsthand information uncovered by the writer.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

Keep Reading: The Real Tech Narrative continues here

Šis audio ir izveidots stāsta oriģinālvalodā!

Trīs numuri. tas ir viss, kas jūsu AI ir nepieciešams, lai strādātu

About Author

KOMENTĀRI

PAKARINĀT TAGUS

ŠIS RAKSTS TIKS PĀRSTRĀDĀTS

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps