Gradient descent, maşyn öwrenmek (ML) modellemekde iň meşhur optimizasiýa usulydyr. Algoritm çak edilýän bahalar bilen ýer hakykatynyň arasyndaky ýalňyşlygy azaldýar. Tehnika, ýalňyşlyga düşünmek we azaltmak üçin her bir maglumat nokadyny göz öňünde tutýandygy sebäpli, onuň öndürijiligi okuw maglumatlarynyň ululygyna baglydyr. Stochastic Gradient Descent (SGD) ýaly usullar, hasaplamanyň işleýşini gowulandyrmak üçin, ýöne konwergensiýanyň takyklygy bahasy bilen döredildi.   Stochastic Average Gradient, Full Gradient Descent we SGD diýlip atlandyrylýan klassiki çemeleşmäni deňleşdirýär we iki peýdasyny hem hödürleýär. Emma algoritmi ulanmazdan ozal, onuň model optimizasiýasy üçin ähmiýetine düşünmelidiris.   Gradient aşaklygy bilen maşyn öwrenmegiň maksatlaryny optimizirlemek  Her ML algoritminde modeliň işleýşini azaltmagy ýa-da gowulandyrmagy maksat edinýän ýitgi funksiýasy bar. Matematiki taýdan ýitgini aşakdaky ýaly kesgitläp bolar: Diňe hakyky we çak edilýän netijäniň arasyndaky tapawut, bu tapawudy azaltmak modelimiziň ýer hakykat gymmatlyklaryna has ýakynlaşýandygyny aňladýar.  Minimallaşdyrma algoritmi ýitginiň funksiýasyny kesmek we global minimal tapmak üçin gradient desgany ulanýar. Her bir ädim ädimi optimizirlemek üçin algoritmiň agramlaryny täzelemegi öz içine alýar.   Düz Gradient aşaklygy  Adaty gradient desganyň algoritmi, ähli maglumatlar bazasynda hasaplanan ähli gradiýentleriň ortaça mukdaryny ulanýar. Trainingekeje okuw mysalynyň ömri aşakdaky ýaly görünýär:   Agramy täzeleme deňlemesi aşakdakylara meňzeýär:  modeliň agramlaryny görkezýär we   modeliň agramyna görä ýitgi funksiýasynyň emele gelýär. Adaty usul ýokary konwergensiýa derejesine eýe, ýöne millionlarça maglumat nokatlaryndan ybarat uly maglumatlar bazalary bilen iş salyşanda hasaplaýyş taýdan gymmat bolýar. W dJ/dW   Stoxastik gradient aşaklygy (SGD)  SGD usulyýeti ýönekeý GD bilen üýtgewsiz galýar, ýöne gradiýentleri hasaplamak üçin tutuş maglumat bazasyny ulanmagyň ýerine girişlerden kiçijik partiýa ulanýar. Bu usul has täsirli, ýöne global minimanyň töwereginde gaty köp umyt edip biler, sebäbi her gezek gaýtalamak öwrenmek üçin maglumatlaryň diňe bir bölegini ulanýar.   Stoxastiki ortaça gradient  Stochastic Average Gradient (SAG) çemeleşmesi GD we SGD arasynda orta ýer hökmünde girizildi. Tötänleýin maglumat nokadyny saýlaýar we şol wagt gradiýentine we şol belli bir nokat üçin saklanylýan öňki gradiýentleriň ortaça bahasyna görä bahasyny täzeleýär.  SGD-e meňzeş, SAG her meseläni gutarnykly jemleýji, tapawutly funksiýalar hökmünde modellendirýär. Islendik gezek gaýtalanylanda, häzirki gradiýentleri we agramy ýokarlandyrmak üçin öňki gradiýentleriň ortaça mukdaryny ulanýar. Deňlik aşakdaky görnüşi alýar:    Konwergensiýa derejesi  Iki meşhur algoritm, doly gradient (FG) we stohastik gradient desgasy (SGD) arasynda, FG algoritmi has gowy konwergensiýa derejesine eýe, sebäbi hasaplamak üçin her gezek gaýtalanylanda ähli maglumatlary ulanýar.  SAG-nyň SGD-e meňzeş gurluşy bar bolsa-da, onuň konwergensiýa tizligi doly gradient çemeleşmesi bilen deňeşdirilýär we käwagt has gowy. Aşakdaky 1-nji tablisada geçirilen synaglaryň netijeleri jemlenendir  .    Şmidt we başgalar. al   Goşmaça üýtgetmeler  Ajaýyp öndürijiligine garamazdan, öndürijiligi gowulaşdyrmak üçin asyl SGD algoritmine birnäçe üýtgetmeler teklip edildi.    Algoritm n (maglumat nokatlarynyň umumy sany) bilen ugry kadalaşdyrýanlygy sebäpli ilkinji birnäçe gaýtalanma wagtynda SAG konwergensiýasy haýal bolup galýar. Bu nädogry baha berýär, sebäbi algoritm entek köp maglumat nokadyny görmedi. Üýtgetme, n däl-de, m bilen kadalaşmagy teklip edýär, bu ýerde m şol takyklama çenli iň bolmanda bir gezek görlen maglumat nokatlarynyň sanydyr. Irki Iterasiýalarda täzeden agram salmak:    Stochastic Gradient çemeleşmesi, bir wagtyň özünde birnäçe maglumat nokatlaryny gaýtadan işlemek üçin kiçi partiýalary ulanýar. Şol bir çemeleşme SAG-da ulanylyp bilner. Bu, kompýuteriň netijeliligini ýokarlandyrmak üçin wektorizasiýa we parallelizasiýa mümkinçilik berýär. Şeýle hem, SAG algoritmi üçin esasy kynçylyk bolan ýadyň ýüküni azaldýar. Mini-partiýalar:    Öň agzalan ädim ululygy (116L) ajaýyp netijeleri berýär, ýöne awtorlar 1L ädim ululygyny ulanyp hasam synag etdiler. Soňkusy has gowy ýakynlygy üpjün etdi. Şeýle-de bolsa, awtorlar gowulaşan netijeleriň resmi derňewini hödürläp bilmediler. Basgançagyň ululygy belli bir mesele üçin iň amatly birini tapmak üçin synag edilmeli diýen netijä gelýärler. Stepdim ölçegli synag:   Jemleýji pikirler  Gradient desant, berlen obýektiw funksiýalaryň global minimasyny tapmak üçin ulanylýan meşhur optimizasiýa. Algoritm obýektiw funksiýanyň gradiýentini iň pes nokada ýetýänçä funksiýanyň eňňidinden geçmek üçin ulanýar.  Doly gradient düşüşi (FG) we stohastik gradient desgasy (SGD) algoritmiň iki meşhur görnüşi. FG her gaýtalama wagtynda ähli maglumat toplumyny ulanýar we ýokary hasaplama bahasy bilen ýokary konwergensiýa derejesini üpjün edýär. Her gezek gaýtalanylanda, SGD algoritmi işletmek üçin maglumatlaryň bir bölegini ulanýar. Has täsirli, ýöne näbellilik ýakynlygy bilen.  Stochastic Average Gradient (SAG), öňki algoritmleriň ikisiniň hem peýdasyny üpjün edýän başga bir üýtgeşiklikdir. Pes hasaplama bilen ýokary konwergensiýa tizligini üpjün etmek üçin ortaça gradiýentleriň we maglumatlar bazasynyň bir bölegini ulanýar. Algoritm wektorizasiýa we kiçi partiýalar arkaly netijeliligini ýokarlandyrmak üçin hasam üýtgedilip bilner.

This story contains new, firsthand information uncovered by the writer.

Every

Gradient

Read My Stories

Bu ses hekaýanyň asyl dilinde öndürildi!

Stoxastiki ortaça gradiýente düşünmek

About Author

JOGAPLAR

HANG TAGS

BU madda öňe sürüldi

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps