![Search icon](https://hackernoon.imgix.net/search-new.png?w=19&h=19)
Gradient descent, maşyn öwrenmek (ML) modellemekde iň meşhur optimizasiýa usulydyr. Algoritm çak edilýän bahalar bilen ýer hakykatynyň arasyndaky ýalňyşlygy azaldýar. Tehnika, ýalňyşlyga düşünmek we azaltmak üçin her bir maglumat nokadyny göz öňünde tutýandygy sebäpli, onuň öndürijiligi okuw maglumatlarynyň ululygyna baglydyr. Stochastic Gradient Descent (SGD) ýaly usullar, hasaplamanyň işleýşini gowulandyrmak üçin, ýöne konwergensiýanyň takyklygy bahasy bilen döredildi.
Stochastic Average Gradient, Full Gradient Descent we SGD diýlip atlandyrylýan klassiki çemeleşmäni deňleşdirýär we iki peýdasyny hem hödürleýär. Emma algoritmi ulanmazdan ozal, onuň model optimizasiýasy üçin ähmiýetine düşünmelidiris.
Her ML algoritminde modeliň işleýşini azaltmagy ýa-da gowulandyrmagy maksat edinýän ýitgi funksiýasy bar. Matematiki taýdan ýitgini aşakdaky ýaly kesgitläp bolar:
Diňe hakyky we çak edilýän netijäniň arasyndaky tapawut, bu tapawudy azaltmak modelimiziň ýer hakykat gymmatlyklaryna has ýakynlaşýandygyny aňladýar.
Minimallaşdyrma algoritmi ýitginiň funksiýasyny kesmek we global minimal tapmak üçin gradient desgany ulanýar. Her bir ädim ädimi optimizirlemek üçin algoritmiň agramlaryny täzelemegi öz içine alýar.
Adaty gradient desganyň algoritmi, ähli maglumatlar bazasynda hasaplanan ähli gradiýentleriň ortaça mukdaryny ulanýar. Trainingekeje okuw mysalynyň ömri aşakdaky ýaly görünýär:
Agramy täzeleme deňlemesi aşakdakylara meňzeýär:
W
modeliň agramlaryny görkezýär we dJ/dW
modeliň agramyna görä ýitgi funksiýasynyň emele gelýär. Adaty usul ýokary konwergensiýa derejesine eýe, ýöne millionlarça maglumat nokatlaryndan ybarat uly maglumatlar bazalary bilen iş salyşanda hasaplaýyş taýdan gymmat bolýar.
SGD usulyýeti ýönekeý GD bilen üýtgewsiz galýar, ýöne gradiýentleri hasaplamak üçin tutuş maglumat bazasyny ulanmagyň ýerine girişlerden kiçijik partiýa ulanýar. Bu usul has täsirli, ýöne global minimanyň töwereginde gaty köp umyt edip biler, sebäbi her gezek gaýtalamak öwrenmek üçin maglumatlaryň diňe bir bölegini ulanýar.
Stochastic Average Gradient (SAG) çemeleşmesi GD we SGD arasynda orta ýer hökmünde girizildi. Tötänleýin maglumat nokadyny saýlaýar we şol wagt gradiýentine we şol belli bir nokat üçin saklanylýan öňki gradiýentleriň ortaça bahasyna görä bahasyny täzeleýär.
SGD-e meňzeş, SAG her meseläni gutarnykly jemleýji, tapawutly funksiýalar hökmünde modellendirýär. Islendik gezek gaýtalanylanda, häzirki gradiýentleri we agramy ýokarlandyrmak üçin öňki gradiýentleriň ortaça mukdaryny ulanýar. Deňlik aşakdaky görnüşi alýar:
Iki meşhur algoritm, doly gradient (FG) we stohastik gradient desgasy (SGD) arasynda, FG algoritmi has gowy konwergensiýa derejesine eýe, sebäbi hasaplamak üçin her gezek gaýtalanylanda ähli maglumatlary ulanýar.
SAG-nyň SGD-e meňzeş gurluşy bar bolsa-da, onuň konwergensiýa tizligi doly gradient çemeleşmesi bilen deňeşdirilýär we käwagt has gowy. Aşakdaky 1-nji tablisada geçirilen synaglaryň netijeleri jemlenendir
Ajaýyp öndürijiligine garamazdan, öndürijiligi gowulaşdyrmak üçin asyl SGD algoritmine birnäçe üýtgetmeler teklip edildi.
Gradient desant, berlen obýektiw funksiýalaryň global minimasyny tapmak üçin ulanylýan meşhur optimizasiýa. Algoritm obýektiw funksiýanyň gradiýentini iň pes nokada ýetýänçä funksiýanyň eňňidinden geçmek üçin ulanýar.
Doly gradient düşüşi (FG) we stohastik gradient desgasy (SGD) algoritmiň iki meşhur görnüşi. FG her gaýtalama wagtynda ähli maglumat toplumyny ulanýar we ýokary hasaplama bahasy bilen ýokary konwergensiýa derejesini üpjün edýär. Her gezek gaýtalanylanda, SGD algoritmi işletmek üçin maglumatlaryň bir bölegini ulanýar. Has täsirli, ýöne näbellilik ýakynlygy bilen.
Stochastic Average Gradient (SAG), öňki algoritmleriň ikisiniň hem peýdasyny üpjün edýän başga bir üýtgeşiklikdir. Pes hasaplama bilen ýokary konwergensiýa tizligini üpjün etmek üçin ortaça gradiýentleriň we maglumatlar bazasynyň bir bölegini ulanýar. Algoritm wektorizasiýa we kiçi partiýalar arkaly netijeliligini ýokarlandyrmak üçin hasam üýtgedilip bilner.