![Search icon](https://hackernoon.imgix.net/search-new.png?w=19&h=19)
Gradient theoha ke thekniki e ratoang ka ho fetisisa optimization ka mochine ithuta (ML) mohlala. Algorithm e fokotša phošo magareng ga dikelo tše di boletšwego e sa le pele le therešo ya fase. Ka ge thekniki e ela hloko ntlha ye nngwe le ye nngwe ya datha go kwešiša le go fokotša phošo, tshepedišo ya yona e ithekgile ka bogolo bja datha ya tlwaetšo. Dithekniki tša go swana le Stochastic Gradient Descent (SGD) di hlamilwe go kaonafatša tshepedišo ya go bala eupša ka ditshenyagalelo tša go nepagala ga kopanyo.
Stochastic Average Gradient e lekalekanya mokgwa wa kgale, wo o tsebjago bjalo ka Full Gradient Descent le SGD, gomme e fa mehola ka bobedi. Eupša pele re ka diriša algorithm, re swanetše go thoma ka go kwešiša bohlokwa bja yona bakeng sa go dira gore mohlala o šome gabotse.
Algorithm e nngwe le e nngwe ya ML e na le mošomo wa tahlegelo wo o sepedišanago le wona wo o ikemišeditšego go fokotša goba go kaonafatša tshepedišo ya mohlala. Ka dipalo, tahlegelo e ka hlalošwa bjalo ka:
Ke feela phapano magareng ga setšweletšwa sa nnete le seo se boletšwego e sa le pele, gomme go fokotša phapano ye go ra gore mohlala wa rena o batamela kgauswi le dikelo tša therešo ya fase.
The fokotsa algorithm sebelisa gradient theoha ho traverse tahlehelo mosebetsi le ho fumana lefatše bonyane. Mogato o mongwe le o mongwe wa go sepela o akaretša go mpshafatša boima bja algorithm go dira gore ditšweletšwa di šome gabotse.
Algorithm ya go theoga ga gradient ye e tlwaelegilego e šomiša palogare ya dikelo ka moka tšeo di balwago go ralala le dataset ka moka. Modikologo wa bophelo wa mohlala o tee wa tlwaetšo o swana le wo o latelago:
Tekanyo ya mpshafatšo ya boima e swana le ye e latelago:
Moo W
e emelago boima bja mohlala gomme dJ/dW
ke setšweletšwa sa mošomo wa tahlegelo mabapi le boima bja mohlala. Mokgwa wo o tlwaelegilego o na le seelo sa godimo sa go kopana eupša o ba wo o bitšago tšhelete ye ntši ka dikhomphutheng ge o šomana le disete tše kgolo tša datha tšeo di akaretšago dintlha tša datha tše dimilione.
Mokgwa wa SGD o dula o swana le GD ye e sa hlakahlakanego, eupša go e na le go šomiša dataset ka moka go bala dikelo, o šomiša sehlopha se senyenyane go tšwa go ditseno. Mokgwa o šoma gabotse kudu eupša o ka hop kudu go dikologa minima ya lefase ka bophara ka ge iteration ye nngwe le ye nngwe e šomiša fela karolo ya data bakeng sa go ithuta.
Mokgwa wa Stochastic Average Gradient (SAG) o tsebagaditšwe bjalo ka lefelo la magareng magareng ga GD le SGD. E kgetha ntlha ya datha ya go se kgethe gomme e mpshafatša boleng bja yona go ya ka kelo ya go theoga ntlheng yeo le palogare ya boima ya dikelo tša nakong ye e fetilego tšeo di bolokilwego bakeng sa ntlha yeo e itšego ya datha.
Go swana le SGD, SAG e dira mohlala wa bothata bjo bongwe le bjo bongwe bjalo ka palomoka ye e feletšego ya mešomo ye e kgopamego, ye e fapanego. Ka iteration efe goba efe ye e filwego, e šomiša dikelo tša bjale le palogare ya dikelo tša peleng bakeng sa mpshafatšo ya boima. Tekanyo e tšea sebopego se se latelago:
Magareng ga dialgoritmo tše pedi tše di tumilego, gradient ye e tletšego (FG) le go theoga ga gradient ya stochastic (SGD), algorithm ya FG e na le seelo se sekaone sa go kopana ka ge e šomiša sete ka moka ya datha nakong ya iteration ye nngwe le ye nngwe bakeng sa go bala.
Le ge e le gore SAG e na le sebopego se se swanago le SGD, seelo sa yona sa kopanyo se bapetšwa le gomme ka dinako tše dingwe se kaone go feta mokgwa wa go elela ka botlalo. Lenaneo la 1 ka tlase le akaretša dipoelo go tšwa ditekong tša
Go sa šetšwe tshepedišo ya yona ye e makatšago, diphetogo tše mmalwa di šišintšwe go algorithm ya mathomo ya SGD go thuša go kaonafatša tshepedišo.
Gradient theoha ke optimization e ratoang sebediswa bakeng sa ho fumana lefatše bonyane ya mesebetsi sepheo e filwe. Algorithm e šomiša gradient ya mošomo wa maikemišetšo go tshela setshekamelo sa mošomo go fihlela e fihla ntlheng ya fase kudu.
Full Gradient Descent (FG) le Stochastic Gradient Descent (SGD) ke diphetogo tše pedi tše di tumilego tša algorithm. FG e šomiša dataset ka moka nakong ya iteration ye nngwe le ye nngwe gomme e fana ka seelo se se phagamego sa kopanyo ka ditshenyagalelo tše di phagamego tša go diriša dikhomphuthara. Ka iteration mong le e mong, SGD sebelisa subset ya data ho matha algorithm. E šoma gabotse kudu eupša e na le go kopana mo go sa kgonthišegego.
Stochastic Average Gradient (SAG) ke phapano ye nngwe yeo e fago mehola ya dialgoritmo ka bobedi tša peleng. E šomiša palogare ya dikelo tša nakong ye e fetilego le sehlopha se senyenyane sa dataset go fa seelo sa godimo sa kopanyo ka dipalopalo tša fase. Algorithm e ka fetošwa gape go kaonafatša bokgoni bja yona ka go šomiša vectorization le dihlopha tše nnyane.