Go kwešiša Gradient ya Palogare ya Stochastic

Gradient theoha ke thekniki e ratoang ka ho fetisisa optimization ka mochine ithuta (ML) mohlala. Algorithm e fokotša phošo magareng ga dikelo tše di boletšwego e sa le pele le therešo ya fase. Ka ge thekniki e ela hloko ntlha ye nngwe le ye nngwe ya datha go kwešiša le go fokotša phošo, tshepedišo ya yona e ithekgile ka bogolo bja datha ya tlwaetšo. Dithekniki tša go swana le Stochastic Gradient Descent (SGD) di hlamilwe go kaonafatša tshepedišo ya go bala eupša ka ditshenyagalelo tša go nepagala ga kopanyo.

Stochastic Average Gradient e lekalekanya mokgwa wa kgale, wo o tsebjago bjalo ka Full Gradient Descent le SGD, gomme e fa mehola ka bobedi. Eupša pele re ka diriša algorithm, re swanetše go thoma ka go kwešiša bohlokwa bja yona bakeng sa go dira gore mohlala o šome gabotse.

Go kaonafatša Maikemišetšo a go Ithuta ka Motšhene ka go Theoga ga Gradient

Algorithm e nngwe le e nngwe ya ML e na le mošomo wa tahlegelo wo o sepedišanago le wona wo o ikemišeditšego go fokotša goba go kaonafatša tshepedišo ya mohlala. Ka dipalo, tahlegelo e ka hlalošwa bjalo ka:

Ke feela phapano magareng ga setšweletšwa sa nnete le seo se boletšwego e sa le pele, gomme go fokotša phapano ye go ra gore mohlala wa rena o batamela kgauswi le dikelo tša therešo ya fase.

The fokotsa algorithm sebelisa gradient theoha ho traverse tahlehelo mosebetsi le ho fumana lefatše bonyane. Mogato o mongwe le o mongwe wa go sepela o akaretša go mpshafatša boima bja algorithm go dira gore ditšweletšwa di šome gabotse.

Go theoga ga Gradient ye e sa hlakahlakanego

Algorithm ya go theoga ga gradient ye e tlwaelegilego e šomiša palogare ya dikelo ka moka tšeo di balwago go ralala le dataset ka moka. Modikologo wa bophelo wa mohlala o tee wa tlwaetšo o swana le wo o latelago:

Tekanyo ya mpshafatšo ya boima e swana le ye e latelago:

Moo W e emelago boima bja mohlala gomme dJ/dW ke setšweletšwa sa mošomo wa tahlegelo mabapi le boima bja mohlala. Mokgwa wo o tlwaelegilego o na le seelo sa godimo sa go kopana eupša o ba wo o bitšago tšhelete ye ntši ka dikhomphutheng ge o šomana le disete tše kgolo tša datha tšeo di akaretšago dintlha tša datha tše dimilione.

Go Theoga ga Gradient ya Stochastic (SGD) .

Mokgwa wa SGD o dula o swana le GD ye e sa hlakahlakanego, eupša go e na le go šomiša dataset ka moka go bala dikelo, o šomiša sehlopha se senyenyane go tšwa go ditseno. Mokgwa o šoma gabotse kudu eupša o ka hop kudu go dikologa minima ya lefase ka bophara ka ge iteration ye nngwe le ye nngwe e šomiša fela karolo ya data bakeng sa go ithuta.

Stochastic Palogare ya Gradient

Mokgwa wa Stochastic Average Gradient (SAG) o tsebagaditšwe bjalo ka lefelo la magareng magareng ga GD le SGD. E kgetha ntlha ya datha ya go se kgethe gomme e mpshafatša boleng bja yona go ya ka kelo ya go theoga ntlheng yeo le palogare ya boima ya dikelo tša nakong ye e fetilego tšeo di bolokilwego bakeng sa ntlha yeo e itšego ya datha.

Go swana le SGD, SAG e dira mohlala wa bothata bjo bongwe le bjo bongwe bjalo ka palomoka ye e feletšego ya mešomo ye e kgopamego, ye e fapanego. Ka iteration efe goba efe ye e filwego, e šomiša dikelo tša bjale le palogare ya dikelo tša peleng bakeng sa mpshafatšo ya boima. Tekanyo e tšea sebopego se se latelago:

Sekgahla sa Kopano

Magareng ga dialgoritmo tše pedi tše di tumilego, gradient ye e tletšego (FG) le go theoga ga gradient ya stochastic (SGD), algorithm ya FG e na le seelo se sekaone sa go kopana ka ge e šomiša sete ka moka ya datha nakong ya iteration ye nngwe le ye nngwe bakeng sa go bala.

Le ge e le gore SAG e na le sebopego se se swanago le SGD, seelo sa yona sa kopanyo se bapetšwa le gomme ka dinako tše dingwe se kaone go feta mokgwa wa go elela ka botlalo. Lenaneo la 1 ka tlase le akaretša dipoelo go tšwa ditekong tša Schmidt le ba bangwe. al .

Diphetogo tše dingwe

Go sa šetšwe tshepedišo ya yona ye e makatšago, diphetogo tše mmalwa di šišintšwe go algorithm ya mathomo ya SGD go thuša go kaonafatša tshepedišo.

• Re-weighting ka Early Iterations: SAG convergence lula butle nakong ea pele tse seng kae iterations ho tloha algorithm normalizes tataiso le n (palo yohle ya lintlha ya data). Se se fa tekanyetšo ye e sa nepagalago ka ge algorithm e sešo ya bona dintlha tše ntši tša datha. Phetošo e šišinya go tlwaetša ka m go e na le n, moo m e lego palo ya dintlha tša datha tšeo di bonwego bonyenyane gatee go fihla go iteration yeo e itšego.
• Dihlopha tše nnyane: Mokgwa wa Stochastic Gradient o šomiša dihlopha tše nnyane go šoma dintlha tše ntši tša datha ka nako e tee. Mokgwa wo o swanago o ka dirišwa go SAG. Se se dumelela vectorization le parallelization bakeng sa bokgoni bjo bo kaonafetšego bja khomphutha. E bile e fokotša mošomo wa memori, e lego tlhohlo ye e tšwelelago go algorithm ya SAG.
• Teko ya Bogolo bja Kgato: Bogolo bja kgato bjo bo boletšwego pejana (116L) bo fa dipoelo tše di makatšago, eupša bangwadi ba ile ba dira diteko gape ka go šomiša bogolo bja kgato bja 1L. Ya mafelelo e ile ya nea kopanyo e kaone le go feta. Le ge go le bjalo, bangwadi ba paletšwe ke go tšweletša tshekatsheko ya semmušo ya dipoelo tše di kaonafetšego. Ba phetha ka gore bogolo bja kgato bo swanetše go lekwa go hwetša bjo bo loketšego bothata bjo bo itšego.

Megopolo ya Mafelelo

Gradient theoha ke optimization e ratoang sebediswa bakeng sa ho fumana lefatše bonyane ya mesebetsi sepheo e filwe. Algorithm e šomiša gradient ya mošomo wa maikemišetšo go tshela setshekamelo sa mošomo go fihlela e fihla ntlheng ya fase kudu.

Full Gradient Descent (FG) le Stochastic Gradient Descent (SGD) ke diphetogo tše pedi tše di tumilego tša algorithm. FG e šomiša dataset ka moka nakong ya iteration ye nngwe le ye nngwe gomme e fana ka seelo se se phagamego sa kopanyo ka ditshenyagalelo tše di phagamego tša go diriša dikhomphuthara. Ka iteration mong le e mong, SGD sebelisa subset ya data ho matha algorithm. E šoma gabotse kudu eupša e na le go kopana mo go sa kgonthišegego.

Stochastic Average Gradient (SAG) ke phapano ye nngwe yeo e fago mehola ya dialgoritmo ka bobedi tša peleng. E šomiša palogare ya dikelo tša nakong ye e fetilego le sehlopha se senyenyane sa dataset go fa seelo sa godimo sa kopanyo ka dipalopalo tša fase. Algorithm e ka fetošwa gape go kaonafatša bokgoni bja yona ka go šomiša vectorization le dihlopha tše nnyane.