Fahamka Celceliska Celceliska Stochastic Gradient

Hoos-u-dhaca gradient waa farsamada ugu caansan ee hagaajinta mashiinka barashada (ML) qaabaynta. Algorithm wuxuu yareeyaa qaladka u dhexeeya qiyamka la saadaaliyay iyo runta dhulka. Maadaama farsamadu ay tixgeliso dhibic kasta oo xog ah si loo fahmo oo loo yareeyo qaladka, waxqabadkeedu wuxuu ku xiran yahay cabbirka xogta tababarka. Farsamooyinka sida Stochastic Gradient Deescent (SGD) waxaa loogu talagalay in lagu wanaajiyo waxqabadka xisaabinta laakiin ay ku kacayso saxnaanta isku dhafka.

Celceliska Gradient Stochastic wuxuu dheellitirayaa habka caadiga ah, ee loo yaqaan Faracii Dhamaystiran iyo SGD, wuxuuna bixiyaa faa'iidooyinka labadaba. Laakin ka hor inta aanan isticmaalin algorithm-ka, waa in aan marka hore fahamnaa muhiimada ay u leedahay hagaajinta moodeelka.

Hagaajinta Ujeeddooyinka Barashada Mashiinka oo leh Hoos-u-dhac

Algorithm kasta ML wuxuu leeyahay shaqo lumis la xidhiidha taas oo ujeedadeedu tahay in la yareeyo ama la hagaajiyo waxqabadka moodeelka. Xisaab ahaan, khasaaraha waxaa lagu qeexi karaa sida:

Si fudud waa farqiga u dhexeeya wax soo saarka dhabta ah iyo kan la saadaaliyay, iyo yaraynta farqigan macnaheedu waa in qaabkeenu uu ku soo dhawaado qiyamka runta dhabta ah.

Algorithm-yaraynta waxay adeegsataa soo degid gradient si ay uga gudubto shaqada lumitaanka oo u hesho ugu yaraan caalami ah. Tallaabo kasta oo socod ah waxay ku lug leedahay cusboonaysiinta miisaanka algorithm si kor loogu qaado wax soo saarka.

Hoos u dhac toosan

Algorithm-ka farcanka caadiga ah wuxuu isticmaalaa celceliska dhammaan gradients-yada lagu xisaabiyay dhammaan xogta xogta. Meertada nololeed ee hal tusaale tababar waxa ay u egtahay sidan soo socota:

Isla'egta cusboonaysiinta miisaanka waxay u egtahay sidan soo socota:

Meesha W ay ka dhigan tahay miisaanka moodeelka iyo dJ/dW waa ka soo jeeda shaqada khasaaraha marka loo eego miisaanka modelka. Habka caadiga ah waxa uu leeyahay heerka isku xidhka sare laakiin waxa uu noqdaa mid xisaabiyan qaali ah marka wax laga qabanayo xog-ururin weyn oo ka kooban malaayiin dhibcood xog.

Hoos-u-dhaca Stochastic Gradient (SGD)

Habka SGD wuxuu ahaanayaa mid la mid ah GD cad, laakiin halkii laga isticmaali lahaa dhammaan xogta xogta si loo xisaabiyo jaangooyooyinka, waxay isticmaashaa qayb yar oo ka mid ah agabyada. Habka ayaa aad u hufan laakiin waxaa laga yaabaa inuu aad uga boodboodo adduunka ugu yar maadaama soo noqnoqon kasta uu isticmaalo qayb ka mid ah xogta waxbarashada.

Dhererka celceliska Stochastic

Habka Celceliska Gradient (SAG) waxaa loo soo bandhigay sidii meel dhexe oo u dhaxaysa GD iyo SGD. Waxay doorataa barta xogta random waxayna cusboonaysiisaa qiimaheeda iyada oo ku saleysan gradient-ka meeshaas iyo celceliska miisaanka xarafkii hore ee lagu kaydiyay barta xogtaas gaarka ah.

Si la mid ah SGD, SAG waxay u qaabaysaa dhibaato kasta sida wadar kooban oo isku dhafan, hawlo kala duwan. Mar kasta oo la soo koobo, waxa ay u isticmaashaa jaanisyada hadda jira iyo celceliska gradients hore si loo cusboonaysiiyo miisaanka. Isla'egtu waxay qaadataa qaabkan soo socda:

Heerka isu-gudbinta

Inta u dhaxaysa labada algorithms ee caanka ah, gradient buuxa (FG) iyo stochastic gradient deescent (SGD), algorithmamka FG wuxuu leeyahay heerka isku dhafka ka wanaagsan maadaama uu isticmaalo dhammaan xogta la dejiyay inta lagu gudajiro xisaabinta kasta.

In kasta oo SAG ay leedahay qaab-dhismeed la mid ah SGD, heerka isku-xidhnaantiisa ayaa la barbardhigi karaa oo mararka qaarkood ka fiican yahay habka isugeynta buuxa. Shaxda 1 ee hoose ayaa soo koobaysa natiijooyinka tijaabooyinka Schmidt iyo. al .

Waxka bedelka Dheeraadka ah

In kasta oo ay wax qabadkeeda la yaabka leh, wax-ka-beddello dhowr ah ayaa loo soo jeediyay algorithm-kii asalka ahaa ee SGD si ay gacan uga geystaan horumarinta waxqabadka.

• Dib-u-cusbooneysiinta ee Soo-celinta Hore: Isku-dubbaridka SAG ayaa ah mid gaabis ah inta lagu jiro dhowrka taxan ee ugu horreeya maaddaama algorithmisku uu caadi ka dhigo jihada n (tirada guud ee dhibcaha xogta). Tani waxay ku siinaysaa qiyaas aan sax ahayn maadaama algoorithm-ku uusan wali arkin dhibco xog badan. Wax ka beddelku waxa uu soo jeedinayaa in caadi laga dhigo m halkii ay ka ahayd n, halkaas oo m ay tahay tirada dhibcaha xogta la arkay ugu yaraan hal mar ilaa soo noqnoqoshadaas gaarka ah.
• Dufcooyin-yar: Habka Stochastic Gradient wuxuu isticmaalaa dufcad-yar-yar si uu isku mar u habeeyo dhibcooyin badan oo xog ah. Habkaas oo kale ayaa lagu dabaqi karaa SAG. Tani waxay u oggolaanaysaa faleebo-saarista iyo isbarbar-dhigga hagaajinta waxtarka kumbuyuutarka. Waxa kale oo ay yaraynaysaa culeyska xusuusta, caqabada caanka ah ee SAG algorithm.
• Tijaabada cabbirka-tallaabada: Cabbirka tallaabada hore loo sheegay (116L) waxay bixisaa natiijooyin cajiib ah, laakiin qorayaashu waxay sii tijaabiyeen iyagoo isticmaalaya cabbirka tallaabada 1L. Midda dambe waxay bixisay isku-xidhnaan ka sii wanaagsan. Si kastaba ha ahaatee, qorayaashu way awoodi waayeen inay soo bandhigaan falanqaynta rasmiga ah ee natiijooyinka la hagaajiyay. Waxay ku soo gabagabeeyeen in cabbirka tallaabada lagu tijaabiyo si loo helo midka ugu habboon dhibaatada gaarka ah.

Fikirka ugu dambeeya

Hoos-u-dhaca gradient waa wanaajinta caanka ah ee loo isticmaalo helidda ugu yar ee caalamiga ah ee hawlaha ujeedada la bixiyay. Algorithm waxay isticmaashaa jaangooyada shaqada ujeeddada si uu u maro jiirada shaqada ilaa ay ka gaarto meesha ugu hooseysa.

Dheecaan buuxa ee Gradient (FG) iyo Stochastic Gradient Deescent (SGD) waa laba nooc oo caan ah oo algorithm ah. FG waxay isticmaashaa xogta xogta oo dhan inta lagu guda jiro soo noqnoqoshada kasta waxayna ku bixisaa isku-xidhnaan sare oo qiime sare leh. Dib-u-eegis kasta, SGD waxay isticmaashaa xog-hoosaad si ay u socodsiiso algorithmamka. Aad bay uga waxtar badan tahay laakiin leh isku-xidhnaan aan la hubin.

Celceliska Gradient Stochastic (SAG) waa kala duwanaansho kale oo bixisa faa'iidooyinka labada algorithm ee hore. Waxay isticmaashaa celceliska gradients hore iyo qayb hoosaadka xogta si ay u bixiso isku-xidhnaan sare oo xisaabin hoose leh. Algorithm-ka waa la sii beddeli karaa si loo hagaajiyo waxtarkiisa iyadoo la adeegsanayo vectorization iyo dufcad-yar.