Gradiente Promedio Estocástico uka amuyt’aña

Gradiente descenso ukaxa técnica de optimización ukawa, ukaxa modelo de aprendizaje automático (ML) ukanxa. Algoritmo ukax pantjasiwinakx jisk’acharaki, ukax yatiyat chimpunakampi ukat uraqi chiqampi. Kunjamatixa técnica ukaxa sapa punto de datos uñakipi amuyañataki ukhamaraki jisk’achañataki pantjasiwi, lurawipaxa yatichawi datos tamaparjamawa. Técnicas ukhama Descenso de Gradiente Estocástico (SGD) ukaxa luratarakiwa calculo lurawi suma uñjañataki ukampisa costo de exactitud de convergencia ukampi.

Gradiente Promedio Estocástico ukax enfoque clásico ukaruw equilibra, ukax Full Gradient Descent ukat SGD ukham uñt’atawa, ukatx panpachan askinak uñacht’ayi. Ukampis janïr algoritmo apnaqañkamax nayraqat amuyañasawa, ukax modelo optimización ukatakix wali askiwa.

Maquina de Aprendizaje uka amtanakaxa Gradiente Descent ukampi suma uñjaña

Sapa algoritmo ML ukax mä función de pérdida asociada ukampiw utji, ukax modelo ukan lurawip jisk’achañ jan ukax juk’amp sumaptañ amtampiw lurasi. Matemática tuqitxa, chhaqtäwix akham sañjamawa:

Ukax chiqpach ukhamarak yatiyat mistuwinak mayjt’ayañakiw, ukat uka mayjt’äw jisk’achañax jiwasan modelo ukax uraqin chiqap valores ukar jak’achasi sañ muni.

Algoritmo de minimización ukax gradiente descendente ukampiw función de pérdida ukar sarañatakix apnaqasi ukatx mä mínimo mundial ukar jikxatañataki. Sapa traversal lurawixa algoritmo ukan pesos ukanakap machaqar tukuyañawa, ukhamata suma mistuñataki.

Llano Gradiente Ukax mä juk’a pachanakanwa

Algoritmo convencional de descenso de gradiente ukaxa taqi gradientes ukanakana promedio ukampiwa taqpacha conjunto de datos ukanxa jakhthapita. Mä sapa yatichäw uñacht’äwin jakäwipax akham uñtatawa:

Uka ecuación de actualización de peso ukax akham uñtatawa:

Kawkhantixa W modelo pesos ukanaka uñacht’ayi ukatxa dJ/dW ukaxa derivada de la función de pérdida ukawa modelo peso ukarjama. Método convencional ukax mä jach’a tasa de convergencia ukaniwa ukampis computacionalmente ukax wali jila qullqiruw tukuwayi kunawsatix jach’a conjuntos de datos ukanakamp apasiñax millones de puntos de datos ukanakampi.

Gradiente Estocástico Descenso (SGD) ukaxa 1.1.

SGD ukan metodología ukax GD llano ukar uñtasitaw qhiparaski, ukampis taqpach conjunto de datos uka apnaqañat sipansa, gradientes ukanakax jakthapiñatakix mä jisk’a lote ukaw insumos ukanakat apnaqasi. Uka thakhix juk’amp askiwa ukampis inas juk’amp salt’chispa minimas globales ukar muyuntata kunatix sapa iteración ukax mä chikat datos ukanak yatiqañatakix apnaqi.

Gradiente Promedio Estocástico ukaxa

Gradiente Promedio Estocástico (SAG) uka uñakipañaxa GD ukatxa SGD ukanaka taypina chika taypi uñt’atawa. Ukaxa mä punto de datos aleatorios ukanaka ajlli ukatxa valor ukaxa machaqar tukuyi ukaxa gradiente uka chiqana ukhamaraki mä promedio ponderado ukampi nayra gradientes ukanaka uka particular punto de datos ukatakixa imatäski.

SGD ukar uñtasita, SAG ukax sapa jan walt’awinak mä suma finita de funciones convexas, diferenciables ukham uñacht’ayi. Kawkïr iteración ukanx jichha gradientes ukat promedio de gradientes anteriores ukampiw peso actualización ukatakix apnaqasi. Uka ecuación ukax akham uñacht’ayatawa:

Tasa de Convergencia ukaxa

Pä algoritmos populares ukanaka taypinxa, gradiente completo (FG) ukhamaraki descenso de gradiente estocástico (SGD), algoritmo FG ukaxa juk ampi suma tasa de convergencia ukaniwa kunatixa sapa iteración ukjaxa taqpacha conjunto de datos ukampiwa jakhthapiwi lurañataki apnaqaraki.

SAG ukax SGD ukar uñtasit estructura ukanipkchisa, tasa de convergencia ukax uñakipatarakiw ukatx yaqhip pachax gradiente completo ukar uñtasitx juk’amp askiwa. Tabla 1 ukanx mä juk’a qhanañcht’atawa, ukax yant’awinakat apsutawa Schmidt ukat yaqhanakampi. al .

Juk’amp Mayjt’awinaka

Muspharkañ lurawipax utjkchispas, walja mayjt’awinakax algoritmo SGD original ukarux amtatawa, ukhamat lurawinak juk’amp askinak lurañ yanapt’añataki.

• Nayraqata Iteraciones ukanxa mayampi ponderación: Convergencia SAG ukaxa nayrïri iteraciones ukanxa juk ampi ch amanchatawa kunatixa algoritmo ukaxa normaliza dirección n ukampi (total número de puntos de datos). Ukax mä jan chiqap jakhüwiw uñacht’ayi kunatix algoritmo ukax walja puntos de datos ukanak uñjañjamawa. Modificación ukax n uksat sipanx m ukampiw normalización ukaruw uñacht’ayi, kawkhantix m ukax mä kutis uka iteración particular ukakamax uñjat puntos de datos ukawa.
• Mini-lotes: Gradiente Estocástico ukax mini-lotes ukampiw walja puntos de datos ukanak mä pachan lurañatakix apnaqasi. Uka pachpa amtawix SAG ukanx apnaqasirakispawa. Ukax vectorización ukat paralelización ukanak lurañatakiw yanapt’i, ukhamat computadora ukan juk’amp suma irnaqañapataki. Ukhamarakiw carga de memoria ukax jisk’achasi, ukax mä jach’a ch’amäspawa algoritmo SAG ukataki.
• Paso-Tama yant’awi: Nayraqata arsutanakaxa (116L) lurawixa muspharkañawa, ukampisa qillqirinakaxa juk’ampi yant’apxi 1L ukjama lurawimpi. Qhipïrix juk’amp suma convergencia ukaw utjäna. Ukampirus qillqirinakax janiw mä análisis formal uñacht’ayañjamäkänti, ukax juk’amp suma yatxatäwinakatxa. Jupanakax akham amuyapxi, tama paso ukax yant’atäñapawa, ukhamat uka específico jan walt’äwitak askïki uk jikxatañataki.

Qhipa Amuyunaka

Gradiente descenso ukax mä optimización popular ukawa, ukax mínimos globales ukanak jikxatañatakiw apnaqasi, ukax funciones objetivas ukanakax churatawa. Algoritmo ukax gradiente de la función objetiva ukampiw función ukan pendiente ukar sarañatakix juk’amp jisk’a chiqar puriñkamax apnaqi.

Descenso de Gradiente Completo (FG) ukatxa Descenso de Gradiente Estocástico (SGD) ukaxa pä variación popular algoritmo ukawa. FG ukax sapa iteración ukanx taqpach conjunto de datos uka apnaqi ukatx mä jach’a tasa de convergencia ukaw mä jach’a costo de computación ukanx churaraki. Sapa iteración ukanx SGD ukax mä subconjunto de datos ukampiw algoritmo ukar apnaqañatakix apnaqi. Ukax juk’amp eficiente ukampis mä convergencia incertada ukampiwa.

Gradiente Promedio Estocástico (SAG) ukax yaqha mayjt’awiwa, ukax pä nayra algoritmos ukan askinakap uñacht’ayi. Ukax nayra gradientes ukan promedio ukat mä subconjunto de conjunto de datos ukampiw apnaqasi, ukhamat mä jach’a tasa de convergencia jisk’a computación ukamp churañataki. Algoritmo ukax juk’amp mayjt’ayatarakispawa, ukhamat vectorización ukat mini-lotes ukanakamp apnaqasa, ukhamat suma irnaqañapataki.