![Search icon](https://hackernoon.imgix.net/search-new.png?w=19&h=19)
Gradiente descenso ukaxa técnica de optimización ukawa, ukaxa modelo de aprendizaje automático (ML) ukanxa. Algoritmo ukax pantjasiwinakx jisk’acharaki, ukax yatiyat chimpunakampi ukat uraqi chiqampi. Kunjamatixa técnica ukaxa sapa punto de datos uñakipi amuyañataki ukhamaraki jisk’achañataki pantjasiwi, lurawipaxa yatichawi datos tamaparjamawa. Técnicas ukhama Descenso de Gradiente Estocástico (SGD) ukaxa luratarakiwa calculo lurawi suma uñjañataki ukampisa costo de exactitud de convergencia ukampi.
Gradiente Promedio Estocástico ukax enfoque clásico ukaruw equilibra, ukax Full Gradient Descent ukat SGD ukham uñt’atawa, ukatx panpachan askinak uñacht’ayi. Ukampis janïr algoritmo apnaqañkamax nayraqat amuyañasawa, ukax modelo optimización ukatakix wali askiwa.
Sapa algoritmo ML ukax mä función de pérdida asociada ukampiw utji, ukax modelo ukan lurawip jisk’achañ jan ukax juk’amp sumaptañ amtampiw lurasi. Matemática tuqitxa, chhaqtäwix akham sañjamawa:
Ukax chiqpach ukhamarak yatiyat mistuwinak mayjt’ayañakiw, ukat uka mayjt’äw jisk’achañax jiwasan modelo ukax uraqin chiqap valores ukar jak’achasi sañ muni.
Algoritmo de minimización ukax gradiente descendente ukampiw función de pérdida ukar sarañatakix apnaqasi ukatx mä mínimo mundial ukar jikxatañataki. Sapa traversal lurawixa algoritmo ukan pesos ukanakap machaqar tukuyañawa, ukhamata suma mistuñataki.
Algoritmo convencional de descenso de gradiente ukaxa taqi gradientes ukanakana promedio ukampiwa taqpacha conjunto de datos ukanxa jakhthapita. Mä sapa yatichäw uñacht’äwin jakäwipax akham uñtatawa:
Uka ecuación de actualización de peso ukax akham uñtatawa:
Kawkhantixa W
modelo pesos ukanaka uñacht’ayi ukatxa dJ/dW
ukaxa derivada de la función de pérdida ukawa modelo peso ukarjama. Método convencional ukax mä jach’a tasa de convergencia ukaniwa ukampis computacionalmente ukax wali jila qullqiruw tukuwayi kunawsatix jach’a conjuntos de datos ukanakamp apasiñax millones de puntos de datos ukanakampi.
SGD ukan metodología ukax GD llano ukar uñtasitaw qhiparaski, ukampis taqpach conjunto de datos uka apnaqañat sipansa, gradientes ukanakax jakthapiñatakix mä jisk’a lote ukaw insumos ukanakat apnaqasi. Uka thakhix juk’amp askiwa ukampis inas juk’amp salt’chispa minimas globales ukar muyuntata kunatix sapa iteración ukax mä chikat datos ukanak yatiqañatakix apnaqi.
Gradiente Promedio Estocástico (SAG) uka uñakipañaxa GD ukatxa SGD ukanaka taypina chika taypi uñt’atawa. Ukaxa mä punto de datos aleatorios ukanaka ajlli ukatxa valor ukaxa machaqar tukuyi ukaxa gradiente uka chiqana ukhamaraki mä promedio ponderado ukampi nayra gradientes ukanaka uka particular punto de datos ukatakixa imatäski.
SGD ukar uñtasita, SAG ukax sapa jan walt’awinak mä suma finita de funciones convexas, diferenciables ukham uñacht’ayi. Kawkïr iteración ukanx jichha gradientes ukat promedio de gradientes anteriores ukampiw peso actualización ukatakix apnaqasi. Uka ecuación ukax akham uñacht’ayatawa:
Pä algoritmos populares ukanaka taypinxa, gradiente completo (FG) ukhamaraki descenso de gradiente estocástico (SGD), algoritmo FG ukaxa juk ampi suma tasa de convergencia ukaniwa kunatixa sapa iteración ukjaxa taqpacha conjunto de datos ukampiwa jakhthapiwi lurañataki apnaqaraki.
SAG ukax SGD ukar uñtasit estructura ukanipkchisa, tasa de convergencia ukax uñakipatarakiw ukatx yaqhip pachax gradiente completo ukar uñtasitx juk’amp askiwa. Tabla 1 ukanx mä juk’a qhanañcht’atawa, ukax yant’awinakat apsutawa
Muspharkañ lurawipax utjkchispas, walja mayjt’awinakax algoritmo SGD original ukarux amtatawa, ukhamat lurawinak juk’amp askinak lurañ yanapt’añataki.
Gradiente descenso ukax mä optimización popular ukawa, ukax mínimos globales ukanak jikxatañatakiw apnaqasi, ukax funciones objetivas ukanakax churatawa. Algoritmo ukax gradiente de la función objetiva ukampiw función ukan pendiente ukar sarañatakix juk’amp jisk’a chiqar puriñkamax apnaqi.
Descenso de Gradiente Completo (FG) ukatxa Descenso de Gradiente Estocástico (SGD) ukaxa pä variación popular algoritmo ukawa. FG ukax sapa iteración ukanx taqpach conjunto de datos uka apnaqi ukatx mä jach’a tasa de convergencia ukaw mä jach’a costo de computación ukanx churaraki. Sapa iteración ukanx SGD ukax mä subconjunto de datos ukampiw algoritmo ukar apnaqañatakix apnaqi. Ukax juk’amp eficiente ukampis mä convergencia incertada ukampiwa.
Gradiente Promedio Estocástico (SAG) ukax yaqha mayjt’awiwa, ukax pä nayra algoritmos ukan askinakap uñacht’ayi. Ukax nayra gradientes ukan promedio ukat mä subconjunto de conjunto de datos ukampiw apnaqasi, ukhamat mä jach’a tasa de convergencia jisk’a computación ukamp churañataki. Algoritmo ukax juk’amp mayjt’ayatarakispawa, ukhamat vectorización ukat mini-lotes ukanakamp apnaqasa, ukhamat suma irnaqañapataki.