Gradiente Promedio Estocástico nisqamanta hamut’ay

Gradiente uraykachiyqa aswan riqsisqa allinchay técnica nisqa makina yachay (ML) modelado nisqapi. Algoritmo nisqa pantayta pisiyachin willasqa chanikunapura chaymanta allpa chiqap kaqwan. Técnica sapa punto de datos kaqmanta qhawan chaymanta pantayta hamut'ananpaq chaymanta pisiyachinanpaq, ruwayninqa capacitación datokuna sayayninmanta kanqa. Descento de Gradiente Estocástico (SGD) nisqa hina técnicas nisqakunam ruwasqa kanku yupay ruway allin kananpaq ichaqa convergencia exactitud nisqapa chaninpi.

Gradiente Promedio Estocástico nisqa enfoque clásico nisqatam equilibran, chaymi riqsisqa Full Gradient Descent nisqawan SGD nisqawan, chaymanta iskaynin allinkunata qun. Ichaqa manaraq algoritmota llamk'achiyta atichkaspa, ñawpaqta entiendenanchik tiyan significacionninta modelo optimización kaqpaq.

Gradiente Uraywan Maquina Yachaypa Objetivos nisqakunata allinchay

Sapa ML algoritmo huk tinkisqa chinkachiy ruwayniyuqmi, chaymi munan pisiyachiyta utaq allinchayta modelopa ruwayninta. Yupay yachaypiqa, chinkachiyqa kayhinatam riqsichikunman:

Chayqa chiqap chaymanta willasqa lluqsiypa chikan kayninllam, chaymanta kay chikan kayninta pisiyachiyqa niyta munan, modelonchikqa allpapi chiqap chanikunaman asuykun.

Algoritmo pisiyachiy gradiente urayta llamk'achin chinkachiy ruwayta purinanpaq chaymanta huk pachantinpi aswan pisi tarinapaq. Sapa puriy llamk'ayqa algoritmopa llasayninkunata musuqyachiymi, lluqsiyta allinchaypaq.

Llanu Gradiente Uray

Convencional gradiente uray algoritmo llapa gradientekuna yupasqa chawpi kaqninta tukuy willay huñupi llamk'achin. Huklla yachachiy ejemplopa kawsayninqa kaymanmi rikchakun:

Llasaq musuqyachiy ecuación nisqa kayhinam rikchakun:

Maypichus W rikuchin chay modelo llasakunata chaymanta dJ/dW chay derivado de la función de perdida nisqa chay modelopa llasayninwan tupachisqa. Método convencional huk hatun tasa convergenciayuq ichaqa computacionalmente chaninniyuqman tukun mayk'aq hatun willay huñukunawan llamk'achkanki mayqinkunachus millones willay puntokunayuq kanku.

Gradiente Estocástico nisqa uraykachiy (SGD) .

SGD metodología nisqa GD llañuwan kaqllam qipan, ichaqa llapan willakuy huñuta gradientekuna yupanapaq llamkachinamantaqa, yaykusqakunamanta huk uchuy lote nisqatam llamkachin. Método aswan eficiente ichaqa anchata saltanman kay global minimas muyuriqpi sapa iteración huk partella datokuna yachaypaq llamk'achisqanrayku.

Gradiente Promedio Estocástico nisqa

Chay Gradiente Promedio Estocástico (SAG) nisqa ruwayqa riqsichikurqa GDwan SGDwan chawpi kaq hinam. Huk random willay puntota akllan chaymanta chaninninta musuqyachin chay puntopi gradiente kaqpi chaymanta huk promedio ponderado ñawpaq gradientekuna chay particular willay puntopaq waqaychasqa kaqpi.

SGD nisqaman rikchakuqmi, SAG sapa sasachakuytam modelon, convexo, diferenciable funciones nisqapa suma tukusqa hina. Ima iteración nisqapipas, kunan gradiente nisqakunatam, ñawpaq gradiente nisqapa promedio nisqatapas llasaynin musuqyachinapaqmi llamkan. Chay ecuación nisqa kayhinata hapin:

Tasa de Convergencia nisqa

Iskay riqsisqa algoritmokuna chawpipi, hunt’asqa gradiente (FG) chaymanta estocástico gradiente uray (SGD), FG algoritmoqa aswan allin convergencia tasayuqmi, sapa iteración nisqapi llapan datos huñusqa yupaypaq llamk’achisqanrayku.

SAG SGD nisqaman rikchakuq estructurayuq kaptinpas, tasa de convergencia nisqanqa tupachisqam, wakin kutipiqa aswan allinmi chay enfoque de gradiente completo nisqamantaqa. Uraypi Tabla 1 nisqapin pisillapi rikukun chay experimentokunamanta ruwasqakuna Schmidt y. al .

Astawan Modificacionkuna

Musphay ruwaynin kaptinpas, achka tikraykuna ñawpaq SGD algoritmo kaqpi yuyaychasqa kanku ruwayta allinchayta yanapanapaq.

• Ñawpaq Iteracionkunapi musuqmanta llasay: SAGpa huñunakuyninqa pisillam qipan punta kaq iteracionkunapi algoritmo n nisqawan (tukuy puntokuna willakuypa yupaynin) direccionta normalizasqanmanta pacha. Kayqa mana chiqan yupayta qun imaynachus algoritmo manaraq achka willay puntokunata rikunchu. Chay modificación nisqa normalizacionta yuyaychakun m nisqawan n rantipi, maypichus m nisqa yupaymi chay puntos de datos nisqa huk kutillapas chay iteración particular nisqakama rikusqa.
• Mini-lotes: Gradiente Estocástico nisqa ruwayqa mini-lote nisqakunatam llamk'achin achka willay puntokunata huk kutillapi ruwanapaq. Chaynallatataqmi SAG nisqapas ruwakunman. Kayqa vectorización nisqa ruwayta, paralelización nisqatapas saqillan, computadorap allin llamk'ayninpaq. Hinallataq yuyarina cargata pisiyachin, huk riqsisqa sasachakuy SAG algoritmopaq.
• Paso-Tamaño experimentación: Ñawpaq rimasqanchik paso sayay (116L) admirakuypaq ruwaykunata qun, ichaqa qillqaqkuna aswanta experimentarqaku 1L llamkaypa sayayninwan. Kay qhipa kaqtaq aswan allin convergenciata quykurqa. Ichaqa, qillqaqkunam mana atirqakuchu allinchasqa ruwasqakunamanta anlisis formal nisqa ruwayta. Paykunaqa tukunku, chay paso tamaño nisqawanmi experimentana, chaynapi chay específico sasachakuypaq allin kaqta tarinapaq.

Tukupay Yuyaykuna

Gradiente uraykayqa huk riqsisqa allinchaymi, qusqa objetivo ruwanakuna pachantinpi minimakuna tarinapaq llamk'achisqa. Algoritmoqa objetivo ruwaypa gradiente nisqawanmi ruwaypa pendiententa purin, aswan urayman chayanankama.

Full Gradient Descent (FG) chaymanta Estocástic Gradient Descent (SGD) iskay riqsisqa variaciones kanku algoritmomanta. FG sapa iteración kaqpi tukuy willay huñuta llamk'achin chaymanta huk hatun convergencia tasa qun huk hatun yupay qullqiwan. Sapa kuti kutipi, SGD huk huch'uy huñu willayta llamk'achin algoritmota purichinapaq. Aswan allinmi ichaqa mana seguro convergenciawan.

Gradiente Promedio Estocástico (SAG) huk tikraymi, chaymi iskaynin ñawpaq algoritmokunapa allinninkunata qun. Ñawpaq gradientekunap chawpinta chaymanta huk huch'uy huñu willay huñumanta llamk'achin huk hatun huñunakuy tasa pisi yupaywan qunanpaq. Algoritmoqa aswanta tikrasqa kanman allin ruwayninta vectorización nisqawan chaymanta mini-lotes nisqawan.