Director of Portfolio Management at WorldQuant. Expert in quantitative finance.
This story contains new, firsthand information uncovered by the writer.
Gradiente uraykachiyqa aswan riqsisqa allinchay técnica nisqa makina yachay (ML) modelado nisqapi. Algoritmo nisqa pantayta pisiyachin willasqa chanikunapura chaymanta allpa chiqap kaqwan. Técnica sapa punto de datos kaqmanta qhawan chaymanta pantayta hamut'ananpaq chaymanta pisiyachinanpaq, ruwayninqa capacitación datokuna sayayninmanta kanqa. Descento de Gradiente Estocástico (SGD) nisqa hina técnicas nisqakunam ruwasqa kanku yupay ruway allin kananpaq ichaqa convergencia exactitud nisqapa chaninpi.
Gradiente Promedio Estocástico nisqa enfoque clásico nisqatam equilibran, chaymi riqsisqa Full Gradient Descent nisqawan SGD nisqawan, chaymanta iskaynin allinkunata qun. Ichaqa manaraq algoritmota llamk'achiyta atichkaspa, ñawpaqta entiendenanchik tiyan significacionninta modelo optimización kaqpaq.
Sapa ML algoritmo huk tinkisqa chinkachiy ruwayniyuqmi, chaymi munan pisiyachiyta utaq allinchayta modelopa ruwayninta. Yupay yachaypiqa, chinkachiyqa kayhinatam riqsichikunman:
Chayqa chiqap chaymanta willasqa lluqsiypa chikan kayninllam, chaymanta kay chikan kayninta pisiyachiyqa niyta munan, modelonchikqa allpapi chiqap chanikunaman asuykun.
Algoritmo pisiyachiy gradiente urayta llamk'achin chinkachiy ruwayta purinanpaq chaymanta huk pachantinpi aswan pisi tarinapaq. Sapa puriy llamk'ayqa algoritmopa llasayninkunata musuqyachiymi, lluqsiyta allinchaypaq.
Convencional gradiente uray algoritmo llapa gradientekuna yupasqa chawpi kaqninta tukuy willay huñupi llamk'achin. Huklla yachachiy ejemplopa kawsayninqa kaymanmi rikchakun:
Llasaq musuqyachiy ecuación nisqa kayhinam rikchakun:
Maypichus W
rikuchin chay modelo llasakunata chaymanta dJ/dW
chay derivado de la función de perdida nisqa chay modelopa llasayninwan tupachisqa. Método convencional huk hatun tasa convergenciayuq ichaqa computacionalmente chaninniyuqman tukun mayk'aq hatun willay huñukunawan llamk'achkanki mayqinkunachus millones willay puntokunayuq kanku.
SGD metodología nisqa GD llañuwan kaqllam qipan, ichaqa llapan willakuy huñuta gradientekuna yupanapaq llamkachinamantaqa, yaykusqakunamanta huk uchuy lote nisqatam llamkachin. Método aswan eficiente ichaqa anchata saltanman kay global minimas muyuriqpi sapa iteración huk partella datokuna yachaypaq llamk'achisqanrayku.
Chay Gradiente Promedio Estocástico (SAG) nisqa ruwayqa riqsichikurqa GDwan SGDwan chawpi kaq hinam. Huk random willay puntota akllan chaymanta chaninninta musuqyachin chay puntopi gradiente kaqpi chaymanta huk promedio ponderado ñawpaq gradientekuna chay particular willay puntopaq waqaychasqa kaqpi.
SGD nisqaman rikchakuqmi, SAG sapa sasachakuytam modelon, convexo, diferenciable funciones nisqapa suma tukusqa hina. Ima iteración nisqapipas, kunan gradiente nisqakunatam, ñawpaq gradiente nisqapa promedio nisqatapas llasaynin musuqyachinapaqmi llamkan. Chay ecuación nisqa kayhinata hapin:
Iskay riqsisqa algoritmokuna chawpipi, hunt’asqa gradiente (FG) chaymanta estocástico gradiente uray (SGD), FG algoritmoqa aswan allin convergencia tasayuqmi, sapa iteración nisqapi llapan datos huñusqa yupaypaq llamk’achisqanrayku.
SAG SGD nisqaman rikchakuq estructurayuq kaptinpas, tasa de convergencia nisqanqa tupachisqam, wakin kutipiqa aswan allinmi chay enfoque de gradiente completo nisqamantaqa. Uraypi Tabla 1 nisqapin pisillapi rikukun chay experimentokunamanta ruwasqakuna
Musphay ruwaynin kaptinpas, achka tikraykuna ñawpaq SGD algoritmo kaqpi yuyaychasqa kanku ruwayta allinchayta yanapanapaq.
Gradiente uraykayqa huk riqsisqa allinchaymi, qusqa objetivo ruwanakuna pachantinpi minimakuna tarinapaq llamk'achisqa. Algoritmoqa objetivo ruwaypa gradiente nisqawanmi ruwaypa pendiententa purin, aswan urayman chayanankama.
Full Gradient Descent (FG) chaymanta Estocástic Gradient Descent (SGD) iskay riqsisqa variaciones kanku algoritmomanta. FG sapa iteración kaqpi tukuy willay huñuta llamk'achin chaymanta huk hatun convergencia tasa qun huk hatun yupay qullqiwan. Sapa kuti kutipi, SGD huk huch'uy huñu willayta llamk'achin algoritmota purichinapaq. Aswan allinmi ichaqa mana seguro convergenciawan.
Gradiente Promedio Estocástico (SAG) huk tikraymi, chaymi iskaynin ñawpaq algoritmokunapa allinninkunata qun. Ñawpaq gradientekunap chawpinta chaymanta huk huch'uy huñu willay huñumanta llamk'achin huk hatun huñunakuy tasa pisi yupaywan qunanpaq. Algoritmoqa aswanta tikrasqa kanman allin ruwayninta vectorización nisqawan chaymanta mini-lotes nisqawan.