
 
 
 Autori : 
 
 
 
 Dylan R. Ashley Sina Ghiassian Richard S. Sutton Autori : 
 
 
 
 Názov: Dylan R. Ashley Čítať Ghiassian Richard S. Suttonová TABLE OF LINKS Tabuľka na ľavicu Abstract abstraktné 1 Introduction 1 Úvod 2 Related Work 2 Súvisiace práce 3 Problem Formulation 3 Problém formulácie 4 Measuring Catastrophic Forgetting 4 Katastrofálne zabudnutie 5 Experimental Setup 5 Experimentálne nastavenie 6 Results 6 Výsledky 7 Discussion 7 Diskusia 8 Conclusion 8 Záver 9 Future Work and References 9 Budúca práca a referencie Abstract abstraktné Napriek rozsiahlemu množstvu práce na katastrofálnom zabudnutí zostáva vážnou prekážkou pre široké uplatňovanie umelých neurónových sietí (ANN), avšak naďalej zostáva veľmi zle chápaným javom. Napriek rozsiahlej práci na katastrofálnom zabudnutí argumentujeme, že stále nie je jasné, ako presne musí byť kvantifikovaný tento fenomén, a navyše do akej miery majú všetky voľby, ktoré robíme pri navrhovaní vzdelávacích systémov, vplyv na množstvo katastrofálneho zabudnutia. Používame rôzne testovacie lôžka z učenia o posilnení a dohliadanej vzdelávacej literatúry, aby sme (1) poskytli dôkazy o tom, že výber moderného algoritmu optimalizácie založeného na gradientoch sa musí použiť na štúdium AN 1 Introduction 1 Úvod V on-line vzdelávaní sa katastrofálne zabudnutie vzťahuje na tendenciu umelých neurónových sietí (ANN) zabudnúť na predtým získané informácie, keď sú v prítomnosti nových informácií (Francúzsko, 1991, s. 173). Katastrofálne zabudnutie predstavuje vážny problém pre širokú uplatniteľnosť ANN, pretože mnohé dôležité vzdelávacie problémy, ako je posilňovanie učenia, sú problémy s učením online. Efektívne on-line učenie je tiež jadrom nepretržitého – niekedy nazývaného celoživotným (Chen a Liu, 2018, s. 55) – vzdelávacieho problému. Existencia katastrofálneho zabudnutia je obzvlášť dôležitá teraz, keďže ANN boli zodpovedné za niekoľko významných úspechov umelej inteligencie (AI) v posledných rokoch (nap Tento výskum naznačuje, že dôležitosť týchto výskumov je veľmi dôležitá, ale v zásade sa ukazuje, že katastrofálne zabúdanie v rámci jedného páru znamená, že to priťahuje veľkú pozornosť od komunity AI. Musí to byť najskôr oficiálne hlásené v McCloskey a Cohen (1989) a od tej doby sa predložilo niekoľko metód na zmiernenie (napr. Kirkpatrick et al. (2017), Lee et al. (2017), Zenke et al. (2017), Sectasetting (2017), Masse et al. (2018), Sodhani et al. (2020)). Napriek tomu táto práca zostáva nevyriešeným problémom (Kemker et al., 2018). To môže byť čiastočne preto, že samotný fenomén - a to, čo k nemu prispieva Pri riešení tohto vzťahu sa zameriava na otázku, do akej miery všetky rozhodnutia, ktoré robíme pri navrhovaní vzdelávacích systémov, ovplyvňujú množstvo katastrofálneho zabudnutia, pozrieme sa na to, ako výber moderného gradientového optimalizátora, ktorý sa používa na výcvik ANN, ovplyvňuje množstvo katastrofálneho zabudnutia, ktoré sa vyskytuje počas tréningu. Naše výsledky naznačujú, že výber jedného z týchto optimalizátorov nad druhým empiricky porovnáva vanilkový SGD, SGD s Momentum (Qian, 1999; Rumelhart et al., 1986), RMSProp (Hinton et al., n.d.), a Adam (Kingma a Ba, 2014), pod rôznymi metrikami a testami. Naše výsledky naznačujú, že 
 
 Tento dokument je k dispozícii v archíve pod licenciou CC by 4.0 Deed (Attribution 4.0 International). Tento papier je Podlieha licencii CC by 4.0 Deed (Attribution 4.0 International). Dostupné v archíve Dostupné v archíve

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

undefined's blog

Tento zvuk je vyrobený v pôvodnom jazyku príbehu!

Zvyšuje Adam Optimizer katastrofické zabudnutie?

About Author

KOMENTÁRE

ZAVISTE ŠTÍTKY

TENTO ČLÁNOK BOL PREDSTAVENÝ V

Related Stories

THE CRAB-SPIDER

Behavior of a shapely Spider

When Blood Told

112 Stories To Learn About Hackernoon Community

THE CRAB-SPIDER

Behavior of a shapely Spider

When Blood Told

112 Stories To Learn About Hackernoon Community

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps