
 
 
 Forfattere af: 
 
 
 
 Dylan R. Ashley Sina Ghiassian Richard S. Sutton Forfattere af: 
 
 
 
 af Dylan R. Ashley Kære Ghiassian af Richard S. Sutton TABLE OF LINKS Tabellen til venstre Abstract Abstrakte 1 Introduction 1 Introduktion 2 Related Work 2 Relateret arbejde 3 Problem Formulation 3 Problemformulering 4 Measuring Catastrophic Forgetting 4 Måling af katastrofal glemsomhed 5 Experimental Setup 5 Eksperimentelle indstillinger 6 Results 6 Resultater 7 Discussion 7 Diskussion 8 Conclusion 8 Konklusion 9 Future Work and References 9 Fremtidig arbejde og referencer Abstract Abstrakte På trods af den omfattende mængde arbejde på katastrofal glemsel er det stadig en alvorlig hindring for den brede anvendelse af kunstige neurale netværk (ANN'er), men det fortsætter med at være et dårligt forstået fænomen. På trods af den omfattende mængde arbejde på katastrofal glemsel, hævder vi, at det stadig er uklart, at valget af, hvilket fænomenet skal kvantificeres, og desuden i hvilken grad alle de valg, vi foretager, når vi designer læringssystemer, påvirker mængden af katastrofal glemsel. Vi bruger forskellige testbeder fra forstærkningslæringen og overvåget læringslitteratur til at (1) give bevis for, at valget af moderne gradientbaseret optimeringsalgoritme skal anvendes til at uddanne en AN 1 Introduction 1 Introduktion I online læring refererer katastrofal glemsel til tendensen for kunstige neurale netværk (ANN'er) til at glemme tidligere lært information, når i nærvær af ny information (French, 1991, s. 173). Katastrofal glemsel præsenterer et alvorligt problem for den brede anvendelighed af ANN'er, da mange vigtige læringsproblemer, såsom forstærkning læring, er online læringsproblemer. Effektiv online læring er også kernen i den kontinuerlige - nogle gange kaldet livslang (Chen og Liu, 2018, s. 55) - læringsproblem. Eksistensen af katastrofal glemsel er af særlig relevans nu som ANN'er har været ansvarlig for en række store kunstige intelligens (AI) succeser i de seneste år (fx Taigman et al. (2014), Mnih Denne undersøgelse foreslår, at både de grundlæggende principper og de grundlæggende forskningsmetoder, der forudsætter, at det katastrofale forglemmelsesproblem er meget vigtigt, betyder, at det har tiltrukket meget opmærksomhed fra AI-samfundet. Det må for det første være officielt rapporteret i McCloskey og Cohen (1989) og siden da er der blevet foreslået mange metoder til at mindske det (f.eks. Kirkpatrick et al. (2017), Lee et al. (2017), Zenke et al. (2017), Masse et al. (2018), Sodhani et al. (2020)). På trods af dette fortsætter det med at være et uløst problem (Kemker et al., 2018). Dette kan delvis skyldes, at fænomenet selv - og hvad der bidrager til det - For at løse dette forhold er spørgsmålet om, i hvilket omfang alle de valg, vi foretager, når vi designer læringssystemer, påvirker mængden af katastrofal glemsel, ser vi på, hvordan valget af hvilken moderne gradientbaseret optimizer, der anvendes til at træne en ANN, påvirker mængden af katastrofal glemsel, der forekommer under træningen. Vores resultater tyder på, at valg af en af disse optimizers over en anden empirisk sammenligner SGD med Momentum (Qian, 1999; Rumelhart et al., 1986), RMSProp (Hinton et al., n.d.), og Adam (Kingma og Ba, 2014), under de forskellige metrikker og testbeder. Vores resultater tyder på, at valget af en af disse optimizers over en anden faktisk resulterer i en betydelig ænd 
 
 Denne artikel er tilgængelig på arkiv under CC by 4.0 Deed (Attribution 4.0 International) licens. Dette papir er Under CC by 4.0 Deed (Attribution 4.0 International) licens. Tilgængelig i arkivet Tilgængelig i arkivet

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

undefined's blog

Denne lyd er produceret på historiens originalsprog!

Kan Adam Optimizer Forstærke Katastrofal Glemsel?

About Author

KOMMENTARER

HÆNG TAGS

DENNE ARTIKEL BLEV PRÆsenterET I

Related Stories

Meet Timescale: HackerNoon Company of the Week

Meet Brave: HackerNoon Company of the Week

Meet MinIO: The HackerNoon Company of the Week

Meet Google Cloud: HackerNoon Company of the Week

Meet Timescale: HackerNoon Company of the Week

Meet Brave: HackerNoon Company of the Week

Meet MinIO: The HackerNoon Company of the Week

Meet Google Cloud: HackerNoon Company of the Week

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps