
 
 
 Autori : 
 
 
 
 Dylan R. Ashley Sina Ghiassian Ричард С. Сутон Autori : 
 
 
 
 Дилан Р. Ашли Сина Гиасиан Ричард С. Сутон TABLE OF LINKS Табела левице Abstract апстракт 1 Introduction 1 Увод 2 Related Work 2 Povezani radovi 3 Problem Formulation 3 Формулација проблема 4 Measuring Catastrophic Forgetting 4 Мерење катастрофалног заборава 5 Experimental Setup 5 Експериментални дизајн 6 Results 6 Резултати 7 Discussion 7 Дискусија 8 Conclusion 8 Закључак 9 Future Work and References 9 Будући рад и референце Abstract апстракт Упркос великој количини рада на катастрофалном заборављивању, тврдимо да је и даље нејасно како тачно треба квантификовати интерферонски феномен и, штавише, у којој мери сви избори које правимо приликом пројектовања система за учење утичу на количину катастрофалног заборављања. Ми користимо различите тестове из литературе за појачање учења и надгледано учење да бисмо (1) пружили доказе да избор којих модерних алгоритма за оптимизацију заснованих на степену мора да се користи за проучавање АНН-а има значајан утицај на количину катастрофалног заборављања и показује да – изненађујуће гледајући ме резултати – многи случајеви метрологије класе као што је ванила СГД доживљавају мање катастроф 1 Introduction 1 Увод У онлине учењу, катастрофално заборављање се односи на тенденцију вештачких неуронских мрежа (АНН) да забораве претходно научене информације када су у присуству нових информација (Француски, 1991, с. 173). Катастрофално заборављање представља озбиљан проблем за широку применљивост АНН-а јер су многи важни проблеми учења, као што је појачано учење, проблеми учења на мрежи. Ефикасно онлине учење је такође срж континуираног - понекад названог доживотног (Цхен и Лиу, 2018, с. 55) - проблем учења. Постојање катастрофалног заборављања је од посебног значаја сада када су АНН-ови одговорни за низ великих успеха вештачке интелигенције (АИ) у последњих неколико година (нпр Ова истраживања сугеришу да је важност ових принципа, међутим, да се у потпуности ресетује, што значи да је међусобно занемаривање катастрофалног проблема, што значи да је то привукло велику пажњу од заједнице АИ-а. Мора се прво званично пријавити у МцЦлоскеи и Цоен (1989) и од тада су предложене бројне методе за ублажавање (нпр. Kirkpatrick et al. (2017), Lee et al. (2017), Zenke et al. (2017), Secasetting (2017), Masse et al. (2018), Sodhani et al. (2020)). Упркос томе, овај чланак се наставља као корак напред у нашем разумијевању неразрешеног феномена катастрофе (Кемкер и др., 2018). Ово може Док је овај однос фокусиран на питање у којој мери сви избори које правимо када дизајнирамо системе за учење утичу на количину катастрофалног заборављања, погледамо како избор којег се модерног оптимизатора заснованог на градијенту користи за обуку АНН утиче на количину катастрофалног заборављања који се јавља током тренинга. Наши резултати сугеришу да емпиријски упоређујемо један од ових оптимизатора над другим заправо резултира значајном променом у катастрофалном заборављању који доживљава систем за учење (Циан, 1999; Румелхарт ет ал., 1986), РМСПроп (Хинтон ет ал., н.д.), и Адам (Кингма и Ба, 2014), под различитим метрикама и тестовима. Наши резултати сугеришу 
 
 Овај документ је доступан на архиву под лиценцом CC by 4.0 Deed (Attribution 4.0 International). Овај документ је доступан на архиву под лиценцом CC by 4.0 Deed (Attribution 4.0 International). Доступно у архиви

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

undefined's blog

Овај аудио је произведен на оригиналном језику приче!

Да ли Адамов оптимизатор појачава катастрофално заборављање?

About Author

КОМЕНТАРИ

ХАНГ ТАГС

ОВАЈ ЧЛАНАК ЈЕ ПРЕДСТАВЉЕН У

Related Stories

Building a website with React and Bulma

Scaling Web Testing with Automation: Srikanth Srinivas’s Digital Strategy Breakthrough

Leadership Success Story: Srinath Muralinathan's Transformative Projects at Amazon

Sravana Kumar Reddy Yeruva’s Fusion Transformation Sets a New Standard in ERP Excellence

Building a website with React and Bulma

Scaling Web Testing with Automation: Srikanth Srinivas’s Digital Strategy Breakthrough

Leadership Success Story: Srinath Muralinathan's Transformative Projects at Amazon

Sravana Kumar Reddy Yeruva’s Fusion Transformation Sets a New Standard in ERP Excellence

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps