
 
 
 著者: 
 
 
 
 Dylan R. Ashley Sina Ghiassian Richard S. Sutton 著者: 
 
 
 
 ディラン・R・アシュリー シナ・ジアシアン リチャード・S・サットン TABLE OF LINKS 左のテーブル Abstract 抽象 1 Introduction 1 導入 2 Related Work 2 関連作品 3 Problem Formulation 3 問題の定義 4 Measuring Catastrophic Forgetting 4 災害の忘却 5 Experimental Setup 5 実験計画 6 Results 6 結果 7 Discussion 7 議論 8 Conclusion 8 結論 9 Future Work and References 9 将来の仕事と参照 Abstract 抽象 災害性忘却は、人工ニューラルネットワーク(ANN)の広範な応用に深刻な障害を残しているが、それでも非常に理解されていない現象である。災害性忘却に関する広範な作業にもかかわらず、我々は、現象を正確にどのように量化しなければならないかを明らかにし、また、学習システムを設計する際に作るすべての選択が災害性忘却の量に影響を及ぼす程度はまだ不明であると主張する。我々は、補強学習や監督学習文献からさまざまなテストベッドを使用して、(1)現代のグレディントベースの最適化アルゴリズムの選択が、ANNを研究するために使用されなければならないという証拠を提供するために、災害性忘却の量に重要な影響を与 1 Introduction 1 導入 オンライン学習では、災害的な忘却は、人工神経ネットワーク(ANN)が以前学んだ情報を忘れる傾向を指します(フランス語、1991年、173ページ)。災害的な忘却は、ANNの広範な適用性のための深刻な問題を提示します。強化学習などの多くの重要な学習問題は、オンライン学習の問題です。効率的なオンライン学習は、一生続く学習問題(Chen and Liu、2018年、55)と呼ばれることもあります。災害的な忘却の存在は、現在、ANNが最近数年の主要な人工知能(AI)の成功の責任を負っているので特に重要です(例えば、Taigman et al. (2014), Mnih et al. (2015年), Silver et al. (2016), Gatys et al. (2016), Vaswani これらの研究の重要性は、非常に細かいものと見られるが、これらの基準のうちの1つは、大災害の忘却の問題は、それがAIコミュニティから多くの注目を集めていることを意味します。それは、最初に公式にマクロスキーとコーエン(1989年)で報告されなければなりませんが、それ以来、多くの方法がそれを緩和するために提案されています(例えば、Kirkpatrick et al. (2017年)、interinterpolating(2017年)、Zenke et al. (2017年)、Masse et al.(2018年)、Sodhani et al.(2020))。それにもかかわらず、これらの研究は、未解決の問題(Kemker et al. 2018年)を回避するために提案されています。これは、部分的に、現象自体が――そしてそれに貢献するものは この関係は、我々が学習システムを設計する際に作るすべての選択が災害的な忘却の量に影響を与える程度の問題に焦点を当てている一方で、我々は、これらの選択が訓練中に起こる災害的な忘却の量に影響を与えるために使用される現代のグレディントベースの最適化器の選択が、ANNを訓練するためにどのように影響するかを考察する。我々は、実験的にVanilla SGD、SGDとMomentum(Qian, 1999; Rumelhart et al., 1986),RMSProp(Hinton et al., n.d.),およびアダム(Kingma and Ba, 2014)を比較すると、これらの最適化器の1つを選択すると、実際には、学習システムによって経験された災害的な忘却 
 
 この論文は、CC by 4.0 Deed (Attribution 4.0 International) ライセンスの下で archiv で利用できます。 この紙は CC by 4.0 Deed (Attribution 4.0 International) ライセンス ARCHIV で利用可能 ARCHIV で利用可能

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

undefined's blog

このオーディオは、ストーリーの元の言語で制作されています。

アダム・オプティマザーは災害的な忘却を強化するのか?

About Author

コメント

ラベル

この記事は

Related Stories

フロキのヴァルハラがインドのスリランカツアーのアソシエイトスポンサーに加わる

ユーザー中心の暗号通貨製品の作成: 顧客からのフィードバックの重要性

HackerNoon ライティングコンテストで優勝したいですか? #crypto-api コンテスト優勝者のおすすめはこちら

デジタルノマドの皆さん、タイの新しい DTV ビザについて知っておくべきこと

フロキのヴァルハラがインドのスリランカツアーのアソシエイトスポンサーに加わる

ユーザー中心の暗号通貨製品の作成: 顧客からのフィードバックの重要性

HackerNoon ライティングコンテストで優勝したいですか? #crypto-api コンテスト優勝者のおすすめはこちら

デジタルノマドの皆さん、タイの新しい DTV ビザについて知っておくべきこと

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps