
 
 
 
 
 
 
 
 
 
 
 
 
 
 著者: (1) Dan Biderman, Columbia University and Databricks Mosaic AI (db3236@columbia.edu) (2) ホセ・ゴンザレス・オルティス、Databricks Mosaic AI(j.gonzalez@databricks.com) (3)ジェイコブ・ポートズ、Databricks Mosaic AI(jportes@databricks.com) (4)マンスヘイ・ポール、Databricks Mosaic AI(mansheej.paul@databricks.com) (5) Philip Greengard, コロンビア大学(pg2118@columbia.edu) (6)コナー・ジェニングス、Databricks Mosaic AI(connor.jennings@databricks.com) (7)ダニエル・キング、Databricks Mosaic AI(daniel.king@databricks.com) (8) サム・ハヴェンズ、Databricks Mosaic AI(sam.havens@databricks.com) (9)Vitaliy Chiley, Databricks Mosaic AI(vitaliy.chiley@databricks.com) (10) ジョナサン・フランクル、Databricks Mosaic AI(jfrankle@databricks.com) (11)Cody Blakeney, Databricks Mosaic AI(cody.blakeney) (12) John P. Cunningham、コロンビア大学(jpc2181@columbia.edu) Authors: (1) Dan Biderman, Columbia University and Databricks Mosaic AI (db3236@columbia.edu) (2) ホセ・ゴンザレス・オルティス、Databricks Mosaic AI(j.gonzalez@databricks.com) (3)ジェイコブ・ポートズ、Databricks Mosaic AI(jportes@databricks.com) (4)マンスヘイ・ポール、Databricks Mosaic AI(mansheej.paul@databricks.com) (5) Philip Greengard, コロンビア大学(pg2118@columbia.edu) (6)コナー・ジェニングス、Databricks Mosaic AI(connor.jennings@databricks.com) (7)ダニエル・キング、Databricks Mosaic AI(daniel.king@databricks.com) (8) サム・ハヴェンズ、Databricks Mosaic AI(sam.havens@databricks.com) (9)Vitaliy Chiley, Databricks Mosaic AI(vitaliy.chiley@databricks.com) (10) ジョナサン・フランクル、Databricks Mosaic AI(jfrankle@databricks.com) (11)Cody Blakeney, Databricks Mosaic AI(cody.blakeney) (12) John P. Cunningham、コロンビア大学(jpc2181@columbia.edu) 左のテーブル 抽象と1 Introduction 2 背景 3 実験的セットアップおよび継続的プレトレーニング(CPT)およびインストラクションフィナトゥニング(IFT)のための 3.1 データセット 3.2 コーディングと数学ベンチマークによる学習の測定(ターゲットドメイン評価) 3.3 Forgetting Metrics(ソースドメイン評価) 4 結果 4.1 LoRAはプログラミングと数学のタスクにおける完全なフィニトニングの実績が低下 4.2 LoRA は完全な finetuning より少ないことを忘れる 4.3 学習忘却の貿易 4.4 LoRAの規則化特性 4.5 コードと数学の完全な精密化は、低ランクの干渉を学ばない 4.6 LoRAを最適に構成するための実践的な取り組み 5 関連作品 6 議論 7 結論と参照 Appendix A.実験設定 B.学習率検索 C.トレーニングデータセット D.単一および複数のGPU設定のためのLoRAによる理論的なメモリ効率の向上 抽象 Low-Rank Adaptation (LoRA) は、大規模な言語モデルのための広く使用されるパラメータ効率的なフィニタウンニング方法です。 LoRA は、選択された重量マトリックスに対する低ランク障害のみをトレーニングすることによってメモリを保存します。この作業では、LoRA のパフォーマンスと、プログラミングと数学の2つのターゲットドメインのフルフィニタウンニングを比較します。我々は、インストラクションフィニタウンニング(≈100K prompt-response pairs)と、継続的なプレトレーニング(≈10B非構造トークン)データ体制の両方を考慮しています。我々の結果は、ほとんどの設定で、LoRA は完全フィニタウンニングのパフォーマンスを大幅に低下させ 1 導入 数十億の重量を持つ大規模な言語モデル(LLMs)のフィニタリングは、GPUメモリの非トリビアルな量を必要とします。パラメーター効率的なフィニタリング方法は、プレトレーニングされたLLMを凍結し、しばしばアダプターと呼ばれる少数の追加パラメーターを訓練することによって、トレーニング中にメモリの足跡を減らします。 導入以来、LoRAは、新しいターゲットドメイン(Hu et al., 2021; Dettmers et al., 2024; Raschka, 2023; Zhao et al., 2024b)の精度を損なうことのない厳格な効率向上として推奨されています。しかし、数少ない研究は、数十億のパラメータを持つLLMのためのLoRAを完全なフィンタニングに比べてベンチマークしています(Ivison et al., 2023; Zhuo et al., 2024; Dettmers et al., 2024)、混合した結果を報告しています。これらの研究のいくつかは、古いモデル(例えばRoBERTa)や、現代LLMのためのGUEやROUGEのような粗末な評価ベンチマークに依存しています。 対照的に、より Here we ask: under which conditions does LoRA approximate full finetuning accuracy on challenging target domains, such as code and math? より少ないパラメータをトレーニングすることによって、LoRAは、精密モデルの行動をベースモデルに近づくように制限する規則化の形式を提供するものと仮定される(Sun et al., 2023; Du et al., 2024)。 We also ask: does LoRA act as a regularizer that mitigates “forgetting” of the source domain? この研究では、Llama-2 7B(およびいくつかのケースでは13B)モデルのためのLoRAとフルフィニタニングを2つの挑戦的なターゲットドメイン、コードと数学で厳密に比較します。各ドメイン内で、我々は2つのトレーニング体制を調査します。第1は、Llamaのための指示フィニタニング、数千万トークンの数十万から数百万のトークンの質問答えデータセットを含む LoRAの共通のシナリオです。ここでは、我々はMagicoder-Evol-Instruct-110K(Wei et al., 2023)とMetaMathQA(Yu et al., 2023)を使用しています。第2のシナリオはプレトレーニングを継続しています、LoRAのためのより少ない一般 ターゲットドメインのパフォーマンス(今後、学習)を、コード化と数学基準(HumanEval; Chen et al. (2021)、および GSM8K; Cobbe et al. (2021))を通じて評価します。 コードでは、LoRA が完全なフィニタリングに比べて実質的に低性能であることがわかったが、数学では LoRA がより多くのギャップを閉じる(4.1 節)と、より長い訓練を必要とする。このパフォーマンスギャップにもかかわらず、LoRA が完全なフィニタリングに比べてソースドメインのパフォーマンスをよりよく維持していることがわかった(4.2 節)。 次に、LoRAは、より制限的なレベルでさえ、ドロポート(Srivastava et al., 2014)や重量減少(Goodfellow et al., 2016)などの従来の規格化方法に比べてより強力な規格化を提供することを示しています。我々はまた、LoRAが出力レベルで規格化を提供することを示しています:我々はヒューマンエバル問題の生成されたソリューションを分析し、完全なフィニートニングが制限されたソリューションのセットに崩壊する一方で、LoRAはベースモデルに似たソリューションの多様性を維持していることを発見します(Sun et al., 2023; Du et al., 2024)。 Why does LoRA underperform full finetuning? LoRA was originally motivated in part by the hypothesis that finetuning results in low-rank perturbations to the base model’s weight matrix (Li et al., 2018; Aghajanyan et al., 2020; Hu et al., 2021). However, the tasks explored by these works are relatively easy for modern LLMs, and certainly easier than the coding and math domains studied here. Thus, we perform a singular value decomposition to show that full finetuning barely changes the spectrum of the base model’s weight matrices, and yet the difference between the two (i.e. the perturbation) is high rank. The rank of the perturbation grows as training progresses, with ranks 10-100× higher than typical LoRA configurations (Figure 7). LoRAによるトレーニングモデルのためのベストプラクティスを提案することで結論づけます. LoRAは特に学習率に敏感であり、パフォーマンスは主にターゲットモジュールの選択と、より小さいレベルでランクによって影響されることがわかります。 概要として、我々は次の結果を貢献する: • Full finetuning は、コードと数学における LoRA より正確でサンプル効率的です(Sec.4.1)。 • LoRA はソース ドメインを少なからず忘れ、規則化の一種を提供します(セクション 4.2 と 4.3)。 • LoRAの規律化は、一般的な規律化技術に比べて強力であり、また、世代の多様性を維持するのに役立ちます(セクション4.4)。 • Full finetuning finds high rank weight disturbances (Sec. 4.5) を表示します。 • Full finetuning に比べ、LoRA は、学習率、ターゲット モジュール、ランク (減少順序、セクション 4.6) というハイパーパラメーターにより敏感です。 2 背景 
 
 この論文は CC BY 4.0 DEED ライセンスの下で archiv で利用できます。 この論文は CC BY 4.0 DEED ライセンスの下で archiv で利用できます。 ARCHIV で利用可能

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

How the Most Important Models Actually Work

undefined's blog

このオーディオは、ストーリーの元の言語で制作されています。

LoRAはより少ないことを学び、より少ないことを忘れる - それはバグか機能ですか?

About Author

コメント

ラベル

この記事は

Related Stories

目に見えない層: ユーザーインタビューがかけがえのない資産である理由

Claude Sonnet 3.5 システムプロンプトの漏洩: 法医学的分析

フォーラムからフィードへ: ソーシャルメディアアルゴリズムがデジタルインタラクションを形作る仕組み

ユニークなエコシステムを支えるビットコインUTXOのモデル

目に見えない層: ユーザーインタビューがかけがえのない資産である理由

Claude Sonnet 3.5 システムプロンプトの漏洩: 法医学的分析

フォーラムからフィードへ: ソーシャルメディアアルゴリズムがデジタルインタラクションを形作る仕組み

ユニークなエコシステムを支えるビットコインUTXOのモデル

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps