
 
 
 
 
 
 
 
 
 
 
 
 
 
 ang mga author: (1) Dan Biderman, Columbia University at Databricks Mosaic AI (db3236@columbia.edu); (2) Jose Gonzalez Ortiz, Databricks Mosaic AI (j.gonzalez@databricks.com); (3) Jacob Portes, Databricks Mosaic AI (jportes@databricks.com); (4) Mansheej Paul, Databricks Mosaic AI (mansheej.paul@databricks.com); (5) Philip Greengard, Columbia University (pg2118@columbia.edu) (6) Connor Jennings, Databricks Mosaic AI (connor.jennings@databricks.com); (7) Daniel King, Databricks Mosaic AI (daniel.king@databricks.com); (8) Sam Havens, Databricks Mosaic AI (sam.havens@databricks.com); (9) Si Vitaliy Chiley, Databricks Mosaic AI (vitaliy.chiley@databricks.com); (10) si Jonathan Frankle, Databricks Mosaic AI (jfrankle@databricks.com); (11) Si Cody Blakeney, ang Databricks Mosaic AI (cody.blakeney); (12) John P. Cunningham, Columbia University (jpc2181@columbia.edu). Authors: (1) Dan Biderman, Columbia University at Databricks Mosaic AI (db3236@columbia.edu); (2) Jose Gonzalez Ortiz, Databricks Mosaic AI (j.gonzalez@databricks.com); (3) Jacob Portes, Databricks Mosaic AI (jportes@databricks.com); (4) Mansheej Paul, Databricks Mosaic AI (mansheej.paul@databricks.com); (5) Philip Greengard, Columbia University (pg2118@columbia.edu) (6) Connor Jennings, Databricks Mosaic AI (connor.jennings@databricks.com); (7) Daniel King, Databricks Mosaic AI (daniel.king@databricks.com); (8) Sam Havens, Databricks Mosaic AI (sam.havens@databricks.com); (9) Si Vitaliy Chiley, Databricks Mosaic AI (vitaliy.chiley@databricks.com); (10) si Jonathan Frankle, Databricks Mosaic AI (jfrankle@databricks.com); (11) Si Cody Blakeney, ang Databricks Mosaic AI (cody.blakeney); (12) John P. Cunningham, Columbia University (jpc2181@columbia.edu). Table ng mga Links Abstract at 1 Introduction 2 Mga background 3 Experimental Setup at 3.1 Datasets para sa Continuous Pretraining (CPT) at Instruction Finetuning (IFT) 3.2 Pagkakaiba ng Pag-aaral gamit ang Coding at Math Benchmarks (target domain evaluation) 3.3 Pag-iisip ng Metrics (source domain evaluation) 4 Ang mga resulta 4.1 LoRA underperforms full finetuning sa pag-programming at math tasks 4.2 LoRA lupa ng mas mababa kaysa sa buong finetuning 4.3 Ang Learning-Forgetting Tradeoff 4.4 Ang mga properties ng regularization ng LoRA 4.5 Full finetuning sa code at matematika ay hindi nagpapakita ng mga low-rank disturbances 4.6 Praktikal na takeaways para sa optimum na configuration ng LoRA 5 Mga trabaho 6 Diskusiya 7 Konklusyon at mga reference Appendix A. Mga eksperimento B. Learning rate searches C. Mga Dataset ng Training D. Teoretical Memory Efficiency Gains sa LoRA para sa Single at Multi-GPU Settings abstrak ang Ang Low-Rank Adaptation (LoRA) ay isang widely-used parameter-efficient finetuning method para sa larong mga modelo ng wika. Ang LoRA ay nag-save ng memory sa pamamagitan ng pagsasanay lamang ng mga low-ranking disturbances sa selected weight matrices. Sa trabaho na ito, lumipad ang pagganap ng LoRA at ang full finetuning sa dalawang target domain, programming at matematika. Ang LoRA ay nagpapakita sa parehong finetuning instruction (≈100K prompt-response pairs) at patuloy na pre-training (≈10B unstructured tokens) data regimes. Ang aming mga resulta ay nagpapakita na, sa karamihan ng mga setting, ang LoRA ay karaniwang mababa sa pagganap ng full finetuning. Gayunpaman, ang LoRA ay 1 Mga Introduction Ang finetuning ng mga modelo ng malaking wika (LLMs) na may bilyong mga timbang ay nangangailangan ng isang hindi-trivial na halaga ng GPU memory. Parameter-efficient finetuning mga pamamaraan ay mabawasan ang footprint ng memory sa panahon ng pagsasanay sa pamamagitan ng pag-freeze ng isang pre-trained LLM at lamang ang pagsasanay ng isang maliit na bilang ng mga karagdagang mga parameter, karaniwang tinatawag na mga adapters. Low-Rank Adaptation (LoRA; Hu et al. (2021)) ay nagtatrabaho ng mga adapters na ay low-ranking disturbances sa selected weight matrices. Mula sa kanyang pag-unlad, ang LoRA ay na-promote bilang isang katunayan na pagbuo ng kaligtasan na hindi nakakaapekto ang katunayan sa bagong, target domain (Hu et al., 2021; Dettmers et al., 2024; Raschka, 2023; Zhao et al., 2024b). Gayunpaman, lamang ng ilang mga pananaliksik ang benchmark ng LoRA laban sa buong finetuning para sa LLMs na may bilyong mga parameters, (Ivison et al., 2023; Zhuo et al., 2024; Dettmers et al., 2024), na inilathala mixed mga resulta. Ang ilang ng mga pananaliksik na ito ay batay sa mga mas mababa na mga modelo (e.g. RoBERTa), o bruto evaluation benchmarks (p Here we ask: under which conditions does LoRA approximate full finetuning accuracy on challenging target domains, such as code and math? Sa pamamagitan ng pag-training ang higit pang mga parameter, ang LoRA ay inihahanda na magbibigay ng isang form ng regularization na inihahanda ang pag-uugali ng finetuned model upang maging malapit sa mga pangunahing modelo (Sun et al., 2023; Du et al., 2024). We also ask: does LoRA act as a regularizer that mitigates “forgetting” of the source domain? Sa pananaliksik na ito, nakipag-ugnayan namin ang LoRA at ang buong finetuning para sa Llama-2 7B (at sa ilang mga kaso, 13B) na mga modelo sa dalawang mahigpit na target na domain, code at matematika. Sa bawat domain, nag-eksplorate kami ng dalawang mga regime ng pagsasanay. Ang unang ay finetuning instruction, ang karaniwang scenario para sa LoRA na naglalaman ng mga dataset ng mga question-response na may higit sa pag-atubiling milyong token. Narito, ginagamit namin ang Magicoder-Evol-Instruct-110K (Wei et al., 2023) at MetaMathQA (Yu et al., 2023). Ang ikalawang regime ay patuloy na pre-training, isang mas madalas na karaniwang application para sa LoRA na nag Nag-evaluate ang pagganap ng target-domain (simula, pag-aaral) sa pamamagitan ng challenging coding at matematika benchmarks (HumanEval; Chen et al. (2021), at GSM8K; Cobbe et al. (2021)). Nag-evaluate ang pagganap ng source-domain sa pagganap ng pagganap sa pagganap ng wika, world knowledge, at common sense reasoning tasks (Zellers et al., 2019; Sakaguchi et al., 2019; Clark et al., 2018). Nakita namin na para sa code, ang LoRA ay karaniwang mababa sa buong finetuning, habang para sa matematika, ang LoRA ay binubuo ng higit pa ng gap (Section 4.1), habang nangangailangan ng mas mataas na pag-training. Sa kabila ng pag-training na ito, nagpapakita namin na ang LoRA ay mas mahusay na matatagpuan ng pag-performance ng source-domain kaysa sa buong finetuning (Section 4.2). Sa karaniwang, nagkakahalaga namin ang kompromiso sa pagitan ng pag-performance sa target vs. source domain (learning vs. forgetting). Para sa isang tiyak na modelo at dataset, natagpuan namin na ang LoRA at ang full finetuning ay lumikha ng isang katulad na learning-forgetting tradeoff curve: ang LoRA na makikita ay Pagkatapos ay nagpapakita namin na ang LoRA - kahit na may isang mas mababa-restrictive ranking - ay nagbibigay ng mas mataas na regularization kapag nakaraang sa classic regularization methods tulad ng dropout (Srivastava et al., 2014), at weight decay (Goodfellow et al., 2016). Kami din nagpakita na ang LoRA ay nagbibigay ng regularization sa layunin ng output: nag-analisa namin ang mga solusyon na nilikha para sa HumanEval mga problema at natagpuan na habang ang buong finetuning ay bumaba sa isang limitadong set ng mga solusyon, ang LoRA ay nagbibigay ng isang diversity ng mga solusyon na mas sariling sa base model (Sun et al., 2023; Du et al., 2024). Bakit ang LoRA ay underperforming full finetuning? Ang LoRA ay inihahanda mula sa halimbawa na ang finetuning ay nagdadala sa mga low-ranking disturbances sa base model's weight matrix (Li et al., 2018; Aghajanyan et al., 2020; Hu et al., 2021). Gayunpaman, ang mga gawain na itinuturing sa pamamagitan ng mga trabaho na ito ay relatibong madali para sa mga modernong LLM, at halimbawa mas madali kaysa sa mga coding at math domain na itinuturing dito. Kaya, gumagawa namin ang isang single-value decomposition upang ipakita na ang full finetuning ay malaki na gumagana ang spektrum ng base model's weight matrix, at kahit na ang pagkakaiba sa pagitan ng dalawang (i.e. ang disturbance) ay mata Nagtatapos sa tuldok, iisip nila na ang buhay ng kanilang mga ama at grandfather ay mas mahusay, mas tiyak, mas madaling mag-navigate. Para sa sumusunod, ibinibigay natin ang mga sumusunod na mga resulta: • Full finetuning ay higit pa at sample-efficient kaysa sa LoRA sa code at matematika (Sec.4.1). • Ang LoRA ay mas mababa sa source domain, na nagbibigay ng isang form ng regularization (Section 4.2 at 4.3). • Ang regularization ng LoRA ay mas mataas kaysa sa karaniwang mga teknikal ng regularization; ito rin ay tumutulong sa paghahatid ng diversity ng mga generations (Section 4.4). • Ang Full finetuning ay nagtatag ng mataas na ranggo ng timbang (Section 4.5). Sa pagitan ng full finetuning, ang LoRA ay mas sensitibo sa mga hyperparameter, halimbawa, rate ng pag-aaral, target modules, at ranking (sa pagkuha; Sec. 2 Mga background 
 
 Ang dokumento na ito ay magagamit sa archiv sa ilalim ng CC BY 4.0 DEED license. Ang dokumento na ito ay magagamit sa archiv sa ilalim ng CC BY 4.0 DEED license. Available sa archive

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

How the Most Important Models Actually Work

undefined's blog

Ang audio na ito ay ginawa sa orihinal na wika ng kuwento!

Masyadong mahaba; Upang basahin

Make resilience your competitive advantage

LoRA Magsimula Less at Forgets Less—Ano ba ang isang bug o isang tampok?

About Author

MGA KOMENTO

HANG TAGS

ANG ARTIKULONG ITO AY IPINAKITA SA

Related Stories

State of the Noonion: The Year of Profitability and Product Renaissance

Hosting a DNS domain on the blockchain

Getting intimate with Ethereum tokens

COVID-19: We Need More Than Data, We Need Insights!

State of the Noonion: The Year of Profitability and Product Renaissance

Hosting a DNS domain on the blockchain

Getting intimate with Ethereum tokens

COVID-19: We Need More Than Data, We Need Insights!

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps