
 
 
 
 
 
 
 
 
 
 
 
 
 
 Gli autori : (1) Dan Biderman, Università di Columbia e Databricks Mosaic AI (db3236@columbia.edu); (2) Jose Gonzalez Ortiz, Databricks Mosaic AI (j.gonzalez@databricks.com); (3) Jacob Portes, Databricks Mosaic AI (jportes@databricks.com); (4) Mansheej Paul, Databricks Mosaic AI (mansheej.paul@databricks.com); (5) Philip Greengard, Università di Columbia (pg2118@columbia.edu); (6) Connor Jennings, Databricks Mosaic AI (connor.jennings@databricks.com); (7) Daniel King, Databricks Mosaic AI (daniel.king@databricks.com); (8) Sam Havens, Databricks Mosaic AI (sam.havens@databricks.com); (9) Vitaliy Chiley, Databricks Mosaic AI (vitaliy.chiley@databricks.com); (10) Jonathan Frankle, Databricks Mosaic AI (jfrankle@databricks.com); (11) Cody Blakeney, Databricks Mosaic AI (cody.blakeney) (12) John P. Cunningham, Università di Columbia (jpc2181@columbia.edu). Authors: (1) Dan Biderman, Università di Columbia e Databricks Mosaic AI (db3236@columbia.edu); (2) Jose Gonzalez Ortiz, Databricks Mosaic AI (j.gonzalez@databricks.com); (3) Jacob Portes, Databricks Mosaic AI (jportes@databricks.com); (4) Mansheej Paul, Databricks Mosaic AI (mansheej.paul@databricks.com); (5) Philip Greengard, Università di Columbia (pg2118@columbia.edu); (6) Connor Jennings, Databricks Mosaic AI (connor.jennings@databricks.com); (7) Daniel King, Databricks Mosaic AI (daniel.king@databricks.com); (8) Sam Havens, Databricks Mosaic AI (sam.havens@databricks.com); (9) Vitaliy Chiley, Databricks Mosaic AI (vitaliy.chiley@databricks.com); (10) Jonathan Frankle, Databricks Mosaic AI (jfrankle@databricks.com); (11) Cody Blakeney, Databricks Mosaic AI (cody.blakeney) (12) John P. Cunningham, Università di Columbia (jpc2181@columbia.edu). tavolo di sinistra Abstract e 1 Introduzione 2 Sfondi 3 Impostazione sperimentale e dataset 3.1 per la preparazione continua (CPT) e la finitura delle istruzioni (IFT) 3.2 Misurare l'apprendimento con i benchmarks di codifica e matematica (valutazione del dominio bersaglio) Forgetting Metrics (valutazione del dominio sorgente) 4 Risultati 4.1 LoRA non riesce a perfezionare completamente i compiti di programmazione e matematica 4.2 LoRA dimentica meno del perfezionamento completo 4.3 Il commercio di apprendimento dimenticato 4.4 Proprietà di regolarizzazione di LoRA 4.5 Il perfezionamento completo del codice e della matematica non impara disturbi di basso rango 4.6 Principi pratici per configurare LoRA in modo ottimale 5 Lavori correlati 6 Discussione 7 Conclusioni e riferimenti Appendix A. Progettazione sperimentale B. Ricerche sul tasso di apprendimento C. Dataset di formazione D. Aumento teorico dell'efficienza della memoria con LoRA per impostazioni single e multi-GPU astratto L'adattamento a basso rango (LoRA) è un metodo di finetuning ampiamente utilizzato per i modelli di lingua di grandi dimensioni. LoRA salva la memoria addestrando solo disturbi di basso rango alle matrice di peso selezionate. In questo lavoro, confrontiamo le prestazioni di LoRA e il finetuning completo su due domini bersaglio, la programmazione e la matematica. Consideriamo sia il finetuning di istruzione (~100K coppie di risposta prompt) che i regimi di dati pre-allenamento continuo (≈10B token non strutturati). I nostri risultati mostrano che, nella maggior parte delle impostazioni, LoRA funziona sostanzialmente meno per il finetuning completo. Tuttavia, LoRA mostra una forma desiderabile di normalizzazione: mantiene meglio le prestazioni 1 Introduzione Finetuning di grandi modelli linguistici (LLM) con miliardi di pesi richiede una quantità non triviale di memoria GPU. Metodi di finetuning efficienti nei parametri riducono l'impronta di memoria durante l'addestramento congelando un LLM pre-addestrato e addestrando solo un piccolo numero di parametri aggiuntivi, spesso chiamati adattatori. Adattamento a basso rango (LoRA; Hu et al. (2021)) addestra gli adattatori che sono perturbazioni di basso rango a matrici di peso selezionate. Dalla sua introduzione, LoRA è stato promosso come un rigoroso miglioramento dell'efficienza che non compromette l'accuratezza sul nuovo dominio di destinazione (Hu et al., 2021; Dettmers et al., 2024; Raschka, 2023; Zhao et al., 2024b). Tuttavia, solo una manciata di studi si basano su modelli più vecchi (ad esempio, RoBERTa), o benchmarks di valutazione grossolani (ad esempio, GLUE o ROUGE) che sono meno rilevanti per i parametri contemporanei (Ivison et al., 2023; Zhuo et al., 2024; Dettmers et al., 2024), segnalando risultati misti. Here we ask: under which conditions does LoRA approximate full finetuning accuracy on challenging target domains, such as code and math? Con la formazione di meno parametri, si presume che LoRA fornisca una forma di normalizzazione che limita il comportamento del modello finonato a rimanere vicino a quello del modello di base (Sun et al., 2023; Du et al., 2024). We also ask: does LoRA act as a regularizer that mitigates “forgetting” of the source domain? In questo studio, confrontiamo rigorosamente LoRA e il completo finetuning per i modelli Llama-2 7B (e, in alcuni casi, 13B) su due sfidanti domini di destinazione, codice e matematica. All'interno di ciascun dominio, esploriamo due regimi di formazione. Il primo è l'istruzione finetuning, lo scenario comune per LoRA che coinvolge set di dati di domanda-risposta con decine a centinaia di milioni di token. Qui, usiamo Magicoder-Evol-Instruct-110K (Wei et al., 2023) e MetaMathQA (Yu et al., 2023). Il secondo regime continua a pre-allenamento, un'applicazione meno comune per LoRA che coinvolge l'allenamento su miliardi di token non etichettati; qui usiamo i set Valutiamo le prestazioni del dominio bersaglio (d'ora in avanti, l'apprendimento) attraverso la codifica impegnativa e i benchmarks matematici (HumanEval; Chen et al. (2021), e GSM8K; Cobbe et al. (2021)). Valutiamo le prestazioni del dominio sorgente che dimenticano la comprensione della lingua, la conoscenza del mondo e i compiti di ragionamento del senso comune (Zellers et al., 2019; Sakaguchi et al., 2019; Clark et al., 2018). Riteniamo che per il codice LoRA sia sostanzialmente inferiore al perfezionamento completo, mentre per la matematica LoRA chiude più del divario (sezione 4.1), pur richiedendo un addestramento più lungo. Nonostante questo divario di prestazioni, mostriamo che LoRA mantiene meglio le prestazioni del dominio sorgente rispetto al perfezionamento completo (sezione 4.2). Inoltre, caratterizziamo il tradeoff tra le prestazioni del dominio di destinazione e del dominio sorgente (apprendimento rispetto all'oblio). Per una determinata dimensione del modello e set di dati, troviamo che LoRA e il perfezionamento completo formano una curva di tradeoff simile che dimentica l'apprendimento: LoRA che impara più generalmente dimentica tanto quanto il perfezionamento completo, anche se troviamo casi (per il codice Quindi mostriamo che LoRA – anche con un rango meno restrittivo – fornisce una regolazione più forte rispetto ai metodi di regolazione classici come il drop-out (Srivastava et al., 2014) e il declino del peso (Goodfellow et al., 2016). Mostriamo anche che LoRA fornisce la regolazione al livello di uscita: analizziamo le soluzioni generate ai problemi di HumanEval e troviamo che mentre il finetuning completo crolla a un set limitato di soluzioni, LoRA mantiene una diversità di soluzioni più simile al modello di base (Sun et al., 2023; Du et al., 2024). LoRA è stato originariamente motivato in parte dall'ipotesi che il finetuning ha portato a perturbazioni di basso rango alla matrice di peso del modello di base (Li et al., 2018; Aghajanyan et al., 2020; Hu et al., 2021). Tuttavia, i compiti esplorati da questi lavori sono relativamente facili per i LLM moderni, e forse più facili dei domini di codifica e matematica studiati qui. Così, eseguiamo una decomposizione di valore singolo per mostrare che il finetuning completo cambia a malapena lo spettro delle matrice di peso del modello di base, e tuttavia la differenza tra i due (cioè la perturbazione) è alta. Concludiamo proponendo le migliori pratiche per i modelli di formazione con LoRA. Troviamo che LoRA è particolarmente sensibile ai tassi di apprendimento e che le prestazioni sono influenzate principalmente dalla scelta dei moduli bersaglio e, in misura minore, dalla classifica. Per riassumere, contribuiamo ai seguenti risultati: • Il perfezionamento completo è più preciso ed efficiente nel campionamento rispetto a LoRA in codice e matematica (Sezione 4.1). LoRA dimentica meno del dominio sorgente, fornendo una forma di normalizzazione (sezione 4.2 e 4.3). • La normalizzazione di LoRA è più forte rispetto alle tecniche di normalizzazione comuni; aiuta anche a mantenere la diversità delle generazioni (Sezione 4.4). • Full finetuning trova disturbi di peso di alto rango (Sezione 4.5). • Rispetto al perfezionamento completo, LoRA è più sensibile agli iperparametri, vale a dire al tasso di apprendimento, ai moduli bersaglio e al rango (in ordine decrescente; Sezione 4.6). 2 Sfondi 
 
 Questo documento è disponibile su archiv sotto la licenza CC BY 4.0 DEED. Questo documento è disponibile su archiv sotto la licenza CC BY 4.0 DEED. Disponibile in archivio

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

How the Most Important Models Actually Work

undefined's blog

Questo audio è prodotto nella lingua originale della storia!

LoRA impara meno e dimentica meno: è un bug o una caratteristica?

About Author

COMMENTI

CARTELLINI

QUESTO ARTICOLO È STATO PRESENTATO IN

Related Stories

Coding with Latenode's AI + JavaScript Assistant: A Low-Code Platform for Simplified Development

10 Reasons Why Publishing on HackerNoon Will Skyrocket Your Reach and Impact

Meet Dealscard, Winner of Startups of The Year 2024 in Ghaziabad/Deal Aggregator

Meet the HackerNoon Top Writers: Nebojsa Nesha Todorovic - Upwork, Freelancing, and Future of Work

Coding with Latenode's AI + JavaScript Assistant: A Low-Code Platform for Simplified Development

10 Reasons Why Publishing on HackerNoon Will Skyrocket Your Reach and Impact

Meet Dealscard, Winner of Startups of The Year 2024 in Ghaziabad/Deal Aggregator

Meet the HackerNoon Top Writers: Nebojsa Nesha Todorovic - Upwork, Freelancing, and Future of Work

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps