
 
 
 
 
 
 
 
 
 
 
 
 
 
 Los autores: (1) Dan Biderman, Universidad de Columbia y Databricks Mosaic AI (db3236@columbia.edu); (2) José Gonzalez Ortiz, Databricks Mosaic AI (j.gonzalez@databricks.com); (3) Jacob Portes, Databricks Mosaic AI (jportes@databricks.com); (4) Mansheej Paul, Databricks Mosaic AI (mansheej.paul@databricks.com); (5) Philip Greengard, Universidad de Columbia (pg2118@columbia.edu); (6) Connor Jennings, Databricks Mosaic AI (connor.jennings@databricks.com); (7) Daniel King, de Databricks Mosaic AI (daniel.king@databricks.com); (8) Sam Havens, Databricks Mosaic AI (sam.havens@databricks.com); (9) Vitaliy Chiley, Databricks Mosaic AI (vitaliy.chiley@databricks.com); (10) Jonathan Frankle, Databricks Mosaic AI (jfrankle@databricks.com); (11) Cody Blakeney, Databricks Mosaic AI (cody.blakeney) (12) John P. Cunningham, Universidad de Columbia (jpc2181@columbia.edu). Authors: (1) Dan Biderman, Universidad de Columbia y Databricks Mosaic AI (db3236@columbia.edu); (2) José Gonzalez Ortiz, Databricks Mosaic AI (j.gonzalez@databricks.com); (3) Jacob Portes, Databricks Mosaic AI (jportes@databricks.com); (4) Mansheej Paul, Databricks Mosaic AI (mansheej.paul@databricks.com); (5) Philip Greengard, Universidad de Columbia (pg2118@columbia.edu); (6) Connor Jennings, Databricks Mosaic AI (connor.jennings@databricks.com); (7) Daniel King, de Databricks Mosaic AI (daniel.king@databricks.com); (8) Sam Havens, Databricks Mosaic AI (sam.havens@databricks.com); (9) Vitaliy Chiley, Databricks Mosaic AI (vitaliy.chiley@databricks.com); (10) Jonathan Frankle, Databricks Mosaic AI (jfrankle@databricks.com); (11) Cody Blakeney, Databricks Mosaic AI (cody.blakeney) (12) John P. Cunningham, Universidad de Columbia (jpc2181@columbia.edu). Mesa de la izquierda Abstracto y 1 Introducción 2 Antecedentes 3 Configuración experimental y 3.1 conjuntos de datos para la preparación continua (CPT) y el ajuste de instrucciones (IFT) 3.2 Medir el aprendizaje con los benchmarks de codificación y matemáticas (evaluación del dominio objetivo) 3.3 Olvidar las métricas (evaluación del dominio de fuente) 4 Resultados 4.1 LoRA desempeña menos perfeccionamiento completo en tareas de programación y matemáticas 4.2 LoRA olvida menos que el finetuning completo 4.3 El comercio de aprendizaje olvidado 4.4 Propiedades de regularización de LoRA 4.5 El perfeccionamiento completo en el código y las matemáticas no aprende perturbaciones de bajo rango 4.6 Prácticas para configurar LoRA de forma óptima 5 Trabajo relacionado 6 Discusión 7 Conclusiones y referencias Appendix A. Instalación experimental B. búsqueda de tasa de aprendizaje C. Datos de formación D. Theoretical Memory Efficiency Gains with LoRA for Single and Multi-GPU Settings Abstracción Adaptación de bajo rango (LoRA) es un método de ajuste eficiente de parámetros ampliamente utilizado para modelos de idiomas grandes. LoRA ahorra memoria al entrenar solo perturbaciones de bajo rango a matrices de peso seleccionadas. En este trabajo, comparamos el rendimiento de LoRA y el ajuste completo en dos dominios de destino, programación y matemáticas. Consideramos tanto el ajuste de instrucción (pares de respuesta rápida de ≈100K) como los regímenes de datos de pre-entrenamiento continuo (≈10B tokens no estructurados). Nuestros resultados muestran que, en la mayoría de las configuraciones, LoRA desempeña sustancialmente menos en el ajuste completo. Sin embargo, LoRA muestra una formulación deseable de regularización: mantiene mejor el rendimiento de la base del modelo en tareas fuera 1 Introducción Finetuning large language models (LLMs) with billions of weights requires a non-trivial amount of GPU memory. Parameter-efficient finetuning methods reduce the memory footprint during training by freezing a pretrained LLM and only training a small number of additional parameters, often called adapters. Low-Rank Adaptation (LoRA; Hu et al. (2021)) trains adapters that are low-rank perturbations to selected weight matrices. Desde su introducción, LoRA ha sido promovido como una mejora estricta de la eficiencia que no compromete la exactitud en el nuevo dominio objetivo (Hu et al., 2021; Dettmers et al., 2024; Raschka, 2023; Zhao et al., 2024b). Sin embargo, sólo un puñado de estudios ponen de referencia LoRA contra el finetuning completo para LLMs con miles de millones de parámetros, (Ivison et al., 2023; Zhuo et al., 2024; Dettmers et al., 2024), reportando resultados mixtos. Algunos de estos estudios se basan en modelos más antiguos (por ejemplo, RoBERTa), o en criterios de evaluación groseros (como GLUE o ROUGE) que son menos relevantes para LLMs contemporáneos. En contraste, Here we ask: under which conditions does LoRA approximate full finetuning accuracy on challenging target domains, such as code and math? Al entrenar menos parámetros, se asume que LoRA proporciona una forma de regularización que restringe el comportamiento del modelo finamente ajustado a permanecer cerca de la del modelo base (Sun et al., 2023; Du et al., 2024). We also ask: does LoRA act as a regularizer that mitigates “forgetting” of the source domain? En este estudio, comparamos rigurosamente el LoRA y el finetuning completo para los modelos Llama-2 7B (y en algunos casos, 13B) en dos dominios objetivo desafiantes, código y matemáticas. En cada dominio, exploramos dos regímenes de capacitación. El primero es el finetuning de instrucción, el escenario común para LoRA que involucra conjuntos de datos de respuesta a preguntas con decenas a cientos de millones de tokens. Aquí, utilizamos Magicoder-Evol-Instruct-110K (Wei et al., 2023) y MetaMathQA (Yu et al., 2023). El segundo régimen continúa preparando, una aplicación menos común para LoRA que involucra la capacitación en miles de millones de tokens sin etiqueta; aquí utilizamos los conjuntos de datos StarCoder-Python ( We evaluate target-domain performance (henceforth, learning) via challenging coding and math benchmarks (HumanEval; Chen et al. (2021), and GSM8K; Cobbe et al. (2021)). We evaluate source-domain forgetting performance on language understanding, world knowledge, and common-sense reasoning tasks (Zellers et al., 2019; Sakaguchi et al., 2019; Clark et al., 2018). Encontramos que para el código, LoRA desempeña significativamente menos que el finetuning completo, mientras que para las matemáticas, LoRA cierra más de la brecha (Sección 4.1), mientras que requiere un entrenamiento más largo. A pesar de esta brecha de rendimiento, mostramos que LoRA mantiene mejor el rendimiento del dominio fuente en comparación con el finetuning completo (Sección 4.2). Además, caracterizamos el tradeoff entre el rendimiento en el dominio objetivo versus el dominio fuente (aprendizaje versus olvido). Para un modelo y conjunto de datos dado, encontramos que LoRA y el finetuning completo forman una curva similar de comercio de aprendizaje-olvido: LoRA que aprende más generalmente olvida tanto como el finetuning completo, aunque encontramos casos (para el código) donde LoRA puede Luego mostramos que LoRA – incluso con un rango menos restrictivo – proporciona una regularización más fuerte cuando se compara con los métodos clásicos de regularización como el abandono (Srivastava et al., 2014), y la pérdida de peso (Goodfellow et al., 2016). También mostramos que LoRA proporciona la regularización en el nivel de salida: analizamos las soluciones generadas a los problemas de HumanEval y encontramos que mientras el finetuning completo colapsa a un conjunto limitado de soluciones, LoRA mantiene una diversidad de soluciones más similar al modelo base (Sun et al., 2023; Du et al., 2024). LoRA fue originalmente motivado en parte por la hipótesis de que el finetuning resulta en perturbaciones de bajo rango en la matriz de peso del modelo base (Li et al., 2018; Aghajanyan et al., 2020; Hu et al., 2021). Sin embargo, las tareas exploradas por estas obras son relativamente fáciles para los LLM modernos, y quizás más fáciles que los dominios de codificación y matemáticas estudiados aquí. Así, realizamos una descomposición de valor singular para mostrar que el finetuning completo apenas cambia el espectro de las matrices de peso del modelo base, y sin embargo la diferencia entre las dos (es decir, la perturbación) es alta. Concluimos proponiendo las mejores prácticas para los modelos de capacitación con LoRA. encontramos que LoRA es especialmente sensible a las tasas de aprendizaje, y que el rendimiento es afectado principalmente por la elección de módulos objetivo y en una medida menor por el rango. Para resumir, aportamos los siguientes resultados: • El ajuste completo es más preciso y eficiente en la muestra que LoRA en código y matemáticas (Sec.4.1). LoRA olvida menos del dominio fuente, proporcionando una forma de regularización (Secciones 4.2 y 4.3). • La regularización de LoRA es más fuerte en comparación con las técnicas de regularización comunes; también ayuda a mantener la diversidad de las generaciones (Sección 4.4). • El finetuning completo encuentra perturbaciones de peso de alto rango (Sección 4.5). • En comparación con el finetuning completo, LoRA es más sensible a los hiperparámetros, es decir, la tasa de aprendizaje, los módulos objetivo y el rango (en orden decreciente; Sección 4.6). 2 Antecedentes 
 
 Este artículo está disponible en archivo bajo la licencia CC BY 4.0 DEED. Este artículo está disponible en archivo bajo la licencia CC BY 4.0 DEED. Disponible en Archivo

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

How the Most Important Models Actually Work

undefined's blog

Este audio es producido en el idioma original de la historia!

Demasiado Largo; Para Leer

Make resilience your competitive advantage

LoRA aprende menos y olvida menos: ¿es eso un bug o una característica?

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

Telegram: el puente de Crypto Island hacia el continente

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

Cómo mejorar su flujo de trabajo 10 veces: 17 aplicaciones esenciales

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

Telegram: el puente de Crypto Island hacia el continente

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

Cómo mejorar su flujo de trabajo 10 veces: 17 aplicaciones esenciales

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps