
 
 
 
 
 
 
 
 
 
 
 
 
 
 저자 : (1) Dan Biderman, Columbia University 및 Databricks Mosaic AI (db3236@columbia.edu) (2) Jose Gonzalez Ortiz, Databricks Mosaic AI (j.gonzalez@databricks.com) (3) Jacob Portes, Databricks Mosaic AI (jportes@databricks.com) (4) Mansheej Paul, Databricks Mosaic AI (mansheej.paul@databricks.com) (5) Philip Greengard, 콜롬비아 대학교 (pg2118@columbia.edu) (6) 코너 제닝스, Databricks Mosaic AI (connor.jennings@databricks.com) (7) 다니엘 킹, Databricks Mosaic AI (daniel.king@databricks.com) (8) Sam Havens, Databricks 모자이크 AI (sam.havens@databricks.com) (9) Vitaliy Chiley, Databricks 모자이크 AI (vitaliy.chiley@databricks.com) (10) Jonathan Frankle, Databricks 모자이크 AI (jfrankle@databricks.com) (11) Cody Blakeney, Databricks Mosaic AI (cody.blakeney) (12) John P. Cunningham, 콜롬비아 대학 (jpc2181@columbia.edu) Authors: (1) Dan Biderman, Columbia University 및 Databricks Mosaic AI (db3236@columbia.edu) (2) Jose Gonzalez Ortiz, Databricks Mosaic AI (j.gonzalez@databricks.com) (3) Jacob Portes, Databricks Mosaic AI (jportes@databricks.com) (4) Mansheej Paul, Databricks Mosaic AI (mansheej.paul@databricks.com) (5) Philip Greengard, 콜롬비아 대학교 (pg2118@columbia.edu) (6) 코너 제닝스, Databricks Mosaic AI (connor.jennings@databricks.com) (7) 다니엘 킹, Databricks Mosaic AI (daniel.king@databricks.com) (8) Sam Havens, Databricks Mosaic AI (sam.havens@databricks.com); (9) Vitaliy Chiley, Databricks 모자이크 AI (vitaliy.chiley@databricks.com) (10) Jonathan Frankle, Databricks 모자이크 AI (jfrankle@databricks.com) (11) Cody Blakeney, Databricks Mosaic AI (cody.blakeney) (12) John P. Cunningham, 콜롬비아 대학 (jpc2181@columbia.edu) 테이블 왼쪽 Abstract 및 1 Introduction 2 배경 3 실험 설정 및 지속적인 사전 훈련 (CPT) 및 지침 최적화 (IFT)을 위한 3.1 데이터 세트 3.2 코딩 및 수학 벤치마크를 사용하여 학습을 측정 (target domain evaluation) Forgetting Metrics(소스 도메인 평가) 4 결과 4.1 LoRA는 프로그래밍 및 수학 과제에서 완전한 최적화에 실패 4.2 LoRA는 완전한 finetuning보다 덜 잊어 버립니다. 4.3 학습 잊어버리는 무역 4.4 LoRA의 정규화 속성 4.5 코드와 수학에 대한 완전한 정밀화는 낮은 순위의 방해를 배우지 않는다. 4.6 LoRA를 최적화하기 위한 실용적인 takeaways 5 관련 작업 6 토론 7 결론 및 참조 Appendix A. 실험 설계 B. 학습률 검색 C. 교육 데이터 세트 D. 단일 및 다중 GPU 설정을 위한 LoRA를 사용하여 이론적인 메모리 효율성 향상 abstract에 대하여 Low-Rank Adaptation (LoRA)는 대규모 언어 모델을 위해 널리 사용되는 매개 변수 효율적인 finetuning 방법입니다. LoRA는 선택된 무게 매트릭스에만 낮은 순위 방해를 훈련함으로써 메모리를 저장합니다. 이 작업에서 LoRA의 성능과 완전 finetuning의 성능을 두 타겟 도메인, 프로그래밍 및 수학에 비교합니다. LoRA는 지침 finetuning (≈100K 프롬프트 응답 쌍) 및 지속적인 사전 훈련 (≈10B 비 구조화 된 토큰) 데이터 제도를 모두 고려합니다. 우리의 결과는 대부분의 설정에서 LoRA가 완전 finetuning의 성능을 상당히 낮게 비교합니다. 그럼에도 불구하고 LoRA는 원하는 정렬을 보여줍니다 : 1 소개 수십억 개의 무게를 가진 대형 언어 모델 (LLMs)의 정렬은 비정상적인 양의 GPU 메모리를 필요로합니다. 파라미터 효율적인 정렬 방법은 사전 훈련 된 LLM을 냉동하고 종종 어댑터라고 불리는 추가 매개 변수의 작은 숫자를 훈련함으로써 훈련 중 메모리 발자국을 줄이고 있습니다. Low-Rank Adaptation (LoRA; Hu et al. 그 도입 이후 LoRA는 새로운 대상 도메인 (Hu et al., 2021; Dettmers et al., 2024; Raschka, 2023; Zhao et al., 2024b)에 대한 정확성을 위협하지 않는 엄격한 효율성 향상으로 홍보되었습니다. 그러나, 수많은 연구는 수십억 개의 매개 변수 (Ivison et al., 2023; Zhuo et al., 2024; Dettmers et al., 2024), 혼합 된 결과를보고합니다. 이러한 연구 중 일부는 오래된 모델 (예를 들어, RoBERTa)에 의존합니다. 또는 현대 LLM에 덜 관련이있는 거친 평가 기준 (예를 들어, GLUE 또는 ROUGE). 대조적으로, 더 민감한 도메인 사양 평가, 예를 들어, 코드, LoRA가 완전한 Here we ask: under which conditions does LoRA approximate full finetuning accuracy on challenging target domains, such as code and math? 더 적은 매개 변수를 훈련함으로써 LoRA는 정규화의 형태를 제공하는 것으로 간주되며, 이는 정규화된 모델의 행동을 기초 모델의 행동에 가깝게 유지하도록 제한한다(Sun et al., 2023; Du et al., 2024). We also ask: does LoRA act as a regularizer that mitigates “forgetting” of the source domain? 이 연구에서 우리는 두 개의 도전적인 대상 도메인, 코드 및 수학을 통한 LoRA 및 Llama-2 7B (그리고 어떤 경우에는 13B) 모델을 완벽하게 비교합니다. 각 도메인 내에서 우리는 두 가지 훈련 계획을 탐구합니다. 첫 번째는 지침 finetuning입니다. LoRA의 일반적인 시나리오는 수십에서 수억 개의 토큰을 포함하는 질문 답변 데이터 세트입니다. 여기서 우리는 Magicoder-Evol-Instruct-110K (Wei et al., 2023) 및 MetaMathQA (Yu et al., 2023)를 사용합니다. 두 번째 계획은 사전 훈련을 계속합니다. LoRA에 대한 덜 일반적인 응용 프로그램은 수십억 개의 라벨되지 않은 토큰에 대한 훈련을 포함합니다. 여기서 우리는 StarC 우리는 도전적인 코딩 및 수학 기준 (HumanEval; Chen et al. (2021), GSM8K; Cobbe et al. (2021))을 통해 타겟 도메인 성능을 평가합니다. 우리는 언어 이해, 세계 지식 및 합리적인 추론 작업에 대한 소스 도메인 잊어 버리는 성능을 평가합니다 (Zellers et al., 2019; Sakaguchi et al., 2019; Clark et al., 2018). 우리는 코드의 경우 LoRA가 완전한 최적화에 비해 상당히 낮은 성능을 보이는 것으로 나타났으며, 수학의 경우 LoRA는 더 많은 격차를 닫습니다(4.1항), 동시에 더 긴 훈련이 필요합니다. 이 성능 격차에도 불구하고 LoRA가 완전한 최적화에 비해 소스 도메인 성능을 더 잘 유지한다는 것을 보여줍니다(4.2항). 또한, 우리는 대상 도메인과 소스 도메인의 성능 사이의 교환을 특징화합니다 (학습 대 잊기). 주어진 모델 크기와 데이터 세트의 경우 LoRA와 완전한 최적화가 유사한 학습 잊는 교환 곡선을 형성한다는 것을 발견합니다. 그런 다음 LoRA가 (Srivastava et al., 2014) 및 체중 감소 (Goodfellow et al., 2016)와 같은 고전적인 정규화 방법에 비해 덜 제한적인 순위에도 강한 정규화를 제공한다는 것을 보여줍니다.우리는 또한 LoRA가 출력 수준에서 정규화를 제공한다는 것을 보여줍니다 : 우리는 HumanEval 문제에 대한 생성 된 솔루션을 분석하고 완전한 정규화가 제한된 솔루션 세트로 붕괴되는 동안 LoRA는 기본 모델과 더 유사한 솔루션의 다양성을 유지한다는 것을 발견합니다 (Sun et al., 2023; Du et al., 2024). LoRA는 원래 기본 모델의 무게 매트릭스 (Li et al., 2018; Aghajanyan et al., 2020; Hu et al., 2021)에 대한 낮은 등급의 방해를 초래한다는 가설에 의해 부분적으로 동기 부여되었습니까? 그러나 이러한 작업에 의해 탐구 된 작업은 현대 LLM에 대해 상대적으로 쉽고 아마도 여기서 연구 된 코딩 및 수학 도메인보다 쉬워집니다. 따라서 우리는 완전한 finetuning이 기본 모델의 무게 매트릭스의 스펙트럼을 거의 변경하지 않는다는 것을 보여주기 위해 단일 값 분해를 수행하며 여전히 두 가지 (즉, 방해) 사이의 차이는 높습니다. 방해의 순위는 훈련 진행에 따라 증가하며, 순위는 전형적인 LoRA 구성 (그림 7)보다 10 우리는 LoRA를 사용하여 교육 모델에 대한 최선의 관행을 제안함으로써 결론을 내리며 LoRA가 학습률에 특히 민감하며 성능은 주로 대상 모듈의 선택에 의해 영향을 받으며 더 적은 정도로 순위에 의해 영향을 받습니다. 요약하자면, 우리는 다음과 같은 결과를 기여합니다: • 완전한 정렬은 코드 및 수학에서 LoRA보다 정확하고 샘플 효율적입니다 (Sec.4.1). LoRA는 소스 도메인을 덜 잊어 버리고 정규화의 형태를 제공합니다(4.2 및 4.3). • LoRA의 정규화는 일반적인 정규화 기술에 비해 더 강합니다; 그것은 또한 세대의 다양성을 유지하는 데 도움이됩니다 (4.4 섹션). • Full finetuning는 높은 등급의 무게 방해를 발견합니다 (Sec. • 완전한 정렬에 비해 LoRA는 하이퍼 매개 변수, 즉 학습 속도, 타겟 모듈 및 순위에 더 민감합니다 (감소 순서; 섹션 4.6). 2 배경 
 
 이 문서는 CC BY 4.0 DEED 라이선스 아래서 archiv에서 사용할 수 있습니다. 이 문서는 CC BY 4.0 DEED 라이선스 아래서 archiv에서 사용할 수 있습니다. Archive 에서 이용 가능

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

How the Most Important Models Actually Work

undefined's blog

이 오디오는 이야기의 원래 언어로 제작되었습니다!

너무 오래; 읽다

Make resilience your competitive advantage

LoRA는 덜 배우고 덜 잊는다 - 그것은 버그 또는 기능입니까?

About Author

코멘트

태그 걸기

이 기사는 다음에서 발표되었습니다.

Related Stories

작업 흐름을 10배 향상하는 방법: 17가지 필수 앱

이 18가지 개발자 도구로 생산성을 높이세요 🚀🔥

AI/ML 데이터레이크용 참조 아키텍처 구축을 위한 설계자 가이드

디지털 유목민 들어보기: 태국의 새로운 DTV 비자에 대해 알아야 할 사항

작업 흐름을 10배 향상하는 방법: 17가지 필수 앱

이 18가지 개발자 도구로 생산성을 높이세요 🚀🔥

AI/ML 데이터레이크용 참조 아키텍처 구축을 위한 설계자 가이드

디지털 유목민 들어보기: 태국의 새로운 DTV 비자에 대해 알아야 할 사항

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps