
 
 
 
 
 
 
 
 на авторите: (1) Лилианг Рен, Microsoft и Университета на Илинойс в Урбана-Шампейн (liliangren@microsoft.com); (2) Ян Лю†, Microsoft (yaliu10@microsoft.com); (3) Yadong Lu†, Microsoft (yadonglu@microsoft.com); (4) Yelong Shen, Microsoft (yelong.shen@microsoft.com ) (5) Чен Лианг, Microsoft (chenliang1@microsoft.com); (6) Weizhu Chen, Microsoft (wzchen@microsoft.com) Authors: (1) Лилианг Рен, Microsoft и Университета на Илинойс в Урбана-Шампейн (liliangren@microsoft.com); (2) Ян Лю†, Microsoft (yaliu10@microsoft.com); (3) Yadong Lu†, Microsoft (yadonglu@microsoft.com); (4) Yelong Shen, Microsoft (yelong.shen@microsoft.com ) (5) Чен Лианг, Microsoft (chenliang1@microsoft.com); (6) Weizhu Chen, Microsoft (wzchen@microsoft.com) Левицата на масата Абстракт и 1. въведение 
 
 
 
 
 
 
 Methodology 
 
 
 
 
 
 Experiments and Results 3.1 Language Modeling on vQuality Data 3.2 Exploration on Attention and Linear Recurrence 3.3 Efficient Length Extrapolation 3.4 Long-Context Understanding 
 
 Analysis 
 
 Conclusion, Acknowledgement, and References А. Подробности за изпълнението Б. Допълнителни резултати от експеримента Детайли за измерване на ентропията D. Ограничения абстрактна Ефективно моделиране на последователности с безкрайна дължина на контекста е дългогодишен проблем. Предишните работи страдат от или от сложността на квадратните изчисления, или от ограничената екстраполационна способност при генерализиране на дължината. В тази работа представяме SAMBA, проста хибридна архитектура, която съчетава слойно Mamba, селективен модел на държавното пространство (SSM), с Sliding Window Attention (SWA). SAMBA селективно компресира дадена последователност в повтарящи се скрити състояния, като същевременно запазва способността за прецизно припомняне на спомени с механизма на внимание. Ние скалираме SAMBA до 3.8B параметри с 3.2T токени за обучение и показваме, че SAMBA значително превъзхожда най-новите модели . https://github.com/microsoft/Samba 1 Въведение Моделите, базирани на вниманието [VSP+17, BCB14] доминират невронните архитектури на големите езикови модели (LLMs) [RWC+19, BMR+20, Ope23, BCE+23] поради способността им да улавят сложни дългосрочни зависимости и ефективната паралелизация за мащабно обучение [DFE+22]. Напоследък държавните космически модели (SSMs) [GGR21, SWL23, GGGR22, GD23] се появиха като обещаваща алтернатива, предлагайки линейна изчислителна сложност и потенциал за по-добра екстраполация към по-дълги последователности, отколкото се вижда по време на обучението. По-специално, Mamba[GD23], вариант на SSM, оборудван с селективни Предишни работи [ZLJ+22, FDS+23, MZK+23, RLW+23] са изследвали различни подходи за хибридизиране на ССМ и механизма на вниманието, но никой от тях не е постигнал неограничена екстраполация с дължина Съществуващите техники за обобщаване на дължината [HWX+23, XTC+23, JHY+24] са разработени за механизма на вниманието, страдащ от сложност на квадратните изчисления или ограничена способност за екстраполация на контекста. В тази статия представяме SAMBA, проста невронна архитектура, която хармонизира силните страни както на SSM, така и на моделите, базирани на вниманието, като същевременно постига неограничена екстраполация на дължината на последователността с линейна сложност на времето. SAMBA съчетава SSM с вниманието чрез слоеве на вниманието, които преплитат Mamba [GD23], SwiGLU [Sha20] и Sliding Window Attention (SWA) [BPC20]. Слоевете В частност, най-големият 3.8B базов модел, предварително обучен с 3.2T токени, постига резултат от 71.2 за MMLU [HBB+21], 54.9 за HumanEval [CTJ+21] и 69.6 за GSM8K [CKB+21], значително надвишаващ силните модели с отворен код до 8B валидни параметри, както е показано в Таблица 1. Въпреки че е предварително обучен в 4K дължината на последователността, SAMBA може да бъде екстраполиран до 1M дължина в нулев изстрел с подобрена объркване на Proof-Pile [ZAP22], докато все още поддържа линейното декодиране на сложността на времето с неограничен токен поток, както е показано в Фигура 1. Ние показваме, че 2 Методология Разглеждаме различни стратегии за хибридизация, състоящи се от слоевете Mamba, Sliding Window Attention (SWA) и Multi-Layer Perceptron [Sha20, DFAG16]. Концептуализираме функционалността на Mamba като улавяне на рецидивиращи се последователни структури, SWA като прецизно извличане на памет и MLP като припомняне на фактически знания. Ние също така изследваме други линейни рецидивиращи се слоеве, включително Multi-Scale Retention [SDH+23] и GLA [YWS+23] като потенциални заместители на Mamba в раздел 3.2. 2.1 Архитектура Както е показано на фигура 2, ние изследваме три вида стратегии за хибридизация на слоеве по скалата 1.7B: Samba, Mamba-SWA-MLP и Mamba-MLP. Ние също така изследваме други подходи за хибридизация с пълно внимание към по-малките скали в раздел 4. Броят на слоевете N е зададен на 48 за Samba, Mamba-MLP и Mamba, докато Mamba-SWA-MLP има 54 слоя, така че всеки модел има приблизително параметри 1.7B. Ние само модифицираме подреждането на нивото на слоя за всеки от моделите и поддържаме всяка друга конфигурация същата, за да имаме сравнения между ябълки и ябълки. 2.1.1 Mamba Layer 2.1.2 Sliding Window Attention (SWA) Layer Слойът Sliding Window Attention [BPC20] е предназначен да отговори на ограниченията на слоя Mamba при улавянето на не-Markovian зависимости в последователности. Нашият слой SWA работи на прозорец с размер w = 2048 който се плъзга по входящата последователност, като гарантира, че изчислителната сложност остава линейна по отношение на дължината на последователността. Релативните позиции на RoPE [SLP+21] се прилагат в плъзгащия прозорец. Чрез директен достъп до съдържанието в контекстния прозорец чрез внимание, слоят SWA може да извлича сигнали с висока разделителна способност от средната до краткосрочната история, които не могат ясно да бъдат улавяни от повтарящите се състояния на Mamba. Ние използваме FlashAtten 2.1.3 Multi-Layer Perceptron (MLP) Layer MLP слоевете в SAMBA служат като основен механизъм на архитектурата за нелинейна трансформация и привличане на фактически знания [DDH+22]. Ние използваме SwiGLU [Sha20] за всички модели, обучени в тази статия и обозначават нейния междинен скрит размер като dp. Както е показано на фигура 2, Samba прилага отделни MLPs за различни видове информация, улавяни от Mamba и слоевете на SWA. 
 
 Тази статия е достъпна под лиценза CC BY 4.0. Тази статия е достъпна под лиценза CC BY 4.0. Достъпно за архивиране Работи частично по време на стаж в Microsoft. † Равен принос от втория автор.

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

AI Models on HackerNoon

Това аудио е създадено на оригиналния език на историята!

Моделът SAMBA на Microsoft предефинира дългосрочното обучение за AI

About Author

КОМЕНТАРИ

ЗАКАЧВАЙТЕ ЕТИКЕТИ

ТАЗИ СТАТИЯ Е ПРЕДСТАВЕНА В

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps