
 
 
 
 
 
 
 
 Autoři : (1) Liliang Ren, Microsoft a University of Illinois v Urbana-Champaign (liliangren@microsoft.com); (2) Yang Liu†, Microsoft (yaliu10@microsoft.com); (3) Yadong Lu†, Microsoft (yadonglu@microsoft.com); (4) Yelong Shen, společnost Microsoft (yelong.shen@microsoft.com); (5) Chen Liang, Microsoft (chenliang1@microsoft.com ) (6) Weizhu Chen, Microsoft (wzchen@microsoft.com) Authors: (1) Liliang Ren, Microsoft a University of Illinois v Urbana-Champaign (liliangren@microsoft.com); (2) Yang Liu†, Microsoft (yaliu10@microsoft.com); (3) Yadong Lu†, Microsoft (yadonglu@microsoft.com); (4) Yelong Shen, společnost Microsoft (yelong.shen@microsoft.com); (5) Chen Liang, Microsoft (chenliang1@microsoft.com ) (6) Weizhu Chen, Microsoft (wzchen@microsoft.com) Stůl vlevo Abstrakt a 1. úvod 
 
 
 
 
 
 
 Methodology 
 
 
 
 
 
 Experiments and Results 3.1 Language Modeling on vQuality Data 3.2 Exploration on Attention and Linear Recurrence 3.3 Efficient Length Extrapolation 3.4 Long-Context Understanding 
 
 Analysis 
 
 Conclusion, Acknowledgement, and References A. Prováděcí podrobnosti B. Další výsledky experimentu Podrobnosti o měření entropie D. Omezení Abstraktní Efektivní modelování sekvencí s nekonečnou délkou kontextu bylo dlouhodobým problémem. Minulé práce trpí buď složitostí čtvercového výpočtu, nebo omezenou schopností extrapolace na generalizace délky. V této práci představujeme SAMBA, jednoduchou hybridní architekturu, která složitě kombinuje Mamba, selektivní stavový prostorový model (SSM), s posuvnou pozorností okna (SWA). SAMBA selektivně komprimuje danou sekvenci do opakujících se skrytých stavů a přesto si zachovává schopnost přesně připomínat vzpomínky s mechanismem pozornosti. SAMBA můžeme škálovat na parametry až do 3,8B s 3.2T vzdělávacími tokeny a ukazuje, že SAMBA výrazně převyšuje . https://github.com/microsoft/Samba 1 Úvod Modely založené na pozornosti [VSP+17, BCB14] ovládaly neurální architektury velkých jazykových modelů (LLMs) [RWC+19, BMR+20, Ope23, BCE+23] kvůli jejich schopnosti zachytit složité dlouhodobé závislosti a efektivní paralelizaci pro rozsáhlé školení [DFE+22]. Nedávno se státní vesmírné modely (SSM) [GGR21, SWL23, GGGR22, GD23] objevily jako slibná alternativa, nabízející lineární výpočetní složitost a potenciál pro lepší extrapolace na delší sekvence, než je vidět během školení. Konkrétně, Mamba[GD23], varianta SSM vybavená selektivními státními prostory, prokázala pozoruhodný Předchozí práce [ZLJ+22, FDS+23, MZK+23, RLW+23] zkoumaly různé přístupy k hybridizaci SSM a mechanismu pozornosti, ale žádný z nich nedosáhl neomezené délky extrapolace s lineární časovou složitostí. Stávající techniky generalizace délky [HWX+23, XTC+23, JHY+24] vyvinuté pro mechanismus pozornosti, který trpí složitostí čtvercového výpočtu nebo omezenou schopností extrapolace kontextu. V tomto článku představujeme SAMBA, jednoduchou neurální architekturu, která harmonizuje silné stránky jak SSM, tak modelů založených na pozornosti, přičemž dosahuje neomezené délky sekvence extrapolace s lineární časovou složitostí. SAMBA kombinuje SSM s pozornou vrstvou interleaving Mamba [GD23], SwiGLU [Sha20] a Sliding Window Attention (SWA) [BPC20]. Mamba vrstvy zachycují časově závislou sé Instruktivní mechanismus SAMBA se rozšiřuje na 421M, 1.3B, 1.7B a až do 3,8B parametrů. Zejména největší 3.8B základní model předškolení s 3.2T tokeny dosahuje skóre 71.2 pro MMLU [HBB+21], 54.9 pro HumanEval [CTJ+21] a 69.6 pro GSM8K [CKB+21], což výrazně převyšuje silné modely open source jazyka s neomezenými tokenovými parametry až 8B, jak je popsáno v tabulce 1. Přestože je SAMBA předškolena v délce sekvence 4K, může být SAMBA extrapolována na délku 1M v nulovém snímku s lepší perplexitou na paměťové pilě [ZAP22], zatímco tyto lineární dekód 2 Metodologie Zkoumáme různé hybridizační strategie, které se skládají z vrstev Mamba, Sliding Window Attention (SWA) a Multi-Layer Perceptron [Sha20, DFAG16]. Konceptualizujeme funkčnost Mamba jako zachycení opakujících se sekvenčních struktur, SWA jako přesné získání paměti a MLP jako připomenutí faktických znalostí. Zkoumáme také další lineární opakující se vrstvy, včetně Multi-Scale Retention [SDH+23] a GLA [YWS+23] jako potenciální náhražky Mamba v oddíle 3.2. Naším cílem hybridizace je harmonizovat mezi těmito odlišnými funkčními bloky a nalézt efektivní architekturu pro jazykové modelování s neomezenou schopností extrapolace. 2.1 Architektura Jak je znázorněno na obrázku 2, zkoumáme tři typy strategií hybridizace ve vrstvách na stupnici 1.7B: Samba, Mamba-SWA-MLP a Mamba-MLP. Také zkoumáme další přístupy k hybridizaci s plnou pozorností na menší stupnice v oddíle 4. Počet vrstev N je nastaven na 48 pro Samba, Mamba-MLP a Mamba, zatímco Mamba-SWA-MLP má 54 vrstev, takže každý model má přibližně parametry 1.7B. 2.1.1 Mamba Layer 2.1.2 Sliding Window Attention (SWA) Layer Vrstva Sliding Window Attention [BPC20] je navržena tak, aby řešila omezení vrstvy Mamba při zachycování non-Markovian závislostí v sekvencích. Naše vrstva SWA pracuje na velikosti okna w = 2048, která se posouvá přes vstupní sekvenci, čímž zajišťuje, že výpočetní složitost zůstává lineární ve vztahu k délce sekvence. Relativní pozice RoPE [SLP+21] jsou aplikovány uvnitř posuvného okna. Přímým přístupem k obsahu v kontextovém okně prostřednictvím pozornosti může vrstva SWA získat vysoce definované signály ze střednědobé až krátkodobé historie, které nemohou být jasně zachyceny opakujícími se stavy Mamba. Používáme FlashAtten 2.1.3 Multi-Layer Perceptron (MLP) Layer MLP vrstvy v SAMBA slouží jako primární mechanismus architektury pro nelineární transformaci a připomínání faktických znalostí [DDH+22]. Používáme SwiGLU [Sha20] pro všechny modely vyškolené v tomto článku a označujeme jeho střední skrytou velikost jako dp. Jak je znázorněno na obrázku 2, Samba aplikuje samostatné MLP na různé typy informací zachycených Mamba a vrstvami SWA. 
 
 Tento dokument je k dispozici v archivu pod licencí CC BY 4.0. Tento papír je Pod licencí CC BY 4.0. Dostupné v archivu Dostupné v archivu Práce částečně provedená během stáže v Microsoft. †Rovný příspěvek druhého autora.

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

AI Models on HackerNoon

Tento zvuk je produkován v původním jazyce příběhu!

Model SAMBA od Microsoftu znovu definuje dlouhodobé učení pro AI

About Author

KOMENTÁŘE

ZAVĚŠIT ZNAČKY

TENTO ČLÁNEK BYL PŘEDSTAVEN V

Related Stories

Coinshift Launches csUSDL, Announces Strategic Partnerships

Coinshift Launches csUSDL, Announces Strategic Partnerships

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps