
 
 
 
 
 
 
 
 Autorii : (1) Liliang Ren, Microsoft și Universitatea din Illinois din Urbana-Champaign (liliangren@microsoft.com); (2) Yang Liu†, Microsoft (yaliu10@microsoft.com); (3) Yadong Lu†, Microsoft (yadonglu@microsoft.com); (4) Yelong Shen, Microsoft (yelong.shen@microsoft.com); (5) Chen Liang, Microsoft (chenliang1@microsoft.com); (6) Weizhu Chen, Microsoft (wzchen@microsoft.com) Authors: (1) Liliang Ren, Microsoft și Universitatea din Illinois din Urbana-Champaign (liliangren@microsoft.com); (2) Yang Liu†, Microsoft (yaliu10@microsoft.com); (3) Yadong Lu†, Microsoft (yadonglu@microsoft.com); (4) Yelong Shen, Microsoft (yelong.shen@microsoft.com); (5) Chen Liang, Microsoft (chenliang1@microsoft.com); (6) Weizhu Chen, Microsoft (wzchen@microsoft.com) Tabelul din stânga Abstract și 1. introducere 
 
 
 
 
 
 
 Methodology 
 
 
 
 
 
 Experiments and Results 3.1 Language Modeling on vQuality Data 3.2 Exploration on Attention and Linear Recurrence 3.3 Efficient Length Extrapolation 3.4 Long-Context Understanding 
 
 Analysis 
 
 Conclusion, Acknowledgement, and References A. Detalii de implementare B. Rezultatele experimentelor suplimentare C. Detaliile măsurării entropiei D. Limitări abstractă Modelarea eficientă a secvențelor cu o lungime infinită a contextului a fost o problemă de lungă durată. Lucrările trecute suferă fie de complexitatea calculului pătratic, fie de capacitatea limitată de extrapolare la generalizarea lungimii. În această lucrare, prezentăm SAMBA, o arhitectură hibridă simplă care combină în straturi Mamba, un model de spațiu de stat selectiv (SSM), cu atenția ferestrei glisante (SWA). SAMBA comprimă selectiv o secvență dată în stări ascunse recurente, menținând în același timp capacitatea de a reaminti cu precizie memoriile cu mecanismul de atenție. Am scalat SAMBA până la parametrii 3.8B cu token-uri de formare 3.2T și am arătat că . https://github.com/microsoft/Samba 1 Introducere Modelele bazate pe atenție [VSP+17, BCB14] au dominat arhitecturile neuronale ale Modelelor Large Language (LLMs) [RWC+19, BMR+20, Ope23, BCE+23] datorită capacității lor de a capta dependențe complexe pe termen lung și paralelizarea eficientă pentru formarea la scară largă [DFE+22]. Recent, Modelele spațiale de stat (SSM) [GGR21, SWL23, GGGR22, GD23] au apărut ca o alternativă promițătoare, oferind complexitate de calcul linear și potențialul de extrapolare mai bună la secvențe mai lungi decât cele observate în timpul instruirii. În special, Mamba[GD23], o variantă a SSM echipată cu spații de stat selective, Lucrările anterioare [ZLJ+22, FDS+23, MZK+23, RLW+23] au explorat diferite abordări pentru hibridizarea SSM-urilor și a mecanismului de atenție, dar niciuna dintre ele nu a obținut o extrapolare de lungime nelimitată cu complexitate liniară-timp. Tehnicile existente de generalizare a lungimii [HWX+23, XTC+23, JHY+24] dezvoltate pentru mecanismul de atenție care suferă de complexitatea calculului pătratic sau de capacitatea limitată de extrapolare a contextului. În acest document, introducem SAMBA, o arhitectură neurală simplă care armonizează punctele forte atât ale SSM, cât și ale modelelor bazate pe atenție, în timp ce realizează o extrapolare nelimitată a lungimii secvențelor cu complexitatea timpului liniar. SAMBA combină SSM-urile cu interleading-ul atenției prin intermediul Mamba [GD23], SwiGLU [Sha20], și Sliding Window Attention (SWA) [BPC20]. strat În special, cel mai mare model de bază 3.8B pre-antrenat cu jetoane 3.2T atinge un scor de 71.2 pentru MMLU [HBB+21], 54.9 pentru HumanEval [CTJ+21] și 69.6 pentru perplexitatea îmbunătățită pe Proof-Pile [CKB+21], menținând în același timp complexitatea limbii de decodare liniară a timpului cu fluxul de jetoane nelimitat, așa cum se arată în Tabelul 1. În ciuda faptului că este pre-antrenat în lungimea de secvență 4K, SAMBA poate fi extrapolat la lungimea de 1M în șocul zero cu perplexitate îmbunătățită pe memorie [ZAP22], păstrând totuși complexitatea limbii open source cu fluxul de jetoane 2 Metodologie Explorăm diferite strategii de hibridizare care constau din straturile Mamba, Sliding Window Attention (SWA) și Multi-Layer Perceptron [Sha20, DFAG16]. Conceptualizăm funcționalitatea Mamba ca capturarea structurilor de secvență recurente, SWA ca recuperare precisă a memoriei și MLP ca reamintire a cunoștințelor factuale. Explorăm, de asemenea, alte straturi lineare recurente, inclusiv Multi-Scale Retention [SDH+23] și GLA [YWS+23], ca potențiale substituții pentru Mamba în Secțiunea 3.2. Scopul nostru de hibridizare este de a armoniza între aceste blocuri funcționale distincte și de a găsi o arhitectură eficientă pentru modelarea limbajului cu capacitate de extrapolare 2.1 Arhitectură După cum este ilustrat în Figura 2, explorăm trei tipuri de strategii de hibridizare a straturilor pe scara 1.7B: Samba, Mamba-SWA-MLP și Mamba-MLP. Explorăm, de asemenea, alte abordări de hibridizare cu o atenție deplină la scara mai mică în Secțiunea 4. Numărul de straturi N este setat la 48 pentru Samba, Mamba-MLP și Mamba, în timp ce Mamba-SWA-MLP are 54 de straturi, astfel încât fiecare model are parametri aproximativ 1.7B. Modificăm doar aranjamentul nivelului stratului pentru fiecare dintre modele și păstrăm fiecare altă configurație la fel pentru a avea comparații dintre mere și mere. 2.1.1 Mamba Layer 2.1.2 Sliding Window Attention (SWA) Layer Stratul de atenție a ferestrei glisante [BPC20] este conceput pentru a aborda limitările stratului Mamba în captarea dependențelor non-Markovian în secvențe. Stratul nostru SWA funcționează pe o dimensiune a ferestrei w = 2048 care glisează pe secvența de intrare, asigurând că complexitatea computațională rămâne liniară în ceea ce privește lungimea secvenței. Pozițiile relative RoPE [SLP+21] sunt aplicate în fereastra glisantă. Prin accesarea directă a conținutului în fereastra de context prin atenție, stratul SWA poate recupera semnale de înaltă definiție din istoria de mijloc până pe scurt, care nu pot fi captate în mod clar de stările recurente ale Mamba. Folosim FlashAttention 2.1.3 Multi-Layer Perceptron (MLP) Layer Straturile MLP din SAMBA servesc drept mecanism principal al arhitecturii pentru transformarea neliniară și rechemarea cunoștințelor factuale [DDH+22]. Folosim SwiGLU [Sha20] pentru toate modelele instruite în acest document și denotăm dimensiunea ascunsă intermediară ca dp. După cum se arată în Figura 2, Samba aplică MLPs separate pentru diferite tipuri de informații capturate de Mamba și de straturile SWA. 
 
 Acest document este disponibil în arhivă sub licența CC BY 4.0. Acest document este sub licența CC BY 4.0. Disponibil în arhivă Disponibil în arhivă Lucrări parțial realizate în timpul stagiului la Microsoft. †Contribuție egală a celui de-al doilea autor.

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

AI Models on HackerNoon

Acest audio este produs în limba originală a poveștii!

Modelul SAMBA al Microsoft redefinește învățarea pe termen lung pentru AI

About Author

COMENTARII

Etichete suspendate

ACEST ARTICOL A FOST PREZENTAT IN

Related Stories

Round the year with the stars by Garrett Putman Serviss - Table of Links

The #bitcoin Writing Contest by Rootstock and HackerNoon: Round 2 Results 🎉

The Data Behind Colorado's First-ever Rural Venture Capital Pitch Event

The TechBeat: Digital Transformation Success Stories in Mezzanine Lending (2/28/2024)

Round the year with the stars by Garrett Putman Serviss - Table of Links

The #bitcoin Writing Contest by Rootstock and HackerNoon: Round 2 Results 🎉

The Data Behind Colorado's First-ever Rural Venture Capital Pitch Event

The TechBeat: Digital Transformation Success Stories in Mezzanine Lending (2/28/2024)

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps