
 
 
 
 
 
 
 
 Autori : (1) Liliang Ren, Microsoft i University of Illinois u Urbana-Champaign (liliangren@microsoft.com); (2) Yang Liu†, Microsoft (yaliu10@microsoft.com); (3) Yadong Lu†, Microsoft (yadonglu@microsoft.com); (4) Yelong Shen, Microsoft (yelong.shen@microsoft.com ) (5) Čen Liang, Microsoft (chenliang1@microsoft.com); (6) Weizhu Chen, Microsoft (wzchen@microsoft.com) Authors: (1) Liliang Ren, Microsoft i University of Illinois u Urbana-Champaign (liliangren@microsoft.com); (2) Yang Liu†, Microsoft (yaliu10@microsoft.com); (3) Yadong Lu†, Microsoft (yadonglu@microsoft.com); (4) Yelong Shen, Microsoft (yelong.shen@microsoft.com ) (5) Čen Liang, Microsoft (chenliang1@microsoft.com); (6) Weizhu Chen, Microsoft (wzchen@microsoft.com) Levo od stola Abstrakcija i 1. uvod 
 
 
 
 
 
 
 Methodology 
 
 
 
 
 
 Experiments and Results 3.1 Language Modeling on vQuality Data 3.2 Exploration on Attention and Linear Recurrence 3.3 Efficient Length Extrapolation 3.4 Long-Context Understanding 
 
 Analysis 
 
 Conclusion, Acknowledgement, and References A. Detalji implementacije B. Dodatni rezultati eksperimenta C. Detalji entropijskog merenja D. Ograničenja Abstrakcija U ovom radu, predstavljamo SAMBA, jednostavnu hibridnu arhitekturu koja slojevito kombinira Mamba, selektivni State Space Model (SSM), sa Sliding Window Attention (SWA). SAMBA selektivno komprimira određenu sekvencu u široku paletu skrivenih stanja, dok još uvijek održava sposobnost da precizno podsjeti uspomene s mehanizmom pažnje. Sami smo skali SAMBA do 3.8B parametara sa 3.2T tokenima za obuku i pokazali da SAMBA znatno nadmašuje state-of-the-art modele zasnovane na čistoj pažnji ili SSM-ovima na širokom rasponu skrivenih benchmarks. Kada se trenira na 4K dužini sekvenca, SAMBA se može efikasno ekstrapolirati na 256K kontekstnu dužinu sa . https://github.com/microsoft/Samba 1 Uvod Modeli zasnovani na pažnji [VSP+17, BCB14] dominirali su neuralnim arhitekturama velikih jezičnih modela (LLMs) [RWC+19, BMR+20, Ope23, BCE+23] zbog njihove sposobnosti da uhvate složene dugoročne zavisnosti i efikasnu paralelizaciju za obuku na velikoj razini [DFE+22]. Nedavno su se državni modeli prostora (SSM) [GGR21, SWL23, GGGR22, GD23] pojavili kao obećavajuća alternativa, nudeći linearnu složenost računanja i potencijal za bolju ekstrapolaciju na duže sekvence nego što se vidi tokom obuke. Konkretno, Mamba[GD23], varijanta SSM-a opremljena selektivnim državnim prostorima, pokazala Prethodni radovi [ZLJ+22, FDS+23, MZK+23, RLW+23] istraživali su različite pristupe hibridizaciji SSM-ova i mehanizma pažnje, ali nijedan od njih nije postigao neograničenu ekstrapolaciju dužine. uz linearno-vremensku složenost. Postojeće tehnike generaliziranja dužine [HWX+23, XTC+23, JHY+24] razvijene za mehanizam pažnje koji pati od kvadratne složenosti izračuna ili ograničene sposobnosti ekstrapolacije konteksta. U ovom članku predstavljamo SAMBA, jednostavnu neuronsku arhitekturu koja usklađuje snage i SSM-a i modela zasnovanih na pažnji, dok postiže neograničenu ekstrapolaciju dužine sekvence uz linearno-vremensku složenost. SAMBA kombinira SSM-ove sa sposobnošću pažnje kroz sloj interleaving Mamba [GD23], SwiGLU [Sha20], i Sliding Window Attention (SWA) [BPC20]. Mamba slojevi Konkretno, najveći 3.8B osnovni model pre-treniran s 3.2T tokenima postiže rezultat 71.2 za MMLU [HBB+21], 54.9 za HumanEval [CTJ+21], i 69.6 za GSM8K [CKB+21], značajno nadmašujući snažne modele otvorenog koda do 8B valjanih parametara, kao što je detaljno prikazano u Tablici 1. Unatoč tome što je pre-treniran u 4K sekvencijskoj dužini, SAMBA se može ekstrapolirati na 1M dužinu u nuli sa poboljšanom perplexitetom na Proof-Pile [ZAP22], dok i dalje održavaju linearnu složenost dekodiranja vremena s neograničenim tokenskim tokenima, kao što je prikazano u Slika 1. Ova met 2 Metodologija Istražujemo različite strategije hibridizacije koje se sastoje od slojeva Mamba, Sliding Window Attention (SWA) i Multi-Layer Perceptron [Sha20, DFAG16]. Konceptualizujemo funkcionalnost Mamba kao hvatanje recidivnih sekvencijalnih struktura, SWA kao precizno preuzimanje memorije i MLP kao podsjećanje na činjenice. Također istražujemo druge linearne recidivne slojeve, uključujući Multi-Scale Retention [SDH+23] i GLA [YWS+23] kao potencijalne zamjene za Mamba u Odjeljku 3.2. Naš cilj hibridizacije je da uskladimo ove različite funkcionalne bloke i pronađemo efikasnu arhitekturu za modeliranje jezika sa sposobnošću ekstrapolacije neograničene dužine 2.1 Архитектура Kao što je prikazano na slici 2, istražujemo tri vrste strategija za hibridizaciju slojeva na 1.7B skali: Samba, Mamba-SWA-MLP i Mamba-MLP. Istražujemo i druge pristupe hibridizaciji uz punu pažnju na manje skale u Odjeljku 4. Broj slojeva N je postavljen na 48 za Samba, Mamba-MLP i Mamba, dok Mamba-SWA-MLP ima 54 sloja, tako da svaki model ima približno 1.7B parametre. Mi samo modificiramo raspored nivoa slojeva za svaki od modela i držimo svaku drugu konfiguraciju istom da bi imali usporedbe jabuka s jabukom. Više detalja o konfiguraciji svakog sloja objašnjeno je u sledećim pododjeljcima. 2.1.1 Mamba Layer 2.1.2 Sliding Window Attention (SWA) Layer Sliding Window Attention [BPC20] sloj je dizajniran za rješavanje ograničenja Mamba sloja u hvatanju ne-Markovian ovisnosti u sekvencama. Naš SWA sloj radi na veličini prozora w = 2048 koji klizi preko ulazne sekvence, osiguravajući da računalne složenosti ostaju linearne u odnosu na duljinu sekvence. RoPE [SLP+21] relativne pozicije se primjenjuju unutar kliznog prozora. Izravnim pristupom sadržaju u kontekstnom prozoru kroz pažnju, SWA sloj može preuzeti visoke definicije signala iz srednje do kratkoročne povijesti koje ne mogu jasno uhvatiti ponavljajuća stanja Mamba. Koristimo FlashAttention 2 [Dao23] za efikasnu implementaciju samop 2.1.3 Multi-Layer Perceptron (MLP) Layer MLP slojevi u SAMBA služe kao glavni mehanizam arhitekture za nelinearnu transformaciju i podsjećanje na stvarno znanje [DDH+22]. Koristimo SwiGLU [Sha20] za sve modele obučene u ovom dokumentu i označavamo njegovu srednju skrivenu veličinu kao dp. Kao što je prikazano na Slika 2, Samba primjenjuje zasebne MLPs za različite vrste informacija koje hvata Mamba i slojevi SWA. 
 
 Ovaj dokument je dostupan na archiv pod licencom CC BY 4.0. Ovaj papir je Pod licencom CC BY 4.0. Dostupno u Arhivu Dostupno u Arhivu ∗Posao djelomično obavljen tokom stažiranja u Microsoftu. Jednaki doprinos drugog autora.

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

AI Models on HackerNoon

Ovaj audio je proizveden na originalnom jeziku priče!

Microsoftov model SAMBA redefinira dugotrajno učenje za AI

About Author

KOMENTARI

HANG TAGS

OVAJ ČLANAK JE PREDSTAVLJEN U

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps