
 
 
 
 
 
 
 
 Autorët : (1) Liliang Ren, Microsoft dhe Universiteti i Illinois në Urbana-Champaign (liliangren@microsoft.com); (2) Yang Liu†, Microsoft (yaliu10@microsoft.com); (3) Yadong Lu†, Microsoft (yadonglu@microsoft.com); (4) Yelong Shen, Microsoft (yelong.shen@microsoft.com) (5) Chen Liang, Microsoft (chenliang1@microsoft.com) (6) Weizhu Chen, Microsoft (wzchen@microsoft.com) Authors: (1) Liliang Ren, Microsoft dhe Universiteti i Illinois në Urbana-Champaign (liliangren@microsoft.com); (2) Yang Liu†, Microsoft (yaliu10@microsoft.com); (3) Yadong Lu†, Microsoft (yadonglu@microsoft.com); (4) Yelong Shen, Microsoft (yelong.shen@microsoft.com) (5) Chen Liang, Microsoft (chenliang1@microsoft.com) (6) Weizhu Chen, Microsoft (wzchen@microsoft.com) Tavolina e majtë Abstrakti dhe 1 - Hyrje 
 
 
 
 
 
 
 Methodology 
 
 
 
 
 
 Experiments and Results 3.1 Language Modeling on vQuality Data 3.2 Exploration on Attention and Linear Recurrence 3.3 Efficient Length Extrapolation 3.4 Long-Context Understanding 
 
 Analysis 
 
 Conclusion, Acknowledgement, and References A. Detajet e zbatimit B. Rezultatet e eksperimenteve shtesë Detajet e matjes së entropisë D. Kufizimet abstraktë Në këtë punë, ne prezantojmë SAMBA, një arkitekturë të thjeshtë hibride që kombinon në një shtresë Mamba, një Model Shteti Selektiv Hapësirë (SSM), me Sliding Window Attention (SWA). SAMBA selektivisht kompreson një sekuencë të dhënë në një gamë të gjerë të standardeve të fshehura, ndërsa akoma ruan aftësinë për të kujtuar me saktësi kujtimet me mekanizmin e vëmendjes. Ne shkallë SAMBA deri në parametrat 3.8B me 3.2T tokens trajnimit të trajnimit dhe tregojnë se SAMBA në mënyrë të konsiderueshme tejkalon modelet e fundit bazuar në vëmendjen e pastër ose SSMs në një gamë të gjerë të standardeve të fshehura. Kur trajnuar në sekuencat . https://github.com/microsoft/Samba 1 Hyrje Modelet e bazuara në vëmendje [VSP+17, BCB14] kanë dominuar arkitekturën nervore të Modeleve të Gjuhëve të Mëdha (LLMs) [RWC+19, BMR+20, Ope23, BCE+23] për shkak të aftësisë së tyre për të kapur varësi komplekse afatgjata dhe paralelizimin efikas për trajnimin në shkallë të gjerë [DFE+22]. Kohët e fundit, Modelet e Hapësirës së Shtetit (SSMs) [GGR21, SWL23, GGGR22, GD23] kanë dalë si një alternativë premtuese, duke ofruar kompleksitetin e llogaritjes lineare dhe potencialin për ekstrapolim më të mirë në sekuencat më të gjata se sa janë parë gjatë trajnimit. Në mënyrë specifike, M Punimet e mëparshme [ZLJ+22, FDS+23, MZK+23, RLW+23] kanë eksploruar qasje të ndryshme për të hibridizuar SSM-të dhe mekanizmin e vëmendjes, por asnjëri prej tyre nuk ka arritur ekstrapolim të pakufizuar gjatësi Teknika ekzistuese e përgjithësimit të gjatësisë [HWX+23, XTC+23, JHY+24] e zhvilluar për mekanizmin e vëmendjes që vuajnë nga kompleksiteti i llogaritjes katrore ose aftësia e kufizuar e ekstrapolimit të kontekstit. Në këtë letër, ne prezantojmë SAMBA, një arkitekturë e thjeshtë neurale që harmonizon forcat e të dy SSM dhe modelet e bazuara në vëmendje, ndërsa arrijnë një ekstrapolim të pakufizuar të gjatësisë së sekuencës me kompleksitetin e kohës lineare. SAMBA kombinon SSM-të me ndërfaqe të vëmendjes nëpërmjet shtresës së vëmendjes Mamba [GD23], SwiGLU [Sha20], dhe Sliding Window Attention (SWA) Në veçanti, modeli më i madh i bazës 3.8B i trajnuar paraprakisht me tokenet 3.2T arrin një rezultat prej 71.2 për MMLU [HBB+21], 54.9 për HumanEval [CTJ+21], dhe 69.6 për perplexity të përmirësuar në Proof-Pile [ZAP22] [CKB+21], duke mbajtur në mënyrë të konsiderueshme modelet e forta të gjuhës së hapur deri në 8B parametrat e vlefshme, siç tregohet në Tabelën 1. Pavarësisht se është e trajnuar paraprakisht në gjatësinë e sekuencës 4K, SAMBA mund të ekstrapolohet në 1M gjatësi në xhiron zero me perplexity të përmirësuar në kuadër të kujtesës [ZAP22], ndërsa vazhdon të mbajë kompleks 2 Metodologjia Ne shqyrtojmë strategji të ndryshme të hibridizimit të përbërë nga shtresat e Mamba, Sliding Window Attention (SWA), dhe Multi-Layer Perceptron [Sha20, DFAG16]. Ne konceptualizojmë funksionalitetin e Mamba si kapjen e strukturave të sekuencave të përsëritura, SWA si marrjen e saktë të kujtesës, dhe MLP si rikthimin e njohurive faktike. Ne gjithashtu shqyrtojmë shtresat e tjera lineare të përsëritura duke përfshirë Multi-Scale Retention [SDH+23] dhe GLA [YWS+23] si zëvendësime të mundshme për Mamba në Seksionin 3.2. Qëllimi ynë i hibridizimit është harmonizimi midis këtyre blloqeve të veçanta funksionale dhe gjet 2.1 Arkitekturë Siç ilustrohet në figurën 2, ne shqyrtojmë tre lloje të strategjive të hybridizimit të shtresave në shkallën 1.7B: Samba, Mamba-SWA-MLP dhe Mamba-MLP. Ne gjithashtu shqyrtojmë qasjet e tjera të hybridizimit me vëmendje të plotë për shtresat më të vogla në Seksionin 4. Numri i shtresave N është vendosur në 48 për Samba, Mamba-MLP dhe Mamba, ndërsa Mamba-SWA-MLP ka 54 shtresa, kështu që secili model ka rreth parametrat 1.7B. Ne vetëm modifikojmë rregullimin e nivelit të shtresave për secilin nga modelet dhe mbajmë çdo konfigurim tjetër të njëjtë për të pasur krahasime mollë-mollë. Më shumë detaje për konfigurimin e secilës 2.1.1 Mamba Layer 2.1.2 Sliding Window Attention (SWA) Layer Shtresa Sliding Window Attention [BPC20] është projektuar për të adresuar kufizimet e shtresës Mamba në kapjen e varësive jo-Markovian në sekuencë. Shtresa jonë SWA vepron në një madhësi dritare w = 2048 që rrëshqet mbi sekuencën e hyrjes, duke siguruar që kompleksiteti kompjuterik mbetet linear në lidhje me gjatësinë e sekuencës. Pozicionet relative të RoPE [SLP+21] zbatohen brenda dritares rrëshqitëse. Duke hyrë drejtpërdrejt në përmbajtjen në dritaren kontekstuale përmes vëmendjes, shtresa SWA mund të nxjerrë sinjale me definicion të lartë nga historia e mesme deri në afat të shkurtër që nuk mund të kapen qartë nga shtetet e 2.1.3 Multi-Layer Perceptron (MLP) Layer Shtresat MLP në SAMBA shërbejnë si mekanizmi kryesor i arkitekturës për transformimin jo-linear dhe rikthimin e njohurive faktike [DDH+22]. Ne përdorim SwiGLU [Sha20] për të gjitha modelet e trajnuar në këtë letër dhe i referojmë madhësinë e saj të fshehur të ndërmjetme si dp. Siç tregohet në figurën 2, Samba zbaton MLPs të ndara për lloje të ndryshme të informacionit të kapur nga Mamba dhe shtresat SWA. 
 
 Ky dokument është i disponueshëm në arkiv nën licencën CC BY 4.0. Ky dokument është i disponueshëm në arkiv nën licencën CC BY 4.0. Në dispozicion në arkiv Puna e bërë pjesërisht gjatë stazhit në Microsoft. † Kontributi i barabartë i autorit të dytë.

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

AI Models on HackerNoon

Kjo audio është prodhuar në gjuhën origjinale të tregimit!

Modeli SAMBA i Microsoft redefinon mësimin afatgjatë për AI

About Author

KOMENTE

VARUR TAGS

KY ARTIKU U PARAQIT NË

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps