
 
 
 
 
 
 
 
 著者: (1) Liliang Ren, Microsoft and University of Illinois at Urbana-Champaign(liliangren@microsoft.com) (2)マイクロソフト(yaliu10@microsoft.com) (3) Yadong Lu†、マイクロソフト(yadonglu@microsoft.com) (4)Yelong Shen、マイクロソフト(yelong.shen@microsoft.com) (5)Chen Liang、マイクロソフト(chenliang1@microsoft.com) (6) Weizhu Chen、マイクロソフト(wzchen@microsoft.com) Authors: (1) Liliang Ren, Microsoft and University of Illinois at Urbana-Champaign(liliangren@microsoft.com) (2)マイクロソフト(yaliu10@microsoft.com) (3) Yadong Lu†、マイクロソフト(yadonglu@microsoft.com) (4)Yelong Shen、マイクロソフト(yelong.shen@microsoft.com) (5)Chen Liang、マイクロソフト(chenliang1@microsoft.com) (6) Weizhu Chen、マイクロソフト(wzchen@microsoft.com) 左のテーブル 抽象と1 導入 
 
 
 
 
 
 
 Methodology 
 
 
 
 
 
 Experiments and Results 3.1 Language Modeling on vQuality Data 3.2 Exploration on Attention and Linear Recurrence 3.3 Efficient Length Extrapolation 3.4 Long-Context Understanding 
 
 Analysis 
 
 Conclusion, Acknowledgement, and References A.実施詳細 B.追加実験結果 C. Entropy Measurementの詳細 A.制限 抽象 無限のコンテキストの長さを持つシェアを効率的にモデリングすることは長い間の問題です。過去の作品は、四角形計算の複雑さまたは長さの一般化に限られたエクストラポレーション能力に苦しんでいます。この作品では、SAMBAを、選択的なステータススペースモデル(SSM)であるMambaを、レイヤーに組み合わせるシンプルなハイブリッドアーキテクチャを紹介しています。SAMBAは、注意メカニズムで正確にメモリを思い出させる能力を維持しながら、繰り返し隠れた状態に特定のシェアを選択的に圧縮します。我々は、SAMBAを、32Tトークンのトレーニングトークンを含む3.8Bパラメータまでスケーリング . https://github.com/microsoft/Samba 1 導入 注意ベースのモデル(VSP+17, BCB14)は、大規模な訓練のための複雑な長期依存性と効率的な並列化をキャプチャする能力(RWC+19, BMR+20, Ope23, BCE+23)によって、大規模な言語モデル(LLMs)のニューラルアーキテクチャを支配している。最近、ステート・スペース・モデル(SSMs)(GGR21, SWL23, GGGR22, GD23)は、強力な実験的パフォーマンスと効率的なハードウェア意識の実装を通じて、有望な選択肢として現れ、線形計算の複雑さを提供し、訓練中に見たものよりも長いシーケンスへのより良いエクストラポレーションの可能性を示しています。 以前の研究(ZLJ+22, FDS+23, MZK+23, RLW+23)は、SSMと注意メカニズムのハイブリッド化のさまざまなアプローチを探索しましたが、どれも無制限の長さのエクストラポレーションを達成しませんでした。 既存の長さ一般化技術(HWX+23, XTC+23, JHY+24)は、注目メカニズムが平方計算の複雑さまたは限られたコンテキストのエクストラポレーション能力に苦しむために開発されています。この論文では、SAMBA、SSMと注目ベースのモデルの強みを調和させるシンプルなニューラルアーキテクチャ(SAMBA)を紹介しています。SAMBAは、Mamba [GD23]、SwiGLU [Sha20]、Sliding Window Attention (SWA) [BPC20]の強みを組み合わせます。Mamba 層は時間依存のセマンティクスをキャプチャし、効率的なデコードのためのバックボーンを提供し、SWAはモデ 我々は、421M、1.3B、1.7B、および3.8Bパラメータで潜在的なSAMBAをスケールする。 特に、 3.2Tトークンで事前訓練された最大の3.8Bベースモデルは、MMLU [HBB+21]、HumanEval [CTJ+21]のための54.9、およびGSM8K [CKB+21]のための69.6のパラメータを大幅に上回り、図1に示すように、無制限のトークンストリーミングで強力なオープンソース言語モデルを大幅に上回し、このタブレット1に示されているように、4Kセクションの長さで事前にトレーニングされているにもかかわらず、SAMBAは、4K長さの文脈で 2 方法論 私たちは、Mamba、Sliding Window Attention(SWA)およびMulti-Layer Perceptron(Sha20, DFAG16)の層からなる異なるハイブリッド化戦略を模索しています。私たちは、Mambaの機能性は、セクション3.2のMambaの潜在的な代替品として、Mamba(SDH+23)とGLA(YWS+23)を含む他の線形繰り返し層を模索しています。私たちのハイブリッド化の目標は、これらの異なる機能ブロック間を調和させ、無制限の長さのエクストラポレーション能力を持つ言語モデリングのための効率的なアーキテクチャを見つけることです。 2.1 建築 図2に示すように、我々は、Samba、Mamba-SWA-MLP、Mamba-MLPの3種類の層型ハイブリッド化戦略を調査します。我々はまた、Samba、Mamba-MLPには54の層があり、それぞれのモデルは約1.7Bのパラメータを持っています。我々はそれぞれのモデルの層レベルの配置を改変し、他のすべての構成を同じにし、りんごとりんごの比較を保ちます。 2.1.1 Mamba Layer 2.1.2 Sliding Window Attention (SWA) Layer スライディングウィンドウの注意 [BPC20] 層は、マンバ層の制限に対処するために設計されています。 私たちの SWA 層は、入力シーケンスをスライディングするウィンドウサイズ w = 2048 で動作し、計算の複雑さがシーケンスの長さに関して線形であることを保証します。 RoPE [SLP+21] 相対的な位置はスライディングウィンドウ内で適用されます。 注意を通じてコンテキストウィンドウのコンテンツに直接アクセスすることで、SWA 層は、Mamba の繰り返しの状態によって明確に捉えられない中短期の歴史からの高解像度の信号を回収することができます。 我々はFlashAttention 2 [Dao23] を使用して、この作業 2.1.3 Multi-Layer Perceptron (MLP) Layer SAMBAのMLPレイヤーは、非線形変換および事実知識の回復のためのアーキテクチャの主なメカニズムである [DDH+22]. We use SwiGLU [Sha20] for all the models trained in this paper and denote its intermediate hidden size as dp. As shown in Figure 2, Samba applies separate MLPs for different types of information captured by Mamba and the SWA layers. 
 
 この論文は、CC BY 4.0 ライセンスの下で archiv で提供されています。 この紙は CC BY 4.0 ライセンス ARCHIV で利用可能 ARCHIV で利用可能 マイクロソフトでのインターンシップ中に部分的に行われた仕事。 同等の2作目の貢献です。

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

AI Models on HackerNoon

このオーディオは、ストーリーの元の言語で制作されています。

マイクロソフトのSAMBAモデルがAIの長期学習を再定義

About Author

コメント

ラベル

この記事は

Related Stories

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド

目に見えない層: ユーザーインタビューがかけがえのない資産である理由

フォーラムからフィードへ: ソーシャルメディアアルゴリズムがデジタルインタラクションを形作る仕組み

HackerNoon Coded: HackerNoonが最も活発に活動している上位10カ国

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド

目に見えない層: ユーザーインタビューがかけがえのない資産である理由

フォーラムからフィードへ: ソーシャルメディアアルゴリズムがデジタルインタラクションを形作る仕組み

HackerNoon Coded: HackerNoonが最も活発に活動している上位10カ国

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps