
 
 
 
 
 
 
 
 ผู้เขียน : (1) Liliang Ren, Microsoft และ University of Illinois ที่ Urbana-Champaign (liliangren@microsoft.com) (2) Yang Liu†, Microsoft (yaliu10@microsoft.com) (3) Yadong Lu†, Microsoft (yadonglu@microsoft.com) (4) Yelong Shen, Microsoft (yelong.shen@microsoft.com) (5) Chen Liang, Microsoft (chenliang1@microsoft.com) (6) Weizhu Chen, Microsoft (wzchen@microsoft.com) Authors: (1) Liliang Ren, Microsoft และ University of Illinois ที่ Urbana-Champaign (liliangren@microsoft.com) (2) Yang Liu†, Microsoft (yaliu10@microsoft.com) (3) Yadong Lu†, Microsoft (yadonglu@microsoft.com) (4) Yelong Shen, Microsoft (yelong.shen@microsoft.com) (5) Chen Liang, Microsoft (chenliang1@microsoft.com) (6) Weizhu Chen, Microsoft (wzchen@microsoft.com) ตารางด้านซ้าย คําอธิบายและ 1 บทนํา 
 
 
 
 
 
 
 Methodology 
 
 
 
 
 
 Experiments and Results 3.1 Language Modeling on vQuality Data 3.2 Exploration on Attention and Linear Recurrence 3.3 Efficient Length Extrapolation 3.4 Long-Context Understanding 
 
 Analysis 
 
 Conclusion, Acknowledgement, and References A. รายละเอียดการใช้งาน B. ผลการทดลองเพิ่มเติม C. รายละเอียดของการวัด Entropy D. ข้อ จํากัด สารสกัดจาก การสร้างแบบจําลองอย่างมีประสิทธิภาพของลําดับที่มีความยาวขอบเขตที่ไม่มีที่สิ้นสุดเป็นปัญหาที่มีอยู่มานานแล้ว การทํางานในอดีตทุกข์ทรมานจากความซับซ้อนของการคํานวณสี่เหลี่ยมหรือความสามารถในการ extrapolation ที่ จํากัด ในการสร้างความยืดหยุ่น ในงานนี้เรานําเสนอ SAMBA ซึ่งเป็นสถาปัตยกรรมไฮบริดที่เรียบง่ายที่รวมกัน Mamba แบบแยกแยะของ State Space Model (SSM) ด้วย Sliding Window Attention (SWA) SAMBA คอมเพรสเซ็กซ์ที่กําหนดไว้ในสถานะที่ซ่อนอยู่ซ้ํากันในขณะที่ยังคงรักษาความสามารถในการกู้คืนหน่วยความจําอย่างแม่นยําด้วยกลไกความสนใจ เราสแกน SAMBA ถึงพารามิเตอร์ 3.8B พร้อมการฝึกอบรม 3.2T Tokens และแสดงให้เห็นว่า SAM . https://github.com/microsoft/Samba 1 บทนํา รูปแบบที่ขึ้นอยู่กับความสนใจ [VSP+17, BCB14] ได้ครอบงําสถาปัตยกรรมประสาทของโมเดลภาษาขนาดใหญ่ (LLMs) [RWC+19, BMR+20, Ope23, BCE+23] เนื่องจากความสามารถในการจับภาพความเสี่ยงระยะยาวที่ซับซ้อนและ paralelization ที่มีประสิทธิภาพสําหรับการฝึกอบรมขนาดใหญ่ [DFE+22] เมื่อเร็ว ๆ นี้ State Space Models (SSMs) [GGR21, SWL23, GGGR22, GD23] ได้ปรากฏขึ้นเป็นทางเลือกที่มีแนวโน้มนําเสนอความซับซ้อนของการคํานวณเชิงเส้นและศักยภาพสําหรับการ extrapolation ที่ดีขึ้นไปยังลําดับที่ยาวกว่าที่เห็นในระหว่างการฝึกอบรม โดยเฉพาะอย่างยิ่ง Mamba[GD23] รุ่นของ SSMs พร้อมกับพื้นที่รัฐที่เลือกตั้งได้แสดง งานก่อนหน้านี้ [ZLJ+22, FDS+23, MZK+23, RLW+23] ได้สํารวจวิธีการที่แตกต่างกันในการผสมผสาน SSMs และกลไกการระมัดระวัง แต่ไม่มีใครรายงานการเพิ่มความยาวไม่ จํากัด ด้วยความซับซ้อนของเวลาเชิงเส้น เทคนิคการรวมความยาวที่มีอยู่ [HWX+23, XTC+23, JHY+24] ได้รับการพัฒนาสําหรับกลไกความสนใจที่ทุกข์ทรมานจากความซับซ้อนของการคํานวณแบบสี่เหลี่ยมหรือความสามารถในการขยายขอบเขตที่ จํากัด ในบทความนี้เราแนะนํา SAMBA ซึ่งเป็นสถาปัตยกรรมประสาทประสาทที่เรียบง่ายที่สอดคล้องกับความแข็งแกร่งของทั้ง SSM และรูปแบบที่ขึ้นอยู่กับความสนใจในขณะที่บรรลุการขยายขอบเขตความยาวแบบไม่ จํากัด กับความซับซ้อนของเวลาเชิงเส้น SAMBA รวม SSMs กับความซับซ้อนของความสนใจผ่านการเชื่อมต่อระดับความแตกต่างของ Mamba [GD23], SwiGLU [Sha20] และ Sliding Window Atten เราวิเคราะห์ SAMBA ที่มีศักยภาพ แต่ด้วยพารามิเตอร์ 421M, 1.3B, 1.7B และถึง 3.8B โดยเฉพาะอย่างยิ่งรุ่นฐาน 3.8B ที่ใหญ่ที่สุดที่ได้รับการฝึกอบรมล่วงหน้าด้วยโทเค็น 3.2T มีคะแนน 71.2 สําหรับ MMLU [HBB+21], 54.9 สําหรับ HumanEval [CTJ+21] และ 69.6 สําหรับ GSM8K [CKB+21] ที่สร้างความประทับใจอย่างมีนัยสําคัญในขณะที่ยังคงมีความซับซ้อนในการเข้ารหัสภาษาที่แข็งแกร่งขึ้นถึงพารามิเตอร์ 8B ที่ถูกต้องตามที่ระบุไว้ในตาราง 1 แม้ว่าจะมีการฝึกอบรมล่วงหน้าในความยาวของลําดับ 4K แต่ SAMBA สามารถถูก extrapolated ไปยังความยาว 1 มม. ในภาพที่ไม่มีผลกระทบกับความซับซ้อนที่เพิ่มขึ้นใน 2 วิธีการ เราสํารวจกลยุทธ์การผสมผสานที่แตกต่างกันประกอบด้วยชั้นของ Mamba, Sliding Window Attention (SWA) และ Multi-Layer Perceptron [Sha20, DFAG16] เราคิดถึงฟังก์ชั่นของ Mamba เป็นการจับภาพโครงสร้างลําดับซ้ําซ้อน SWA เป็นการกู้คืนหน่วยความจําที่แม่นยําและ MLP เป็นการกู้คืนความรู้ที่เกิดขึ้นจริง นอกจากนี้เรายังสํารวจชั้นซ้ําซ้อนเชิงเส้นอื่น ๆ รวมถึง Multi-Scale Retention [SDH+23] และ GLA [YWS+23] เป็นตัวแทนที่เป็นไปได้สําหรับ Mamba ในส่วน 3.2 วัตถุประสงค์ของการผสมผสานคือการสอดคล้องระหว่างบล็อกการทํางานที่แตกต่างกันเหล่านี้และหาสถาปัตยกรรมที่มีประสิทธิภาพสําหรับการจําลองภาษาที่มีความสามารถในการสกัดความยาว 2.1 สถาปัตยกรรม ตามที่แสดงในภาพ 2 เราสํารวจสามประเภทของกลยุทธ์การไฮบริดไซด์ในระดับชั้นในระดับ 1.7B: Samba, Mamba-SWA-MLP และ Mamba-MLP นอกจากนี้เรายังสํารวจวิธีการไฮบริดไซด์อื่น ๆ ด้วยความสนใจอย่างเต็มที่ในระดับขนาดเล็กในส่วน 4 จํานวนชั้น N ถูกตั้งไว้เป็น 48 สําหรับ Samba, Mamba-MLP และ Mamba ในขณะที่ Mamba-SWA-MLP มีชั้น 54 ดังนั้นแต่ละรุ่นมีพารามิเตอร์ประมาณ 1.7B เราเพียงปรับแต่งการจัดตั้งระดับชั้นสําหรับแต่ละรุ่นและให้การกําหนดค่าอื่น ๆ เหมือนกันเพื่อให้มีการเปรียบเทียบแอปเปิ้ลกับแอปเปิ้ล รายละเอียดเพิ่มเติมเกี่ยวกับการกําหนดค่าของแต่ละชั้นจะอธิบายไว้ในส่วนล่างต่อไปนี้ 2.1.1 Mamba Layer 2.1.2 Sliding Window Attention (SWA) Layer ชั้น Sliding Window Attention [BPC20] ได้รับการออกแบบมาเพื่อตอบสนองข้อ จํากัด ของชั้น Mamba ในการจับขอบเขตที่ไม่ใช่ Markovian ในลําดับ ชั้น SWA ของเราทํางานบนขนาดหน้าต่าง w = 2048 ที่เลื่อนผ่านลําดับการป้อนให้แน่ใจว่าความซับซ้อนในการคํานวณยังคงเป็นเส้นทางในแง่ของความยาวลําดับ ตําแหน่งที่เกี่ยวข้องของ RoPE [SLP+21] ถูกนําไปใช้ภายในหน้าต่างเลื่อน โดยการเข้าถึงเนื้อหาโดยตรงในหน้าต่างแง่มุมผ่านความสนใจชั้น SWA สามารถกู้คืนสัญญาณความละเอียดสูงจากประวัติกลางถึงระยะสั้นซึ่งไม่สามารถจับได้อย่างชัดเจนโดยสถานะที่ซ้ํากันของ Mamba เราใช้ FlashAttention 2 [Dao23] สําหรับการดําเนินการที่มีประสิทธิภาพของการระมัดระวังในระหว่างการทํางานนี้ นอกจากนี้เรายัง 2.1.3 Multi-Layer Perceptron (MLP) Layer ชั้น MLP ใน SAMBA เก็บเป็นกลไกหลักของสถาปัตยกรรมสําหรับการเปลี่ยนแปลงที่ไม่ใช่เชิงเส้นและการกู้คืนความรู้ที่แท้จริง [DDH+22] เราใช้ SwiGLU [Sha20] สําหรับรูปแบบทั้งหมดที่ได้รับการฝึกอบรมในบทความนี้และหมายถึงขนาดกลางที่ซ่อนอยู่เป็น dp ตามที่แสดงในภาพ 2 Samba ใช้ MLP ที่แยกต่างหากสําหรับประเภทข้อมูลที่แตกต่างกันที่จับโดย Mamba และชั้น SWA 
 
 กระดาษนี้สามารถใช้ได้ใน archiv ภายใต้ใบอนุญาต CC BY 4.0 กระดาษนี้เป็น ภายใต้ใบอนุญาต CC BY 4.0 สามารถใช้ได้ใน Archives สามารถใช้ได้ใน Archives ∗งานที่ทําบางส่วนในระหว่างการฝึกอบรมที่ Microsoft †การมีส่วนร่วมที่เท่าเทียมกันของผู้เขียนที่สอง

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

AI Models on HackerNoon

เสียงนี้ผลิตในภาษาต้นฉบับของเรื่องราว!

โมเดล SAMBA ของไมโครซอฟท์ redefines การเรียนรู้ระยะยาวสําหรับ AI

About Author

ความคิดเห็น

แขวนแท็ก

บทความนี้ถูกนำเสนอใน

Related Stories

Open AI Images on HackerNoon: The Conundrum

Meet Klink Finance: HackerNoon Company of the Week

New Licensing Options for Pixel Icon Library: Free, Starter & Pro Plans

The German Air-fleet

Open AI Images on HackerNoon: The Conundrum

Meet Klink Finance: HackerNoon Company of the Week

New Licensing Options for Pixel Icon Library: Free, Starter & Pro Plans

The German Air-fleet

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps