
 
 
 
 
 
 
 
 ผู้เขียน : (1) Liliang Ren, Microsoft และ University of Illinois ที่ Urbana-Champaign (liliangren@microsoft.com) (2) Yang Liu†, Microsoft (yaliu10@microsoft.com) (3) Yadong Lu†, Microsoft (yadonglu@microsoft.com) (4) Yelong Shen, Microsoft (yelong.shen@microsoft.com) (5) Chen Liang, Microsoft (chenliang1@microsoft.com) (6) Weizhu Chen, Microsoft (wzchen@microsoft.com) Authors: (1) Liliang Ren, Microsoft และ University of Illinois ที่ Urbana-Champaign (liliangren@microsoft.com) (2) Yang Liu†, Microsoft (yaliu10@microsoft.com) (3) Yadong Lu†, Microsoft (yadonglu@microsoft.com) (4) Yelong Shen, Microsoft (yelong.shen@microsoft.com) (5) Chen Liang, Microsoft (chenliang1@microsoft.com) (6) Weizhu Chen, Microsoft (wzchen@microsoft.com) ตารางด้านซ้าย คําอธิบายและ 1 บทนํา 
 
 
 
 
 
 
 Methodology 
 
 
 
 
 
 Experiments and Results 3.1 Language Modeling on vQuality Data 3.2 Exploration on Attention and Linear Recurrence 3.3 Efficient Length Extrapolation 3.4 Long-Context Understanding 
 
 Analysis 
 
 Conclusion, Acknowledgement, and References A. รายละเอียดการใช้งาน B. ผลการทดลองเพิ่มเติม C. รายละเอียดของการวัด Entropy D. ข้อ จํากัด สารสกัดจาก การสร้างแบบจําลองอย่างมีประสิทธิภาพของลําดับที่มีความยาวขอบเขตที่ไม่มีที่สิ้นสุดเป็นปัญหาที่มีอยู่มานานแล้ว การทํางานในอดีตทุกข์ทรมานจากความซับซ้อนของการคํานวณสี่เหลี่ยมหรือความสามารถในการ extrapolation ที่ จํากัด ในการสร้างความยืดหยุ่น ในงานนี้เรานําเสนอ SAMBA ซึ่งเป็นสถาปัตยกรรมไฮบริดที่เรียบง่ายที่รวมกัน Mamba แบบแยกแยะของ State Space Model (SSM) ด้วย Sliding Window Attention (SWA) SAMBA คอมเพรสเซ็กซ์ที่กําหนดไว้ในสถานะที่ซ่อนอยู่ซ้ํากันในขณะที่ยังคงรักษาความสามารถในการกู้คืนหน่วยความจําอย่างแม่นยําด้วยกลไกความสนใจ เราสแกน SAMBA ถึงพารามิเตอร์ 3.8B พร้อมการฝึกอบรม 3.2T Tokens และแสดงให้เห็นว่า SAM . https://github.com/microsoft/Samba 1 บทนํา รูปแบบที่ขึ้นอยู่กับความสนใจ [VSP+17, BCB14] ได้ครอบงําสถาปัตยกรรมประสาทของโมเดลภาษาขนาดใหญ่ (LLMs) [RWC+19, BMR+20, Ope23, BCE+23] เนื่องจากความสามารถในการจับภาพความเสี่ยงระยะยาวที่ซับซ้อนและ paralelization ที่มีประสิทธิภาพสําหรับการฝึกอบรมขนาดใหญ่ [DFE+22] เมื่อเร็ว ๆ นี้ State Space Models (SSMs) [GGR21, SWL23, GGGR22, GD23] ได้ปรากฏขึ้นเป็นทางเลือกที่มีแนวโน้มนําเสนอความซับซ้อนของการคํานวณเชิงเส้นและศักยภาพสําหรับการ extrapolation ที่ดีขึ้นไปยังลําดับที่ยาวกว่าที่เห็นในระหว่างการฝึกอบรม โดยเฉพาะอย่างยิ่ง Mamba[GD23] รุ่นของ SSMs พร้อมกับพื้นที่รัฐที่เลือกตั้งได้แสดง งานก่อนหน้านี้ [ZLJ+22, FDS+23, MZK+23, RLW+23] ได้สํารวจวิธีการที่แตกต่างกันในการผสมผสาน SSMs และกลไกการระมัดระวัง แต่ไม่มีใครรายงานการเพิ่มความยาวไม่ จํากัด ด้วยความซับซ้อนของเวลาเชิงเส้น เทคนิคการรวมความยาวที่มีอยู่ [HWX+23, XTC+23, JHY+24] ได้รับการพัฒนาสําหรับกลไกความสนใจที่ทุกข์ทรมานจากความซับซ้อนของการคํานวณแบบสี่เหลี่ยมหรือความสามารถในการขยายขอบเขตที่ จํากัด ในบทความนี้เราแนะนํา SAMBA ซึ่งเป็นสถาปัตยกรรมประสาทประสาทที่เรียบง่ายที่สอดคล้องกับความแข็งแกร่งของทั้ง SSM และรูปแบบที่ขึ้นอยู่กับความสนใจในขณะที่บรรลุการขยายขอบเขตความยาวแบบไม่ จํากัด กับความซับซ้อนของเวลาเชิงเส้น SAMBA รวม SSMs กับความซับซ้อนของความสนใจผ่านการเชื่อมต่อระดับความแตกต่างของ Mamba [GD23], SwiGLU [Sha20] และ Sliding Window Atten เราวิเคราะห์ SAMBA ที่มีศักยภาพ แต่ด้วยพารามิเตอร์ 421M, 1.3B, 1.7B และถึง 3.8B โดยเฉพาะอย่างยิ่งรุ่นฐาน 3.8B ที่ใหญ่ที่สุดที่ได้รับการฝึกอบรมล่วงหน้าด้วยโทเค็น 3.2T มีคะแนน 71.2 สําหรับ MMLU [HBB+21], 54.9 สําหรับ HumanEval [CTJ+21] และ 69.6 สําหรับ GSM8K [CKB+21] ที่สร้างความประทับใจอย่างมีนัยสําคัญในขณะที่ยังคงมีความซับซ้อนในการเข้ารหัสภาษาที่แข็งแกร่งขึ้นถึงพารามิเตอร์ 8B ที่ถูกต้องตามที่ระบุไว้ในตาราง 1 แม้ว่าจะมีการฝึกอบรมล่วงหน้าในความยาวของลําดับ 4K แต่ SAMBA สามารถถูก extrapolated ไปยังความยาว 1 มม. ในภาพที่ไม่มีผลกระทบกับความซับซ้อนที่เพิ่มขึ้นใน 2 วิธีการ เราสํารวจกลยุทธ์การผสมผสานที่แตกต่างกันประกอบด้วยชั้นของ Mamba, Sliding Window Attention (SWA) และ Multi-Layer Perceptron [Sha20, DFAG16] เราคิดถึงฟังก์ชั่นของ Mamba เป็นการจับภาพโครงสร้างลําดับซ้ําซ้อน SWA เป็นการกู้คืนหน่วยความจําที่แม่นยําและ MLP เป็นการกู้คืนความรู้ที่เกิดขึ้นจริง นอกจากนี้เรายังสํารวจชั้นซ้ําซ้อนเชิงเส้นอื่น ๆ รวมถึง Multi-Scale Retention [SDH+23] และ GLA [YWS+23] เป็นตัวแทนที่เป็นไปได้สําหรับ Mamba ในส่วน 3.2 วัตถุประสงค์ของการผสมผสานคือการสอดคล้องระหว่างบล็อกการทํางานที่แตกต่างกันเหล่านี้และหาสถาปัตยกรรมที่มีประสิทธิภาพสําหรับการจําลองภาษาที่มีความสามารถในการสกัดความยาว 2.1 สถาปัตยกรรม ตามที่แสดงในภาพ 2 เราสํารวจสามประเภทของกลยุทธ์การไฮบริดไซด์ในระดับชั้นในระดับ 1.7B: Samba, Mamba-SWA-MLP และ Mamba-MLP นอกจากนี้เรายังสํารวจวิธีการไฮบริดไซด์อื่น ๆ ด้วยความสนใจอย่างเต็มที่ในระดับขนาดเล็กในส่วน 4 จํานวนชั้น N ถูกตั้งไว้เป็น 48 สําหรับ Samba, Mamba-MLP และ Mamba ในขณะที่ Mamba-SWA-MLP มีชั้น 54 ดังนั้นแต่ละรุ่นมีพารามิเตอร์ประมาณ 1.7B เราเพียงปรับแต่งการจัดตั้งระดับชั้นสําหรับแต่ละรุ่นและให้การกําหนดค่าอื่น ๆ เหมือนกันเพื่อให้มีการเปรียบเทียบแอปเปิ้ลกับแอปเปิ้ล รายละเอียดเพิ่มเติมเกี่ยวกับการกําหนดค่าของแต่ละชั้นจะอธิบายไว้ในส่วนล่างต่อไปนี้ 2.1.1 Mamba Layer 2.1.2 Sliding Window Attention (SWA) Layer ชั้น Sliding Window Attention [BPC20] ได้รับการออกแบบมาเพื่อตอบสนองข้อ จํากัด ของชั้น Mamba ในการจับขอบเขตที่ไม่ใช่ Markovian ในลําดับ ชั้น SWA ของเราทํางานบนขนาดหน้าต่าง w = 2048 ที่เลื่อนผ่านลําดับการป้อนให้แน่ใจว่าความซับซ้อนในการคํานวณยังคงเป็นเส้นทางในแง่ของความยาวลําดับ ตําแหน่งที่เกี่ยวข้องของ RoPE [SLP+21] ถูกนําไปใช้ภายในหน้าต่างเลื่อน โดยการเข้าถึงเนื้อหาโดยตรงในหน้าต่างแง่มุมผ่านความสนใจชั้น SWA สามารถกู้คืนสัญญาณความละเอียดสูงจากประวัติกลางถึงระยะสั้นซึ่งไม่สามารถจับได้อย่างชัดเจนโดยสถานะที่ซ้ํากันของ Mamba เราใช้ FlashAttention 2 [Dao23] สําหรับการดําเนินการที่มีประสิทธิภาพของการระมัดระวังในระหว่างการทํางานนี้ นอกจากนี้เรายัง 2.1.3 Multi-Layer Perceptron (MLP) Layer ชั้น MLP ใน SAMBA เก็บเป็นกลไกหลักของสถาปัตยกรรมสําหรับการเปลี่ยนแปลงที่ไม่ใช่เชิงเส้นและการกู้คืนความรู้ที่แท้จริง [DDH+22] เราใช้ SwiGLU [Sha20] สําหรับรูปแบบทั้งหมดที่ได้รับการฝึกอบรมในบทความนี้และหมายถึงขนาดกลางที่ซ่อนอยู่เป็น dp ตามที่แสดงในภาพ 2 Samba ใช้ MLP ที่แยกต่างหากสําหรับประเภทข้อมูลที่แตกต่างกันที่จับโดย Mamba และชั้น SWA 
 
 กระดาษนี้สามารถใช้ได้ใน archiv ภายใต้ใบอนุญาต CC BY 4.0 กระดาษนี้เป็น ภายใต้ใบอนุญาต CC BY 4.0 สามารถใช้ได้ใน Archives สามารถใช้ได้ใน Archives ∗งานที่ทําบางส่วนในระหว่างการฝึกอบรมที่ Microsoft †การมีส่วนร่วมที่เท่าเทียมกันของผู้เขียนที่สอง

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

AI Models on HackerNoon

เสียงนี้ผลิตในภาษาต้นฉบับของเรื่องราว!

โมเดล SAMBA ของไมโครซอฟท์ redefines การเรียนรู้ระยะยาวสําหรับ AI

About Author

ความคิดเห็น

แขวนแท็ก

บทความนี้ถูกนำเสนอใน

Related Stories

The #blockchain Writing Contest by Aleph Cloud and HackerNoon: Results Announcement 🎉

Cyber Startup Pillar Security Raises $9M in Seed Funding to Defend AI with its Own Tech

CHANGES AT MILTON.

Meet OpenxAI: HackerNoon Company of the Week

The #blockchain Writing Contest by Aleph Cloud and HackerNoon: Results Announcement 🎉

Cyber Startup Pillar Security Raises $9M in Seed Funding to Defend AI with its Own Tech

CHANGES AT MILTON.

Meet OpenxAI: HackerNoon Company of the Week

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps