
 
 
 
 
 
 
 
 Tác giả : (1) Liliang Ren, Microsoft và Đại học Illinois tại Urbana-Champaign (liliangren@microsoft.com); (2) Yang Liu†, Microsoft (yaliu10@microsoft.com); (3) Yadong Lu†, Microsoft (yadonglu@microsoft.com); (4) Yelong Shen, Microsoft (yelong.shen@microsoft.com) (5) Chen Liang, Microsoft (chenliang1@microsoft.com); (6) Weizhu Chen, Microsoft (wzchen@microsoft.com) Authors: (1) Liliang Ren, Microsoft và Đại học Illinois tại Urbana-Champaign (liliangren@microsoft.com); (2) Yang Liu†, Microsoft (yaliu10@microsoft.com); (3) Yadong Lu†, Microsoft (yadonglu@microsoft.com); (4) Yelong Shen, Microsoft (yelong.shen@microsoft.com) (5) Chen Liang, Microsoft (chenliang1@microsoft.com); (6) Weizhu Chen, Microsoft (wzchen@microsoft.com) Bàn trái Abstract and 1 - Giới thiệu 
 
 
 
 
 
 
 Methodology 
 
 
 
 
 
 Experiments and Results 3.1 Language Modeling on vQuality Data 3.2 Exploration on Attention and Linear Recurrence 3.3 Efficient Length Extrapolation 3.4 Long-Context Understanding 
 
 Analysis 
 
 Conclusion, Acknowledgement, and References A. Chi tiết thực hiện B. Kết quả thí nghiệm bổ sung C. Chi tiết đo lường entropy D. Giới hạn Abstracts Trong công việc này, chúng tôi trình bày SAMBA, một kiến trúc lai đơn giản kết hợp theo lớp Mamba, một mô hình không gian nhà nước chọn lọc (SSM), với Sliding Window Attention (SWA). SAMBA chọn lọc nén một chuỗi dữ liệu thành các trạng thái ẩn lặp đi lặp lại trong khi vẫn duy trì khả năng ghi nhớ chính xác các bộ nhớ với cơ chế chú ý. Chúng tôi mở rộng SAMBA lên đến các thông số 3.8B với các token đào tạo 3.2T và cho thấy rằng SAMBA đáng kể vượt trội so với các mô hình hiện đại dựa trên sự chú ý thuần túy hoặc SSM trên một loạt các tiêu chuẩn công cộng. Khi được đào tạo trên các chuỗi chiều dài 4K, SAMBA có thể được mở rộng hiệu quả lên 256K với độ dài bối cảnh 128K với thời gian lưu trữ tốt hơn và hiển thị tok . https://github.com/microsoft/Samba 1 Giới thiệu Các mô hình dựa trên sự chú ý [VSP+17, BCB14] đã thống trị các kiến trúc thần kinh của các mô hình ngôn ngữ lớn (LLMs) [RWC+19, BMR+20, Ope23, BCE+23] do khả năng nắm bắt các phụ thuộc dài hạn phức tạp và sự song song hiệu quả cho đào tạo quy mô lớn [DFE+22]. Gần đây, các mô hình không gian nhà nước (SSMs) [GGR21, SWL23, GGGR22, GD23] đã nổi lên như một lựa chọn thay thế đầy hứa hẹn, cung cấp sự phức tạp của tính toán tuyến tính và tiềm năng extrapolation tốt hơn cho các chuỗi dài hơn được nhìn thấy trong quá trình đào tạo. Cụ thể, Mamba[GD23], một biến thể của SSM được trang bị không gian trạng thái chọn lọc, đã Các công trình trước đó [ZLJ+22, FDS+23, MZK+23, RLW+23] đã khám phá các cách tiếp cận khác nhau để kết hợp SSM và cơ chế chú ý, nhưng không ai trong số họ đạt được extrapolation chiều dài không giới hạn với sự phức tạp của thời gian tuyến tính. Các kỹ thuật tổng quát chiều dài hiện có [HWX+23, XTC+23, JHY+24] được phát triển cho cơ chế chú ý bị phức tạp tính toán vuông hoặc khả năng extrapolation bối cảnh hạn chế. Trong bài báo này, chúng tôi giới thiệu SAMBA, một kiến trúc thần kinh đơn giản mà hài hòa các điểm mạnh của cả SSM và các mô hình dựa trên sự chú ý, trong khi đạt được một sự extrapolation chiều dài chuỗi không giới hạn với sự phức tạp thời gian tuyến tính. SAMBA kết hợp SSMs với sự chú ý qua các lớp giao tiếp giữa Mamba [GD23], SwiGLU [Sha20], và Sliding Window Attention (SWA) [BPC20]. Các lớp Mamba nắm bắt ngữ học phụ thuộc vào thời gian và cung cấp một Chúng tôi tiến hành cơ chế chỉ đạo SAMBA với 421M, 1.3B, 1.7B và lên đến 3.8B thông số. Đặc biệt, mô hình cơ sở 3.8B lớn nhất được đào tạo trước với các mã thông báo 3.2T đạt được điểm số 71.2 cho MMLU [HBB+21], 54.9 cho HumanEval [CTJ+21], và 69.6 cho GSM8K [CKB+21], đáng kể vượt trội so với các mô hình ngôn ngữ mã nguồn mở mạnh mẽ lên đến các thông số mã thông báo không giới hạn, như được mô tả trong Bảng 1. Mặc dù được đào tạo trước trong chiều dài chuỗi 4K, SAMBA có thể được chiết xuất đến chiều dài 1M trong một bức ảnh không có chiều dài với sự xáo trộn được cải thiện trên các nghiên cứu bộ nhớ dài dài (ZAP22) trong khi vẫn duy trì 2 Phương pháp Chúng tôi khám phá các chiến lược lai tạo khác nhau bao gồm các lớp của Mamba, Sliding Window Attention (SWA) và Multi-Layer Perceptron [Sha20, DFAG16]. Chúng tôi khái niệm chức năng của Mamba như là nắm bắt các cấu trúc chuỗi lặp đi lặp lại, SWA như là thu hồi chính xác bộ nhớ, và MLP như là thu hồi kiến thức thực tế. Chúng tôi cũng khám phá các lớp lặp lại tuyến tính khác bao gồm Multi-Scale Retention [SDH+23] và GLA [YWS+23] như là sự thay thế tiềm năng cho Mamba trong Phần 3.2. Mục tiêu của chúng tôi về lai tạo là để hài hòa giữa các khối chức năng khác nhau này và tìm thấy một kiến trúc hiệu quả cho mô hình ngôn ngữ với khả năng extrapolation độ dài không giới hạn. 2.1 Kiến trúc Như minh họa trong Hình 2, chúng tôi khám phá ba loại chiến lược lai hóa theo lớp trên quy mô 1.7B: Samba, Mamba-SWA-MLP và Mamba-MLP. Chúng tôi cũng khám phá các phương pháp lai hóa khác với sự chú ý đầy đủ đến quy mô nhỏ hơn trong Phần 4. Số lượng lớp N được đặt ở mức 48 cho Samba, Mamba-MLP và Mamba, trong khi Mamba-SWA-MLP có 54 lớp, vì vậy mỗi mô hình có các thông số khoảng 1.7B. Chúng tôi chỉ sửa đổi bố trí cấp lớp cho mỗi mô hình và giữ cho mọi cấu hình khác giống nhau để có so sánh giữa táo với táo. 2.1.1 Mamba Layer 2.1.2 Sliding Window Attention (SWA) Layer Lớp Chú ý cửa sổ trượt [BPC20] được thiết kế để giải quyết những hạn chế của lớp Mamba trong việc nắm bắt các phụ thuộc không phải là Markovian trong các chuỗi. Lớp SWA của chúng tôi hoạt động trên một kích thước cửa sổ w = 2048 trượt qua chuỗi đầu vào, đảm bảo rằng sự phức tạp tính toán vẫn tuyến tính liên quan đến độ dài chuỗi. Các vị trí tương đối của RoPE [SLP+21] được áp dụng trong cửa sổ trượt. Bằng cách truy cập trực tiếp vào nội dung trong cửa sổ ngữ cảnh thông qua sự chú ý, lớp SWA có thể thu thập các tín hiệu độ phân giải cao từ trung hạn đến ngắn hạn mà không thể được nắm bắt rõ ràng bởi các trạng thái lặp đi lặp lại của Mamba. Chúng tôi sử dụng FlashAttention 2 [Dao23] để thực hiện hiệu quả 2.1.3 Multi-Layer Perceptron (MLP) Layer Các lớp MLP trong SAMBA phục vụ như là cơ chế chính của kiến trúc cho chuyển đổi phi tuyến tính và thu hồi kiến thức thực tế [DDH+22]. Chúng tôi sử dụng SwiGLU [Sha20] cho tất cả các mô hình được đào tạo trong bài báo này và biểu thị kích thước ẩn trung gian của nó như dp. Như thể hiện trong Hình 2, Samba áp dụng các MLPs riêng biệt cho các loại thông tin khác nhau được thu thập bởi Mamba và các lớp SWA. 
 
 Tài liệu này có sẵn trên archiv dưới giấy phép CC BY 4.0. Tài liệu này có sẵn trên archiv dưới giấy phép CC BY 4.0. Có sẵn trong Archive Công việc được thực hiện một phần trong thời gian thực tập tại Microsoft. †Đóng góp tương đương của tác giả thứ hai.

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

AI Models on HackerNoon

Nghe bài viết này bằng Tiếng Anh, đọc bởi robot thông minh của HackerNoon

Mô hình SAMBA của Microsoft định nghĩa lại học tập bối cảnh dài cho AI

About Author

BÌNH LUẬN

chuyên mục

BÀI VIẾT NÀY CŨNG CÓ MẶT TẠI

Related Stories

72 Stories To Learn About The Essays Of Adam Smith

147 Stories To Learn About Reading Books Online

178 Stories To Learn About Essay

189 Stories To Learn About Reading Books

72 Stories To Learn About The Essays Of Adam Smith

147 Stories To Learn About Reading Books Online

178 Stories To Learn About Essay

189 Stories To Learn About Reading Books

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps