
 
 
 
 
 
 
 
 Los autores: (1) Liliang Ren, Microsoft y la Universidad de Illinois en Urbana-Champaign (liliangren@microsoft.com); (2) Yang Liu†, Microsoft (yaliu10@microsoft.com); (3) Yadong Lu†, Microsoft (yadonglu@microsoft.com); (4) Yelong Shen, de Microsoft (yelong.shen@microsoft.com); (5) Chen Liang, de Microsoft (chenliang1@microsoft.com); (6) Weizhu Chen, de Microsoft (wzchen@microsoft.com). Authors: (1) Liliang Ren, Microsoft y la Universidad de Illinois en Urbana-Champaign (liliangren@microsoft.com); (2) Yang Liu†, Microsoft (yaliu10@microsoft.com); (3) Yadong Lu†, Microsoft (yadonglu@microsoft.com); (4) Yelong Shen, de Microsoft (yelong.shen@microsoft.com); (5) Chen Liang, de Microsoft (chenliang1@microsoft.com); (6) Weizhu Chen, de Microsoft (wzchen@microsoft.com). Mesa de la izquierda Abstracto y 1a Introducción 
 
 
 
 
 
 
 Methodology 
 
 
 
 
 
 Experiments and Results 3.1 Language Modeling on vQuality Data 3.2 Exploration on Attention and Linear Recurrence 3.3 Efficient Length Extrapolation 3.4 Long-Context Understanding 
 
 Analysis 
 
 Conclusion, Acknowledgement, and References A. Detalles de implementación B. Resultados de experimentos adicionales C. Detalles de la medición de la entropía D. Limitaciones Abstracción En este trabajo, presentamos SAMBA, una arquitectura híbrida simple que combina de forma de capa Mamba, un modelo de espacio de estado selectivo (SSM), con atención de ventana deslizante (SWA). SAMBA comprime selectivamente una secuencia dada en estados ocultos recurrentes, mientras que todavía mantiene la capacidad de recordar con precisión las memorias con el mecanismo de atención. Escalamos SAMBA hasta los parámetros de 3.8B con tokens de entrenamiento 3.2T y mostramos que SAMBA supera sustancialmente los modelos de última generación basados en atención pura o SSMs en una amplia gama de estándares ocultos. Cuando se capacita en secuencias de longitud 4K, SAMBA puede ser extrapolado de manera eficiente a 256K de contexto con una longitud de memoria perfecta y muestran los tokens mejor . https://github.com/microsoft/Samba 1 Introducción Los modelos basados en la atención [VSP+17, BCB14] han dominado las arquitecturas neuronales de los Grandes Modelos de Lenguaje (LLMs) [RWC+19, BMR+20, Ope23, BCE+23] debido a su capacidad para capturar dependencias complejas a largo plazo y la paralelización eficiente para la formación a gran escala [DFE+22]. Recientemente, los Modelos Espaciales del Estado (SSMs) [GGR21, SWL23, GGGR22, GD23] han surgido como una alternativa prometedora, ofreciendo computación lineal compleja y el potencial para una mejor extrapolación a secuencias más largas de lo que se ve durante el entrenamiento. En concreto, Mamba[GD23], una variante de los SSM equipados con espacios de estado selectivos, Trabajos anteriores [ZLJ+22, FDS+23, MZK+23, RLW+23] han explorado diferentes enfoques para hibridar los SSM y el mecanismo de atención, pero ninguno de ellos alcanzó una extrapolación de longitud ilimitada con complejidad de tiempo lineal. Las técnicas existentes de generalización de longitud [HWX+23, XTC+23, JHY+24] desarrolladas para el mecanismo de atención que sufre de complejidad de cálculo cuadrático o capacidad de extrapolación de contexto limitada. En este artículo, presentamos SAMBA, una arquitectura neural simple que armoniza los puntos fuertes de los modelos SSM y de atención, al tiempo que consigue una extrapolación de longitud de secuencia ilimitada con complejidad de tiempo lineal. SAMBA combina los SSM con la interleaving de la capa de atención Mamba [GD23], SwiGLU [Sha20], y la Attention de ventana deslizante (SWA) [BPC20]. Las capas de Mamba capturan la semántica dependiente del En particular, el mayor modelo base de 3.8B pre-entrenado con tokens 3.2T logra una puntuación de 71.2 para MMLU [HBB+21], 54.9 para HumanEval [CTJ+21], y 69.6 para GSM8K [CKB+21], superando sustancialmente a los modelos de lenguaje de código abierto fuertes hasta los parámetros de token válidos 8B, como se detalla en la Tabla 1. A pesar de estar pre-entrenado en la longitud de secuencia 4K, SAMBA puede ser extrapolado a 1M de longitud en disparo cero con mejor perplexidad en los estudios de memoria de largo alcance [ZAP22], mientras que aún mantiene la complejidad del tiempo de decodificación lineal con streaming de token ilimitado, como se muestra en 2 Metodología Exploramos diferentes estrategias de hibridación que consisten en las capas de Mamba, Sliding Window Attention (SWA) y Multi-Layer Perceptron [Sha20, DFAG16]. Conceptualizamos la funcionalidad de Mamba como la captura de estructuras de secuencias recurrentes, SWA como la recuperación precisa de la memoria, y MLP como la recogida de conocimiento factual. También exploramos otras capas lineales recurrentes, incluyendo Multi-Scale Retention [SDH+23] y GLA [YWS+23] como posibles sustitutos para Mamba en Sección 3.2. Nuestro objetivo de la hibridación es armonizar entre estos distintos bloques funcionantes y encontrar una arquitectura eficiente para la modelización del lenguaje con capacidad de extrapolación de longitud ilimitada. 2.1 Arquitectura Como se ilustra en la Figura 2, exploramos tres tipos de estrategias de hibridación de capas en la escala 1.7B: Samba, Mamba-SWA-MLP y Mamba-MLP. También exploramos otros enfoques de hibridación con plena atención a las escalas más pequeñas en la Sección 4. El número de capas N está establecido en 48 para Samba, Mamba-MLP y Mamba, mientras que Mamba-SWA-MLP tiene 54 capas, por lo que cada modelo tiene aproximadamente parámetros 1.7B. Sólo modificamos el arreglo de nivel de la capa para cada uno de los modelos y mantenemos cada otra configuración igual para tener comparaciones de manzana a manzana. Más detalles sobre la configuración de cada capa se explican en las subsecciones siguientes. 2.1.1 Mamba Layer 2.1.2 Sliding Window Attention (SWA) Layer La capa Sliding Window Attention [BPC20] está diseñada para abordar las limitaciones de la capa Mamba en la captura de dependencias no-Markovian en secuencias. Nuestra capa SWA opera en un tamaño de ventana w = 2048 que desliza sobre la secuencia de entrada, asegurando que la complejidad computacional permanece lineal con respecto a la longitud de la secuencia. Las posiciones relativas de la RoPE [SLP+21] se aplican dentro de la ventana deslizante. Al acceder directamente al contenido en la ventana de contexto a través de la atención, la capa SWA puede recuperar señales de alta definición de la historia a corto plazo que no pueden ser claramente capturadas por los estados recurrentes de Mamba. Utilizamos FlashAttention 2 [Dao23] para la implementación eficiente de la 2.1.3 Multi-Layer Perceptron (MLP) Layer Las capas MLP en SAMBA sirven como el mecanismo primario de la arquitectura para la transformación no lineal y la recogida del conocimiento factual [DDH+22]. Usamos SwiGLU [Sha20] para todos los modelos entrenados en este artículo y denotan su tamaño oculto intermedio como dp. Como se muestra en la Figura 2, Samba aplica MLPs separados para diferentes tipos de información capturada por Mamba y las capas SWA. 
 
 Este artículo está disponible en archivo bajo la licencia CC BY 4.0. Este documento es bajo la licencia CC BY 4.0. Disponible en Archivo Disponible en Archivo Trabajo parcialmente realizado durante el período de prácticas en Microsoft. † Contribución de segundo autor igual.

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

AI Models on HackerNoon

Este audio es producido en el idioma original de la historia!

El modelo SAMBA de Microsoft redefine el aprendizaje a largo plazo para la IA

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

La fuga rápida del sistema Claude Sonnet 3.5: un análisis forense

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

Navegando por las aguas: desarrollo de aplicaciones RAG de nivel de producción con lagos de datos

Una breve introducción a la teoría del cerebro de Boltzmann

La fuga rápida del sistema Claude Sonnet 3.5: un análisis forense

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

Navegando por las aguas: desarrollo de aplicaciones RAG de nivel de producción con lagos de datos

Una breve introducción a la teoría del cerebro de Boltzmann

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps