Mesa de la izquierda Abstract and 1. Introduction Abstracto y 1a Introducción 
 
 
 
 
 
 
 Related work 
 
 
 
 
 Method 3.1. Uniform quantizer 3.2. IGQ-ViT 3.3. Group size allocation 
 
 
 
 Experiments 4.1. Implementation details and 4.2. Results 4.3. Discussion 
 
 Conclusion, Acknowledgements, and References Trabajo relacionado Conclusión, reconocimientos y referencias Supplementary Material A. Más detalles de implementación Compatibilidad con los hardware existentes C. Latencia en dispositivos prácticos D. Aplicación a DETR 3 Método En esta sección, proporcionamos una breve descripción del cuantizador uniforme (Sección 3.1). Luego presentamos nuestro enfoque en detalle, incluyendo IGQ-ViT (Sección 3.2) y una técnica de asignación de tamaño de grupo (Sección 3.3). 4.1 Unidad de cuantización Dado un valor de punto flotante x y la anchura de bit de cuantización b, los cuantizadores uniformes discretizan las entradas en un conjunto finito de valores con intervalos igualmente espaciados. A este fin, normaliza el valor de punto flotante x utilizando un parámetro de escala s, calibra el valor normalizado con un punto cero z, y corta la salida de la siguiente manera: donde el parámetro de escala s y el punto cero z se definen como: Denotamos por u y l los límites superiores y inferiores del cuantizador, respectivamente. . es una función de redondeo, y el clip(., m, n) limita una entrada al rango con los límites inferiores y superiores de m y n, respectivamente. 4.2 IGQ-VIT Después del trabajo de [26], cuantizamos todos los pesos de la red excepto la incorporación posicional. También cuantizamos las activaciones de entrada de las capas de FC en el bloque de perceptrón de múltiples capas (MLP), y las activaciones para el bloque de autoatención de múltiples cabezas (MSA), incluyendo consultas, claves, valores y atenciones softmax. 3.2.1 IGQ for linear operations A continuación, proporcionamos primeramente observaciones empíricas sobre las activaciones de entrada de las capas FC, y explicamos los detalles de nuestro marco IGQ para operaciones lineales. La mayoría de los marcos de cuantización de intervalos fijos [2, 19, 26, 27] aprovechan los cuantizadores de capa para las activaciones, aplicando un parámetro de cuantización único para todos los canales para una inferencia eficiente. Sin embargo, hemos observado que las activaciones de entrada de las capas de FC tienen variaciones de escala significativas entre los canales (Fig. 2(a)). Se pueden encontrar hallazgos similares en [21, 23]. Esto sugiere que los cuantizadores de capa degradan significativamente el rendimiento de la cuantización, ya que no pueden manejar las variaciones de escala entre los diferentes canales. Aunque adoptar cuantizadores separados para los canales individuales podría ser una estrategia efectiva para superar el problema de variación de escala, esto requiere una suma de una salida de punto flot Distributions of activations across channels. 3.2.2 IGQ for softmax attentions Aquí, presentamos nuestra observación para la distribución de atenciones softmax, y presentamos los detalles de IGQ para atenciones softmax. ViTs capturan correlaciones entre tokens a través de atenciones softmax. La distribución de los valores de atención varía drásticamente entre los diferentes tokens (Figura 3). Distributions of softmax attentions. El parámetro para cuantizar las atenciones softmax degrada gravemente el rendimiento de cuantización.Se podrían explotar cuantizadores separados para tokens individuales para manejar los valores de atención, pero esto requiere un gran número de cuantizadores, y necesita ajustar los parámetros de cuantización para cada instancia. 3.3 Distribución del grupo Observamos que las activaciones y las atenciones softmax en diferentes capas muestran diferentes cantidades de variaciones de escala entre canales y tokens, respectivamente, indicando que el uso del mismo número de grupos para diferentes capas podría ser suboptimal (Figura 4). Para abordar esto, buscamos el tamaño óptimo del grupo para cada capa que minimice la discrepancia entre las predicciones de los modelos cuantizados y de precisión completa, bajo una restricción de BOP. Sin embargo, el espacio de búsqueda para encontrar el tamaño óptimo del grupo es exponencial en comparación con el número de capas L, que es intractable para un modelo grande. Proponemos una técnica de asignación de tamaño del grupo que optimiza de manera eficiente el tamaño del grupo para cada capa dentro de un espacio de búsqueda tan grande. Concretamente, definimos un 
 
 
 
 
 
 Los autores: (1) Jaehyeon Moon, Universidad de Yonsei y Articron; (2) Dohyung Kim, Universidad de Yonsei; (3) Junyong Cheon, Universidad de Yonsei; (4) Bumsub Ham, autor de correspondencia de la Universidad de Yonsei. Authors: (1) Jaehyeon Moon, Universidad de Yonsei y Articron; (2) Dohyung Kim, Universidad de Yonsei; (3) Junyong Cheon, Universidad de Yonsei; (4) Bumsub Ham, autor de correspondencia de la Universidad de Yonsei. 
 
 Este artículo está disponible en archivo bajo la licencia CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) Este artículo está disponible en archivo bajo la licencia CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) Disponible en Archivo

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

Este audio es producido en el idioma original de la historia!

Por qué los cuantizadores uniformes rompen los viTs

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Una breve introducción a la teoría del cerebro de Boltzmann

Aumente su productividad con estas 18 herramientas para desarrolladores 🚀🔥

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Telegram: el puente de Crypto Island hacia el continente

Una breve introducción a la teoría del cerebro de Boltzmann

Aumente su productividad con estas 18 herramientas para desarrolladores 🚀🔥

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Telegram: el puente de Crypto Island hacia el continente

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps