
 
 
 
 
 
 Los autores: (1) Jaehyeon Moon, Universidad de Yonsei y Articron; (2) Dohyung Kim, Universidad de Yonsei; (3) Junyong Cheon, Universidad de Yonsei; (4) Bumsub Ham, autor de correspondencia de la Universidad de Yonsei. Authors: (1) Jaehyeon Moon, Universidad de Yonsei y Articron; (2) Dohyung Kim, Universidad de Yonsei; (3) Junyong Cheon, Universidad de Yonsei; (4) Bumsub Ham, autor de correspondencia de la Universidad de Yonsei. Mesa de la izquierda Abstract and 1. Introduction Abstracto y 1a Introducción 
 
 
 
 
 
 
 Related work 
 
 
 
 
 Method 3.1. Uniform quantizer 3.2. IGQ-ViT 3.3. Group size allocation 
 
 
 
 Experiments 4.1. Implementation details and 4.2. Results 4.3. Discussion 
 
 Conclusion, Acknowledgements, and References Trabajo relacionado Conclusión, reconocimientos y referencias Supplementary Material A. Más detalles de implementación Compatibilidad con los hardware existentes C. Latencia en dispositivos prácticos D. Aplicación a DETR Abstracción La cuantización de segmentos post-entrenamiento (PTQ) es una técnica de compresión de modelos eficiente que cuantiza un modelo pre-entrenado de precisión completa utilizando solo un pequeño conjunto de calibración de muestras no etiquetadas sin reentrenamiento. Los métodos PTQ para redes neurales convolucionales (CNNs) proporcionan resultados de cuantización comparables a los homólogos de precisión completa. Transponerlos directamente a los transformadores de visión (ViTs), sin embargo, sufre una severa degradación del rendimiento, principalmente debido a las diferencias en las arquitecturas entre CNNs y ViTs. En particular, la distribución de las activaciones para cada instancia de canal varía drásticamente según las instancias de entrada, haciendo que los métodos PTQ para CNNs sean inapropiados para ViTs. Para 1 Introducción Los transformadores [35] pueden capturar dependencias de largo alcance a través de entradas secuenciales, lo que es de importancia central en el procesamiento del lenguaje natural, agregando información contextual y proporcionando representaciones de características discriminativas. Recientemente, los transformadores de visión (ViTs) [10] han demostrado la eficacia de los transformadores para imágenes, proporcionando resultados de última generación en diversas tareas de reconocimiento visual, incluyendo clasificación de imágenes [25, 34], detección de objetos [25, 42] y segmentación semántica [25, 33, 39]. Sin embargo, una serie de capas totalmente conectadas (FC) y de autoatención en ViTs requieren una cantidad sustancial de memoria y coste computacional, lo que hace que sea difícil desplegarlas en dispositivos con recursos limitados (por ejemplo, drones y teléfonos móvil La cuantización de la red generalmente reduce el ancho de bits de los pesos y las activaciones de un modelo para un proceso de inferencia eficiente, que puede categorizarse en dos grupos: entrenamiento cuantizado-consciente (QAT) y cuantización post-entrenamiento (PTQ). Los métodos QAT [11, 43, 44] entrenan modelos de precisión completa, mientras simulan el proceso de cuantización insertando discretizadores en redes para cuantizar, de modo que la discrepancia entre los modelos de precisión completa y cuantizados se minimiza en términos de precisión. Esto sugiere que los métodos QAT requieren muestras enteras de entrenamiento, y son computacionalmente caros, lo que los hace impracticables para el despliegue rápido de las redes neuronales. Los métodos PTQ [ Varios métodos PTQ para transformadores [9, 26, 40] aplican técnicas de cuantización de capa, donde se aplica un cuantizador único a todos los valores de activación para la eficiencia. Sin embargo, estos métodos no son directamente aplicables a los modelos de cuantización que utilizan anchos de bits extremadamente bajos (por ejemplo, 4 bits), debido a la variación significativa en la escala de las activaciones para cada canal. Utilizar cuantizadores de forma de canal (es decir, aplicar diferentes cuantizadores para cada canal) podría ser una solución potencial, pero a expensas de las superficies computacionales, debido a las sumas de puntos flotantes de las salidas de forma de canal para la multiplicación de matriz. Las técnicas de cuantización de grupo [7, 32] podrían ser una alternativa para abordar este problema, donde dividen En este artículo, presentamos la cuantización de grupo consciente de la instancia para ViTs (IGQ-ViT), que aborda de manera efectiva y eficiente las variaciones de las distribuciones orientadas al canal en diferentes instancias de entrada (Figura 1b). En concreto, dividimos los canales de los mapas de activación en varios grupos de forma dinámica, de modo que los valores de activación dentro de cada grupo comparten propiedades estadísticas similares, y luego cuantizamos las activaciones dentro del grupo utilizando parámetros cuantizados idénticos. También proponemos utilizar la técnica de agrupamiento consciente de la instancia para atenciones softmax, ya que las distribuciones de valores de atención varían significativamente según los tokens. Además, presentamos un método simple pero eficaz para optimizar el número de grupos para las capas individuales, bajo una restricción de • Introducimos un nuevo método PTQ para ViTs, denominado IGQViT, que divide los canales de los mapas de activación en un número de grupos dinámicamente según las instancias de entrada. • Presentamos una técnica de asignación de tamaño de grupo buscando un número óptimo de grupos para cada capa dada una restricción BOP. • Hemos establecido un nuevo estado del arte en la clasificación de imágenes [8], detección de objetos y segmentación de instancias [22], con varias arquitecturas ViT [10, 25, 34]. 
 
 Este artículo está disponible en archivo bajo la licencia CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International). Este documento es bajo la licencia CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International). Disponible en Archivo Disponible en Archivo

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

Este audio es producido en el idioma original de la historia!

Instance-Aware Group Quantization para Transformadores de visión

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Las capas invisibles: por qué las entrevistas con los usuarios son un activo irremplazable

Telegram: el puente de Crypto Island hacia el continente

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Las capas invisibles: por qué las entrevistas con los usuarios son un activo irremplazable

Telegram: el puente de Crypto Island hacia el continente

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps