
 
 
 
 
 
 Os autores: (1) Jaehyeon Moon, Universidade de Yonsei e Articron; (2) Dohyung Kim, Universidade Yonsei; (3) Junyong Cheon, Universidade de Yonsei; (4) Bumsub Ham, autor correspondente da Universidade de Yonsei. Authors: (1) Jaehyeon Moon, Universidade de Yonsei e Articron; (2) Dohyung Kim, Universidade Yonsei; (3) Junyong Cheon, Universidade de Yonsei; (4) Bumsub Ham, autor correspondente da Universidade de Yonsei. Mesa da esquerda Abstract and 1. Introduction Abstracto e 1a introdución 
 
 
 
 
 
 
 Related work 
 
 
 
 
 Method 3.1. Uniform quantizer 3.2. IGQ-ViT 3.3. Group size allocation 
 
 
 
 Experiments 4.1. Implementation details and 4.2. Results 4.3. Discussion 
 
 Conclusion, Acknowledgements, and References Traballo relacionado Conclusións, recoñecementos e referencias Supplementary Material A. Máis detalles de implementación Compatibilidade con hardware existente C. Latencia en dispositivos prácticos D. Aplicación ao DETR Abstraccións A cuantización de segmento post-adestramento (PTQ) é unha técnica de compresión de modelo eficiente que cuantiza un modelo de pre-adestramento de precisión completa usando só un pequeno conxunto de calibración de mostras sen etiquetaxe sen retraining. Os métodos de PTQ para redes neurais convolucionais (CNNs) proporcionan resultados de cuantización comparables a homólogos de precisión completa. A súa aplicación directa aos transformadores de visión (ViTs), con todo, sofre unha grave degradación do rendemento, principalmente debido ás diferenzas nas arquitecturas entre CNNs e ViTs. En particular, a distribución de activacións para cada instancia de canal varía drasticamente segundo as instancias de entrada, facendo que os métodos de PTQ para CNNs sexan inapropiados para ViTs. Para abordar isto 1 Introdución Os transformadores [35] poden capturar dependencias de longo alcance a través de entradas secuenciais, o que é de importancia central no procesamento da linguaxe natural, agregando información contextual e proporcionando representacións de características discriminatorias. Recentemente, os transformadores de visión (ViTs) [10] demostraron a eficacia dos transformadores para imaxes, proporcionando resultados de última xeración en varias tarefas de recoñecemento visual, incluíndo clasificación de imaxes [25, 34], detección de obxectos [25, 42] e segmentación semántica [25, 33, 39]. Con todo, unha serie de capas totalmente conectadas (FC) e de autoatención en ViTs requiren unha cantidade substancial de memoria e custo computacional, o que fai difícil a súa implantación en dispositivos con recursos limitados (por exemplo, drones e teléfonos móbiles). A cuantización de rede xeralmente reduce as lonxitudes de bits dos pesos e as activacións dun modelo para un proceso de inferencia eficiente, que se poden clasificar en dous grupos: adestramento cuantizado-consciente (QAT) e cuantización post-adestramento (PTQ). Os métodos QAT [11, 43, 44] adestran modelos de precisión completa, simulando o proceso de cuantización inserindo discretizadores en redes para cuantizar, de xeito que a discrepancia entre os modelos de precisión completa e cuantizados se minimiza en termos de precisión. Isto suxire que os métodos QAT requiren mostras de adestramento enteiras, e son computacionalmente caros, o que os fai impracticables para a rápida implantación de redes neurais. Os métodos PTQ [19, 27, 37], pola Varios métodos PTQ para transformadores [9, 26, 40] aplican técnicas de cuantización de capa, onde un único cuantizador é aplicado a todos os valores de activación para a eficiencia. Con todo, estes métodos non son directamente aplicables a modelos de cuantización usando amplitudes de bits moi baixas (por exemplo, 4 bits), debido á variación de escala significativa nas activacións para cada canle. O aproveitamento de cuantizadores de canle (é dicir, a aplicación de diferentes cuantizadores para cada canle) podería ser unha solución potencial, pero a expensas de superficies computacionais, debido ás sumas de puntos flotantes das saídas de canle para a multiplicación da matriz. As técnicas de cuantización de grupos [7, 32] poderían ser unha alternativa para abordar este problema, onde dividen canles consecu Neste artigo, presentamos a cuantización de grupos conscientes de instancia para ViTs (IGQ-ViT), que aborda de forma eficaz e eficiente as variacións das distribucións orientadas a canles en diferentes instancias de entrada (Figura 1b). En particular, dividimos os canles dos mapas de activación en varios grupos de forma dinámica, de xeito que os valores de activación dentro de cada grupo compartan propiedades estatísticas similares, e logo cuantizamos as activacións dentro do grupo usando parámetros de cuantización idénticos. Tamén propoñemos usar a técnica de agrupamento consciente de instancia para as atencións softmax, xa que as distribucións de valores de atención varían significativamente segundo os tokens. Ademais, presentamos un método sinxelo pero eficaz para optimizar o número de grupos para capas individuais, baixo unha restrición de • Introducimos un novo método PTQ para ViTs, alcumado IGQViT, que divide canles de mapas de activación en varios grupos dinamicamente segundo as instancias de entrada. • Presentamos unha técnica de asignación de tamaño de grupo buscando un número óptimo de grupos para cada capa dada unha restrición BOP. • Fixamos un novo estado da arte na clasificación de imaxes [8], detección de obxectos e segmentación de instancias [22], con varias arquitecturas ViT [10, 25, 34]. 
 
 Este artigo está dispoñible en arquivo baixo a licenza CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International). Este documento é baixo a licenza CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International). Dispoñible en arquivo Dispoñible en arquivo

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

Este audio está producido na lingua orixinal da historia!

Instance-Aware Group Quantization para Transformadores de visión

About Author

COMENTARIOS

Etiquetas colgantes

ESTE ARTIGO FOI PRESENTADO EN

Related Stories

HackerNoon Decoded 2024: Celebrating Our Life Hacking Community!

HackerNoon Decoded 2024: Celebrating Our Science Community!

R Systems BlogBook—Chapter 1: Round 3 is Now Open for Submissions🎉

R Systems Blogbook—Chapter 1 is Now Open for Submissions🎉

HackerNoon Decoded 2024: Celebrating Our Life Hacking Community!

HackerNoon Decoded 2024: Celebrating Our Science Community!

R Systems BlogBook—Chapter 1: Round 3 is Now Open for Submissions🎉

R Systems Blogbook—Chapter 1 is Now Open for Submissions🎉

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps