Mesa da esquerda Abstract and 1. Introduction Abstracto e 1a introdución 
 
 
 
 
 
 
 Related work 
 
 
 
 
 Method 3.1. Uniform quantizer 3.2. IGQ-ViT 3.3. Group size allocation 
 
 
 
 Experiments 4.1. Implementation details and 4.2. Results 4.3. Discussion 
 
 Conclusion, Acknowledgements, and References Traballo relacionado Conclusións, recoñecementos e referencias Supplementary Material A. Máis detalles de implementación Compatibilidade con hardware existente C. Latencia en dispositivos prácticos D. Aplicación ao DETR 4 Experimentos Nesta sección, describimos as nosas configuracións experimentais (Sección 4.1) e avaliamos IGQ-ViT sobre clasificación de imaxes, detección de obxectos e segmentación semántica (Sección 4.2). 4.1 Detalles de execución Utilizamos o conxunto de datos ImageNet [8] para a clasificación de imaxes, que contén aproximadamente imaxes 1.2M para adestramento e 50K para validación. Usamos COCO [22] para a detección de obxectos e a segmentación de instancias, que inclúe o adestramento 118K, a validación 5K e as imaxes de proba 20K. Adoptamos varias arquitecturas de transformadores, incluíndo ViT [10], DeiT [34] e transformador Swin [25] para a clasificación de imaxes. Para as tarefas de detección de obxectos e segmentación de instancias, usamos Mask R-CNN [14] e Cascade Mask R-CNN [5] con transformadores Swin como pano de fondo. Seguindo [9, 21], mostramos aleatoriamente 32 imaxes do conxunto de datos ImageNet [8] para a clasificación de imaxes 4.2 Resultados Mostramos na Táboa 2 a precisión do top-1 (%) na división de validación de ImageNet [8] con varias arquitecturas ViT. Informamos da precisión cun tamaño medio de grupo de 8 e 12. Resumimos os nosos resultados do seguinte xeito: (1) O noso marco IGQ-ViT con 8 grupos xa supera o estado da arte excepto para ViT-B [10] e Swin-S [25] baixo a configuración de 6/6-bit, mentres que o uso de máis grupos aumenta aínda máis o rendemento. (2) O noso enfoque baixo a configuración de 4/4-bit supera consistentemente a RepQ-ViT [21] por unha gran marxe. Similar ao noso, RepQ-ViT tamén aborda as variacións de escala entre os canles, pero pódese aplicar ás activacións con LayerNorm anterior. En contraste, o noso método xesti Results on ImageNet. Na táboa 3 mostramos os resultados de cuantización para a detección de obxectos e a segmentación de instancias en Results on COCO. COCO [22]. Cuantizamos as costelas dos transformadores Swin [25] e as capas convolucionais no pescozo e cabeza de Mask R-CNN [14] e Cascade Mask R-CNN [5]. Observamos que PTQ4ViT [40] e APQ-ViT [9], que usan cuantizadores de capa para ativacións, non funcionan ben. En contraste, IGQ-ViT supera o estado da arte con só 8 grupos, e o rendemento da cuantización aumenta aínda máis ao explotar máis grupos. En particular, proporciona os resultados case os mesmos que os de plena precisión para a configuración de 6/6-bit. Isto suxire que as variacións de escala entre diferentes canles ou tokens son moito máis críticas para a detección de obxectos e a segmentación de instancias. 
 
 
 
 
 
 Os autores: (1) Jaehyeon Moon, Universidade de Yonsei e Articron; (2) Dohyung Kim, Universidade Yonsei; (3) Junyong Cheon, Universidade de Yonsei; (4) Bumsub Ham, autor correspondente da Universidade de Yonsei. Authors: (1) Jaehyeon Moon, Universidade de Yonsei e Articron; (2) Dohyung Kim, Universidade Yonsei; (3) Junyong Cheon, Universidade de Yonsei; (4) Bumsub Ham, autor correspondente da Universidade de Yonsei. 
 
 Este artigo está dispoñible en arquivo baixo a licenza CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) Este artigo está dispoñible en arquivo baixo a licenza CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) Dispoñible en arquivo

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

Este audio está producido na lingua orixinal da historia!

Instance-Aware Grouped Quantization (IGQ-ViT) Establece novos criterios de referencia para ViT PTQ

About Author

COMENTARIOS

Etiquetas colgantes

ESTE ARTIGO FOI PRESENTADO EN

Related Stories

HackerNoon Decoded 2024: Celebrating Our Tech Stories Community!

HackerNoon Decoded 2024: Celebrating Our Tech Companies Community!

HackerNoon Decoded 2024: Celebrating Our Science Community!

HackerNoon Decoded 2024: Celebrating Our HackerNoon Community!

HackerNoon Decoded 2024: Celebrating Our Tech Stories Community!

HackerNoon Decoded 2024: Celebrating Our Tech Companies Community!

HackerNoon Decoded 2024: Celebrating Our Science Community!

HackerNoon Decoded 2024: Celebrating Our HackerNoon Community!

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps