tavolo di sinistra Abstract and 1. Introduction Abstract e 1 Introduzione 
 
 
 
 
 
 
 Related work 
 
 
 
 
 Method 3.1. Uniform quantizer 3.2. IGQ-ViT 3.3. Group size allocation 
 
 
 
 Experiments 4.1. Implementation details and 4.2. Results 4.3. Discussion 
 
 Conclusion, Acknowledgements, and References Lavori correlati Conclusioni, riconoscimenti e riferimenti Supplementary Material A. Più dettagli sull'attuazione Compatibilità con i hardware esistenti C. Latenza sui dispositivi pratici D. Applicazione al DETR 4 Gli esperimenti In questa sezione, descriviamo le nostre impostazioni sperimentali (sezione 4.1) e valutiamo IGQ-ViT sulla classificazione delle immagini, la rilevazione di oggetti e la segmentazione semantica (sezione 4.2). 4.1 Dettagli di attuazione Valutiamo il nostro framework IGQ-ViT per i compiti di classificazione delle immagini, rilevamento degli oggetti e segmentazione delle istanze. Utilizziamo l'insieme dati ImageNet [8] per la classificazione delle immagini, che contiene circa 1,2M di immagini per l'addestramento e 50K per la convalida. Utilizziamo COCO [22] per la rilevazione degli oggetti e la segmentazione delle istanze, che include la formazione 118K, la convalida 5K e le immagini di prova 20K. Adottiamo varie architetture dei trasformatori, tra cui ViT [10], DeiT [34] e Swin transformer [25] per la classificazione delle immagini. Per i compiti di rilevamento degli oggetti e segmentazione delle istanze, usiamo Mask R-CNN [14] e Cascade 4.2 Risultati Nella Tabella 2 mostriamo la precisione top-1 (%) sulla divisione di convalida di ImageNet [8] con varie architetture ViT. Rapportiamo la precisione con una dimensione media del gruppo di 8 e 12. Riassumiamo i nostri risultati come segue: (1) Il nostro framework IGQ-ViT con 8 gruppi supera già lo stato dell'arte, tranne per ViT-B [10] e Swin-S [25] sotto la configurazione a 6/6-bit, mentre l'utilizzo di più gruppi aumenta ulteriormente le prestazioni. (2) Il nostro approccio sotto la configurazione a 4/4-bit supera costantemente RepQ-ViT [21] con un margine significativo. Simile al nostro, RepQ-ViT affronta anche le variazioni di scala tra i canali, ma può essere applicato alle attivazioni con la Results on ImageNet. Nella Tabella 3 mostriamo i risultati di quantizzazione per la rilevazione di oggetti e la segmentazione di istanze su Results on COCO. COCO [22]. Abbiamo quantificato le spine dei trasformatori Swin [25] e gli strati convolutori nel collo e nella testa di Mask R-CNN [14] e Cascade Mask R-CNN [5]. Abbiamo osservato che PTQ4ViT [40] e APQ-ViT [9], che utilizzano quantizzatori stratificati per le attivazioni, non funzionano bene. Al contrario, IGQ-ViT supera lo stato dell'arte con solo 8 gruppi, e le prestazioni di quantizzazione aumentano ulteriormente sfruttando più gruppi. In particolare, fornisce i risultati quasi uguali a quelli di piena precisione per l'impostazione a 6/6-bit. Questo suggerisce che le variazioni di scala tra diversi canali o token sono molto più critiche per la 
 
 
 
 
 
 Gli autori : (1) Jaehyeon Moon, Yonsei University e Articron; (2) Dohyung Kim, Università di Yonsei; (3) Junyong Cheon, Università di Yonsei; (4) Bumsub Ham, Corrispondente dell’Università di Yonsei. Authors: (1) Jaehyeon Moon, Yonsei University e Articron; (2) Dohyung Kim, Università di Yonsei; (3) Junyong Cheon, Università di Yonsei; (4) Bumsub Ham, Corrispondente dell’Università di Yonsei. 
 
 Questo documento è disponibile in archivio sotto la licenza CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) Questo documento è Con la licenza CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) Disponibile in archivio Disponibile in archivio

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

Questo audio è prodotto nella lingua originale della storia!

Instance-Aware Grouped Quantization (IGQ-ViT) stabilisce nuovi benchmarks per ViT PTQ

About Author

COMMENTI

CARTELLINI

QUESTO ARTICOLO È STATO PRESENTATO IN

Related Stories

HackerNoon - A User Experience Analysis: Part 2

Meet the HackerNoon Top Writers: Nebojsa Nesha Todorovic - Upwork, Freelancing, and Future of Work

Raggiungi più lettori! POTENZIA la tua storia su HackerNoon

The Ultimate FAQ Guide to HackerNoon's Business Blogging

HackerNoon - A User Experience Analysis: Part 2

Meet the HackerNoon Top Writers: Nebojsa Nesha Todorovic - Upwork, Freelancing, and Future of Work

Raggiungi più lettori! POTENZIA la tua storia su HackerNoon

The Ultimate FAQ Guide to HackerNoon's Business Blogging

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps