Tabell från vänster Abstract and 1. Introduction Abstrakt och 1. introduktion 
 
 
 
 
 
 
 Related work 
 
 
 
 
 Method 3.1. Uniform quantizer 3.2. IGQ-ViT 3.3. Group size allocation 
 
 
 
 Experiments 4.1. Implementation details and 4.2. Results 4.3. Discussion 
 
 Conclusion, Acknowledgements, and References Relaterat arbete Slutsatser, erkännanden och referenser Supplementary Material A. Mer implementeringsdetaljer B. Kompatibilitet med befintlig hårdvara C. Latens på praktiska enheter D. Ansökan till DETR 4 Experiment I detta avsnitt beskriver vi våra experimentella inställningar (avsnitt 4.1) och utvärderar IGQ-ViT på bildklassificering, objektdetektering och semantisk segmentering (avsnitt 4.2). 4.1 Detaljerad genomförande Vi utvärderar vår IGQ-ViT-ram för uppgifterna om bildklassificering, objektdetektering och instanssegmentering. Vi använder ImageNet [8] dataset för bildklassificering, som innehåller ungefär 1,2M bilder för utbildning och 50K för validering. Vi använder COCO [22] för objektdetektering och instanssegmentering, som inkluderar 118K-utbildning, 5K-validering och 20K-testbilder. Vi antar olika transformatorarkitekturer, inklusive ViT [10], DeiT [34] och Swin transformator [25] för bildklassificering. För uppgifterna om objektdetektering och instanssegmentering använder vi Mask R-CNN [14] och Cascade Mask R-CNN [5] med Swin transformatorer som backbone. Efter det [9, 21], vi slumpmäss 4.2 Resultat Vi visar i tabell 2 topp-1 noggrannheten (%) på valideringsdelningen av ImageNet [8] med olika ViT-arkitekturer. Vi rapporterar noggrannheten med en genomsnittlig gruppstorlek på 8 och 12. Vi sammanfattar våra resultat på följande sätt: (1) Vår IGQ-ViT-ramverk med 8 grupper redan överträffar toppmodern utom för ViT-B [10] och Swin-S [25] under 6/6-bit inställning, medan användning av fler grupper ökar prestandan ytterligare. (2) Vårt tillvägagångssätt under 4/4-bit inställning överträffar konsekvent RepQ-ViT [21] med en stor marginal. Liksom vår RepQ-ViT tar också upp skalavariationer mellan kanaler, men det kan tillämpas på aktiveringar med föregående LayerNorm. Endast Results on ImageNet. Vi visar i tabell 3 kvantifieringsresultaten för objektdetektering och instanssegmentering på Results on COCO. COCO [22]. Vi kvantifierar ryggraden hos Swin-transformatorer [25] och de konvolutionella skikten i nacken och huvudet på Mask R-CNN [14] och Cascade Mask R-CNN [5]. Vi observerar att PTQ4ViT [40] och APQ-ViT [9], som använder lagerspecifika kvantifierare för aktiveringar, inte fungerar bra. I motsats till detta överträffar IGQ-ViT toppmoderniteten med endast 8 grupper, och kvantifieringsprestandan ökar ytterligare genom att utnyttja fler grupper. 
 
 
 
 
 
 Författare : (1) Jaehyeon Moon, Yonsei University och Articron; (2) Dohyung Kim, Yonsei universitet (3) Junyong Cheon, Yonsei universitet (4) Bumsub Ham, en korrespondent författare från Yonsei University. Authors: (1) Jaehyeon Moon, Yonsei University och Articron; (2) Dohyung Kim, Yonsei universitet (3) Junyong Cheon, Yonsei universitet (4) Bumsub Ham, en korrespondent författare från Yonsei University. 
 
 Denna artikel är tillgänglig på arkiv under CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) licens Denna artikel är tillgänglig på arkiv under CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) licens Tillgänglig i Arkiv

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

Det här ljudet är producerat på berättelsens originalspråk!

Instance-Aware Grouped Quantization (IGQ-ViT) sätter nya riktmärken för ViT PTQ

About Author

KOMMENTARER

HÄNG TAGGAR

DENNA ARTIKEL PRESENTERAS I

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps