Table ng mga Links Abstract and 1. Introduction Abstract at 1 Introduction 
 
 
 
 
 
 
 Related work 
 
 
 
 
 Method 3.1. Uniform quantizer 3.2. IGQ-ViT 3.3. Group size allocation 
 
 
 
 Experiments 4.1. Implementation details and 4.2. Results 4.3. Discussion 
 
 Conclusion, Acknowledgements, and References Related mga trabaho Konklusyon, mga konklusyon, at references Supplementary Material A. Higit pang mga detalye ng implementation B. Compatibility sa mga kasalukuyang hardware C. Latency sa mga praktikal na aparato D. Paggamit sa DETR 4 Mga eksperimento Sa seksyon na ito, naglalarawan namin ang aming mga eksperimental na setting (Section 4.1) at i-evaluate ang IGQ-ViT sa pag-classification ng imahe, object detection at semantic segmentation (Section 4.2). 4.1 Ang mga detalye ng implementasyon Nag-evaluate ang aming IGQ-ViT framework sa mga gawain ng imahe classification, object detection, at instance segmentation. Ginagamit namin ang ImageNet [8] dataset para sa imahe classification, na naglalaman ng halos 1.2M imahe para sa pagsasanay, at 50K para sa validation. Ginagamit namin ang COCO [22] para sa object detection at instance segmentation, na kabilang ang 118K training, 5K validation, at 20K test imahe. Nag-adopt ng iba't ibang mga transformator architectures, kabilang ang ViT [10], DeiT [34], at Swin transformator [25], para sa imahe classification. Para sa mga gawain ng object detection at instance segmentation, ginagamit namin ang Mask R-CNN [14] at Cascade Mask R-CNN [5] na 4.2 Ang mga resulta Ipakita natin sa Table 2 ang top-1 accuracy (%) sa pag-validation split ng ImageNet [8] na may iba't ibang ViT architectures. I-report ang accuracy sa isang average group size ng 8 at 12. I-summarize ang aming mga sumusunod tulad ng: (1) Ang aming IGQ-ViT framework na may 8 mga grupo ay na-upgrade ang state-of-the-art except para sa ViT-B [10] at Swin-S [25] sa ilalim ng 6/6-bit setting, habang gumagamit ng higit pa ng mga grupo ay nagbabago ang pagganap. (2) Ang aming pamamaraan sa ilalim ng 4/4-bit setting ay patuloy na gumagawa ng higit sa RepQ-ViT [21] sa isang malaking margin. Similar sa aming, RepQ-ViT ay din nagtatrabaho sa mga variations Results on ImageNet. Ipakita natin sa Table 3 ang mga resulta ng quantization para sa object detection at instance segmentation sa Results on COCO. COCO [22]. Nag-quantify ang mga backbones ng Swin transformers [25] at ang mga konvolusional na layers sa neck at head ng Mask R-CNN [14] at Cascade Mask R-CNN [5]. Nagtatagumpay na ang PTQ4ViT [40] at APQ-ViT [9], na gumagamit ng layerwise quantizers para sa activations, ay hindi gumagana nang mahusay. Sa kontrata, ang IGQ-ViT ay gumagawa ng mas mataas na state of the art na may lamang 8 mga grupo, at ang performance ng quantization ay mas mataas na bumabuti sa pamamagitan ng pag-exploit ng higit pa ng mga grupo. Halimbawa, nagbibigay ito ng mga resulta na halos pareho sa mga full-precision na mga para sa 6/6-bit setting. 
 
 
 
 
 
 ang mga author: (1) Jaehyeon Moon, Yonsei University at Articron; (2) Dohyung Kim, Yonsei University; (3) Junyong Cheon, Yonsei University; (4) Bumsub Ham, isang Corresponding Author mula sa Yonsei University. Authors: (1) Jaehyeon Moon, Yonsei University at Articron; (2) Dohyung Kim, Yonsei University; (3) Junyong Cheon, Yonsei University; (4) Bumsub Ham, isang Corresponding Author mula sa Yonsei University. 
 
 Ang dokumento na ito ay magagamit sa archiv sa ilalim ng lisensya ng CC BY-NC-ND 4.0 (Attribution-Noncommercial-Noderivs 4.0 International) Ang papel na ito ay sa ilalim ng lisensya ng CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) Available sa archive Available sa archive

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

Ang audio na ito ay ginawa sa orihinal na wika ng kuwento!

Ang Instance-Aware Grouped Quantization (IGQ-ViT) ay nagtatag ng mga bagong benchmarks para sa ViT PTQ

About Author

MGA KOMENTO

HANG TAGS

ANG ARTIKULONG ITO AY IPINAKITA SA

Related Stories

How I deployed my spark document classification(Logistic Regression) model/s as a standalone app…

Encrypted Instant Messaging Recommendations January 2017

Hosting a DNS domain on the blockchain

COVID-19: We Need More Than Data, We Need Insights!

How I deployed my spark document classification(Logistic Regression) model/s as a standalone app…

Encrypted Instant Messaging Recommendations January 2017

Hosting a DNS domain on the blockchain

COVID-19: We Need More Than Data, We Need Insights!

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps