Jadual kiri Abstract and 1. Introduction Abstrak dan pengenalan 1. 
 
 
 
 
 
 
 Related work 
 
 
 
 
 Method 3.1. Uniform quantizer 3.2. IGQ-ViT 3.3. Group size allocation 
 
 
 
 Experiments 4.1. Implementation details and 4.2. Results 4.3. Discussion 
 
 Conclusion, Acknowledgements, and References kerja berkaitan Kesimpulan, pengiktirafan dan rujukan Supplementary Material A. Lebih banyak butiran pelaksanaan B. Kompatibiliti dengan hardware yang sedia ada C. Latency pada peranti praktikal D. Permohonan kepada DETR 4. percubaan Dalam seksyen ini, kami menerangkan tetapan eksperimen kami (Bahagian 4.1) dan menilai IGQ-ViT pada klasifikasi imej, pengesanan objek dan segmentasi semantik (Bahagian 4.2). 4.1 Rincian pelaksanaan Kami mengevaluasi rangka kerja IGQ-ViT kami mengenai tugas-tugas klasifikasi imej, pengesanan objek, dan segmentasi instansi. Kami menggunakan set data ImageNet [8] untuk klasifikasi imej, yang mengandungi kira-kira 1.2M imej untuk latihan, dan 50K untuk pengesahan. Kami menggunakan COCO [22] untuk pengesanan objek dan segmentasi instansi, yang termasuk latihan 118K, pengesahan 5K, dan imej ujian 20K. Kami menggunakan pelbagai seni bina transformator, termasuk ViT [10], DeiT [34], dan transformator Swin [25], untuk klasifikasi imej. Untuk tugas-tugas pengesanan objek dan segmentasi instansi, kami menggunakan Mask R-CNN [14] dan Cascade Mask R-CNN [5] dengan transformator Swin sebagai tulang belakang. Selepas itu [9, 21], kami secara rawak samp 4.2 Hasil Kami menunjukkan dalam Jadual 2 ketepatan teratas 1 (%) pada pembahasan pengesahan ImageNet [8] dengan pelbagai arsitektur ViT. Kami melaporkan ketepatan dengan saiz kumpulan purata 8 dan 12. Kami meringkaskan temuan kami seperti berikut: (1) rangka kerja IGQ-ViT kami dengan 8 kumpulan sudah melampaui tahap seni kecuali untuk ViT-B [10] dan Swin-S [25] di bawah pengaturan 6/6-bit, manakala menggunakan lebih banyak kumpulan meningkatkan prestasi. (2) Pendekatan kami di bawah pengaturan 4/4-bit secara konsisten melampaui RepQ-ViT [21] dengan margin yang besar. Sama seperti kita, RepQ-ViT juga menangani perubahan skala antara saluran, tetapi ia boleh digunakan untuk pengaktifan dengan LayerNorm sebelumnya. Sebaliknya, kaedah kami menangani perubahan skala pada semua pengaktifan input Results on ImageNet. Kami menunjukkan dalam Jadual 3 hasil kuantifikasi untuk pengesanan objek dan segmentasi instance pada Results on COCO. COCO [22]. Kami mengukur kuantiti tulang belakang transformator Swin [25] dan lapisan konvolusi di leher dan kepala Mask R-CNN [14] dan Cascade Mask R-CNN [5]. Kami mengamati bahawa PTQ4ViT [40] dan APQ-ViT [9], yang menggunakan kuantizer layerwise untuk pengaktifan, tidak berfungsi dengan baik. Sebaliknya, IGQ-ViT melebihi tahap kemahiran dengan hanya 8 kumpulan, dan prestasi kuantizasi meningkat lebih lanjut dengan mengeksploitasi lebih banyak kumpulan. Secara khusus, ia memberikan hasil yang hampir sama dengan yang penuh ketepatan untuk pengaturan 6/6-bit. Ini menunjukkan bahawa variasi skala di antara saluran atau token yang berbeza jauh lebih penting untuk pengesanan objek dan segmentasi instance. 
 
 
 
 
 
 Penulis : (1) Jaehyeon Moon, Universiti Yonsei dan Articron; (2) Dohyung Kim, Universiti Yonsei; (3) Junyong Cheon, Universiti Yonsei; (4) Bumsub Ham, penulis koresponden dari Universiti Yonsei. Authors: (1) Jaehyeon Moon, Universiti Yonsei dan Articron; (2) Dohyung Kim, Universiti Yonsei; (3) Junyong Cheon, Universiti Yonsei; (4) Bumsub Ham, penulis koresponden dari Universiti Yonsei. 
 
 Dokumen ini boleh didapati di archiv di bawah lesen CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) Dokumen ini ialah di bawah lesen CC BY-NC-ND 4.0 Akta (Attribution-Noncommercial-Noderivs 4.0 International) Tersedia dalam Archive Tersedia dalam Archive

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

Audio ini dihasilkan dalam bahasa asal cerita!

Instance-Aware Grouped Quantization (IGQ-ViT) menetapkan benchmarks baru untuk ViT PTQ

About Author

KOMEN

GANTUNG TANDA

ARTIKEL INI DIBENTANGKAN DALAM

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps