Jadual kiri Abstract and 1. Introduction Abstrak dan pengenalan 1. 
 
 
 
 
 
 
 Related work 
 
 
 
 
 Method 3.1. Uniform quantizer 3.2. IGQ-ViT 3.3. Group size allocation 
 
 
 
 Experiments 4.1. Implementation details and 4.2. Results 4.3. Discussion 
 
 Conclusion, Acknowledgements, and References kerja berkaitan Kesimpulan, pengiktirafan dan rujukan Supplementary Material A. Lebih banyak butiran pelaksanaan B. Kompatibiliti dengan hardware yang sedia ada C. Latency pada peranti praktikal D. Permohonan kepada DETR 3. kaedah Dalam seksyen ini, kami menyediakan penerangan singkat kuantizer seragam (Bahagian 3.1).Selepas itu kami memperkenalkan pendekatan kami secara terperinci, termasuk IGQ-ViT (Bahagian 3.2) dan teknik alokasi saiz kumpulan (Bahagian 3.3). 4.1 Pengambilan kuantitatif Mengikut nilai titik mengalir x dan lebar bit kuantifikasi b, kuantizer seragam mendiskretkan input ke dalam satu set nilai yang terbatas dengan interval yang bersaiz sama.Untuk tujuan ini, ia menormalkan nilai titik mengalir x menggunakan parameter skala s, mengkalibrasi nilai normal dengan titik nol z, dan memotong output seperti berikut: di mana parameter skala s dan titik nol z ditakrifkan sebagai: Kami menandakan dengan u dan l sempadan atas dan bawah kuantizer, masing-masing. . adalah fungsi bulat, dan klip(., m, n) mengehadkan input kepada julat dengan sempadan bawah dan atas m dan n, masing-masing. 4.2 Kegunaan IGQ Selepas kerja [26], kami mengukur kuantiti semua beban rangkaian kecuali embedding kedudukan. kami juga mengukur kuantiti pengaktifan input daripada lapisan FC dalam blok perceptron pelbagai lapisan (MLP), dan pengaktifan untuk blok perhatian diri pelbagai kepala (MSA), termasuk pertanyaan, kunci, nilai, dan perhatian softmax. 3.2.1 IGQ for linear operations Di bawah, kami terlebih dahulu memberikan pemerhatian empiris mengenai aktivasi input lapisan FC, dan menerangkan butiran rangka kerja IGQ kami untuk operasi linier. Kebanyakan rangka kerja kvantifikasi interval tetap [2, 19, 26, 27] mengeksploitasi kuantizer layer-wise untuk aktivasi, menerapkan parameter kvantifikasi tunggal untuk semua saluran untuk inferensi yang berkesan. Walau bagaimanapun, kami telah melihat bahawa aktivasi input lapisan FC mempunyai variasi skala yang signifikan di antara saluran (Gambar 2(a)). Temuan yang sama boleh didapati dalam [21, 23]. Ini menunjukkan bahawa kuantizer layer-wise merosakkan prestasi kuantizasi secara ketara, kerana mereka tidak boleh menangani variasi skala di antara saluran yang berbeza. Walaupun mengadopsi kuantizer yang berasingan untuk saluran individu boleh menjadi strategi yang berkesan untuk mengatasi masalah variasi skala, ini memerlukan sumbangan output titik melayang untuk setiap saluran, yang merupakan perhitungan yang mahal. Kami juga mendapati bahawa rentang aktivasi ini untuk Distributions of activations across channels. 3.2.2 IGQ for softmax attentions Di sini, kami memaparkan pengamatan kami untuk pengedaran perhatian softmax, dan memaparkan butiran IGQ untuk perhatian softmax. ViTs menangkap korelasi antara token melalui perhatian softmax. Pembahagian nilai perhatian bervariasi secara drastik di antara token yang berbeza (Gambar 3). Distributions of softmax attentions. parameter untuk kuantifikasi perhatian softmax merosakkan prestasi kuantifikasi dengan ketara. kuantizers berasingan boleh digunakan untuk token individu untuk menangani nilai perhatian, tetapi ini memerlukan sejumlah besar kuantifikator, dan perlu menyesuaikan parameter kuantifikasi untuk setiap instansi. 3.3 Pembahagian saiz kumpulan Kami mengamati bahawa pengaktifan dan perhatian softmax dalam lapisan yang berbeza menunjukkan jumlah perbezaan skala yang berbeza di antara saluran dan token masing-masing, menunjukkan bahawa menggunakan bilangan kumpulan yang sama untuk lapisan yang berbeza mungkin suboptimal (Gambar 4). Untuk menangani ini, kami mencari saiz kumpulan yang optimum untuk setiap lapisan yang meminimalkan perbezaan antara prediksi daripada model kuantiti dan penuh ketepatan, di bawah sekatan BOP. Walau bagaimanapun, ruang carian untuk mencari saiz kumpulan yang optimum adalah eksponensial berbanding bilangan lapisan L, yang tidak dapat diatasi untuk model yang besar. Kami mencadangkan teknik alokasi saiz kumpulan yang secara berkesan mengoptimumkan saiz kumpulan untuk setiap lapisan dalam ruang carian yang besar seperti berikut: 
 
 
 
 
 
 Penulis : (1) Jaehyeon Moon, Universiti Yonsei dan Articron; (2) Dohyung Kim, Universiti Yonsei; (3) Junyong Cheon, Universiti Yonsei; (4) Bumsub Ham, penulis koresponden dari Universiti Yonsei. Authors: (1) Jaehyeon Moon, Universiti Yonsei dan Articron; (2) Dohyung Kim, Universiti Yonsei; (3) Junyong Cheon, Universiti Yonsei; (4) Bumsub Ham, penulis koresponden dari Universiti Yonsei. 
 
 Dokumen ini boleh didapati di archiv di bawah lesen CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) Dokumen ini ialah di bawah lesen CC BY-NC-ND 4.0 Akta (Attribution-Noncommercial-Noderivs 4.0 International) Tersedia dalam Archive Tersedia dalam Archive

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

Audio ini dihasilkan dalam bahasa asal cerita!

Mengapa Quantizers Uniform Memecahkan ViTs

About Author

KOMEN

GANTUNG TANDA

ARTIKEL INI DIBENTANGKAN DALAM

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps