ຕາຕະລາງ Links Abstract and 1. Introduction ຊື່ຫຍໍ້ຂອງ : Abstract and 1 Introduction 
 
 
 
 
 
 
 Related work 
 
 
 
 
 Method 3.1. Uniform quantizer 3.2. IGQ-ViT 3.3. Group size allocation 
 
 
 
 Experiments 4.1. Implementation details and 4.2. Results 4.3. Discussion 
 
 Conclusion, Acknowledgements, and References ການເຮັດວຽກທີ່ກ່ຽວຂ້ອງ ຄໍາແນະນໍາ, ຄໍາແນະນໍາ, ຄໍາແນະນໍາ Supplementary Material A. ຂໍ້ມູນເພີ່ມເຕີມຂອງການປະຕິບັດ B. Compatibility ກັບ hardwares ທີ່ມີ C. Latency ກ່ຽວກັບອຸປະກອນມືອາຊີບ D. ການນໍາໃຊ້ສໍາລັບ DETR ລະຫັດ QR ໃນຕອນແລງນີ້, ພວກເຮົາສະຫນອງການຄຸ້ມຄອງຢ່າງງ່າຍດາຍຂອງ quantizer uniform (Section 3.1) .We then present our approach in detail, including IGQ-ViT (Section 3.2) and a group size allocation technique (Section 3.3). 4.1 ລະຫັດ QR ການຄາດຄະເນດິນຟ້າອິນເຕີເນັດ, ການຄາດຄະເນດິນຟ້າອິນເຕີເນັດ, ການຄາດຄະເນດິນຟ້າອິນເຕີເນັດ, ການຄາດຄະເນດິນຟ້າອິນເຕີເນັດ, ການຄາດຄະເນດິນຟ້າອິນເຕີເນັດ, ການຄາດຄະເນດິນຟ້າອິນເຕີເນັດ ໃນຂະນະທີ່ອຸປະກອນຂະຫນາດ s ແລະ zero-point z ແມ່ນ defined ເປັນ: We denote by u and l upper and lower boundaries of the quantizer, respectively. . is a rounding function, and clip(., m, n) restricts an input to the range with lower and upper boundaries of m and n, respectively. The quantized output is then obtained as follows: ອັດຕະໂນມັດ IGQ-ViT ຫຼັງຈາກການເຮັດວຽກຂອງ [26], ພວກເຮົາມີຜົນປະໂຫຍດທັງຫມົດຂອງເຄືອຂ່າຍເຊັ່ນດຽວກັນກັບການເຊື່ອມໂລຫະ positional. We also quantify input activations of FC layers in the multi-layer perceptron (MLP) block, and the activations for the multi-head self-attention (MSA) block, including queries, keys, values, and softmax attentions. We exploit uniform quantizers for all weights and activations in ViTs. 3.2.1 IGQ for linear operations ໃນປັດຈຸບັນ, ພວກເຮົາມີການຄົ້ນຄວ້າ empirical ກ່ຽວກັບການເຄື່ອນໄຫວການເຂົ້າລະຫັດຂອງລະດັບ FC, ແລະລັກສະນະຂອງລັກສະນະຂອງລັກສະນະຂອງພວກເຮົາ IGQ ສໍາລັບການປະຕິບັດ linear. ໃນຖານະເປັນຜູ້ຊ່ຽວຊານໃນການຊ່ຽວຊານໃນການຊ່ຽວຊານໃນການຊ່ຽວຊານໃນການຊ່ຽວຊານໃນການຊ່ຽວຊານໃນການຊ່ຽວຊານໃນການຊ່ຽວຊານໃນການຊ່ຽວຊານໃນການຊ່ຽວຊານໃນການຊ່ຽວຊານໃນການຊ່ຽວຊານໃນການຊ່ຽວຊານໃນການຊ່ຽວຊານໃນການຊ່ຽວຊານໃນການຊ່ຽວຊານໃນການຊ່ຽວຊານໃນການຊ່ຽວຊານໃນການຊ່ຽວຊານໃນການຊ່ຽວຊານໃນການຊ່ຽວຊານໃນການຊ່ຽວຊານໃນການຊ່ຽວຊານໃນການຊ່ຽວຊານໃນການຊ່ຽວຊານໃນການຊ່ຽວຊານໃນການຊ່ຽວຊານໃນການຊ່ຽວຊານໃນການຊ່ຽວຊານໃນການຊ່ຽວຊານໃນການຊ່ຽວຊານໃນການຊ່ຽວຊານໃນການຊ່ຽວຊານໃນການຊ່ຽວຊານໃນການຊ່ຽວຊານໃນການຊ່ຽວຊານໃນການຊ່ຽວຊານໃນການຊ່ຽວຊານໃນການຊ່ຽວຊ Distributions of activations across channels. 3.2.2 IGQ for softmax attentions ທີ່ນີ້, ພວກເຮົາສະເຫນີການຄົ້ນຄວ້າຂອງພວກເຮົາສໍາລັບການຂະຫຍາຍຕົວຂອງ softmax attentions, ແລະສະເຫນີຂໍ້ມູນຂອງ IGQ ສໍາລັບ softmax attentions. ViTs capture correlations between tokens through softmax attentions. Distribution of attention values varies drastically across different tokens (ຮູບ 3). ດັ່ງນັ້ນ, ການນໍາໃຊ້ quantization ຫນຶ່ງ Distributions of softmax attentions. Parameter to quantize softmax attentions degrade quantization performance severely. quantizers ອັດຕະໂນມັດສາມາດຖືກນໍາໃຊ້ສໍາລັບ tokens ອັດຕະໂນມັດເພື່ອປິ່ນປົວຄຸນນະສົມບັດຂອງຄວາມຄິດເຫັນ, ແຕ່ການນີ້ຕ້ອງການຈໍານວນຫຼາຍຂອງ quantizers, ແລະຕ້ອງການທີ່ຈະປິ່ນປົວຄຸນນະສົມບັດຂອງ quantization ສໍາລັບແຕ່ລະ instance. 3.3 ຂະຫນາດຂອງກຸ່ມ ພວກເຮົາມີຄວາມຮູ້ສຶກວ່າການດໍາເນີນການແລະ softmax ການກວດສອບໃນລະດັບທີ່ແຕກຕ່າງກັນສະແດງໃຫ້ເຫັນການປ່ຽນແປງລະດັບທີ່ແຕກຕ່າງກັນໃນໄລຍະແຜ່ນແລະ tokens ທີ່ແຕກຕ່າງກັນ, ໂດຍສະເພາະວ່າການນໍາໃຊ້ຈໍານວນທີ່ແຕກຕ່າງກັນຂອງກຸ່ມສໍາລັບລະດັບທີ່ແຕກຕ່າງກັນສາມາດເປັນ suboptimal (ຮູບ 4). ສໍາລັບການປິ່ນປົວນີ້, ພວກເຮົາມີຄວາມຊອກຫາສໍາລັບຂະຫນາດໃຫຍ່ຂອງກຸ່ມທີ່ດີທີ່ສຸດສໍາລັບທຸກລະດັບທີ່ຫຼຸດຜ່ອນຄວາມຕ້ານທານລະຫວ່າງການຄາດຄະເນຈາກຮູບແບບ quantized ແລະ full-precision, ໃນຂະນະທີ່ຄວາມປອດໄພຂອງ BOP. ຢ່າງໃດກໍຕາມ, ສະຫນັບສະຫນູນການຊອກຫາສໍາລັບການຊອກຫາຂະຫນາດໃຫຍ່ທີ່ດີທີ່ສຸດຂອງກຸ່ມແມ່ນ exponential ປະມານ 
 
 
 
 
 
 ຊື່ຂອງ : (1) Jaehyeon Moon, ວິທະຍາໄລ Yonsei ແລະ Articron; (2) Dohyung Kim, ວິທະຍາໄລ Yonsei; (3) Junyong Cheon, ວິທະຍາໄລ Yonsei; (4) Bumsub Ham, ຜູ້ຊ່ຽວຊານຂອງວິທະຍາໄລ Yonsei. Authors: (1) Jaehyeon Moon, ວິທະຍາໄລ Yonsei ແລະ Articron; (2) Dohyung Kim, ວິທະຍາໄລ Yonsei; (3) Junyong Cheon, ວິທະຍາໄລ Yonsei; (4) Bumsub Ham, ຜູ້ຊ່ຽວຊານຂອງວິທະຍາໄລ Yonsei. 
 
 ເອກະສານນີ້ແມ່ນສາມາດເຂົ້າເຖິງໃນ archiv under CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) License ເອກະສານນີ້ແມ່ນສາມາດເຂົ້າເຖິງໃນ archiv under CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) License ສະຫນັບສະຫນູນໃນ Archives

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

ສຽງນີ້ຖືກຜະລິດເປັນພາສາຕົ້ນສະບັບຂອງເລື່ອງ!

ຊື່ຫຍໍ້ຂອງ : Why Uniform Quantizers Break ViTS

About Author

ຄຳເຫັນ

ວາງປ້າຍ

ບົດຄວາມນີ້ໄດ້ຖືກນໍາສະເຫນີໃນ

Related Stories

What's the History Behind the HackerNoon Logo?

Starting 2025 with New Features: Settings Dashboard, HackerNoon Decoded, Updated Search UI, and More

The Branding Writing Contest: Winner Announcement!

On Building HackerNoon's Pixel Icon Library

What's the History Behind the HackerNoon Logo?

Starting 2025 with New Features: Settings Dashboard, HackerNoon Decoded, Updated Search UI, and More

The Branding Writing Contest: Winner Announcement!

On Building HackerNoon's Pixel Icon Library

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps