
 
 
 
 
 
 ຊື່ຂອງ : (1) Jaehyeon Moon, ວິທະຍາໄລ Yonsei ແລະ Articron; (2) Dohyung Kim, ວິທະຍາໄລ Yonsei; (3) Junyong Cheon, ວິທະຍາໄລ Yonsei; (4) Bumsub Ham, ຜູ້ຊ່ຽວຊານຂອງວິທະຍາໄລ Yonsei. Authors: (1) Jaehyeon Moon, ວິທະຍາໄລ Yonsei ແລະ Articron; (2) Dohyung Kim, ວິທະຍາໄລ Yonsei; (3) Junyong Cheon, ວິທະຍາໄລ Yonsei; (4) Bumsub Ham, ຜູ້ຊ່ຽວຊານຂອງວິທະຍາໄລ Yonsei. ຕາຕະລາງ Links Abstract and 1. Introduction ຊື່ຫຍໍ້ຂອງ : Abstract and 1 Introduction 
 
 
 
 
 
 
 Related work 
 
 
 
 
 Method 3.1. Uniform quantizer 3.2. IGQ-ViT 3.3. Group size allocation 
 
 
 
 Experiments 4.1. Implementation details and 4.2. Results 4.3. Discussion 
 
 Conclusion, Acknowledgements, and References ການເຮັດວຽກທີ່ກ່ຽວຂ້ອງ ຄໍາແນະນໍາ, ຄໍາແນະນໍາ, ຄໍາແນະນໍາ Supplementary Material A. ຂໍ້ມູນເພີ່ມເຕີມຂອງການປະຕິບັດ B. Compatibility ກັບ hardwares ທີ່ມີ C. Latency ກ່ຽວກັບອຸປະກອນມືອາຊີບ D. ການນໍາໃຊ້ສໍາລັບ DETR ອັດຕະໂນມັດ ການຂະຫຍາຍຕົວ segmentation ຫຼັງຈາກການຝຶກອົບຮົມ (PTQ) ແມ່ນເຕັກໂນໂລຊີການເຄື່ອນໄຫວຮູບແບບທີ່ມີປະສິດທິພາບທີ່ເຄື່ອນໄຫວຮູບແບບ pre-trained ທີ່ມີປະສິດທິພາບສູງໂດຍໃຊ້ພຽງແຕ່ຊຸດຂະຫຍາຍຕົວຢ່າງຂະຫນາດນ້ອຍຂອງ sample unlabeled ໂດຍບໍ່ມີການຝຶກອົບຮົມ. ວິທີການ PTQ ສໍາ ລັບເຄືອຂ່າຍ neuronal convolutionary (CNNs) ມີຜົນປະໂຫຍດການເຄື່ອນໄຫວທີ່ແຕກຕ່າງກັນຢ່າງກວ້າງຂວາງໂດຍຜ່ານ instances input, ເຮັດໃຫ້ວິທີ PTQ ສໍາ ລັບ CNNs ບໍ່ມີປະສິດທິພາບສໍາລັບ ViTs. ໃນຂະນະທີ່ການປິ່ນປົວນີ້, ພວກເຮົານໍາໃຊ້ການເຄື່ອນໄຫວປະສິດທິພາບ instance-conscious group quantization ສໍາ ລັບ ViTs (IGQ ວິທະຍາໄລ Transformers [35] ສາມາດກວດສອບຄວາມຮ້ອນຍິ່ງໃຫຍ່ກ່ຽວກັບການເຂົ້າລະຫັດ sequential, ເຊິ່ງເປັນສິ່ງທີ່ສໍາຄັນໃນການປິ່ນປົວທາງເພດທາງເພດທາງເພດ, ການກວດສອບຂໍ້ມູນທີ່ກ່ຽວຂ້ອງແລະສະຫນັບສະຫນູນຄວາມເປັນສ່ວນຕົວ. ໃນມື້ນີ້, ການປ່ຽນແປງທາງເພດ (ViTs) [10] ໄດ້ສະແດງໃຫ້ເຫັນຜົນປະໂຫຍດຂອງການປ່ຽນແປງສໍາລັບຮູບພາບ, ການສະຫນອງຜົນປະໂຫຍດ state-of-the-art ໃນຂະບວນການກວດສອບແວທີ່ແຕກຕ່າງກັນ, ລວມທັງການກວດສອບຮູບພາບ [25, 34], ການກວດສອບອຸປະກອນ [25, 42], ແລະ segmentation semantic [25, 33, 39]. ຢ່າງໃດກໍຕາມ, ລະບົບການປ່ຽນແປງທາງເພດ (FC) ແລະການປິ່ນປົວ ການຝຶກອົບຮົມ Quantization-aware (QAT) ແລະການຝຶກອົບຮົມ post-training (PTQ) ທີ່ສາມາດກໍານົດໄວ້ໃນສອງຊຸດ: ການຝຶກອົບຮົມ Quantization-aware (QAT) ແລະການຝຶກອົບຮົມ post-training (PTQ). ວິທີການ QAT [11, 43, 44] ການຝຶກອົບຮົມຮູບແບບຄຸນນະພາບສູງ, ໃນຂະນະທີ່ simulating ການຝຶກອົບຮົມ Quantization ໂດຍ inserting discretizers ໃນລະບົບການ quantization, ດັ່ງນັ້ນການຕັດສິນໃຈລະຫວ່າງການຝຶກອົບຮົມຄຸນນະພາບສູງແລະຮູບແບບ quantizated ແມ່ນຄຸນນະພາບຕ່ໍາ. ນີ້ແນະນໍາໃຫ້ເຫັນວ່າການຝຶກອົບຮົມ QAT ແມ່ນຄຸນນະພາບສູງ, ແລະພວກເຂົາເຈົ້າແມ່ນຄຸນນະພາບສູງ, ວິທີການ PTQ ຫຼາຍສໍາລັບການ transformers [9, 26, 40] ໃຊ້ວິທີການ quantization layer-wise, ທີ່ຫນຶ່ງ quantizers ໄດ້ຖືກນໍາໃຊ້ສໍາລັບທຸກປະສິດທິພາບປະສິດທິພາບ. ແຕ່ວິທີການນີ້ບໍ່ແມ່ນໄດ້ຖືກນໍາໃຊ້ຢ່າງວ່ອງໄວສໍາລັບການ quantization models using extremely low-bit-widths (ລວມທັງ 4-bit), due to the significant scale variation on the activations for each channel. exploiting channel-wise quantizers (ລວມທັງການນໍາໃຊ້ quantizers different for each channel) could be a potential solution, but at the expense of computational overheads, due to floating-point summations of channel-wise outputs for matrix multiplication. ວິທີການ quantization group [7, 32] ສາມາດເປັນ alternatif to address this problem, where they divide consecutive channels uniform ໃນບົດລາຍງານນີ້, ພວກເຮົາສະເຫນີການປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນຜົນປະມວນ • ພວກເຮົາໄດ້ນໍາສະເຫນີວິທີ PTQ ໃຫມ່ສໍາລັບ ViTs, ລວມທັງ IGQViT, ທີ່ແຜ່ນແຜ່ນການດໍາເນີນການຂອງການດໍາເນີນການໃນຫຼາຍກ່ວາກຸ່ມຢ່າງເຕັມສ່ວນໂດຍໃຊ້ instances ການເຂົ້າເຖິງ. ພວກເຮົາຍັງສະເຫນີການນໍາໃຊ້ວິທີການກຸ່ມ instance-aware ເພື່ອແຜ່ນ softmax atentions ໃນໄລຍະ tokens. • ພວກເຮົາມີວິທີການປະໂຫຍດຂະຫນາດຂອງກຸ່ມທີ່ຊອກຫາສໍາລັບຈໍານວນທີ່ດີທີ່ສຸດຂອງກຸ່ມສໍາລັບທຸກລະດັບໂດຍສະເພາະກັບຄວາມຈໍາກັດ BOP. • We set a new state of the art on image classification [8], object detection, and instance segmentation [22], with various ViT architectures [10, 25, 34]. 
 
 ເອກະສານນີ້ສາມາດໄດ້ຮັບການເຂົ້າເຖິງໃນ archiv under the CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) License. ເອກະສານນີ້ສາມາດໄດ້ຮັບການເຂົ້າເຖິງໃນ archiv under the CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) License. ສະຫນັບສະຫນູນໃນ Archives

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

ສຽງນີ້ຖືກຜະລິດເປັນພາສາຕົ້ນສະບັບຂອງເລື່ອງ!

ລະຫັດ QR ສໍາ ລັບ Visual Transformers

About Author

ຄຳເຫັນ

ວາງປ້າຍ

ບົດຄວາມນີ້ໄດ້ຖືກນໍາສະເຫນີໃນ

Related Stories

Microsoft's AI Bet Fails to Dent Google's Search Dominance

New Year, New Exciting Features: Mint Your Name, Watch Web 2.5 and Meet The Top Startups of The Year

Chowa Widgets: Smarter Writing at Your Fingertips

The Branding Writing Contest: Winner Announcement!

Microsoft's AI Bet Fails to Dent Google's Search Dominance

New Year, New Exciting Features: Mint Your Name, Watch Web 2.5 and Meet The Top Startups of The Year

Chowa Widgets: Smarter Writing at Your Fingertips

The Branding Writing Contest: Winner Announcement!

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps