
 
 
 
 
 
 Waandishi wa: (1) Jaehyeon Moon, Chuo Kikuu cha Yonsei na Articron; (2) Dohyung Kim, Chuo Kikuu cha Yonsei; (3) Junyong Cheon, Chuo Kikuu cha Yonsei; (4) Bumsub Ham, Mwandishi wa Chuo Kikuu cha Yonsei. Authors: (1) Jaehyeon Moon, Chuo Kikuu cha Yonsei na Articron; (2) Dohyung Kim, Chuo Kikuu cha Yonsei; (3) Junyong Cheon, Chuo Kikuu cha Yonsei; (4) Bumsub Ham, Mwandishi wa Chuo Kikuu cha Yonsei. Orodha ya kulia Abstract and 1. Introduction Mchapishaji na 1 - Maelezo 
 
 
 
 
 
 
 Related work 
 
 
 
 
 Method 3.1. Uniform quantizer 3.2. IGQ-ViT 3.3. Group size allocation 
 
 
 
 Experiments 4.1. Implementation details and 4.2. Results 4.3. Discussion 
 
 Conclusion, Acknowledgements, and References Kazi zinazohusiana Ufafanuzi, Ufafanuzi na Maelezo Supplementary Material A. Maelezo zaidi ya utekelezaji B. Upatikanaji wa vifaa vya sasa C. Latency juu ya vifaa vya vitendo D. Maombi ya DETR Abstract ya Mchakato wa kuongezeka kwa sehemu (PTQ) ni mbinu ya kuongezeka kwa mifano yenye ufanisi ambayo inatumia mfumo mdogo wa kuongezeka kwa sampuli zisizohitajika bila kujifunza tena. Mbinu za PTQ kwa mitandao ya neural ya kuongezeka (CNNs) hutoa matokeo ya kuongezeka kwa ufanisi ikilinganishwa na washiriki wa usahihi kamili. Kuingiza kwa moja kwa moja kwa viwandani wa maono (ViTs), hata hivyo, hutokea uharibifu mkubwa wa utendaji, hasa kutokana na tofauti katika miundombinu kati ya CNNs na ViTs. Hasa, usambazaji wa uendeshaji kwa kila kituo hutofautiana kwa kiasi kikubwa kulingana na mifano mbalimbali ya kuingia, na kufanya mbinu za PTQ kwa CNNs zisizofaa kwa 1) Maelezo ya Transformers [35] wanaweza kukamata utegemezi wa kiwango cha muda mrefu juu ya ufumbuzi wa mfululizo, ambayo ni muhimu katika usindikaji wa lugha ya asili, kuunganisha habari za mazingira na kutoa uwakilishi wa kipengele cha tofauti. Hivi karibuni, transformers ya maono (ViTs) [10] imeonyesha ufanisi wa transformers kwa picha, kutoa matokeo ya hali ya kisasa juu ya kazi mbalimbali za kutambua picha, ikiwa ni pamoja na usindikaji wa picha [25, 34], uchunguzi wa vitu [25, 42], na usambazaji wa semantic [25, 33, 39]. Hata hivyo, mfululizo wa viwango vya kikamilifu (FC) na ufahamu wa kujitegemea katika ViTs unahitaji kiasi kikubwa cha kumbukumbu na gharama za kompyuta, na kusababisha changamoto ya kuwekao kwenye Kuantiza mtandao kwa ujumla inapunguza ukubwa wa bit na uendeshaji wa mfano kwa mchakato wa ufuatiliaji wa ufanisi, ambayo inaweza kupangwa katika makundi mawili: mafunzo ya quantitization-aware (QAT) na post-training quantization (PTQ). mbinu za QAT [11, 43, 44] hufundisha mifano ya usahihi kamili, wakati wa kusimamia mchakato wa quantitization kwa kuingiza discretizers katika mitandao ya quantitize, hivyo kwamba upungufu kati ya mifano ya usahihi kamili na quantitized ni kupunguzwa kwa usahihi. Hii inaonyesha kwamba mbinu za QAT zinahitaji sampuli kamili za mafunzo, na ni gharama ya kompyuta, na kuwa na ufanisi kwa utekelezaji wa haraka wa mitandao ya Njia kadhaa za PTQ kwa mabadiliko [9, 26, 40] zinatumia mbinu za quantization ya kiwango cha ngazi, ambapo quantizers moja hutumiwa kwa viwango vyote vya uendeshaji kwa ufanisi. Hata hivyo, mbinu hizi hazipatikani moja kwa moja kwa mifano ya quantization kutumia bit-widths ndogo sana (kwa mfano, 4-bit), kutokana na mabadiliko makubwa ya kiwango juu ya uendeshaji kwa kila channel. Kutumia quantizers channel-wise (yaani, kutumia quantizers tofauti kwa kila channel) inaweza kuwa suluhisho, lakini kwa gharama ya jumla ya hesabu, kutokana na jumla ya pointi ya juu ya outputs channel-wise kwa ajili ya matrix multiplication. Teknolojia ya quantization ya kikundi [7, 32] inaweza kuwa mbadala ya kut Katika makala hii, tunashughulikia quantization ya kikundi cha ujuzi wa mfano kwa ViTs (IGQ-ViT), ambayo hupata ufanisi na ufanisi wa mabadiliko ya usambazaji wa njia ya njia katika mifano tofauti za kuingia (Pig. 1b). Hasa, tunashiriki njia za ramani za mapitio ya ujuzi katika makundi kadhaa kwa njia ya kimwili, hivyo kwamba thamani za ujuzi ndani ya kila kikundi zina sifa sawa za takwimu, na kisha kufikia quantizations ndani ya kikundi kwa kutumia vigezo sawa vya quantization. Tunapendekeza pia kutumia mbinu ya kikundi cha ujuzi wa mfano kwa mawazo ya softmax, kwa sababu usambazaji wa thamani za ujuzi hutofautiana kwa kiasi kikubwa kulingana na tokens. Zaidi ya • Tunatoa mbinu mpya ya PTQ kwa ViTs, inayoitwa IGQViT, ambayo inashiriki njia za ramani za uendeshaji katika makundi kadhaa kwa nguvu kulingana na matukio ya kuingia. • Tunatoa mbinu ya usambazaji wa ukubwa wa kikundi kutafuta idadi bora ya makundi kwa kila ngazi kulingana na vikwazo vya BOP. • Tumeweka hali mpya ya sanaa juu ya usambazaji wa picha [8], uchunguzi wa kitu, na usambazaji wa mifano [22], na miundombinu mbalimbali za ViT [10, 25, 34]. 
 
 Makala hii inapatikana kwenye archiv chini ya leseni ya CC BY-NC-ND 4.0 (Attribution-Noncommercial-Noderivs 4.0 International). Makala hii ni chini ya leseni ya CC BY-NC-ND 4.0 Sheria (Attribution-Noncommercial-Noderivs 4.0 International). Upatikanaji wa Archives Upatikanaji wa Archives

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

Sauti hii imetolewa katika lugha asilia ya hadithi!

Instances-Aware Group Quantization kwa Transformers ya Maono

About Author

MAONI

HANG TAGS

MAKALA HII ILIWASILISHWA NDANI

Related Stories

Master Crypto Security: Your Complete Guide to Safe Wallet Management

#ellenBrain Turns a Long Weekend Into: HackerNoon Swag Around the World

Speed up Swift compile time

A PENDENT WORLD

Master Crypto Security: Your Complete Guide to Safe Wallet Management

#ellenBrain Turns a Long Weekend Into: HackerNoon Swag Around the World

Speed up Swift compile time

A PENDENT WORLD

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps