Baloldali asztal Abstract and 1. Introduction Absztrakt és 1. Bevezetés 
 
 
 
 
 
 
 Related work 
 
 
 
 
 Method 3.1. Uniform quantizer 3.2. IGQ-ViT 3.3. Group size allocation 
 
 
 
 Experiments 4.1. Implementation details and 4.2. Results 4.3. Discussion 
 
 Conclusion, Acknowledgements, and References Kapcsolódó munka Következtetés, elismerések és hivatkozások Supplementary Material A. További végrehajtási részletek A meglévő hardverekkel való kompatibilitás C. Latency a gyakorlati eszközökön D. A DETR alkalmazása 3. Módszer Ebben a szakaszban rövid leírást adunk az egységes kvantizátorról (3.1. szakasz).Ezután részletesen bemutatjuk a megközelítésünket, beleértve az IGQ-ViT-t (3.2. szakasz) és a csoportméret-elosztási technikát (3.3. szakasz). 4.1 Egységes kvantummérő Figyelembe véve az x lebegő pont értéket és a b kvantizációs bitszélességet, az egységes kvantizátorok a bemeneteket egy véges értéksorozatba diszkretizálják, ugyanolyan távolságokkal.Ebben a célban normalizálja az x lebegő pont értéket egy s skálaparaméter használatával, a normalizált értéket z nulla pontgal kalibrálja, és a kimenetet a következőképpen vágja le: ahol a skálaparaméter s és a z nulla pontja a következőképpen határozható meg: Az u és l jelöli a kvantizátor felső és alsó határait. . egy kerekítő funkció, és a klip(., m, n) korlátozza a bemenetet a m és n alsó és felső határaival rendelkező tartományra. 2. Az IGQ-VIT A [26] munkáját követően a pozícionális beágyazás kivételével az összes hálózati súlyt kvantifikáljuk. a többrétegű perceptron (MLP) blokkban az FC rétegek bemeneti aktiválásait és a többfejű önmegfigyelés (MSA) blokk aktiválásait is kvantifikáljuk, beleértve a lekérdezéseket, a kulcsokat, az értékeket és a softmax figyelmet. 3.2.1 IGQ for linear operations Az alábbiakban először empirikus megfigyeléseket adunk az FC rétegek bemeneti aktiválásairól, és elmagyarázzuk a lineáris műveletekre vonatkozó IGQ keretrendszerünk részleteit. A legtöbb rögzített intervallum-aktiválási keretrendszer [2, 19, 26, 27] kihasználja a rétegszerű kvantizátorokat az aktiválásokhoz, egyetlen kvantizációs paramétert alkalmazva az összes csatornára a hatékony következtetés érdekében. Mindazonáltal megfigyeltük, hogy az FC rétegek bemeneti aktiválásainak jelentős skálázási változása van a csatornák között (2. ábra). Hasonló megállapítások találhatók [21, 23]. Ez arra utal, hogy a rétegszerű kvantizátorok jelentősen csökkentik a kvantizációs teljesítményt, mivel nem tudják kezelni a különböző csatornák közötti skálázási változásokat. Bár az egyes csatornákra vonatkozó külön kvantizátorok elfogadása hatékony stratégia lehet a skáláz Distributions of activations across channels. 3.2.2 IGQ for softmax attentions Itt bemutatjuk megfigyelésünket a softmax figyelem eloszlására, és bemutatjuk az IGQ részleteit a softmax figyelemre. A ViT-k a tokenek közötti korrelációkat a softmax figyelmeztetések révén rögzítik. A figyelemértékek eloszlása drasztikusan változik a különböző tokenek között (3. ábra). Distributions of softmax attentions. A softmax-megfigyelések kvantizálására szolgáló paraméter súlyosan rontja a kvantizálási teljesítményt. Külön kvantizálók használhatók fel az egyes tokenek számára a figyelemértékek kezelésére, de ez nagy mennyiségű kvantizálót igényel, és az egyes esetekben a kvantizálási paramétereket ki kell igazítani. 3.3 Csoportos elosztás Megfigyeltük, hogy a különböző rétegek aktiválása és softmax figyelmeztetései a különböző csatornák és tokenek közötti skálázási eltéréseket mutatják, ami azt jelzi, hogy a különböző rétegek számára ugyanazon csoportok számának használata lehet suboptimális (4. ábra). Ennek kezelésére az egyes rétegek számára az optimális csoportméretet keressük, amely minimalizálja a kvantificált és a teljes pontosságú modellekből származó előrejelzések közötti eltéréseket, a BOP korlátozás alatt. Mindazonáltal az optimális csoportméret megtalálására szolgáló keresési tér exponenciális az L rétegek számával összehasonlítva, ami egy nagyméretű modell számára nem kezelhető. Egy csoportméret-elosztási technikát javasolunk, amely hatékonyan 
 
 
 
 
 
 A szerzők: (1) Jaehyeon Moon, Yonsei Egyetem és Articron; (2) Dohyung Kim, Yonsei Egyetem (3) Junyong Cheon, Yonsei Egyetem (4) Bumsub Ham, a Yonsei Egyetem levelező szerzője. Authors: (1) Jaehyeon Moon, Yonsei Egyetem és Articron; (2) Dohyung Kim, Yonsei Egyetem (3) Junyong Cheon, Yonsei Egyetem (4) Bumsub Ham, a Yonsei Egyetem levelező szerzője. 
 
 Ez a dokumentum a CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) licenc alatt érhető el. Ez a dokumentum a CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) licenc alatt érhető el. Elérhető archívum

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

Ez a hanganyag a történet eredeti nyelvén készült!

Miért Uniform Quantizers Break ViTs

About Author

HOZZÁSZÓLÁSOK

HANG TAGOK

EZT A CIKKET BEMUTATTA

Related Stories

And now the important day of the election had arrived

How Emoji Credibility Indicators Add Context to HackerNoon Stories

HackerNoon Social Media Presence: A Complete Guide

HackerNoon Contributor Denisa Ganea on HackerNoon, Human Existence, and Everything in Between

And now the important day of the election had arrived

How Emoji Credibility Indicators Add Context to HackerNoon Stories

HackerNoon Social Media Presence: A Complete Guide

HackerNoon Contributor Denisa Ganea on HackerNoon, Human Existence, and Everything in Between

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps