Stůl vlevo Abstract and 1. Introduction Abstrakt a 1. úvod 
 
 
 
 
 
 
 Related work 
 
 
 
 
 Method 3.1. Uniform quantizer 3.2. IGQ-ViT 3.3. Group size allocation 
 
 
 
 Experiments 4.1. Implementation details and 4.2. Results 4.3. Discussion 
 
 Conclusion, Acknowledgements, and References Související práce Závěry, uznání a reference Supplementary Material Více podrobností o implementaci Kompatibilita s existujícím hardwarem C. latence na praktických zařízeních D. Aplikace na DETR 3 Metoda V této části poskytujeme stručný popis jednotného kvantifikátoru (odstavec 3.1).Pak podrobněji prezentujeme náš přístup, včetně IGQ-ViT (odstavec 3.2) a techniky přidělování velikostí skupin (odstavec 3.3). 3.1 Uniformní kvantifikátor Vzhledem k hodnotě plovoucího bodu x a kvantifikační bitové šířce b diskrétizují jednotné kvantizátory vstupy do konečné sady hodnot s rovnoměrně odstupňovanými intervaly. Za tímto účelem normalizují hodnotu plovoucího bodu x pomocí měřítkového parametru s, kalibrují normalizovanou hodnotu nulovým bodem z a vyřezávají výstup takto: kde jsou parametry stupnice s a nulový bod z definovány jako: Označujeme u a l horní a dolní hranice kvantizátoru, respektive. . je zaoblená funkce a klip(., m, n) omezuje vstup do rozsahu s nižšími a horními hranicemi m a n. Kvantifikovaný výstup je pak získán následovně: 4.2 IGQ-VIT Po práci [26] kvantifikujeme všechny síťové váhy kromě pozičního vkládání. Kvantifikujeme také vstupní aktivace vrstev FC v bloku multi-layer perceptron (MLP) a aktivace pro blok multi-head self-attention (MSA), včetně dotazů, klíčů, hodnot a softmax pozornosti. 3.2.1 IGQ for linear operations V následujícím textu nejprve poskytneme empirické pozorování o vstupních aktivacích vrstev FC a vysvětlíme podrobnosti našeho rámce IGQ pro lineární operace. Většina rámců kvantifikace s pevným intervalem [2, 19, 26, 27] využívá kvantifikátorů ve vrstvách pro aktivaci, přičemž aplikuje jeden parametr kvantifikace pro všechny kanály pro efektivní odvození. Nicméně jsme pozorovali, že vstupní aktivace vrstev FC mají významné rozdíly v rozmezí mezi kanály (obr. 2(a)). Podobné zjištění lze nalézt v [21, 23]. To naznačuje, že kvantifikátory ve vrstvách snižují výkon kvantifikace výrazně, protože se nemohou vypořádat s rozdíly v rozmezí mezi různými kanály. Ačkoli přijetí oddělených kvantifikátorů pro jednotlivé kanály může být účinnou strategií pro překonání problému s rozmezí, vyžaduje Distributions of activations across channels. 3.2.2 IGQ for softmax attentions Zde prezentujeme naše pozorování pro distribuci softmax pozornosti a podrobnosti o IGQ pro softmax pozornosti. ViTs zachycují korelace mezi tokeny prostřednictvím softmax pozornosti. Rozložení hodnot pozornosti se drasticky liší v různých tokenech (obr. 3). Distributions of softmax attentions. Samostatné kvantizátory mohou být využity pro jednotlivé tokeny k manipulaci s hodnotami pozornosti, ale to vyžaduje velké množství kvantizátorů a je třeba upravit kvantizační parametry pro každou instanci. 3.3 Rozdělení velikosti skupiny Pozorujeme, že aktivace a softmax pozornosti v různých vrstvách ukazují různé množství rozdílů v měřítku mezi kanály a tokeny, což naznačuje, že použití stejného počtu skupin pro různé vrstvy může být suboptimální (obr. 4). Abychom to řešili, hledáme optimální velikost skupiny pro každou vrstvu, která minimalizuje nesoulad mezi předpověďmi z kvantifikovaných a plnohodnotných modelů, pod omezením BOP. Nicméně, vyhledávací prostor pro nalezení optimální velikosti skupiny je exponenciální ve srovnání s počtem vrstev L, což je pro velký model neřešitelné. Navrhujeme techniku přidělování velikosti skupiny, která efektivně optimalizuje velikost skupiny pro každou vrstvu v takovém vel 
 
 
 
 
 
 Autoři : (1) Jaehyeon Moon, Yonsei University a Articron; (2) Dohyung Kim, Univerzita Yonsei (3) Junyong Cheon, Univerzita Yonsei (4) Bumsub Ham, korespondent z Yonsei University. Authors: (1) Jaehyeon Moon, Yonsei University a Articron; (2) Dohyung Kim, Univerzita Yonsei (3) Junyong Cheon, Univerzita Yonsei (4) Bumsub Ham, korespondent z Yonsei University. 
 
 Tento dokument je k dispozici v archivu pod licencí CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) Tento papír je pod licencí CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) Dostupné v archivu Dostupné v archivu

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

Tento zvuk je produkován v původním jazyce příběhu!

Proč jednotné kvantizátory rozbíjejí ViTs

About Author

KOMENTÁŘE

ZAVĚŠIT ZNAČKY

TENTO ČLÁNEK BYL PŘEDSTAVEN V

Related Stories

Coinshift Launches csUSDL, Announces Strategic Partnerships

Coinshift Launches csUSDL, Announces Strategic Partnerships

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps