Левицата на масата Abstract and 1. Introduction Абстракт и 1. въведение 
 
 
 
 
 
 
 Related work 
 
 
 
 
 Method 3.1. Uniform quantizer 3.2. IGQ-ViT 3.3. Group size allocation 
 
 
 
 Experiments 4.1. Implementation details and 4.2. Results 4.3. Discussion 
 
 Conclusion, Acknowledgements, and References Свързана работа Заключения, признания и референции Supplementary Material A. Повече подробности за изпълнението Съвместимост с съществуващ хардуер В. Латентност върху практически устройства D. Прилагане на DETR 3 Методът В този раздел предоставяме кратко описание на единния квантизер (раздел 3.1). След това представяме нашия подход по-подробно, включително IGQ-ViT (раздел 3.2) и техника за разпределение на размера на групата (раздел 3.3). 3.1 Единен квантово измерване Като се има предвид стойността на плаващата точка x и квантизационната битова ширина b, универсалните квантизатори дискретизират входовете в краен набор от стойности с еднакво разпределени интервали.За тази цел, те нормализират стойността на плаващата точка x с помощта на параметър на скалата s, калибрират нормализираната стойност с нулева точка z и отрязват изхода, както следва: където параметрите на скалата s и нулева точка z са определени като: Ние обозначаваме с u и l горните и долните граници на квантизера, съответно. . е функция за закръгляване, а клипът(., m, n) ограничава входа до диапазона с долните и горните граници на m и n, съответно. 4.3 IGQ-VIT След работата на [26], ние квантизираме всички мрежови тежести, с изключение на позиционното вграждане. Ние също квантизираме входните активирания на FC слоеве в блока на многослойния перцептрон (MLP) и активиранията за блока на многоглавия самообръщение (MSA), включително заявки, ключове, стойности и внимание на softmax. Ние използваме единни квантизатори за всички тежести и активирания в ViTs. 3.2.1 IGQ for linear operations По-долу първо предоставяме емпирични наблюдения за входните активирания на FC слоевете и обясняваме подробностите за нашата рамка IGQ за линейни операции. Повечето рамки за фиксиран интервал на квантизация [2, 19, 26, 27] използват квантизатори на слой за активиране, като прилагат един-единствен квантизационен параметър за всички канали за ефективно заключение. Въпреки това, ние наблюдаваме, че входните активирания на FC слоеве имат значителни вариации в мащаба между каналите (Фигура 2(а)). Подобни констатации могат да бъдат намерени в [21, 23]. Това предполага, че квантизаторите на слой намаляват ефективността на квантизацията значително, тъй като те не могат да се справят с вариации в мащаба между различните канали. Въпреки че приемането на отделни квантизатори за отделните канали може да бъде ефективна стратегия за преодоляване на проблема Distributions of activations across channels. 3.2.2 IGQ for softmax attentions Тук представяме нашето наблюдение за разпределението на вниманието на softmax и представяме подробностите за IGQ за вниманието на softmax. ViTs улавят корелациите между токените чрез softmax внимание. Разпределението на стойностите на внимание варира драстично в различните токени (фигура 3). Distributions of softmax attentions. Параметърът за квантизиране на вниманието на softmax сериозно влошава ефективността на квантизацията.Отделни квантизатори могат да бъдат използвани за отделни токени, за да се справят с стойностите на вниманието, но това изисква голям брой квантизатори и трябва да се коригират параметрите на квантизацията за всеки случай. 3.3 Разпределение на групата Наблюдаваме, че активиранията и вниманието на softmax в различните слоеве показват различно количество вариации в мащаба между каналите и токените, съответно, което показва, че използването на същия брой групи за различни слоеве може да бъде подоптимално (Фигура 4). За да се справим с това, търсим оптималния размер на групата за всеки слой, който минимизира несъответствието между прогнозите от квантизираните и пълнопрецизните модели, под ограничението на BOP. Въпреки това, търсенето за намиране на оптималния размер на групата е експоненциално спрямо броя на слоевете L, което е невъзможно за голям модел. Предлагаме техника за разпределяне на размера на групата, която ефективно оптимизира размера на групата 
 
 
 
 
 
 на авторите: (1) Jaehyeon Moon, Yonsei University и Articron; (2) Дохун Ким, Университет Йонсей; (3) Junyong Cheon, Yonsei университет; (4) Bumsub Ham, кореспондент на университета Йонсей. Authors: (1) Jaehyeon Moon, Yonsei University и Articron; (2) Дохун Ким, Университет Йонсей; (3) Junyong Cheon, Yonsei университет; (4) Bumsub Ham, кореспондент на университета Йонсей. 
 
 Тази статия е достъпна на архива под лиценза CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) Тази хартия е под лиценза CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) Достъпно за архивиране Достъпно за архивиране

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

Това аудио е създадено на оригиналния език на историята!

Защо униформените квантизатори разбиват VITs

About Author

КОМЕНТАРИ

ЗАКАЧВАЙТЕ ЕТИКЕТИ

ТАЗИ СТАТИЯ Е ПРЕДСТАВЕНА В

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps