Стол слева Abstract and 1. Introduction Абстракт и 1.Введение 
 
 
 
 
 
 
 Related work 
 
 
 
 
 Method 3.1. Uniform quantizer 3.2. IGQ-ViT 3.3. Group size allocation 
 
 
 
 Experiments 4.1. Implementation details and 4.2. Results 4.3. Discussion 
 
 Conclusion, Acknowledgements, and References Связанная работа Заключение, признания и ссылки Supplementary Material Больше деталей по внедрению Совместимость с существующими аппаратными средствами C. Латентность на практических устройствах D. Применение к DETR 3 Метод В этом разделе мы предоставляем краткое описание унифицированного квантизера (раздел 3.1). затем мы подробно представляем наш подход, включая IGQ-ViT (раздел 3.2) и технику распределения размеров групп (раздел 3.3). 4.1 Унифицированный квантизер Учитывая значение плавающей точки x и квантизационную битовую ширину b, универсальные квантизаторы дискретируют входы в конечный набор значений с одинаковыми промежуточными интервалами. Для этого он нормализует значение плавающей точки x с помощью параметра шкалы s, калибрирует нормализованное значение с нулевой точкой z и записывает выход следующим образом: где параметр шкалы s и нулевая точка z определены как: Мы обозначаем u и l верхние и нижние границы квантизера соответственно. . является закругленной функцией, а клип(., m, n) ограничивает вход в диапазон с нижними и верхними границами m и n соответственно. 4.2 ИГК-ВИТ После работы [26], мы квантизируем все весы сети, кроме позиционного встраивания. Мы также квантизируем вводные активации слоев FC в блоке многослойного перцептрона (MLP), а также активации для блока многоголового самообслуживания (MSA), включая запросы, ключи, значения и внимание softmax. Мы используем единые квантизаторы для всех весов и активаций в ViTs. 3.2.1 IGQ for linear operations Ниже мы сначала предоставляем эмпирические наблюдения за входными активациями слоев ФК и объясняем детали нашей структуры IGQ для линейных операций. Большинство рамок фиксированного интервала квантизации [2, 19, 26, 27] используют квантизаторы по шкале для активаций, применяя один параметр квантизации для всех каналов для эффективного вывода. Тем не менее, мы наблюдали, что входные активации слоев FC имеют значительные вариации по шкале между каналами (рис. 2(а)). Аналогичные результаты можно найти в [21, 23]. Это говорит о том, что квантизаторы по шкале значительно ухудшают производительность квантизации, так как они не могут справиться с вариациями по шкале между различными каналами. Хотя принятие отдельных квантизаторов для отдельных каналов может быть эффективной стратегией для преодоления проблемы вариации по шкале, это требует суммирования выхода по плавающей Distributions of activations across channels. 3.2.2 IGQ for softmax attentions Здесь мы представляем наше наблюдение за распределением внимания softmax, и представляем детали IGQ для внимания softmax. ViTs улавливают корреляции между токенами через внимание softmax. Распределение значений внимания резко варьируется по различным токенам (рис. Distributions of softmax attentions. Параметр квантизации внимания softmax серьезно ухудшает производительность квантизации.Отдельные квантизаторы могут быть использованы для отдельных токенов для обработки значений внимания, но это требует большого количества квантизаторов, и нужно корректировать параметры квантизации для каждого случая. 3.3 Распределение групповых размеров Мы наблюдаем, что активации и внимание softmax в разных слоях показывают различное количество вариаций масштаба между каналами и токенами, соответственно, указывая на то, что использование одного и того же числа групп для разных слоев может быть субоптимальным (рис. 4). Чтобы решить этот вопрос, мы ищем оптимальный размер группы для каждого слоя, который минимизирует несоответствие между предсказаниями от квантизированных и полных точных моделей, под ограничением BOP. Однако, поисковое пространство для поиска оптимальных размеров групп является экспоненциальным по сравнению с количеством слоев L, которое не поддается обработке для большой модели. Мы предлагаем технику распределения размеров групп, которая эффективно оптимизирует размер группы для каждого слоя в таком большом поисковом пространстве. 
 
 
 
 
 
 Авторы : (1) Jaehyeon Moon, Университет Йонсей и Articron; 2) Дохун Ким, Университет Йонсей; Junyong Cheon, Йонсейский университет; (4) Бумсуб Хэм, корреспондент университета Йонсей. Authors: (1) Jaehyeon Moon, Университет Йонсей и Articron; 2) Дохун Ким, Университет Йонсей; Junyong Cheon, Йонсейский университет; (4) Бумсуб Хэм, корреспондент университета Йонсей. 
 
 Эта статья доступна в архиве под лицензией CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) Эта статья доступна в архиве под лицензией CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) Доступно в архиве

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

Этот звук создан на языке оригинала истории!

Почему унифицированные квантизаторы нарушают VIT

About Author

КОММЕНТАРИИ

БИРКИ

ЭТА СТАТЬЯ БЫЛА ПРЕДСТАВЛЕНА В

Related Stories

Telegram: мост Крипто-острова на материк

Полное руководство по успешной миграции в облако: стратегии и лучшие практики

Руководство архитектора по созданию эталонной архитектуры для озера данных AI/ML

Раскрытие силы ИИ. Систематический обзор передовых методов: Краткое содержание и введение

Telegram: мост Крипто-острова на материк

Полное руководство по успешной миграции в облако: стратегии и лучшие практики

Руководство архитектора по созданию эталонной архитектуры для озера данных AI/ML

Раскрытие силы ИИ. Систематический обзор передовых методов: Краткое содержание и введение

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps