Стол слева Abstract and 1. Introduction Абстракт и 1.Введение 
 
 
 
 
 
 
 Related work 
 
 
 
 
 Method 3.1. Uniform quantizer 3.2. IGQ-ViT 3.3. Group size allocation 
 
 
 
 Experiments 4.1. Implementation details and 4.2. Results 4.3. Discussion 
 
 Conclusion, Acknowledgements, and References Связанная работа Заключение, признания и ссылки Supplementary Material Больше деталей по внедрению Совместимость с существующими аппаратными средствами C. Латентность на практических устройствах D. Применение к DETR 4 Эксперименты В этом разделе мы описываем наши экспериментальные настройки (раздел 4.1) и оцениваем IGQ-ViT по классификации изображений, обнаружению объектов и семантической сегментации (раздел 4.2). 4.1 Детали реализации Мы оцениваем нашу структуру IGQ-ViT по задачам классификации изображений, обнаружения объектов и сегментации инстанций. Мы используем набор данных ImageNet [8] для классификации изображений, который содержит примерно 1,2М изображений для обучения и 50К для валидации. Мы используем COCO [22] для обнаружения объектов и сегментации инстанций, который включает в себя обучение 118К, валидацию 5К и тестирование изображений 20К. Мы принимаем различные архитектуры трансформаторов, включая ViT [10], DeiT [34] и Swin трансформатор [25] для классификации изображений. Для задач обнаружения объектов и сегментации инстанций мы используем Mask R-CNN [14] и Cascade Mask R-CNN [5] с трансформаторами Swin в качестве основы. После этого [9, 21] 4.2 Результаты Мы показываем в Таблице 2 точность 1 (%) на делении валидации ImageNet [8] с различными архитектурами ViT. Мы сообщаем точность с средним размером группы 8 и 12. Мы обобщаем наши результаты следующим образом: (1) Наша структура IGQ-ViT с 8 группами уже превосходит состояние искусства, за исключением ViT-B [10] и Swin-S [25] при 6/6-битной настройке, в то время как использование большего числа групп дополнительно повышает производительность. (2) Наш подход при 4/4-битной настройке последовательно превосходит систему RepQ-ViT [21] на большую маржу. Подобно нашему, RepQ-ViT также занимается вариациями масштаба между каналами, но его можно применить к активациям с предыдущим LayerNorm. На Results on ImageNet. В таблице 3 мы показываем результаты квантизации для обнаружения объектов и сегментации инстанций на Results on COCO. COCO [22]. Мы квантизируем позвоночники трансформаторов Swin [25] и конвульсионные слои в шее и голове Mask R-CNN [14] и Cascade Mask R-CNN [5]. Мы наблюдаем, что PTQ4ViT [40] и APQ-ViT [9], которые используют квантизирующие слои для активации, не работают хорошо. Напротив, IGQ-ViT превосходит состояние искусства только с 8 группами, а производительность квантизации еще больше повышается, используя больше групп. В частности, она обеспечивает результаты почти такие же, как и полноценные для 6/6-битной настройки. Это говорит о том, что вариации масштаба между различными каналами или токенами являются гораздо более критическими для обнаружения объектов и сегментации 
 
 
 
 
 
 Авторы : (1) Jaehyeon Moon, Университет Йонсей и Articron; 2) Дохун Ким, Университет Йонсей; Junyong Cheon, Йонсейский университет; (4) Бумсуб Хэм, корреспондент университета Йонсей. Authors: (1) Jaehyeon Moon, Университет Йонсей и Articron; 2) Дохун Ким, Университет Йонсей; Junyong Cheon, Йонсейский университет; (4) Бумсуб Хэм, корреспондент университета Йонсей. 
 
 Эта статья доступна в архиве под лицензией CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) Эта бумага является под лицензией CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) Доступно в архиве Доступно в архиве

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

Этот звук создан на языке оригинала истории!

Instance-Aware Grouped Quantization (IGQ-ViT) устанавливает новые показатели для ViT PTQ

About Author

КОММЕНТАРИИ

БИРКИ

ЭТА СТАТЬЯ БЫЛА ПРЕДСТАВЛЕНА В

Related Stories

Рост криптовалют: создание эффективных образов пользователей

Краткое введение в теорию мозга Больцмана

Нажмите, чтобы заработать: Telegram может привлечь следующие 10 миллиардов пользователей криптовалюты до Соланы

Создание криптопродуктов, ориентированных на пользователя: важность отзывов клиентов

Рост криптовалют: создание эффективных образов пользователей

Краткое введение в теорию мозга Больцмана

Нажмите, чтобы заработать: Telegram может привлечь следующие 10 миллиардов пользователей криптовалюты до Соланы

Создание криптопродуктов, ориентированных на пользователя: важность отзывов клиентов

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps