
 
 
 
 
 
 Els autors: (1) Jaehyeon Moon, Universitat de Yonsei i Articron; (2) Dohyung Kim, Universitat Yonsei; (3) Junyong Cheon, Universitat de Yonsei; (4) Bumsub Ham, autor corresponent de la Universitat de Yonsei. Authors: (1) Jaehyeon Moon, Universitat de Yonsei i Articron; (2) Dohyung Kim, Universitat Yonsei; (3) Junyong Cheon, Universitat de Yonsei; (4) Bumsub Ham, autor corresponent de la Universitat de Yonsei. Taula de l'esquerra Abstract and 1. Introduction Abstract i 1a Introducció 
 
 
 
 
 
 
 Related work 
 
 
 
 
 Method 3.1. Uniform quantizer 3.2. IGQ-ViT 3.3. Group size allocation 
 
 
 
 Experiments 4.1. Implementation details and 4.2. Results 4.3. Discussion 
 
 Conclusion, Acknowledgements, and References Treball relacionat Conclusió, reconeixements i referències Supplementary Material A. Més detalls de la implementació Compatibilitat amb els hardware existents C. Latença en els dispositius pràctics D. Aplicació a DETR Abstracció La quantizació de segments post-entrenament (PTQ) és una tècnica de compressió de models eficient que quantiza un model de precisió pre-entrenat utilitzant només un petit conjunt de mostres no etiquetades sense reentrenament. Els mètodes PTQ per a xarxes neurals convolucionals (CNN) proporcionen resultats de quantizació comparables a homòlegs de precisió completa. Transposant-los directament als transformadors de visió (ViTs), però, es produeix una greu degradació del rendiment, principalment a causa de les diferències en les arquitectures entre CNN i ViTs. En particular, la distribució d'activacions per a cada canal d'instruccions varia dràsticament segons les instàncies d'entrada, fent que els mètodes PTQ per a 1 Introducció Els transformadors [35] poden capturar dependències de llarg abast a través d'entrada seqüencial, que és de importància central en el processament del llenguatge natural, agregant informació contextual i proporcionant representacions de característiques discriminatòries. Recentment, els transformadors de visió (ViTs) [10] han demostrat l'eficàcia dels transformadors per a les imatges, proporcionant resultats de l'estat de l'art en diverses tasques de reconeixement visual, incloent-hi la classificació d'imatges [25, 34], la detecció d'objectes [25, 42] i la segmentació semàntica [25, 33, 39]. No obstant això, una sèrie de capes completament connectades (FC) i d'autoatenció en els ViTs requereixen una quantitat substancial de memòria i La quantificació de la xarxa generalment redueix les amplades de bits de pesos i les activacions d'un model per a un procés d'inferència eficient, que es pot classificar en dos grups: entrenament de quantificació conscient (QAT) i quantificació post-entrenament (PTQ). Els mètodes QAT [11, 43, 44] entrenen models de precisió completa, mentre que simulen el procés de quantificació introduint discretitzadors a les xarxes per quantificar, de manera que la discrepància entre els models de precisió completa i quantificats es minimitza en termes d'exactitud. Això suggereix que els mètodes QAT requereixen mostres completes d'entrenament, i són computacionalment costosos, fent-los impràctics per al despleg Diversos mètodes PTQ per a transformadors [9, 26, 40] apliquen tècniques de quantizació de la capa, on un sol quantizador s'aplica a tots els valors d'activació per a l'eficiència. No obstant això, aquests mètodes no són directament aplicables als models de quantizació utilitzant amplades de bits extremadament baixes (per exemple, 4 bits), a causa de la variació significativa en l'escala de les activacions per a cada canal. L'ús de quantizadors de la manera de canal (és a dir, l'aplicació de diferents quantizadors per a cada canal) podria ser una solució potencial, però a costa d'un total computacional, a causa de les sumes de punts flotants de les sortides de la manera de canal per a la multipl En aquest article, presentem la quantizació de grups conscients d'instàncies per a ViTs (IGQ-ViT), que aborda de manera eficaç i eficient les variacions de distribucions en forma de canal a través de diferents instàncies d'entrada (Figura 1b). En concret, dividim els canals de mapes d'activació en diversos grups de manera dinàmica, de manera que els valors d'activació dins de cada grup comparteixen propietats estadístiques similars, i després quantifiquem les activacions dins del grup utilitzant paràmetres de quantizació idèntics. També proposem utilitzar la tècnica de grups conscients d'instàncies per a atencions softmax, ja que les distribucions de valors d'atenció varien significativament segons els tokens. A més • Introduïm un nou mètode PTQ per a ViTs, anomenat IGQViT, que divideix canals de mapes d'activació en un nombre de grups de manera dinàmica segons les instàncies d'entrada. • Presentem una tècnica d'assignació de la mida del grup buscant un nombre òptim de grups per a cada capa donada una restricció BOP. • Establim un nou estat de l'art en la classificació d'imatges [8], detecció d'objecte i segmentació d'instàncies [22], amb diverses arquitectures de ViT [10, 25, 34]. 
 
 Aquest document està disponible en arxiu sota la llicència CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International). Aquest paper és sota la llicència CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International). Disponible a l'Arxiu Disponible a l'Arxiu

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

Aquest àudio és produït a l'idioma original de la història!

Quantificació de grups per a transformadors de visió

About Author

COMENTARIS

Etiquetes penjant

AQUEST ARTICLE VA SER PRESENTAT A

Related Stories

Startups of The Year: Meet the AI Industry

On Taxes

Startups of The Year: Meet the Cybersecurity Industry

Startups of The Year: Meet the Commerce Industry

Startups of The Year: Meet the AI Industry

On Taxes

Startups of The Year: Meet the Cybersecurity Industry

Startups of The Year: Meet the Commerce Industry

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps