Mesa da Esquerda Abstract and 1. Introduction Abstract e 1a Introdução 
 
 
 
 
 
 
 Related work 
 
 
 
 
 Method 3.1. Uniform quantizer 3.2. IGQ-ViT 3.3. Group size allocation 
 
 
 
 Experiments 4.1. Implementation details and 4.2. Results 4.3. Discussion 
 
 Conclusion, Acknowledgements, and References Trabalho relacionado Conclusão, Reconhecimentos e Referências Supplementary Material A. Mais detalhes de implementação Compatibilidade com hardware existente C. Latença em dispositivos práticos D. Aplicação ao DETR 3 - Método Nesta seção, fornecemos uma breve descrição do quantizador uniforme (Seção 3.1).A seguir, apresentamos nossa abordagem em detalhes, incluindo IGQ-ViT (Seção 3.2) e uma técnica de alocação de tamanho de grupo (Seção 3.3). 4.1 Quantização uniforme Dado um valor de ponto flutuante x e a largura de bito de quantização b, os quantizadores uniformes discretizam as entradas em um conjunto finito de valores com intervalos igualmente espaçados. Para este fim, ele normaliza o valor de ponto flutuante x usando um parâmetro de escala s, calibra o valor normalizado com um ponto zero z e clique a saída da seguinte forma: onde o parâmetro de escala s e o ponto zero z são definidos como: Denotamos por u e l os limites superiores e inferiores do quantizador, respectivamente. . é uma função de arredondamento, e clipe(., m, n) restringe uma entrada ao intervalo com limites inferiores e superiores de m e n, respectivamente. 4.2 IGQ-VIT Seguindo o trabalho de [26], quantificamos todos os pesos de rede, exceto para a incorporação posicional. Também quantificamos as ativações de entrada de camadas de FC no bloco de perceptron de múltiplas camadas (MLP) e as ativações para o bloco de auto-atenção de múltiplas cabeças (MSA), incluindo consultas, chaves, valores e atenções softmax. 3.2.1 IGQ for linear operations A seguir, fornecemos primeiramente observações empíricas sobre ativações de entrada de camadas FC, e explicamos os detalhes do nosso quadro IGQ para operações lineares. A maioria dos quadros de quantização de intervalos fixos [2, 19, 26, 27] exploram quantizadores de camada para ativações, aplicando um único parâmetro de quantização para todos os canais para inferência eficiente. No entanto, observamos que as ativações de entrada de camadas de FC têm variações de escala significativas entre os canais (Figura 2(a)). Descobertas semelhantes podem ser encontradas em [21, 23]. Isto sugere que os quantizadores de camada degradam significativamente o desempenho de quantização, pois não podem lidar com variações de escala entre canais diferentes. Embora a adoção de quantizadores separados para canais individuais possa ser uma estratégia eficaz para superar o problema de variação de escala, isso requer uma soma de uma saída de ponto flutuante Distributions of activations across channels. 3.2.2 IGQ for softmax attentions Aqui, apresentamos nossa observação para a distribuição de atenções softmax, e apresentamos os detalhes de IGQ para atenções softmax. ViTs capturam correlações entre tokens através de atenções softmax. A distribuição de valores de atenção varia drasticamente em diferentes tokens (Figura 3). Distributions of softmax attentions. Parâmetro para quantificar softmax atenções degrada desempenho de quantização severamente. quantizadores separados podem ser explorados para tokens individuais para lidar com os valores de atenção, mas isso requer um grande número de quantizadores, e precisa ajustar os parâmetros de quantização para cada instância. 3.3 Distribuição do tamanho do grupo Observamos que ativações e atenções softmax em diferentes camadas mostram quantidades diferentes de variações de escala entre canais e tokens, respectivamente, indicando que o uso do mesmo número de grupos para camadas diferentes pode ser suboptimal (Figura 4). Para resolver isso, procuramos o tamanho de grupo ideal para cada camada que minimize a discrepância entre as previsões de modelos quantificados e de precisão completa, sob uma restrição BOP. No entanto, o espaço de pesquisa para encontrar o tamanho de grupo ideal é exponencial em relação ao número de camadas L, o que é intractable para um modelo grande. Proponemos uma técnica de alocação de tamanho de grupo que otimiza eficientemente o tamanho do grupo para cada camada dentro de um espaço de pesquisa tão grande. 
 
 
 
 
 
 Os autores: (1) Jaehyeon Moon, Universidade de Yonsei e Articron; (2) Dohyung Kim, Universidade de Yonsei; (3) Junyong Cheon, Universidade de Yonsei; (4) Bumsub Ham, autor correspondente da Universidade de Yonsei. Authors: (1) Jaehyeon Moon, Universidade de Yonsei e Articron; (2) Dohyung Kim, Universidade de Yonsei; (3) Junyong Cheon, Universidade de Yonsei; (4) Bumsub Ham, autor correspondente da Universidade de Yonsei. 
 
 Este artigo está disponível em arquivo sob a licença CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) Este documento é Licença CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International) available on arxiv Disponível em Arquivo

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

Este áudio é produzido no idioma original da história!

Por que os quantizadores uniformes quebram ViTs

About Author

COMENTARIOS

Rótulos

ESTE ARTIGO FOI APRESENTADO EM

Related Stories

Modelo Bitcoin UTXO, alimentando um ecossistema único

Digital Nomads Ouçam: O que você precisa saber sobre o novo visto DTV da Tailândia

O guia completo para uma migração bem-sucedida para a nuvem: estratégias e práticas recomendadas

Toque para ganhar: Telegram pode integrar os próximos 10 bilhões de usuários criptográficos antes de Solana

Modelo Bitcoin UTXO, alimentando um ecossistema único

Digital Nomads Ouçam: O que você precisa saber sobre o novo visto DTV da Tailândia

O guia completo para uma migração bem-sucedida para a nuvem: estratégias e práticas recomendadas

Toque para ganhar: Telegram pode integrar os próximos 10 bilhões de usuários criptográficos antes de Solana

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps