Quantização de Modelos em Redes Neurais Profundaspor@aibites
1,398 leituras

Quantização de Modelos em Redes Neurais Profundas

2023/09/25
6m
por @aibites 1,398 leituras
tldt arrow
PT
Read on Terminal Reader

Muito longo; Para ler

A quantização é o processo de conversão de valores de uma faixa contínua em um conjunto menor de valores discretos, frequentemente usado em redes neurais profundas para aumentar a velocidade de inferência em vários dispositivos. Essa conversão envolve o mapeamento de formatos de alta precisão, como float32, para formatos de baixa precisão, como int8. A quantização pode ser uniforme (mapeamento linear) ou não uniforme (mapeamento não linear). Na quantização simétrica, zero na entrada é mapeado para zero na saída, enquanto a quantização assimétrica muda esse mapeamento. O fator de escala e o ponto zero são parâmetros cruciais para a quantização, determinados através de calibração. Os modos de quantização incluem Post Training Quantization (PTQ) e Quantization Aware Training (QAT), com QAT oferecendo melhor precisão do modelo por meio de ajuste fino. Envolve o uso de quantizadores falsos para tornar a quantização compatível com a diferenciabilidade necessária para o ajuste fino.
featured image - Quantização de Modelos em Redes Neurais Profundas
Shrinivasan Sankar HackerNoon profile picture

@aibites

Shrinivasan Sankar

I am an AI Reseach Engineer. I was formerly a researcher @Oxford VGG before founding the AI Bites YouTube channel.

react to story with heart
Shrinivasan Sankar HackerNoon profile picture
by Shrinivasan Sankar @aibites.I am an AI Reseach Engineer. I was formerly a researcher @Oxford VGG before founding the AI Bites YouTube channel.
Read my stories

HISTÓRIAS RELACIONADAS

L O A D I N G
. . . comments & more!