Cuantización de modelos en redes neuronales profundaspor@aibites
1,326 lecturas

Cuantización de modelos en redes neuronales profundas

2023/09/25
6m
por @aibites 1,326 lecturas
tldt arrow
ES
Read on Terminal Reader

Demasiado Largo; Para Leer

La cuantización es el proceso de convertir valores de un rango continuo a un conjunto más pequeño de valores discretos, que a menudo se utiliza en redes neuronales profundas para mejorar la velocidad de inferencia en varios dispositivos. Esta conversión implica mapear formatos de alta precisión como float32 a formatos de menor precisión como int8. La cuantificación puede ser uniforme (mapeo lineal) o no uniforme (mapeo no lineal). En la cuantificación simétrica, el cero en la entrada se asigna a cero en la salida, mientras que la cuantificación asimétrica desplaza esta asignación. El factor de escala y el punto cero son parámetros cruciales para la cuantificación, determinados mediante calibración. Los modos de cuantificación incluyen la cuantificación posterior al entrenamiento (PTQ) y el entrenamiento consciente de la cuantificación (QAT), y QAT ofrece una mejor precisión del modelo mediante un ajuste fino. Implica el uso de cuantificadores falsos para hacer que la cuantificación sea compatible con la diferenciabilidad requerida para el ajuste fino.
featured image - Cuantización de modelos en redes neuronales profundas
Shrinivasan Sankar HackerNoon profile picture

@aibites

Shrinivasan Sankar

I am an AI Reseach Engineer. I was formerly a researcher @Oxford VGG before founding the AI Bites YouTube channel.

react to story with heart
Shrinivasan Sankar HackerNoon profile picture
by Shrinivasan Sankar @aibites.I am an AI Reseach Engineer. I was formerly a researcher @Oxford VGG before founding the AI Bites YouTube channel.
Read my stories

HISTORIAS RELACIONADAS

L O A D I N G
. . . comments & more!