¡Ejecute Llama sin GPU! LLM cuantificado con LLMWare y Quantized Dragonpor@shanglun
997 lecturas

¡Ejecute Llama sin GPU! LLM cuantificado con LLMWare y Quantized Dragon

2024/01/07
12m
por @shanglun 997 lecturas
tldt arrow
ES
Read on Terminal Reader

Demasiado Largo; Para Leer

A medida que los recursos de GPU se vuelven más limitados, la miniaturización y los LLM especializados están ganando importancia lentamente. Hoy exploramos la cuantización, una técnica de miniaturización de vanguardia que nos permite ejecutar modelos de altos parámetros sin hardware especializado.
featured image - ¡Ejecute Llama sin GPU! LLM cuantificado con LLMWare y Quantized Dragon
Shanglun Wang HackerNoon profile picture

@shanglun

Shanglun Wang

Quant, technologist, occasional economist, cat lover, and tango organizer.


Credibility

react to story with heart

HISTORIAS RELACIONADAS

L O A D I N G
. . . comments & more!