Execute o Llama sem GPU! LLM Quantizado com LLMWare e Dragão Quantizadopor@shanglun
1,032 leituras

Execute o Llama sem GPU! LLM Quantizado com LLMWare e Dragão Quantizado

2024/01/07
12m
por @shanglun 1,032 leituras
tldt arrow
PT
Read on Terminal Reader

Muito longo; Para ler

À medida que os recursos da GPU se tornam mais limitados, a miniaturização e os LLMs especializados estão lentamente ganhando destaque. Hoje exploramos a quantização, uma técnica de miniaturização de ponta que nos permite executar modelos de altos parâmetros sem hardware especializado.
featured image - Execute o Llama sem GPU! LLM Quantizado com LLMWare e Dragão Quantizado
Shanglun Wang HackerNoon profile picture

@shanglun

Shanglun Wang

Quant, technologist, occasional economist, cat lover, and tango organizer.


Credibility

react to story with heart

HISTÓRIAS RELACIONADAS

L O A D I N G
. . . comments & more!