无需 GPU 即可运行 Llama!使用 LLMWare 和 Quantized Dragon 进行量化 LLM经过@shanglun
1,205 讀數

无需 GPU 即可运行 Llama!使用 LLMWare 和 Quantized Dragon 进行量化 LLM

2024/01/07
12m
经过 @shanglun 1,205 讀數
tldt arrow
ZH
Read on Terminal Reader

太長; 讀書

随着 GPU 资源变得更加有限,小型化和专业法学硕士正在慢慢受到重视。今天我们探索量化,这是一种尖端的小型化技术,使我们能够在没有专门硬件的情况下运行高参数模型。
featured image - 无需 GPU 即可运行 Llama!使用 LLMWare 和 Quantized Dragon 进行量化 LLM
Shanglun Wang HackerNoon profile picture

@shanglun

Shanglun Wang

Quant, technologist, occasional economist, cat lover, and tango organizer.


Credibility

react to story with heart

相關故事

L O A D I N G
. . . comments & more!