oldfans 最近的时间轴更新
oldfans

oldfans

V2EX 第 146001 号会员,加入于 2015-11-06 00:17:29 +08:00
今日活跃度排名 12629
oldfans 最近回复了
23 天前
回复了 fid 创建的主题 Local LLM 8x4090 离线部署 Qwen2.5 求助
Ollama 是 llama.cpp 的一个前端。

llama.cpp 支持多 GPU ,但不支持张量并行,单一并发同时只有一张卡在跑,多卡还有通信的开销,所以会比单卡还慢(前提是单卡的显存足够放模型)。

vLLM 支持在多卡上推理量化模型。

4-bit 的 Qwen2.5 72B 应该比未量化的 Qwen2.5 32B 要好。

Qwen2.5 可以试试用同系列的小参数量模型做推测解码( Speculative decoding ),应该会快不少。
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1383 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 15ms · UTC 17:37 · PVG 01:37 · LAX 09:37 · JFK 12:37
Developed with CodeLauncher
♥ Do have faith in what you're doing.