跑 Qwen2.5 72B 8 位量化的电脑配置

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 80 天前的主题，其中的信息可能已经有所发展或是发生改变。

请教一下，跑 Qwen2.5 72B 8 位量化的电脑配置，内存需要多少？

跑起来要几张 4090 ？，最快能生成几个 token 每秒呢？

1 条回复 • 2024-10-09 09:21:49 +08:00

jifengg

80 天前

有个粗略估计，int8 的，正好是 1B=1GB ，所以你这个需要至少 72G 的显存，注意是显存，而且是至少。
内存要求不大，但是 32G 应该也是至少的。