mmjy 最近的时间轴更新 mmjy 最近的时间轴更新 |
mmjyV2EX 第 638389 号会员，加入于 2023-07-13 13:20:17 +08:00今日活跃度排名 653 |
mmjy 最近回复了
16 天前 回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助 |
vllm 文档是有量化实验特性支持的，可以试试好不好用： https://docs.vllm.ai/en/latest/quantization/auto_awq.html
Select Language