 |
mythabcV2EX 第 165026 号会员，加入于 2016-03-27 12:40:20 +08:00今日活跃度排名 16779 |
mythabc 最近回复了
5 天前 回复了 Legman 创建的主题 › Local LLM › 咨询 GPU 服务器方案 |
8 卡 4090 48G 性价比之选
17 天前 回复了 calyiw 创建的主题 › 生活 › 你们想要爱情吗，达到什么程度？ |
想要，和想要共产主义乌托邦一样想要。
42 天前 回复了 DissDoge 创建的主题 › 职场话题 › 1.27 号还在打卡上班的朋友们，我们击掌。 |
击掌(〃￣︶￣)人(￣︶￣〃)
别做开发，做算法。趁现在 llm 的风头还在，理论物理在这方面完全等同于科班。
47 天前 回复了 CC11001100 创建的主题 › 程序员 › 手贱拿大模型试了下最近一次的 LeetCode 周赛，道心破碎了，成仙路已断，前路在何方？ |
积极拥抱变化寻找出路，不要再钻研代码细节。
（上回发了个 cursor 的帖子，还有人说我广告，时代都变了感觉 v2 有一帮冥顽不灵的人）
（上回发了个 cursor 的帖子，还有人说我广告，时代都变了感觉 v2 有一帮冥顽不灵的人）
49 天前 回复了 mythabc 创建的主题 › 程序员 › cursor 为什么没有带火 [带鱼屏] |
@sunny352787 来张图
71 天前 回复了 luoxiaojian 创建的主题 › 优惠信息 › [工行] 2 元微信立减金，目前必中
任务中心——一岁一礼 登陆融 e 行 |
没中奖。。。
90 天前 回复了 mrjnamei 创建的主题 › 职场话题 › 裁员了，裁员了，裁员了 |
接裁神
98 天前 回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助 |
1. 为什么单张可用 60%？ 把其他任务都集中到 4 张显卡上，剩余 4 张用于跑 72b-awq 。多卡不建议超过 4 张，因为通信成本。
2. vllm 支持量化模型的。生产上用的最多的就是 vllm ，然后是 sglang （但是个人体感 sglang 比 vllm 稳定一些，因为版本都在不断迭代，所以仅是时效性的使用感受）。ollama 基于 llama.cpp ，这个项目最初就是用于在资源有限环境把模型 offload 到内存里跑起来的，一般就是个人玩具使用。
3. 喜欢一键的话，可以试一下 xinference ，有 docker 镜像，挺好用。
4. web 方案其实是各种 web client + openai style api ，各个推理引擎以 openai style api 将接口提供出来，兼容各类应用。
2. vllm 支持量化模型的。生产上用的最多的就是 vllm ，然后是 sglang （但是个人体感 sglang 比 vllm 稳定一些，因为版本都在不断迭代，所以仅是时效性的使用感受）。ollama 基于 llama.cpp ，这个项目最初就是用于在资源有限环境把模型 offload 到内存里跑起来的，一般就是个人玩具使用。
3. 喜欢一键的话，可以试一下 xinference ，有 docker 镜像，挺好用。
4. web 方案其实是各种 web client + openai style api ，各个推理引擎以 openai style api 将接口提供出来，兼容各类应用。
106 天前 回复了 yilon 创建的主题 › 职场话题 › 技术和业务需求哪个牛逼？ |
懂业务的技术和懂技术的业务牛逼。
Select Language