 |
kennylam777V2EX 第 90581 号会员，加入于 2015-01-08 01:22:38 +08:00 |
kennylam777 最近回复了
23 小时 1 分钟前 回复了 ShadowPower 创建的主题 › 程序员 › 体验了 Qwen2.5 Coder 32B 之后，我觉得本地 LLM 能用了 |
@yanyuechuixue 你是問 exl2 的量化吧? 我用這個, bartowski 家的 exl2 量化很多。
https://huggingface.co/bartowski/Qwen2.5-Coder-32B-Instruct-exl2
這種 model 應該大家都用的 Instruct 版, Base model 沒 SFT 過應該不好用。
@glcolof 我在 Windows 跑 4.25b 量化, 20K 是沒問題的, 節省其他開銷的話可能 30K 也行, 但我也沒調過 YARN 就是了。
https://huggingface.co/bartowski/Qwen2.5-Coder-32B-Instruct-exl2
這種 model 應該大家都用的 Instruct 版, Base model 沒 SFT 過應該不好用。
@glcolof 我在 Windows 跑 4.25b 量化, 20K 是沒問題的, 節省其他開銷的話可能 30K 也行, 但我也沒調過 YARN 就是了。
1 天前 回复了 ShadowPower 创建的主题 › 程序员 › 体验了 Qwen2.5 Coder 32B 之后，我觉得本地 LLM 能用了 |
@sampeng 有道理, 即使工作上要 deploy LLM 也應該優先選擇 ChatGPT/Claude API 按量付費。
但對於本來就有 4090 和 3090 用來玩遊戲的我, Local AI 就是用來榨出現有硬件價值的玩法。
我相信 Apple Silicon 的玩法也是一樣的, 本來就會買一台機來用, 看到免費的 LLM 拿來用起碼不必多訂閱一個服務。
但對於本來就有 4090 和 3090 用來玩遊戲的我, Local AI 就是用來榨出現有硬件價值的玩法。
我相信 Apple Silicon 的玩法也是一樣的, 本來就會買一台機來用, 看到免費的 LLM 拿來用起碼不必多訂閱一個服務。
1 天前 回复了 ShadowPower 创建的主题 › 程序员 › 体验了 Qwen2.5 Coder 32B 之后，我觉得本地 LLM 能用了 |
@SoulSleep 你這種 use case 是 Ops 選錯方案啦, 租用雲 GPU 不是都為了 fine-tuning 嗎? 用完趕快關掉的那種, 6K 月費夠你買私有硬件了吧。當初沒調研過用量嗎?
1 天前 回复了 ShadowPower 创建的主题 › 程序员 › 体验了 Qwen2.5 Coder 32B 之后，我觉得本地 LLM 能用了 |
@m1nm13 nat1 這種沒標準化過的 jargon 也太欺負 LLM 了吧? Local AI 應該用在 code review 一類 RAG 的用途會比較好。
1 天前 回复了 ShadowPower 创建的主题 › 程序员 › 体验了 Qwen2.5 Coder 32B 之后，我觉得本地 LLM 能用了 |
@spike0100 Apple Silicon + 24GB 應該能跑 GGUF q3 吧, q4 可能也可以但有點勉強
1 天前 回复了 ShadowPower 创建的主题 › 程序员 › 体验了 Qwen2.5 Coder 32B 之后，我觉得本地 LLM 能用了 |
剛測了一下, 4090 跑 Qwen2.5 32B coder exl2 4.25b 量化, 速度約 32tokens/s, 配 VSCode Continue 能做不錯的"explain this code to me", Custom OpenAI API
之後用真實的任務試試看, 至少現在知道 4bit 配 Continue 直接能用, 希望有時間能比較一下 8bit 量化的分別
之後用真實的任務試試看, 至少現在知道 4bit 配 Continue 直接能用, 希望有時間能比較一下 8bit 量化的分別
1 天前 回复了 ShadowPower 创建的主题 › 程序员 › 体验了 Qwen2.5 Coder 32B 之后，我觉得本地 LLM 能用了 |
@yanyuechuixue Windows 的 shared VRAM 是能跑 LLM, 但超過了 dedicated VRAM 後性能會大幅下降, 得不償失
1 天前 回复了 ShadowPower 创建的主题 › 程序员 › 体验了 Qwen2.5 Coder 32B 之后，我觉得本地 LLM 能用了 |
@spkingr 淘寶上的 P40 很便宜, 組兩張應該能跑 32B 8bit 量化, 舊 N 卡的量化選擇應該比 Apple Silicon 多, 也可以跑 fine-tuning 雖然比 3090 慢就是了
1 天前 回复了 ShadowPower 创建的主题 › 程序员 › 体验了 Qwen2.5 Coder 32B 之后，我觉得本地 LLM 能用了 |
@ShadowPower 哈哈剛發帖就看到配置了, 雙 3090 跑 8bit 量化感覺 VRAM 很充裕, 多出的 VRAM 就用來撐起 context length,
我記得之前用 Qwen 2.5 32B 8bit 量化, 在雙 3090 設成 20K 也沒問題, 如今 Coder 版應該能盡用更大的 context window
我記得之前用 Qwen 2.5 32B 8bit 量化, 在雙 3090 設成 20K 也沒問題, 如今 Coder 版應該能盡用更大的 context window
1 天前 回复了 ShadowPower 创建的主题 › 程序员 › 体验了 Qwen2.5 Coder 32B 之后，我觉得本地 LLM 能用了 |
樓主在本地用量化跑吧? 有試過用 Continue 一類 VSCode 插件來用嗎?
Select Language