 |
zsj1029V2EX member #189266, joined on 2016-08-29 15:31:41 +08:00Today's activity rank 3514
 17  86  |
| LiteChat 轻量级本地大模型聊天 WebUI，支持 vLLM Local LLM • zsj1029 • 2h 0m ago • Lastly replied by Orangeee | 7 |
| 最牛的终端开源了 warp，用过的来说说 程序员 • zsj1029 • 4 days ago • Lastly replied by felixcode | 57 |
| qwen3.6 27b 本地编码测试 Local LLM • zsj1029 • 3 days ago • Lastly replied by zsj1029 | 62 |
| 鹦鹉又降价了，小太阳 200+了 宠物 • zsj1029 • Apr 28 • Lastly replied by drw | 5 |
| 上海入手二套改善住房 上海 • zsj1029 • Jan 28 • Lastly replied by jciba5n4y6u | 13 |
| 最近组了一台 pc，散热方案 问与答 • zsj1029 • May 7, 2025 • Lastly replied by zsj1029 | 8 |
| Cusror，自动删除有没有人遇到过 问与答 • zsj1029 • Dec 11, 2024 • Lastly replied by ulyssess | 2 |
| 有玩鸟的吗 宠物 • zsj1029 • Oct 26, 2024 • Lastly replied by greatghoul | 73 |
| 型号目标已定，关于新车还是二手的选择，大众威然 MPV 问与答 • zsj1029 • Aug 23, 2024 • Lastly replied by sgwk | 8 |
zsj1029's recent replies
36 mins ago Replied to a topic by Croow › OpenAI › 大佬们， 51 回来天塌了，还有便宜的 gpt plus 渠道吗？ |
x 上看到，中转站全部二级代理，黑产号，所以便宜，最近几家全部封堵漏洞，中转站不跑路的帖子全没了
2h 11m ago Replied to a topic by zsj1029 › Local LLM › LiteChat 轻量级本地大模型聊天 WebUI，支持 vLLM |
@FakerLeung 重新提交了，请再次尝试，应该是兼容 vercel 了
2h 35m ago Replied to a topic by zsj1029 › Local LLM › LiteChat 轻量级本地大模型聊天 WebUI，支持 vLLM |
@FakerLeung 原版用到了 pdf 解析，这个包确实很大的，vercel 我没部署过，我是 build 后，放入 nginx 静态代理的，看你的日志 build 成功了，部署 vercel 报错了，本地先 bun run build ，然后手动处理部署，再看看吧
20h 4m ago Replied to a topic by chaleaochexist › 问与答 › 上下班 单程 70 分钟 能做点什么? |
听王局油管
23h 39m ago Replied to a topic by zsj1029 › Local LLM › LiteChat 轻量级本地大模型聊天 WebUI，支持 vLLM |
1 day ago Replied to a topic by jieke0205 › 分享创造 › 刚刚 vibe 了一个 VS Code 插件：一键为 Claude Code 插件更换 provider |
支持试用一下
1 day ago Replied to a topic by missx › Apple › 写给苹果 CEO 库克的一封信 |
人家要退休了
2 days ago Replied to a topic by Hsinyao › MacBook Pro › 想买 MBP16 48+1T，有什么好渠道好价格推荐吗？ |
m5 pro 16 寸这个配置 pdd 不是 19999 吗 ，64g 的，2.4 多一点
3 days ago Replied to a topic by zsj1029 › Local LLM › qwen3.6 27b 本地编码测试 |
vllm serve \
/models/qwen3.6-27b-int4-autoround \
--max-model-len 131072 \
--kv-cache-dtype fp8_e5m2 \
--reasoning-parser qwen3 \
--max-num-seqs 3 \
--served-model-name Qwen3.6-35B-A3B-UD-Q4_K_M.gguf \
--quantization auto-round \
--enable-auto-tool-choice \
--max-num-batched-tokens 8192 \
--tool-call-parser qwen3_xml \
--enable-prefix-caching \
--trust-remote-code \
--speculative-config '{"method":"mtp","num_speculative_tokens":2}' \
--tool-call-parser qwen3_coder \
--gpu-memory-utilization 0.88 \
--dtype half \
--host 0.0.0.0 \
--port 8011
/models/qwen3.6-27b-int4-autoround \
--max-model-len 131072 \
--kv-cache-dtype fp8_e5m2 \
--reasoning-parser qwen3 \
--max-num-seqs 3 \
--served-model-name Qwen3.6-35B-A3B-UD-Q4_K_M.gguf \
--quantization auto-round \
--enable-auto-tool-choice \
--max-num-batched-tokens 8192 \
--tool-call-parser qwen3_xml \
--enable-prefix-caching \
--trust-remote-code \
--speculative-config '{"method":"mtp","num_speculative_tokens":2}' \
--tool-call-parser qwen3_coder \
--gpu-memory-utilization 0.88 \
--dtype half \
--host 0.0.0.0 \
--port 8011
Select Language