都博客了，直接自己维护个 rss list 吧，减少噪声

@cexll #1 你没改动哪来的新 commit hash 。再说没改动的话，也不存在需要保护的信息

试了一圈，国内地区大部分都是不可用的
这个还行 1 毛一条，但跑不跑路就不知道了
aff 链接如下
http://h5.yezi66.net:90/invite/1304063

如果需求只是 steam 串流，有啥推荐吗

@CNYoki #2 就是后端问题，ollama 是依赖 llama.cpp 的吧，llama.cpp 只能模型并行，不能提升 token 速度。用 vllm 。

@zqqian #13
FastGPT ，感觉是满足功能需求的最轻的选择了。问题的话，还是存在一些小 bug ，然后看上去他们社区版维护的比较随意。

@wanwaneryide #22 +1 ，那么多大水管镜像站

猫扇猫扇猫扇 还是猫扇

@kangfenmao #41 感觉做 chatbot 前端产品已经很红海了，这种桌面端应该是和 chatall 一个生态位。chatall 现在还不能自定义 endpoint ，不能图片 langchain 等交互。加油

印象类似的产品不少吧，感觉速度都感人

@wm5d8b #11 12G 算上量化只能部署个 9B 的模型吧。只能说离“能用”还有很大距离

@echoless #6 你可以关注下 siliconflow ，最近上了 embedding ，后面会上 rerank 。

@echoless #6 有的是开源的，有的不是

@lixen9 #3 谢谢 试了一圈 fastgpt 确实是最好上手的。看了下小规模使用下，开源版本没啥问题，就是配置系统比较麻烦 XD

@mumbler #1 谢谢，这个方案看上去限制蛮多的，付费了也只有 8b 的模型。我们已经有 embedding, rerank, chat 的完整 api 服务了。

个人机器无所谓。
scale 到大型数据中心这个场景来讨论，内存错误就是常见的错误。
直接上数据，阿里云上二十五万台服务器在八个月时间里，有三万多台机器出现 CE 内存错误（七千万多次）。UE 导致的 failure 有三千多的工单。

@SlanWyf #10 没有那么多场景需要频繁改动 rules 的，vim is all u need