 |
coefuV2EX 第 616381 号会员，加入于 2023-02-28 17:15:35 +08:00 |
coefu 最近回复了
1 天前 回复了 JoeJoeJoe 创建的主题 › 信息安全 › 使用 AI 中转站会不会泄漏自己的敏感信息?中转站如果给返回一些恶意信息怎么办?有用 AI 中转站的佬来分享下吗? |
2 天前 回复了 sslzjx 创建的主题 › 生活 › 明天去见女方家长,这套配置怎么样 |
@Fish1024 论嘴臭，还得是你小子，哈哈，😄
3 天前 回复了 davidyin 创建的主题 › Local LLM › 如何在 vs code 上应用自建的 ollama 模型 |
@davidyin 搞是能搞成的，工程角度来看，是有办法的，只是麻烦。你自己要学一堆东西先。你这种需求，不是共性需求，没人造轮子的。
3 天前 回复了 diudiuu 创建的主题 › Local LLM › [求助] DGX Spark 上 Ollama 推理极慢，改用 llama.cpp 部署是否更合适？ |
3 天前 回复了 diudiuu 创建的主题 › Local LLM › [求助] DGX Spark 上 Ollama 推理极慢，改用 llama.cpp 部署是否更合适？ |
@diudiuu #5 我几百块的成本捡的垃圾，都组了一个智能密度看起来还可以的♾️tokens 。只是有时候慢一点。😄
3 天前 回复了 diudiuu 创建的主题 › Local LLM › [求助] DGX Spark 上 Ollama 推理极慢，改用 llama.cpp 部署是否更合适？ |
@diudiuu #5 不差钱的话，全都买啊。mac studio m3 ultra 要是不搞 512g mem ，意义不大，顶配要 10w ，比 dgx spark 贵太多了。如果预算有限，就 dgx spark 咯？反正现在小模型的智能密度很高了。你要专业性和准确性的话，用 rag 提升，当前 ocr 和 rerank 都发展的不错了。
mac studio m3 ultra 可以串起来，组一个 1T mem 的组合 跑 671B 的 deepseek 。不差钱儿的话，这个肯定更好。
mac studio m3 ultra 可以串起来，组一个 1T mem 的组合 跑 671B 的 deepseek 。不差钱儿的话，这个肯定更好。
3 天前 回复了 diudiuu 创建的主题 › Local LLM › [求助] DGX Spark 上 Ollama 推理极慢，改用 llama.cpp 部署是否更合适？ |
3 天前 回复了 neteroster 创建的主题 › Apple › Macbook Neo |
@unneeded #2 吝啬这一块，还得是 apple 。
3 天前 回复了 cat9life 创建的主题 › Local LLM › qwen3.5 过度思考的问题 |
@cat9life #5 你集成的 gpu tensor core 和 gmem bandwidth ，肯定其中有一个是瓶颈，或者两个都是。
3 天前 回复了 cat9life 创建的主题 › Local LLM › qwen3.5 过度思考的问题 |
@cat9life #5 我刚才加上了 open-webui ，然后在里面让它读网页 URL ，确实耗时一点，但是真能读。并且内容分析的还可以，中规中矩，没有胡说八道。确实很夯了。
Select Language