clvin's recent timeline updates clvin's recent timeline updates |
clvinV2EX member #517591, joined on 2020-11-16 09:24:06 +08:00 |
clvin's recent replies
Aug 12, 2024 Replied to a topic by ddvswgg › Local LLM › 关于在本地部署开源模型的一些问题请教 |
1. 40G 可以跑 7B 的模型。
2. ollama 是比较方便的部署方式，如果想并发性能更好一些，可以使用 vllm 来推理。
3. 熟练的话就很快，不熟的话照着文档来部署。
4. ollama 和 vllm 都支持兼容 openai API 接口，就是 http 调用。
5. 上 RAG 可以使用集成好的框架，比如 dify 之类的。
6. 上 RAG 的话，还需要 EMBEDDING 和 RERANK 的模型，具体可以看 dify 的文档。
2. ollama 是比较方便的部署方式，如果想并发性能更好一些，可以使用 vllm 来推理。
3. 熟练的话就很快，不熟的话照着文档来部署。
4. ollama 和 vllm 都支持兼容 openai API 接口，就是 http 调用。
5. 上 RAG 可以使用集成好的框架，比如 dify 之类的。
6. 上 RAG 的话，还需要 EMBEDDING 和 RERANK 的模型，具体可以看 dify 的文档。
Jun 24, 2024 Replied to a topic by TriiHsia › 分享创造 › 🌼 BalmyTime 一款跨平台的休息提醒 & 屏幕时间工具，欢迎体验 |
求一个码，谢谢~ aGNsdmluQGdtYWlsLmNvbQ==
Select Language