🙏🏻🙏🏻🙏🏻我是个小公司桌面运维，老板让我给他开发个 AI 大模型……

[oColtono]

如题
我在一家非 IT 行业的公司干桌面运维，说是运维其实啥都干，简单的服务器运维、直播推流、摄影摄像等等。老板基本上是个技术盲，在他眼里，技术相关的问题我全知道。

他想要有一个 AI ，把一位哲学家（比较小众）的文集通读一遍（大概 40 万字）。然后扮演这位哲学家，充当聊天机器人。这个聊天机器人的用户量估计不会太高（小众圈子里面流传一下），最多也就 1000 人左右（并发可能就 30 人以内）。

我说我干不来，他表示让我至少给个方案，适当招两个人，或者找人外包都行。

从头搞个 AI 模型我猜是不可能的，我大概想法是租个云服务器，给 Llama 3 或类似的开源模型喂点数据，然后套个前端。

希望懂行的朋友告诉我一下我的想法是否可行？以及这个事情工作量大不大。如果可行的话，我就去着手研究一下怎样微调 Llama 3 ，然后给老板一个方案。

[luoyuan2018]

阿里云的百炼就可以满足需求了。

[jesse10]

最简单的，建一个 gpts ，把文集上传上去，写好 prompt 就行了。

[karnaugh]

coze dify gpts 类似的功能随便搞一个就行咯

[flmn]

这是简单啊，你去找个懂行的外包出去，还能吃回扣。

[TArysiyehua]

外包给我呗，我接，私聊我

[FgHh07ObvBiST5po]

楼主留给联系方式, 和你沟通方案

[oColtono]

@iloveayu #60 hhh ，老板原话确实是让我找两个人跟我一起开发。我自己翻译了一下他的话，他的需求应该是一个套壳就能满足了

[cexll]

@nyw17 #34 数据量太大了 RAG 响应会很慢

[cexll]

给楼主几个可行方案
闭源大模型 or 开源大模型
1.如果你选择闭源大模型， 基本上只能使用 RAG 相关的技术，就是提前将数据给量化放在量化数据库，使用一些 python 库 例如(langchain or llama_index)， 在 API 请求之后将用户内容放量化数据库去 search 然后再给到 LLM(大模型) 去推理，中间的延迟如果能过接受的话， 这个方案是最简单的。
2.选择开源大模型，你会有两个方案 本地部署 or 使用 API ，本地部署你要考虑的东西就非常多，其实不是特别推荐，可以选择一些能过使用自己提交 LLM 的平台进行部署在平台上，这样就可以微调大模型，将你的数据 write 进入大模型中，这样就不会有 RAG 方案那么高的延迟，但是这个方案就需要你去了解大模型微调，相对技术难度更高。
上面很多人推荐的我都看过了 GraphRAG 太费钱了 现目前根本无法商用的
买两块 4090 的也不太科学 首先是性能并不好 其次是价格 另外买不买得到的问题，我推荐直接用各种平台的显卡，用多久 扣多少钱

[iyaozhen]

你用 coze 搭一个吧

[oColtono]

@cexll #109 谢谢，我看了上面各位老哥的建议，原本已经开始研究 RAG 了。谢谢你的建议，考虑到 RAG 的延迟和价格，我会再琢磨一下 LLM 微调，看自己是否能搞定

[xidianwubo12138]

直接调用微软的 api 好了，或者买其他国内的 api ，套一个壳就行，便宜还省事

[Meteora626]

说只用 RAG 的绝对没做过大模型。。。只根据 40w 字书籍来回答问题用 RAG 确实没问题，但是说话逻辑完全不一样。建议楼主用 gpt4-turbo 构建一些哲学家语气的语料，微调一下模型再做 rag ，40w 数据现在向量库轻松应付，百万块也是毫秒级响应，不用纠结速率。

[Rollie]

请教 这个工作去哪找

[jgh004]

弄好方案分享一下啊，我也去忽悠我老板。

[janrone]

dd 提供现成服务，支持接入微信机器人 wx：YmVnaW4zNQ==

[Emiya1208]

能拉我进你们公司嘛？你老板感觉是个人啊（这是褒义，现在不当人的太多了

[Jay628]

别把问题复杂化，ollama+docker 搭一套大模型

[janrone]

@janrone 也可以提供私有部署，还可以先给你训练一个机器人看看效果。

其他小伙伴有需求也可以联系我