如何让 RAG 产品不像直接调了大模型 API？

[wencan]

一直有一种声音，说 ai 开发就是调接口，或者就是调接口的人说自己在做 ai 开发。 这个我是无可奈何。

这阵子，花了很大时间去玩 rag ，采集数据，技术调研，先 dify ，后 llamaindex 。 昨天终于出了结果。然后我好奇，直接去原版大模型 web 问了一样的问题。立马诞生一个奇怪的念头：rag 的效果跟直接调了大模型 api 有什么分别？？

如果 rag 隐藏在产品逻辑中，界面上直接看不出来，还好。小白会觉得技术很牛逼。 如果也有一个聊天窗口，完了，小白会说：这不就是调了 ChatGPT 吗？我分分钟搞定。

所以，有什么好办法，让 rag 的输出，明显不同于直接调接口？要是小白一眼就看出不同的那种。

[cbythe434]

私有数据

[TimePPT]

相信我，正常用户根本不在乎你用了啥，只要好用就行。
你说的那些小白用户，其实是只知其然不知其所以然的嘴炮王者罢了

[mumbler]

我们用的方法是给出答案的出处，甚至给出具体引用的段落，证明回答的权威性，直接调用大模型做不到这一点

[wencan]

@TimePPT 假如你的客户是 B 端。B 端 BOSS 自以为“懂”那么一点技术，知道有 api 这回事。然后这 BOSS 还非常理智地去咨询他信任的一位技术人员。那技术人员也给出直接调 API 的答案。于是你的产品/服务就只值一毛钱。
在内地所谓的“新一线”、“全球研发城市中心”，这样的情况如果不发生，我会很惊讶。

[TimePPT]

@wencan toB 确实这点比较麻烦， 所以一般 API 包装的产品都卖不了高价，很多玩定制就是为了拉高客单价的，比如说 SFT+RLHF ，门槛不就高点了，再上个少样本自动挂 LORA 啥的 Feature ，还能再吹一波

[wencan]

@TimePPT 高级 rag ，能卖到什么价？