MidSearch：一个基于 ChatGPT 的文档搜索引擎

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

爱意满满的作品展示区。

这是一个创建于 584 天前的主题，其中的信息可能已经有所发展或是发生改变。

背景

如果大家做过开源项目或者在公司内部为其他部门提供服务，就会发现一个问题，很多用户并不会好好看文档而是直接咨询答疑人员。这种情况可能是用户的信息检索能力有限，也有可能是文档组织混乱，难以供用户检索。因此，如果能够将文档投喂给 ChatGPT ，让 ChatGPT 生成答案，能够大大减少答疑人员的工作量。

基于文档的聊天机器人方案其实已经有很多了，包括但是不限于 Langchain 、LlamaIndex 、闻达，遗憾的是无法满足下面的需求：

API：提供基于 HTTP 的 API 就能够将服务端和文档更新脚本部署在不同的机器
支持删除：删除操作需要给每个文档设置唯一 ID ，所以他们实际上没办法支持删除文档
问题记录：记录下用户提问、用户对回答的评价、生成回答使用的上下文，方便后续优化文档

项目介绍

项目起名为 MidSearch （ https://github.com/gorse-io/midsearch ），意思为从聊天机器人到搜索引擎的中间件。MidSearch 的工作量和其他 ChatDocs 产品没有什么区别。首先将文档导入到 Postgres 中，文档给会被分割并向量化。当收到用户提问的时候，首先将问题向量化，在 Postgres 中找到向量距离最近的几篇文档，最后将文档和问题发给 ChatGPT 生成最终的回答。