RAG 召回率低？可能是知识库分段没做好！求问大佬们的经验​

[larisboy]

各位做 RAG 的小伙伴们，最近在搞知识库的时候遇到个问题，想请教一下大家：

向量库召回率不太行，初步排查可能是知识库的分段方式有问题。比如，一段太长或者分段不合理，导致模型检索不到关键信息。

​想问大家几个问题​：

​1 、知识库文档一般用什么格式？​​ 比如纯文本、Markdown ，还是结构化 JSON ？哪种更适合 RAG ？
​2 、怎么分段比较合理？​​ 是按段落分，还是按章节分？有没有什么技巧能保证上下文连贯性？
​3 、如果文档里有代码、图表或者多模态内容，怎么处理？​​ 直接丢进去，还是得额外处理？目前我尝试​在 dify 中通过最大 4000tokens 进行分段，但效果不好，可能是因为上下文断了（ pdf 、Markdown 无法很好的分段，因为上下文是有关联的）。


有没有现成的分段策略可以参考？或者有没有工具/库能自动优化分段？欢迎分享！感谢大佬们～ 🙏

[dandankele]

1. 知识库的源文档可以是任何形式的文件，如 docx 、ppt 、pdf 等等，那么此时需要做第一步，将这些多种形式的、非结构化的数据转化为结构化的数据结构，如都统一转化为 markdown

2. 分段问题是整个工程里比较重要的且棘手的一项问题。要考虑分段大小是否匹配模型窗口、分段后上下文如何不丢失、语义不丢失等。。应该没有固定的一种手段。。要保证上下文的话，可以分段是保留一些重叠，或者构建知识图谱（这个又引入了复杂性）。。分段策略可以网上搜一下，一大堆资料，一些 rag 框架里也会自带的

3. 多模态的还没尝试过，也在研究。可以将图片也转化为文本描述，那么入库的都是文本了，后续检索也只需要根据文本检索，但这严重依赖文本的准确性，可能导致检索精度丢失。。另一种就是用多模态模型了，让图片向量与文本向量存储在同一空间里，直接做图文检索。。