RAG 系统如何做 Evaluation 呢

[v3rocket]

想和各位大神请教一下，RAG 系统都怎么做 evaluation 呢? 如果创建 golden dataset 呢？ 尤其是海量文档的情况下。

可以付费请教!

[Latin]

https://github.com/explodinggradients/ragas

https://evalscope.readthedocs.io/zh-cn/latest/blog/RAG/RAG_Evaluation.html

[Asimov01]

也是我困惑的问题，关注一下，等大佬

[wuyazuofeiji]

ragas

[Zhuzhuchenyan]

我司很粗犷的，有新的变化之后直接灰度给所有使用者然后对比使用者在多个版本之间的满意度的差异
专门分了一个人做生产环境的数据采集+分析

[Asimov01]

@Zhuzhuchenyan 粗暴但合理，直接让用户做 A/B Test 。但是在正式上线之前怎么做一个合格的效果评估，还是挺重要的，否则就没有用来做 A/B Test 了 😂

[Zhuzhuchenyan]

@Asimov01 我们是给公司内部员工使用的，所以不担心用户问题，不过免不了一些批评的声音了。