评估 · 2024
CRUD-RAG
按创建、读取、更新、删除四类文本任务评估 RAG，而不是只评估一次问答。
要解决的问题
问答分数看不出系统能不能续写、能不能改正已有文本，以及能不能把长文压成短摘要。
相对前一代的变化
RGB 测的是噪声、拒答和反事实。CRUD-RAG 借用数据库里的四个名字给文本任务分组。这里的删除指摘要，不是从知识库删掉文档。
做法
Lyu 等人用中文新闻建库。创建看续写，读取看问答，更新看纠正已有文本里的错误，删除看把多篇文档摘要成更短的文本。
局限
这四个名字是任务分类，不能说明索引有没有跟上文档增删。它是中文新闻基准，换领域后分数不能照搬。
在链路中的位置
用来补单一问答基准，验收不同文本操作下的检索增强生成。