评估 · 2024
RAGTruth
用人工标到词级的 RAG 回答语料，测量检索之后仍然出现的幻觉。
要解决的问题
模型即使拿到了资料，仍会写出资料里没有或与资料相反的话。没有词级标注，就很难比较检测器。
相对前一代的变化
忠实度指标给出一个总分。RAGTruth 提供将近一万八千条真实 RAG 回答，以及幻觉出现在哪些词上的人工标注。
做法
Niu 等人收集多种模型和多种任务的检索增强回答，标注幻觉强度和位置。小模型可以在这个语料上微调，用来检测幻觉。
局限
语料反映的是标注当时的模型和提示词。新模型的幻觉样式可能不在里面。
在链路中的位置
不参与生成，用来训练和比较幻觉检测器。