评估 · 2026
生成器能力评测
在资料已经给定时，单独测量模型会不会整合、推理、读表和拒绝回答。
要解决的问题
端到端分数把检索失败和生成失败混在一起。检索已经把证据放进上下文后，模型仍可能忽略表格、推错关系，或在没有证据时照样作答。
相对前一代的变化
忠实度问答案是否被上下文支持。LIT-RAGBench 把生成器拆成整合、推理、逻辑、表格和弃权五项，并用虚构实体避免模型靠参数记忆得分。
做法
Itai 等人编写了 114 道人工日文题和经过人工校对的英文译本。资料随题给出，评分使用模型评判。他们测到的接口模型和开源模型，总准确率都没有超过 90%。
局限
题目数量少，而且先用日文撰写。它衡量的是证据已给定时的阅读能力，不能代替检索评测。
在链路中的位置
位于检索之后，专门验收生成器，而不是整条 RAG 流水线。