评估 · 2023
RGB 基准
分开测量模型在有噪声、有反事实和需要拒绝时，还能否用好检索结果。
要解决的问题
只看最终问答分数，看不出模型是不会忽略噪声，还是不会在资料不足时停下来。
相对前一代的变化
忠实度是一个指标。RGB 把检索增强生成拆成噪声鲁棒性、拒答、信息整合和反事实鲁棒性四项能力。
做法
Chen 等人构造测试集，控制检索结果里有多少噪声、是否包含与事实相反的段落，以及答案是否需要综合多段。
局限
基准里的噪声和反事实是人工构造的，和真实知识库里的错误分布不完全一样。
在链路中的位置
用来验收生成器在检索结果不干净时的行为。