评估 · 2023
ARES
用少量人工标注校准自动评判，再估计上下文相关性、忠实度和答案相关性。
要解决的问题
RAGAS 一类自动分数会随评判模型漂移。没有校准，不同系统和不同提示词的分数不好比较。
相对前一代的变化
RAGAS 直接用评判模型打分。ARES 先生成合成样本训练评判器，再用少量人工判断做预测驱动推断，给出置信区间。
做法
Saad-Falcon 等人用被评估的 RAG 系统自己产生正负样本，训练轻量评判器，然后只抽一小部分人工标注来校正分数。
局限
合成样本如果和真实错误不像，校准会失效。它评估的是代理指标，不是某一个业务里的最终正确率。
在链路中的位置
位于 RAGAS 之后，用来把自动评估变得可比较。