生成 · 2023

引用归因

答案里的每句话标出它依据的是哪一段检索结果。

常用 · 使用现成模型

要解决的问题

只在文末放一堆链接,读者无法判断哪一句真的来自哪份资料。

相对前一代的变化

忠实度是评价标准。引用归因要求生成时就给出可核对的对应关系,并可以用支持度和引用准确率来打分。

做法

ALCE 让模型在长答案中插入引用,再检查引用是否能支持那句话、是否该引却没引。实现上通常给每个段落编号,要求模型在句末标出编号。

局限

模型会给一句没有被支持的话贴上一个看起来相关的编号。引用格式正确,不等于内容忠实。

在链路中的位置

在生成答案的同时发生,验收则落到忠实度和引用指标上。