生成 · 2023
引用归因
答案里的每句话标出它依据的是哪一段检索结果。
要解决的问题
只在文末放一堆链接,读者无法判断哪一句真的来自哪份资料。
相对前一代的变化
忠实度是评价标准。引用归因要求生成时就给出可核对的对应关系,并可以用支持度和引用准确率来打分。
做法
ALCE 让模型在长答案中插入引用,再检查引用是否能支持那句话、是否该引却没引。实现上通常给每个段落编号,要求模型在句末标出编号。
局限
模型会给一句没有被支持的话贴上一个看起来相关的编号。引用格式正确,不等于内容忠实。
在链路中的位置
在生成答案的同时发生,验收则落到忠实度和引用指标上。