生成 · 2024
RankRAG
同一个模型既给段落排序，也根据排好的段落生成答案。
要解决的问题
重排序模型和生成模型分开训练，排序目标不一定是「这段能不能帮助最后的回答」。
相对前一代的变化
交叉编码器只输出相关分。RankRAG 用指令微调让一个大模型同时学会上下文排序和回答。
做法
Yu 等人在少量排序数据之外，用问答和指令数据微调模型。推理时模型先判断哪些上下文该留下，再生成答案。
局限
需要微调。闭源接口只能模仿这个流程，不能得到论文里的同一个模型。
在链路中的位置
把重排序并进生成模型，而不是在生成前另接一个排序器。