架构 · 2023
RA-DIT
分别微调语言模型和检索器，使两者都为检索增强服务，而不必从零预训练。
要解决的问题
REPLUG 几乎不改模型。RETRO 又要从零训练。已有的大模型需要一条介于两者之间的适应路线。
相对前一代的变化
Atlas 把检索和生成绑在同一套少样本训练里。RA-DIT 用指令数据分别更新阅读模型和双编码器检索器。
做法
Lin 等人让语言模型学会阅读检索到的段落，同时让检索器把对回答有用的段落排到前面。两部分都可以从已有模型出发微调。
局限
仍然需要训练数据和可更新的检索器。只拿到闭源生成接口时，读模型这一半做不了。
在链路中的位置
位于黑盒融合和从零训练之间，是检索器与生成器双双适应的路线。