架构 · 2022
Atlas
检索器和语言模型一起微调，使少量标注就能完成知识密集型任务。
要解决的问题
冻结的检索器不一定会找出对这个生成模型有用的段落。只训练生成器，检索错误仍然传下去。
相对前一代的变化
FiD 侧重如何阅读多段证据。Atlas 在 FiD 式阅读器之外，把检索器也放进同一套少样本训练。
做法
Izacard 等人用检索到的文档作为潜变量，联合更新检索和生成。模型可以在很少的任务样本上适应开放域问答等任务。
局限
需要可训练的检索器和阅读器，不适用于只提供接口的模型。任务和索引一变，联合训练的收益就要重做。
在链路中的位置
位于稠密检索和 Fusion-in-Decoder 之后，代表检索器与生成器一起训练的路线。