架构 · 2021
RETRO
从零训练一个会在生成中途检索万亿词符语料的模型。
要解决的问题
把全部知识都放进参数，模型要更大。把检索只放在推理提示词里，又用不上训练阶段的检索。
相对前一代的变化
REALM 在预训练时检索。RETRO 改了解码器结构，生成每个块时都能注意检索到的邻块，并且语料规模到了万亿词符。
做法
Borgeaud 等人把训练语料分成块，用前面的块检索相似块及其后文。模型在指定层把这些检索结果融进当前生成。
局限
要从零训练，不能套在已有的闭源模型上。检索数据库和模型结构绑在一起，换语料的成本高。
在链路中的位置
与后来的提示词 RAG 并列。它说明检索可以做进模型，而不只是做进提示词。