生成 · 2023
REPLUG
不改黑盒模型的参数，把同一问题配上不同文档分别计算，再合并概率。
要解决的问题
RETRO 和 Atlas 都要训练模型。GPT 一类接口看不到隐藏状态，也改不了权重。
相对前一代的变化
kNN-LM 需要内部表示。REPLUG 只使用黑盒模型对「文档加问题」算出的输出概率，把多篇文档的结果按检索分数合并。
做法
Shi 等人先检索文档。每篇文档单独和问题一起送给冻结模型，再把这些输出分布按文档概率加权。另一个版本会反过来用模型偏好调整检索器。
局限
文档数量增加时，模型要跑多次。合并的是输出分布，长答案并不总有可合并的词概率。
在链路中的位置
面向只能调用接口的模型，位于检索之后的生成融合。