生成 · 2024
Speculative RAG
小模型按不同文档子集并行起草，大模型只核对这些草稿并选一份。
要解决的问题
把全部检索结果一次送给大模型，上下文又长又慢，中间的段落还更容易被忽略。
相对前一代的变化
中间迷失说明长上下文里的位置会影响使用。Speculative RAG 把文档拆成子集，让每份草稿只看一部分，再由大模型选择。
做法
Wang 等人用较小的专门模型为每个文档子集写草稿。较大的通用模型读这些草稿，选出自洽且有依据的一份，从而少做长上下文生成。
局限
子集划分可能把必须同时阅读的证据拆开。草稿模型如果集体偏向同一个错误，核验也会跟着选错。
在链路中的位置
位于检索之后、最终回答之前，用来降低长上下文生成的延迟。