索引 · 2024
LongRAG
把检索单位从一百词的短段落放大到数千词，让长上下文模型一次读完。
要解决的问题
短块把「找对那一小段」的压力全放在检索器上。检索器一旦没把针找出来，阅读器再强也看不到。
相对前一代的变化
父子索引仍以小块检索、大块阅读。LongRAG 直接把索引单位变长，减少单元数量，再用长上下文模型阅读前几名。
做法
Jiang、Ma 和 Chen 把维基百科收成约四千词的单元，单元数大幅下降。现成检索器取回少量长单元后，交给 GPT-4o 或 Gemini 这类长上下文模型抽取答案，不另做训练。
局限
长单元里仍有大量无关文字。长上下文模型的费用和延迟更高，窗口大也不等于不会忽略中间的证据。
在链路中的位置
改的是索引粒度和阅读器的窗口，和短块加重排序是两条并行路线。