索引 · 2024
RAPTOR
把文本块聚类并逐层写摘要,形成一棵可以按层检索的树。
要解决的问题
单个文本块回答不了跨章节的问题。只检索最相似的几块,会错过分散在全文里的主题。
相对前一代的变化
GraphRAG 抽的是实体和关系。RAPTOR 抽的是不同粒度的摘要,从叶子上的原文到根上的全文概述。
做法
Sarthi 等人对块做嵌入、聚类、摘要,再对摘要重复这个过程。查询时可以在树的各层检索,既拿到细节,也拿到上层摘要。
局限
建树要多次调用模型。摘要写错会在上一层被当成事实。它适合长文档主题问题,不保证实体关系可追溯。
在链路中的位置
在切块之后额外建一层索引,和向量检索、GraphRAG 并列,而不是替换生成器。