索引 · 2024

RAPTOR

把文本块聚类并逐层写摘要,形成一棵可以按层检索的树。

演进中 · 使用现成模型

要解决的问题

单个文本块回答不了跨章节的问题。只检索最相似的几块,会错过分散在全文里的主题。

相对前一代的变化

GraphRAG 抽的是实体和关系。RAPTOR 抽的是不同粒度的摘要,从叶子上的原文到根上的全文概述。

做法

Sarthi 等人对块做嵌入、聚类、摘要,再对摘要重复这个过程。查询时可以在树的各层检索,既拿到细节,也拿到上层摘要。

局限

建树要多次调用模型。摘要写错会在上一层被当成事实。它适合长文档主题问题,不保证实体关系可追溯。

在链路中的位置

在切块之后额外建一层索引,和向量检索、GraphRAG 并列,而不是替换生成器。