索引 · 2024
ColPali
把文档页当成图像来检索，不再先做 OCR 或版面解析。
要解决的问题
表格、图和版面一旦被解析成纯文本，位置和视觉线索会丢，解析错误还会写进索引。
相对前一代的变化
多模态 RAG 常把图片转成说明文字。ColPali 直接从页面图像得到多向量表示，并用后期交互做查询匹配。
做法
Faysse 等人用视觉语言模型编码整页图像，同时发布了覆盖多种版面和语言的 ViDoRe 检索基准。查询仍可以是文本。
局限
需要训练或使用专门的视觉检索模型。页面级命中之后，还要再定位到页内的哪一块才能精确引用。
在链路中的位置
替换文档入库时的解析加文本嵌入，位于多模态索引这一支。