编排 · 2025
多模态检索规划
问题本身可以是图或文档页面，系统再决定检索文本、图像还是整页画面。
要解决的问题
多模态 RAG 如果只在入库时把图片转成文字，用户拿出一张图来问时，系统仍只会做文本检索。
相对前一代的变化
2022 年的 MuRAG 同时检索图像和文本。2025 年的综述把后续系统分成能跨模态检索、能阅读原始图像，以及能先做检索规划的几代。
做法
Mei 等人整理的路线包括：保留原始图像和页面截图、用文本查询直接检索图像或表格、在检索前规划该查哪种模态。后期交互也被用于跨模态的细粒度匹配。
局限
规划错了模态，后面的证据全会偏。页面截图避开了解析错误，却更依赖视觉模型，也更难做精确引用。
在链路中的位置
位于多模态索引之上，决定这一次查询走文本、图像还是页面。