检索 · 1994
BM25
用词频和文档长度给关键词匹配打分,是后来所有混合检索里的稀疏一路。
要解决的问题
只数词出现了几次,长文档和常见词会把排序带偏。
相对前一代的变化
BM25 仍是词法检索,但会压低常见词、惩罚过长文档。它比后来的向量检索早二十多年,却一直留在 RAG 的第一路召回里。
做法
把查询和文档都看成词的集合,按词的稀有程度、出现次数和文档长度计算相关性。Robertson 与 Zaragoza 在 2009 年的综述里整理了这套概率相关框架;方法本身在 1994 年的 TREC 里已经使用。
局限
问法和原文用词不同时会漏召回。它不理解同义改写,所以后来要和稠密检索合并。
在链路中的位置
位于向量检索之前的词法基线。混合检索、RRF 和多数搜索引擎都还保留这一路。