工程 · 2026
系统性能基准
同一套流水线同时测量吞吐、显存和答案质量，而不是只报告任务分数。
要解决的问题
换嵌入模型、向量库或重排序器时，质量、延迟和资源占用会一起变。只看准确率，看不出瓶颈在入库、检索还是生成。
相对前一代的变化
RAGAS 和领域基准关心答案对不对。RAGPerf 把嵌入、索引、检索、重排序和生成拆开，记录吞吐、内存、利用率和上下文召回。
做法
Li 等人做成可配置的基准框架，支持文本、PDF、代码和音频，以及不同的查询与更新比例。它能接 Milvus、Qdrant、Elasticsearch 等向量库，并模拟插入、更新和删除，用来观察新鲜度和性能如何互相影响。
局限
它是测量框架，不是一种新的检索算法。测得的瓶颈取决于所选模型和硬件，不能当成普遍排名。
在链路中的位置
包在整条流水线之外，用来选择组件配置，也用来检查索引更新是否拖慢查询。