评估 · 2026
领域评测
评测从通用问答走进医学、法律等专业语料,并分开看检索和生成各自贡献了多少。
要解决的问题
通用基准上的分数,不能说明系统在专业语料、双语任务或长篇法律问答里是否可用。
相对前一代的变化
RAGAS 给一条流水线打代理分。2026 年的领域基准带有专业语料和专家问题,并试图把错误分解到检索或生成。
做法
医学方面,Wei Zhu 的 MRAG 用维基和 PubMed 上的中英任务比较稀疏检索、语义检索和网页搜索。法律方面,Butler 等人用刑法语料和专家问题做全因子比较,结论是检索质量决定了正确率的上限,许多被叫做幻觉的错误其实来自没检索到。
局限
一个法域或一个医学子任务的结论不能直接外推。医学基准里的 MRAG 是 Medical RAG,不是多模态 RAG。
在链路中的位置
不改变流水线,用来决定一套通用组件换到专业语料后还是否成立。