技术地图
按链路看这些技术落在哪一步
连接图按年份排出全部收录的技术,同一年里再按环节从上到下排列。同一项技术仍只归到它改动最大的环节。
环节
成熟度
训练
演进关系
从左到右是年份,同一年里按环节从上到下排列。移到节点上,会突出直接相连的技术。
- 演进
- 组合
- 针对局限
节点覆盖目前收录的全部技术。连线只表示编辑过的直接关系。筛选时,不符合条件的节点会淡出。
9 项技术
评估
忠实度
单独检查答案是否被给出的资料支持,而不是只看答得像不像。
RGB 基准
分开测量模型在有噪声、有反事实和需要拒绝时,还能否用好检索结果。
RAGAS
没有标准答案时,用模型分别给检索和生成打几项代理分。
ARES
用少量人工标注校准自动评判,再估计上下文相关性、忠实度和答案相关性。
RAGTruth
用人工标到词级的 RAG 回答语料,测量检索之后仍然出现的幻觉。
CRUD-RAG
按创建、读取、更新、删除四类文本任务评估 RAG,而不是只评估一次问答。
GraphRAG 适用边界
用分难度的基准看图谱检索在什么问题上真的胜过普通 RAG。
领域评测
评测从通用问答走进医学、法律等专业语料,并分开看检索和生成各自贡献了多少。
生成器能力评测
在资料已经给定时,单独测量模型会不会整合、推理、读表和拒绝回答。