技术地图
按链路看这些技术落在哪一步
连接图按年份排出全部收录的技术,同一年里再按环节从上到下排列。同一项技术仍只归到它改动最大的环节。
环节
成熟度
训练
演进关系
从左到右是年份,同一年里按环节从上到下排列。移到节点上,会突出直接相连的技术。
- 演进
- 组合
- 针对局限
节点覆盖目前收录的全部技术。连线只表示编辑过的直接关系。筛选时,不符合条件的节点会淡出。
11 项技术
生成
kNN-LM
预测下一个词时,把语言模型的概率和检索到的邻近词插值。
Fusion-in-Decoder
每段资料单独编码,解码时再把多段证据合到一起写答案。
REPLUG
不改黑盒模型的参数,把同一问题配上不同文档分别计算,再合并概率。
引用归因
答案里的每句话标出它依据的是哪一段检索结果。
上下文压缩
检索之后先把段落压短,只把和问题有关的句子送进模型。
中间迷失
模型更会使用排在上下文开头和结尾的资料,放在中间的相关段落容易被忽略。
Self-RAG
由模型自己决定要不要检索,并判断自己的话有没有依据。
格式化生成
用 JSON Schema、类型模型或工具调用约束模型输出,让回答能被程序验证和继续执行。
RAFT
训练模型在一组混有干扰段落的资料里引用真正有用的那几段。
RankRAG
同一个模型既给段落排序,也根据排好的段落生成答案。
Speculative RAG
小模型按不同文档子集并行起草,大模型只核对这些草稿并选一份。