技术地图
连接图按年份排出全部收录的技术,同一年里再按环节从上到下排列。同一项技术仍只归到它改动最大的环节。
环节
成熟度
训练
从左到右是年份,同一年里按环节从上到下排列。移到节点上,会突出直接相连的技术。
节点覆盖目前收录的全部技术。连线只表示编辑过的直接关系。筛选时,不符合条件的节点会淡出。
17 项技术
2022 起 · 常用 · 使用现成模型
把 PDF、Word、网页和扫描件解析成统一的正文、结构元素与来源元数据,再交给切块和索引。
2023 · 常用 · 使用现成模型
不再只按固定字数切开,而是让一块内部尽量是同一个意思。
用小块检索,命中后把包含它的大块交给模型阅读。
2024 · 常用 · 使用现成模型
在嵌入和建 BM25 索引之前,给每个块补上它在原文中的位置和含义。
2022 · 常用 · 使用现成模型
先写一段假想答案,用这段文字的向量去检索,而不是直接用问题。
从一个问题变出多个问法,分别检索后再合并名单。
2009 · 常用 · 使用现成模型
不比较各路检索的原始分数,只按名次把多张名单合成一张。
2019 · 常用 · 使用现成模型
召回只求全,重排序再读一遍问题和段落,把真正相关的排到前面。
同时保留关键词和向量两路召回,再把名次或分数合并。
答案里的每句话标出它依据的是哪一段检索结果。
模型更会使用排在上下文开头和结尾的资料,放在中间的相关段落容易被忽略。
2023 起 · 常用 · 使用现成模型
用 JSON Schema、类型模型或工具调用约束模型输出,让回答能被程序验证和继续执行。
2020 · 常用 · 使用现成模型
单独检查答案是否被给出的资料支持,而不是只看答得像不像。
分开测量模型在有噪声、有反事实和需要拒绝时,还能否用好检索结果。
没有标准答案时,用模型分别给检索和生成打几项代理分。
检索前就按身份过滤文档,并防止模型把不该泄露的原文复述出来。
资料变了以后,索引和答案要跟着变,而不是一直查建库那天的快照。