生成 · 2024
RAFT
训练模型在一组混有干扰段落的资料里引用真正有用的那几段。
要解决的问题
直接拿领域文档微调，模型会背答案，检索到干扰段落时反而不会忽略。普通 RAG 又不让模型学会如何阅读检索结果。
相对前一代的变化
朴素 RAG 不训练阅读器。RAFT 在训练样本里同时放入相关文档和干扰文档，并要求答案带引用。
做法
Zhang 等人把问题、相关文档、干扰文档和带引用的答案组成训练数据。部分样本故意不放相关文档，让模型在资料不足时不要硬答。
局限
需要领域训练数据和可引用的答案。领域或文档格式变化后，原来的微调不一定还能用。
在链路中的位置
改的是生成模型的训练方式，检索器仍可以是现成的。