安全 · 2024
知识库投毒
攻击者往知识库写入少量文本，就能让特定问题稳定检索到并生成攻击者想要的答案。
要解决的问题
RAG 信任外部资料。只要恶意段落被检索到，模型常常会把它写成答案。
相对前一代的变化
提示词注入攻击的是用户输入或网页。知识库投毒攻击的是索引里的文档，触发点是以后的正常提问。
做法
PoisonedRAG 构造既能被目标问题检索到、又包含指定错误答案的文本，插入知识库。少量投毒文本就可以让对应问题的答案被改写。
局限
这是攻击论文，不是防御产品。只做相似度检索和来源白名单，挡不住看起来相关、来源却已被污染的文本。
在链路中的位置
发生在入库。检测要放在写入审核、检索结果过滤和答案核对里。