检索增强生成

由 AI 核验 · 3 天前

检索增强生成

提出时间: 2020 年
提出者: Lewis 等（Facebook AI）
组成: 检索器 + 生成器
主要用途: 知识问答、企业知识库、减少幻觉

检索增强生成（RAG）指在生成前先从外部知识库检索相关片段，再让模型基于这些片段作答的方法。^{11Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasksarxiv.org前往参考资料 ↓在新标签页中打开}

它由 Lewis 等人于 2020 年提出，用于缓解纯参数化模型在知识密集型任务上的局限。^{11Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasksarxiv.org前往参考资料 ↓在新标签页中打开}

动机

参数化模型把知识压缩在权重里，难以更新、难以溯源，并且容易产生幻觉。^{11Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasksarxiv.org前往参考资料 ↓在新标签页中打开|33REALM: Retrieval-Augmented Language Model Pre-Trainingarxiv.org前往参考资料 ↓在新标签页中打开}

RAG 把知识放在外部索引中，更新知识只需重建索引，无需重新训练模型。^{11Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasksarxiv.org前往参考资料 ↓在新标签页中打开}

系统组成

典型 RAG 由检索器与生成器两部分组成，检索器通常基于稠密向量的语义相似度。^{11Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasksarxiv.org前往参考资料 ↓在新标签页中打开|22Dense Passage Retrieval for Open-Domain Question Answeringarxiv.org前往参考资料 ↓在新标签页中打开}

检索质量直接决定生成质量，因此文本分块、嵌入模型与重排序是关键环节。^{22Dense Passage Retrieval for Open-Domain Question Answeringarxiv.org前往参考资料 ↓在新标签页中打开}

局限与争议

检索片段在上下文中的位置会显著影响利用效果，位于中间的信息最容易被忽略。^{44Lost in the Middle: How Language Models Use Long Contextsarxiv.org前往参考资料 ↓在新标签页中打开}

「长上下文窗口会取代 RAG」这一判断存在争议。^{11Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasksarxiv.org前往参考资料 ↓在新标签页中打开|44Lost in the Middle: How Language Models Use Long Contextsarxiv.org前往参考资料 ↓在新标签页中打开}

对立说法反对方认为长上下文仍面临成本与「中间迷失」问题，且无法解决知识实时更新与权限隔离；支持方认为随着成本下降，检索的价值会被削弱。^{44Lost in the Middle: How Language Models Use Long Contextsarxiv.org前往参考资料 ↓在新标签页中打开}

存在争议置信度 0.50 · 核验于 2026-10-13

参考来源

1论文 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks · arXiv:2005.11401 · 2020-05-22 · 核验于 2026-10-13
2论文 Dense Passage Retrieval for Open-Domain Question Answering · arXiv:2004.04906 · 2020-04-10 · 核验于 2026-10-12
3论文 REALM: Retrieval-Augmented Language Model Pre-Training · arXiv:2002.08909 · 2020-02-20 · 核验于 2026-10-12
4论文 Lost in the Middle: How Language Models Use Long Contexts · arXiv:2307.03172 · 2023-07-06 · 核验于 2026-10-13