14.3 RAG:给模型外挂一个资料库
本页范围:第 14 章第 3 节 | 整理时间:2026-10-10
前两节(14.1 的 prompt 工程、14.2 的思维链)都调整「怎么问」:换 prompt 写法、让模型把中间步骤写出来,模型的知识存量没有增加。本节处理模型「不知道」的问题。训练完成后的模型像闭卷考生,参数中的知识固定在训练结束时;之后发生的新事和私有资料都不在参数中,被追问时还可能生成看似合理但不正确的答案。RAG 则在回答前先检索资料,再把资料提供给模型。
本节按「动机 → 原论文(Lewis et al., 2020,RAG 原始论文)→ 工程实践 → 失效模式」的顺序展开,路线图如下:
- 为什么需要外挂:参数记忆的三个短板(14.3.1):知识截止、私有知识、幻觉——焊死在权重里的知识为什么不够用;
- RAG 原论文结构:检索器 DPR 与生成器(14.3.2):2020 年的原始设计,问题编码 → 检索 → 拼接进上下文的完整推导,RAG-Sequence 与 RAG-Token 两种形式;
- 工程链路:切块、嵌入、向量库、召回、重排、塞进 prompt(14.3.3):今天的标准做法,六步流水线逐步拆解;
- RAG 的失效模式(14.3.4):检索不到、切坏上下文、噪声混入——挂了资料库也救不了的三种典型翻车。
读完本节,应该能说清 RAG 为什么不改权重却能注入新知识,看懂原论文两条生成公式的差别,并照着六步链路复述一个现代 RAG 系统的完整工作流程。嵌入向量与相似度的数学基础分别在 3.1 节与附录 A.2,本节直接站在上面用。
图 1 标出 RAG 与推理部署的关系:检索结果进入模型输入,检索和生成过程都不修改模型权重。
「使用层」放大之后长什么样?一次带检索的问答,输入和输出各是什么形状,模型在哪一步才被碰到?把这条链路单独拆开看(图 2):
14.3.1 为什么需要外挂:参数记忆的三个短板
把「不知道」拆开看,参数记忆(存在模型权重里的知识)有三个绕不开的短板:
- 知识截止。训练语料有时间断面(第 1 章),权重里的知识也就冻结在那一刻。之后的新产品、新人事、新论文,模型一概不知。靠重新训练追新不现实:第 7 章算过账,一次预训练的算力开销巨大,不可能天天重跑。
- 私有知识。企业内部文档、个人笔记、未公开的数据从没进过训练语料,再强的模型也不可能背出它没见过的东西。靠微调把私有知识灌进权重,既贵又慢,改一条就要动一次训练。
- 幻觉。语言建模的训练目标(第 6 章)只奖励「说得像人话」,不奖励「说的是真的」。模型对不了解的领域同样下笔流利,自己分不清哪句来自记忆、哪句是现编,也给不出任何出处。
三条短板同根同源:知识焊死在参数里。焊死的东西有两个通病——改不动(更新一条知识要动权重,牵一发动全身)、查不着(说不清某句话的依据是什么)。RAG 论文(Lewis et al., 2020)给出的破局框架,是把记忆拆成两半:参数记忆(parametric memory)继续留在权重里,管语言能力与推理;非参数记忆(non-parametric memory)搬到模型外面,落成一座可检索的资料库,管事实知识。资料库的内容随改随生效,还能逐条指明出处。
一类系统的统称:回答之前,先按问题去外部资料库检索最相关的内容,把检索结果与原问题一起拼进模型输入,再让模型基于这些新鲜、专属的资料生成回答。全过程中模型权重一个参数都不动——改变的是输入,不是模型。名字里的「增强」指的就是检索到的资料对输入的增强。
分工原则一句话:知识与能力分开存放——语言与推理能力留在参数里,靠训练获得(第 6–11 章);事实知识放进外部资料库,靠检索取用。模型不必把全世界背下来,会查就行。
14.3.2 RAG 原论文结构:检索器 DPR 与生成器
RAG 这个名字来自 Lewis 等人(Facebook AI)2020 年发表在 NeurIPS 的论文(arXiv:2005.11401),标题点明了它的战场:知识密集型 NLP 任务。论文的结构干净利落,只有两大件:检索器负责从资料库里找出相关文档,生成器负责读文档写答案。一次问答走三步:问题编码 → 检索 → 拼接进上下文。
检索器用的是同一团队稍早提出的 DPR(Dense Passage Retrieval,arXiv:2004.04906,EMNLP 2020),核心是双编码器:问题编码器 \(q(\cdot)\) 与文档编码器 \(d(\cdot)\) 是两个独立的 BERT-base 模型,各自把一段文本压成一个 768 维向量(取 [CLS] 位置的表示,[CLS] 是 BERT 输入最前端的特殊标记,其输出向量常被当作整段文本的语义摘要)。问题与文档的匹配程度用两个向量的内积衡量,全体文档上的归一化形式是:
注释:BM25 是关键词时代的主流检索算法(Lucene / Elasticsearch 的默认打分),靠词频与逆文档频率做字面匹配,不懂语义——「猫」和「喵星人」在它眼里是两个无关词。DPR 这类稠密检索把文本压进语义向量空间(3.1 节的词嵌入思想从词推广到段落),措辞不同但意思相近也能匹配上。DPR 论文报告:在多个开放域问答数据集上,top-20 命中率比 BM25 高 9–19 个点。开放域问答指不限定依据文档、直接对大语料库提问的问答形式。
RAG 论文的资料库是 2018 年 12 月的英文维基百科,切成 2100 万个互不重叠的 100 词块,每块经文档编码器得到一个 768 维向量,全部向量用 FAISS 建成索引。生成器是 BART-large(约 4 亿参数的编码器-解码器结构,第 4 章架构家族的成员):把问题与检索到的文档块拼在一起作为输入,逐 token 生成答案。有一个工程取舍值得记住:训练时文档编码器与索引冻结不动——2100 万个向量重算一遍太贵;被训练的只有问题编码器与生成器,两者端到端联训。索引建成后,资料库对训练而言就是一张只读大表。
检索结果怎么参与生成?论文给了两种形式,差别在边缘化(把「依据哪份资料」这个隐变量加权平均掉)发生在哪一级。第一种 RAG-Sequence 让整段回答共用同一份检索结果:
第二种 RAG-Token 把加权下放到每一个 token:
图 3 把两种形式摆在一起对照,左边的求和包在整段回答外面,右边的求和钻进每个 token 里面:
值得一提的是,今天的实际系统大多按 RAG-Sequence 的精神做简化执行:检索一次 top-k、拼进上下文、生成交给大模型——公式 (2) 里那笔边缘化的细账,交给大模型在阅读上下文时自己消化,不再显式求和。原论文在开放域问答上取得了当时最佳的成绩,人工评估还显示 RAG 生成的答案比纯参数模型更具体、更有事实依据。
双编码器检索器:问题与文档各走一个 BERT-base,压成 768 维向量,内积即匹配分。训练用对比学习:一个问题配若干正确文档为正样本,同批次其他问题对应的文档作为负样本(批内负样本),目标是拉近正样本对的内积、推远负样本对。「稠密」对应「稀疏」:BM25 的词袋表示又高又稀疏(词表多大向量就多大),DPR 的 768 维向量紧凑稠密。
14.3.3 工程链路:切块、嵌入、向量库、召回、重排、塞进 prompt
原论文的端到端联训漂亮但门槛高。今天的工程实践把 RAG 拆成一条六步流水线(综述 arXiv:2312.10997 将其归纳为标准范式),每步都有现成组件,不需要训练任何新模型。图 4 给出全貌:
逐步看每个环节的要点:
- 切块:把长文档切成小块。块太小,一句话被拦腰切断、指代丢失(「该公司」不知指谁);块太大,相关信号被无关文字稀释,还挤占上下文预算。常见做法是按固定长度重叠切分,或按标题、段落等语义边界切——没有通吃的答案,只能按资料形态调。
- 嵌入:每块经嵌入模型压成一个向量。3.1 节讲过词向量的核心性质——语义相近则向量距离相近,这里只是把编码对象从单个词换成整段文本,嵌入模型同样是 Transformer 编码器家族的成员。
- 向量库:把所有块的向量建索引存好。库规模大时用近似最近邻(ANN)索引(FAISS 等),拿一点点精度换几个数量级的速度,不必对每个查询都全库精算。
- 召回:问题也编成向量,与库内向量算内积或余弦相似度 \(\cos(\mathbf{a}, \mathbf{b}) = \frac{\mathbf{a} \cdot \mathbf{b}}{\|\mathbf{a}\| \, \|\mathbf{b}\|}\)(\(\mathbf{a}\)、\(\mathbf{b}\) 是两个向量,推导见附录 A.2;向量预先归一化时内积与余弦等价),取分数最高的前 \(k\) 个文档块。\(k\) 是经验参数,典型取值在个位数到几十个之间。
- 重排:召回求快——文档向量预先算好,一次内积全库扫完;重排求准——换 cross-encoder 精排(把问题与候选块拼成一对、过同一个模型细算相关度,准但慢),只对召回的几十个块运行,所以算得起。两步各司其职。
- 塞进 prompt:把筛出的文档块拼在问题前面,一起交给模型。
最后一步说穿了就是拼字符串,模型端毫无感知。minimind(Apache 2.0)的 eval_llm.py 把这一事实写得很直白:base 模型是把 bos_token 与 prompt 直接拼成一个字符串(74 行),chat 模型则用 apply_chat_template 拼出带角色标记的字符串(76 行)——不管内容来路如何,模型看到的永远只是拼好的一串 token。RAG 无非在拼接之前多备了一份资料。这也是「RAG 不改权重」的另一种讲法:它只是改变了 prompt 的内容(呼应 14.1,prompt 是模型唯一的输入通道)。代价是上下文变长:第 8 章的长上下文扩展让模型塞得下更多文档块,第 13 章的 KV Cache 与推理优化让长输入算得起。
注意:切块大小是召回质量的第一道关口:切小了断语义,切大了稀释信号、烧上下文预算。拿不准时先用带重叠的固定长度切块打底,再按资料结构(标题层级、表格、代码块)逐步换成语义边界切块,并以召回效果为准迭代。
14.3.4 RAG 的失效模式
挂上资料库不等于万事大吉。RAG 系统的失效大多不在生成侧,而在检索与资料侧。Barnett 等人(2024,arXiv:2401.05856)从三个真实项目里总结出七个失效点,排在前两位的分别是「库里本来就没有答案」与「答案在库里但没被召回进 top-k」——都发生在检索一侧。把常见失效归为三类:
- 检索不到:正确块根本进不了 top-k。原因可能是嵌入模型的语义盲区(用户措辞与文档措辞差得太远、领域术语分布不同),也可能是库里真的没有。后果是模型只能凭参数记忆硬答——幻觉换了个入口回来。
- 切坏上下文:答案横跨两块被拦腰切断,或块内指代断裂、块过大稀释信号。检索到了也对不全、读不懂。
- 噪声混入:无关块被模型当真,多个块内容互相矛盾,检索文本里夹带恶意指令。垃圾进,垃圾出,还挤占上下文预算。
| 失效模式 | 典型原因 | 常见对策 |
|---|---|---|
| 检索不到 | 嵌入模型语义盲区;措辞不匹配;库里没有答案 | 换更适合领域的嵌入模型;向量召回与关键词召回混合;补齐资料库 |
| 切坏上下文 | 答案横跨两块被切断;指代断裂;块过大 | 带重叠切块、按语义边界切;命中块顺带取相邻块 |
| 噪声混入 | 无关块被当真;多块互相矛盾;恶意指令夹带 | 重排筛掉低分块;要求模型标注引用来源;系统提示约束「仅依据给定资料回答」 |
第三类里有一种值得单独警惕:检索到的文本混进「忽略之前的指令」这类恶意句子,模型可能照做——这叫提示注入,14.4 讲工具调用时还会正面碰上。更根本的提醒是:RAG 没有消灭幻觉,只是把「回答对不对」换成了两个新问题——检索准不准、模型忠不忠于检索到的资料。评估一个 RAG 系统也因此要分两侧打分:检索侧看召回质量,生成侧看答案是否被资料支持。
注释:上下文窗口变大之后,「不如把全文直接塞进去」的议论一直没停。RAG 仍有它的位置:全库塞入的成本随库规模失控,检索则把每次推理的输入控制在窗口预算内,且天然带来出处可追溯的好处。综述(arXiv:2312.10997)对这场争论有系统梳理。
至此,模型已经能「开口前先翻书」。但翻书只是单向的读——下一节 Function Calling 让模型反向「打电话」,把请求递出给外部世界执行;14.5 的 Agent 则会把 RAG 当作一件可被调用的工具,组装进多步执行循环。
参考来源
- Lewis et al., 2020. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks(RAG 原始论文,NeurIPS 2020,arXiv:2005.11401):参数记忆与非参数记忆框架、检索器 DPR + 生成器 BART-large、2018 年 12 月英文维基切成 2100 万个 100 词块并编码为 768 维向量、FAISS 建 MIPS 索引、RAG-Sequence 与 RAG-Token 两种形式(公式 (2)(3))、训练时冻结文档编码器与索引只训问题编码器与生成器、开放域问答当时最佳且生成更具体更有事实依据;arXiv 编号与关键设置来自章分页规格(已联网核实)。本页正文所称「原论文」即此篇。
- Karpukhin et al., 2020. Dense Passage Retrieval for Open-Domain Question Answering(DPR 原始论文,EMNLP 2020,arXiv:2004.04906):双编码器结构、768 维 [CLS] 表示、批内负样本对比学习、top-20 命中率比 BM25 高 9–19 个点;编号与数字来自章分页规格(已联网核实)。
- Gao et al., 2023. Retrieval-Augmented Generation for Large Language Models: A Survey(arXiv:2312.10997):现代 RAG 工程链路(切块 / 嵌入 / 向量库 / 召回 / 重排)的范式归纳、RAG 与长上下文之争;已核对 arXiv 页面。
- Barnett et al., 2024. Seven Failure Points When Engineering a Retrieval Augmented Generation System(arXiv:2401.05856):三个真实项目总结的七个失效点,前两位为「库里本来就没有答案」与「答案在库里但没进 top-k」;已核对 arXiv 摘要页。
- minimind(Apache 2.0),eval_llm.py:base 模型裸拼 bos_token + prompt(74 行)与 chat 模型 apply_chat_template(76 行),用于印证「模型只认拼好的字符串」这一锚点。
- 本手册 3.1 节(词向量与嵌入)、附录 A.2(点积与余弦相似度):14.3.3 节嵌入与相似度计算的基础。