13.2 KV Cache:用显存换速度的核心缓存
本页范围:第 13 章第 2 节 | 整理时间:2026-10-10
13.1 节算过推理的成本账:解码是逐 token 串行的,每步都要把全部权重从显存搬一遍,带宽决定 tok/s。但成本账里还有一笔计算账没算:第 t 步的输入是 n 个 token,第 t + 1 步是 n + 1 个,两步之间只差一个新 token,前 n 个位置的前向结果逐位相同。不加处理的话,每生成一个 token 都拖着整条序列重跑一遍,序列越长,浪费越大。本节就讲消掉这笔浪费的标准手段:KV Cache。
本节按「浪费在哪 → 怎么省 → 代码印证 → 代价多少」的顺序展开,路线图如下:
- 没有缓存时,每步在重复算什么(13.2.1):3 个 token 的 prompt 生成 2 个 token 的手算例,看清 7 次位置处理里哪 3 次是纯重复;
- 缓存机制:只算新 token 的 Q,K/V 从缓存读(13.2.2):KV Cache 的工作流程,以及它为什么不改输出、只提速;
- minimind 代码印证:缓存的拼、切、写(13.2.3):Attention 121–123 行的拼接、generate 269–270 行的切片、286 行的回写,逐行对照;
- 缓存的显存代价与 GQA 的省法(13.2.4):推导缓存显存公式,算出 8192 token 上下文约 100 MB 的账,看 KV 头数如何缩放这份开销。
读完本节,应该能手算任意配置下 KV Cache 的显存占用,说清它为什么是与全量重算严格等价的优化,并能照着 minimind(Apache 2.0)的源码指出缓存机制的三个关键动作。注意力机制本身(Q、K、V 的分工、缩放、softmax)在第 4 章已精拆,因果掩码在 4.5 节,MHA/GQA/MQA 的头数结构在 5.2 节,本节直接站在这些结论上看系统账。
逐节展开之前,先明确本节站在哪:模型已经训完,本节进入推理与部署阶段,管的是同一个模型如何服务得更快。后面的每一步算账,都知道钱花在哪:
13.2.1 没有缓存时,每步在重复算什么
先回顾第 12 章的解码循环:把已有序列送进模型,取最后一个位置的 logits,经修正链采样出一个新 token,拼回序列末尾,再送进去算下一个。最朴素的实现每轮都把整条序列完整跑一遍前向。问题来了:第 2 轮的输入只比第 1 轮多了一个 token,前面那些位置算出来的东西,和第 1 轮有区别吗?
没有区别,而且可以严格证明。4.5 节讲过因果掩码:位置 i 在每一层的表示只依赖位置 1 到 i,更晚的 token 对它毫无影响。于是每个位置的 K、V 向量(K 是「这个位置能提供什么标签」,V 是「这个位置真正的内容」,分工见 4.2 节)在第一次被算出之后就彻底固定了:第 2 轮重算前 3 个位置的 K/V,得到的数字和第 1 轮逐位相同。既然是同样的数字,重算就是纯浪费。
用一个手算例把浪费数出来。设 prompt 有 3 个 token(记为 x₁、x₂、x₃),要连续生成 x₄、x₅ 两个 token,逐轮清点位置处理量(一个位置完整穿过一层网络的投影、注意力、FFN,记为 1 次位置处理):
- 第 1 轮(生成 x₄):输入 3 个位置,处理 3 次。这是第一次算,谈不上浪费;
- 第 2 轮(生成 x₅):输入变成 4 个位置,处理 4 次。其中前 3 个位置的 K/V 与上一轮逐位相同,只有 x₄ 这 1 个位置是真正的新计算。
两轮合计处理 7 次位置,3 次是重复。这还只是生成 2 个 token 的情形:序列每加长 1,下一轮就多 1 份重复,浪费随长度滚雪球。推广到一般情形,prompt 长 \(n_0\)、连续生成 \(m\) 个 token,两种做法的累计位置处理量分别是:
图 1 把这个例子画成两轮对照:左半是无缓存的全序列重算,右半是有缓存的「首趟全算、之后只算新 token」。
注释:有一笔计算 KV Cache 省不掉——新 token 的注意力分数本身。新位置必须「看」全部历史位置,\(q_t\) 与全部 \(n\) 个键的点积每步都得现算,这部分随序列长度线性增长。缓存省掉的是历史位置的 K/V 投影与它们的全部中间层结果,不是注意力里的「看」这个动作。
13.2.2 缓存机制:只算新 token 的 Q,K/V 从缓存读
把 13.2.1 的观察落成机制,就是 KV Cache:每层维护两份不断变长的档案,一份存所有历史位置的 K 向量,一份存 V 向量。解码时只把最新的一个 token 送进网络,每层为它算出一份 q、k、v;k、v 追加到档案末尾,q 则与档案里全部的 K 做匹配、softmax 后对全部的 V 加权求和:
推理时为每一层维护的两块显存:一块按顺序存所有已处理位置的 K 向量,一块存 V 向量,每生成一个 token 各追加一行。后续步骤不再重算历史,只让新 token 的查询来「查档」。它只在自回归解码阶段存在:训练时整条序列一次性并行处理(第 6 章),没有「跨步复用」的场景,自然不需要缓存。注意它缓存的是每层的中间向量,不是最终输出,也不是注意力分数矩阵。
为什么只缓存 K 和 V,不缓存 Q?因为 query 是每个位置「向外看」的探针,看完即弃:位置 i 的输出(它的注意力结果、它贡献给 logits 的那一份)在第 i 步就算完且定型了,之后没有任何计算会再拿位置 i 的 query 去匹配别人。未来的每一步都是新位置拿着自己的 q 来查档案,被查阅的永远是 K 和 V。缓存 Q 就像收藏一堆已经用过的查询条,占地方却再无人调用。
图 2 把一个 decode 单步在一层里的数据流画出来:新 token 的隐向量进来,兵分两路——Q 走上方直接进注意力,K、V 先追加进缓存再被读取。
这套机制里有两个名词值得记住,它们把推理分成性格迥异的两段。第一趟:prompt 的全部位置并行处理一遍,顺手把每层缓存填满,叫 prefill(预填充)——这是一次大批量矩阵乘,算力吃得满,属于计算受限(compute-bound)。之后的每一趟:只处理 1 个新 token,计算量小得可怜,但每步仍要把全部权重和整个缓存从显存里读一遍,属于带宽受限(memory-bound),这正是 13.1 节「解码的瓶颈是带宽」的具体现场。Pope et al.(arXiv:2211.05102)对这两段做了系统的成本分析,是服务端调优的标准参照。
KV Cache 的本质是一笔交易:显存里存一份随序列长度线性增长的 K/V 档案,换掉随长度平方增长的重复计算。它与全量重算在数学上严格等价(至多差浮点累加的次序),输出分布一个数都不变——这和量化(13.4 节)那类以精度换效率的近似手段有本质区别,也是所有主流推理框架默认开启它的原因。
13.2.3 minimind 代码印证:缓存的拼、切、写
机制讲完,落到 minimind(Apache 2.0)的真实代码上对照一遍。整个缓存机制就三个动作——拼、切、写,分布在两个函数里(model/model_minimind.py):
# Attention.forward(111–134 行):拼
if past_key_value is not None: # 120 行:有缓存则拼接
xk = torch.cat([past_key_value[0], xk], dim=1) # 121 行:旧 K 拼到新 K 前面
xv = torch.cat([past_key_value[1], xv], dim=1) # 122 行:旧 V 同理
past_kv = (xk, xv) if use_cache else None # 123 行:拼好的完整 K/V 作为新缓存传出
# generate(261–293 行):切与写
past_len = past_key_values[0][0].shape[1] if past_key_values else 0 # 269 行:已处理长度
outputs = self.forward(input_ids[:, past_len:], ...) # 270 行:只喂没算过的 token
past_key_values = outputs.past_key_values if use_cache else None # 286 行:缓存回写下轮用
逐个动作看。拼(Attention 内):每层拿到本步新算的 xk、xv 后,如果缓存存在,就把旧 K/V 拼在新 K/V 的前面(121–122 行,沿序列维度 dim=1),拼完的完整版本经 123 行传出。两个细节值得记住:其一,RoPE 位置编码在 119 行已经施加到 q、k 上,入缓存的 K 是带位置信息的成品,新行追加进去不会与旧行混淆;其二,124 行的 repeat_kv(GQA 把 4 个 KV 头展开成 8 份与 Q 对齐)发生在拼接之后,也就是说缓存里存的是 4 个 KV 头的原始形态,展开只是计算时的临时动作,不进缓存——这个顺序正是 GQA 能省显存的直接原因,13.2.4 会拿它算账。随后 128–131 行就是公式 (2) 的实现:新 Q 对拼接后的全部 K 算分数、softmax、加权 V。
切(generate 269–270 行):每轮开头先从缓存形状读出已处理的长度 past_len,再用 input_ids[:, past_len:] 切出还没进过网络的 token。首轮缓存为空,past_len = 0,切出来的是整个 prompt,即 prefill;之后每轮缓存比 input_ids 恰好短 1,切出来的就是刚生成的那个新 token,即 decode。一个切片表达式同时实现了两种阶段。
写(286 行):每层拼好的完整 K/V 装进 outputs.past_key_values 带回,赋给 past_key_values 供下一轮接着拼。若 use_cache=False,这里直接置 None,下一轮 past_len 归零、整段重切,退回 13.2.1 的全量重算模式——输出结果不变,只是更慢。默认情况是开着的:generate 的函数签名(262 行)写明 use_cache=True。
注释:KV Cache 没有一篇「提出它」的专门论文,它是随自回归解码器落地的工程共识:Fairseq 的增量解码状态、Hugging Face Transformers 的 use_cache / past_key_values 接口都是这一传统的代表,minimind 的变量命名与 Hugging Face 完全一致。系统层面把这笔账算清楚的权威分析是 Pope et al.(arXiv:2211.05102)。
13.2.4 缓存的显存代价与 GQA 的省法
缓存不是免费的,它按 token 收租。每个 token 在每一层要存 K、V 两份向量,每份是 \(h_{kv}\) 个 KV 头 × \(d_h\) 维;FP16 精度下每个数占 2 字节。整模型的缓存占用为:
把上下文长度代进去:\(n = 8192\) 时,单条会话的缓存为 \(8192 \times 12\) KB,按十进制约 100 MB。对照一下:minimind 全部 63.9M 参数的 FP16 权重约 128 MB(13.1 节算过)——一条 8K 上下文的缓存,就逼近整个模型的权重显存。而这只是 batch = 1;服务 8 条并发会话时缓存涨到约 800 MB,反超权重 6 倍以上。长上下文与高并发叠加时,KV Cache 会取代权重成为显存大头,这在长上下文服务中很常见(Pope et al. 同文的容量分析结论)。
公式 (3) 里唯一与架构相关、又可随意调整的因子是 \(h_{kv}\):KV 头数。5.2 节讲过 MHA / GQA / MQA 的头数结构,这里只看它们的显存侧账目。MHA 是每个 Q 头配一个 KV 头(minimind 即 8),GQA 让多个 Q 头共享一份 K/V(minimind 默认 4),MQA 则全部 Q 头共享一份。三者每 token 的缓存成等比缩小:
| 方案 | KV 头数 | 每 token 每层 | 每 token(8 层) | 8192 token 上下文 | 说明 |
|---|---|---|---|---|---|
| MHA | 8 | 3072 B | 24 KB | ≈ 201 MB | 第 4 章的原始多头注意力 |
| GQA | 4 | 1536 B | 12 KB | ≈ 100 MB | minimind 默认配置 |
| MQA | 1 | 384 B | 3 KB | ≈ 25 MB | Shazeer 2019(arXiv:1911.02150) |
表中所有数字都可按公式 (3) 复算:MHA 每 token 每层 \(2 \times 8 \times 96 \times 2 = 3072\) 字节,MQA 每 token 每层 \(2 \times 1 \times 96 \times 2 = 384\) 字节。图 3 把三种方案与权重显存放在同一把尺上对照:
MQA 的提出动机恰恰就是这笔账:Shazeer 2019 的论文标题即「Fast Transformer Decoding: One Write-Head is All You Need」,目标是把增量解码时要存、要搬的 K/V 缩到最小,用微小的质量损失换解码提速;GQA 是 MHA 与 MQA 之间的折中,质量与开销各让一步。质量一侧的对比(困惑度、训练稳定性)5.2 节已经讲过,本节只强调系统侧结论:减少 KV 头是缩放缓存显存最直接的手段。再往上还有两条路:MLA 把 K/V 压成低秩潜向量再缓存(5.3 节),以及换精度——缓存同样可以从 FP16 压到更低比特,思路与权重量化相通(13.4 节)。
注意:缓存随「并发数 × 上下文长度」双重线性放大:batch = 8、各 8192 token 时,minimind 的缓存约 800 MB,已是权重(约 128 MB)的 6 倍以上。且每条会话的缓存随生成不断变长,显存的分配与回收本身也成了难题——13.3 节的 PagedAttention 要解决的就是这个管理问题。
易错点:KV Cache 缓存的是每个位置的 K、V 向量,不是注意力分数矩阵。分数矩阵是 \(n \times n\) 级别且每步形状都在变,存它既贵又没用;真正会被未来反复使用的只有 K/V 档案(每层 \(n \times 384\) 量级),分数每步现算现扔。把「缓存注意力」理解成缓存分数矩阵,是初学时最常见的误解。
use_cache=False 走全量重算,结果相同只是更慢。省掉的是历史位置的 K/V 投影与它们的全部中间层结果——累计位置处理量从公式 (1) 的平方级降为线性级;新 token 对全部历史的注意力分数省不掉,每步现算。参考来源
- Pope et al., 2023. Efficiently Scaling Transformer Inference(arXiv:2211.05102,MLSys 2023):自回归推理 prefill / decode 两阶段的成本结构、decode 阶段带宽受限、KV Cache 容量开销随批量与上下文增长的系统分析,见 13.2.2 与 13.2.4。
- Shazeer, 2019. Fast Transformer Decoding: One Write-Head is All You Need(MQA 原始论文,arXiv:1911.02150):以减少增量解码的 K/V 存储与搬运为动机提出 Multi-Query Attention,见 13.2.4;MHA / GQA / MQA 的质量侧对比见本手册 5.2 节。
- Vaswani et al., 2017. Attention Is All You Need(arXiv:1706.03762):注意力公式与自回归逐 token 解码的原始设定,见公式 (2) 与 13.2.1;本手册第 4 章已逐节精拆。
- KV Cache 的工程出处说明:无专门提出论文,属自回归解码的工程共识,代表传统为 Fairseq 的增量解码状态与 Hugging Face Transformers 的
use_cache/past_key_values接口(13.2.3 注释卡)。 - minimind(Apache 2.0),model/model_minimind.py:Attention 的 past_key_value 拼接(120–123 行)、RoPE 先于缓存(119 行)、repeat_kv 在缓存之后(124 行)、注意力计算(128–131 行);generate 的 use_cache 默认值(262 行)、past_len 切片(269–270 行)、缓存回写(286 行)。显存与配置数字(hidden 768、8 层、词表 6400、8 头 / KV 头 4、head_dim 96、约 63.9M 参数)以该仓库实测为准,13.2.4 的推算均可按公式 (3) 复现。
- 本手册交叉引用:4.2 节(Q/K/V 分工)、4.5 节(因果掩码)、5.2 节(MQA / GQA)、5.3 节(MLA)、13.1 节(推理成本结构与权重显存账)、13.3 节(PagedAttention)、13.4 节(量化)。