5.3 MLA:把 K、V 压成低维「浓缩液」
本页范围:第 5 章第 3 节 | 整理时间:2026-09-29
上一节的 GQA 靠「共享」省缓存:同组的头拿一模一样的 K、V,省是省了,头的多样性被打了折扣。本节要回答一个更进一步的问题:能不能既不共享,又把缓存大幅压小?DeepSeek-V2 提出的 MLA 换了个思路:不存各头展开好的「成品」,只存一份低维「浓缩液」,用时再按各头自己的配方展开。本节按「为什么压、怎么压、暗礁怎么绕、账怎么算」的顺序展开:
- GQA 之后还能怎么省:从「共享」到「压缩」(5.3.1):看清共享的硬伤,引出「不存茶水存茶粉」的低秩压缩思路;
- MLA 的浓缩–展开机制(5.3.2):一次下投影把 5120 维压成 512 维隐向量,各头用各自的上投影临时展开 K、V;
- 位置与内容分家:decoupled RoPE(5.3.3):RoPE 不肯被压缩,那就单独给它开一间 64 维的小储藏室;
- 推理加速:把上投影「吸收」掉(5.3.4):用矩阵结合律把展开步骤折叠掉,推理时连「冲茶粉」的动作都省了;
- 与 MHA / GQA / MQA 对照(5.3.5):576 个数对 32768 个数,缓存逼近 MQA、质量站上 MHA 一侧的账是这么算的。
读完本节,你应该能说清 MLA 与 GQA 的本质区别,以及 DeepSeek-V2「缓存减少 93.3%、吞吐提升 5.76 倍」这两个数字从哪来。
第 4 章搭好了 Transformer 块的骨架,本节动的仍是其中的注意力子层:不改算法,改 K、V 的存储形态。把块内的注意力放大来看,MLA 的压缩与展开怎么走?输入是什么形状、缓存里到底留几个数?把 MLA 的浓缩–展开通道单独拆开看:
5.3.1 GQA 之后还能怎么省:从「共享」到「压缩」
上一节讲的 GQA 是节流思路的直接版本:既然 128 个头各自存一份 K、V 太奢侈,那就让 8 个头共用一份。缓存确实降下来了,但代价也摆在明面上:同组的头拿到一模一样的 K、V,表达能力被「拉平」,组数越少伤得越重,MQA 是这条路的极端,所有头共享一份,质量损失最明显。
DeepSeek-V2 的设计者换了个角度问这个问题。KV 缓存之所以大,是因为我们存的是「成品」:每个头展开好的 K、V。可这些 K、V 本来就是从同一个 token 表示 \(h_t\) 经过投影矩阵算出来的。既然它们同出一源,信息上就有大量冗余,那能不能不存成品,改存「原料」?
这就是 MLA 的出发点:推理时只缓存一个由 \(h_t\) 直接压缩出来的低维隐向量,各头的 K、V 需要用到时再从隐向量临时展开。共享是「几个头喝同一杯茶」,压缩是「不存茶水存茶粉,喝的时候现冲」。茶粉占的地方远小于茶水,而只要浓缩工艺够好,冲出来的味道可以不打折。
一个高维向量如果实际只在一个低维子空间里变化,就可以先乘一个「下投影」矩阵把它压成低维向量,需要时再乘「上投影」矩阵还原。压缩过程有损还是无损,取决于原向量里真实信息的秩。MLA 押的注是:各头 K、V 里值得保留的信息,用一个远小于总维度的隐向量就装得下,模型可以在训练中学会把重要信息塞进这个小瓶子里。
5.3.2 MLA 的浓缩–展开机制
把话落到公式上。标准 MHA 里,位置 \(t\) 的表示 \(h_t\) 分别乘 128 个头的投影矩阵,得到 128 份 K 和 128 份 V,推理时这些全部要缓存。MLA 第一步是把这些投影「砍掉」,换成一次下投影:
用 DeepSeek-V2 的真实配置代入数字:隐藏维度 \(d=5120\),共 \(n_h=128\) 个头,每头 \(d_h=128\) 维,压缩维度取 \(d_c=512\)(即 \(4\,d_h\))。一个 \(5120\) 维的向量被压成 \(512\) 维,这一份隐向量是 128 个头共用的「浓缩液」。
第二步,注意力计算需要某个头的 K、V 时,用该头的上投影矩阵把浓缩液「冲开」:
注意它和 GQA 的本质区别:GQA 里同组的头拿到的是逐元素相同的 K、V;MLA 里各头的上投影矩阵互不相同,展开出的 K、V 各不相同,头与头的多样性保住了。压缩的只是「存储介质」,不是「头的个性」。所以这步在干嘛:把 128 份成品 K、V 换成一份 512 维的浓缩液存起来,喝的时候每个头用自己的配方冲一杯。
核心结论:MLA 每层每 token 的 KV 缓存从 MHA 的 \(2\,n_h d_h\) 个数(DeepSeek-V2 配置下 32768 个)降到 \(d_c + d_h^R\) 个数(512 + 64 = 576 个),约等于 GQA 只开 2.25 组的缓存量,而论文报告其性能强于 MHA。缓存与质量第一次不再此消彼长。
5.3.3 位置与内容分家:decoupled RoPE
浓缩方案有一个暗礁,名字叫做 RoPE。回忆第 3 章:RoPE 是给 Q、K 按位置做旋转的位置编码,旋转矩阵和位置编号绑定。问题在于,RoPE 是直接作用在展开后的 K 上的,而 MLA 的 K 是推理时才从 \(c_t^{KV}\) 展开出来的。旋转矩阵随位置编号而变,不是一张能预先合并进投影的固定矩阵:先把位置信息混进 \(c_t^{KV}\) 再压缩,旋转和投影两种变换缠在一起,「用时再展开」的账就算不转了;展开后再逐头加 RoPE,则每个头的 K 都得真的展开出来单独旋转——要么逐头存下带位置的 K,要么每步逐头现算,压缩带来的收益被吃回去一大块。低秩压缩和 RoPE 在数学上互相打架。
DeepSeek 的解法干脆利落:位置和内容彻底分家。K、Q 各拆成两段:
- 内容段:占大头,从浓缩液展开,不带位置信息,走上一节的压缩流程;
- 位置段:一小段专门承载 RoPE 的分量,单独从 \(h_t\) 算出来,不进压缩通道,也不按头区分。
注意力打分就变成两项相加:内容段对内容段,位置段对位置段:
这份 64 维的位置 key 全头共享,所以缓存里只需再加 64 个数。最终每层每 token 缓存总量是 \(512 + 64 = 576\) 个数,对照 MHA 的 32768 个,缩到约 1/57。所以这步在干嘛:RoPE 不肯被压缩,那就别难为它,单独给它开一间 64 维的小储藏室,主仓库继续放浓缩液。
补充:Query 侧 MLA 也做了同款低秩压缩(\(c_t^{Q} = W^{DQ} h_t\),DeepSeek-V2 中压缩到 1536 维),但 Query 不需要跨步缓存,这一压缩省的是参数量与训练显存,与 KV 缓存无关,知道即可。
5.3.4 推理加速:把上投影「吸收」掉
按 5.3.2 节的描述,推理时好像每读一个缓存 token 都要做 128 次上投影,会不会把省下的显存又赔进算力里?不会,因为线性代数允许「合并同类项」。注意力打分是 \(q^{\top} k\),把上投影代进去:
V 侧同理:上投影 \(W_i^{UV}\) 可以被输出投影 \(W_i^{O}\) 吸收,先对 \(c_s^{KV}\) 加权求和,最后一次性映射回隐藏维度。这套操作论文里称为矩阵吸收(absorb)。吸收之后,推理全程打交道的只有隐向量,等效于只缓存、只读取那份 576 个数的浓缩液,省显存也省显存带宽。所以这步在干嘛:展开只是数学上的中间步骤,用结合律把它折叠掉,推理时连「冲茶粉」的动作都省了。
注释:吸收技巧改变的是计算顺序,不改变计算结果,属于「免费」的加速。训练时参数仍需分开存储,吸收发生在推理部署阶段。
5.3.5 与 MHA / GQA / MQA 对照
把四种注意力变体放在同一张桌上,按「每层每 token 缓存的元素个数」算账(\(l\) 为层数,\(n_g\) 为 GQA 组数,元素个数与存储精度无关):
| 机制 | 缓存什么 | 每层每 token 缓存量 | 质量表现 | 代表模型 |
|---|---|---|---|---|
| MHA | 每个头完整的 K、V | \(2\,n_h d_h\)(32768) | 强(基准) | 原始 Transformer |
| GQA | 每组一份 K、V,组内共享 | \(2\,n_g d_h\) | 中等,随组数减少而下降 | Llama 2/3、Qwen 系 |
| MQA | 全部头共享一份 K、V | \(2\,d_h\)(256) | 较弱 | Falcon、早期 PaLM |
| MLA | 一份低维隐向量 + 共享位置 key | \(d_c + d_h^R\)(576,约 GQA 2.25 组) | 论文报告不弱于 MHA | DeepSeek-V2 / V3 |
缓存量一列用的是 DeepSeek-V2 的配置(\(n_h=128\),\(d_h=128\),\(d_c=512\),\(d_h^R=64\))。MLA 的缓存量接近 MQA,质量则接近 MHA。放到整机对比上,DeepSeek-V2 技术报告给出的数字是:相比自家稠密的 DeepSeek 67B,KV 缓存减少 93.3%,最大生成吞吐提升到 5.76 倍。
为什么压缩能比共享做得更好?直觉上可以这样想:共享是硬约束,强行规定若干头必须一样;压缩是软约束,只限制存储的维度,至于各头的 K、V 长什么样,模型在训练中自由学习。低秩假设赌的是「K、V 里的有效信息本来就没那么满」,DeepSeek-V2 的实验结果支持了这个赌注。当然,MLA 也不是白捡的便宜:训练和推理实现都比 GQA 复杂,对工程团队的要求更高,这也是它目前主要见于 DeepSeek 系模型的原因之一。
参考来源
- DeepSeek-AI, 2024. DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model(arXiv:2405.04434)。MLA 的提出处:低秩 KV 联合压缩、decoupled RoPE、矩阵吸收技巧、缓存对比表(Table 1)与 93.3% 缓存缩减、5.76 倍吞吐均出自该文。
- DeepSeek-AI, 2024. DeepSeek-V3 Technical Report(arXiv:2412.19437),MLA 在 V3 中的沿用。
- Ainslie et al., 2023. GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints(arXiv:2305.13245),GQA 缓存量级对照的出处。