5.3 MLA:把 K、V 压成低维「浓缩液」

本页范围:第 5 章第 3 节 | 整理时间:2026-09-29

快速浏览

核心问题GQA 靠「多个头共享一份 K、V」省缓存,但共享是有损的。能不能既不共享、又把 KV 缓存大幅压小?
本节主张MLA(Multi-head Latent Attention,多头隐注意力)换个思路:不存各头的 K、V,只存一个低维隐向量,用时再展开。缓存缩到接近 MQA 的量级,效果却做到不弱于完整 MHA。
一句话结论把「按头存 K、V」改成「存一份低维浓缩液」,DeepSeek-V2 的 KV 缓存降到约 GQA 2.25 组的水平,性能反而强于 MHA。
关键词
MLA低秩压缩KV 缓存decoupled RoPEDeepSeek-V2 / V3

  上一节的 GQA 靠「共享」省缓存:同组的头拿一模一样的 K、V,省是省了,头的多样性被打了折扣。本节要回答一个更进一步的问题:能不能既不共享,又把缓存大幅压小?DeepSeek-V2 提出的 MLA 换了个思路:不存各头展开好的「成品」,只存一份低维「浓缩液」,用时再按各头自己的配方展开。本节按「为什么压、怎么压、暗礁怎么绕、账怎么算」的顺序展开:

  1. GQA 之后还能怎么省:从「共享」到「压缩」(5.3.1):看清共享的硬伤,引出「不存茶水存茶粉」的低秩压缩思路;
  2. MLA 的浓缩–展开机制(5.3.2):一次下投影把 5120 维压成 512 维隐向量,各头用各自的上投影临时展开 K、V;
  3. 位置与内容分家:decoupled RoPE(5.3.3):RoPE 不肯被压缩,那就单独给它开一间 64 维的小储藏室;
  4. 推理加速:把上投影「吸收」掉(5.3.4):用矩阵结合律把展开步骤折叠掉,推理时连「冲茶粉」的动作都省了;
  5. 与 MHA / GQA / MQA 对照(5.3.5):576 个数对 32768 个数,缓存逼近 MQA、质量站上 MHA 一侧的账是这么算的。

  读完本节,你应该能说清 MLA 与 GQA 的本质区别,以及 DeepSeek-V2「缓存减少 93.3%、吞吐提升 5.76 倍」这两个数字从哪来。

  第 4 章搭好了 Transformer 块的骨架,本节动的仍是其中的注意力子层:不改算法,改 K、V 的存储形态。把块内的注意力放大来看,MLA 的压缩与展开怎么走?输入是什么形状、缓存里到底留几个数?把 MLA 的浓缩–展开通道单独拆开看:

原创示意图 · 非论文原图 MLA 的浓缩–展开形状流(DeepSeek-V2 配置) 输入 ht:5120 维,缓存只留 512+64=576 个数 输入 ht 5120 维(上一层输出) 下投影 WDKV 5120 → 512,一次压缩 内容段,128 头共用 隐向量 ctKV 512 维「浓缩液」 我就是缓存 ① WKR 投影 + RoPE 位置段单独算(5.3.3) 不进压缩通道 位置 key ktR 64 维,全头共享 我就是缓存 ② 上投影 WiUK → Ki 128 头各自一份,各 128 维 上投影 WiUV → Vi 128 头各自一份,各 128 维 每层每 token 缓存合计 ① 512 + ② 64 = 576 个数 对照 MHA(同层同 token) 128 头 × 128 维 × K、V 两份 = 32768 个数 576 对 32768,缓存缩到约 1/57;用时展开的 K、V 各不相同,头的多样性保住(GQA 共享则逐元素相同)。 推理时上投影还可被「吸收」进相邻矩阵,连展开动作都省掉(5.3.4)。
图 1:MLA 的浓缩–展开形状流(DeepSeek-V2 配置)。输入是 5120 维的 token 表示 \(h_t\):主通道经下投影压成 512 维隐向量,位置支路单独算出 64 维共享 key,两者合计 576 个数就是每层每 token 要缓存的全部;需要某个头的 K、V 时,用该头自己的上投影从隐向量展开成 128 维向量,128 个头的展开结果互不相同。数字均出自正文:512、64、576、32768 与 1/57 的口径与 5.3.2、5.3.3、5.3.5 节一致。

5.3.1 GQA 之后还能怎么省:从「共享」到「压缩」

  上一节讲的 GQA 是节流思路的直接版本:既然 128 个头各自存一份 K、V 太奢侈,那就让 8 个头共用一份。缓存确实降下来了,但代价也摆在明面上:同组的头拿到一模一样的 K、V,表达能力被「拉平」,组数越少伤得越重,MQA 是这条路的极端,所有头共享一份,质量损失最明显。

  DeepSeek-V2 的设计者换了个角度问这个问题。KV 缓存之所以大,是因为我们存的是「成品」:每个头展开好的 K、V。可这些 K、V 本来就是从同一个 token 表示 \(h_t\) 经过投影矩阵算出来的。既然它们同出一源,信息上就有大量冗余,那能不能不存成品,改存「原料」?

  这就是 MLA 的出发点:推理时只缓存一个由 \(h_t\) 直接压缩出来的低维隐向量,各头的 K、V 需要用到时再从隐向量临时展开。共享是「几个头喝同一杯茶」,压缩是「不存茶水存茶粉,喝的时候现冲」。茶粉占的地方远小于茶水,而只要浓缩工艺够好,冲出来的味道可以不打折。

低秩压缩 Low-rank Compression 用一个小向量承载大向量的主要信息

一个高维向量如果实际只在一个低维子空间里变化,就可以先乘一个「下投影」矩阵把它压成低维向量,需要时再乘「上投影」矩阵还原。压缩过程有损还是无损,取决于原向量里真实信息的秩。MLA 押的注是:各头 K、V 里值得保留的信息,用一个远小于总维度的隐向量就装得下,模型可以在训练中学会把重要信息塞进这个小瓶子里。

5.3.2 MLA 的浓缩–展开机制

  把话落到公式上。标准 MHA 里,位置 \(t\) 的表示 \(h_t\) 分别乘 128 个头的投影矩阵,得到 128 份 K 和 128 份 V,推理时这些全部要缓存。MLA 第一步是把这些投影「砍掉」,换成一次下投影:

\[ c_t^{KV} = W^{DKV}\, h_t \tag{1} \]
公式 (1):下投影。符号说明:\(h_t\) 是位置 \(t\) 的 token 表示(上一层输出);\(W^{DKV}\) 是下投影矩阵,把 \(d\) 维的 \(h_t\) 压成 \(d_c\) 维的隐向量 \(c_t^{KV}\),随训练学习;\(d_c \ll n_h \cdot d_h\) 表示压缩维度远小于全部头的总维度(\(n_h\) 是头数,\(d_h\) 是每头维度)。推理时真正缓存的就是 \(c_t^{KV}\)。

  用 DeepSeek-V2 的真实配置代入数字:隐藏维度 \(d=5120\),共 \(n_h=128\) 个头,每头 \(d_h=128\) 维,压缩维度取 \(d_c=512\)(即 \(4\,d_h\))。一个 \(5120\) 维的向量被压成 \(512\) 维,这一份隐向量是 128 个头共用的「浓缩液」。

  第二步,注意力计算需要某个头的 K、V 时,用该头的上投影矩阵把浓缩液「冲开」:

\[ k_{t,i}^{C} = W_i^{UK}\, c_t^{KV}, \qquad v_{t,i}^{C} = W_i^{UV}\, c_t^{KV} \tag{2} \]
公式 (2):上投影。符号说明:\(W_i^{UK}\)、\(W_i^{UV}\) 是第 \(i\) 个头各自的上投影矩阵,随训练学习;\(k_{t,i}^{C}\)、\(v_{t,i}^{C}\) 是从同一份 \(c_t^{KV}\) 展开出的内容段 K、V(上标 C 表示 content 内容,不带位置信息)。各头的上投影互不相同,所以每个头拿到的 K、V 不一样。

  注意它和 GQA 的本质区别:GQA 里同组的头拿到的是逐元素相同的 K、V;MLA 里各头的上投影矩阵互不相同,展开出的 K、V 各不相同,头与头的多样性保住了。压缩的只是「存储介质」,不是「头的个性」。所以这步在干嘛:把 128 份成品 K、V 换成一份 512 维的浓缩液存起来,喝的时候每个头用自己的配方冲一杯。

原创示意图 · 非论文原图 token 表示 ht(5120 维) 下投影压缩 ctKV = WDKV · ht 低维隐向量 ctKV(512 维) 推理时只缓存它 上投影 WiUK 128 个头各自的 K 上投影 WiUV 128 个头各自的 V 传统 MHA:缓存 128 份 K+128 份 V,每层每 token 共 32768 个数 MLA:只缓存这份浓缩液(512+64=576 个数),K、V 用时现展开,缓存缩到约 1/57
图 2:MLA 的浓缩–展开流程。\(h_t\) 经下投影压成 512 维隐向量存入缓存,各头的 K、V 由各自的上投影从隐向量临时展开,不再逐头缓存。
原创示意图 · 非论文原图 矩阵视角:一次下投影替代 128 份逐头投影,缓存只留 ①+②(DeepSeek-V2 配置,画法同 4.6 节图 5) 推理单步:每新生成 1 个 token 走一遍下面流程;颜色与箭头含义见底部图例 token 表示 ht 向量 [1, 5120] × WDKV 下投影 矩阵 [5120, 512] = ctKV 向量 [1, 512] 进缓存 ① × WiUK 上投影 [512, 128] = ki 向量 [1, 128] × WiUV 上投影 [512, 128] = vi 向量 [1, 128] × 128 个头 每个头有自己的 WiUK、WiUV, 展开出的 K、V 各不相同 K、V 用时现展开 不进缓存 × WKR 矩阵 [5120, 64] RoPE 旋转 = ktR 向量 [1, 64] 进缓存 ② 位置支路:单独从 ht 算出的 64 维共享 key, 128 个头共用一份(5.3.3 节详讲) 每层每 token 要缓存的数(横条长度按真实数量成比例): MHA:128 头 ×(K+V)× 128 维 = 32768 个 32768 个数 MLA:① 512 + ② 64 = 576 个 ≈ MHA 的 1/57 576 个数(① 为主,② 只占 64) 图例: 向量 权重矩阵(参数) 进缓存 现算不缓存 内容通道 位置支路
图 3:MLA 的矩阵视角。一份 \(h_t\) [1, 5120] 乘下投影矩阵 \(W^{DKV}\) [5120, 512](公式 1)压成 512 维隐向量 ①,位置支路经 \(W^{KR}\) 加 RoPE 得 64 维共享 key ②(公式 3,5.3.3 节),①+②=576 个数就是每层每 token 要缓存的全部;128 个头的 K、V 用时才从 ① 乘各头自己的 \(W_i^{UK}\)、\(W_i^{UV}\) [512, 128](公式 2)现展开(灰色),不进缓存。底部横条按真实数量成比例:MHA 每 token 每层存 32768 个数,MLA 只存 576 个,约 1/57。紫色权重矩阵存在模型参数里,不占 KV 缓存,这就是 MLA 省缓存的全部机关。

  核心结论:MLA 每层每 token 的 KV 缓存从 MHA 的 \(2\,n_h d_h\) 个数(DeepSeek-V2 配置下 32768 个)降到 \(d_c + d_h^R\) 个数(512 + 64 = 576 个),约等于 GQA 只开 2.25 组的缓存量,而论文报告其性能强于 MHA。缓存与质量第一次不再此消彼长。

5.3.3 位置与内容分家:decoupled RoPE

  浓缩方案有一个暗礁,名字叫做 RoPE。回忆第 3 章:RoPE 是给 Q、K 按位置做旋转的位置编码,旋转矩阵和位置编号绑定。问题在于,RoPE 是直接作用在展开后的 K 上的,而 MLA 的 K 是推理时才从 \(c_t^{KV}\) 展开出来的。旋转矩阵随位置编号而变,不是一张能预先合并进投影的固定矩阵:先把位置信息混进 \(c_t^{KV}\) 再压缩,旋转和投影两种变换缠在一起,「用时再展开」的账就算不转了;展开后再逐头加 RoPE,则每个头的 K 都得真的展开出来单独旋转——要么逐头存下带位置的 K,要么每步逐头现算,压缩带来的收益被吃回去一大块。低秩压缩和 RoPE 在数学上互相打架。

  DeepSeek 的解法干脆利落:位置和内容彻底分家。K、Q 各拆成两段:

  • 内容段:占大头,从浓缩液展开,不带位置信息,走上一节的压缩流程;
  • 位置段:一小段专门承载 RoPE 的分量,单独从 \(h_t\) 算出来,不进压缩通道,也不按头区分。
\[ k_t^{R} = \mathrm{RoPE}\!\left(W^{KR}\, h_t\right) \tag{3} \]
公式 (3):解耦的位置 key。符号说明:\(W^{KR}\) 是位置 key 的投影矩阵,由 \(h_t\) 直接算出这一小段;\(\mathrm{RoPE}(\cdot)\) 是按位置编号做旋转的位置编码算子;\(k_t^{R}\) 是算出的位置段 key,维度很小(DeepSeek-V2 取 \(d_h^R = 64\),即 \(d_h/2\)),所有头共享同一份,随 \(c_t^{KV}\) 一起缓存。

  注意力打分就变成两项相加:内容段对内容段,位置段对位置段:

\[ \mathrm{score}(q_t, k_s) \;=\; \big(q_t^{C}\big)^{\!\top} k_s^{C} \;+\; \big(q_t^{R}\big)^{\!\top} k_s^{R} \tag{4} \]
公式 (4):内容相似度与位置相似度分开计算再相加。符号说明:\(q_t^{C}\)、\(k_s^{C}\) 是 Query、Key 的内容段(由浓缩液展开而来);\(q_t^{R}\)、\(k_s^{R}\) 是位置段,Query 侧同样拆两段,位置段也带 RoPE;上标 \(\top\) 表示转置,两向量的内积即它们的相似度。

  这份 64 维的位置 key 全头共享,所以缓存里只需再加 64 个数。最终每层每 token 缓存总量是 \(512 + 64 = 576\) 个数,对照 MHA 的 32768 个,缩到约 1/57。所以这步在干嘛:RoPE 不肯被压缩,那就别难为它,单独给它开一间 64 维的小储藏室,主仓库继续放浓缩液。

  补充:Query 侧 MLA 也做了同款低秩压缩(\(c_t^{Q} = W^{DQ} h_t\),DeepSeek-V2 中压缩到 1536 维),但 Query 不需要跨步缓存,这一压缩省的是参数量与训练显存,与 KV 缓存无关,知道即可。

5.3.4 推理加速:把上投影「吸收」掉

  按 5.3.2 节的描述,推理时好像每读一个缓存 token 都要做 128 次上投影,会不会把省下的显存又赔进算力里?不会,因为线性代数允许「合并同类项」。注意力打分是 \(q^{\top} k\),把上投影代进去:

\[ \big(q_t^{C}\big)^{\!\top} k_s^{C} = \big(W_i^{UQ}\, c_t^{Q}\big)^{\!\top} \big(W_i^{UK}\, c_s^{KV}\big) = \big(c_t^{Q}\big)^{\!\top} \underbrace{\big(W_i^{UQ}\big)^{\!\top} W_i^{UK}}_{\text{可预先合并成一个矩阵}}\, c_s^{KV} \tag{5} \]
公式 (5):矩阵结合律。符号说明:\(c_t^{Q}\) 是 Query 侧的低秩隐向量(5.3.3 的 \(c_t^{Q} = W^{DQ} h_t\));\(W_i^{UQ}\) 是第 \(i\) 个头的 Query 上投影矩阵。两个投影矩阵的乘积 \((W_i^{UQ})^{\top} W_i^{UK}\) 可在加载模型时预先合并成一个矩阵,推理时 query 侧的隐向量直接与缓存的 \(c_s^{KV}\) 打分,K 根本不需要真的展开。

  V 侧同理:上投影 \(W_i^{UV}\) 可以被输出投影 \(W_i^{O}\) 吸收,先对 \(c_s^{KV}\) 加权求和,最后一次性映射回隐藏维度。这套操作论文里称为矩阵吸收(absorb)。吸收之后,推理全程打交道的只有隐向量,等效于只缓存、只读取那份 576 个数的浓缩液,省显存也省显存带宽。所以这步在干嘛:展开只是数学上的中间步骤,用结合律把它折叠掉,推理时连「冲茶粉」的动作都省了。

  注释:吸收技巧改变的是计算顺序,不改变计算结果,属于「免费」的加速。训练时参数仍需分开存储,吸收发生在推理部署阶段。

5.3.5 与 MHA / GQA / MQA 对照

  把四种注意力变体放在同一张桌上,按「每层每 token 缓存的元素个数」算账(\(l\) 为层数,\(n_g\) 为 GQA 组数,元素个数与存储精度无关):

机制缓存什么每层每 token 缓存量质量表现代表模型
MHA每个头完整的 K、V\(2\,n_h d_h\)(32768)强(基准)原始 Transformer
GQA每组一份 K、V,组内共享\(2\,n_g d_h\)中等,随组数减少而下降Llama 2/3、Qwen 系
MQA全部头共享一份 K、V\(2\,d_h\)(256)较弱Falcon、早期 PaLM
MLA一份低维隐向量 + 共享位置 key\(d_c + d_h^R\)(576,约 GQA 2.25 组)论文报告不弱于 MHADeepSeek-V2 / V3

  缓存量一列用的是 DeepSeek-V2 的配置(\(n_h=128\),\(d_h=128\),\(d_c=512\),\(d_h^R=64\))。MLA 的缓存量接近 MQA,质量则接近 MHA。放到整机对比上,DeepSeek-V2 技术报告给出的数字是:相比自家稠密的 DeepSeek 67B,KV 缓存减少 93.3%,最大生成吞吐提升到 5.76 倍。

  为什么压缩能比共享做得更好?直觉上可以这样想:共享是硬约束,强行规定若干头必须一样;压缩是软约束,只限制存储的维度,至于各头的 K、V 长什么样,模型在训练中自由学习。低秩假设赌的是「K、V 里的有效信息本来就没那么满」,DeepSeek-V2 的实验结果支持了这个赌注。当然,MLA 也不是白捡的便宜:训练和推理实现都比 GQA 复杂,对工程团队的要求更高,这也是它目前主要见于 DeepSeek 系模型的原因之一。

🧭本节要点回顾
MLA 和 GQA 省缓存的思路差在哪里?
GQA 让多个头共享同一份 K、V,牺牲头的多样性;MLA 只缓存一个低维隐向量 \(c_t^{KV}\),各头用各自的上投影临时展开 K、V,多样性保住,缓存照样大降。
为什么 RoPE 和低秩压缩会冲突,怎么解决?
RoPE 的旋转作用在展开后的 K 上,与「先存浓缩液、用时再展开」的流程打架。解法是 decoupled RoPE:内容段走压缩通道,另留一小段(64 维)全头共享的位置分量单独承载 RoPE,两者分开算分再相加。
MLA 的缓存到底省了多少,质量代价是什么?
DeepSeek-V2 配置下每层每 token 缓存 576 个数,约为 MHA 的 1/57,相当于 GQA 2.25 组;论文报告性能不弱于 MHA,整机 KV 缓存较 DeepSeek 67B 减少 93.3%。主要代价是实现复杂度。

参考来源

  • DeepSeek-AI, 2024. DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model(arXiv:2405.04434)。MLA 的提出处:低秩 KV 联合压缩、decoupled RoPE、矩阵吸收技巧、缓存对比表(Table 1)与 93.3% 缓存缩减、5.76 倍吞吐均出自该文。
  • DeepSeek-AI, 2024. DeepSeek-V3 Technical Report(arXiv:2412.19437),MLA 在 V3 中的沿用。
  • Ainslie et al., 2023. GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints(arXiv:2305.13245),GQA 缓存量级对照的出处。