4.3 多头注意力与掩码:八个视角看同一句

本页范围:第 4 章第 3 节 | 整理时间:2026-09-29

快速浏览

核心问题一个注意力头只能给出一种加权平均,一句话里同时存在的多种关系(长距离搭配、指代、语法结构)会不会被互相糊掉?自回归生成时,又怎么保证模型看不到还没写出来的未来?
本节主张多头注意力把 Q、K、V 分别投影到 8 个低维子空间,并行算出 8 份注意力再拼接混合,算力开销与单头全维相当;掩码在 softmax 之前把未来位置的分数置为 −∞,从数学上封死信息从右向左流动。
一句话结论8 个头是 8 个声部各听一种关系,掩码是给未来位置贴的封条:前者解决"看得全",后者保证"不作弊"。
关键词
多头注意力表示子空间因果掩码自回归交叉注意力

  上一节讲透了单头注意力的原理,但原论文(Vaswani et al., 2017)实际用的是 8 个头,生成场景还离不开掩码。本节解决两个接踵而来的问题:一个头为什么不够,以及自回归生成时怎么封死通往未来的信息通道。两个主题一前一后:

  1. 一个头为什么不够:平均会糊掉多种关系(4.3.1):单头只端得出一份"什锦菜",消融实验与注意力可视化两条证据都站在多头一边;
  2. 多头机制:投影、分头、拼接、再投影(4.3.2):512 维拆成 8 个 64 维子空间并行计算,参数量与算力却不增加;
  3. 掩码:给未来的卷子贴上封条(4.3.3):在 softmax 之前给未来位置加 −∞,权重精确归零,整句并行训练与逐词生成由此等价;
  4. 一份注意力,三种岗位(4.3.4):同一模块靠切换 Q、K、V 的来源和可见范围,分别干"读原文""写译文""边写边查原文"三件事。

  读完本节,你应该能说清两件事:8 个头为什么不花 8 倍的钱,以及"不许看未来"这条纪律是靠什么数学手段焊死的。

  多头注意力就在 4.2 节那台机器的原地:同一个 Transformer 层,同一个位置,只是把单机换成了机群。先看它在链路中的站位:

原创示意图 · 非论文原图 原始文本: 「我爱中国」 (输入起点) 分词器: 切成 token ID 序列 (第 2 章) Embedding 层: 查表:ID → 词向量 (3.1 节) 位置编码: 注入“第几格” (3.2–3.5 节) Transformer 层: 本节内容:多头注意力 (第 4 章) 输出投影: 算各 token 的概率 (4.6 节) 采样: 吐出下一个 token (第 12 章) 生成的新 token 接回输入,继续循环(自回归,第 12 章) 浅色实线框:已讲章节 紫底框:本节内容 虚线框:后续章节
图 1:多头注意力在前向链路中的位置。它与 4.2 节共享同一个紫框——多头不是新部件,而是把注意力机制原样复制多份、并行执行的组织方式。

  所谓机群,就是把 4.2 节那台注意力机器原样复制 8 份并行:4.2 节图 2 的最终输出(3 × 96),就是下面图 2 里每个头框装的内容。用 minimind 的真实尺寸(8 个头、每头 96 维)把这台机群画出来:

原创示意图 · 非论文原图 局部放大:多头注意力——X 复制 8 份、8 头并行、按列拼接、W_O 混合 每个头框 = 把 4.2 节图 2 的流程完整跑一遍,它的最终输出(3 × 96)就是头框的内容;本图只看 8 个头怎么组织、怎么汇总 X 复制 8 份,每个头拿一份完整副本,各配一套投影矩阵 … X:3 × 768 头 1:投影 → 注意力(4.2 图 2 全程)→ 3 × 96 头 2:投影 → 注意力(4.2 图 2 全程)→ 3 × 96 头 3:投影 → 注意力(4.2 图 2 全程)→ 3 × 96 头 4:投影 → 注意力(4.2 图 2 全程)→ 3 × 96 头 5:投影 → 注意力(4.2 图 2 全程)→ 3 × 96 头 6:投影 → 注意力(4.2 图 2 全程)→ 3 × 96 头 7:投影 → 注意力(4.2 图 2 全程)→ 3 × 96 头 8:投影 → 注意力(4.2 图 2 全程)→ 3 × 96 按列拼接 Concat 头1 头2 头3 头4 头5 头6 头7 头8 8 段 × 96 = 768 列(3 × 768) 输出投影 W_O 768 × 768 全连接(下方栏详解) 输出 3 × 768(与输入同形) 8 头为什么不花 8 倍算力:每头只占 96 维,合计仍是 768 每个头框装的 = 4.2 节图 2 的最终输出(3 × 96) W_O 在干嘛:混合 + 调配 + 对口 ① 拼接只是摞起来 拼完后第 0–95 列是头 1 的、第 96–191 列是 头 2 的……各头的发现还分着家 ② W_O 是可学习的调配配方 输出的每一维 = 拼接向量 768 个分量的加权和, 权重训练得来,模型自己学会往哪写、写多少 ③ 输入输出都是 768 维 形状与输入 X 严丝合缝,才能过残差 连接、进下一层(4.4 节) × = 一个 token 的拼接行(1 × 768)× W_O(768 × 768)= 输出行(1 × 768), 每维都是全部 8 个头的加权和;3 个 token 各行算各的 口诀:Concat 放在一起,W_O 融为一体
图 2:多头注意力的并行结构与汇总。输入 X(3 × 768)复制 8 份,每个头拿一份完整副本、用自己的投影矩阵把 4.2 节图 2 的流程完整跑一遍,得到 3 × 96 的输出;8 段按列拼回 3 × 768,再乘输出投影 W_O(768 × 768)把各头的信息融合成最终输出,底部横栏详解 W_O 的三件事。8 头合计维度仍为 768,所以算力开销与单头相当。

4.3.1 一个头为什么不够:平均会糊掉多种关系

  上一节的缩放点积注意力只有一套打分体系:每个位置对所有位置算一组分数,softmax 之后做一份加权平均。一份平均意味着每个位置最终只端得出一盘"什锦菜":主谓搭配、指代关系、修饰关系全被搅进同一个向量里,谁也说不清这盘菜到底是什么味。原论文在 3.2.2 节直接点破了这个问题:

多头注意力允许模型在不同位置共同关注来自不同表示子空间的信息。使用单个注意力头时,平均操作会抑制这种能力。(3.2.2 节)

  换成机制语言来说:单个注意力头只有一套投影,一句话里的语法、指代、长距离搭配等多种关系只能挤在同一份注意力分布里,细节难免被平均掉。多头注意力把表示拆成多路并行,让不同的头各自捕捉不同类型的依赖关系,最后把各路结果拼接汇总,表示就完整得多。这就是多头注意力的直觉。

表示子空间 Representation Subspace subspace = 高维向量空间里划出的一块低维专区

512 维的向量可以切成 8 段 64 维的小空间,每段就是原空间的一个子空间。模型可以让不同子空间专门编码不同性质的关系:一段管语法搭配,一段管指代,互不干扰。多头机制里的"投影到低维",就是把每个头送进各自的子空间工作。

  这个直觉有两条硬证据。一条来自消融实验:原论文 6.2 节表 3 的 (A) 组在保持总计算量不变的前提下改变头数,结果是单头(\(h=1\))比最佳设置低 0.9 个 BLEU,头数过多时质量同样下降,基准设置 \(h=8\) 在英德开发集上取得 25.8 的 BLEU。另一条来自可视化:论文附录把训练好的注意力权重画了出来,不同的头确实在干不同的活。

原论文图3:多个注意力头关注长距离依赖
图 3:编码器第 5 层中,多个注意力头(不同颜色)共同关注动词 making 的远距离搭配,完成 "making...more difficult" 这一短语(来源:Attention Is All You Need 原论文图 3)。
原论文图5:不同注意力头表现出不同行为
图 4:同一层的两个注意力头表现出与句子结构相关的不同行为,论文评价它们"显然学会了执行不同的任务"(来源:Attention Is All You Need 原论文图 5)。

  所以这一步在干嘛:单头是一个人包办所有关系,多头是把评审团拆开,让每个头在自己的子空间里专盯一类模式,免得所有线索被一锅平均成糊。

4.3.2 多头机制:投影、分头、拼接、再投影

  多头的做法分四步:把 Q、K、V 投影到低维,分成 8 个头,8 个头并行各自算注意力,把 8 份输出拼接后再投影一次。每一步都是矩阵运算,可以完全并行。原论文 3.2.2 节的定义:

\[ \mathrm{MultiHead}(Q,K,V)=\mathrm{Concat}(\mathrm{head}_1,\dots,\mathrm{head}_h)\,W^O \tag{1} \] \[ \text{其中 }\ \mathrm{head}_i=\mathrm{Attention}(QW_i^Q,\ KW_i^K,\ VW_i^V) \tag{2} \]
公式 (1)(2):每个头先用自己的投影矩阵把 Q、K、V 压到低维,独立算注意力;8 份输出拼接后过一层 \(W^O\),混合各头的信息。符号说明:\(\mathrm{Attention}\) 即上一节公式 (1) 的缩放点积注意力;\(W_i^Q,W_i^K,W_i^V\) 是第 \(i\) 个头专属的三套投影矩阵,形状与取值见下文表格;\(\mathrm{head}_i\) 是第 \(i\) 个头的输出;\(h=8\) 是头数;\(\mathrm{Concat}\) 表示把 \(h\) 份输出按列拼接;\(W^O\) 是输出投影矩阵,把拼接结果混合回 \(d_{\mathrm{model}}\) 维。

  式中各投影矩阵的形状为 \(W_i^Q\in\mathbb{R}^{d_{\mathrm{model}}\times d_k}\)、\(W_i^K\in\mathbb{R}^{d_{\mathrm{model}}\times d_k}\)、\(W_i^V\in\mathbb{R}^{d_{\mathrm{model}}\times d_v}\)、\(W^O\in\mathbb{R}^{hd_v\times d_{\mathrm{model}}}\)。原论文的具体设置:\(d_{\mathrm{model}}=512\),\(h=8\),每个头 \(d_k=d_v=d_{\mathrm{model}}/h=64\)。

量符号原论文取值含义
模型主维度\(d_{\mathrm{model}}\)512残差流的宽度,每层输入输出都是这个维度
注意力头数\(h\)8并行计算的子空间份数
每头键/查询维度\(d_k\)64每个头用来算分数的向量长度
每头值维度\(d_v\)64每个头输出的向量长度
拼接后维度\(h\cdot d_v\)512恰好等于 \(d_{\mathrm{model}}\),维度与主干一致,可直接接回主干

  把张量形状走一遍。假设一句话有 \(n=10\) 个 token,输入是 \(10\times 512\) 的矩阵。第 \(i\) 个头用自己的三套投影矩阵(各 \(512\times 64\))把它压成 \(10\times 64\) 的 \(Q_i\)、\(K_i\)、\(V_i\),按上一节的缩放点积算出 \(10\times 64\) 的输出。8 个头各产出一份 \(10\times 64\),按列拼起来是 \(10\times 512\),最后乘 \(W^O\)(\(512\times 512\))得到 \(10\times 512\),维度与输入完全一致,可以直接交给残差连接和下一层。

原创示意图 · 非论文原图 输入 X n×512 Q/K/V 线性投影 每头一套矩阵 512 → 64 8 个头并行算注意力 各自独立,互不通信 各输出 n×64 Concat 8×64=512 W^O 投影 混合 8 头信息 输出 n×512 8 个头各自在 64 维子空间里工作,拼回 512 维后由 W^O 汇总,维度与输入一致。
图 5:多头注意力的数据流,投影、分头、并行注意力、拼接、再投影五步,括号外维度始终对齐 \(d_{\mathrm{model}}\)。

  8 个头会不会把算力翻 8 倍?不会,账很好算。以 Q 投影为例:单头全维方案需要一套 \(512\times 512\) 的投影矩阵;多头方案是 8 套 \(512\times 64\),总参数量 \(8\times 512\times 64=512\times 512\),一模一样。注意力打分的计算量同理。原论文因此写明:"由于每个头的维度降低,总计算成本与使用全维度的单头注意力相似。"

  多头是用同一份预算买 8 个视角:总参数量、总计算量与单头全维注意力基本相当,换来的是 8 个表示子空间各自学习不同关系模式的能力。

  所以这一步在干嘛:把 512 维的大会议室隔成 8 间 64 维的小会议室,8 场讨论同时开,最后把 8 份纪要钉成一份,交给下一层。

4.3.3 掩码:给未来的卷子贴上封条

  多头解决的是"看得全",掩码解决的是"不许看"。语言模型生成是一个词一个词往外写的:写出第 3 个词时,第 4 个词还不存在。可训练时句子的所有位置是同时送进模型的,如果不加限制,模型预测每个词时都能直接看到答案,那就什么也学不到。这条"只许依赖已经写出来的内容"的纪律,叫做自回归。

自回归 Autoregressive auto(自己)+ regressive(回归)= 用自己已有的输出预测下一个输出

自回归模型每生成一步,只能把已经生成的内容当作已知条件。写出第 \(i\) 个词时,能用的信息只有第 1 到第 \(i-1\) 个词。Transformer 不靠外部规则维持这条纪律,而是用掩码把它直接焊死在注意力计算里。

因果掩码 Causal Mask causal = 保证因果方向:现在的输出只由过去决定

一个下三角形状的开关:位置 \(i\) 允许看 \(j\leq i\) 的位置(包括自己),\(j>i\) 的位置一律封死。实现上不动 softmax 本身,而是在 softmax 之前把非法位置的注意力分数改成 \(-\infty\),让 softmax 替你把它们的权重清零。

  具体做法极简。在 \(QK^\top/\sqrt{d_k}\) 算出的分数矩阵上,给所有"看向未来"的格子加 \(-\infty\)(工程里也常用一个很大的负数,比如 \(-10^9\))。softmax 对 \(-\infty\) 的处理是 \(e^{-\infty}=0\),这些位置的权重被压成精确的 0。工程上常把这件事写成给分数矩阵加一个掩码矩阵 \(M\):

\[ \mathrm{Attention}(Q,K,V)=\mathrm{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}+M\right)V,\qquad M_{ij}=\begin{cases}0, & j\leq i\\ -\infty, & j>i\end{cases} \tag{3} \] \[ \mathrm{softmax}\big([\,2.0,\ 1.5,\ -\infty,\ -\infty,\ -\infty\,]\big)= [\,0.62,\ 0.38,\ 0,\ 0,\ 0\,] \tag{4} \]
公式 (3):掩码作为加法项进入 softmax 之前。公式 (4):一行具体数字,位置 2 的分数被掩码截断后,权重只落在位置 1、2 上,未来位置精确为 0,不是约等于。符号说明:\(M\) 是掩码矩阵,与分数矩阵同形;\(M_{ij}\) 是它第 \(i\) 行第 \(j\) 列的元素——\(j\le i\)(允许回看的位置)取 0,加等于不加;\(j>i\)(未来位置)取 \(-\infty\),softmax 后权重归零;其余符号同上一节公式 (1)。
原创示意图 · 非论文原图 我 爱 大 语 言 我 爱 大 语 言 ✓ ✗ ✗ ✗ ✗ ✓ ✓ ✗ ✗ ✗ ✓ ✓ ✓ ✗ ✗ ✓ ✓ ✓ ✓ ✗ ✓ ✓ ✓ ✓ ✓ 以第 2 行(位置"爱")为例: softmax 前的分数(掩码已生效) [2.0, 1.5, −∞, −∞, −∞] softmax 后的注意力权重 [0.62, 0.38, 0, 0, 0] 允许关注(j ≤ i) 封住未来(分数置 −∞,权重为 0) 行 i 是当前生成位置,列 j 是想回看的位置:生成第 i 个词时只允许看 j ≤ i 的格子。
图 6:因果掩码是一个下三角开关矩阵,紫格可见、灰格被封,被封的格子的注意力权重精确为 0。

  易错点:两个高频误解。其一:掩码加在 softmax 之前的分数上,不是 softmax 之后把权重改成 0;先归一化再清零会破坏权重总和为 1 的性质。其二:位置 i 能看到位置 i 自己(\(j\leq i\) 含等号),配合解码器输入整体右移一位,位置 i 的预测恰好只依赖前 \(i-1\) 个已知输出(原论文 3.1 与 3.2.3 节),训练与推理因此严格对齐。

  补充:有了掩码,训练时可以把完整句子一次性送进解码器,并行计算所有位置的损失,而不必像 RNN 那样逐词串行等待。封条让"整句并行训练"与"逐词自回归生成"在数学上完全等价,这是 Transformer 训练快的重要原因之一。

  所以这一步在干嘛:在打分表上给每个未来位置盖 \(-\infty\) 的章,softmax 一过滤,这些位置的权重变成 0,模型写每个词时眼里真的只有过去。

4.3.4 一份注意力,三种岗位

  同一个 MultiHead 模块,在编码器-解码器架构里被安排到三个岗位,区别只在两件事:Q、K、V 分别从哪儿来,谁能看谁。原论文 3.2.3 节的划分:

岗位Q 来自K、V 来自每个位置能看谁掩码
编码器自注意力编码器前一层输出编码器前一层输出输入序列全部位置无
解码器掩码自注意力解码器前一层输出解码器前一层输出自己及左边(\(j\leq i\))因果掩码
编码器-解码器注意力(交叉注意力)解码器前一层输出编码器输出输入序列全部位置无

  前两种是自注意力,Q、K、V 同源,区别只在有没有封条:编码器读原文时全句可见,解码器写译文时只许回看。第三种常叫交叉注意力(cross-attention):Q 是解码器当前的状态,相当于"我现在想知道什么";K、V 是编码器读完原文后留下的全套笔记,相当于"原文哪里写着答案"。翻译时每写一个词,解码器都拿着自己的问题去原文里检索一遍最相关的段落。

  值得一提的是,今天主流的 GPT 系模型只保留了第二种岗位:它们是纯解码器(decoder-only)架构,没有编码器,交叉注意力整层取消,只剩掩码自注意力一路堆叠。掩码因此从"三种用法之一"变成现代 LLM 的默认设定,第 12 章讲解码策略时还会反复用到它。配套小工程 minimind 正是这样一个纯解码器模型。

  所以这一步在干嘛:同一台发动机装在三个工位上,靠切换 Q、K、V 的来源和可见范围,分别干"读原文""写译文(不偷看)""边写边查原文"三件事。

🧭本节要点回顾
为什么单个注意力头不够用?
单头只能输出一份加权平均,多种关系被搅在一起互相抑制。原论文消融显示单头比最佳设置低 0.9 个 BLEU,可视化则直接看到不同的头分工关注不同的句子结构。
8 个头会不会让计算量翻 8 倍?
不会。每个头的维度从 512 降到 64,以 Q 投影为例,总参数量 \(8\times 512\times 64=512\times 512\),与单头全维方案完全相同,计算量也相当,这是原论文 3.2.2 的明确设定。
掩码是怎么保证模型看不到未来的?
在 softmax 之前把 \(j>i\) 的分数置为 \(-\infty\),softmax 后这些位置的权重精确为 0。位置 i 只能看 \(j\leq i\),再配合解码器输入右移一位,预测第 i 个词时只依赖前 \(i-1\) 个已知输出。

参考来源

  • Vaswani et al., 2017. Attention Is All You Need(arXiv:1706.03762):多头公式与 \(h=8\)、\(d_k=d_v=64\) 的设定出自 3.2.2 节;掩码机制与输出嵌入右移出自 3.1 与 3.2.3 节;三种注意力岗位出自 3.2.3 节;头数消融(单头低 0.9 个 BLEU、\(h=8\) 基准 25.8)出自 6.2 节表 3;注意力头分工的可视化证据出自附录图 3 与图 5。本页正文所称「原论文」即此篇。
  • minimind 工程源码(Apache 2.0 协议):model/model_minimind.py 中 Attention 类的多头与因果掩码实现。