3.2 为什么需要位置编码:注意力是个「脸盲」

本页范围:第 3 章第 2 节 | 整理时间:2026-09-28

快速浏览

核心问题Embedding 告诉模型「每个 token 是什么」,但 Transformer 的注意力天生不看顺序。「第几个出现的 token」这条信息从哪来?
本节主张纯自注意力是置换等变的:把输入 token 打乱,输出只是跟着重排,数值一点不变。它把句子当「集合」而非「序列」,语序信息必须额外注入。
一句话结论绝对位置编码给每个位置发一个向量加在 token 上,相对位置编码让注意力计算时直接感知两个 token 相距多远;选哪种深刻影响模型的长度外推能力。
关键词
置换等变位置编码语序绝对位置相对位置RoPEALiBi

  3.1 节把 token 变成了向量,模型知道了「每个词是什么」。但这些向量马上要送进注意力层,而注意力有一个天生的盲区:它认得出每个 token,却认不出 token 的顺序。本节先把这个盲区用最直接的方式摆出来,再给出它的数学名字,最后引出补位置信息的两条路线:

  1. 一个思想实验:把句子打乱(3.2.1):亲手做一次打乱输入的实验,看注意力的输出到底发生了什么;
  2. 语序即语义:顺序本身就是意思(3.2.2):「狗咬人」和「人咬狗」说明顺序丢了,意思就丢了一半;
  3. 「脸盲」的数学表述:置换等变(3.2.3):这个盲区的正式名字,后面几节会反复用到;
  4. 两条解决路线:绝对位置 vs 相对位置(3.2.4):发门牌号还是见面问距离,两派方案一次分清;
  5. 本章地图(3.2.5):接下来的 3.3、3.4、3.5 三节各自讲什么。

  读完全节,你要能独立讲清两件事:为什么注意力天生「脸盲」,以及绝对位置与相对位置两条路线的分水岭在哪。这两件事是 3.3 到 3.5 节所有技术细节的地基。

  位置编码坐在 Embedding 与 Transformer 之间:词向量查出「我是谁」之后、进 Transformer 之前,必须在这里补上「我在第几格」。先看它的站位:

原创示意图 · 非论文原图 原始文本: 「我爱中国」 (输入起点) 分词器: 切成 token ID 序列 (第 2 章) Embedding 层: 查表:ID → 词向量 (3.1 节) 位置编码: 本节内容:位置注入 (3.2–3.5 节) Transformer 层: 注意力与前馈 ×N (第 4 章) 输出投影: 算各 token 的概率 (4.6 节) 采样: 吐出下一个 token (第 12 章) 生成的新 token 接回输入,继续循环(自回归,第 12 章) 浅色实线框:已讲章节 紫底框:本节内容 虚线框:后续章节
图 1:位置编码在前向链路中的位置。词向量查好「我是谁」之后、进 Transformer 之前,必须在这一站注入「我在第几格」。

  为什么非补不可?因为注意力天生「脸盲」:不认顺序。把「不补」和「补上」两种情形并排画出来,差异一目了然:

原创示意图 · 非论文原图 局部放大:位置编码注入——没有它,打乱顺序等于同一句话 ① 没有位置编码:两句话只是同一袋向量的不同排列 句 A:我 爱 中国 句 B:中国 爱 我 向量袋 A {我,爱,中国} 向量袋 B {中国,爱,我} ≈ 同一袋,只是排列不同 注意力看来:同一句话(脸盲) ② 注入位置编码:每个向量贴上「第几格」,两袋立刻不同 句 A 我 + 位置 0 爱 + 位置 1 中国 + 位置 2 句 B 中国 + 位置 0 爱 + 位置 1 我 + 位置 2 红框对照:同一个「我」,在句 A 带位置 0、在句 B 带位置 2——向量不再相同,注意力能分清语序 ③ 输出:词向量 + 位置向量 = 最终嵌入(逐元素相加,尺寸不变) … 词向量矩阵 3 × 768 + … 位置矩阵 3 × 768(怎么算见 3.3 节) = … 最终嵌入矩阵 3 × 768(输出) 送往 Transformer 第 1 层(第 4 章)
图 2:位置编码为什么必需、以及它怎么注入。没有位置编码时,「我 爱 中国」与「中国 爱 我」在注意力眼里是同一袋向量;注入后每个向量带上自己的位置标签,同一个词在不同语序下向量不同。注入方式就是逐元素相加:词向量矩阵加位置矩阵,得到同样大小的最终嵌入矩阵。位置向量怎么算出来(正弦公式或可学习)是 3.3 节的内容。

3.2.1 一个思想实验:把句子打乱

  上一节讲过,Embedding 层把每个 token ID 变成一个向量。到这里,模型知道了「这句话里有哪些词」。接下来这些向量会被送进一摞 Transformer 层做注意力计算(第 4 章的主题)。在正式拆开 Transformer 之前,先做一个思想实验,它能暴露注意力机制一个天生的盲区。

  实验很简单:把「我 / 爱 / 大语言 / 模型」四个 token 的向量喂给一个不带位置编码的注意力层,记下每个 token 的输出向量;然后把输入打乱成「模型 / 爱 / 大语言 / 我」,再喂一次。直觉上,输入顺序变了,输出总该跟着变吧?实际发生的事恰恰相反:每个 token 的输出向量数值一点没变,只是按新顺序重新排了一遍。「我」在两次实验里得到的输出完全相同,它根本不知道自己第一次站在队首、第二次站在队尾。

原创示意图 · 非论文原图 实验 A:正常顺序输入 位置0 位置1 位置2 位置3 我 爱 大语言 模型 自注意力 无位置编码 我' 爱' 大语言' 模型' 0.21 0.87 0.45 0.63 实验 B:打乱顺序输入 位置0 位置1 位置2 位置3 模型 爱 大语言 我 自注意力 无位置编码 模型' 爱' 大语言' 我' 0.63 0.87 0.45 0.21 「我」的输出两次都是 0.21,它不知道自己站在队首还是队尾 打乱输入,输出只是跟着重排:注意力对语序「脸盲」
图 3:同一句子的两种排列喂给不带位置编码的注意力层,每个 token 的输出数值完全相同(颜色与数字一一对应),只是顺序跟着重排。

  这个现象不是 bug,而是注意力的计算方式决定的。注意力算的是「任意两个 token 之间的相关程度」:每个 token 都和所有 token 两两匹配一次,再把结果加权求和。整个过程没有任何一步用到「这个 token 排第几」。所以注意力对语序天然是「盲」的:它知道哪些 token 在场,却不知道谁排在谁前面。

3.2.2 语序即语义:顺序本身就是意思

  分不清顺序,问题有多严重?看这组中文例子:

狗咬人。
人咬狗。

  两句话由完全相同的三个 token 组成,意思却完全相反:谁是动作的发出者、谁是承受者,全部编码在顺序里。对一个「脸盲」的模型来说,这两句话是同一个集合 {狗,咬,人},算出的表示一模一样,它没有任何线索知道两句话的意思相反。

  这样的例子在中文里俯拾皆是。「我请你吃饭」和「你请我吃饭」,人情方向完全颠倒;「屡战屡败」和「屡败屡战」用字全同,一个是丧气汇报,一个是顽强表态。人类语言的语义有相当一部分就装在词序里,读不出顺序,等于丢了一半的信息。

  所以 Transformer 必须有办法感知位置。原论文(Vaswani et al., 2017)对此写得非常直白:

由于我们的模型不包含循环和卷积,为了让模型利用序列的顺序信息,我们必须注入关于序列中令牌相对或绝对位置的信息。
—— Vaswani et al., Attention Is All You Need,第 3.5 节

3.2.3 「脸盲」的数学表述:置换等变

  这个盲区在数学上有个正式名字,值得记住,后面几节会反复用到:

置换等变 Permutation Equivariant permutation(置换)+ equivariant(等变)= 输入怎么换顺序,输出就跟着怎么换顺序

「等变」指一种「跟着变」的性质。对注意力来说:把输入 token 的顺序任意打乱(置换),输出的内容不变,只是顺序跟着同样打乱。它意味着注意力把输入当成一个无序的集合,而不是一串有先后的序列。

  用公式写出来。设 \(X\) 是 \(n\) 个 token 的向量排成的矩阵,\(\pi\) 表示任意一种打乱顺序的操作(置换),那么:

\[ \mathrm{Attention}(\pi X) \;=\; \pi\,\mathrm{Attention}(X) \tag{1} \]
公式 (1):先打乱再算注意力,与先算注意力再打乱,结果完全一样。注意力不创造任何顺序信息,输入怎么排,输出就怎么排。

  对比一下前代架构就明白这有多特殊:RNN 一个词一个词按顺序读进来,顺序天然烙在计算过程里;CNN 的卷积核也有固定的左右结构。Transformer 为了追求并行效率,让所有位置同时计算,代价就是把顺序信息弄丢了。位置编码的任务,就是把这块信息补回来。

  有研究(Kazemnejad et al., 2023)发现,GPT 类模型的因果掩码会泄露少量先后信息:第 \(i\) 个位置只能看到前 \(i\) 个 token,这本身已是一种位置线索,所以 decoder-only 模型不加显式位置编码也能学到部分语序。但「相距多远」它依然感知不到,主流模型仍离不开专门的位置编码,这一点 3.4 节再展开。

3.2.4 两条解决路线:绝对位置 vs 相对位置

  补位置信息的方案分成两大流派,区别用一个类比就能说清。给小区住户定位:一种思路是发门牌号,每栋楼钉一块牌子,1 号楼、2 号楼,住户报出号码就知道自己在哪;另一种思路不发门牌号,见面问距离,任意两户碰面,先问一句「咱们两家隔几栋楼」。前一种是绝对位置编码,后一种是相对位置编码。

对比维度绝对位置编码相对位置编码
核心思想给每个位置发一个「门牌号」向量不标门牌号,让 token 两两感知「相距多远」
代表方法正弦编码(Transformer 原版)、可学习编码(GPT、BERT)RoPE(旋转位置编码)、ALiBi
注入位置输入端:位置向量直接加在 token 向量上注意力内部:改造两两匹配的内积(QK 内积,见 3.4 节)或给注意力分数加偏置
模型感知到「我排在序列的第几位」「我们两个隔多远、谁前谁后」
长度外推偏弱:训练时没见过的位置,没有现成的向量可用偏强:距离规律不随序列变长而失效(ALiBi 的论文标题就叫 Train Short, Test Long)

  两派的分歧不只是工程口味。绝对位置编码把「第 512 位」这样的信息写死在向量里,训练时没见过第 513 位,推理时就没有现成的表示可用(可学习编码是表里少了这一行,正弦编码虽能算出数值、模型却没学过怎么用);相对位置编码只学「距离 3 是什么意思」,这条规律不随序列变长而失效。这就是为什么位置编码的选择会一路影响模型的长度外推能力,也就是第 3.5 节的主线。

  自注意力天生是个「脸盲」:认得出每个 token,认不出 token 的顺序,位置编码是 Transformer 唯一的位置信息来源。绝对位置编码发「门牌号」,相对位置编码量「间距」。当代主流 LLM(LLaMA、Qwen、DeepSeek 等)几乎一边倒地选择了相对阵营的 RoPE,3.4 节细讲原因。

3.2.5 本章地图

  接下来的三节把位置编码讲透:

  • 3.3 绝对位置编码:正弦编码的公式设计(为什么用正弦?为什么波长按几何级数排布?)与可学习位置编码;
  • 3.4 相对位置编码:RoPE 如何用「旋转」把绝对位置转化为相对距离、为什么成为当代 LLM 的默认选项,ALiBi 一条直线凭什么外推;
  • 3.5 长度外推:推理长度超过训练长度时模型会发生什么,位置编码如何决定模型能不能「读长文」。
🧭本节要点回顾
为什么说不加位置编码的注意力是个「脸盲」?
注意力是置换等变的:输入 token 怎么打乱,输出只是跟着重排,每个 token 的输出数值不变。它把句子当集合而非序列,认得出 token,认不出顺序。
「狗咬人」和「人咬狗」对纯注意力模型来说是什么关系?
完全是一回事。两者的 token 集合相同,模型算出的每个 token 表示一模一样;两句话意思相反这件事,它无从得知,语序承载的语义对它全部丢失。
绝对位置编码和相对位置编码的分水岭在哪里?
前者给每个位置发固定的「门牌号」向量加在 token 上(正弦编码、可学习编码),后者不标绝对位置,让注意力计算时直接感知两个 token 的距离(RoPE、ALiBi)。这个选择深刻影响长度外推能力,是 3.5 节的主线。

参考来源

  • Vaswani et al., 2017. Attention Is All You Need(arXiv:1706.03762),第 3.5 节明确提出「模型不含循环与卷积,必须注入位置信息」。本页正文所称「原论文」即此篇。
  • Su et al., 2021. RoFormer: Enhanced Transformer with Rotary Position Embedding(RoPE 原始论文,arXiv:2104.09864),3.4 节详述。
  • Press, Smith & Lewis, 2021. Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation(ALiBi 原始论文,arXiv:2108.12409),3.4、3.5 节详述。
  • Devlin et al., 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding(arXiv:1810.04805),可学习绝对位置编码的代表。
  • Kazemnejad et al., 2023. The Impact of Positional Encoding on Length Generalization in Transformers(NeurIPS 2023),因果掩码泄露位置信息与无显式位置编码(NoPE)现象的讨论。