3.2 为什么需要位置编码:注意力是个「脸盲」
本页范围:第 3 章第 2 节 | 整理时间:2026-09-28
3.1 节把 token 变成了向量,模型知道了「每个词是什么」。但这些向量马上要送进注意力层,而注意力有一个天生的盲区:它认得出每个 token,却认不出 token 的顺序。本节先把这个盲区用最直接的方式摆出来,再给出它的数学名字,最后引出补位置信息的两条路线:
- 一个思想实验:把句子打乱(3.2.1):亲手做一次打乱输入的实验,看注意力的输出到底发生了什么;
- 语序即语义:顺序本身就是意思(3.2.2):「狗咬人」和「人咬狗」说明顺序丢了,意思就丢了一半;
- 「脸盲」的数学表述:置换等变(3.2.3):这个盲区的正式名字,后面几节会反复用到;
- 两条解决路线:绝对位置 vs 相对位置(3.2.4):发门牌号还是见面问距离,两派方案一次分清;
- 本章地图(3.2.5):接下来的 3.3、3.4、3.5 三节各自讲什么。
读完全节,你要能独立讲清两件事:为什么注意力天生「脸盲」,以及绝对位置与相对位置两条路线的分水岭在哪。这两件事是 3.3 到 3.5 节所有技术细节的地基。
位置编码坐在 Embedding 与 Transformer 之间:词向量查出「我是谁」之后、进 Transformer 之前,必须在这里补上「我在第几格」。先看它的站位:
为什么非补不可?因为注意力天生「脸盲」:不认顺序。把「不补」和「补上」两种情形并排画出来,差异一目了然:
3.2.1 一个思想实验:把句子打乱
上一节讲过,Embedding 层把每个 token ID 变成一个向量。到这里,模型知道了「这句话里有哪些词」。接下来这些向量会被送进一摞 Transformer 层做注意力计算(第 4 章的主题)。在正式拆开 Transformer 之前,先做一个思想实验,它能暴露注意力机制一个天生的盲区。
实验很简单:把「我 / 爱 / 大语言 / 模型」四个 token 的向量喂给一个不带位置编码的注意力层,记下每个 token 的输出向量;然后把输入打乱成「模型 / 爱 / 大语言 / 我」,再喂一次。直觉上,输入顺序变了,输出总该跟着变吧?实际发生的事恰恰相反:每个 token 的输出向量数值一点没变,只是按新顺序重新排了一遍。「我」在两次实验里得到的输出完全相同,它根本不知道自己第一次站在队首、第二次站在队尾。
这个现象不是 bug,而是注意力的计算方式决定的。注意力算的是「任意两个 token 之间的相关程度」:每个 token 都和所有 token 两两匹配一次,再把结果加权求和。整个过程没有任何一步用到「这个 token 排第几」。所以注意力对语序天然是「盲」的:它知道哪些 token 在场,却不知道谁排在谁前面。
3.2.2 语序即语义:顺序本身就是意思
分不清顺序,问题有多严重?看这组中文例子:
狗咬人。
人咬狗。
两句话由完全相同的三个 token 组成,意思却完全相反:谁是动作的发出者、谁是承受者,全部编码在顺序里。对一个「脸盲」的模型来说,这两句话是同一个集合 {狗,咬,人},算出的表示一模一样,它没有任何线索知道两句话的意思相反。
这样的例子在中文里俯拾皆是。「我请你吃饭」和「你请我吃饭」,人情方向完全颠倒;「屡战屡败」和「屡败屡战」用字全同,一个是丧气汇报,一个是顽强表态。人类语言的语义有相当一部分就装在词序里,读不出顺序,等于丢了一半的信息。
所以 Transformer 必须有办法感知位置。原论文(Vaswani et al., 2017)对此写得非常直白:
由于我们的模型不包含循环和卷积,为了让模型利用序列的顺序信息,我们必须注入关于序列中令牌相对或绝对位置的信息。
—— Vaswani et al., Attention Is All You Need,第 3.5 节
3.2.3 「脸盲」的数学表述:置换等变
这个盲区在数学上有个正式名字,值得记住,后面几节会反复用到:
「等变」指一种「跟着变」的性质。对注意力来说:把输入 token 的顺序任意打乱(置换),输出的内容不变,只是顺序跟着同样打乱。它意味着注意力把输入当成一个无序的集合,而不是一串有先后的序列。
用公式写出来。设 \(X\) 是 \(n\) 个 token 的向量排成的矩阵,\(\pi\) 表示任意一种打乱顺序的操作(置换),那么:
对比一下前代架构就明白这有多特殊:RNN 一个词一个词按顺序读进来,顺序天然烙在计算过程里;CNN 的卷积核也有固定的左右结构。Transformer 为了追求并行效率,让所有位置同时计算,代价就是把顺序信息弄丢了。位置编码的任务,就是把这块信息补回来。
有研究(Kazemnejad et al., 2023)发现,GPT 类模型的因果掩码会泄露少量先后信息:第 \(i\) 个位置只能看到前 \(i\) 个 token,这本身已是一种位置线索,所以 decoder-only 模型不加显式位置编码也能学到部分语序。但「相距多远」它依然感知不到,主流模型仍离不开专门的位置编码,这一点 3.4 节再展开。
3.2.4 两条解决路线:绝对位置 vs 相对位置
补位置信息的方案分成两大流派,区别用一个类比就能说清。给小区住户定位:一种思路是发门牌号,每栋楼钉一块牌子,1 号楼、2 号楼,住户报出号码就知道自己在哪;另一种思路不发门牌号,见面问距离,任意两户碰面,先问一句「咱们两家隔几栋楼」。前一种是绝对位置编码,后一种是相对位置编码。
| 对比维度 | 绝对位置编码 | 相对位置编码 |
|---|---|---|
| 核心思想 | 给每个位置发一个「门牌号」向量 | 不标门牌号,让 token 两两感知「相距多远」 |
| 代表方法 | 正弦编码(Transformer 原版)、可学习编码(GPT、BERT) | RoPE(旋转位置编码)、ALiBi |
| 注入位置 | 输入端:位置向量直接加在 token 向量上 | 注意力内部:改造两两匹配的内积(QK 内积,见 3.4 节)或给注意力分数加偏置 |
| 模型感知到 | 「我排在序列的第几位」 | 「我们两个隔多远、谁前谁后」 |
| 长度外推 | 偏弱:训练时没见过的位置,没有现成的向量可用 | 偏强:距离规律不随序列变长而失效(ALiBi 的论文标题就叫 Train Short, Test Long) |
两派的分歧不只是工程口味。绝对位置编码把「第 512 位」这样的信息写死在向量里,训练时没见过第 513 位,推理时就没有现成的表示可用(可学习编码是表里少了这一行,正弦编码虽能算出数值、模型却没学过怎么用);相对位置编码只学「距离 3 是什么意思」,这条规律不随序列变长而失效。这就是为什么位置编码的选择会一路影响模型的长度外推能力,也就是第 3.5 节的主线。
自注意力天生是个「脸盲」:认得出每个 token,认不出 token 的顺序,位置编码是 Transformer 唯一的位置信息来源。绝对位置编码发「门牌号」,相对位置编码量「间距」。当代主流 LLM(LLaMA、Qwen、DeepSeek 等)几乎一边倒地选择了相对阵营的 RoPE,3.4 节细讲原因。
3.2.5 本章地图
接下来的三节把位置编码讲透:
- 3.3 绝对位置编码:正弦编码的公式设计(为什么用正弦?为什么波长按几何级数排布?)与可学习位置编码;
- 3.4 相对位置编码:RoPE 如何用「旋转」把绝对位置转化为相对距离、为什么成为当代 LLM 的默认选项,ALiBi 一条直线凭什么外推;
- 3.5 长度外推:推理长度超过训练长度时模型会发生什么,位置编码如何决定模型能不能「读长文」。
参考来源
- Vaswani et al., 2017. Attention Is All You Need(arXiv:1706.03762),第 3.5 节明确提出「模型不含循环与卷积,必须注入位置信息」。本页正文所称「原论文」即此篇。
- Su et al., 2021. RoFormer: Enhanced Transformer with Rotary Position Embedding(RoPE 原始论文,arXiv:2104.09864),3.4 节详述。
- Press, Smith & Lewis, 2021. Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation(ALiBi 原始论文,arXiv:2108.12409),3.4、3.5 节详述。
- Devlin et al., 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding(arXiv:1810.04805),可学习绝对位置编码的代表。
- Kazemnejad et al., 2023. The Impact of Positional Encoding on Length Generalization in Transformers(NeurIPS 2023),因果掩码泄露位置信息与无显式位置编码(NoPE)现象的讨论。