3.3 绝对位置编码:正弦与可学习两种方案
本页范围:第 3 章第 3 节 | 整理时间:2026-09-28
3.2 节确认了注意力对顺序“脸盲”,位置信息必须额外注入。本节讲最早、也最直观的一派做法:给每个位置发一个专属向量,加在词向量上一起送进模型。围绕“这个向量从哪来”,历史上出现过两种经典答案,本节沿这条线逐个拆开:
- 把位置“写”进向量(3.3.1):位置向量与词向量相加的注入方式,以及相加为什么不会互相干扰;
- 正弦位置编码:给每个维度配一把不同刻度的尺子(3.3.2):人工设计的固定波形,为什么用正弦、为什么波长按几何级数排布;
- 可学习位置编码:交给训练自己学(3.3.3):不做任何人工设计,建一张表让模型自己背下来;
- 共同的局限:绝对位置的天花板(3.3.4):两种方案效果几乎相同,也共享同一块短板。
读完全节,你应该能说清正弦编码的波形设计妙在哪、它和可学习编码该怎么选,以及两者为什么后来一起让位于相对位置编码——那正是 3.4 节的开场。
图 1 标出位置编码在前向链路中的位置:它位于 Embedding 之后、Transformer 之前,用于表示 token 的位置。后续各节分别讨论不同的位置编码方案。
图 1 中这个紫框放大之后长什么样?它的输入只是位置编号,输出又是什么形状?把正弦方案这张「位置 × 维度」的编码矩阵单独拆开看:
3.3.1 把位置“写”进向量
上一节看到,每个 token 经过 Embedding 层变成一个 \(d_{\mathrm{model}}\) 维向量。但这个向量只回答了“这个词是什么”,没有回答“它排在第几位”。而自注意力(第 4 章细讲)在计算时对所有位置一视同仁:把输入序列打乱重排,每个位置算出的注意力结果不会有任何变化。因此,不带位置信息的注意力机制无法区分语序,“狗咬了人”和“人咬了狗”在它眼里是同一袋向量。
RNN 按顺序逐个读入,顺序信息天然存在;Transformer 一次性并行读入全部 token,就必须把位置信息显式注入进去。原论文(Vaswani et al., 2017)的做法非常直接:给每个位置 pos 也配一个 \(d_{\mathrm{model}}\) 维向量 \(\boldsymbol{p}_{pos}\),与词向量相加后送入网络:
相加为什么不会互相干扰?直觉上,\(d_{\mathrm{model}}\) 维空间足够大,语义信息和位置信息像写在同一张纸不同图层上的内容,后续的线性变换可以把两者分别读出来。就像信封上同时印着收信人地址(内容)和邮戳(时间地点),邮局两样都读得到。
位置编码是为序列中每个位置准备的一个向量,与词向量相加后告诉模型“这个 token 排在第几位”。它分两大类:本节讲的绝对位置编码给每个位置一个独立编号(正弦波形或查表学习);3.4 节要讲的相对位置编码则直接告诉注意力“两个 token 相距多远”。
两个容易忽略的工程细节:原论文在“词向量 + 位置编码”相加之后还会施加一次 dropout(基础模型 \(P_{drop} = 0.1\)),再送入第一层子层;另外位置编码必须与词向量同为 \(d_{\mathrm{model}}\) 维,否则无法逐维相加。
3.3.2 正弦位置编码:给每个维度配一把不同刻度的尺子
正弦位置编码是人工设计的一套固定波形。它的基本单元不是单个函数,而是一对搭档:sin 和 cos 必须成对出现。为什么?因为单看一个 sin 值确定不了位置——同一个读数会对应好几个角度;配上 cos,两个数合起来是圆上一个点的纵、横坐标,角度才唯一确定。三角函数不太熟也没关系,图 3 把这件事画出来了:
成对之后,账就好算了:每根「指针」贡献两个数(一个 sin、一个 cos),所以 \(d_{\mathrm{model}}\) 维的编码向量由 \(d_{\mathrm{model}}/2\) 根指针拼成——比如 512 维的编码就是 256 根指针。这些指针转速各不相同:第一根每 6 步多就转完一圈,中间的一根每 63 步转一圈,越往后越慢,最后一根要 6 万多步才转完一圈。位置每前进一格,所有指针同时按各自的速度转动一点。于是任意一个位置,都对应一组独一无二的读数组合——这组读数就是这个位置的编码。
把每根指针的读数写成公式,就是原论文 §3.5 的定义:
每个维度对的角频率是 \(\omega_i = 1/10000^{2i/d_{\mathrm{model}}}\),对应波长 \(\lambda_i = 2\pi \cdot 10000^{2i/d_{\mathrm{model}}}\)。按原论文的说法,这些波长从 \(2\pi\) 到 \(10000 \cdot 2\pi\) 构成几何级数:最短约 6.3 步,最长约 6.3 万步。短波长的维度转得快,相邻两个位置的读数差别很大,负责精确定位;长波长的维度转得极慢,走上几百步几乎不动,负责标记“大致在哪一段”。
这套设计很像钟表:秒针(短波长)告诉你精确的秒,时针(长波长)告诉你大致几点,单看任何一根都不够,合起来才唯一确定时刻。也可以把它看成多进制计数器的连续光滑版本:二进制计数里个位每步翻转、高位很久才变一次,正弦编码用平滑的波形实现了同样的“快慢搭配”。
图 4 最容易误读的一点是:曲线是属于维度的,不是属于 token 的。低维、中维、高维三条曲线是三个「维度对」各自的波形,所有 token 共用同一套曲线。token 之间的差别只在于站在横轴的不同位置去读数。举个具体例子:假设一句话切出 3 个 token「我、爱、猫」,位置分别是 0、1、2,再假设玩具版的 \(d_{\mathrm{model}}=6\)(3 个维度对,真实模型是几百维)。每个 token 的编码就是把三条曲线在自己位置上的读数依次抄下来,拼成 6 个数:
| token | 位置 pos | 编码向量(6 维玩具版) |
|---|---|---|
| 我 | 0 | [0, 1, 0, 1, 0, 1] |
| 爱 | 1 | [0.84, 0.54, 0.05, 1.00, 0.00, 1.00] |
| 猫 | 2 | [0.91, -0.42, 0.09, 1.00, 0.00, 1.00] |
对照图 4 的波形看这张表:快维度对(前两个数)在相邻位置之间跳变剧烈,0 → 0.84 → 0.91,负责把「相邻位置」区分开;慢维度对(后两个数)几乎纹丝不动,0 → 0.00 → 0.00,负责在大尺度上做标记。三个位置的 6 维组合互不相同,编码的唯一性就此实现。真实模型里这套读数有几百维,但读法一模一样:token 换的是位置,曲线不变。
原论文选择正弦函数还有一个更技术性的理由:对任意固定偏移 k,\(PE_{pos+k}\) 可以写成 \(PE_{pos}\) 的线性函数。利用三角恒等式,对每个维度对有:
这意味着“相对距离”被直接编码进了向量结构:模型想做“往前数 3 个位置”这类操作时,学到的只是一个固定的线性变换,而不必从两个毫无规律的编号里猜关系。原论文正是据此推断,正弦编码能让模型更容易学会按相对位置做注意力。
3.3.3 可学习位置编码:交给训练自己学
另一条路线干脆不做任何人工设计:给位置建一张表,让模型自己学。以 GPT 系列为代表的可学习位置编码(learned positional embedding)维护一个 max_len × d_model 的参数矩阵,随机初始化,像词向量一样随训练更新。位置 pos 的编码就是矩阵的第 pos 行,查表即得。
这种把位置“背下来”的做法简单直接,效果一点不差。原论文在机器翻译任务上对比过两种方案:
| 对比项 | 正弦位置编码 | 可学习位置编码 |
|---|---|---|
| 向量来源 | 人工设计的固定公式 | 随机初始化,训练中学出 |
| 额外参数 | 0 | max_len × d_model |
| 训练中是否变化 | 固定不变 | 随数据更新 |
| 超出训练长度 | 公式可以继续算,理论上可外推 | 表里没有对应的行,无从外推 |
| 代表模型 | 原始 Transformer | GPT 系列、BERT |
| 原论文实测 | 基础模型 BLEU 25.8 | 换用后 BLEU 25.7,几乎相同(表 3 第 (E) 行) |
两种绝对位置编码在建模能力上没有实质差距。原论文最终选正弦,不是因为它效果更好,而是因为它不增加任何参数,且有望外推到比训练时更长的序列;GPT 系选可学习,是因为它零设计成本、实现最简单,而当时的上下文长度(GPT-1 为 512 个 token)根本用不到外推。
3.3.4 共同的局限:绝对位置的天花板
无论正弦还是可学习,思路都是给每个位置发一张“绝对门牌号”,再指望模型自己从门牌号里推出相对关系。这个思路有两个绕不开的短板:
- 间接性:注意力真正关心的是“两个 token 相距多远”,而绝对编码只告诉模型“各自坐在哪”,相对距离要靠模型从两个向量的相互作用里间接算出来;
- 外推落空:原论文期望正弦编码能外推到更长序列,但后来的系统实验表明,无论正弦还是可学习,输入一旦超过训练长度,模型表现都会明显下滑(Press et al., 2021)。
既然“先发绝对编号、再间接推相对”绕了弯路,何不直接告诉注意力“你们相距 k 步”?这就是相对位置编码的思路:RoPE 把相对距离以旋转向量的方式注入注意力计算,ALiBi 干脆按距离给注意力分数加惩罚。它们是现代 LLM 的主流选择,也是下一节的主题。
参考来源
- Vaswani et al., 2017. Attention Is All You Need(arXiv:1706.03762)。正弦位置编码公式、线性函数动机、表 3 第 (E) 行对比实验均出自该文 §3.5 及表 3。本页正文所称「原论文」即此篇。
- Gehring et al., 2017. Convolutional Sequence to Sequence Learning(arXiv:1705.03122)。原论文引用的可学习位置嵌入出处(其参考文献 [9])。
- Radford et al., 2018. Improving Language Understanding by Generative Pre-Training(OpenAI 技术报告)。GPT 系列采用可学习位置嵌入的起点。
- Devlin et al., 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding(arXiv:1810.04805)。可学习位置嵌入的代表模型之一。
- Press, Smith & Lewis, 2021. Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation(ALiBi 论文,arXiv:2108.12409)。绝对位置编码外推失败的系统实验证据。