3.3 绝对位置编码:正弦与可学习两种方案

本页范围:第 3 章第 3 节 | 整理时间:2026-09-28

快速浏览

核心问题注意力本身对顺序“无感”,模型怎么知道每个 token 排在第几位?
本节主张绝对位置编码给每个位置分配一个专属向量,与词向量相加后一并送入模型。两种经典做法:人工设计波形的正弦位置编码(原始 Transformer)和交给训练自己学的可学习位置编码(GPT 系列)。
一句话结论两者效果几乎相同:正弦省参数、理论上可外推,可学习零设计成本但外推差;它们都是“绝对”方案,后来共同让位于相对位置编码。
关键词
绝对位置编码正弦位置编码可学习位置编码波长几何级数外推

  3.2 节确认了注意力对顺序“脸盲”,位置信息必须额外注入。本节讲最早、也最直观的一派做法:给每个位置发一个专属向量,加在词向量上一起送进模型。围绕“这个向量从哪来”,历史上出现过两种经典答案,本节沿这条线逐个拆开:

  1. 把位置“写”进向量(3.3.1):位置向量与词向量相加的注入方式,以及相加为什么不会互相干扰;
  2. 正弦位置编码:给每个维度配一把不同刻度的尺子(3.3.2):人工设计的固定波形,为什么用正弦、为什么波长按几何级数排布;
  3. 可学习位置编码:交给训练自己学(3.3.3):不做任何人工设计,建一张表让模型自己背下来;
  4. 共同的局限:绝对位置的天花板(3.3.4):两种方案效果几乎相同,也共享同一块短板。

  读完全节,你应该能说清正弦编码的波形设计妙在哪、它和可学习编码该怎么选,以及两者为什么后来一起让位于相对位置编码——那正是 3.4 节的开场。

  图 1 标出位置编码在前向链路中的位置:它位于 Embedding 之后、Transformer 之前,用于表示 token 的位置。后续各节分别讨论不同的位置编码方案。

原创示意图 · 非论文原图 原始文本: 「我爱中国」 (输入起点) 分词器: 切成 token ID 序列 (第 2 章) Embedding 层: 查表:ID → 词向量 (3.1 节) 位置编码: 注入「第几格」 (本节内容) Transformer 层: 注意力与前馈 ×N (第 4 章) 输出投影: 算各 token 的概率 (第 4 章) 采样: 吐出下一个 token (第 12 章) 生成的新 token 接回输入,继续循环(自回归,第 12 章) 实线框:已讲章节 虚线框:后续章节
图 1:绝对位置编码在 LLM 前向链路中的位置。文本经分词(第 2 章)变成 token ID,Embedding 查表换成词向量(3.1 节),位置编码给每个位置发一个专属向量、与词向量相加(本节),随后进入 Transformer 层(第 4 章),算出各 token 的概率并采样(第 12 章),新 token 接回输入循环往复。本节只管位置这一站:正弦与可学习两种「发号」方式,以及它们共同的天花板。

  图 1 中这个紫框放大之后长什么样?它的输入只是位置编号,输出又是什么形状?把正弦方案这张「位置 × 维度」的编码矩阵单独拆开看:

原创示意图 · 非论文原图 局部放大:正弦位置编码——输入位置编号,输出 n × 768 编码矩阵 输入:n 个位置编号 0, 1, …, n−1(每个位置对应表中的一行;此处只画前 16 行、28 组等距抽样列) 第 1 行 = 位置 1 的 编码向量(768 维) 0 7 15 纵轴:位置 pos 0 256 512 768 横轴:维度(0 → 768,28 组等距抽样列) ← 低维:波长 ≈ 6.3 步,相邻位置读数跳变 高维:波长 ≈ 6.3 万步,几乎不动 → 输出:位置编码矩阵 n × 768 —— 第 pos 行加到第 pos 个 token 的词向量上(公式 1),n = 序列长度 旁注 · 可学习方案(3.3.3):同形状的一张可训练大表 一张 max_len × 768 的参数矩阵,随机初始化、随训练更新,第 pos 行查表即得; 效果与正弦几乎相同(BLEU 25.8 vs 25.7),但超出 max_len 的行无从外推。
图 2:正弦位置编码矩阵的热力波纹(位置 × 维度,以 minimind 的 768 维为例,画前 16 个位置、28 组等距抽样维度;每格颜色是该位置在该维度上的 sin 取值,紫正青负)。每一行是一个位置的 768 维编码向量:低维列波长约 6.3 步,相邻位置读数剧烈交替;高维列波长约 6.3 万步,走十几步几乎不变。整张表由公式现算、零参数;旁注的可学习方案把同样形状的一张表交给训练去背。

3.3.1 把位置“写”进向量

  上一节看到,每个 token 经过 Embedding 层变成一个 \(d_{\mathrm{model}}\) 维向量。但这个向量只回答了“这个词是什么”,没有回答“它排在第几位”。而自注意力(第 4 章细讲)在计算时对所有位置一视同仁:把输入序列打乱重排,每个位置算出的注意力结果不会有任何变化。因此,不带位置信息的注意力机制无法区分语序,“狗咬了人”和“人咬了狗”在它眼里是同一袋向量。

  RNN 按顺序逐个读入,顺序信息天然存在;Transformer 一次性并行读入全部 token,就必须把位置信息显式注入进去。原论文(Vaswani et al., 2017)的做法非常直接:给每个位置 pos 也配一个 \(d_{\mathrm{model}}\) 维向量 \(\boldsymbol{p}_{pos}\),与词向量相加后送入网络:

\[ \boldsymbol{h}_{pos} = \boldsymbol{e}_{token} + \boldsymbol{p}_{pos} \tag{1} \]
公式 (1):输入向量 = 词向量 + 位置向量,两者维度相同才能逐维相加。这个相加只在编码器/解码器堆栈的最底部做一次。符号说明:\(\boldsymbol{e}_{token}\) 是 token 的词向量,来自 Embedding 层查表(3.1 节);\(\boldsymbol{p}_{pos}\) 是位置 \(pos\) 的位置向量,它从哪来正是本节的主题;\(\boldsymbol{h}_{pos}\) 是相加后的结果,即真正送入 Transformer 第一层的输入向量。

  相加为什么不会互相干扰?直觉上,\(d_{\mathrm{model}}\) 维空间足够大,语义信息和位置信息像写在同一张纸不同图层上的内容,后续的线性变换可以把两者分别读出来。就像信封上同时印着收信人地址(内容)和邮戳(时间地点),邮局两样都读得到。

位置编码 Positional Encoding positional = 位置的;encoding = 编码

位置编码是为序列中每个位置准备的一个向量,与词向量相加后告诉模型“这个 token 排在第几位”。它分两大类:本节讲的绝对位置编码给每个位置一个独立编号(正弦波形或查表学习);3.4 节要讲的相对位置编码则直接告诉注意力“两个 token 相距多远”。

  两个容易忽略的工程细节:原论文在“词向量 + 位置编码”相加之后还会施加一次 dropout(基础模型 \(P_{drop} = 0.1\)),再送入第一层子层;另外位置编码必须与词向量同为 \(d_{\mathrm{model}}\) 维,否则无法逐维相加。

3.3.2 正弦位置编码:给每个维度配一把不同刻度的尺子

  正弦位置编码是人工设计的一套固定波形。它的基本单元不是单个函数,而是一对搭档:sin 和 cos 必须成对出现。为什么?因为单看一个 sin 值确定不了位置——同一个读数会对应好几个角度;配上 cos,两个数合起来是圆上一个点的纵、横坐标,角度才唯一确定。三角函数不太熟也没关系,图 3 把这件事画出来了:

原创示意图 · 非论文原图 只给一个 sin 读数:位置不唯一 sin 读数 位置 pos sin = 0.5 位置 A 位置 B A 和 B 读数相同 → 单看 sin 分不清谁是谁 配上 cos:角度唯一确定 指针端点 cos(横坐标) sin(纵坐标) (sin, cos)两个数 ↔ 圆上唯一的点
图 3:为什么 sin 和 cos 必须成对。左:同一个 sin 值(0.5)在波形上对应多个位置,单看 sin 编码不唯一;右:sin 与 cos 合起来是圆上一个点的纵、横坐标,两个数一起才能唯一锁定角度。

  成对之后,账就好算了:每根「指针」贡献两个数(一个 sin、一个 cos),所以 \(d_{\mathrm{model}}\) 维的编码向量由 \(d_{\mathrm{model}}/2\) 根指针拼成——比如 512 维的编码就是 256 根指针。这些指针转速各不相同:第一根每 6 步多就转完一圈,中间的一根每 63 步转一圈,越往后越慢,最后一根要 6 万多步才转完一圈。位置每前进一格,所有指针同时按各自的速度转动一点。于是任意一个位置,都对应一组独一无二的读数组合——这组读数就是这个位置的编码。

  把每根指针的读数写成公式,就是原论文 §3.5 的定义:

\[ PE_{(pos,\,2i)} = \sin\!\left(\frac{pos}{10000^{\,2i/d_{\mathrm{model}}}}\right) \qquad PE_{(pos,\,2i+1)} = \cos\!\left(\frac{pos}{10000^{\,2i/d_{\mathrm{model}}}}\right) \tag{2} \]
公式 (2):偶数维用 sin、奇数维用 cos,同一对的两个读数相当于一根指针的横、纵坐标。符号说明:\(PE\) 是位置编码(Positional Encoding),\(PE_{(pos,\,2i)}\) 与 \(PE_{(pos,\,2i+1)}\) 分别是位置 \(pos\) 的编码向量在第 \(2i\)(偶)维与第 \(2i+1\)(奇)维上的取值;\(pos\) 是位置编号(0, 1, 2, …);\(i\) 是维度对编号,从 0 取到 \(d_{\mathrm{model}}/2-1\);\(d_{\mathrm{model}}\) 是模型维度;分母 \(10000^{\,2i/d_{\mathrm{model}}}\) 随 \(i\) 按几何级数增大,决定该维度对的波长。

  每个维度对的角频率是 \(\omega_i = 1/10000^{2i/d_{\mathrm{model}}}\),对应波长 \(\lambda_i = 2\pi \cdot 10000^{2i/d_{\mathrm{model}}}\)。按原论文的说法,这些波长从 \(2\pi\) 到 \(10000 \cdot 2\pi\) 构成几何级数:最短约 6.3 步,最长约 6.3 万步。短波长的维度转得快,相邻两个位置的读数差别很大,负责精确定位;长波长的维度转得极慢,走上几百步几乎不动,负责标记“大致在哪一段”。

  这套设计很像钟表:秒针(短波长)告诉你精确的秒,时针(长波长)告诉你大致几点,单看任何一根都不够,合起来才唯一确定时刻。也可以把它看成多进制计数器的连续光滑版本:二进制计数里个位每步翻转、高位很久才变一次,正弦编码用平滑的波形实现了同样的“快慢搭配”。

原创示意图 · 非论文原图 100 步内几乎纹丝不动 低维(i ≈ 0) 波长 2π ≈ 6.3 相邻位置差别大,看局部 中间维度 波长 2π×10 ≈ 63 中距离平缓变化 高维(i ≈ d/2) 波长 10000·2π ≈ 62832 上百步几乎不动,看全局 0 25 50 75 100 横轴:位置 pos
图 4:正弦位置编码中三个维度的波形(仅画 sin 分量,纵轴为该维度的编码取值)。低维振荡快、精细区分相邻位置;高维近乎水平、标记全局范围。全部维度叠加后,每个位置得到独一无二的编码组合。

  图 4 最容易误读的一点是:曲线是属于维度的,不是属于 token 的。低维、中维、高维三条曲线是三个「维度对」各自的波形,所有 token 共用同一套曲线。token 之间的差别只在于站在横轴的不同位置去读数。举个具体例子:假设一句话切出 3 个 token「我、爱、猫」,位置分别是 0、1、2,再假设玩具版的 \(d_{\mathrm{model}}=6\)(3 个维度对,真实模型是几百维)。每个 token 的编码就是把三条曲线在自己位置上的读数依次抄下来,拼成 6 个数:

token位置 pos编码向量(6 维玩具版)
我0[0, 1, 0, 1, 0, 1]
爱1[0.84, 0.54, 0.05, 1.00, 0.00, 1.00]
猫2[0.91, -0.42, 0.09, 1.00, 0.00, 1.00]

  对照图 4 的波形看这张表:快维度对(前两个数)在相邻位置之间跳变剧烈,0 → 0.84 → 0.91,负责把「相邻位置」区分开;慢维度对(后两个数)几乎纹丝不动,0 → 0.00 → 0.00,负责在大尺度上做标记。三个位置的 6 维组合互不相同,编码的唯一性就此实现。真实模型里这套读数有几百维,但读法一模一样:token 换的是位置,曲线不变。

  原论文选择正弦函数还有一个更技术性的理由:对任意固定偏移 k,\(PE_{pos+k}\) 可以写成 \(PE_{pos}\) 的线性函数。利用三角恒等式,对每个维度对有:

\[ \sin(\omega_i(pos+k)) = \cos(\omega_i k)\sin(\omega_i pos) + \sin(\omega_i k)\cos(\omega_i pos) \tag{3} \] \[ \cos(\omega_i(pos+k)) = -\sin(\omega_i k)\sin(\omega_i pos) + \cos(\omega_i k)\cos(\omega_i pos) \]
公式 (3):展开系数只含 k 不含 pos,相当于在每个维度对上施加一个只由 k 决定的 2×2 旋转。知道某位置的编码和偏移量 k,一次固定的线性变换就能推出 k 步之外的编码。符号说明:\(\omega_i\) 是第 \(i\) 个维度对的角频率(\(\omega_i = 1/10000^{\,2i/d_{\mathrm{model}}}\),见上文);\(pos\) 是当前位置编号;\(k\) 是固定的位置偏移量;两式分别是正弦与余弦的和角展开,右端系数 \(\cos(\omega_i k)\)、\(\sin(\omega_i k)\) 只与 \(k\) 有关。

  这意味着“相对距离”被直接编码进了向量结构:模型想做“往前数 3 个位置”这类操作时,学到的只是一个固定的线性变换,而不必从两个毫无规律的编号里猜关系。原论文正是据此推断,正弦编码能让模型更容易学会按相对位置做注意力。

3.3.3 可学习位置编码:交给训练自己学

  另一条路线干脆不做任何人工设计:给位置建一张表,让模型自己学。以 GPT 系列为代表的可学习位置编码(learned positional embedding)维护一个 max_len × d_model 的参数矩阵,随机初始化,像词向量一样随训练更新。位置 pos 的编码就是矩阵的第 pos 行,查表即得。

  这种把位置“背下来”的做法简单直接,效果一点不差。原论文在机器翻译任务上对比过两种方案:

对比项正弦位置编码可学习位置编码
向量来源人工设计的固定公式随机初始化,训练中学出
额外参数0max_len × d_model
训练中是否变化固定不变随数据更新
超出训练长度公式可以继续算,理论上可外推表里没有对应的行,无从外推
代表模型原始 TransformerGPT 系列、BERT
原论文实测基础模型 BLEU 25.8换用后 BLEU 25.7,几乎相同(表 3 第 (E) 行)

  两种绝对位置编码在建模能力上没有实质差距。原论文最终选正弦,不是因为它效果更好,而是因为它不增加任何参数,且有望外推到比训练时更长的序列;GPT 系选可学习,是因为它零设计成本、实现最简单,而当时的上下文长度(GPT-1 为 512 个 token)根本用不到外推。

3.3.4 共同的局限:绝对位置的天花板

  无论正弦还是可学习,思路都是给每个位置发一张“绝对门牌号”,再指望模型自己从门牌号里推出相对关系。这个思路有两个绕不开的短板:

  • 间接性:注意力真正关心的是“两个 token 相距多远”,而绝对编码只告诉模型“各自坐在哪”,相对距离要靠模型从两个向量的相互作用里间接算出来;
  • 外推落空:原论文期望正弦编码能外推到更长序列,但后来的系统实验表明,无论正弦还是可学习,输入一旦超过训练长度,模型表现都会明显下滑(Press et al., 2021)。

  既然“先发绝对编号、再间接推相对”绕了弯路,何不直接告诉注意力“你们相距 k 步”?这就是相对位置编码的思路:RoPE 把相对距离以旋转向量的方式注入注意力计算,ALiBi 干脆按距离给注意力分数加惩罚。它们是现代 LLM 的主流选择,也是下一节的主题。

🧭本节要点回顾
为什么自注意力必须额外注入位置信息?
注意力计算对输入顺序是排列不变的:打乱 token 顺序,每个位置的计算结果不变。没有位置编码,模型分不清语序不同的两句话。把位置向量与词向量相加,是最直接的注入方式。
正弦编码为什么让不同维度用 \(2\pi\) 到 \(10000 \cdot 2\pi\) 的不同波长?
短波长维度精细区分相邻位置,长波长维度标记全局范围,几何级数的波长组合让每个位置的编码独一无二;且对固定偏移 k,\(PE_{pos+k}\) 是 \(PE_{pos}\) 的线性函数,方便模型学相对位置。
正弦和可学习位置编码该选哪个?
原论文实测两者效果几乎相同(BLEU 25.8 对 25.7)。正弦省参数、理论上可外推;可学习零设计成本但超出训练长度就失效。如今两者都让位于相对位置编码(RoPE、ALiBi)。

参考来源

  • Vaswani et al., 2017. Attention Is All You Need(arXiv:1706.03762)。正弦位置编码公式、线性函数动机、表 3 第 (E) 行对比实验均出自该文 §3.5 及表 3。本页正文所称「原论文」即此篇。
  • Gehring et al., 2017. Convolutional Sequence to Sequence Learning(arXiv:1705.03122)。原论文引用的可学习位置嵌入出处(其参考文献 [9])。
  • Radford et al., 2018. Improving Language Understanding by Generative Pre-Training(OpenAI 技术报告)。GPT 系列采用可学习位置嵌入的起点。
  • Devlin et al., 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding(arXiv:1810.04805)。可学习位置嵌入的代表模型之一。
  • Press, Smith & Lewis, 2021. Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation(ALiBi 论文,arXiv:2108.12409)。绝对位置编码外推失败的系统实验证据。