3.4 相对位置编码:RoPE 与 ALiBi

本页范围:第 3 章第 4 节 | 整理时间:2026-09-28

快速浏览

核心问题绝对位置编码给每个 token 发一张“门牌号”,可注意力真正关心的是两个词之间隔多远。怎样让模型直接感知“相对距离”?
本节主张RoPE 把注意力中用于匹配的 query / key 向量按位置旋转不同角度,让注意力内积自动只依赖相对距离;ALiBi 不碰向量,直接在注意力分数上按距离扣分。前者效果好、生态主流,后者外推朴素直接。
一句话结论RoPE 是当今 LLM 事实上的标准位置编码(Llama、Qwen、DeepSeek、minimind 全在用),ALiBi 以“训练短、测试长”的免续训外推占有一席之地。
关键词
相对位置编码RoPE旋转矩阵远程衰减ALiBi

  3.3 节的绝对位置编码先给位置编号,再让模型间接推距离。RoPE 和 ALiBi 则直接向注意力提供相对位置信息。本节分别介绍这两条实现路线:

  1. 从“门牌号”到“隔几站”:一次思路转变(3.4.1):为什么注意力真正关心的是距离,而不是序号;
  2. RoPE:给 query / key 装上旋转指针(3.4.2):位置每前进一格就把向量转一个角度,内积里的绝对位置自动消掉;
  3. RoPE 为何成为主流(3.4.3):零参数、开销小、效果硬,以及它“拙于外推”的软肋;
  4. ALiBi:注意力分数上的线性罚单(3.4.4):向量一个都不动,按距离从注意力分数里扣分,换来免续训的外推能力。

  读完全节,你要能讲清 RoPE 的旋转如何让内积只依赖相对距离、ALiBi 的线性罚单凭什么“训练短、测试长”,以及两者各自的代价。最后留下的外推难题,由 3.5 节接手。

  RoPE 与 ALiBi 解决的是同一个问题:让注意力知道「隔几站」。它们动手的地方仍在位置编码这一站,只是不再往向量上加门牌号:

原创示意图 · 非论文原图 原始文本: 「我爱中国」 (输入起点) 分词器: 切成 token ID 序列 (第 2 章) Embedding 层: 查表:ID → 词向量 (3.1 节) 位置编码: 本节内容:RoPE / ALiBi (3.4 节) Transformer 层: 注意力与前馈 ×N (第 4 章) 输出投影: 算各 token 的概率 (4.6 节) 采样: 吐出下一个 token (第 12 章) 生成的新 token 接回输入,继续循环(自回归,第 12 章) 浅色实线框:已讲章节 紫底框:本节内容 虚线框:后续章节
图 1:RoPE / ALiBi 在前向链路中的位置。它们与 3.2 节共享位置编码这一站,但换了做法:不加位置向量,而是让相对距离直接长进注意力的计算里。

  RoPE 的做法是把每个位置的 query 和 key 按位置转一个角度。用三支箭把「各转各的」和「点积只剩间距」画出来(旋转与点积的几何细节都在附录 A.1):

原创示意图 · 非论文原图 局部放大:RoPE——每个位置把自己的向量转一个角度 ① 三个位置的 key 向量(二维简化,原始方向一致):位置 m 转 m·θ,θ 取 45° 仅为好算 位置 0:不转 转 0°,保持原方向 位置 1:转 45° 45° 虚线:旋转前的方向 位置 2:转 90° 90° 虚线:旋转前的方向 ② query 与 key 做点积时转角相减(A.1 性质二:旋转可叠加),夹角只剩 (n−m)·θ,与绝对位置无关 q(位置 1,转了 45°) k(位置 2,转了 90°) 夹角 45° 间距 0 → 点积 1.000 间距 1 → 点积 0.707 间距 2 → 点积 0.000 点积只看「隔几站」,数值与 A.1.5 的表一致 ③ 真实维度:96 维拆成 48 组二维小平面,每组各按自己的转速旋转(两两分组图见 A.1.5) ALiBi 不转向量,直接在注意力分数上按距离扣分(3.4.4 节)
图 2:RoPE 的旋转机制(二维简化)。每个位置的 query 与 key 按自己的位置转角:位置 m 转 m·θ(θ 取 45° 仅为好算,真实模型每组转速小得多);两者做点积时转角相减,夹角只剩 (n−m)·θ,点积因此只由间距决定。96 维拆成 48 组二维平面各转各的,几何推导与点积示例均在附录 A.1。

3.4.1 从“门牌号”到“隔几站”:一次思路转变

  上一节讲的绝对位置编码,做法是给每个 token 发一张门牌号:位置 0 一个向量、位置 1 一个向量,把位置向量加在词向量上一起送进模型。这个方案能用,但有一个拧巴的地方——注意力真正关心的问题不是“你在哪”,而是“你离我有多远”。

  举个例子。句子“猫追狗,狗追猫”里,决定“追”和“猫”关系远近的,是“猫在追的左边隔 1 站”还是“右边隔 1 站”,而不是“追”是第 2 个 token 还是第 20 个 token。一种合理的期待是:同样两个词,只要相隔的站数和方向相同,不管出现在句子哪个位置,它们在注意力里的相互作用就应该相同。注意这里记的是带方向的位移,不是不带方向的距离:前半句里猫在追的左边隔 1 站,后半句里猫在追的右边隔 1 站,这是两个不同的相对位置,注意力完全区分得开——否则“猫追狗”和“狗追猫”就分不出来了。绝对位置编码把这个信息拐了一道弯(先各自记门牌,再由模型学出门牌差),相对位置编码则开门见山:直接把“隔几站、在哪边”告诉注意力。

相对位置编码(Relative Position Encoding) 编码对象是 token 之间的距离,而非 token 的序号

与绝对位置编码相对的一族方法。它不记录“这个 token 是第几个”,而是让任意两个 token 在计算注意力时直接知道“我们相隔多远”。实现思路主要有两条:改造向量,让内积自带距离信息(RoPE);或者改造注意力分数,按距离加惩罚(ALiBi)。

  本节讲透这两条路线的代表:2021 年 Su 等人提出的 RoPE,和 2022 年 Press 等人提出的 ALiBi。前者如今几乎是所有主流 LLM 的默认选择,后者凭一手“训练用短序列、测试用长序列”的绝活占住一席之地。

3.4.2 RoPE:给 query / key 装上旋转指针

  RoPE(Rotary Position Embedding,旋转位置编码)的想法一句话说清:位置每前进一格,就把 query 和 key 向量旋转一个固定角度。位置 5 的向量比位置 2 的多转 3 格角度,注意力一比对两个向量的朝向差,“隔了几站”自然就出来了。

  先交代三个词。注意力机制里,每个 token 的向量会经各自的权重矩阵派生出三种角色:Query 是它拿去提问的向量,Key 是它亮出来供人匹配的索引,Value 是它实际提供的内容。提问与索引做匹配得到分数,分数决定从对方那里取多少内容。三者都是同一个 token 的向量,与词表的行、列无关。第 4 章会把整套机制拆开讲,本页只需要这个最小印象。

  具体怎么转?RoPE 把每个注意力头的 query、key 向量(维度 \(d\))两两分成 \(d/2\) 组,每组看成一个二维平面里的向量,按各自的位置编号分别旋转:

\[ \begin{pmatrix} x' \\ y' \end{pmatrix} = R(m\theta_i) \begin{pmatrix} x \\ y \end{pmatrix}, \qquad R(m\theta_i) = \begin{pmatrix} \cos m\theta_i & -\sin m\theta_i \\ \sin m\theta_i & \cos m\theta_i \end{pmatrix} \tag{1} \]
公式 (1):位置 \(m\) 的第 \(i\) 组维度被旋转角度 \(m\theta_i\)。位置越靠后,转角越大;旋转矩阵保证只改朝向、不改向量长度。符号说明:\(x, y\) 是同一维度组的两个分量(旋转前,配对约定见下文正文),\(x', y'\) 是旋转后的两个分量;\(m\) 是位置编号;\(\theta_i\) 是第 \(i\) 组的旋转角速度(由公式 (2) 给出);\(R(m\theta_i)\) 是 2×2 旋转矩阵,作用是把二维向量旋转角度 \(m\theta_i\)。
\[ \theta_i = \mathrm{base}^{-\,2i/d}, \qquad i = 0,\,1,\,\dots,\,d/2 - 1 \tag{2} \]
公式 (2):每组维度的“转速” \(\theta_i\) 按几何级数递减,base 通常取 10000:第 0 组 \(\theta_0 = 1\) 转得最快,最后一组降到 \(10^{-4}\) 量级,几乎不动。符号说明:\(\theta_i\) 是第 \(i\) 个维度组的旋转角速度,即位置每前进一格所转的角度;\(\mathrm{base}\) 是基数,论文取 10000;\(d\) 是注意力头的维度;\(i\) 是维度组编号,从 0 到 \(d/2-1\)。

  把公式 (1) 和 (2) 合起来看:\(d\) 维向量被两两配对分成 \(d/2\) 组。以 minimind 的头维度 \(d=96\) 为例,96 个数正好配成 48 组,每组两个数看成一个平面上的坐标 \((x,y)\),各自按角速度 \(\theta_i\) 随位置匀速旋转——靠前的组转得快,靠后的组转得慢,转速按几何级数逐组递减。为什么必须两两一组?因为“旋转”只在二维平面里有定义:公式 (1) 的旋转矩阵是 2×2 的,一次只作用在两个数上,\(d\) 维向量没法整体转一个角度,只能拆成 48 个小平面各转各的。48 组的转角组合起来,就是每个位置独一无二的旋转模式。

  这里还要说清“两两配对”到底配哪两个,有两种数学上等价的约定。原始论文的公式按相邻两维配对,即第 0、1 个数一组,第 2、3 个数一组,依此类推;而 Llama、Hugging Face 以及 minimind 的实现按前后半配对,即第 \(i\) 个数与第 \(i+d/2\) 个数一组(minimind 里那个函数就叫 rotate_half,见 model/model_minimind.py 第 80 至 84 行)。两者只是把维度重新排了个序,旋转效果完全一样,读代码时不必被配对顺序绕住。

原创示意图 · 非论文原图 同一个词,位置不同,转角不同 3θ 4θ 位置 0:转角 0 位置 3:转角 3θ 位置 7:转角 7θ 两个位置隔几格,朝向就差几个 θ:相对距离直接可见 不同维度组,转速不同 第 1 组:θ ≈ 1 rad/格,转得最快 秒针 中间组:转速居中 分针 最后一组:θ 只有 0.0001 量级,几乎不动 时针 位置每走一格,d/2 根“指针”各转各的角度 朝向组合起来,就是这个位置独有的“钟面读数”
图 3:RoPE 的两层设计。左:同一个词出现在不同位置,向量被旋转不同角度,两个位置相差几格、转角就差几个 θ。右:d 维向量两两分组,每组转速不同,合在一起构成完整的位置“钟面读数”。

  这套设计的精妙之处藏在注意力的内积里。位置 \(m\) 的 query 与位置 \(n\) 的 key 做点积时,旋转矩阵的一条基本性质 \(R_{m\theta}^{\top} R_{n\theta} = R_{(n-m)\theta}\) 会让绝对位置恰好消掉:

\[ \big\langle R_{m\theta_i}\, q,\; R_{n\theta_i}\, k \big\rangle \;=\; q^{\top} R_{(n-m)\theta_i}\, k \tag{3} \]
公式 (3):等式右边只含带方向的相对位移 \(n-m\)。不管这两个词在句子开头还是结尾,只要相隔的站数和方向相同,内积就相同;方向对调(\(n-m\) 变号)时 \(\sin\) 项翻号,内积随之改变,所以“前方隔 1 站”和“后方隔 1 站”是可区分的两个信号——相对位置就这样免费进入了注意力。符号说明:\(q\)、\(k\) 分别是 query 与 key 向量在某个维度组上的二维分量;\(m\)、\(n\) 是两个 token 的位置编号;\(R_{m\theta_i}\)、\(R_{n\theta_i}\) 是按位置施加的旋转矩阵(同公式 (1));\(\langle\cdot,\cdot\rangle\) 表示向量内积;\(q^{\top}\) 是 \(q\) 的转置。

  还有一个工程上很贴心的细节:RoPE 只旋转 query 和 key,value 向量完全不碰。位置信息只参与“找谁”(注意力权重),不污染“拿什么”(value 承载的内容),分工干净。

  RoPE 论文与苏剑林的博客分析还指出一个附加性质:随着 \(n-m\) 增大,公式 (3) 的内积总体呈衰减趋势,距离越远、匹配信号越弱,相当于自带“就近关注”的归纳偏置。注意这只是总体趋势,并非严格单调递减,不能解读成“远处的 token 一律被忽略”。

3.4.3 RoPE 为何成为主流

  2021 年提出至今,RoPE 几乎统一了 LLM 的位置编码,原因是它抓了一手好牌:

  • 零额外参数:cos / sin 表可以预先算好存着,不需要训练任何位置参数;
  • 推理开销小:每个位置的旋转只依赖自己的编号,可独立计算,与 KV Cache(第 13 章细讲)配合顺畅;
  • 与注意力严丝合缝:相对距离直接写在内积里,不需要模型额外学习;
  • 效果过硬:RoFormer 论文在多个基准上报告了优于正弦绝对位置编码的结果,此后各大模型的实践反复选择了它。

  RoPE 是当今 LLM 事实上的标准位置编码:Llama、Qwen、DeepSeek 系列,以及本工程配套的 minimind 小模型,全部使用 RoPE。学位置编码,RoPE 是绕不开的一课。

  注意:RoPE 并非全能:它擅长内插、拙于外推。训练时只见过位置 0 到 \(L-1\),推理时遇到远超 \(L\) 的输入,没见过的超大转角会让注意力分数失真、模型“翻车”。补救办法是 3.5 节长度外推的主题。

  还有一个值得留意的趋势:base 的选择在变大。论文原版 base 为 10000,而现代模型为了支撑更长上下文,普遍把 base 调大——minimind 的默认值就是 \(10^{6}\),Llama 3.1 更是提到 500000。base 与上下文长度的关系,3.5 节会展开。

3.4.4 ALiBi:注意力分数上的线性罚单

  ALiBi(Attention with Linear Biases,线性偏置注意力)走了一条更“懒”的路:向量一个都不动,直接改注意力分数。既然远处的词应该少关注,那就在 softmax 之前,按距离从分数里扣分:

\[ \mathrm{score}(i, j) \;=\; \frac{q_i \cdot k_j}{\sqrt{d_k}} \;-\; m \cdot |i - j| \tag{4} \]
公式 (4):每隔一个位置扣 \(m\) 分。因果语言模型里 \(j \le i\),\(|i-j|\) 就是 \(i-j\)。扣分是写死的规则,不随训练改变。符号说明:\(\mathrm{score}(i,j)\) 是位置 \(i\) 的 query 对位置 \(j\) 的 key 的注意力分数(进 softmax 之前);\(q_i \cdot k_j\) 是两者的点积;\(d_k\) 是注意力头维度,\(\sqrt{d_k}\) 是沿用原始 Transformer 的缩放因子;\(|i-j|\) 是两个 token 的距离;\(m\) 是该注意力头的斜率,决定扣分力度。

  斜率 \(m\) 决定扣分力度,每个注意力头各不相同,按几何级数设置。论文给 8 个头的取值是:

\[ m \;\in\; \left\{\, 2^{-1},\; 2^{-2},\; \dots,\; 2^{-8} \,\right\} \tag{5} \]
公式 (5):斜率大的头近处扣分快、只看得近,斜率小的头看得远。不同的头天然分工,覆盖从近邻到长程的不同尺度。符号说明:\(m\) 是公式 (4) 中单个注意力头的斜率;花括号内是 8 个注意力头各自的取值,从 \(2^{-1}\)(1/2)到 \(2^{-8}\)(1/256)按几何级数递减。

  对比一下两种手感:RoPE 是给每个词发一个随位置旋转的指南针,ALiBi 是给评委一把尺子——距离每多一格,印象分固定扣一档,简单、直接、可预测。

  这套设计在实验中表现出较好的外推能力。论文报告:一个 1.3B 参数的 ALiBi 模型在 1024 token 的序列上训练,直接在 2048 token 的序列上测试,困惑度与专门在 2048 上训练的正弦位置编码模型持平,而训练速度快 11%、显存占用少 11%。训练短、测试长(train short, test long),不需要任何续训或改刻度。BLOOM 与 MPT 两个知名开源模型正是看中这一点而采用 ALiBi。

  代价同样明显:线性惩罚是一条写死的直线,表达力不如 RoPE 灵活;长距离的信息召回偏弱——扣分扣到最后,远处的 token 几乎永无出头之日。外推朴素直接的另一面,是“远了就真不看了”。

对比项RoPEALiBi
位置注入在哪里旋转 query / key 向量本身softmax 前的注意力分数
相对距离从哪来内积自动只含 \(m-n\)显式的 \(-m \cdot |i-j|\) 惩罚
长上下文外推直接外推会翻车,需 PI / NTK / YaRN 等技巧(3.5 节)训练短、测试长,无需续训即可外推
表达力距离信息融入各维度,灵活、表达力强固定线性衰减,表达力略逊、长距离召回弱
代表模型Llama、Qwen、DeepSeek、minimindBLOOM、MPT

  至此位置编码两节收尾:向量有了,位置也有了,而且是模型真正需要的相对位置。3.5 节接着解决一个更刁钻的问题——训练时只见过几千个位置的模型,怎样读懂几十万 token 的长文。

🧭本节要点回顾
绝对位置编码“拧巴”在哪里?
注意力关心的是词与词的距离,绝对编码只给门牌号,距离要模型自己学出来。相对位置编码把“隔几站”直接写进计算,少了这道弯。
RoPE 凭什么让内积只依赖相对距离?
位置 \(m\) 的向量按角度 \(m\theta_i\) 旋转。旋转矩阵的性质 \(R_{m\theta}^{\top} R_{n\theta} = R_{(n-m)\theta}\) 让内积里的绝对位置恰好相消,只剩 \(n-m\)。
RoPE 与 ALiBi 各自的代价是什么?
RoPE 效果好、生态主流,但超出训练长度就翻车,外推要靠 3.5 节的技巧;ALiBi 免续训外推,但线性衰减是写死的,表达力与长距离召回偏弱。

参考来源

  • Su et al., 2021. RoFormer: Enhanced Transformer with Rotary Position Embedding(RoPE 原始论文,arXiv:2104.09864),旋转机制、频率公式 (2) 与相对位置性质公式 (3) 出自该文。
  • Press, Smith & Lewis, 2022. Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation(ALiBi 原始论文,arXiv:2108.12409),线性偏置公式 (4)、斜率几何级数公式 (5) 与 1024 训练 / 2048 测试的外推实验出自该文。
  • 苏剑林,2021. Transformer 升级之路:2、博采众长的旋转式位置编码(https://kexue.fm/archives/8265),RoPE 远程衰减性质的通俗分析。
  • minimind 工程 model/model_minimind.py(Apache 2.0),RoPE 工程实现参考。