3.4 相对位置编码:RoPE 与 ALiBi
本页范围:第 3 章第 4 节 | 整理时间:2026-09-28
3.3 节的绝对位置编码先给位置编号,再让模型间接推距离。RoPE 和 ALiBi 则直接向注意力提供相对位置信息。本节分别介绍这两条实现路线:
- 从“门牌号”到“隔几站”:一次思路转变(3.4.1):为什么注意力真正关心的是距离,而不是序号;
- RoPE:给 query / key 装上旋转指针(3.4.2):位置每前进一格就把向量转一个角度,内积里的绝对位置自动消掉;
- RoPE 为何成为主流(3.4.3):零参数、开销小、效果硬,以及它“拙于外推”的软肋;
- ALiBi:注意力分数上的线性罚单(3.4.4):向量一个都不动,按距离从注意力分数里扣分,换来免续训的外推能力。
读完全节,你要能讲清 RoPE 的旋转如何让内积只依赖相对距离、ALiBi 的线性罚单凭什么“训练短、测试长”,以及两者各自的代价。最后留下的外推难题,由 3.5 节接手。
RoPE 与 ALiBi 解决的是同一个问题:让注意力知道「隔几站」。它们动手的地方仍在位置编码这一站,只是不再往向量上加门牌号:
RoPE 的做法是把每个位置的 query 和 key 按位置转一个角度。用三支箭把「各转各的」和「点积只剩间距」画出来(旋转与点积的几何细节都在附录 A.1):
3.4.1 从“门牌号”到“隔几站”:一次思路转变
上一节讲的绝对位置编码,做法是给每个 token 发一张门牌号:位置 0 一个向量、位置 1 一个向量,把位置向量加在词向量上一起送进模型。这个方案能用,但有一个拧巴的地方——注意力真正关心的问题不是“你在哪”,而是“你离我有多远”。
举个例子。句子“猫追狗,狗追猫”里,决定“追”和“猫”关系远近的,是“猫在追的左边隔 1 站”还是“右边隔 1 站”,而不是“追”是第 2 个 token 还是第 20 个 token。一种合理的期待是:同样两个词,只要相隔的站数和方向相同,不管出现在句子哪个位置,它们在注意力里的相互作用就应该相同。注意这里记的是带方向的位移,不是不带方向的距离:前半句里猫在追的左边隔 1 站,后半句里猫在追的右边隔 1 站,这是两个不同的相对位置,注意力完全区分得开——否则“猫追狗”和“狗追猫”就分不出来了。绝对位置编码把这个信息拐了一道弯(先各自记门牌,再由模型学出门牌差),相对位置编码则开门见山:直接把“隔几站、在哪边”告诉注意力。
与绝对位置编码相对的一族方法。它不记录“这个 token 是第几个”,而是让任意两个 token 在计算注意力时直接知道“我们相隔多远”。实现思路主要有两条:改造向量,让内积自带距离信息(RoPE);或者改造注意力分数,按距离加惩罚(ALiBi)。
本节讲透这两条路线的代表:2021 年 Su 等人提出的 RoPE,和 2022 年 Press 等人提出的 ALiBi。前者如今几乎是所有主流 LLM 的默认选择,后者凭一手“训练用短序列、测试用长序列”的绝活占住一席之地。
3.4.2 RoPE:给 query / key 装上旋转指针
RoPE(Rotary Position Embedding,旋转位置编码)的想法一句话说清:位置每前进一格,就把 query 和 key 向量旋转一个固定角度。位置 5 的向量比位置 2 的多转 3 格角度,注意力一比对两个向量的朝向差,“隔了几站”自然就出来了。
先交代三个词。注意力机制里,每个 token 的向量会经各自的权重矩阵派生出三种角色:Query 是它拿去提问的向量,Key 是它亮出来供人匹配的索引,Value 是它实际提供的内容。提问与索引做匹配得到分数,分数决定从对方那里取多少内容。三者都是同一个 token 的向量,与词表的行、列无关。第 4 章会把整套机制拆开讲,本页只需要这个最小印象。
具体怎么转?RoPE 把每个注意力头的 query、key 向量(维度 \(d\))两两分成 \(d/2\) 组,每组看成一个二维平面里的向量,按各自的位置编号分别旋转:
把公式 (1) 和 (2) 合起来看:\(d\) 维向量被两两配对分成 \(d/2\) 组。以 minimind 的头维度 \(d=96\) 为例,96 个数正好配成 48 组,每组两个数看成一个平面上的坐标 \((x,y)\),各自按角速度 \(\theta_i\) 随位置匀速旋转——靠前的组转得快,靠后的组转得慢,转速按几何级数逐组递减。为什么必须两两一组?因为“旋转”只在二维平面里有定义:公式 (1) 的旋转矩阵是 2×2 的,一次只作用在两个数上,\(d\) 维向量没法整体转一个角度,只能拆成 48 个小平面各转各的。48 组的转角组合起来,就是每个位置独一无二的旋转模式。
这里还要说清“两两配对”到底配哪两个,有两种数学上等价的约定。原始论文的公式按相邻两维配对,即第 0、1 个数一组,第 2、3 个数一组,依此类推;而 Llama、Hugging Face 以及 minimind 的实现按前后半配对,即第 \(i\) 个数与第 \(i+d/2\) 个数一组(minimind 里那个函数就叫 rotate_half,见 model/model_minimind.py 第 80 至 84 行)。两者只是把维度重新排了个序,旋转效果完全一样,读代码时不必被配对顺序绕住。
这套设计的精妙之处藏在注意力的内积里。位置 \(m\) 的 query 与位置 \(n\) 的 key 做点积时,旋转矩阵的一条基本性质 \(R_{m\theta}^{\top} R_{n\theta} = R_{(n-m)\theta}\) 会让绝对位置恰好消掉:
还有一个工程上很贴心的细节:RoPE 只旋转 query 和 key,value 向量完全不碰。位置信息只参与“找谁”(注意力权重),不污染“拿什么”(value 承载的内容),分工干净。
RoPE 论文与苏剑林的博客分析还指出一个附加性质:随着 \(n-m\) 增大,公式 (3) 的内积总体呈衰减趋势,距离越远、匹配信号越弱,相当于自带“就近关注”的归纳偏置。注意这只是总体趋势,并非严格单调递减,不能解读成“远处的 token 一律被忽略”。
3.4.3 RoPE 为何成为主流
2021 年提出至今,RoPE 几乎统一了 LLM 的位置编码,原因是它抓了一手好牌:
- 零额外参数:cos / sin 表可以预先算好存着,不需要训练任何位置参数;
- 推理开销小:每个位置的旋转只依赖自己的编号,可独立计算,与 KV Cache(第 13 章细讲)配合顺畅;
- 与注意力严丝合缝:相对距离直接写在内积里,不需要模型额外学习;
- 效果过硬:RoFormer 论文在多个基准上报告了优于正弦绝对位置编码的结果,此后各大模型的实践反复选择了它。
RoPE 是当今 LLM 事实上的标准位置编码:Llama、Qwen、DeepSeek 系列,以及本工程配套的 minimind 小模型,全部使用 RoPE。学位置编码,RoPE 是绕不开的一课。
注意:RoPE 并非全能:它擅长内插、拙于外推。训练时只见过位置 0 到 \(L-1\),推理时遇到远超 \(L\) 的输入,没见过的超大转角会让注意力分数失真、模型“翻车”。补救办法是 3.5 节长度外推的主题。
还有一个值得留意的趋势:base 的选择在变大。论文原版 base 为 10000,而现代模型为了支撑更长上下文,普遍把 base 调大——minimind 的默认值就是 \(10^{6}\),Llama 3.1 更是提到 500000。base 与上下文长度的关系,3.5 节会展开。
3.4.4 ALiBi:注意力分数上的线性罚单
ALiBi(Attention with Linear Biases,线性偏置注意力)走了一条更“懒”的路:向量一个都不动,直接改注意力分数。既然远处的词应该少关注,那就在 softmax 之前,按距离从分数里扣分:
斜率 \(m\) 决定扣分力度,每个注意力头各不相同,按几何级数设置。论文给 8 个头的取值是:
对比一下两种手感:RoPE 是给每个词发一个随位置旋转的指南针,ALiBi 是给评委一把尺子——距离每多一格,印象分固定扣一档,简单、直接、可预测。
这套设计在实验中表现出较好的外推能力。论文报告:一个 1.3B 参数的 ALiBi 模型在 1024 token 的序列上训练,直接在 2048 token 的序列上测试,困惑度与专门在 2048 上训练的正弦位置编码模型持平,而训练速度快 11%、显存占用少 11%。训练短、测试长(train short, test long),不需要任何续训或改刻度。BLOOM 与 MPT 两个知名开源模型正是看中这一点而采用 ALiBi。
代价同样明显:线性惩罚是一条写死的直线,表达力不如 RoPE 灵活;长距离的信息召回偏弱——扣分扣到最后,远处的 token 几乎永无出头之日。外推朴素直接的另一面,是“远了就真不看了”。
| 对比项 | RoPE | ALiBi |
|---|---|---|
| 位置注入在哪里 | 旋转 query / key 向量本身 | softmax 前的注意力分数 |
| 相对距离从哪来 | 内积自动只含 \(m-n\) | 显式的 \(-m \cdot |i-j|\) 惩罚 |
| 长上下文外推 | 直接外推会翻车,需 PI / NTK / YaRN 等技巧(3.5 节) | 训练短、测试长,无需续训即可外推 |
| 表达力 | 距离信息融入各维度,灵活、表达力强 | 固定线性衰减,表达力略逊、长距离召回弱 |
| 代表模型 | Llama、Qwen、DeepSeek、minimind | BLOOM、MPT |
至此位置编码两节收尾:向量有了,位置也有了,而且是模型真正需要的相对位置。3.5 节接着解决一个更刁钻的问题——训练时只见过几千个位置的模型,怎样读懂几十万 token 的长文。
参考来源
- Su et al., 2021. RoFormer: Enhanced Transformer with Rotary Position Embedding(RoPE 原始论文,arXiv:2104.09864),旋转机制、频率公式 (2) 与相对位置性质公式 (3) 出自该文。
- Press, Smith & Lewis, 2022. Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation(ALiBi 原始论文,arXiv:2108.12409),线性偏置公式 (4)、斜率几何级数公式 (5) 与 1024 训练 / 2048 测试的外推实验出自该文。
- 苏剑林,2021. Transformer 升级之路:2、博采众长的旋转式位置编码(https://kexue.fm/archives/8265),RoPE 远程衰减性质的通俗分析。
- minimind 工程 model/model_minimind.py(Apache 2.0),RoPE 工程实现参考。