3.5 长度外推:从几千 token 到几十万
本页范围:第 3 章第 5 节 | 整理时间:2026-09-28
3.4 节说过,RoPE 擅长内插、拙于外推:训练时只见过几千个位置的模型,直接喂几十万 token 的长文就会翻车。本节解决的就是这个“从几千到几十万”的跨越。主线一句话:所有方法都在想方设法把外推问题偷换成内插问题,差别只在怎么换:
- 外推问题:超出训练长度就翻车(3.5.1):翻车的机理,以及“内插”与“外推”的关键区分;
- 位置插值 PI:把刻度缩回去(3.5.2):把长文的位置编号等比压缩回训练区间,外推变内插;
- 从 NTK 到 YaRN:按频段区别对待(3.5.3):高频维度少动、低频维度多缩,再加注意力温度修正;
- 工业界怎么做:Llama 3.1 的 8K 到 128K(3.5.4):改刻度加长文档续训的两步配方,组装成工业级流水线。
读完全节,你应该能说清为什么“改刻度”和“拿长曲子集训”两步缺一不可。至此第 3 章收尾,第 4 章进入 Transformer 架构本体。
图 1 标出外推问题在前向链路中的位置。前向链路保持不变,本节关注输入长度超过训练位置范围时,位置编码与模型表现会发生什么变化。
图 1 中这个紫框在边界上放大之后长什么样?输入是多长的序列、输出的困惑度怎么变化?把「训练区间内外」单独画出来看:
3.5.1 外推问题:超出训练长度就翻车
3.4 节讲过,RoPE 通过旋转角度给每个位置编码:位置 \(m\) 的查询和键向量会被旋转 \(m\theta_i\) 度。预训练时序列长度是 \(L\)(比如 8192),模型一生中见过的位置编号只有 \(0\) 到 \(L-1\)。推理时如果喂给它 \(L' \gg L\) 的长文,位置 \(L, L+1, \dots, L'-1\) 上的旋转角度就超出了训练分布,注意力分数随之失真,模型输出迅速崩坏。
指模型在比训练时更长的序列上保持正常表现的能力。衡量它最常用的指标是困惑度(Perplexity,第 6 章细讲):理想情况下,序列变长、可参考的上下文变多,困惑度应该下降或持平;而直接外推的模型在越过训练长度 \(L\) 的那一刻,困惑度曲线几乎垂直起飞,俗称“翻车”。
需要区分两种看似相近、实则不同的做法:内插是在训练见过的区间内取值,模型表现通常很稳;外推是在区间之外“盲猜”,这正是翻车现场。本节后面要讲的所有方法,本质都是同一件事:想方设法把“外推问题”偷换成“内插问题”。
3.5.2 位置插值 PI:把刻度缩回去
先看一个反直觉的观察:RoPE 崩溃的原因不是“位置太多”,而是“位置编号超出了模型熟悉的数值范围”。那么最直接的思路就是:既然模型只认识 \(0\) 到 \(L-1\) 的刻度,就把长文的 \(0\) 到 \(L'-1\) 等比压缩回这个区间。这就是 Chen 等人 2023 年提出的位置插值(Position Interpolation,PI):
也就是说,token 的先后顺序完全没变,长文本的相对结构原样保留,只是位置编号被按比例压密了。模型只需少量微调稍作适应,就能在训练时熟悉的位置范围内读完整段长文本。
缩印只是第一步。压缩后的位置变成了小数(比如原来位置 100 和 101 变成 25.0 和 25.25),相邻 token 之间的距离被拉近了 \(s\) 倍,模型需要一点练习来适应这种“更密的刻度”。PI 论文给出的处方是:在新刻度上少量继续训练,论文实验中约千步量级即可让模型在长上下文上稳定下来。与之对照,什么都不做的直接外推在论文实验中完全失效,插值加微调则大幅改善。
注释:PI 并非免费的午餐。位置刻度被压缩后,模型区分“相邻 token”的分辨率也随之下降,就像缩印后的乐谱,紧挨着的音符更难看清谁是谁。这个代价正是后面 NTK 与 YaRN 要解决的问题。
3.5.3 从 NTK 到 YaRN:按频段区别对待
PI 把所有位置一视同仁地压缩,但 RoPE 的不同维度其实各司其职。回忆 3.4 节的结论:RoPE 第 \(i\) 对维度的旋转频率是 \(\theta_i = \mathrm{base}^{-2i/d}\)。下标小的高频维度转得快、波长短,负责区分相邻 token;下标大的低频维度转得慢、波长长,负责编码远距离的相对关系。PI 一刀切的压缩,把高频维度的“近邻分辨力”也一起压坏了。
2023 年社区研究者 bloc97 提出的 NTK-aware 缩放给出了第一版按频段区别对待的方案:不动位置编号,改 RoPE 的基频:
这个改法只动一行配置,不训练也有一定效果,因此迅速普及。之所以叫 NTK(Neural Tangent Kernel,神经正切核),是因为其推导借用了该理论中“高频函数难以外推”的视角;实际使用时不训练就直接改基频的变体,有时被称为 NTK-by-parts 之外的“直接 NTK 外推”,后续研究又陆续给出更精细的分频段公式。
同年 Peng 等人提出的 YaRN(Yet another RoPE extensioN)把这条思路做到了当时的新高度,两处关键改进:
- 分频段插值(NTK-by-parts):把维度按波长分组,波长远小于上下文长度的高频维度完全不插值(保留近邻分辨力),波长远大于上下文长度的低频维度按 PI 方式插值,中间维度做平滑过渡;
- 注意力温度修正:插值会拉近位置间距,使注意力分布变平,YaRN 给注意力 logit 乘上一个温度因子补偿:
\[ \sqrt{\frac{1}{t}} \;=\; 0.1\ln s + 1 \tag{3} \]公式 (3):温度因子随扩展倍数对数增大,补偿后让 softmax 后的注意力恢复原有的尖锐度。符号说明:\(t\) 是注意力温度(注意力 logit 的缩放系数);\(s\) 是上下文扩展倍数(\(s = L'/L\),同公式 (1));\(\ln\) 是自然对数;常数 0.1 与 1 是 YaRN 论文给出的取值。
结果是 YaRN 用比 PI 更小的训练量拿到了更好的长上下文效果,后来成为 Qwen 等开源模型扩展上下文的标准组件之一。
| 方法 | 核心思路 | 是否需要训练 | 主要代价 / 特点 |
|---|---|---|---|
| 直接外推 | 什么都不改 | 否 | 越过训练长度即翻车,不可用 |
| PI 位置插值 | 位置编号统一除以 \(s\) | 需要,约千步量级 | 高频分辨力受损,需少量微调 |
| NTK-aware 缩放 | 只改 RoPE 基频,按维度天然区分频段 | 不训练也有一定效果 | 实现最简单,效果弱于系统训练 |
| YaRN | 分频段插值 + 注意力温度修正 | 需要,但训练量比 PI 更小 | 同等预算下效果更好,实现略复杂 |
3.5.4 工业界怎么做:Llama 3.1 的 8K 到 128K
把上面的零件组装成工业级流水线,Meta 的 Llama 3.1(2024)是一个标准样板。它把 RoPE 的基频从 Llama 2 时代的 10000 提到 500000(相当于内置了 NTK 式的低频缩放),然后分阶段继续训练:逐步拉长训练序列,把上下文窗口从预训练的 8K 一路扩到 128K,继续预训练阶段消耗了约 8000 亿(800B)token。
注意最后这个数字:改刻度本身只要几行代码,但让模型真正学会在 128K 长度上组织信息,仍然要烧掉预训练零头规模的算力。而且这 800B token 里长文档的配比被显著上调——如果续训数据还是一堆短文本,模型压根没机会练习“第 10 万个 token 回看第 3 万个 token”这种动作。这正是第 1 章讲的数据配比问题在训练后期的一次返场,整套“预训练之后再针对性补训”的流程,就是第 8 章中间训练(Mid-training)的核心内容。
长上下文扩展的通用配方:先用 PI / NTK / YaRN 类方法改位置编码的刻度,把乐谱缩印到模型熟悉的版面;再用长文档配比上调的数据继续训练,拿长曲子集训。缩印让模型“读得下”,集训让模型“读得懂”,两步缺一不可。
至此第 3 章收尾:token 变成向量、向量带上位置、位置还能弹性扩展。下一章进入 Transformer 架构本体,看这些向量如何在注意力层里真正流动起来。
参考来源
- Chen et al., 2023. Extending Context Window of Large Language Models via Positional Interpolation(位置插值 PI 原始论文,arXiv:2306.15595),公式 (1) 与千步量级微调结论出自该文。
- Peng et al., 2023. YaRN: Efficient Context Window Extension of Large Language Models(YaRN 原始论文,arXiv:2309.00071),分频段插值与注意力温度修正出自该文。
- bloc97, 2023. NTK-Aware Scaled RoPE(NTK-aware 缩放的社区原始出处,首发于 Reddit 与个人博客)。
- Meta AI(Dubey et al.), 2024. The Llama 3 Herd of Models(Llama 3.1 技术报告,arXiv:2407.21783),RoPE 基频 500000、分阶段扩上下文至 128K、约 800B token 继续训练出自该文。
- Su et al., 2021. RoFormer: Enhanced Transformer with Rotary Position Embedding(RoPE 原始论文,arXiv:2104.09864),频率公式 \(\theta_i=\mathrm{base}^{-2i/d}\) 的出处,详见 3.4 节。