3.5 长度外推:从几千 token 到几十万

本页范围:第 3 章第 5 节 | 整理时间:2026-09-28

快速浏览

核心问题模型训练时只见过几千 token 的位置,凭什么能读几十万 token 的长文?直接硬塞会发生什么?
本节主张RoPE 在没见过的位置上会失灵,直接外推不可行。主流解法分两步:先用位置插值(PI)、NTK、YaRN 等方法把超长位置“缩回”模型熟悉的刻度,再用长文档数据继续训练让模型适应新刻度。
一句话结论长上下文能力 = 改位置编码的刻度 + 拿长曲子集训,两步缺一不可;Llama 3.1 正是靠这套组合把上下文从 8K 扩到 128K。
关键词
长度外推位置插值 PINTK 缩放YaRN继续训练

  3.4 节说过,RoPE 擅长内插、拙于外推:训练时只见过几千个位置的模型,直接喂几十万 token 的长文就会翻车。本节解决的就是这个“从几千到几十万”的跨越。主线一句话:所有方法都在想方设法把外推问题偷换成内插问题,差别只在怎么换:

  1. 外推问题:超出训练长度就翻车(3.5.1):翻车的机理,以及“内插”与“外推”的关键区分;
  2. 位置插值 PI:把刻度缩回去(3.5.2):把长文的位置编号等比压缩回训练区间,外推变内插;
  3. 从 NTK 到 YaRN:按频段区别对待(3.5.3):高频维度少动、低频维度多缩,再加注意力温度修正;
  4. 工业界怎么做:Llama 3.1 的 8K 到 128K(3.5.4):改刻度加长文档续训的两步配方,组装成工业级流水线。

  读完全节,你应该能说清为什么“改刻度”和“拿长曲子集训”两步缺一不可。至此第 3 章收尾,第 4 章进入 Transformer 架构本体。

  图 1 标出外推问题在前向链路中的位置。前向链路保持不变,本节关注输入长度超过训练位置范围时,位置编码与模型表现会发生什么变化。

原创示意图 · 非论文原图 原始文本: 「我爱中国」 (输入起点) 分词器: 切成 token ID 序列 (第 2 章) Embedding 层: 查表:ID → 词向量 (3.1 节) 位置编码: 注入「第几格」 (本节内容) Transformer 层: 注意力与前馈 ×N (第 4 章) 输出投影: 算各 token 的概率 (第 4 章) 采样: 吐出下一个 token (第 12 章) 生成的新 token 接回输入,继续循环(自回归,第 12 章) 实线框:已讲章节 虚线框:后续章节
图 1:长度外推问题在前向链路中的位置。链路本身不变:分词(第 2 章)→ Embedding(3.1 节)→ 位置编码(3.2–3.4 节)→ Transformer 层(第 4 章)→ 概率与采样(第 12 章),新 token 接回输入循环往复。本节仍站在位置编码这一站,只关心它的边界:序列长度一旦超过训练见过的范围,这一站怎么失灵、又怎么补救。

  图 1 中这个紫框在边界上放大之后长什么样?输入是多长的序列、输出的困惑度怎么变化?把「训练区间内外」单独画出来看:

原创示意图 · 非论文原图 局部放大:位置编码与长度外推——训练区间内平稳,越过 L 困惑度起飞 输入:长度 L′ 的 token ID 序列(L′×1);输出:L′×6400 的逐位概率分布,用困惑度 PPL 评价 训练见过的位置 0…L−1(内插) 没见过的位置(外推) 困惑度 PPL(越低越好) L = 训练长度 直接外推: PPL 垂直起飞 改刻度 + 长文档续训:仍平稳 0 L L′ 横轴:输入序列覆盖的位置范围(序列长度) 本页示例:L = 8192 → L′ = 32768(s = 4,3.5.2 节);minimind 的训练长度 L 为 340(预训练)/ 768(SFT),机制相同
图 2:长度外推示意。横轴是输入序列覆盖的位置范围,纵轴是困惑度(越低越好)。紫区是训练时见过的位置 0…L−1,曲线平稳;直接外推(红)一越过 L,旋转角度超出训练分布,困惑度几乎垂直起飞;先用 PI / NTK / YaRN 把位置刻度缩回训练区间、再用长文档配比上调的数据继续训练(青),长文上仍能保持平稳。minimind 的训练长度 L 为 340(预训练)/ 768(SFT);3.5.2 节的示例为 L=8192 → L′=32768。

3.5.1 外推问题:超出训练长度就翻车

  3.4 节讲过,RoPE 通过旋转角度给每个位置编码:位置 \(m\) 的查询和键向量会被旋转 \(m\theta_i\) 度。预训练时序列长度是 \(L\)(比如 8192),模型一生中见过的位置编号只有 \(0\) 到 \(L-1\)。推理时如果喂给它 \(L' \gg L\) 的长文,位置 \(L, L+1, \dots, L'-1\) 上的旋转角度就超出了训练分布,注意力分数随之失真,模型输出迅速崩坏。

长度外推(Length Extrapolation) extrapolation = 在训练见过的范围之外做预测

指模型在比训练时更长的序列上保持正常表现的能力。衡量它最常用的指标是困惑度(Perplexity,第 6 章细讲):理想情况下,序列变长、可参考的上下文变多,困惑度应该下降或持平;而直接外推的模型在越过训练长度 \(L\) 的那一刻,困惑度曲线几乎垂直起飞,俗称“翻车”。

  需要区分两种看似相近、实则不同的做法:内插是在训练见过的区间内取值,模型表现通常很稳;外推是在区间之外“盲猜”,这正是翻车现场。本节后面要讲的所有方法,本质都是同一件事:想方设法把“外推问题”偷换成“内插问题”。

3.5.2 位置插值 PI:把刻度缩回去

  先看一个反直觉的观察:RoPE 崩溃的原因不是“位置太多”,而是“位置编号超出了模型熟悉的数值范围”。那么最直接的思路就是:既然模型只认识 \(0\) 到 \(L-1\) 的刻度,就把长文的 \(0\) 到 \(L'-1\) 等比压缩回这个区间。这就是 Chen 等人 2023 年提出的位置插值(Position Interpolation,PI):

\[ f_{\mathrm{PI}}(x, m) \;=\; f\!\left(x, \frac{m}{s}\right) \;=\; f\!\left(x, \frac{m L}{L'}\right), \qquad s=\frac{L'}{L} \tag{1} \]
公式 (1):把位置编号 \(m\) 除以缩放系数 \(s\),原来落在 \(0\) 到 \(L'-1\) 的位置被压缩回 \(0\) 到 \(L-1\)。注意 \(m/s\) 一般不再是整数,位置编码变成了小数位置上的内插。符号说明:\(f(x, m)\) 表示 RoPE 对向量 \(x\) 施加位置 \(m\) 的旋转编码;\(f_{\mathrm{PI}}\) 是插值后的新编码;\(m\) 是原始位置编号;\(L\) 是训练长度,\(L'\) 是目标推理长度;缩放系数 \(s = L'/L\)。

  也就是说,token 的先后顺序完全没变,长文本的相对结构原样保留,只是位置编号被按比例压密了。模型只需少量微调稍作适应,就能在训练时熟悉的位置范围内读完整段长文本。

原创示意图 · 非论文原图 训练时见过的位置区间 0 L=8192 直接外推:硬塞进 L′=32768 没见过的位置:困惑度爆炸 L′=32768 位置插值:先把 L′ 个位置等比压缩 s=4 倍 位置 0 到 L′−1(共 32768 个,挤在同一把尺上) m ÷ s 落回 0 到 L−1:变成模型熟悉的内插 0 L=8192
图 3:同一批 token,直接外推会把位置推到训练区间(紫)之外的红区;位置插值先把位置编号整体缩小 \(s\) 倍,压回模型熟悉的紫色区间。

  缩印只是第一步。压缩后的位置变成了小数(比如原来位置 100 和 101 变成 25.0 和 25.25),相邻 token 之间的距离被拉近了 \(s\) 倍,模型需要一点练习来适应这种“更密的刻度”。PI 论文给出的处方是:在新刻度上少量继续训练,论文实验中约千步量级即可让模型在长上下文上稳定下来。与之对照,什么都不做的直接外推在论文实验中完全失效,插值加微调则大幅改善。

  注释:PI 并非免费的午餐。位置刻度被压缩后,模型区分“相邻 token”的分辨率也随之下降,就像缩印后的乐谱,紧挨着的音符更难看清谁是谁。这个代价正是后面 NTK 与 YaRN 要解决的问题。

3.5.3 从 NTK 到 YaRN:按频段区别对待

  PI 把所有位置一视同仁地压缩,但 RoPE 的不同维度其实各司其职。回忆 3.4 节的结论:RoPE 第 \(i\) 对维度的旋转频率是 \(\theta_i = \mathrm{base}^{-2i/d}\)。下标小的高频维度转得快、波长短,负责区分相邻 token;下标大的低频维度转得慢、波长长,负责编码远距离的相对关系。PI 一刀切的压缩,把高频维度的“近邻分辨力”也一起压坏了。

  2023 年社区研究者 bloc97 提出的 NTK-aware 缩放给出了第一版按频段区别对待的方案:不动位置编号,改 RoPE 的基频:

\[ \mathrm{base}' \;=\; \mathrm{base} \cdot \alpha^{\frac{d}{d-2}} \tag{2} \]
公式 (2):基频被放大后,低频维度(大 \(i\))等效于被多压缩,高频维度(小 \(i\))几乎不受影响,正好实现“高频少动、低频多缩”。符号说明:\(\mathrm{base}\) 是 RoPE 的原基频(论文取 10000);\(\mathrm{base}'\) 是放大后的新基频;\(\alpha\) 是缩放系数(通常取上下文扩展倍数);\(d\) 是注意力头的维度;指数 \(d/(d-2)\) 略大于 1,使整体放大倍数约等于 \(\alpha\)。

  这个改法只动一行配置,不训练也有一定效果,因此迅速普及。之所以叫 NTK(Neural Tangent Kernel,神经正切核),是因为其推导借用了该理论中“高频函数难以外推”的视角;实际使用时不训练就直接改基频的变体,有时被称为 NTK-by-parts 之外的“直接 NTK 外推”,后续研究又陆续给出更精细的分频段公式。

  同年 Peng 等人提出的 YaRN(Yet another RoPE extensioN)把这条思路做到了当时的新高度,两处关键改进:

  • 分频段插值(NTK-by-parts):把维度按波长分组,波长远小于上下文长度的高频维度完全不插值(保留近邻分辨力),波长远大于上下文长度的低频维度按 PI 方式插值,中间维度做平滑过渡;
  • 注意力温度修正:插值会拉近位置间距,使注意力分布变平,YaRN 给注意力 logit 乘上一个温度因子补偿:
    \[ \sqrt{\frac{1}{t}} \;=\; 0.1\ln s + 1 \tag{3} \]
    公式 (3):温度因子随扩展倍数对数增大,补偿后让 softmax 后的注意力恢复原有的尖锐度。符号说明:\(t\) 是注意力温度(注意力 logit 的缩放系数);\(s\) 是上下文扩展倍数(\(s = L'/L\),同公式 (1));\(\ln\) 是自然对数;常数 0.1 与 1 是 YaRN 论文给出的取值。

  结果是 YaRN 用比 PI 更小的训练量拿到了更好的长上下文效果,后来成为 Qwen 等开源模型扩展上下文的标准组件之一。

方法核心思路是否需要训练主要代价 / 特点
直接外推什么都不改否越过训练长度即翻车,不可用
PI 位置插值位置编号统一除以 \(s\)需要,约千步量级高频分辨力受损,需少量微调
NTK-aware 缩放只改 RoPE 基频,按维度天然区分频段不训练也有一定效果实现最简单,效果弱于系统训练
YaRN分频段插值 + 注意力温度修正需要,但训练量比 PI 更小同等预算下效果更好,实现略复杂

3.5.4 工业界怎么做:Llama 3.1 的 8K 到 128K

  把上面的零件组装成工业级流水线,Meta 的 Llama 3.1(2024)是一个标准样板。它把 RoPE 的基频从 Llama 2 时代的 10000 提到 500000(相当于内置了 NTK 式的低频缩放),然后分阶段继续训练:逐步拉长训练序列,把上下文窗口从预训练的 8K 一路扩到 128K,继续预训练阶段消耗了约 8000 亿(800B)token。

  注意最后这个数字:改刻度本身只要几行代码,但让模型真正学会在 128K 长度上组织信息,仍然要烧掉预训练零头规模的算力。而且这 800B token 里长文档的配比被显著上调——如果续训数据还是一堆短文本,模型压根没机会练习“第 10 万个 token 回看第 3 万个 token”这种动作。这正是第 1 章讲的数据配比问题在训练后期的一次返场,整套“预训练之后再针对性补训”的流程,就是第 8 章中间训练(Mid-training)的核心内容。

  长上下文扩展的通用配方:先用 PI / NTK / YaRN 类方法改位置编码的刻度,把乐谱缩印到模型熟悉的版面;再用长文档配比上调的数据继续训练,拿长曲子集训。缩印让模型“读得下”,集训让模型“读得懂”,两步缺一不可。

  至此第 3 章收尾:token 变成向量、向量带上位置、位置还能弹性扩展。下一章进入 Transformer 架构本体,看这些向量如何在注意力层里真正流动起来。

🧭本节要点回顾
为什么 RoPE 模型直接把长文塞进去会翻车?
训练只见过 \(0\) 到 \(L-1\) 的位置,更长输入的旋转角度超出训练分布,注意力分数失真,困惑度曲线爆炸。本质是外推问题,不是模型容量问题。
位置插值 PI 的核心动作是什么?为什么还要微调?
把位置编号除以 \(s=L'/L\),把长文压回训练见过的位置区间,外推变内插。压缩后相邻位置间距变小、分辨力下降,需要约千步量级的继续训练让模型适应新刻度。
NTK 和 YaRN 相比 PI 改进了什么?工业界如何用?
按频段区别对待:高频维度少动以保留近邻分辨力,低频维度多缩,YaRN 再加注意力温度修正,训练量更小、效果更好。工业界如 Llama 3.1 把它们组合成流水线:提基频改刻度,再分阶段用高配比长文档继续训练,从 8K 扩到 128K。

参考来源

  • Chen et al., 2023. Extending Context Window of Large Language Models via Positional Interpolation(位置插值 PI 原始论文,arXiv:2306.15595),公式 (1) 与千步量级微调结论出自该文。
  • Peng et al., 2023. YaRN: Efficient Context Window Extension of Large Language Models(YaRN 原始论文,arXiv:2309.00071),分频段插值与注意力温度修正出自该文。
  • bloc97, 2023. NTK-Aware Scaled RoPE(NTK-aware 缩放的社区原始出处,首发于 Reddit 与个人博客)。
  • Meta AI(Dubey et al.), 2024. The Llama 3 Herd of Models(Llama 3.1 技术报告,arXiv:2407.21783),RoPE 基频 500000、分阶段扩上下文至 128K、约 800B token 继续训练出自该文。
  • Su et al., 2021. RoFormer: Enhanced Transformer with Rotary Position Embedding(RoPE 原始论文,arXiv:2104.09864),频率公式 \(\theta_i=\mathrm{base}^{-2i/d}\) 的出处,详见 3.4 节。