8.2 长上下文扩展 I:位置编码缩放
本页范围:第 8 章第 2 节 | 整理时间:2026-09-30
第 7 章介绍的预训练工程可以产出在 4K 或 8K 窗口内训练的基座模型,但实际输入可能包括整个代码仓库、几百页财报或几十轮长对话。第 8 章的主题是中间训练(Mid-training),即预训练之后、后训练之前的针对性补训,长上下文扩展是它的典型任务。3.5 节图 2 将相关方案归纳为“把外推转化为内插”。本节逐类说明每种方法调整了哪个参数、为什么有效以及相应代价:
- 外推失效:训练 4K 的模型硬读 128K 会发生什么(8.2.1):从困惑度爆炸的现象,追到三角基展开“区间内听话、区间外撒野”的机理;
- Position Interpolation:把位置坐标等比压回训练区间(8.2.2):最直白的改刻度方案,千步微调换 16 倍窗口,代价是近邻分辨力;
- NTK 家族:高频少动、低频多缩(8.2.3):从 NTK-aware 的一行配置,到 YaRN 的分频段插值加温度补偿,再到 LongRoPE 的搜索式缩放;
- 调大 base 的朴素 trick:出厂自带的温和缩放(8.2.4):Llama 3 把 base 从一万提到五十万,为什么这一个数字就管用。
读完本节,你应当能打开任何一个开源模型的 config.json,一眼认出 rope_theta 与 rope_scaling 两个字段各自对应哪套方案,并说清它们为什么这样填。下一节(长上下文扩展 II)再解决另一半问题:刻度改好之后,用什么样的长文数据把模型真正练出长程本领。
图 1 标出长上下文扩展在中间训练中的位置,后续各节比较不同 RoPE 缩放方法的作用与代价。
图 1 里中间训练这个紫框中,本节负责的「改刻度」放大之后长什么样?位置编号进去,新刻度出来——把位置插值这个最直白的缩放动作单独拆开看:
8.2.1 外推失效:训练 4K 的模型硬读 128K 会发生什么
先建立一个具体场景。Llama 2 的预训练窗口是 4096(4K),现在直接把一篇 128K token 的长文档塞进去——位置编号从 0 一路排到 131071,是训练上限的 32 倍。3.4 节讲过 RoPE 的工作原理:位置 \(m\) 的 query、key 向量被旋转角度 \(m\theta_i\)。位置 131071 意味着每个维度组都要转出训练时从未出现过的角度,而模型对“转了那么多圈之后向量朝向什么样”毫无经验。
PI 论文给出了一组直接证据:LLaMA 的训练窗口只有 2048,不做任何处理直接外推到 8192,困惑度(PPL,衡量模型对下文的预测能力,越低越好,第 6 章细讲)会从个位数一路冲破 \(10^3\),达到训练窗口内正常水平的几百倍。越过训练窗口后,模型的文本预测能力会严重退化。
为什么崩得这么彻底?PI 论文给了一个锋利的视角。3.4 节说过,RoPE 下两个 token 的注意力分数只依赖相对距离 \(s = m - n\)。把这个分数按频率展开:
训练只保证这条曲线在 \(s \in [0, L]\) 里听话:论文实测,区间内分数被压在 ±1 量级。可三角函数基是万能逼近器,同样的基在区间外完全可以拼出任意大的值——论文把拟合出的分数曲线往区间外一延,数值轻松突破 8000。softmax 的输入里出现八千量级的异常分数,注意力分布瞬间塌成一根尖刺,后续计算跟着连锁崩溃。论文还从理论上证明:内插的误差上界比外推小约 600 倍——这从数学上解释了为什么“把位置缩回区间”是条活路。
还有一个反直觉的细节值得记住:崩溃的表现不是“看不到远处”。PI 论文指出,把证据放在位置 2900、问题放在位置 3000——两者相距只有 100 token,是一对近邻,但因为落在了训练窗口(2048)之外,模型照样答错。异常分数污染的是整个注意力机制,近处信息一样读不了。
易错点:把外推崩溃当成“模型只是感知不到远处的内容”。实际是超出范围的旋转角让注意力分数本身失控(可超 8000,而正常范围是 ±1 量级),整个注意力机制失灵,近处、远处的信息一起报废。
名义窗口是架构允许的最大输入长度,有效窗口是模型真正能从中取出信息的最远距离。测量方法之一是 passkey 检索:把一串随机数字藏进长文的某个位置,让模型找出来;藏得越远越考功力,稳定找不到的距离就划出了有效窗口的边界。一个模型可以“名义 128K、有效 8K”——长文喂得进去,但远处的信息它已经拿不回来了。
那“不改编码、直接用长文硬训”行不行?PI 论文的对照实验泼了冷水:在 8192 窗口上直接续训 LLaMA,一万步之后用 passkey 检索测有效窗口,只从 2048 挪到 2560,几乎没有进展。模型不是不想学长上下文,是陌生刻度上的异常分数让它无从下手。这说明问题出在刻度上,钥匙也在刻度上——后面三节就是三把(及一把半)钥匙。
8.2.2 Position Interpolation:把位置坐标等比压回训练区间
既然崩溃的根源是“位置编号超出了模型熟悉的范围”,最直白的对策就是别让编号出圈。2023 年 Meta 的 Chen 等人提出位置插值(Position Interpolation,PI):把位置坐标整体除以缩放系数,长文的全部位置等比压回训练区间:
打个比方:RoPE 的位置刻度像一把尺子,模型在训练时认熟了这把尺子的每一格。直接外推是把尺子往空白处硬接 32 倍长,接出来的部分模型一格都不认识;PI 则是把刻度的数字改小——原来 1 毫米一格,现在 32 毫米共用一个刻度数字,尺子总长不变,整篇 128K 长文却能在这把“改了标度的尺”上从头量到尾。token 的先后顺序、相对结构原样保留,只是每个位置的“名字”变小了。
改动只有一行缩放,但有两个后续问题要交代。第一,\(m/s\) 通常是小数:原来位置 100 和 101 变成 25.00 和 25.03,相邻 token 的位置间距被挤小了 \(s\) 倍,模型需要适应这种更密的刻度。PI 论文的处方是在新刻度上少量继续训练:LLaMA 7B 到 65B,在 Pile 语料上微调约 1000 步(开销只是预训练的零头),窗口就能从 2048 稳定扩到 16384 乃至 32768,最高 16 倍;passkey 检索测试甚至显示,200 步微调后有效窗口就已拉满目标长度。第二,短文本有轻微代价:原窗口内的基准任务平均退化 2% 以内——原本宽裕的 2048 个整数刻度,如今被压进更窄的数值区间,分辨力自然受损。
PI 在范式上的贡献比方法本身更大:它确立了“先改刻度、再短训适应”的两步骨架——改编码让长文读得下,少量续训让模型适应新刻度。后面的 NTK 家族、工业界的分阶段扩展,全都沿用这个骨架,只是改刻度的手法越来越精细。
PI 把外推变成了内插,但它对所有维度一视同仁地压缩,连带压坏了模型区分相邻 token 的能力——就像缩印后的书页,字还是那些字,挤在一起就不好认了。这个代价提示了下一步的方向:位置编码内部其实分工明确,不该一刀切。
8.2.3 NTK 家族:高频少动、低频多缩
回忆 3.4 节的结论:RoPE 的 \(d/2\) 个维度组各有转速 \(\theta_i = \mathrm{base}^{-2i/d}\),第 0 组转得最快,最后一组最慢。换一把更直观的尺子来量——每个维度组转过一整圈需要多少个 token,即波长:
代入典型数值(base 取 10000、头维度 \(d = 128\)):最快维度约 6 个 token 转一圈,4K 训练里它见过几百个完整周期,对“圈上任何角度”都经验丰富;最慢维度约 6.3 万个 token 才转一圈,训练窗口里它连半圈都没转过——模型对它的陌生程度远超快维度。这就是 NTK 家族的洞察:外推失效主要集中在慢维度(低频分量),快维度见多识广,不需要动。
2023 年,社区研究者 bloc97 提出的 NTK-aware 缩放第一个把这个洞察写成公式:不压位置编号,改 RoPE 的基数:
这个改法只动一行配置,不训练也有一定效果(原帖标题就写着“无需微调”),因此在 llama.cpp 等社区工具里迅速普及。名字里的 NTK 来自其推导借用的理论视角,用的时候记住“改 base、保高频”六个字就够了。
NTK 理论研究“宽神经网络在梯度下降下如何演化”,其中一条结论是:高频成分(变化快的函数)比低频成分更难外推。bloc97 借用这个视角分析 RoPE:不同维度组就是不同频率的成分,外推灾难主要来自高频维度被压坏后的连锁反应——准确的说是低频维度没见过完整周期,而 PI 一刀切又伤了高频。于是对症下药:只缩低频、保住高频。名字唬人,思想就是这么一句。
NTK-aware 的 \(\alpha\) 是固定值,社区很快给出更灵活的版本——Dynamic NTK(emozilla,2023):按本次输入的实际长度动态决定缩放力度:
同年,Peng 等人的 YaRN(Yet another RoPE extensioN)把“按频段区别对待”做到精细极致,关键改进有两处。第一是分频段插值:给每个维度组算一个比值 \(r_i = L / \lambda_i\)——训练窗口里能容纳几个完整周期——按比值分三段处理:
第二是温度补偿。位置被压缩后,相对距离整体变小,注意力分数彼此拉近,softmax 出来的分布会变平、注意力变“散”。YaRN 给注意力分数乘上一个随扩展倍数对数增长的系数,把尖锐度补回来:
两招合用的回报是实打实的训练预算:YaRN 论文报告,达到同等效果所需 token 比 PI 少约 10 倍、训练步数少约 2.5 倍。它因此成了开源社区扩上下文的标准件:DeepSeek-V3 在 4K 预训练完成后,用 YaRN 连做两级扩展(4K → 32K → 128K),每级只续训 1000 步;Qwen2 官方支持推理时用 YaRN 把 32K 训练窗口扩到 128K。
这条线还有更激进的后续:2024 年微软的 LongRoPE 不再手调分段规则,而是用搜索算法逐维度找出非均匀的缩放系数,配合渐进式扩展,把 LLaMA2 的窗口一路推到 2048K(200 万 token)。它提示我们:“每个维度缩多少”本身就是一个可以优化的自由度。
8.2.4 调大 base 的朴素 trick:出厂自带的温和缩放
最后登场的方法朴素到几乎不像一个“方法”:什么都不推导,直接把 RoPE 的 base 调大。Llama 3 把 base 从 Llama 2 时代的 10000 提到 500000,技术报告只用一句话交代动机——“这让我们能更好地支持长上下文”。minimind 的默认 base 是 \(10^6\),同属这个思路。
为什么一个数字就管用?把波长公式 (3) 对新旧两个 base 各写一遍,取个比值立刻现形:
这意味着:慢维度转一整圈所需的文本长度变成原来的 50 倍,同样 4K / 8K 的训练窗口内,“没转过的陌生角度”大幅减少——效果与 NTK-aware 同源(慢维度温和缩放、快维度不动),只是不按某个目标窗口精确计算,而是出厂时就预留一份宽松余量。用尺子的话说:不是事后改刻度,而是直接买一把刻度更疏的尺子。
天下没有免费的余量。base 调大后慢维度的转角整体变小,相邻位置在慢维度上的朝向差异也随之变小,模型区分“相距很远的两个位置”的精细度被稀释。这是一笔交换:牺牲一点远程分辨力,换外推稳定性。所以目标窗口真拉到 128K 时,单靠大 base 并不够,还要叠加显式缩放与长文续训——Llama 3.1 正是大 base 加分阶段继续训练(约 800B token)才把窗口从 8K 推到 128K,这套流水线 3.5 节已有全景介绍。
注意:训练与推理的 base 必须一致。base 是旋转角的“出厂参数”,预训练用 10⁴、推理时改成 10⁶,等于趁模型不注意换了一把尺子——读数全部错位。想换 base,必须在同一 base 下续训让模型重新适应。
四种方法同属一张谱系:PI 压位置编号、NTK-aware 改基频、YaRN 分频段插值加温度补偿、调大 base 出厂预留余量——全部服务于同一件事:把位置编码的读数维持在模型见过的范围内,外推变内插。改刻度让长文“读得下”;要“读得懂”,还需长文续训这另一半,正是下一节的主题。
参考来源
- Chen et al., 2023. Extending Context Window of Large Language Models via Positional Interpolation(位置插值 PI 原始论文,arXiv:2306.15595),公式 (1)(2)、直接外推 PPL 突破 \(10^3\)、注意力分数区间外超 8000、内插外推上界约 600 倍之差、千步微调与 passkey 有效窗口实验均出自该文。
- bloc97, 2023. NTK-Aware Scaled RoPE allows LLaMA models to have extended (8k+) context size without any finetuning and minimal perplexity degradation(NTK-aware 缩放的社区原始出处,Reddit 帖),公式 (4) 出自该帖。
- emozilla, 2023. Dynamically Scaled RoPE further increases performance of long context LLaMA with zero finetuning(Dynamic NTK 的社区原始出处,Reddit 帖),公式 (5) 的动态缩放思想出自该帖。
- Peng et al., 2023. YaRN: Efficient Context Window Extension of Large Language Models(YaRN 原始论文,arXiv:2309.00071),分频段插值公式 (6)、温度补偿公式 (7) 与“比 PI 省约 10 倍 token、2.5 倍步数”的结论出自该文。
- Ding et al., 2024. LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens(LongRoPE 原始论文,arXiv:2402.13753),搜索式非均匀缩放与 2048K 窗口出自该文。
- Grattafiori et al.(Meta), 2024. The Llama 3 Herd of Models(Llama 3 系列技术报告,arXiv:2407.21783),RoPE base 提到 500000、Llama 3.1 分阶段续训约 800B token 扩到 128K 出自该文。
- DeepSeek-AI, 2024. DeepSeek-V3 Technical Report(DeepSeek-V3 技术报告,arXiv:2412.19437),YaRN 两级扩展 4K → 32K → 128K、每级 1000 步出自该文。
- Bai et al., 2023. Qwen Technical Report(Qwen 技术报告,arXiv:2309.16609),NTK-aware 插值、LogN 注意力缩放与窗口注意力的推理侧组合出自该文;Yang et al., 2024. Qwen2 Technical Report(arXiv:2407.10671),YaRN 推理扩展到 128K 出自该文。
- Su et al., 2021. RoFormer: Enhanced Transformer with Rotary Position Embedding(RoPE 原始论文,arXiv:2104.09864),频率公式 \(\theta_i = \mathrm{base}^{-2i/d}\) 的出处,详见 3.4 节。
- minimind 工程 model/model_minimind.py(Apache 2.0),rope_theta 配置与 YaRN 实现的工程参考。