8.3 长上下文扩展 II:数据与训练工程
本页范围:第 8 章第 3 节 | 整理时间:2026-09-30
8.2 节解决了长上下文扩展的前半段:改造 RoPE(位置插值、NTK 缩放、YaRN),让模型在数学上「表示得了」超出训练长度的位置。但表示得了不等于用得上——一个只见过 4K 文本的模型,就算把 128K 文档塞进去,它也更可能只盯着开头结尾,对中间的内容视而不见。本节讲后半段:训练侧的工程,回答三个环环相扣的问题——先短后长怎么安排、长数据从哪来、怎么证明模型真学会了。
本节沿四个小节展开,路线图如下:
- 长度课程:为什么先短后长(8.3.1):算一笔经济账,看长序列训练贵在哪,以及 DeepSeek-V3、Llama 3 如何用分阶段课程把成本压下来;
- 长上下文数据从哪来(8.3.2):天然长文本的采集与上采样、文档拼接的讲究、跨文档注意力掩码的作用;
- 合成长上下文数据:逼模型用上远距离信息(8.3.3):天然长数据不等于长依赖数据,看 Llama 3 如何用自动生成的问答与代码任务补上这一课;
- 怎么证明长上下文真学会了(8.3.4):大海捞针测试与 RULER 基准,以及为什么平均困惑度说了不算。
读完本节,你应该能看懂任何一份技术报告里「Long Context Extension」那一节在写什么,并能判断一个宣称 128K 的模型到底有没有真本事。
8.2 节讨论位置编码的缩放,本节介绍长上下文扩展的另一部分:训练数据与训练流程。图 1 标出这部分工作在中间训练中的位置。
图 1 里这个紫框中,本节负责的「先短后长」放大之后长什么样?窗口是一档一档拉长的,而账单随长度平方上涨——把长度课程和它的成本曲线并排拆开看:
8.3.1 长度课程:为什么先短后长
先回答最直觉的问题:既然目标是 128K 上下文,为什么不从头到尾都用 128K 序列训练?答案只有一个字:贵。
Llama 3 技术报告把原因写得很直白:之所以不在预训练早期用长序列,是因为自注意力层的计算量随序列长度平方增长。序列从 4K 拉到 128K,长度涨了 32 倍,注意力部分的计算量就要涨 \(32^2 = 1024\) 倍。打个生活化的比方:30 人的会议室里两两握手,一共 435 次;换成 1000 人的大礼堂,两两握手接近 50 万次——人多了 33 倍,握手次数多了一千多倍。注意力就是这样一笔「两两握手」的账。当然,FFN 等其余部分的计算只随长度线性增长,会摊薄总账;但激活显存同样随长度成倍上涨,综合下来,同样训练一个 token,128K 序列上的开销是 4K 序列上的好几倍。
DeepSeek-V3 的真实账单可以直接验证这个结论。它的预训练全程用 4K 序列,吃掉 14.8 万亿 token,花了 2664K H800 GPU 小时;之后的上下文扩展只处理约 1260 亿 token(不到预训练的 1%),却花了 119K GPU 小时——折算成单位 token 成本,扩展阶段约为预训练主体的 5 倍。若全程按 128K 的标准训练 14.8 万亿 token,账单将膨胀到任何团队都无法接受。于是主流做法形成了共识,被称为长度课程(length curriculum):预训练用短序列把语言与知识学扎实,中后期再花少量 token 逐步拉长。
指「先短后长、分阶段拉长序列」的训练安排:预训练主体用 4K 或 8K 短序列完成,中期或末期用远少于主体的 token 量,分一个或多个阶段把序列长度逐步扩到 32K、128K 甚至更长。它是 6.2 节学习率调度的同门思路——不同训练阶段用不同配置,把昂贵的资源花在刀刃上。
DeepSeek-V3 的长度课程是两段式的,报告 4.3 节给出了完整配方。预训练在 4K 上下文上完成后,应用 8.2 节讲过的 YaRN 方法,追加两个各 1000 步的训练阶段:第一阶段把序列长度设为 32K,batch size 1920 条;第二阶段把序列长度提到 128K,batch size 相应缩到 480 条(保持每步 token 总量大致相当),学习率沿用预训练收尾时的 \(7.3 \times 10^{-6}\)。两阶段共用同一组 YaRN 超参:缩放因子 \(s = 40\)、\(\alpha = 1\)、\(\beta = 32\),且 YaRN 只施加在 MLA 中携带 RoPE 的解耦键 \(\mathbf{k}_t^R\) 上。
| 阶段 | 序列长度 | 步数 × batch | token 量(换算) | 备注 |
|---|---|---|---|---|
| 预训练主体 | 4K | — | 14.8T | 2664K H800 GPU 小时 |
| 扩展阶段一 | 32K | 1000 × 1920 条 | 约 63B(1000 × 1920 × 32K) | 两阶段合计 119K GPU 小时;lr 均为 7.3×10⁻⁶ |
| 扩展阶段二 | 128K | 1000 × 480 条 | 约 63B(1000 × 480 × 128K) |
另一个参照系是 Llama 3,它的课程更平缓:长上下文预训练分六个阶段,从最初的 8K 逐步扩到 128K,全程约 8000 亿 token。它的阶段晋级不由步数决定,而要求每个长度同时满足两个条件:短上下文基准成绩完全恢复,且该长度下大海捞针测试全部答对。这个判据对应 8.3.4 的主题:用评估结果判断长上下文能力是否达标。
长上下文能力的主流获得方式是「后期唤醒」:预训练用短序列学知识与语言,中后期用少量 token 分阶段拉长。DeepSeek-V3 用不到预训练 1% 的 token 完成了 4K 到 128K 的扩展——先短后长不是妥协,是成本约束下的最优解。
DeepSeek 后来发布的 V3.1 把这套课程的剂量加大:32K 扩展阶段扩到 6300 亿 token(约 10 倍)、128K 阶段扩到 2090 亿 token。可见「少量 token 够用」的边界是活的——剂量越大,长上下文表现通常越扎实,成本也同步上涨。
8.3.2 长上下文数据从哪来
课程安排定了,接下来的问题是:拉长阶段喂什么数据?把原来的短文本数据原样再喂一遍行不行?答案是不行——模型在 32K 序列上训练,序列里装的却是互不相关的短文档碎片,它学到的只是「在一堆噪声里做局部预测」,远程依赖的信号依然稀缺。长上下文训练需要货真价实的长数据。
第一来源是天然长文本。普通网页平均只有几百到一两千 token,但语料库里天然存在一批长家伙:书籍、学术论文、长文档网页、以及代码仓库(一个仓库的文件合起来常常几万到几十万 token)。做法是把这批数据在训练混合中的占比提上来,即长文档上采样(upsampling)。Fu 等人 2024 年的系统研究给这个做法提供了底气:他们的实验表明,「在输入任意位置利用信息」这项能力在大规模预训练中已经基本习得,续训阶段用对的数据做轻量训练,就能把 4K 模型扩展到 128K——数据工程的关键不在量大,而在让模型真的见到足够长的连贯文本。
第二来源是拼接。即便上采样,天然长文档也未必够填满 128K 的序列,工程上通行的做法是把多个文档首尾相接塞进一条序列,即 packing(序列打包)。拼接不是随便拼:Shi 等人的 In-Context Pretraining 研究表明,把语义相关的同主题文档拼进同一条序列,效果优于随机拼接——相邻文档互相提供上下文,模型在训练时就练习了「利用前文信息理解后文」,而不是把每个文档当作孤岛。
训练时序列长度是固定的(如 32K),而文档长短不一。packing 的做法是把一篇篇文档顺着接龙,接满一条序列为止,避免用 padding 填充浪费算力。代价是一条序列里会挤进多个互不相关的文档,边界处理就成了学问:要不要告诉模型「这里换了一篇」。
边界处理的代表手段是跨文档注意力掩码:在注意力计算时禁止一个位置去注意同序列里前一个文档的内容,从机制上切断「串台」。Llama 3 报告记录了它的实际效果:这个掩码在常规预训练中影响有限,但在长序列续训中很重要——序列越长,一条序列里挤进的异质文档越多,不相关上下文互相干扰的问题越被放大,掩码的价值也就越大。
易错点:长序列续训时若沿用「随机拼接 + 不加掩码」的短文本打包习惯,模型会被迫在海量无关上下文的干扰中学习,远程依赖的信号被稀释。长上下文数据工程的三件套——长文档上采样、同主题拼接、跨文档掩码——解决的是同一个问题:让「远处的信息有用」这个信号在训练数据里真实存在。
8.3.3 合成长上下文数据:逼模型用上远距离信息
有了天然长数据还不够。一个微妙的问题:文档长,不等于任务需要远程信息。一本小说的局部段落,往往只看前后几句就能续写下去——模型完全可以「人在长文里,眼睛只盯着附近」,照样把困惑度刷得很好看。要让模型真正练习远程检索与推理,数据里的任务必须设计成不看远处就答不出来。
Llama 3 在后训练阶段踩过的坑最能说明问题。报告记载:直接沿用只有短上下文数据的 SFT 配方,预训练阶段辛苦获得的长上下文能力出现了显著退化。而让人工标注员去读长文档、写标注,成本高到不现实,于是团队转向合成数据——用早期版本的 Llama 3 自动生成长上下文训练样本,覆盖三类用例:
- 长文档问答:从预训练语料精选长文档,切成 8K 的块,让模型针对随机选中的块生成问答对;训练时把完整文档作为上下文——答案藏在哪里不一定,模型必须学会翻遍全文。
- 层级摘要:先用 8K 上下文的分块模型给每块写摘要,再把摘要的摘要汇总;训练时给出全文,要求模型在保留所有重要细节的前提下做全文摘要,并基于全文理解生成问答。
- 代码仓库推理:解析 Python 文件的 import 依赖,挑出一个被至少五个文件依赖的关键文件并删掉,让模型回答哪些文件依赖了它、并补写出缺失代码——不看遍仓库根本答不了。
这批合成样本还按长度分桶(16K / 32K / 64K / 128K),以便精细控制各长度档的训练配比。最让人意外的是用量:报告发现,只需把 0.1% 的合成长上下文数据混进原有的短上下文 SFT 数据,短任务与长任务的成绩就能同时保住。长上下文能力的维持,靠的不是堆量,是持续地「提醒」模型远处有信息可用。
合成数据的设计判据只有一条:任务必须依赖远距离信息。问答的答案要分散在全文,摘要要覆盖全局细节,代码任务要跨文件依赖——凡是只看局部就能混过去的任务,都练不出长上下文。
8.3.4 怎么证明长上下文真学会了
训练做完,怎么验收?沿用预训练的困惑度指标是第一个本能反应,但它恰恰是这里最不可靠的尺子。长文困惑度是所有 token 的平均,而绝大多数 token 靠局部上下文就能预测——一个对远程信息视而不见的模型,平均困惑度照样可以很漂亮。真正有效的验收必须直接考「远程信息利用」。
最流行的考法是大海捞针测试(Needle-in-a-Haystack,NIAH),由 Greg Kamradt 在 2023 年底提出:把一句与上下文完全无关的话——经典版本是「在旧金山最棒的事,是晴天坐在 Dolores 公园里吃三明治」——插进一叠长文档(原版用的是 Paul Graham 的散文集)的任意深度,然后问模型「在旧金山最好玩的事是什么」。把插入深度和上下文总长度都扫一遍,就能画出一张二维热力图:绿色表示答对,红色表示这根针没捞着。
NIAH 如今是长上下文模型的标配体检:DeepSeek-V3 报告用扩展后模型的 NIAH 全绿作为 128K 扩展成功的证据,Llama 3 则把它写进了长度课程每个阶段的晋级判据。但 NIAH 的天花板也很明显——它只考单句检索,是长上下文能力里最浅的一层。NIAH 满分,只说明模型「找得到」,不说明「用得好」。
RULER 基准(Hsieh et al., 2024)正是为捅破这层天花板设计的。它把考试升级成四个科目:
| 任务类别 | 考什么 | 与 NIAH 的关系 |
|---|---|---|
| 检索 Retrieval | 多种类型、多根针、多键多值的捞针变体 | NIAH 的加难版 |
| 多跳追踪 Multi-hop Tracing | 变量追踪:沿一连串赋值链追某个变量的最终值,模拟跨位置关联 | 超出单点检索 |
| 聚合 Aggregation | 从全文提取高频词、共性词,模拟「通读全文再归纳」 | 考全局整合 |
| 问答 QA | 在短文档问答里掺入大量无关干扰文本,考抗噪定位 | 逼近真实场景 |
RULER 用 13 个任务考了 17 个宣称长上下文的模型,结果给行业泼了一盆冷水:这些模型在原始 NIAH 上几乎满分,但随上下文变长、任务变难,成绩几乎全线大幅下滑;宣称支持 32K 以上的模型中,只有约一半能在 32K 长度上保住满意表现。「宣称的上下文长度」与「能可靠使用的上下文长度」,是两回事。
注意:平均困惑度证明不了长上下文能力。长文 PPL 被海量「只看局部就能预测」的 token 稀释,对远程依赖极不敏感。验收长上下文必须上直接考远程信息利用的测试:NIAH 测检索、RULER 测追踪聚合与抗噪问答,二者结合才算数。
这也为解读技术报告提供了一把标尺:看到「支持 128K」的宣传时,先翻报告里有没有 NIAH 热力图、有没有 RULER 或同类硬基准的成绩,再看扩展阶段用了多少 token 训练——三者齐全,这个数字才站得住。
本工程 minimind 恰是「没有长数据就没有长能力」的反面教材——它的预训练数据全部是短文本,trainer/train_pretrain.py 第 90 行 --max_seq_len 默认值仅 340 token。这个规模足够验证训练流程,但任何长上下文技巧(RoPE 插值、YaRN)在它身上都无从谈起:数据里根本没有长距离依赖可学。
参考来源
- DeepSeek-AI, 2024. DeepSeek-V3 Technical Report(arXiv:2412.19437;两阶段长度课程、YaRN 配置与 batch/学习率见 4.3 节,训练成本见 Table 1,NIAH 结果见 Figure 8)。
- AI@Meta, 2024. The Llama 3 Herd of Models(arXiv:2407.21783;长上下文预训练六阶段与晋级判据见 3.4.2 节,跨文档注意力掩码说明见第 3 节架构部分,SFT 合成长上下文数据与 0.1% 配比见 4.3.4 节)。
- Peng, Quesnelle, Fan & Shippole, 2023. YaRN: Efficient Context Window Extension of Large Language Models(arXiv:2309.00071)。
- Fu, Panda, Niu, Yue, Hajishirzi, Kim & Peng, 2024. Data Engineering for Scaling Language Models to 128K Context(长上下文续训的数据工程研究,arXiv:2402.10171,ICML 2024)。
- Shi et al., 2024. In-Context Pretraining: Language Modeling Beyond Document Boundaries(语义相关文档拼接优于随机拼接,arXiv:2310.10638,ICLR 2024)。
- Hsieh et al., 2024. RULER: What's the Real Context Size of Your Long-Context Language Models?(arXiv:2404.06654,COLM 2024)。
- Kamradt, 2023. Needle In A Haystack 测试(GitHub: gkamradt/LLMTest_NeedleInAHaystack;Paul Graham 散文集 + 旧金山三明治针句的原始实现)。
- minimind 工程代码:
trainer/train_pretrain.py(Apache 2.0 协议)。