1.4 数据配比:网页、代码、数学各放多少
本页范围:第 1 章第 4 节 | 整理时间:2026-09-28
质量与去重解决的是单条数据好不好的问题,本节面对第三个决策:网页、书籍、代码、数学各放多少。1.1 节已经在 GPT-3 的配比表里见过这组数字,本节进一步讨论:配比为什么影响能力结构,人工确定的配比有什么局限,能不能通过训练自动学习配比?沿这条线分四步展开:
- 配比为什么重要:偏科的代价(1.4.1):采样频率就是学习时间的分配表,偏科的代价真实存在;
- 人工配比时代:GPT-3 的配方(1.4.2):重读那张配比表,看清“小精料反复吃、大粗粮吃不完”背后的人工权衡,以及验证成本这个死穴;
- DoReMi:让小模型替大模型找配比(1.4.3):三步流程——参考模型定基线,Group DRO 最小化最坏域的超额损失,结论外推到 30 倍大的模型;
- 实践启示小结(1.4.4):代码比例、数学数据稀缺等四条业界通行经验,属经验性共识而非单篇论文结论。
读完本节,你应该能说清配比凭什么与数据质量、数据量并列成为预训练数据的第三个关键决策,以及 DoReMi 如何把试错成本降下一到两个数量级。至此数据自身的决策讲完,还剩一个问题:现成数据不够用怎么办,那是下一节合成数据的主题。
图 1 标出数据配比在 LLM 生命周期中的位置,图 2 展示数据配比的作用方式。
图 1 里这个紫框放大之后长什么样?它的输入和输出各是什么?把配比这个旋钮单独拆开看:
1.4.1 配比为什么重要:偏科的代价
前面几节解决的是数据好不好、够不够的问题,这一节面对的是另一类问题:每类数据放多少。同一个语料库里,网页文本、书籍、代码、学术论文的占比可以是任意组合,而模型最终的能力结构,很大程度上就是被这个组合塑造出来的。
直觉类比是学生的复习时间分配。同样三个月备考,把时间全砸在数学上的学生和平均用力的学生,考出来的成绩单完全不同。模型也一样:训练时对某类数据的采样频率,就是模型分配给它学习时间的长短。代码数据见得多,代码能力就强;网页闲聊文本占了绝对主导,模型就擅长日常表达而疏于严谨推理。
预训练语料按来源或类型被划分为若干域(domain),如网页、书籍、代码、数学、对话。每个域的样本量差异巨大,训练时通常不按自然占比采样,而是人为给每个域指定一个采样权重,这组权重就是配比。配比改变,喂进模型的数据分布就改变,最终能力结构跟着改变。
配比是相对权重,不是绝对数据量。同样一批语料,按两种不同配比各训一遍,得到的两个模型能力结构会明显不同。这就是为什么配比能和数据质量、数据量并列成为预训练数据的第三个关键决策。
偏科的代价是真实的:网页文本管够但代码稀缺,模型就学不会写程序;代码比例拉得太高,通用语料被挤占,日常对话和写作能力又会退化。调配比需要在主分布不掉队的前提下提升关键能力,无法让所有能力同时达到最高水平。
1.4.2 人工配比时代:GPT-3 的配方
最早的配方全靠人工拍。GPT-3 论文公开了它的训练混合方案,是观察人工配比思路的经典样本:
| 数据集 | token 量 | 训练混合权重 | 训满 3000 亿 token 时看过的遍数 |
|---|---|---|---|
| Common Crawl(过滤后) | 4100 亿 | 60% | 0.44 遍 |
| WebText2 | 190 亿 | 22% | 2.9 遍 |
| Books1 | 120 亿 | 8% | 1.9 遍 |
| Books2 | 550 亿 | 8% | 0.43 遍 |
| Wikipedia | 30 亿 | 3% | 3.4 遍 |
这张表(GPT-3 论文表 2.2)藏着人工配比的全部思路。采样不按数据量比例来:Wikipedia 只有 30 亿 token,却给了 3% 的权重,训练中被翻来覆去看了 3.4 遍;Common Crawl 有 4100 亿 token,按 60% 权重采样下来连一遍都没看完。论文说得很直白:这是有意接受少量过拟合,换取更高质量的训练数据。小精料反复吃,大粗粮吃不完,背后全是人的经验判断。
表中权重合计为 101%,论文原表如此:各权重是近似的采样比例,没有严格归一。另外注意区分后两列——Books1 的 token 量是 120 亿,权重是 8%,数量与权重是两回事。
人工配方的问题在于验证成本。一个配比好不好,只有拿它把大模型完整训一遍、再跑下游评测才知道。每试一个候选配方就是一次完整的大模型训练,没人试得起几轮,最后端上桌的配方往往只是拍脑袋加上几轮小规模试探的产物。GPT-3 的 60/22/8/8/3 显著影响了后续许多模型的配方设计,但它本身并没有被系统论证过。有没有办法让配比自己学出来?
1.4.3 DoReMi:让小模型替大模型找配比
2023 年的 DoReMi 给出了肯定的答案。它的思路一句话说清:大模型试错太贵,就让便宜的小模型去试错,再把结论外推回来。就像大厨研发新菜,不可能每试一版都办一场正式宴席,而是先让小灶试做,口味比例调好了再上大席。
具体分三步走:
- 训参考模型:按一个初始配比(比如各域默认占比)训一个 280M 的小参考模型,记下它在每个域上的损失,作为各域的基线水平;
- 代理模型调权重:再训一个同样 280M 的代理模型,训练过程中用 Group DRO 算法持续调整各域权重,目标是最小化最坏情况下的超额损失——也就是与参考模型基线相比,改善最少的那个域也要被照顾到;
- 外推训大模型:把代理模型学出的域权重拿来重新采样数据,直接训 8B 大模型(参数量约为代理模型的 30 倍)。
有些域天生难学,损失本来就高,单看损失绝对值会误判。超额损失用与基线的差值衡量进步幅度:值为正说明这个域比参考模型还差,值为负说明已经反超。DoReMi 盯住的是所有域里最差的那个超额损失,逼模型把最拖后腿的域补上来,各域均衡受益。
效果相当亮眼。在 The Pile 语料上的实验显示,DoReMi 学出的配比训出的 8B 模型,相比沿用默认配比的基线模型,少样本下游任务平均准确率提升 6.5 个百分点,达到基线同等准确率所需训练步数减少到约 \(1/2.6\)。更难得的是,DoReMi 全程不知道下游要考什么,却在 GLaM 语料上匹配了拿下游任务人工调出来的配比效果。
DoReMi 最关键的启示是配比结论可以跨规模外推:280M 小模型上学出的域权重,直接搬到 30 倍大的 8B 模型上依然有效。配比研究从此可以放在便宜的小模型上做,这把人工调配比的试错成本降了一到两个数量级。
1.4.4 实践启示小结
本小节是业界通行经验的归纳,属经验性共识,不对应某一篇论文的精确实验结论;不同团队的具体配方多为商业秘密,公开数字仅供参考方向。
- 代码比例上升有助于推理能力。代码的结构化、逻辑严密的特点会外溢到通用推理,主流模型普遍在配方中给代码留出不小份额,即使目标场景不是写程序;
- 高质量数学数据稀缺且昂贵。网页和代码可以从公开渠道大量获取,而经过严格校验的数学推理内容产量低、获取成本高,往往需要专门采集甚至合成;
- 配比目标是扬长而不拆台。在主分布(通用网页文本)能力不掉队的前提下,用有限的配比预算拔高代码、数学、多语言等关键能力;
- 小模型先行成为标配动作。受 DoReMi 一类工作影响,先在小规模上扫配比、定配方,再放大到正式训练,已是主流实验室的通行流程。
至此,第 1 章关于数据的三个决策——质量、数量、配比——已经讲完。数据备齐之后,下一步是把它切成模型能消化的单元,第 2 章进入分词的世界。
参考来源
- Brown et al., 2020. Language Models are Few-Shot Learners(GPT-3 论文,arXiv:2005.14165)。1.4.2 节的配比表与"高质量源重复采样、宁可接受少量过拟合"的论述出自该文第 2.2 节及表 2.2。
- Xie et al., 2023. DoReMi: Optimizing Data Mixtures Speeds Up Language Model Pretraining(NeurIPS 2023,arXiv:2305.10429)。1.4.3 节的三步流程、6.5 个百分点提升、2.6 倍加速与 GLaM 匹配结果出自该文摘要与正文。
- Sagawa et al., 2020. Distributionally Robust Neural Networks for Group Shifts: On the Importance of Regularization for Worst-Case Generalization(Group DRO 原始论文,ICLR 2020,arXiv:1911.08731),DoReMi 所用优化算法的出处。