1.4 数据配比:网页、代码、数学各放多少

本页范围:第 1 章第 4 节 | 整理时间:2026-09-28

快速浏览

核心问题预训练语料来自网页、书籍、代码、数学等多个来源,每类各放多少比例?这个比例凭什么这么定?
本节主张数据配比(domain weights)是预训练的关键旋钮,直接决定模型的能力结构。早期靠人工经验拍定,DoReMi 证明可以让小模型自动寻优,再把结论外推给大模型。
一句话结论配比的本质是在主分布不掉队的前提下拔高关键能力;好配比可以从人工试错升级为小模型实验加外推。
关键词
数据配比Domain WeightsCommon CrawlDoReMiGroup DRO

  质量与去重解决的是单条数据好不好的问题,本节面对第三个决策:网页、书籍、代码、数学各放多少。1.1 节已经在 GPT-3 的配比表里见过这组数字,本节进一步讨论:配比为什么影响能力结构,人工确定的配比有什么局限,能不能通过训练自动学习配比?沿这条线分四步展开:

  1. 配比为什么重要:偏科的代价(1.4.1):采样频率就是学习时间的分配表,偏科的代价真实存在;
  2. 人工配比时代:GPT-3 的配方(1.4.2):重读那张配比表,看清“小精料反复吃、大粗粮吃不完”背后的人工权衡,以及验证成本这个死穴;
  3. DoReMi:让小模型替大模型找配比(1.4.3):三步流程——参考模型定基线,Group DRO 最小化最坏域的超额损失,结论外推到 30 倍大的模型;
  4. 实践启示小结(1.4.4):代码比例、数学数据稀缺等四条业界通行经验,属经验性共识而非单篇论文结论。

  读完本节,你应该能说清配比凭什么与数据质量、数据量并列成为预训练数据的第三个关键决策,以及 DoReMi 如何把试错成本降下一到两个数量级。至此数据自身的决策讲完,还剩一个问题:现成数据不够用怎么办,那是下一节合成数据的主题。

  图 1 标出数据配比在 LLM 生命周期中的位置,图 2 展示数据配比的作用方式。

原创示意图 · 非论文原图 训练数据: 收集 · 清洗 · 配比 (本节内容) 预训练: 海量语料自监督 (第 6 章) 训练工程: 并行 · 精度 · 稳定 (第 7 章) 中间训练: 收口 · 长上下文 (第 8 章) SFT: 学会对话格式 (第 9 章) 偏好对齐: RLHF / DPO (第 10 章) 推理训练: RLVR / GRPO (第 11 章) 推理与部署: 解码 · 加速 (第 12–13 章) 紫底框:本节内容 虚线框:后续章节
图 1:训练数据在 LLM 生命周期中的位置。数据备好(本章)之后进入预训练(第 6 章),再经训练工程(第 7 章)、中间训练(第 8 章)、SFT(第 9 章)、偏好对齐(第 10 章)、推理训练(第 11 章),最后走向推理与部署(第 12–13 章)。虚线部分在对应章节展开,数据是这条链路的第一站,本节的站位是数据加工末端的配比环节,只回答「每类数据各放多少」。

  图 1 里这个紫框放大之后长什么样?它的输入和输出各是什么?把配比这个旋钮单独拆开看:

原创示意图 · 非论文原图 局部放大:数据配比——采样权重决定训练流的构成 输入:五个数据池 + 一组人工给定的采样权重(GPT-3 公开配方) 多领域配比堆叠条 Common Crawl 60% WebText2 22% Books1 8% Books2 8% Wikipedia 3% 按权重采样 每个批次随机抽取 输出: 混出的训练流里约六成 token 来自 Common Crawl(颜色与堆叠条对应) 同一批语料换一组配比重训一遍,得到的模型能力结构就不同
图 2:配比如何变成训练流。上方是 GPT-3 公开的采样权重(原表合计 101%,为近似值),采样器按权重从各数据池随机抽取,混出的训练流里约六成 token 来自 Common Crawl。配比就是学习时间的分配表:同一批语料换一种配比,训出的模型能力结构就不同。

1.4.1 配比为什么重要:偏科的代价

  前面几节解决的是数据好不好、够不够的问题,这一节面对的是另一类问题:每类数据放多少。同一个语料库里,网页文本、书籍、代码、学术论文的占比可以是任意组合,而模型最终的能力结构,很大程度上就是被这个组合塑造出来的。

  直觉类比是学生的复习时间分配。同样三个月备考,把时间全砸在数学上的学生和平均用力的学生,考出来的成绩单完全不同。模型也一样:训练时对某类数据的采样频率,就是模型分配给它学习时间的长短。代码数据见得多,代码能力就强;网页闲聊文本占了绝对主导,模型就擅长日常表达而疏于严谨推理。

数据配比(Domain Weights) data mixture / domain weights = 训练时从各数据域采样的相对权重

预训练语料按来源或类型被划分为若干域(domain),如网页、书籍、代码、数学、对话。每个域的样本量差异巨大,训练时通常不按自然占比采样,而是人为给每个域指定一个采样权重,这组权重就是配比。配比改变,喂进模型的数据分布就改变,最终能力结构跟着改变。

  配比是相对权重,不是绝对数据量。同样一批语料,按两种不同配比各训一遍,得到的两个模型能力结构会明显不同。这就是为什么配比能和数据质量、数据量并列成为预训练数据的第三个关键决策。

  偏科的代价是真实的:网页文本管够但代码稀缺,模型就学不会写程序;代码比例拉得太高,通用语料被挤占,日常对话和写作能力又会退化。调配比需要在主分布不掉队的前提下提升关键能力,无法让所有能力同时达到最高水平。

1.4.2 人工配比时代:GPT-3 的配方

  最早的配方全靠人工拍。GPT-3 论文公开了它的训练混合方案,是观察人工配比思路的经典样本:

数据集token 量训练混合权重训满 3000 亿 token 时看过的遍数
Common Crawl(过滤后)4100 亿60%0.44 遍
WebText2190 亿22%2.9 遍
Books1120 亿8%1.9 遍
Books2550 亿8%0.43 遍
Wikipedia30 亿3%3.4 遍

  这张表(GPT-3 论文表 2.2)藏着人工配比的全部思路。采样不按数据量比例来:Wikipedia 只有 30 亿 token,却给了 3% 的权重,训练中被翻来覆去看了 3.4 遍;Common Crawl 有 4100 亿 token,按 60% 权重采样下来连一遍都没看完。论文说得很直白:这是有意接受少量过拟合,换取更高质量的训练数据。小精料反复吃,大粗粮吃不完,背后全是人的经验判断。

  表中权重合计为 101%,论文原表如此:各权重是近似的采样比例,没有严格归一。另外注意区分后两列——Books1 的 token 量是 120 亿,权重是 8%,数量与权重是两回事。

  人工配方的问题在于验证成本。一个配比好不好,只有拿它把大模型完整训一遍、再跑下游评测才知道。每试一个候选配方就是一次完整的大模型训练,没人试得起几轮,最后端上桌的配方往往只是拍脑袋加上几轮小规模试探的产物。GPT-3 的 60/22/8/8/3 显著影响了后续许多模型的配方设计,但它本身并没有被系统论证过。有没有办法让配比自己学出来?

1.4.3 DoReMi:让小模型替大模型找配比

  2023 年的 DoReMi 给出了肯定的答案。它的思路一句话说清:大模型试错太贵,就让便宜的小模型去试错,再把结论外推回来。就像大厨研发新菜,不可能每试一版都办一场正式宴席,而是先让小灶试做,口味比例调好了再上大席。

  具体分三步走:

  1. 训参考模型:按一个初始配比(比如各域默认占比)训一个 280M 的小参考模型,记下它在每个域上的损失,作为各域的基线水平;
  2. 代理模型调权重:再训一个同样 280M 的代理模型,训练过程中用 Group DRO 算法持续调整各域权重,目标是最小化最坏情况下的超额损失——也就是与参考模型基线相比,改善最少的那个域也要被照顾到;
  3. 外推训大模型:把代理模型学出的域权重拿来重新采样数据,直接训 8B 大模型(参数量约为代理模型的 30 倍)。
原创示意图 · 非论文原图 第一步:参考模型 280M,按初始配比训练 记录各域损失基线 第二步:代理模型 280M,Group DRO 调权重 最小化最坏域超额损失 第三步:大模型 8B 学出的域权重直接外推 重新采样数据后训练 结果:少样本下游平均准确率 +6.5 个百分点,训练步数约为基线的 1/2.6
图 3:DoReMi 三步流程。小模型负责试错与寻优,大模型只消费最终配比,两步的参数量相差约 30 倍。
超额损失(Excess Loss) excess loss = 当前模型某域损失 − 参考模型同域损失

有些域天生难学,损失本来就高,单看损失绝对值会误判。超额损失用与基线的差值衡量进步幅度:值为正说明这个域比参考模型还差,值为负说明已经反超。DoReMi 盯住的是所有域里最差的那个超额损失,逼模型把最拖后腿的域补上来,各域均衡受益。

\[ \min_{\theta}\ \max_{\alpha \in \Delta^{k}}\ \sum_{i=1}^{k} \alpha_i \cdot \bar{\ell}_i(\theta), \qquad \bar{\ell}_i(\theta) = L_i(\theta) - L_i(\theta_{\mathrm{ref}}) \tag{1} \]
公式 (1):DoReMi 的优化目标(简化示意)。\(k\) 为域个数,\(\bar{\ell}_i\) 是域 \(i\) 的超额损失,\(\alpha\) 是域权重。Group DRO 取所有域中超额损失最大的组合作为优化对象,代理模型 \(\theta\) 在最小化这个最坏情况的同时,权重 \(\alpha\) 被逐步更新出来。符号说明:\(\theta\) 是代理模型的参数,\(\theta_{\mathrm{ref}}\) 是第一步训出的参考模型的参数;\(L_i(\theta)\) 是模型 \(\theta\) 在域 \(i\) 上的损失,\(\bar{\ell}_i(\theta) = L_i(\theta) - L_i(\theta_{\mathrm{ref}})\) 即域 \(i\) 的超额损失;\(\alpha_i\) 是域 \(i\) 的权重;\(\Delta^{k}\) 是 \(k\) 维单纯形,即所有非负且总和为 1 的权重向量的集合;\(\min_\theta \max_\alpha\) 表示先让 \(\alpha\) 挑出最坏情况,再让 \(\theta\) 去最小化它。

  效果相当亮眼。在 The Pile 语料上的实验显示,DoReMi 学出的配比训出的 8B 模型,相比沿用默认配比的基线模型,少样本下游任务平均准确率提升 6.5 个百分点,达到基线同等准确率所需训练步数减少到约 \(1/2.6\)。更难得的是,DoReMi 全程不知道下游要考什么,却在 GLaM 语料上匹配了拿下游任务人工调出来的配比效果。

  DoReMi 最关键的启示是配比结论可以跨规模外推:280M 小模型上学出的域权重,直接搬到 30 倍大的 8B 模型上依然有效。配比研究从此可以放在便宜的小模型上做,这把人工调配比的试错成本降了一到两个数量级。

1.4.4 实践启示小结

  本小节是业界通行经验的归纳,属经验性共识,不对应某一篇论文的精确实验结论;不同团队的具体配方多为商业秘密,公开数字仅供参考方向。

  • 代码比例上升有助于推理能力。代码的结构化、逻辑严密的特点会外溢到通用推理,主流模型普遍在配方中给代码留出不小份额,即使目标场景不是写程序;
  • 高质量数学数据稀缺且昂贵。网页和代码可以从公开渠道大量获取,而经过严格校验的数学推理内容产量低、获取成本高,往往需要专门采集甚至合成;
  • 配比目标是扬长而不拆台。在主分布(通用网页文本)能力不掉队的前提下,用有限的配比预算拔高代码、数学、多语言等关键能力;
  • 小模型先行成为标配动作。受 DoReMi 一类工作影响,先在小规模上扫配比、定配方,再放大到正式训练,已是主流实验室的通行流程。

  至此,第 1 章关于数据的三个决策——质量、数量、配比——已经讲完。数据备齐之后,下一步是把它切成模型能消化的单元,第 2 章进入分词的世界。

🧭本节要点回顾
数据配比为什么能左右模型能力?
模型按采样频率分配学习时间,配比就是能力预算表:某类数据见得越多,对应能力越强,挤占的则是其他域的学习份额。
GPT-3 的配方体现了怎样的人工权衡?
采样不按数据量比例:Wikipedia 等高质量小源被重复看 2 到 3 遍,Common Crawl 连一遍都没看完,宁可接受少量过拟合也要保证数据质量,权重本身是经验拍定。
DoReMi 凭什么摆脱人工调配比?
参考模型提供各域损失基线,代理模型用 Group DRO 最小化最坏域的超额损失,自动学出域权重;关键是小模型上学出的配比能直接外推到 30 倍大的模型,试错成本大降。

参考来源

  • Brown et al., 2020. Language Models are Few-Shot Learners(GPT-3 论文,arXiv:2005.14165)。1.4.2 节的配比表与"高质量源重复采样、宁可接受少量过拟合"的论述出自该文第 2.2 节及表 2.2。
  • Xie et al., 2023. DoReMi: Optimizing Data Mixtures Speeds Up Language Model Pretraining(NeurIPS 2023,arXiv:2305.10429)。1.4.3 节的三步流程、6.5 个百分点提升、2.6 倍加速与 GLaM 匹配结果出自该文摘要与正文。
  • Sagawa et al., 2020. Distributionally Robust Neural Networks for Group Shifts: On the Importance of Regularization for Worst-Case Generalization(Group DRO 原始论文,ICLR 2020,arXiv:1911.08731),DoReMi 所用优化算法的出处。