1.5 合成数据与数据瓶颈:自己造教科书喂自己

本页范围:第 1 章第 5 节 | 整理时间:2026-09-28

快速浏览

核心问题公开高质量的人类文本快被训完了,模型又离不开数据。没有新矿可挖的时候,下一代模型吃什么?
本节主张合成数据让强模型给弱模型当“教材编写者”:按种子生成、严格过滤后,少量教科书级数据就能训出远超同规模模型的能力。但它有边界,只喂模型自产数据会导致模型坍缩。
一句话结论数据竞争的上半场拼数量,下半场拼质量;合成数据是质量路线的主力武器,人类真实数据是不可丢弃的锚点。
关键词
数据墙合成数据phi-1CosmopediaModel Collapse

  前面四节共享同一个前提:数据已经存在,工程师的任务是把它找出来、洗干净、配好比例。本节换一个前提——现成的好数据快被训完了,能不能让模型自己造教材?围绕这个问题,本节按“为什么造、造出来多好、怎么造、有何风险”四步展开:

  1. 为什么需要合成数据:数据墙(1.5.1):Epoch AI 的测算——照当时趋势,训练集将在 2026 至 2032 年间吃光公开人类文本存量;
  2. phi-1 案例:教科书质量的力量(1.5.2):1.3B 小模型靠约 70 亿 token 教科书级数据击败体量更大的对手,质量路线的成名战;
  3. 合成数据流水线怎么造(1.5.3):种子、生成、过滤三步可反复迭代,多样性决定泛化,过滤决定成色;
  4. 模型坍缩:自己喂自己的风险(1.5.4):Nature 研究验证的复印件效应,以及解药——每代持续混入人类真实数据做锚点。

  读完本节,应能说明合成数据如何扩展人类数据,以及为什么仍需保留人类真实数据。第 1 章从语料来源、质量过滤、去重、配比讲到合成数据,覆盖了训练数据的主要处理环节。

  图 1 标出合成数据在 LLM 生命周期中的位置,图 2 展示数据生成、筛选与回流的循环结构。

原创示意图 · 非论文原图 训练数据: 收集 · 清洗 · 配比 (本节内容) 预训练: 海量语料自监督 (第 6 章) 训练工程: 并行 · 精度 · 稳定 (第 7 章) 中间训练: 收口 · 长上下文 (第 8 章) SFT: 学会对话格式 (第 9 章) 偏好对齐: RLHF / DPO (第 10 章) 推理训练: RLVR / GRPO (第 11 章) 推理与部署: 解码 · 加速 (第 12–13 章) 紫底框:本节内容 虚线框:后续章节
图 1:训练数据在 LLM 生命周期中的位置。数据备好(本章)之后进入预训练(第 6 章),再经训练工程(第 7 章)、中间训练(第 8 章)、SFT(第 9 章)、偏好对齐(第 10 章)、推理训练(第 11 章),最后走向推理与部署(第 12–13 章)。虚线部分在对应章节展开,数据是这条链路的第一站,本节站在数据这一站的出口,回答「现成数据不够时怎么自己造」。

  图 1 里这个紫框放大之后长什么样?它的输入和输出各是什么?把合成数据这条循环单独拆开看:

原创示意图 · 非论文原图 局部放大:合成数据循环——模型造教材,人类数据做锚 输入:少量人工种子数据与一个强教师模型;输出:过滤后入库的合成训练集 ① 种子数据 人工精选主题与风格 Cosmopedia 用网页做引子 ② 教师模型生成 批量编写教科书与练习 phi-1 用 GPT-3.5 ③ 质量过滤 去重、去低质、核查 过滤决定成色 ④ 合成数据入库 Cosmopedia 250 亿 token 超 3000 万份文档 ⑤ 训练新一代模型 更强模型回头当教师 循环可反复迭代 回环:新模型当教师 锚点:每代训练持续混入人类真实数据,防模型坍缩(1.5.4 节)
图 2:合成数据的生产循环。人工种子圈定主题与风格,教师模型批量编写教科书与练习,过滤决定成色后入库;入库数据训出更强的新模型,新模型回头当教师,循环往复。注意循环外的锚点:每代训练都要混入人类真实数据,否则分布逐代坍缩(1.5.4 节)。

1.5.1 为什么需要合成数据:数据墙

  前面几节讨论的数据收集、清洗与配比,都有一个共同前提:数据已经存在,工程师的任务是把它找出来、洗干净。本节换一个前提:如果现成的好数据不够用,能不能自己造?

  这个问题并非杞人忧天。训练 LLM 像挖矿:过去十年,模型规模每隔一两年翻几倍,训练数据量跟着水涨船高,而矿石,也就是公开可获取的高质量人类文本,总量基本固定。研究机构 Epoch AI 的 Villalobos 等人测算过这笔账:如果训练规模按当时的趋势继续扩张,到 2026 至 2032 年之间,训练集就会大到“吃光”全部公开人类文本存量;如果训练强度超过数据量的最优配比(同一份数据被反复消化),这一天还会提前到来。这堵看不见的墙被称为数据墙(data wall)。

数据墙 Data Wall data wall = 训练数据需求撞上公开人类文本存量的上限

数据墙说的是一个朴素事实:互联网上的高质量文本是人一个字一个字写出来的,产量有上限,而模型吞数据的速度在指数级增长。两条曲线相交的点就是“墙”。撞墙之后怎么办,Villalobos 等人给出三条出路:合成数据、从数据富余领域迁移学习、提升数据利用效率。本节讨论第一条路线。

  造数据的思路很直白:让一个已经很强的模型当老师,批量编写教科书、例题和讲解,再拿这些材料去训练新模型。这个思路在 2023 年被一个 13 亿参数的小模型彻底打响。

1.5.2 phi-1 案例:教科书质量的力量

  假设你要学编程,面前有两堆书:一堆是从旧书市场论斤称来的十万册杂书,什么内容都有;另一堆是名师写的七本教科书加配套习题。哪堆能让你学得更好?微软研究院 2023 年的 phi-1 实验给出的答案是后者,而且优势很大。

  phi-1 只有 1.3B 参数,在 8 张 A100 上训练 4 天,全部“口粮”约 70 亿 token:60 亿是从网络上精心筛选出的“教科书质量”代码与文本,10 亿是 GPT-3.5 生成的合成教科书与配套练习。这个体量在当时的代码模型里小得不起眼。结果 phi-1 在 HumanEval 基准上拿到 50.6% 的 pass@1 准确率,在 MBPP 上拿到 55.5%,超过了不少体量远大于它的对手。

  HumanEval 是 OpenAI 提出的代码生成基准,含 164 道手写 Python 编程题;pass@1 指模型只生成一次答案就通过全部测试用例的比例。MBPP 是 Google 提出的 974 道入门级 Python 题集。两者都是衡量代码模型能力的常用标尺。

  phi-1 论文的标题就叫《Textbooks Are All You Need》,旗帜鲜明地押注质量路线:模型从数据中学到什么,取决于数据里有什么。杂乱无章的网页文本里,真正教逻辑、教推理的内容被大量噪声稀释;一本结构清晰、由浅入深的教科书,每一页都在有效传递知识。同样的训练算力,喂教科书比喂杂书摊划算得多。

  phi-1 的核心结论:数据质量可以部分替代数据数量。1.3B 参数的小模型靠教科书级数据,击败了用远比自己多的杂乱数据训练的更大模型。这直接改写了小模型的训练思路。

  这套思路很快被开源社区放大。2024 年初,Hugging Face 发布 Cosmopedia:用开放模型 Mixtral-8x7B 生成约 250 亿 token 的合成教科书、博客、故事和 WikiHow 式教程,超过 3000 万份文档,是当时最大的开放合成数据集。它被混入 SmolLM 系列小模型的训练语料,证明“小模型 + 好数据”路线在开源世界同样走得通。

1.5.3 合成数据流水线怎么造

  合成数据的生产有章可循,核心三步:种子、生成、过滤。

  1. 种子(Seed):人工准备少量高质量样本,圈定要覆盖的主题、风格和难度。种子决定合成数据的“品种”,就像育种先选亲本。phi-1 用精心设计的主题与受众组合保证覆盖编程的核心概念;Cosmopedia 则用真实网页样本做风格与主题的“引子”。
  2. 生成(Generation):让强模型围绕种子批量产出内容。这一步最忌千篇一律,要通过变换主题、受众、视角刻意制造多样性,否则造出来的教科书全都一个腔调。
  3. 过滤(Filtering):去重、剔除低质与有害内容、核查事实性。过滤决定最终成色,生成再多,滤不干净照样喂坏模型。
原创示意图 · 非论文原图 种子数据: 人工精选主题与风格 强模型生成: 变换主题与视角 过滤筛选: 去重、去低质、核查 合成训练集 phi-1 / Cosmopedia 三步可反复迭代:过滤决定最终成色,多样性决定泛化能力
图 3:合成数据流水线的三个环节。种子圈定主题,强模型批量生成,过滤决定成色;过滤后的数据用于训练新一代模型。

  这条流水线可以反复迭代:用过滤后的数据训出更强的模型,再让它生成更好的种子和数据。如今多家前沿实验室都在预训练和后训练中大量使用合成数据;后训练里的指令数据、偏好数据、推理轨迹数据,合成含量往往更高,第 9 到 11 章会再与它们见面。

1.5.4 模型坍缩:自己喂自己的风险

  既然合成数据这么好用,能不能干脆让模型完全自给自足?2024 年发表在《自然》(Nature)杂志上的一项研究给出了否定的答案。Shumailov 等人系统验证了一个现象:拿模型自己生成的数据去训练下一代模型,如此循环几代之后,模型的输出会不可逆地退化。他们把这种现象命名为模型坍缩(Model Collapse)。

  坍缩的机制可以理解为复印件效应:把一幅画复印一份,再拿复印件去复印,每过一代细节就糊掉一层,最后只剩一团灰。模型生成数据时,对真实分布的刻画总有偏差,那些罕见的、处于分布边缘的内容最先被丢掉;下一代模型在已经残缺的数据上训练,丢得更多。几代之后,模型眼中的世界只剩分布中心那一小块,输出越来越雷同,丧失多样性。

  注意:合成数据不是免费午餐。Nature 的研究结论是:丢弃人类原始数据、纯靠模型自产数据递归训练,分布尾部的信息会逐代丢失,最终坍缩到狭窄分布。随着互联网上的 AI 生成内容越来越多,新爬取的数据里混入的“复印件”也越来越多,这个风险正变得越来越现实。

  好消息是,坍缩有解药。同一项研究发现,只要每代训练都持续混入一部分人类真实数据,让模型始终锚定在原始分布上,退化就能被有效遏制。合成数据与人类数据的关系由此清晰起来:合成数据是杠杆,放大人类数据的价值;人类数据是锚点,防止模型漂离真实世界。两者搭配使用,才是可持续的训练配方。

🧭本节要点回顾
什么是数据墙,为什么会撞上它?
公开高质量人类文本总量有限,而训练数据需求随模型规模指数级增长。Villalobos 等人测算,照当时趋势,训练集规模将在 2026 至 2032 年间追平公开文本存量,这就是数据墙。合成数据是绕开它的主要出路之一。
phi-1 证明了什么?
数据质量可以部分替代数量:1.3B 参数、只用约 70 亿 token 教科书级数据(60 亿筛选网络数据加 10 亿 GPT-3.5 合成教科书)训练,HumanEval 达 50.6%,胜过用远比自己多的杂乱数据训练的更大模型。
模型坍缩是怎么回事,如何避免?
纯靠模型自产数据递归训练,分布尾部信息逐代丢失,输出坍缩到狭窄分布。解法是持续混入人类真实数据作为锚点:合成数据做杠杆,人类数据做锚。

参考来源

  • Gunasekar et al., 2023. Textbooks Are All You Need(phi-1 论文,arXiv:2306.11644),模型规模、数据构成与 HumanEval / MBPP 成绩出自该文摘要。
  • Hugging Face, 2024. Cosmopedia: how to create large-scale synthetic data for pre-training Large Language Models(官方博客 https://huggingface.co/blog/cosmopedia 与数据集 HuggingFaceTB/cosmopedia),250 亿 token 规模、Mixtral-8x7B 生成方式与 SmolLM 用途出自该资料。
  • Shumailov et al., 2024. AI models collapse when trained on recursively generated data. Nature 631: 755-759(模型坍缩现象、分布尾部信息丢失与人类数据锚点结论出自该文)。
  • Villalobos et al., 2024. Will we run out of data? Limits of LLM scaling based on human-generated data(arXiv:2211.04325,2022 年初版,2024 年修订),公开文本存量 2026 至 2032 年耗尽的预测与三条出路出自该文。