1.5 合成数据与数据瓶颈:自己造教科书喂自己
本页范围:第 1 章第 5 节 | 整理时间:2026-09-28
前面四节共享同一个前提:数据已经存在,工程师的任务是把它找出来、洗干净、配好比例。本节换一个前提——现成的好数据快被训完了,能不能让模型自己造教材?围绕这个问题,本节按“为什么造、造出来多好、怎么造、有何风险”四步展开:
- 为什么需要合成数据:数据墙(1.5.1):Epoch AI 的测算——照当时趋势,训练集将在 2026 至 2032 年间吃光公开人类文本存量;
- phi-1 案例:教科书质量的力量(1.5.2):1.3B 小模型靠约 70 亿 token 教科书级数据击败体量更大的对手,质量路线的成名战;
- 合成数据流水线怎么造(1.5.3):种子、生成、过滤三步可反复迭代,多样性决定泛化,过滤决定成色;
- 模型坍缩:自己喂自己的风险(1.5.4):Nature 研究验证的复印件效应,以及解药——每代持续混入人类真实数据做锚点。
读完本节,应能说明合成数据如何扩展人类数据,以及为什么仍需保留人类真实数据。第 1 章从语料来源、质量过滤、去重、配比讲到合成数据,覆盖了训练数据的主要处理环节。
图 1 标出合成数据在 LLM 生命周期中的位置,图 2 展示数据生成、筛选与回流的循环结构。
图 1 里这个紫框放大之后长什么样?它的输入和输出各是什么?把合成数据这条循环单独拆开看:
1.5.1 为什么需要合成数据:数据墙
前面几节讨论的数据收集、清洗与配比,都有一个共同前提:数据已经存在,工程师的任务是把它找出来、洗干净。本节换一个前提:如果现成的好数据不够用,能不能自己造?
这个问题并非杞人忧天。训练 LLM 像挖矿:过去十年,模型规模每隔一两年翻几倍,训练数据量跟着水涨船高,而矿石,也就是公开可获取的高质量人类文本,总量基本固定。研究机构 Epoch AI 的 Villalobos 等人测算过这笔账:如果训练规模按当时的趋势继续扩张,到 2026 至 2032 年之间,训练集就会大到“吃光”全部公开人类文本存量;如果训练强度超过数据量的最优配比(同一份数据被反复消化),这一天还会提前到来。这堵看不见的墙被称为数据墙(data wall)。
数据墙说的是一个朴素事实:互联网上的高质量文本是人一个字一个字写出来的,产量有上限,而模型吞数据的速度在指数级增长。两条曲线相交的点就是“墙”。撞墙之后怎么办,Villalobos 等人给出三条出路:合成数据、从数据富余领域迁移学习、提升数据利用效率。本节讨论第一条路线。
造数据的思路很直白:让一个已经很强的模型当老师,批量编写教科书、例题和讲解,再拿这些材料去训练新模型。这个思路在 2023 年被一个 13 亿参数的小模型彻底打响。
1.5.2 phi-1 案例:教科书质量的力量
假设你要学编程,面前有两堆书:一堆是从旧书市场论斤称来的十万册杂书,什么内容都有;另一堆是名师写的七本教科书加配套习题。哪堆能让你学得更好?微软研究院 2023 年的 phi-1 实验给出的答案是后者,而且优势很大。
phi-1 只有 1.3B 参数,在 8 张 A100 上训练 4 天,全部“口粮”约 70 亿 token:60 亿是从网络上精心筛选出的“教科书质量”代码与文本,10 亿是 GPT-3.5 生成的合成教科书与配套练习。这个体量在当时的代码模型里小得不起眼。结果 phi-1 在 HumanEval 基准上拿到 50.6% 的 pass@1 准确率,在 MBPP 上拿到 55.5%,超过了不少体量远大于它的对手。
HumanEval 是 OpenAI 提出的代码生成基准,含 164 道手写 Python 编程题;pass@1 指模型只生成一次答案就通过全部测试用例的比例。MBPP 是 Google 提出的 974 道入门级 Python 题集。两者都是衡量代码模型能力的常用标尺。
phi-1 论文的标题就叫《Textbooks Are All You Need》,旗帜鲜明地押注质量路线:模型从数据中学到什么,取决于数据里有什么。杂乱无章的网页文本里,真正教逻辑、教推理的内容被大量噪声稀释;一本结构清晰、由浅入深的教科书,每一页都在有效传递知识。同样的训练算力,喂教科书比喂杂书摊划算得多。
phi-1 的核心结论:数据质量可以部分替代数据数量。1.3B 参数的小模型靠教科书级数据,击败了用远比自己多的杂乱数据训练的更大模型。这直接改写了小模型的训练思路。
这套思路很快被开源社区放大。2024 年初,Hugging Face 发布 Cosmopedia:用开放模型 Mixtral-8x7B 生成约 250 亿 token 的合成教科书、博客、故事和 WikiHow 式教程,超过 3000 万份文档,是当时最大的开放合成数据集。它被混入 SmolLM 系列小模型的训练语料,证明“小模型 + 好数据”路线在开源世界同样走得通。
1.5.3 合成数据流水线怎么造
合成数据的生产有章可循,核心三步:种子、生成、过滤。
- 种子(Seed):人工准备少量高质量样本,圈定要覆盖的主题、风格和难度。种子决定合成数据的“品种”,就像育种先选亲本。phi-1 用精心设计的主题与受众组合保证覆盖编程的核心概念;Cosmopedia 则用真实网页样本做风格与主题的“引子”。
- 生成(Generation):让强模型围绕种子批量产出内容。这一步最忌千篇一律,要通过变换主题、受众、视角刻意制造多样性,否则造出来的教科书全都一个腔调。
- 过滤(Filtering):去重、剔除低质与有害内容、核查事实性。过滤决定最终成色,生成再多,滤不干净照样喂坏模型。
这条流水线可以反复迭代:用过滤后的数据训出更强的模型,再让它生成更好的种子和数据。如今多家前沿实验室都在预训练和后训练中大量使用合成数据;后训练里的指令数据、偏好数据、推理轨迹数据,合成含量往往更高,第 9 到 11 章会再与它们见面。
1.5.4 模型坍缩:自己喂自己的风险
既然合成数据这么好用,能不能干脆让模型完全自给自足?2024 年发表在《自然》(Nature)杂志上的一项研究给出了否定的答案。Shumailov 等人系统验证了一个现象:拿模型自己生成的数据去训练下一代模型,如此循环几代之后,模型的输出会不可逆地退化。他们把这种现象命名为模型坍缩(Model Collapse)。
坍缩的机制可以理解为复印件效应:把一幅画复印一份,再拿复印件去复印,每过一代细节就糊掉一层,最后只剩一团灰。模型生成数据时,对真实分布的刻画总有偏差,那些罕见的、处于分布边缘的内容最先被丢掉;下一代模型在已经残缺的数据上训练,丢得更多。几代之后,模型眼中的世界只剩分布中心那一小块,输出越来越雷同,丧失多样性。
注意:合成数据不是免费午餐。Nature 的研究结论是:丢弃人类原始数据、纯靠模型自产数据递归训练,分布尾部的信息会逐代丢失,最终坍缩到狭窄分布。随着互联网上的 AI 生成内容越来越多,新爬取的数据里混入的“复印件”也越来越多,这个风险正变得越来越现实。
好消息是,坍缩有解药。同一项研究发现,只要每代训练都持续混入一部分人类真实数据,让模型始终锚定在原始分布上,退化就能被有效遏制。合成数据与人类数据的关系由此清晰起来:合成数据是杠杆,放大人类数据的价值;人类数据是锚点,防止模型漂离真实世界。两者搭配使用,才是可持续的训练配方。
参考来源
- Gunasekar et al., 2023. Textbooks Are All You Need(phi-1 论文,arXiv:2306.11644),模型规模、数据构成与 HumanEval / MBPP 成绩出自该文摘要。
- Hugging Face, 2024. Cosmopedia: how to create large-scale synthetic data for pre-training Large Language Models(官方博客 https://huggingface.co/blog/cosmopedia 与数据集 HuggingFaceTB/cosmopedia),250 亿 token 规模、Mixtral-8x7B 生成方式与 SmolLM 用途出自该资料。
- Shumailov et al., 2024. AI models collapse when trained on recursively generated data. Nature 631: 755-759(模型坍缩现象、分布尾部信息丢失与人类数据锚点结论出自该文)。
- Villalobos et al., 2024. Will we run out of data? Limits of LLM scaling based on human-generated data(arXiv:2211.04325,2022 年初版,2024 年修订),公开文本存量 2026 至 2032 年耗尽的预测与三条出路出自该文。