1.1 语料从哪来:互联网、书籍与公共语料库
本页范围:第 1 章第 1 节 | 整理时间:2026-09-28
训练语言模型,第一件要备齐的东西是教材。第 1 章就从教材讲起,本节回答它的起点问题:模型的全部语料从哪里来、粗料和精料差在哪。主线沿“三类源头互补”铺开:网页、书籍与维基、代码各有代表性的公共语料库,逐个看清之后,再用 GPT-3 的公开配方回答“每样放多少”,最后把分散的语料库串回同一条加工流水线:
- 语料是模型的“教材”(1.1.1):用培养学生作类比立起全章框架,弄清三类语料源头各自的量与质;
- 互联网语料:Common Crawl 与它的精加工产物(1.1.2):从公共抓取存档出发,看 C4、RefinedWeb、FineWeb 三代产物的清洗手艺如何越做越细;
- 精选语料:The Pile、书籍与中文语料(1.1.3):拼装路线的代表作,顺带直面书籍版权这个硬伤与中文语料的现状;
- 数据配比:GPT-3 怎么调配“教材结构”(1.1.4):借少有的公开配比表,读懂采样权重、欠采样与过采样这组概念;
- 从原始抓取到训练语料:流水线总览(1.1.5):把全节内容收进提取、过滤、去重、配比四道工序的一张图(图 3)。
读完本节,你应该能说清主流模型的语料清单长什么样、各家的差距差在哪道工序上。流水线图(图 3)里标出的过滤与去重两站,正是接下来 1.2、1.3 两节要拆解的主题。
图 1 标出语料收集在 LLM 生命周期中的位置,图 2 展示语料来源的内部构成。
图 1 里这个紫框放大之后长什么样?它的输入和输出各是什么?把语料来源这一站单独拆开看:
1.1.1 语料是模型的“教材”
把训练语言模型想象成培养学生:学生将来能有多大本事,一半看天赋(模型架构与算力),另一半看他读什么书。教材的广度决定知识面,教材的质量决定学到的是真知还是偏见,教材的编排比例决定他会不会偏科。训练语料就是模型的全部教材,这个类比会贯穿整个第 1 章。
语料库指按某种目的组织起来的大规模文本集合。预训练语料追求广:新闻、论坛、百科、书籍、代码什么都要,模型才有机会学会语言与常识的全貌。它通常以纯文本形式存放,规模从几百 GB 到几十 TB 不等,折成 token 后从几千亿到十几万亿。
“万亿 token”听起来抽象,换算一下就有体感了。按 OpenAI 的常用口径,1 个 token 约合 0.75 个英文单词;中文侧,一个汉字在主流多语言分词器里约占 1 到 2 个 token(第 2 章细讲)。以本节后面要讲的 FineWeb 为例,15 万亿 token 约合 11 万亿个英文单词,相当于上千万套《哈利·波特》七部曲。模型“读书破万卷”这个说法,实际要放大到“读书破亿卷”。
今天的预训练语料大体来自三类源头,量与质恰好互补:
- 互联网网页:量最大、覆盖最广,但噪声最多,是绝对主料;
- 书籍、论文、维基百科:量小但质量最高,是长文写作与知识的主要来源;
- 代码与专业数据:GitHub 代码、StackExchange 问答、数学与科学文献等,赋予模型逻辑与工具能力。
本节接下来的任务,就是把这三类源头的代表性公共语料库逐个看清楚。
1.1.2 互联网语料:Common Crawl 与它的精加工产物
几乎所有主流 LLM 的语料清单里,第一行写的都是同一个名字:Common Crawl。它不是某家公司私藏的数据,而是一个所有人都能免费下载的公共网页存档。
Common Crawl 是一家非营利组织,从 2008 年起持续抓取公开网页并把原始数据免费开放。官网口径下,它已累计存档超过 2500 亿个网页,每月新增约 30 到 50 亿页,原始数据达 PB 级。GPT-3、LLaMA、Falcon 等模型的网页语料都从这里出发。
原始抓取拿到的是完整 HTML 页面,里面混着导航栏、广告位、页脚模板、乱码和机器生成的垃圾内容。直接把这份“原料”喂给模型,等于让学生照着带错别字的盗版书学习。从 Common Crawl 到可用语料之间的距离,就是本节后面几张术语卡要讲的“精加工”。
Google 在 T5 论文中从 Common Crawl 清洗出约 750GB 的英文文本,取名 C4。清洗手段包括只保留以终止标点(句号、问号等)结尾的行、剔除含脏话与模板代码的页面、去重等。C4 是“网页必须认真清洗”这条路线最早的标准答案,至今仍是许多实验的默认起点。
Falcon 团队把清洗做到极致:从 Common Crawl 提取出约 5 万亿 token 的 RefinedWeb,只用纯网页数据(不掺书籍、论文等精选料)就训出了超越用 The Pile 等精选语料训练的模型。它回答了一个行业级疑问:没有神秘私藏语料,公开网页认真洗也够用。
FineWeb 汇集 2013 到 2024 年共 96 个 Common Crawl 快照,产出 15 万亿 token,是当前公开英文预训练语料的标杆。更难得的是它把整条处理管线、每步过滤规则的消融实验一并公开,别人可以照着复刻。
从 C4 的 750GB,到 RefinedWeb 的 5 万亿 token,再到 FineWeb 的 15 万亿 token,五年间的趋势很清晰:原料没变(都是 Common Crawl),变的是清洗管线越来越细、公开程度越来越高。语料工程的竞争力在加工手艺,不在原料囤积。
1.1.3 精选语料:The Pile、书籍与中文语料
与“海量网页一条路”并行,还有另一条思路:不追求一个超大统一来源,而是把几十个高质量小语料精心拼装起来。这条思路的代表是 EleutherAI 的 The Pile。
The Pile 由 22 个高质量子集拼装而成,总量约 825GB:既有网页(Pile-CC),也有 arXiv 论文、PubMed Central 医学文献、Books3 图书、维基百科、GitHub 代码、StackExchange 问答等。GPT-Neo、GPT-J 等一批开源模型用它训练,它也成了后来者设计语料结构时的参照系。
书籍子集值得单独说两句。GPT-3 用的 Books1、Books2 从未公开具体构成;The Pile 里的 Books3 约 101GB、含 19.6 万余本电子书,来自 Bibliotik 影子图书馆。书籍是长文叙事与深度写作能力的最佳来源,但来源合法性一直悬而未决。
注意:版权是语料工程的硬伤。Books3 在 2023 年被丹麦版权组织 Rights Alliance 投诉后,先后从各托管渠道下线,多家被认定使用过它的模型厂商卷入诉讼。语料“网上能下载”与“能合法用于训练”是两回事,法律合规已经成为数据清单里必须写明的一栏。
中文侧的公共语料规模整体小于英文,代表性开源项目有两个。智源研究院(BAAI)的中文互联网语料库 CCI 持续迭代:CCI 2.0 约 500GB、含 1.25 亿个网页,CCI 3.0 扩至 1000GB 并附 498GB 高质量子集 CCI3.0-HQ。昆仑万维在开源 Skywork-13B 时配套发布了 Skypile/Chinese-Web-Text-150B,约 600GB、1500 亿 token 的中文网页语料,开放商用。两者都填补了中文高质量网页语料的空白。
1.1.4 数据配比:GPT-3 怎么调配“教材结构”
料备齐之后,下一个问题是每样放多少。这个比例叫数据配比(data mixture),各家厂商通常秘而不宣,GPT-3 论文的表 2.2 是少有的公开范例:
| 数据集 | 采样权重 | 池内 token 量 | 训练 300B token 时经历的 epoch |
|---|---|---|---|
| Common Crawl(过滤后) | 60% | 410B | 0.44 |
| WebText2 | 22% | 19B | 2.9 |
| Books1 | 8% | 12B | 1.9 |
| Books2 | 8% | 55B | 0.43 |
| Wikipedia | 3% | 3B | 3.4 |
读这张表最容易犯的错,是把 60% 理解成“Common Crawl 贡献了六成的 token 量”。其实它是采样权重:训练时每个批次里约六成的数据从 Common Crawl 池子里随机抽取。GPT-3 一共训练 300B token,Common Crawl 摊到约 \(300\mathrm{B} \times 60\% \approx 180\mathrm{B}\) 的曝光量,只占它 410B 池子的约 44%,所以最后一列是 0.44 epoch,即整池数据连一遍都没看完。Wikipedia 正好相反,池子只有 3B,3% 的权重对应约 9B 曝光量,等于被翻来覆去读了约 3.4 遍。
epoch 指把整个数据池完整过一遍。欠采样(epoch 小于 1)意味着池子里相当一部分数据模型从未见过;过采样(epoch 大于 1)意味着同一份数据被反复学习。海量低质网页适合欠采样,精品小语料适合过采样,配比就是用这两个旋钮调出来的。
配比是按采样权重而非 token 绝对量设计的训练超参数:高质量小语料多看几遍(Wikipedia 3.4 epoch),海量网页少看几遍(Common Crawl 0.44 epoch)。模型的“食谱结构”和它吃什么同样重要。
1.1.5 从原始抓取到训练语料:流水线总览
回顾本页提到的所有语料库,它们的诞生过程其实是同一条流水线:先从公开存档拿到原料,再一道道工序加工成教材。后续两节会逐一拆解其中的关键工序:
其中过滤决定“留什么、扔什么”,直接左右语料质量,1.2 节展开;去重决定“同一份内容模型看几遍”,与上一节的配比问题暗相呼应,1.3 节展开;配比混合与合成数据的完整讨论放在本章后续小节。
参考来源
- Raffel et al., 2020. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer(T5 论文,JMLR 2020,arXiv:1910.10683),C4 的构造与 750GB 规模出自该文正文 2.2 节。
- Brown et al., 2020. Language Models are Few-Shot Learners(GPT-3 论文,arXiv:2005.14165),数据配比与各数据集 epoch 数出自 Table 2.2。
- Gao et al., 2021. The Pile: An 800GB Dataset of Diverse Text for Language Modeling(arXiv:2101.00027),22 个子集与 Books3 规模出自该文。
- Penedo et al., 2023. The RefinedWeb Dataset for Falcon LLM: Outperforming Curated Corpora with Web Data, and Web Data Only(arXiv:2306.01116),5 万亿 token 与“纯网页足够强”的结论出自该文。
- Penedo et al., 2024. The FineWeb Datasets: Decanting the Web for the Finest Text Data at Scale(arXiv:2406.17557),15 万亿 token、96 个 Common Crawl 快照(2013—2024)出自该文。
- Common Crawl 官方网站(commoncrawl.org),累计存档超 2500 亿页、月新增约 30 到 50 亿页的口径来自官网。
- Reuters, 2024. Copyright group takes down Dutch language AI dataset(2024-08,reuters.com),其中回顾了 Danish Rights Alliance 于 2023 年促成 Books3 下架的经过。
- 智源研究院官方发布:中文互联网语料库 CCI 2.0 与 CCI 3.0(hub.baai.ac.cn,2024);昆仑万维 Skywork-13B 发布与 Skypile/Chinese-Web-Text-150B 数据集(Hugging Face,2023)。