1.1 语料从哪来:互联网、书籍与公共语料库

本页范围:第 1 章第 1 节 | 整理时间:2026-09-28

快速浏览

核心问题语言模型的全部“见识”来自训练语料。这些语料从哪里来,谁在生产,谁又在负责把它们整理干净?
本节主张现代 LLM 的语料以公开网页抓取存档(Common Crawl)为绝对主料,书籍、论文、维基、代码为高质量配料。原始抓取不能直接训练,必须经过正文提取、过滤、去重、配比四道工序,各家模型的语料差异主要差在这套加工手艺上。
一句话结论语料工作的重点是从海量原料中筛出可用于训练的干净文本。筛选得当,纯网页语料也能训练出强模型。
关键词
Common CrawlC4The PileRefinedWebFineWeb数据配比

  训练语言模型,第一件要备齐的东西是教材。第 1 章就从教材讲起,本节回答它的起点问题:模型的全部语料从哪里来、粗料和精料差在哪。主线沿“三类源头互补”铺开:网页、书籍与维基、代码各有代表性的公共语料库,逐个看清之后,再用 GPT-3 的公开配方回答“每样放多少”,最后把分散的语料库串回同一条加工流水线:

  1. 语料是模型的“教材”(1.1.1):用培养学生作类比立起全章框架,弄清三类语料源头各自的量与质;
  2. 互联网语料:Common Crawl 与它的精加工产物(1.1.2):从公共抓取存档出发,看 C4、RefinedWeb、FineWeb 三代产物的清洗手艺如何越做越细;
  3. 精选语料:The Pile、书籍与中文语料(1.1.3):拼装路线的代表作,顺带直面书籍版权这个硬伤与中文语料的现状;
  4. 数据配比:GPT-3 怎么调配“教材结构”(1.1.4):借少有的公开配比表,读懂采样权重、欠采样与过采样这组概念;
  5. 从原始抓取到训练语料:流水线总览(1.1.5):把全节内容收进提取、过滤、去重、配比四道工序的一张图(图 3)。

  读完本节,你应该能说清主流模型的语料清单长什么样、各家的差距差在哪道工序上。流水线图(图 3)里标出的过滤与去重两站,正是接下来 1.2、1.3 两节要拆解的主题。

  图 1 标出语料收集在 LLM 生命周期中的位置,图 2 展示语料来源的内部构成。

原创示意图 · 非论文原图 训练数据: 收集 · 清洗 · 配比 (本节内容) 预训练: 海量语料自监督 (第 6 章) 训练工程: 并行 · 精度 · 稳定 (第 7 章) 中间训练: 收口 · 长上下文 (第 8 章) SFT: 学会对话格式 (第 9 章) 偏好对齐: RLHF / DPO (第 10 章) 推理训练: RLVR / GRPO (第 11 章) 推理与部署: 解码 · 加速 (第 12–13 章) 紫底框:本节内容 虚线框:后续章节
图 1:训练数据在 LLM 生命周期中的位置。数据备好(本章)之后进入预训练(第 6 章),再经训练工程(第 7 章)、中间训练(第 8 章)、SFT(第 9 章)、偏好对齐(第 10 章)、推理训练(第 11 章),最后走向推理与部署(第 12–13 章)。虚线部分在对应章节展开,数据是这条链路的第一站,这一站只回答「教材从哪里来」。

  图 1 里这个紫框放大之后长什么样?它的输入和输出各是什么?把语料来源这一站单独拆开看:

原创示意图 · 非论文原图 局部放大:训练数据收集——三类源头汇成一个语料池 输入:三类互补的源头(网页管量、书籍论文管质、代码管逻辑) 互联网网页:绝对主料 Common Crawl 存档 2500 亿+ 页(PB 级) 精加工:C4 750GB · FineWeb 15 万亿 token 中文:CCI 3.0 1000GB · Skypile 600GB 书籍 · 论文 · 维基:精品配料 The Pile:22 个子集共约 825GB Books3:约 101GB、19.6 万余本 arXiv 论文 · PubMed 文献 · Wikipedia 代码与专业数据:逻辑来源 GitHub 代码 · StackExchange 问答 数学与科学文献 赋予模型逻辑与工具能力 预训练语料池 汇总后达万亿 token 级 再经正文提取、过滤、去重 (1.1.5 节流水线) 按配比混合后送预训练 输出:可训练的语料(第 6 章预训练) 三类源头量与质互补:网页求广、书籍论文求深、代码求逻辑;各占多少由配比决定(1.4 节)
图 2:语料来源的构成。互联网网页是绝对主料,Common Crawl 与它的精加工产物提供万亿 token 级的量;书籍、论文与维基是精品配料,The Pile 是拼装路线的代表;代码与专业数据赋予模型逻辑能力。三类源头汇成一个语料池,经 1.1.5 节的流水线加工后,进入配比(1.4 节)与预训练(第 6 章)。

1.1.1 语料是模型的“教材”

  把训练语言模型想象成培养学生:学生将来能有多大本事,一半看天赋(模型架构与算力),另一半看他读什么书。教材的广度决定知识面,教材的质量决定学到的是真知还是偏见,教材的编排比例决定他会不会偏科。训练语料就是模型的全部教材,这个类比会贯穿整个第 1 章。

语料库 Corpus corpus(拉丁语,身体)= 成规模收集、供模型学习的文本集合

语料库指按某种目的组织起来的大规模文本集合。预训练语料追求广:新闻、论坛、百科、书籍、代码什么都要,模型才有机会学会语言与常识的全貌。它通常以纯文本形式存放,规模从几百 GB 到几十 TB 不等,折成 token 后从几千亿到十几万亿。

  “万亿 token”听起来抽象,换算一下就有体感了。按 OpenAI 的常用口径,1 个 token 约合 0.75 个英文单词;中文侧,一个汉字在主流多语言分词器里约占 1 到 2 个 token(第 2 章细讲)。以本节后面要讲的 FineWeb 为例,15 万亿 token 约合 11 万亿个英文单词,相当于上千万套《哈利·波特》七部曲。模型“读书破万卷”这个说法,实际要放大到“读书破亿卷”。

  今天的预训练语料大体来自三类源头,量与质恰好互补:

  • 互联网网页:量最大、覆盖最广,但噪声最多,是绝对主料;
  • 书籍、论文、维基百科:量小但质量最高,是长文写作与知识的主要来源;
  • 代码与专业数据:GitHub 代码、StackExchange 问答、数学与科学文献等,赋予模型逻辑与工具能力。

  本节接下来的任务,就是把这三类源头的代表性公共语料库逐个看清楚。

1.1.2 互联网语料:Common Crawl 与它的精加工产物

  几乎所有主流 LLM 的语料清单里,第一行写的都是同一个名字:Common Crawl。它不是某家公司私藏的数据,而是一个所有人都能免费下载的公共网页存档。

Common Crawl 非营利公开网页抓取存档(2008 年至今)

Common Crawl 是一家非营利组织,从 2008 年起持续抓取公开网页并把原始数据免费开放。官网口径下,它已累计存档超过 2500 亿个网页,每月新增约 30 到 50 亿页,原始数据达 PB 级。GPT-3、LLaMA、Falcon 等模型的网页语料都从这里出发。

  原始抓取拿到的是完整 HTML 页面,里面混着导航栏、广告位、页脚模板、乱码和机器生成的垃圾内容。直接把这份“原料”喂给模型,等于让学生照着带错别字的盗版书学习。从 Common Crawl 到可用语料之间的距离,就是本节后面几张术语卡要讲的“精加工”。

C4 Colossal Clean Crawled Corpus(T5 论文,2020)

Google 在 T5 论文中从 Common Crawl 清洗出约 750GB 的英文文本,取名 C4。清洗手段包括只保留以终止标点(句号、问号等)结尾的行、剔除含脏话与模板代码的页面、去重等。C4 是“网页必须认真清洗”这条路线最早的标准答案,至今仍是许多实验的默认起点。

RefinedWeb Falcon 模型的纯网页语料(2023)

Falcon 团队把清洗做到极致:从 Common Crawl 提取出约 5 万亿 token 的 RefinedWeb,只用纯网页数据(不掺书籍、论文等精选料)就训出了超越用 The Pile 等精选语料训练的模型。它回答了一个行业级疑问:没有神秘私藏语料,公开网页认真洗也够用。

FineWeb Hugging Face 的大规模公开语料(2024)

FineWeb 汇集 2013 到 2024 年共 96 个 Common Crawl 快照,产出 15 万亿 token,是当前公开英文预训练语料的标杆。更难得的是它把整条处理管线、每步过滤规则的消融实验一并公开,别人可以照着复刻。

  从 C4 的 750GB,到 RefinedWeb 的 5 万亿 token,再到 FineWeb 的 15 万亿 token,五年间的趋势很清晰:原料没变(都是 Common Crawl),变的是清洗管线越来越细、公开程度越来越高。语料工程的竞争力在加工手艺,不在原料囤积。

1.1.3 精选语料:The Pile、书籍与中文语料

  与“海量网页一条路”并行,还有另一条思路:不追求一个超大统一来源,而是把几十个高质量小语料精心拼装起来。这条思路的代表是 EleutherAI 的 The Pile。

The Pile EleutherAI 的 825GB 精选语料(2021)

The Pile 由 22 个高质量子集拼装而成,总量约 825GB:既有网页(Pile-CC),也有 arXiv 论文、PubMed Central 医学文献、Books3 图书、维基百科、GitHub 代码、StackExchange 问答等。GPT-Neo、GPT-J 等一批开源模型用它训练,它也成了后来者设计语料结构时的参照系。

  书籍子集值得单独说两句。GPT-3 用的 Books1、Books2 从未公开具体构成;The Pile 里的 Books3 约 101GB、含 19.6 万余本电子书,来自 Bibliotik 影子图书馆。书籍是长文叙事与深度写作能力的最佳来源,但来源合法性一直悬而未决。

  注意:版权是语料工程的硬伤。Books3 在 2023 年被丹麦版权组织 Rights Alliance 投诉后,先后从各托管渠道下线,多家被认定使用过它的模型厂商卷入诉讼。语料“网上能下载”与“能合法用于训练”是两回事,法律合规已经成为数据清单里必须写明的一栏。

  中文侧的公共语料规模整体小于英文,代表性开源项目有两个。智源研究院(BAAI)的中文互联网语料库 CCI 持续迭代:CCI 2.0 约 500GB、含 1.25 亿个网页,CCI 3.0 扩至 1000GB 并附 498GB 高质量子集 CCI3.0-HQ。昆仑万维在开源 Skywork-13B 时配套发布了 Skypile/Chinese-Web-Text-150B,约 600GB、1500 亿 token 的中文网页语料,开放商用。两者都填补了中文高质量网页语料的空白。

1.1.4 数据配比:GPT-3 怎么调配“教材结构”

  料备齐之后,下一个问题是每样放多少。这个比例叫数据配比(data mixture),各家厂商通常秘而不宣,GPT-3 论文的表 2.2 是少有的公开范例:

数据集采样权重池内 token 量训练 300B token 时经历的 epoch
Common Crawl(过滤后)60%410B0.44
WebText222%19B2.9
Books18%12B1.9
Books28%55B0.43
Wikipedia3%3B3.4

  读这张表最容易犯的错,是把 60% 理解成“Common Crawl 贡献了六成的 token 量”。其实它是采样权重:训练时每个批次里约六成的数据从 Common Crawl 池子里随机抽取。GPT-3 一共训练 300B token,Common Crawl 摊到约 \(300\mathrm{B} \times 60\% \approx 180\mathrm{B}\) 的曝光量,只占它 410B 池子的约 44%,所以最后一列是 0.44 epoch,即整池数据连一遍都没看完。Wikipedia 正好相反,池子只有 3B,3% 的权重对应约 9B 曝光量,等于被翻来覆去读了约 3.4 遍。

欠采样与过采样 undersampling / oversampling = 池子看完不到一遍 / 看了多遍

epoch 指把整个数据池完整过一遍。欠采样(epoch 小于 1)意味着池子里相当一部分数据模型从未见过;过采样(epoch 大于 1)意味着同一份数据被反复学习。海量低质网页适合欠采样,精品小语料适合过采样,配比就是用这两个旋钮调出来的。

  配比是按采样权重而非 token 绝对量设计的训练超参数:高质量小语料多看几遍(Wikipedia 3.4 epoch),海量网页少看几遍(Common Crawl 0.44 epoch)。模型的“食谱结构”和它吃什么同样重要。

1.1.5 从原始抓取到训练语料:流水线总览

  回顾本页提到的所有语料库,它们的诞生过程其实是同一条流水线:先从公开存档拿到原料,再一道道工序加工成教材。后续两节会逐一拆解其中的关键工序:

原创示意图 · 非论文原图 原始网页抓取 HTML 混杂 广告、导航 与模板文字 正文提取 剥掉样板与导航 只留正文文本 过滤 质量、语言、安全 三重筛选 1.2 节细讲 去重 删除重复与 近似重复内容 1.3 节细讲 配比混合 多源按采样权重 调配教材结构 本章后续细讲 原料:Common Crawl 等公开存档 → 成品:直接喂给预训练(第 6 章)
图 3:语料加工的主流水线。从公开存档拿到原料后,先提取正文,再过滤、去重,最后按配比混合成可直接训练的语料。

  其中过滤决定“留什么、扔什么”,直接左右语料质量,1.2 节展开;去重决定“同一份内容模型看几遍”,与上一节的配比问题暗相呼应,1.3 节展开;配比混合与合成数据的完整讨论放在本章后续小节。

🧭本节要点回顾
Common Crawl 免费公开,为什么不直接拿来训练?
它是原料仓库不是教材:HTML 里混着导航模板、广告与机器垃圾,必须经过正文提取、过滤、去重、配比四道工序。C4、RefinedWeb、FineWeb 都是它的精加工产物,差别就在加工手艺。
GPT-3 给 Common Crawl 配 60% 的权重,为什么只训了 0.44 epoch?
60% 是每批训练数据里的采样占比,不是池子使用率。\(300\mathrm{B} \times 60\% \approx 180\mathrm{B}\) 的曝光量只占 410B 池子的约 44%,所以过半网页模型一遍都没见过,海量低质语料本就适合欠采样。
RefinedWeb 的结论为什么重要?
它证明不依赖私藏精选语料,把公开网页认真清洗到 5 万亿 token 也能训出强模型。语料工程的核心竞争力是清洗管线,这条结论后来被 FineWeb 以 15 万亿 token 再次放大。

参考来源

  • Raffel et al., 2020. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer(T5 论文,JMLR 2020,arXiv:1910.10683),C4 的构造与 750GB 规模出自该文正文 2.2 节。
  • Brown et al., 2020. Language Models are Few-Shot Learners(GPT-3 论文,arXiv:2005.14165),数据配比与各数据集 epoch 数出自 Table 2.2。
  • Gao et al., 2021. The Pile: An 800GB Dataset of Diverse Text for Language Modeling(arXiv:2101.00027),22 个子集与 Books3 规模出自该文。
  • Penedo et al., 2023. The RefinedWeb Dataset for Falcon LLM: Outperforming Curated Corpora with Web Data, and Web Data Only(arXiv:2306.01116),5 万亿 token 与“纯网页足够强”的结论出自该文。
  • Penedo et al., 2024. The FineWeb Datasets: Decanting the Web for the Finest Text Data at Scale(arXiv:2406.17557),15 万亿 token、96 个 Common Crawl 快照(2013—2024)出自该文。
  • Common Crawl 官方网站(commoncrawl.org),累计存档超 2500 亿页、月新增约 30 到 50 亿页的口径来自官网。
  • Reuters, 2024. Copyright group takes down Dutch language AI dataset(2024-08,reuters.com),其中回顾了 Danish Rights Alliance 于 2023 年促成 Books3 下架的经过。
  • 智源研究院官方发布:中文互联网语料库 CCI 2.0 与 CCI 3.0(hub.baai.ac.cn,2024);昆仑万维 Skywork-13B 发布与 Skypile/Chinese-Web-Text-150B 数据集(Hugging Face,2023)。