1.2 质量过滤:从万亿网页里挑出好文本
本页范围:第 1 章第 2 节 | 整理时间:2026-09-28
1.1 节末尾的流水线图(1.1 节图 3)把过滤标为关键一站,并留了一句话:过滤决定“留什么、扔什么”,直接左右语料质量。本节就来拆这道工序。判断“一段文本值不值得学”有三种做法,成本递增、判断递深,本节按演进顺序逐个讲,前一代的盲区正是后一代的出发点:
- 垃圾进,垃圾出:过滤为什么是第一要务(1.2.1):先立规矩,模型吃什么学什么;再算经济账,每个垃圾 token 都在白烧算力;
- 启发式规则:C4 的七把筛子(1.2.2):最便宜的人写规则方案,逐条看 C4 的规则各在防什么垃圾,以及一刀切必然误伤的代价;
- 让模型当评委:困惑度与分类器(1.2.3):两类代表方法——CCNet 用困惑度量“像不像维基”,FineWeb-Edu 蒸馏大模型的评分标准、直接量“值不值得学”;
- 三种方法对比与取舍(1.2.4):成本、判断依据、擅长与盲区摆进同一张表,看工业界为什么叠加使用而非三选一。
读完本节,你应该能讲清一条网页文本要闯过哪几道筛子才能成为训练语料,以及每道筛子问的问题有何不同。过滤管的是“质”,语料还有“量上的重复”问题,那是下一节去重的主题。
图 1 标出质量过滤在 LLM 生命周期中的位置,图 2 展示过滤工序的漏斗结构。
图 1 里这个紫框放大之后长什么样?它的输入和输出各是什么?把过滤这道工序单独拆开看:
1.2.1 垃圾进,垃圾出:过滤为什么是第一要务
机器学习有句老话:Garbage In, Garbage Out(垃圾进,垃圾出,简称 GIGO)。语言模型不会分辨教材的好坏,喂给它什么,它就学什么。这句朴素的话,就是整个数据工程的出发点。
原始网页抓取结果里混着大量「脏数据」:导航栏、页脚版权声明、“请开启 JavaScript”的提示、为了搜索排名堆砌关键词的 SEO 页面、机器翻译生成的病句、反复转载的同一篇文章,全都混在一起。如果不加挑拣地照单全收,模型就可能把广告词当成课文学进去。
Common Crawl 是一个非营利项目,每月公开发布一次全网网页快照,每次抓取数十亿网页,原始数据达 PB 级。它免费、海量,但完全不替使用者挑拣:把里面什么该学、什么该扔分清楚,是每个语料工程自己的责任。
过滤还有一笔经济账。预训练要消耗的算力极其昂贵,而 token 就是计价单位:喂给模型的每一个垃圾 token,都在白白烧掉显卡时间和电。把预算花在有营养的文本上,是花同样多的钱把模型练得更好的最直接手段。
1.2.2 启发式规则:C4 的七把筛子
最早也最便宜的办法是人写规则:凭经验列出垃圾文本的表面特征,逐条排查。代表作是 Google 的 C4(Colossal Clean Crawled Corpus):在 T5 论文(Raffel et al., 2020)中,作者把 Common Crawl 的一个快照按一组人工规则洗了一遍,得到约 750 GB 的干净英文文本。这些规则写在论文正文 2.2 节里,每一条都瞄准一类典型的网页残留垃圾。
| C4 的清洗规则 | 这条规则在防什么 |
|---|---|
| 只保留以终止标点(句号、问号等)结尾的行 | 导航栏、按钮文字、列表碎片通常没有结尾标点,顺手淘汰残缺行 |
| 删除含脏词的页面 | 屏蔽污言秽语,守住训练数据的安全底线 |
| 删除含 “Javascript” 字样的行 | 这类行多半是“请开启 Javascript”之类的脚本警告,不是正文 |
| 删除含 lorem ipsum 的页面 | lorem ipsum 是排版用的占位假文,页面里没有任何真实内容 |
删除含花括号 { } 的页面 | 花括号几乎只出现在代码里,说明整页抓进来的可能是源码而非自然语言 |
| 全库三句片段去重 | 整个数据集里重复出现的三句连续片段,只保留一份 |
| 删除不足 5 句的页面 | 内容太稀薄的页面,几乎不承载可学习的知识 |
这套规则的共同点是直白、便宜、可解释:不需要任何模型,普通服务器就能给整个语料库过一遍筛子,出了问题也知道是哪条规则干的。C4 之后,几乎所有主流语料工程都沿用了类似的规则打底。
注意:启发式规则的问题在于一刀切:写诗的行可能故意不用句号,代码教程里的花括号恰恰是正文,精炼的短公告会被“不足 5 句”误杀。规则看不懂内容,只认表面特征,必然误伤一部分好文本。
1.2.3 让模型当评委:困惑度与分类器
想让筛子“看懂”内容,就得请模型出场。这条路上有两类代表方法:CCNet 用困惑度回答“像不像正经文章”,FineWeb-Edu 用分类器回答“值不值得学”。
CCNet:用困惑度给文本量“正经程度”
CCNet(Wenzek et al., 2020)是从 Common Crawl 提取高质量单语料的经典流水线,分三步:快照去重、语言识别、困惑度过滤。核心在第三步:用一个在 Wikipedia 上训练的 n-gram 语言模型(工具为 KenLM)给每段文本算困惑度,只留下困惑度低的文本。
对一段含 \(n\) 个词的文本 \(w_1,\dots,w_n\),语言模型给出的困惑度是 \(\mathrm{PPL}=\exp\!\big(-\frac{1}{n}\sum_{i=1}^{n}\log P(w_i \mid w_{<i})\big)\)。式中的 \(P(w_i \mid w_{<i})\) 是在前文 \(w_{<i}\) 之后出现词 \(w_i\) 的条件概率,由在 Wikipedia 上训练的 n-gram 模型给出;连乘取平均后再取指数,就得到这段文本的困惑度。直觉上,它度量模型读这段文本时有多“意外”:困惑度越低,文本越像模型见惯的正经文章;越高,越像乱码或病句。
CCNet 的做法就是把 Wikipedia 当成参照系:先在维基文本上训练模型,再让它给网页打分。困惑度低说明文风接近维基,留下;高则淘汰。要注意这把尺子量的是“文风像不像”,不是“内容对不对、值不值得学”,这正是它和下面分类器过滤的本质差别。
FineWeb-Edu:让大模型按“教育价值”打分
2024 年 Hugging Face 发布的 FineWeb-Edu 把思路再推一步:不量文风,直接量“这段文本值不值得学”。整个流程分三步:
- 大模型标注:用 Llama-3-70B-Instruct 给约 46 万份网页打 0 到 5 分的教育价值分;
- 蒸馏小分类器:用这批标注训练一个轻量分类器,让它学会大模型的评分标准;
- 全量打分筛选:小分类器给 FineWeb 全部 15T token 打分,留下 3 分以上的部分,得到 1.3T token 的高教育价值语料。
用 FineWeb-Edu 训练的模型,在下游基准上的表现显著优于用纯启发式过滤数据训练的模型。这一步的实质,是把过滤标准从“查违禁品”升级成“按教学价值评奖”。
大模型打分准但太贵,不可能给 15T token 逐条评分。做法是让它只标一小批样本,再用这些标签训练一个小模型:小模型学会大模型的评判标准后,就能以零头成本给全量数据打分。
三代方法回答的问题各不相同:启发式规则问“这像不像垃圾”,困惑度问“这像不像维基”,分类器问“这值不值得学”。问题问得越深入,单条成本越高,筛出的数据对模型能力的提升也越直接。
1.2.4 三种方法对比与取舍
三种方法不是替代关系,而是按成本和精度分工。把它们的取舍摆在一起看:
| 维度 | 启发式规则 | 困惑度打分 | 分类器打分 |
|---|---|---|---|
| 代表工作 | C4 | CCNet | FineWeb-Edu |
| 判断依据 | 人写的表面特征 | 与参考语料(维基)的文风距离 | 大模型标注蒸馏出的质量观 |
| 单条处理成本 | 几乎为零 | 低(n-gram 查表) | 较高(每条过一次小模型) |
| 擅长抓什么 | 模板残留、明显垃圾 | 乱码、病句、机翻腔 | 语义空泛、没营养的“水稿” |
| 典型盲区 | 误伤特殊文体(诗歌、代码教程) | 内容好但文风不像维基的被冤杀 | 大模型的口味与偏见被继承放大 |
实际语料工程里三者是叠加使用的:规则粗筛在前,砍掉零成本的垃圾;模型精筛在后,挑出真正值得学的文本。过滤解决的是“质”的问题,但语料还有“量上的重复”问题:同一篇文章被转载几百次,模型就会被迫把同一段话背上几百遍。怎么去重,是本章下一节的主题。
参考来源
- Raffel et al., 2020. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer(T5 论文,arXiv:1910.10683),C4 语料及其清洗规则见论文正文 2.2 节。
- Wenzek et al., 2020. CCNet: Extracting High Quality Monolingual Datasets from Web Crawl Data(arXiv:1911.00359),快照去重、语言识别、KenLM 困惑度过滤三级流水线出自该文。
- Penedo et al., 2024. The FineWeb Datasets: Decanting the Web for the Finest Text Data at Scale(arXiv:2406.17557),及 Hugging Face FineWeb-Edu 官方博客:Llama-3-70B 教育价值标注、蒸馏分类器、从 15T 筛出 1.3T 的细节出自该工作。
- Heafield, 2011. KenLM: Faster and Smaller Language Model Queries(KenLM 工具原始论文,WMT 2011 研讨会论文集)。