1.2 质量过滤:从万亿网页里挑出好文本

本页范围:第 1 章第 2 节 | 整理时间:2026-09-28

快速浏览

核心问题从 Common Crawl 抓下来的原始网页里混着广告、模板碎片、乱码和机器垃圾。模型是吃什么像什么的学习机器,训练之前怎么把坏文本筛出去?
本节主张质量过滤有三种成本递增、判断递深的做法:人写的启发式规则、小语言模型的困惑度打分、蒸馏自大模型的分类器打分。工业级语料库是三者叠加使用的。
一句话结论先用便宜的规则砍掉明显垃圾,再让模型当评委按“值不值得学”精筛。C4、CCNet、FineWeb-Edu 分别代表了这条演进路线的三个阶段。
关键词
GIGOC4启发式规则KenLM 困惑度FineWeb-Edu分类器过滤

  1.1 节末尾的流水线图(1.1 节图 3)把过滤标为关键一站,并留了一句话:过滤决定“留什么、扔什么”,直接左右语料质量。本节就来拆这道工序。判断“一段文本值不值得学”有三种做法,成本递增、判断递深,本节按演进顺序逐个讲,前一代的盲区正是后一代的出发点:

  1. 垃圾进,垃圾出:过滤为什么是第一要务(1.2.1):先立规矩,模型吃什么学什么;再算经济账,每个垃圾 token 都在白烧算力;
  2. 启发式规则:C4 的七把筛子(1.2.2):最便宜的人写规则方案,逐条看 C4 的规则各在防什么垃圾,以及一刀切必然误伤的代价;
  3. 让模型当评委:困惑度与分类器(1.2.3):两类代表方法——CCNet 用困惑度量“像不像维基”,FineWeb-Edu 蒸馏大模型的评分标准、直接量“值不值得学”;
  4. 三种方法对比与取舍(1.2.4):成本、判断依据、擅长与盲区摆进同一张表,看工业界为什么叠加使用而非三选一。

  读完本节,你应该能讲清一条网页文本要闯过哪几道筛子才能成为训练语料,以及每道筛子问的问题有何不同。过滤管的是“质”,语料还有“量上的重复”问题,那是下一节去重的主题。

  图 1 标出质量过滤在 LLM 生命周期中的位置,图 2 展示过滤工序的漏斗结构。

原创示意图 · 非论文原图 训练数据: 收集 · 清洗 · 配比 (本节内容) 预训练: 海量语料自监督 (第 6 章) 训练工程: 并行 · 精度 · 稳定 (第 7 章) 中间训练: 收口 · 长上下文 (第 8 章) SFT: 学会对话格式 (第 9 章) 偏好对齐: RLHF / DPO (第 10 章) 推理训练: RLVR / GRPO (第 11 章) 推理与部署: 解码 · 加速 (第 12–13 章) 紫底框:本节内容 虚线框:后续章节
图 1:训练数据在 LLM 生命周期中的位置。数据备好(本章)之后进入预训练(第 6 章),再经训练工程(第 7 章)、中间训练(第 8 章)、SFT(第 9 章)、偏好对齐(第 10 章)、推理训练(第 11 章),最后走向推理与部署(第 12–13 章)。虚线部分在对应章节展开,数据是这条链路的第一站,本节的站位是其中的过滤工序,只回答「怎么把坏文本筛出去」。

  图 1 里这个紫框放大之后长什么样?它的输入和输出各是什么?把过滤这道工序单独拆开看:

原创示意图 · 非论文原图 局部放大:质量过滤漏斗——逐级收窄,判断递深 输入:Common Crawl 原始网页快照(每月数十亿页、原始数据 PB 级) ① 原始网页爬取 广告、模板碎片、乱码与机器垃圾混杂 淘汰碎片行、脏词页、占位假文、代码页、短页 启发式规则:C4 七把筛子,几乎零成本 ② 规则幸存的文本 表面干净了,但规则看不懂内容 淘汰乱码、病句、机翻腔与水稿 模型打分:KenLM 困惑度 / 蒸馏分类器 ③ 高分文本 文风正、有教育价值 15T token 中只留下 1.3T FineWeb-Edu 口径:只留 3 分以上 ④ 精选语料 FineWeb-Edu 1.3T token 输出:可直接进入去重工序的高质量文本(1.3 节) 三代筛子叠加:规则问「像不像垃圾」,困惑度问「像不像维基」,分类器问「值不值得学」
图 2:质量过滤漏斗。原始网页先过启发式规则(C4 七把筛子,成本几乎为零),再过模型打分(KenLM 困惑度量文风、蒸馏分类器量教育价值),逐级收窄。以 FineWeb-Edu 为例,15 万亿 token 中只留 3 分以上的 1.3 万亿。三代筛子叠加使用:规则问「像不像垃圾」,困惑度问「像不像维基」,分类器问「值不值得学」。

1.2.1 垃圾进,垃圾出:过滤为什么是第一要务

  机器学习有句老话:Garbage In, Garbage Out(垃圾进,垃圾出,简称 GIGO)。语言模型不会分辨教材的好坏,喂给它什么,它就学什么。这句朴素的话,就是整个数据工程的出发点。

  原始网页抓取结果里混着大量「脏数据」:导航栏、页脚版权声明、“请开启 JavaScript”的提示、为了搜索排名堆砌关键词的 SEO 页面、机器翻译生成的病句、反复转载的同一篇文章,全都混在一起。如果不加挑拣地照单全收,模型就可能把广告词当成课文学进去。

  Common Crawl 是一个非营利项目,每月公开发布一次全网网页快照,每次抓取数十亿网页,原始数据达 PB 级。它免费、海量,但完全不替使用者挑拣:把里面什么该学、什么该扔分清楚,是每个语料工程自己的责任。

  过滤还有一笔经济账。预训练要消耗的算力极其昂贵,而 token 就是计价单位:喂给模型的每一个垃圾 token,都在白白烧掉显卡时间和电。把预算花在有营养的文本上,是花同样多的钱把模型练得更好的最直接手段。

1.2.2 启发式规则:C4 的七把筛子

  最早也最便宜的办法是人写规则:凭经验列出垃圾文本的表面特征,逐条排查。代表作是 Google 的 C4(Colossal Clean Crawled Corpus):在 T5 论文(Raffel et al., 2020)中,作者把 Common Crawl 的一个快照按一组人工规则洗了一遍,得到约 750 GB 的干净英文文本。这些规则写在论文正文 2.2 节里,每一条都瞄准一类典型的网页残留垃圾。

C4 的清洗规则这条规则在防什么
只保留以终止标点(句号、问号等)结尾的行导航栏、按钮文字、列表碎片通常没有结尾标点,顺手淘汰残缺行
删除含脏词的页面屏蔽污言秽语,守住训练数据的安全底线
删除含 “Javascript” 字样的行这类行多半是“请开启 Javascript”之类的脚本警告,不是正文
删除含 lorem ipsum 的页面lorem ipsum 是排版用的占位假文,页面里没有任何真实内容
删除含花括号 { } 的页面花括号几乎只出现在代码里,说明整页抓进来的可能是源码而非自然语言
全库三句片段去重整个数据集里重复出现的三句连续片段,只保留一份
删除不足 5 句的页面内容太稀薄的页面,几乎不承载可学习的知识

  这套规则的共同点是直白、便宜、可解释:不需要任何模型,普通服务器就能给整个语料库过一遍筛子,出了问题也知道是哪条规则干的。C4 之后,几乎所有主流语料工程都沿用了类似的规则打底。

  注意:启发式规则的问题在于一刀切:写诗的行可能故意不用句号,代码教程里的花括号恰恰是正文,精炼的短公告会被“不足 5 句”误杀。规则看不懂内容,只认表面特征,必然误伤一部分好文本。

1.2.3 让模型当评委:困惑度与分类器

  想让筛子“看懂”内容,就得请模型出场。这条路上有两类代表方法:CCNet 用困惑度回答“像不像正经文章”,FineWeb-Edu 用分类器回答“值不值得学”。

CCNet:用困惑度给文本量“正经程度”

  CCNet(Wenzek et al., 2020)是从 Common Crawl 提取高质量单语料的经典流水线,分三步:快照去重、语言识别、困惑度过滤。核心在第三步:用一个在 Wikipedia 上训练的 n-gram 语言模型(工具为 KenLM)给每段文本算困惑度,只留下困惑度低的文本。

原创示意图 · 非论文原图 原始网页快照 数十亿页 快照去重 重复内容只留一份 语言识别 LangID 筛语言 困惑度过滤 KenLM 给文本打分 高质量语料 进入训练
图 3:CCNet 从网页快照到高质量语料的三级过滤流程,每过一道工序淘汰一批,最终只有一小部分文本幸存。困惑度过滤是最后一道也是最关键的一道。
困惑度 Perplexity perplexity = 语言模型对一段文本的“意外程度”

对一段含 \(n\) 个词的文本 \(w_1,\dots,w_n\),语言模型给出的困惑度是 \(\mathrm{PPL}=\exp\!\big(-\frac{1}{n}\sum_{i=1}^{n}\log P(w_i \mid w_{<i})\big)\)。式中的 \(P(w_i \mid w_{<i})\) 是在前文 \(w_{<i}\) 之后出现词 \(w_i\) 的条件概率,由在 Wikipedia 上训练的 n-gram 模型给出;连乘取平均后再取指数,就得到这段文本的困惑度。直觉上,它度量模型读这段文本时有多“意外”:困惑度越低,文本越像模型见惯的正经文章;越高,越像乱码或病句。

  CCNet 的做法就是把 Wikipedia 当成参照系:先在维基文本上训练模型,再让它给网页打分。困惑度低说明文风接近维基,留下;高则淘汰。要注意这把尺子量的是“文风像不像”,不是“内容对不对、值不值得学”,这正是它和下面分类器过滤的本质差别。

FineWeb-Edu:让大模型按“教育价值”打分

  2024 年 Hugging Face 发布的 FineWeb-Edu 把思路再推一步:不量文风,直接量“这段文本值不值得学”。整个流程分三步:

  1. 大模型标注:用 Llama-3-70B-Instruct 给约 46 万份网页打 0 到 5 分的教育价值分;
  2. 蒸馏小分类器:用这批标注训练一个轻量分类器,让它学会大模型的评分标准;
  3. 全量打分筛选:小分类器给 FineWeb 全部 15T token 打分,留下 3 分以上的部分,得到 1.3T token 的高教育价值语料。

  用 FineWeb-Edu 训练的模型,在下游基准上的表现显著优于用纯启发式过滤数据训练的模型。这一步的实质,是把过滤标准从“查违禁品”升级成“按教学价值评奖”。

蒸馏 Distillation distill = 把大模型的判断能力萃取到小模型里

大模型打分准但太贵,不可能给 15T token 逐条评分。做法是让它只标一小批样本,再用这些标签训练一个小模型:小模型学会大模型的评判标准后,就能以零头成本给全量数据打分。

  三代方法回答的问题各不相同:启发式规则问“这像不像垃圾”,困惑度问“这像不像维基”,分类器问“这值不值得学”。问题问得越深入,单条成本越高,筛出的数据对模型能力的提升也越直接。

1.2.4 三种方法对比与取舍

  三种方法不是替代关系,而是按成本和精度分工。把它们的取舍摆在一起看:

维度启发式规则困惑度打分分类器打分
代表工作C4CCNetFineWeb-Edu
判断依据人写的表面特征与参考语料(维基)的文风距离大模型标注蒸馏出的质量观
单条处理成本几乎为零低(n-gram 查表)较高(每条过一次小模型)
擅长抓什么模板残留、明显垃圾乱码、病句、机翻腔语义空泛、没营养的“水稿”
典型盲区误伤特殊文体(诗歌、代码教程)内容好但文风不像维基的被冤杀大模型的口味与偏见被继承放大

  实际语料工程里三者是叠加使用的:规则粗筛在前,砍掉零成本的垃圾;模型精筛在后,挑出真正值得学的文本。过滤解决的是“质”的问题,但语料还有“量上的重复”问题:同一篇文章被转载几百次,模型就会被迫把同一段话背上几百遍。怎么去重,是本章下一节的主题。

🧭本节要点回顾
为什么不能把 Common Crawl 原样喂给模型?
原始网页混着广告、模板碎片、乱码和机器垃圾,模型照单全收学到的就是垃圾(GIGO),而且每一个垃圾 token 都在白烧预训练算力。
C4 那组清洗规则共同的设计思路是什么?
每条规则瞄准一类网页抓取的典型残留,用“只认表面特征”换来几乎为零的处理成本;代价是一刀切,必然误伤一部分特殊文体的好文本。
FineWeb-Edu 为什么效果能超过纯启发式,代价又是什么?
它让大模型按教育价值标注样本、再蒸馏出小分类器,能判断语义层面“值不值得学”;代价是要先付出大模型标注的成本,且大模型的口味与偏见会被分类器继承。

参考来源

  • Raffel et al., 2020. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer(T5 论文,arXiv:1910.10683),C4 语料及其清洗规则见论文正文 2.2 节。
  • Wenzek et al., 2020. CCNet: Extracting High Quality Monolingual Datasets from Web Crawl Data(arXiv:1911.00359),快照去重、语言识别、KenLM 困惑度过滤三级流水线出自该文。
  • Penedo et al., 2024. The FineWeb Datasets: Decanting the Web for the Finest Text Data at Scale(arXiv:2406.17557),及 Hugging Face FineWeb-Edu 官方博客:Llama-3-70B 教育价值标注、蒸馏分类器、从 15T 筛出 1.3T 的细节出自该工作。
  • Heafield, 2011. KenLM: Faster and Smaller Language Model Queries(KenLM 工具原始论文,WMT 2011 研讨会论文集)。