1.3 去重:同一段话训十遍有用吗
本页范围:第 1 章第 3 节 | 整理时间:2026-09-28
1.2 节解决了语料“质”的问题,结尾留了一个“量”的问题:同一篇文章在网上被转载几百次,模型就要被迫把同一段话背上几百遍。本节回答它,分两步走:先把重复的代价算清楚,再按“各抓什么”把去重拆成三道工序,每道配一件经典工具:
- 重复的代价:背书、泄密与假高分(1.3.1):两个扎眼的数字开路——重复 10 次的序列生成概率高约 1000 倍,超 1% 的无提示输出在逐字照抄训练集;
- 精确去重:让重复者自动排到一起(1.3.2):后缀数组的排序直觉,让逐字相同的段落自动相邻,免掉两两比较;
- 近似去重:MinHash 签名与 LSH 分桶(1.3.3):抓换标题、套模板的改头换面——Jaccard 定义什么叫“像”,MinHash 把全文压成指纹,LSH 分桶只比同桶候选;
- 去污染:把考题从题库里抽走(1.3.4):清的是训练集与测试集之间的重叠,GPT-3 的 13-gram 检测是代表做法。
读完本节,你应该能分清三道工序各抓什么、各用什么工具,也能解释“去重后性能不降反升”这条反直觉结论的依据。
图 1 标出去重在 LLM 生命周期中的位置,图 2 展示去重工序的处理流程。
图 1 里这个紫框放大之后长什么样?它的输入和输出各是什么?把去重这道工序单独拆开看:
1.3.1 重复的代价:背书、泄密与假高分
先想一个生活场景:背课文。一段话读一遍,你学到的是里面的知识;读十遍,你开始逐字逐句背诵原文。老师抽查时你能一字不差默写出来,但这不代表你理解了它。语言模型面对重复数据时,处境一模一样。
网络爬取的语料重复程度远超直觉。Lee 等人在 2022 年的经典研究中发现,C4 语料里有一句 61 个词的英文句子,竟然重复出现了超过 6 万次;训练数据里还有大量论坛模板、版权声明、转载文章这类成片的近似重复。用这样的数据训出来的模型,超过 1% 的无提示生成内容是逐字照抄训练集。
更麻烦的是,重复对记忆化的放大是超线性的。Kandpal 等人同年给出了一个量级结果:一条序列在训练集里出现 10 次,模型生成它的概率比只出现 1 次的序列平均高出约 1000 倍。出现次数增加到 10 倍,对应的背诵倾向却增加到约 1000 倍。
记忆化指模型在生成时逐字复现训练数据,而不是基于理解重新组织语言。少量记忆化无法避免,但重复数据会让它急剧恶化:模型遇到相似上下文时倾向于整段照抄。如果背下来的是个人隐私、版权文本,麻烦就从学术问题变成法律问题。
重复数据的账单可以算成三笔:
记忆化与泄密
模型把原文背下来,生成时可能整段照抄。Kandpal 等人进一步发现,针对训练数据的隐私攻击,成功率几乎全部来自重复样本;去重后模型对这类攻击显著更安全。
评测失真
Lee 等人发现,标准数据集的验证集里有超过 4% 的样本与训练集重叠。模型在“见过的题”上拿高分,基准成绩虚高,对比实验失去意义。
算力浪费
重复 token 消耗训练算力却不带来新信息。Lee 等人的实验显示,去重后的模型达到同等甚至更好精度所需的训练步数反而更少。
Lee 等人 2022 年的核心结论:对训练数据去重后,模型逐字复现训练数据的频率降低约 10 倍,下游性能不降反升。去重是少有的“删数据反而让模型更好”的工序。
1.3.2 精确去重:让重复者自动排到一起
先说最简单的目标:找出整个语料库里逐字相同的段落。笨办法是两两比较,但几万亿 token 的语料两两比到天荒地老也比不完。需要一个让重复内容自动现身的结构。
答案是一个经典的字符串工具:后缀数组(Suffix Array)。思路很妙——把全部语料拼成一个超长字符串,然后给每个位置建立一条“从该位置一直到结尾”的条目(称为后缀),再把这些条目按字典序排序。排序之后,凡是开头相同的条目必然相邻,重复段落会自己排到一起:扫描一遍有序列表就能发现重复,完全不用两两对比。
Lee 等人提出的 ExactSubstr 就是这条路线的工程实现:拼接语料、建后缀数组,凡是重复出现且长度超过阈值(论文用 50 个 token)的子串都会被标记出来,同一份内容只保留一个副本,其余重复副本全部删除。那句在 C4 里重复 6 万次的 61 词句子,正是被这套工具抓出来的。后缀数组的构造有成熟的高效算法,配套实现也已开源,足以处理工业级语料。这里只介绍排序带来的直觉,算法细节从略。
1.3.3 近似去重:MinHash 签名与 LSH 分桶
精确匹配抓得住逐字照抄,却抓不住改头换面:转载文章换了个标题、网页套用了同一个模板、AI 洗稿改了几个词。这些内容字符不完全相同,但语义上就是同一份。要抓它们,先得定义什么叫“像”。
把每篇文档拆成一组片段(shingle,例如连续 5 个词算一个片段),文档就变成集合。两个集合的交集大小除以并集大小就是 Jaccard 相似度:取值 0 到 1,越接近 1 越像。它天然容忍少量改动——换标题只动几个片段,相似度依然很高。
定义了相似度,直接算还是要两两比较集合,规模一大就崩。MinHash 用一个概率技巧绕开了全文比较:对集合施加一个随机哈希函数,取所有片段中哈希值最小的那个,作为签名的一位。重复几十个不同的随机哈希函数,就得到一小串数字——这篇文档的“指纹”。它的灵魂性质是:
签名把“比较两篇全文”压缩成“比较两小串数字”,但还剩最后一个问题:语料有上亿篇文档,两两比签名依然是平方级。这时 LSH(Locality-Sensitive Hashing,局部敏感哈希)登场:把签名切成若干段,逐段再哈希进桶。只要两篇文档签名足够像,就大概率在某一段上落进同一个桶。于是只需比较同桶的候选对,最后再对候选对做一次精确复核,把误报筛掉。比较总次数从平方级降到近似线性。
Lee 等人的 NearDup 就是 MinHash 路线在整文档级去近重复的落地。MinHash 本身比 LLM 年长得多:它由 Broder 在 1997 年提出,最初用于 AltaVista 搜索引擎的网页近重复检测,如今是数据工程的教科书工具。从原始网页到候选数据,这两节讲的正是大多数语料管线里实际跑着的去重环节。
1.3.4 去污染:把考题从题库里抽走
去重管的是训练集内部,还有一类重叠发生在训练集与测试集之间:基准测试的题目混进了训练语料,模型考的是自己背过的题。专门清除这类重叠的工序叫去污染(Decontamination)。
GPT-3 的做法是代表性案例:对训练语料做 13-gram 重叠检测,凡是与评测集出现 13 个连续词重叠的训练文档,一律剔除,防止基准成绩失真。这套思路和去重一脉相承,只是枪口对准的是题库。后续主流模型的技术报告里,去污染已成为数据管线的固定一站。
一句话收束全节:精确去重抓逐字相同,近似去重抓改头换面,去污染守住考试公平。三道工序做完,数据才算备好——下一章就看这些干净的文本如何被切成 token。
参考来源
- Lee et al., 2022. Deduplicating Training Data Makes Language Models Better(ACL 2022,arXiv:2107.06499):ExactSubstr 与 NearDup、C4 中 61 词句子重复超 6 万次、超 1% 无提示输出逐字复制、去重后复现频率降约 10 倍、验证集重叠超 4%,均出自该文。
- Kandpal, Wallace & Raffel, 2022. Deduplicating Training Data Mitigates Privacy Risks in Language Models(ICML 2022,arXiv:2202.06539):出现 10 次的序列生成概率约高 1000 倍、隐私攻击成功率集中于重复样本。
- Brown et al., 2020. Language Models are Few-Shot Learners(GPT-3 技术报告,arXiv:2005.14165):13-gram 重叠检测的基准去污染做法。
- Broder, 1997. On the Resemblance and Containment of Documents(MinHash 原始论文,SEQUENCES 1997)。
- Rajaraman & Ullman, Mining of Massive Datasets, 第 3 章 Finding Similar Items(Jaccard 相似度、MinHash 与 LSH 的教材级讲解,http://www.mmds.org)。