1.3 去重:同一段话训十遍有用吗

本页范围:第 1 章第 3 节 | 整理时间:2026-09-28

快速浏览

核心问题网络语料里藏着海量重复内容。同一段话让模型学十遍,是加深印象,还是白烧算力、埋下隐患?
本节主张重复数据放大记忆化、助攻隐私攻击、污染评测结果,去重(Deduplication)是数据工程的标配工序:精确去重抓逐字相同,近似去重抓改头换面,去污染守住评测公平。
一句话结论同一段话训十遍,模型背下它的概率可能高出上千倍;去掉重复后,模型性能不降反升。
关键词
去重记忆化后缀数组MinHashLSH去污染

  1.2 节解决了语料“质”的问题,结尾留了一个“量”的问题:同一篇文章在网上被转载几百次,模型就要被迫把同一段话背上几百遍。本节回答它,分两步走:先把重复的代价算清楚,再按“各抓什么”把去重拆成三道工序,每道配一件经典工具:

  1. 重复的代价:背书、泄密与假高分(1.3.1):两个扎眼的数字开路——重复 10 次的序列生成概率高约 1000 倍,超 1% 的无提示输出在逐字照抄训练集;
  2. 精确去重:让重复者自动排到一起(1.3.2):后缀数组的排序直觉,让逐字相同的段落自动相邻,免掉两两比较;
  3. 近似去重:MinHash 签名与 LSH 分桶(1.3.3):抓换标题、套模板的改头换面——Jaccard 定义什么叫“像”,MinHash 把全文压成指纹,LSH 分桶只比同桶候选;
  4. 去污染:把考题从题库里抽走(1.3.4):清的是训练集与测试集之间的重叠,GPT-3 的 13-gram 检测是代表做法。

  读完本节,你应该能分清三道工序各抓什么、各用什么工具,也能解释“去重后性能不降反升”这条反直觉结论的依据。

  图 1 标出去重在 LLM 生命周期中的位置,图 2 展示去重工序的处理流程。

原创示意图 · 非论文原图 训练数据: 收集 · 清洗 · 配比 (本节内容) 预训练: 海量语料自监督 (第 6 章) 训练工程: 并行 · 精度 · 稳定 (第 7 章) 中间训练: 收口 · 长上下文 (第 8 章) SFT: 学会对话格式 (第 9 章) 偏好对齐: RLHF / DPO (第 10 章) 推理训练: RLVR / GRPO (第 11 章) 推理与部署: 解码 · 加速 (第 12–13 章) 紫底框:本节内容 虚线框:后续章节
图 1:训练数据在 LLM 生命周期中的位置。数据备好(本章)之后进入预训练(第 6 章),再经训练工程(第 7 章)、中间训练(第 8 章)、SFT(第 9 章)、偏好对齐(第 10 章)、推理训练(第 11 章),最后走向推理与部署(第 12–13 章)。虚线部分在对应章节展开,数据是这条链路的第一站,本节的站位是其中的去重工序,只回答「同一份内容怎么只留一份」。

  图 1 里这个紫框放大之后长什么样?它的输入和输出各是什么?把去重这道工序单独拆开看:

原创示意图 · 非论文原图 局部放大:去重工序——同一份内容只留一份 输入:过滤后的语料(同一篇文章可能躺着几百份转载副本) 语料段落 A B A′ C A″ D A、A′、A″ 是同一篇 文章的转载副本 MinHash 指纹 全文压成小串数字 3 7 1 9 越像的段落 签名越一致 (1.3.3 节公式) LSH 聚成重复簇 A A′ A″ 只比同桶候选对 免掉两两全比 每簇只留一份 A B C D 重复副本删除 语料瘦身 输出:去重后的语料——逐字复现频率降约 10 倍(Lee et al., 2022) C4 中一句 61 个词的句子重复超 6 万次,正是这样被抓出来
图 2:去重流水线。过滤后的语料里,同一文章的转载副本被 MinHash 压成指纹,签名一致者聚成重复簇,每簇只留一份,其余删除。C4 里那句重复超 6 万次的 61 词句子就是这样被抓出来的;去重后模型逐字复现训练数据的频率降约 10 倍。

1.3.1 重复的代价:背书、泄密与假高分

  先想一个生活场景:背课文。一段话读一遍,你学到的是里面的知识;读十遍,你开始逐字逐句背诵原文。老师抽查时你能一字不差默写出来,但这不代表你理解了它。语言模型面对重复数据时,处境一模一样。

  网络爬取的语料重复程度远超直觉。Lee 等人在 2022 年的经典研究中发现,C4 语料里有一句 61 个词的英文句子,竟然重复出现了超过 6 万次;训练数据里还有大量论坛模板、版权声明、转载文章这类成片的近似重复。用这样的数据训出来的模型,超过 1% 的无提示生成内容是逐字照抄训练集。

  更麻烦的是,重复对记忆化的放大是超线性的。Kandpal 等人同年给出了一个量级结果:一条序列在训练集里出现 10 次,模型生成它的概率比只出现 1 次的序列平均高出约 1000 倍。出现次数增加到 10 倍,对应的背诵倾向却增加到约 1000 倍。

记忆化 Memorization memorize = 模型把训练数据原文背进参数里

记忆化指模型在生成时逐字复现训练数据,而不是基于理解重新组织语言。少量记忆化无法避免,但重复数据会让它急剧恶化:模型遇到相似上下文时倾向于整段照抄。如果背下来的是个人隐私、版权文本,麻烦就从学术问题变成法律问题。

  重复数据的账单可以算成三笔:

记忆化与泄密

模型把原文背下来,生成时可能整段照抄。Kandpal 等人进一步发现,针对训练数据的隐私攻击,成功率几乎全部来自重复样本;去重后模型对这类攻击显著更安全。

评测失真

Lee 等人发现,标准数据集的验证集里有超过 4% 的样本与训练集重叠。模型在“见过的题”上拿高分,基准成绩虚高,对比实验失去意义。

算力浪费

重复 token 消耗训练算力却不带来新信息。Lee 等人的实验显示,去重后的模型达到同等甚至更好精度所需的训练步数反而更少。

  Lee 等人 2022 年的核心结论:对训练数据去重后,模型逐字复现训练数据的频率降低约 10 倍,下游性能不降反升。去重是少有的“删数据反而让模型更好”的工序。

1.3.2 精确去重:让重复者自动排到一起

  先说最简单的目标:找出整个语料库里逐字相同的段落。笨办法是两两比较,但几万亿 token 的语料两两比到天荒地老也比不完。需要一个让重复内容自动现身的结构。

  答案是一个经典的字符串工具:后缀数组(Suffix Array)。思路很妙——把全部语料拼成一个超长字符串,然后给每个位置建立一条“从该位置一直到结尾”的条目(称为后缀),再把这些条目按字典序排序。排序之后,凡是开头相同的条目必然相邻,重复段落会自己排到一起:扫描一遍有序列表就能发现重复,完全不用两两对比。

  Lee 等人提出的 ExactSubstr 就是这条路线的工程实现:拼接语料、建后缀数组,凡是重复出现且长度超过阈值(论文用 50 个 token)的子串都会被标记出来,同一份内容只保留一个副本,其余重复副本全部删除。那句在 C4 里重复 6 万次的 61 词句子,正是被这套工具抓出来的。后缀数组的构造有成熟的高效算法,配套实现也已开源,足以处理工业级语料。这里只介绍排序带来的直觉,算法细节从略。

1.3.3 近似去重:MinHash 签名与 LSH 分桶

  精确匹配抓得住逐字照抄,却抓不住改头换面:转载文章换了个标题、网页套用了同一个模板、AI 洗稿改了几个词。这些内容字符不完全相同,但语义上就是同一份。要抓它们,先得定义什么叫“像”。

Jaccard 相似度 Jaccard similarity = 交集大小 ÷ 并集大小

把每篇文档拆成一组片段(shingle,例如连续 5 个词算一个片段),文档就变成集合。两个集合的交集大小除以并集大小就是 Jaccard 相似度:取值 0 到 1,越接近 1 越像。它天然容忍少量改动——换标题只动几个片段,相似度依然很高。

  定义了相似度,直接算还是要两两比较集合,规模一大就崩。MinHash 用一个概率技巧绕开了全文比较:对集合施加一个随机哈希函数,取所有片段中哈希值最小的那个,作为签名的一位。重复几十个不同的随机哈希函数,就得到一小串数字——这篇文档的“指纹”。它的灵魂性质是:

\[ J(A,B)=\frac{|A\cap B|}{|A\cup B|} \tag{1} \] \[ \Pr\!\left[h_{\min}(A)=h_{\min}(B)\right]=J(A,B) \tag{2} \]
公式 (1):Jaccard 相似度定义。公式 (2):MinHash 的核心性质——两篇文档在同一位签名上相同的概率,恰好等于它们的 Jaccard 相似度。文档越像,指纹越一致。符号说明:\(A\) 与 \(B\) 是两篇文档各自拆出的片段(shingle)集合;\(|A\cap B|\)、\(|A\cup B|\) 分别是两集合交集与并集的大小;\(J(A,B)\) 是两者的 Jaccard 相似度;\(h_{\min}(A)\) 是对集合 \(A\) 施加一个随机哈希函数后,所有片段哈希值中最小的那个,即 MinHash 签名的一位;\(\Pr[\cdot]\) 表示事件发生的概率,随机性来自随机哈希函数的选取。

  签名把“比较两篇全文”压缩成“比较两小串数字”,但还剩最后一个问题:语料有上亿篇文档,两两比签名依然是平方级。这时 LSH(Locality-Sensitive Hashing,局部敏感哈希)登场:把签名切成若干段,逐段再哈希进桶。只要两篇文档签名足够像,就大概率在某一段上落进同一个桶。于是只需比较同桶的候选对,最后再对候选对做一次精确复核,把误报筛掉。比较总次数从平方级降到近似线性。

原创示意图 · 非论文原图 文档集合 MinHash 签名 LSH 分桶 候选对复核 文档 A 新闻原文 文档 B 转载并改标题 文档 C 无关内容 3 7 1 9 3 7 1 9 8 2 5 4 桶 ① A B 签名一致落同桶 成为候选对 桶 ② C 候选对 (A, B) 逐字复核 判定近重复:删 B 留 A C 在桶内无伙伴 直接保留,无需比较 签名的每一位来自一个随机哈希:两篇文档越相似,对应位相同的概率越大。 分桶把“两两比较”变成“只比同桶”,比较次数从平方级降到近似线性。
图 3:近似去重流水线。文档先浓缩为 MinHash 签名,LSH 按签名分桶,只有同桶文档才进入复核,无需全量两两比较。

  Lee 等人的 NearDup 就是 MinHash 路线在整文档级去近重复的落地。MinHash 本身比 LLM 年长得多:它由 Broder 在 1997 年提出,最初用于 AltaVista 搜索引擎的网页近重复检测,如今是数据工程的教科书工具。从原始网页到候选数据,这两节讲的正是大多数语料管线里实际跑着的去重环节。

1.3.4 去污染:把考题从题库里抽走

  去重管的是训练集内部,还有一类重叠发生在训练集与测试集之间:基准测试的题目混进了训练语料,模型考的是自己背过的题。专门清除这类重叠的工序叫去污染(Decontamination)。

  GPT-3 的做法是代表性案例:对训练语料做 13-gram 重叠检测,凡是与评测集出现 13 个连续词重叠的训练文档,一律剔除,防止基准成绩失真。这套思路和去重一脉相承,只是枪口对准的是题库。后续主流模型的技术报告里,去污染已成为数据管线的固定一站。

  一句话收束全节:精确去重抓逐字相同,近似去重抓改头换面,去污染守住考试公平。三道工序做完,数据才算备好——下一章就看这些干净的文本如何被切成 token。

🧭本节要点回顾
同一段话训十遍为什么反而有害?
记忆化被超线性放大:出现 10 次的序列生成概率约高 1000 倍;隐私攻击的成功率几乎全部来自重复样本;训练集与测试集重叠还会让评测成绩虚高,重复 token 同时白烧训练算力。
精确去重与近似去重各抓什么?
ExactSubstr 用后缀数组抓逐字重复的长子串(排序让重复者相邻);NearDup 用 MinHash 在整文档级抓换标题、套模板这类改头换面的近重复。
MinHash 加 LSH 凭什么把平方级比较降下来?
MinHash 签名的碰撞概率恰好等于 Jaccard 相似度,小串数字代替全文比较;LSH 把签名分段分桶,只需比较同桶候选对,比较次数降到近似线性。

参考来源

  • Lee et al., 2022. Deduplicating Training Data Makes Language Models Better(ACL 2022,arXiv:2107.06499):ExactSubstr 与 NearDup、C4 中 61 词句子重复超 6 万次、超 1% 无提示输出逐字复制、去重后复现频率降约 10 倍、验证集重叠超 4%,均出自该文。
  • Kandpal, Wallace & Raffel, 2022. Deduplicating Training Data Mitigates Privacy Risks in Language Models(ICML 2022,arXiv:2202.06539):出现 10 次的序列生成概率约高 1000 倍、隐私攻击成功率集中于重复样本。
  • Brown et al., 2020. Language Models are Few-Shot Learners(GPT-3 技术报告,arXiv:2005.14165):13-gram 重叠检测的基准去污染做法。
  • Broder, 1997. On the Resemblance and Containment of Documents(MinHash 原始论文,SEQUENCES 1997)。
  • Rajaraman & Ullman, Mining of Massive Datasets, 第 3 章 Finding Similar Items(Jaccard 相似度、MinHash 与 LSH 的教材级讲解,http://www.mmds.org)。