2.3 WordPiece 与 Unigram:另外两条子词路线
本页范围:第 2 章第 3 节 | 整理时间:2026-09-22
2.2 节的 BPE 用「频次最高」当合并标准,直白有效,但它是唯一合理的尺子吗?本节看另外两条子词路线:WordPiece 把尺子换掉,Unigram 则把构造方向整个反过来。三条路线都有代表性模型在用,本节逐条拆开:
- WordPiece:换一把尺子做合并(2.3.1):流程与 BPE 相同,挑选标准从频次换成语料似然,偏爱内部强绑定的片段组合;
- Unigram:反着来,从大词表往下剪(2.3.2):自顶向下剪枝,每个 token 带概率,编码靠 Viterbi 找最优切分,还顺带解锁 subword regularization;
- 三种子词算法对比(2.3.3):一张表收拢三条路线的构造方向、选择标准、编码方式与代表模型。
读完本节,应能区分三条路线:BPE 统计频次,WordPiece 计算似然,Unigram 从较大词表逐步删减。下一节将介绍 SentencePiece 如何把 BPE 和 Unigram 集成到同一工程框架。
图 1 标出这两种算法在 LLM 链路中的位置,图 2 比较同一个词在两种算法中的处理结果。
这个紫框内部,两种算法的差别具体落在哪?拿同一个英文词,分别走一遍 WordPiece 和 Unigram 的切分流程:
2.3.1 WordPiece:换一把尺子做合并
WordPiece 比 BPE 进入 NLP 还早。它出自 Schuster 与 Nakajima 2012 年的论文(发表于 ICASSP),最初是为日文和韩文的语音搜索系统解决词表问题的;2016 年 Google 的神经机器翻译系统 GNMT(Wu et al.)把它用于大规模机器翻译,2018 年 BERT(Devlin et al.,2019 年公开论文)沿用这套方案之后,它就成了 NLP 领域出镜率最高的分词算法之一。
从流程上看,WordPiece 和 BPE 几乎一模一样:同样从字符级词表出发,同样每轮挑一对相邻片段合并进词表,同样迭代到词表达到目标大小。唯一的区别在挑选标准:BPE 选频次最高的 pair,WordPiece 选能让训练语料似然(likelihood)提升最多的 pair。
可以粗略理解为“这套切分方案把整份语料解释得有多好”。假设语料中每个 token 独立出现,整份语料的概率就是所有 token 概率的连乘。一次合并会改变切分方式,也就改变这个连乘的值。WordPiece 每一轮都挑让连乘结果变得最大的那次合并,相当于在问:哪两个片段绑在一起的必要性最强?
直接计算语料似然的变化比较复杂,教学中常用一个直观的近似公式来理解它的偏好:
对比 BPE 只数 freq(ab),WordPiece 多除了一个分母。效果是:两个各自都极其高频的片段,哪怕常一起出现,得分也会被拉低;而一对“离开对方就很少单独出现”的片段会被优先合并。比如 hu 和 ##gging 几乎都只在 hugging 里成对出现、很少各奔东西,得分就高,容易被优先合并;反过来,##ing 这类高频后缀能跟成千上万种词根搭配,自身频次太大,得分反而被分母拉低。
公式 (1) 是帮助理解的近似写法。原始实现(GNMT 论文)按语言模型似然的实际增益来选择合并对象,两者的偏好方向一致:都偏爱互信息高的强绑定组合。
词表构造好之后,编码阶段的做法也不同。BPE 按合并记录的顺序重放规则,WordPiece 则用贪心最长匹配(longest-match-first):从词的开头起,在词表里找能匹配的最长片段,切下来,再对剩下的部分重复这个动作,直到切完。任何环节匹配不上,整词判为 [UNK]。
WordPiece 还有一个标志性的书写约定:一个词被拆开之后,续接片段前面加 ## 前缀。例如 playing 会被切成 play + ##ing,unbelievable 可能切成 un + ##believ + ##able。这样解码时看到 ## 就知道该片段要拼回前一个片段,不需要额外记空格位置。BERT 的英文词表大小为 30522,其中绝大多数条目都是这种带 ## 的续接片段。
2.3.2 Unigram:反着来,从大词表往下剪
BPE 和 WordPiece 都是自底向上:从小词表开始,一轮轮往里加。Kudo 在 2018 年提出的 Unigram 算法(发表于 ACL)走了完全相反的方向——自顶向下:先准备一个足够大的候选词表,再一轮轮往外删,删到目标大小为止。
Unigram 算法给词表里每个 token 赋一个出现概率,并假设一句话的某种切分,其概率等于各 token 概率的连乘。由于同一句话通常有多种合法切法,一句话的概率是它所有可能切分的概率之和;词表的质量就用整份语料按此口径算出的概率(似然)来衡量,似然越高说明这套词表把语料解释得越好。所有操作——剪掉哪个 token、保留哪个 token——都围绕这个概率展开。
完整的词表构造流程是这样的:
- 准备候选词表:从语料中收集所有高频子串(可用 BPE 或后缀数组等办法生成),得到一个远大于目标大小的初始词表,每个 token 按频次初始化概率;
- 迭代剪枝:用类似 EM 的流程交替优化——先固定概率,把每句话所有可能切分的概率加总,算出整体损失(负对数似然);再对每个 token 试算“把它从词表里删掉,整体损失会上升多少”;
- 按比例删除:每轮剪掉损失上升最小的一批 token(比如 10% 到 20%),也就是对语料解释力贡献最小的那批;
- 单字符兜底:所有单字符永远保留,保证任何文本都拆得开,不存在 OOV;
- 收敛停止:重复第 2、3 步,直到词表缩小到预设的目标大小。
词表建好之后怎么用?这里体现了 Unigram 和前两者的本质差别:对一句话,Unigram 词表通常允许多种合法切分,每种切分有一个概率。编码时用 Viterbi 算法在所有可能切分里找概率最大的那一种:
Viterbi 算法是做这件事的标准工具:按字符位置从左往右推进,每到一个位置,只保留“以该位置结尾的最优前缀切分”,不必真的枚举指数级的全部方案。直觉上它和走迷宫时“每个路口只记到当前为止的最短路径”是同一个思路。
Unigram 的概率本质带来一个 BPE 和 WordPiece 都没有的能力:subword regularization。训练时不一定用概率最大的切分,而是按概率采样一种切分——同一个词这次切成 play + ##ing、下次切成 pl + ##ay + ##ing。模型在训练时见到同一个词的不同切法,相当于免费的数据增强,鲁棒性更好。
Unigram 的代表使用者是 XLNet、ALBERT 和 T5,三者都通过 SentencePiece 工具包的 Unigram 后端来训练分词器。SentencePiece 这套工程化封装是下一节 2.4 的主题。
2.3.3 三种子词算法对比
到这里,BPE、WordPiece、Unigram 三条路线都讲完了。它们的产出物是同一类东西——大小可控、无 OOV 的子词词表,但构造思路和编码方式各不相同:
| 维度 | BPE | WordPiece | Unigram |
|---|---|---|---|
| 构造方向 | 自底向上:从字符开始合并 | 自底向上:从字符开始合并 | 自顶向下:从大候选词表开始剪枝 |
| 选择标准 | 合并频次最高的 pair | 合并使语料似然提升最多的 pair | 每轮删除对整体损失影响最小的 token |
| 编码方式 | 按合并记录的顺序重放规则 | 贪心最长匹配(longest-match-first) | Viterbi 算法找概率最大的切分 |
| 概率模型 | 无 | 无(仅用似然做构造标准) | 有,每个 token 带概率,支持采样切分 |
| 代表模型 | GPT 系列、RoBERTa、Llama | BERT、DistilBERT | XLNet、ALBERT、T5 |
实际工程里三者很少从零手写,而是通过 SentencePiece、Hugging Face Tokenizers 这类工具包调用。下一节就讲 SentencePiece:它把 BPE 和 Unigram 统一封装,并且不依赖空格做预切分,对中文、日文尤其友好。
参考来源
- Schuster & Nakajima, 2012. Japanese and Korean Voice Search(ICASSP,WordPiece 原始出处)。
- Wu et al., 2016. Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation(GNMT,arXiv:1609.08144),WordPiece 的大规模应用出处。
- Devlin et al., 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding(arXiv:1810.04805),WordPiece 词表与
##约定的出处。 - Kudo, 2018. Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates(ACL,arXiv:1804.10959),Unigram 算法与 subword regularization 的原始论文。
- Hugging Face LLM Course, Chapter 6: Tokenization(WordPiece 与 Unigram 的流程对比、最长匹配编码方式)。