2.3 WordPiece 与 Unigram:另外两条子词路线

本页范围:第 2 章第 3 节 | 整理时间:2026-09-22

快速浏览

核心问题BPE 按“出现次数最多”来合并片段,这是唯一合理的标准吗?有没有别的办法构造子词词表?
本节主张WordPiece 与 BPE 流程相同、标准不同:合并时追求语料似然最大而非频次最高。Unigram 则完全反过来:先准备一个大词表,再往下剪掉不重要的 token,并用概率模型挑选最优切分。
一句话结论三条路线殊途同归:都得到大小可控、无 OOV 的子词词表,差别只在构造方向与挑选标准;BERT 用 WordPiece,XLNet、ALBERT、T5 用 Unigram。
关键词
WordPieceUnigram似然ViterbiSubword RegularizationBERT

  2.2 节的 BPE 用「频次最高」当合并标准,直白有效,但它是唯一合理的尺子吗?本节看另外两条子词路线:WordPiece 把尺子换掉,Unigram 则把构造方向整个反过来。三条路线都有代表性模型在用,本节逐条拆开:

  1. WordPiece:换一把尺子做合并(2.3.1):流程与 BPE 相同,挑选标准从频次换成语料似然,偏爱内部强绑定的片段组合;
  2. Unigram:反着来,从大词表往下剪(2.3.2):自顶向下剪枝,每个 token 带概率,编码靠 Viterbi 找最优切分,还顺带解锁 subword regularization;
  3. 三种子词算法对比(2.3.3):一张表收拢三条路线的构造方向、选择标准、编码方式与代表模型。

  读完本节,应能区分三条路线:BPE 统计频次,WordPiece 计算似然,Unigram 从较大词表逐步删减。下一节将介绍 SentencePiece 如何把 BPE 和 Unigram 集成到同一工程框架。

  图 1 标出这两种算法在 LLM 链路中的位置,图 2 比较同一个词在两种算法中的处理结果。

原创示意图 · 非论文原图 原始文本: 「我爱中国」 (输入起点) 分词器: 切成 token ID 序列 (本节内容) Embedding 层: 查表:ID → 词向量 (3.1 节) 位置编码: 注入「第几格」 (3.2–3.5 节) Transformer 层: 注意力与前馈 ×N (第 4 章) 输出投影: 算各 token 的概率 (第 4 章) 采样: 吐出下一个 token (第 12 章) 生成的新 token 接回输入,继续循环(自回归,第 12 章) 实线框:输入起点 虚线框:后续章节
图 1:分词器在 LLM 前向链路中的位置。它是整条链路的第一站:原始文本在这里被切成 token ID(本章),再经 Embedding 查表(3.1 节)、注入位置信息(3.2–3.5 节)进入 Transformer 层(第 4 章),最后算出概率、采样出下一个 token(第 12 章)并接回输入循环。本节讲的是这一站内部「词表怎么构造」的另外两条路线:WordPiece 与 Unigram,和 2.2 节的 BPE 同一岗位、不同算法。

  这个紫框内部,两种算法的差别具体落在哪?拿同一个英文词,分别走一遍 WordPiece 和 Unigram 的切分流程:

原创示意图 · 非论文原图 局部放大:同一个词的两种切分逻辑(以 unbelievable 为例) 输入:1 个英文单词(11 个字符);两栏各自输出一条 token 序列 unbelievable WordPiece:贪心最长匹配 ① 从词首起,找词表里能匹配的   最长片段,切下,对剩余重复: un ✓ 剩余 believable ##believ ✓ 剩余 able ##able ✓ 切完 任何一步匹配不上 → 整词 [UNK] (## 前缀 = 续接片段,解码时拼回前段) Unigram:按概率选切分 ① 同一个词允许有多种合法切分,   每种切分有一个概率(连乘): un + ##believ + ##able(最大) ✓ un + ##belie + ##vable(次之) ##un + ##bel + ##ievable(更低) ② Viterbi 动态规划找出概率最大者 (训练可按概率采样:subword 正则化) 输出:un + ##believ + ##able 3 个 token,路径唯一确定 输出:un + ##believ + ##able 编码取概率最大的一种切分 算法行为示意:具体片段与概率高低取决于实际训练出的词表,此处只演示两种算法的决策方式 本工程 minimind 用的是 BPE(2.2 节);BERT 用 WordPiece,XLNet / ALBERT / T5 用 Unigram
图 2:同一个词 unbelievable 在两种算法下的切分决策。左:WordPiece 编码时贪心最长匹配,从词首反复找最长命中片段,路径唯一,任何一步失配整词判 [UNK]。右:Unigram 允许同一词有多种合法切分、各带概率,编码用 Viterbi 找连乘最大者;训练时还能按概率采样其他切法(subword regularization)。图为算法行为示意,具体片段边界与概率取决于实际词表;本工程 minimind 用的是 BPE(2.2 节)。

2.3.1 WordPiece:换一把尺子做合并

  WordPiece 比 BPE 进入 NLP 还早。它出自 Schuster 与 Nakajima 2012 年的论文(发表于 ICASSP),最初是为日文和韩文的语音搜索系统解决词表问题的;2016 年 Google 的神经机器翻译系统 GNMT(Wu et al.)把它用于大规模机器翻译,2018 年 BERT(Devlin et al.,2019 年公开论文)沿用这套方案之后,它就成了 NLP 领域出镜率最高的分词算法之一。

  从流程上看,WordPiece 和 BPE 几乎一模一样:同样从字符级词表出发,同样每轮挑一对相邻片段合并进词表,同样迭代到词表达到目标大小。唯一的区别在挑选标准:BPE 选频次最高的 pair,WordPiece 选能让训练语料似然(likelihood)提升最多的 pair。

似然 Likelihood likelihood = 给定模型参数下,观察到这批数据的概率

可以粗略理解为“这套切分方案把整份语料解释得有多好”。假设语料中每个 token 独立出现,整份语料的概率就是所有 token 概率的连乘。一次合并会改变切分方式,也就改变这个连乘的值。WordPiece 每一轮都挑让连乘结果变得最大的那次合并,相当于在问:哪两个片段绑在一起的必要性最强?

  直接计算语料似然的变化比较复杂,教学中常用一个直观的近似公式来理解它的偏好:

\[ \mathrm{score}(a,b)=\frac{\mathrm{freq}(ab)}{\mathrm{freq}(a)\times \mathrm{freq}(b)} \tag{1} \]
公式 (1):WordPiece 合并标准的教学近似。分子是合并后片段 ab 的频次,分母是两个单片段频次的乘积。这个比值偏爱“内部强绑定”的组合:ab 经常一起出现、但 a 和 b 各自单独出现时并不那么频繁,得分就高。符号说明:\(a\)、\(b\) 是拆分表中相邻的两个片段,即本轮待考察的合并对;\(\mathrm{freq}(ab)\) 是片段 ab 在语料中出现的频次(按词频加权统计,与 2.2 节口径一致);\(\mathrm{freq}(a)\)、\(\mathrm{freq}(b)\) 是两个片段各自出现的频次;\(\mathrm{score}(a,b)\) 是这次合并的得分,每轮选得分最高的一对合并。

  对比 BPE 只数 freq(ab),WordPiece 多除了一个分母。效果是:两个各自都极其高频的片段,哪怕常一起出现,得分也会被拉低;而一对“离开对方就很少单独出现”的片段会被优先合并。比如 hu 和 ##gging 几乎都只在 hugging 里成对出现、很少各奔东西,得分就高,容易被优先合并;反过来,##ing 这类高频后缀能跟成千上万种词根搭配,自身频次太大,得分反而被分母拉低。

  公式 (1) 是帮助理解的近似写法。原始实现(GNMT 论文)按语言模型似然的实际增益来选择合并对象,两者的偏好方向一致:都偏爱互信息高的强绑定组合。

  词表构造好之后,编码阶段的做法也不同。BPE 按合并记录的顺序重放规则,WordPiece 则用贪心最长匹配(longest-match-first):从词的开头起,在词表里找能匹配的最长片段,切下来,再对剩下的部分重复这个动作,直到切完。任何环节匹配不上,整词判为 [UNK]。

  WordPiece 还有一个标志性的书写约定:一个词被拆开之后,续接片段前面加 ## 前缀。例如 playing 会被切成 play + ##ing,unbelievable 可能切成 un + ##believ + ##able。这样解码时看到 ## 就知道该片段要拼回前一个片段,不需要额外记空格位置。BERT 的英文词表大小为 30522,其中绝大多数条目都是这种带 ## 的续接片段。

2.3.2 Unigram:反着来,从大词表往下剪

  BPE 和 WordPiece 都是自底向上:从小词表开始,一轮轮往里加。Kudo 在 2018 年提出的 Unigram 算法(发表于 ACL)走了完全相反的方向——自顶向下:先准备一个足够大的候选词表,再一轮轮往外删,删到目标大小为止。

Unigram 语言模型 unigram language model = 假设各 token 独立出现的概率模型

Unigram 算法给词表里每个 token 赋一个出现概率,并假设一句话的某种切分,其概率等于各 token 概率的连乘。由于同一句话通常有多种合法切法,一句话的概率是它所有可能切分的概率之和;词表的质量就用整份语料按此口径算出的概率(似然)来衡量,似然越高说明这套词表把语料解释得越好。所有操作——剪掉哪个 token、保留哪个 token——都围绕这个概率展开。

  完整的词表构造流程是这样的:

  1. 准备候选词表:从语料中收集所有高频子串(可用 BPE 或后缀数组等办法生成),得到一个远大于目标大小的初始词表,每个 token 按频次初始化概率;
  2. 迭代剪枝:用类似 EM 的流程交替优化——先固定概率,把每句话所有可能切分的概率加总,算出整体损失(负对数似然);再对每个 token 试算“把它从词表里删掉,整体损失会上升多少”;
  3. 按比例删除:每轮剪掉损失上升最小的一批 token(比如 10% 到 20%),也就是对语料解释力贡献最小的那批;
  4. 单字符兜底:所有单字符永远保留,保证任何文本都拆得开,不存在 OOV;
  5. 收敛停止:重复第 2、3 步,直到词表缩小到预设的目标大小。

  词表建好之后怎么用?这里体现了 Unigram 和前两者的本质差别:对一句话,Unigram 词表通常允许多种合法切分,每种切分有一个概率。编码时用 Viterbi 算法在所有可能切分里找概率最大的那一种:

\[ P^{*}(x)=\underset{x}{\arg\max}\ \prod_{i} p\!\left(x_i\right) \tag{2} \]
公式 (2):Unigram 的最优切分。把一句话的所有切分方案枚举出来,每种方案的概率是各 token 概率的连乘,用 Viterbi 动态规划高效找出连乘最大的方案。x 表示一种切分,\(x_i\) 是切分中的第 i 个 token。符号说明:\(x\) 是句子的一种合法切分方案;\(x_i\) 是切分中的第 \(i\) 个 token;\(p(x_i)\) 是 token \(x_i\) 的出现概率,由词表训练时的 EM 迭代估出;\(\prod_i\) 表示把切分中所有 token 的概率连乘;\(\underset{x}{\arg\max}\) 表示在所有合法切分中找出使连乘最大的那个;\(P^{*}(x)\) 是最优切分对应的概率值。

  Viterbi 算法是做这件事的标准工具:按字符位置从左往右推进,每到一个位置,只保留“以该位置结尾的最优前缀切分”,不必真的枚举指数级的全部方案。直觉上它和走迷宫时“每个路口只记到当前为止的最短路径”是同一个思路。

  Unigram 的概率本质带来一个 BPE 和 WordPiece 都没有的能力:subword regularization。训练时不一定用概率最大的切分,而是按概率采样一种切分——同一个词这次切成 play + ##ing、下次切成 pl + ##ay + ##ing。模型在训练时见到同一个词的不同切法,相当于免费的数据增强,鲁棒性更好。

  Unigram 的代表使用者是 XLNet、ALBERT 和 T5,三者都通过 SentencePiece 工具包的 Unigram 后端来训练分词器。SentencePiece 这套工程化封装是下一节 2.4 的主题。

2.3.3 三种子词算法对比

  到这里,BPE、WordPiece、Unigram 三条路线都讲完了。它们的产出物是同一类东西——大小可控、无 OOV 的子词词表,但构造思路和编码方式各不相同:

维度BPEWordPieceUnigram
构造方向自底向上:从字符开始合并自底向上:从字符开始合并自顶向下:从大候选词表开始剪枝
选择标准合并频次最高的 pair合并使语料似然提升最多的 pair每轮删除对整体损失影响最小的 token
编码方式按合并记录的顺序重放规则贪心最长匹配(longest-match-first)Viterbi 算法找概率最大的切分
概率模型无无(仅用似然做构造标准)有,每个 token 带概率,支持采样切分
代表模型GPT 系列、RoBERTa、LlamaBERT、DistilBERTXLNet、ALBERT、T5

  实际工程里三者很少从零手写,而是通过 SentencePiece、Hugging Face Tokenizers 这类工具包调用。下一节就讲 SentencePiece:它把 BPE 和 Unigram 统一封装,并且不依赖空格做预切分,对中文、日文尤其友好。

🧭本节要点回顾
WordPiece 与 BPE 的唯一关键差异是什么?
流程完全相同,都是自底向上迭代合并;差别只在挑选标准——BPE 选频次最高的 pair,WordPiece 选让语料似然提升最多的 pair,教学上近似为频次除以两个单片段频次的乘积,偏爱内部强绑定的组合。
为什么说 Unigram 是反向操作?
BPE 和 WordPiece 从小词表开始一轮轮往里加 token,Unigram 从足够大的候选词表开始,每轮剪掉对语料损失影响最小的一批 token,直到收敛到目标大小——一个做加法,一个做减法。
subword regularization 有什么用?
Unigram 的每种切分都有概率,训练时可以按概率采样不同切分而不是总用最优切分。同一个词以不同切法出现,相当于免费的数据增强,让模型对切分变化更鲁棒。BPE 和 WordPiece 没有概率模型,做不到这一点。

参考来源

  • Schuster & Nakajima, 2012. Japanese and Korean Voice Search(ICASSP,WordPiece 原始出处)。
  • Wu et al., 2016. Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation(GNMT,arXiv:1609.08144),WordPiece 的大规模应用出处。
  • Devlin et al., 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding(arXiv:1810.04805),WordPiece 词表与 ## 约定的出处。
  • Kudo, 2018. Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates(ACL,arXiv:1804.10959),Unigram 算法与 subword regularization 的原始论文。
  • Hugging Face LLM Course, Chapter 6: Tokenization(WordPiece 与 Unigram 的流程对比、最长匹配编码方式)。