2.4 SentencePiece:扔掉预分词的分词工具

本页范围:第 2 章第 4 节 | 整理时间:2026-09-22

快速浏览

核心问题BPE 和 Unigram 的原始实现都假设文本已被预分词(切成词)后才输入。对中文、日文这类没有空格的语言,这一步本身就做不到位,怎么办?
本节主张SentencePiece 把输入当作原始 Unicode 字符流,连空格也转义成普通字符 ▁(U+2581)一起参与切分,彻底取消预分词环节,分词过程可逆(对归一化后的文本无损)。
一句话结论SentencePiece 是一个语言无关、端到端的分词工具,同一个框架支持 BPE 和 Unigram 两种算法后端,T5、ALBERT、XLNet 和 LLaMA 系模型都用它训练分词器。
关键词
SentencePiece预分词▁ U+2581可逆分词字符覆盖率

  前面三节讲算法时,有一个前提被跳过了:BPE 和 Unigram 的经典实现都假设输入已经预分词,切成词之后才轮到子词合并。对英文这一步几乎免费,对中文、日文这类没有空格的语言,「先切词」本身就是难题。SentencePiece 去掉了这个独立的预分词环节。本节沿「问题 → 设计 → 生态 → 对比」的顺序展开:

  1. 预分词:一个被默认的隐藏假设(2.4.1):无空格语言不适用、空白信息丢失,两个硬伤摆上台面;
  2. 核心设计:把空格变成普通字符(2.4.2):空格转义为 ▁(U+2581),与其他字符平等参与切分,换来完全可逆;
  3. 一个工具,两种算法后端(2.4.3):BPE 与 Unigram 共存于同一框架,换后端只换参数;
  4. 谁在用 SentencePiece(2.4.4):T5、ALBERT、XLNet、LLaMA 的实际配置一览;
  5. 与 tiktoken 的另一条工程路线(2.4.5):取消预分词对字节兜底,两种工程哲学逐项对照;
  6. 图示:两条处理路线对比(2.4.6):一张图并排看传统路线与 SentencePiece 路线的差别;
  7. 小结与去向(2.4.7):SentencePiece 的贡献在工程抽象,不在算法创新。

  读完本节,你应该能判断一个分词需求该走哪条路线,也明白 LLaMA 系模型的分词器为什么都出自这套工具。

  图 1 标出 SentencePiece 在 LLM 链路中的位置,图 2 展示它的训练流程。

原创示意图 · 非论文原图 原始文本: 「我爱中国」 (输入起点) 分词器: 切成 token ID 序列 (本节内容) Embedding 层: 查表:ID → 词向量 (3.1 节) 位置编码: 注入「第几格」 (3.2–3.5 节) Transformer 层: 注意力与前馈 ×N (第 4 章) 输出投影: 算各 token 的概率 (第 4 章) 采样: 吐出下一个 token (第 12 章) 生成的新 token 接回输入,继续循环(自回归,第 12 章) 实线框:输入起点 虚线框:后续章节
图 1:分词器在 LLM 前向链路中的位置。它是整条链路的第一站:原始文本在这里被切成 token ID(本章),再经 Embedding 查表(3.1 节)、注入位置信息(3.2–3.5 节)进入 Transformer 层(第 4 章),最后算出概率、采样出下一个 token(第 12 章)并接回输入循环。本节不动算法本身,讲的是这一站的工程框架:SentencePiece 把 BPE 和 Unigram 装进同一套无预分词的流水线。

  这个紫框放大之后,分词器是怎么被训练出来的?把 SentencePiece 的训练流程单独拆开看:

原创示意图 · 非论文原图 局部放大:SentencePiece 的训练流程(以 BPE 后端为例) 输入:原始文本语料(任意语言的字符流);输出:训练好的词表(条数 = vocab_size) 第 1 步:收集原始语料,不做预分词 Hello world 我爱中国 …(中文、英文任意语言,统统当字符流,不按空格切词) 第 2 步:空格转义为 ▁(U+2581) ▁Hello▁world ▁我爱中国 ← ▁ 与其他字符地位平等,一起参与后续合并 第 3 步:迭代合并(BPE 后端,与 2.2 节同一算法) a. 初始词表 = 全部单字符(含 ▁) b. 每轮统计语料中相邻片段对的频次,把最高频的一对合并成新 token 收进词表 c. 重复 b,直到词表达到目标大小 vocab_size 输出:词表(示意条目:▁He、llo、▁world、我、爱、中国 …) Unigram 后端共用同一套字符流框架,改走大词表向下剪枝(2.3 节);LLaMA 用 BPE 后端,词表 32000
图 2:SentencePiece 训练分词器的完整流程(BPE 后端为例)。语料不做任何预分词,空格统一转义成 ▁ 后与所有字符平等地参与迭代合并,直到词表达到 vocab_size;Unigram 后端共享同一套字符流框架,只是构造方向换成从大候选词表向下剪枝(2.3 节)。整条流程没有任何语言相关规则,任意语言的原始文本走同一条流水线。

2.4.1 预分词:一个被默认的隐藏假设

  前两节讲 BPE 和 Unigram 时,有一个细节被悄悄跳过了:这些算法的经典实现并不是直接对原始文本运行的,它们假设输入已经按某种规则预分词(pre-tokenization)——对英文通常是按空格和标点切开,或者走 Moses 这类机器翻译界的标准分词器。切出来的每个词再独立地做子词切分,合并操作不允许跨越词边界。

  这个假设带来两个实际麻烦:

  • 对无空格语言不友好。中文、日文、泰文的文字是连续书写的,没有空格标出词边界。“先按空格切词”对它们根本不成立,必须额外接一个语言相关的分词模块(比如中文要用 jieba 这类工具先切词),而这个模块本身的错误会带进下游。
  • 预分词往往不可逆。Moses 这类经典预分词会丢弃原始的空白信息:两个空格被压成一个、制表符和换行的区别被抹掉,分词之后再想还原原文已经做不到了。对代码、格式化文本这类空白本身就携带信息的场景,这是实打实的数据损失。(GPT-2 的正则预切只切段、不丢字符,仍然可逆,属于例外,2.4.5 节详述。)

  注意:预分词不是一个无害的工程细节,它把“什么是词”这个语言学判断硬塞进了分词器,而这个判断对很多语言要么不成立、要么代价高昂。SentencePiece 的出发点就是把这个环节整个拿掉。

2.4.2 核心设计:把空格变成普通字符

  SentencePiece 的做法朴素而彻底:不做任何预分词,直接把输入当作原始 Unicode 字符流。唯一需要处理的问题是空格——空格在子词算法里本来承担“词边界”的角色,拿掉预分词后,这个角色得换个方式表达。

  它的答案是把空格转义成一个普通可见字符 ▁(U+2581,LOWER ONE EIGHTH BLOCK)。转义之后,空格和其他字符地位完全平等,一起进入 BPE 或 Unigram 的训练与切分流程。例如句子 Hello world 会先变成:

原始文本:  Hello world
转义后:    ▁Hello▁world
切分示例:  [▁He][llo][▁world]      # 示意,实际结果取决于词表

  每个以 ▁ 开头的 token 天然标记了“这里原本有一个空格”,词边界信息没有丢,只是换了一种编码方式。

可逆分词(Lossless Tokenization) detokenize 能还原(归一化后的)原文

由于空白被逐个转义成 ▁ 保留在 token 序列里,SentencePiece 的分词是可逆的:把 token 序列拼起来、把 ▁ 换回空格,就能还原出原文,连续多个空格的数量和位置都不会丢。严格说,论文承诺的 lossless tokenization 针对的是归一化后的文本:默认配置先做 Unicode NFKC 归一化,且制表符、换行与空格被统一转义为 ▁,所以「这里原本是制表符还是空格」这类差别依然保不住。可逆无损是 SentencePiece 论文明确提出的设计目标,只是它的适用范围比字面看起来更窄一点。

2.4.3 一个工具,两种算法后端

  SentencePiece 不是一种新的切分算法,而是一个训练与切分的工程框架。它在同一个工具里实现了两种子词算法后端,训练时通过参数选择:

BPE 后端

2.2 节讲过的合并式算法:从字符出发,按频次贪心合并,直到词表大小达标。LLaMA 系模型选择这一路。

Unigram 后端

2.3 节讲过的概率式算法:从大词表出发,按语言模型损失逐条删减。T5、ALBERT、XLNet 选择这一路。

  除算法外,训练时还有两个常用配置项值得记住:

  • 词表大小(vocab_size):词表包含多少个子词,主流模型在数万量级。词表越大平均序列越短,但 Embedding 层参数越多,权衡逻辑见 2.2 节。
  • 字符覆盖率(character_coverage):词表要覆盖训练语料中多大比例的字符,默认 0.9995。没被覆盖的极端罕见字符不进词表,切分时退化为 byte 或未知符号处理,避免长尾字符把词表撑得过大。

  整个流程不需要任何语言相关的规则:不分中英文、不看空格、不依赖 Moses 或 jieba。给它任何语言的原始文本,它用同一套流程训练出分词器。这正是“SentencePiece”这个名字的含义——输入是句子(sentence),输出是片段(piece),中间不需要先知道“词”在哪里。

2.4.4 谁在用 SentencePiece

  SentencePiece 由 Kudo 与 Richardson 在 2018 年发布(EMNLP 系统演示论文),Google 开源。此后它成了许多代表性模型的分词器训练工具:

模型算法后端说明
T5UnigramGoogle 的 text-to-text 统一框架模型
ALBERTUnigramBERT 的轻量化改进版
XLNetUnigram排列语言模型,论文中明确使用 SentencePiece
LLaMA 系BPE词表大小 32000,开源大模型的事实标准之一

  LLaMA 的选择值得一提:Touvron 等人 2023 年的 LLaMA 论文明确写道,分词器用 SentencePiece 的 BPE 后端训练,词表大小 32000。此后 LLaMA 系及其衍生模型沿用这一配置,SentencePiece 也成了开源社区训练自定义分词器的默认工具之一。

2.4.5 与 tiktoken 的另一条工程路线

  GPT 系模型走了另一条路。GPT-2 的分词器(后来封装为 OpenAI 的 tiktoken 库)不用 SentencePiece,而是采用 byte-level BPE:先把文本按 UTF-8 编码成字节序列,在字节级别上做 BPE,这样任何字符都能落到 256 个基础字节上,天然没有 OOV。但注意,byte-level 解决的是“字符覆盖面”问题,并没有取消预分词——GPT-2 仍然先用一段正则表达式把文本预切成若干片段(单词、数字、标点各自成段),合并不允许跨越这些片段边界,比如字母和标点不会合并成同一个 token。

  先用一个玩具词表把步骤拆开。假设词级分词器的词表只有 10 条:我、爱、你、猫、狗、吃、跑、的、了、吗。现在输入句子「我爱龙」——「龙」是词表外的第 11 个词。词级分词器的处理步骤:

  1. 逐词查词表:「我」命中,「爱」命中,「龙」查无此条;
  2. 词表外内容无处可去,输出 UNK 占位符:我 | 爱 | UNK;
  3. 代价:模型只知道「这里有个不认识的词」,永远不知道它是「龙」——信息已经丢失。

  同一句话交给 byte-level BPE 分词器。它的词表 = 256 个字节符号 + 训练学到的合并词条,假设「我」「爱」已被合并成整词条,「龙」没有:

  1. 先把整句按 UTF-8 编码成字节:我 = E6 88 91,爱 = E7 88 B1,龙 = E9 BE 99。这步只查编码表,不查词表,任何字符都编得出;
  2. 在字节序列上查词表:「我」「爱」有整词条,直接各占 1 个 token;「龙」没有整词条;
  3. 退回保底:拆成单字节 E9 | BE | 99,三个字节都在 256 个基础符号里,各自命中;
  4. 最终输出:我 | 爱 | E9 | BE | 99,共 5 个 token。序列变长了,但「龙」的三个字节完整保留,一个比特都没丢。

  对比两种结局:词级方案里「词表没有」就是终点,只能给 UNK;byte-level 方案里「词表没有整词条」不是终点,往下还有字节这层保底。OOV 被消灭的真正原因就一条——字节只有 256 种,词表收齐它们一劳永逸,而全世界的文字无论多生僻,UTF-8 编码后都落在这 256 种之内。

  玩具例子看清了机制,再看真实词表里的同款情形。假设输入里出现生僻字龘(U+9F98),词表里没有这个词条:

  第一步,UTF-8 编码把龘变成 3 个字节:E9 BE 98。这一步发生在分词之前,与词表无关——任何字符按 UTF-8 规则都能算出自己的字节序列,生僻与否不影响。

  第二步,分词器在字节层面做 BPE。基础词表固定收齐全部 256 个字节符号,E9、BE、98 各自都在词表里。训练时如果语料里 E9+BE 高频共现(很多汉字的编码以它们开头),会合并出词条 E9BE,这时龘切出 2 个 token;没有这条合并就退回 3 个单字节 token。两种结果都合法,区别只是序列长短。

  对照词级分词器:词表没收龘,只能输出 UNK 占位符,这个字到底是什么就彻底丢了。字节兜底的本质是——合并词条是捷径,单字节是保底;捷径可以没有,保底永远在,所以任何输入都拆得开。

  注释:把 256 个字节想成 26 个英文字母。词典没收某个生僻词,照样能用字母逐个拼出来;字节级词表保证 256 个「字母」永远在场,合并词条只是省时拼法,删掉它保底拼法还在。

维度SentencePiece 路线byte-level + tiktoken 路线
输入视角原始 Unicode 字符流UTF-8 字节序列
预分词完全不需要需要,用正则按类别预切片段
空格处理转义为普通字符 ▁,参与合并通常并入后随单词(如 Ġworld),由正则规则决定
跨片段合并无此概念(没有片段边界)禁止,字母与标点不互相合并
可逆性可逆(对归一化后的文本无损)可逆(字节级天然无损)
代表用户T5、ALBERT、XLNet、LLaMAGPT-2 及之后的 GPT 系

  两条路线都解决了 OOV 问题,分歧只在工程哲学:SentencePiece 选择“取消预分词,把一切交给字符流”,tiktoken 选择“保留预分词,但把兜底粒度降到字节”。实践中两者都被大规模验证过,选哪个更多取决于生态与训练管线习惯。

2.4.6 图示:两条处理路线对比

  图 3 把传统预分词路线和 SentencePiece 路线并排画出,注意左侧多出来的“按空格切词”环节,以及右侧空格转义后与其他字符平等参与切分的方式:

原创示意图 · 非论文原图 传统路线:先预分词 原始文本:I love NLP 按空格切词(预分词) I | love | NLP ← 中文无空格可用 词内做子词切分 合并不许跨词边界 空白信息已丢失 无法逐字节还原原文 SentencePiece:直接字符流 原始文本:I love NLP 空格转义为 ▁(U+2581) ▁I▁love▁NLP ← 与语言无关 整流做子词切分(BPE/Unigram) ▁ 与其他字符平等参与合并 空白完整保留在 token 中 detokenize 可逆无损
图 3:传统路线先做语言相关的预分词,空白信息在此丢失;SentencePiece 把空格转义为 ▁ 后直接对字符流切分,全程无预分词且可逆。

2.4.7 小结与去向

  SentencePiece 的贡献不在算法创新,而在工程抽象:它把“分词”这件事从语言相关的预处理中解放出来,变成对任意语言都成立的字符流处理,并用 ▁ 转义保住了可逆性。一个框架同时支持 BPE 与 Unigram,也让模型作者可以只换参数、不换工具。至此第 2 章的主流算法与工具都讲完了,后面几节会看分词在多语言、代码等场景下的实际表现与代价。

🧭本节要点回顾
BPE / Unigram 的经典实现所依赖的预分词有什么问题?
两个硬伤:一是假设文本能按空格或语言规则切成词,对中文、日文、泰文等无空格语言不成立,得额外接语言相关的分词模块;二是经典预分词往往不可逆,原始空白信息(多空格、制表符等)被丢弃,无法还原原文。
▁(U+2581)这个符号解决了什么?
它把空格从特殊的“词边界标记”转义成一个普通字符,与其他字符平等参与子词合并。词边界信息被保留在 token 内部,于是预分词环节可以整个取消,且 detokenize 能还原文本(对归一化后的文本无损)。
为什么 LLaMA 选 BPE 后端而 T5 选 Unigram 后端?
两者算法路线不同:BPE 是确定性的贪心合并,实现简单、切分稳定;Unigram 是概率模型,支持对同一段文本采样多种切分,训练时能起到正则化作用。这是模型作者的工程偏好,没有绝对优劣,SentencePiece 的价值正在于同一框架同时支持两者,换后端只需换参数。

参考来源

  • Kudo & Richardson, 2018. SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing(EMNLP System Demonstrations,arXiv:1808.06226)。无预分词设计、▁ 转义、可逆性与双算法后端均出自该文。
  • SentencePiece GitHub 仓库(google/sentencepiece):训练参数 vocab_size、character_coverage(默认 0.9995)等配置项以仓库文档为准。
  • Touvron et al., 2023. LLaMA: Open and Efficient Foundation Language Models(arXiv:2302.13971):使用 SentencePiece BPE 后端、词表 32000 出自该文。
  • Radford et al., 2019. Language Models are Unsupervised Multitask Learners(GPT-2 报告):byte-level BPE 与正则预切片段路线的出处。