2.4 SentencePiece:扔掉预分词的分词工具
本页范围:第 2 章第 4 节 | 整理时间:2026-09-22
前面三节讲算法时,有一个前提被跳过了:BPE 和 Unigram 的经典实现都假设输入已经预分词,切成词之后才轮到子词合并。对英文这一步几乎免费,对中文、日文这类没有空格的语言,「先切词」本身就是难题。SentencePiece 去掉了这个独立的预分词环节。本节沿「问题 → 设计 → 生态 → 对比」的顺序展开:
- 预分词:一个被默认的隐藏假设(2.4.1):无空格语言不适用、空白信息丢失,两个硬伤摆上台面;
- 核心设计:把空格变成普通字符(2.4.2):空格转义为 ▁(U+2581),与其他字符平等参与切分,换来完全可逆;
- 一个工具,两种算法后端(2.4.3):BPE 与 Unigram 共存于同一框架,换后端只换参数;
- 谁在用 SentencePiece(2.4.4):T5、ALBERT、XLNet、LLaMA 的实际配置一览;
- 与 tiktoken 的另一条工程路线(2.4.5):取消预分词对字节兜底,两种工程哲学逐项对照;
- 图示:两条处理路线对比(2.4.6):一张图并排看传统路线与 SentencePiece 路线的差别;
- 小结与去向(2.4.7):SentencePiece 的贡献在工程抽象,不在算法创新。
读完本节,你应该能判断一个分词需求该走哪条路线,也明白 LLaMA 系模型的分词器为什么都出自这套工具。
图 1 标出 SentencePiece 在 LLM 链路中的位置,图 2 展示它的训练流程。
这个紫框放大之后,分词器是怎么被训练出来的?把 SentencePiece 的训练流程单独拆开看:
2.4.1 预分词:一个被默认的隐藏假设
前两节讲 BPE 和 Unigram 时,有一个细节被悄悄跳过了:这些算法的经典实现并不是直接对原始文本运行的,它们假设输入已经按某种规则预分词(pre-tokenization)——对英文通常是按空格和标点切开,或者走 Moses 这类机器翻译界的标准分词器。切出来的每个词再独立地做子词切分,合并操作不允许跨越词边界。
这个假设带来两个实际麻烦:
- 对无空格语言不友好。中文、日文、泰文的文字是连续书写的,没有空格标出词边界。“先按空格切词”对它们根本不成立,必须额外接一个语言相关的分词模块(比如中文要用 jieba 这类工具先切词),而这个模块本身的错误会带进下游。
- 预分词往往不可逆。Moses 这类经典预分词会丢弃原始的空白信息:两个空格被压成一个、制表符和换行的区别被抹掉,分词之后再想还原原文已经做不到了。对代码、格式化文本这类空白本身就携带信息的场景,这是实打实的数据损失。(GPT-2 的正则预切只切段、不丢字符,仍然可逆,属于例外,2.4.5 节详述。)
注意:预分词不是一个无害的工程细节,它把“什么是词”这个语言学判断硬塞进了分词器,而这个判断对很多语言要么不成立、要么代价高昂。SentencePiece 的出发点就是把这个环节整个拿掉。
2.4.2 核心设计:把空格变成普通字符
SentencePiece 的做法朴素而彻底:不做任何预分词,直接把输入当作原始 Unicode 字符流。唯一需要处理的问题是空格——空格在子词算法里本来承担“词边界”的角色,拿掉预分词后,这个角色得换个方式表达。
它的答案是把空格转义成一个普通可见字符 ▁(U+2581,LOWER ONE EIGHTH BLOCK)。转义之后,空格和其他字符地位完全平等,一起进入 BPE 或 Unigram 的训练与切分流程。例如句子 Hello world 会先变成:
原始文本: Hello world
转义后: ▁Hello▁world
切分示例: [▁He][llo][▁world] # 示意,实际结果取决于词表
每个以 ▁ 开头的 token 天然标记了“这里原本有一个空格”,词边界信息没有丢,只是换了一种编码方式。
由于空白被逐个转义成 ▁ 保留在 token 序列里,SentencePiece 的分词是可逆的:把 token 序列拼起来、把 ▁ 换回空格,就能还原出原文,连续多个空格的数量和位置都不会丢。严格说,论文承诺的 lossless tokenization 针对的是归一化后的文本:默认配置先做 Unicode NFKC 归一化,且制表符、换行与空格被统一转义为 ▁,所以「这里原本是制表符还是空格」这类差别依然保不住。可逆无损是 SentencePiece 论文明确提出的设计目标,只是它的适用范围比字面看起来更窄一点。
2.4.3 一个工具,两种算法后端
SentencePiece 不是一种新的切分算法,而是一个训练与切分的工程框架。它在同一个工具里实现了两种子词算法后端,训练时通过参数选择:
BPE 后端
2.2 节讲过的合并式算法:从字符出发,按频次贪心合并,直到词表大小达标。LLaMA 系模型选择这一路。
Unigram 后端
2.3 节讲过的概率式算法:从大词表出发,按语言模型损失逐条删减。T5、ALBERT、XLNet 选择这一路。
除算法外,训练时还有两个常用配置项值得记住:
- 词表大小(
vocab_size):词表包含多少个子词,主流模型在数万量级。词表越大平均序列越短,但 Embedding 层参数越多,权衡逻辑见 2.2 节。 - 字符覆盖率(
character_coverage):词表要覆盖训练语料中多大比例的字符,默认0.9995。没被覆盖的极端罕见字符不进词表,切分时退化为 byte 或未知符号处理,避免长尾字符把词表撑得过大。
整个流程不需要任何语言相关的规则:不分中英文、不看空格、不依赖 Moses 或 jieba。给它任何语言的原始文本,它用同一套流程训练出分词器。这正是“SentencePiece”这个名字的含义——输入是句子(sentence),输出是片段(piece),中间不需要先知道“词”在哪里。
2.4.4 谁在用 SentencePiece
SentencePiece 由 Kudo 与 Richardson 在 2018 年发布(EMNLP 系统演示论文),Google 开源。此后它成了许多代表性模型的分词器训练工具:
| 模型 | 算法后端 | 说明 |
|---|---|---|
| T5 | Unigram | Google 的 text-to-text 统一框架模型 |
| ALBERT | Unigram | BERT 的轻量化改进版 |
| XLNet | Unigram | 排列语言模型,论文中明确使用 SentencePiece |
| LLaMA 系 | BPE | 词表大小 32000,开源大模型的事实标准之一 |
LLaMA 的选择值得一提:Touvron 等人 2023 年的 LLaMA 论文明确写道,分词器用 SentencePiece 的 BPE 后端训练,词表大小 32000。此后 LLaMA 系及其衍生模型沿用这一配置,SentencePiece 也成了开源社区训练自定义分词器的默认工具之一。
2.4.5 与 tiktoken 的另一条工程路线
GPT 系模型走了另一条路。GPT-2 的分词器(后来封装为 OpenAI 的 tiktoken 库)不用 SentencePiece,而是采用 byte-level BPE:先把文本按 UTF-8 编码成字节序列,在字节级别上做 BPE,这样任何字符都能落到 256 个基础字节上,天然没有 OOV。但注意,byte-level 解决的是“字符覆盖面”问题,并没有取消预分词——GPT-2 仍然先用一段正则表达式把文本预切成若干片段(单词、数字、标点各自成段),合并不允许跨越这些片段边界,比如字母和标点不会合并成同一个 token。
先用一个玩具词表把步骤拆开。假设词级分词器的词表只有 10 条:我、爱、你、猫、狗、吃、跑、的、了、吗。现在输入句子「我爱龙」——「龙」是词表外的第 11 个词。词级分词器的处理步骤:
- 逐词查词表:「我」命中,「爱」命中,「龙」查无此条;
- 词表外内容无处可去,输出 UNK 占位符:
我 | 爱 | UNK; - 代价:模型只知道「这里有个不认识的词」,永远不知道它是「龙」——信息已经丢失。
同一句话交给 byte-level BPE 分词器。它的词表 = 256 个字节符号 + 训练学到的合并词条,假设「我」「爱」已被合并成整词条,「龙」没有:
- 先把整句按 UTF-8 编码成字节:
我 = E6 88 91,爱 = E7 88 B1,龙 = E9 BE 99。这步只查编码表,不查词表,任何字符都编得出; - 在字节序列上查词表:「我」「爱」有整词条,直接各占 1 个 token;「龙」没有整词条;
- 退回保底:拆成单字节
E9 | BE | 99,三个字节都在 256 个基础符号里,各自命中; - 最终输出:
我 | 爱 | E9 | BE | 99,共 5 个 token。序列变长了,但「龙」的三个字节完整保留,一个比特都没丢。
对比两种结局:词级方案里「词表没有」就是终点,只能给 UNK;byte-level 方案里「词表没有整词条」不是终点,往下还有字节这层保底。OOV 被消灭的真正原因就一条——字节只有 256 种,词表收齐它们一劳永逸,而全世界的文字无论多生僻,UTF-8 编码后都落在这 256 种之内。
玩具例子看清了机制,再看真实词表里的同款情形。假设输入里出现生僻字龘(U+9F98),词表里没有这个词条:
第一步,UTF-8 编码把龘变成 3 个字节:E9 BE 98。这一步发生在分词之前,与词表无关——任何字符按 UTF-8 规则都能算出自己的字节序列,生僻与否不影响。
第二步,分词器在字节层面做 BPE。基础词表固定收齐全部 256 个字节符号,E9、BE、98 各自都在词表里。训练时如果语料里 E9+BE 高频共现(很多汉字的编码以它们开头),会合并出词条 E9BE,这时龘切出 2 个 token;没有这条合并就退回 3 个单字节 token。两种结果都合法,区别只是序列长短。
对照词级分词器:词表没收龘,只能输出 UNK 占位符,这个字到底是什么就彻底丢了。字节兜底的本质是——合并词条是捷径,单字节是保底;捷径可以没有,保底永远在,所以任何输入都拆得开。
注释:把 256 个字节想成 26 个英文字母。词典没收某个生僻词,照样能用字母逐个拼出来;字节级词表保证 256 个「字母」永远在场,合并词条只是省时拼法,删掉它保底拼法还在。
| 维度 | SentencePiece 路线 | byte-level + tiktoken 路线 |
|---|---|---|
| 输入视角 | 原始 Unicode 字符流 | UTF-8 字节序列 |
| 预分词 | 完全不需要 | 需要,用正则按类别预切片段 |
| 空格处理 | 转义为普通字符 ▁,参与合并 | 通常并入后随单词(如 Ġworld),由正则规则决定 |
| 跨片段合并 | 无此概念(没有片段边界) | 禁止,字母与标点不互相合并 |
| 可逆性 | 可逆(对归一化后的文本无损) | 可逆(字节级天然无损) |
| 代表用户 | T5、ALBERT、XLNet、LLaMA | GPT-2 及之后的 GPT 系 |
两条路线都解决了 OOV 问题,分歧只在工程哲学:SentencePiece 选择“取消预分词,把一切交给字符流”,tiktoken 选择“保留预分词,但把兜底粒度降到字节”。实践中两者都被大规模验证过,选哪个更多取决于生态与训练管线习惯。
2.4.6 图示:两条处理路线对比
图 3 把传统预分词路线和 SentencePiece 路线并排画出,注意左侧多出来的“按空格切词”环节,以及右侧空格转义后与其他字符平等参与切分的方式:
2.4.7 小结与去向
SentencePiece 的贡献不在算法创新,而在工程抽象:它把“分词”这件事从语言相关的预处理中解放出来,变成对任意语言都成立的字符流处理,并用 ▁ 转义保住了可逆性。一个框架同时支持 BPE 与 Unigram,也让模型作者可以只换参数、不换工具。至此第 2 章的主流算法与工具都讲完了,后面几节会看分词在多语言、代码等场景下的实际表现与代价。
参考来源
- Kudo & Richardson, 2018. SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing(EMNLP System Demonstrations,arXiv:1808.06226)。无预分词设计、▁ 转义、可逆性与双算法后端均出自该文。
- SentencePiece GitHub 仓库(google/sentencepiece):训练参数 vocab_size、character_coverage(默认 0.9995)等配置项以仓库文档为准。
- Touvron et al., 2023. LLaMA: Open and Efficient Foundation Language Models(arXiv:2302.13971):使用 SentencePiece BPE 后端、词表 32000 出自该文。
- Radford et al., 2019. Language Models are Unsupervised Multitask Learners(GPT-2 报告):byte-level BPE 与正则预切片段路线的出处。