2.1 为什么需要分词
本页范围:第 2 章第 1 节 | 整理时间:2026-09-22
第 1 章备好了训练语料,但语料是文字,模型是数学函数,只认数字。从文字到数字之间隔着一道翻译工序,这就是本章的主题:分词。本节先把「为什么需要分词」这件事讲透,沿五个问题展开:
- 模型只认识数字(2.1.1):模型真正读到的输入是一串整数 ID,分词器负责「切分 + 编号」两步转换;
- 三种切分粒度:都不完美(2.1.2):词级、字符级、子词级同台对比,看前两条路各自卡在哪里;
- 中文的特殊处境(2.1.3):没有空格的中文为什么天然绕开词级切分;
- 分词为什么值得单独一章(2.1.4):训练成本、模型能力、API 计费,全都与切分方式挂钩。
读完本节,应能说明三种切分粒度的局限,并了解后续三节分别讨论 BPE、WordPiece/Unigram 和 SentencePiece 的原因。
图 1 标出分词在 LLM 链路中的位置,图 2 展示分词器的输入、处理步骤与输出。
这个紫框放大之后长什么样?一段文本进去,出来的 ID 是怎么查出来的?把分词器单独拆开看:
2.1.1 模型只认识数字
大语言模型是一个数学函数:输入一串数字,输出一串数字。它不认识汉字,也不认识英文字母。所以任何一段文字送进模型之前,必须先经过两步转换:
- 切分:把连续的字符流切成一个个离散单元,每个单元称为一个 token;
- 编号:查一张固定的对照表(词表 Vocabulary),把每个 token 换成它的整数编号(token ID)。
模型实际读到的是类似 [15339, 1917, 0] 这样的整数序列。等到模型输出答案时,再按同一张词表把数字翻译回文字。分词器(Tokenizer)就是干这件事的部件,它是整个 LLM 流水线的第一道关卡。
token 是模型眼中的最小语义积木。它不一定等于语言学上的词:常见单词可能整体是一个 token,罕见词会被拆成几个 token,标点、空格、数字也都各自占据 token。一个汉字在主流多语言模型里通常是 1 到 2 个 token。
2.1.2 三种切分粒度:都不完美
切分粒度的选择是一个经典的权衡问题。以英文句子 Tokenization is fun. 为例(下面的切法为示意,不同分词器结果不同):
词级(Word-level)
["Tokenization", "is", "fun", "."]
4 个单元,语义完整,但词表要收录所有可能出现的词。
字符级(Char-level)
["T","o","k","e","n","i","z","a","t","i","o","n",...]
约 18 个单元,词表极小,但序列被拉得很长。
子词级(Subword)
["Token", "ization", "Ġis", "Ġfun", "."]
5 个单元,常见词保留整词,长词拆成有意义的片段。
注释:Ġ 是空格的特殊标识,Ċ 是换行符的特殊标识(byte-level 分词器的字节映射约定)。
词级切分的问题:词表爆炸与 OOV
如果按词切分,词表必须收录所有可能出现的词。英语的形态变化让这个词表急剧膨胀:look、looks、looked、looking 是 4 个不同的词条,再乘上几十万单词和各种拼写变体,词表动辄上百万。更麻烦的是,只要遇到一个词表没收的词,模型就不认识它。
词级分词器遇到词表里没有的词(新词、人名、拼写错误、外语词),只能用一个特殊的 [UNK](Unknown)符号代替。这个代替是有损的:模型完全无法区分两个不同的未登录词,信息永久丢失。
字符级切分的问题:序列过长
按字符切分就没有 OOV:任何词总能拆成字母。词表也极小,英文只需一百来个字符。但代价是序列长度爆炸:一个 10 字母的单词变成 10 个单元。对 Transformer 来说,注意力计算量随序列长度平方增长(第 4 章会讲),序列每拉长一倍,计算量翻两番。而且单个字符几乎不承载语义,模型要自己从字母拼出词义,学习负担更重。
子词切分:工程上的最优解
子词(subword)切分在两者之间取折中:
- 高频词保持完整,享受词级切分的语义完整性;
- 低频词拆成更小的有意义片段,比如
unbelievable拆成un + believ + able,即使没见过这个词,模型也能从片段拼出大意; - 词表大小可控,主流 LLM 的词表在 3 万到 25 万之间;
- 任何文本都能被表示,没有 OOV。
子词切分让模型获得了一种“见字知意”的泛化能力:哪怕遇到训练时从未出现过的新词,只要它的片段在词表里,模型就能处理。这是 2016 年 Sennrich 等人把 BPE 引入神经机器翻译时解决的核心痛点。
2.1.3 中文的特殊处境
中文没有空格,词边界本身就需要判断,“词级切分”对中文从一开始就不适用。好在子词算法大多不依赖空格(第 2.4 节的 SentencePiece 尤其如此),直接把汉字当字符流处理:常用汉字和词组各自成为 token,生僻字被拆开。这也是主流多语言模型里一个汉字通常占 1 个 token、生僻字占 2 个以上 token 的原因。分词不均带来的代价差异,留到 2.6 节细说。
2.1.4 分词为什么值得单独一章
分词看起来只是预处理,实际影响贯穿模型的整个生命周期:
- 训练成本:同样一段文本,切得越碎序列越长,训练要处理的 token 数就越多;
- 模型能力:数字被切成
5、3、7还是537,直接影响模型做算术的表现; - 使用成本:API 按 token 计费,上下文窗口按 token 计数;
- 多语言公平性:同一句话在不同语言下 token 数可能相差数倍。
接下来三节逐一讲透主流的子词算法:2.2 节的 BPE 是当前 GPT 系模型的标准选择,2.3 节的 WordPiece 和 Unigram 是另外两条技术路线,2.4 节的 SentencePiece 是把它们工程化落地的代表工具。
参考来源
- Sennrich, Haddow & Birch, 2016. Neural Machine Translation of Rare Words with Subword Units(BPE 引入 NLP 的原始论文,arXiv:1508.07909),OOV 痛点与子词动机出自该文。
- Hugging Face LLM Course, Chapter 6: Tokenization(三种粒度对比与词表权衡)。
- Jurafsky & Martin, Speech and Language Processing (3rd ed. draft), Tokenization 章节(词级/字符级/子词粒度的经典论述)。
- Radford et al., 2019. Language Models are Unsupervised Multitask Learners(GPT-2 报告,byte-level BPE 的出处,2.2 节详述)。