2.6 分词的实践与坑
本页范围:第 2 章第 6 节 | 整理时间:2026-09-22
原理讲完了,本节换个姿势:直接动手跑。OpenAI 开源的 tiktoken 三行代码就能看到任何文本的切分结果,本页所有数据都来自本机实测。围绕这些实测,本节把一批流传已久的「模型怪癖」逐个落到分词层面解释:
- 上手实测:用 tiktoken 数 token(2.6.1):三行代码跑通,cl100k_base 与 o200k_base 两套词表登场;
- 实测对照表:同一句话,不同命运(2.6.2):英文、中文、数字、emoji 在同一张表里对比 token 数;
- 数字切分与算术之坑(2.6.3):token 边界不按十进制数位对齐,这是算术翻车的分词层解释;
- 多语言的 token 溢价(2.6.4):同一句话 token 数不同,直接折算成 API 费用和上下文容量;
- Glitch Token:词表里的幽灵(2.6.5):词表里存在、模型却没训练过的 token 是怎么产生的;
- 空白与大小写:看不见的差异(2.6.6):一个空格之差,模型读到的就是另一个序列;
- 实践建议清单(2.6.7):五条可执行的避坑守则,收拢全节。
读完全节,「分词器和模型是两回事」这句话会落到实处。本节也是第 2 章的收尾,下一章进入 Embedding,看 token ID 如何变成向量。
图 1 标出分词器在 LLM 链路中的位置,图 2 用实测结果比较同一段文本切分后的序列长度。后面的问题都与这两张图对应。
这个紫框放大之后,真实文本进去会变成什么?拿 minimind 分词器实测三类输入,对比它们的输出:
2.6.1 上手实测:用 tiktoken 数 token
前面几节讲了 BPE、WordPiece、Unigram 的原理,这一节换个姿势:直接动手跑。OpenAI 开源的 tiktoken 是 GPT 系列模型官方分词器的 Python 实现,装好后三行代码就能看到任何一段文本的切分结果。本页所有实测数据均来自本机运行 tiktoken 0.12.0,读者可以原样复现。
import tiktoken
enc = tiktoken.get_encoding("cl100k_base")
enc.encode("Tokenization is fun.")
# [3404, 2065, 374, 2523, 13]
# 对应片段:['Token', 'ization', ' is', ' fun', '.']
把 ID 翻译回片段,能直观看到 2.1 节说的子词切分:Tokenization 被拆成 Token 和 ization,而 is、 fun 都带着前导空格——这是 BPE 词表的常见设计,单词连同它前面的空格合并成一个 token。句尾的句号单独占一个 token。
tiktoken 里内置了几套词表编码(encoding),与本手册关系最密切的两套是:cl100k_base,GPT-3.5 / GPT-4 时代使用的词表,容量 100277;o200k_base,GPT-4o 起启用的新词表,容量 200019,对多语言(含中文)做了明显优化。词表容量翻倍,收益主要体现在非英语文本的压缩率上,下文实测表会看到差距。
2.6.2 实测对照表:同一句话,不同命运
光说原理没感觉,把几类典型输入喂给分词器,结果一目了然:
| 输入文本 | 分词器 | token 数 | 切分结果 |
|---|---|---|---|
Tokenization is fun. | cl100k_base | 5 | ['Token','ization',' is',' fun','.'],ID [3404, 2065, 374, 2523, 13] |
分词是大语言模型的第一道工序。 | cl100k_base | 16 | 切得较碎,多个汉字被拆开 |
分词是大语言模型的第一道工序。 | o200k_base | 12 | 能整体识别 语言、模型、第一 等词组 |
我爱大语言模型 | cl100k_base | 8 | 平均每个汉字超过 1 个 token |
537 | cl100k_base | 1 | 整体一个 token,ID [19038] |
123456789 | cl100k_base | 3 | ['123','456','789'] |
1234567890 | cl100k_base | 4 | ['123','456','789','0'] |
🚀 发射! | cl100k_base | 7 | 仅 🚀 一个字符就占 3 个 token(注:🚀 的 UTF-8 编码是 4 字节 f0 9f 9a 80,cl100k 切成 f09f|9a|80 三段;o200k 词表多一条合并,只占 2 个) |
hello world(两个空格) | cl100k_base | 3 | ['hello',' ',' world'],双空格被拆成 ' ' + 带空格的 ' world' |
这张表值得逐行琢磨。英文一句话 5 个 token 干净利落;换成同信息量的中文,老词表要 16 个,新词表也要 12 个。数字的切法更是暗藏玄机,emoji 一个符号顶三个 token。下面几节把这些观察背后的坑逐个讲透。
2.6.3 数字切分与算术之坑
LLM 做算术经常翻车,这是出了名的现象。原因有很多,但分词层面的解释最经典:分词器切数字时不按十进制数位对齐。
看实测:123456789 被切成 123 / 456 / 789 三段,每段三位,看起来很整齐。但多加一位变成 1234567890,切分结果就成了 123 / 456 / 789 / 0——分段依然从左边三位三位地切,最后一位 0 孤零零落单。也就是说,token 边界和数位没有固定对应关系:同一个 789 片段,在九位数 123456789 里是百位、十位、个位那一段,在十位数 1234567890 里却变成了千位、百位、十位,对应的数位整体偏移了一位。
模型做加法时,列竖式要从个位开始逐位对齐、处理进位。人按数位对齐是天然的,因为数字符号本身逐位排列;而模型读到的是 123、456 这样的整块 token,它要先在内部把每个 token 拆回数位,再判断每个 token 跨了哪几位,进位时边界还可能正好卡在 token 中间。token 边界随数值长度漂移,模型就很难学出一个稳定的“个位对个位”的对齐模式。算术对位关系的输入表示不一致,是 LLM 算术能力弱的公认解释之一。
注意:一个反直觉的细节:537 恰好整体是一个 token(ID 19038),说明三位以内的常见数字组合在词表里大多有独立词条。麻烦出在更长数字的分段漂移上——位数一变,切分点对齐的数位就变了,模型看到的“数”不再以位为单位。
这个坑的启示不止于算术:凡是需要字符级精确操作的任务(数单词里有几个字母、字符串反转、校验码核对),分词都在给模型制造障碍,因为模型看到的根本不是字符。
2.6.4 多语言的 token 溢价
实测表里另一组对比同样醒目:同一句中文 分词是大语言模型的第一道工序。,cl100k_base 切出 16 个 token,o200k_base 只要 12 个;我爱大语言模型 七个字在 cl100k 下要 8 个 token,平均每个字超过一个。换成英文,常见词基本一词一个 token。
原因在于词表的训练语料构成。cl100k_base 的词表在英文占主导的语料上训练,收录了大量英文整词,而中文常用词组收录不全,很多汉字只能以单字甚至字节碎片的形式存在。o200k_base 把词表扩到约 20 万,并加强了对多语言的覆盖,所以能整体识别 语言、模型、第一 这类词组。
token 数不是抽象指标,它直接是钱和容量:
- API 计费按 token 走:同一份中文内容,用对中文不友好的词表,输入输出都更贵;
- 上下文窗口按 token 计:标称 128k 的窗口,装中文时实际能装下的字数比英文少一截;
- 训练成本同理:同样的语料切得越碎,训练要处理的序列就越长。
这种“说不同语言、付不同价钱”的现象,社区一般称为多语言的 token 溢价。选模型和词表时把它纳入评估,中文场景优先选 o200k 这类新词表的模型,是实打实的省钱手段。
2.6.5 Glitch Token:词表里的幽灵
词表容量 10 万、20 万,这些词条是怎么来的?由分词器在训练语料上跑 BPE 合并而来。这里埋着一个结构性隐患:训练分词器的语料,和训练模型的语料,不是同一份。
GPT-2 时代的词表里混进了一批整串的罕见字符串,典型例子是 Reddit 用户名 SolidGoldMagikarp。这个用户名在分词器训练语料里反复出现,BPE 就把它整体合并成了一个 token;但它几乎不在模型训练语料里出现,于是这个 token 对应的 embedding 接近初始化后的随机状态,没被正经训练过。把这样的字符串输入模型,模型会给出语无伦次、复读、乱码等异常反应。这是 Rumbelow 与 Watkins 在 2023 年一系列调查博客中系统披露的现象。
glitch token 是一场历史事故,它提醒我们:分词器和模型是两个独立训练的部件,词表里有某个 token,不代表模型认识它。新一代模型在构建词表与清洗语料时已经注意到这个问题,但“分词语料与模型语料一致性”至今仍是分词器工程的检查项。
2.6.6 空白与大小写:看不见的差异
对人是同一个词,对分词器未必是同一个 token。实测表最后一行:hello world(两个空格)被切成 ['hello',' ',' world']——一个空格单独成 token,另一个空格跟 world 合并。空格在 BPE 词表里是切分的参与者,不是可有可无的留白。
类似的,hello、 hello(带前导空格)、Hello(首字母大写)是三个不同的 token。这带来几个实际后果:
- 同一个词出现在句首(常大写、无前导空格)和句中(小写、带前导空格),模型读到的是不同 ID,它要自己学会这些变体语义相通;
- 行首缩进、尾部空格、换行符都会改变 token 序列。给模型喂 prompt 时多敲一个尾部空格,输入就不一样了;
- 做 prompt 模板拼接时,模板与变量之间的空格归属(空格留在模板尾巴还是变量开头)会影响切分,值得留意。
一个自查习惯:怀疑模型“莫名其妙”表现异常时,先把实际输入丢进 tiktoken 数一遍。尾部空格、全角半角混用、不可见字符,都能在这步现形。
2.6.7 实践建议清单
把本节的坑收拢成一份可执行的清单:
- 训练与推理必须用同一个分词器。词表不同,同一文本的 ID 序列就不同,换分词器等于换了模型的输入语言,模型直接读不懂。
- 估算成本先用 tiktoken 数 token。不要按字符数或词数估算 API 费用和上下文占用,中文场景尤其会估偏。
- 处理中文优先选 o200k 类新词表。同一句话 16 个 token 与 12 个 token 的差距,规模化之后就是真金白银。
- 注意尾部空格与换行。它们是 token 的一部分,拼 prompt、做数据清洗时都要当回事。
- 对算术和字符级任务保持警惕。需要精确计算时让模型借助工具(代码执行),需要字符操作时考虑显式拆字符的提示技巧,别指望模型越过分词直接看到字符。
至此,第 2 章关于分词的讨论收尾:从为什么分词、怎么分,到用什么工具分、实践里有哪些坑。分词器的输出是 token ID 序列,下一章要回答的问题是:这些整数 ID 如何变成模型能计算的向量——Embedding 与位置编码登场。
123456789 切成 123/456/789,多一位就变成 123/456/789/0,token 边界随数值位数漂移,模型难以学到稳定的逐位对齐与进位模式,这是 LLM 算术差的经典原因之一。参考来源
- OpenAI tiktoken GitHub 仓库(分词器实现与 cl100k_base / o200k_base 词表说明):https://github.com/openai/tiktoken。
- OpenAI Cookbook:How to count tokens with tiktoken(token 计数与成本估算官方指南)。
- Rumbelow & Watkins, 2023. SolidGoldMagikarp 系列调查博客(glitch token 现象的系统性披露与分析)。
- 本页全部实测数据(token 数、ID 序列、切分片段、词表容量 100277 / 200019)来自本机 Python + tiktoken 0.12.0 真实运行,读者可照 2.6.1 节代码复现。