2.6 分词的实践与坑

本页范围:第 2 章第 6 节 | 整理时间:2026-09-22

快速浏览

核心问题分词器学完原理之后,真正动手用会遇到什么?为什么同一个模型做不对算术、中文比英文贵、某些字符串会让模型行为异常?
本节主张分词器不是透明的管道,它的切分习惯会渗透进模型的能力与成本。用 tiktoken 亲手数一遍 token,很多流传已久的“模型怪癖”都能落到分词层面解释。
一句话结论数字不按数位切、中文在老词表里更碎、空白和大小写都是不同 token、词表里还沉睡着没人训练过的 glitch token——这些坑都源于分词器与模型是两回事。
关键词
tiktokencl100k_baseo200k_baseGlitch Token多语言溢价数字切分

  原理讲完了,本节换个姿势:直接动手跑。OpenAI 开源的 tiktoken 三行代码就能看到任何文本的切分结果,本页所有数据都来自本机实测。围绕这些实测,本节把一批流传已久的「模型怪癖」逐个落到分词层面解释:

  1. 上手实测:用 tiktoken 数 token(2.6.1):三行代码跑通,cl100k_base 与 o200k_base 两套词表登场;
  2. 实测对照表:同一句话,不同命运(2.6.2):英文、中文、数字、emoji 在同一张表里对比 token 数;
  3. 数字切分与算术之坑(2.6.3):token 边界不按十进制数位对齐,这是算术翻车的分词层解释;
  4. 多语言的 token 溢价(2.6.4):同一句话 token 数不同,直接折算成 API 费用和上下文容量;
  5. Glitch Token:词表里的幽灵(2.6.5):词表里存在、模型却没训练过的 token 是怎么产生的;
  6. 空白与大小写:看不见的差异(2.6.6):一个空格之差,模型读到的就是另一个序列;
  7. 实践建议清单(2.6.7):五条可执行的避坑守则,收拢全节。

  读完全节,「分词器和模型是两回事」这句话会落到实处。本节也是第 2 章的收尾,下一章进入 Embedding,看 token ID 如何变成向量。

  图 1 标出分词器在 LLM 链路中的位置,图 2 用实测结果比较同一段文本切分后的序列长度。后面的问题都与这两张图对应。

原创示意图 · 非论文原图 原始文本: 「我爱中国」 (输入起点) 分词器: 切成 token ID 序列 (本节内容) Embedding 层: 查表:ID → 词向量 (3.1 节) 位置编码: 注入「第几格」 (3.2–3.5 节) Transformer 层: 注意力与前馈 ×N (第 4 章) 输出投影: 算各 token 的概率 (第 4 章) 采样: 吐出下一个 token (第 12 章) 生成的新 token 接回输入,继续循环(自回归,第 12 章) 实线框:输入起点 虚线框:后续章节
图 1:分词器在 LLM 前向链路中的位置。它是整条链路的第一站:原始文本在这里被切成 token ID(本章),再经 Embedding 查表(3.1 节)、注入位置信息(3.2–3.5 节)进入 Transformer 层(第 4 章),最后算出概率、采样出下一个 token(第 12 章)并接回输入循环。本节站在这一站做实测:同一个分词器面对不同语言与符号,切出的序列长度差异巨大,这些差异随后会折算成成本与能力。

  这个紫框放大之后,真实文本进去会变成什么?拿 minimind 分词器实测三类输入,对比它们的输出:

原创示意图 · 非论文原图 局部放大:minimind 分词器实测——同一分词器,三种输入三种命运 输入:三类文本(中文 / 英文 / emoji);输出:各自的 token ID 序列(词表 6400) 中文 「我爱中国」 我 爱 中国 3 个 token [463, 2043, 1405] 常用汉字与词组各自成整块,最省 token 英文 Tokenization is fun. To k en ization Ġis Ġf un . 8 个 token [1671, 110, 327, 4070, 395, 341, 651, 49] 6400 的小词表收录英文有限,单词被拆成碎片(对照:cl100k_base 同句 5 个 token,2.6.2 节) emoji 🚀 f0 9f 9a 80 3 个 token [4544, 284, 258] 词表外的 emoji 退回字节碎片:🚀 的 UTF-8 编码是 f0 9f 9a 80 共 4 字节,被切成 3 段 同一个分词器:输入一段文本,输出一串 token ID;输出长度随语言与符号类型差异悬殊 token 数随后折算成训练成本、API 费用与上下文容量(2.6.4 节)
图 2:minimind 分词器(BPE,词表 6400)对三类输入的实测结果。中文「我爱中国」切出 3 个 token,常用汉字与词组各自成块;英文 Tokenization is fun. 切出 8 个 token,小词表收录英文有限,单词被拆成 To | k | en | ization 这类碎片(对照:cl100k_base 同句只要 5 个 token,见 2.6.2 节);emoji 🚀 在词表里没有整块,退回字节碎片,4 个 UTF-8 字节切成 3 段。输入同为一段文本,输出的 token 数却相差数倍,这个差值随后会折算成训练成本、API 费用与上下文容量(2.6.4 节)。

2.6.1 上手实测:用 tiktoken 数 token

  前面几节讲了 BPE、WordPiece、Unigram 的原理,这一节换个姿势:直接动手跑。OpenAI 开源的 tiktoken 是 GPT 系列模型官方分词器的 Python 实现,装好后三行代码就能看到任何一段文本的切分结果。本页所有实测数据均来自本机运行 tiktoken 0.12.0,读者可以原样复现。

import tiktoken

enc = tiktoken.get_encoding("cl100k_base")
enc.encode("Tokenization is fun.")
# [3404, 2065, 374, 2523, 13]
# 对应片段:['Token', 'ization', ' is', ' fun', '.']

  把 ID 翻译回片段,能直观看到 2.1 节说的子词切分:Tokenization 被拆成 Token 和 ization,而 is、 fun 都带着前导空格——这是 BPE 词表的常见设计,单词连同它前面的空格合并成一个 token。句尾的句号单独占一个 token。

tiktoken OpenAI 官方的 BPE 分词器库,Rust 实现内核 + Python 接口

tiktoken 里内置了几套词表编码(encoding),与本手册关系最密切的两套是:cl100k_base,GPT-3.5 / GPT-4 时代使用的词表,容量 100277;o200k_base,GPT-4o 起启用的新词表,容量 200019,对多语言(含中文)做了明显优化。词表容量翻倍,收益主要体现在非英语文本的压缩率上,下文实测表会看到差距。

2.6.2 实测对照表:同一句话,不同命运

  光说原理没感觉,把几类典型输入喂给分词器,结果一目了然:

输入文本分词器token 数切分结果
Tokenization is fun.cl100k_base5['Token','ization',' is',' fun','.'],ID [3404, 2065, 374, 2523, 13]
分词是大语言模型的第一道工序。cl100k_base16切得较碎,多个汉字被拆开
分词是大语言模型的第一道工序。o200k_base12能整体识别 语言、模型、第一 等词组
我爱大语言模型cl100k_base8平均每个汉字超过 1 个 token
537cl100k_base1整体一个 token,ID [19038]
123456789cl100k_base3['123','456','789']
1234567890cl100k_base4['123','456','789','0']
🚀 发射!cl100k_base7仅 🚀 一个字符就占 3 个 token(注:🚀 的 UTF-8 编码是 4 字节 f0 9f 9a 80,cl100k 切成 f09f|9a|80 三段;o200k 词表多一条合并,只占 2 个)
hello world(两个空格)cl100k_base3['hello',' ',' world'],双空格被拆成 ' ' + 带空格的 ' world'

  这张表值得逐行琢磨。英文一句话 5 个 token 干净利落;换成同信息量的中文,老词表要 16 个,新词表也要 12 个。数字的切法更是暗藏玄机,emoji 一个符号顶三个 token。下面几节把这些观察背后的坑逐个讲透。

2.6.3 数字切分与算术之坑

  LLM 做算术经常翻车,这是出了名的现象。原因有很多,但分词层面的解释最经典:分词器切数字时不按十进制数位对齐。

  看实测:123456789 被切成 123 / 456 / 789 三段,每段三位,看起来很整齐。但多加一位变成 1234567890,切分结果就成了 123 / 456 / 789 / 0——分段依然从左边三位三位地切,最后一位 0 孤零零落单。也就是说,token 边界和数位没有固定对应关系:同一个 789 片段,在九位数 123456789 里是百位、十位、个位那一段,在十位数 1234567890 里却变成了千位、百位、十位,对应的数位整体偏移了一位。

  模型做加法时,列竖式要从个位开始逐位对齐、处理进位。人按数位对齐是天然的,因为数字符号本身逐位排列;而模型读到的是 123、456 这样的整块 token,它要先在内部把每个 token 拆回数位,再判断每个 token 跨了哪几位,进位时边界还可能正好卡在 token 中间。token 边界随数值长度漂移,模型就很难学出一个稳定的“个位对个位”的对齐模式。算术对位关系的输入表示不一致,是 LLM 算术能力弱的公认解释之一。

  注意:一个反直觉的细节:537 恰好整体是一个 token(ID 19038),说明三位以内的常见数字组合在词表里大多有独立词条。麻烦出在更长数字的分段漂移上——位数一变,切分点对齐的数位就变了,模型看到的“数”不再以位为单位。

  这个坑的启示不止于算术:凡是需要字符级精确操作的任务(数单词里有几个字母、字符串反转、校验码核对),分词都在给模型制造障碍,因为模型看到的根本不是字符。

2.6.4 多语言的 token 溢价

  实测表里另一组对比同样醒目:同一句中文 分词是大语言模型的第一道工序。,cl100k_base 切出 16 个 token,o200k_base 只要 12 个;我爱大语言模型 七个字在 cl100k 下要 8 个 token,平均每个字超过一个。换成英文,常见词基本一词一个 token。

  原因在于词表的训练语料构成。cl100k_base 的词表在英文占主导的语料上训练,收录了大量英文整词,而中文常用词组收录不全,很多汉字只能以单字甚至字节碎片的形式存在。o200k_base 把词表扩到约 20 万,并加强了对多语言的覆盖,所以能整体识别 语言、模型、第一 这类词组。

  token 数不是抽象指标,它直接是钱和容量:

  • API 计费按 token 走:同一份中文内容,用对中文不友好的词表,输入输出都更贵;
  • 上下文窗口按 token 计:标称 128k 的窗口,装中文时实际能装下的字数比英文少一截;
  • 训练成本同理:同样的语料切得越碎,训练要处理的序列就越长。

  这种“说不同语言、付不同价钱”的现象,社区一般称为多语言的 token 溢价。选模型和词表时把它纳入评估,中文场景优先选 o200k 这类新词表的模型,是实打实的省钱手段。

2.6.5 Glitch Token:词表里的幽灵

  词表容量 10 万、20 万,这些词条是怎么来的?由分词器在训练语料上跑 BPE 合并而来。这里埋着一个结构性隐患:训练分词器的语料,和训练模型的语料,不是同一份。

Glitch Token(异常 token) glitch token = 词表里存在、但模型几乎没训练过的 token

GPT-2 时代的词表里混进了一批整串的罕见字符串,典型例子是 Reddit 用户名 SolidGoldMagikarp。这个用户名在分词器训练语料里反复出现,BPE 就把它整体合并成了一个 token;但它几乎不在模型训练语料里出现,于是这个 token 对应的 embedding 接近初始化后的随机状态,没被正经训练过。把这样的字符串输入模型,模型会给出语无伦次、复读、乱码等异常反应。这是 Rumbelow 与 Watkins 在 2023 年一系列调查博客中系统披露的现象。

  glitch token 是一场历史事故,它提醒我们:分词器和模型是两个独立训练的部件,词表里有某个 token,不代表模型认识它。新一代模型在构建词表与清洗语料时已经注意到这个问题,但“分词语料与模型语料一致性”至今仍是分词器工程的检查项。

2.6.6 空白与大小写:看不见的差异

  对人是同一个词,对分词器未必是同一个 token。实测表最后一行:hello world(两个空格)被切成 ['hello',' ',' world']——一个空格单独成 token,另一个空格跟 world 合并。空格在 BPE 词表里是切分的参与者,不是可有可无的留白。

  类似的,hello、 hello(带前导空格)、Hello(首字母大写)是三个不同的 token。这带来几个实际后果:

  • 同一个词出现在句首(常大写、无前导空格)和句中(小写、带前导空格),模型读到的是不同 ID,它要自己学会这些变体语义相通;
  • 行首缩进、尾部空格、换行符都会改变 token 序列。给模型喂 prompt 时多敲一个尾部空格,输入就不一样了;
  • 做 prompt 模板拼接时,模板与变量之间的空格归属(空格留在模板尾巴还是变量开头)会影响切分,值得留意。

  一个自查习惯:怀疑模型“莫名其妙”表现异常时,先把实际输入丢进 tiktoken 数一遍。尾部空格、全角半角混用、不可见字符,都能在这步现形。

2.6.7 实践建议清单

  把本节的坑收拢成一份可执行的清单:

  1. 训练与推理必须用同一个分词器。词表不同,同一文本的 ID 序列就不同,换分词器等于换了模型的输入语言,模型直接读不懂。
  2. 估算成本先用 tiktoken 数 token。不要按字符数或词数估算 API 费用和上下文占用,中文场景尤其会估偏。
  3. 处理中文优先选 o200k 类新词表。同一句话 16 个 token 与 12 个 token 的差距,规模化之后就是真金白银。
  4. 注意尾部空格与换行。它们是 token 的一部分,拼 prompt、做数据清洗时都要当回事。
  5. 对算术和字符级任务保持警惕。需要精确计算时让模型借助工具(代码执行),需要字符操作时考虑显式拆字符的提示技巧,别指望模型越过分词直接看到字符。

  至此,第 2 章关于分词的讨论收尾:从为什么分词、怎么分,到用什么工具分、实践里有哪些坑。分词器的输出是 token ID 序列,下一章要回答的问题是:这些整数 ID 如何变成模型能计算的向量——Embedding 与位置编码登场。

🧭本节要点回顾
为什么数字切分会影响模型做算术?
分词不按十进制数位对齐:123456789 切成 123/456/789,多一位就变成 123/456/789/0,token 边界随数值位数漂移,模型难以学到稳定的逐位对齐与进位模式,这是 LLM 算术差的经典原因之一。
多语言的 token 溢价指什么?
同一句话在不同语言下 token 数不同。老词表(cl100k)对中文收录不全,一句话要 16 个 token,新词表(o200k)只要 12 个。API 按 token 计费、上下文按 token 计容量,分词效率直接折算成钱和可用上下文。
glitch token 是怎么产生的?
分词器训练语料与模型训练语料不一致:某字符串(如 Reddit 用户名 SolidGoldMagikarp)在分词器语料里高频出现、被 BPE 整体收进词表,但在模型语料里几乎不出现,其 embedding 近乎随机、未经训练,输入它就会让模型行为异常。

参考来源

  • OpenAI tiktoken GitHub 仓库(分词器实现与 cl100k_base / o200k_base 词表说明):https://github.com/openai/tiktoken。
  • OpenAI Cookbook:How to count tokens with tiktoken(token 计数与成本估算官方指南)。
  • Rumbelow & Watkins, 2023. SolidGoldMagikarp 系列调查博客(glitch token 现象的系统性披露与分析)。
  • 本页全部实测数据(token 数、ID 序列、切分片段、词表容量 100277 / 200019)来自本机 Python + tiktoken 0.12.0 真实运行,读者可照 2.6.1 节代码复现。