2.5 词表与特殊 Token
本页范围:第 2 章第 5 节 | 整理时间:2026-09-22
前四节解决了怎么切、词表怎么学,本节回答两个更实际的问题。一是词表到底收多少个 token 合适,这背后是参数量与序列长度的一笔账;二是打开任何一个词表都会看到一批不对应任何文字的条目,比如 <|begin_of_text|>、[PAD],它们不承载内容,却是训练与推理正常运转的暗号。三个小节依次展开:
- 词表大小的权衡(2.5.1):词表像字典,收词越多序列越短,但 Embedding 层越重,主流模型的取值摆在一起看;
- 特殊 Token:词表里的控制字符(2.5.2):BOS、EOS、PAD、UNK、MASK 各司其职,其中 EOS 是生成过程的刹车;
- Chat Template:把对话拼成一段文本(2.5.3):多轮对话靠特殊 token 拼成单串,模板用错是最常见的低级 bug。
读完本节,应能计算词表的参数量,识别常见特殊 token,并说明对话模板中各标记的作用。
图 1 标出词表在 LLM 链路中的位置,图 2 展示词表的内部结构,后续各节再讨论词表大小、特殊 token 与对话模板。
这个紫框的核心资产是词表,它放大之后长什么样?6400 条内容是怎么分布的?把 minimind 的词表单独拆开看:
2.5.1 词表大小的权衡
前面几节讲了怎么切分,这一节回答一个更实际的问题:词表里到底收多少个 token 才算合适?先给直觉:词表像一本字典。字典收词越多,查任何一句话用的词条越少,每个词条的含义也越完整;但字典本身更厚,印字典、搬字典的成本更高。词表的权衡完全同理。
大词表的好处
- 序列更短:同一个词更可能整体命中一个词表条目,不必拆成碎片,同样一段文本切出来的 token 数更少,训练和推理都更省;
- 语义单元更完整:常见词、常用汉字词组整体成为一个 token,模型不必从碎片里拼词义,学习负担更小;
- 多语言覆盖更好:词表大了,才有余量给中文、日文、阿拉伯文等语言的常见片段分配独立条目,避免非英语文本被切得过碎。
大词表的代价:Embedding 层膨胀
词表里的每个 token 都要在 Embedding 层占一行向量(第 3 章详述)。词表有 \(V\) 个条目、模型维度为 \(d_{\text{model}}\) 时,仅 Embedding 层就要占用:
先把两个概念说清楚。词表就是一张“token 到编号”的对照表,形如 'import' -> 2851、'Ġreleased' -> 4113,minimind 的词表共 6400 条。Embedding 层是一张大矩阵,行数等于词表条数,列数等于模型维度,每一行是若干浮点数,这一行就是那个 token 的向量表示。查表动作很直白:拿编号当行号取那一行,输入 2851 就取第 2851 行的 768 个数。所以“每个 token 占一行”是字面意思,词表 6400 条,矩阵就是 6400 行。同一维度下(以 768 列计)对照:
| 词表 | 矩阵规模 | Embedding 参数 |
|---|---|---|
| minimind 6400 | 6400 × 768 | 约 491 万 |
| GPT-2 50257 | 50257 × 768 | 约 3859 万 |
| o200k 200019 | 200019 × 768 | 约 1.54 亿 |
同一套模型结构,只把词表从 6400 换成 20 万,Embedding 参数就从 491 万涨到 1.54 亿,这就是“词表膨胀”的代价。
代入一组真实数字感受一下:取 \(V = 32000\)(LLaMA 的词表规模)、\(d_{\text{model}} = 4096\),则
这还没完。模型每生成一个 token,输出层都要对整个词表算一次 softmax(把一组打分归一化成概率分布),从 \(V\) 个候选里挑一个。这一步的计算量随词表大小线性增长,词表翻倍,每步解码的开销也跟着涨。小词表则恰好反过来:Embedding 轻、输出便宜,但序列被拉长,语义被打碎。
主流模型的词表规模
| 模型 / 分词器 | 词表大小 | 说明 |
|---|---|---|
| GPT-2 | 50257 | byte-level BPE,2019 年的代表性规模 |
| LLaMA | 32000 | SentencePiece(BPE),词表偏小,多语言文本切得偏碎 |
| OpenAI cl100k_base | 100277 | GPT-3.5 / GPT-4 使用的分词器 |
| OpenAI o200k_base | 200019 | GPT-4o 使用的分词器,非英语语言明显受益 |
| Qwen2.5 | 约 15 万 | 面向多语言的大词表,中文覆盖充分 |
从 GPT-2 的 5 万到 o200k_base 的 20 万,主流词表的整体趋势是越来越大。背后的驱动力有两个:一是模型本身变大,Embedding 多占的参数相对不再显眼;二是多语言与代码场景要求更完整的语义单元。词表大小没有标准答案,它是模型设计者在序列长度与参数量之间做的一次显式交换。
2.5.2 特殊 Token:词表里的控制字符
打开任何一个主流分词器的词表,都会发现里面有一批条目不对应任何真实文字:<|begin_of_text|>、<|end_of_text|>、[PAD] 之类。它们是特殊 token(special token),作用类似电报里的控制信号:不承载内容,负责告诉模型“这段话从哪开始、到哪结束、哪里是占位”。
BOS(Begin of Sequence)
句首标记。放在每条训练样本的最前面,告诉模型“一段新文本从这里开始”。
EOS(End of Sequence)
句尾标记。训练时标在样本末尾,推理时模型一旦生成它,解码器就停止。
PAD(Padding)
补齐占位。一个 batch 里的句子长短不一,短的用 PAD 补到同样长度,便于并行计算。
UNK(Unknown)
未登录词占位。遇到词表外的内容时兜底;byte-level 分词器已能做到任何文本都有表示,不再需要它。
MASK
掩码占位。BERT 类模型的掩码训练专用:盖住原词,让模型根据上下文猜回来。GPT 类生成模型一般不用。
训练与推理中的角色
这批控制信号在训练和推理两个阶段各司其职。训练时,BOS 划清样本边界,EOS 教会模型“话说到这里就该收尾”,PAD 让长短不一的句子能装进同一个 batch 并行计算,算 loss 时再把 PAD 位置忽略掉。推理时,EOS 是停止信号。模型是自回归的,理论上可以无限往下生成,只有看到 EOS(或达到长度上限)才停止。解码策略与停止条件的完整讨论在第 12 章。
训练语料里每段文本的末尾都会放上 EOS,模型在这个过程中学会“内容讲完就该输出 EOS”。推理时解码器逐个生成 token,一旦模型吐出 EOS,就停止生成、把已有内容返回给用户。如果模型没学会在合适的位置输出 EOS,就会喋喋不休地说下去,直到撞上长度上限被强行截断。
2.5.3 Chat Template:把对话拼成一段文本
语言模型本身只处理 token 序列,聊天产品还需要表示多轮对话和 system 提示词。为此,可以定义一批特殊 token 作为角色与轮次的分隔标记,按固定格式把整段对话拼成一条字符串,这套格式就叫 Chat Template(对话模板)。
以 ChatML 风格为例(OpenAI 提出、Qwen 等系列沿用),一轮对话拼出来长这样:
<|im_start|>system
你是一个有帮助的助手。<|im_end|>
<|im_start|>user
什么是 BPE?<|im_end|>
<|im_start|>assistant
<|im_start|> 后面紧跟角色名(system / user / assistant),<|im_end|> 标记这一轮发言结束。推理时拼到最后一行的 <|im_start|>assistant 为止,让模型接着往下写,写到 <|im_end|>(它同时也是 EOS)就停。
LLaMA-3 用的是另一套标记,格式不同、思路相同:
<|begin_of_text|><|start_header_id|>system<|end_header_id|>
你是一个有帮助的助手。<|eot_id|><|start_header_id|>user<|end_header_id|>
什么是 BPE?<|eot_id|><|start_header_id|>assistant<|end_header_id|>
<|begin_of_text|> 相当于 BOS,<|start_header_id|> 与 <|end_header_id|> 包住角色名,<|eot_id|> 标记一轮结束。模型在微调时见过成千上万条按这个格式拼好的样本,于是学会了只在 assistant 段落里生成回答、说完就输出结束标记。
注意:微调或推理时用错模板是常见 bug:训练用 ChatML、推理却按 LLaMA-3 格式拼,或者漏了结尾的 assistant 起始标记,模型就会答非所问、把用户的下一句也编出来,或者干脆不会停止。模板必须与模型训练时见过的格式严格一致,一个字符都不能差。稳妥做法是直接使用分词器自带的 apply_chat_template 接口,不要手工拼字符串。
Chat Template 的本质是一次“协议约定”:特殊 token 本身没有魔力,是训练数据里成千上万次按同一格式出现,让模型把这套标记和“角色”“轮次”“该谁说话”绑定在了一起。换一套模型没见过的标记,等于对它说了一门没学过的方言。
参考来源
- Radford et al., 2019. Language Models are Unsupervised Multitask Learners(GPT-2 技术报告,50257 词表与 byte-level BPE 的出处)。
- Touvron et al., 2023. LLaMA: Open and Efficient Foundation Language Models(arXiv:2302.13971),32000 词表规模出自该文。
- Qwen Team, 2024. Qwen2.5 Technical Report(arXiv:2412.15115),Qwen2.5 词表规模与 ChatML 风格模板的出处。
- Hugging Face 文档:Chat Templates(https://huggingface.co/docs/transformers/main/chat_templating),模板拼接机制与 apply_chat_template 用法。