2.5 词表与特殊 Token

本页范围:第 2 章第 5 节 | 整理时间:2026-09-22

快速浏览

核心问题词表应该建多大?词表里除了普通 token,为什么还有一批不对应任何文字的“特殊 token”?
本节主张词表大小是一场参数量与序列长度的交换;特殊 token 是词表里的“控制字符”,负责标记句首句尾、补齐对齐、承载对话结构,是分词器与模型协作的暗号。
一句话结论词表越大序列越短但 Embedding 越重,主流 LLM 词表在 3 万到 25 万之间;用错特殊 token 或对话模板,是微调与推理中最常见的低级 bug。
关键词
词表大小EmbeddingBOS / EOS / PADChat TemplateChatML

  前四节解决了怎么切、词表怎么学,本节回答两个更实际的问题。一是词表到底收多少个 token 合适,这背后是参数量与序列长度的一笔账;二是打开任何一个词表都会看到一批不对应任何文字的条目,比如 <|begin_of_text|>、[PAD],它们不承载内容,却是训练与推理正常运转的暗号。三个小节依次展开:

  1. 词表大小的权衡(2.5.1):词表像字典,收词越多序列越短,但 Embedding 层越重,主流模型的取值摆在一起看;
  2. 特殊 Token:词表里的控制字符(2.5.2):BOS、EOS、PAD、UNK、MASK 各司其职,其中 EOS 是生成过程的刹车;
  3. Chat Template:把对话拼成一段文本(2.5.3):多轮对话靠特殊 token 拼成单串,模板用错是最常见的低级 bug。

  读完本节,应能计算词表的参数量,识别常见特殊 token,并说明对话模板中各标记的作用。

  图 1 标出词表在 LLM 链路中的位置,图 2 展示词表的内部结构,后续各节再讨论词表大小、特殊 token 与对话模板。

原创示意图 · 非论文原图 原始文本: 「我爱中国」 (输入起点) 分词器: 切成 token ID 序列 (本节内容) Embedding 层: 查表:ID → 词向量 (3.1 节) 位置编码: 注入「第几格」 (3.2–3.5 节) Transformer 层: 注意力与前馈 ×N (第 4 章) 输出投影: 算各 token 的概率 (第 4 章) 采样: 吐出下一个 token (第 12 章) 生成的新 token 接回输入,继续循环(自回归,第 12 章) 实线框:输入起点 虚线框:后续章节
图 1:分词器在 LLM 前向链路中的位置。它是整条链路的第一站:原始文本在这里被切成 token ID(本章),Embedding 按 ID 查表(3.1 节)、注入位置信息(3.2–3.5 节),进入 Transformer 层(第 4 章),最后算出概率并采样出下一个 token(第 12 章),新 token 接回输入循环。本节拆开这一站的核心资产——词表:它该收多少条、特殊 token 这些控制字符各司什么职。

  这个紫框的核心资产是词表,它放大之后长什么样?6400 条内容是怎么分布的?把 minimind 的词表单独拆开看:

原创示意图 · 非论文原图 局部放大:minimind 词表解剖——6400 条,分普通区与特殊区 分词器按这张表做「token ↔ ID」互查;每个 ID 同时是 Embedding 矩阵的行号 普通 token 区:ID 36–6399(6364 条) 36 "!"(标点) 100 "a"(单字符兜底) 463 我(汉字) 1405 中国(常用词组整块) 6170 hello(英文整词) ⋮ 汉字、英文整词与碎片、标点、数字、 带空格的组合(如 Ġworld = 1707)…… 子词算法在语料上学出来的产出物 (2.2–2.4 节) 特殊 token 区:ID 0–35(36 条) 0 → <|endoftext|>(EOS:生成刹车) 1 → <|im_start|> 2 → <|im_end|>(ChatML 角色标记) 3–35 → 视觉 / 音频 / 工具调用 / 思考等保留位 每个 ID = Embedding 的一行 矩阵 6400 × 768 ≈ 491 万参数 词表膨胀的代价(2.5.1) 特殊 token = 控制信号 不对应任何真实文字 BOS 句首 / EOS 停止 / PAD 补齐 EOS 是生成过程的刹车(2.5.2) ChatML 对话标记 <|im_start|> + 角色名开场 <|im_end|> 一轮收尾 拼多轮对话(2.5.3)
图 2:minimind 词表(6400 条,ID 0–6399)的解剖。普通 token 区占 6364 条,是子词算法在语料上学出的汉字、词组、英文整词与碎片、标点等;特殊 token 区占头部 36 条,不对应真实文字,是训练与推理的控制信号:0 号 <|endoftext|> 是 EOS,1、2 号 <|im_start|>、<|im_end|> 是 ChatML 对话标记(2.5.3 节),其余为视觉、音频、工具调用等保留位。每个 ID 同时是 Embedding 矩阵的行号,6400 行 × 768 列,约 491 万参数(2.5.1 节)。

2.5.1 词表大小的权衡

  前面几节讲了怎么切分,这一节回答一个更实际的问题:词表里到底收多少个 token 才算合适?先给直觉:词表像一本字典。字典收词越多,查任何一句话用的词条越少,每个词条的含义也越完整;但字典本身更厚,印字典、搬字典的成本更高。词表的权衡完全同理。

大词表的好处

  • 序列更短:同一个词更可能整体命中一个词表条目,不必拆成碎片,同样一段文本切出来的 token 数更少,训练和推理都更省;
  • 语义单元更完整:常见词、常用汉字词组整体成为一个 token,模型不必从碎片里拼词义,学习负担更小;
  • 多语言覆盖更好:词表大了,才有余量给中文、日文、阿拉伯文等语言的常见片段分配独立条目,避免非英语文本被切得过碎。

大词表的代价:Embedding 层膨胀

  词表里的每个 token 都要在 Embedding 层占一行向量(第 3 章详述)。词表有 \(V\) 个条目、模型维度为 \(d_{\text{model}}\) 时,仅 Embedding 层就要占用:

  先把两个概念说清楚。词表就是一张“token 到编号”的对照表,形如 'import' -> 2851、'Ġreleased' -> 4113,minimind 的词表共 6400 条。Embedding 层是一张大矩阵,行数等于词表条数,列数等于模型维度,每一行是若干浮点数,这一行就是那个 token 的向量表示。查表动作很直白:拿编号当行号取那一行,输入 2851 就取第 2851 行的 768 个数。所以“每个 token 占一行”是字面意思,词表 6400 条,矩阵就是 6400 行。同一维度下(以 768 列计)对照:

词表矩阵规模Embedding 参数
minimind 64006400 × 768约 491 万
GPT-2 5025750257 × 768约 3859 万
o200k 200019200019 × 768约 1.54 亿

  同一套模型结构,只把词表从 6400 换成 20 万,Embedding 参数就从 491 万涨到 1.54 亿,这就是“词表膨胀”的代价。

\[ N_{\text{embed}} = V \times d_{\text{model}} \tag{1} \]
公式 (1):Embedding 层参数量 = 词表大小 × 模型维度。词表每翻一倍,这层参数就翻一倍。

  代入一组真实数字感受一下:取 \(V = 32000\)(LLaMA 的词表规模)、\(d_{\text{model}} = 4096\),则

\[ N_{\text{embed}} = 32000 \times 4096 = 131\,072\,000 \approx 1.31 \text{ 亿} \tag{2} \]
公式 (2):仅 Embedding 一层就是 1.31 亿参数。对 7B 级模型来说,词表相关参数已是不可忽略的一块。

  这还没完。模型每生成一个 token,输出层都要对整个词表算一次 softmax(把一组打分归一化成概率分布),从 \(V\) 个候选里挑一个。这一步的计算量随词表大小线性增长,词表翻倍,每步解码的开销也跟着涨。小词表则恰好反过来:Embedding 轻、输出便宜,但序列被拉长,语义被打碎。

主流模型的词表规模

模型 / 分词器词表大小说明
GPT-250257byte-level BPE,2019 年的代表性规模
LLaMA32000SentencePiece(BPE),词表偏小,多语言文本切得偏碎
OpenAI cl100k_base100277GPT-3.5 / GPT-4 使用的分词器
OpenAI o200k_base200019GPT-4o 使用的分词器,非英语语言明显受益
Qwen2.5约 15 万面向多语言的大词表,中文覆盖充分

  从 GPT-2 的 5 万到 o200k_base 的 20 万,主流词表的整体趋势是越来越大。背后的驱动力有两个:一是模型本身变大,Embedding 多占的参数相对不再显眼;二是多语言与代码场景要求更完整的语义单元。词表大小没有标准答案,它是模型设计者在序列长度与参数量之间做的一次显式交换。

2.5.2 特殊 Token:词表里的控制字符

  打开任何一个主流分词器的词表,都会发现里面有一批条目不对应任何真实文字:<|begin_of_text|>、<|end_of_text|>、[PAD] 之类。它们是特殊 token(special token),作用类似电报里的控制信号:不承载内容,负责告诉模型“这段话从哪开始、到哪结束、哪里是占位”。

BOS(Begin of Sequence)

句首标记。放在每条训练样本的最前面,告诉模型“一段新文本从这里开始”。

EOS(End of Sequence)

句尾标记。训练时标在样本末尾,推理时模型一旦生成它,解码器就停止。

PAD(Padding)

补齐占位。一个 batch 里的句子长短不一,短的用 PAD 补到同样长度,便于并行计算。

UNK(Unknown)

未登录词占位。遇到词表外的内容时兜底;byte-level 分词器已能做到任何文本都有表示,不再需要它。

MASK

掩码占位。BERT 类模型的掩码训练专用:盖住原词,让模型根据上下文猜回来。GPT 类生成模型一般不用。

训练与推理中的角色

  这批控制信号在训练和推理两个阶段各司其职。训练时,BOS 划清样本边界,EOS 教会模型“话说到这里就该收尾”,PAD 让长短不一的句子能装进同一个 batch 并行计算,算 loss 时再把 PAD 位置忽略掉。推理时,EOS 是停止信号。模型是自回归的,理论上可以无限往下生成,只有看到 EOS(或达到长度上限)才停止。解码策略与停止条件的完整讨论在第 12 章。

EOS(句尾标记) End of Sequence = 告诉解码器“到这里停止”

训练语料里每段文本的末尾都会放上 EOS,模型在这个过程中学会“内容讲完就该输出 EOS”。推理时解码器逐个生成 token,一旦模型吐出 EOS,就停止生成、把已有内容返回给用户。如果模型没学会在合适的位置输出 EOS,就会喋喋不休地说下去,直到撞上长度上限被强行截断。

2.5.3 Chat Template:把对话拼成一段文本

  语言模型本身只处理 token 序列,聊天产品还需要表示多轮对话和 system 提示词。为此,可以定义一批特殊 token 作为角色与轮次的分隔标记,按固定格式把整段对话拼成一条字符串,这套格式就叫 Chat Template(对话模板)。

  以 ChatML 风格为例(OpenAI 提出、Qwen 等系列沿用),一轮对话拼出来长这样:

<|im_start|>system
你是一个有帮助的助手。<|im_end|>
<|im_start|>user
什么是 BPE?<|im_end|>
<|im_start|>assistant

  <|im_start|> 后面紧跟角色名(system / user / assistant),<|im_end|> 标记这一轮发言结束。推理时拼到最后一行的 <|im_start|>assistant 为止,让模型接着往下写,写到 <|im_end|>(它同时也是 EOS)就停。

  LLaMA-3 用的是另一套标记,格式不同、思路相同:

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

你是一个有帮助的助手。<|eot_id|><|start_header_id|>user<|end_header_id|>

什么是 BPE?<|eot_id|><|start_header_id|>assistant<|end_header_id|>

  <|begin_of_text|> 相当于 BOS,<|start_header_id|> 与 <|end_header_id|> 包住角色名,<|eot_id|> 标记一轮结束。模型在微调时见过成千上万条按这个格式拼好的样本,于是学会了只在 assistant 段落里生成回答、说完就输出结束标记。

  注意:微调或推理时用错模板是常见 bug:训练用 ChatML、推理却按 LLaMA-3 格式拼,或者漏了结尾的 assistant 起始标记,模型就会答非所问、把用户的下一句也编出来,或者干脆不会停止。模板必须与模型训练时见过的格式严格一致,一个字符都不能差。稳妥做法是直接使用分词器自带的 apply_chat_template 接口,不要手工拼字符串。

  Chat Template 的本质是一次“协议约定”:特殊 token 本身没有魔力,是训练数据里成千上万次按同一格式出现,让模型把这套标记和“角色”“轮次”“该谁说话”绑定在了一起。换一套模型没见过的标记,等于对它说了一门没学过的方言。

🧭本节要点回顾
词表做大做小,各自付出的代价是什么?
大词表换来序列更短、语义更完整、多语言覆盖更好,代价是 Embedding 层参数 \(V \times d_{\text{model}}\) 膨胀、输出层 softmax 开销随词表线性增长;小词表恰好相反。
EOS 为什么这么重要?
自回归模型本身没有停止机制,EOS 是它在训练中学到的停止信号。推理时模型生成 EOS 才停;没有它,生成会一路跑到长度上限被强行截断。它与第 12 章的解码停止条件直接相关。
Chat Template 的本质是什么?
一套把多轮对话拼成单串文本的格式协议:用特殊 token 标记角色与轮次边界。模型通过训练数据学会这套约定,用错模板就等于说错方言,会直接导致答非所问或不会停止。

参考来源

  • Radford et al., 2019. Language Models are Unsupervised Multitask Learners(GPT-2 技术报告,50257 词表与 byte-level BPE 的出处)。
  • Touvron et al., 2023. LLaMA: Open and Efficient Foundation Language Models(arXiv:2302.13971),32000 词表规模出自该文。
  • Qwen Team, 2024. Qwen2.5 Technical Report(arXiv:2412.15115),Qwen2.5 词表规模与 ChatML 风格模板的出处。
  • Hugging Face 文档:Chat Templates(https://huggingface.co/docs/transformers/main/chat_templating),模板拼接机制与 apply_chat_template 用法。