2.1 为什么需要分词

本页范围:第 2 章第 1 节 | 整理时间:2026-09-22

快速浏览

核心问题语言模型只认识数字,而人类给它的是文字。文字如何变成模型能处理的数字序列?
本节主张分词(Tokenization)是文本与模型之间的第一道翻译工序:把字符流切成一个个 token,再映射为整数 ID。切分的粒度直接决定模型的词表大小、序列长度与泛化能力。
一句话结论词级切分词表爆炸、字符级切分序列过长,现代 LLM 普遍采用两者折中的子词(subword)切分。
关键词
Token分词器OOV词表子词

  第 1 章备好了训练语料,但语料是文字,模型是数学函数,只认数字。从文字到数字之间隔着一道翻译工序,这就是本章的主题:分词。本节先把「为什么需要分词」这件事讲透,沿五个问题展开:

  1. 模型只认识数字(2.1.1):模型真正读到的输入是一串整数 ID,分词器负责「切分 + 编号」两步转换;
  2. 三种切分粒度:都不完美(2.1.2):词级、字符级、子词级同台对比,看前两条路各自卡在哪里;
  3. 中文的特殊处境(2.1.3):没有空格的中文为什么天然绕开词级切分;
  4. 分词为什么值得单独一章(2.1.4):训练成本、模型能力、API 计费,全都与切分方式挂钩。

  读完本节,应能说明三种切分粒度的局限,并了解后续三节分别讨论 BPE、WordPiece/Unigram 和 SentencePiece 的原因。

  图 1 标出分词在 LLM 链路中的位置,图 2 展示分词器的输入、处理步骤与输出。

原创示意图 · 非论文原图 原始文本: 「我爱中国」 (输入起点) 分词器: 切成 token ID 序列 (本节内容) Embedding 层: 查表:ID → 词向量 (3.1 节) 位置编码: 注入「第几格」 (3.2–3.5 节) Transformer 层: 注意力与前馈 ×N (第 4 章) 输出投影: 算各 token 的概率 (第 4 章) 采样: 吐出下一个 token (第 12 章) 生成的新 token 接回输入,继续循环(自回归,第 12 章) 实线框:输入起点 虚线框:后续章节
图 1:分词在 LLM 前向链路中的位置。它是整条链路的第一站:原始文本在这里被切成 token 并编上整数 ID(本章),随后 Embedding 查表换成词向量(3.1 节)、注入位置信息(3.2–3.5 节),进入 Transformer 层(第 4 章),最后算出各 token 的概率并采样出下一个(第 12 章),新 token 接回输入循环往复。虚线部分在对应章节展开,分词器是入口关卡,只管「文字 → token ID」这一步翻译。

  这个紫框放大之后长什么样?一段文本进去,出来的 ID 是怎么查出来的?把分词器单独拆开看:

原创示意图 · 非论文原图 局部放大:分词器——输入一段文本,输出一串 token ID 输入:一段字符串(例:「我爱中国」,4 个汉字;minimind 分词器实测) 「我爱中国」 第一步:切分——字符流切成 3 个 token(BPE,2.2 节) 我 爱 中国 第二步:查词表编号(minimind 词表共 6400 条,ID 0–6399) 第 463 行:「我」 第 1405 行:「中国」 ⋮(词表按 ID 排列,与句子顺序无关) 第 2043 行:「爱」 [463, 2043, 1405] 输出:3 个整数 ID(按句子顺序排列),送往 Embedding 层(3.1 节)
图 2:分词器内部的两步动作(minimind 分词器实测)。第一步切分:「我爱中国」切成 3 个 token;第二步查词表:每个 token 在 6400 条词表里查到自己的整数编号。词表按 ID 排列、与句子顺序无关(「爱」的编号反而最大),输出时按句子顺序给出 [463, 2043, 1405],这 3 个整数就是模型真正读到的输入,下一站交给 Embedding 层(3.1 节)。

2.1.1 模型只认识数字

  大语言模型是一个数学函数:输入一串数字,输出一串数字。它不认识汉字,也不认识英文字母。所以任何一段文字送进模型之前,必须先经过两步转换:

  1. 切分:把连续的字符流切成一个个离散单元,每个单元称为一个 token;
  2. 编号:查一张固定的对照表(词表 Vocabulary),把每个 token 换成它的整数编号(token ID)。

  模型实际读到的是类似 [15339, 1917, 0] 这样的整数序列。等到模型输出答案时,再按同一张词表把数字翻译回文字。分词器(Tokenizer)就是干这件事的部件,它是整个 LLM 流水线的第一道关卡。

Token(词元) token = 分词器切出来的最小处理单位

token 是模型眼中的最小语义积木。它不一定等于语言学上的词:常见单词可能整体是一个 token,罕见词会被拆成几个 token,标点、空格、数字也都各自占据 token。一个汉字在主流多语言模型里通常是 1 到 2 个 token。

2.1.2 三种切分粒度:都不完美

  切分粒度的选择是一个经典的权衡问题。以英文句子 Tokenization is fun. 为例(下面的切法为示意,不同分词器结果不同):

词级(Word-level)

["Tokenization", "is", "fun", "."]
4 个单元,语义完整,但词表要收录所有可能出现的词。

字符级(Char-level)

["T","o","k","e","n","i","z","a","t","i","o","n",...]
约 18 个单元,词表极小,但序列被拉得很长。

子词级(Subword)

["Token", "ization", "Ġis", "Ġfun", "."]
5 个单元,常见词保留整词,长词拆成有意义的片段。

  注释:Ġ 是空格的特殊标识,Ċ 是换行符的特殊标识(byte-level 分词器的字节映射约定)。

词级切分的问题:词表爆炸与 OOV

  如果按词切分,词表必须收录所有可能出现的词。英语的形态变化让这个词表急剧膨胀:look、looks、looked、looking 是 4 个不同的词条,再乘上几十万单词和各种拼写变体,词表动辄上百万。更麻烦的是,只要遇到一个词表没收的词,模型就不认识它。

OOV(未登录词) Out-of-Vocabulary = 词表之外的词

词级分词器遇到词表里没有的词(新词、人名、拼写错误、外语词),只能用一个特殊的 [UNK](Unknown)符号代替。这个代替是有损的:模型完全无法区分两个不同的未登录词,信息永久丢失。

字符级切分的问题:序列过长

  按字符切分就没有 OOV:任何词总能拆成字母。词表也极小,英文只需一百来个字符。但代价是序列长度爆炸:一个 10 字母的单词变成 10 个单元。对 Transformer 来说,注意力计算量随序列长度平方增长(第 4 章会讲),序列每拉长一倍,计算量翻两番。而且单个字符几乎不承载语义,模型要自己从字母拼出词义,学习负担更重。

子词切分:工程上的最优解

  子词(subword)切分在两者之间取折中:

  • 高频词保持完整,享受词级切分的语义完整性;
  • 低频词拆成更小的有意义片段,比如 unbelievable 拆成 un + believ + able,即使没见过这个词,模型也能从片段拼出大意;
  • 词表大小可控,主流 LLM 的词表在 3 万到 25 万之间;
  • 任何文本都能被表示,没有 OOV。

  子词切分让模型获得了一种“见字知意”的泛化能力:哪怕遇到训练时从未出现过的新词,只要它的片段在词表里,模型就能处理。这是 2016 年 Sennrich 等人把 BPE 引入神经机器翻译时解决的核心痛点。

2.1.3 中文的特殊处境

  中文没有空格,词边界本身就需要判断,“词级切分”对中文从一开始就不适用。好在子词算法大多不依赖空格(第 2.4 节的 SentencePiece 尤其如此),直接把汉字当字符流处理:常用汉字和词组各自成为 token,生僻字被拆开。这也是主流多语言模型里一个汉字通常占 1 个 token、生僻字占 2 个以上 token 的原因。分词不均带来的代价差异,留到 2.6 节细说。

2.1.4 分词为什么值得单独一章

  分词看起来只是预处理,实际影响贯穿模型的整个生命周期:

  • 训练成本:同样一段文本,切得越碎序列越长,训练要处理的 token 数就越多;
  • 模型能力:数字被切成 5、3、7 还是 537,直接影响模型做算术的表现;
  • 使用成本:API 按 token 计费,上下文窗口按 token 计数;
  • 多语言公平性:同一句话在不同语言下 token 数可能相差数倍。

  接下来三节逐一讲透主流的子词算法:2.2 节的 BPE 是当前 GPT 系模型的标准选择,2.3 节的 WordPiece 和 Unigram 是另外两条技术路线,2.4 节的 SentencePiece 是把它们工程化落地的代表工具。

🧭本节要点回顾
为什么模型不能直接把文字当输入?
模型是数学函数,只接受数字序列。分词器先把文本切成 token,再查词表映射成整数 ID,这才是模型真正读到的输入。
词级和字符级切分各自的致命伤是什么?
词级会让词表爆炸且无法处理未登录词(OOV),字符级会让序列长度爆炸、计算量平方级增长,且单字符不承载语义。
子词切分凭什么成为主流?
高频词保持完整、低频词拆成有意义片段,词表大小可控、无 OOV,还能让模型对没见过的词举一反三。

参考来源

  • Sennrich, Haddow & Birch, 2016. Neural Machine Translation of Rare Words with Subword Units(BPE 引入 NLP 的原始论文,arXiv:1508.07909),OOV 痛点与子词动机出自该文。
  • Hugging Face LLM Course, Chapter 6: Tokenization(三种粒度对比与词表权衡)。
  • Jurafsky & Martin, Speech and Language Processing (3rd ed. draft), Tokenization 章节(词级/字符级/子词粒度的经典论述)。
  • Radford et al., 2019. Language Models are Unsupervised Multitask Learners(GPT-2 报告,byte-level BPE 的出处,2.2 节详述)。