3.1 词向量:把 token 放进语义坐标系

本页范围:第 3 章第 1 节 | 整理时间:2026-09-28

快速浏览

核心问题token ID 只是编号,不携带任何语义。模型如何把编号变成“有意义的数字”,让语义相近的词在数学上也相近?
本节主张词向量把每个 token 映射为一个 d 维稠密向量,语义就此转化为空间几何:近即相似,差即关系。LLM 中这张映射表(Embedding 层)与整个网络一起端到端训练。
一句话结论Embedding 层本质是一张 \(V \times d\) 的可训练查找表,查表把 token ID 换成向量,语义几何是语言模型训练在这张表上留下的副产品。
关键词
one-hot分布式表示word2vecEmbedding 层权重共享

  本节要回答一个承上启下的问题:第 2 章把文本切成了 token ID,但 ID 只是编号,不携带语义。模型怎么把编号变成「有意义的数字」,让意思相近的词在数学上也相近?围绕这个问题,词的表示方法进化过三代,本节沿这条线逐个展开,每一代的缺点正是下一代的出发点:

  1. 从身份证到坐标:one-hot 的缺陷(3.1.1):最朴素的方案,能标识「我是谁」,但算不出任何语义关系,维度还随词表爆炸;
  2. 分布式表示:语义变成几何(3.1.2):word2vec 把语义变成空间几何,近即相似、差即关系,惊艳一时;但它要脱离模型单独训练,学到的还是一张静态的表;
  3. Embedding 层:一张可训练的巨型查找表(3.1.3):今天 LLM 的主流方案,词向量不再单独学,直接作为网络的第一层,和整个模型端到端一起训练;
  4. minimind 实例:6400 行 × 768 列(3.1.4):用真实配置把词表大小、维度、参数量落到实处。

  读完全节,你应该能说清一件事:为什么主流模型选择把词向量「长」在网络里,而不是用一张现成的表。

  图 1 标出 Embedding 在 LLM 链路中的位置,图 2 展示 token ID 查表并得到词向量的过程。

原创示意图 · 非论文原图 原始文本: 「我爱中国」 (输入起点) 分词器: 切成 token ID 序列 (第 2 章) Embedding 层: 查表:ID → 词向量 (本节内容) 位置编码: 注入“第几格” (3.2–3.5 节) Transformer 层: 注意力与前馈 ×N (第 4 章) 输出投影: 算各 token 的概率 (第 4 章) 采样: 吐出下一个 token (第 12 章) 生成的新 token 接回输入,继续循环(自回归,第 12 章) 实线框:第 2~3 章(含本节) 虚线框:后续章节展开
图 1:Embedding 层在 LLM 前向链路中的位置。文本经分词(第 2 章)变成 token ID,Embedding 查表换成词向量(本节),随后注入位置信息(3.2–3.5 节),进入 Transformer 层(第 4 章),最后算出各 token 的概率并采样出下一个(第 12 章),新 token 接回输入循环往复。虚线部分在对应章节展开,Embedding 是这条链路的第一站,只负责「这个词是谁」。

  图 1 中这个紫框放大之后长什么样?它的输入和输出各是什么形状?把 Embedding 单独拆开看:

原创示意图 · 非论文原图 局部放大:Embedding 层——输入 token ID,输出 3 × 768 嵌入矩阵 输入:3 个 token ID(minimind 分词器对「我爱中国」的实测输出) 「我」 ID = 463 「爱」 ID = 2043 「中国」 ID = 1405 第 463 行 =「我」的词向量 第 1405 行 =「中国」的词向量 第 2043 行 =「爱」的词向量 ⋮ ⋮ ⋮ … Embedding 矩阵:6400 行 × 768 列 每个 token 独占一行(一行是 768 个浮点数) 按 3 个 ID 取出 3 行,按句子顺序堆成一个矩阵 词向量矩阵:3 × 768 ⋯ ⋯ ⋯ 我 爱 中国 + 位置矩阵:3 × 768(3.2–3.5 节) ⋯ ⋯ ⋯ 第 0 格 第 1 格 第 2 格 = 最终嵌入矩阵:3 × 768(输出) ⋯ ⋯ ⋯ 我 爱 中国 送往 Transformer 第 1 层(第 4 章)
图 2:Embedding 层的输入与输出。输入是 minimind 分词器实测的 3 个 token ID(「中国」常见,切成一个整块);每个 ID 按行号查 Embedding 矩阵(6400 × 768),取出的 3 行按句子顺序堆成 3 × 768 的词向量矩阵,再与同样形状的位置矩阵逐元素相加,得到 3 × 768 的最终嵌入矩阵,送往 Transformer。注意矩阵里行号顺序与句子顺序无关,堆叠时才恢复句子顺序;位置矩阵在 3.2–3.5 节展开。

3.1.1 从身份证到坐标:one-hot 的缺陷

  第 2 章结束时,文本已经变成一串整数 ID。拿 minimind 的分词器实测,「我爱中国」被切成 3 个 token:[463, 2043, 1405],依次是「我」「爱」「中国」(「中国」常见,合成了一整块)。但整数编号本身不携带语义:编号 2043 和 2044 在数值上相邻,对应的 token 却可能风马牛不相及。模型需要一种更好的表示,让“意思相近的词,表示也相近”。

  最朴素的方案是 one-hot(独热)表示:词表有 \(V\) 个词,就给每个词一个 \(V\) 维向量,属于它的那一位是 1,其余全是 0。词表有 5 万个词,每个词就是一个 5 万维的向量。

one-hot 独热表示 one-hot = 只有一位是 1、其余全为 0 的向量

词表中第 \(i\) 个词的 one-hot 向量,第 \(i\) 位是 1,其余 \(V-1\) 位全是 0。它能做的只有一件事:标识“我是第 \(i\) 个词”。

  这种身份证式表示有两个硬伤:

  • 算不出相似度:任意两个不同词的 one-hot 向量点积恒为 0(数学上称为正交),即 \(\mathbf{o}_i^{\top}\mathbf{o}_j = 0\)(\(i \neq j\))。“猫”与“狗”的相似度,和“猫”与“汽车”的相似度一模一样,都是 0。
  • 维度爆炸且稀疏:词表一大(几万到几十万),每个向量就有几万维,其中却只有一个 1,剩下的全是 0,表达效率极低。

  出路是把身份证换成坐标:给每个词一组稠密的连续数值,就像给城市一组经纬度——坐标相近的城市地理位置相近,坐标相近的词语义相近。这就是下一节的主题。

3.1.2 分布式表示:语义变成几何

  2013 年,Mikolov 等人提出的 word2vec 把这个想法变成了现实:用一个几百维的稠密向量表示每个词,取值不再非 0 即 1,而是连续实数。这种表示叫分布式表示(distributed representation)——一个词的语义“分布”在许多维度上共同表达。

分布式表示 Distributed Representation distributed = 语义分散在多个维度上共同承载

与 one-hot 用“一位”标识一个词相反,分布式表示用 \(d\) 个连续数值(几十到几百维)共同描述一个词。任意两个词都能算出距离或夹角,语义相近的词在向量空间中彼此靠近。

  词向量最迷人的性质,是语义被编码成了几何。两个经典表现:一是“近即相似”,“猫”的最近邻是“狗”“老虎”这类词,而不是“汽车”;二是“差即关系”,词与词的差向量能捕获语义关系,最著名的例子是:

\[ \mathbf{v}_{\text{king}} - \mathbf{v}_{\text{man}} + \mathbf{v}_{\text{woman}} \approx \mathbf{v}_{\text{queen}} \tag{1} \]
公式 (1):“国王”减“男性”加“女性”,结果最接近的词向量是“女王”。性别、王室这类关系,在向量空间里表现为方向相近的差向量。符号说明:\(\mathbf{v}_{\text{king}}\) 是单词 king 的词向量(其余下标同理),即该词在向量空间中的坐标点;加减运算逐维进行;\(\approx\) 表示结果并非精确相等,而是在整个词表中与 queen 的向量最接近。

  直觉上这样理解这个算式:把每个词想成地图上的点。从 man 走到 king 的那段位移,和从 woman 走到 queen 的位移几乎一模一样——都是“加上王室属性”。算式里 king − man 正是这段“加上王室属性”的位移,再把它加到 woman 上:从 woman 出发走同样的路,就落在了 queen 附近。

原创示意图 · 非论文原图 维度 1(示意) 维度 2(示意) 动物 猫 狗 老虎 交通工具 汽车 卡车 公交车 簇内近 = 语义近,簇间远 = 语义远(示意:真实词向量有数百维)
图 3:词向量空间中,语义相近的词聚成一簇。动物的三个词彼此靠近,交通工具另成一簇,两簇之间距离明显更远。

  易错点:不要试图解释词向量的单个维度。768 个数字里没有“第 5 维代表性别”这回事:语义分布在所有维度上,可解释的是方向(king→queen 与 man→woman 的差方向相近),不是孤立的坐标值。

  这些几何性质不是人工设计的。word2vec 用“拿周围的词预测中间的词(或反过来)”这一任务在海量语料上自动训练,语义规律是训练过程自然涌现的副产品。

  word2vec 是“先单独学词向量、再喂给下游模型”的两段式方案。现代 LLM 更彻底:词向量不单独学,直接作为网络的第一层,和整个模型一起训练。这就是 Embedding 层。

3.1.3 Embedding 层:一张可训练的巨型查找表

  先解释 Embedding 这个词本身。Embedding 直译是「嵌入」:把一个离散符号嵌入到连续向量空间里——token 原本只是词表里的一个编号,嵌入之后变成 \(d\) 维空间中的一个点,点与点之间有了远近,语义就有了几何。在 LLM 里,完成这个嵌入动作的是网络的第一层,所以这一层就叫 Embedding 层。

  它的构造出人意料地简单:一张巨型查找表,一个 \(V \times d\) 的矩阵 \(\mathbf{E}\),行数等于词表大小,列数等于模型维度(hidden size)。词表中每个 token 独占一行,这一行就是它的词向量。

  前向传播时发生的动作简单得出人意料:分词器给出 token 编号,Embedding 层把编号当行号,取出矩阵里对应的那一行:

\[ \mathbf{e}_t = \mathbf{E}[\,\mathrm{id}_t\,] \in \mathbb{R}^{d}, \qquad \mathbf{E} \in \mathbb{R}^{V \times d} \tag{2} \]
公式 (2):Embedding 的前向就是“按行号取一行”。没有矩阵乘法,没有非线性变换,只是内存里的一次随机访问。符号说明:\(\mathrm{id}_t\) 是第 \(t\) 个 token 的编号;\(\mathbf{E}\) 是 Embedding 矩阵,\(V \times d\) 表示它有 \(V\) 行(词表大小)、\(d\) 列(向量维度);\(\mathbf{E}[\mathrm{id}_t]\) 表示取 \(\mathbf{E}\) 的第 \(\mathrm{id}_t\) 行;\(\mathbf{e}_t\) 是取出的结果,即第 \(t\) 个 token 的嵌入向量;\(\in \mathbb{R}^{d}\) 表示它是一个 \(d\) 维实数向量。

  数学上,查表等价于用 one-hot 向量左乘 \(\mathbf{E}\):\(\mathbf{e}_t = \mathbf{o}_t^{\top}\mathbf{E}\)。实现上当然不做这次矩阵乘法,直接按行号索引——所以 Embedding 层几乎不耗算力,开销主要在显存。

  这张表不是查字典查来的,而是训练出来的。矩阵 \(\mathbf{E}\) 的初始值是随机数,训练时语言模型的损失会沿着网络一路反向传播回这张表,逐行调整每个词向量。海量 token 喂下来,“语义相近则向量相近”的几何结构就被刻进了表里。和 word2vec 相比,它不用单独训练,学到的向量也完全服务于语言模型自己的目标。

  还有一个常见的省参数技巧。模型最后一层要把隐藏状态投影回词表、输出每个 token 的概率,用的矩阵尺寸是 \(d \times V\),和 Embedding 恰好互为转置。许多模型干脆让这两处共享同一份参数,称为权重共享(tied embeddings)。\(V\) 很大时这能省下整整一张 \(V \times d\) 的表,而且实验表明共享往往不损性能,甚至有益(Press & Wolf, 2017)。

  Embedding 层是三件事的合体:一张 \(V \times d\) 的查找表、一个与整个网络端到端训练的参数矩阵、(通常)与输出投影共享的权重。词向量的语义几何不是谁设计出来的,是语言模型训练目标在这张表上留下的痕迹。

3.1.4 minimind 实例:6400 行 × 768 列

  以本工程自带的 minimind 小模型为例,把上面的数字落到实处。它的 Embedding 层配置如下:

配置项取值含义
vocab_size6400词表大小,查找表有 6400 行
hidden_size768模型维度,每行是一个 768 维向量
Embedding 参数量6400 × 768 = 4,915,200约 491 万个可训练参数
tie_word_embeddingsTrue输入 Embedding 与输出投影共享同一份权重

  也就是说,分词器每吐出一个 0 到 6399 的编号,模型就从这张 6400 行、768 列的表里取出一行。编号 1、37、962 三个 token 进去,出来 3 个 768 维向量,后面的 Transformer 层处理的正是这批向量。

  注意,Embedding 只回答了“每个 token 是谁”,回答不了“它在第几个位置”。同一个“猫”出现在句首还是句尾,查出来的是同一行向量。可语序对意思的影响太大了,“猫吃鱼”和“鱼吃猫”完全是两回事。位置信息怎么补进去?这是 3.2 节位置编码要解决的问题。

🧭本节要点回顾
one-hot 表示为什么表达不了语义?
任意两个不同词的 one-hot 向量都正交,点积恒为 0,没有距离与相似度的概念;而且维度随词表线性膨胀,向量里几乎全是 0。
king − man + woman ≈ queen 这个算式说明了什么?
词向量把语义编码成了几何:相近的词聚成一簇,“性别”“王室”这类关系表现为方向相近的差向量,语义运算可以当作向量加减来做。
LLM 的 Embedding 层和 word2vec 的词向量有什么本质区别?
word2vec 是独立训练的静态词表;LLM 的 Embedding 是网络的第一层,随机初始化后随语言模型目标端到端联合训练,还常与输出投影共享权重(tied embeddings)。

参考来源

  • Mikolov, Chen, Corrado & Dean, 2013. Efficient Estimation of Word Representations in Vector Space(word2vec 原始论文,arXiv:1301.3781)。
  • Mikolov, Yih & Zweig, 2013. Linguistic Regularities in Continuous Space Word Representations(NAACL 2013,king − man + woman ≈ queen 算式的出处)。
  • Press & Wolf, 2017. Using the Output Embedding to Improve Language Models(输入输出 Embedding 权重共享,arXiv:1608.05859)。