3.1 词向量:把 token 放进语义坐标系
本页范围:第 3 章第 1 节 | 整理时间:2026-09-28
本节要回答一个承上启下的问题:第 2 章把文本切成了 token ID,但 ID 只是编号,不携带语义。模型怎么把编号变成「有意义的数字」,让意思相近的词在数学上也相近?围绕这个问题,词的表示方法进化过三代,本节沿这条线逐个展开,每一代的缺点正是下一代的出发点:
- 从身份证到坐标:one-hot 的缺陷(3.1.1):最朴素的方案,能标识「我是谁」,但算不出任何语义关系,维度还随词表爆炸;
- 分布式表示:语义变成几何(3.1.2):word2vec 把语义变成空间几何,近即相似、差即关系,惊艳一时;但它要脱离模型单独训练,学到的还是一张静态的表;
- Embedding 层:一张可训练的巨型查找表(3.1.3):今天 LLM 的主流方案,词向量不再单独学,直接作为网络的第一层,和整个模型端到端一起训练;
- minimind 实例:6400 行 × 768 列(3.1.4):用真实配置把词表大小、维度、参数量落到实处。
读完全节,你应该能说清一件事:为什么主流模型选择把词向量「长」在网络里,而不是用一张现成的表。
图 1 标出 Embedding 在 LLM 链路中的位置,图 2 展示 token ID 查表并得到词向量的过程。
图 1 中这个紫框放大之后长什么样?它的输入和输出各是什么形状?把 Embedding 单独拆开看:
3.1.1 从身份证到坐标:one-hot 的缺陷
第 2 章结束时,文本已经变成一串整数 ID。拿 minimind 的分词器实测,「我爱中国」被切成 3 个 token:[463, 2043, 1405],依次是「我」「爱」「中国」(「中国」常见,合成了一整块)。但整数编号本身不携带语义:编号 2043 和 2044 在数值上相邻,对应的 token 却可能风马牛不相及。模型需要一种更好的表示,让“意思相近的词,表示也相近”。
最朴素的方案是 one-hot(独热)表示:词表有 \(V\) 个词,就给每个词一个 \(V\) 维向量,属于它的那一位是 1,其余全是 0。词表有 5 万个词,每个词就是一个 5 万维的向量。
词表中第 \(i\) 个词的 one-hot 向量,第 \(i\) 位是 1,其余 \(V-1\) 位全是 0。它能做的只有一件事:标识“我是第 \(i\) 个词”。
这种身份证式表示有两个硬伤:
- 算不出相似度:任意两个不同词的 one-hot 向量点积恒为 0(数学上称为正交),即 \(\mathbf{o}_i^{\top}\mathbf{o}_j = 0\)(\(i \neq j\))。“猫”与“狗”的相似度,和“猫”与“汽车”的相似度一模一样,都是 0。
- 维度爆炸且稀疏:词表一大(几万到几十万),每个向量就有几万维,其中却只有一个 1,剩下的全是 0,表达效率极低。
出路是把身份证换成坐标:给每个词一组稠密的连续数值,就像给城市一组经纬度——坐标相近的城市地理位置相近,坐标相近的词语义相近。这就是下一节的主题。
3.1.2 分布式表示:语义变成几何
2013 年,Mikolov 等人提出的 word2vec 把这个想法变成了现实:用一个几百维的稠密向量表示每个词,取值不再非 0 即 1,而是连续实数。这种表示叫分布式表示(distributed representation)——一个词的语义“分布”在许多维度上共同表达。
与 one-hot 用“一位”标识一个词相反,分布式表示用 \(d\) 个连续数值(几十到几百维)共同描述一个词。任意两个词都能算出距离或夹角,语义相近的词在向量空间中彼此靠近。
词向量最迷人的性质,是语义被编码成了几何。两个经典表现:一是“近即相似”,“猫”的最近邻是“狗”“老虎”这类词,而不是“汽车”;二是“差即关系”,词与词的差向量能捕获语义关系,最著名的例子是:
直觉上这样理解这个算式:把每个词想成地图上的点。从 man 走到 king 的那段位移,和从 woman 走到 queen 的位移几乎一模一样——都是“加上王室属性”。算式里 king − man 正是这段“加上王室属性”的位移,再把它加到 woman 上:从 woman 出发走同样的路,就落在了 queen 附近。
易错点:不要试图解释词向量的单个维度。768 个数字里没有“第 5 维代表性别”这回事:语义分布在所有维度上,可解释的是方向(king→queen 与 man→woman 的差方向相近),不是孤立的坐标值。
这些几何性质不是人工设计的。word2vec 用“拿周围的词预测中间的词(或反过来)”这一任务在海量语料上自动训练,语义规律是训练过程自然涌现的副产品。
word2vec 是“先单独学词向量、再喂给下游模型”的两段式方案。现代 LLM 更彻底:词向量不单独学,直接作为网络的第一层,和整个模型一起训练。这就是 Embedding 层。
3.1.3 Embedding 层:一张可训练的巨型查找表
先解释 Embedding 这个词本身。Embedding 直译是「嵌入」:把一个离散符号嵌入到连续向量空间里——token 原本只是词表里的一个编号,嵌入之后变成 \(d\) 维空间中的一个点,点与点之间有了远近,语义就有了几何。在 LLM 里,完成这个嵌入动作的是网络的第一层,所以这一层就叫 Embedding 层。
它的构造出人意料地简单:一张巨型查找表,一个 \(V \times d\) 的矩阵 \(\mathbf{E}\),行数等于词表大小,列数等于模型维度(hidden size)。词表中每个 token 独占一行,这一行就是它的词向量。
前向传播时发生的动作简单得出人意料:分词器给出 token 编号,Embedding 层把编号当行号,取出矩阵里对应的那一行:
数学上,查表等价于用 one-hot 向量左乘 \(\mathbf{E}\):\(\mathbf{e}_t = \mathbf{o}_t^{\top}\mathbf{E}\)。实现上当然不做这次矩阵乘法,直接按行号索引——所以 Embedding 层几乎不耗算力,开销主要在显存。
这张表不是查字典查来的,而是训练出来的。矩阵 \(\mathbf{E}\) 的初始值是随机数,训练时语言模型的损失会沿着网络一路反向传播回这张表,逐行调整每个词向量。海量 token 喂下来,“语义相近则向量相近”的几何结构就被刻进了表里。和 word2vec 相比,它不用单独训练,学到的向量也完全服务于语言模型自己的目标。
还有一个常见的省参数技巧。模型最后一层要把隐藏状态投影回词表、输出每个 token 的概率,用的矩阵尺寸是 \(d \times V\),和 Embedding 恰好互为转置。许多模型干脆让这两处共享同一份参数,称为权重共享(tied embeddings)。\(V\) 很大时这能省下整整一张 \(V \times d\) 的表,而且实验表明共享往往不损性能,甚至有益(Press & Wolf, 2017)。
Embedding 层是三件事的合体:一张 \(V \times d\) 的查找表、一个与整个网络端到端训练的参数矩阵、(通常)与输出投影共享的权重。词向量的语义几何不是谁设计出来的,是语言模型训练目标在这张表上留下的痕迹。
3.1.4 minimind 实例:6400 行 × 768 列
以本工程自带的 minimind 小模型为例,把上面的数字落到实处。它的 Embedding 层配置如下:
| 配置项 | 取值 | 含义 |
|---|---|---|
vocab_size | 6400 | 词表大小,查找表有 6400 行 |
hidden_size | 768 | 模型维度,每行是一个 768 维向量 |
| Embedding 参数量 | 6400 × 768 = 4,915,200 | 约 491 万个可训练参数 |
tie_word_embeddings | True | 输入 Embedding 与输出投影共享同一份权重 |
也就是说,分词器每吐出一个 0 到 6399 的编号,模型就从这张 6400 行、768 列的表里取出一行。编号 1、37、962 三个 token 进去,出来 3 个 768 维向量,后面的 Transformer 层处理的正是这批向量。
注意,Embedding 只回答了“每个 token 是谁”,回答不了“它在第几个位置”。同一个“猫”出现在句首还是句尾,查出来的是同一行向量。可语序对意思的影响太大了,“猫吃鱼”和“鱼吃猫”完全是两回事。位置信息怎么补进去?这是 3.2 节位置编码要解决的问题。
参考来源
- Mikolov, Chen, Corrado & Dean, 2013. Efficient Estimation of Word Representations in Vector Space(word2vec 原始论文,arXiv:1301.3781)。
- Mikolov, Yih & Zweig, 2013. Linguistic Regularities in Continuous Space Word Representations(NAACL 2013,king − man + woman ≈ queen 算式的出处)。
- Press & Wolf, 2017. Using the Output Embedding to Improve Language Models(输入输出 Embedding 权重共享,arXiv:1608.05859)。