A.2 点积、缩放与余弦相似度:注意力怎么算“像不像”
本页范围:附录 A 第 2 节 | 整理时间:2026-09-30
A.1.5 已经在平面上把点积算清楚了:对应位置相乘再求和,几何上是“影子长度乘对方长度”。注意力机制做的正是这件事——query 与每个 key 做点积,谁的分高就多关注谁(4.2 节)。但 A.1.5 的例子只有 2 维,真实模型的向量是 96 维、768 维甚至更高。维度一高,一个隐蔽的问题就冒出来了:点积的数值会随着维度一起膨胀。本节先把这个问题算出来,再讲工程上怎么压住它,最后把注意力打分的完整一步走一遍。
- 高维里的点积:数值为什么会失控(A.2.1):从方差的角度推出“标准差 = √d”,看懂为什么必须除以 √d;
- 余弦相似度:把长度抽掉,只比方向(A.2.2):词向量比语义时的标准做法,值域固定在 −1 到 1;
- 把注意力打分完整走一遍(A.2.3):从一个 query 对四个 key 的原始点积,到缩放、到权重,接上 A.3 的 softmax。
读完应能讲清两件事:4.2 节公式里那个 √d 不是经验玄学,而是让分数方差恒为 1 的必然选择;余弦相似度与点积的差别只在“有没有先各自除以长度”。
A.2.1 高维里的点积:数值为什么会失控
先看一个朴素的事实:点积是“逐项相乘再求和”,维度 d 就是相加的项数。项数越多,和自然就越大——这不是模型的毛病,是加法的本性。把它说得更准确一点,需要借助方差(方差就是“数值围绕平均值波动的剧烈程度”,A.6 节细讲,这里先当“波动大小”用)。
做个理想化假设:query 与 key 的每个分量都是独立的随机数,平均值为 0、方差为 1。那么每一对分量相乘,乘积的平均值仍是 0、方差是 1;d 对乘积加在一起,和的方差就是 d。开平方得到标准差:
代入真实数字感受一下。注意力头的维度 \(d = 96\)(minimind),点积的标准差约 9.8;词向量维度 \(d = 768\),标准差约 27.7。也就是说,哪怕 query 和 key 本身都规规矩矩地分布在 0 附近,它们的点积动辄就是正负几十。图 1 把这条“\(\sqrt{d}\) 曲线”画了出来:
数值大到正负几十,会卡在 softmax 上。softmax 负责把分数变成权重(A.3 节细讲),它在输入很大或很小时会进入“饱和区”:输入 +30 与 +300 算出的权重几乎没区别,梯度趋近于 0,模型学不动(梯度的含义见 A.5 节)。工程对策就是把这个 √d 除回去:
所以这个除法不是调出来的经验值,而是“让方差归一”的必然结果:√d 是点积天然膨胀的倍数,除回去正好抵消。后来也有一些工作探索不除 √d 的做法(配合其他归一化手段),但除以 √d 至今仍是绝对主流。
A.2.2 余弦相似度:把长度抽掉,只比方向
点积的另一个问题是:它同时混入了两支箭的长度和夹角。两个词向量点积很大,可能是因为语义真相近,也可能只是因为其中一支箭特别长。而词向量的长度往往被词频这类统计信息撑大,与语义好坏无关;真正装语义的是方向(3.1 节)。比较两个词义不义气,要把长度这个干扰抽掉:各自除以自身长度,再看点积。这个量就是余弦相似度——名字来自它的几何身份:它就是两箭夹角的余弦。
用词向量举个二维简化例子(真实是几百维,道理相同):假设“猫”“狗”“汽车”三个词的方向如图 2,“猫”与“狗”夹角 30 度,“猫”与“汽车”夹角 80 度:
读法很直观:相似度接近 1,两个词几乎同向、语义相近;接近 0,快垂直了、各说各话;接近 −1,方向相反。3.1 节用词向量做语义检索、5.x 节讲的一些分析,用的都是这把尺子。它与点积的关系也就一句话:余弦相似度 = 先把两支箭都按长度归一,再算点积。
A.2.3 把注意力打分完整走一遍
把 A.2.1 的缩放放回注意力的完整流程里过一遍数字。沿用“我爱中国”四个 token,以位置 1(爱)的 query 为例,它对四个 key 的原始点积、缩放结果、以及交给 softmax 之后得到的权重如下(softmax 的计算过程 A.3 节细讲,这里先看结果长什么样):
| key(被看的词) | 原始点积 | 除以 √96 ≈ 9.8 | softmax 权重 |
|---|---|---|---|
| 我(位置 0) | 9.8 | 1.00 | 0.474 |
| 爱(位置 1) | 4.9 | 0.50 | 0.287 |
| 中(位置 2) | −9.8 | −1.00 | 0.064 |
| 国(位置 3) | 0.0 | 0.00 | 0.174 |
两行对比值得记住:不缩放时分数在 −9.8 到 9.8 之间晃,softmax 会被推入饱和区;缩放后落在 −1 到 1,正好是 softmax 最敏感的区间。最后一列四个权重加起来等于 1,这就是“爱”这个位置分配给四个词的注意力份额——0.474 给“我”,0.287 给自己,0.064 给“中”,0.174 给“国”。注意力机制的全部输出,就是按这份份额对四个 value 向量做加权平均(value 是什么见 4.2 节)。
本书用在哪
| 章节 | 用到本节什么 |
|---|---|
| 3.1 词向量 | 余弦相似度衡量两个词义不义气,语义检索的打分尺子 |
| 4.2 注意力机制 | Scaled Dot-Product Attention 的打分公式 \(QK^{\top}/\sqrt{d}\),√d 的来历 |
| 5.3 MLA | 压缩后的 query、key 仍按同一套“点积 + 缩放”规则打分 |
| A.3 softmax | 本节缩放好分数之后,下一步就是交给 softmax 变成权重 |