A.14 方差、协方差与“两两点积方阵”:从数据波动到注意力分数
本页范围:附录 A 第 14 节 | 整理时间:2026-10-14
4.3 节图 6 那张 10×10 的注意力权重矩阵,长相很像统计学里的协方差矩阵:都是“两两配对算一个关系值,排成一个方阵”。这个直觉抓到了真东西,但两个矩阵并不是一回事。本节先把地基打好——方差(一组数自己散得多开)与协方差(两组数怎么一起变),再把三个“长得像”的矩阵摆在一起对比,讲清它们各自回答什么问题。
- 方差与标准差:一组数离均值有多远(A.14.1):为什么要平方、为什么要开根号,归一化除的就是它;
- 协方差与协方差矩阵:两个变量怎么“一起变”(A.14.2):正相关、负相关、无关三种形态,矩阵形式 XᵀX;
- 三个“两两点积方阵”对比(A.14.3):XᵀX、XXᵀ、QKᵀ 长得像,回答的问题完全不同——QKᵀ 是 Gram 矩阵的学习版,不是协方差。
读完应能讲清两件事:归一化公式里“除以标准差”除的是什么;注意力打分矩阵与协方差矩阵像在哪、差在哪。
A.14.1 方差与标准差:一组数离均值有多远
两组数据平均值相同,性质可能天差地别:一组全挤在均值旁边,一组东一个西一个。只说“平均是多少”装不下这个差别,还需要一把“离散程度”的尺子。自然的想法是把每个数与均值的偏差加起来,但正负偏差会互相抵消(偏左 2 和偏右 2 相加得 0),所以先平方再平均——平方后偏差都是正数,而且偏得越远惩罚越重。这就是方差:
方差有个小毛病:单位被平方了。身高的单位是厘米,方差的单位就是“平方厘米”,没法直接和身高比较。开平方把单位换回来,得到标准差:
本书里方差与标准差出场最多的地方是归一化。LayerNorm 对每行向量“减均值、除以标准差”,把数据拉回均值为 0、波动为 1 的温和区间;RMSNorm 更省事,不减均值,直接除以均方根(root mean square,各分量平方平均再开根号),把典型量级压回 1 附近(4.4 节、5.1 节)。训练稳定性也靠方差把控:初始化权重时按方差控制量级,让每层的输入输出波动既不萎缩消失也不累积爆炸(第 7 章)。
A.14.2 协方差与协方差矩阵:两个变量怎么“一起变”
方差只管一个变量自己的散布。换成两个变量——比如一批人的身高与体重——更有意义的问题是:它们怎么一起动?x 偏大的时候 y 是不是也偏大?把两个偏差乘起来再平均,就是协方差:
变量一多,就要两两配对算协方差。把 n 个样本、d 个变量排成矩阵 X(n 行 d 列),先逐列减去均值(这步叫中心化,记作 \(X_c\)),再做矩阵乘法,所有协方差一次算齐:
说句实话:协方差矩阵在 LLM 主干里并不直接出场,它属于 PCA、白化那一路的经典方法。讲它是为了下一节的对比——很多人看到注意力的 QKᵀ 会脱口而出“这不就是协方差矩阵吗”,值得把这层误会拆开。
A.14.3 三个“两两点积方阵”:XᵀX、XXᵀ、QKᵀ
三个矩阵乘积摆在一起:\(X_c^{\top} X_c\)、\(X X^{\top}\)、\(Q K^{\top}\)。写法像亲兄弟,回答的问题却完全不同。关键在于乘的方向:数据矩阵 X 是“n 个样本 × d 个特征”,转置放左边还是右边,决定了乘出来的方阵在比较什么。
XᵀX(d×d):特征×特征,回答“两个维度怎么一起变”。转置放左边,样本维被消掉,留下特征维。第 (i, j) 格是“第 i 维特征与第 j 维特征在所有样本上的联动程度”——中心化之后,它就是协方差矩阵。它是数据的固定统计量:数据给定,矩阵就定了,没有可学的东西。
XXᵀ(n×n):样本×样本,回答“两个样本有多像”。转置放右边,特征维被消掉,留下样本维。第 (i, j) 格是“第 i 个样本的向量与第 j 个样本的向量的点积”——点积越大越相似(A.2 节)。这个矩阵在机器学习里叫 Gram 矩阵(格拉姆矩阵),是核矩阵的最简形态。注意它不做中心化,是未中心化的二阶矩。
QKᵀ(n×n):token×token,回答“第 i 个 token 该听第 j 个 token 多少”。4.3 节图 6 那张打分矩阵就是它。把它展开看:
形状上它和 Gram 矩阵一样是“样本×样本的点积方阵”,但中间夹着一个学出来的 \(W_Q W_K^{\top}\)——相似度的度量标准本身是可训练的。模型在训练中自己决定“按什么标准算像”:哪些维度该放大、哪些该压掉、哪些组合值得关注。因此,Gram 矩阵用固定的点积比较相似度,QKᵀ 用学习得到的点积比较相似度。只有当 \(W_Q = W_K = I\)(单位矩阵,不做任何投影)时,QKᵀ 才退化成普通的 Gram 矩阵。
回到开头的疑问:QKᵀ 与协方差矩阵是不是一回事?不是,差别有三层。其一,比较对象不同:协方差矩阵比的是特征×特征,QKᵀ 比的是 token×token。其二,预处理不同:协方差必须先减均值(中心化),QKᵀ 不减。其三,来源不同:协方差是数据的固定统计量,QKᵀ 的度量标准 \(W_Q, W_K\) 是训练产物。另外还有两个形态差别:协方差矩阵必然对称,QKᵀ 一般不对称(query 与 key 走不同投影,i 听 j 的分不等于 j 听 i 的分),加上因果掩码后更是下三角阵;协方差矩阵的对角线是“方差”,QKᵀ 的对角线只是“token 自己听自己的分”,没有方差含义。
| 对比项 | 协方差矩阵 X_cᵀX_c | Gram 矩阵 XXᵀ | 注意力分数 QKᵀ |
|---|---|---|---|
| 方阵尺寸 | d×d(特征×特征) | n×n(样本×样本) | n×n(token×token) |
| 回答的问题 | 两个维度怎么一起变 | 两个样本有多像 | token i 该听 token j 多少 |
| 是否中心化 | 是(先减均值) | 否 | 否 |
| 度量标准 | 固定统计量 | 天生点积 | 学出来的投影(W_Q、W_K) |
| 是否对称 | 必然对称 | 必然对称 | 一般不对称,掩码后为下三角 |
| 对角线含义 | 各维度的方差 | 样本与自身的点积 | token 自己听自己的分 |
一句话收束:三者像,是因为同属“两两点积排成方阵”的二阶矩家族;但不是一回事——协方差矩阵做数据统计(总结特征间的共变),QKᵀ 做信息路由(决定 token 之间谁听谁、听多少)。
本书用在哪
| 章节 | 用到本节什么 |
|---|---|
| 4.2 / 4.3 注意力 | QKᵀ 打分矩阵是 Gram 式相似度的学习版,与协方差矩阵的“像与不像” |
| 4.4 / 5.1 归一化 | LayerNorm 减均值除标准差,RMSNorm 除均方根,除的都是“波动尺子” |
| 第 7 章 预训练工程 | 初始化按方差控制权重量级,让各层波动不消失、不爆炸 |
| A.2 点积与 √d | 用方差推出点积标准差为 √d,缩放因子的来历 |