A.1 向量、矩阵与旋转:RoPE 的数学底座
本页范围:附录 A 第 1 节 | 整理时间:2026-09-30
手册从第 3 章起就频繁使用几何语言:词向量是空间里的点,注意力用点积衡量匹配,RoPE 把向量“转一个角度”。这些说法背后是一套不大的数学工具,本附录把手册用到的那部分单独讲一遍,不追求完整,只求够用。
本节解决最基础的一块:向量是什么、矩阵对它做了什么、旋转为什么长成那个样子。它是 3.4 节 RoPE 与 3.5 节长度外推的数学底座,也是读懂代码里 rotate_half、apply_rotary_pos_emb 这些函数的前提。
- 向量:一支有长度和方向的箭(A.1.1):把一排数字还原成箭头,长度与方向才是它的两个本质属性;
- 矩阵:对箭头做的一次动作(A.1.2):矩阵不是数字表格,而是“拉伸、压缩、旋转、投影”这些动作的说明书;
- 旋转:只改方向,不改长度(A.1.3):为什么 90 度旋转后长度依然是 3.61,为什么这件事对注意力很关键;
- cos 和 sin 从哪来:极坐标与和角公式(A.1.4):把旋转矩阵一步步推出来,看清公式里的三角函数是怎么冒出来的;
- 旋转的两条性质,和 RoPE 有什么关系(A.1.5):长度不变与角度可加,如何让绝对位置从点积里消失;
- 矩阵乘法的三种读法(A.1.6):格点、变换、复合,同一个乘号的三副眼镜;QKV 投影只是“每行各过一次变换”的打包。
读完全节,应能拿一张纸,自己把 3.4 节的公式 (1) 推一遍。
A.1.1 向量:一支有长度和方向的箭
二维向量 \((3, 2)\) 有两种同样正确的读法。一种读法是“一排数字”:先写 3,再写 2。另一种读法是“一支箭”:从原点出发,向右走 3、向上走 2,箭尖落在哪个点,向量就在哪里。
第二种读法更有用,因为它一眼能看出向量的两个本质属性。
长度由勾股定理算:\(r = \sqrt{x^2 + y^2}\),\((3, 2)\) 的长度是 \(\sqrt{13} \approx 3.61\)。方向用与横轴的夹角表示,\((3, 2)\) 约 33.7 度。反过来,知道长度 \(r\) 和方向角 \(\alpha\),也能唯一确定这支箭:\(x = r\cos\alpha\),\(y = r\sin\alpha\)。这两个视角之间的切换,就是本节全部内容的起点。
向量的两种运算,在箭头视角下都有直白的含义:
| 运算 | 数字上怎么做 | 几何上是什么意思 |
|---|---|---|
| 加法 \(u + v\) | 对应分量相加 | 把第二支箭的尾巴接到第一支箭的箭尖上,从起点到终点的箭就是和 |
| 数乘 \(c \cdot u\) | 每个分量乘 \(c\) | 长度变成原来的 \(|c|\) 倍;\(c < 0\) 时连方向一起掉头 |
加法还有另一种同样常见的画法,图 1 中用淡色虚线标了出来:把 u、v 都从原点出发,两支箭张成一个平行四边形,从原点引出的那条对角线同样是 u + v。两种画法结果必然相同,因为向量只由长度和方向决定,平移到哪里都不改变它本身(这就是所谓自由向量)。看到 v 的尾巴接在 u 的箭尖上,只是为了让"先走 u、再走 v"这条路径一目了然,并不是 v 不能从原点出发。
记住这两条,手册里两处说法就不用再解释了。Embedding 表的一行,就是一支 768 维的箭(3.1 节);残差连接写的是 \(x + \mathrm{Sublayer}(x)\),两箭相加要求维度相同,这正是 Transformer 原论文(Vaswani et al., 2017)坚持所有子层宽度统一为 512 的原因(4.4 节)。
A.1.2 矩阵:对箭头做的一次动作
矩阵乘向量常被当成一堆乘法加法的排列组合,其实它有更简洁的身份:一张写给箭头的动作说明书。给它一支箭,它吐出一支新箭。
先看一个具体动作。下面这个矩阵作用在 \((3, 2)\) 上:
有个好消息:结果 \((-2, 3)\) 的长度是 \(\sqrt{13} \approx 3.61\),与原来的 \((3, 2)\) 一模一样;方向却从 33.7 度变成了 123.7 度,正好多了 90 度。所以这个矩阵的动作名字叫“逆时针转 90 度”。
同一个矩阵,换一种读法也成立,这对读代码很有帮助:
| 读法 | 怎么算 | 怎么理解 |
|---|---|---|
| 行视角 | 结果第 \(i\) 个分量 = 矩阵第 \(i\) 行与向量做点积 | 每一个输出分量都是“一整套加权意见” |
| 列视角 | 结果 = 分量 \(x\) 乘第一列 + 分量 \(y\) 乘第二列 | 输出是矩阵各列的加权混合,权重就是输入向量的分量 |
两种读法结果必然相同,可以自己验一遍:列视角下,\(3 \times (0, 1) + 2 \times (-1, 0) = (0, 3) + (-2, 0) = (-2, 3)\),与公式 (1) 一致。
换一个矩阵就是换一个动作。下面是几个最常用的:
| 矩阵 | 作用在 \((3, 2)\) 上 | 动作名称 |
|---|---|---|
| \(\begin{pmatrix} 2 & 0 \\ 0 & 2 \end{pmatrix}\) | \((6, 4)\) | 放大两倍,方向不变、长度翻倍 |
| \(\begin{pmatrix} 1 & 0 \\ 0 & 0.5 \end{pmatrix}\) | \((3, 1)\) | 横向不动、纵向压扁 |
| \(\begin{pmatrix} 1 & 0 \\ 0 & -1 \end{pmatrix}\) | \((3, -2)\) | 沿横轴翻面(镜像) |
| \(\begin{pmatrix} 1 & 0 \\ 0 & 0 \end{pmatrix}\) | \((3, 0)\) | 投影到横轴上,纵向信息被丢掉 |
最后一件必须记住的约定是形状:一个 \(m \times n\) 的矩阵,把 \(n\) 维向量变成 \(m\) 维向量,所以矩阵写成“行数 = 输出维度、列数 = 输入维度”。代码里的 nn.Linear(768, 384),权重形状正是 \(384 \times 768\):吃进 768 个数,吐出 384 个数。minimind 的 q_proj 是 \(768 \times 768\),v_proj 是 \(384 \times 768\)(GQA 只有 4 组 K/V),这些都是同一约定下的自然结果。
A.1.3 旋转:只改方向,不改长度
旋转是一类特殊的矩阵动作:箭头在原地打转,长度分毫不变。用同一个例子验一遍——\((3, 2)\) 转 90 度得到 \((-2, 3)\),两支箭的长度都是 3.61。
“长度不变”值得单独强调,因为它是旋转区别于其他动作的分界线。同样是矩阵,放大动作让箭变长,投影动作让箭变短,只有旋转(以及镜像)保持长度。
A.1.4 cos 和 sin 从哪来:极坐标与和角公式
旋转矩阵里的 cos、sin 是哪里来的,为什么偏偏是这两个函数?答案很朴素——它们是“角度相加”展开之后的产物。
用极坐标写同一支箭:长度 \(r\)、方向角 \(\alpha\),则 \(x = r\cos\alpha\),\(y = r\sin\alpha\)。这两个式子把一支箭拆成了"斜边乘投影比例"的形式,几何含义如图 4:
所谓“旋转 \(\theta\) 角”,就是长度 \(r\) 一动不动、方向角从 \(\alpha\) 变成 \(\alpha + \theta\)。把新的两个分量写出来并展开和角公式:
把这两个式子整理成矩阵乘向量的形状,就得到了 3.4 节那条公式:
这一步推完,回头看就清楚了:三角函数不是设计者硬塞的装饰,是“把角度加在一起”这件事展开后的必然结果。只要用矩阵表达“角度增加 \(\theta\)”,得到的就只能是这个矩阵。
A.1.5 旋转的两条性质,和 RoPE 有什么关系
旋转矩阵有两条性质,RoPE 整个设计就架在它们上面。
性质一:长度不变。 这正是 A.1.3 小节验过的事:转多久,箭还是那么长。用矩阵语言说,旋转矩阵乘自己的转置等于单位矩阵,两个向量的点积经过同样的旋转后保持不变。
性质二:旋转可以叠加。 先转 30 度再转 15 度,等于一次转 45 度。动手算一下就很直观:\((1, 0)\) 连转两次得到 \((0.7071, 0.7071)\),一次转 45 度得到同样的结果。
两条性质都用到点积,先把点积在平面上完整算一遍。取 \(u = (3, 1)\) 与 \(v = (1, 2)\),两种算法给出同一个数:
两种算法为什么必然相等,看图 6 就清楚:\(\cos\theta\) 量的是 \(v\) 在 \(u\) 方向上投下的影子占 \(v\) 全长的比例,影子长 \(1.58\) 正是 \(|v|\cos\theta = 2.236 \times 0.707\) 算出来的那个数;再乘上 \(u\) 自己的长度,几何算法 \(5 = 3.162 \times 1.58\) 与代数算法 \(5 = 3 + 2\) 说的就是同一件事。点积因此有两个身份:它既是“对应位置相乘求和”这个动作,也是“一支箭在另一支箭方向上投下多长的影子,再乘上对方长度”这个测度。前者方便计算,后者方便理解含义。
把这两条性质放到 RoPE 的场景里。位置 \(m\) 的 query 转 \(m\theta\),位置 \(n\) 的 key 转 \(n\theta\),两者做点积时看的是它们之间的夹角:
| 两者的间距 | 夹角 | 点积(原始向量都取 \((1, 0)\)) |
|---|---|---|
| 间距 0(同一位置) | 0 度 | 1 |
| 间距 1 | 45 度 | 0.707 |
| 间距 2 | 90 度 | 0 |
| 间距 4 | 180 度 | −1 |
这张表里藏着 RoPE 的全部意义:点积只由间距决定。这对 query 与 key 出现在句子的第 0、1 位,还是第 100、101 位,间距都是 1,点积永远是 0.707——绝对位置在计算中消失了,剩下的只有“隔几站”和“在哪边”。注意这里举的 \(\theta = 45\) 度只是为了口算方便,真实模型的每组转速要小得多。
还有一处细节值得补上:真实的 query 向量有 \(d\) 个数(minimind 的头维度是 96),而旋转只在二维平面里有定义,所以做法是把 \(d\) 个数两两配成 \(d/2\) 组,每组是一个小平面,各自以自己的角速度旋转。
配哪两个数也有两种等价约定:原始论文的公式按相邻两维配对,Llama、Hugging Face 与 minimind 的代码按前后半配对(第 \(i\) 个数与第 \(i + d/2\) 个数一组,函数名叫 rotate_half)。两者只是维度顺序不同,旋转效果一样。这正是 3.4 节里那段说明的来源。
A.1.6 矩阵乘法的三种读法
到目前为止,矩阵乘的都是向量:一个矩阵对一支箭头做一次动作。手册里更常见的却是矩阵乘矩阵——4.2 节的 \(XW^Q\)、\(QK^{\top}\),4.3 节拼接结果乘 \(W^O\),都是两块数字表格相乘。同一个乘号其实有三种读法,分别适合不同场合,本节把它们一次说清。
读法一:格点视角,每个格子是一个点积。矩阵乘法的定义本身就长这样:
4.2 节算注意力分数用的正是这个视角:分数矩阵 \(QK^{\top}\) 的第 \(i\) 行第 \(j\) 列,就是第 \(i\) 个 query 与第 \(j\) 个 key 的点积(点积为什么能衡量匹配,A.2 节专门讲)。读分数矩阵、手算具体数字时,格点视角最顺手。
读法二:变换视角,每一行各做一次同一个变换。把左矩阵按行拆开:\(XW\) 的第 \(i\) 行,就是 \(X\) 的第 \(i\) 行(一个行向量)乘 \(W\) 的结果,每行都经过同一个 \(W\),行与行之间互不相干。而向量乘矩阵又能拆回点积:新向量的第 \(j\) 个分量,是这个向量与 \(W\) 第 \(j\) 列的点积,也就是“它在 \(W\) 第 \(j\) 列方向上的得分”。
拿 4.2 节的注意力投影对号入座:输入 \(X\) 是 \(3\times768\)(「我」「爱」「猫」三个 token,各一行 768 维向量),投影矩阵 \(W^Q\) 是 \(768\times96\),乘出来 \(Q\) 是 \(3\times96\)。它做的事无非是:三个 token 各自拿自己的 768 维向量,与 \(W^Q\) 的 96 列各做一次点积,各得一个 96 维的 \(q\)。三个 token 各算各的、互不混合——输出的任何一行里都没有掺进别的 token 的数字。矩阵形式只是把三次“向量乘矩阵”打包成一次,让 GPU 一趟算完,并没有引入新内容。
一个形状约定需要说清:本节与第 4 章都把向量写成行、从左边乘上去,此时矩阵写成“行数 = 输入维度、列数 = 输出维度”,\(W^Q\) 才是 \(768\times96\)。A.1.2 的矩阵乘列向量写法里,同一个动作要写成它的转置。代码里 nn.Linear(768, 96) 存的权重是 \(96\times768\),相乘时框架会自动转置——三种摆放方式说的是同一个动作。
读法三:复合视角,两次动作合成一次。矩阵乘矩阵还有一层含义:两个变换的复合。按 A.1.2 的列向量写法,向量先经手 \(A\) 再经手 \(B\),结果是 \(B(Ax)\);矩阵乘法满足结合律,\(B(Ax) = (BA)x\),所以“先做 \(A\)、再做 \(B\)”与“一次做 \(BA\)”完全等价——两个矩阵可以先乘起来合成一个新矩阵,一次把两步动作做完(换成行向量写法,同一个复合是 \(xAB\),从左往右读)。
本页前面的旋转就是最好的例子:先转 \(\theta_1\) 再转 \(\theta_2\),复合之后等于一次转 \(\theta_1+\theta_2\),写成矩阵是:
要提醒的是顺序:一般的矩阵乘法不能交换,\(BA\) 与 \(AB\) 通常是两个不同的动作,复合的书写顺序(从右往左读)不能随意调换;同一平面内的旋转是个温柔的例外,两次旋转交换顺序结果相同。
三种读法说的都是同一个乘法,区别只在观察角度。读手册时可以按需切换:
| 读法 | 把乘法看成 | 适合的场合 |
|---|---|---|
| 格点视角 | 输出每个格子 = 左矩阵一行与右矩阵一列的点积 | 手算具体数字、读注意力分数矩阵 \(QK^{\top}\)(4.2 节) |
| 变换视角 | 左矩阵每一行各做一次同一个线性变换,各行独立 | 理解投影层:QKV 投影(4.2 节)、输出投影 \(W^O\)(4.3 节) |
| 复合视角 | 两个变换合成一个,先乘起来再一次做完 | 理解连续变换,如旋转的叠加(A.1.5) |
带走一句:矩阵乘法只有一个,三种读法只是三副眼镜。遇到 \(XW^Q\) 这类投影时用变换视角(每行独立过同一个 \(W\));遇到 \(QK^{\top}\) 这类打分矩阵时用格点视角(每格一个点积);遇到连续两次变换时用复合视角(先乘起来,一次做完)。
本书用在哪
| 出现位置 | 用到了本节什么 |
|---|---|
| 3.1 词向量 | 向量是箭头:语义的相似表现为方向相近,而不是某个维度的数值 |
| 3.4 相对位置编码 | 公式 (1)(2) 的旋转矩阵、两两分组的由来、点积只依赖相对位移的结论 |
| 3.5 长度外推 | 位置超出训练范围意味着转角超出训练分布,注意力分数因而失真 |
| 8.2 位置编码缩放 | PI、NTK、YaRN 这些方法,改的都是转角 \(\theta\) 或它的基数,动作本身仍是旋转 |
| 4.2 注意力机制 | 点积衡量匹配(下一节 A.2 专门讲点积与相似度) |
| 4.2 注意力机制 | QKV 投影 \(XW^Q\) 等:用变换视角读,每个 token 的行独立过同一个投影矩阵,互不混合(A.1.6) |
| 4.3 多头注意力 | 输出投影 \(W^O\):拼接行乘矩阵,把 8 个头的信息融合回 768 维,同为变换视角(A.1.6) |