A.1 向量、矩阵与旋转:RoPE 的数学底座

本页范围:附录 A 第 1 节 | 整理时间:2026-09-30

快速浏览

核心问题手册里到处是“把向量转一个角度”“矩阵乘向量”这类说法。旋转在向量和矩阵里究竟是个什么动作?
本节主张向量是带长度和方向的箭头,矩阵是对箭头做的一次动作,旋转矩阵的使命只有一个:改方向、不改长度。公式里的 cos 和 sin 来自“角度相加”的展开,不是硬塞进来的装饰。
一句话结论看懂旋转,就看懂了 3.4 节 RoPE 为什么能让注意力点积只依赖相对距离。
关键词
向量线性变换旋转矩阵极坐标和角公式

  手册从第 3 章起就频繁使用几何语言:词向量是空间里的点,注意力用点积衡量匹配,RoPE 把向量“转一个角度”。这些说法背后是一套不大的数学工具,本附录把手册用到的那部分单独讲一遍,不追求完整,只求够用。

  本节解决最基础的一块:向量是什么、矩阵对它做了什么、旋转为什么长成那个样子。它是 3.4 节 RoPE 与 3.5 节长度外推的数学底座,也是读懂代码里 rotate_half、apply_rotary_pos_emb 这些函数的前提。

  1. 向量:一支有长度和方向的箭(A.1.1):把一排数字还原成箭头,长度与方向才是它的两个本质属性;
  2. 矩阵:对箭头做的一次动作(A.1.2):矩阵不是数字表格,而是“拉伸、压缩、旋转、投影”这些动作的说明书;
  3. 旋转:只改方向,不改长度(A.1.3):为什么 90 度旋转后长度依然是 3.61,为什么这件事对注意力很关键;
  4. cos 和 sin 从哪来:极坐标与和角公式(A.1.4):把旋转矩阵一步步推出来,看清公式里的三角函数是怎么冒出来的;
  5. 旋转的两条性质,和 RoPE 有什么关系(A.1.5):长度不变与角度可加,如何让绝对位置从点积里消失;
  6. 矩阵乘法的三种读法(A.1.6):格点、变换、复合,同一个乘号的三副眼镜;QKV 投影只是“每行各过一次变换”的打包。

  读完全节,应能拿一张纸,自己把 3.4 节的公式 (1) 推一遍。

A.1.1 向量:一支有长度和方向的箭

  二维向量 \((3, 2)\) 有两种同样正确的读法。一种读法是“一排数字”:先写 3,再写 2。另一种读法是“一支箭”:从原点出发,向右走 3、向上走 2,箭尖落在哪个点,向量就在哪里。

  第二种读法更有用,因为它一眼能看出向量的两个本质属性。

向量的长度与方向(Length and Direction) 长度 = 箭有多长,方向 = 箭朝哪边

长度由勾股定理算:\(r = \sqrt{x^2 + y^2}\),\((3, 2)\) 的长度是 \(\sqrt{13} \approx 3.61\)。方向用与横轴的夹角表示,\((3, 2)\) 约 33.7 度。反过来,知道长度 \(r\) 和方向角 \(\alpha\),也能唯一确定这支箭:\(x = r\cos\alpha\),\(y = r\sin\alpha\)。这两个视角之间的切换,就是本节全部内容的起点。

  向量的两种运算,在箭头视角下都有直白的含义:

运算数字上怎么做几何上是什么意思
加法 \(u + v\)对应分量相加把第二支箭的尾巴接到第一支箭的箭尖上,从起点到终点的箭就是和
数乘 \(c \cdot u\)每个分量乘 \(c\)长度变成原来的 \(|c|\) 倍;\(c < 0\) 时连方向一起掉头
原创示意图 · 非论文原图 ① 一支箭:分量、长度、方向 ② 加法:第二支箭接到第一支箭的箭尖 ③ 数乘:拉长与掉头 虚线:分量投影 x y x = 3 y = 2 r ≈ 3.61 α ≈ 33.7° 虚线:u、v 平移到原点 u v u + v 首尾相接,起点到终点即和 2x x −1x x 是原向量,2x 长度翻倍,−1x 反向
图 1:向量的三个基本事实。分量只是坐标,本质属性是长度与方向;加法把两支箭首尾相接,起点到终点就是和,图中淡色虚线画出平移后的 u、v,显示同起点的平行四边形对角线与它是同一个结果;数乘只改长度,x 是原向量,2x 拉长一倍,−1x 掉头。第三栏三支箭实际都从原点出发,为看清而错开显示。

  加法还有另一种同样常见的画法,图 1 中用淡色虚线标了出来:把 u、v 都从原点出发,两支箭张成一个平行四边形,从原点引出的那条对角线同样是 u + v。两种画法结果必然相同,因为向量只由长度和方向决定,平移到哪里都不改变它本身(这就是所谓自由向量)。看到 v 的尾巴接在 u 的箭尖上,只是为了让"先走 u、再走 v"这条路径一目了然,并不是 v 不能从原点出发。

  记住这两条,手册里两处说法就不用再解释了。Embedding 表的一行,就是一支 768 维的箭(3.1 节);残差连接写的是 \(x + \mathrm{Sublayer}(x)\),两箭相加要求维度相同,这正是 Transformer 原论文(Vaswani et al., 2017)坚持所有子层宽度统一为 512 的原因(4.4 节)。

A.1.2 矩阵:对箭头做的一次动作

  矩阵乘向量常被当成一堆乘法加法的排列组合,其实它有更简洁的身份:一张写给箭头的动作说明书。给它一支箭,它吐出一支新箭。

  先看一个具体动作。下面这个矩阵作用在 \((3, 2)\) 上:

\[ \begin{pmatrix} 0 & -1 \\ 1 & 0 \end{pmatrix} \begin{pmatrix} 3 \\ 2 \end{pmatrix} = \begin{pmatrix} 0 \times 3 + (-1) \times 2 \\ 1 \times 3 + 0 \times 2 \end{pmatrix} = \begin{pmatrix} -2 \\ 3 \end{pmatrix} \tag{1} \]
公式 (1):一次矩阵乘向量。符号说明:左边第一个矩阵是动作本身,它只有两个数要算——第一行 \(0, -1\) 与向量逐项相乘求和得第一个分量,第二行 \(1, 0\) 同理得第二个分量,这种“逐项相乘再求和”就是点积(点积也叫内积、数量积,本页统一称点积);\((3, 2)\) 是动作之前的向量,\((-2, 3)\) 是动作之后的向量。

  有个好消息:结果 \((-2, 3)\) 的长度是 \(\sqrt{13} \approx 3.61\),与原来的 \((3, 2)\) 一模一样;方向却从 33.7 度变成了 123.7 度,正好多了 90 度。所以这个矩阵的动作名字叫“逆时针转 90 度”。

  同一个矩阵,换一种读法也成立,这对读代码很有帮助:

读法怎么算怎么理解
行视角结果第 \(i\) 个分量 = 矩阵第 \(i\) 行与向量做点积每一个输出分量都是“一整套加权意见”
列视角结果 = 分量 \(x\) 乘第一列 + 分量 \(y\) 乘第二列输出是矩阵各列的加权混合,权重就是输入向量的分量

  两种读法结果必然相同,可以自己验一遍:列视角下,\(3 \times (0, 1) + 2 \times (-1, 0) = (0, 3) + (-2, 0) = (-2, 3)\),与公式 (1) 一致。

原创示意图 · 非论文原图 ① 动作前的两个基向量 ② 动作后:它们各自的新位置 e1 = (1, 0) e2 = (0, 1) 乘以矩阵 M = 0 −1 1 0 e1 落到第一列 (0, 1) e2 落到第二列 (−1, 0) 矩阵的每一列,就是对应基向量被送去的地方:e1 去第一列,e2 去第二列。列视角与行视角说的是同一件事。
图 2:把矩阵读成动作的关键一步。看两个基向量被送到哪里,就看清了整个动作——这两处落点正好是矩阵的两列。

  换一个矩阵就是换一个动作。下面是几个最常用的:

矩阵作用在 \((3, 2)\) 上动作名称
\(\begin{pmatrix} 2 & 0 \\ 0 & 2 \end{pmatrix}\)\((6, 4)\)放大两倍,方向不变、长度翻倍
\(\begin{pmatrix} 1 & 0 \\ 0 & 0.5 \end{pmatrix}\)\((3, 1)\)横向不动、纵向压扁
\(\begin{pmatrix} 1 & 0 \\ 0 & -1 \end{pmatrix}\)\((3, -2)\)沿横轴翻面(镜像)
\(\begin{pmatrix} 1 & 0 \\ 0 & 0 \end{pmatrix}\)\((3, 0)\)投影到横轴上,纵向信息被丢掉

  最后一件必须记住的约定是形状:一个 \(m \times n\) 的矩阵,把 \(n\) 维向量变成 \(m\) 维向量,所以矩阵写成“行数 = 输出维度、列数 = 输入维度”。代码里的 nn.Linear(768, 384),权重形状正是 \(384 \times 768\):吃进 768 个数,吐出 384 个数。minimind 的 q_proj 是 \(768 \times 768\),v_proj 是 \(384 \times 768\)(GQA 只有 4 组 K/V),这些都是同一约定下的自然结果。

A.1.3 旋转:只改方向,不改长度

  旋转是一类特殊的矩阵动作:箭头在原地打转,长度分毫不变。用同一个例子验一遍——\((3, 2)\) 转 90 度得到 \((-2, 3)\),两支箭的长度都是 3.61。

原创示意图 · 非论文原图 y x 原向量 (3, 2) 转 90° 后 (−2, 3) 虚线弧:旋转 90° 长度 3.61 长度 3.61 两支箭长度完全一样:旋转只改方向,不改长度
图 3:同一支箭转 90 度前后,虚线弧标出旋转的 90 度角。长度不变、方向改变,正是旋转的定义性特征。

  “长度不变”值得单独强调,因为它是旋转区别于其他动作的分界线。同样是矩阵,放大动作让箭变长,投影动作让箭变短,只有旋转(以及镜像)保持长度。

A.1.4 cos 和 sin 从哪来:极坐标与和角公式

  旋转矩阵里的 cos、sin 是哪里来的,为什么偏偏是这两个函数?答案很朴素——它们是“角度相加”展开之后的产物。

  用极坐标写同一支箭:长度 \(r\)、方向角 \(\alpha\),则 \(x = r\cos\alpha\),\(y = r\sin\alpha\)。这两个式子把一支箭拆成了"斜边乘投影比例"的形式,几何含义如图 4:

原创示意图 · 非论文原图 y x α r x = r · cos α y = r · sin α 同一支箭:cos α 管水平投影,sin α 管垂直投影,r 是斜边
图 4:极坐标的几何含义。一支箭的长度 r 是斜边,两个分量分别是 r 乘上 cos α 与 sin α,三角函数在这里的角色就是投影比例。

  所谓“旋转 \(\theta\) 角”,就是长度 \(r\) 一动不动、方向角从 \(\alpha\) 变成 \(\alpha + \theta\)。把新的两个分量写出来并展开和角公式:

\[ x' = r\cos(\alpha + \theta) = r\cos\alpha\cos\theta - r\sin\alpha\sin\theta = x\cos\theta - y\sin\theta \tag{2} \] \[ y' = r\sin(\alpha + \theta) = r\sin\alpha\cos\theta + r\cos\alpha\sin\theta = x\sin\theta + y\cos\theta \tag{3} \]
公式 (2) 与 (3):旋转的全过程。符号说明:\(r\) 是向量长度,\(\alpha\) 是它原来的方向角,\(\theta\) 是要转过的角度;中间一步用了三角函数的和角公式 \(\cos(\alpha+\theta) = \cos\alpha\cos\theta - \sin\alpha\sin\theta\) 与 \(\sin(\alpha+\theta) = \sin\alpha\cos\theta + \cos\alpha\sin\theta\);最后一步把 \(r\cos\alpha\) 换回 \(x\)、把 \(r\sin\alpha\) 换回 \(y\),于是长度 \(r\) 被消掉,结果只与原来的分量和转角有关。
原创示意图 · 非论文原图 y x α θ 旋转前 (x, y) 旋转后 (x′, y′) 旋转 θ = 方向角从 α 加到 α+θ,长度 r 不变
图 5:旋转就是给方向角加上 θ,长度一动不动。图中浅色虚线是旋转前的箭,实线是旋转后的箭,两段弧分别标出原来的方向角 α 与转过的 θ。

  把这两个式子整理成矩阵乘向量的形状,就得到了 3.4 节那条公式:

\[ \begin{pmatrix} x' \\ y' \end{pmatrix} = \begin{pmatrix} \cos\theta & -\sin\theta \\ \sin\theta & \cos\theta \end{pmatrix} \begin{pmatrix} x \\ y \end{pmatrix} \tag{4} \]
公式 (4):旋转矩阵的标准形式。符号说明:\(\theta\) 是旋转角度(在 RoPE 里它等于位置编号乘角速度 \(m\theta_i\));矩阵第一行 \(\cos\theta, -\sin\theta\) 负责算出 \(x'\),第二行 \(\sin\theta, \cos\theta\) 负责算出 \(y'\),与公式 (2)(3) 一一对应;\((x, y)\) 是旋转前的两个分量,\((x', y')\) 是旋转后的两个分量。

  这一步推完,回头看就清楚了:三角函数不是设计者硬塞的装饰,是“把角度加在一起”这件事展开后的必然结果。只要用矩阵表达“角度增加 \(\theta\)”,得到的就只能是这个矩阵。

A.1.5 旋转的两条性质,和 RoPE 有什么关系

  旋转矩阵有两条性质,RoPE 整个设计就架在它们上面。

  性质一:长度不变。 这正是 A.1.3 小节验过的事:转多久,箭还是那么长。用矩阵语言说,旋转矩阵乘自己的转置等于单位矩阵,两个向量的点积经过同样的旋转后保持不变。

  性质二:旋转可以叠加。 先转 30 度再转 15 度,等于一次转 45 度。动手算一下就很直观:\((1, 0)\) 连转两次得到 \((0.7071, 0.7071)\),一次转 45 度得到同样的结果。

  两条性质都用到点积,先把点积在平面上完整算一遍。取 \(u = (3, 1)\) 与 \(v = (1, 2)\),两种算法给出同一个数:

\[ u \cdot v = 3 \times 1 + 1 \times 2 = 5 \tag{5} \] \[ u \cdot v = |u|\,|v|\cos\theta = 3.162 \times 2.236 \times \cos 45^\circ = 5 \tag{6} \]
公式 (5):代数算法,对应位置相乘再求和。符号说明:\(u \cdot v\) 表示点积,中间那个圆点是运算符,不是乘号省写;\((3, 1)\) 与 \((1, 2)\) 是两个向量按坐标写开的样子;\(3 \times 1\) 是 \(x\) 分量相乘,\(1 \times 2\) 是 \(y\) 分量相乘。公式 (6):几何算法,量两支箭的长度与夹角。符号说明:\(|u|\)、\(|v|\) 是两支箭各自的长度,\(|u| = \sqrt{3^2 + 1^2} \approx 3.162\),\(|v| = \sqrt{1^2 + 2^2} \approx 2.236\);\(\theta\) 是两箭之间的夹角,这里正好 45 度;\(\cos\theta\) 是夹角余弦。
原创示意图 · 非论文原图 x y 45° u = (3, 1) v = (1, 2) 垂足:距原点 1.58 虚线:把 v 的箭尖垂直落到 u 上 这段影长 1.58 就是 v 在 u 方向上的投影
图 6:两个向量的点积。紫色箭头 \(u = (3, 1)\),蓝色箭头 \(v = (1, 2)\),两箭夹角 45 度。灰色虚线把 \(v\) 的箭尖垂直落到 \(u\) 上,落点距原点 1.58,这就是 \(v\) 在 \(u\) 方向上的投影;代数算法 \(3 \times 1 + 1 \times 2 = 5\) 与几何算法 \(3.162 \times 2.236 \times \cos 45^\circ = 5\) 得到同一个数。

  两种算法为什么必然相等,看图 6 就清楚:\(\cos\theta\) 量的是 \(v\) 在 \(u\) 方向上投下的影子占 \(v\) 全长的比例,影子长 \(1.58\) 正是 \(|v|\cos\theta = 2.236 \times 0.707\) 算出来的那个数;再乘上 \(u\) 自己的长度,几何算法 \(5 = 3.162 \times 1.58\) 与代数算法 \(5 = 3 + 2\) 说的就是同一件事。点积因此有两个身份:它既是“对应位置相乘求和”这个动作,也是“一支箭在另一支箭方向上投下多长的影子,再乘上对方长度”这个测度。前者方便计算,后者方便理解含义。

  把这两条性质放到 RoPE 的场景里。位置 \(m\) 的 query 转 \(m\theta\),位置 \(n\) 的 key 转 \(n\theta\),两者做点积时看的是它们之间的夹角:

两者的间距夹角点积(原始向量都取 \((1, 0)\))
间距 0(同一位置)0 度1
间距 145 度0.707
间距 290 度0
间距 4180 度−1
原创示意图 · 非论文原图 间距 点积 1 0.707 0 −1 1 2 3 4 5 6 7 8 点积 = cos(45° × 间距):只看间距,与这对向量出现在句子的哪个位置无关 曲线还会随间距上下起伏、周期性回摆,这是每组转速固定的直接结果
图 7:把上表画成曲线。横轴是两个 token 的间距,纵轴是它们的点积,四个圆点正好对应表中的四行数字。

  这张表里藏着 RoPE 的全部意义:点积只由间距决定。这对 query 与 key 出现在句子的第 0、1 位,还是第 100、101 位,间距都是 1,点积永远是 0.707——绝对位置在计算中消失了,剩下的只有“隔几站”和“在哪边”。注意这里举的 \(\theta = 45\) 度只是为了口算方便,真实模型的每组转速要小得多。

  还有一处细节值得补上:真实的 query 向量有 \(d\) 个数(minimind 的头维度是 96),而旋转只在二维平面里有定义,所以做法是把 \(d\) 个数两两配成 \(d/2\) 组,每组是一个小平面,各自以自己的角速度旋转。

原创示意图 · 非论文原图 一个头的 q 向量(示意图,实际 d = 96):96 个数 → 48 组 a0 a1 a2 a3 a4 a5 …… a94 a95 组 0 组 1 组 2 … 组 46 组 47 转 θ0(最快) 转 θ1 转 θ2 转 θ47(几乎不动) 每组两个数 = 一个二维平面 → 各自旋转自己的角度 组数 = d ÷ 2 = 96 ÷ 2 = 48 转速按几何级数递减:靠前的组转得快,靠后的组几乎不动,合起来构成每个位置独有的旋转模式
图 8:d 维向量两两分组后各自旋转。组数与角速度的搭配,就是 3.4 节公式 (2) 的内容。

  配哪两个数也有两种等价约定:原始论文的公式按相邻两维配对,Llama、Hugging Face 与 minimind 的代码按前后半配对(第 \(i\) 个数与第 \(i + d/2\) 个数一组,函数名叫 rotate_half)。两者只是维度顺序不同,旋转效果一样。这正是 3.4 节里那段说明的来源。

A.1.6 矩阵乘法的三种读法

  到目前为止,矩阵乘的都是向量:一个矩阵对一支箭头做一次动作。手册里更常见的却是矩阵乘矩阵——4.2 节的 \(XW^Q\)、\(QK^{\top}\),4.3 节拼接结果乘 \(W^O\),都是两块数字表格相乘。同一个乘号其实有三种读法,分别适合不同场合,本节把它们一次说清。

  读法一:格点视角,每个格子是一个点积。矩阵乘法的定义本身就长这样:

\[ c_{ij} = a_{i1}b_{1j} + a_{i2}b_{2j} + \cdots + a_{in}b_{nj} = \sum_{k=1}^{n} a_{ik}\, b_{kj} \tag{7} \]
公式 (7):输出矩阵第 \(i\) 行第 \(j\) 列的格子,等于左矩阵第 \(i\) 行与右矩阵第 \(j\) 列的点积。符号说明:\(A\)(\(m\times n\))与 \(B\)(\(n\times p\))相乘得 \(C\)(\(m\times p\));\(a_{ik}\) 是 \(A\) 第 \(i\) 行第 \(k\) 列的元素,\(b_{kj}\) 是 \(B\) 第 \(k\) 行第 \(j\) 列的元素;\(n\) 是左矩阵的列数,也是右矩阵的行数,两者必须相等才乘得起来。一个 \(m\times p\) 的输出矩阵,背后就是 \(m\times p\) 次“对应相乘再求和”的打包。

  4.2 节算注意力分数用的正是这个视角:分数矩阵 \(QK^{\top}\) 的第 \(i\) 行第 \(j\) 列,就是第 \(i\) 个 query 与第 \(j\) 个 key 的点积(点积为什么能衡量匹配,A.2 节专门讲)。读分数矩阵、手算具体数字时,格点视角最顺手。

  读法二:变换视角,每一行各做一次同一个变换。把左矩阵按行拆开:\(XW\) 的第 \(i\) 行,就是 \(X\) 的第 \(i\) 行(一个行向量)乘 \(W\) 的结果,每行都经过同一个 \(W\),行与行之间互不相干。而向量乘矩阵又能拆回点积:新向量的第 \(j\) 个分量,是这个向量与 \(W\) 第 \(j\) 列的点积,也就是“它在 \(W\) 第 \(j\) 列方向上的得分”。

  拿 4.2 节的注意力投影对号入座:输入 \(X\) 是 \(3\times768\)(「我」「爱」「猫」三个 token,各一行 768 维向量),投影矩阵 \(W^Q\) 是 \(768\times96\),乘出来 \(Q\) 是 \(3\times96\)。它做的事无非是:三个 token 各自拿自己的 768 维向量,与 \(W^Q\) 的 96 列各做一次点积,各得一个 96 维的 \(q\)。三个 token 各算各的、互不混合——输出的任何一行里都没有掺进别的 token 的数字。矩阵形式只是把三次“向量乘矩阵”打包成一次,让 GPU 一趟算完,并没有引入新内容。

原创示意图 · 非论文原图 4.2 节的单头投影:X × W^Q = Q(尺寸取 minimind 真实值) ⋯ X:3 × 768 我 爱 猫 × ⋮ W^Q:768 × 96 = ⋯ Q:3 × 96 q1 q2 q3 紫格 = X 第 2 行与 W^Q 第 j 列的点积 琥珀行:第 2 个 token「爱」 三行各算各的,互不混合 输出行 i = X 第 i 行 × W^Q:琥珀色是「爱」的路径,灰虚线是另外两个 token 的同款路径 输出的每个格子(紫格)= X 的一行与 W^Q 的一列做点积——格点视角
图 9:矩阵乘法的两种读法同框。变换视角:X 的第 i 行穿过 W^Q 落到 Q 的第 i 行(琥珀色为「爱」的路径,灰虚线是另外两个 token),三行互不混合;格点视角:输出里的每个格子(紫格)是 X 的一行与 W^Q 的一列做点积。尺寸为 minimind 真实值:3 个 token、嵌入 768 维、单个注意力头 96 维。

  一个形状约定需要说清:本节与第 4 章都把向量写成行、从左边乘上去,此时矩阵写成“行数 = 输入维度、列数 = 输出维度”,\(W^Q\) 才是 \(768\times96\)。A.1.2 的矩阵乘列向量写法里,同一个动作要写成它的转置。代码里 nn.Linear(768, 96) 存的权重是 \(96\times768\),相乘时框架会自动转置——三种摆放方式说的是同一个动作。

  读法三:复合视角,两次动作合成一次。矩阵乘矩阵还有一层含义:两个变换的复合。按 A.1.2 的列向量写法,向量先经手 \(A\) 再经手 \(B\),结果是 \(B(Ax)\);矩阵乘法满足结合律,\(B(Ax) = (BA)x\),所以“先做 \(A\)、再做 \(B\)”与“一次做 \(BA\)”完全等价——两个矩阵可以先乘起来合成一个新矩阵,一次把两步动作做完(换成行向量写法,同一个复合是 \(xAB\),从左往右读)。

  本页前面的旋转就是最好的例子:先转 \(\theta_1\) 再转 \(\theta_2\),复合之后等于一次转 \(\theta_1+\theta_2\),写成矩阵是:

\[ R(\theta_2)\,R(\theta_1) = R(\theta_1 + \theta_2) \tag{8} \]
公式 (8):旋转的复合。符号说明:\(R(\theta)\) 是公式 (4) 的旋转矩阵;先转 \(\theta_1\) 再转 \(\theta_2\),与一次转 \(\theta_1+\theta_2\) 是同一个矩阵。这就是 A.1.5“旋转可以叠加”的矩阵写法,和角公式就藏在两个矩阵相乘的展开里。

  要提醒的是顺序:一般的矩阵乘法不能交换,\(BA\) 与 \(AB\) 通常是两个不同的动作,复合的书写顺序(从右往左读)不能随意调换;同一平面内的旋转是个温柔的例外,两次旋转交换顺序结果相同。

  三种读法说的都是同一个乘法,区别只在观察角度。读手册时可以按需切换:

读法把乘法看成适合的场合
格点视角输出每个格子 = 左矩阵一行与右矩阵一列的点积手算具体数字、读注意力分数矩阵 \(QK^{\top}\)(4.2 节)
变换视角左矩阵每一行各做一次同一个线性变换,各行独立理解投影层:QKV 投影(4.2 节)、输出投影 \(W^O\)(4.3 节)
复合视角两个变换合成一个,先乘起来再一次做完理解连续变换,如旋转的叠加(A.1.5)

  带走一句:矩阵乘法只有一个,三种读法只是三副眼镜。遇到 \(XW^Q\) 这类投影时用变换视角(每行独立过同一个 \(W\));遇到 \(QK^{\top}\) 这类打分矩阵时用格点视角(每格一个点积);遇到连续两次变换时用复合视角(先乘起来,一次做完)。

本书用在哪

出现位置用到了本节什么
3.1 词向量向量是箭头:语义的相似表现为方向相近,而不是某个维度的数值
3.4 相对位置编码公式 (1)(2) 的旋转矩阵、两两分组的由来、点积只依赖相对位移的结论
3.5 长度外推位置超出训练范围意味着转角超出训练分布,注意力分数因而失真
8.2 位置编码缩放PI、NTK、YaRN 这些方法,改的都是转角 \(\theta\) 或它的基数,动作本身仍是旋转
4.2 注意力机制点积衡量匹配(下一节 A.2 专门讲点积与相似度)
4.2 注意力机制QKV 投影 \(XW^Q\) 等:用变换视角读,每个 token 的行独立过同一个投影矩阵,互不混合(A.1.6)
4.3 多头注意力输出投影 \(W^O\):拼接行乘矩阵,把 8 个头的信息融合回 768 维,同为变换视角(A.1.6)