A.15 Q、K、V 的出处:从信息检索到注意力
本页范围:附录 A 第 15 节 | 整理时间:2026-10-14
4.2 节讲过,每个 token 的向量会被投影派生出三种角色:query 负责提问,key 负责应答,value 负责供货。这三个名字借自信息检索。了解它们在该领域的原义,有助于理解注意力的公式。
- 三个词的本行:信息检索与数据库(A.15.1):query 是检索词、key 是索引、value 是内容,三者分工是什么;
- 注意力怎么借用:把硬检索软化(A.15.2):不取最高分一条,改成按分加权平均,检索过程因此可微、可训练;
- 一段历史线:名字是哪一年定的(A.15.3):2014 对齐机制、2016 键值记忆网络、2017 Transformer 定名。
读完应能讲清两件事:query、key、value 各自的本义与分工;这套术语从信息检索进入注意力机制的经过。
A.15.1 三个词的本行:信息检索与数据库
打开任何一个搜索引擎,三个角色一个不少。你输入的那句话叫 query(检索词、查询);搜索引擎事先给每个网页建好的索引(标题词、关键词、标签)叫 key(键);索引背后那份你真正想看的网页正文,叫 value(值、内容)。数据库与编程语言里的字典是同一套结构:d[key] 取出 value,SQL 里 WHERE key = query 挑出对应的行。
为什么要拆成 key 和 value 两份?因为“好查”与“有用”是两件事。网页标题适合被检索(短、规整、覆盖主题),正文才是要读的内容;把索引与内容分开,系统就能用轻量的 key 快速定位,再交出背后的 value。key 负责“被找到”,value 负责“被拿走”,query 负责“说出你要什么”。
A.15.2 注意力怎么借用:把硬检索软化
注意力机制把检索的三步原样保留——提问、匹配、取货——只改动一处:不再只取最高分那一条,而是把所有匹配分送进 softmax 变成权重(A.3 节),对全部 value 做加权平均。硬检索变软检索。这一软带来决定性好处:整个取货过程连续可微,梯度能顺着权重流回每个 key、每条 value,检索策略因此可以被训练。
对照 4.2 节“我爱猫”的手算例:token“猫”的 query 就是它的检索词,向全句提问“你跟我有多相关”;每个位置的 key 是挂出来的索引牌,与 query 点积得匹配分(我 0.507、爱 0.186、自己 0.307);value 是牌后面的货,按权重掺成“猫”的新向量。一张映射表把两个世界对齐:
| 信息检索 | 注意力机制 | 分工 |
|---|---|---|
| query:检索词 | Q:本 token 的提问向量 | 说出“我要什么” |
| key:索引 | K:各位置的应答向量 | 决定“能不能被查到” |
| 匹配分 | QKᵀ 点积打分(÷√d,A.2 节) | 相关程度量化 |
| 取最高分一条 | softmax 成权重,全部 value 加权平均 | 硬检索软化,可微可训练 |
| value:正文内容 | V:各位置的内容向量 | 被拿走、被掺起来的货 |
这张表也解释了 4.2 节的一个设计:为什么 key 和 value 要用两个不同的投影矩阵分别产生,而不是同一个向量兼任?原因就在本行——索引与内容天生是两份东西,被查到的方式(key)与被打包的内容(value)理应分开优化。
A.15.3 一段历史线:名字是哪一年定的
2014 年,机制已生,名字未有。Bahdanau 等在神经机器翻译中提出对齐机制:decoder 的当前状态与 encoder 每个位置的隐状态算一个“对齐分数”(alignment score),softmax 归一化后对各隐状态加权求和,再拿去做翻译。计算流程已经是地道的注意力,但论文通篇用的是隐状态、对齐分数这类说法,没有 query、key、value 这三个名字。
2016 年,键值分离进入深度学习。Miller 等提出 Key-Value Memory Networks,把外部记忆(比如一批百科文档)的每个条目拆成两份:key 部分负责与问题做匹配,value 部分负责提供组装答案的素材。“key 用于检索、value 用于读取”的分工,从信息检索正式搬进了神经网络。
2017 年,三个名字定死。Vaswani 等的《Attention Is All You Need》在开篇定义里直接写道:注意力函数是“把一个 query 和一组 key-value 对映射为一个输出”(本书 ref_paper 目录有该论文原文),三个名字自此成为标准术语。论文进一步明确 self-attention(自注意力)的做法:Q、K、V 由同一个序列各自投影而来——“self”指的是三者同源。顺带防一个混淆:这个 self 与统计里的 auto(如 auto-covariance 自协方差)毫无关系,前者说“Q、K、V 来自同一序列”,后者是时序信号的概念,本书不展开。
一句话收束:记住检索隐喻,Q、K、V 就不再是三个抽象符号——query 会问,key 会索引,value 会取货;注意力就是一场可以训练的软检索。
本书用在哪
| 章节 | 用到本节什么 |
|---|---|
| 4.2 注意力机制 | Q、K、V 三种角色的本义与分工,软硬检索之别 |
| 4.3 多头注意力 | 每个头各自一套 Q、K、V 投影,相当于多路并行检索 |
| 5.2 / 5.3 MQA、GQA、MLA | 省显存省的正是 key 与 value 的缓存(KV Cache),“索引与内容”两份都要压 |
| 13.2 KV Cache | 推理时缓存的是历史 token 的 key 与 value,query 只用当前这一份 |
| A.14 三矩阵对比 | QKᵀ 这张打分矩阵与协方差、Gram 矩阵的“像与不像” |