15.4 模态对齐 II:连接器三世代——投影、查询与注入

本页范围:第 15 章第 4 节 | 整理时间:2026-10-10

快速浏览

核心问题15.3 节的 CLIP 对齐的是「整图 ↔ 整段话」的一个全局向量;而 LLM 的上下文需要的是一串能逐个位置读入的视觉 token,维度还得与词嵌入一致。从「对齐过的视觉特征」到「LLM 上下文里的一段特殊词」,这最后一厘米怎么接?
本节主张连接器(connector)是 VLM 中最轻量却最关键的部件:视觉编码器与 LLM 双双冻结,只训练中间这层「翻译官」。三代设计回答同一个问题的三种方式——LLaVA 用一层线性投影直通(能留全留),BLIP-2 用 32 个可学习查询把视觉信息压成精华(能压则压),Flamingo 把视觉特征经门控交叉注意力直接注入 LLM 层间(改道输送)。
一句话结论连接器的核心权衡是视觉 token 的数量与保真度:LLaVA 全量保留 256 个 token,简单而强大;Q-Former 压到 32 个换取训练与推理效率;Flamingo 固定 64 个 latent 并以门控保证注入不破坏原 LM——三代方案没有绝对优劣,只有算力预算与任务需求的不同。
关键词
连接器线性投影LLaVAQ-FormerBLIP-2Perceiver Resampler门控交叉注意力Flamingo视觉 token 数冻结策略

  前两节分别介绍了视觉编码器(ViT,15.2 节)和图文对齐训练(CLIP,15.3 节)。CLIP 对齐整图向量与整句向量,而 VLM 的 LLM 需要在上下文中逐个处理视觉 token:256 个 1024 维图块特征如何变成 LLM 可处理的序列,就是连接器要解决的问题。连接器位于视觉感知与语言模型之间,负责转换并传递视觉特征。

  本节按连接器设计的三代演进展开,每种设计都对应一篇代表性论文,路线图如下:

  1. 线性投影:LLaVA 的极简答案(15.4.1):一层全连接就够用,简单为什么反而成了主流;
  2. 可学习查询压缩:BLIP-2 的 Q-Former(15.4.2):32 个「进修过的查询」把 257 个图块特征榨成 32 个精华 token;
  3. 交叉注意力注入:Flamingo 的 Perceiver Resampler 与门控 XATTN(15.4.3):不改输入序列,改在 LLM 层间开「侧门」输送视觉信息;
  4. 横向对比:视觉 token 数 × 训练成本 × 表达能力(15.4.4):三代表格式对照与选型逻辑。

  读完本节,应该能画出三种接法的结构图,说清「视觉 token 数量」为什么是连接器设计的第一变量,并理解 15.5 节的训练流水线为什么敢放心冻结大部分参数。

15.4.1 线性投影:LLaVA 的极简答案

  LLaVA(Large Language and Vision Assistant,2023)给出的连接器简单到令人怀疑:视觉编码器与 LLM 全部冻结,中间只插一层可训练的线性投影 \(\mathbf{W}\)。

  具体链路:图像过冻结的 CLIP ViT-L/14(224 像素输入,14×14 像素一块,得 16×16=256 个图块),取出编码器倒数第二层的网格特征(避免最后一层过度向 CLS 汇总),每个图块一个 1024 维向量;线性层把这 256 个向量逐一从 1024 维映射到 LLM(Vicuna,LLaMA 系指令模型,7B/13B)的词嵌入维度;得到的 256 个「视觉 token」与文本 token 的嵌入拼接,一起送入 LLM。对 LLM 而言,上下文就是「一段读得懂的前缀 + 用户的文字问题」。

\[ \mathbf{h}_{v}^{i}=\mathbf{W}\,\mathbf{z}_{v}^{i}+\mathbf{b},\qquad i=1,\dots,256 \tag{1} \]
公式 (1):LLaVA 连接器的全部内容。符号说明:\(\mathbf{z}_{v}^{i}\) 是冻结 CLIP 视觉塔给出的第 \(i\) 个图块特征(1024 维);\(\mathbf{W}\)、\(\mathbf{b}\) 是可学习的投影矩阵与偏置,把特征变到 LLM 的词嵌入维度(如 Vicuna-7B 为 4096 维);\(\mathbf{h}_{v}^{i}\) 是最终的视觉 token,与文本 token 的嵌入(第 3.1 节)处于同一空间,可直接拼接。每个图块独立过同一个投影——没有跨图块的信息交换,「翻译」是逐词直译,不打乱次序。

  为什么敢这么简单?底气来自 15.3 节的结论:CLIP 特征空间已经按语言语义组织,与词嵌入空间「度量同构」,剩下的差异大概率只是一个线性变换能弥合的。LLaVA 的成功(15.5 节给出训练配方与成绩)证明了这个判断,也立下了此后两年开源 VLM 的默认骨架。后续 LLaVA-1.5 只做了两处保守升级:线性层换成两层 MLP(翻译表达力更强),输入分辨率从 224 提到 336(视觉 token 变为 24×24=576 个,细节更多)——主干思路一字未改。

  为什么取「倒数第二层」的特征?Transformer 最后一层的表示会高度向 [CLS] 位置的全局任务目标收束,逐图块的局部细节反而在倒数第二层保留得更完整。VLM 要的是整幅图的结构化理解而非一个全局判断,所以多数实现取中间偏末层的网格特征。这属于经验做法,非定理。

15.4.2 可学习查询压缩:BLIP-2 的 Q-Former

  LLaVA 把 256 个视觉 token 全量塞给 LLM,上下文开销随图像数量与分辨率线性上涨。BLIP-2(2023)走了相反的极端:不管原图有多少图块,最终只给 LLM 32 个视觉 token。完成这次极限压缩的部件叫 Q-Former(Querying Transformer)。

  Q-Former 是一个小型 Transformer(约 188M 参数,从 BERT-base 初始化),它的输入不是图块特征本身,而是 32 个可学习的查询向量(各 768 维,作为模型参数直接训练)。这些查询在层内先做自注意力相互交流,再每隔一个块通过交叉注意力(第 4 章的注意力变体:查询来自 Q-Former,键与值来自冻结视觉塔的输出)向 257 个图块特征「提问」。形象地说,32 个查询像 32 名记者,围着整张图的特征开新闻发布会,各自就关心的方面提问,散会时每人带走一份 768 维的纪要——最终输出 32×768,而输入是 257×1024。

信息瓶颈 Information Bottleneck bottleneck = 瓶颈——故意收窄通道,逼信息去芜存菁

信息瓶颈是一种设计策略:在网络中间故意设置一个容量远小于输入的通道(如把 257×1024 压成 32×768),迫使模型只保留对任务最有用的信息,滤掉冗余细节。压缩既能降低计算量,也有正则化作用;但如果被压掉的细节是任务所需,就会限制模型能力。

像把一整本现场笔录压缩成一页简报:读简报很快,但简报写什么、漏什么,取决于记录者对「什么重要」的判断——32 个查询就是在亿万次训练中学会「什么值得问」的。

  Q-Former 的训练分两阶段(对应 15.5 节的流水线思想):先接在冻结图像编码器之后,用三个目标同时训练——图文对比(ITC,与 CLIP 同族)、图文匹配二分类(ITM,判断一对图文是否相配)、图文生成(ITG,以图为条件生成描述文字);再接上冻结 LLM,把 32 个查询输出经一层全连接投影到 LLM 嵌入维度,以文本生成目标继续训。全程视觉塔与 LLM 都冻结,可训练的只有 Q-Former 与投影层。凭借这套设计,BLIP-2 在 zero-shot VQAv2 上比 Flamingo-80B 高出 8.7%,而可训练参数少了 54 倍——连接器的精巧设计实实在在换来了数量级的效率。

15.4.3 交叉注意力注入:Flamingo 的 Perceiver Resampler 与门控 XATTN

  DeepMind 的 Flamingo(2022)提出了第三种接法:视觉信息不进输入序列,而是在 LLM 层间开侧门。它由两个新部件配合完成:

Perceiver Resampler

与 Q-Former 同族的压缩器:用一组可学习 latent 查询(每张图/视频固定 64 个)对冻结视觉编码器(对比训练的 NFNet-F6)的变长特征做交叉注意力,无论输入分辨率多大、视频多长,都压成 64 个视觉 token。约 200M 参数。

GATED XATTN-DENSE

在冻结 LLM 的每若干层之间,插入新初始化的「交叉注意力 + 前馈」层:查询来自文本,键与值来自 64 个视觉 token。关键在门控——每层输出乘一个 tanh 门,门参数初始化为零。

  零初始化门控的作用可以直接从公式看出:训练起点处 tanh(0)=0,所有插入层输出为零,整个网络在数学上等于原来的冻结 LM。视觉通路初始不产生贡献,随后随训练逐步调整,避免随机初始化的视觉支路在训练初期破坏预训练 LM。论文的消融显示,拿掉这个门控,基准成绩下降 4.2 个百分点。

  Flamingo 的另一项设计是为交错图文而生:网页、对话里图与文天然混排(「先看这张图:……再看那张:……它们有何不同?」)。Flamingo 给交叉注意力配了 per-image 掩码(附录 A.11 的掩码思想):每个文本 token 只允许「看见」它前面最近的一张图。这样模型天然支持多图上下文与 few-shot 提示——给几组(图+问答)示例再问新图,模型照猫画虎,这正是它拿下 16 个多模态基准 few-shot SOTA 的机制基础。最大的 Flamingo-80B 由 70B 的冻结 LM(Chinchilla 系)加上约 10B 的新训练参数(Resampler 与插入层)构成。

原创示意图 · 非论文原图 连接器三世代:同一个「视觉特征 → LLM」问题,三种接法(灰锁 = 冻结,紫 = 可训练) ① 线性投影(LLaVA):视觉 token 直接进输入序列 CLIP ViT 🔒 256×1024 线性投影 W 唯一可训练件 LLM 输入序列 🔒 [256 视觉 token] + [文本] ② 查询压缩(BLIP-2):32 个 token 进输入序列 CLIP ViT 🔒 257×1024 Q-Former 32 查询 · 188M LLM 输入序列 🔒 [32 视觉 token] + [文本] ③ 层间注入(Flamingo):视觉 token 不进序列,走层间侧门 NFNet-F6 🔒 变长特征 Perceiver Resampler 64 latent · ~200M 冻结 LM 层 🔒 门控 XATTN(新) 冻结 LM 层 🔒 门控 XATTN(新) 门控 tanh 门零初始化: 起点处插入层输出为 0, 整体严格等于原冻结 LM, 训练再逐步「拧开阀门」。 每个文本 token 仅可见 其前方最近一张图 (per-image 掩码)。
图 1:连接器三世代结构对比。① LLaVA:冻结视觉塔的 256 个图块特征经唯一可训练的线性层投影,作为视觉 token 直接拼进 LLM 输入序列;② BLIP-2:Q-Former 用 32 个可学习查询经交叉注意力把 257 个图块特征压缩成 32 个 token 再进序列;③ Flamingo:视觉信息不进输入序列,Perceiver Resampler 压成 64 个 latent 后,由交错插入冻结 LM 层间的门控交叉注意力层输送,门初始为零保证训练稳定。

15.4.4 横向对比:视觉 token 数 × 训练成本 × 表达能力

  三代连接器摆在一张表里,设计空间的三个坐标立刻清晰——给 LLM 多少视觉 token、愿意训练多少参数、要不要动 LLM 本体:

LLaVA(①投影)BLIP-2(②查询压缩)Flamingo(③层间注入)
视觉编码器CLIP ViT-L/14 🔒CLIP / EVA-CLIP ViT 🔒NFNet-F6(对比训练)🔒
LLMVicuna 7B/13B(阶段二解冻)OPT 2.7B/6.7B、FlanT5 🔒Chinchilla 系,最大 70B 🔒
连接器单层线性(1.5 版为两层 MLP)Q-Former,约 188MResampler 约 200M + 插入层
视觉 token 数256(1.5 版 576)3264(每图/视频固定)
视觉进何处输入序列前缀输入序列前缀LLM 层间交叉注意力
可训练参数极小(投影层;阶段二含 LLM)约 188M + 投影约 10B(80B 版)
招牌能力极简、易复现、细节全保留极致效率(超 Flamingo-80B 8.7%,参数少 54×)交错图文、多图 few-shot

  怎么选?回到 token 数量这个第一变量:视觉 token 是 LLM 的「视力分辨率」——给得越多,细节(小字、小物体、空间关系)保留越全,但上下文成本与训练开销同步上涨;压得越少,效率越高,但细节在经过瓶颈时被强制丢弃,且丢什么由连接器学出来的「提问策略」决定,不可控。LLaVA 路线赌「LLM 足够强,信息全给它自己挑」,Q-Former 路线赌「32 个学出来的问题足以覆盖大部分任务」,Flamingo 路线则为多图交错与稳定注入付出了最大训练成本。今天开源社区的主流选择是 LLaVA 式的投影直通(细节时代分辨率水涨船高,token 数从 256 涨到 576 乃至上千),而 Q-Former 的思想仍在视频、多图等「token 预算紧张」的场景延续。

  连接器决定视觉信息以多少 token、什么形式进入 LLM。视觉编码器与 LLM 都可以使用现成的冻结权重,连接器的设计会直接影响系统的信息保留、计算成本与训练方式。三代方案分别在保真度、效率和侵入性之间做取舍。

🧭本节要点回顾
LLaVA 的连接器简单到只有一层线性投影,为什么可行?
CLIP 已把视觉特征空间按语言语义预对齐,与词嵌入空间度量同构,剩余差异一个线性变换即可弥合。投影逐图块独立进行、不打乱次序,256 个视觉 token 全量进上下文,细节保留最完整,代价是上下文开销大。
Q-Former 如何把 257 个图块特征压成 32 个 token?
32 个可学习查询向量在 Q-Former 内自注意力交流,并隔块经交叉注意力向冻结视觉特征「提问」,输出 32×768。信息瓶颈迫使模型只保留任务相关信息,换来 zero-shot VQAv2 超 Flamingo-80B 8.7%、可训练参数少 54 倍的极致效率,但压掉的细节不可恢复。
Flamingo 的门控交叉注意力解决了什么独有的难题?
两个问题:一是不污染预训练 LM——tanh 门零初始化使训练起点严格等于原冻结 LM(去掉门控掉 4.2 分);二是支持交错图文——per-image 掩码让每个文本 token 只看其前方最近一张图,多图 few-shot 上下文由此成立。

参考来源

  • Liu et al., 2023. Visual Instruction Tuning(LLaVA 原论文,NeurIPS 2023 Oral,arXiv:2304.08485;线性投影、256 视觉 token、倒数第二层网格特征出自此文)。
  • Liu et al., 2023. Improved Baselines with Visual Instruction Tuning(LLaVA-1.5,arXiv:2310.03744;两层 MLP 与 336 像素/576 token 升级)。
  • Li et al., 2023. BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models(ICML 2023,arXiv:2301.12597;Q-Former、32 查询、三目标两阶段、效率对比数字出自此文)。
  • Alayrac et al., 2022. Flamingo: a Visual Language Model for Few-Shot Learning(NeurIPS 2022,arXiv:2204.14198;Perceiver Resampler、门控 XATTN-DENSE、per-image 掩码与模型规模出自此文)。