15.4 模态对齐 II:连接器三世代——投影、查询与注入
本页范围:第 15 章第 4 节 | 整理时间:2026-10-10
前两节分别介绍了视觉编码器(ViT,15.2 节)和图文对齐训练(CLIP,15.3 节)。CLIP 对齐整图向量与整句向量,而 VLM 的 LLM 需要在上下文中逐个处理视觉 token:256 个 1024 维图块特征如何变成 LLM 可处理的序列,就是连接器要解决的问题。连接器位于视觉感知与语言模型之间,负责转换并传递视觉特征。
本节按连接器设计的三代演进展开,每种设计都对应一篇代表性论文,路线图如下:
- 线性投影:LLaVA 的极简答案(15.4.1):一层全连接就够用,简单为什么反而成了主流;
- 可学习查询压缩:BLIP-2 的 Q-Former(15.4.2):32 个「进修过的查询」把 257 个图块特征榨成 32 个精华 token;
- 交叉注意力注入:Flamingo 的 Perceiver Resampler 与门控 XATTN(15.4.3):不改输入序列,改在 LLM 层间开「侧门」输送视觉信息;
- 横向对比:视觉 token 数 × 训练成本 × 表达能力(15.4.4):三代表格式对照与选型逻辑。
读完本节,应该能画出三种接法的结构图,说清「视觉 token 数量」为什么是连接器设计的第一变量,并理解 15.5 节的训练流水线为什么敢放心冻结大部分参数。
15.4.1 线性投影:LLaVA 的极简答案
LLaVA(Large Language and Vision Assistant,2023)给出的连接器简单到令人怀疑:视觉编码器与 LLM 全部冻结,中间只插一层可训练的线性投影 \(\mathbf{W}\)。
具体链路:图像过冻结的 CLIP ViT-L/14(224 像素输入,14×14 像素一块,得 16×16=256 个图块),取出编码器倒数第二层的网格特征(避免最后一层过度向 CLS 汇总),每个图块一个 1024 维向量;线性层把这 256 个向量逐一从 1024 维映射到 LLM(Vicuna,LLaMA 系指令模型,7B/13B)的词嵌入维度;得到的 256 个「视觉 token」与文本 token 的嵌入拼接,一起送入 LLM。对 LLM 而言,上下文就是「一段读得懂的前缀 + 用户的文字问题」。
为什么敢这么简单?底气来自 15.3 节的结论:CLIP 特征空间已经按语言语义组织,与词嵌入空间「度量同构」,剩下的差异大概率只是一个线性变换能弥合的。LLaVA 的成功(15.5 节给出训练配方与成绩)证明了这个判断,也立下了此后两年开源 VLM 的默认骨架。后续 LLaVA-1.5 只做了两处保守升级:线性层换成两层 MLP(翻译表达力更强),输入分辨率从 224 提到 336(视觉 token 变为 24×24=576 个,细节更多)——主干思路一字未改。
为什么取「倒数第二层」的特征?Transformer 最后一层的表示会高度向 [CLS] 位置的全局任务目标收束,逐图块的局部细节反而在倒数第二层保留得更完整。VLM 要的是整幅图的结构化理解而非一个全局判断,所以多数实现取中间偏末层的网格特征。这属于经验做法,非定理。
15.4.2 可学习查询压缩:BLIP-2 的 Q-Former
LLaVA 把 256 个视觉 token 全量塞给 LLM,上下文开销随图像数量与分辨率线性上涨。BLIP-2(2023)走了相反的极端:不管原图有多少图块,最终只给 LLM 32 个视觉 token。完成这次极限压缩的部件叫 Q-Former(Querying Transformer)。
Q-Former 是一个小型 Transformer(约 188M 参数,从 BERT-base 初始化),它的输入不是图块特征本身,而是 32 个可学习的查询向量(各 768 维,作为模型参数直接训练)。这些查询在层内先做自注意力相互交流,再每隔一个块通过交叉注意力(第 4 章的注意力变体:查询来自 Q-Former,键与值来自冻结视觉塔的输出)向 257 个图块特征「提问」。形象地说,32 个查询像 32 名记者,围着整张图的特征开新闻发布会,各自就关心的方面提问,散会时每人带走一份 768 维的纪要——最终输出 32×768,而输入是 257×1024。
信息瓶颈是一种设计策略:在网络中间故意设置一个容量远小于输入的通道(如把 257×1024 压成 32×768),迫使模型只保留对任务最有用的信息,滤掉冗余细节。压缩既能降低计算量,也有正则化作用;但如果被压掉的细节是任务所需,就会限制模型能力。
Q-Former 的训练分两阶段(对应 15.5 节的流水线思想):先接在冻结图像编码器之后,用三个目标同时训练——图文对比(ITC,与 CLIP 同族)、图文匹配二分类(ITM,判断一对图文是否相配)、图文生成(ITG,以图为条件生成描述文字);再接上冻结 LLM,把 32 个查询输出经一层全连接投影到 LLM 嵌入维度,以文本生成目标继续训。全程视觉塔与 LLM 都冻结,可训练的只有 Q-Former 与投影层。凭借这套设计,BLIP-2 在 zero-shot VQAv2 上比 Flamingo-80B 高出 8.7%,而可训练参数少了 54 倍——连接器的精巧设计实实在在换来了数量级的效率。
15.4.3 交叉注意力注入:Flamingo 的 Perceiver Resampler 与门控 XATTN
DeepMind 的 Flamingo(2022)提出了第三种接法:视觉信息不进输入序列,而是在 LLM 层间开侧门。它由两个新部件配合完成:
Perceiver Resampler
与 Q-Former 同族的压缩器:用一组可学习 latent 查询(每张图/视频固定 64 个)对冻结视觉编码器(对比训练的 NFNet-F6)的变长特征做交叉注意力,无论输入分辨率多大、视频多长,都压成 64 个视觉 token。约 200M 参数。
GATED XATTN-DENSE
在冻结 LLM 的每若干层之间,插入新初始化的「交叉注意力 + 前馈」层:查询来自文本,键与值来自 64 个视觉 token。关键在门控——每层输出乘一个 tanh 门,门参数初始化为零。
零初始化门控的作用可以直接从公式看出:训练起点处 tanh(0)=0,所有插入层输出为零,整个网络在数学上等于原来的冻结 LM。视觉通路初始不产生贡献,随后随训练逐步调整,避免随机初始化的视觉支路在训练初期破坏预训练 LM。论文的消融显示,拿掉这个门控,基准成绩下降 4.2 个百分点。
Flamingo 的另一项设计是为交错图文而生:网页、对话里图与文天然混排(「先看这张图:……再看那张:……它们有何不同?」)。Flamingo 给交叉注意力配了 per-image 掩码(附录 A.11 的掩码思想):每个文本 token 只允许「看见」它前面最近的一张图。这样模型天然支持多图上下文与 few-shot 提示——给几组(图+问答)示例再问新图,模型照猫画虎,这正是它拿下 16 个多模态基准 few-shot SOTA 的机制基础。最大的 Flamingo-80B 由 70B 的冻结 LM(Chinchilla 系)加上约 10B 的新训练参数(Resampler 与插入层)构成。
15.4.4 横向对比:视觉 token 数 × 训练成本 × 表达能力
三代连接器摆在一张表里,设计空间的三个坐标立刻清晰——给 LLM 多少视觉 token、愿意训练多少参数、要不要动 LLM 本体:
| LLaVA(①投影) | BLIP-2(②查询压缩) | Flamingo(③层间注入) | |
|---|---|---|---|
| 视觉编码器 | CLIP ViT-L/14 🔒 | CLIP / EVA-CLIP ViT 🔒 | NFNet-F6(对比训练)🔒 |
| LLM | Vicuna 7B/13B(阶段二解冻) | OPT 2.7B/6.7B、FlanT5 🔒 | Chinchilla 系,最大 70B 🔒 |
| 连接器 | 单层线性(1.5 版为两层 MLP) | Q-Former,约 188M | Resampler 约 200M + 插入层 |
| 视觉 token 数 | 256(1.5 版 576) | 32 | 64(每图/视频固定) |
| 视觉进何处 | 输入序列前缀 | 输入序列前缀 | LLM 层间交叉注意力 |
| 可训练参数 | 极小(投影层;阶段二含 LLM) | 约 188M + 投影 | 约 10B(80B 版) |
| 招牌能力 | 极简、易复现、细节全保留 | 极致效率(超 Flamingo-80B 8.7%,参数少 54×) | 交错图文、多图 few-shot |
怎么选?回到 token 数量这个第一变量:视觉 token 是 LLM 的「视力分辨率」——给得越多,细节(小字、小物体、空间关系)保留越全,但上下文成本与训练开销同步上涨;压得越少,效率越高,但细节在经过瓶颈时被强制丢弃,且丢什么由连接器学出来的「提问策略」决定,不可控。LLaVA 路线赌「LLM 足够强,信息全给它自己挑」,Q-Former 路线赌「32 个学出来的问题足以覆盖大部分任务」,Flamingo 路线则为多图交错与稳定注入付出了最大训练成本。今天开源社区的主流选择是 LLaVA 式的投影直通(细节时代分辨率水涨船高,token 数从 256 涨到 576 乃至上千),而 Q-Former 的思想仍在视频、多图等「token 预算紧张」的场景延续。
连接器决定视觉信息以多少 token、什么形式进入 LLM。视觉编码器与 LLM 都可以使用现成的冻结权重,连接器的设计会直接影响系统的信息保留、计算成本与训练方式。三代方案分别在保真度、效率和侵入性之间做取舍。
参考来源
- Liu et al., 2023. Visual Instruction Tuning(LLaVA 原论文,NeurIPS 2023 Oral,arXiv:2304.08485;线性投影、256 视觉 token、倒数第二层网格特征出自此文)。
- Liu et al., 2023. Improved Baselines with Visual Instruction Tuning(LLaVA-1.5,arXiv:2310.03744;两层 MLP 与 336 像素/576 token 升级)。
- Li et al., 2023. BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models(ICML 2023,arXiv:2301.12597;Q-Former、32 查询、三目标两阶段、效率对比数字出自此文)。
- Alayrac et al., 2022. Flamingo: a Visual Language Model for Few-Shot Learning(NeurIPS 2022,arXiv:2204.14198;Perceiver Resampler、门控 XATTN-DENSE、per-image 掩码与模型规模出自此文)。