15.3 模态对齐 I:CLIP 用对比学习打通图文
本页范围:第 15 章第 3 节 | 整理时间:2026-10-10
ViT 特征与 LLM 词嵌入位于不同的数值空间,直接拼接无法让语言模型正确利用视觉信息。CLIP(Contrastive Language-Image Pre-training)保持 ViT 架构不变,改用图文配对数据训练图像编码器,使视觉特征与文本特征在共享空间中对齐。
本节按「监督信号 → 训练机制 → 推理方式 → 历史定位」的顺序展开,路线图如下:
- 监督信号的升级:从类别标签到 4 亿条自然语言描述(15.3.1):为什么「图配文字」比「图配标签」信息量大得多;
- 双塔架构与对称 InfoNCE 损失(15.3.2):对比学习的完整公式拆解,一个 batch 如何同时提供正样本与全部负样本;
- zero-shot 分类:把类别名写成 prompt 的推理方式(15.3.3):不训练任何参数如何做图像分类,76.2% 意味着什么;
- CLIP 的遗产:VLM 时代的事实标准视觉编码器(15.3.4):为什么后来的 VLM 几乎人手一座 CLIP 视觉塔。
本节用到的数学工具都是老熟人:余弦相似度(附录 A.2)、softmax 与温度(附录 A.3)、交叉熵(附录 A.4)——CLIP 的损失函数就是这三者的拼装。
15.3.1 监督信号的升级:从类别标签到 4 亿条自然语言描述
传统视觉训练的监督信号是类别标签:ImageNet 给每张图盖一个章——「虎斑猫」「灯塔」「沙锤」。这种信号有两个硬伤。一是信息量薄:一张内容丰富的生活照被压缩成千类之一的编号,图里还有什么、它们什么关系,标签一概不说。二是词汇封闭:模型只认识训练时那 1000 个类,换个类别体系(比如换成「室内/室外」)就得重新标注、重新训头。
CLIP 换了一个几乎免费的信号源:互联网上图片自带的文字——网页里图片旁边的 alt 文本、说明、标题。这些文字是人为描述图片写的,天然就是「这张图在讲什么」的句子级标注。OpenAI 从网上收集了 4 亿对这样的(图像, 文本),构成 WIT 数据集(WebImageText)。与 ImageNet 的 1.3M 张图、1000 个封闭类别相比,这是数量与开放度的双重升维:文本里出现的概念不受类别表限制,「一只戴着派对帽的柯基」也能成为学习信号。
更妙的是监督的「用法」也变了。标签路线的训练目标是「分出哪一类」,文本路线没有类别可分——CLIP 选择的任务是匹配:给定一张图,从一堆文本里挑出真正描述它的那一句;反过来,给定一句话,挑出它描述的那张图。这个任务不要求模型背任何类别表,却逼它把图和文的语义内容对齐起来。下一小节看它如何用数学实现。
15.3.2 双塔架构与对称 InfoNCE 损失
对比学习是一类自监督范式:不直接教模型「正确答案是什么」,而是教它「谁和谁是一对、谁和谁不是」。模型把样本映射成向量,训练目标让正样本对(语义匹配)的向量靠近、负样本对(不匹配)的向量远离。嵌入空间的结构——什么跟什么算「近」——就是在无数次比较中塑形的。
CLIP 的架构是标准的双塔:一座图像编码器(ResNet 或 15.2 节的 ViT),一座文本编码器(GPT 风格的 Transformer)。图像过图像塔得向量 \(u\),文本过文本塔得向量 \(v\),两塔输出各自投影到同一维度并做 L2 归一化(把向量长度都缩成 1,于是点积等于余弦相似度,附录 A.2)。两塔之间没有任何直接连接,唯一的交流发生在损失函数里。
训练时取一个含 \(N\) 对图文的大 batch(CLIP 用到了 \(N=32768\))。每对 \((u_i, v_i)\) 是正样本,而 batch 内所有「张冠李戴」的组合 \((u_i, v_j)\)(\(i\neq j\))自动成为负样本——一个 batch 就同时提供 \(N\) 个正例与 \(N^2-N\) 个负例,这是对比学习高效的关键。先定义温度缩放后的相似度:
以第 \(i\) 张图为锚点,在全部 \(N\) 段文本中「认出」它的真配 \(v_i\),就是一个 \(N\) 分类问题,用交叉熵(附录 A.4)写出损失;对称地,每段文本也要在全部图中认出真配。两个方向平均,就是完整的对称 InfoNCE 损失:
易错点:CLIP 训练的是「整图 ↔ 整段话」的全局对齐,两座塔各自只产出一个向量。它不知道「猫」这个词对应图的哪块区域,也不做逐图块与逐词的细粒度匹配。这个特性决定了它的长处(全局语义判别极强)与短板(空间定位弱),15.4 节讲 VLM 为什么仍敢用它、以及要为此补什么课。
15.3.3 zero-shot 分类:把类别名写成 prompt 的推理方式
CLIP 训练完没有一个分类头,怎么拿去做图像分类?答案是它独有的 zero-shot 推理法:把候选类别名填进一句模板,变成文本,比相似度。以 1000 类 ImageNet 为例:
- 把 1000 个类别名分别套进模板
"a photo of a {label}",得到 1000 句话,过文本塔缓存成 1000 个向量; - 待分类图片过图像塔得到一个向量;
- 算它与 1000 个文本向量的余弦相似度,取最大者——类别名即预测结果。
整个流程没有为 ImageNet 训练过一个参数:没有微调、没有新层,连那 130 万张标注训练图都没看过。分类的「标准」完全由自然语言临时声明——这就是 14.1 节 prompt 思想在视觉端的镜像:任务是用语言「说」出来的,不是用梯度「训」出来的。更换类别体系只需换一批类别名重算文本向量,几分钟完成。
CLIP 论文报告,最强的 CLIP 模型(ViT-L/14,336 像素输入)在 zero-shot 设置下取得 ImageNet 76.2% 的 top-1 准确率,与在全量标注数据上训练的原版 ResNet-50 持平,但没有使用 ImageNet 标注。此前的零样本最好成绩只有 11.5%。同期 Google 的 ALIGN 用更大但更嘈杂的 18 亿对图文复现了这一路线(76.4%),说明「自然语言监督 + 对比学习」可以跨数据集实现。CLIP 还表现出较强的分布偏移鲁棒性:面对素描、渲染图等风格变化的同类测试集,其精度下滑通常不到 10 个百分点,而同等 ImageNet 精度的监督模型能掉 40 个。论文据此认为,语言监督学到的特征更侧重语义,较少依赖表面风格。
15.3.4 CLIP 的遗产:VLM 时代的事实标准视觉编码器
zero-shot 分类是 CLIP 论文展示的能力;对后续 VLM 而言,另一项重要影响是 CLIP 视觉塔成为常用的视觉编码器。15.3.2 介绍的对比学习使 CLIP 视觉特征按语言语义组织。「两张图像不像」在 CLIP 空间里对应「它们的描述像不像」,这与 LLM 词嵌入空间的组织原则相近(第 3.1 节:语义相近的词向量相近)。因此,后续连接器更容易把视觉特征映射到语言模型的输入空间。
15.4 节将会看到,LLaVA 直接用冻结的 CLIP ViT-L/14 当视觉编码器,BLIP-2 同样在冻结的 CLIP(或其后继 EVA-CLIP)之上搭桥——它们敢于「冻结视觉塔」的底气,全部来自 CLIP 空间已经与语言预对齐这一事实。可以这么说:ViT 证明了图像可以走 Transformer 这条路(15.2 节),CLIP 则让这条路修到了语言的家门口。
模态对齐可以用双塔、成对数据与对比损失实现。无需修改编码器架构或人工构造类别标签,模型从 4 亿组图文配对中学习两个模态的共享嵌入空间。CLIP 之后,先进行图文对齐、再连接语言模型,成为多模态系统的常见流程。
参考来源
- Radford et al., 2021. Learning Transferable Visual Models From Natural Language Supervision(CLIP 原论文,ICML 2021,arXiv:2103.00020;双塔架构、InfoNCE 损失、WIT-400M、zero-shot 数字均出自此文)。
- Jia et al., 2021. Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision(ALIGN,ICML 2021,arXiv:2102.05918;18 亿对图文独立验证同一路线)。
- Oord et al., 2018. Representation Learning with Contrastive Predictive Coding(InfoNCE 损失的源头,arXiv:1807.03748)。