15.5 VLM 训练流水线:分阶段放权与数据配方
本页范围:第 15 章第 5 节 | 整理时间:2026-10-10
15.4 节对比连接器时反复出现「冻结」:LLaVA 冻结视觉塔,BLIP-2 连 LLM 也冻结,Flamingo 冻结两端,只训练新插入层。各家选择不同的冻结位置,训练流水线因此也不同。本节关注每个阶段更新哪些参数、使用什么数据。
本节按「训练阶段 → 数据配方 → 失败模式与评测 → 现代演进」的顺序展开,路线图如下:
- 训练总览:阶段化放权(15.5.1):两阶段各自的目标、冻结清单与背后的稳定性逻辑;
- 数据配方:从图文对到视觉指令数据(15.5.2):595K 对齐数据怎么来,158K 指令数据如何用纯文本 GPT-4 批量合成;
- 失败模式与评测:幻觉、POPE 与综合基准(15.5.3):VLM 最顽固的翻车方式,以及如何量化它;
- 现代配方演进:LLaVA-1.5 的启示(15.5.4):几处小改动带来的大提升,「数据质量>数量」的共识形成。
读完本节,应该能对照第 9 章的 SFT 流水线讲出视觉指令微调的异同,并能解释为什么「幻觉」在 VLM 时代比纯文本时代更难根除。
15.5.1 训练总览:阶段化放权
以 LLaVA 为代表的标准配方把训练分成两个阶段,每个阶段有明确的目标、数据与冻结清单(图 1):
阶段一:特征对齐预训练。唯一可训练的是投影层,数据是 595K 过滤后的 CC3M 图文对,任务是自回归地根据图像预测其描述文字——与第 6 章的语言建模范式完全一致,只是上下文里多了视觉 token。这一步只让投影层学会「直译」,不改变 LLM 的任何行为。
阶段二:视觉指令微调。投影层与 LLM 一起解冻(视觉塔仍冻结),数据换成 158K 指令样本,任务升级为按指令回答图像相关问题、进行多轮对话。这一步就是第 9 章 SFT 的多模态版:让模型从「会描述」变成「会按人的要求看图说话」。
易错点:放权顺序为什么不能反?若一开始就端到端训练,随机初始化的投影层输出的是「乱码视觉 token」,错误的梯度会顺着上下文灌进 LLM,把预训练好的语言能力带崩(灾难性遗忘的视觉版,参第 9 章)。先冻结 LLM、单独校准投影层,等于先把翻译官培训合格再放他进会议室——这正是阶段化放权的稳定性逻辑。Flamingo 的零初始化门控(15.4 节)是同一种担忧的另一种解法。
三家的阶段与冻结策略对比,能看出同一条原则的不同取舍:BLIP-2 把「冻结」推到极致——两个阶段全程冻结 LLM,只训约 188M 的 Q-Former,靠三目标(ITC/ITM/ITG)在冻结骨架上做对齐与生成适配,成本最低但 LLM 行为完全不可塑;Flamingo 冻结视觉塔与 LM,但新插入的门控交叉注意力层(约 10B)从零训练,投入最大以换取交错图文能力;LLaVA 居中——阶段二解冻 LLM,用最小的数据成本换取「会对话」的行为塑造。今天的共识落在 LLaVA 一侧:指令微调阶段放开 LLM 是「会聊天」的必要条件,但视觉塔通常继续冻结(它已是 CLIP 对齐过的成品)。
15.5.2 数据配方:从图文对到视觉指令数据
阶段一使用 595K 图文对,主要来自经过过滤的图文网页数据。阶段二新增 158K 视觉指令数据,用于训练模型「针对这张图回答这个问题」。这种(图,问题,答案)三元组很难直接从现有数据获得,人工标注又慢又贵。LLaVA 因此用 LLM 生成训练数据:
- 取 COCO 数据集的图像,把人工标注符号化成文本:5 句人工描述 + 目标检测框(类别与位置坐标);
- 把这些符号化标注喂给纯文本版 GPT-4(它看不到图,只能读标注);
- 指示 GPT-4 基于标注内容生成三类样本:对话(围绕图中目标的问答,58K)、详细描述(一段内容丰富的图说,23K)、复杂推理(需要结合常识与逻辑的问题,77K);
- 配上真实图像,即得(图, 指令, 回答)三元组,共 158K。
这套「以文生数」的合成法是第 1.5 节合成数据思想在多模态的延伸:用强模型(GPT-4)当教师,把结构化标注转换为指令数据。符号化标注是图像的文字表示。GPT-4 虽看不见图,但描述加检测框已足以让它推断图里有什么、在哪、什么关系,由此造出的问答大概率与图像内容吻合。数据生产成本由此从逐条人工标注降为 API 调用,降低了 VLM 研究的数据门槛,此后开源社区的大量指令数据也沿用这一思路扩充。
15.5.3 失败模式与评测:幻觉、POPE 与综合基准
训练完成的 VLM 会以一种特有的方式翻车:幻觉(hallucination)——回答里出现图中根本不存在的物体或属性。问「图里有几只斑马」,图里明明没有斑马,模型却答「三只」。纯文本 LLM 也会幻觉(第 10、13 章均提及),但 VLM 的幻觉更难根除,因为它有两个文本没有的病根:一是视觉信息经过压缩与翻译必有损耗(15.4 节的瓶颈),模型拿到的本就是残缺的「视力」;二是语言先验过强——LLM 读过亿万句「草原上有斑马」,当视觉证据模糊时,它倾向按语料统计「脑补」最可能的场景,而非忠实于眼前这张图。
| 评测 | 测什么 | 怎么测 |
|---|---|---|
| POPE | 物体幻觉 | 轮询式提问「图中有 X 吗?」(X 为图中存在/不存在/易混淆的物体),统计判断准确率,专盯「无中生有」 |
| MME | 综合能力 | 14 个子任务分感知(存在性、计数、颜色、OCR 等)与认知(常识、数值计算、文本翻译等)两层,是非题计分 |
| ScienceQA | 学科推理 | 带图解的理科选择题;LLaVA 自身约 90.4%,配合 GPT-4 作为答案裁判/协同者达 92.53%(当时的 SOTA) |
| GPT-4 相对评分 | 开放式回答质量 | 让 GPT-4 对比 VLM 回答与其自己基于标注的回答打分;LLaVA 达 GPT-4 水平的 85.1%(LLM-as-judge 范式,呼应 10.2 节) |
这组评测各管一面:POPE 盯幻觉的底线,MME 摸感知的广度,ScienceQA 与 GPT-4 相对评分探推理与表达的上限。15.1.3 节的能力层级在这里落地成了可量化的指标——而 POPE 类评测中「易混淆物体」一项长期是各家模型的失分重灾区,直接印证了「语言先验盖过视觉证据」这一病根。
15.5.4 现代配方演进:LLaVA-1.5 的启示
LLaVA 发布半年后,同一团队推出 LLaVA-1.5,改动清单很短:连接器由单层线性换成两层 MLP、输入分辨率 224→336(视觉 token 256→576)、指令数据中混入一批学术任务数据(VQA、OCR、区域级标注等)。结果是十余个基准全面大涨,反超一众使用更大模型、更多数据的同期工作。
这次升级的启示有三,且都已成为后续 VLM 的标准做法:
- 翻译层值得一点表达力:线性投影换成两层 MLP 是全部改动中收益最稳的一项——连接器不必极简到底,多一点非线性,视觉到语言的翻译就准一分(15.4 节的权衡);
- 分辨率就是视力:576 个 token 对 256 个的提升主要来自小字与小物体——OCR、文档理解类任务受益最大,此后高分辨率(乃至动态切块)成为军备竞赛的主战场;
- 数据质量与配比大于数量:158K 精选数据足以训练出强 VLM,堆量不如精选与混配——与第 1.4 节文本配比、第 9 章指令数据一章的结论如出一辙。
VLM 训练沿用自回归语言建模(阶段一)、指令微调(阶段二)、合成数据(GPT-4 生产)与 LLM-as-judge(评测),没有引入新的学习范式。工程上需要仔细安排各阶段解冻哪些参数以及如何构造数据;幻觉仍是这套流水线尚未解决的失败模式。
参考来源
- Liu et al., 2023. Visual Instruction Tuning(LLaVA,NeurIPS 2023 Oral,arXiv:2304.08485;两阶段配方、595K/158K 数据、GPT-4 合成法、相对评分与 ScienceQA 数字出自此文)。本页正文所称「原论文」即此篇。
- Liu et al., 2023. Improved Baselines with Visual Instruction Tuning(LLaVA-1.5,arXiv:2310.03744;MLP 投影、336 分辨率、数据混合的收益)。
- Li et al., 2023. Evaluating Object Hallucination in Large Vision-Language Models(POPE,EMNLP 2023,arXiv:2305.10355)。
- Fu et al., 2023. MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models(arXiv:2306.13394)。
- Li et al., 2023. BLIP-2(arXiv:2301.12597)与 Alayrac et al., 2022. Flamingo(arXiv:2204.14198)——冻结策略对照(详见 15.4 节)。