15.5 VLM 训练流水线:分阶段放权与数据配方

本页范围:第 15 章第 5 节 | 整理时间:2026-10-10

快速浏览

核心问题15.2–15.4 节备齐了全部零件:视觉编码器、连接器、LLM。但三个预训练零件摆在一起不等于一台会看图对话的机器——先训什么、冻结什么、每个阶段喂什么数据,直接决定系统是「协同工作」还是「互相拖累」。
本节主张VLM 训练是「分阶段、控冻结」的艺术:第一阶段只训连接器做特征对齐,第二阶段才放开 LLM 做视觉指令微调。逐步放权的逻辑与第 9 章 SFT 一脉相承——先让新部件学会「说话」,再让老部件在不被带崩的前提下学会「配合」。
一句话结论LLaVA 的两阶段配方(595K 图文对只训投影层 → 158K GPT-4 合成指令数据微调投影层+LLM)以极低成本成为事实标准;这条流水线上最贵的不是算力而是数据——指令数据由 GPT-4 批量合成,而幻觉(对着图说瞎话)是评测暴露出的最顽固失败模式。
关键词
两阶段训练冻结策略特征对齐视觉指令微调GPT-4 数据合成幻觉POPEMMEScienceQA

  15.4 节对比连接器时反复出现「冻结」:LLaVA 冻结视觉塔,BLIP-2 连 LLM 也冻结,Flamingo 冻结两端,只训练新插入层。各家选择不同的冻结位置,训练流水线因此也不同。本节关注每个阶段更新哪些参数、使用什么数据。

  本节按「训练阶段 → 数据配方 → 失败模式与评测 → 现代演进」的顺序展开,路线图如下:

  1. 训练总览:阶段化放权(15.5.1):两阶段各自的目标、冻结清单与背后的稳定性逻辑;
  2. 数据配方:从图文对到视觉指令数据(15.5.2):595K 对齐数据怎么来,158K 指令数据如何用纯文本 GPT-4 批量合成;
  3. 失败模式与评测:幻觉、POPE 与综合基准(15.5.3):VLM 最顽固的翻车方式,以及如何量化它;
  4. 现代配方演进:LLaVA-1.5 的启示(15.5.4):几处小改动带来的大提升,「数据质量>数量」的共识形成。

  读完本节,应该能对照第 9 章的 SFT 流水线讲出视觉指令微调的异同,并能解释为什么「幻觉」在 VLM 时代比纯文本时代更难根除。

15.5.1 训练总览:阶段化放权

  以 LLaVA 为代表的标准配方把训练分成两个阶段,每个阶段有明确的目标、数据与冻结清单(图 1):

原创示意图 · 非论文原图 LLaVA 两阶段训练流水线:灰锁 = 冻结,紫 = 可训练(数据规模以 LLaVA 原论文为准,Liu et al., 2023) 阶段一:特征对齐预训练 目标:让投影层学会把 CLIP 特征「直译」成词嵌入 CLIP ViT-L/14 🔒 冻结 投影层 唯一可训练 ✓ Vicuna 🔒 冻结 数据:595K 过滤后的 CC3M 图文对 任务:看图预测其描述文字(自回归,第 6 章目标) 只训 1 个 epoch;此时模型只会「描述」不会「对话」 ——但投影层已校准,视觉 token 进了 LLM 的词表空间 阶段二:视觉指令微调(端到端) 目标:学会按指令看图回答问题、展开多轮对话 CLIP ViT 🔒 仍冻结 投影层 继续训练 ✓ Vicuna 解冻训练 ✓ 数据:158K GPT-4 合成视觉指令数据 58K 对话 + 23K 详细描述 + 77K 复杂推理 训练 3 个 epoch;视觉编码器全程不动 ——至此 LLM 学会「围绕图像内容说话」 放权顺序不能反:先校准翻译官,再动 LLM——否则未对齐的随机投影会把乱码梯度灌进 LLM
图 1:LLaVA 两阶段训练流水线。阶段一只训投影层(视觉塔与 LLM 冻结),用 595K 图文对完成特征对齐;阶段二放开 LLM 与投影层,用 158K 指令数据做端到端视觉指令微调,视觉塔全程冻结。BLIP-2 与 Flamingo 的阶段设计不同(正文对比),但「先对齐、后教学」的顺序是共识。

  阶段一:特征对齐预训练。唯一可训练的是投影层,数据是 595K 过滤后的 CC3M 图文对,任务是自回归地根据图像预测其描述文字——与第 6 章的语言建模范式完全一致,只是上下文里多了视觉 token。这一步只让投影层学会「直译」,不改变 LLM 的任何行为。

  阶段二:视觉指令微调。投影层与 LLM 一起解冻(视觉塔仍冻结),数据换成 158K 指令样本,任务升级为按指令回答图像相关问题、进行多轮对话。这一步就是第 9 章 SFT 的多模态版:让模型从「会描述」变成「会按人的要求看图说话」。

  易错点:放权顺序为什么不能反?若一开始就端到端训练,随机初始化的投影层输出的是「乱码视觉 token」,错误的梯度会顺着上下文灌进 LLM,把预训练好的语言能力带崩(灾难性遗忘的视觉版,参第 9 章)。先冻结 LLM、单独校准投影层,等于先把翻译官培训合格再放他进会议室——这正是阶段化放权的稳定性逻辑。Flamingo 的零初始化门控(15.4 节)是同一种担忧的另一种解法。

  三家的阶段与冻结策略对比,能看出同一条原则的不同取舍:BLIP-2 把「冻结」推到极致——两个阶段全程冻结 LLM,只训约 188M 的 Q-Former,靠三目标(ITC/ITM/ITG)在冻结骨架上做对齐与生成适配,成本最低但 LLM 行为完全不可塑;Flamingo 冻结视觉塔与 LM,但新插入的门控交叉注意力层(约 10B)从零训练,投入最大以换取交错图文能力;LLaVA 居中——阶段二解冻 LLM,用最小的数据成本换取「会对话」的行为塑造。今天的共识落在 LLaVA 一侧:指令微调阶段放开 LLM 是「会聊天」的必要条件,但视觉塔通常继续冻结(它已是 CLIP 对齐过的成品)。

15.5.2 数据配方:从图文对到视觉指令数据

  阶段一使用 595K 图文对,主要来自经过过滤的图文网页数据。阶段二新增 158K 视觉指令数据,用于训练模型「针对这张图回答这个问题」。这种(图,问题,答案)三元组很难直接从现有数据获得,人工标注又慢又贵。LLaVA 因此用 LLM 生成训练数据:

  1. 取 COCO 数据集的图像,把人工标注符号化成文本:5 句人工描述 + 目标检测框(类别与位置坐标);
  2. 把这些符号化标注喂给纯文本版 GPT-4(它看不到图,只能读标注);
  3. 指示 GPT-4 基于标注内容生成三类样本:对话(围绕图中目标的问答,58K)、详细描述(一段内容丰富的图说,23K)、复杂推理(需要结合常识与逻辑的问题,77K);
  4. 配上真实图像,即得(图, 指令, 回答)三元组,共 158K。

  这套「以文生数」的合成法是第 1.5 节合成数据思想在多模态的延伸:用强模型(GPT-4)当教师,把结构化标注转换为指令数据。符号化标注是图像的文字表示。GPT-4 虽看不见图,但描述加检测框已足以让它推断图里有什么、在哪、什么关系,由此造出的问答大概率与图像内容吻合。数据生产成本由此从逐条人工标注降为 API 调用,降低了 VLM 研究的数据门槛,此后开源社区的大量指令数据也沿用这一思路扩充。

15.5.3 失败模式与评测:幻觉、POPE 与综合基准

  训练完成的 VLM 会以一种特有的方式翻车:幻觉(hallucination)——回答里出现图中根本不存在的物体或属性。问「图里有几只斑马」,图里明明没有斑马,模型却答「三只」。纯文本 LLM 也会幻觉(第 10、13 章均提及),但 VLM 的幻觉更难根除,因为它有两个文本没有的病根:一是视觉信息经过压缩与翻译必有损耗(15.4 节的瓶颈),模型拿到的本就是残缺的「视力」;二是语言先验过强——LLM 读过亿万句「草原上有斑马」,当视觉证据模糊时,它倾向按语料统计「脑补」最可能的场景,而非忠实于眼前这张图。

评测测什么怎么测
POPE物体幻觉轮询式提问「图中有 X 吗?」(X 为图中存在/不存在/易混淆的物体),统计判断准确率,专盯「无中生有」
MME综合能力14 个子任务分感知(存在性、计数、颜色、OCR 等)与认知(常识、数值计算、文本翻译等)两层,是非题计分
ScienceQA学科推理带图解的理科选择题;LLaVA 自身约 90.4%,配合 GPT-4 作为答案裁判/协同者达 92.53%(当时的 SOTA)
GPT-4 相对评分开放式回答质量让 GPT-4 对比 VLM 回答与其自己基于标注的回答打分;LLaVA 达 GPT-4 水平的 85.1%(LLM-as-judge 范式,呼应 10.2 节)

  这组评测各管一面:POPE 盯幻觉的底线,MME 摸感知的广度,ScienceQA 与 GPT-4 相对评分探推理与表达的上限。15.1.3 节的能力层级在这里落地成了可量化的指标——而 POPE 类评测中「易混淆物体」一项长期是各家模型的失分重灾区,直接印证了「语言先验盖过视觉证据」这一病根。

15.5.4 现代配方演进:LLaVA-1.5 的启示

  LLaVA 发布半年后,同一团队推出 LLaVA-1.5,改动清单很短:连接器由单层线性换成两层 MLP、输入分辨率 224→336(视觉 token 256→576)、指令数据中混入一批学术任务数据(VQA、OCR、区域级标注等)。结果是十余个基准全面大涨,反超一众使用更大模型、更多数据的同期工作。

  这次升级的启示有三,且都已成为后续 VLM 的标准做法:

  • 翻译层值得一点表达力:线性投影换成两层 MLP 是全部改动中收益最稳的一项——连接器不必极简到底,多一点非线性,视觉到语言的翻译就准一分(15.4 节的权衡);
  • 分辨率就是视力:576 个 token 对 256 个的提升主要来自小字与小物体——OCR、文档理解类任务受益最大,此后高分辨率(乃至动态切块)成为军备竞赛的主战场;
  • 数据质量与配比大于数量:158K 精选数据足以训练出强 VLM,堆量不如精选与混配——与第 1.4 节文本配比、第 9 章指令数据一章的结论如出一辙。

  VLM 训练沿用自回归语言建模(阶段一)、指令微调(阶段二)、合成数据(GPT-4 生产)与 LLM-as-judge(评测),没有引入新的学习范式。工程上需要仔细安排各阶段解冻哪些参数以及如何构造数据;幻觉仍是这套流水线尚未解决的失败模式。

🧭本节要点回顾
为什么 VLM 训练要分两阶段、逐步放开参数?
阶段一只训投影层(冻结视觉塔与 LLM),先把「翻译官」校准;阶段二才放开 LLM 做指令微调。若一开始就端到端,随机投影层的乱码输出会把错误梯度灌进 LLM,带崩其预训练语言能力——与 Flamingo 的零初始化门控是同一种稳定性考量。
158K 视觉指令数据是如何低成本制造的?
把 COCO 图像的人工标注(5 句描述 + 检测框坐标)符号化成文本,喂给纯文本 GPT-4,让它基于标注生成对话(58K)、详细描述(23K)、复杂推理(77K)三类问答,再配回原图。符号化标注是图像的文字表示,用 API 调用替代人工标注。
VLM 的幻觉为什么比纯文本 LLM 更难根除?
两个特有病根:视觉信息经连接器压缩翻译必有损耗(模型拿到的是残缺视力);语言先验过强,视觉证据模糊时模型按语料统计「脑补」最可能场景。POPE 用轮询提问专门量化它,「易混淆物体」项至今是失分重灾区。

参考来源

  • Liu et al., 2023. Visual Instruction Tuning(LLaVA,NeurIPS 2023 Oral,arXiv:2304.08485;两阶段配方、595K/158K 数据、GPT-4 合成法、相对评分与 ScienceQA 数字出自此文)。本页正文所称「原论文」即此篇。
  • Liu et al., 2023. Improved Baselines with Visual Instruction Tuning(LLaVA-1.5,arXiv:2310.03744;MLP 投影、336 分辨率、数据混合的收益)。
  • Li et al., 2023. Evaluating Object Hallucination in Large Vision-Language Models(POPE,EMNLP 2023,arXiv:2305.10355)。
  • Fu et al., 2023. MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models(arXiv:2306.13394)。
  • Li et al., 2023. BLIP-2(arXiv:2301.12597)与 Alayrac et al., 2022. Flamingo(arXiv:2204.14198)——冻结策略对照(详见 15.4 节)。