15.1 为什么需要多模态:给 LLM 装上眼睛
本页范围:第 15 章第 1 节 | 整理时间:2026-10-10
第 14 章结束时,手册已经把「一个训练好的纯文本 LLM 能怎么用」讲完了:写 prompt、给思维链、挂检索库、调外部工具、组装 Agent。但那是在模型能力边界之内做文章——无论脚手架搭得多巧,模型输入的起点始终是一段文本。本章换一个问题:如果输入本身不是文本呢?用户拍了一张药品说明书想问剂量,截了一张财报图表想问趋势,发了一张冰箱内部的照片想问能做什么菜——这些请求里根本没有现成的文字可供模型下嘴。
这是多模态(multimodal)扩展要解决的问题,也是手册正文的最后一章。本节先说明多模态处理的难点,再给出全章的技术路线。
- 文本之外的世界:LLM 的感知盲区(15.1.1):纯文本模型缺了哪块感知拼图;
- 模态鸿沟:像素与 token 的三重差异(15.1.2):为什么不能把图像直接「喂」给 LLM,难处的根源在哪;
- VLM 能做什么:从看图说话到视觉推理(15.1.3):装上眼睛之后解锁的四个能力层级;
- 三条技术路线与全章地图(15.1.4):编码器对接、原生统一、工具调用——本章各节的分工预告。
读完本节,应该能说清模态鸿沟的三重差异各是什么,并对着全章地图讲出每个部件(编码器、连接器、训练流水线)各自抹平了鸿沟的哪一段。
15.1.1 文本之外的世界:LLM 的感知盲区
回顾一下前 14 章画出的能力边界:从第 2 章分词开始,模型的整个世界就是 token 序列。语料是 token 序列(第 1、6 章),输入是 token 序列(第 14 章的 prompt),输出还是 token 序列(第 12 章的解码)。即便第 14.4 节的 Function Calling 让模型「够得着」外部世界,那也是把外部信息先转成文本再送回上下文——模型自己始终是个只读写的「文字动物」。
问题在于,人类知识有相当大的一部分天然不是文字形态的。一张肺部 CT 的病灶纹理、一张折线图的走势、一张数学几何题的图形、一份 PDF 扫描件的版式——这些信息可以被描述成文字,但描述本身就会丢失大量细节。「图上一只三条腿的猫」这句话传得再多,也不如直接看一眼照片。把 LLM 比作一位博学的读者:他读完了图书馆里所有的书,却从没睁开过眼睛——学问再大,也是个盲人。
视觉输入还可以与第 11 章的推理能力和第 14 章的工具使用结合,支持看着几何图形做证明、对着实验记录图表找异常、对照说明书照片一步步指导操作等任务。视觉由此扩展了模型已有能力的应用范围。
本手册的「多模态」以视觉为主线:视觉-语言模型(VLM)是目前技术最成熟、资料最充分的方向,其机制(编码、对齐、分词化)同样适用于音频等其他模态,只是视觉领域的论文与工程实践最完整。为守住「LLM 机制」这条主线,本章只讲理解(图像进、文本出),图像生成只在 15.6 节点到为止。
15.1.2 模态鸿沟:像素与 token 的三重差异
为什么不能把图像文件直接拼进 prompt?因为图像与文本之间隔着一道模态鸿沟(modality gap),它由三重差异叠成,本章后面每一节都在填其中的一段。
模态指信息存在的感知形态:文本、图像、语音、视频各是一种模态。不同模态的数据在数学形态、结构组织、语义密度上差异巨大,无法直接互换。「多模态模型」就是能同时消化两种以上模态的模型。
第一重差异:连续信号对离散符号。文本经过第 2 章的分词后,每个 token 都是词表里的一个离散编号,模型通过查嵌入表(第 3.1 节)得到一个语义向量。而图像是一个实数网格:每个像素是若干通道的强度值,相邻像素的微小变化在数学上连续。词表里没有「像素」这个单位——图像根本没有现成的、带语义的「词」可供查表。
第二重差异:二维结构对一维序列。文本的语序天然是一维的(从左到右),Transformer 的序列建模为此而生。图像的意义却编码在二维空间关系里:猫的眼睛在鼻子上方、车轮在车身下方,把像素按行拉成一维长条后,「上下相邻」这个结构就被拉断了。第 3 章的位置编码为一维序列设计,如何表达二维位置本身就是个问题。
第三重差异:信息密度悬殊。一句话不过十几个 token,一张普通照片却有几十万乃至上百万个像素,而其中绝大多数像素(天空、背景、噪点)不含读者关心的语义。直接把像素当 token 用,序列长度会爆炸(第 4 章讲过自注意力随序列长度平方增长),且模型会被海量低信息密度的输入淹没。图像必须先经过一道「压缩与提炼」,才能与文本平起平坐。
把三重差异摆在一起,多模态扩展的任务就清晰了:把连续的、二维的、高密度的像素,加工成离散的、序列化的、高语义密度的表示——最好加工完之后,看起来就跟普通 token 的嵌入向量一个样。这正是图 1 所示的标准三段式配方:
15.1.3 VLM 能做什么:从看图说话到视觉推理
装上眼睛之后,模型的视觉能力大致分四个层级,难度逐级递增,对「翻译质量」的要求也逐级提高:
图像描述 Captioning
看图说话:「图中有什么」。只需抓住全局主体,是最基础的视觉能力,也是最早的训练任务形态。
视觉问答 VQA
针对图像内容提问:「猫在哪个物体左边?」「穿红衣服的有几人?」。要求定位与计数,考的是细粒度对齐。
OCR 与文档理解
读出图中的文字并结合版式理解:表格、票据、截图、公式。要求视觉特征保留足够高的分辨率细节。
视觉推理
基于图像做多步推理:读折线图推趋势、看几何图做证明、对照照片排故障。视觉与第 11 章推理能力的交汇点。
前两个层级在 2020 年前后已由专用模型解决得不错;VLM 与 LLM 结合后,后两个层级开始利用 LLM 的语言理解与推理能力。因此,当前多模态模型大多以预训练 LLM 为基座,而非从零设计。
15.1.4 三条技术路线与全章地图
跨越模态鸿沟的工程实践沿三条路线展开,本章各节与之对应:
| 路线 | 做法 | 代表 | 定位 |
|---|---|---|---|
| A. 编码器对接 | 独立视觉编码器提取特征,经连接器接入 LLM 上下文 | LLaVA、BLIP-2、Flamingo | 当前主流,15.2–15.5 节 |
| B. 原生统一 | 图像也离散化成 token,与文本共享词表,一个 Transformer 统一建模 | Chameleon、GPT-4o 方向 | 演进趋势,15.6 节 |
| C. 工具调用 | LLM 不「看」图,而是调用独立视觉模型,把其文本输出读进上下文 | Visual ChatGPT 等 | 过渡形态,14.4 节的自然延伸 |
路线 C 最省事:视觉问题全部外包给现成视觉模型,LLM 只读它们的文字报告。但信息在「图像 → 文字报告」这一步被强行压缩,细节与不确定性尽失,本质是第 14.4 节工具调用的特例,本章不再展开。路线 A 把「翻译」做进了模型内部,细节保留完整、端到端可训练,是今天几乎所有开源与商用 VLM 的共同骨架——本章 15.2 到 15.5 节逐部件拆解它:视觉编码器 ViT(15.2)、模态对齐的对比学习与连接器(15.3、15.4)、把零件训成系统的训练流水线(15.5)。路线 B 更进一步,干脆取消「外挂编码器」,让图像从输入端就是 token,与文本同词表、同架构、同目标——这是正在发生的范式演进,15.6 节用它收束全章。
全章主线一句话:多模态扩展的机制创新,全部浓缩在「图像 → token」这条转换链上——15.2 节讲怎么切,15.3–15.4 节讲怎么对齐,15.5 节讲怎么训,15.6 节讲怎么连「切」这件事也交给模型自己学。
参考来源
- Zhang et al., 2025. Distributed LLMs and Multimodal Large Language Models: A Survey on Advances, Challenges, and Future Directions(多模态大模型综述,arXiv:2503.16585)。
- Bayoudh et al., 2023. Multimodal Deep Learning(多模态深度学习综述,arXiv:2301.04856)。
- OpenAI, 2023. GPT-4V(ision) System Card(VLM 能力层级与风险的官方说明)。
- Alayrac et al., 2022. Flamingo: a Visual Language Model for Few-Shot Learning(路线 A 代表,arXiv:2204.14198,15.4 节展开)。
- Liu et al., 2023. Visual Instruction Tuning(LLaVA,路线 A 代表,arXiv:2304.08485,15.4、15.5 节展开)。
- Chameleon Team, 2024. Chameleon: Mixed-Modal Early-Fusion Foundation Models(路线 B 代表,arXiv:2405.09818,15.6 节展开)。