15.6 统一架构趋势:一切皆是 Token
本页范围:第 15 章第 6 节 | 整理时间:2026-10-10
前 5 节介绍了 ViT 切图(15.2)、CLIP 对齐(15.3)、连接器(15.4)和流水线训练(15.5),组成了让 LLM 处理图像的一套工程方案。本节进一步讨论:能否不用独立的模态连接结构,直接把不同模态统一表示为 token,再交给同一个模型处理?本节路线图如下:
- 拼接式 VLM 的天花板(15.6.1):外挂范式与生俱来的四道天花板;
- 图像的离散化:VQ-VAE 与图像分词器(15.6.2):与 BPE 对仗的另一种「造词表」;
- Chameleon:早期融合的统一建模(15.6.3):统一词表、混合序列、一个目标;
- 代价与折中(15.6.4):统一范式的训练稳定性难题,以及生成方向的边界(点到为止);
- 全章收束:多模态在 LLM 生命周期中的位置(15.6.5):从第 2 章到第 15 章的暗线合拢。
15.6.1 拼接式 VLM 的天花板
外挂范式(编码器+连接器+LLM)的成功毋庸置疑,但它的结构决定了四道绕不开的天花板:
- 视觉编码器成为能力瓶颈:冻结的 CLIP 塔是「出厂视力」,分辨率上限、细节保留在接驳前就已定死,后续训练无法让它再进化;
- 信息在翻译中必损:无论 256 个 token 还是 32 个(15.4 节),从像素到 token 的压缩都是有损的,压掉的小字与小物体永远到不了 LLM;
- 只能理解、不能生成:视觉通路是单向的(图进文出),模型读得懂图却画不出图——理解与生成被架构劈成两个系统;
- 模态是「二等公民」:图像要先被另一个模型加工、再作为「前缀」借宿进 LLM 的上下文,图文交互的深度受限于「拼接」这一浅层接口。
四道天花板指向同一个根因:图像自始至终不是 token,它只是在连接器的翻译下「伪装」成 token。要拆掉天花板,就得让图像在输入端就是 token——这正是离散化的思路。
15.6.2 图像的离散化:VQ-VAE 与图像分词器
第 2 章讲过,文本之所以是 token,是因为存在词表与分词器。图像要获得同等地位,也需要这两样东西:码本(codebook,视觉版词表)与图像分词器(视觉版 BPE)。提供它们的经典模型是 VQ-VAE(Vector Quantized Variational Autoencoder,2017):
注意码本与 BPE 词表的本质差异:BPE 的词表是统计合并出来的(第 2.2 节),码本的码字是梯度下降学出来的——学得好不好的标准只有一个:离散化之后还能不能把图像重建回来。能,说明编号保留了图的内容;不能,码本就失职。这个「以重建论英雄」的目标让码本自动覆盖视觉世界的高频模式:边缘、纹理、局部形状,乃至语义部件。
一旦有了图像分词器,「一张图」与「一段话」在数据形态上就再无区别——都是一列离散编号。15.1.2 节模态鸿沟的三重差异,在输入端被一次性填平:连续变离散(码编号)、二维网格展平成序列(按光栅顺序排开)、信息密度由码本的表达能力压缩提炼。剩下的,就是把这些 token 交给 LLM 的主场。
15.6.3 Chameleon:早期融合的统一建模
Meta 的 Chameleon(2024)把这条思路做成了完整系统,代表了「原生多模态」的当前形态:
- 统一词表:文本经 BPE 分词、图像经 VQ 图像分词器(8192 码本),两类 token 共用一个词表、共享一张嵌入表——模型视角里没有任何「模态」标识位,只有编号;
- 混合序列:训练数据是任意交错的图文序列(「文本 … <图像 token×1024> … 文本 …」),按光栅顺序拉成一维;
- 单一目标:标准的下一 token 预测(第 6 章),不加任何模态专属损失——「预测下一个词」与「预测下一个图像 token」是同一个任务;
- 早期融合:所有模态从第一层起就在同一个 Transformer 内交互,不存在外挂塔与连接器,这被称为 early-fusion(对比之下,15.1–15.5 的拼接式属于 late-fusion)。
这套结构带来两个拼接式给不了的能力。其一,理解与生成同体:模型读得懂图(图像 token 在上下文里),也画得出图(自回归地逐个吐出图像 token,交给图像分词器的解码侧还原成像素)——「看图说话」与「按话画图」共享同一组权重,只是序列方向不同。其二,图文推理深度交互:没有「先翻译后理解」的接口损耗,图像 token 从第一层起就参与注意力计算,模型对图文关系的利用是全深度的。Chameleon 以 7B 与 34B 两个规模发布,在纯文本任务上保持了与同级别文本模型相当的水平——统一建模没有以牺牲语言能力为代价。
15.6.4 代价与折中
统一范式不是免费的午餐,它的代价同样结构性地存在:
- 训练稳定性难:两种来源、统计特性迥异的 token 在同一损失下竞争梯度,训练极易失衡;Chameleon 为此在归一化与损失设计上引入了一系列专门的稳定技巧,这类「驯化成本」是统一路线的公开痛点;
- 视觉表示受码本所限:图像 token 的信息量上限由码本大小与重建质量决定——码本是另一个「出厂视力」,只是这次它与模型同训、可共同进化;
- 序列长度膨胀:一幅图动辄上千 token(图 1 的 1024 格),长上下文技术(第 8 章)从「加分项」变成「必需品」;
- 生成质量另有强敌:自回归逐 token 画图在像素保真上仍难敌扩散模型——图像生成是另一条浩瀚的技术线,本手册守住「LLM 机制」主线,此处点到为止。
产业界的旗舰系统(如 GPT-4o、Gemini 系列)已把「原生多模态」作为公开宣称的方向——从头就以多模态混合数据训练,而非先文后图拼接——尽管其架构细节未公开。可以确认的是方向本身:统一是不可逆的演进趋势,拼接式与统一式将在相当长的时期内按「改造存量」与「原生设计」分工并存。
15.6.5 全章收束:多模态在 LLM 生命周期中的位置
回到全手册的地图。第 0 章曾把 LLM 的生命周期画成一条流水线:数据 → 分词 → 嵌入 → 架构 → 预训练 → 中间训练 → 后训练 → 推理部署 → 应用。第 15 章在这条流水线上加了什么?严格地说——什么都没改动,只做了扩展:
- 多模态没有发明新的训练范式:对比学习(15.3)是自监督的一种,视觉指令微调(15.5)是第 9 章 SFT 的换数据重演,统一建模(15.6)干脆就是第 6 章目标的直接套用;
- 多模态没有改动核心架构:Transformer 还是那个 Transformer(第 4–5 章),变的只是「什么被当作 token」;
- 多模态真正扩展的,是感知层:第 2 章的分词器从「只认文本」升级为「认文本也认图像」,模型的世界从纯文字变成了图文混排的序列。
第 2 章把字符串切成 token,第 15 章进一步把像素表示为 token。音频、视频、动作和传感器数据也可以采用同一思路:先为相应模态构造分词器,再由 Transformer 处理得到的 token 序列。这构成了统一多模态架构与前几节外挂式方案的区别。
多模态扩展的关键是「如何把非文本数据变成 token」:外挂范式用编码器+连接器转换表示(15.2–15.5),统一范式用分词器直接生成 token(15.6)。两种方式都沿用 LLM 的原有计算机制,变化集中在输入表示及其与模型的连接方式。这也与第 2 章的分词讨论呼应。
参考来源
- Oord et al., 2017. Neural Discrete Representation Learning(VQ-VAE 原论文,NeurIPS 2017,arXiv:1711.00937;码本、最近邻量化、重建目标出自此文)。
- Chameleon Team, 2024. Chameleon: Mixed-Modal Early-Fusion Foundation Models(arXiv:2405.09818;统一词表、8192 图像码本、混合序列自回归、7B/34B 规模与训练稳定化讨论出自此文)。
- OpenAI, 2024. GPT-4o System Card 与 Google DeepMind, 2023. Gemini Technical Report——「原生多模态」产业方向的公开宣称(架构细节未公开,本节仅引其方向性结论)。
- 对照阅读:本手册 2.2 节(BPE)、第 4 章(Transformer)、6.1 节(下一 token 预测目标)——统一范式三要素的手册内出处。