15.6 统一架构趋势:一切皆是 Token

本页范围:第 15 章第 6 节 | 整理时间:2026-10-10

快速浏览

核心问题15.1–15.5 节的 VLM 都是「拼接式」:视觉编码器是外挂的独立模型,模态鸿沟靠后天的连接器桥接。这套范式会不会只是过渡形态——能不能让图像和文本从输入端就是同一种数据,由同一个模型统一处理?
本节主张统一架构的关键一跃,是把图像也离散化成 token:用一个图像分词器(VQ 系列)把每块图映射为码本中的一个编号,与文本 token 混排进同一个词表、同一条序列,由同一个 Transformer 按同一个自回归目标建模。理解与生成的界限随之消失——「看图说话」与「按话画图」不过是序列方向的区别。
一句话结论从「编码器+连接器」的外挂范式,到 Chameleon 式「统一词表、早期融合」的原生范式,多模态正在重演 NLP 的历史——一切皆是 token;这条暗线从第 2 章贯穿至今,本节用它收束全章,也收束全手册正文。
关键词
VQ-VAE图像分词器码本早期融合统一词表Chameleon原生多模态理解与生成统一

  前 5 节介绍了 ViT 切图(15.2)、CLIP 对齐(15.3)、连接器(15.4)和流水线训练(15.5),组成了让 LLM 处理图像的一套工程方案。本节进一步讨论:能否不用独立的模态连接结构,直接把不同模态统一表示为 token,再交给同一个模型处理?本节路线图如下:

  1. 拼接式 VLM 的天花板(15.6.1):外挂范式与生俱来的四道天花板;
  2. 图像的离散化:VQ-VAE 与图像分词器(15.6.2):与 BPE 对仗的另一种「造词表」;
  3. Chameleon:早期融合的统一建模(15.6.3):统一词表、混合序列、一个目标;
  4. 代价与折中(15.6.4):统一范式的训练稳定性难题,以及生成方向的边界(点到为止);
  5. 全章收束:多模态在 LLM 生命周期中的位置(15.6.5):从第 2 章到第 15 章的暗线合拢。

15.6.1 拼接式 VLM 的天花板

  外挂范式(编码器+连接器+LLM)的成功毋庸置疑,但它的结构决定了四道绕不开的天花板:

  • 视觉编码器成为能力瓶颈:冻结的 CLIP 塔是「出厂视力」,分辨率上限、细节保留在接驳前就已定死,后续训练无法让它再进化;
  • 信息在翻译中必损:无论 256 个 token 还是 32 个(15.4 节),从像素到 token 的压缩都是有损的,压掉的小字与小物体永远到不了 LLM;
  • 只能理解、不能生成:视觉通路是单向的(图进文出),模型读得懂图却画不出图——理解与生成被架构劈成两个系统;
  • 模态是「二等公民」:图像要先被另一个模型加工、再作为「前缀」借宿进 LLM 的上下文,图文交互的深度受限于「拼接」这一浅层接口。

  四道天花板指向同一个根因:图像自始至终不是 token,它只是在连接器的翻译下「伪装」成 token。要拆掉天花板,就得让图像在输入端就是 token——这正是离散化的思路。

15.6.2 图像的离散化:VQ-VAE 与图像分词器

  第 2 章讲过,文本之所以是 token,是因为存在词表与分词器。图像要获得同等地位,也需要这两样东西:码本(codebook,视觉版词表)与图像分词器(视觉版 BPE)。提供它们的经典模型是 VQ-VAE(Vector Quantized Variational Autoencoder,2017):

原创示意图 · 非论文原图 VQ 图像分词器:图像 ⇄ 离散 token 的双向翻译(训练完成后,编码侧即「图像分词器」) 输入图像 512 × 512 × 3 编码器(CNN) 逐网格提取特征 → 32×32 特征图 码本最近邻查找 每格特征 → 最近的码字 码本 = 8192 个可学习向量 312 47 908 … 65 1024 3 … 777 88 240 … … … … 离散 token 网格 32×32 = 1024 个码(0–8191) 解码器(CNN) 按码字查码本向量 → 重建图像 重建 图像 与第 2 章对仗:BPE 从字节出发按统计合并造出文本词表;VQ 从像素出发按重建目标学出视觉码本 训练目标是最小化重建误差——能让解码器还原图像的离散化,就是好的「视觉分词」
图 1:VQ 图像分词器的工作原理。编码器把图像变成特征图,每个网格位置的特征在码本(如 8192 个可学习向量)中找最近邻,替换为该码字的编号——图像就此变成一张离散 token 网格(如 32×32=1024 个码);解码器凭编号查回码字向量并重建图像。整套系统按「重建误差最小」端到端训练。训练完成后取编码侧,即得一台「图像分词器」。

  注意码本与 BPE 词表的本质差异:BPE 的词表是统计合并出来的(第 2.2 节),码本的码字是梯度下降学出来的——学得好不好的标准只有一个:离散化之后还能不能把图像重建回来。能,说明编号保留了图的内容;不能,码本就失职。这个「以重建论英雄」的目标让码本自动覆盖视觉世界的高频模式:边缘、纹理、局部形状,乃至语义部件。

  一旦有了图像分词器,「一张图」与「一段话」在数据形态上就再无区别——都是一列离散编号。15.1.2 节模态鸿沟的三重差异,在输入端被一次性填平:连续变离散(码编号)、二维网格展平成序列(按光栅顺序排开)、信息密度由码本的表达能力压缩提炼。剩下的,就是把这些 token 交给 LLM 的主场。

15.6.3 Chameleon:早期融合的统一建模

  Meta 的 Chameleon(2024)把这条思路做成了完整系统,代表了「原生多模态」的当前形态:

  • 统一词表:文本经 BPE 分词、图像经 VQ 图像分词器(8192 码本),两类 token 共用一个词表、共享一张嵌入表——模型视角里没有任何「模态」标识位,只有编号;
  • 混合序列:训练数据是任意交错的图文序列(「文本 … <图像 token×1024> … 文本 …」),按光栅顺序拉成一维;
  • 单一目标:标准的下一 token 预测(第 6 章),不加任何模态专属损失——「预测下一个词」与「预测下一个图像 token」是同一个任务;
  • 早期融合:所有模态从第一层起就在同一个 Transformer 内交互,不存在外挂塔与连接器,这被称为 early-fusion(对比之下,15.1–15.5 的拼接式属于 late-fusion)。

  这套结构带来两个拼接式给不了的能力。其一,理解与生成同体:模型读得懂图(图像 token 在上下文里),也画得出图(自回归地逐个吐出图像 token,交给图像分词器的解码侧还原成像素)——「看图说话」与「按话画图」共享同一组权重,只是序列方向不同。其二,图文推理深度交互:没有「先翻译后理解」的接口损耗,图像 token 从第一层起就参与注意力计算,模型对图文关系的利用是全深度的。Chameleon 以 7B 与 34B 两个规模发布,在纯文本任务上保持了与同级别文本模型相当的水平——统一建模没有以牺牲语言能力为代价。

原创示意图 · 非论文原图 早期融合:文本与图像 token 混排进同一条序列,同一个 Transformer、同一个预测目标 「描述」 「一下」 「这幅」 「图:」 312 47 908 … (1024 个图像 token) 「图中是」 … 紫 = 文本 token(BPE) 青 = 图像 token(VQ 码本) 同一词表、同一嵌入表 同一个 Transformer(第 4–5 章) 唯一训练目标:下一 token 预测(第 6 章)——不分模态 输出继续是混合序列:吐文本 token 即「说」,吐图像 token 即「画」
图 2:Chameleon 式早期融合。文本与图像 token 混排成一条序列(示意),共享词表与嵌入表,由同一个 Transformer 按下一 token 预测统一建模;生成图像就是自回归地吐出图像 token,再经图 1 的解码侧还原为像素。

15.6.4 代价与折中

  统一范式不是免费的午餐,它的代价同样结构性地存在:

  • 训练稳定性难:两种来源、统计特性迥异的 token 在同一损失下竞争梯度,训练极易失衡;Chameleon 为此在归一化与损失设计上引入了一系列专门的稳定技巧,这类「驯化成本」是统一路线的公开痛点;
  • 视觉表示受码本所限:图像 token 的信息量上限由码本大小与重建质量决定——码本是另一个「出厂视力」,只是这次它与模型同训、可共同进化;
  • 序列长度膨胀:一幅图动辄上千 token(图 1 的 1024 格),长上下文技术(第 8 章)从「加分项」变成「必需品」;
  • 生成质量另有强敌:自回归逐 token 画图在像素保真上仍难敌扩散模型——图像生成是另一条浩瀚的技术线,本手册守住「LLM 机制」主线,此处点到为止。

  产业界的旗舰系统(如 GPT-4o、Gemini 系列)已把「原生多模态」作为公开宣称的方向——从头就以多模态混合数据训练,而非先文后图拼接——尽管其架构细节未公开。可以确认的是方向本身:统一是不可逆的演进趋势,拼接式与统一式将在相当长的时期内按「改造存量」与「原生设计」分工并存。

15.6.5 全章收束:多模态在 LLM 生命周期中的位置

  回到全手册的地图。第 0 章曾把 LLM 的生命周期画成一条流水线:数据 → 分词 → 嵌入 → 架构 → 预训练 → 中间训练 → 后训练 → 推理部署 → 应用。第 15 章在这条流水线上加了什么?严格地说——什么都没改动,只做了扩展:

  • 多模态没有发明新的训练范式:对比学习(15.3)是自监督的一种,视觉指令微调(15.5)是第 9 章 SFT 的换数据重演,统一建模(15.6)干脆就是第 6 章目标的直接套用;
  • 多模态没有改动核心架构:Transformer 还是那个 Transformer(第 4–5 章),变的只是「什么被当作 token」;
  • 多模态真正扩展的,是感知层:第 2 章的分词器从「只认文本」升级为「认文本也认图像」,模型的世界从纯文字变成了图文混排的序列。

  第 2 章把字符串切成 token,第 15 章进一步把像素表示为 token。音频、视频、动作和传感器数据也可以采用同一思路:先为相应模态构造分词器,再由 Transformer 处理得到的 token 序列。这构成了统一多模态架构与前几节外挂式方案的区别。

  多模态扩展的关键是「如何把非文本数据变成 token」:外挂范式用编码器+连接器转换表示(15.2–15.5),统一范式用分词器直接生成 token(15.6)。两种方式都沿用 LLM 的原有计算机制,变化集中在输入表示及其与模型的连接方式。这也与第 2 章的分词讨论呼应。

🧭本节要点回顾
拼接式 VLM 的四道天花板是什么,共同根因又是什么?
视觉编码器出厂即定死、翻译必有信息损耗、只能理解不能生成、模态交互限于浅层拼接。共同根因:图像始终不是 token,只是伪装成 token——解法是让图像在输入端就是离散 token。
VQ 图像分词器与 BPE 分词器有何异同?
产物相同:都把连续输入变成离散编号序列。造法不同:BPE 词表靠统计合并规则生成,VQ 码本靠梯度下降以「重建误差最小」为目标学出;图像经编码器提特征后逐网格做码本最近邻查找,即得离散 token 网格(如 1024 个码、码本 8192)。
Chameleon 的早期融合相对拼接式多出了什么能力,代价是什么?
多出理解与生成同体(自回归吐图像 token 即生成)、图文全深度交互(无翻译接口损耗)。代价:异源 token 竞争梯度导致训练稳定性难(需专门稳定技巧)、视觉表示受码本上限约束、序列长度膨胀。方向已不可逆,与拼接式按「原生设计 vs 改造存量」并存。

参考来源

  • Oord et al., 2017. Neural Discrete Representation Learning(VQ-VAE 原论文,NeurIPS 2017,arXiv:1711.00937;码本、最近邻量化、重建目标出自此文)。
  • Chameleon Team, 2024. Chameleon: Mixed-Modal Early-Fusion Foundation Models(arXiv:2405.09818;统一词表、8192 图像码本、混合序列自回归、7B/34B 规模与训练稳定化讨论出自此文)。
  • OpenAI, 2024. GPT-4o System Card 与 Google DeepMind, 2023. Gemini Technical Report——「原生多模态」产业方向的公开宣称(架构细节未公开,本节仅引其方向性结论)。
  • 对照阅读:本手册 2.2 节(BPE)、第 4 章(Transformer)、6.1 节(下一 token 预测目标)——统一范式三要素的手册内出处。