13.4 量化:FP16 到 INT4 的压缩术
本页范围:第 13 章第 4 节 | 整理时间:2026-10-10
第 13 章前三节各有各的省法:13.1 节把成本结构算清(解码的瓶颈在带宽),13.2 节用 KV Cache 少算,13.3 节用连续批处理多装。本节换一个更直接的方向:不调度、不缓存,把数字本身变小——每个权重从 16 bit 浮点压成 8 bit 甚至 4 bit 整数,显存占用与每步搬运量立减。代价是精度:粗尺子读数必有偏差。偏差有多大、能不能压住、压不住怎么办,就是本节的主线。
本节按「机制 → 障碍 → 方法 → 落地」的顺序展开,路线图如下:
- 什么是量化:从浮点到整数的映射(13.4.1):一组 FP16 权重手算变成 INT8 / INT4,看清 scale 怎么定、误差上界是多少;
- 精度损失的来源与离群值问题(13.4.2):舍入与截断两类误差,以及激活里少数「巨柱」通道为什么能让朴素量化翻车;
- 代表方法:SmoothQuant / GPTQ / AWQ 各解决什么(13.4.3):三条路线三个抓手,都不重新训练、只靠少量校准数据;
- 量化在部署中的位置:W8A8 与 W4A16(13.4.4):记号约定、两条路线的加速机制,以及与 KV Cache、连续批处理的叠加关系。
读完本节,应该能手算任意一组权重的对称量化结果,说清激活为什么比权重难压,并能用「搬运变少」与「算力变多」两个来源解释 W4A16 与 W8A8 的加速差异。提前剧透两个记号:W4A16 指权重 4 bit、激活仍 16 bit,W8A8 指权重与激活都 8 bit,13.4.4 会正式立起这套约定。minimind 没有量化实现,本节走纯论文路线,方法与效果数字一律以原文为准。
图 1 展示量化在推理部署中的处理流程,后续各节分别说明不同量化方法解决的问题。
「量化」这一步放大之后长什么样?它以训练好的 FP16 权重为输入,吐出同数量的低比特权重文件,推理引擎加载之后,每步解码要搬运的字节数随之缩水。把这条小链路单独拆开看(图 1):
13.4.1 什么是量化:从浮点到整数的映射
先建立直觉。FP16 浮点数像一把刻度极细的尺子:16 个 bit 能区分 65536 个不同的数,0.30001 与 0.30002 的差别也写得下。INT8 只有 8 个 bit,总共 256 个档位,像一把只有 256 根刻线的尺子——任何读数都得归到最近的刻线上。这里的「位宽」\(b\) 指每个数用多少个 bit 存放:FP16 是 \(b = 16\),INT8 是 \(b = 8\)(256 档),INT4 是 \(b = 4\)(16 档);存储字节数就是 \(b / 8\)。量化就是把一组浮点数统一搬到粗尺子上:先定一个换算比例,再逐个四舍五入到整数档。
在 LLM 部署语境下,量化特指把模型中的浮点数(权重,有时还有激活)转换成低比特整数表示:存储与搬运都按整数进行,计算时再按约定还原(反量化),或者干脆全程走整数运算。两个要素决定量化方案:位宽 \(b\) 决定档位总数,缩放因子 \(s\)(scale)决定相邻档位之间隔多少个原始单位。量化必然引入误差,全部学问都在把误差控制在模型感觉不到的范围。
最常用的方案是对称线性量化,三步走完:
代入数字算一遍。设某层一小段 FP16 权重为 \(w = [0.30, -0.75, 1.20, 0.02]\)。先按 INT8 走:\(\max|w| = 1.20\),故 \(s = 1.20 / 127 \approx 0.00945\),四个数逐个除以 \(s\) 取整、再乘回来,结果在下表左侧三列;右侧三列换成 INT4 重算(整数上限 7,\(s = 1.20 / 7 \approx 0.171\)):
| 原始权重 \(w\) | INT8:\(q\) | INT8:\(\hat{w} = s \cdot q\) | INT8:误差 | INT4:\(q\) | INT4:\(\hat{w}\) | INT4:误差 |
|---|---|---|---|---|---|---|
| 0.30 | 32 | 0.3024 | +0.0024 | 2 | 0.3429 | +0.0429 |
| −0.75 | −79 | −0.7465 | +0.0035 | −4 | −0.6857 | +0.0643 |
| 1.20 | 127 | 1.2000 | 0 | 7 | 1.2000 | 0 |
| 0.02 | 2 | 0.0189 | −0.0011 | 0 | 0.0000 | −0.0200 |
两组数字对照着看。INT8 的误差全部压在 ±0.004 以内,对幅值零点几的权重只是千分之几的相对偏差;INT4 的误差上界涨到 \(s/2 \approx 0.086\),最小的权重 0.02 直接被抹成 0。对称方案的刻度间隔由 \(s\) 决定,INT8 与 INT4 的 \(s\) 相差约 18 倍(127 对 7),误差上界同步放大——这就是低位宽要还的债。图 2 把这段映射画在数轴上:
对称线性量化的误差上界是 \(s/2\),而 \(s\) 由整组数的最大绝对值决定。两个直接推论:把量化分组划小(例如每个输出通道各定一个 scale,即 per-channel 量化),每组内部的最大值变小,误差随之下降——工程主流正是这么做的,正文手算例为简化用整组一个 scale;反之,组里混进一个特别大的数,全组的刻度都被它撑粗。第二点是 13.4.2 离群值问题的入口。
注释:公式 (1) 是「对称」方案,零点两侧档位对称分布,适合以 0 为中心、分布大致对称的权重。另有一类「非对称」方案多引入一个零点偏移 \(z\),写成 \(q = \mathrm{round}(w/s) + z\)(\(z\) 是偏移的整数档数),能贴住最小值到最大值不对称的分布,比如 ReLU 之后全部非负的激活。正文手算例与 LLM 权重量化主流都用对称方案,非对称方案知道存在即可。
收益立刻兑现成显存账:字节数与位宽成正比,minimind 约 63.9M 参数,FP16 存全量约 128 MB,INT8 约 64 MB,INT4 约 32 MB,外加每层若干 scale,体量可忽略。13.1 节讲过解码每步要把全部权重从显存搬一遍,权重文件瘦多少,搬运量就瘦多少——weight-only 量化的加速机制就是这么朴素,13.4.4 会展开。
13.4.2 精度损失的来源与离群值问题
量化的精度损失有两个来源,性质不同。其一是舍入误差:值落在两个档位之间,被归到最近的一档,偏差至多 \(s/2\),均匀、温和、到处都有。其二是截断误差:超出 \([-\max|w|,\ \max|w|]\) 范围的值被硬压到端点档位,偏差没有上界。定 scale 时两者此消彼长:范围取得大,\(s\) 变粗、舍入误差变大;范围取得小,更多值被截断。选范围这个动作在工程上叫校准(calibration):拿一小批有代表性的真实数据跑一遍,统计各层数值分布,据此定 scale,本质就是在两类误差之间找平衡。
对 LLM 的权重来说,这个平衡不难做:权重分布平滑、范围稳定,而且推理前就已固定,可以慢慢挑 scale。激活的处理更困难。Dettmers et al. 2022 在 LLM.int8() 论文(arXiv:2208.07339)中系统报道:模型规模到 6.7B 附近后,激活里会涌现出高度系统化的离群值——一条序列里多达约 15 万个离群值,却集中在仅仅约 6 个特征通道上,幅值可达常规通道的 20 倍左右。朴素的按张量定 scale 会因这些离群值而降低其他数值的量化精度,图 3 展示了这个过程:
LLM 的激活张量里,绝大多数特征通道的取值在温和的范围(比如 ±1 到 ±3),但少数几个通道会稳定地出现大几十倍的取值,而且固定在同样几个通道编号上,与输入内容关系不大。这些通道对模型输出至关重要:LLM.int8() 把它们单独挑出来用 FP16 处理、其余走 INT8,175B 模型的 8bit 推理精度才得以保持。可一旦按整个张量统一量化,它们的存在会把 scale 撑大几十倍,让所有正常值的量化精度同步恶化。SmoothQuant 论文(13.4.3)正是以「权重没有离群值、激活有」这一观察为出发点。
小结一下难点的分布:权重静态、平滑、好量化;激活随输入变化、带离群值、难量化。这个不对称性直接规定了 13.4.3 三条方法路线的分工——要么把激活的量化难度匀给权重,要么干脆只压权重、激活保持 FP16。
13.4.3 代表方法:SmoothQuant / GPTQ / AWQ 各解决什么
先圈定本节讨论的方法类别:三者都是训练后量化(PTQ,Post-Training Quantization)——不重新训练模型,只用一小批校准数据(几百条真实样本,用来统计各层数值范围)完成量化,几小时内出结果。与之相对的路线是量化感知训练(QAT):把量化误差纳入训练目标、用微调让模型适应低精度,效果更好但成本高得多,LLM 部署主流走 PTQ。三篇论文各抓住一个抓手,逐个看。
SmoothQuant:把量化难度从激活迁移给权重(Xiao et al., 2023,arXiv:2211.10438,ICML 2023)。它的观察正是 13.4.2 的难点分布:离群值长在激活里,权重分布平滑、好压。做法是一次数学上完全等价的逐通道缩放——激活每个通道除以平滑系数 \(s_j\),权重对应行乘以 \(s_j\),乘积不变:
GPTQ:逐列量化,让剩余权重补偿误差(Frantar et al., 2023,arXiv:2210.17323,ICLR 2023)。抓手来自另一个观察:把某个权重四舍五入造成的输出偏差,可以靠调整还没量化的权重抵消一部分。GPTQ 把量化写成逐层的输出重建问题:
AWQ:只保护那 1% 的显著权重(Lin et al., 2024,arXiv:2306.00978,MLSys 2024 最佳论文)。抓手换了方向:不问「怎么量化所有权重」,先问「哪些权重值得特殊对待」。论文按激活分布衡量各权重通道的重要性,发现约 1% 的显著权重(salient weights)对输出影响显著大于其余;对这 1% 做逐通道放大(等效于量化时给它们更细的相对刻度),就能大幅压低整体误差——不留 FP16 副本、不做反向传播,只靠校准数据统计出的缩放系数。配套的部署框架 TinyChat 报告 3 倍以上加速。AWQ 同样只压权重(W4A16)。
三条路线摆在一起,分工一目了然:
| 维度 | SmoothQuant | GPTQ | AWQ |
|---|---|---|---|
| 量化对象 | 权重 + 激活(W8A8) | 仅权重(W3 / W4) | 仅权重(W4) |
| 核心抓手 | 等价变换:激活难度迁移给权重 | 二阶补偿:逐列量化、剩余权重补误差 | 按激活识别并保护 1% 显著权重 |
| 校准数据 | 需要(统计激活通道幅值) | 需要(逐层输出重建) | 需要(统计激活幅值) |
| 重新训练 | 否(PTQ) | 否(PTQ) | 否(PTQ) |
| 论文报告效果 | W8A8 近无损,最高 1.56x 提速、显存减半 | 3–4 bit 近无损,175B 单卡可推理,A100 约 3.25x | W4 近无损,TinyChat 部署 3x+ |
注意:三个「近无损」都带位宽前提:SmoothQuant 是 8 bit,GPTQ 与 AWQ 的漂亮数字在 3–4 bit。再往下探(2 bit、1 bit),补偿与保护也兜不住,困惑度(附录 A.4)明显上涨,属研究前沿,不是部署默认。各家的逐 benchmark 困惑度差值以原文表格为准;选型时应按自家模型规模与任务复核,别把 A 模型上的无损结论平移到 B 模型。
13.4.4 量化在部署中的位置:W8A8 与 W4A16
部署文献里的记号约定先立起来:W 后的数字是权重位宽,A 后的数字是激活位宽。原始模型是 W16A16(都走 FP16);SmoothQuant 做的是 W8A8;GPTQ、AWQ 这类只压权重的是 W4A16 或 W3A16。KV Cache 不在这套记号里,但它同样可以量化成 INT8 / INT4,那是 13.2 节话题的延伸,本节不展开。
两种记号的加速机制不一样,值得拆开说。W4A16(weight-only):权重以 4 bit 存储与搬运,计算前先反量化回 FP16 再进矩阵乘。显存占用与带宽搬运都降到约四分之一,而 13.1 节说过解码是 memory-bound——搬运量直接决定每秒 token 数,所以它的加速几乎全部来自「搬得少」;计算本身没占便宜,还多一道反量化开销。W8A8:权重和激活都以 INT8 进入矩阵乘,能调用 GPU 的整数 Tensor Core(专门做低精度整数矩阵乘的硬件单元,吞吐数倍于 FP16 单元),是「搬得少」与「算得快」双份收益;代价是必须先解决 13.4.2 的激活离群值问题,这正是 SmoothQuant 存在的理由。两类收益都按理想上限估算,实际提升还受 kernel 实现与反量化开销影响,达不到严格的线性比例。
| 记号 | 权重 | 激活 | 权重显存(63.9M 参数) | 加速来源 | 代表方法 |
|---|---|---|---|---|---|
| W16A16 | FP16 | FP16 | ≈ 128 MB | 基线 | 原始模型 |
| W8A8 | INT8 | INT8 | ≈ 64 MB | 带宽减半 + 整数算力 | SmoothQuant;LLM.int8()(离群通道单独 FP16 的混合变体) |
| W4A16 | INT4 | FP16 | ≈ 32 MB | 带宽降到约 1/4(计算前反量化) | GPTQ、AWQ |
量化与本章前几节不是互斥选项,可以同链叠加:连续批处理(13.3)决定「多少请求一起算」,KV Cache(13.2)决定「每步少算多少」,量化决定「每个数占几字节」。工程组合很自由——vLLM 可以同时开连续批处理、PagedAttention 与 GPTQ / AWQ 量化权重,KV Cache 量化还能再叠一层。部署侧的总账始终回到 13.1 节的成本结构:显存容量决定能不能装下,带宽决定跑得多快,量化同时给这两项松绑。再往下的 13.5 节换一条思路:不压缩同一个模型,让大模型把能力教给小模型。
注释:minimind 没有量化实现(模型与训练脚本均为 FP32 / 混合精度路线),本节的方法与效果数字全部来自上述论文原文;63.9M 参数的显存账是手册按「参数量 × 每参数字节数」自行推算的示意,用于建立量级直觉,不代表某个具体量化工具的实际产物。
参考来源
- Xiao et al., 2023. SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models(arXiv:2211.10438,ICML 2023):权重易量化、激活因离群值难量化的观察,逐通道等价平滑变换,W8A8,OPT-175B 等模型最高 1.56x 提速与显存减半。
- Frantar et al., 2023. GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers(arXiv:2210.17323,ICLR 2023):OBQ 二阶框架下的逐列量化与误差补偿,3–4 bit 精度损失可忽略,175B 模型单 GPU 可推理,A100 约 3.25x 加速。
- Lin et al., 2024. AWQ: Activation-aware Weight Quantization: On-the-Fly Compression of LLMs(arXiv:2306.00978,MLSys 2024 最佳论文):按激活分布识别约 1% 显著权重并逐通道缩放保护,无需反向传播与重建,TinyChat 部署 3x+ 加速。
- Dettmers et al., 2022. LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale(arXiv:2208.07339,NeurIPS 2022):离群值在 6.7B 规模起系统化出现、每序列约 15 万个但集中于约 6 个特征通道、幅值约 20 倍、朴素 8bit 量化因此失效,混合精度分解方案保持 175B 级精度;已核对 arXiv 摘要与正文相关段落。
- minimind(Apache 2.0),model/model_minimind.py:参数规模与维度配置(约 63.9M 参数、hidden 768、8 层、词表 6400),用于显存账推算;minimind 无量化实现,本节不走代码印证路线。
- 本手册 13.1 节(推理的成本结构):解码 memory-bound、「每步搬运全部权重」的带宽分析,是本节加速机制解释的前提。