13.4 量化:FP16 到 INT4 的压缩术

本页范围:第 13 章第 4 节 | 整理时间:2026-10-10

快速浏览

核心问题13.1 节算过账:解码每步都要把全部权重从显存搬一遍,带宽决定每秒 token 数。如果把每个权重占的字节数直接砍半、砍到四分之一,显存和速度能赚回多少?精度又会不会垮?
本节主张量化把权重(以及激活)从高精度浮点映射成低比特整数,用可控的精度损失换显存与带宽的成倍节省。LLM 时代的核心障碍是激活里的离群值;SmoothQuant、GPTQ、AWQ 三条路线分别用「难度迁移」「误差补偿」「重点保护」三个抓手绕过它。
一句话结论权重好压、激活难压。只压权重的 W4A16 省显存、省搬运,计算仍走 FP16;连激活一起压的 W8A8 才能调用整数算力。8 bit 近乎无损,4 bit 要靠方法与校准数据兜底。
关键词
量化PTQ位宽scale离群值SmoothQuantGPTQAWQW8A8W4A16

  第 13 章前三节各有各的省法:13.1 节把成本结构算清(解码的瓶颈在带宽),13.2 节用 KV Cache 少算,13.3 节用连续批处理多装。本节换一个更直接的方向:不调度、不缓存,把数字本身变小——每个权重从 16 bit 浮点压成 8 bit 甚至 4 bit 整数,显存占用与每步搬运量立减。代价是精度:粗尺子读数必有偏差。偏差有多大、能不能压住、压不住怎么办,就是本节的主线。

  本节按「机制 → 障碍 → 方法 → 落地」的顺序展开,路线图如下:

  1. 什么是量化:从浮点到整数的映射(13.4.1):一组 FP16 权重手算变成 INT8 / INT4,看清 scale 怎么定、误差上界是多少;
  2. 精度损失的来源与离群值问题(13.4.2):舍入与截断两类误差,以及激活里少数「巨柱」通道为什么能让朴素量化翻车;
  3. 代表方法:SmoothQuant / GPTQ / AWQ 各解决什么(13.4.3):三条路线三个抓手,都不重新训练、只靠少量校准数据;
  4. 量化在部署中的位置:W8A8 与 W4A16(13.4.4):记号约定、两条路线的加速机制,以及与 KV Cache、连续批处理的叠加关系。

  读完本节,应该能手算任意一组权重的对称量化结果,说清激活为什么比权重难压,并能用「搬运变少」与「算力变多」两个来源解释 W4A16 与 W8A8 的加速差异。提前剧透两个记号:W4A16 指权重 4 bit、激活仍 16 bit,W8A8 指权重与激活都 8 bit,13.4.4 会正式立起这套约定。minimind 没有量化实现,本节走纯论文路线,方法与效果数字一律以原文为准。

  图 1 展示量化在推理部署中的处理流程,后续各节分别说明不同量化方法解决的问题。

  「量化」这一步放大之后长什么样?它以训练好的 FP16 权重为输入,吐出同数量的低比特权重文件,推理引擎加载之后,每步解码要搬运的字节数随之缩水。把这条小链路单独拆开看(图 1):

原创示意图 · 非论文原图 局部放大:量化在部署链路中的位置——FP16 权重进、低比特权重出(数字为 minimind 实测) ① 训练好的权重 FP16 · 2 字节/参数 63.9M 参数 ≈ 128 MB (第 6–11 章的产物) 一次性交给部署侧 ② 离线量化(PTQ) 一次性 · 不重新训练 小批校准数据 定 scale / 算补偿 (13.4.3 三种方法) 本节内容 ③ 量化权重文件 INT8 ≈ 64 MB INT4 ≈ 32 MB + 一张 scale 表 整数个数与参数量相同 字节数按位宽缩减 ④ 推理引擎加载 显存占用同比例降 每步搬运量同比例降 (13.1:带宽瓶颈) vLLM / TRT-LLM llama.cpp 等 ⑤ 运行时计算 W4A16:反量化回 FP16 再矩阵乘 W8A8:整数矩阵乘 输出:logits 6400 维 (13.4.4 详解) 输入:FP16 权重 63.9M 个参数 → 输出:同数量的低比特整数 + scale 表;离线量化只跑一次,收益在每一次解码中兑现
图 1:量化在部署链路中的局部放大。训练产物是 FP16 权重(minimind 63.9M 参数 ≈ 128 MB),经一次性离线量化得到同数量的低比特整数与一张 scale 表(INT8 ≈ 64 MB、INT4 ≈ 32 MB),推理引擎加载后每步解码的搬运量同比例下降。运行时有两条路:weight-only 方案先把整数反量化回 FP16 再算(W4A16),全量化方案直接走整数矩阵乘(W8A8),区别在 13.4.4 展开。PTQ 即训练后量化:不重新训练,只用一小批校准数据统计数值范围。

13.4.1 什么是量化:从浮点到整数的映射

  先建立直觉。FP16 浮点数像一把刻度极细的尺子:16 个 bit 能区分 65536 个不同的数,0.30001 与 0.30002 的差别也写得下。INT8 只有 8 个 bit,总共 256 个档位,像一把只有 256 根刻线的尺子——任何读数都得归到最近的刻线上。这里的「位宽」\(b\) 指每个数用多少个 bit 存放:FP16 是 \(b = 16\),INT8 是 \(b = 8\)(256 档),INT4 是 \(b = 4\)(16 档);存储字节数就是 \(b / 8\)。量化就是把一组浮点数统一搬到粗尺子上:先定一个换算比例,再逐个四舍五入到整数档。

量化 Quantization quantize = 把连续取值归并到有限个离散档位

在 LLM 部署语境下,量化特指把模型中的浮点数(权重,有时还有激活)转换成低比特整数表示:存储与搬运都按整数进行,计算时再按约定还原(反量化),或者干脆全程走整数运算。两个要素决定量化方案:位宽 \(b\) 决定档位总数,缩放因子 \(s\)(scale)决定相邻档位之间隔多少个原始单位。量化必然引入误差,全部学问都在把误差控制在模型感觉不到的范围。

像把无损照片转成 256 色 GIF:颜色总数从上百万砍到 256,画面大体还在,细看有色带;调色板选得好(scale 定得准),人眼几乎分不出差别。

  最常用的方案是对称线性量化,三步走完:

\[ q = \mathrm{round}\!\left(\frac{w}{s}\right), \qquad \hat{w} = s \cdot q, \qquad s = \frac{\max |w|}{2^{\,b-1} - 1} \tag{1} \]
公式 (1):对称线性量化的三步——定比例、取整、还原。符号说明:\(w\) 是原始权重(FP16 浮点数);\(b\) 是位宽;\(2^{\,b-1}-1\) 是对称方案的整数上限(\(b = 8\) 时为 127,负侧对称到 −127;INT8 其实还有一个 −128 档,对称方案弃用它以保持零点对称);\(s\) 是缩放因子,等于「最大绝对值 ÷ 整数上限」,保证幅值最大的数恰好落在端点档位;\(\mathrm{round}\) 是四舍五入到最近整数;\(q\) 是存下来的整数;\(\hat{w}\) 是计算时还原出的近似值。因为取整,每个数最多偏半个档位:\(|w - \hat{w}| \le s/2\)——误差上界随 \(s\) 线性放大,这是 13.4.2 全部故事的起点。

  代入数字算一遍。设某层一小段 FP16 权重为 \(w = [0.30, -0.75, 1.20, 0.02]\)。先按 INT8 走:\(\max|w| = 1.20\),故 \(s = 1.20 / 127 \approx 0.00945\),四个数逐个除以 \(s\) 取整、再乘回来,结果在下表左侧三列;右侧三列换成 INT4 重算(整数上限 7,\(s = 1.20 / 7 \approx 0.171\)):

原始权重 \(w\)INT8:\(q\)INT8:\(\hat{w} = s \cdot q\)INT8:误差INT4:\(q\)INT4:\(\hat{w}\)INT4:误差
0.30320.3024+0.002420.3429+0.0429
−0.75−79−0.7465+0.0035−4−0.6857+0.0643
1.201271.2000071.20000
0.0220.0189−0.001100.0000−0.0200

  两组数字对照着看。INT8 的误差全部压在 ±0.004 以内,对幅值零点几的权重只是千分之几的相对偏差;INT4 的误差上界涨到 \(s/2 \approx 0.086\),最小的权重 0.02 直接被抹成 0。对称方案的刻度间隔由 \(s\) 决定,INT8 与 INT4 的 \(s\) 相差约 18 倍(127 对 7),误差上界同步放大——这就是低位宽要还的债。图 2 把这段映射画在数轴上:

原创示意图 · 非论文原图 手算例可视化:w = [0.30, −0.75, 1.20, 0.02] 在 INT8 与 INT4 下的映射(刻度间隔相差约 18 倍) ① 原始权重(FP16 连续值) −1.20 0 1.20 −0.75 0.02 0.30 1.20 → q = round(w/s) s = 1.20/127 ≈ 0.00945 ② INT8 档位(对称 −127 ~ 127) −127 0 127 −79 2 32 127 还原 ŵ = s·q:[0.3024, −0.7465, 1.2000, 0.0189],误差 ≤ s/2 ≈ 0.0047,几乎贴回原位 → q = round(w/s) s = 1.20/7 ≈ 0.171 ③ INT4 档位(对称 −7 ~ 7) −7 0 7 −4 0 2 7 还原 ŵ:[0.3429, −0.6857, 1.2000, 0.0000],最大误差 0.064,而 INT8 的误差上界只有 0.0047;0.02 被抹成 0 同一条横轴三种读法:刻度标签不同(±1.20 / ±127 / ±7),落点位置一一对应;位宽越低,刻度越粗,误差上界越大
图 2:四个 FP16 权重在两种位宽下的映射对照(数值同正文手算例)。上带是原始连续值;中带按 \(s \approx 0.00945\) 映到 INT8 的 −127~127 档,还原后几乎贴回原位;下带按 \(s \approx 0.171\) 映到 INT4 的 −7~7 档,落点明显偏离原位置,0.02 被舍入到 0。

  对称线性量化的误差上界是 \(s/2\),而 \(s\) 由整组数的最大绝对值决定。两个直接推论:把量化分组划小(例如每个输出通道各定一个 scale,即 per-channel 量化),每组内部的最大值变小,误差随之下降——工程主流正是这么做的,正文手算例为简化用整组一个 scale;反之,组里混进一个特别大的数,全组的刻度都被它撑粗。第二点是 13.4.2 离群值问题的入口。

  注释:公式 (1) 是「对称」方案,零点两侧档位对称分布,适合以 0 为中心、分布大致对称的权重。另有一类「非对称」方案多引入一个零点偏移 \(z\),写成 \(q = \mathrm{round}(w/s) + z\)(\(z\) 是偏移的整数档数),能贴住最小值到最大值不对称的分布,比如 ReLU 之后全部非负的激活。正文手算例与 LLM 权重量化主流都用对称方案,非对称方案知道存在即可。

  收益立刻兑现成显存账:字节数与位宽成正比,minimind 约 63.9M 参数,FP16 存全量约 128 MB,INT8 约 64 MB,INT4 约 32 MB,外加每层若干 scale,体量可忽略。13.1 节讲过解码每步要把全部权重从显存搬一遍,权重文件瘦多少,搬运量就瘦多少——weight-only 量化的加速机制就是这么朴素,13.4.4 会展开。

13.4.2 精度损失的来源与离群值问题

  量化的精度损失有两个来源,性质不同。其一是舍入误差:值落在两个档位之间,被归到最近的一档,偏差至多 \(s/2\),均匀、温和、到处都有。其二是截断误差:超出 \([-\max|w|,\ \max|w|]\) 范围的值被硬压到端点档位,偏差没有上界。定 scale 时两者此消彼长:范围取得大,\(s\) 变粗、舍入误差变大;范围取得小,更多值被截断。选范围这个动作在工程上叫校准(calibration):拿一小批有代表性的真实数据跑一遍,统计各层数值分布,据此定 scale,本质就是在两类误差之间找平衡。

  对 LLM 的权重来说,这个平衡不难做:权重分布平滑、范围稳定,而且推理前就已固定,可以慢慢挑 scale。激活的处理更困难。Dettmers et al. 2022 在 LLM.int8() 论文(arXiv:2208.07339)中系统报道:模型规模到 6.7B 附近后,激活里会涌现出高度系统化的离群值——一条序列里多达约 15 万个离群值,却集中在仅仅约 6 个特征通道上,幅值可达常规通道的 20 倍左右。朴素的按张量定 scale 会因这些离群值而降低其他数值的量化精度,图 3 展示了这个过程:

原创示意图 · 非论文原图 激活离群值与按张量量化(幅值比例按 LLM.int8() 论文报告的约 20 倍示意) ① 某层激活的通道幅值:少数通道冲到 20 倍量级 ≈1 ≈20 离群通道 离群通道 特征通道(示意 24 个;论文口径:约 6 个通道集中出现) ② 后果:scale 被撑大,正常值挤进个位数档位 +127 0 −127 s = 20/127 ≈ 0.157 正常值 ±1 只落在 中间 ±6 档(青色) 正常值误差 s/2 ≈ 0.079 相对自身幅值约 8% 朴素 W8A8 在此失效 数字口径:离群值集中于约 6 个特征通道、幅值约 20 倍(arXiv:2208.07339,6.7B 规模起);±6 档与 8% 为按公式 (1) 的推算
图 3:离群值如何拖垮按张量量化。左:某层激活的通道幅值,24 个通道里 2 个(红色)冲到约 20 倍量级;右:按整个张量的最大值定 scale 后,INT8 的 ±127 档几乎全被离群值占用,幅值约 ±1 的正常值被挤进中间 ±6 档,舍入误差相对自身幅值放大到约 8%,量化后的激活面目全非。
离群值 Outlier outlier = 远离群体取值的个别样本;此处指激活中幅值异常大的少数通道

LLM 的激活张量里,绝大多数特征通道的取值在温和的范围(比如 ±1 到 ±3),但少数几个通道会稳定地出现大几十倍的取值,而且固定在同样几个通道编号上,与输入内容关系不大。这些通道对模型输出至关重要:LLM.int8() 把它们单独挑出来用 FP16 处理、其余走 INT8,175B 模型的 8bit 推理精度才得以保持。可一旦按整个张量统一量化,它们的存在会把 scale 撑大几十倍,让所有正常值的量化精度同步恶化。SmoothQuant 论文(13.4.3)正是以「权重没有离群值、激活有」这一观察为出发点。

像全班合影里站进来两个两米三的巨人:为了让巨人不裁头,镜头只能拉远,结果其他同学在照片里只剩几个像素。

  小结一下难点的分布:权重静态、平滑、好量化;激活随输入变化、带离群值、难量化。这个不对称性直接规定了 13.4.3 三条方法路线的分工——要么把激活的量化难度匀给权重,要么干脆只压权重、激活保持 FP16。

13.4.3 代表方法:SmoothQuant / GPTQ / AWQ 各解决什么

  先圈定本节讨论的方法类别:三者都是训练后量化(PTQ,Post-Training Quantization)——不重新训练模型,只用一小批校准数据(几百条真实样本,用来统计各层数值范围)完成量化,几小时内出结果。与之相对的路线是量化感知训练(QAT):把量化误差纳入训练目标、用微调让模型适应低精度,效果更好但成本高得多,LLM 部署主流走 PTQ。三篇论文各抓住一个抓手,逐个看。

  SmoothQuant:把量化难度从激活迁移给权重(Xiao et al., 2023,arXiv:2211.10438,ICML 2023)。它的观察正是 13.4.2 的难点分布:离群值长在激活里,权重分布平滑、好压。做法是一次数学上完全等价的逐通道缩放——激活每个通道除以平滑系数 \(s_j\),权重对应行乘以 \(s_j\),乘积不变:

\[ \mathbf{Y} = \mathbf{X}\mathbf{W} = \underbrace{\left(\mathbf{X}\,\mathrm{diag}(\mathbf{s})^{-1}\right)}_{\tilde{\mathbf{X}}\ \text{变平}} \cdot \underbrace{\left(\mathrm{diag}(\mathbf{s})\,\mathbf{W}\right)}_{\tilde{\mathbf{W}}\ \text{略起波}} \tag{2} \]
公式 (2):SmoothQuant 的等价变换——数学结果不变,量化难度重新分配。符号说明:\(\mathbf{X}\) 是该层的激活矩阵(行是 token、列是特征通道);\(\mathbf{W}\) 是该层权重矩阵;\(\mathbf{s}\) 是逐通道平滑系数向量,按校准数据统计出的通道幅值设定;\(\mathrm{diag}(\mathbf{s})\) 把向量展成对角矩阵,右乘它等于逐列缩放。\(\tilde{\mathbf{X}}\) 的每个通道除以 \(s_j\),离群通道被压平;\(\tilde{\mathbf{W}}\) 的对应行乘以 \(s_j\),权重承接一部分波动,但权重本来就平滑,扛得住。变换后激活与权重都变得好量化,于是两者都能上 INT8(W8A8)。论文报告 OPT-175B 等模型 W8A8 精度几乎无损,端到端最高 1.56 倍提速、显存减半。

  GPTQ:逐列量化,让剩余权重补偿误差(Frantar et al., 2023,arXiv:2210.17323,ICLR 2023)。抓手来自另一个观察:把某个权重四舍五入造成的输出偏差,可以靠调整还没量化的权重抵消一部分。GPTQ 把量化写成逐层的输出重建问题:

\[ \hat{\mathbf{W}} = \arg\min_{\mathbf{W}'} \,\lVert \mathbf{W}\mathbf{X} - \mathbf{W}'\mathbf{X} \rVert_2^{2} \tag{3} \]
公式 (3):GPTQ 的目标——量化之后,这一层在校准数据上的输出尽量贴近原输出。符号说明:\(\mathbf{W}\) 是原始权重;\(\mathbf{W}'\) 是待求的量化后权重;\(\mathbf{X}\) 是校准数据喂出来的该层激活;\(\lVert \cdot \rVert_2^2\) 是逐元素平方误差之和。GPTQ 在 OBQ(Optimal Brain Quantization)框架下用 Hessian 近似逐列求解:每量化一列,立刻按二阶信息更新剩余未量化列,把这一列引入的误差分摊掉。论文报告 175B 级模型压到 3–4 bit、精度损失可忽略,单张 GPU 即可推理,A100 上约 3.25 倍加速。它只压权重,激活保持 FP16,即 13.4.4 的 W4A16 路线。

  AWQ:只保护那 1% 的显著权重(Lin et al., 2024,arXiv:2306.00978,MLSys 2024 最佳论文)。抓手换了方向:不问「怎么量化所有权重」,先问「哪些权重值得特殊对待」。论文按激活分布衡量各权重通道的重要性,发现约 1% 的显著权重(salient weights)对输出影响显著大于其余;对这 1% 做逐通道放大(等效于量化时给它们更细的相对刻度),就能大幅压低整体误差——不留 FP16 副本、不做反向传播,只靠校准数据统计出的缩放系数。配套的部署框架 TinyChat 报告 3 倍以上加速。AWQ 同样只压权重(W4A16)。

  三条路线摆在一起,分工一目了然:

维度SmoothQuantGPTQAWQ
量化对象权重 + 激活(W8A8)仅权重(W3 / W4)仅权重(W4)
核心抓手等价变换:激活难度迁移给权重二阶补偿:逐列量化、剩余权重补误差按激活识别并保护 1% 显著权重
校准数据需要(统计激活通道幅值)需要(逐层输出重建)需要(统计激活幅值)
重新训练否(PTQ)否(PTQ)否(PTQ)
论文报告效果W8A8 近无损,最高 1.56x 提速、显存减半3–4 bit 近无损,175B 单卡可推理,A100 约 3.25xW4 近无损,TinyChat 部署 3x+

  注意:三个「近无损」都带位宽前提:SmoothQuant 是 8 bit,GPTQ 与 AWQ 的漂亮数字在 3–4 bit。再往下探(2 bit、1 bit),补偿与保护也兜不住,困惑度(附录 A.4)明显上涨,属研究前沿,不是部署默认。各家的逐 benchmark 困惑度差值以原文表格为准;选型时应按自家模型规模与任务复核,别把 A 模型上的无损结论平移到 B 模型。

13.4.4 量化在部署中的位置:W8A8 与 W4A16

  部署文献里的记号约定先立起来:W 后的数字是权重位宽,A 后的数字是激活位宽。原始模型是 W16A16(都走 FP16);SmoothQuant 做的是 W8A8;GPTQ、AWQ 这类只压权重的是 W4A16 或 W3A16。KV Cache 不在这套记号里,但它同样可以量化成 INT8 / INT4,那是 13.2 节话题的延伸,本节不展开。

  两种记号的加速机制不一样,值得拆开说。W4A16(weight-only):权重以 4 bit 存储与搬运,计算前先反量化回 FP16 再进矩阵乘。显存占用与带宽搬运都降到约四分之一,而 13.1 节说过解码是 memory-bound——搬运量直接决定每秒 token 数,所以它的加速几乎全部来自「搬得少」;计算本身没占便宜,还多一道反量化开销。W8A8:权重和激活都以 INT8 进入矩阵乘,能调用 GPU 的整数 Tensor Core(专门做低精度整数矩阵乘的硬件单元,吞吐数倍于 FP16 单元),是「搬得少」与「算得快」双份收益;代价是必须先解决 13.4.2 的激活离群值问题,这正是 SmoothQuant 存在的理由。两类收益都按理想上限估算,实际提升还受 kernel 实现与反量化开销影响,达不到严格的线性比例。

记号权重激活权重显存(63.9M 参数)加速来源代表方法
W16A16FP16FP16≈ 128 MB基线原始模型
W8A8INT8INT8≈ 64 MB带宽减半 + 整数算力SmoothQuant;LLM.int8()(离群通道单独 FP16 的混合变体)
W4A16INT4FP16≈ 32 MB带宽降到约 1/4(计算前反量化)GPTQ、AWQ

  量化与本章前几节不是互斥选项,可以同链叠加:连续批处理(13.3)决定「多少请求一起算」,KV Cache(13.2)决定「每步少算多少」,量化决定「每个数占几字节」。工程组合很自由——vLLM 可以同时开连续批处理、PagedAttention 与 GPTQ / AWQ 量化权重,KV Cache 量化还能再叠一层。部署侧的总账始终回到 13.1 节的成本结构:显存容量决定能不能装下,带宽决定跑得多快,量化同时给这两项松绑。再往下的 13.5 节换一条思路:不压缩同一个模型,让大模型把能力教给小模型。

  注释:minimind 没有量化实现(模型与训练脚本均为 FP32 / 混合精度路线),本节的方法与效果数字全部来自上述论文原文;63.9M 参数的显存账是手册按「参数量 × 每参数字节数」自行推算的示意,用于建立量级直觉,不代表某个具体量化工具的实际产物。

🧭本节要点回顾
对称 INT8 量化的 scale 怎么定,误差有多大?
\(s = \max|w| / 127\),量化是 \(q = \mathrm{round}(w/s)\),还原是 \(\hat{w} = s \cdot q\),每个数最多偏 \(s/2\)。手算例里 \([0.30, -0.75, 1.20, 0.02]\) 映到 \([32, -79, 127, 2]\),误差不超过 ±0.004;同组数换 INT4,\(s\) 粗约 18 倍,误差上界同步放大,0.02 直接被抹成 0。分组划小(per-channel)能压误差,组里混入大数会撑粗全组刻度。
为什么激活比权重难量化?
权重静态、分布平滑;激活随输入变化,且 6.7B 规模后会出现系统化离群值——约 15 万个离群值集中在约 6 个特征通道、幅值约 20 倍(LLM.int8() 报道)。按张量定 scale 时离群值把刻度撑粗,正常值被挤进个位数档位。SmoothQuant 用等价变换把难度匀给权重,W4A16 路线则干脆不动激活。
W4A16 与 W8A8 的加速分别来自哪里?
W4A16 只省存储与搬运(带宽降到约 1/4),计算前反量化回 FP16,加速源于 memory-bound 下的「搬得少」;W8A8 把权重与激活都整数化,能调用整数 Tensor Core,带宽与算力双份收益,但要先压住激活离群值。两者都能与 KV Cache、连续批处理同链叠加。

参考来源

  • Xiao et al., 2023. SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models(arXiv:2211.10438,ICML 2023):权重易量化、激活因离群值难量化的观察,逐通道等价平滑变换,W8A8,OPT-175B 等模型最高 1.56x 提速与显存减半。
  • Frantar et al., 2023. GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers(arXiv:2210.17323,ICLR 2023):OBQ 二阶框架下的逐列量化与误差补偿,3–4 bit 精度损失可忽略,175B 模型单 GPU 可推理,A100 约 3.25x 加速。
  • Lin et al., 2024. AWQ: Activation-aware Weight Quantization: On-the-Fly Compression of LLMs(arXiv:2306.00978,MLSys 2024 最佳论文):按激活分布识别约 1% 显著权重并逐通道缩放保护,无需反向传播与重建,TinyChat 部署 3x+ 加速。
  • Dettmers et al., 2022. LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale(arXiv:2208.07339,NeurIPS 2022):离群值在 6.7B 规模起系统化出现、每序列约 15 万个但集中于约 6 个特征通道、幅值约 20 倍、朴素 8bit 量化因此失效,混合精度分解方案保持 175B 级精度;已核对 arXiv 摘要与正文相关段落。
  • minimind(Apache 2.0),model/model_minimind.py:参数规模与维度配置(约 63.9M 参数、hidden 768、8 层、词表 6400),用于显存账推算;minimind 无量化实现,本节不走代码印证路线。
  • 本手册 13.1 节(推理的成本结构):解码 memory-bound、「每步搬运全部权重」的带宽分析,是本节加速机制解释的前提。