13.3 服务化:连续批处理与 PagedAttention

本页范围:第 13 章第 3 节 | 整理时间:2026-10-10

快速浏览

核心问题前两节解决了单条请求的成本与缓存(13.1、13.2 节),真实服务却要同时扛成百上千条请求:怎么凑批、怎么调度,才能让每一次权重搬运摊到尽量多的请求上,又不被长短不一的生成长度拖垮?
本节主张服务化系统的两大基石是连续批处理与 PagedAttention。前者把调度粒度从整批降到单步,谁生成完谁先走,GPU 槽位不空转;后者借操作系统虚拟内存分页的思路管理 KV Cache,把 60%–80% 的显存浪费压到接近零,省下的显存再换成更大的批。
一句话结论Orca(OSDI 2022)的迭代级调度在 175B 模型上做到同延迟下 36.9 倍于 FasterTransformer 的吞吐;vLLM(SOSP 2023)论文口径吞吐提升 2–4 倍,流传更广的「24 倍」是发布博客对朴素基线的口径,引用时两者必须分开。
关键词
服务化 serving静态批处理连续批处理迭代级调度OrcaKV Cache 碎片PagedAttention块表vLLM吞吐

  13.1 节算过推理的成本账:解码每生成一个 token,都要把全部权重从显存搬进计算单元,带宽决定速度。13.2 节的 KV Cache 把重复计算省了下来。但这两节都是单条请求的视角,真实的服务场景是几百上千条请求同时涌进来,问题随之换了一层:怎么把这些请求组织起来,让每一次权重搬运尽可能多地摊到多条请求上?答案明摆着——批处理,一批 b 条请求共享同一次权重读取,搬运成本摊薄到 1/b。可批怎么凑、凑完怎么管,直接决定 GPU 是吃饱还是挨饿。本节就讲这两件事上的两次关键系统革新:调度上的连续批处理,显存管理上的 PagedAttention。

  本节按「问题 → 调度 → 显存 → 实测」的顺序展开,路线图如下:

  1. 静态批处理的浪费(长短不齐、等最慢的)(13.3.1):最直觉的凑批方式藏着两个窟窿,用一个可复算的小例量化它;
  2. 连续批处理:token 级调度,谁结束谁走(13.3.2):Orca 把调度粒度降到单步解码,利用率翻倍的关键一跃;
  3. KV Cache 的显存碎片问题与 PagedAttention(操作系统分页类比)(13.3.3):vLLM 借操作系统六十年代的老办法,吃掉 60%–80% 的显存浪费;
  4. vLLM 的实测声明(13.3.4):论文口径与博客口径分开摆,吞吐数字不混用。

  读完本节,应该能手算静态批处理的槽位利用率,复述连续批处理每步的调度循环,并用操作系统分页的类比把 PagedAttention 讲给一个没听过它的人听。

  逐节展开之前,先明确本节站在哪:八个训练阶段交出模型之后,推理与部署阶段负责把它变成扛得住并发的服务,本节讲的是其中的调度与显存管理:

13.3.1 静态批处理的浪费(长短不齐、等最慢的)

  先把批处理的收益来源说清楚。13.1 节的结论是解码阶段带宽为王:每生成一步都要把全部权重从显存搬一遍,算力大量空转。把 b 条请求凑成一批一起解码,同一次权重搬运服务 b 条序列,吞吐(单位时间产出的 token 总数)随批大小水涨船高。最直觉的凑法是静态批处理(static batching):集齐 B 条请求,对齐、开跑,整批全部生成完才放下一批进场。早期的推理框架(如 NVIDIA 的 FasterTransformer)就是这么做的。

  问题出在一个无法回避的事实上:每条请求会生成多长,事先不可知,而且差异巨大——一句「好的」两个 token 就打住,一篇长文摘要能写几千个。静态批处理要求整批同进同出,于是生出两个窟窿。其一,长短不齐的空转:批内最短的请求早就生成完毕(产出结束符 EOS,end-of-sequence,第 12 章讲过它的判别),它的槽位却不能释放,要么继续解码出注定被丢弃的 token,要么原地陪跑,直到最长的那条收尾。其二,队头阻塞:批一旦开跑,新到的请求只能在队列里干等整批结束,延迟被人为拉长。

  把第一个窟窿量化。定义槽位利用率 \(\eta\) 为批内所有请求实际生成步数之和,除以槽位总数与批持续步数的乘积:

\[ \eta = \frac{\sum_{i=1}^{B} L_i}{B \cdot L_{\max}}, \qquad L_{\max} = \max_{1 \leq i \leq B} L_i \tag{1} \]
公式 (1):静态批处理的槽位利用率——真正产出 token 的槽位步数占总槽位步数的比例。符号说明:\(B\) 是批内请求数;\(L_i\) 是第 \(i\) 条请求实际生成的长度(token 数);\(L_{\max}\) 是批内最长生成长度,整批要跑满这么多步才散场;分母 \(B \cdot L_{\max}\) 是这批占用的槽位步总数(槽位 × 步数)。代入小例:\(B = 3\),长度 \([2, 4, 6]\),得 \(\eta = 12 / 18 \approx 67\%\)。本例的长度差还算温和,真实负载里几十 token 与几千 token 的请求同批并不稀奇,\(\eta\) 掉到两三成很常见。

  注释:工程实现里,静态批通常要把批内序列补齐(padding)到同一长度才能拼成大张量,补齐部分的计算随后被丢弃。这与「陪跑空转」是同一种浪费的两种记账口径:算力花在了注定不用的 token 上。

  静态批处理的两个窟窿可以记成一句话:批内等最慢的(长度不齐 → 空转),批外等整批的(队头阻塞 → 排队)。两个窟窿指向同一个病根——调度决策整批只做一次,而做决策的时候,谁也不知道各条请求会写多长。

13.3.2 连续批处理:token 级调度,谁结束谁走

  病根找到了,药方就自然了:把调度的粒度从「整批请求」降到「单步解码」。这就是连续批处理(continuous batching):每生成一个 token,调度器就检查一遍批内状态——有请求产出 EOS 或到达长度上限,当场离场;队列里排队的请求,下一步立即补位。批的组成随每一步流动,不存在「整批结束」这个时间点。Orca 系统(Yu et al., OSDI 2022)是这条路线的开创者,论文称之为迭代级调度(iteration-level scheduling)。

连续批处理 Continuous Batching continuous = 连续不断;batching = 凑批——批的组成随每个解码步流动

推理服务系统的调度方式:不再一批请求同进同出,而是每生成一个 token 就重新决定批的组成,生成完毕的请求当场离场,排队的请求下一步补位。Orca 论文叫迭代级调度,业界更常叫连续批处理,两个名字指同一件事。它是当今主流推理框架(vLLM、Hugging Face TGI、TensorRT-LLM 等)的默认调度方式。

像散台翻台与包场宴席的区别:静态批处理是包场,所有宾客同时散席才能翻下一拨;连续批处理是散台,哪桌吃完走人,门口排队的立刻坐下,厨房(GPU)始终有活干。

  连续批处理有个工程难题要解决:批内各请求身处不同的生成位置、长度参差不齐,注意力算子没法拼成一张整齐的大矩阵一起算。Orca 的解法是选择性批处理(selective batching):注意力按请求各自计算,线性层这类与序列位置无关的算子照常合并成大批。收益相当可观:论文报告,在 175B 参数的 GPT-3 级模型上,保持同等延迟水平时,Orca 的吞吐达到 FasterTransformer 的 36.9 倍。这个倍数听着夸张,拆开看却合理:分母是静态批处理大量空转的基线,分子是几乎不空转的调度,大部分收益来自把浪费捡回来,而不是凭空变出算力。

  图 1 用一组可数的请求把两种调度画在一起对照:A、B、C 分别生成 2、4、6 步,D、E 在起点就已排队。上排静态批处理里,A 只干 2 步活,槽位却要陪跑到第 6 步,D、E 在场外干等;下排连续批处理里,A 一离场 D 立刻补位,B 离场 E 补位。灰色区域的变化就是全部故事。

原创示意图 · 非论文原图 同一组请求(A / B / C 分别生成 2 / 4 / 6 步,D / E 起点已在队列)在两种调度下的时间线 有效生成 空转陪跑(无产出) 补位的新请求 排队等待 静态批处理:整批同进同出(FasterTransformer 式) 请求 A(2 步) A A 早已结束,槽位陪跑 4 步 请求 B(4 步) B 陪跑 2 步 请求 C(6 步) C 请求 D 请求 E 排队等到整批结束(t6)才进场:队头阻塞 利用率 = 有用 12 槽位步 ÷ 总 18 ≈ 67%;真实负载长短差距更大(几十对几千 token),浪费更甚 连续批处理:一步一调度,谁结束谁走(Orca 式) 槽位 1:A → D A D D 结束,队列已空 槽位 2:B → E B E 槽位 3:C C t0 t1 t2 t3 t4 t5 t6 (解码步) t2:A 出,D 进 t4:B 出,E 进 同一组请求:有用 16 ÷ 总 18 ≈ 89%;队列不断粮时,空槽下一步就被填满
图 1:静态批处理与连续批处理的时间线对照。上排静态批处理:A、B 结束后槽位陪跑(灰色),D、E 等整批跑完才进场,槽位利用率约 67%;下排连续批处理:每步结束检查一次,A 一离场 D 立即补位(红色虚线处),利用率升到约 89%。队列里只要还有请求,GPU 就没有空转的槽位。

  图 1 下排末尾还留着一小条灰色:D 结束时队列已空,没有新请求可补。这恰好点出连续批处理的真正前提——请求源源不断。生产环境里队列很少断粮,所以它威力十足;单用户本地推理只有一条请求,它反而无用武之地。

13.3.3 KV Cache 的显存碎片问题与 PagedAttention(操作系统分页类比)

  调度治好了算力空转,下一堵墙轮到显存。13.2 节推过这笔账:KV Cache 随生成长度线性增长,按 minimind 的配置(8 层、KV 头 4、head_dim 96、FP16)每 token 约 12 KB。麻烦不在大小,而在不可预知——系统不知道一条请求会写多长,保险做法是按最大长度预留一段连续显存。若按 8192 token 的上限预留,一条请求就要锁定约 96 MB 连续空间;实际只写 200 token 时,97.6% 的空间全程空置:

\[ \text{内部碎片率} = 1 - \frac{L_{\mathrm{实写}}}{L_{\mathrm{预留}}} = 1 - \frac{200}{8192} \approx 97.6\% \tag{2} \]
公式 (2):预留式 KV Cache 的内部碎片率——预留了但没写上的空间占比。符号说明:\(L_{\mathrm{实写}}\) 是请求实际生成的 token 数;\(L_{\mathrm{预留}}\) 是系统按长度上限预留的 token 槽数(本例 8192,即约 96 MB 连续显存)。二者的差值全程空占:自己用不了,也借不出去。

  空置只是第一种浪费(内部碎片)。还有两种:各请求预留长短不一、释放先后不一,空闲显存被切成不连续的小块,总量够却开不出整块(外部碎片);并行采样(一次请求生成多个候选回答)、束搜索(beam search,第 12 章)这类场景中多条序列共享同一前缀,预留式方案却只能各存一份(重复副本)。vLLM 论文(Kwon et al., arXiv:2309.06180)统计了当时的系统:KV Cache 显存的 60%–80% 被这些浪费吃掉。因此,批大小往往受显存碎片限制,而不只受显存总量限制。

  操作系统在上世纪六十年代就遇到过一模一样的问题:程序要的内存长度不定、来去不定,连续分配必然碎成渣。它给出的答案是分页(paging):物理内存切成固定大小的页(page),程序看到的连续地址空间由页表映射到散落的物理页,用多少申请多少。PagedAttention 把这个思路原样搬进 KV Cache:每条请求的 KV 切成固定大小的块(block,比如 16 个 token 的 K/V),一张块表(block table)记录第 i 个逻辑块放在哪个物理块上,物理块可以散落在显存任何角落。注意力计算时,PagedAttention 内核按块表找到各块、跨块读取 K/V,逻辑上连续的序列在物理上无需连续。

分页注意力 PagedAttention paged = 分页的;attention = 注意力——注意力计算跨分页存放的 KV Cache 进行

vLLM 提出的 KV Cache 管理算法与配套注意力内核。KV 缓存切成固定大小的块,每条请求用一张块表记录逻辑块到物理块的映射,注意力内核按块表跨块读取 K/V。设计与操作系统虚拟内存分页一一对应:逻辑块对应虚拟页,物理块对应物理页,块表对应页表。

像图书馆不再给每套丛书预留一整排书架,改成统一规格的格子:一套书分到哪几个格子记在目录卡(块表)上,查目录就能找全,空格子随时能发给新书。

  分页带来的收益是三条,条条对准一种浪费:

  • 内部碎片以一块封顶:只有最后一个块可能没写满。200 token 按 16 token 分块是 13 块,最后一块只写 8 个,浪费约 96 KB——对比预留式的 93.7 MB;
  • 外部碎片归零:所有物理块一样大,任何空闲块都能分配给任何请求,不存在「拼不起来」的空洞;
  • 共享成为可能:并行采样或束搜索的公共前缀只存一份物理块,各序列的块表都指向它;谁要续写分叉,写时才复制(copy-on-write)那一块。

  图 2 把两种摆放方式画成左右对照:左栏是预留式的两种碎片,右栏是分页式的块表映射。

原创示意图 · 非论文原图 KV Cache 的两种摆放方式(数值为 minimind 口径手算:每 token ≈ 12 KB,推导见 13.2 节) 传统做法:按最大长度预留连续空间 请求 A:预留 8192 token(≈ 96 MB),实写 200 空置 97.6% ≈ 93.7 MB 全程空占:自己用不了,也借不出 请求 B:预留 8192 token,实写 5000(61%) 空置 39% 各请求释放先后不一,空闲显存被切成不连续小块: 空闲 40 MB 空闲 50 MB 总量 90 MB 却凑不出一个 96 MB 的连续预留 → 外部碎片 vLLM 论文统计:此类浪费吃掉 KV 显存的 60%–80% (内部碎片 + 外部碎片 + 无法共享的重复副本) PagedAttention:固定块 + 块表(分页思路) 请求 A 的逻辑块:16 token / 块,200 token → 13 块 1 2 3 … 13 块表:物理块号 5 | 0 | 8 | … | 10 物理块池(示意 12 格,未按比例) 0 A 1 空闲 2 B 3 A 4 空闲 5 A 6 空闲 7 B 8 A 9 B 10 A 11 空闲 内部碎片:只剩最后一块(本例 8 token ≈ 96 KB) 外部碎片:零——块等大,任意空闲块都能分配 相同前缀的物理块可共享,写时才复制(copy-on-write) 请求 A 的 KV 块 请求 B 的 KV 块 预留未用 / 空闲 手算对照:A 按预留式占 ≈ 96 MB 连续空间;分页后实占 13 块 × 192 KB ≈ 2.4 MB(一块 = 16 token × 12 KB),外加块表少量指针
图 2:KV Cache 显存管理的两种方案对照。左栏传统做法按最大长度连续预留:请求 A 实写 200 token 却占着 8192 token 的空间(内部碎片 97.6%),长短不一的预留释放后留下拼不起来的空洞(外部碎片);右栏 PagedAttention 把 KV 切成固定大小的块,经块表映射到散落的物理块,内部碎片以一块封顶、外部碎片归零、相同前缀的块可共享。

  一句话记住 PagedAttention:它是 KV Cache 的虚拟内存。逻辑块连续、物理块散落、块表做翻译,碎片与重复副本被一并吃掉。省下的显存全部换成更大的批——这就绕回了 13.3.1 的主题:批越大,权重搬运摊得越薄,吞吐越高。

13.3.4 vLLM 的实测声明

  机制讲完,看实测。vLLM 论文(Kwon et al., arXiv:2309.06180,SOSP 2023)在多种模型规模与真实负载轨迹下评估:KV Cache 浪费从 60%–80% 压到接近零,吞吐相比 FasterTransformer 与 Orca 提升 2–4 倍,模型输出不受影响(PagedAttention 只改显存布局,不改计算结果)。对照基线里包括 Orca 这一点值得多说一句:连续批处理的红利 Orca 已经拿走,vLLM 的增量主要来自分页省下的显存换来的更大的批——两大基石是叠加关系,不是替代关系。

  如今连续批处理加分页 KV Cache 已是现代推理框架的标配,两者的组合构成 LLM 服务化的地基。本章后面三节的主题——量化(13.4)、蒸馏(13.5)、投机采样与推理时扩展(13.6)——都是在这块地基上继续压成本、提速度。

  注释:网上流传更广的数字是「24 倍」,它出自 vLLM 团队 2023 年 6 月的发布博客(Easy, Fast, and Cheap LLM Serving with PagedAttention),对照对象是 HuggingFace Transformers 的朴素 generate 用法,不是 SOSP 论文的实验口径。论文与更强的基线(FasterTransformer、Orca)对比,数字落在 2–4 倍。引用时务必说清是哪个口径,别把博客数字当论文结论。

  注意:所有吞吐倍数都强依赖硬件型号、模型规模与负载分布(请求长度、到达速率),换一套场景数字就会变。本节的 36.9 倍与 2–4 倍一律按论文报告的原样引用并注明对照基线;拿它们估算自家部署的收益之前,先核对实验条件是否对得上。

🧭本节要点回顾
静态批处理的浪费来自哪两个窟窿?
批内等最慢的:生成长度不可预知且差异大,短请求结束后槽位陪跑,槽位利用率 \(\eta = \sum L_i / (B \cdot L_{\max})\),长度 \([2, 4, 6]\) 的小例只有约 67%;批外等整批的:新请求要等整批跑完才进场,队头阻塞拉长延迟。病根是调度决策整批只做一次。
连续批处理每步做什么,收益数字是多少?
每生成一步就检查一遍:产出 EOS 或到达长度上限的请求当场离场,排队请求下一步补位。Orca(OSDI 2022)首创这种迭代级调度,配套选择性批处理(注意力按请求各自算、线性层合并成大批),在 175B 模型上做到同延迟下 36.9 倍于 FasterTransformer 的吞吐。前提是队列不断粮,单用户本地推理用不上它。
PagedAttention 凭什么把 KV 显存浪费压到接近零?
把操作系统虚拟内存分页的思路搬过来:KV 切固定块、块表映射逻辑块到散落的物理块、注意力内核跨块读 K/V。内部碎片以一块封顶,外部碎片归零,相同前缀可共享(写时复制)。vLLM 论文口径:浪费从 60%–80% 降到接近零,吞吐较 FasterTransformer / Orca 提升 2–4 倍;「24 倍」是发布博客对朴素 HF 基线的口径,引用时两者分开。

参考来源

  • Yu et al., 2022. Orca: A Distributed Serving System for Transformer-Based Generative Models(OSDI 2022,USENIX 官网,无 arXiv):迭代级调度(连续批处理)、选择性批处理、175B 参数模型同延迟下吞吐 36.9 倍于 FasterTransformer。https://www.usenix.org/conference/osdi22/presentation/yu
  • Kwon et al., 2023. Efficient Memory Management for Large Language Model Serving with PagedAttention(vLLM 论文,arXiv:2309.06180,SOSP 2023):现有系统 KV Cache 显存浪费 60%–80%、分页式 KV 管理与块表设计、写时复制共享、浪费压到接近零、吞吐 2–4 倍于 FasterTransformer / Orca;已核对 arXiv 摘要页。
  • vLLM 团队发布博客,2023-06-20. Easy, Fast, and Cheap LLM Serving with PagedAttention:「24 倍于 HuggingFace Transformers」口径的出处,对照基线为朴素 HF generate,非论文实验口径。https://blog.vllm.ai/2023/06/20/vllm.html
  • Pope et al., 2023. Efficiently Scaling Transformer Inference(arXiv:2211.05102):解码阶段带宽约束、批处理摊薄权重搬运成本的分析背景(13.1 节依据)。
  • minimind(Apache 2.0)配置:8 层、KV 头 4、head_dim 96,为「每 token KV Cache 约 12 KB」手算的依据(完整推导见 13.2 节)。