13.3 服务化:连续批处理与 PagedAttention
本页范围:第 13 章第 3 节 | 整理时间:2026-10-10
13.1 节算过推理的成本账:解码每生成一个 token,都要把全部权重从显存搬进计算单元,带宽决定速度。13.2 节的 KV Cache 把重复计算省了下来。但这两节都是单条请求的视角,真实的服务场景是几百上千条请求同时涌进来,问题随之换了一层:怎么把这些请求组织起来,让每一次权重搬运尽可能多地摊到多条请求上?答案明摆着——批处理,一批 b 条请求共享同一次权重读取,搬运成本摊薄到 1/b。可批怎么凑、凑完怎么管,直接决定 GPU 是吃饱还是挨饿。本节就讲这两件事上的两次关键系统革新:调度上的连续批处理,显存管理上的 PagedAttention。
本节按「问题 → 调度 → 显存 → 实测」的顺序展开,路线图如下:
- 静态批处理的浪费(长短不齐、等最慢的)(13.3.1):最直觉的凑批方式藏着两个窟窿,用一个可复算的小例量化它;
- 连续批处理:token 级调度,谁结束谁走(13.3.2):Orca 把调度粒度降到单步解码,利用率翻倍的关键一跃;
- KV Cache 的显存碎片问题与 PagedAttention(操作系统分页类比)(13.3.3):vLLM 借操作系统六十年代的老办法,吃掉 60%–80% 的显存浪费;
- vLLM 的实测声明(13.3.4):论文口径与博客口径分开摆,吞吐数字不混用。
读完本节,应该能手算静态批处理的槽位利用率,复述连续批处理每步的调度循环,并用操作系统分页的类比把 PagedAttention 讲给一个没听过它的人听。
逐节展开之前,先明确本节站在哪:八个训练阶段交出模型之后,推理与部署阶段负责把它变成扛得住并发的服务,本节讲的是其中的调度与显存管理:
13.3.1 静态批处理的浪费(长短不齐、等最慢的)
先把批处理的收益来源说清楚。13.1 节的结论是解码阶段带宽为王:每生成一步都要把全部权重从显存搬一遍,算力大量空转。把 b 条请求凑成一批一起解码,同一次权重搬运服务 b 条序列,吞吐(单位时间产出的 token 总数)随批大小水涨船高。最直觉的凑法是静态批处理(static batching):集齐 B 条请求,对齐、开跑,整批全部生成完才放下一批进场。早期的推理框架(如 NVIDIA 的 FasterTransformer)就是这么做的。
问题出在一个无法回避的事实上:每条请求会生成多长,事先不可知,而且差异巨大——一句「好的」两个 token 就打住,一篇长文摘要能写几千个。静态批处理要求整批同进同出,于是生出两个窟窿。其一,长短不齐的空转:批内最短的请求早就生成完毕(产出结束符 EOS,end-of-sequence,第 12 章讲过它的判别),它的槽位却不能释放,要么继续解码出注定被丢弃的 token,要么原地陪跑,直到最长的那条收尾。其二,队头阻塞:批一旦开跑,新到的请求只能在队列里干等整批结束,延迟被人为拉长。
把第一个窟窿量化。定义槽位利用率 \(\eta\) 为批内所有请求实际生成步数之和,除以槽位总数与批持续步数的乘积:
注释:工程实现里,静态批通常要把批内序列补齐(padding)到同一长度才能拼成大张量,补齐部分的计算随后被丢弃。这与「陪跑空转」是同一种浪费的两种记账口径:算力花在了注定不用的 token 上。
静态批处理的两个窟窿可以记成一句话:批内等最慢的(长度不齐 → 空转),批外等整批的(队头阻塞 → 排队)。两个窟窿指向同一个病根——调度决策整批只做一次,而做决策的时候,谁也不知道各条请求会写多长。
13.3.2 连续批处理:token 级调度,谁结束谁走
病根找到了,药方就自然了:把调度的粒度从「整批请求」降到「单步解码」。这就是连续批处理(continuous batching):每生成一个 token,调度器就检查一遍批内状态——有请求产出 EOS 或到达长度上限,当场离场;队列里排队的请求,下一步立即补位。批的组成随每一步流动,不存在「整批结束」这个时间点。Orca 系统(Yu et al., OSDI 2022)是这条路线的开创者,论文称之为迭代级调度(iteration-level scheduling)。
推理服务系统的调度方式:不再一批请求同进同出,而是每生成一个 token 就重新决定批的组成,生成完毕的请求当场离场,排队的请求下一步补位。Orca 论文叫迭代级调度,业界更常叫连续批处理,两个名字指同一件事。它是当今主流推理框架(vLLM、Hugging Face TGI、TensorRT-LLM 等)的默认调度方式。
连续批处理有个工程难题要解决:批内各请求身处不同的生成位置、长度参差不齐,注意力算子没法拼成一张整齐的大矩阵一起算。Orca 的解法是选择性批处理(selective batching):注意力按请求各自计算,线性层这类与序列位置无关的算子照常合并成大批。收益相当可观:论文报告,在 175B 参数的 GPT-3 级模型上,保持同等延迟水平时,Orca 的吞吐达到 FasterTransformer 的 36.9 倍。这个倍数听着夸张,拆开看却合理:分母是静态批处理大量空转的基线,分子是几乎不空转的调度,大部分收益来自把浪费捡回来,而不是凭空变出算力。
图 1 用一组可数的请求把两种调度画在一起对照:A、B、C 分别生成 2、4、6 步,D、E 在起点就已排队。上排静态批处理里,A 只干 2 步活,槽位却要陪跑到第 6 步,D、E 在场外干等;下排连续批处理里,A 一离场 D 立刻补位,B 离场 E 补位。灰色区域的变化就是全部故事。
图 1 下排末尾还留着一小条灰色:D 结束时队列已空,没有新请求可补。这恰好点出连续批处理的真正前提——请求源源不断。生产环境里队列很少断粮,所以它威力十足;单用户本地推理只有一条请求,它反而无用武之地。
13.3.3 KV Cache 的显存碎片问题与 PagedAttention(操作系统分页类比)
调度治好了算力空转,下一堵墙轮到显存。13.2 节推过这笔账:KV Cache 随生成长度线性增长,按 minimind 的配置(8 层、KV 头 4、head_dim 96、FP16)每 token 约 12 KB。麻烦不在大小,而在不可预知——系统不知道一条请求会写多长,保险做法是按最大长度预留一段连续显存。若按 8192 token 的上限预留,一条请求就要锁定约 96 MB 连续空间;实际只写 200 token 时,97.6% 的空间全程空置:
空置只是第一种浪费(内部碎片)。还有两种:各请求预留长短不一、释放先后不一,空闲显存被切成不连续的小块,总量够却开不出整块(外部碎片);并行采样(一次请求生成多个候选回答)、束搜索(beam search,第 12 章)这类场景中多条序列共享同一前缀,预留式方案却只能各存一份(重复副本)。vLLM 论文(Kwon et al., arXiv:2309.06180)统计了当时的系统:KV Cache 显存的 60%–80% 被这些浪费吃掉。因此,批大小往往受显存碎片限制,而不只受显存总量限制。
操作系统在上世纪六十年代就遇到过一模一样的问题:程序要的内存长度不定、来去不定,连续分配必然碎成渣。它给出的答案是分页(paging):物理内存切成固定大小的页(page),程序看到的连续地址空间由页表映射到散落的物理页,用多少申请多少。PagedAttention 把这个思路原样搬进 KV Cache:每条请求的 KV 切成固定大小的块(block,比如 16 个 token 的 K/V),一张块表(block table)记录第 i 个逻辑块放在哪个物理块上,物理块可以散落在显存任何角落。注意力计算时,PagedAttention 内核按块表找到各块、跨块读取 K/V,逻辑上连续的序列在物理上无需连续。
vLLM 提出的 KV Cache 管理算法与配套注意力内核。KV 缓存切成固定大小的块,每条请求用一张块表记录逻辑块到物理块的映射,注意力内核按块表跨块读取 K/V。设计与操作系统虚拟内存分页一一对应:逻辑块对应虚拟页,物理块对应物理页,块表对应页表。
分页带来的收益是三条,条条对准一种浪费:
- 内部碎片以一块封顶:只有最后一个块可能没写满。200 token 按 16 token 分块是 13 块,最后一块只写 8 个,浪费约 96 KB——对比预留式的 93.7 MB;
- 外部碎片归零:所有物理块一样大,任何空闲块都能分配给任何请求,不存在「拼不起来」的空洞;
- 共享成为可能:并行采样或束搜索的公共前缀只存一份物理块,各序列的块表都指向它;谁要续写分叉,写时才复制(copy-on-write)那一块。
图 2 把两种摆放方式画成左右对照:左栏是预留式的两种碎片,右栏是分页式的块表映射。
一句话记住 PagedAttention:它是 KV Cache 的虚拟内存。逻辑块连续、物理块散落、块表做翻译,碎片与重复副本被一并吃掉。省下的显存全部换成更大的批——这就绕回了 13.3.1 的主题:批越大,权重搬运摊得越薄,吞吐越高。
13.3.4 vLLM 的实测声明
机制讲完,看实测。vLLM 论文(Kwon et al., arXiv:2309.06180,SOSP 2023)在多种模型规模与真实负载轨迹下评估:KV Cache 浪费从 60%–80% 压到接近零,吞吐相比 FasterTransformer 与 Orca 提升 2–4 倍,模型输出不受影响(PagedAttention 只改显存布局,不改计算结果)。对照基线里包括 Orca 这一点值得多说一句:连续批处理的红利 Orca 已经拿走,vLLM 的增量主要来自分页省下的显存换来的更大的批——两大基石是叠加关系,不是替代关系。
如今连续批处理加分页 KV Cache 已是现代推理框架的标配,两者的组合构成 LLM 服务化的地基。本章后面三节的主题——量化(13.4)、蒸馏(13.5)、投机采样与推理时扩展(13.6)——都是在这块地基上继续压成本、提速度。
注释:网上流传更广的数字是「24 倍」,它出自 vLLM 团队 2023 年 6 月的发布博客(Easy, Fast, and Cheap LLM Serving with PagedAttention),对照对象是 HuggingFace Transformers 的朴素 generate 用法,不是 SOSP 论文的实验口径。论文与更强的基线(FasterTransformer、Orca)对比,数字落在 2–4 倍。引用时务必说清是哪个口径,别把博客数字当论文结论。
注意:所有吞吐倍数都强依赖硬件型号、模型规模与负载分布(请求长度、到达速率),换一套场景数字就会变。本节的 36.9 倍与 2–4 倍一律按论文报告的原样引用并注明对照基线;拿它们估算自家部署的收益之前,先核对实验条件是否对得上。
参考来源
- Yu et al., 2022. Orca: A Distributed Serving System for Transformer-Based Generative Models(OSDI 2022,USENIX 官网,无 arXiv):迭代级调度(连续批处理)、选择性批处理、175B 参数模型同延迟下吞吐 36.9 倍于 FasterTransformer。https://www.usenix.org/conference/osdi22/presentation/yu
- Kwon et al., 2023. Efficient Memory Management for Large Language Model Serving with PagedAttention(vLLM 论文,arXiv:2309.06180,SOSP 2023):现有系统 KV Cache 显存浪费 60%–80%、分页式 KV 管理与块表设计、写时复制共享、浪费压到接近零、吞吐 2–4 倍于 FasterTransformer / Orca;已核对 arXiv 摘要页。
- vLLM 团队发布博客,2023-06-20. Easy, Fast, and Cheap LLM Serving with PagedAttention:「24 倍于 HuggingFace Transformers」口径的出处,对照基线为朴素 HF generate,非论文实验口径。https://blog.vllm.ai/2023/06/20/vllm.html
- Pope et al., 2023. Efficiently Scaling Transformer Inference(arXiv:2211.05102):解码阶段带宽约束、批处理摊薄权重搬运成本的分析背景(13.1 节依据)。
- minimind(Apache 2.0)配置:8 层、KV 头 4、head_dim 96,为「每 token KV Cache 约 12 KB」手算的依据(完整推导见 13.2 节)。