12.1 解码主循环:从 logits 到文字
本页范围:第 12 章第 1 节 | 整理时间:2026-10-09
第 11 章结束时,模型已经训练完毕。训练后的模型会给词表里的每个候选 token 打分,用户看到的流畅回答还要经过一套固定解码流程。本章介绍从分数到文本的推理机制与后处理,本节先完整走一遍解码主循环。
本节沿「一步 → 选择 → 循环 → 实现」的顺序展开:先解剖一步解码的四个环节,看清分数如何变成文字;再讨论最简单的选词策略为什么不够用;然后把一步扩展成自回归循环;最后对照 minimind 的真实代码逐行走读。路线图如下:
- 一步解码的解剖:logits → 修正 → softmax → 选词(12.1.1):模型每推进一步到底算了什么,配一个可手算的数值小例;
- 贪心与采样:argmax 为什么不够用(12.1.2):最「保险」的选词策略为什么产出最枯燥的文本;
- 自回归循环:每步只算新 token(KV Cache 预告)(12.1.3):一步如何扩展成一段话,以及避免重复计算的那把钥匙;
- minimind 的 generate 逐行走读(12.1.4):33 行真实代码,把本节全部概念一一对号入座。
读完本节,应该能手算一步解码的概率、说清贪心退化的成因,并独立读懂 minimind generate 函数的每一行。这套循环是 12.2 到 12.5 节所有话题(采样参数、停止条件、结构化输出、调参实践)共同的舞台。
图 1 展示完整生成过程:模型反复执行解码循环,每次生成一个新 token 并接回输入,直到产出结束符或达到长度上限。图 2 放大单步解码,展示模型内部的计算顺序。
全景里的黑盒内部长什么样?把它放大到毫米级:一段 prompt 进去,模型每推一步算了什么、张量是什么形状、结果又怎样接回自己身上?
12.1.1 一步解码的解剖:logits → 修正 → softmax → 选词
先建立直觉。把训练好的模型想象成选秀比赛的评委:词表里的候选 token 是参赛选手,minimind 的词表有 6400 个(见第 2 章),每推进一步,评委就给全部 6400 名选手各打一个分。这个分数叫 logits——它不是概率,可正可负、可大可小,只表达「评委觉得谁更合适」的相对偏好。打分之后还要过三道手续才能产生文字:先按解码参数修正分数(调温度、砍掉不靠谱的尾巴),再用 softmax 把修正后的分数折算成概率,最后从概率里选出一个 token。logits → 修正 → softmax → 选词,这就是一步解码的四个环节。
模型输出层给每个候选 token 的原始分数。词表有多大,一步就吐出多少个 logits——minimind 是 6400 个。logits 可正可负、没有上界,彼此只有相对意义:分数高只表示模型在当前上文下更偏好这个 token。单看一个 logit 说不出「可能性几成」,要等全体分数一起过 softmax 归一化,才能换算成选中概率。
第三环节的 softmax 在第 6 章作为训练目标的一部分出现过(交叉熵损失,附录 A.4),它的数学细节与温度的作用机理在附录 A.3 有完整推导。这里只需要它的解码形态——把修正后的 logits 折算成各候选的选中概率:
用一个能手算的小例把四个环节串起来。设某一步只有 4 个候选值得关注(其余 6396 个 token 的分数低到可以忽略):「的」「是」「在」「了」,模型给出的 logits 依次是 4.0、3.0、1.0、0.0。按 minimind 的默认温度 0.85 修正,四个分数变成 4.71、3.53、1.18、0.00;再过 softmax,概率为 74.3%、22.9%、2.2%、0.7%。最后的选词有两条路线:multinomial 抽样按概率抽签——74.3% 抽中「的」、22.9% 抽中「是」、约 2.9% 翻到后两名;argmax 则不看概率直接锁定最高分,必然选中「的」。这段分数之旅画出来就是图 3:
小例里第二环节只做了一步温度除法,完整的修正链还包括 top-k、top-p 截断与重复惩罚,它们各自的作用与相互顺序是 12.2 节的专章内容。本节的焦点是骨架:无论修正链多长,一步解码的两端永远是「模型出 logits」和「选出一个 token」。
一步解码的本质:模型只负责给词表打分(minimind 每步吐出 6400 个 logits),把分数变成文字是解码器的事——先修正、再 softmax 归一、最后抽样或取最大。模型的全部学识都凝结在分数的相对高低里,解码参数能改变的只是「怎么从分数里挑」,改变不了分数本身(12.5 节还会回到这个结论)。
12.1.2 贪心与采样:argmax 为什么不够用
四环节里最自由的是最后的选词,最朴素的策略是 argmax:每步都选分数最高的那个,也叫贪心解码(greedy decoding)。它的直觉吸引力很强——既然模型给「的」打了最高分,选它不就是最「正确」的决定?而且结果确定、可复现,调试方便。12.1.1 的小例里,贪心路线会毫无悬念地每步锁定「的」。
但实践给出的答案相反。Holtzman 等人在 2019 年的研究 The Curious Case of Neural Text Degeneration(arXiv:1904.09751,ICLR 2020 正式发表)系统比较了机器生成文本与人类文本的分布差异,得出一个反直觉的结论:用最大似然做训练目标能训出高质量的模型,用最大概率做解码目标却产出干瘪(bland)且诡异重复(strangely repetitive)的文本。同一个模型,仅改编码策略,文本质量就能发生戏剧性变化。贪心与它的近亲 beam search(束搜索)都属于高概率解码,在长文本生成上都会滑向「复读」——翻来覆去说同一句正确而无信息量的话:
我喜欢吃苹果,我喜欢吃苹果,我喜欢吃苹果,……
(这类复读输出是最大化解码退化的典型长相,此处为构造示意,非某个模型的实测输出)
退化的成因可以直观理解:「正确的废话」永远概率最高。语言里安全、通用、高频的接续天然拿高分;更要命的是自我强化——一旦模型说出「我喜欢」,「我喜欢吃」的概率就被抬高,说过的话反过来给自己的续写加分,循环越走越窄,最后困死在原地。人说话恰恰相反:好文本贵在信息量与意外性,人类作者会主动避开最容易被猜到的接续,写出的文本在概率分布上天然分散。这就是那篇论文揭示的人机文本分布差异:最大化概率的解码把模型按在分布头部不放,而人类文本覆盖整个分布。
贪心解码每步取概率最大的 token,相当于温度趋近 0 的极限。束搜索(beam search)是它的扩展:每步保留累计概率最高的 b 条候选序列(b 叫束宽),最后挑整体概率最高的一条,曾是机器翻译的标配解码。两者共享同一个目标——概率最大化,也因此共享同一个病根:长文本上容易掉进重复与空转的陷阱。Holtzman 等人的退化研究正是以它们为对照,提出了按累计概率动态截尾的 nucleus sampling(top-p),12.2 节细讲。
出路是给选词引入受控的随机性:不锁定最高分,按概率抽样(multinomial)。抽样让低概率但合适的 token 也有出场机会,文本立刻活起来;minimind 的默认配置(do_sample=True)走的正是这条路。但纯抽样会把分布尾巴里的垃圾 token 也放出来,所以工程上要配三件刹车——温度调节分布锐度,top-k 与 top-p 把不靠谱的尾巴砍掉。它们各自的机制、联合顺序与调参手感,构成 12.2 节的全部内容。
注意:贪心与高概率解码的退化是结构性的:概率最大化的目标会把生成困在分布头部,自我强化的重复随之产生——「分数最高的词」不等于「该选的词」。nucleus 论文的另一项发现同样关键:解码策略是独立于模型质量的变量,同一模型仅改编码策略就能显著改变输出质量。
12.1.3 自回归循环:每步只算新 token(KV Cache 预告)
一步只产出一个 token,一段话要靠循环。做法直白:把刚选出的 token 接在输入末尾,带着更长的上文再走一遍四环节,产出下一个 token,如此往复,直到模型产出结束标记 eos 或撞上长度上限。这个「输出接回输入」的结构就是自回归(autoregressive)生成,第 0 章与第 4 章已经讲过它如何配合因果掩码工作——每个位置只能看到自己和左边的内容,保证「用上文预测下一个词」在训练与推理时行为一致。用概率语言写,一段生成就是把联合概率拆成逐位条件概率的连乘:
循环结构定了,下一个问题是每步算什么。最朴素的实现每步都把完整上文重新送进模型:第 1 步算 prompt 的全部 \(N\) 个 token,第 2 步算 \(N+1\) 个,第 \(t\) 步算 \(N+t-1\) 个。但这里藏着巨大的浪费:前 \(N+t-2\) 个位置的前向结果与上一步一模一样——它们的输入没变,因果掩码又保证老位置看不到新 token,注意力的中间结果原封不动,重算纯属白费。minimind 的做法是把每步算出的注意力键值(Key 与 Value 向量)存下来,下一步只把新 token 送进前向(model_minimind.py:269–270 的 input_ids[:, past_len:]),历史部分直接复用缓存(286 行)。这个缓存就是大名鼎鼎的 KV Cache:
| 时间点 | 送进前向的 token | 新算的注意力 KV | 复用的内容 | 产出 |
|---|---|---|---|---|
| 第 1 步 | prompt 全部 \(N\) 个 | \(N\) 个位置的 KV(建立缓存) | 无 | 第 1 个新 token |
| 第 2 步 | 仅新 token 1 个 | 1 个位置的 KV(追加) | 前 \(N\) 个位置的 KV | 第 2 个新 token |
| 第 \(t\) 步 | 仅最新 1 个 | 1 个位置的 KV(追加) | 前 \(N+t-2\) 个位置的 KV | 第 \(t\) 个新 token |
自回归解码时,每个已处理的 token 在各注意力层都算出过一对 Key / Value 向量。因果掩码保证这些向量不随后续生成而改变,于是把它们缓存起来:下一步只需为新 token 计算注意力——新位置的 Query 与缓存里全部历史 Key 做匹配(Query / Key 的机制见第 4 章)。每步的计算量从「重算整段」降为「只算一个位置的增量」,代价是显存里多存一份随序列长度增长的历史 KV。它是现代推理系统最重要的优化对象,显存账、分页管理与批量调度都属第 13 章。
注释:KV Cache 把解码从「每步重算整段」变成「每步只算增量」,是逐 token 生成在工程上可行的基础。它的显存开销(随序列长度与批大小增长)、分页管理与吞吐优化是推理系统的核心议题,统一在第 13 章展开。本节只使用它的接口:每步只送新 token,历史 KV 随步追加。
12.1.4 minimind 的 generate 逐行走读
概念齐了,看它们怎样在真实代码里排布。minimind 的 generate 函数(model/model_minimind.py:261–293,共 33 行)是本节内容的最小完整实现,去掉批处理扩展与流式细节后恰好五段:
| 段落 | 行号 | 干什么 | 对应本节概念 |
|---|---|---|---|
| 循环外准备 | 261–267 | @torch.inference_mode() 关掉梯度记录;初始化 finished 掩码记录各序列是否已停 | 生成不是训练,没有反向传播 |
| 前向 | 269–271 | 取已缓存长度 past_len,只把新 token 送进前向;attention_mask 每步右补一位 | 12.1.3 的 KV Cache 增量计算 |
| 修正 | 272–282 | 末位 logits 除以温度 → 重复惩罚 → top_k 截尾 → top_p 截尾 | 12.1.1 的第二环节(细节见 12.2) |
| 选词与拼接 | 283–286 | do_sample=True 时 multinomial 抽签,否则 argmax;已停序列强制补 eos;新 token 接回输入;KV 缓存交给下一步 | 12.1.1 的第四环节 + 12.1.3 的回路 |
| 停止 | 288–290 | 更新 finished 掩码,全部序列停下才 break 退出循环 | 12.3 节停止条件的前奏 |
把关键行放在一起看(精简转写,省略批处理扩展与 streamer 细节,行号对应原文件):
# minimind model_minimind.py:261-293 精简转写
@torch.inference_mode() # 261 不建梯度图
def generate(..., max_new_tokens=8192, temperature=0.85,
top_p=0.85, top_k=50, eos_token_id=2, ...): # 262 默认参数
finished = torch.zeros(B, dtype=torch.bool) # 266 各序列「是否已停」
for _ in range(max_new_tokens): # 268 主循环,硬上限
past_len = past_key_values[0][0].shape[1] if past_key_values else 0 # 269 已缓存长度
outputs = self.forward(input_ids[:, past_len:], ...) # 270 只送新 token
logits = outputs.logits[:, -1, :] / temperature # 272 取末位 ÷ 温度
# 273-275 重复惩罚:已出现过的 token,正分 ÷rp、负分 ×rp
logits[logits < torch.topk(logits, top_k)[0][..., -1, None]] = -float('inf') # 276-277 top_k 截尾
# 278-282 top_p:按累计概率截尾,掩码右移一格保住阈值线上的第一个
next_token = multinomial(softmax(logits)) if do_sample else argmax(logits) # 283 选词
next_token = torch.where(finished, eos, next_token) # 284 已停序列强制补 eos
input_ids = torch.cat([input_ids, next_token], dim=-1) # 285 接回输入
past_key_values = outputs.past_key_values # 286 缓存交给下一步
if finished.all(): break # 288-290 全停才退出
几处细节值得圈点。其一,261 行的 @torch.inference_mode() 让整个生成过程不建梯度图,省显存也省时间——推理没有反向传播。其二,271 行 attention_mask 每步右补一位:序列每长一格,掩码同步放行一格。其三,281 行 top_p 的掩码右移一格:累计概率第一个越过 p 的位置是「核」的边界,右移保证边界上的 token 不被误删,这个分寸 12.2 节会配图细讲。其四,284 行已停序列强制补 eos:批量生成时各序列长短不一,先停的用 eos 占位补齐,全部停下(finished.all())才整体退出(288–290 行)——批量对齐的完整故事留到 12.3 节。
函数签名里的默认值(262 行:temperature 0.85、top_p 0.85、top_k 50、max_new_tokens 8192、eos_token_id 2)只是缺省配置,实际跑起来的参数由调用方决定。以 eval_llm.py 为例:命令行默认 temperature 0.85、top_p 0.95、max_new_tokens 8192(eval_llm.py:42–44),调用时指定 do_sample=True、repetition_penalty=1(82–87 行)——即默认走抽样路线、不启用重复惩罚;top_k 未传,沿用函数默认的 50;top_p 则被命令行的 0.95 覆盖。max_new_tokens 8192 旁边还挂着一句官方注释:「并非模型实际长文本能力」——它只是循环的硬上限,模型能不能写出 8192 个 token 的连贯文本是另一回事,停止条件的完整讨论在 12.3 节。流式输出由 TextStreamer 完成(eval_llm.py:65 创建、84 行传入 generate),逐 token 打印的机制同样在 12.3 节展开。
走读 generate 的 33 行可以看到,前向、修正、选词、接回、停止五段与本节概念一一对应。工业级推理框架(vLLM、llama.cpp 等)的解码循环与它同构,主要差别在 KV Cache 管理、批量调度与硬件优化,这些内容将在第 13 章讨论。
主循环搭好了,旋钮该登场了:温度怎么拧、top-k 与 top-p 两把刀怎么配合、重复惩罚何时启用——12.2 节逐个拆解采样三件套。
参考来源
- Holtzman et al., 2019. The Curious Case of Neural Text Degeneration(arXiv:1904.09751,ICLR 2020 正式发表):最大似然训练目标与最大概率解码目标的反差、解码导致文本干瘪且诡异重复的结论、人机文本的分布差异、nucleus sampling 的提出动机。已核对 arXiv 摘要页。
- minimind(Apache 2.0),model/model_minimind.py:generate 主循环(261–293 行;默认参数 262 行:temperature 0.85、top_p 0.85、top_k 50、max_new_tokens 8192、eos_token_id 2;只送新 token 269–270 行、attention_mask 补位 271 行、温度 272 行、重复惩罚 273–275 行、top_k 276–277 行、top_p 278–282 行、选词 283 行、强制补 eos 284 行、接回输入 285 行、KV 复用 286 行、停止判断 288–290 行)。
- minimind(Apache 2.0),eval_llm.py:命令行默认(max_new_tokens 8192 及「并非模型实际长文本能力」注释 42 行、temperature 0.85 见 43 行、top_p 0.95 见 44 行)、调用配置(do_sample=True、repetition_penalty=1,82–87 行)、TextStreamer 流式(65 行创建、84 行传入)。
- 手册内部衔接:softmax 与温度的数学见附录 A.3,交叉熵训练目标见第 6 章与附录 A.4,因果掩码与自回归结构见第 4 章,KV Cache 工程展开见第 13 章。