12.5 解码实践与陷阱

本页范围:第 12 章第 5 节 | 整理时间:2026-10-09

快速浏览

核心问题12.1 到 12.4 把解码的零件逐个拆完了:主循环、采样三件套、停止条件、结构化约束。零件装进真实任务后还会出哪些故障?重复、空转、跑题分别怎么对治,不同任务的参数档位怎么选?
本节主张文本退化是模型、参数、输入三方合谋的结果,其中参数能管的那一半有成熟的对治法:重复加惩罚、空转收截断、跑题降温度。但采样参数只决定「从分布里怎么挑」,分布的形状是训练定的,能力的课还得回训练侧补。
一句话结论调参的第一性问题是要确定性还是要多样性:确定性任务低温直奔分布头部,多样性任务放开温度但用 top_p 管住尾巴;烂模型调不出好回答,好模型可以被烂参数毁掉。
关键词
神经文本退化重复惩罚温度top_p参数速查能力边界

  前四节把「分数变文字」的机器拆到了零件级:12.1 的主循环,12.2 的温度、top-k、top-p 三件套,12.3 的停止与流式,12.4 的结构化约束。零件齐了不等于机器不出故障。用过语言模型的人几乎都撞见过这三种回答:同一句话反复复读,绕着圈子说车轱辘话,或者写着写着跑题万里。本节给这些故障做一次集中检修:先辨认三种典型退化的形态与成因,再给一张按任务选参数的速查表,最后把一件事说透——采样参数能改变什么、改变不了什么。

  本节按「故障 → 档位 → 边界 → 接力」的顺序展开,路线图如下:

  1. 退化三兄弟:重复、空转、跑题(12.5.1):三种典型故障文本长什么样,各自的成因与对策;
  2. 参数速查:不同任务怎么调三件套(12.5.2):先要确定性还是要多样性,一张表给出五类任务的推荐档位;
  3. 解码与训练的关系:采样参数补不了能力的课(12.5.3):参数管「怎么挑」,训练管「挑什么」,两者边界在哪;
  4. 接力第 13 章:从解码机制到推理系统(12.5.4):本章收束,KV Cache、量化、投机采样与应用的接力棒递向哪里。

  读完本节,应该能看着一段故障文本说出它属于哪种退化、该拧哪个旋钮,也应该能向人解释:为什么同一个模型换一组参数判若两人,而参数再调也救不了能力本身的缺口。讲解中的默认值与实现细节对照 minimind(Apache 2.0)的 generate 函数与命令行入口 eval_llm.py。

  图 1 汇总温度、top-k、top-p 等参数的作用位置与默认值,后续各节再讨论不同设置可能带来的问题。

  图 1 里「推理与部署」这个紫框放大之后,本节关注的是解码环节的调参台:三只旋钮各自拧动概率分布的哪个侧面,默认值停在什么档位?把它单独拆开看(图 1):

原创示意图 · 非论文原图 局部放大:解码调参台——三只旋钮只决定「从分布里怎么挑」,分布的形状由训练决定(默认值取自 minimind) 输入:6400 维 logits 当前步前向输出的最后一个位置 逐站修正:温度 → 重复惩罚 → top-k → top-p minimind generate 的顺序(272–282 行) 输出:修正后的概率分布 softmax 后抽出 1 个 token ID 旋钮一:温度 T minimind 默认 0.85(generate 262 行) 0.1 2.0 0.85 低温尖锐保守 高温平坦多样 T<1 锐化偏保守,T>1 拉平偏多样 T→0 时退化为 argmax(只剩最高峰) 旋钮二:top_p(核采样) generate 默认 0.85,命令行入口 0.95 0.5 1.0 0.85 0.95 保留区 −∞ 区 柱高 = 排序后的概率;累计 ≥85% 处收刀 按累计概率动态定名额,砍掉的置 −∞ top_k 是它的固定名额版(默认 50) 旋钮三:重复惩罚 rp 默认 1.0 即关闭(eval_llm 86 行) 1.0 1.3 1.0 关 ≈1.2 CTRL ÷θ 已出现的 token 未出现的不动 正分除以 θ、负分乘以 θ,都往零压 θ=1 时什么也不会发生 推荐档位速览:先问任务要确定性还是要多样性(经验取向,12.5.2 展开) 事实问答 / 知识提取 低温 0~0.3,直奔分布头部 确定性优先 代码生成 低温 0~0.2,语法容错为零 可再配硬约束(12.4 节) 创意写作 / 闲聊 T 0.7~1.0,top_p 0.9~0.95 可加重复惩罚防复读 数学 / 推理 低温求准;多采几条投票 (自一致性,第 14 章)
图 1:推理部署站内,解码调参台的局部放大(默认值取自 minimind)。输入是当前步前向输出的 6400 维 logits,沿 12.1 节的顺序经温度、重复惩罚、top-k、top-p 逐站修正,softmax 后抽出 1 个 token ID 输出。三个面板分别放大三只旋钮:温度停在默认 0.85,小图里低温曲线尖锐、高温曲线平坦;top_p 停在 0.85(命令行入口默认 0.95),小图按累计概率砍掉尾巴、保住跨过阈值线的第一个;重复惩罚默认 1.0 等于关闭,小图演示已出现 token 的分数被压低(CTRL 论文常用 θ≈1.2)。底部四个胶囊是不同任务的推荐档位速览,理由在 12.5.2 展开。

12.5.1 退化三兄弟:重复、空转、跑题

  前四节拆完的解码机器,装进真实任务后最常出三类故障。它们有一个共同的名字:Holtzman 等人 2019 年在论文《The Curious Case of Neural Text Degeneration》里记录了一个反直觉现象——拿似然当训练目标能训出高质量模型,拿似然当解码目标(贪心、beam search 这类最大化概率的选词法)却会产出「平淡且奇怪地重复」的文本。他们还对比了人类文本与机器文本的概率分布:人写的话恰恰不是每步都挑最可能的词,尾部词汇的合理使用正是自然文本的一部分。这类由解码方式引发的文本质量崩塌,统称神经文本退化。

神经文本退化 Neural Text Degeneration degeneration = 退化;生成质量配不上模型本身的能力

指神经语言模型在生成时产出的文本明显变差的现象:复读、干瘪、前后矛盾、跑题。关键之处在于,退化很大程度是解码策略的问题,而非模型能力的问题——Holtzman 等人的实验显示,同一个模型,只换解码策略,文本质量就有戏剧性的差异。这等于给调参发了一张通行证:解码参数值得认真调,因为烂的挑法真能毁掉一个好分布。

像一台好相机拍出一堆废片:镜头和传感器都没问题,是快门光圈 ISO 的搭配错了——参数不对,好器材照样出烂照片。

  退化形态之一是重复:同一个短语、同一句话反复出现,「因为它就是它就是它就是它」。成因有两个叠加。其一,贪心或低温让模型每步直奔最高分,而生成过的内容会回到上下文里,抬高相似片段再次出现的概率,越重复越容易重复,形成自我强化的循环。其二,默认流程里没有任何机制拦它——12.2 节的三件套只管分布形状,不管「这个词刚才用没用过」。对策的第一位是重复惩罚,它是 CTRL 论文(Keskar 等人,2019)提出的解码期惩罚项:已出现过的 token,分数往零压:

\[ \ell'(t) = \begin{cases} \ell(t) / \theta, & \ell(t) > 0 \\ \ell(t) \cdot \theta, & \ell(t) \le 0 \end{cases} \qquad (t \in \mathcal{S},\; \theta > 1) \tag{1} \]
公式 (1):CTRL 式重复惩罚——已经登场过的 token,分数为正就除以 θ、为负就乘以 θ,两个方向的效果都是把分数往零压,让它在 softmax 里拿到的概率变小。符号说明:\(\ell(t)\) 是当前步 token \(t\) 修正前的 logit,\(\ell'(t)\) 是修正后的;\(\mathcal{S}\) 是本条序列至今已经出现过的 token 集合;\(\theta\) 是惩罚强度,CTRL 论文常用约 1.2。分正负两路处理是为了不翻转符号:负数除以 θ 反而变大(惩罚变奖励),所以要乘。minimind 在 generate 的 273–275 行逐字实现了这个公式,默认 \(\theta\) 取 1.0,即关闭。

  注意:重复惩罚别开太狠:θ 过大时,「的」「是」这类合法高频词以及代码里必须成对出现的关键字也会被压死,句子开始不通、代码开始缺括号。θ 的工作区间通常在 1.0 到 1.3 之间,且它与升温、top_p 截断是互补关系——惩罚管「别再用过的」,截断管「别用不靠谱的」。

  退化形态之二是空转:不复读,但意思原地打转——同一件事换着说法讲三遍,迟迟不产出 eos,直到撞上 max_new_tokens 这道硬刹车(12.3 节)。工程上的常见解释有两层:分布平坦时候选词彼此概率接近,采样近似随机游走,走不出收敛的方向;上下文一长,prompt 的主题信号被摊薄,模型越来越难判断「该收尾了」。这个成因分析来自实践经验而非某篇论文的结论,标在这里供对照。对策是收紧 top_p 或 top_k 让候选变少、检查输入是否偏离模型的训练分布、留好长度刹车兜底。退化形态之三是跑题:开头还在回答问题,写着写着漂到无关话题。成因与空转相反——温度过高时尾部低概率 token 频繁中标,自回归回路里每个 token 都会成为下一步的上下文,一个意外 token 把话题带岔,后面就顺着岔路越走越远。对策是降温、收紧 top-k 或 top_p,把尾部关小。三种形态排在一起看(图 2):

原创示意图 · 非论文原图 解码退化的三种典型形态(token 序列示意,成因与对策见正文) ① 重复:原地复读 的 猫 是 的 猫 是 的 猫 是 同一片段循环出现,概率自我强化 成因:贪心 / 低温,且没有惩罚拦它 对策:重复惩罚、升温、top_p 截断 CTRL 式惩罚(θ≈1.2)见公式 (1) ② 空转:绕圈不收尾 这 问 题 的 本 质 在 于 … 词在变、意思原地打转,迟迟不收尾 成因:分布平坦 + 长上下文稀释主题 对策:收紧 top_p,max_new_tokens 兜底 eos 一直等不到,最后撞长度刹车(12.3) ③ 跑题:话题漂移 在主题上 意外 token 带岔上下文,越写越偏 成因:温度过高,尾部 token 频繁中标 对策:降温、收紧 top_k / top_p 自回归回路会把每个 token 接回输入
图 2:三种退化的形态对照。重复是同一片段循环出现,生成内容回到上下文后自我强化;空转是词句在变而意思原地打转,迟迟等不到 eos;跑题是高温下意外 token 把上下文带岔,沿岔路越走越远。红色虚线回环与红色轨迹标出故障发生在「接回输入」这一自回归环节,对策行给出第一处置方案。

  退化是模型、参数、输入三方合谋的结果,但参数能管的那一半有现成治法:重复先加惩罚、空转先收截断、跑题先降温。nucleus 论文更深一层的启示是:文本质量不是模型的固定属性——同一个模型,换一种解码策略,就是两种文本。

12.5.2 参数速查:不同任务怎么调三件套

  调参的第一个问题不是「什么参数最好」,是「这个任务要确定性还是要多样性」。要确定性的任务(查事实、写代码、算数学),答案集中在分布头部,随机性只会带来出错的机会,压到最低;要多样性的任务(创意、闲聊、头脑风暴),分布头部恰恰是最平庸的部分,放开温度去中部和尾部找新意,但要用 top_p 管住尾巴,别放进不靠谱的词。拿 minimind 的两套默认值对照,能看出「均衡取向」长什么样:generate 签名默认 temperature 0.85、top_p 0.85、top_k 50(model_minimind.py:262),命令行入口 eval_llm.py 默认 temperature 0.85、top_p 0.95、重复惩罚关闭(42–44、86 行)——温度中等、截断偏松、不开惩罚,这是一套开放对话的折中档位,放到事实问答上就嫌太随机。

任务类型temperaturetop_p / top_k重复惩罚为什么
事实问答、知识提取低,0~0.3,或直接贪心top_p 可放宽到 0.9~1.0一般不开答案在分布头部,随机性只带来出错机会
代码生成低,0~0.2低温为主,截断次之不开语法容错为零;格式严的场景再配 12.4 节的硬约束
数学与推理低,求单次准top_p 0.9 左右不开单次要准;多采几条投票的自一致性是应用层技巧,第 14 章讲
创意写作、头脑风暴中高,0.7~1.0top_p 0.9~0.95可加 1.05~1.2要的就是多样性,顺手防复读
开放闲聊中,0.8~0.9top_p 0.85~0.95(minimind 默认档)视复读情况开均衡:既不僵化,也不乱跑

  注释:表中档位是经验取向,不是标准答案。同一任务换不同模型,脾气也不同——模型越大、对齐越好,同样的温度往往越稳。正确姿势是从推荐档出发小范围试:先动温度,再动截断,重复惩罚留到最后。

  还有一条容易被忽略的纪律:改一个旋钮前先想清楚它管什么。温度管分布的锐度,top-k 与 top-p 管候选的范围,重复惩罚管历史出现过的词,三者正交,叠在一起用才是完整的策略。只拧温度不收截断,高温时尾部照样放进垃圾词;只收截断不降温,头部几个词里照样随机乱跳。12.2 节讲的联合顺序(温度 → 重复惩罚 → top-k → top-p)在这里依然成立。

12.5.3 解码与训练的关系:采样参数补不了能力的课

  讲完了怎么调,必须补一个边界:采样参数只改变「从分布里怎么挑」,不改变分布本身。每一步的 6400 维概率分布——哪些词概率高、哪些知识存在、推理链稳不稳——是训练定的:预训练决定知识与语感(第 6 章),SFT 决定对话格式(第 9 章),偏好对齐决定分寸(第 10 章),推理训练决定思维链的可靠性(第 11 章)。调参台再精致,也只作用在最后一步的挑选环节。

  这个边界有两面。一面是参数值得认真调:nucleus 论文的实验明确指出,解码策略单独就能显著影响机器文本的质量,哪怕模型完全相同——好模型配烂参数,照样产出退化文本。另一面是参数救不了能力缺口:分布里没有的东西挑不出来。模型不知道的事实,降温只是让它更稳定地说错;没经过推理训练的模型,top_p 调不出可靠的长思维链。把 12.5.1 的相机类比补全:参数是快门光圈,决定能不能发挥出镜头的素质;镜头本身不行,参数调得再细也拍不出好照片。

  能力问题只能回训练侧解决:知识不够回数据与预训练(第 1、6 章),不会对话回 SFT(第 9 章),不懂分寸回偏好对齐(第 10 章),推理不稳回 RLVR(第 11 章)。推理侧能做的是把已有能力可靠地取出来。「多采几条再投票」「让模型多想一会儿」这类取法确实存在,它们分别在第 14 章(应用范式)与第 13 章(推理时扩展)展开,共同前提仍然是:分布里得先有这个能力。

  一句话记住本节:参数决定「怎么挑」,训练决定「挑什么」。烂模型调不出好回答,好模型可以被烂参数毁掉——所以先确认能力到位,再认真调参。

12.5.4 接力第 13 章:从解码机制到推理系统

  本章介绍了「把分数变成文字」的全过程:主循环(12.1)、采样三件套(12.2)、停止与流式(12.3)、结构化约束(12.4)、调参与陷阱(本节)。第 13 章继续讨论推理系统的性能与成本:12.1 节见过的 KV Cache 的显存账与收益、权重量化与知识蒸馏、投机采样、连续批处理与吞吐优化。

  另一根接力棒递向第 14 章。解码参数是单次生成的旋钮,真实应用里模型很少只生成一次:思维链让模型先想后答,自一致性对同一题多采几条投票,RAG 先检索再生成,Function Calling 与 Agent 把多次生成串成任务链。这些范式都踩在本章的解码机制之上——理解了单步怎么挑词,才谈得上把许多步组织成系统。

🧭本节要点回顾
重复、空转、跑题三种退化各怎么辨认,第一处置方案是什么?
重复是同一片段循环出现(生成内容回到上下文自我强化),先加重复惩罚、升温、top_p 截断;空转是意思原地打转、迟迟不产出 eos,先收紧 top_p/top_k 并留好 max_new_tokens 兜底;跑题是话题被意外 token 带岔,先降温、收紧截断。三者都发生在自回归的「接回输入」环节,但成因方向不同:重复偏低温无惩罚,空转偏分布平坦,跑题偏高温放纵尾部。
给一个新任务调参,第一个要回答的问题是什么?
这个任务要确定性还是要多样性。确定性任务(事实、代码、数学)把温度压到 0~0.3 直奔分布头部;多样性任务(创意、闲聊)放开温度到 0.7~1.0,同时用 top_p 0.9~0.95 管住尾巴,复读明显再开 1.05~1.2 的重复惩罚。三个旋钮正交:温度管锐度、截断管候选范围、惩罚管历史,联合使用才完整。
为什么说采样参数补不了能力的课?
参数只作用在「从分布里怎么挑」这一步,分布的形状是训练定的。分布里没有的知识与能力,任何调参都挑不出来——降温只是让模型更稳定地说错。nucleus 论文的提醒是双向的:同一模型换解码策略质量差异巨大(参数值得调),但能力提升只能回训练侧(数据、SFT、对齐、推理训练)。

参考来源

  • Holtzman et al., 2019. The Curious Case of Neural Text Degeneration(nucleus sampling 原始论文,arXiv:1904.09751):最大化概率解码产出「平淡且奇怪地重复」的文本、人类与机器文本的分布差异、「解码策略单独就能显著影响文本质量」的核心结论。已核对 arXiv 摘要页。
  • Keskar et al., 2019. CTRL: A Conditional Transformer Language Model for Controllable Generation(arXiv:1909.05858):重复惩罚(penalized sampling:折扣已出现 token 的分数,常用 θ≈1.2)的出处。摘要页已核对(1.63B 条件 Transformer、control codes);惩罚机制出自论文正文,摘要未直接提及,经二级来源(Lil'Log 可控文本生成综述、Hugging Face transformers 实现注释)交叉确认。
  • minimind(Apache 2.0):model/model_minimind.py 的 generate(261–293 行)——默认值(262 行:temperature 0.85、top_p 0.85、top_k 50、max_new_tokens 8192、eos 2)、重复惩罚正除负乘(273–275 行)、修正链顺序温度 → 惩罚 → top-k → top-p(272–282 行);eval_llm.py 命令行默认(42–44 行:temperature 0.85、top_p 0.95、max_new_tokens 8192)与 generate 调用默认 repetition_penalty=1 即不开惩罚(86 行)。