12.5 解码实践与陷阱
本页范围:第 12 章第 5 节 | 整理时间:2026-10-09
前四节把「分数变文字」的机器拆到了零件级:12.1 的主循环,12.2 的温度、top-k、top-p 三件套,12.3 的停止与流式,12.4 的结构化约束。零件齐了不等于机器不出故障。用过语言模型的人几乎都撞见过这三种回答:同一句话反复复读,绕着圈子说车轱辘话,或者写着写着跑题万里。本节给这些故障做一次集中检修:先辨认三种典型退化的形态与成因,再给一张按任务选参数的速查表,最后把一件事说透——采样参数能改变什么、改变不了什么。
本节按「故障 → 档位 → 边界 → 接力」的顺序展开,路线图如下:
- 退化三兄弟:重复、空转、跑题(12.5.1):三种典型故障文本长什么样,各自的成因与对策;
- 参数速查:不同任务怎么调三件套(12.5.2):先要确定性还是要多样性,一张表给出五类任务的推荐档位;
- 解码与训练的关系:采样参数补不了能力的课(12.5.3):参数管「怎么挑」,训练管「挑什么」,两者边界在哪;
- 接力第 13 章:从解码机制到推理系统(12.5.4):本章收束,KV Cache、量化、投机采样与应用的接力棒递向哪里。
读完本节,应该能看着一段故障文本说出它属于哪种退化、该拧哪个旋钮,也应该能向人解释:为什么同一个模型换一组参数判若两人,而参数再调也救不了能力本身的缺口。讲解中的默认值与实现细节对照 minimind(Apache 2.0)的 generate 函数与命令行入口 eval_llm.py。
图 1 汇总温度、top-k、top-p 等参数的作用位置与默认值,后续各节再讨论不同设置可能带来的问题。
图 1 里「推理与部署」这个紫框放大之后,本节关注的是解码环节的调参台:三只旋钮各自拧动概率分布的哪个侧面,默认值停在什么档位?把它单独拆开看(图 1):
12.5.1 退化三兄弟:重复、空转、跑题
前四节拆完的解码机器,装进真实任务后最常出三类故障。它们有一个共同的名字:Holtzman 等人 2019 年在论文《The Curious Case of Neural Text Degeneration》里记录了一个反直觉现象——拿似然当训练目标能训出高质量模型,拿似然当解码目标(贪心、beam search 这类最大化概率的选词法)却会产出「平淡且奇怪地重复」的文本。他们还对比了人类文本与机器文本的概率分布:人写的话恰恰不是每步都挑最可能的词,尾部词汇的合理使用正是自然文本的一部分。这类由解码方式引发的文本质量崩塌,统称神经文本退化。
指神经语言模型在生成时产出的文本明显变差的现象:复读、干瘪、前后矛盾、跑题。关键之处在于,退化很大程度是解码策略的问题,而非模型能力的问题——Holtzman 等人的实验显示,同一个模型,只换解码策略,文本质量就有戏剧性的差异。这等于给调参发了一张通行证:解码参数值得认真调,因为烂的挑法真能毁掉一个好分布。
退化形态之一是重复:同一个短语、同一句话反复出现,「因为它就是它就是它就是它」。成因有两个叠加。其一,贪心或低温让模型每步直奔最高分,而生成过的内容会回到上下文里,抬高相似片段再次出现的概率,越重复越容易重复,形成自我强化的循环。其二,默认流程里没有任何机制拦它——12.2 节的三件套只管分布形状,不管「这个词刚才用没用过」。对策的第一位是重复惩罚,它是 CTRL 论文(Keskar 等人,2019)提出的解码期惩罚项:已出现过的 token,分数往零压:
注意:重复惩罚别开太狠:θ 过大时,「的」「是」这类合法高频词以及代码里必须成对出现的关键字也会被压死,句子开始不通、代码开始缺括号。θ 的工作区间通常在 1.0 到 1.3 之间,且它与升温、top_p 截断是互补关系——惩罚管「别再用过的」,截断管「别用不靠谱的」。
退化形态之二是空转:不复读,但意思原地打转——同一件事换着说法讲三遍,迟迟不产出 eos,直到撞上 max_new_tokens 这道硬刹车(12.3 节)。工程上的常见解释有两层:分布平坦时候选词彼此概率接近,采样近似随机游走,走不出收敛的方向;上下文一长,prompt 的主题信号被摊薄,模型越来越难判断「该收尾了」。这个成因分析来自实践经验而非某篇论文的结论,标在这里供对照。对策是收紧 top_p 或 top_k 让候选变少、检查输入是否偏离模型的训练分布、留好长度刹车兜底。退化形态之三是跑题:开头还在回答问题,写着写着漂到无关话题。成因与空转相反——温度过高时尾部低概率 token 频繁中标,自回归回路里每个 token 都会成为下一步的上下文,一个意外 token 把话题带岔,后面就顺着岔路越走越远。对策是降温、收紧 top-k 或 top_p,把尾部关小。三种形态排在一起看(图 2):
退化是模型、参数、输入三方合谋的结果,但参数能管的那一半有现成治法:重复先加惩罚、空转先收截断、跑题先降温。nucleus 论文更深一层的启示是:文本质量不是模型的固定属性——同一个模型,换一种解码策略,就是两种文本。
12.5.2 参数速查:不同任务怎么调三件套
调参的第一个问题不是「什么参数最好」,是「这个任务要确定性还是要多样性」。要确定性的任务(查事实、写代码、算数学),答案集中在分布头部,随机性只会带来出错的机会,压到最低;要多样性的任务(创意、闲聊、头脑风暴),分布头部恰恰是最平庸的部分,放开温度去中部和尾部找新意,但要用 top_p 管住尾巴,别放进不靠谱的词。拿 minimind 的两套默认值对照,能看出「均衡取向」长什么样:generate 签名默认 temperature 0.85、top_p 0.85、top_k 50(model_minimind.py:262),命令行入口 eval_llm.py 默认 temperature 0.85、top_p 0.95、重复惩罚关闭(42–44、86 行)——温度中等、截断偏松、不开惩罚,这是一套开放对话的折中档位,放到事实问答上就嫌太随机。
| 任务类型 | temperature | top_p / top_k | 重复惩罚 | 为什么 |
|---|---|---|---|---|
| 事实问答、知识提取 | 低,0~0.3,或直接贪心 | top_p 可放宽到 0.9~1.0 | 一般不开 | 答案在分布头部,随机性只带来出错机会 |
| 代码生成 | 低,0~0.2 | 低温为主,截断次之 | 不开 | 语法容错为零;格式严的场景再配 12.4 节的硬约束 |
| 数学与推理 | 低,求单次准 | top_p 0.9 左右 | 不开 | 单次要准;多采几条投票的自一致性是应用层技巧,第 14 章讲 |
| 创意写作、头脑风暴 | 中高,0.7~1.0 | top_p 0.9~0.95 | 可加 1.05~1.2 | 要的就是多样性,顺手防复读 |
| 开放闲聊 | 中,0.8~0.9 | top_p 0.85~0.95(minimind 默认档) | 视复读情况开 | 均衡:既不僵化,也不乱跑 |
注释:表中档位是经验取向,不是标准答案。同一任务换不同模型,脾气也不同——模型越大、对齐越好,同样的温度往往越稳。正确姿势是从推荐档出发小范围试:先动温度,再动截断,重复惩罚留到最后。
还有一条容易被忽略的纪律:改一个旋钮前先想清楚它管什么。温度管分布的锐度,top-k 与 top-p 管候选的范围,重复惩罚管历史出现过的词,三者正交,叠在一起用才是完整的策略。只拧温度不收截断,高温时尾部照样放进垃圾词;只收截断不降温,头部几个词里照样随机乱跳。12.2 节讲的联合顺序(温度 → 重复惩罚 → top-k → top-p)在这里依然成立。
12.5.3 解码与训练的关系:采样参数补不了能力的课
讲完了怎么调,必须补一个边界:采样参数只改变「从分布里怎么挑」,不改变分布本身。每一步的 6400 维概率分布——哪些词概率高、哪些知识存在、推理链稳不稳——是训练定的:预训练决定知识与语感(第 6 章),SFT 决定对话格式(第 9 章),偏好对齐决定分寸(第 10 章),推理训练决定思维链的可靠性(第 11 章)。调参台再精致,也只作用在最后一步的挑选环节。
这个边界有两面。一面是参数值得认真调:nucleus 论文的实验明确指出,解码策略单独就能显著影响机器文本的质量,哪怕模型完全相同——好模型配烂参数,照样产出退化文本。另一面是参数救不了能力缺口:分布里没有的东西挑不出来。模型不知道的事实,降温只是让它更稳定地说错;没经过推理训练的模型,top_p 调不出可靠的长思维链。把 12.5.1 的相机类比补全:参数是快门光圈,决定能不能发挥出镜头的素质;镜头本身不行,参数调得再细也拍不出好照片。
能力问题只能回训练侧解决:知识不够回数据与预训练(第 1、6 章),不会对话回 SFT(第 9 章),不懂分寸回偏好对齐(第 10 章),推理不稳回 RLVR(第 11 章)。推理侧能做的是把已有能力可靠地取出来。「多采几条再投票」「让模型多想一会儿」这类取法确实存在,它们分别在第 14 章(应用范式)与第 13 章(推理时扩展)展开,共同前提仍然是:分布里得先有这个能力。
一句话记住本节:参数决定「怎么挑」,训练决定「挑什么」。烂模型调不出好回答,好模型可以被烂参数毁掉——所以先确认能力到位,再认真调参。
12.5.4 接力第 13 章:从解码机制到推理系统
本章介绍了「把分数变成文字」的全过程:主循环(12.1)、采样三件套(12.2)、停止与流式(12.3)、结构化约束(12.4)、调参与陷阱(本节)。第 13 章继续讨论推理系统的性能与成本:12.1 节见过的 KV Cache 的显存账与收益、权重量化与知识蒸馏、投机采样、连续批处理与吞吐优化。
另一根接力棒递向第 14 章。解码参数是单次生成的旋钮,真实应用里模型很少只生成一次:思维链让模型先想后答,自一致性对同一题多采几条投票,RAG 先检索再生成,Function Calling 与 Agent 把多次生成串成任务链。这些范式都踩在本章的解码机制之上——理解了单步怎么挑词,才谈得上把许多步组织成系统。
参考来源
- Holtzman et al., 2019. The Curious Case of Neural Text Degeneration(nucleus sampling 原始论文,arXiv:1904.09751):最大化概率解码产出「平淡且奇怪地重复」的文本、人类与机器文本的分布差异、「解码策略单独就能显著影响文本质量」的核心结论。已核对 arXiv 摘要页。
- Keskar et al., 2019. CTRL: A Conditional Transformer Language Model for Controllable Generation(arXiv:1909.05858):重复惩罚(penalized sampling:折扣已出现 token 的分数,常用 θ≈1.2)的出处。摘要页已核对(1.63B 条件 Transformer、control codes);惩罚机制出自论文正文,摘要未直接提及,经二级来源(Lil'Log 可控文本生成综述、Hugging Face transformers 实现注释)交叉确认。
- minimind(Apache 2.0):model/model_minimind.py 的 generate(261–293 行)——默认值(262 行:temperature 0.85、top_p 0.85、top_k 50、max_new_tokens 8192、eos 2)、重复惩罚正除负乘(273–275 行)、修正链顺序温度 → 惩罚 → top-k → top-p(272–282 行);eval_llm.py 命令行默认(42–44 行:temperature 0.85、top_p 0.95、max_new_tokens 8192)与 generate 调用默认 repetition_penalty=1 即不开惩罚(86 行)。