14.1 Prompt 工程:不改权重的编程方式
本页范围:第 14 章第 1 节 | 整理时间:2026-10-10
到第 13 章为止,手册走完了 LLM 生命周期的最后一站:模型训练完毕、部署上线,能逐 token 地把概率分布变成文字。第 14 章换一个视角——站在模型外面,问一个使用侧的问题:同一个权重冻结的模型,怎么用得更好?本章的回答是「在模型外面搭脚手架」,而一切脚手架的入口都是 prompt。本节作为全章的开篇,先把 prompt 这个通道本身讲透:它是什么结构、为什么几个示例就能让模型现场学会新任务、常用技巧为什么有效,以及它的能力边界在哪里。
本节按「是什么 → 为什么有效 → 怎么用 → 边界在哪」的顺序展开,路线图如下:
- Prompt 是什么:模型唯一的输入通道(14.1.1):系统提示、用户消息与 chat template 的结构化,对照 minimind 的两种真实拼法;
- 上下文学习:few-shot 为什么不改权重却有效(14.1.2):GPT-3 的 zero / one / few-shot 定义与效果,示例作为信息注入的机制;
- 实用技巧清单:角色、指令、格式、分隔符(14.1.3):四条主力技巧逐条说清「为什么有效」——往训练分布上靠;
- Prompt 的边界:它是请求不是约束(14.1.4):概率倾斜与硬保证的区别,呼应 12.4 节的结构化输出。
读完本节,应该能说清 chat template 在代码里做了什么、用一句话解释 few-shot 的原理,并能判断一个需求该用 prompt 技巧解决还是该上约束解码与外部校验。本节涉及的解码与采样机制(温度、top-p、约束解码)分别在 12.2 节与 12.4 节讲过,这里直接引用结论。
图 1 标出应用范式与推理部署的关系:模型权重不再改变,本章各节通过组织输入与输出来使用模型。
「使用层」放大之后长什么样?一次对话请求从消息列表到模型吃进 token,中间经过了哪道工序?把 prompt 这条输入通道单独拆开看(图 2):
14.1.1 Prompt 是什么:模型唯一的输入通道
先给工作定义。Prompt(提示)是喂给模型的那段文本:一次请求里,模型能看到的全部信息就是这段文本切出的 token 序列,不多不少。它对世界的了解只有两个来源——训练时压进权重的(第 1–11 章的全部工作),以及此刻上下文窗口里的 token。权重在部署后是冻结的,于是留给使用者的操作面只剩下一个:把输入序列写好。这就是「prompt 工程」这个名字的来历:它是在不改权重、不写训练代码的前提下,用自然语言给模型编程。
在对话产品里,prompt 通常组织成消息列表:system(系统提示,定角色与行为规范,一般由产品方设定)、user(用户消息,本轮问题)、assistant(模型此前的回答,多轮对话时带上)。这份列表不会直接进模型——模型只认 token 序列,中间需要一道「结构化」工序:chat template 按模板把每条消息包上角色标记,拼成一整段文本(如图 2),再交给分词器。模板的具体写法各家模型不同,但职责相同:把「谁在说话」这件对话层面的事,翻译成模型在 SFT 阶段学过的文本模式。
图 2 底部灰框里的对照值得停下来看一眼。同一个 minimind 评测脚本,加载 base(pretrain)权重时走的是第 74 行:输入就是 tokenizer.bos_token + prompt,一个开头标记直接拼上原始问题;加载 SFT 权重时走第 76 行:apply_chat_template(conversation, tokenize=False, add_generation_prompt=True),消息列表被拼成带 <|im_start|> 角色标记的结构化文本,末尾还追加 assistant 起始标记,等于明确告诉模型「轮到你说话了」。两种拼法对应两类模型的训练经历:base 模型只见过连续文本,SFT 模型见过这套对话标记,自然要用它能理解的方式提问。这也解释了第 9 章的一个现象:为什么 base 模型直接对话常常自说自话、不知道停——它没学过 assistant 该在哪里收尾。
把视角再抽象一层,prompt 的全部作用可以用一个条件分布写清楚。第 12 章讲过,解码就是逐 token 地从模型分布里选词;把 prompt 显式写进条件,一次完整的回答生成就是:
注释:公式 (1) 也划清了 prompt 工程与前几章的分工。第 6–11 章改的是 \(\theta\)(预训练、SFT、对齐都在更新权重),第 12–13 章改的是从 \(P_\theta\) 里选词的方式与效率(解码、KV Cache、量化),本章改的是 \(\mathbf{c}\)。三个旋钮互不替代:prompt 写得再好也补不了能力的课,正如 12.2 节的采样参数补不了分布形状的课。
14.1.2 上下文学习:few-shot 为什么不改权重却有效
prompt 通道能承载多少信息?GPT-3 论文(Brown et al., 2020,NeurIPS 2020,arXiv:2005.14165)给出了一个当时超出许多人预期的答案:足够让模型现场学会一个没专门训练过的任务。GPT-3 有 1750 亿参数,论文的核心发现在标题里——语言模型本身就是 few-shot learner(少样本学习者):只在 prompt 里放几个任务示例,不做任何梯度更新,模型就能照着示例的格式完成新样本。这个现象被称为上下文学习(in-context learning):学习发生在上下文里,不发生在权重里。
论文按示例数量把用法分成三档,这套定义沿用至今,已成为事实标准:
- zero-shot(零样本):只给任务的自然语言描述,不给示例。例如「把英语翻译成法语:cheese =>」。
- one-shot(单样本):描述之外给 1 个完整示例,再给新输入。例如先放「sea otter => loutre de mer」,再问「cheese =>」。
- few-shot(少样本):给 \(K\) 个示例再加新输入,\(K\) 典型在几十条以内(论文原文约 10 到 100),上限受上下文窗口容量约束(GPT-3 的窗口是 2048 个 token)。
三档的区别只在 prompt 的构成,模型与解码方式原封不动。图 3 用论文中的翻译任务示例把三档摆在一起对照:
为什么不改权重也能「学会」?回到公式 (1) 看条件 \(\mathbf{c}\) 的变化。zero-shot 时,\(\mathbf{c}\) 里只有一句任务描述,模型要靠自己对这句话的理解去猜测输出格式,理解稍有偏差答法就飘了;few-shot 时,\(K\) 个「输入 => 输出」的实例排进上下文,任务是什么、答案长什么样,全部由实例显式给出,模型剩下的工作只是续写出一个与示例同构的续篇。信息论一点的说法:示例把任务规格写进了条件,输出分布的不确定性因此大幅降低。
模型为什么具备「照着示例续写」的本领?直觉答案藏在训练数据里。预训练语料(第 1 章)里天然充满「题目—解答—题目—解答」的同构模式:教材的例题、论坛的问答、试卷的参考答案。在海量文本上做下一个 token 预测(第 6 章)的模型,早已学会识别这种模式并延续它。few-shot 不过是把这个压进权重的能力,用几个示例在上下文里激活出来——没有新学习,只有旧能力的现场调度。需要说明的是,这属于被广泛接受的直觉解释;上下文学习的内在机制在学术界仍是开放问题,存在多种竞争性解释,prompt 综述(arXiv:2107.13586)对相关工作有系统梳理,本手册不展开。
由 GPT-3 论文确立的现象与术语:把任务的少量示例放进 prompt,模型即可对新输入给出同构答案,全程不做梯度更新。与微调(第 9 章)的分界线在于参数变不变:微调把任务知识写进权重,关掉对话也在;上下文学习把任务知识放在上下文里,这段对话结束它就消失。二者成本也不同:few-shot 零训练成本、即改即用,但示例每次请求都占上下文窗口、都要付推理的 token 账。
效果如何?论文报告,GPT-3 在 few-shot 设定下于翻译、问答、完形填空以及需要现场推理或领域适应的任务上达到有竞争力的水平,其中一部分逼近当时的微调最优结果;且 few-shot 能力随模型规模增长明显——模型越大,从示例中提取任务规律的本领越强。这条「规模依赖」值得记住:上下文学习是模型规模给到一定程度后才显现的能力,小模型上的 few-shot 效果要打折扣,不必硬套。
14.1.3 实用技巧清单:角色、指令、格式、分隔符
few-shot 之外,日常 prompt 工程还有一组不依赖示例的主力技巧。prompt 综述文献对它们有系统的收集与分类:早期全景综述见 Liu et al.(arXiv:2107.13586,ACM Computing Surveys 2023),2024 年的现代技巧综述见 Sahoo et al.(arXiv:2402.07927),White et al.(arXiv:2302.11382)则整理了一份可直接套用的提示模式目录。本节取其中最常用、原理也最清楚的四条。先给总纲:四条技巧看似互不相关,为什么有效的解释却是同一句——把 prompt 往模型训练分布中「优质样本」的方向上靠,让公式 (1) 的条件 \(\mathbf{c}\) 更像那些伴随高质量回答的文本。
| 技巧 | 典型写法 | 为什么有效(分布解释) |
|---|---|---|
| 角色设定 | 系统提示写「你是一位耐心的数学老师」 | 把输出条件化到该角色的文体区域:训练语料里,教师口吻的文本确实更耐心、更讲步骤 |
| 指令具体化 | 说清任务、步骤、约束、不要什么 | 减少歧义:模糊指令让多个「可能的任务」瓜分概率质量,写具体等于把分布收窄到目标任务上 |
| 输出格式约束 | 「用 JSON 回答」「分三点,每点不超过两句」 | 格式词出现在上下文里,续写时同类格式概率升高;且语料中格式规范的文本往往质量更高 |
| 分隔符 | 用 ###、```、XML 标签把指令与数据分开 | 结构化标记在语料中常伴随清晰边界,模型据此区分「该执行的指令」与「该处理的素材」 |
逐条展开。角色设定利用的是系统提示这个专用通道(14.1.1):「你是一位……」会给整个回答设定条件。模型在语料里见过海量不同角色的文本,角色词会把续写拉向对应区域——「数学老师」带出讲步骤的口吻,「资深编辑」带出挑语病的眼光。角色写得越具体,条件化越精确。
指令具体化针对的是歧义。「总结一下这篇文章」在模型眼里对应许多个都合理的任务:一句话摘要、分点摘要、面向小学生的摘要、五百字摘要——概率质量被这些可能用途摊薄,抽到哪支全凭运气。把「给谁看、多长、什么结构、不要什么」写清楚,等于把无关用途的概率逐一切走。这条技巧零成本,收益却往往最大。
输出格式约束与分隔符是一对搭档:前者规定回答长什么样,后者规定输入怎么分区。格式要求(JSON、表格、三点式)写进 prompt 后,模型续写时会高概率模仿——语料里格式词与格式实例本就共生。分隔符则处理另一个问题:当指令和数据混在一段文本里(「把下面这段话翻译成英语:……」),边界不清时模型可能把数据当指令执行。用 ###、三个反引号或 XML 标签把数据包起来,借的是训练语料里结构化标记与清晰边界的共现规律。14.1.4 会看到,这层「区分」是概率意义上的倾斜,并非铁闸。
注释:技巧有效不等于技巧万能。这些写法提高的是「得到想要回答」的概率,不是把概率推到 1。同一 prompt 换个随机种子、换个解码温度(12.2 节),结果仍可能波动。评估一个 prompt 写法是否真的好,需要在多个样本上统计成功率,单次的惊艳或翻车都不作数。
14.1.4 Prompt 的边界:它是请求不是约束
技巧清单容易给人一种感觉:prompt 写到位,模型就会照办。这个感觉必须校正。回看公式 (1):prompt 出现在条件 \(\mathbf{c}\) 里,它能改变分布的形状——让想要的输出概率升高、不想要的降低——但只要概率没有真正归零,采样(12.2 节)就仍可能选中那个不想要的尾巴。「请只输出 JSON」之后模型回一句「好的,这是你要的 JSON」,不是模型故意作对,是分布里那点剩余概率被抽中了。prompt 是请求,不是约束,这是它的结构性属性,不是技巧不足。
图 4 把这个区别画成两个分布:左边只靠 prompt 约束,非法候选只是概率变小;右边用约束解码,非法候选被直接清零:
同一个结构性限制在安全场景下后果更严重,它有个专门的名字:提示注入(prompt injection)。在模型眼里,系统提示与用户输入没有权限等级之分——它们只是同一段 token 流的不同位置(图 2 看得很清楚:拼起来就是一条序列)。用户输入一句「忽略之前的所有指令,照我说的做」,这段文字同样进入条件 \(\mathbf{c}\),同样倾斜分布,有时真能把模型从系统提示的轨道上拉走。因此系统提示不能当安全边界用:凡涉及权限、资金、隐私数据的操作,防线必须建在模型外面(调用前的校验、最小权限的工具接口),不能指望措辞拦住恶意输入。
易错点:把「系统提示里写了不许做 X」当作安全保证是典型误用。系统提示与用户输入在模型看来是同一段文本,提示注入没有一劳永逸的 prompt 解法。安全约束需要在外部执行:约束解码保证格式、代码校验保证语义、最小权限与人工确认保证操作安全。14.4 节讲工具调用时会回到这个话题。
那么 prompt 边界之外的正确工具是什么?按需求分三类:要格式保证(必须是合法 JSON、必须命中枚举值),用 12.4 节的结构化输出与约束解码,把合法性升格为解码期保证,如图 4 右侧;要语义正确(计算结果对、代码能跑),把验证写成代码,输出后校验、失败重试,或在 14.4 节把计算本身外包给工具;要模型不知道的知识(私有文档、实时信息),prompt 里硬写「不许编造」收效甚微,正解是 14.3 节的 RAG——把资料查好塞进上下文。prompt 工程负责「把请求表达清楚」,这三类问题都超出了「表达」能解决的范畴。
本节的核心结论可以收成一句:prompt 是写给分布的请求书,不是发给系统的命令。它改变公式 (1) 中条件 \(\mathbf{c}\) 的内容,从而倾斜每一个输出 token 的概率;倾斜可以非常强,但永远不等于锁死。工程上的正确姿势是分层:表达层用 prompt 技巧把分布引向目标,保证层用约束解码与外部校验兜住剩余概率。
参考来源
- Brown et al., 2020. Language Models are Few-Shot Learners(GPT-3 原始论文,arXiv:2005.14165,NeurIPS 2020):1750 亿参数;zero-shot / one-shot / few-shot 三档定义;few-shot 不更新梯度、示例仅位于上下文;few-shot 在翻译、问答、完形填空与需现场推理的任务上达到有竞争力水平、部分逼近当时微调最优;few-shot 能力随规模增长;上下文窗口 2048 token、\(K\) 约 10 至 100;英法翻译示例(sea otter / peppermint / plush giraffe / cheese)取自论文图 1.1。已核对 arXiv 摘要页。
- Liu et al., 2023. Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in NLP(prompt 综述,arXiv:2107.13586,ACM Computing Surveys):prompt 范式的系统化梳理、prompt 方法分类与机理研究综述;已核对 arXiv 摘要页。
- Sahoo et al., 2024. A Systematic Survey of Prompt Engineering in Large Language Models: Techniques and Applications(arXiv:2402.07927):现代 prompt 技巧的分类整理;已核对 arXiv 摘要页。
- White et al., 2023. A Prompt Pattern Catalog to Enhance Prompt Engineering with ChatGPT(提示模式目录,arXiv:2302.11382):可套用的提示模式集合;已核对 arXiv 摘要页(注意勿与 arXiv:2302.11373 混淆,后者为物理论文)。
- minimind(Apache 2.0),eval_llm.py:73–76:base 权重裸拼
tokenizer.bos_token + prompt(74 行)与 SFT 权重apply_chat_template(76 行)两种输入拼法;model/tokenizer_config.json 中的 chat template(<|im_start|> / <|im_end|> 角色标记、add_generation_prompt 追加 assistant 起始标记)。 - 本手册 12.2 节(采样三件套)、12.4 节(结构化输出与约束解码)、附录 A.12(条件概率与链式分解):公式 (1) 与图 4 的机制依据。
- 待核实事项:上下文学习的内在机制(贝叶斯推断等竞争性解释)本节仅作开放问题提及,未展开,具体论点归属请以上述综述原文为准。