14.5 Agent:规划、工具与多步执行循环

本页范围:第 14 章第 5 节 | 整理时间:2026-10-10

快速浏览

核心问题前四节各给了模型一项外挂能力:Prompt 工程把话说好(14.1)、思维链把推理写开(14.2)、RAG 外挂资料库(14.3)、Function Calling 学会调用工具(14.4)。但真实任务——查资料再汇总、写代码再调试——不是一问一答能完成的:模型需要根据中间结果决定下一步做什么。如何把这些单项能力组装成一个能自主跑完多步任务的系统?
本节主张Agent 不是新模型,也没有新的训练机制,而是一个模型之外的多步循环:LLM 当大脑,规划拆任务、工具办事情、记忆存轨迹,每转一圈仍然只是第 12 章讲过的一次普通解码。ReAct 给出「思考—行动—观察」的循环格式,Reflexion 再补一条「失败后写反思」的自我纠错通道。
一句话结论把解码、思维链、RAG、工具调用串成闭环,模型就从「答题机」变成「办事员」;但闭环最大的敌人是错误累积——单步成功率 0.9 的任务连跑 10 步,全程走对的概率只剩约三分之一。
关键词
AgentReActThought/Action/ObservationReflexion口头强化学习情景记忆多步闭环错误累积

  14.4 节介绍了单轮工具调用:模型按 schema 发出结构化的调用请求,由外部代码执行。但一次调用只解决一步的事,而现实中的任务长得多:调研一个主题要先搜、再读、再筛选、再组织;修一个 bug 要先读代码、定位、改动、跑测试、看报错再改。这类任务需要根据中间结果调整方向的多步循环,这就是 Agent(智能体)。本节把前四节介绍的机制组合成完整流程。

  本节按「定义 → 循环 → 纠错 → 边界」展开:先给 Agent 一个可检验的组成定义,再精讲两个奠基性工作 ReAct 与 Reflexion,最后直面它今天仍然不省心的可靠性问题。读完应能说清三件事:Agent 与普通问答的本质区别在哪,Thought / Action / Observation 各是什么角色,为什么多步系统的成功率会按幂次衰减。

  1. 从单次问答到多步闭环:Agent = LLM + 规划 + 工具 + 记忆(14.5.1):给 Agent 下定义,看清它如何复用前四节的零件;
  2. ReAct:推理与行动交替(Thought/Action/Observation 循环)(14.5.2):奠基性的循环格式,思考与行动为什么必须交替;
  3. Reflexion 与自我纠错(14.5.3):不改权重的「学习」——把失败写成文字反思,带进下一轮;
  4. Agent 的可靠性与局限:错误累积、上下文膨胀、评估难(14.5.4):算一笔幂次衰减的账,正视今天的瓶颈。

  图 1 标出 Agent 与推理部署的关系。Agent 的多步循环由模型外部代码组织,模型权重从头到尾不变。

原创示意图 · 非论文原图 训练数据: 收集 · 清洗 · 配比 (第 1 章) 预训练: 海量语料自监督 (第 6 章) 训练工程: 并行 · 精度 · 稳定 (第 7 章) 中间训练: 收口 · 长上下文 (第 8 章) SFT: 学会对话格式 (第 9 章) 偏好对齐: RLHF / DPO (第 10 章) 推理训练: RLVR / GRPO (第 11 章) 推理与部署: 解码 · 加速 (本节内容) 实线框:已讲章节 虚线框:后续章节
图 1:本章在 LLM 生命周期中的位置。生命周期从训练数据(第 1 章)走到推理与部署(第 12–13 章),交出可直接服务的模型;本章讲的应用范式不是这条链上的新一站,而是架在推理与部署之上的使用层——高亮框表示模型本体到此为止、权重不再改变,本章所有技术(Prompt、思维链、RAG、Function Calling、Agent)都是架在这一站之上的脚手架。本节 Agent 是其中集成度最高的形态:把前几节的单项能力组装成一个多步闭环。

14.5.1 从单次问答到多步闭环:Agent = LLM + 规划 + 工具 + 记忆

  14.1 到 14.4 节给的其实都是「一轮定胜负」的玩法:prompt 进去,一段文本出来——哪怕这段文本是一次工具调用请求(14.4 节),模型也只负责生成,连看一眼结果的机会都没有。Agent 要打破的正是这个一轮限制:让模型发出行动、看到行动的后果、再决定下一步,如此往复。这个能力不是训练出来的,而是模型外面的脚手架代码组织出来的。

  Agent 具体由什么组成?复旦大学的 Agent 综述(Xi et al., 2023,arXiv:2309.07864)把基于 LLM 的智能体拆成三个组件:大脑(brain,LLM 本体,负责推理与决策)、感知(perception,接收环境信息)、行动(action,通过工具影响环境)。工程界更常把它写成一句口诀:

Agent = LLM(大脑)+ 规划(拆任务)+ 工具(办事情)+ 记忆(存轨迹)

  四个零件没有一个是新的,全部来自前面章节:

大脑:LLM

每一步决策都是一次普通解码(第 12 章):读上下文、吐下一段文字。权重全程不变。

规划 Planning

把大任务拆成子目标与下一步动作,机制就是思维链的多步版本(14.2 节),树状搜索(ToT)也算。

工具 Tools

Function Calling 发出的结构化调用(14.4 节);RAG 检索(14.3 节)可视为一种只读工具。

记忆 Memory

短期记忆就是上下文里的对话与轨迹;长期记忆靠外部存储按需取回。14.5.3 的反思也存放在这里。

  把这些零件串起来的是脚手架:它把任务交给模型,解析模型输出的行动指令,调用真正的工具,再把结果拼回上下文,请模型走下一步——直到模型自己说「做完了」。图 2 画出这个闭环的全貌:

原创示意图 · 非论文原图 Agent 闭环:LLM 大脑 + 规划 + 记忆 + 工具,由外部脚手架驱动多轮循环(权重全程不变) 规划 把任务拆成子目标与下一步 (思维链,14.2 节) 拆解与纠偏 记忆 历史轨迹 · 观察 · 反思 (短期靠上下文,14.5.3 细讲) 读写轨迹 任务目标 来自用户 LLM 大脑 每一步 = 一次普通解码 (第 12 章,权重不变) 工具箱(14.4 节) 搜索 / 网页(RAG,14.3 节) 计算器 · 代码执行 外部 API 由外部代码真正执行 行动指令(结构化) 观察结果回注上下文 一轮接一轮,直到模型发出结束指令 最终答案 模型决定收工时输出 收工作答 驱动权在外部脚手架:每轮把最新观察拼进上下文,再调一次模型;模型自己从不「执行」任何操作(14.4 节)
图 2:Agent 闭环的组件与数据流。LLM 大脑居中,上接规划(思维链拆任务,14.2 节)、下连记忆(轨迹与反思存取)、右通工具箱(Function Calling,14.4 节;RAG 检索相当于只读工具)。每一轮:模型生成行动指令(结构化文本,格式约束见 12.4 节)→ 脚手架解析并交给工具执行 → 观察结果回注上下文 → 模型再走下一步,直到模型自己发出结束指令、输出最终答案。全程每个箭头上的「生成」都只是第 12 章的一次解码,「执行」全部是外部代码。

  图 2 区分了「生成」与「执行」:模型只生成文本,解析、调用、回注和重试都由外部代码完成。Agent 的机制来自外部循环对已有模型能力的组织。

  Agent 的本质是组装:一次解码(第 12 章)、一段思维链(14.2 节)、一次检索(14.3 节)、一次工具调用(14.4 节),每一步都是旧动作;新的是外部脚手架把它们串成闭环,让模型能看到自己行动的后果再决定下一步。本章开头那句「不改权重,只在模型外面搭脚手架」,在 Agent 这里走到了极致。

  注释:minimind(Apache 2.0)没有 Agent 实现,它的 eval_llm.py 恰好展示了「没有 Agent 时」长什么样:base 模型把 bos_token 与 prompt 直接拼接(74 行),chat 模型用 apply_chat_template 拼成对话格式(76 行),然后一次性 generate 出整段回复——下一步问什么由人决定。Agent 脚手架做的正是把「下一步做什么」从人手里接过来,交给代码与模型自己;但每一次生成仍是同样的一次前向解码。

14.5.2 ReAct:推理与行动交替(Thought/Action/Observation 循环)

  闭环定了,下一个问题是:每一轮里模型该干什么?在 ReAct 之前有两条现成的路,各有明显短板。一条是纯思维链(14.2 节):从头到尾闭门推理,中途拿不到任何新信息,一旦某个事实记错,后面每一步都建立在错误前提上。另一条是纯行动:让模型直接输出一串动作,没有任何显式规划,面对多步任务容易迷失方向。ReAct(Yao et al., 2022,发表于 ICLR 2023,arXiv:2210.03629)给出的答案简单到出人意料:让两者交替——想一步,做一步,看一眼结果,再想下一步。

ReAct Reasoning + Acting 的合成词 = 推理与行动交替进行

ReAct 是发表于 ICLR 2023 的 Agent 范式:模型按固定格式逐轮生成两段文字——Thought(思考:分析现状、规划下一步)与 Action(行动:一条结构化指令,如「搜索[词条]」「结束[答案]」);脚手架执行 Action,把环境返回的结果作为 Observation(观察)追加进上下文,再请模型生成下一段 Thought。如此交替,直到 Action 是「结束」。让模型学会这个格式不需要训练:prompt 里放几段人工写好的轨迹示例即可——14.1 节的 few-shot 与 14.2 节的思维链在这里被直接复用。

像带着对讲机探路的队员:每走几步就停下来想想(Thought)、请示指挥部或派人探路(Action)、听到回话(Observation)再决定往哪走,而不是闭着眼一口气冲到底。

  图 3 给出一条完整的 ReAct 轨迹(问答任务,内容为示意):

原创示意图 · 非论文原图 ReAct 轨迹示例:Thought 与 Action 由模型生成,Observation 由外部环境返回(内容为示意) 问题 《活着》的作者 出生于哪一年? Thought 1 先查这本书的作者是谁 Action 1 搜索[活着 小说] (结构化指令) Observation 1 《活着》是余华 创作的长篇小说 观察追加进上下文,开始下一轮 Thought 2 作者是余华, 接着查出生年份 Action 2 搜索[余华 出生] (结构化指令) Observation 2 余华,1960 年 出生于杭州 Thought 3 信息已足够, 可以作答 Action 3 结束[1960 年] (输出答案) 模型只负责生成 Thought 与 Action 两段文字;Action 由脚手架解析执行,Observation 由环境返回——执行权永远在外部 模型生成(Thought / Action) 环境返回(Observation) 用户输入
图 3:一条 ReAct 轨迹的交替节奏(蛇形排版,左上为起点)。模型逐轮生成 Thought(分析现状、规划下一步)与 Action(结构化指令),脚手架把 Action 交给外部环境执行,Observation 把结果带回上下文,如此往复,直到模型发出「结束」指令并给出答案。注意每一轮的输入都包含此前全部轨迹——这正是 14.5.4 上下文膨胀问题的来源。

  交替为什么是刚需,图 3 里看得很清楚。Thought 让模型显式地规划与自我纠偏——Observation 1 回来之前模型并不知道作者是谁,靠闭门推理硬猜,猜错就一路错到底;有了观察,错误猜测能被事实当场纠正。Action 则补上思维链的另一块短板:给模型开了一扇获取外部信息的窗。而 Action 行的格式并不是新发明,它正是 12.4 节结构化输出与 14.4 节工具调用请求的合体:脚手架只认规定写法,解析出来交给真正的执行器。

  效果方面,论文在两个可交互环境里做了验证:ALFWorld(文字描述的家居任务环境,比如「把洗干净的杯子放进柜子」)和 WebShop(模拟网购环境,要按预算与要求买到指定商品)。ReAct 的绝对成功率分别超过同期模仿学习、强化学习基线 34 与 10 个百分点(论文摘要)。在知识密集型基准 HotpotQA(多跳问答)与 FEVER(事实核查)上,论文进一步报告 ReAct 与思维链结合使用效果最好——推理与行动互补而非互斥。这组结果让「Thought/Action/Observation 循环」被后来的 Agent 系统广泛采用。

14.5.3 Reflexion 与自我纠错

  ReAct 让 Agent 会转圈了,但还留着一个遗憾:失败之后重跑,模型对上次为什么失败一无所知——权重不变,上下文一清空,教训归零,同样的错误可能再犯一遍。Reflexion(Shinn et al., 2023,发表于 NeurIPS 2023,arXiv:2303.11366)补的就是这块短板:既然不能改权重,那就把「教训」写成文字,放进下一轮的上下文里。

Reflexion reflection = 反思;失败后把教训写成文字,带进下一次尝试

Reflexion 是发表于 NeurIPS 2023 的自我纠错框架,在 Agent 循环外加三个角色:Actor(LLM,照 ReAct 等方式生成整条轨迹)、Evaluator(给轨迹判分:可以是环境自带的成败信号,如单元测试是否通过、任务是否完成,也可以是启发式评分)、Self-Reflection(另一个 LLM,把失败轨迹与评分翻译成一段具体的文字反思,例如「错在没先确认约束条件,下次应先核对再行动」)。反思被存进情景记忆(episodic memory,跨轮保留的外部存储),下一次尝试时拼进 Actor 的上下文。论文把这套机制称为口头强化学习(verbal reinforcement learning):奖励信号没有被反向传播成梯度,而是被翻译成文字、经由上下文影响下一轮行为——一个参数都不动。

像考试后写错题本:分数本身改不了脑子,但把「为什么错、下次怎么办」写下来,考前翻一遍,下次就不容易重蹈覆辙。

  图 4 画出三个角色与情景记忆组成的完整回路:

原创示意图 · 非论文原图 Reflexion:失败后生成文字反思,存入情景记忆,带进下一轮重试(全程不改权重) 任务 (可重复尝试) Actor LLM 生成整条轨迹 (如 ReAct 循环) 环境执行 运行动作、跑测试 返回结果 Evaluator 给轨迹判分: 成败信号 / 启发式评分 任务成功? 成功 输出结果 (保留成功轨迹) 失败 Self-Reflection LLM 把失败写成 一段文字反思 写入 情景记忆 存历次反思文字 (跨轮保留) 下一轮:反思拼进 Actor 上下文,重新尝试 反思是文字、不是梯度:权重一个参数不动,「学习」发生在上下文里——论文称之为口头强化学习(verbal reinforcement learning)
图 4:Reflexion 的自我纠错回路。Actor(LLM)生成轨迹,环境执行后由 Evaluator 判分;成功则输出结果,失败则由 Self-Reflection(另一个 LLM)把失败轨迹翻译成一段文字反思,写入情景记忆,下一轮尝试时拼进 Actor 的上下文。整条回路不更新任何参数,「学习」全部发生在上下文层面。

  效果上,论文给出的代表性数字来自代码生成基准 HumanEval:带 Reflexion 的 Agent 把 pass@1(只生成一次、通过全部测试用例的概率)推到 91%,超过 GPT-4 裸跑基线;在 ALFWorld 决策任务与 HotpotQA 问答上同样有稳定提升(论文摘要)。值得再强调一次:这些提升没有更新任何参数,「学习」完全发生在上下文层面。

  注释:Reflexion 不是免费的午餐,它有两个前提。其一,Evaluator 得给得出可靠的成败信号——有单元测试的代码任务信号最干净,开放式任务(写一份好报告)没有明确判据,反思就失去方向。其二,反思本身也是模型生成的,可能反思错重点,把下一轮带偏。两个前提都不满足时,加反思未必比直接重试强。

14.5.4 Agent 的可靠性与局限:错误累积、上下文膨胀、评估难

  讲了三节组装的艺术,最后必须泼点冷水:今天的 Agent 远谈不上可靠。三个结构性问题几乎每个实践者都会撞上。

  错误累积。单步成功率再高,也经不起步数连乘。设每步成功率 \(p\),各步独立,则 \(n\) 步全程走对的概率是:

\[ P_{\mathrm{succ}} = p^{\,n} \tag{1} \]
公式 (1):多步任务全程成功的概率(各步独立的理想情形)。符号说明:\(p\) 是单步成功率(如 0.9);\(n\) 是任务的步数;\(P_{\mathrm{succ}}\) 是 \(n\) 步全部走对的概率。两个可复算的例子:\(p = 0.9,\ n = 10\) 时 \(0.9^{10} \approx 0.35\);\(p = 0.95,\ n = 20\) 时 \(0.95^{20} \approx 0.36\)——单步九成五的成功率,连跑二十步后只剩三分之一强。真实 Agent 往往比这更糟:独立假设已经偏乐观,一步的错误观察进入上下文后会带偏后续每一步,错误是有传染性的。

  上下文膨胀。每一轮的 Observation——搜索结果、网页正文、工具返回值——都被原样堆进上下文。几十轮下来,轨迹轻松吃掉几万 token:既推高成本与延迟(KV Cache 的账见第 13 章),又可能撑爆窗口;噪声观察堆多了还会稀释模型对关键信息的注意力。工程上的常见对策是给观察做摘要、只保留与当前子目标相关的片段,或把子任务拆给上下文独立的子 Agent。

  评估难。单次问答看最终答案对错即可,Agent 的轨迹却有几十步:最终结果对不代表过程合理(可能蒙对),过程流畅也可能结论错误;环境本身有随机性,同一任务跑两遍结果不同,需要大量重复实验才有统计意义。Agent 综述(arXiv:2309.07864)把评估列为该方向的核心开放问题之一。三个局限与常见对策汇总如下:

局限成因常见对策
错误累积成功率按步数幂次衰减(公式 (1)),错误经上下文传染限制单轮步数、拆小任务、关键节点人工确认、Reflexion 式复盘
上下文膨胀每轮观察全文回注,轨迹越滚越长观察摘要、只保留相关片段、子任务拆给独立上下文
评估难轨迹长、环境随机、过程与结果不完全对应终点判定与轨迹检查结合、多次重复取分布

  易错点:论文里的 Agent 环境(ALFWorld、WebShop)全部可以回滚重来,真实世界不行。把 Agent 接到能删数据、转账、发邮件的接口上时,公式 (1) 里的 \(p\) 就不再只是性能指标,而是事故概率——不可逆操作的执行权必须留在人手里,或加上硬门槛(14.4 节「执行权在外部」是最后的防线)。

  收尾看一眼全景:Agent 是本章五个零件里集成度最高的一个——Prompt 工程(14.1)给它定格式,思维链(14.2)给它思考,RAG(14.3)给它资料,Function Calling(14.4)给它双手,本节给它循环与记忆。下一章(第 15 章)会把同样的「外挂与组装」思路推广到文字之外的模态:给模型接上眼睛。

🧭本节要点回顾
Agent 和普通问答的本质区别在哪?它换了新模型吗?
没有。模型还是原来那个模型,每一步都是第 12 章讲过的一次普通解码,权重全程不变。区别在于模型外面多了一个由脚手架驱动的循环:生成行动指令 → 外部执行 → 观察结果回注上下文 → 再生成。Agent = LLM + 规划 + 工具 + 记忆,四样零件全部来自前面章节,新的是组装与闭环。
ReAct 为什么让 Thought 和 Action 交替,而不是纯推理或纯行动?
纯思维链闭门造车,拿不到新信息,事实错了就一路错到底;纯行动没有显式规划,多步任务容易迷失。交替之后,Thought 负责规划与自我纠偏,Action 打开获取外部信息的窗,Observation 当场纠正错误猜测。效果:ALFWorld 与 WebShop 上绝对成功率超基线 34 与 10 个百分点(arXiv:2210.03629 摘要)。
多步闭环最大的敌人是什么?Reflexion 怎么帮忙?
错误累积:各步独立时全程成功率 \(P_{\mathrm{succ}} = p^{\,n}\) 按幂次衰减,且错误会经上下文传染。Reflexion(arXiv:2303.11366)让 Evaluator 判分、Self-Reflection 把失败写成文字反思、存进情景记忆带进下一轮——不改一个参数,把「学习」搬进上下文,HumanEval pass@1 达 91%(论文摘要)。但它依赖可靠的成败信号,开放式任务上反思质量没保障。

参考来源

  • Yao et al., 2022. ReAct: Synergizing Reasoning and Acting in Language Models(arXiv:2210.03629,ICLR 2023):Thought / Action / Observation 交替循环的提出;ALFWorld 与 WebShop 上绝对成功率分别超基线 34 与 10 个百分点;HotpotQA、FEVER 上与思维链结合效果最佳。关键数字以论文摘要为准。
  • Shinn et al., 2023. Reflexion: Language Agents with Verbal Reinforcement Learning(arXiv:2303.11366,NeurIPS 2023):Actor / Evaluator / Self-Reflection 三角色与情景记忆、口头强化学习的提法、HumanEval pass@1 达 91% 超过 GPT-4 裸跑基线。关键数字以论文摘要为准。
  • Xi et al., 2023. The Rise and Potential of Large Language Model Based Agents: A Survey(arXiv:2309.07864):大脑 / 感知 / 行动三组件框架;Agent 方向评估难题的综述性讨论。
  • minimind(Apache 2.0)eval_llm.py:base 模型裸拼 bos_token + prompt(74 行)、chat 模型 apply_chat_template(76 行),作为「无 Agent 单轮问答」的代码对照。
  • 本手册第 12 章(解码机制)、12.4 节(结构化输出)、14.1 节(Prompt 工程)、14.2 节(思维链)、14.3 节(RAG)、14.4 节(Function Calling):Agent 各零件的机制出处。