14.5 Agent:规划、工具与多步执行循环
本页范围:第 14 章第 5 节 | 整理时间:2026-10-10
14.4 节介绍了单轮工具调用:模型按 schema 发出结构化的调用请求,由外部代码执行。但一次调用只解决一步的事,而现实中的任务长得多:调研一个主题要先搜、再读、再筛选、再组织;修一个 bug 要先读代码、定位、改动、跑测试、看报错再改。这类任务需要根据中间结果调整方向的多步循环,这就是 Agent(智能体)。本节把前四节介绍的机制组合成完整流程。
本节按「定义 → 循环 → 纠错 → 边界」展开:先给 Agent 一个可检验的组成定义,再精讲两个奠基性工作 ReAct 与 Reflexion,最后直面它今天仍然不省心的可靠性问题。读完应能说清三件事:Agent 与普通问答的本质区别在哪,Thought / Action / Observation 各是什么角色,为什么多步系统的成功率会按幂次衰减。
- 从单次问答到多步闭环:Agent = LLM + 规划 + 工具 + 记忆(14.5.1):给 Agent 下定义,看清它如何复用前四节的零件;
- ReAct:推理与行动交替(Thought/Action/Observation 循环)(14.5.2):奠基性的循环格式,思考与行动为什么必须交替;
- Reflexion 与自我纠错(14.5.3):不改权重的「学习」——把失败写成文字反思,带进下一轮;
- Agent 的可靠性与局限:错误累积、上下文膨胀、评估难(14.5.4):算一笔幂次衰减的账,正视今天的瓶颈。
图 1 标出 Agent 与推理部署的关系。Agent 的多步循环由模型外部代码组织,模型权重从头到尾不变。
14.5.1 从单次问答到多步闭环:Agent = LLM + 规划 + 工具 + 记忆
14.1 到 14.4 节给的其实都是「一轮定胜负」的玩法:prompt 进去,一段文本出来——哪怕这段文本是一次工具调用请求(14.4 节),模型也只负责生成,连看一眼结果的机会都没有。Agent 要打破的正是这个一轮限制:让模型发出行动、看到行动的后果、再决定下一步,如此往复。这个能力不是训练出来的,而是模型外面的脚手架代码组织出来的。
Agent 具体由什么组成?复旦大学的 Agent 综述(Xi et al., 2023,arXiv:2309.07864)把基于 LLM 的智能体拆成三个组件:大脑(brain,LLM 本体,负责推理与决策)、感知(perception,接收环境信息)、行动(action,通过工具影响环境)。工程界更常把它写成一句口诀:
Agent = LLM(大脑)+ 规划(拆任务)+ 工具(办事情)+ 记忆(存轨迹)
四个零件没有一个是新的,全部来自前面章节:
大脑:LLM
每一步决策都是一次普通解码(第 12 章):读上下文、吐下一段文字。权重全程不变。
规划 Planning
把大任务拆成子目标与下一步动作,机制就是思维链的多步版本(14.2 节),树状搜索(ToT)也算。
工具 Tools
Function Calling 发出的结构化调用(14.4 节);RAG 检索(14.3 节)可视为一种只读工具。
记忆 Memory
短期记忆就是上下文里的对话与轨迹;长期记忆靠外部存储按需取回。14.5.3 的反思也存放在这里。
把这些零件串起来的是脚手架:它把任务交给模型,解析模型输出的行动指令,调用真正的工具,再把结果拼回上下文,请模型走下一步——直到模型自己说「做完了」。图 2 画出这个闭环的全貌:
图 2 区分了「生成」与「执行」:模型只生成文本,解析、调用、回注和重试都由外部代码完成。Agent 的机制来自外部循环对已有模型能力的组织。
Agent 的本质是组装:一次解码(第 12 章)、一段思维链(14.2 节)、一次检索(14.3 节)、一次工具调用(14.4 节),每一步都是旧动作;新的是外部脚手架把它们串成闭环,让模型能看到自己行动的后果再决定下一步。本章开头那句「不改权重,只在模型外面搭脚手架」,在 Agent 这里走到了极致。
注释:minimind(Apache 2.0)没有 Agent 实现,它的 eval_llm.py 恰好展示了「没有 Agent 时」长什么样:base 模型把 bos_token 与 prompt 直接拼接(74 行),chat 模型用 apply_chat_template 拼成对话格式(76 行),然后一次性 generate 出整段回复——下一步问什么由人决定。Agent 脚手架做的正是把「下一步做什么」从人手里接过来,交给代码与模型自己;但每一次生成仍是同样的一次前向解码。
14.5.2 ReAct:推理与行动交替(Thought/Action/Observation 循环)
闭环定了,下一个问题是:每一轮里模型该干什么?在 ReAct 之前有两条现成的路,各有明显短板。一条是纯思维链(14.2 节):从头到尾闭门推理,中途拿不到任何新信息,一旦某个事实记错,后面每一步都建立在错误前提上。另一条是纯行动:让模型直接输出一串动作,没有任何显式规划,面对多步任务容易迷失方向。ReAct(Yao et al., 2022,发表于 ICLR 2023,arXiv:2210.03629)给出的答案简单到出人意料:让两者交替——想一步,做一步,看一眼结果,再想下一步。
ReAct 是发表于 ICLR 2023 的 Agent 范式:模型按固定格式逐轮生成两段文字——Thought(思考:分析现状、规划下一步)与 Action(行动:一条结构化指令,如「搜索[词条]」「结束[答案]」);脚手架执行 Action,把环境返回的结果作为 Observation(观察)追加进上下文,再请模型生成下一段 Thought。如此交替,直到 Action 是「结束」。让模型学会这个格式不需要训练:prompt 里放几段人工写好的轨迹示例即可——14.1 节的 few-shot 与 14.2 节的思维链在这里被直接复用。
图 3 给出一条完整的 ReAct 轨迹(问答任务,内容为示意):
交替为什么是刚需,图 3 里看得很清楚。Thought 让模型显式地规划与自我纠偏——Observation 1 回来之前模型并不知道作者是谁,靠闭门推理硬猜,猜错就一路错到底;有了观察,错误猜测能被事实当场纠正。Action 则补上思维链的另一块短板:给模型开了一扇获取外部信息的窗。而 Action 行的格式并不是新发明,它正是 12.4 节结构化输出与 14.4 节工具调用请求的合体:脚手架只认规定写法,解析出来交给真正的执行器。
效果方面,论文在两个可交互环境里做了验证:ALFWorld(文字描述的家居任务环境,比如「把洗干净的杯子放进柜子」)和 WebShop(模拟网购环境,要按预算与要求买到指定商品)。ReAct 的绝对成功率分别超过同期模仿学习、强化学习基线 34 与 10 个百分点(论文摘要)。在知识密集型基准 HotpotQA(多跳问答)与 FEVER(事实核查)上,论文进一步报告 ReAct 与思维链结合使用效果最好——推理与行动互补而非互斥。这组结果让「Thought/Action/Observation 循环」被后来的 Agent 系统广泛采用。
14.5.3 Reflexion 与自我纠错
ReAct 让 Agent 会转圈了,但还留着一个遗憾:失败之后重跑,模型对上次为什么失败一无所知——权重不变,上下文一清空,教训归零,同样的错误可能再犯一遍。Reflexion(Shinn et al., 2023,发表于 NeurIPS 2023,arXiv:2303.11366)补的就是这块短板:既然不能改权重,那就把「教训」写成文字,放进下一轮的上下文里。
Reflexion 是发表于 NeurIPS 2023 的自我纠错框架,在 Agent 循环外加三个角色:Actor(LLM,照 ReAct 等方式生成整条轨迹)、Evaluator(给轨迹判分:可以是环境自带的成败信号,如单元测试是否通过、任务是否完成,也可以是启发式评分)、Self-Reflection(另一个 LLM,把失败轨迹与评分翻译成一段具体的文字反思,例如「错在没先确认约束条件,下次应先核对再行动」)。反思被存进情景记忆(episodic memory,跨轮保留的外部存储),下一次尝试时拼进 Actor 的上下文。论文把这套机制称为口头强化学习(verbal reinforcement learning):奖励信号没有被反向传播成梯度,而是被翻译成文字、经由上下文影响下一轮行为——一个参数都不动。
图 4 画出三个角色与情景记忆组成的完整回路:
效果上,论文给出的代表性数字来自代码生成基准 HumanEval:带 Reflexion 的 Agent 把 pass@1(只生成一次、通过全部测试用例的概率)推到 91%,超过 GPT-4 裸跑基线;在 ALFWorld 决策任务与 HotpotQA 问答上同样有稳定提升(论文摘要)。值得再强调一次:这些提升没有更新任何参数,「学习」完全发生在上下文层面。
注释:Reflexion 不是免费的午餐,它有两个前提。其一,Evaluator 得给得出可靠的成败信号——有单元测试的代码任务信号最干净,开放式任务(写一份好报告)没有明确判据,反思就失去方向。其二,反思本身也是模型生成的,可能反思错重点,把下一轮带偏。两个前提都不满足时,加反思未必比直接重试强。
14.5.4 Agent 的可靠性与局限:错误累积、上下文膨胀、评估难
讲了三节组装的艺术,最后必须泼点冷水:今天的 Agent 远谈不上可靠。三个结构性问题几乎每个实践者都会撞上。
错误累积。单步成功率再高,也经不起步数连乘。设每步成功率 \(p\),各步独立,则 \(n\) 步全程走对的概率是:
上下文膨胀。每一轮的 Observation——搜索结果、网页正文、工具返回值——都被原样堆进上下文。几十轮下来,轨迹轻松吃掉几万 token:既推高成本与延迟(KV Cache 的账见第 13 章),又可能撑爆窗口;噪声观察堆多了还会稀释模型对关键信息的注意力。工程上的常见对策是给观察做摘要、只保留与当前子目标相关的片段,或把子任务拆给上下文独立的子 Agent。
评估难。单次问答看最终答案对错即可,Agent 的轨迹却有几十步:最终结果对不代表过程合理(可能蒙对),过程流畅也可能结论错误;环境本身有随机性,同一任务跑两遍结果不同,需要大量重复实验才有统计意义。Agent 综述(arXiv:2309.07864)把评估列为该方向的核心开放问题之一。三个局限与常见对策汇总如下:
| 局限 | 成因 | 常见对策 |
|---|---|---|
| 错误累积 | 成功率按步数幂次衰减(公式 (1)),错误经上下文传染 | 限制单轮步数、拆小任务、关键节点人工确认、Reflexion 式复盘 |
| 上下文膨胀 | 每轮观察全文回注,轨迹越滚越长 | 观察摘要、只保留相关片段、子任务拆给独立上下文 |
| 评估难 | 轨迹长、环境随机、过程与结果不完全对应 | 终点判定与轨迹检查结合、多次重复取分布 |
易错点:论文里的 Agent 环境(ALFWorld、WebShop)全部可以回滚重来,真实世界不行。把 Agent 接到能删数据、转账、发邮件的接口上时,公式 (1) 里的 \(p\) 就不再只是性能指标,而是事故概率——不可逆操作的执行权必须留在人手里,或加上硬门槛(14.4 节「执行权在外部」是最后的防线)。
收尾看一眼全景:Agent 是本章五个零件里集成度最高的一个——Prompt 工程(14.1)给它定格式,思维链(14.2)给它思考,RAG(14.3)给它资料,Function Calling(14.4)给它双手,本节给它循环与记忆。下一章(第 15 章)会把同样的「外挂与组装」思路推广到文字之外的模态:给模型接上眼睛。
参考来源
- Yao et al., 2022. ReAct: Synergizing Reasoning and Acting in Language Models(arXiv:2210.03629,ICLR 2023):Thought / Action / Observation 交替循环的提出;ALFWorld 与 WebShop 上绝对成功率分别超基线 34 与 10 个百分点;HotpotQA、FEVER 上与思维链结合效果最佳。关键数字以论文摘要为准。
- Shinn et al., 2023. Reflexion: Language Agents with Verbal Reinforcement Learning(arXiv:2303.11366,NeurIPS 2023):Actor / Evaluator / Self-Reflection 三角色与情景记忆、口头强化学习的提法、HumanEval pass@1 达 91% 超过 GPT-4 裸跑基线。关键数字以论文摘要为准。
- Xi et al., 2023. The Rise and Potential of Large Language Model Based Agents: A Survey(arXiv:2309.07864):大脑 / 感知 / 行动三组件框架;Agent 方向评估难题的综述性讨论。
- minimind(Apache 2.0)eval_llm.py:base 模型裸拼
bos_token+ prompt(74 行)、chat 模型apply_chat_template(76 行),作为「无 Agent 单轮问答」的代码对照。 - 本手册第 12 章(解码机制)、12.4 节(结构化输出)、14.1 节(Prompt 工程)、14.2 节(思维链)、14.3 节(RAG)、14.4 节(Function Calling):Agent 各零件的机制出处。