From State to Action: OODA-Tool for Reliable Multi-Turn Tool Use 精读

论文链接：arXiv:2608.24368 发表时间：2026年8月（AACV 2026） 机构：论文未逐一致谢单一机构，作者团队含 Rongfeng Guo、Yinxuan Huang（共同一作）、Vincent Tao Hu（通讯）等 8 人；研究为学术机构成果，无企业署名 领域标签：cs.AI（多轮工具使用 / agent 决策架构）

一、论文背景

多轮工具使用是什么？ LLM agent 要靠搜索引擎、数据库、代码执行器、业务 API 等外部工具解决超出参数知识范围的任务。与单轮问答不同，多轮工具使用中每个调用的合法性取决于随任务展开而变化的交互状态——上一轮搜到了什么、用户补充了什么约束、哪些槽位还缺信息。

为什么难？ 评测反复表明单轮性能不能迁移到有状态的长程交互；语法合法+最终完成也不等于行为正确——逐步评估会暴露被总体结果掩盖的失败：一个调用可能格式完美，却建立在过期的或无依据的信息上。就像司机只顾看下一个路口，却忘了乘客两公里前说过的目的地。

现有设计留下的缺口：大多数 agent 设计把"累积状态"与"下一个动作"之间的连接留在模型内部隐式表示里。直接函数调用策略在一次生成里把历史映射到具体调用；ReAct 让推理可见，但推理是自由文本而非控制器可检查的状态。StateFlow 用显式状态机外化了部分控制，但状态与动作的衔接仍未类型化。

本文命名的失败模式——状态-动作竞争（state-action competition）：直接函数调用和 ReAct 式策略在同一条自回归轨迹里同时学状态跟踪和动作生成。自回归生成的天性是"下一个 token 压倒一切"——产出下一个调用的即时代价与奖励，会覆盖或忽略交互早期积累的信息。模型可能对最新一轮回应得当，却没把早先的约束或状态更新带进下一个动作。

二、论文定位和关联工作

• 单轨迹工具使用线：Toolformer、直接函数调用、ReAct（先自由文本思考再行动）——共同点是一条自回归轨迹包办一切，状态跟踪隐式。
• 角色分工线：α-UMi 把规划/调用/总结分到三个模型；Plan-and-Act 分离规划与执行。这些工作按角色切分，OODA-Tool 按决策状态的类型切分——Observe/Orient/Decide/Act 各有类型化接口与校验。
• 状态机控制线：StateFlow 用显式状态转移外化部分控制，是 OODA 思想的前驱；OODA-Tool 与它的区别是把"状态是否支持执行"（Orient）与"动作结构是否合规"（Decide）变成独立的类型化检查点。
• 灵感源头：博伊德的 Observe–Orient–Decide–Act 循环（军事指挥控制理论）。OODA 的要点不是"把推理分四步"，而是在观察与行动之间维护连贯状态——新信息先对照当前态势图解释，行动后果再更新态势图进入下一循环。

三、问题定义

具体场景：第 t 轮，agent 观察有序交互历史 hₜ = ⟨(u₁,a₁,o₁),…,(uₜ₋₁,aₜ₋₁,oₜ₋₁), uₜ⟩ 与工具库 T，需产出下一个外部输出。

核心洞察：单体策略 aₜ ∼ πθ(·|hₜ,T) 把四件事——任务状态重建、执行就绪评估、动作结构选择、schema 落地——耦合在一个隐式表示里。耦合的后果就是状态-动作竞争：状态信息与动作生成争夺同一份自回归注意力。

类比：这就像让一个人边听写边心算——听写（生成下一个词）的即时代价会不断冲刷心算的中间结果。解法不是"更专心"，而是把心算结果写在纸上（类型化状态），每一步先核对纸面再动笔。

形式化：把决策表示为三个类型化中间状态加一个落地动作：

• zᴼₜ = fᴼ(hₜ,T)（Observe 状态）
• zᴿₜ = fᴿ(zᴼₜ, hₜ,T)（就绪状态）
• zᴰₜ = fᴰ(zᴼₜ, zᴿₜ, hₜ,T)（动作结构）
• aₜ = fᴬ(zᴼₜ, zᴿₜ, zᴰₜ, hₜ,T)（实现的外部输出）

中央控制器强制 zᴰₜ ∈ Z_D(zᴿₜ)——Decide 不能在 Orient 判定"需澄清/需恢复/直接回复/终止"时授权工具调用结构。

精妙之处：这个分解不改变环境、不改变可见信息，只改变决策的表示、监督与发出前的检查方式。它还给出一个可证伪的实证预测：收益应集中在"跨轮携带状态决定成败"的任务上，随骨干容量增大而递减，在纯并行调用扩展上收益有限——论文结果完全兑现了这三条预测。

四、问题解法

4.1 四阶段类型化决策（类比：情报→研判→定案→执行）

• Observe（任务状态重建）：把历史转为带溯源的任务状态，字段语义固定：当前目标、实体、活跃值、证据来源、约束、未完成子目标、近期工具事实、状态变化。类比情报员整理态势图——每条信息标注来自哪里。
• Orient（执行就绪）：正确的任务状态不等于该行动。Orient 预测五种响应模式之一：SOLVABLE_WITH_TOOL / NEED_CLARIFICATION / RESPOND_DIRECTLY / RECOVER_FROM_FAILURE / DONE，并记录缺失槽位、违反的约束、不可用的工具。类比参谋研判"现在能不能打"——证据不足就阻断执行。
• Decide（动作结构）：就绪状态下实例化被允许的动作结构——选单次调用、串行链或并行集，指定目标工具、调用顺序、数据依赖，但不展开最终参数值。非工具模式则保留授权的澄清/直答/恢复/终止分支。就绪判断与动作结构错误从此和参数实现错误分开。
• Act（schema 落地）：把动作结构编译成可执行调用——从活跃状态或已完成工具返回绑定值、做 schema 允许的确定性转换、解析对早期输出的引用、校验必需键与格式。非工具模式则发出授权的澄清问题、恢复动作、直接回答或终止响应。并行与重复调用在这一步压力最大——一个动作结构要展开成多个正确绑定的调用对象。

4.2 三种参数化与阶段监督

为解耦"类型化监督/多趟推理/阶段特化"三种效应，设计了三个变体：Joint OODA（一次模型调用序列化输出四阶段）、Shared OODA（四次阶段调用共享一个 LoRA）、Specialized OODA（每阶段一个 LoRA，共享冻结骨干）。监督目标由 Constraint Policy 生成：每轮构造可见前缀 hₜ 与当前轮金标注 gₜ（金响应模式、动作结构、实现输出），排除未来用户轮、当前金动作产生的观察、以及仅由该观察揭示的事实——保证上游目标不依赖"执行后才能知道"的信息（防止标签泄漏）。

4.3 状态充分性检验（typed-state bottleneck）

默认设置每个阶段都能看 hₜ；为检验类型化状态是否真的保留了下游所需信息，瓶颈变体剥夺 Orient/Decide/Act 的历史访问，只留类型化上游状态与工具 schema。若性能只是小幅下降，说明 Observe 状态保留了绝大部分任务相关历史、就绪状态携带的是可行动信息而非事后解释。

4.4 统一契约：同一套约束既监督训练又校验推理

Active-State Alignment（拒绝被覆盖的旧值）、Readiness Alignment（可执行才行动）、Source-Grounding Alignment（每个参数有证据）三类契约，在训练时作为监督目标构造规则，在推理时作为运行时校验——中间状态和最终动作受同一套契约约束。

五、评估指标与实验证据

设置：主基准 ToolDial 官方划分 11,111 个多轮工具使用会话；Qwen3-Instruct 骨干 0.6B/1.7B/4B/8B/14B 全 LoRA（r=32, α=64, all-linear，骨干/嵌入/lm_head 冻结，8192 token，BF16+FlashAttention2）；对照 Direct-LoRA、ReAct-LoRA、Direct-SC@4（4 样本聚合）、α-UMi（Planner/Caller/Summarizer 三角色）。迁移评测用 FAIL-TaLMs、MTU-Bench、BFCL（保留 ToolDial 训练的 adapter，零样本、无上下文示范）。

指标体系：Task Success（工具调用轮要求 tool_exact+argument_exact+schema_valid）、Tool Exact、Ask–Act Accuracy 为主；typed 状态方法另报 State Slot F1、Typed Constraint Consistency；全方法报 premature call 率与 stale/ungrounded argument 率。

RQ1 主结果（ToolDial Task Success，%）：

Specialized OODA 在每个规模都拿最高 Task Success，比 Direct-LoRA 分别高 6.86/6.79/6.99/5.94/4.48 分——模型越小增益越大；Joint→Shared→Specialized 的单调递进说明多趟分解与阶段特化各有贡献。

RQ2 增益何时最大：按任务结构切片（1.7B 时对 Direct-LoRA 的提升）：长历史 +16.3、缺信息 +15.9、状态变更 +14.7、深度依赖 +14.4、活跃约束 +13.1、多工具 +13.8——状态密集型全面两位数提升；并行调用仅 +3.2，且大模型上进一步收窄到 +1.1（14B）。

RQ3 消融（1,250 机制轮次）：w/o Orient 掉得最狠（尤其在缺信息轮）——执行门控是最大贡献者；w/o Decide–Act Split 在缺信息与多工具轮危害显著；w/o Typed States（自由文本替代类型状态）总量上接近但在结构化子集上骤降；w/o Stage-specific Adapters 影响最小——主要收益来自显式的分阶段状态构造，而非参数特化。

Grounding 错误（500 稀有错误池轮次）：Specialized OODA 的 premature call 率 3%、stale/ungrounded 参数率 4.5%，全部方法最低（Direct-LoRA 为 9%/7.5%）。

RQ4 迁移与代价：BFCL 上小骨干收益最清晰、随规模收窄；MTU-Bench 一致但温和；FAIL-TaLMs 上 1.7B 即近饱和。代价：Specialized OODA 四次串行调用，1.7B 时归一化延迟为 Direct-LoRA 的 2.36×；但同等调用次数的 Direct-SC@4 仍低于 OODA——增益来自结构化计算而非重复采样。

RQ5 类型化状态可行动吗：瓶颈变体（去下游历史）保留 Full OODA 大部分性能（降幅中等），但长历史/缺信息/多工具轮退化——类型化状态保留了大部分但非全部上下文。状态-动作矛盾率（SACR）：Joint 7.8% → Shared 5.6% → Specialized 3.9%，而去掉 Decide–Act 分割回升到 10.7%——6.8 个点的差距直接归因于"选动作"与"实现动作"的分离。

为什么这些实验能证明论点：论文先从机制假设推出三条可证伪预测（状态密集任务收益大、容量增大收益小、并行扩展收益小），再用切片、跨规模、迁移实验逐条兑现——这种"预测-验证"结构比单纯刷榜更有证明力；消融把每个组件的贡献分离，SACR 指标直接度量"状态-动作竞争"这一被命名的问题本身。

六、效果优势的根源解释

baseline 的根本局限：从表征层面看，单体策略让状态信息与动作生成共享同一份自回归表示与注意力预算。生成下一个调用的 token 级压力是即时的、局部的；而"三轮前用户提过的约束"在注意力中是遥远的、稀释的。这不是模型不够强，而是信息在表示中的生命周期不受保护——每次生成都是对历史的一次重新竞争。ReAct 的自由文本思考看似缓解，实则把状态又放在了同一竞争场上（思考也要被生成出来）。大骨干能部分恢复状态跟踪能力（增益随规模收窄正好印证），但小模型下这个瓶颈是结构性的。

OODA-Tool 的机制改变与因果链：

1. 状态获得独立载体与写保护：Observe 每轮显式重建带溯源的任务状态（zᴼ）→ 状态信息不再与动作生成竞争注意力，而是作为输入传给下游 → 长历史/状态变更/约束切片的两位数提升（+13~16pp）正是这些信息生命周期被延长的直接读数。
2. 执行门控阻断无据行动：Orient 的五分类就绪判断 + 控制器强制 zᴰ ∈ Z_D(zᴿ) → 证据不足时结构上不可能发出工具调用 → premature call 率压到 3%（Direct-LoRA 的三分之一）。
3. 选择与实现的分离消除残留竞争：Decide 只定结构（选哪些工具、什么顺序、何依赖，不含参数值），Act 才绑定值 → 参数绑定错误不再污染动作选择，反之亦然 → SACR 从 10.7% 降到 3.9%，w/o Decide–Act Split 消融在缺信息轮的骤降验证了这一环。
4. 溯源契约阻断跨字段替换：每个参数必须有证据来源（Source-Grounding Alignment）→ 图 6 的案例中 baseline 从用户选中的行复制了顺手的 museum_001（本地 ID），而 OODA 沿"用户选择→匹配行→Wikidata ID"的证据链绑定正确的 Q123456 → stale/ungrounded 参数率 4.5% 对 7.5%。
5. 反事实与边界：去掉阶段特化只小幅下降——证明收益主体来自接口结构而非参数扩容；Direct-SC@4 同调用数仍落后——排除"多算力"解释；并行调用收益仅 +3.2——动作展开（一个结构展开成多个调用）与跨调用绑定是结构未覆盖的残余瓶颈，作者如实标注为共同局限。

一句话：OODA-Tool 不是让模型"更聪明"，而是给状态信息修了一条不被动作生成冲刷的专用车道，并在每个路口设了关卡。

七、必要知识反推

假设一个零知识的人要做这项工作，他最少必须掌握：

• 领域知识层：多轮工具使用的失效形态（单轮→多轮的迁移落差、语法合法≠行为正确、过早调用与过期参数这两类隐性错误）——没有逐步评估的文献基础，命名不出 state-action competition；工具调用的 schema 结构与多轮对话状态追踪（DST）的传统——Observe 状态的字段设计（槽位/约束/溯源）直接承自 DST。
• 方法论知识层：博伊德 OODA 循环的原始思想（闭环、态势图、行动反馈更新态势）——迁移的源头；α-UMi 多角色协作与 Plan-and-Act 规划-执行分离的得失——知道按角色切与按状态切的差异；LoRA 适配与冻结骨干的训练范式；自回归生成的注意力学（理解"竞争"为何发生）。
• 工程知识层：ToolDial 数据的轮级视图构造（排除未来信息的防泄漏切分是监督质量的关键）；统一输出解析/规范化/校验的评测管线（保证方法间公平）；运行时控制器实现（类型校验、契约重试、就绪重路由）；跨基准（BFCL/MTU/FAIL-TaLMs）的转换与评分适配。

知识融合的关键节点：把军事指挥控制理论里"态势图先于行动"的原则，翻译成 LLM 决策的类型化接口+控制器校验——跨域迁移的关键不是照搬四步名词，而是识别出"状态保存与动作实现的分离"这个结构不变量。第二个节点是实验设计的预测性：先从机制假设演绎出三条可检验预测再设计实验，这让整篇论文的证据链从"有效"升级为"按机制预言的方式有效"。

八、论文中可以提取的通用性灵感

1. 同一载体上的竞争任务应分载体、加检查点（机制类）
   • 证据：状态与动作共享自回归轨迹时互相冲刷；分离后 SACR 10.7%→3.9%，长历史任务 +16.3pp。
   • 推广：任何"边维护全局状态边产出即时输出"的系统——流水线监控（状态板与报警分开）、会议记录（纪要与发言分开）、自动驾驶（世界模型与规划器分离）——都应审视两类信息是否在争夺同一表示。
2. 门控先行：先判"该不该动"再判"怎么动"（机制类）
   • 证据：w/o Orient 是最大消融项；premature call 率 3% 对 9%。
   • 推广：自动化交易（先判数据充分性再下单）、医疗诊断辅助（先判检查齐全再下结论）、CI/CD（先判前置条件再部署）——把就绪判断独立成可审计的显式步骤，能拦住大量"看起来能跑"的错误行为。
3. 选择与实现分离，让错误可归因（关注点分离类）
   • 证据：Decide 定结构、Act 绑参数；消融显示该分割在缺信息与多工具轮危害显著；两类错误从此分开度量。
   • 推广：API 编排（先定调用图再填参）、数据管道（先定依赖 DAG 再配连接）、法务文书（先定条款框架再填事实）——分离后每一级的错误都能定位到专属修复点。
4. 结构化计算优于重复采样（机制类）
   • 证据：同调用次数下 OODA 全面高于 Direct-SC@4；增益来自分解而非算力堆叠。
   • 推广：推理预算受限的场景（边缘设备、实时系统）应优先投资决策结构，而非暴力多次采样投票。
5. 诚实的边界报告增强可信度（方法论类）
   • 证据：论文明确报告并行调用是结构未覆盖的残余瓶颈（仅 +3.2pp）、延迟代价 2.36×、大模型上收益收窄。
   • 推广：任何方法论文、技术选型报告都应写清"何时无效、代价几何、规模边界在哪"——边界描述本身就是对机制主张的补充证据。