IAPO：用影响依赖图重路由轨迹优势，解决多轮服务 Agent 的信用分配 —— 精读

论文链接：https://arxiv.org/abs/2608.24588

发表时间：2026年8月（arXiv:2608.24588v2，26 Aug 2026，cs.LG）

机构：WeChat, Tencent Inc.（腾讯微信）——纯企业团队（Bo Ren、Yirong Mao 同等贡献，Wenhui Que 通讯）。这是微信一线业务场景（售后客服、账务办理类多轮交互）反哺出的训练方法，服务 Agent 正是微信生态的核心落地形态之一

领域标签：LLM Agent 强化学习 / 信用分配 / 多轮交互 / cs.LG

一、论文背景：奖励只告诉你「赢了」，不告诉你「谁立了功」

1.1 多轮服务 Agent：信息逐步展开的任务

想象一个电商售后场景：用户说「给我退掉 7 号订单」。此时任务信息并不完整——退款退到原银行卡还是退成店铺余额？Agent 需要先追问，用户回答「退到卡上」，Agent 才能调 get_order(#7) 查单、再调 refund(#7, card) 完成退款。论文把这类设定称为演化状态（evolving-state）：任务目标、约束、操作状态都是在交互中逐步实例化的，而不是在第一轮 prompt 里就给全。

这带来了一个典型的 RL 痛点——信用分配（credit assignment）：整场对话结束时环境只给一个终端奖励（任务成没成）。但「成功」这条轨迹里，早期那句澄清提问的价值，要到后面用户回答、工具返回之后才显现出来；而「失败」的轨迹里，也不一定是所有动作都有错，可能只是某一步查错了账户。最终奖励无法区分这些中间动作的贡献差异。

1.2 GRPO 的「大锅饭」与现有精细化方案的代价

以 GRPO 为代表的组相对策略优化把同一个轨迹级优势广播给每个可训练 token——这就是「大锅饭」：一场胜仗，前锋和后勤同功；一场败仗，人人挨板子。对演化状态交互，这种平坦信号信噪比极低。

现有精细化方案各有代价，论文归纳为两类，并指出它们在服务 Agent 场景的根本性水土不服：

• 跨轨迹方法（GiGPO 依赖跨 rollout 递归的环境状态；树搜索/重置方法依赖可分叉、可重置的环境和额外续写采样）：但自由形式的用户对话与工具返回几乎不产生可比较的状态组，真实用户无法被忠实地「重置」或「分叉」——你没法让用户把刚才那句话再说一遍然后走另一条剧情线。
• 单独打分方法（InfoPO 的掩码上下文反事实、SWEET-RL 的 step critic、教师模型、turn 级奖励塑形）：都在奖励之外新增了一条打分通道，这个信号在任务完成度之外计算，可能与任务完成目标漂移（drift）。

一句话概括现有格局：没有任何方法只利用「单条已完成交互内部已实现的依赖结构」来重分配结果信用——而这正是 IAPO 的切入点。

二、论文定位和关联工作

2.1 研究谱系：多轮 Agent RL 信用分配的四条路线

2.2 用户在环 RL 谱系

MUA-RL 首先把「用户」放进 RL 循环（模拟用户+活工具），UserRL 加 turn/轨迹两级塑形，SWEET-RL 用训练时特权信息训 critic。这些工作的共同点：都在采样 rollout 之外加东西（塑形奖励、critic、内在奖励、合成轨迹）。IAPO 的哲学恰恰相反：基线已经采样出的 rollout 里就写着「谁的信息被谁用了、谁的错误被谁修复了」，只是没人去读。它与 MUA-RL 的对比很有代表性：MUA-RL-8B 在 τ² 上 35.63，IAPO 42.18。

定位结论：IAPO 属于「最小侵入」派——不动奖励、不动采样、不动组归一化和裁剪损失，只改轨迹优势到 token 的映射函数。这使得它理论上可以叠加在任何 GRPO 变体上。

三、问题定义

3.1 从具体场景到抽象洞察

具体问题：多轮服务对话的 RL 训练中，如何把一个标量终端奖励公平地分摊到几十个中间动作上？

论文的关键洞察是一个结构相似性：一条已完成的交互轨迹，其实已经记录了动作之间的信息流与错误流——后来的动作消费了先前动作 elicite（引出）或提供的信息单元；或者重复了先前的错误、使用了其无效输出、因其被迫回退。依赖结构不是需要额外构造的东西，它就躺在 transcript 和工具日志里。

类比：把轨迹想成一家公司的项目复盘。GRPO 的做法是「项目赚钱了，全员等额发奖金」；IAPO 的做法是调出协作记录（谁提供的数据被谁的方案引用了、谁的失误导致谁返工），按实际影响面发奖金——奖金总额不变，只是重新分配。

3.2 形式化定义

给定：轨迹 τ = (o₁,a₁,o₂,a₂,…,o_T,a_T)（o 为观测、a 为动作、L_i 为动作 i 的 token 长度）；终端奖励 R_τ；GRPO 组内归一化优势 Â_τ = (R_τ−μ_G)/(σ_G+ε)。

求：逐动作权重 w=(w₁,…,w_T)，使 token 级优势 A_{i,ℓ} = Â_τ·w_i 满足三条硬约束：w_i>0、Σᵢ L_i·w_i = L（质量守恒，总优势量不变）、无信息图时 w_i=1（均匀回退）。权重只能来自轨迹内部已实现的依赖证据，不得引入额外奖励通道或对照采样。

精妙之处：约束设计使 IAPO 成为一个纯重分配算子——它不改变优势的总量与符号，只改变「谁多拿谁少拿」。这保证了它是对 GRPO 的严格细化而非另起炉灶：最坏情况（图无信息）精确退回 GRPO。

四、问题解法

IAPO 流水线：完成 rollout → 冻结标注器建图 → 图特征 → 有界权重 → 符号条件路由 → 逐 token 优势。

4.1 带类型的影响依赖图：什么才算一条「依赖边」

节点是全部可训练的 assistant 动作；边分两种符号，且边的符号独立于轨迹优势的符号（成功轨迹里也有错误，失败轨迹里也有漂亮的支持链）：

• 支持使用边 i→⁺j：动作 j 消费了 i 提供或引出的信息（标注类型 input / success_utilization）；
• 失败使用边 i→⁻j：j 重复了 i 的可观测错误、使用了 i 的无效输出、或因 i 被迫回退（类型 failed_utilization）。

外加错误指示器 e_i∈{0,1}：i 是否携带可观测错误（工具/模式/运行时/规则失败，或用户/环境的显式拒绝）。一个细节值得注意：目标修订本身不算错误，除非该修订否定了前一个动作——用户改主意是服务场景常态，不能一律当负面信号。

接受一条边的三条件（防「主题相似即连边」的噪声）：

1. 必要性：j 引用了源自 i 的具体信息单元（实体值、工具返回字段、错误 trace），且删掉该单元后 j 的参数或决策失去支撑——只共享话题/领域不够；
2. 显式绑定：信息单元必须绑定到 j 的具体元素（意图参数、工具调用实参、条件分支、错误恢复动作）——抽象主题相似不算；
3. 来源优先：多个先前动作提供重叠信息时，保留最全面的来源，平局取最早；只有互不重叠的信息单元才允许多源引用。

用户发言与工具返回只做证据：用户回复溯源到引出它的 assistant 动作，工具返回溯源到产生它的工具调用——从而「借道观测」的信息也能正确记到当初那个动作头上。

4.2 图特征：对数度数刻画影响面

d⁺_i（出支持边数）、d⁻_i（出失败边数）、d_in_i（消费的支持证据数 = 直接用户输入 + 入支持边）：

φ⁺_i = log(1 + d⁺_i + d_in_i)              支持分：下游消费者+上游来源越多越高
φ⁻_i = log(1 + e_i·(1 + d⁻_i + d_in_i))    错误分：无错误(e_i=0)时恒为 0

φ⁻ 的门控设计很讲究：只有可观测错误存在时才非零，内层统计错误本身 + 下游失败使用 + 该错误动作消费过的支持证据。

4.3 从特征到有界权重：围绕 1 的乘法修正

为什么用乘法权重而不用加法偏移？因为加法修正可能改变优势的符号或总量，破坏「纯重分配」承诺。IAPO 的做法（式 4）：对特征做长度加权标准化 → 裁剪到 ±c → 指数化 → 归一化使长度加权均值为 1：

m_i = exp(clip(z_i, −c, c)) / Σⱼ Lⱼ·exp(clip(z_j, −c, c))

高于均值的动作权重 >1、低于均值 <1，c 封顶单个动作能偏离多远（防 hub 节点垄断整个更新）。对 φ⁺ 得支持权重 m⁺，对 φ⁻ 得错误权重 m⁻。

4.4 符号条件路由：成功归功、失败问责走不同的路

这是全文最精彩的设计——正负优势的路由证据不同：

• 正优势 rollout（Â_τ>0）：起点是支持权重 m⁺，但对「携带错误后来被下游修复」的动作打折——按其高于均值的错误证据 ψ⁻_i 指数折扣后重归一化：

  w⁺_i(β⁺) = L·m⁺_i·exp(−β⁺ψ⁻_i) / Σⱼ Lⱼ·m⁺_j·exp(−β⁺ψ⁻_j)    （默认 β⁺=0.05）
  

  直觉：成功的轨迹里，「先犯错、被队友擦屁股」的步骤不该和干净的步骤同酬。

• 负优势 rollout（Â_τ<0）：直接骑在错误权重上，w⁻_i = m⁻_i。直觉：失败时错误众多、归因困难，支持性复用未必有错——保守地把责难集中到有可观测错误的动作上，避免错怪无辜的支撑性动作（φ⁻ 只在错误后非零，天然稀疏）。

最终 A_{i,ℓ} = Â_τ·w_i 喂给完全相同的裁剪损失。四条命题（附录 B 有证明）锁死安全性：

4.5 训练配置速览

Qwen3-4B/8B（关闭 thinking），verl/FSDP GRPO 栈，8×H20，N=16 样本/prompt，最多 30 轮；依赖标注用冻结的 Qwen3-32B（温度 0），每个 rollout 标注后缓存供对应策略更新使用；评测用 held-out 的 GPT-5.2 用户模拟器（τ² 协议）。默认超参：β⁺=0.05、c=0.25、w⁻=m⁻。

五、评估指标与实验证据

5.1 指标与基准

训练集仅 τ²-Bench 训练分割 178 个任务（airline/retail/telecom）——极小规模，对比 Fission-GRPO 用了跨 11 域合成的 630 任务。评估：

• τ²-Bench（held-out 测试，域宏 pass^1，多轮任务成功率）：主战场，双控环境（用户与 agent 都能影响状态）；
• UserBench（travel T22/T33/T44，官方多选 Score）：测逐轮累积偏好的泛化；
• AgentChangeBench（banking/education，TSR）：测交互中途目标漂移的鲁棒性；
• BFCL-v4 Multi-Turn：函数调用保持度检查（OOD 退化检测）。

5.2 核心数值证据

Table 1：主结果（%，三种子均值±标准差）

8B 上 τ² +12.57pp（29.61→42.18）、UserBench +4.61pp、AgentChange +4.41pp；BFCL-MT 与 GRPO 持平（39.36 vs 39.04）——域内增益没有以牺牲函数调用能力为代价。外部参考：Fission-GRPO-8B τ² 41.27（略低于 IAPO，且其训练用 630 任务/11 域 vs IAPO 的 178 任务）。

Table 2：分域分解——「延迟状态使用」增益最大

Telecom 域 +18.19pp 一骑绝尘——该域要求账户/线路状态留存到后继澄清才确定用途，正是平坦优势信号最无能为力的场景。这直接验证了论文的核心假设：状态延迟使用越普遍，依赖感知路由的相对收益越大。

路由远非平坦（信号确实在起作用）：正权重 w⁺ 标准差 0.222、范围 0.637–1.505，86.5% 的正分支步骤偏离平坦 credit 超过 10%；负分支 27.1%（与 φ⁻ 仅在错误后激活的设计一致）。

Table 3：消融（8B）

三个关键读数：① β⁺=0 的「裸」版已从 29.61→32.50（支持/错误两特征本身有效），加 β⁺ 修正再 +9.7pp——错误证据是精修而非替代；② c=0.5 域内 42.29 最高但 OOD 崩到 17.78/25.67——裁剪不是技术细节，而是泛化的守门人（放宽裁剪→hub 动作权重过大→过拟合训练域结构）；③ 负分支从错误出发优于从支持先验出发的两个投影变体——正负优势确应走不同证据。

Table 4：跨标注器稳定性：对 178 个训练任务（2,349 个标注动作节点）审计六个冻结标注器（Qwen3.5-27B/397B、Gemma4-31B、DeepSeek-V4-Flash、Qwen3-235B 等）：边级 F1 均值 0.869、Jaccard 0.842、Cohen’s κ 0.828；路由级 m⁻ 的 Spearman ρ=0.96–1.00（几乎完美）、m⁺ ρ=0.73–0.77。分歧主要集中在寒暄类样板轮与已失败步骤的归因广度——均不改变路由乘子。换 Gemma4-31B 训练仍达 40.90，方法不绑定特定标注器家族。

案例研究（图 3，银行三次目标漂移）：GRPO 在拿到身份信息前被工具 schema 里的示例电话带偏，查到错误用户 Maria Santos（cust_101→acc_101），用户后来给出真实号码也不重新接地，最终转人工；IAPO 从用户提供的姓名+生日正确接地 Jordan Smith（cust_202），并在「登录→查交易→锁卡」三次目标切换间保持 acc_202/card_202 状态复用。附加量化：4B 工具调用冗余度从 GRPO 的 46.00 降到 29.74——学到的增益是「复用已获取的状态」而非「反复查询」。

六、效果优势的根源解释

6.1 基线的根本局限：三类证据通道的先天缺陷

GRPO 的平坦广播在演化状态场景失效的机制：早期澄清动作的价值与后期执行动作的价值在时间上错位——澄清提问的价值只有在几轮之后的用户回复/工具返回中被「兑现」时才可辨识，而平坦优势不携带任何「谁的信息被用了」的信息，梯度信噪比天然低。那为什么不用现成的精细化方案？论文的机制分析揭示了它们在本场景的结构性失效：跨轨迹方法需要「可复现状态」或「可重置环境」，而自由对话里每轮用户发言都不同（无状态组可比），真实用户不可分叉重置；单独打分通道（掩码上下文/教师/critic）在任务完成度之外计算信号，本质上是用一个代理目标去逼近另一个目标，存在系统性漂移风险——InfoPO 在 τ² 上 33.29、UserBench 反而 23.37 略高于 IAPO 的 24.44 边缘，正是各信道各说各话的写照。

6.2 IAPO 的根本性改变：从「制造新证据」到「读取已有证据」

IAPO 的信息流改变在于：依赖证据不是构造出来的，而是已实现的——transcript 里动作 j 的参数确实引用了动作 i 引出的信息单元，这不是估计而是事实。这带来三个层面的机制优势：

① 梯度信噪比重构（正优势路径）。支持特征 φ⁺ 把「被下游实际消费信息的广度」变成权重：一次澄清提问如果同时支撑了后续 3 个工具调用，它的 token 拿到 3 倍于均值的信息增益——「先澄清再行动」的模式被定向强化。同时 β⁺ 折扣项把「犯错后被修复」的动作从成功奖励中剔除，防止「先犯个错再补救」的路径污染正例模板。因果链：支持路由 → 澄清/接地类动作获得超额增益 → 案例研究中正确的身份接地与跨目标状态复用 → telecom 域（延迟状态使用最多）+18.19pp 最大增益。反事实验证：β⁺=0 时仍有 +2.9pp（32.50），加上错误折扣后 +12.6pp（42.18）。

② 责难定位（负优势路径）。失败轨迹中 φ⁻ 只在可观测错误后非零且计入下游失败使用——责难集中在「有实锤」的动作上，干净的支撑性复用不被连坐。为什么这重要？因为广播式负优势会惩罚轨迹中所有动作，包括那些正确接地的查询——模型学到的可能不是「别犯那个错」而是「少做多错」，直接压制探索。IAPO 的稀疏问责避免了这种过度泛化的抑制，跨基准 OOD 全面领先（UserBench +4.61、AgentChange +4.41）是佐证。

③ 安全重分配的数学保证。质量守恒 + 符号保持 + 均匀回退三性质意味着 IAPO 在 GRPO 的估计器上做的是保范数重加权而非改目标——这解释了 BFCL-MT 持平：函数调用能力主要来自广播式的整体信号，其总量未变；而服务交互的增益来自分量级的再聚焦。这也解释了为什么 c 的选择成为泛化守门人：c=0.5 时单个 hub 动作可垄断过多优势质量，把「聚焦」变成「孤注一掷」，域内 42.29 最高而 OOD 崩盘（17.78）——有界性是精化与过拟合之间的边界。

6.3 一个诚实的边界

依赖图的质量依赖冻结标注器；虽然跨 6 个标注器的边 F1 达 0.869、路由相关性 m⁻ ρ≈1.0，m⁺ 的 ρ 只有 0.73–0.77——支持边的判定（尤其「必要性」三条件）仍有主观余地。标注成本也是真实开销（每 rollout 一次 32B 推理，虽已缓存）。另外，τ² 增益里有一部分可能来自「标注器恰好是 Qwen 家族」的亲和性——但 Gemma4 标注器 40.90 的迁移结果基本排除了这一点。

七、必要知识反推

假设一个团队要从零复现这条路线，最少需要什么知识？

7.1 领域知识层（服务交互的结构理解）

• 演化状态交互的本质：目标是逐步实例化的、用户澄清/目标漂移是常态而非异常——不理解这一点就不会把「信息延迟兑现」当作核心难题，而是去优化单轮回复质量；
• 服务对话的可观测错误分类（工具/模式/运行时/规则失败、用户显式拒绝），以及「目标修订≠错误」的边界——错误指示器 e_i 的定义直接依赖这份业务经验；
• 状态接地（grounding）与状态复用的业务模式：案例研究里 cust_202/acc_202/card_202 的链式复用是服务 Agent 的核心能力画像。

7.2 方法论知识层（RL 与图）

• GRPO 的组归一化与 token 广播机制：必须精确知道 Â_τ 怎么算、广播到哪些 token，才可能设计「只替换轨迹到 token 的映射」的最小侵入方案；
• 信用分配文献全景（RUDDER 的回报分解、hindsight credit、process reward、GiGPO/InfoPO/SWEET-RL 的具体机制与其证据来源）：论文的创新定位建立在「现有方法的证据通道在自由对话中不可用/会漂移」这一精确判断上；
• 乘法 vs 加法修正的数学直觉：加法偏移破坏符号与总量，乘法有界权重 + 归一化才能满足质量守恒/符号保持/均匀回退三性质——这是基本的估计器设计功力；
• 图特征工程：对数度数、长度加权标准化、softmax 归一化围绕 1——来自对「重加权不重定标」的清醒认识。

7.3 工程知识层

• verl/FSDP 的 GRPO 训练栈与多轮 rollout 的工程实现（30 轮上限、N=16 采样）；
• 冻结 LLM 标注器协议（温度 0、结构化输出、标注缓存）：把「依赖抽取」做成离线可审计的确定性步骤，而非训练中的随机噪声源；
• 评测协议设计：held-out GPT-5.2 用户模拟器（评估与训练的用户分布隔离）、三种子均值、跨 6 标注器一致性审计（F1/Jaccard/κ/Spearman 全套）——标注质量本身就是被测对象。

7.4 知识融合的关键节点

三个化学反应点：① 「用户不可重置」的领域事实 × 跨轨迹信用分配方法族 → 一句话否掉一整条技术路线，把搜索空间压缩到「轨迹内证据」；② transcript 即依赖记录的观察 × 策略梯度估计器 → 发现优势重路由可以是一个保范数乘法算子，数学上干净、工程上零侵入；③ 业务常识「成功里有运气、失败里有苦劳」× 符号条件路由 → 正负优势走不同证据（成功看支持+错误折扣、失败只看错误）不是数学必然，而是对服务场景奖励语义的领域洞察。

八、论文中可以提取的通用性灵感

灵感 1：已完成的轨迹里藏着免费的信用分配证据，先读再用

• 核心思想：在为 RL 构造新的过程信号之前，先检查采样产物内部是否已有已实现的结构（引用关系、消费关系、错误传播）——事实性依赖比构造性评分更不易漂移。
• 论文证据：仅用轨迹内依赖即达 +12.57pp；换标注器家族增益保持（40.90）；路由 86.5% 步骤偏离平坦。
• 推广场景：① 代码 Agent（哪个文件编辑被后续测试/编译错误引用）；② 多文档写作（哪段被结论引用）；③ 数据分析 Agent（哪次查询的结果被最终图表使用）；④ 自动化运维（哪个动作的输出被后续步骤消费）。

灵感 2：正负奖励应当走不同的归因通道

• 核心思想：成功的功劳适合按「贡献结构」分配（并折扣被修复的错误），失败的责难适合按「实锤证据」集中——两种语义不该共用一个评分函数。
• 论文证据：负分支从错误出发 42.18 > 从支持先验出发 41.88/41.46；β⁺ 折扣把 τ² 从 32.50 提到 42.18。
• 推广场景：① 团队绩效管理（庆功看贡献、复盘看失误）；② 多模型协作系统（成功归因协作链、失败定位故障点）；③ 自动交易（盈利归因策略链、亏损定位异常指令）；④ 教育辅导（对的地方强化方法、错的地方定位误解）。

灵感 3：对已有算法做「保范数重加权」式增强，是低风险高回报的改造模式

• 核心思想：不动奖励、采样、损失，只重分配已有信号的内部结构，并附带「无信息时精确退回原算法」的回退保证——增强而非替换。
• 论文证据：质量守恒/符号保持/均匀回退三命题；BFCL-MT 持平证明原能力无损。
• 推广场景：① attention 内部的先验重加权；② Best-of-N 选择器对候选的依赖感知重排；③ 课程学习中对已有 batch 的难度重加权；④ 集成学习中按成员实际贡献重分配权重。

灵感 4：有界性（clip）是「聚焦」与「过拟合」之间的安全阀

• 核心思想：任何把信号集中到少数节点的机制都需要上界，否则 hub 节点会绑架整个优化过程——域内指标升高可能正是 OOD 崩溃的前兆。
• 论文证据：c=0.5 域内 42.29（最高）但 OOD 17.78/25.67 崩盘；c=0.25 才是最佳联合配置。
• 推广场景：① attention 温度/裁剪；② 梯度裁剪与损失重加权（如 focal loss 的 γ 上界）；③ 推荐系统防马太效应；04 任何带 softmax 归一化的路由机制调参。

灵感 5：LLM 标注可以做成「确定性的可审计基础设施」，而非随机教师

• 核心思想：把 LLM 判断冻结（温度 0）、结构化、缓存、并对其标注质量做跨模型一致性审计，LLM 标注就能承担训练信号上游的角色。
• 论文证据：六标注器边 F1 0.869、κ 0.828；m⁻ 路由相关性 ρ=0.96–1.00；分歧点集中在可解释的样板轮。
• 推广场景：① 数据集构建（多标注器一致性门控）；② RL 奖励模型的输出冻结与审计；③ 评测 judge 的稳定性验证协议；④ 任何把 LLM 嵌入训练闭环的中间件设计。

附录：本文关键数字速查