MileGPO: 里程碑推断的长程Agent过程级信用分配 精读

论文链接：MileGPO: Milestone Inference with Local Evidence for Graph-Based Policy Optimization of Long-Horizon LLM Agents 发表时间：2026年8月（arXiv:2608.19803v1，2026-08-20 提交） 机构：北京交通大学（Beijing Jiaotong University）；通讯作者 Yuting Wu 领域标签：cs.LG / LLM Agent 强化学习 / 过程级信用分配

一、论文背景

1.1 长程 Agent 与「只有期末成绩」的训练困境

大语言模型早已不是只会单轮对话的文本生成器。让模型在 ALFWorld 里操纵家电收拾房间、在 WebShop 里翻搜索结果挑一件符合颜色、尺码、价格约束的衬衫——这类任务动辄几十步交互、上万 token，成功与否只在最后时刻由环境给一个二值（或分档）奖励。用强化学习训练这类 Agent 时，就撞上了强化学习领域最老的问题之一：信用分配（credit assignment）——最后那一下成功了，前面几十步里哪些步是功臣、哪些步是凑数的、哪些步其实在帮倒忙？

GRPO 这类免 critic 的群组方法把整个轨迹当作原子单位：8 条 rollout 里 3 条成功，这 3 条的每个 token 都得正优势，5 条失败的每个 token 都得负优势。对于一问一答的数学题这没什么问题，但对于 50 步的家务任务，这意味着「成功轨迹里的 65% 的冗余步被错误奖励，失败轨迹里 22% 的有效推进步被错误惩罚」（GraphGPO 论文的统计）。轨迹级信用就像只看期末总评给学生打平时分——总评对了，不代表每一堂课的分数都对了。

1.2 两级细化：步级分组与图距离

第一层细化是 GiGPO（NeurIPS 2025）的观察：同一个任务采 8 条轨迹，环境状态会自然复现——大家都会回到同一个客厅、同一个搜索结果页。把「同一状态出发的不同动作」归成步级小组做组内对比，就得到了细粒度信用，且不用额外 rollout。但 GiGPO 的步级回报仍然是终局奖励的折扣透传，本质上没和轨迹级归属解耦。

第二层细化是 GraphGPO（ICML 2026）：把一个任务的所有轨迹合并成一张有向状态转移图，节点是规范化后的观测，边是「状态-动作-下一状态」的一步转移；然后用 Dijkstra 算每个状态到成功终态的最短路径距离，按距离衰减给每条边发「图回报」——离目标越近的转移回报越高。这一步的关键突破是让失败轨迹中的好步骤也能得到正信用（只要它确实在图结构上靠近了目标），同时证明了图级信用比轨迹级信用条件方差更低。

1.3 GraphGPO 留下的三个坑

GraphGPO 的信用锚只有一个：最终目标。MileGPO 论文开篇就用一组统计揭示了这张图里被浪费的证据（图 2）：

• 共享状态多：ALFWorld 73.7%、WebShop 73.9% 的转移来自多条轨迹共享的状态，且大多数共享状态有多个不同出边——兄弟分支对比的原料极其充足；
• 距离平局多：同一状态出发的两条不同动作分支，终点到目标的距离常常一样，GraphGPO 给它们完全相同的信用——ALFWorld 54.4%、WebShop 72.7% 的同状态动作对是平局；
• 结果混合多：完全相同的转移（同状态同动作同下一状态）可以既出现在成功轨迹里也出现在失败轨迹里——「到目标的图上距离」完全无法区分这两种情况。

一句话：最短路径距离度量的是「可达性」，不是「可靠进展」。同样距离的俩状态，一个成功率 90%、一个成功率 10%；某个真正关键的中间阶段（比如 WebShop 里保住了价格约束的那次搜索）可能因为离终点还远而只拿到微弱信用。如何从已有的 rollout 图里「发现、加权、校验」中间信用锚，就是 MileGPO 要回答的三个问题。

二、论文定位和关联工作

2.1 研究谱系一：免 critic 群组 RL 的演化

2.2 研究谱系二：过程级信用与结构化 rollout

• 过程奖励模型（PRM）：Math-Shepherd、Let’s Verify Step by Step 等给每步打分，但需要过程标注或 Monte Carlo 估计，分布偏移下会退化——MileGPO 明确不走这条路；
• OPRL / AgentPRM：训练隐式或显式过程奖励模型，与策略交替优化——MileGPO 的差异化卖点正是「零辅助模型、零额外前向」；
• TreeRPO / TreeRL / GraphPO：用树搜索或图采样改变 rollout 采集方式来制造分支对比——MileGPO 不改 rollout 采集，只后处理已有图；
• GraphGPO：直接前身。MileGPO 完整保留其图构造与距离回报，只在「图构造之后、策略更新之前」这段插入信用校准，兼容其代码协议。

2.3 定位结论

MileGPO 站在 GiGPO（步级分组）与 GraphGPO（图距离信用）的交点上，回答一个两者都没回答的问题：当图结构已经把证据摆在眼前（共享状态、兄弟分支、混合结果）时，如何把这些结构证据转化为可靠的中间信用？ 它的答案不引入任何新的模型组件或环境交互，纯粹是「对同一批 rollout 的更聪明统计后处理」。这与同期工作形成鲜明对比：别人在加东西（PRM、树搜索、分层组），它在挖存量。

三、问题定义

3.1 从具体到抽象

具体场景：一个任务采 K=8 条轨迹，只有终局奖励，状态会复现，轨迹会交叉，现在要给每一步发「合适」的优势。

深层结构洞察：rollout 图本身已经是一部「局部对照实验记录仪」。同一状态的多条出边就是天然的分桶实验组；成功轨迹与失败轨迹对同一状态的访问，构成了这个状态可靠性的统计样本；一条转移出现在成功与失败轨迹中的频率，就是它是否「真进展」的经验证据。问题可以抽象为：

给定：一个任务的 rollout 转移图 G（节点=规范化观测，边=观测到的转移），每条轨迹的二值结果标签，以及 GraphGPO 的最短路径距离回报。 求：一组中间信用锚（里程碑/陷阱）及其权重，使得步级优势在「同状态出边」之间可区分、且区分方向与终局结果一致。 约束：不新增环境交互、不调用辅助模型、不改 rollout 采集协议；修正项有界，不破坏原有图回报的尺度。

3.2 形式化抽象的精妙之处

这个定义把「过程级信用分配」重述成了「从带标签的图数据中估计节点/边的可靠性与进展性」——一个纯统计推断问题，而不是一个学习问题。妙处有三：其一，推断只用频次统计（访问率、成功率、复访率），没有可学参数，天然免疫 reward hacking 向 PRM 注入的偏好偏差；其二，修正项 Proposition 3 证明有界（配置下落在 [-0.625, 2.5]），意味着它是「贴着 GraphGPO 打补丁」而非另起炉灶；其三，η 插值系数（Proposition 1）保证 η=0 时精确退回 GraphGPO，这给了方法一个理论上的「无害开关」。

四、问题解法

MileGPO 是一个三段式流水线，全部作用在同一张 rollout 图上，只改优势估计这一步。

4.1 MD：里程碑发现——先挖出候选

类比：GraphGPO 只知道「终点在哪」，MD 补上「路标在哪」——从成功轨迹里找里程碑候选（非终态但被成功轨迹访问的状态），从失败轨迹里找陷阱候选（只被失败轨迹访问、且跨多条失败轨迹出现或被反复重访的状态）。

里程碑打分三要素（式 5）：

陷阱打分（式 6）则看超额失败率 ℓ⁻(v)、失败轨迹覆盖率 f⁻(v) 与复访率 L(v)——复访尤其关键，它对应 Agent 在某个页面反复点无效按钮打转的行为模式（附录表 6 的失败轨迹里 28 步有 20+ 步在原地点击）。

这一步的输出是等权重的候选集合 S⁺、S⁻。

4.2 RCS：可靠性校准塑形——按证据强度加权

类比：MD 说「这些是候选路标」，RCS 说「哪个路标信得过」。它把 MD 的单位权重替换为任务内最大归一化的分数，构造两个势场（式 8）：Φ⁺_R(s) 量度 s 离最近的可信里程碑多近，Φ⁻_R(s) 量度离最近的可信陷阱多近。一步转移的塑形回报取势能增量（式 9-10）：

• δ⁺t = max(γ_Φ w⁺Φ⁺(s{t+1}) − w⁺Φ⁺(s_t), 0)：靠近里程碑的增量（只取正侧）；
• δ⁻_t 同理：靠近陷阱的增量；
• 回报修正 = cλ(δ⁺_t − δ⁻_t)：奖靠近里程碑、罚靠近陷阱。

注意论文特别强调这是单侧信用规则而非策略不变的势塑形——它故意不对称（只奖进步不罚退步），因为目的是分辨好坏分支，不是保持最优策略不变性。关键证据：在 WebShop 的离线重放中，对「同父状态、结果相反、GraphGPO 信用打平」的转移对，均匀 MD 只能纠正 17.0% 的平局，RCS 纠正 26.5%；而合并所有训练早期数据看，图上 83.0% 的平局可被 RCS 打破（图 4b、图 9）。

4.3 PCC：进度对比校准——防「假进展」

类比：RCS 解决「路标可信度」，PCC 解决「走向路标的那一步是不是真在推进」。因为一个高分里程碑可能有多种进入方式，有的进入方式根本不产生局部进展。PCC 用两个转移级证据更新（而非叠加奖励）候选分数：

（1）分支反事实信用 BCC（式 12-14）：在源状态 u 的所有观测出边 B(u) 中，边 e_i 的成功率与「其余兄弟分支平均成功率」之差，任务内归一化后取正侧。直白说：同一起点下，走这条边比走别的边更容易成功吗？ 若该边是唯一分支则记 0，不做比较。b(v) 取所有指向 v 的正边际入边中的最大值——记录的是「最被偏好的进入方式」，论文明确说明它不是因果效应估计。

（2）局部进展分 ψ（式 15-16）：三个分量的加权和——距离缩减 Δd(e)（这一步让离目标更近了吗）、成功率增益 p⁺(v) − p⁺_q（到达的状态更靠谱吗）、超额失败率罚项 ℓ⁻(e)（这条边比兄弟分支更容易失败吗）。取成功入边中的最大值并图内归一化。

（3）分数更新（式 18）：保留指示器 z(v) 三选一——ψ(v) > 0、覆盖 m(v) 达阈值 θ_m、或（κ_bc=1 且 b(v)>0）。满足则 S⁺_pcc(v) = S⁺_0(v)[1 + w_pcc·E(v)]（放大），否则缩为 ρ·S⁺_0(v)（衰减）。环境相关配置差异值得注意：ALFWorld 用严格模式（θ_m=1.1 意味着覆盖条件实际不可达、ρ=0、κ_bc=0，即必须有正进展证据才保留），WebShop 用宽松模式（θ_m=0.5、ρ=0.5、κ_bc=1，允许分支证据单独保留候选）——对应家务环境结构清晰、购物环境状态歧义大的特点。

4.4 合成回报与优势

最终步级回报（式 20）：r^M_t = c·γ_G^{d(s_{t+1},g)} + cλ(δ⁺_t − δ⁻_t)——GraphGPO 原项加有界修正。优势计算有个精巧的工程细节（式 21-22）：把 r^G 和 r^M 分别在同任务同源状态组内归一化，再取残差 Â^res = Â^mix − Â^G，最终 A_t = w_step[Â^G + η·Â^res] + w_episode·Norm_q(Z_i)。分开归一化的原因：如果直接对 r^M 归一化，当多条出边的图回报打平时，数值很小的势能修正会在归一化中占据统治地位、喧宾夺主。残差设计让里程碑修正只作为图信用的「局部排序微调」， Proposition 2 证明：只要 w_step·η > 0，塑形优势产生的任何严格排序都会成为最终步级信用的严格排序——平局必被打破，且方向与塑形信号一致。

4.5 全景流程表

单线程 CPU 重放测量：WebShop 全流程 271.7ms vs GraphGPO 27.0ms，ALFWorld 111.0ms vs 11.5ms——相对 rollout 与策略更新（秒级）完全可忽略。

五、评估指标与实验证据

5.1 指标体系

• 主指标：ALFWorld 六子任务（Pick/Clean/Cool/LookHeat/Pick2）成功率与总成功率；WebShop 成功率（二值）与任务得分（0-1 连续，度量部分完成的购物质量——买对了多少属性）。
• 泛化指标：ALFWorld ID–OOD 差距——训练任务与未见任务配置（新房间布局、新物体组合）成功率之差，越小越好。这是论文核心主张「校准的中间信用更可迁移」的直接检验。
• 消融指标：累计去 PCC、再去 RCS 后的性能退化。
• 诊断指标（独创）：平局纠正率（被塑形回报正确排序的成功/失败平局比例）、候选支持结构（有局部证据/仅有覆盖/弱证据的候选占比）。

5.2 实验设置

骨干 Qwen2.5-1.5B-Instruct，两块 H20 GPU，300 步训练，每迭代 16 任务组 × 8 rollout，温度 0.4 验证，3 个测试种子（123/456/789）取均值±标准差。基线对齐极为讲究：GiGPO 与 GraphGPO 是作者本地复现版（*标记），共享模型、任务、prompt、rollout 协议、优化器与硬件——唯一变量是信用估计器。†标记的数字转录自 GraphGPO 原论文（其原配置 300 步内未收敛）。

5.3 核心结果

ALFWorld 与 WebShop 主表（成功率 %，本地对齐运行）：

• ALFWorld 整体较 GraphGPO +3.13 点、较 GiGPO +4.43 点；
• WebShop 成功较 GraphGPO +3.78 / 较 GiGPO +2.41 点；任务得分 +2.05 / +0.48 点——成功率与连续得分同升，说明不只是更多二值成功，部分完成质量也在提高；
• 方差更小（±0.3 vs ±0.5；±1.2 vs ±2.4）——信用信号更有区分度，训练更稳。

ID–OOD 泛化（ALFWorld，%）：

GraphGPO 的 ID 最高但 OOD 掉 3.78 点——典型的「记住分布内路径」；MileGPO 两端都最高且差距最小，支持「局部决策偏好比全局距离更可迁移」的论点。

累计消融：

关键读法：ID 几乎不动（96.3→95.3），OOD 大跌（94.6→89.7，-4.9）、WebShop 成功率大跌（-4.8）——两个校准组件的贡献集中在泛化与任务完成质量，而非拟合训练分布。这与「里程碑发现的原始信号有噪声、校准后才可迁移」的机制解释完全一致。

为什么这些实验能证明论点：基线对齐消除了实现混杂；ID–OOD 与消融的组合把「性能提升」拆解到「校准组件」；平局纠正重放（83.0% 与 26.5% vs 17.0%）提供了与终局结果一致性的直接机制证据；附录表 6 的完整对照轨迹（同一初始观测，成功分支保留价格约束、失败分支用不相容价格区间搜索，GraphGPO 给两条首转移 Δ_G=0.000 相同优势，RCS 给出 Δ_RCS=+1.533 区分）则把抽象机制落到可逐行核验的案例上。

六、效果优势的根源解释

本节回答最核心的问题：为什么是 MileGPO 赢，而且是在 WebShop 赢得最干净？

6.1 反直觉的事实：覆盖率相同，增益不同

论文 4.5 节的机制分析给出一个决定性对照：ALFWorld 与 WebShop 的共享状态转移覆盖率几乎一样（73.7% vs 73.9%）——两环境的图原料同样充足——但 GraphGPO 的距离平局率分别是 54.4% 与 72.7%。MileGPO 的最大增益恰好出现在 WebShop（成功 +3.78 vs GraphGPO 的 +2.41 相对 GiGPO… 按「相对各自最强基线的提升」口径，WebShop 提升幅度大于 ALFWorld）。

这不是巧合，而是结构必然：决定方法增益的不是「有没有共享结构」（GraphGPO 已经在利用它），而是「共享结构中有多少 GraphGPO 无法裁决的歧义」。GraphGPO 把所有信息压进一个标量 d(v, g)，任何两个分支只要终点距离相等就信用相等；歧义率越高，这个压缩的信息损失越大，MileGPO 恢复的被压缩信息就越多。

6.2 因果链一：为什么最短路径距离在平局与混合结果下系统性失真

GraphGPO 的回报 r_G(u,v) = c·γ_G^{d(v,g)} 是一个只看终点位置、不看历史经验的函数。它失真的根源机制可以拆成三层：

1. 平局不可分辨：d(v₁,g) = d(v₂,g) ⇒ 信用相同，即使两条分支的后续成功率天差地别。这在购物环境里尤其致命——搜索结果页离下单的距离都差不多，但「保住价格约束的搜索」和「丢掉价格约束的搜索」天壤之别（附录表 6 的 ±1.533 案例正是此情形）。
2. 距离≠概率：最短路径只保证「存在一条路」，不保证「走这条路的成功率」。混合结果转移（同一条边既在成功也在失败轨迹里）是这一点的极端体现——距离函数对它完全无话可说。
3. 远处关键步欠信用：λ折扣下离目标远的状态拿到的回报指数级缩水，可某些真正决定成败的抉择（第一次搜索怎么写）恰恰发生在离终点最远的地方。

MileGPO 的 RCS 直接攻击第 2、3 层：把「访问该状态的轨迹成功率提升」与「成功轨迹覆盖率」编码进势场权重，让关键早期步骤获得与其结果证据相称的信用；PCC 的 BCC 直接攻击第 1 层：同源状态兄弟分支的成功率对比，恰好是距离函数丢弃的那一维信息。Proposition 2 从数学上保证这个补丁必然生效——只要 η>0，塑形排序就是最终排序。

6.3 因果链二：为什么校准后的信用更能泛化

GraphGPO 的 OOD 掉 3.78 点，而 MileGPO 只掉 1.69。机制上：图距离信用是任务实例特定的——哪个节点离终点几步，换一个房间布局就全变了，策略学到的是「这张图的等高线」；而 MileGPO 校准出来的信号本质是「同状态下哪种动作模式更常与成功相伴」——价格约束要保留、有效选项要点、别在原页面打转——这些局部决策偏好跨任务实例可迁移。消融证据严格对应：去掉 PCC 后 ID 只降 0.4 点、OOD 降 3.7 点、ID–OOD 差距扩大 3.32 点——PCC 的贡献几乎全部体现在迁移端，与「局部分支对比产生可迁移偏好」的机制预言严丝合缝。

6.4 反事实检验：去掉校准会怎样

• 只留 MD（均匀权重）：平局纠正率从 26.5% 掉到 17.0%——原始里程碑信号有一半以上的纠正力来自可靠性加权；
• 去掉 RCS（连 MD 的加权也没了）：WebShop 成功率再掉 3.32 点，比去 PCC 的损失更大——说明未经校准的中间信号不但无用甚至有害（噪声里程碑会把信用泼洒到无关状态上）；
• 完整版 OOD 94.6 vs 仅 MD 版 89.7：4.9 点的差距就是「发现 + 校准」相对「只发现」的完整价值。

6.5 一句话根源

MileGPO 的增益不是「加了图」也不是「加了里程碑」，而是把 rollout 图里躺着的二维免费证据——同状态分支对比与结果条件统计——从距离函数的单变量压缩中恢复出来，并用可靠性校准保证恢复的不是噪声。环境歧义率越高（WebShop 72.7%），被恢复的信息越多，增益越大；这是结构必然，不是调参运气。

七、必要知识反推

假设让一个完全没有背景的人重做这项工作，他最少需要知道什么？

7.1 领域知识层

• Agent-环境交互协议：多轮观测-动作循环、终局奖励结构、ALFWorld 的家务任务语法与 WebShop 的购物属性匹配规则——不知道这些就无法判断「状态会复现」这一前提是否成立；
• 状态规范化：什么算「同一个状态」（观测文本的规范化键），这是图构造与所有后续统计的地基；GraphGPO 已证明嵌入相似度匹配（>0.95）可作备选；
• 两个基准的歧义结构差异：ALFWorld 的动作语法受限、状态相对可分，WebShop 的页面状态高度同质——不理解这点就解释不了为何两环境的 PCC 配置（κ_bc、θ_m、ρ）需要不同严格度。

7.2 方法论知识层

• 群组 RL 谱系：GRPO 组内相对优势 → GiGPO 锚定状态步级组 → GraphGPO 图距离回报——不知道这条线就找不到「距离≠进展」这个切口；
• 奖励塑形理论：势基塑形（potential-based shaping）保证策略不变性的经典结论——MileGPO 明确说自己的单侧规则「不是」策略不变塑形，这需要作者懂这条边界才知道自己在牺牲什么、换什么；
• 统计推断基础：条件成功率、对照均值、归一化——RCS/PCC 全是频次统计，但要用对（任务内最大归一化避免跨任务尺度混杂、单独归一化避免小修正喧宾夺主）；
• 三个 Proposition 的证明技术：凸插值恒等式、差分消项、势能上界——初等但不平凡的代数，保证修正的受控性可被审稿人核验。

7.3 工程知识层

• 训练基础设施：verl-agent 类框架、vLLM 部署、PPO-clip 目标 + KL 正则的 token 级实现；
• 严格对齐的对比实验设计：共享一切、只换信用估计器的复现协议；300 步扩展训练与最优验证检查点选择；3 种子报告——没有这些纪律，+3 点的提升根本不可信；
• 诊断实验设计：离线重放（固定轨迹、只换塑形）来分离「信号纠正力」与「训练动态」——这是论文方法论上最值得学习的技巧之一。

7.4 知识融合的关键节点

三个融合节点产生了化学反应：（1）「图 ≠ 信用」的洞察——懂 GraphGPO 的人很多，但把「73.7% 共享状态覆盖率」与「54.4%/72.7% 平局率」放在一起看、从而意识到「结构与歧义是两个变量」的人写出了这篇论文的动机；（2）统计推断替代学习——把 PRM 路线（学习一个打分器）换成频次统计（计算一个打分），同时规避标注偏差、reward hacking 与额外推理开销，这是领域知识（PRM 的痛点）与方法论知识（什么可以用闭式统计做）的交叉；（3）受控注入的工程美学——残差形式 Â^G + η·Â^res 加双归一化，把「新信号」设计成「旧信号的局部排序修正」，使方法可退化（η=0）、有界（[-0.625, 2.5]）、可叠加在任何图回报之上。

八、论文中可以提取的通用性灵感

8.1 灵感一：先压缩后恢复——诊断你的信号被压缩掉了什么

核心思想：任何把高维信息压进单一标量的信用/评分函数（图距离、最终得分、KPI）都会系统性丢弃一整维证据；被丢弃的维度往往可以从同一批数据里免费恢复。

论文证据：GraphGPO 把图压进 d(v,g)，54.4%-72.7% 的同状态分支被打平；MileGPO 从同一张图恢复兄弟分支对比与结果条件统计，纠正 83.0% 的平局。

推广场景：（1）推荐系统的排序分把用户上下文压掉后，可用同上下文会话对比恢复；（2）代码评审的风险分把变更历史压掉后，可用同文件兄弟变更的结果统计恢复；（3）学生总评成绩压掉过程表现后，可用同期课程的条件表现恢复；（4）RAG 检索的相关性分压掉查询意图后，可用同查询的多文档对比恢复。

8.2 灵感二：免费对照——不设计实验，而是发现已发生的实验

核心思想：随机采样的多条轨迹天然构成同状态分桶对照实验；与其花钱制造分支（树搜索、额外 rollout），先审计存量数据里的「自然实验」利用率。

论文证据：73.7%/73.9% 的转移来自共享状态，BCC 直接拿兄弟分支成功率差当反事实代理，零额外前向；对比 TreeRPO/TreeRL 需要改 rollout 采集。

推广场景：（1）A/B 测试预算不足时，用历史自然分桶（同期、同群组）做准实验；（2）多 Agent 系统中用同一任务多 Agent 的解法交叉点做相互评估；（3）编译器优化的 pass 序列用共享中间 IR 的多路径对比评估 pass 贡献；（4）医疗 cohorts 中同病历路径的分叉做治疗对照。

8.3 灵感三：发现必须配校准——原始关联信号是半成品

核心思想：从数据里挖出的候选信号（里程碑、热点、模式）自带幸存者偏差与噪声，必须用独立维度的证据做可靠性分级，否则「发现越多、伤害越大」。

论文证据：消融显示仅 MD 的 OOD 89.7 vs 完整版 94.6；RCS 把平局纠正率从 17.0% 提到 26.5%——加权这一步贡献了原始发现一半以上的纠正力。

推广场景：（1）数据挖掘的频繁模式挖掘后必须做置信度/支持度分级再进决策；（2）LLM 自我总结的「成功经验」需用跨任务结果一致性校准后才能进 memory；（3）缺陷预测模型的热点文件需按历史修复成功率加权；（4）投资中的动量信号需按信号来源可靠性分层下注。

8.4 灵感四：残差式注入——新信号应修正而非替代旧信号

核心思想：给一个已在生产的系统加新信号时，把新信号做成「旧信号归一化后的残差修正」（带插值系数 η 与理论上界），而不是直接换掉旧信号——可退化、可量化、可回滚。

论文证据：Proposition 1 证明 B_t 是 GraphGPO 与全塑形优势的凸插值、η=0 精确还原基线；Proposition 3 给出修正界 [-0.625, 2.5]；双归一化防止小修正篡夺尺度。

推广场景：（1）检索系统加学习排序时先做 BM25 分数的残差修正；（2）控制系统加传感器融合时对新信号做有界融合；（3）LLM 后训练加新奖励项时用插值权重而非替换原目标；（4）异常检测加新特征时保持原模型分数 + 有界修正量。

8.5 灵感五：歧义率预测增益——先测环境的「信息瓶颈」再选方法

核心思想：一个方法在某环境的潜在增益，可以用「环境结构中被现行方法打平/无法区分的比例」（歧义率）来先验估计；覆盖率类指标（有多少原料）与歧义率类指标（原料里有多少未决问题）要分开度量。

论文证据：两环境共享状态覆盖率几乎相同（73.7% vs 73.9%），但平局率差 18 个点（54.4% vs 72.7%），MileGPO 的增益恰好按平局率排序分布。

推广场景：（1）选型 RAG vs 长上下文时先测文档间的相互干扰率；（2）选聚类算法前先测特征空间的平局比例；（3）决定是否上精细化定价前先测价格弹性异质性；（4）决定是否加过程监督前先测结果信号的平局率。

附录：符号速查与案例

符号速查：G_q 任务 rollout 图 / d(u,v) 有向最短距离 / g 成功终态 / p⁺(v) 访问 v 的轨迹成功率 / m(v) 成功轨迹覆盖率 / C(v) 图中心度 / ℓ⁻(v) 超额失败率 / L(v) 复访率 / S⁺、S⁻ 里程碑与陷阱分数 / Φ⁺_R、Φ⁻_R 分数加权势场 / δ±_t 势能单侧增量 / e_bcc 分支反事实边际 / ψ(e) 局部进展分 / η 残差修正权重 / λ 塑形系数。

代表性案例（附录表 6 摘要）：同一 WebShop 任务、同一初始观测，成功分支第一步搜索保留「价格低于 40 美元」约束，失败分支把价格写成 40-50 美元区间。两条分支后续都找到了同一件 16.99 美元的商品，失败分支在第 4 步就点了 buy now（任务得分 0.9 但二值失败），成功分支则花了 28 步把颜色、尺码、版型等属性逐个点选成功（期间 20+ 步在原地点击无效选项——这正是陷阱候选 L(v) 复访率要捕捉的行为模式）。GraphGPO 给两条首转移打 Δ_G = 0.000 的相同优势，RCS 给出 Δ_RCS = +1.533 的区分。另两个同状态纠正案例：点列表内有效选项 vs 输出语法外文本（+0.803）；选正确尺码 vs 点「上一页」退缩（+0.562）。这些数字让「平局纠正」从抽象统计变成了可逐行核验的行为判断。