What Process Evaluation of Coding Agents Actually Measures 精读
论文链接：arXiv:2608.22960（ICLR 2027 会议论文） 发表时间：2026年8月 机构：阿里 Amap（高德，主导）+ 南京大学计算机软件新技术全国重点实验室——企业+高校合作：阿里出生产级 Agent 轨迹与问题，南大参与因果推断方法设计 领域标签：cs.SE / cs.AI（Agent 评测方法学/因果推断）
一、论文背景
过程评测是什么、为什么火？ 只看最终结果（bug 修没修好）无法区分"侥幸成功"与"扎实推理"。于是业界转向过程评测：让 LLM judge 看 Agent 的完整轨迹，评价"过程好不好"——每一步是否必要、推理是否合理。过程奖励模型（PRM）也因此成为推理模型训练的热门组件。
被混用的三个层次：文献里"过程"至少指三件不同的事——动作预测（给定历史，预测下一步会访问哪个文件/调哪个工具）、任务不确定性（这个任务里哪些步骤是可互换的）、步骤归因（这一步对最终结果的贡献是多少）。三者常被同一套数据、同一个 judge 测量，结论互相引用——就像用体重秤同时测体重、身高和视力。
本文的问题：这三个层次到底在测什么？它们是否如隐含假设那样共享同一底层结构？特别是：LLM judge 给出的"步骤归因"是因果贡献还是语义相关性？
二、论文定位和关联工作
- 过程奖励线（PRM/过程 judge）：假设步骤级评分反映步骤贡献——本文用受控实验证明 judge 归因存在系统性偏置。
- 轨迹预测线（agent 轨迹模型）：用代码结构图（依赖图/调用图）预测下一步——本文证明 provenance（出处）信号远强于图结构。
- 因果推断 × SE：将 Gumbel-max 结构因果模型引入 Agent 轨迹分析是方法上的首创，与同期的 SCAE（logit 层因果分析）潮流呼应。
三、问题定义
抽象问题：Agent 执行轨迹 (S_t, A_t) 与结果 Y 构成的因果系统中，“动作可预测性"“步骤可替换性"“步骤贡献"是三个正交的量；把它们统一在一个结构因果模型下，分别识别并测量。 关键洞察：条件于已实现前缀 τ_{1:t-1} 时，步骤动作成为局部随机化处理——步骤级因果效应无需传统不可混淆假设即可识别（环境可重放 + 解码噪声外生）。
四、问题解法
4.1 SCAE：replay 式因果估计器
核心四件：
- prefix-conditioned 识别：步骤动作的处理效应=在同一前缀下强制替换动作后的结果差；
- anytime 价值函数 v_t = E[Y|τ_{1:t}]，其增量 Δ_t 给出精确可加的步骤贡献（定理 1：ΣΔ_t = Y − E[Y|q,G]，可分解为动作效应+观察效应）；
- 混合估计：熵探针测局部动作分布熵，高熵用观测性 replay（fork-resample）、低熵用干预分支（真实执行替换动作，拼接真实工具输出，绝不伪造观察）；
- judge 信息集操纵：固定 judge 与 rubric，仅切换"被评分步骤的下游可见性”——这是全文唯一无需因果参照的归因实验。
4.2 实验规模
SWE-bench-Verified 衍生的 499 个文件定位 episode（12 仓库）；环境可重放性 1.00（100 动作×3 次）、零上下文压缩；190 个前缀×8 次 replay=1901 条 replay 延续（12.7 小时）。
五、评估指标与实验证据
动作层（RQ1）：首访步骤（占 67%）上，provenance-only（只用最近工具输出+位置排序）top-3 = 0.326 vs 强化版代码依赖图 0.058 vs 仓库频率 0.072——出处信息压倒性胜出。机制佐证：首访目标中 68.9% 已在更早的工具输出中出现；工具路由候选集使 top-1 从 0.109→0.150。而代码图邻近性描述的是"语义工作区域”（区域内密度 lift 30.9×）不决定局部转移（一步转移 lift 0.94≈机会）——图是 scoping 先验，不是转移核。
任务层（RQ4）：实例身份解释残差方差 ICC=0.640（置换 null 0.196）——不确定性集中在任务间；步位置、工具类型均无效应；190 个干预估计的步骤效应仅 5.3% 达未校正 p<0.05（≈机会率 5%）、0 个通过 BH-FDR——在可行 replay 预算下，“这一步的因果贡献"基本不可测。
步骤层（RQ5，judge 偏置的直接证据）：
- judge 可见下游步骤时，归责位置后移 +0.537（59/70 episode 后移，符号检验 p=1.1e-16）；三个 judge（gpt-5.5/qwen3.6-plus/qwen3-coder-plus）位移 +0.533/+0.434/+0.394 全显著；
- judge 选择 gold-provenance 步骤率 0.900 vs 全步基线 0.413——judge 有真实信号，但可见性改变结论；
- 对照：无 LLM 的结构规则"最后一个 gold-provenance 步"agreement 0.243 vs 机会 0.053。
附加：v_0 端点不预测结果（leave-one-repo-out AUROC 0.481）——起点价值无信号。
六、效果优势的根源解释
三个层次的机制解释：
- 动作层为何 provenance 赢代码图：Agent 的下一动作由"它刚刚看到了什么"直接驱动（上下文局部性），而代码图描述的是人类视角的程序结构——Agent 的行为组织是上下文出处的函数，不是程序语义的函数。这一发现对轨迹预测、Agent 建模、缓存优化都有直接含义。
- 步骤级因果为何不可测：recall 结果的方差在均值两端机械压缩（天花板/地板效应）+任务难度 Z 主导方差——单个步骤的替换效应小于噪声底。此前任何"步骤贡献分数"若未经干预验证，其步骤级差异大概率是噪声。
- judge 偏置的机制：这是教科书级的 collider 偏置——judge 条件于被评分步骤的后代（后续步骤 A_{t+1} 与结果 Y）打开偏置路径：晚期步骤"看起来"导致了其后的成功/失败，judge 把后续信息回溯归因于可见的晚点。“只改 judge 可见性、不改被评世界"的操纵设计精妙地隔离了这一偏置——无需任何因果参照即可下结论。
七、必要知识反推
- 领域知识层：SWE-bench 类环境的可重放性要求（容器化、确定性工具输出）；文件定位任务的行为结构（首访/重访模式）。
- 方法论知识层：Gumbel-max SEM 与反事实识别（因果推断理论）；anytime 价值函数（强化学习）；collider 偏置（因果图经典陷阱）；BH-FDR 多重校正。这篇论文是"因果推断工具箱 × Agent 评测"的完整示范。
- 工程知识层：fork-resample 的执行引擎（同一前缀分叉多种子重放）；judge 信息集的受控操纵协议。
知识融合的关键节点：把 Pearl 因果图中的 collider 结构应用到"LLM judge 看轨迹"这个具体场景——judge 看到的不只是轨迹，而是"步骤→后续"的信息流，这个信息流天然诱导回溯归因。识别出这一点的价值：它指出了所有"看完整轨迹打分"的 judge（包括 PRM）的系统性缺陷与修正方向（信息集隔离）。
八、论文中可以提取的通用性灵感
“看到结果再评价过程"必然产生回溯归因偏置（机制类）
- 证据：judge 见下游后归责后移 +0.537（p=1e-16），三个 judge 一致。
- 推广：绩效评估（知道项目成败后评个人贡献——近结局的成员被系统性高估）、事故调查（知道结果后因果叙事向近期事件偏移）、code review 中"知道 PR 是否合并"影响对每行代码的评价。修正方案通用：评分时隐藏被评对象之后的信息。
行为由信息出处组织，不由领域结构组织（现象类）
- 证据：provenance top-3 0.326 vs 代码图 0.058；68.9% 目标已在先前输出出现。
- 推广：用户行为建模（下一个操作由刚看的页面决定，不是由 App 信息架构决定）、动物觅食路径分析、UI 设计（把关键入口放进用户当前注意的出处流，比优化导航树更有效）。
方差结构与可测性：先看天花板地板效应再设计细粒度指标（方法论类）
- 证据：recall 方差在均值两端压缩使步骤效应 0/190 过 FDR。
- 推广：任何想测"细粒度贡献"的场景（成员对团队的贡献、渠道对转化的贡献），先检查结果变量的方差结构——若被任务难度主导，细粒度归因在现有预算下就是不可识别的，应改测任务级。
同名概念分层：先拆层次再引用结论（方法论类）
- 证据：“过程"拆成三层后结论互相矛盾（动作可预测≠步骤有贡献）。
- 推广：文献综述/竞品分析中，“用户体验"“可靠性"“智能"这类多义概念必须先分层——跨层引用结论是学术与实践中共通的谬误来源。