What Process Evaluation of Coding Agents Actually Measures: Action, Task, and Step Are Three Different Levels 精读
这篇 ICLR 2027 论文(阿里 Amap × 南京大学)用结构因果模型(SCAE)把编码 Agent 的’过程评测’拆成三个被混用的层次,并给出三个可检验的颠覆性结论:下一动作由’执行出处’(provenance,模型刚看到什么)而非代码图结构决定(top-3 0.326 vs 0.058);不确定性属于任务而非步骤(190 个步骤级因果效应 0 个通过 FDR);全轨迹 LLM judge 存在系统性 collider 偏置——judge 能看到下游步骤时,归责位置系统性后移 +0.537。‘过程分数测的是语义相关性,不是认证的因果贡献。’