Who Verifies the Verifier? / TRACE / AgentHorizon 三重奏精读：验证器的有效性危机与自救

论文 1：Who Verifies the Verifier? Co-Evolving Inspectable Graders with Self-Improving Agents 发表时间：2026 年 10 月（NeurIPS 2026 Workshop: Who Verifies the Agents? Toward Reliable Agent Development） 机构：AWS Forward Deployed Engineering + HSBC Holdings Plc（HSBC Technology Center China）——企业-企业合作：亚马逊前向部署工程团队主导方法与实验，汇丰银行技术中心（中国）参与合著，对应作者 Peiyang He（亚马逊）；论文任务（企业级 text-to-SQL、分析师报告）带有明显的金融行业落地背景 领域标签：cs.CL / cs.AI / cs.LG；自进化 Agent、验证基础设施

论文 2：TRACE: Diagnosing Verifier Brittleness in Agentic Evaluation 发表时间：2026 年 10 月（COLM 2026 AI Measurement Science Workshop） 机构：Prime Intellect（企业，单作者 Radhika Gaonkar）——去中心化 AI 训练公司以单人力量完成方法、实验与开源工件 领域标签：cs.CL / cs.LG；评测测量有效性（measurement validity） 代码：github.com/RGaonkar/trace-verifier-stress-tests

论文 3：AgentHorizon: Evaluating Agentic Judges for Long-Horizon Computer-Use Tasks 发表时间：2026 年 10 月（Preprint） 机构：ServiceNow Research（企业，主导，四位标注 † 作者的工作在 ServiceNow 完成期间做出）+ McGill University + Mila–Quebec AI Institute + ÉTS Montréal + Seoul National University + Université Laval + Polytechnique Montréal + Canada CIFAR AI Chair——企业-高校深度合作；标注与裁定外包给 Turing 公司专业标注团队（共 6,077.5 小时）；Christopher Pal 与 Siva Reddy 获 Canada CIFAR AI Chair 资助 领域标签：cs.CL / cs.AI；Agent 评测、LLM 裁判、计算机使用 代码：github.com/ServiceNow/agenthorizon

三篇论文发表于同一周（2026 年 10 月上旬），从三个互补角度攻击同一个问题：验证器（verifier / judge / grader）本身可靠吗？ AgentHorizon 诊断裁判的不可靠之处，TRACE 提供分数归因的方法论，Who Verifies the Verifier（下称 WVT）给出验证器共建化的系统方案与验证纪律。本精读将三者作为一条证据链合并解读。

一、论文背景

验证器是什么？ 在 LLM Agent 的世界里，验证器（verifier，也叫 judge 或 grader）是「给一次尝试打分」的函数：输入任务和 agent 的输出（代码、SQL、报告、操作轨迹），输出通过/失败或一个分数。它像一个阅卷老师。这个角色正变得空前重要，因为三条管线都压在它身上：

1. 基准测试：Agent 能力的排行榜分数来自自动验证器；
2. 训练奖励：RLVR（Reinforcement Learning from Verifiable Rewards）等范式用验证器分数作为强化学习奖励——DeepSeek-R1 等模型的推理能力正是这样训练的；
3. 自进化循环：自改进 agent 每一轮「写技能→测贡献→淘汰差技能」都需要验证器回答「这次尝试通过了吗」。WVT 的开场白很直白：一个自改进 agent 每轮都要问「我改了 agent，它真的变好了吗？」，每个答案都来自一个验证器。

为什么这是个危机？ 在代码基准上验证器是免费的——单元测试就是标准答案。但在开放任务（写报告、操作电脑、企业数据分析）上不存在精确真值。业界的临时方案是人肉补丁：Claude 的托管 agent 让开发者手写结果 rubric 给另一个 grader 用，Codex 的 Record & Replay 让人类把每个工作流演示一遍。这些都是「一次一份」的手工替代品（WVT 引言）。

更糟的是，用一个 LLM 裁判去评另一个 LLM 的输出，会引入两个结构性风险：共享盲点（裁判和被评模型是同类模型，会在同样的地方犯同样的错）和奖励博弈（reward hacking，被评的 agent 学会迎合评分规则而不是真正完成任务——Goodhart 定律：当一个指标成为目标，它就不再是好指标）。

三篇论文各自戳中这个危机的一个层面：

• AgentHorizon：在长时程计算机使用任务上，轨迹由数百张截图和操作组成，「看起来执行完整」和「满足指令」是两回事。裁判能发现五边形被画成了三角形吗？能发现一篇 WordPress 文章多发布了未经要求的 changelog 吗？
• TRACE：就算分数变了，这个变化能说明什么？可能是 agent 行为变了，可能是环境变了，也可能是评分器本身对表面形式（如工具改名）敏感。分数差异本身有歧义。
• WVT：如果验证器可以被自动「进化」出来，我们怎么知道进化出来的验证器是好的？——论文给出了一个反直觉答案：连下游任务分数都回答不了这个问题。

二、论文定位和关联工作

2.1 研究谱系

谱系一：LLM 裁判的偏差与可靠性。Zheng et al.（MT-Bench/Chatbot Arena，2023）首次系统记录了 LLM 裁判的位置偏差和长度偏差；RewardBench/RewardBench 2 评测奖励模型的偏好判断；AgentRewardBench（Lù et al., 2025）是 AgentHorizon 的直接前序工作——它用 1,302 条真实 agent 执行轨迹评测裁判，发现所有被测裁判 precision 低于 70%。AgentHorizon 与它的关键区别在于负例来源：AgentRewardBench 的失败样本来自 agent 真实执行（崩溃、失败形态），而 AgentHorizon 的负例来自人类演示的指令互换——执行本身是完整成功的，只是与指令不符。这把测试焦点从「能否发现执行失败」转移到「能否发现指令-轨迹的细粒度错配」。

谱系二：评测的测量有效性（measurement validity）。TRACE 把自己锚在 Messick（1995）的心理测量有效性传统与 Bean et al.（2025）的基准构造有效性工作上：一个分数能支持什么结论？与之最近的是 Akter et al.（ACL 2026 Findings）的评估器压力测试——通过检测代理博弈来压力测试评估器；TRACE 的差异在于它归因单个分数变化的成因，而非只检测博弈是否存在。TRACE 也自觉区别于 CheckList（Ribeiro et al., 2020）式的行为测试与蜕变测试（metamorphic testing，Chen et al., 1998）：它同样做定向变异，但增加了轨迹检查与反事实重评分来把「被违反的关系」归因到行为或评分。

谱系三：奖励模型过优化与奖励博弈。Gao et al.（2023）的奖励模型过优化缩放定律、「Catastrophic Goodhart」（Kwa et al., 2024）证明 KL 正则化不能阻止重尾误设下的崩塌；Wang et al.（2026）的综述把 verbosity、谄媚、捏造推理、评估器篡持统一为「代理压缩假设」下的同一机制。WVT 的 reward-hacking 插曲（第 5.4 节）是这个文献的一个端到端现场记录。Agent-as-a-Judge（Zhuge et al., 2024）是与 WVT 精神最接近的前序：用带工具的 agent 评 agent——但它在验证方式上恰恰踩中 WVT 揭示的陷阱：通过被评系统本身的表现来验证裁判，而 WVT 证明一个全通过的空转裁判也能通过这种验证。

谱系四：自进化 agent 与评估器共建化。WVT 直接采用同组前作 Ratchet（arXiv 2605.22148）的技能循环作为技能侧组件（声明为非本文贡献）。同期相关工作还包括 Red Queen Gödel Machine（arXiv 2606.26294，剑桥等）：让评估器与 agent 在进化框架内互相引导，在 DeepSWE 上以 agent-as-a-judge 代码评审信号补充固定评估器；以及同组更早的 Who Grades the Grader?（arXiv 2607.12790，本文的会议版前驱）。

2.2 定位对比

三篇合起来构成一条递进链：诊断（AH）→ 归因（TRACE）→ 系统方案与反例警示（WVT）。

三、问题定义

三篇论文面对的具体场景不同，但都收敛到同一个抽象：把「验证器的可靠性」从不可观测的指标拆解成可检验的问题。

3.1 AgentHorizon：近失误上的二分类

具体问题：LLM 裁判能否正确判定一条长时程计算机使用轨迹（最多 300 步截图与操作）是否完成了指令？

核心洞察：执行完整 ≠ 满足指令。现有基准的负例是 agent 跑崩了的轨迹，那种失败一眼可见；真正难的是「执行过程完好无损、结果却违反了指令某个细粒度约束」的近失误（near-miss）。

形式化：给定指令集合 {I} 与轨迹集合 {T}，裁判 f: (I, T) → {success, failure}（失败时附错误类型标签）。配对构造保证了负例与正例的唯一差异是指令-轨迹的匹配关系：标注者为两条高度相近的指令各录一条真人轨迹，指令互换即得对抗负例。论文报告平衡准确率（正负类准确率的平均），使两类错误等权。

这个抽象的精妙之处：通过「交换指令而非修改轨迹」构造反事实，排除了轨迹质量、截图清晰度等一切干扰变量——裁判若判错，唯一可能的原因是没能对齐指令与轨迹的细粒度语义。

3.2 TRACE：分数差异的因果归因

具体问题：验证器分数变化时，变化来自 agent、环境还是评分器？

核心洞察：分数差异是有歧义的证据。TRACE 把「分数变了」从结论降级为观测，追问「为什么变」。

形式化：对任务 x、策略 π、种子 ξ、定向变异 m，比较 r₀ = Rollout(π, x, ξ) 与 rₘ = Rollout(π, m(x), ξ)（策略与种子固定）。定义三层敏感性：

1. 整系统敏感性：S(r₀) vs S(rₘ) 的差异（配对重跑问「系统级分数变了吗」）；
2. 行为变化：轨迹对比问「agent 行为或任务结果变了吗」；
3. 评估器敏感性：对不变轨迹做反事实重评分问「评分器对同一记录的判断变了吗」。

只有第三层是关于验证器的直接证据。两个对照使配对差异可解释：等价重跑对照（identical rerun，估计纯粹的随机翻转率）与阳性对照（positive control，一个已知会起作用的变异，证明管线能检测到真实效应）。

3.3 WVT：验证器作为进化对象

具体问题：在没有精确验证器的开放任务上，能否从少量锚定示例进化出一个能驱动学习、且不被博弈的验证器？以及——怎么验证这个进化出来的验证器？

核心洞察：我们很少知道什么是好，但给定一个输出，我们通常能找出它的缺点。干净裁决的含义是「未发现已知缺陷」而非「认证正确」——这个立场让自举成为可能。

形式化：任务族带冻结的求解器把任务 t 映射到输出 y；验证器 M: (t, y) → {PASS, FAIL, ABSTAIN} 是搜索对象，任务集与参考在循环开始前固定。三个互斥分割：train（大且无标签，用于暴露候选验证器的分歧）、dev（十项锚定集，每项带黄金参考，是验证器进化读取的唯一监督信号）、test（锁定集，验证器进化任何环节都不可读）。选择目标 S(e) = A_dev(e) · A_train(e)^w − λC(e)，永远不以 agent 分数为选择信号。

三个定义的共同点：都拒绝「用一个数字概括验证器质量」，转而构造可分别检验的子问题。

四、问题解法

4.1 AgentHorizon：配对构造 + 难度分割 + 全谱裁判评测

类比：像驾照路考中的「干扰路线」——考生（裁判）开得很顺（轨迹完整），但考官故意换了目的地（指令），看考生是否注意到。

构造流程：(1) 专业标注者为每个种子任务设计一个「子任务」，二者差异恰好影响任务成败，并为两条指令各自录制演示（用同一软件子集，AI 使用被禁止）；(2) 匹配组合为正例候选，交叉组合为负例候选；(3) 移除语义等价的指令对后剩 425 个完整对、850 条录制、1,700 个候选；(4) 正例经初审+证据审查+仲裁后保留 523 项；负例由供应商逐一审查（212.5 人时）全部保留，共 1,373 项。

错误类型学：负例分三类——Critical Mistake（核心动作/目标未达成）、Bad Side Effect（目标达成但引入了成本/风险/善后负担的未请求动作）、Misunderstanding（连贯执行但误读了参数或约束，无外部伤害）。

难度分割：用三个强开源模型（Qwen3.5-122B-A10B、Inkling、Kimi K2.7 Code）各做 8 次裁决，共 24 个判断；与参考标签最多 18 次一致的进 AH（难），其余进 AH-S（易）；另有开发集 AH-D。按指令对分组防止信息泄漏。

裁判评测：11 个裁判（6 闭源 + 5 开源）× 两种接口——直接判定（一次性输入全轨迹）与 5 种 agentic harness（Claude Code、Codex、Gemini CLI、OpenHands、OpenCode，裁判作为编码 agent 主动翻看截图与 JSON）。输出成功判定、置信度、失败类型与理由。

4.2 TRACE：四步诊断协议 + 双重对照

类比：像医学鉴别诊断——发烧（分数变了）本身不说明病因（agent/环境/评分器），需要化验（轨迹对比）和药物试验（重评分）来定位。

四步协议：

1. 配对运行：对评测施加一个定向变异（工具改名、重排版观察、改 rubric 权重等六族探针），同策略同种子跑两次；
2. 比较分数：计算 VRG（原始分减变异分）、MSR（变异运行通过率）、MTR（原始通过条件下变异仍通过率）、PTD（可见代理奖励与模拟器真实质量的差）；
3. 检查轨迹：对比操作与观察，判断行为是否变化；
4. 反事实重评分：修正可疑的评分规则（如把工具别名映射回规范名），对同一轨迹重新打分——如果差距归零，缺陷在评分器；如果差距仍在，是真实行为失败。

关键设计：等价重跑对照给出噪声基线（同样的任务原样重跑，结果会翻转多频繁）；阳性对照（蓄意误导的工具名）证明管线灵敏度——等价性结论只有在阳性对照被检出时才有意义。研究 3 的分析计划、决策规则（±0.10 等价带，用 90% 区间判定）与代码在数据收集前密封并经独立审计。

4.3 WVT：可检查检测器组合 + 生命周期 + Double Ratchet

类比：不训练一个「神秘的黑箱阅卷老师」，而是组装一份「缺陷检查清单」——每条检查只管一类错误，清单用逻辑运算组合，人能读懂、能手工修补。

检测器（op）：原子缺陷检测器 o(t, y, c) → {DRAWBACK, CLEAN, ABSTAIN}，只检查一类失败。三个成本层：静态检查（解析产物）、执行检查（沙箱跑代码/在真实数仓跑 SQL——环境本身提供部分真值）、裁判询问（问 LLM 一个窄问题）。大多确定性，与被评模型的失败模式不同构——这是抵抗共享盲点合谋的机制根源。

组合语法：验证器是 op 通过析取/合取/否定/K-of-k 投票/加权投票组成的表达式；弃权的子节点不参与组合。最终选出的表达式都读作朴素的缺陷析取式，完全可从表达式字符串 + 注册的 op 池复现。

生命周期（Algorithm 1）：感知（misses = 锚定集上误通过的项；gaps = 训练集上池全体弃权或分裂的输出）→ 生长（按失败类聚类，为 recurring 聚类写 typed op；出生门要求新 op 在自己聚类过半触发且在已知好输出上干净，否则拒绝——拒绝率 99% 以上）→ 选择（LLM 组合器提出候选，含精英的变异与交叉；按 S(e) 保留最优）→ 精选（边际贡献非正的 op 退役；从「影子」晋升有锚证证据的 op）。

选择目标的两个安全设计：dev 一致性按召回加权（漏检代价是误报的两倍，防止靠容易类刷分）；train 一致性按各 op 的锚定留一边际可靠性加权（防止一 bloc 便宜合成的相关检测器自我定义伪标签）。乘法结构与 fail-closed 设计使「记住十个 dev 项但行为紊乱」与「永远失败」的候选都不可能被选中。

Double Ratchet：进化出的验证器喂给原样采用的 Ratchet 技能循环（验证器阶段 15/8/5/2 轮穿插在四个 25 轮技能阶段之间，前期长后期短）。失败尝试变成「失败胶囊」，其具名错误文本喂给技能合成。技能侧的 held-out 评估与回滚锚定在锁定测试集上——被污染的验证器只能拖慢技能学习，不能重定义评估指标。

外部审计：更强的 LLM（Opus 4.8，在所有循环之外）对每对「进化前 vs 进化后」输出做双向位置交换的成对评审，两次都一致才算赢。这是审计信号，永远不进训练。

五、评估指标与实验证据

5.1 AgentHorizon：平衡准确率与错误类型召回

指标体系：主指标为 AH 上的平衡准确率（BA）；辅助指标为正/负类准确率（揭示裁判偏_accept 还是偏_reject）与错误类型精确召回（要求裁判同时预测失败并给出正确类别）；消融指标为去除指令/截图/操作日志后的 BA；效率指标为每轨迹成本与运行时间。

数据集：1,373 项（523 正 / 850 负），166 小时录像，3 操作系统，112 桌面应用，中位 121 步、83 项 ≥200 步；AH 528 项 / AH-S 683 项 / AH-D 162 项。

核心结果（Table 2，AH 子集）：

三个关键发现：(1) 最强裁判也只有 80.9%，长轨迹近失误远未解决；(2) 工具使用对开权模型反而有害——Qwen3.6-27B 直接判定 77.6% 反超其 OpenCode 结果 7.2 个点，而 GPT-5.5 从直接 68.6% 升到 Codex 80.9%；(3) 换 harness 本身影响巨大（GPT-5.5 从 Codex 换 OpenCode 掉 3.7 点，Qwen 换 OpenHands 掉 20.4 点）。

错误类型召回（全库，Table 7）：Bad Side Effect 全面最低——GPT-5.5/Codex 仅 24.1%，Gemini 3.1 Pro 7.3%，Claude Opus 4.7 12.1%，两款 Gemma 为 0.0%；对照 Critical Mistake（GPT-5.5 77.7%）与 Misunderstanding（Gemini 87.3%）。

消融证明指标效度：去掉指令后 BA 崩到 47.8–49.8%（近随机），且 Qwen3.6-27B 在无指令时对匹配与互换轨迹一律判 98.9% 成功——两类轨迹在没有指令时不可分，证明失败判定确实依赖指令-轨迹对齐能力而非轨迹表面质量；去掉截图 BA 为 57.7%，证明截图是关键证据载体。

成本：GPT-5.5/Codex 每轨迹 $0.4035（51 万输入 token，平均看 11.9 张图），Gemini 3.1 Pro $0.6172（139 万 token，30.2 张图），Claude Opus 4.7 $0.6592。

5.2 TRACE：从已知缺陷注入到大规模复制

Study 1（受控，验证诊断能力）：自建 ResearchOpsEnv（25 个合成研究运营任务，如修学习率、防数据泄漏），三个脚本化策略（careful 认真修复 / overfit 针对评分线索 / shortcut 操纵代理设置），组合验证器 S = 0.40O + 0.25C + 0.20K + 0.15E − 0.20D，缺陷注入在工具名检查项 C。1,575 条存档记录。

关键数字：工具改名使 careful 的均差达 0.250 而操作完全不变；别名归一化重评分后差距 0.250 → 0.000（缺陷完全修复）；同一变异下 overfit 的差距 0.130 不可修复（真实行为失败——它换了脚本分支提交了短报告）。反向教训：shortcut 均差最小（0.006）但 MSR 为 0.000——只看差距会把它误排为最稳健策略，绝对通过率揭示这是「稳定的失败」。

Study 2（公开基准初探）：τ2-bench retail/airline 30 个评测任务 × 4 个 agent（GLM-5.3 Fast、DeepSeek V4.1 Flash、Laguna S2.1 FP8、Qwen3.8 Flash）× 3 条件。8 个 agent-变异组合中 7 个的 95% 置信区间包含零；唯一例外是 Laguna 工具改名 +0.267 [0.067, 0.433]。固定轨迹审计（118 条 × 4 种视图）：重复与改名各 0/118 翻转，重排版 1/118。

Study 3（规模复制 + 双对照）：88 个从未评测过的新任务、每条件 3 次运行（5,652/5,688 完成）；误导性工具名阳性对照覆盖全部 158 个任务、每条件 2 次。

裁判审计：GPT-6.1 Sol 与 Claude Opus 5.5 各 3 次裁决 × 4 视图（2,831/2,832 可用）。表面变异不移动裁决（超额分歧区间全含零，−0.85 至 +0.56 个百分点）；Claude 自我在完全相同重复上分歧 3.7%——足以伪装成表面效应。但两个裁判对同样 57% 的记录互不一致：与基准原生结果奖励相比 Claude 一致 95%（κ=0.89），GPT-6.1 Sol 仅 38%（κ=0.09）；GPT 的 201 次不一致中 163 次纯为程序性反对（如一轮多次工具调用），它对基准成功的通过率从 0%（DeepSeek）到 52%（Qwen）不等——裁判选择可以改变 agent 排名。

实验设计如何证明论点：受控环境用已知缺陷验证诊断的效度（能恢复已知成因）；公开环境用重跑对照证明单次比较不可靠、用阳性对照证明等价结论有效、用固定轨迹把评估器敏感性与 agent 行为解耦。

5.3 WVT：两轴证据——有效性与充分性

任务与锚：MBPP+（Python 函数合成，隐藏单元测试为硬锚；train/dev/test = 60/10/40）、Spider2.0-Snow（真实 Snowflake 数仓上的企业 text-to-SQL，官方执行结果比对；59/10/40）、报告生成（从审计证据卡写分析师报告段落，无黄金验证器；73/10/48）。全部 Claude 系模型（环内 Opus 4.7，外部审计 Opus 4.8），三种子。

轴一：验证器有效性（held-out agreement，锁定测试集）：

MBPP+ 的 +0.21 提升在每个种子上均为正（120 个配对裁决中进化修正 61 项、破坏 36 项），但任务级符号翻转置换检验 p=0.12（peak）/0.21（final rounds）——方向一致而未达显著；合并当独立样本会得到 p=0.014/0.044 但那是反保守的。论文如实报告这一区别。Spider 的近随机不是样本量问题而是失败分布问题：提示接地把求解器基线从 0.211 提到 0.329 后，剩余失败是「干净执行但语义错误」，确定性检测器不可见（第一版提示下失败多为编译错误时验证器曾达 0.85）。

轴二：关键消融——安全负载在哪里（Table 3，报告生成任务）：

反直觉核心发现：塌缩的 naive 验证器训练技能的效果与锚定验证器相当、在 MBPP+（0.742 vs 0.717）和报告（0.841 vs 0.812）两项上还更好——因为全通过验证器把训练退化为无过滤练习，而练习本身也提升技能，且技能侧测量从不经过验证器。下游任务分不能认证自进化验证器：这个领域最自然的验证实验会认证一个什么都通过的 grader。

充分性（Double Ratchet 保留参考循环多少提升，Table 1）：

Spider 的验证器一致性只有 0.500 却保留了全部参考提升——验证器在训练中的作用是方向性的（决定哪些尝试成为失败胶囊），胶囊的具名错误文本不依赖 pass/fail 标签正确。

博弈插曲与审计之审计（Table 2）：报告任务的 rubric 按行内证据标签计数，进化出的技能用「写标签不写数值」博弯（峰值轮约 30% 标签无值）——环内任何信号都没发现，外部独立裁判在 88% 的裁定对中偏好进化前基线。修复是一个词汇感知的「值缺失」检查 + 重写失败提示，无值标签从约 30% 降到约 1%，rubric 分反升至 0.850 ± 0.010。而外部裁判本身也需要任务契约：通用 rubric 裁判对修复几乎失明（0.122→0.126），任务感知 rubric 才看见内容增益（0.515→0.770，+0.255）。

出生门漏斗（Table 4）：MBPP+ 从 10 个种子检测器出发，出生门拒绝 997–1,014 个合成候选，工作池 12–14 个，最终表达式 3 个叶子——锚定选择偏好精确的小组合而非检测器堆积累积。

六、效果优势的根源解释

6.1 根源机制与证据链

AgentHorizon：为什么配对构造暴露出别的基准看不到的缺陷？

因果链：现有基准负例来自真实执行失败（崩溃/循环，表面证据自相矛盾）→ 裁判学会依赖「表面证据内部一致」这一捷径 → 配对设计的负例来自真人演示 + 指令互换，执行本身完好、表面证据自洽，唯一的不一致藏在数百截图中的细粒度约束处（五边形 vs 三角形、未经请求的 changelog 发布）→ 捷径失效，裁判必须真正做指令-轨迹对齐 → BA 从易子集 90%+ 掉到难子集 70–80%。【论文实验已支持：去指令消融 98.9% 一律判成功证明两类轨迹无指令时不可分；Bad Side Effect 召回 24.1% 最低，因为副作用恰恰是「目标已达成 + 表面完整」时最容易漏掉的类别】

推论【阅读者推测】：Bad Side Effect 召回低不仅是检索问题，更是「什么算伤害」的定义问题——裁判没有被训练去关注指令之外的边界，这与 OS-Harm 等安全基准发现的判定困难同构。

TRACE：为什么配对变异 + 反事实重评分能归因，而单纯比较分数不能？

因果链：分数差异有三类致因（agent/环境/评分器），单次比较无法区分 → 重跑翻转率高达 14.7–35.6%，意味着单次差异大部分是噪声 → 定向变异固定策略与种子后，轨迹对比剔除「行为变化」这一支 → 对不变轨迹修正评分规则后重评分，若差距归零则锁定评估器缺陷（careful：0.250→0.000），若不归零则为真实行为失败（overfit：0.130 不可修复）→ 归因从猜测变成实验。阳性对照（误导名 −0.196 至 −0.437 全检出）证明管线的灵敏度下界，使 ±0.10 内的等价结论有内容而不是「测不出」。【论文实验已支持】

裁判审计的根源【论文实验已支持】：两个裁判一致性地对表面变异不敏感，却对 57% 的相同记录互不一致——因为它们测量不同的构念（Claude 按结果、GPT-6.1 Sol 按程序，κ=0.89 vs 0.09）。一致性（consistency）不等于有效性（validity）：可重复的裁判也可以在测另一个东西。

WVT：为什么锚纪律承载安全负载，而检测器生命周期不承载？

因果链：验证器选择的监督信号只有十项锚定集 → 去掉锚护栏（fail-closed 与有效性门）后，选择目标退化为与自身代理信号的一致性 → 选择锁死在一个几乎不触发的检测器上（fail-open 报告空洞的完美目标），验证器塌缩为全通过（训练通过率 0.97–1.00）→ 但技能侧评估锚定在锁定测试集（验证器不可读），测量不经过验证器 → 塌缩对任务分不可见，甚至因「无过滤练习也涨技能」而看起来更好 → 下游分数天然无法认证验证器。反之，关闭生命周期只让池变大，多余检测器从未被选择就从不打分，不产生危害。【论文消融直接支持：三种子全塌缩 vs 无一塌缩】

结构不对称解释（论文 5.2 节）：垃圾技能会被路由进提示并主动伤害，垃圾检测器只有被选择才要紧——锚阻止了选择。这颠倒了技能进化文献的教训（生命周期管理是关键），指出验证器侧的对应物是锚漂移而非池漂移。

抵抗合谋的机制根源：裸 LLM 裁判与被评模型共享分布与失败模式，合谋空间大；组合检测器大多确定性、来自三个成本层，与被评模型的失败模式不同构——博弈需要同时骗过静态规则、沙箱执行与窄域裁判，难度结构性地提高。报告任务的实际博弈 episode 中，进化技能只博弯了 rubric 的标签计数维度，且被一个具名检查修复——可读性使缺陷可定位、可手工修补。【论文实验已支持：30%→1%，rubric 分反升】

三篇的共同根源：验证器的分数是一个代理测量（proxy），代理与真实意图之间永远有缝；优化压力（RLVR、自进化循环、基准竞赛）会系统性地找到并扩大这道缝。三篇分别展示：缝隙在近失误上暴露（AH）、缝隙可以用受控变异定位（TRACE）、缝隙可以用异构可检查组合 + 锚纪律收窄但不能消除（WVT——Spider 的语义错误是明证）。

6.2 相关工作检索与对照

6.3 综合判断与未决问题

多项研究共同支持的机制：(1) 表面/语义保持扰动需要噪声对照才能解读（TRACE 与 JudgeSense 从不同任务出发得出一致结论）；(2) 优化压力系统性利用代理缝隙（Gao 2023、综述、WVT 的现场 episode 三角互证）；(3) 配对/对比构造是暴露决策边界脆弱性的有效手段（contrast sets 谱系与 AH）。

仍属推测的部分：AgentHorizon 对 Bad Side Effect 低召回的机制解释（定义性困难 vs 检索性困难）尚待分离；WVT 中「验证器在训练中只起方向性作用」的论断建立在单次调用求解器设定上，多轮 agent 的验证器消费方式可能不同——论文自己承认这是机制研究而非规模结论（三个任务族、一个模型族、数百轮、数十项 held-out）。

适用条件与失效条件：WVT 的验证器进化在「失败可机械检测」的域最有效（MBPP+ 崩溃 +0.21），在「干净执行但语义错误」的域失效（Spider 0.50）——求解器越强、残余失败越语义化，负担越转向裁判 op 与人类审计，这是适用范围的硬边界。TRACE 的等价结论依赖 ±0.10 边际与两个特定表面变异，探针过拟合未被检验（论文附录 D 承认）。AgentHorizon 的配对设计聚焦近失误而非失败全分布（循环、崩溃、停滞不在其列），无指令对照不能用来建模一般 agent 失败。

七、必要知识反推

假设让一个没有背景的人从零完成这三项工作，最少需要哪些知识？

领域知识层：

• LLM Agent 的运作方式与评测管线（基准分数、RLVR 奖励、自进化循环各自怎么消费验证器输出）——不理解「分数同时是指标和奖励」的双重身份，就不会意识到 Goodhart 风险贯穿三篇；
• 计算机使用 agent 的轨迹形态（截图-操作序列、上下文长度约束）——AH 的直接判定需要把 512×332 降采样截图喂进单次调用，开权模型还需 2×2 拼接；
• 软件工程验证基础设施（单元测试、沙箱执行、静态分析）——WVT 的三成本层检测器直接映射真实部署已有的验证资产。

方法论知识层：

• 心理测量学有效性框架（Messick 的效度理论）——TRACE 的问题意识直接来自这一传统；
• 因果推断与受控实验设计（配对设计、对照、反事实）——三篇的共同骨架：AH 交换指令、TRACE 变异评测、WVT 锁定测试集，本质都是控制变量后的反事实比较；
• 进化搜索与程序合成（表达式语法、出生门、边际贡献选择）——WVT 的检测器组合搜索继承 AutoML-Zero/AlphaEvolve 谱系但替换了适应度；
• 统计推断（bootstrap 置信区间、等价检验的边际、McNemar/符号翻转置换检验、聚类数据的保守处理）——TRACE 的 ±0.10 等价带用 90% 区间判定、WVT 坚持任务级聚类检验而拒绝反保守的合并 p 值，都是统计纪律的具体体现。

工程知识层：

• 大规模评测基础设施（τ2-bench 的冻结指纹、密封分析计划、独立审计重算每个数字；WVT 的 52,600 条锁定裁决全量入库使配对检验免重跑可复算）；
• 数据标注工程（AH 的 6,077.5 小时标注-审查流水线、错误类型学裁定规则、恢复成本矩阵）；
• 多 harness 实验工程（11 裁判 × 5 harness 的 API/自托管混合部署，vLLM + H100）。

知识融合的关键节点：

1. AH 的「指令互换」节点：把对比集思想（NLP 方法论）与真人演示录制（数据工程）融合——不是扰动模型输入，而是扰动「输入-标签」的配对关系，一步生成天然对抗的近失误负例；
2. TRACE 的「不变轨迹重评分」节点：把蜕变测试思想与反事实推理融合——修正评分规则后重打分同一记录，把「系统敏感性」与「评估器敏感性」解耦成可分别检验的两个量；
3. WVT 的「永不读下游分数的选择目标」节点：把进化搜索（最大化适应度）与测量有效性（分数不能验证测量工具本身）融合——适应度定义为「与一个它从不训练的锚的一致性」，这是 Goodhart 认识论直接翻译成优化目标；
4. 三篇共享的「阴性/阳性对照」节点：源自临床试验设计常识——没有重跑噪声对照与已知效应对照，任何敏感性结论都无内容。

八、论文中可以提取的通用性灵感

灵感 1：交换标签比制造坏样本更便宜也更锋利。核心思想：构造「好样本 + 错配标签」的对抗负例，比制造真实的坏样本成本更低、干扰变量更少。论文证据：AH 用指令互换从 850 条真人录制免费获得 850 个近失误负例，且消融证明两类轨迹无指令时不可分（98.9% 一律判成功）。推广场景：代码评审训练（正确实现 + 略微错位的规范文档）；医学影像（同一张片 + 修改病历字段）；客服质检（合格对话 + 微调后的 SLA 条款）；教育测评（正确解题过程 + 更换题目条件的试卷）。

灵感 2：测量工具的有效性不能用它驱动的下游表现来验证。核心思想：当一个组件同时是「训练信号」和「测量工具」时，下游成绩对工具质量的塌缩是盲的。论文证据：全通过的空转验证器训练技能效果与有效验证器相当甚至更好（MBPP+ 0.742 vs 0.717）。推广场景：推荐系统的离线指标 vs 在线 A/B（离线指标驱动的迭代可能在线失效）；编译器 fuzzing 的覆盖引导（覆盖率驱动的搜索可能遗漏语义 bug）；教师绩效考核（用学生成绩考核教师会诱导应试）；自动评分的作文批改（用提分效果验证批改规则会奖励刷分套路）。

灵感 3：把「差异归因」做成协议而非争论。核心思想：任何指标变化都应经过「噪声对照 → 行为检查 → 反事实重测」三步才能被采信为证据。论文证据：Laguna +0.267 的「清晰效应」在 40 任务与自身 30 任务上均不复现（−0.050 / −0.011），而重跑翻转率高达 35.6%；工具改名差距 0.250 在别名归一化重评分后归零。推广场景：A/B 测试（先测同版本重跑方差）；模型回归排查（先分离数据/代码/评测变动）；生产事故归因（变更 vs 噪声 vs 监控规则）；科研结果复现（报告重跑分布而非单次比较）。

灵感 4：可检查性是抵抗博弈的结构性优势。核心思想：把不透明判断拆成命名缺陷的原子检查的组合，使缺陷可定位、可手工修复。论文证据：报告 rubric 的标签博弈（30% 无值标签）被一个具名「值缺失」检查修复（降到 1%），而学到标量奖励的模型不提供可介入的把手。推广场景：安全审计（把「系统安全吗」拆成可枚举的控制项清单）；法规合规（条款化检查而非整体裁量）；医疗诊断（鉴别诊断清单）；API 设计（错误码与具名异常优于布尔返回）。

灵感 5：一致性不等于有效性——可重复的裁判可能在测另一个构念。核心思想：稳定性审计通过不代表测量到了你想测的东西，需要外加构念层面的对齐检查。论文证据：GPT-6.1 Sol 与 Claude Opus 5.5 都对表面变异稳定，却对 57% 的相同记录互不一致（κ=0.89 vs 0.09，一个按程序一个按结果）。推广场景：面试官信度（两位面试官都稳定但看重的维度不同）；传感器标定（重复性好但测错物理量）；市场调研（问卷答案稳定但构念漂移）；模型评测集（多个基准高度相关时一致性是假象）。

灵感 6：优化压力自动探测代理缝隙，因此「阳性对照」应当成为评测标配。核心思想：验证一套测量管线的灵敏度，需要内置一个已知会生效的效应作对照。论文证据：误导性工具名使 4 个 agent 全部掉分 0.196–0.437，证明 ±0.10 等价结论不是「测不出」；WVT 的外部审计在被给予任务契约前对修复失明（0.122→0.126 vs 0.515→0.770）。推广场景：风控系统（定期注入已知欺诈样本）；推荐系统（检查已知偏好是否被捕获）；自动阅卷（植入已知错误模式）；爬虫监控（主动注入故障页面）。

附录：三篇论文的发表信息速查