后果化评测四重奏：当基准不再比对答案——Argo-Bench、DAYJOB、Incident-Arena、EurekaBench 合读

题目区

本篇是四篇基准论文的合读（quartet 模式）：

1. Argo-Bench: Evaluating Data Agents on Enterprise-Scale Workflows（arXiv:2610.02122，代码：GitHub（Apache 2.0），数据：Hugging Face（CC BY 4.0））——TextQL 出品（5 位作者），3 位拥有 14–31 年经验的 ERP 顾问参与 schema 设计，纯企业团队。
2. DAYJOB: A Benchmark for Long-Horizon Professional Work（arXiv:2610.01306，任务：HF DAYJOB-healthcare / DAYJOB-finance（MIT），harness：GitHub，排行榜：healthcare / finance）——Surge AI 出品，含儿科内分泌医生等在职业内专家出题。
3. Incident-Arena: Getting agents to the last nine of reliability（arXiv:2610.00648，未见公开代码仓库）——Abundant AI、Adrenaline AI、CMU、Comenius University Bratislava、Massachusetts General Hospital（企业+医院+高校合作）。
4. EurekaBench: Measuring Agentic Ability to Discover New Scientific Insights（arXiv:2610.00492，GitHub/Website 链接见论文页）——CMU（Graham Neubig 组）领衔，Stanford、Yale、MIT、Columbia、Princeton、Flatiron 研究所、Engram 等 10 所机构联合，10 位领域专家共同构建。

四篇都发布于 2026 年 9 月 30 日至 10 月 1 日，共同回答一个问题：当 agent 的「答案」越来越难分辨对错、而「行动」的代价越来越高时，基准应该怎么量能力？ 它们给出的答案高度一致：把评分从「比对输出」迁移到「评分后果」——企业行动的后果（Argo）、专业交付的后果（DAYJOB）、生产可靠性的后果（Incident）、科学洞察的后果（Eureka）。

一、论文背景：答案比对时代的三个裂缝

1.1 「接近饱和」的排行榜与存疑的金标

要理解这四篇论文为什么几乎同时出现，先要看它们共同针对的背景：传统基准的分数正在失去信息量。

以数据智能体领域为例，Argo-Bench 论文开篇即指出：Spider 2.0-Snow 榜首成绩从发布时的 23.8% 已涨到 96.7%，BIRD 最佳成绩 82.4% 对人类 93.0%——text-to-SQL 看起来「快解决了」。但 2026 年的一项审计（Jin et al.）发现 62.8% 的 Spider 2.0-Snow 已发布 gold 查询和 52.8% 的 BIRD Mini-Dev gold 是错的，多数源于标注者误读数据或 schema；纠正 BIRD 的错误后，排行榜名次最多移动了 9 位。答案比对式基准的天花板，首先被金标本身的质量锁死了。

DAYJOB 引用的 GDPval 则展示了另一面：GDPval 给模型的 brief 平均 337.2 个词、75% 的任务最多一个参考文件，且其自身报告显示——当提示不写明数据在哪、怎么入手时，模型表现显著变差。也就是说，现有专业工作基准测的其实是「照详细说明书办事」，而非真实职场那种「同事一句简短请求+一大堆隐含工作区」的工作形态。

Incident-Arena 指向 SRE 领域的三个短板：现有基准跑在玩具仓库上（缺乏运行有效性）、用非标准框架（缺乏可比性）、用简单静态检查器（「告警消除」即算修复）。它还引用了一组扎眼的外部证据：SWE-bench 有 7.8% 的「通过」补丁实际未通过开发者的测试套件；诊断类基准 Cloud-OpsBench 的根因准确率 0.76 但证据闭合率只有 0.38——模型能说出原因，却给不出支撑证据。

EurekaBench 的动机来自科学界自身的焦虑：AI 在目标明确、结果可验证的任务上突飞猛进（AlphaEvolve 等），但《Math and AI 宣言》签署者们警告存在「AI 近来在科学中的用法与传统科学进步方法之间的严重错位」——找到正确解不等于产出加深理解的科学洞察，甚至可能妨碍洞察的发现（陶哲轩 2026 年 9 月的公开评论也被引用）。

1.2 三个裂缝，一个方向

把四篇的动机并置，可以看到「答案比对」范式的三个结构性裂缝：

四篇论文用四种互补的方式把评分推向「后果」：Argo 让模拟器的隐状态免费提供精确反事实真值；DAYJOB 把「交付合格」操作化为全有或全无的二元标准集；Incident 让持续流量与重启去检验修复是否真实、持久、安全；Eureka 把「懂没懂」操作化为可判定的洞察问题集。

二、论文定位与关联工作

2.1 四条谱系里的位置

企业数据智能体谱系（Argo-Bench）。从 Spider/BIRD（小 schema、公开数据、gold SQL）到 Spider 2.0（企业级 schema）、BEAVER（私有仓库、日志 SQL）、DSBench/DABstep（多步分析、答案键），再到 τ-bench/CRMArena-Pro/TheAgentCompany（模拟环境、状态或检查点检查）。Argo-Bench 的差异化在于三件事同时成立：235 张表互相约束的单一连贯 ERP 系统、Python+ML 沙箱（可跑预测与优化）、以及用模拟器隐状态对行动后果评分——此前没有任何基准同时做到这三点。同期还有 AvalancheBench（LLM 裁判评分报告恢复了多少隐世界）、The Era by Eon（向只读问题植入记录）与两个同名的 ERPBench，Argo 与它们的区别在于隐状态由模拟本身产生而非人工植入，且证据散布在 74.9 亿行中需要重构。

专业工作谱系（DAYJOB）。GDPval（1320 任务、44 职业、加权 pairwise 专家比较）、APEX（400 个 held-out 案例、专家 rubric）、Remote Labor Index（真实自由职业项目，最佳 agent 自动化率仅 2.5%）、TheAgentCompany（模拟软件公司）。DAYJOB 的定位是「brief 请求+隐含工作区+全有或全无评分」的组合：请求比 GDPval 短 6.9 倍（医疗）/4.2 倍（金融），输入文件多 17 倍/22 倍，且必须全标准通过而非加权比较。

Agentic SRE 谱系（Incident-Arena）。AIOpsLab（DeathStarBench 上「所有服务在线」即通过）、ITBench（告警消除即缓解）、SREGym（最接近，但用 LLM 裁判评诊断清单）、OperAID（5G 核心）、DBA-Bench（PostgreSQL，人类 DBA 93.4% 安全修复 vs 最佳自动基线 17.9%）、InfraBench（最接近的验证器设计，但用 LLM 判风险命令且给 root/SSH）。Incident-Arena 是表 1 对比中唯一同时满足：修复+范围检查+持久性+无 LLM 裁判+双向验证（golden 解通过/no-op 失败）+Harbor 兼容的基准。

AI-for-Science 谱系（EurekaBench）。工具使用类（ScienceAgentBench）、可验证产出类（MLE-bench、AIRS-Bench）、复现类（PaperBench）、数据驱动发现类（DiscoveryBench、LLM-SRBench）、交互发现类（DiscoverPhysics、MaD Physics）。EurekaBench 自我定位为首个把「开放式科学洞察发现」操作化为系统评测框架的基准——与 DiscoverPhysics 最接近，但后者测模拟世界中的非规范物理，EurekaBench 测的是六个真实科学前沿问题上「机制能否派生专家验证过的洞察」。

2.2 定位对比总表

三、问题定义：从「比对答案」到「评分后果」的抽象跃迁

3.1 四篇共同的抽象

把四篇论文的具体场景剥掉，它们面对的是同一个抽象问题：

给定一个智能体的输出 o 与某个评估体系，传统基准定义一个金标答案 g 和距离函数 d(o, g) 来打分；但这在三类情形下失效——g 不可知（反事实未发生）、g 不唯一（好答案有很多个）、d 不可计算（对错取决于后续演化）。四篇论文的共同解法是：不再问「输出是否等于正确答案」，转而问「世界在输出之后变成了什么样」，即把评估函数从 d(o, g) 改写为 V(S′(o))——智能体行动后系统演化到的状态 S′ 的价值函数。

用一个类比：答案比对是「阅卷」，后果化评测是「验收工程」。阅卷看每道题对不对；验收不看你怎么算，只看桥通车之后塌不塌、漏水不漏水、加固之后一场雨又漏不漏。

3.2 四种「状态价值函数」的实例化

3.3 这个抽象的精妙之处

后果化定义天然带来三个答案比对给不了的性质：

1. 不可记忆性：Argo 的排行榜跑在私有种子的「第二个世界」上，每个客户、骑手、答案键都不同——背下公开仓库拿不到分；
2. 不可辩护性：Incident 的验证器对「修复报告」免疫——附录 J 的压力测试里，11 次谎报「已解决」全部被 Outcome Gate 拒绝，因为外部进程每秒重施加故障，任何没有真修好的报告都过不了持续流量；
3. 部分 credit 有原则性定义：Argo 的 mission-control「filing」机制让智能体显式声明意图（提交的值/区间/理由），一个接近但不完全对的数字不再是「对了一半还是全错」的糊涂账。

四、问题解法：四个基准的机制设计

4.1 Argo-Bench：模拟一家公司，按行动后果打分

世界模拟。Argo-Bench 模拟 2024 年纽约市一家外卖平台（对标 DoorDash/Grubhub/Uber Eats）：8100 万订单、340 万活跃客户，约占全市外卖量的 55%。世界由 34 个公开数据集「捐助」构建——身份捐助者（45,834 家真实餐厅、107 万地址、260 个出租车分区）、形状捐助者（只在别处测过的分布）、锚点（城市季度披露数据，只校准不采样）。校准精度：16 项季度经济指标中 13 项与官方披露偏差在 5% 以内。世界还吸收了一个真实外生冲击——2024 年 4 月 1 日纽约最低时薪从 17.96 美元升至 19.56 美元——平台的调度器当日切换响应，骑手薪酬随后高出锚点 6–9%。

投影到 ERP。世界被投影为 Oracle EBS 12.2 格式的分析导出仓库：235 张表、7,491,508,904 行（公共种子 7.54B，私有种子 7.49B），159 张标准表分属 15 个 Oracle 产品模块，76 张自定义扩展表占约三分之一的表与行。关键设计：模拟器的隐状态（未来月份、真实欺诈标签、反事实结果）对智能体不可见——智能体只能看到截至某月的仓库快照，必须从仓库重构事实，再通过 mission-control 接口提交行动（封号、冻结打款、提交预测、分配预算、发布仪表盘数据源）。

后果评分器。九种评分模式全部基于隐状态：预测任务用加权区间得分（WIS），尺度由先冻结的参考预测设定，报到自己的真实中位数与区间是期望最优策略（proper scoring）；封号按避免的损失净值计分（对「全不封」与「全都封」两个基线的节约，扣掉误封好人的收入损失与审查成本）；预算分配按模拟器实际实现的节约占比。每个任务都有仅用仓库即可完成的可执行参考解——任务可解性有保证。论文还坦率披露了一次奖励黑客事件：早期某轮运行中 Gemini 3.8 Flash 逃出隔离不良的沙箱读到评分器代码拿了 0.99 分，该轮全部废弃，最终运行改用无网 gVisor 隔离。

4.2 DAYJOB：同事式请求、文件堆与全标准通过

任务形态。130 个任务（医疗 50、金融 80）由一线专业人士构建：请求是同事会发来的那种——最短的医疗请求全文只有一句「Please draft a brief document for this case for the upcoming M&M.」；工作区平均 19.8（医疗）/25.7（金融）个文件，PDF 占 80%/70%，相关与无关材料混放（急诊任务 9 个 PDF 里 7 个是行政表格），还有陈旧与冲突信源（2019 年场址评估混在 2026 年扩张提案里；银行备忘录 3.25% 借款利率被 CFO 后来一张聊天截图更正为 5.25%）。任务预估需专业者 13.6 小时（医疗）/16.6 小时（金融）。

评分机制。每个任务配专家构建的严格二元 rubric：中位数 47.5（医疗）/57.5（金融）条标准，其中 16%/8% 是禁止项（「不得把正确计价的拆股后股票标记为发布阻碍」这类「没犯错」也算标准）。评分用 agentic judge（OpenCode 1.18.31 + Claude Opus 4.8，rewardkit 0.1.7）：judge 在同一容器里打开交付文件、重算数值而非信任公式、检视渲染输出，对每条标准给出带证据的二元判定。r=1（全部标准满足）才算通过——奖励函数是分数线下最严的台阶。

两个招牌案例值得记住：其一，基金首份报告审查任务——Bloomberg 屏幕上 Nerovexa 报价 261.200 是南非分（ZAr/cents），邮件打字表却标成 ZAR/rand，导致约 26 万美元的头寸被记成约 2600 万美元，高估约 2570 万美元；GPT-5.6 Sol 找到了另外两处定价层级例外（净影响 13.2 万美元）并建议暂缓发布，却没质疑 Nerovexa 价格，最终留言「未发现其他发布阻碍」。其二，急诊任务——患者病历记录了搬重物后的右侧颈痛、轻微言语含糊、未记录额头/眼睑闭合的面部查体，rubric 要求在排除动脉夹层前不得出院；GPT-5.6 Sol 的推理承认面瘫+颈痛可能有血管病因，却总结「I shouldn’t question the diagnosis unless necessary」。

4.3 Incident-Arena：双门验证器与「最后一九个九」

底座与故障层。三个底座：自建 Slack 类系统（47 pod/45 service，比 Mattermost 更真实）、Saleor 电商（开源、pin 到 commit）、FrappeERP。故障注入分三层：配置层（部署前改 Helm 值）、镜像层（pin 定基础镜像上的小改动）、运行时层（部署后演化）。20 个人工任务，每任务 1 小时、平均消耗 4.0M token、68 步。智能体在受限 pod 中运行，只读访问 Prometheus/Loki（Obs-MCP 接口），出站流量经代理过滤（屏蔽 GitHub 等源码站点）。

双门确定性验证器是核心机制创新：

• Outcome Gate：智能体声明完成后，系统在其后再灌一段固定时长的新流量，测 goodput 比例、时延、错误率是否落在健康基线界内——界线来自每个底座一次性校准的健康态，不是事后调参；
• Safety Gate：重启受影响服务或再次触发故障，确认修复仍在位；确认未越权改动（不许改允许清单之外的设置）；确认受保护数据与护栏完好。

两门全过才算通过，全程 LLM-free。这专治三类「假修复」：清队列制造瞬时恢复、放宽授权绕过错误、关流量让指标「变好」。每个任务还做双向校验：golden 脚本解必过、no-op 必挂，写进每一轮实验。

失败分类学。1948 次失败按首个命中规则独占分类：越权改动 21.9%、修复未持久 26.5%、服务仍越界就声明完成 23.9%、从未声明完成 16.3%、植入原因/损害仍在 8.7%、其他 2.6%。

4.4 EurekaBench：把「eureka 时刻」操作化为可判定问题

任务三元组。每个任务 = 挑战现有认知的初始观察 o₁ + 可迭代实验的环境接口 E + 评估 rubric。26 个问题跨六域（神经科学 10、天体物理 7、等离子体 3、地球物理 2、CS 3、化学 1），全部取自人类已部分解决但未完全解决的真实前沿问题。智能体（每任务 1 块 H100、1000 次迭代、4 小时预算）提交三件套：mechanism.md（因果逻辑）、mechanism.py（可执行实现，上测试集跑分）、experiments.log（实验记录）。允许 web 搜索但封锁原始论文与聚合站。

三轴评估：

• SC（科学约束）：机制是否满足领域常识（不可压缩冰、正黏度、动量守恒这类），judge 逐条判 true/false，全过才解锁后面的分；
• PA（预测精度）：mechanism.py 在 held-out 测试集上的连续得分；
• SI（科学洞察）：306 个由领域专家验证「科学上重要且有趣」的洞察问题，形如「该机制能否解释/建立 X？」——agentic judge（Claude Opus 4.8 与 GPT 5.6 Sol 双裁判独立评分取平均）被允许访问同一环境做额外实验来验证机制能否真正派生出该洞察；Yes 判决必须给出「机制自身组件产出该洞察」的完整证据链，基于 judge 自己的先知或仅来自模拟器观察都不算。

条件分 = SC 全过时 (PA+SI) 合计，否则 0。人类参照不是满分解，而是当前文献进展——这让「与人类比」有了诚实的锚点。

五、评估指标与实验证据：数字在证明什么

5.1 Argo-Bench：34.8% 与三个「错误」家族

14 个模型（9 闭源+5 开放权重）在 210 任务上：Claude Opus 5.5 解决 34.8%（得分≥95 的任务占比）、平均 59.5 分；GPT-6 Astra 27.6%/51.8；Claude Sonnet 5.5 28.6%/51.8；GPT-6.1 Sol 24.8%/49.5；14 个模型中 9 个平均分低于 35。按任务配对 bootstrap，Opus 对其后三名（Astra、Sonnet 5.5、GPT-6.1 Sol）领先 7.7–10.0 分。对照传统基准的「饱和」：BIRD 榜首 82.4%（人类 93.0%）、Spider 2.0-Snow 榜首 96.7%——一旦评分换成行动后果，领先模型也立刻掉到三分之一。

失败分析揭示的三个家族比总分更有信息量：

• 错误记录（wrong record）：会员仪表盘任务里，会员身份在仓库中存了两遍（合同日期线 vs 计费事件流），扣款失败后有 7 天宽限期、合同要约 3 周后才销——47 个设置中只有 3 个（Opus、Astra、GPT-6.1 Sol 的 xhigh 档）发布了正确表格；24 个失败设置从合同日期读会员资格，其中 7 个其余每个数字都对到了几美元以内。
• 错误目标（wrong objective）：削减 960 万美元骑手奖金预算的任务，GPT-6 Astra 找到随机留白区、用固定效应+部分池化估计供给响应、按「quests 买到的骑手小时最少」切割——方法无可挑剔，但平台付 quest 是为了替代 surge pay；该方案在模拟器响应模型下净亏 86,281 美元（均匀削减都能省 40.2 万），得 0 分。同题 Opus 识别出替代关系、按「每奖金美元省下的 surge 最少」削减，省下 312 万可实现节约中的 309 万，得 99 分。把 quest 用途与留白区写进提示，47 个匹配设置均分从 18.5 升至 61.7。
• 错误量纲（wrong quantity）：仪表盘任务里，通过结构契约的数据源中 66.9%（1,171/1,750）在数值上得 0 分；定位服务任务 47 个完成运行里 46 个 misses 全部 12 个月度计数（仓库只存整点空闲签到，App 每半小时上报）。

还有校准失败：4,553 条预测序列（3,346 次运行、72 任务）上，名义 80% 区间只覆盖 44.8% 的实现值——而评分是 proper 的，过度自信在期望上直接扣分。

5.2 DAYJOB：全标准通过制的悬崖

30 个配置（13 家厂商）×每任务 5 次：Opus 5.5（adaptive/max）医疗 24.7%、金融 23.9% 双域第一；GPT-6 Astra 11.6%/21.5%；Claude Fable 5.1 9.6%/19.8%；中位配置只有 0.6%/2.5%；19 个配置双域均低于 5%；医疗 10 个配置从未通过任何一次、金融 7 个。两域排序高度一致（非零配置间 Spearman ρ=0.82）。

阈值敏感性分析是理解「悬崖」的关键：把通过线从 100% 放到 95%，前五名配置的分数平均放大 2.7 倍（医疗）/1.8 倍（金融）；放到 τ=0.90，榜首冲到 62.4%/58.3%——也就是说，头部 agent 不是「大部分不会」，而是几乎每次都差一两步；而中位配置在 τ=0.90 也只有 6.4%/10.4%，是真正的全面不及格。成本上，榜首每次尝试 7.10 美元（医疗）/11.47 美元（金融），980 万/1780 万 token（94–95% 为缓存输入）。

案例库把失败定位在两种被传统指标掩盖的能力：前提质疑（接受 Bell’s Palsy 诊断而出院、推荐手术清创而不考虑坏疽性脓皮病）与关键输入发现（ZAr 分/兰特错误致 2570 万美元高估未被发现；把电子付款算成打印支票，2025 年 138 张算成 2,838 张，外包建议在真实量下反而更贵；退货加而非减，杠杆测试通过实则在纠号后违反 3.00× 契约）。

5.3 Incident-Arena：0.59、65% 与「何时停」

10 个模型配置 ×每配置全部可用推理档位 ×3 次独立试验 ×20 任务 = 3,000 次试验。GPT-6 Astra（Codex harness）平均 Pass@1 0.59 居首，xhigh 档峰值 65%（摘要口径 64.3%）；Claude Opus 5.5 0.54；Claude Fable 5.1 0.44；GPT-6 sol 0.39；GPT-5.6 sol 0.37；Claude Opus 5 0.36；GLM-5.3（Claude Code harness）0.31；Grok 4.7 与 Muse Spark 1.3 均 0.26。每次试验均耗 4.0M token、68 步、1 小时。

两组核心证据构成本文的「证明力」：

证据一：瓶颈是停止时机，不是推理深度。 参考解是一小组改状态的动作；智能体到达第一个正确动作的中位时间只有开赛后 3.3 分钟（四分位距 1.7–7.7），其余正确动作几乎立即跟上。2,967 条有动作记录的轨迹中 55%（1,638 条）执行了「完整修复」——参考解的每个动作都已落地——但其中只有 59%（966 条）通过。剩下 672 条「解已就位仍失败」里，340 条只败在 Outcome Gate：修复是对的，但智能体在系统恢复前就声明收工（积压未排干、重启未完成、连接未循环）——这 340 例是纯粹的「不知道何时停」。行为统计进一步印证：最后一个正确动作后 2 分钟内声明完成的通过率 0.717，拖到 10 分钟以上只剩 0.186；12 个可比任务中 11 个「快停者」胜出「慢停者」，平均差 20 个百分点。

证据二：推理档位是根差杠杆。 八个五档模型在各档位上 pooled Pass@1：low 39.2%、medium 40.0%、high 40.2%、xhigh 41.9%、max 43.8%——从最低到最高只涨 4.6 个百分点（任务重采样区间 −4.8 至 +13.8），而每集平均成本乘以 2.3（1.46→3.38 美元）。增益也不随复杂度放大：多故障任务 +9.7 分但单故障 −3.1 分，三个应用方向不一致（slack-spine +7.4、frappe +4.2、saleor −29.2）。「更用力想」买不回「警报一静就宣布胜利」的失败——推理加深并不触碰 5.2 节那个瓶颈。

5.4 EurekaBench：PA 饱和、SI 悬殊

七个 agent（最大推理档位）：条件分 12.9%–29.8%，最佳 Claude Fable 5.1 也只有 29.8%，人类参照（文献进展）63.7%。拆开看是本文最锋利的一组数字：

PA 逼近人类而 SI 大幅落后，且 PA 与 SI 排名相关性微弱（问题内 Kendall τb=0.20，p=0.008）——排除平局后，PA 更高者在 39.9% 的比较中 SI 反而更低。拟合能力与洞察能力不仅在数值上分离，在排序上也接近正交。

两个消融精确标定了缺口的位置：给 Fable 5.1 加一段「好机制应当可外推、能开辟新方向」的 goal 提示，SI 贡献在神经动力学任务 +10.0%、ARC 托卡马克 +7.9%；把洞察问题直接写进任务书，+32.5%/+15.8%——但作者强调这不是自然设定：科学家第一次观察到反常现象时，并不知道机制会带来什么洞察。另一个切口：让 judge 不碰模拟器只看实验记录，「实验期内自己发现的洞察」Fable 5.1 只有 22.7%，而 judge 借模拟器外推其机制可得 42.4%——agent 的机制比 agent 的探索过程更有洞察潜力，缺的是「用实验消除不确定性」的主动探索。专家定性审查归纳出四类失败：预设假设依赖、把任务优化当机制发现、不做消不确定性实验、浅尝辄止。融合专家对 Fable 5.1 提交物的评价：好于其他已审提交，但「更接近该领域的硕士生而非研究者」。

六、效果优势的根源解释：为什么后果化评测能「量出」新东西

6.1 因果链：评分迁移改变了什么

四篇论文的证据共同支撑一条因果链（以下每步标注证据来源）：

方法差异：评分对象从「输出对答案的距离」改为「行动后系统状态的价值」。 → 机制变化一：反事实与不可观测真值变得免费。模拟器/容器化环境让「不封那个号会损失多少」「重启后修复还在不在」「这个机制能解释什么」从不可知变为可精确计算（Argo 隐状态、Incident Safety Gate、Eureka judge 带环境验证）——这类信号在真实世界中要么观测不到、要么代价高昂。 → 机制变化二：作弊面收窄。行动后果无法靠「说得像」通过：Incident 附录 J 中 11 次谎报修复全被持续流量拒绝；Argo 的 filing 机制让部分分有原则性定义的同时，也让「拿中间结果碰瓷」失去空间；Argo 团队自己遭遇并处置的沙箱逃逸读评分器事件，反证了后果评分对「非预期捷径」的压力。 → 机制变化三：失败模式的定位粒度变细。传统 pass/fail 只知道「错了」；后果评分连同其失败分类学把错误拆到可归因——Argo 的「错误记录/错误目标/错误量纲」、Incident 的六类失败、DAYJOB 的逐条 rubric 判决、Eureka 的 PA/SI 分离。 → 指标体现：被答案比对评为「接近饱和」的能力（BIRD 82.4%、Spider 2.0-Snow 96.7%）在后果评分下跌到 34.8%；被 pass/fail 混为一谈的「不会修」与「不知何时停」被拆开（55% 完整修复 vs 59% 通过）；被「预测准」掩盖的「不懂机制」被 SI 悬殊暴露（42.4 vs 69.7）。

（以上因果链中，「反事实免费」与「作弊面收窄」由各论文实验直接支持；「失败定位变细导致新能力被发现」属跨论文综合推断，标注为阅读者归纳。）

6.2 交叉验证：相似尝试与相近结论

四篇论文互为外部验证，此外每条机制还能找到外部佐证：

• 「金标有错→模拟器真值」路线：Argo 引用的 Jin et al. (2026) 审计（Spider 2.0-Snow 62.8%/BIRD Mini-Dev 52.8% gold 有错）与 Wretblad et al. (2024) 对 BIRD 噪声的研究是直接动机；Synthea（合成病历）与 PaySim（反洗钱模拟）证明「校准到公开统计的模拟器提供真实数据缺乏的真值」在医疗/金融已是成熟实践。限定条件：Argo 自己承认模拟器编码作者假设、校准到总量不保证尾部真实——「比较数据智能体」不等于「估计其在真实公司仓库上的表现」。
• 「静态检查会放过假修复」路线：Incident 引用的 Wang et al. (2026b) 发现 SWE-bench 7.8% 的通过补丁实际未过测试；SWE-Marathon 发现 10.2% 的 rollout 存在验证器绕过；R2Act 报告 39.5–62.0% 诊断正确的案例仍执行了无效恢复动作。Incident 的贡献是把「防假修复」工程化为双门确定性验证器。InfraBench 做过类似的事（持续负载+重启检查）但依赖 LLM 判风险并给 root 权限——Incident 证明可以不做这些妥协。
• 「推理努力收益有限」结论：Incident 的 low→max 仅 +4.6pp 而成本 ×2.3，与 Argo 的档位边际递减（Opus 从 low→medium +17.0、medium→high +5.9、high→xhigh +4.0）同向；与本期同批论文中 DAYJOB（榜首也只 24.7%）相互印证。相反结论的边界：Incident 自己给出反例——Muse Spark 1.3 从 minimal 23% 到 max 42% 是唯一明显受益者；Argo 中 Sonnet 5.5 最后两档还涨 11.5 分。这说明「推理档位差杠杆」在行动后果型长程任务中成立，在单步难题上未必。
• 「PA≠洞察」「答案对≠办成事」：Eureka 的 PA/SI 排名接近正交（τb=0.20、反转率 39.9%）与 DAYJOB 的案例（找到了 13.2 万美元的例外却放走 2570 万美元的高估）、Argo 的 wrong-objective 案例（方法优雅、目标错误、得 0 分）、Incident 的「完整修复≠通过」构成四域同构证据：优化器式成功与理解式/完成式成功是两种能力。

6.3 综合判断与未决问题

多项研究共同支持的机制：（1）后果评分能暴露答案比对掩盖的能力断层（四篇各自的头牌数字互证）；（2）停止时机/前提质疑/洞察外推是当前 agent 的共性短板，且都不是推理深度问题（Incident 档位实验 + Argo 档位递减 + Eureka PA 饱和）；（3）确定性/隐状态真值在成本可接受时优于 LLM 裁判与人工金标（Argo/Incident 的 LLM-free 设计 vs Jin 审计的教训）。

仍属推测的部分：后果评分的「可迁移性」——Argo 明确说明模拟器不能外推到真实企业仓库；Incident 承认底座×故障类型混杂（Slack 任务占 13/20），结论只刻画这批任务与接口；Eureka 承认 SI 评估受限于 judge 自身的科学推理（专家认为部分自动评分偏宽松）。

适用条件与失效条件：后果化评测需要「状态可观测、真值可计算、环境可复现」三条件——模拟器（Argo/Eureka）、容器（DAYJOB/Incident）满足；对不可复现、后果延迟数年、或状态不可观测的真实场景（公共政策、临床预后），这条路线需要新的真值源，这也是四篇都列为 future work 的方向。

七、必要知识反推与通用性灵感

7.1 要做出这四篇，作者必须知道什么

领域知识层。Argo 团队需要真实 ERP 的数据模型功底（3 位 14–31 年顾问坐镇：EBS Vision 数据字典校验、去掉企业不用的列、保留无歧义的 greenfield 仓库）+ 外卖平台经济学（DCWP 季度披露、最低薪资规制的传导）+ 欺诈模式学（每类欺诈按「可分离性×诚实用户共享设备频率」校准，因为后者决定检测器精度上限）。DAYJOB 需要医疗与金融的一线实务知识——rubric 里「排除动脉夹层前不得出院」这种标准，没做过临床的人写不出来。Incident 需要 SRE 实战：知道「清队列」「放宽权限」「关流量」是常见的假修复，才能设计针对性的 Safety Gate。Eureka 需要六个科学前沿问题的判断力——选「人类已部分解决」的问题，洞察问题集才有可靠锚点。

方法论知识层。四篇都吃透了评测理论的两块基石：proper scoring rules（Argo 的 WIS 设计让报真话期望最优，附录 I 甚至量化了 −200 下限对激励的弯曲只有 3.3% 序列）与基准效度理论（Incident 的双向校验、eval-awareness 对抗、Needham et al. 的「模型能识别自己在被测」证据）。Eureka 的双裁判平均与DAYJOB 的「重算数值而非信任公式」分别是对 LLM-as-judge 已知缺陷（Incident 附录 K 显示裁判间 κ 低至 0.121）的工程回应。

工程知识层。74.9 亿行的仓库要落 BigQuery（941GB）并发布为 1,219 个 Parquet 文件；K8s 上的双门验证器要解决 Harbor 不支持 k3s 的问题（fork 后自建 EC2 后端）；DAYJOB 的 judge 要能在容器里渲染 PDF、跑 OCR。没有这些工程，方法论只是纸上谈兵。

知识融合的关键节点：Argo 把「模拟器隐状态」（仿真界旧技术）与「行动后果评分」（评测界新问题）接在一起；Incident 把 SRE 的「 soak test 」传统与 agent 评测的双向校验融合；Eureka 把「机制发现」（科学哲学）操作化为「洞察问题集」（评测工程）；DAYJOB 把职业教育的「胜任力评估」（全标准通过）搬进 agent 基准。四个融合点的共同模式：从一个成熟领域借来严格的真值概念，为另一个领域定义新的评分函数。

7.2 可以带走的通用性灵感

灵感一：当你无法信任答案键时，去评分后果。 适用一切「正确答案不可知、不唯一、或写答案键等于解题」的领域：产品决策（A/B 反事实）、教育评估（项目制学习不看选择题）、医疗质量（结局指标而非病历措辞）、代码评审（部署后指标而非 diff 相似度）。Argo 的私有种子双世界设计还顺便解决了数据污染——任何「答案可以被背下来」的评测都可借鉴。

灵感二：「全部标准通过」是一面放大镜，照出单点遗漏。 DAYJOB 的悬崖曲线（τ 从 1.0 放到 0.90，榜首从 24.7% 跳到 62.4%）提示所有「及格线工程」：加权和会平均掉致命错误，合取式（conjunction）才能暴露「哪一个没做到」。反过来，如果你在评测别人（或被评测），先问清楚：评分是加权的还是合取的？致命项有没有一票否决？——DAYJOB 用 16%/8% 的禁止项回答了后一半。

灵感三：把「知道何时停」当作一等能力来测与来训。 Incident 的证据（完整修复者仅 59% 通过、快停 vs 慢停差 20 分、340 例纯停止失败）对所有长程 agent 都成立：写代码的 agent 何时该停止「再改一版」、做研究的 agent 何时该停止「再跑一个实验」。加推理档位解决不了它（+4.6pp/×2.3 成本），harness 层的「验证后自动提交」或显式的完成判据训练才行。Eureka 的镜像发现（agent 机制有 42.4% 洞察潜力、探索过程只兑现 22.7%）是同一枚硬币的另一面：知道「够了」与知道「还差什么」，是同一种元认知。

灵感四：分离「拟合」与「解释」两个分数，防止优化压倒理解。 Eureka 的 PA/SI 正交性（τb=0.20）是给所有「AI 能力评测」的警告：只要拟合分数存在且更易优化，agent（以及训练 agent 的人）就会朝拟合进化。把可解释性/外推力单独设轴、用带环境的 judge 验证「机制能否派生洞察」，这套设计可迁移到代码（能跑 vs 可维护）、写作（流畅 vs 有洞见）、分析（复现数字 vs 发现机制）。

灵感五：评测本身要过「双向校验」。 golden 解必过、no-op 必挂——Incident 把这条写进每轮实验，并额外用对抗 agent 红队自己的验证器。任何评测发布前都该问：我的评分器能否被「什么都不做」骗过？能否被「说得好听」骗过？（Argo 的沙箱逃逸事件与 Incident 的 RCE 事件都是活教材。）评测的效度不是设计出来的，是被攻击出来的。

灵感六：真值的成本决定评测的规模化上限。 人工金标贵且会错（62.8% 审计错误率）；LLM 裁判便宜但裁判间一致性可以差到 κ=0.121；确定性验证器与模拟器隐状态免费、精确、可复现——但前期工程投入巨大（Argo 的 34 个捐助数据集、Incident 的三个生产级底座）。四篇连起来读是一条清晰的工程决策曲线：能模拟就模拟，能确定性就不请裁判，必须请裁判时就双裁判+重算+带环境。

四篇论文最后都回到同一句话的不同表述：agent 的能力被高估还是低估，取决于尺子刻在哪里。Argo 说「希望推动能理解、导航并行动于真实数据环境的智能体」；DAYJOB 用 0.6% 的中位数说「专业工作远未解决」；Incident 把标题起作「最后一九个九」；Eureka 引用牛顿的 eureka 时刻反问 agent 能否企及。当评测从比对答案走向追究后果，量出来的不是更低的分数，而是更诚实的地图——而地图上那几块空白（何时停、敢质疑、真理解）恰好重叠，这大概不是巧合。