论文 1：Trial by Trace: Benchmarking AI Agent Harnesses for Reliability and Failure Attribution（TraceTrial-Bench） 论文 2：From Faulty Claims to Incorrect Patches: An Empirical Study of Task-Grounded Reasoning in Coding Agents 论文 3：SCI-AGENT-EXAM: Benchmarking Agents on Scientific Research Tasks 论文 4：MBABench-2.0: Evaluating AI Agents on Constructing Financial Spreadsheets Beyond Simple Verifiability 发表时间：均为 2026 年 10 月（arXiv 2610.32285 / 2610.32338 / 2610.32441 / 2610.31711） 机构：论文 1 为 TraceLite AI（中科院自动化所、中关村学院、中科院信工所、清华大学、北京理工大学联合体，科研院所+高校，无企业）；论文 2 为浙江大学（五人）+ 港科大（一人），纯高校；论文 3 为阿里巴巴（AI Data + Qwen Team）主导，联合中科院大学、中科院软件所、浙大、港科大、清华，多位一作为阿里实习生，156 位博士级领域专家参与建题——典型企业主导建设+学术参与；论文 4 为 ESB Reutlingen（德国商学院）+ 哥伦比亚商学院（含通讯作者）+ TensorBlock（数据工程公司），获 OpenAI/Anthropic/Laude Institute 资助，投入约 2,095 人时。 领域标签：Agent 评测 / Benchmark / 可靠性 / 软件工程 / 科学工作流 / 金融建模

一、论文背景：当「做对了」不再等于「没问题」

要理解这四篇论文为什么同时出现，需要先理解 Agent 评测正在经历的一次集体转向。

第一个概念：Agent = Model + Harness。 现代 LLM Agent 不只是一个模型。模型负责决策，而 harness（脚手架/运行时层）负责构建上下文、暴露工具接口、传输调用与结果、维护会话状态、执行权限控制。同一个模型接上不同的 harness，行为可以天差地别。大多数现有基准只看最终答案或测试结果，这把模型能力与 harness 行为混在一起——TraceTrial-Bench（论文 1）正是针对这一点，把 harness 本身定义为被测系统（System Under Test, SUT）。理解它的关键是「证据边界」：外部进程的真实结果、模型实际收到的结果、原生会话记录、归一化事件，这四者相关但不等价，一个边界的证据不能自动替代另一个边界。

第二个概念：任务接地的推理（Task-Grounded Reasoning）。 推理模型的思维链（CoT）里包含大量关于任务的可检验声明：现有代码如何行为（O）、实现在哪里不足（G）、任务要求什么（S）、某种修复机制是否有效（F）。这些声明的真假可以由任务描述、基线 commit 的仓库、库文档等权威证据客观判定——本质上就是把事实验证（fact verification）的框架搬到 CoT 上。此前对 Agent 失败的研究多停留在任务无关的行为模式（重复动作、未测试修复），而 Faulty Claims（论文 2）首次做了声明级的实证：错误声明有多少、长什么样、是否真的导致错误补丁。

第三个概念：双产物评估。 科学工作（论文 3）和金融建模（论文 4）有一个共同特点：一次交付物里同时包含可执行的部分（代码、脚本、表格公式）和表达性的部分（报告、解释、结构设计）。只查答案或只查代码都会漏掉一半问题——代码全对但报告遗漏关键解释，或报告完美但程序根本跑不通。这催生了「程序化检查 + 校准 LLM judge」的混合评估协议。

第四个概念：超越简单可验证性。 代码有单元测试、数学有标准答案，但一张金融表格的「可读性、可维护性、可审计性」无法用一个测试断言。MBABench-2.0（论文 4）面对的问题是：行业其实对这些质量维度有成文共识（如 ICAEW 建模准则），能不能把它们操作化为可判定的判据，再交给经过校准的 judge 规模化执行。

这四篇论文合起来，勾勒出一条清晰的演进线：Agent 评测的重心正从「能不能做对」转移到「做对了有没有同时做错事、错误从哪里来、交付物整体是否可信」。结果分只能回答第一问；过程审计——分层评分、声明归因、双通道评估、质量判据——才能回答后三问。

二、论文定位和关联工作

四篇论文分属四条谱系，但都在同一批同期工作中互相咬合。

2.1 TraceTrial-Bench：harness 评测谱系

前序工作有三条线：一是任务结果基准（Terminal-Bench、SWE-bench Pro），只测结果；二是配置对比工作（Harness-Bench、上海 AI Lab 的模型-harness 配对研究），开始把 harness 当变量；三是 harness 专项审计（HarnessAudit 查执行保真、HarnessRisk 查安全风险）。失效归因方向则有 Who&When（定位责任 agent 与错误步）、AgentRx（诊断约束违反）、REFLECT（干预+受控重放）。TraceTrial 的差异化定位：首个以 harness 为 SUT、按机制级属性（40 个）设计任务、并用预声明机制链做归因的基准，且用四级声明分级（判分/确认缺陷/候选链接/已验证传播）严格区分「共现」与「因果」。同批的上海 AI Lab 配对研究（4 harness×4 模型交叉、5.2 万轨迹）与它互为印证：模型排名会随 harness 反转。

2.2 Faulty Claims：轨迹实证谱系

之前的轨迹研究刻画行为：反模式（重复动作、想法-行动失配）、轨迹结构诊断、过程质量分析；失败归因研究定位到 agent 或步骤（TRAIL、MAST 分类法、CodeTracer、TrajAudit）。更近的工作已把失败归于推理缺陷或认知错误。Faulty Claims 再往下一层：定位到 CoT 中的单条声明，并用「提交前注入声明修正」的重放确认因果链——这是方法论上的首创。它与 TraceTrial 的归因协议互补：TraceTrial 用预声明机制链，Faulty Claims 用矫正补丁反推。

2.3 Sci-Agent-Exam：科学 Agent 基准谱系

已有基准各覆盖一个切面：SciBench（科学问答）、DiscoveryBench（数据驱动发现）、ScienceAgentBench（科学分析）、CORE-Bench（计算复现）、PaperBench（论文复现）、ResearchCodeBench（研究编码）、SWE-bench Science（科学 issue 修复）。共同缺口：科研活动覆盖不均、交付物不完整（答案/代码/报告三件套不强制同时要求）。Sci-Agent-Exam 的定位：用 SWTT 七类任务类型×11 领域矩阵做工作流级全覆盖，每任务强制双产物，另加轨迹级稳定性分析（early-completion/dip/recover/regret 四行为）。

2.4 MBABench-2.0：专业工作质量评测谱系

表格基准大多是填空式（SpreadsheetBench、SpreadsheetBench 2：在成品表格里查答案或修被篡改的公式）。构建类基准中 BankerToolBench 只覆盖投行；GDPval 用专家成对偏好，难扩展难复现；MBABench-1.0 因知识产权只公开 38 题（其中 Medium-Hard+ 仅 6 题）。MBABench-2.0 的定位：全量公开的 101 个从零构建任务（Medium-Hard+ 有 50 个，为 1.0 公开版的 7.5-10 倍）+ 129 条操作化质量判据 + 逐判据校准的 agentic judge。

2.5 定位对比总表

三、问题定义

四篇论文面对的具体场景不同，但抽象后共享同一个深层结构：当评分只能观察部分证据时，如何设计评测协议使「结果正确」与「过程可信」可分离、可归因、可规模化。

3.1 TraceTrial-Bench：分离两层判定

具体问题：同一个 harness 上任务成功，可能掩盖上下文丢失、工具结果误导、生命周期违规；任务失败也可能发生在 harness 忠实执行时。抽象问题：把「结果好坏」与「执行忠实」定义为两个独立的判定向量，并给每个判定指定其权威证据源。 形式化：一次运行 R = (τ, ΔW, G, V_H, V_A, L_act)，其中 τ 是归一化事件序列、ΔW 是工作区变更、G 是准入状态、V_H/V_A 是 harness 层与 agent 层判定、L_act 是被激活的候选机制链接。精妙之处在于「声明分级」：判分 > 确认缺陷 > 候选链接 > 已验证传播，四级的证据要求逐级升高，防止把共现当因果。

3.2 Faulty Claims：把理解错误形式化为可检验命题

具体问题：Agent 工作流无可指摘却提交错误补丁，因为它对代码行为的理解是错的。抽象问题：任务理解不可直接观察，但 CoT 中的声明是它的可检验投影——「理解错误」≡「存在被权威证据驳回的声明」。类比：FEVER 式事实验证的三判定（supported/refuted/unresolved）搬到仓库与文档上。关键定义：key faulty claim——若该声明被修正，Agent 有机会生成不含对应缺陷的补丁。因果确认问题则形式化为：在提交前注入修正、观察补丁是否按声明的指向改变。

3.3 Sci-Agent-Exam：双产物的正交评分

形式化：任务 T_i = (I_i, E_i, V_i, D_i, C_i, R_i)（指令/环境/可见资源/交付规格/确定性检查/人工 rubric）。抽象问题：单一评分通道无法区分「执行对但表达错」与「表达对但执行错」，因此把程序分 p_i 与 judge 分 j_i 分别报告，再按任务类型加权聚合。轨迹级问题：把「最终分」细化为随时间演化的解质量曲线，用四种行为（早完成/回落/恢复/ regret）刻画稳定性。

3.4 MBABench-2.0：把行业共识操作化为判据

具体问题：金融表格的可读性/可维护性/可审计性没有单元测试。抽象问题：质量可以形式化为「93 条通用判据 + 36 条条件判据」的合取体系，开放惯例以 house standards 形式发给 Agent（对齐真实工作场景），rubric 本身不披露。通过规则设计使 P(Pass|Perfect)=0.946（完美表格高概率被判过），同时 pass 规则按重要性分级容错（k_i 违规容忍）。精妙之处：判据一次定义、逐判据可校准，对比 GDPval 的成对偏好标注，可扩展性质变。

四、问题解法

4.1 TraceTrial-Bench：四模块流水线

(1) 七维可靠性分类法：Context（跨边界信息保持，15 任务）/ Execution（忠实进程语义，27）/ Governance（审批与护栏，9）/ Lifecycle（状态转换与恢复，19）/ Observability（模型可见诊断，7）/ Tools（忠实工具传输，17）/ Verification（完成声明一致性，1），共 40 个机制级属性、95 个专家级任务（46 单轮+45 固定多轮+4 模拟器驱动），每个任务带可执行或状态型真值。

(2) 轨迹追踪 TT：harness 各有观测接口（Codex 的 JSON 事件流、Claude Code 的 stream-json+会话记录、OpenClaw 的 JSONL、DeepSeek Harness 的 JSON-RPC 通知流），适配器把它们归一为带溯源的 Trace IR，含调用-结果关联、执行谱系；无法归一的记录保留原始 stdout/stderr 而非丢弃。

(3) 多源证据获取 MEA：每个判据用声明式选择器（事件类型/字段/字面匹配/返回上限）从 Trace IR、工作区 diff、模拟器台账、探针中组装有界证据包——类比数据库查询：全文归档供审计，判据只取所需切片。关键设计：问题特定的权威源（外部状态定「发生了什么」，模型可见记录定「模型能看到什么」）。

(4) 双层评估与失效归因 FA：Agent 层先评（改动工件为主证据），Harness 层后评（轨迹+探针），Agent 判定仅作下游上下文而非 Harness 失败的证据。归因用预声明机制链 ℓ=(h_ℓ, a_ℓ, μ_ℓ)：两端点判分均失败且激活条件满足时自动激活为候选链接；升级为已验证传播需人工复核事件顺序与中间失真。

4.2 Faulty Claims：提取-评估-追溯三阶段

提取（RQ1）：GPT-5.6-Luna（xhigh）从每步 CoT 提取原子推理单元并分 O/G/S/F 四类，输出归一化声明+逐字引用+类型+涉及文件；引用与 CoT 不匹配则重发请求。人工校验 300 步：93.3% 单元合格，κ=0.937。

评估（RQ2）：评估 Agent 基于 mini-swe-agent，在基线 commit 的新容器里自行收集证据（四工具：shell/文档获取/引用记录/提交），对每条声明出 supported/refuted/unresolved 三判定。防作弊设计：不给轨迹观察、不给补丁、不给测试结果——判断只依赖评估 Agent 自己收集的证据。人工复核 40 轨迹：精确率 86.3%，κ=0.877。

追溯（RQ3）：两位作者对每个未解决轨迹构造矫正补丁（叠加在错误补丁上使其通过全部验证测试），据此反推 key faulty claim；然后在提交前一刻注入声明修正重放，比对修订补丁是否包含 targeted fix。这一步是因果确认的关键——不是统计相关，是干预实验。

4.3 Sci-Agent-Exam：分类法-构建-评估-轨迹四件套

SWTT 分类法：七类任务（文献综合 10/假设验证 16/工具编排 28/代码生成 20/端到端分析 25/错误诊断 11/结果解读 10）×11 领域，120 任务全格点分布。

专家构建管线：156 位博士级专家，出题与评审分组独立；每题三步（任务设计→自包含可执行包+参考解→评估套件），参考解须达 rubric 90% 才算校准通过；陷阱注入（trap injection）引入貌似合理的干扰项与误导性中间信号防捷径。构建约 6 小时/题，双阶段独立评审约 2+1 小时/题，评审-超审一致率 85% 为放行阈值。

混合评估：每任务约 8 条程序检查（隐藏输入重跑代码，验数值容差/输出模式/不变性）+ 约 20 条人工 rubric 判据（覆盖科学正确性/来源接地/沟通等五维），两分分别报告再按任务类型加权合成；缺失工件在 preflight 直接标零，judge 故障记为设置失败排除出分。

轨迹分析：重放轨迹、每次文件读写后重建快照并双通道重打分，标记四种行为——早完成（前三分之一达近峰）、dip（已过判据转失败）、recover（回落判据再转通过）、regret（最终快照仍失败）。

4.4 MBABench-2.0：任务-判据-judge 三层

任务层：101 个原创任务（16 类型×7 领域：估值/三表/FP&A/债务与融资/固收/个人理财/商业分析），全部专家原创防污染、全量公开；难度四级（Easy 11/Medium 40/Medium-Hard 30/Hard 20），最难任务估需 3 年+经验建模师 33 小时。示例任务 DayMonthYear：日粒度三表模型（3,653 天）+月度 DCF + 130 个问题，需处理日历惯例（工作日 7/5 系数）、一致聚合、四步估值与 WACC-估值循环依赖。

判据层：129 条判据 12 类别（准确性仅占 19% 权重；格式 36 条、错误检查 14 条、公式 10 条等），4 级重要性（ultra 12/highly 41/important 52/边缘 24），凸性基础权重（12/5/2/1）使一条 ultra 违规重于五条 important；9 条可由保留输入满足的判据打 0.35 折扣防「躺过得分」。

Judge 层：20 条判据确定性程序判定（含最终计算准确性），109 条交 GPT-5.6 Sol 主干的 agentic judge；pass 规则按重要性级容许 k_i 条违规（ultra 仅 1 且最终计算准确性必须满足）。三轮校验：受控例 98.2% 准确（FPR 0.31%）；真实作答 96.4%（FPR 1.82%、F1 90.4%）；自一致 σ=3.0/100。

五、评估指标与实验证据

5.1 TraceTrial-Bench：3,420 次运行的核心发现

实验矩阵：4 harness（Claude Code/Codex/DeepSeek Harness/OpenClaw）×9 模型（DeepSeek-V4-Pro/Gemini 3.7 Flash/GLM-5.3/GPT-5.6-Sol/Grok-4.6/HY3/Kimi K3/Opus 5/Qwen3.8-Max）×95 任务=3,420 runs，Judge 固定为 deepseek-v4-flash。

三个结论性数字：任务成功但违反至少一条 harness 标准的运行占 31.1%（1,065/3,420）；两层全过的联合洁净率仅 8.4%（286）；1,700 个联合失败运行中 49.5%（842 个、共 1,633 对端点）含候选机制链接。任务成功冠军（Claude Code 44.0%）与 harness 满足率冠军（OpenClaw 72.0%）不是同一家——这正是双层评分的价值。Codex 在全部 9 个模型组里 harness macro 都垫底；Execution 维度上 OpenClaw 77.1% vs Codex 51.5%（差 25.6pp），而 Context 维度 Claude Code 74.5% 反超 OpenClaw 61.6%。最刺眼的机制级反差：跨轮事实保留的 harness 满足率仅 48.4% 而 Agent 成功率 95.8%——模型自己补偿了 harness 的信息丢失，结果分完全看不见。

5.2 Faulty Claims：400 轨迹、76,537 条声明

数据：4 个开源推理模型（DeepSeek-V3.2 解决率 43%、DeepSeek-V4.1-Flash 64%、Qwen3.6-27B 44%、Qwen3.8-27B 61%）在 mini-swe-agent 上跑 SWE-bench Pro 的 100 个实例，共 400 轨迹、28,001 步。

两个最能说明问题的反差：其一，96.7% 的成功轨迹也含 faulty claim——错误数量是弱失败信号；其二，评估 Agent 能检出 82.4% 的 key，但每条 key 淹没在约 26 条无害 faulty 里——检测错误只是一半问题，判定哪些值得注意是另一半。测试还低估修复：129 个缺陷被修正但测试不体现（修复率 89.0% vs 更多测试通过仅 18.7%）。

5.3 Sci-Agent-Exam：10 个前沿 Agent 的大考

设置：Claude Code harness、推理努力 high、每任务 3 次重复。

执行-表达错位是核心发现：强报告弱执行的 TL 象限占比 0.14（Astra）到 0.48（DeepSeek-V4-Pro）——几乎所有模型都「说的比做的好」。两个极端案例：DeepSeek-V4-Pro 某任务程序分 1.00 但 judge 分 0.43（报告遗漏关键科学解释）；Claude Opus 5 某任务 judge 分 1.00 但程序分 0.11。任何单通道评估都会看走眼。轨迹分析显示同族分化：GPT-5.6 Sol 与 Astra 早完成率都高，但 dip 率 27.0% vs 18.3%——Astra 的解更稳。程序性回落比科学正确性回落更可恢复（6 个模型中 5 个）。成本上 Astra $20.79/run 拿最高分，反而比 Qwen3.8 Max 和 Kimi K3 更省——高价模型可以更快更省；GLM-5.3 花 $57.96、平均 102.4 轮才排第八。

5.4 MBABench-2.0：20+ Agent、2K 轨迹、$57K 推理成本

8 模型×4 harness（GUI/Code/Excel 插件/In-house）组合出 20+ Agent。

通过率天花板：第一名 Codex+GPT-6 Astra 仅 16%，Fable 5.1-Code 与 Astra-Work 并列 8%，大量 Agent 为 0%。数值准确率：Medium+ 任务最高 59%、Hard 仅 45%。数值错因五分类：误读指令 44%（如双周薪却每月发两次全额）、缺乏专业判断 28%（如含营业外收入的毛利润对比不含的预算数）、交付与技术失败 15%、实现错误 11%、缺失 sanity check 2%。前沿 12 个 Agent（Claude/GPT 系）的错误 85% 集中在前两类——越强的模型越不是不会算，而是没读懂、没想到。

质量缺陷三大模式：可复用性差（时间线硬编码到任务期限，改输入即崩——DayMonthYear 上 14 个非 in-house Agent 中 11 个违反时间弹性）；可审计性差（深层嵌套公式难以审查）；自证式检查（用自己的预测当基准，检查永远通过；COUNTIF 式错误旗标对 #VALUE! 视而不见）。连唯一做对 DayMonthYear 全部 130 题的 Fable 5.1-Cowork 也因硬编码日期违反两条 ultra 判据而不通过。Harness 效应显著：同一 Astra 在 Code 16% vs Work 8%；但数值准确率跨商业 harness 稳定——harness 影响的是交付质量而非计算正确性。推理努力消融：Max 90.1 > High 88.3 > Low 86.9（分数制）。

5.5 四篇证据的交叉印证

四个独立评测得到同一个结构性结论：结果分严重高估 Agent 的可信度。TraceTrial 的 31.1% 成功但违规、Faulty Claims 的测试不体现已修复缺陷、SciExam 的 TL 错位、MBA2 的 16% 天花板，是同一枚硬币的四个侧面。

六、效果优势的根源解释

6.1 根源机制与证据链

机制一：证据分层是分离「结果」与「过程」的充要条件。 TraceTrial 的因果链：按观测边界区分证据权威（模型可见 ≠ 外部事实）→ 双层评分各自绑定证据包 → 「任务做对」与「忠实传递/执行」在测量上解耦 → 量化出 31.1% 与 8.4% 的落差。反事实：若只看 Agent 层，OpenClaw（macro 72.0）与 Codex（59.8）的 12.2pp 差距完全不可见。此机制为论文实验已支持。

机制二：干预重放把相关升级为因果。 Faulty Claims 的因果链：key faulty claim 与缺陷可能只是共现 → 提交前注入修正这一干预 → 89.0% 的修订补丁恰好修复该声明指向的缺陷且中位只改 13 行 → 修改的位置与方式随声明内容定向变化，排除了巧合。反事实：61 个未解决轨迹找不到任何 key faulty claim，说明缺陷可产生于编辑阶段而非推理阶段——这限定了机制的适用边界（约覆盖三分之二的失败）。论文实验已支持。

机制三：双通道分离暴露能力错位。 SciExam 的因果链：单一通道把执行与表达压成一个数 → 两维真实相关但远非完全对齐（TL 0.14-0.48）→ 分离报告 + 按任务类型加权 → 模型画像从「一个总分」变成「一张能力剖面图」（Astra 11 域中 10 个第一，但 Fable 5 在工程域 80 分、Kimi K3 在材料科学 81 分各有局部冠军）。论文实验已支持。

机制四：判据先于评分定义，才能既规模化又可校准。 MBA2 的因果链：质量判据一次性定义 → judge 可逐判据做受控验证（98.2%）→ FPR 已知 → pass 规则可按二项分布设计补偿（P(Pass|Perfect)=0.946）→ 评分可复现、可跨 Agent 比较。对比 GDPval 的成对偏好：每加一个 Agent 都要重标，且无法逐项审计 judge。论文实验已支持。

6.2 相关工作检索与对照

需要说明：本精读在撰写范围内未执行独立的网络检索，以下外部证据来自四篇论文正文引用的关联工作及同一批 arXiv 2610.x 论文的全文交叉阅读，检索范围以此為限。

未发现直接反驳上述机制的外部结论；但需注意 MBA2 自己发现的边界：更强 judge（Fable）比 Sol judge 在分歧时 60% 判违规、平均低 1.91 分——说明 LLM judge 的严格度随主干模型漂移，判据化并不能完全消除 judge 主观性，只能把它校准到已知。

6.3 综合判断与未决问题

多项研究共同支持的机制：证据分层（TraceTrial+配对研究+CRM-Bench）；双通道分离（SciExam+CRM-Bench+AgentLens）；结果分高估（所有外部对照一致）。仍属合理推测的部分：Faulty Claims 的 1/26 稀疏度是否跨模型族稳定（仅测两个族四代）；SciExam 的轨迹四行为是否对 harness 敏感（附录 D 有敏感性检查但主结果固定 Claude Code）；MBA2 的 129 判据权重设定含专家主观常数（作者自述 by judgment）。适用条件：双层评分要求任务能预声明 harness 义务（TraceTrial 的 95 任务规模有限、单一 Judge 是作者自认局限）；声明级归因要求 CoT 可得（仅开源权重模型满足）；判据化 judge 要求质量共识成文（金融恰好有 ICAEW，其他领域未必）。

七、必要知识反推

假设让一个没有任何背景的人从零做出这四篇工作，最少需要掌握什么？

7.1 领域知识层

• Agent 系统解剖学：必须知道 harness 具体管什么（上下文构建/工具暴露/状态维护/权限控制），否则无法设计 Context-Tools-Verification 七维分类——不理解七维就不知道 95 个任务该在哪个机制上施压。
• 金融建模的行业惯例：必须知道 ICAEW 建模准则、house standards 实践、三表模型/DCF/循环引用的行业处理方式，否则 129 条判据无从提取，DayMonthYear 这样的任务设计不出来。
• 科研工作流的真实构成：必须知道一个研究者实际要做哪七类事（从文献综合到结果解读），SWTT 才能立得住——这是 SciExam 区别于「科学问答」的分类学根基。
• CoT 的忠实性问题：必须知道 CoT 不一定是模型计算的忠实记录（Arcuschin/Turpin 等工作），才能理解为什么 Faulty Claims 必须用干预重放来确认因果而非轻信文本。

7.2 方法论知识层

• 事实验证范式：FEVER 的三判定体系是声明评估的直接模板；不知道它就难以把「理解错误」操作化。
• 测量学/计量理论：声明分级、微观/宏观平均、二项 CDF 设计 pass 规则（MBA2 的 P(Pass|Perfect) 推导）、受控实验的 FPR/FNR 校准——这是四篇论文共同的方法论底座。
• 因果推断：干预-重放设计与共现-传播的区分，直接来自因果推断的基本约束（相关≠因果）。
• 失效归因谱系：知道 Who&When/AgentRx 已做到哪一步，才知道下一步该做声明级。

7.3 工程知识层

• 四家 harness 的观测接口：Codex JSON 事件流、Claude Code stream-json、OpenClaw JSONL、DeepSeek JSON-RPC——适配器工程是实现的前提。
• 容器化受控执行：任务级 Docker、冻结基线、私有真值区、探针摘要绑定——四篇的实验可复现性都建立在这层。
• LLM judge 工程与校准：证据包有界化、输出限额、rubric 校准（参考解 90% 阈值）、逐判据受控验证的设计。

7.4 知识融合的关键节点

• 节点一（TraceTrial）：harness 分类法 × 测量学的证据边界理论 → 「按问题定权威源」的设计。分类法告诉你有哪些义务，测量学告诉你每种义务只能由哪种证据裁决，二者缺一都退化为普通结果基准。
• 节点二（Faulty Claims）：事实验证 × 因果干预 → key faulty claim 概念。没有事实验证就没有 faulty 的定义，没有干预重放就只能停留在相关。
• 节点三（SciExam）：工作流分类学 × 双产物评分 → 执行-表达错位的发现。只做分类学会得到又一个任务集，只做双通道会缺任务类型的系统性。
• 节点四（MBA2）：行业成文准则 × 统计校准 → 可扩展的质量评测。准则提供判据内容，二项分布校准提供 pass 规则的统计正当性。

八、论文中可以提取的通用性灵感

灵感一：结果正确 ≠ 过程可信，评测要给两者分别记账

核心思想：任何系统 = 决策组件 + 支撑组件，只测最终输出会把两者的可靠性混为一谈。 论文证据：TraceTrial 的 31.1% 成功但违规 vs 8.4% 全洁净；任务成功冠军与执行可靠性冠军分离；跨轮事实保留机制满足率 48.4% 而 Agent 成功率 95.8%（模型在悄悄补偿）。 推广场景：(1) RAG 系统——检索器与生成器分层记账；(2) 编译器——优化正确性与优化收益分层；(3) 自动驾驶——规划层与感知层分别审计；(4) 人机协作流程——模型在哪个环节默默兜底了工具的错。

灵感二：检测错误只是一半，优先级判定是另一半

核心思想：错误信号天然呈重尾分布，绝大多数无害错误会淹没少数致命错误。 论文证据：Faulty Claims 中 key faulty claim 仅占 1/26；96.7% 成功轨迹也含 faulty；评估 Agent 检得出 82.4% 的 key 却无法直接区分哪条值得管。 推广场景：(1) 静态分析器——告警风暴里只有少数是真 bug，需要优先级排序器；(2) 医疗诊断——检查异常项多数无临床意义；(3) 监控告警——告警分级与根因聚合；(4) 代码评审——comment 多≠问题多。

灵感三：干预重放是确认因果的黄金标准

核心思想：观察到 A 与 B 共现时，在 A 处注入修正并观察 B 是否定向改变，是排除巧合的最廉价方法。 论文证据：提交前注入声明修正，89.0% 的补丁按声明指向修改（中位 13 行）——修改位置随声明内容变化这一点排除了随机性。 推广场景：(1) A/B 归因——线上故障回放注入；(2) 教育诊断——纠正单个 misconception 后看错误是否消失；(3) 多智能体调试——替换单个 agent 重跑全队；(4) 医学——单因素干预试验。

灵感四：把行业隐性共识操作化为显式判据，评测才能规模化

核心思想：专业领域的「好」看似主观，实则高度成文；把成文规范转成判据清单+校准 judge，可扩展性超过专家成对标注。 论文证据：MBA2 的 129 判据使 judge 可逐条受控验证（98.2%）、pass 规则可统计设计；对比 GDPval 每个新交付物都需专家重标。 推广场景：(1) 法律文书——合同起草规范判据化；(2) UI/UX 设计——设计系统规范自动检查；(3) 学术写作——期刊投稿要求判据化预审；(4) 数据工程——数据质量 SLA 的判据化监控。

灵感五：给 Agent 发「内部规范」是对齐评测的公平做法

核心思想：行业惯例中开放的部分（符号约定、格式）应像 house standards 一样明示给被测系统，评测只查它是否遵守已知规范，而非猜测它选了哪种。 论文证据：MBA2 给每个 Agent 发 house standards 文件，judge 检查对已知规范的一致性而非裁断替代方案优劣——保证跨 Agent 可比。 推广场景：(1) 代码风格——先发 style guide 再测；(2) 客服质检——先发话术规范再评；(3) 多文化内容——先发当地惯例清单；(4) 任何有内部规范的供应商评测。

灵感六：表达能力与执行能力的增长不同步，须分开度量

核心思想：生成「看起来对的东西」与生成「确实对的东西」是两种能力，混合训练可能使前者领先后者，形成系统性错位。 论文证据：SciExam 的 TL 象限 0.14-0.48（强报告弱执行）；DeepSeek 程序 1.00/judge 0.43 与 Claude Opus 5 judge 1.00/程序 0.11 两个极端；MBA2 的错因 44% 是误读指令而非不会算。 推广场景:(1) 学生评价——笔试与口试分离；(2) 模型训练——可执行反馈与人类偏好反馈的失衡监测；(3) 技术面试——表达轮与编程轮分开；(4) 报告自动化——自动生成的分析报告须过可执行验证。

灵感七：强模型的安全边际不在「更少犯错」而在「错得更高级」

核心思想：能力提升会改变错误的结构分布——低级错误消失，判断类错误占比升高。 论文证据：MBA2 前沿 Agent 85% 的数值错误是误读指令与缺乏专业判断，仅 13% 是构建/交付失败（非前沿组 52%/47%）；Faulty Claims 新模型声明多 2×、faulty 多 60-130%（可能因推理更深、问题更难）。 推广场景：(1) 安全工程——越先进的系统事故原因越偏向组织决策；(2) 模型评测设计——头部模型需要更多判断类、少更多知识类题目；(3) 员工培训——高阶培训应聚焦判断力而非操作；(4) 自动驾驶 L3+——事故归因从感知转向决策。

附录：四篇论文速查表