论文链接：WhatWorkedBench: Benchmarking Experimental Understanding in AI Agents 发表时间：2026年9月 机构：Carnegie Mellon University、清华大学（CMU 学生主导，通讯作者 Jingjie Ning 为 CMU 博士生，合作者包含一系列 Auto Research 论文的作者团队） 领域标签：cs.AI / 智能体评测 / 实验设计 / 响应面方法
一、论文背景
要理解这篇论文在做什么，先要理解它试图度量的东西——实验理解力（experimental understanding）。
AI 研究智能体正在兴起。 近两年，一批工作让 LLM 智能体自主地规划、执行、解释计算实验：MLAgentBench 让智能体改进 CIFAR-10 训练脚本，MLE-bench 让智能体打 Kaggle 比赛，Auto Research 系列让智能体用试错历史修订训练配方。这些系统共同的工作模式是：跑一批便宜实验 → 观察结果 → 把经验迁移到昂贵配置上。
这类智能体最核心却从未被直接测量的能力，是预测能力。 一个研究智能体在花完实验预算后，究竟学到了什么？如果它对某个组件（比如某个预处理开关）做出改动，它能否准确预测这个改动在不同背景下会带来多少分数变化？这种预测能力决定了它能否把一个实验里的结论可靠地迁移到下一个实验——而这恰恰是“用实验学习”这类系统的全部意义。
现有基准只给最终分数打分。 MLE-bench 看智能体有没有拿到 Kaggle 奖牌，MLAgentBench 看指标提升是否超过基线 10%。但“找到了好配置”和“理解了系统”是两件事：一个智能体可能靠运气或局部爬山找到最优配置，却对“为什么好”一无所知。这就像一家餐厅只报招牌菜——招牌菜确实好吃，但你不知道菜单上其他菜是什么口味；而另一家餐厅在菜单上给每道菜都标好口味星级——后者的“知识”才是可迁移、可复用的。
更深层的困难：组件改动的效果不是恒定的，而是依赖背景的。 论文 Figure 2 给出了一个漂亮例子：在 SciFact 检索任务上，“把词频从原始计数改成二值计数”这个开关，在关闭 sublinear TF 时能把 NDCG@10 提升 +0.160，在开启 sublinear TF 时却降低 −0.084——同一个开关，效果符号完全相反。这就像辣度这一味调料，加在川菜上锦上添花，加在粤菜上却是灾难。论文把这种现象称为符号反转（sign reversal），并在其任务目录的 36 个任务条件中发现了 35 个存在符号反转。这意味着“平均效应”或“最优配置”这类单点摘要会系统性丢失真实结构——只有完整的条件效应场（每个组件在每个背景下的因果效应）才能刻画系统。
于是论文提出核心问题：能否把“实验理解力”做成一个可执行、可复现、可量化打分的评测？ WhatWorkedBench 的答案是：让智能体在测量预算内自主选择实验，最后交一张覆盖全部配置组合的预测表（响应面），用离线穷举的真值逐条打分。
二、论文定位和关联工作
WhatWorkedBench 处在四条研究脉络的交汇点。逐一梳理：
谱系一：研究工作流执行评测
- MLAgentBench（Stanford，ICML 2024）：13 个 ML 任务，智能体读写文件、执行代码、迭代改进脚本，评成功率和效率。关键区别：只评最终指标提升，不问智能体学到了什么。
- MLE-bench（OpenAI，ICLR 2025）：75 个 Kaggle 竞赛，按奖牌水平打分，o1-preview + AIDE 在 16.9% 的比赛中达到铜牌。关键区别：同样是结果导向；竞赛结果空间巨大，永远无法穷举真值。
- EXP-Bench、ScienceAgentBench、ResearchGym、BLADE 等同期工作覆盖实验设计-执行-结论各环节，但评分对象都是“研究动作与产出”。
谱系二：消融与实验规划评测
- AbGen（ACL 2025）与 AblationBench（Abramovich & Chechik，arXiv 2507.08038）：评估智能体能否为论文方法规划消融实验，后者含 83 个 AuthorAblation 实例与 350 个 ReviewerAblation 实例，最好的系统也只能识别约 45% 的原始消融。关键区别：评的是“规划文本”，不执行、不量化预测。
- SCOPE（2026）：评估自主实验设计质量。关键区别：WhatWorkedBench 加入了执行背书的测量与数值预测。
谱系三：交互式科学发现评测
- ScienceWorld / DiscoveryWorld：交互式文本环境中的科学推理。
- BoxingGym（Stanford，arXiv 2501.01540）：10 个生成式概率环境，用期望信息增益（EIG）评实验设计，用“解释能否让另一个智能体做出可靠预测”评模型发现。关键区别：环境是人工构造的概率模型，非真实计算工作流。
- Science sandboxes（Broad/MIT，arXiv 2608.30165）：在调控基因组学与蛋白质适应度场景中发现“前沿智能体能优化指标但学不到规则”。关键区别：定性评估规则发现，WhatWorkedBench 提供逐条数值误差。
- Gravity-Bench、Science-Gym、SciGym、CausalGame 等分别覆盖观测预算下的物理发现、方程发现、生物系统重构、因果实验设计。
谱系四：归因与实验设计理论（方法论根基）
- 响应面方法（RSM）：Box & Wilson 1951 年提出的经典统计框架，用序列实验 + 多项式近似刻画因子-响应关系，是本文“响应面预测表”的直接方法论祖先。
- fANOVA 超参重要性（Hutter et al., ICML 2014）：用随机森林代理模型 + 函数 ANOVA 分解超参数的主效应与交互贡献。关键区别：fANOVA 分析已有调参数据，WhatWorkedBench 把“重构完整效应场”做成智能体的在线任务并逐条测误差。
- 贝叶斯实验设计（BED）（Rainforth et al., Statistical Science 2024 综述）与主动学习（Cohn et al., 1996）：本文的 GP-G/GP-E 采集准则直接建立在预测方差缩减思想上。
- 条件参数空间（Bergstra 2011、SMAC3/Lindauer 2022）：超参优化中“参数在上游关闭时失效”的结构早已被确认，本文把它升级为可打分的代码等价控制。
- CAFE / petri-bench：因子归因与因果识别基准，分别评复合 AI 管线的因子效应与扰动因果识别。
定位总结
| 维度 | 之前的主流路线 | WhatWorkedBench 的突破 |
|---|---|---|
| 评分对象 | 最终分数 / 奖牌 / 成功与否 | 完整响应面预测表的逐条条件效应误差 |
| 真值来源 | 人类基准 / 评委模型 / 单次评测 | 离线 CPU 穷举全部 2^d 配置（1248 条记录） |
| 评测的能力 | 优化与研究动作执行 | 预算实验后的量化预测精度（实验理解力） |
| 可控比较 | 端到端系统对抗 | 固定观测切换推断（共享估计器）、代码等价控制 |
| 知识产物 | 无 / 文本报告 | 可机读、可复算的数值响应面 |
一句话定位：WhatWorkedBench 是第一个把实验理解力从口号变成可执行评测对象的工作，且其真值由穷举执行背书，支持测量选择与数值推断的解耦研究。
三、问题定义
从具体场景到抽象问题
具体场景：研究智能体面对一段工作流代码（比如一个带 4~6 个二元开关的 sklearn 管线），预算只够测量少数几个配置的分数。它该测哪些？测完之后它到底“知道”了什么？
核心洞察：实验理解力可以抽象为“预算实验后，对组件改动的量化预测精度”。而“预测精度”需要一个完备的、无歧义的靶子——论文选择了响应面（response surface）：对每一个合法配置 z 给出预测分数 û(z)。
用餐厅类比：传统评测只要求餐厅报出招牌菜（最优配置），WhatWorkedBench 要求餐厅给菜单上每道菜都标口味星级（完整响应面），然后和食客（穷举真值）的逐一品尝结果对账。
形式化定义
任务 t 有确定性效用函数 ut(z) ∈ [0,1]，定义在 d ∈ {4, 6} 个二元开关（因子）构成的配置 z ∈ {0,1}^d 上，全部 2^d 个配置（掩码）都合法。
智能体免费获得两个锚点测量：全关 ut(0…0) 与全开 ut(1…1)，再至多购买 B 个不同配置的测量（可自适应或批量）。
最终必须提交覆盖所有 2^d 配置的预测表 ût(z)。
主评分对象是条件效应：对组件 i 和背景 z（zi=0），
Δi(z) = ut(z + ei) − ut(z)
即“其他所有开关固定时，打开第 i 个开关的因果效应”。评分对全部 d·2^(d−1) 条条件效应取平均绝对误差 E_t，再归一化为恢复度 R_t = max(0, 1 − E_t/A_t)，其中 A_t 是真实条件效应的平均绝对幅度。
这个抽象的精妙之处
其一，条件效应场完整决定了整个响应面。 任意两个配置 x、y 之间沿一条逐位翻转路径的效用差，等于路径上各条件效应的带符号和（路径一致性恒等式）。因此如果每条条件效应误差 ≤ ε，任意 k 位联合改动的误差 ≤ kε——误差控制有了组合学保证。相反，只评“最优配置选对没有”会漏掉一切中间结构。
其二，优化成功与理解深度被证明是可分离的目标。 论文附录 F.2 给出一个两因子反例：一张预测表可以精确选中唯一最优配置，同时效应恢复度任意趋近于零。实验也证实了两者在实践中确实分离（第 5.1 节）。这从定义层面杜绝了“高分低能”的混淆——选对配置不等于理解系统。
三，与经典统计的同构。 这个定义与经典实验设计文献形成清晰的对应：
| WhatWorkedBench 概念 | 经典对应 |
|---|---|
| 响应面预测表 | RSM 的响应曲面拟合（Box & Wilson 1951） |
| 因子 / 掩码 | 因子实验设计（factorial design） |
| 条件效应 Δi(z) | 因子主效应 + 交互效应的完整条件化版本 |
| 配对交互 J_ij | 二阶交互（second difference） |
| 测量预算 B | RSM / BED 中的实验预算 |
| 恢复度 R_t | fANOVA 代理模型对真实效应的重构精度 |
区别在于：经典统计假设响应面未知且只能近似，这里穷举执行给出了精确真值，使得“重构精度”第一次可以被逐条打分。
四、问题解法
WhatWorkedBench 的解法是一个三层系统：任务目录与真值参考 → 评分协议 → 受控比较机制。
4.1 任务目录：八族真实计算工作流
类比：与其在玩具函数上测试，不如把“厨房”造在真实菜系上。目录覆盖 8 个工作流族、30 个数据源、36 个任务条件：
| 工作流族 | 原生操作与指标 | 条件数 |
|---|---|---|
| 分类 | 逻辑回归 + balanced accuracy | 5 |
| 回归 | Ridge 回归 + 变换 MAE | 5 |
| 聚类 | k-means + NMI | 5 |
| 时序预测 | 一步 Ridge 预测 + 变换 MAE | 5 |
| 图像复原 | 原生滤波器组 + 像素 RMSE | 5 |
| 检索 | TF-IDF + NDCG@10 | 3 |
| 心拍检测 | SciPy 信号处理 + 事件 F1 | 4 |
| 链接预测 | NetworkX 特征 + 逻辑回归 + ROC AUC | 4 |
每个开关都是真实的代码级二元选择（如分类族：A 特征变换、B 标准化、C 类权重均衡、D 正则强度；六因子变体再加 E 特征选择、F PCA）。数据源全部来自公开档案：UCI 表格、statsmodels 时序、scikit-image 图像、BEIR 检索语料、MIT-BIH 心电波形、经典网络图。
真值由穷举执行背书：每个任务的全部 2^d 配置被离线 CPU 逐一执行（共 1248 条配置记录、3392 条条件效应、342 条平均配对交互），冻结实现、随机种子与评测队列。可靠性通过冷执行哈希校验、独立实现的指标复算、独立于项目的重放（127.87 秒复算全部 1248 条）等多重验证。
4.2 交互协议：预算内买观测，交完整预测表
智能体获得四个工具：查看当前证据（current_evidence）、批量购买配置测量（observe_many）、执行数值 Python（calculate_python，NumPy/SciPy/sklearn 可用，含公开的 ridge 拟合助手）、提交预测表（submit_diagnosis）。重复测量免费，超额批次被原子性拒绝。评分前，评测器会把已测格子的权威观测值插回预测表——已测部分零误差，分数压力全部落在未测推断上。
4.3 评分体系
- 主指标：条件效应恢复度 R_t（4 因子 32 条效应、6 因子 192 条）。
- 辅助指标：配对交互 MAE（6 或 15 对）、网格 MAE、配置选择 regret（选出的配置与真最优的真实效用差）。
- 严格重构分数：要求每一条条件效应误差 ≤ max(10⁻¹², τ·分数范围)，τ 取 0.1 为开发端点，另评 2.5%~40% 五档容差画像——同时刻画典型精度与最大残余误差。
- 交付纪律：缺失交付计零分且保留在分母中。
4.4 共享估计器协议：固定观测、切换推断
这是本文方法论上最有辨识度的设计。类比：两个厨师用同一篮子食材分别做菜，才能比出厨艺。协议把同一智能体收购的观测集合固定下来，分别交给不同估计器重新拟合：
- D1 主效应 ridge：只有加性组件贡献的线性模型；
- D2 配对效应 ridge：加入两两交互项；
- GP（高斯过程）：以汉明距离为核的普通克里金，超参由留一误差选出；
- 采集策略：GP-G（网格方差采集）、GP-E（效应方差采集，直接对条件效应的线性对比降不确定性）。
于是一次实验同时回答两个问题：横着比（同一估计器下谁的观测更有信息量——评测量选择策略），竖着比（同一观测下哪个估计器恢复得更好——评推断方法）。
4.5 代码等价控制：把可见程序规则变成测量约束
工作流代码里存在显式的守卫规则，例如回归族中 E（交互项多项式）在 C 关闭时失效、复原族中 E 的滤波宽度在 B 关闭时失效。这类规则意味着许多配置行为完全相同（等价类）。代码等价控制只测每个类的一个代表元，把其预测值赋给全类成员，等价类数从 64 压缩到 36/48/64 不等。所有断言的等价关系都通过原生预测哈希逐一核验。这一机制直接量化了“利用程序结构”的价值。
4.6 全景对比表
| 机制 | 输入 | 输出 | 作用 |
|---|---|---|---|
| 穷举参考 | 冻结实现 + 种子 + 队列 | 1248 条真值、效应表 | 提供逐条可打分的真值 |
| 预算协议 | B 个购买信用 + 2 锚点 | 观测集合 | 定义信息预算 |
| 响应面提交 | 观测 + 代码 | 2^d 预测表 | 可机读知识产物 |
| 共享估计器 | 固定观测集 | D1/D2/GP 重拟合 | 解耦测量选择与数值推断 |
| 代码等价控制 | 守卫规则 | 等价类代表元测量 | 量化程序结构先验价值 |
五、评估指标与实验证据
本节回答：作者用什么实验设计证明了哪几个论点。论文有四个核心主张，每个都有对应的实验证据链。
5.1 主张一：优化成功与干预知识是可分离的目标
证据：数值控制实验中，4 因子、B=8 时，配对 ridge（D2）达到 0.612 族宏恢复度、15 个精确配置选择、但仅 3 个严格重构；效应方差 GP 达 0.701 恢复度、16 个精确选择、仅 1 个严格重构。13 个实例同时出现“精确选择 + 效应误差超出严格容差”。结合附录 F.2 的构造性反例（精确选择可与任意低恢复度共存），这条证据链证明：选对配置和理解效应是两种能力，需要分别评测。
5.2 主张二：符号反转是普遍现象，单点摘要必然失效
证据：目录统计（Figure 3）——36 个任务条件中 35 个存在符号反转（数值下限 10⁻¹²）；把两侧效应都要求超过分数范围的 1%、5%、10% 时，仍有 33、24、16 个条件存在反转。按组件计，172 个组件中 121 个存在数值反转、59 个存在超 5% 范围的反转。这组描述性统计为“条件效应场是必要的评测靶子”提供了经验正当性。
5.3 主张三：同一观测下，推断方法决定恢复度（共享 GP 实验）
核心数据表（4 因子、6 个匹配源、B=8）：
| 队列 | 交付 R | 共享 D1 | 共享 D2 | 共享 GP |
|---|---|---|---|---|
| Flash 原始队列 | 0.632 | 0.604 | 0.550 | 0.698 |
| Pro 原始队列 | 0.366 | 0.628 | 0.567 | 0.692 |
| Flash 附加队列 | 0.621 | 0.598 | 0.537 | 0.720 |
| Pro 附加队列 | 0.503 | 0.564 | 0.670 | 0.667 |
| D2 设计对照 | 0.627 | 0.571 | 0.627 | 0.669 |
| GP-E 设计对照 | 0.640 | 0.553 | 0.568 | 0.640 |
三个校准对照进一步支撑结论：(1) 把未测格用观测均值填充只得 0.287 恢复度（vs 智能体交付 0.632），说明分数不是靠已测格白送的；(2) B=8 时仍有 67.4% 的条件效应涉及未测端点，重建负担真实存在；(3) 两个独立时间队列（9 月 7 日与 9 月 14-15 日调用）上 GP 增益均为正（+0.066 / +0.099），留一源敏感性检验增益区间保持 [0.021, 0.120] 为正。
智能体预算效应：Flash 从 B=4 的 0.178 升到 B=8 的 0.632（原始队列），说明预算翻倍带来接近四倍的恢复度提升；Pro 同趋势（0.043→0.366 / 0.308→0.503）。
5.4 主张四：程序结构显著提升测量价值（代码等价实验）
6 因子、6 个配对源：
| 预算 | 方法 | 不用等价 | 用等价 |
|---|---|---|---|
| B=20 | pair ridge | 0.157 | 0.389 |
| B=20 | effect GP | 0.248 | 0.462 |
| B=32 | pair ridge | 0.445 | 0.650 |
| B=32 | effect GP | 0.537 | 0.697 |
4 个确有非平凡等价类的源全部改善，2 个恒等映射控制源保持预测不变——这是一组干净的受控证据。
5.5 两个关键诊断实验
新增族完整提交：6 个 B=32 的 Flash 完整提交（心拍检测 + 链接预测各 3 源），同观测共享 GP 把族宏恢复度从 0.303 提到 0.455，6 源全为正增益，把分析扩展到全部 8 族。
结构诊断（知行分离）：8 个 episode 中，智能体（无论是否被喂入已验证规则）都能在测量前正确报告全部 6 条守卫规则，但全部 8 份最终预测表都违反了这些等价（等价对上的平均预测误差达源分数范围的 11.88%/9.82%）。事后把预测表投影回等价类（不加新测量），恢复度从 0.338 升到 0.507、8 次全部降低原始误差。这说明智能体“知道规则”与“用上规则”之间存在可量化、可修复的断裂。
5.6 反直觉发现：完整代码信息没有被用好
六因子信息研究（36 个 Flash episode）对比“看得见完整代码”与“不透明视图”（只见掩码和效用值）：交付恢复度分别为 0.268/0.257（原始队列）、0.185/0.234（附加队列），共享 GP 反而偏向不透明视图的观测（差 −0.024/−0.064）。看得见代码并没有带来优势——论文诚实地把这标记为下一个算法目标（见第六部分分析）。
5.7 指标如何支撑主张（小结）
| 论点 | 指标 | 实验 | 结论 |
|---|---|---|---|
| 优化≠理解 | 恢复度 vs 精确选择计数 | 数值控制 + 构造反例 | 两者经验与理论上都分离 |
| 条件结构真实存在 | 符号反转计数 | 目录穷举统计 | 35/36 任务有反转 |
| 推断方法独立贡献价值 | 同观测恢复度 | 共享估计器 × 双队列 | GP 稳定优于交付表与 ridge |
| 程序结构先验有价值 | 同预算恢复度 | 代码等价受控对比 | +0.16~0.23 恢复度 |
六、效果优势的根源解释
本节回答：为什么共享 GP 与代码等价在这套指标上效果好？是结构上必然，还是碰巧？
6.1 根源机制与证据链
机制一：GP 的结构先验匹配了配置空间的局部几何。
因果链：配置空间是超立方体 {0,1}^d，效用关于汉明距离近似平滑（改动一个开关通常不会让分数天翻地覆）→ GP 用汉明核 k(z,z’) = exp[−h(z,z’)/ℓ] 显式编码这一几何 + 普通克里金估计常数均值 → 在 B+2 ≪ 2^d 的稀疏观测下，核结构把每个观测的“影响范围”扩展到邻域配置，而 ridge 的多项式特征基（D1 加性 / D2 两两交互）在 6 因子 64 格、B=20 观测下自由度仍然错配 → 未测格预测更准 → 条件效应（差分算子作用于预测表）误差下降 → 恢复度上升。【论文实验已支持：同观测下 GP 稳定高于 D1/D2（0.698/0.720 vs 0.55-0.67）；留一源敏感性全正。D1/D2 在 Pro 附加队列偶有反超（0.670/0.667），说明优势依赖观测集结构，非无条件成立。】
一个可检验的反事实：若去掉核结构只做均值填充，恢复度跌至 0.287——这正是论文的校准基线，直接反证平滑先验的必要性。
机制二：代码等价压缩了有效假设空间。
因果链：守卫规则（如 E 在 C=0 时失效）从代码可见且可机读 → 等价类把 64 格压到 36~64 格（多数任务有效压缩 25%~44%）→ 同样 B 个测量覆盖的“行为等价类”比例上升、冗余测量消失（诊断实验中规则组 0/20 次冗余购买 vs 代码组 2/80 次）→ 每条等价断言把一整族未测格的预测误差强制清零 → 效应误差结构性下降。【论文实验已支持：B=20 时 GP 从 0.248→0.462，四个有非平凡等价类的源全部改善，两个恒等控制源不变——受控设计排除了混杂。】
注意边界：等价的收益取决于任务里非平凡等价类的占比。分类/预测两族没有非平凡等价（保持 64 类），收益为零——机制只在“参数失效结构”存在时生效。
机制三：为什么智能体自己的拟合输给共享 GP？
智能体执行中只有 ridge 助手可用（ridge_main / ridge_pair），而 GP 是事后拟合。因此“GP 增益”部分是工具差异而非能力差异——论文对此相当诚实，明说共享 GP 对原始队列是回顾性分析、对附加队列是先声明的。这条增益的正确解读是：当前智能体-工具栈没有把已获证据的信息榨干，推断层有免费改进空间。【论文实验已支持：Pro 原始队列交付仅 0.366，共享 D1 即达 0.628——仅换一个线性估计器就几乎翻倍。】
机制四（推测，标注为阅读者假设）：为什么看得见代码反而没用好？
论文观察到 full-view 相对 opaque-view 无优势甚至为负。一个合理假设：完整代码带来的信息需要经过“代码阅读 → 抽象出失效规则 → 转化为测量/预测约束”的长链条，而当前智能体的工具接口（购买掩码、跑 Python）没有原生的“约束注入”入口；相反，代码文本可能占用了大量上下文与注意力，挤占了数值推理资源。诊断实验支持这个假设的前半段：被喂入显式规则后恢复度从 0.247 升至 0.429。后半段（注意力挤占）本文无直接证据，属于推测。
6.2 相关工作检索与对照
围绕上述机制，检索外部文献交叉验证：
| 研究（可核验链接） | 相似尝试 | 相关结论 | 与本文的差异与边界 | 对根源解释的影响 |
|---|---|---|---|---|
| Hutter, Hoos, Leyton-Brown, 超参重要性 fANOVA（ICML 2014, PMLR） | 用随机森林代理模型从已有调参数据重构主效应/交互 | 在 LDA 上以穷举网格为真值验证代理重构与真实边缘几乎一致；“少数关键超参”现象 | 分析对象是 HPO 数据而非智能体在线行为；无测量选择环节 | 支持机制一：代理模型+平滑先验可从稀疏观测重构效应结构；且其穷举验证方法论与本文同构 |
| Rainforth et al., Modern Bayesian Experimental Design（Statistical Science 2024, arXiv:2302.14545） | BED 理论框架：按信息增益选实验 | EIG 最优设计可最大化每次观测的信息价值 | 纯理论综述，无智能体评测 | 支持测量选择与推断解耦的框架正当性；本文 GP-E 采集是其特例 |
| Box & Wilson 1951, Response Surface Methodology（综述） | 序列实验+低阶多项式近似响应曲面 | 少量精心设计的实验可近似整个曲面；工业界数十年验证 | 连续因子、近似真值；本文离散配置+精确真值 | 支持响应面作为知识产物的范式合法性；亦限定：RSM 假设低阶结构可近似，本文符号反转数据说明高阶交互不可忽略 |
| BoxingGym（Stanford 2025, arXiv:2501.01540） | 10 个生成概率环境评实验设计（EIG）与模型发现 | GPT-4o 在设计与发现上都挣扎；附加显式统计模型不能可靠提升 | 人工概率环境 vs 真实工作流；EIG 汇总分 vs 逐条效应误差 | 补充：其“附加统计模型无益”与本文“共享 GP 有益”表面冲突，实则互补——区别在于本文是固定观测后换估计器（受控），BoxingGym 是让智能体自由使用工具（混淆于使用方式）。这强化了本文解耦设计的必要性 |
| Science sandboxes（Broad/MIT 2026, arXiv:2608.30165） | 闭环实验评估规则发现 | 前沿智能体能优化指标但学不到规则；规则超出先验时推理退化 | 定性规则评估 vs 定量效应误差 | 支持主张一（优化≠理解）在生物学场景独立复现；本文给出该现象的数值化测量 |
| MLE-bench（OpenAI, ICLR 2025, arXiv:2410.07095） | 75 个 Kaggle 竞赛评 ML 工程能力 | 结果导向评测的天花板与局限（作者自述未覆盖研究理解侧面） | 无真值穷举可能 | 对照：说明为何“理解”维度在既有基准中是盲区，界定本文增量 |
| MLAgentBench（Stanford, ICML 2024, PMLR） | 13 个 ML 实验任务 | 智能体成功率波动大（0%~100%），长程规划与幻觉是主要瓶颈 | 评指标提升幅度 | 补充：其瓶颈发现（规划/幻觉）与本文发现（知行断裂）共同刻画智能体实验能力的不同切面 |
| AblationBench（arXiv 2507.08038, arXiv） | 消融规划评测（83+350 实例） | 最好系统仅识别约 45% 原始消融；CoT 优于 agent 化方法 | 纯文本规划，不执行 | 补充：消融规划能力同样远低于人类，与本文效应恢复度低相互印证——实验理解是跨任务的普遍短板 |
| Cohn, Ghahramani, Jordan 1996（主动学习统计模型, arXiv cs/9603104） | 预测方差缩减采集准则 | 主动选择的观测在同等预算下方差更低 | 经典主动学习，无智能体 | 支持GP-G/GP-E 采集准则的理论根基 |
检索范围内未发现直接否定“结构先验提升重构”结论的工作；最接近的张力点来自 BoxingGym 的“附加统计模型无益”结论，如上所述其任务设定（自由使用 vs 受控替换）与本文不同，不构成直接反例，反而凸显了受控比较设计的价值。
6.3 综合判断与未决问题
得到多项研究共同支持的机制：
- 优化成功 ≠ 系统理解——本文（构造反例 + 数值证据）与 Science sandboxes（生物场景定性证据）独立一致；
- 代理模型 + 平滑先验能从稀疏观测重构效应结构——fANOVA（HPO 场景）与本文（智能体场景）同构验证；
- 程序结构先验有价值——HPO 文献的条件参数空间传统（Bergstra、SMAC3）与本文代码等价实验互相印证。
仍属合理猜测的机制：智能体未用好可见代码的原因（注意力挤占假设）；共享 GP 增益在更强模型/给智能体配 GP 工具后是否仍然存在。
优势成立的条件：GP 优势依赖效用关于汉明距离的平滑性，若任务效用高度非平滑（如存在剧烈阈值效应），核先验可能失效；代码等价收益依赖守卫规则的存在与占比；效应恢复度指标依赖穷举真值，天然只适用于小规模、可廉价复算的干预空间。
可能的失效条件：d 增大后 2^d 穷举不可行，需转向抽样真值；智能体获得原生约束注入工具后，full-view 与 opaque-view 的差距结论可能改变。
七、必要知识反推
假设让一个零基础的人复现这项工作，最少需要哪些知识？
领域知识层
- 机器学习工程实践：八大工作流族的操作细节（sklearn 管线、TF-IDF 检索、信号滤波、图特征）——不理解就无法设计有信息量的二元开关，也无从知道“参数失效”这类结构在哪里出现。
- AI 研究智能体的工作方式：它们如何跑实验、如何迁移经验——不理解就无法把评测协议设计成智能体可执行的四个工具。
- 数据治理：30 个公开数据源的许可条款与归属（CC-BY、ODC-By 等）——目录可发布的前提。
方法论知识层
- 实验设计与 RSM：因子、效应、交互、响应面的经典体系——整个评分体系的语言。
- 布尔函数傅里叶分析（O’Donnell 2014）：超立方体上的效应分解与高阶交互方差——路径一致性恒等式与 kε 界的理论基础。
- 代理模型方法：ridge 回归设计、高斯过程/克里金、留一法选超参——数值控制与共享估计器的全部工具箱。
- 主动学习/贝叶斯实验设计：Cohn 的方差缩减准则、EIG 思想——GP-G/GP-E 采集策略的出处。
- 评测方法论：恢复度归一化、容差画像、族宏平均、留一敏感性分析——让结论稳健的统计纪律。
工程知识层
- 可复现性工程：冻结种子/实现/队列、哈希校验、冷重放、独立指标实现、独立进程重放全部记录——1248 条真值可信的根基。
- 智能体执行环境：工具接口设计、沙箱资源限制（CPU/内存/文件上限）、HTTP 限流（原始队列 75 次 429）与双队列隔离——108 个 episode 的工程现实。
- 审计式记录：测量批次、计算日志、提交元数据全部落盘——事后可做结构诊断与再评分。
知识融合的关键节点
- 穷举真值 × 智能体评测：把 fANOVA 式的“代理 vs 真值”验证方法论，从离线分析搬进在线智能体评测——这是本工作最关键的化学反应，它使“理解力”第一次变得逐条可打分。
- 响应面 × 因果效应：不评整表误差而评条件效应场，用了路径一致性恒等式证明两者信息等价但效应视角对误差更敏感——布尔函数分析视角的注入。
- 程序分析 × 实验设计：把代码中的守卫规则读成等价类，转化为测量约束——把“读代码”这个智能体能力变成可量化的分数杠杆。
- 受控比较协议 × 智能体评测：固定观测换估计器的共享拟合设计，把端到端评测拆成可归因的两个科学变量。
八、论文中可以提取的通用性灵感
灵感一：评“知识产物”，不评“过程分数”
- 核心思想：让被评测系统交出一份完备、可机读、可复算的知识产物（这里是响应面预测表），而不是用最终分数反推它懂多少。
- 论文证据：附录 F.2 反例证明精确选择与近零理解可共存；恢复度指标逐条量化预测误差。
- 推广场景：① 评测代码智能体——要求提交对每个模块改动的行为预测表；② 评测政策分析师——要求提交对每组干预的量化影响估计；③ 评测运维 Agent——要求提交对每项配置变更的 SLO 影响预测；④ 教育测评——要求学生提交完整的解题决策表而非单题答案。
灵感二：优化成功与理解深度必须分开评
- 核心思想：“找到了好答案”和“知道为什么好”是两种能力，混在一起评会系统性高估智能体。
- 论文证据：15 个精确选择实例中 13 个效应误差超出严格容差；Science sandboxes 在生物场景独立复现同一现象。
- 推广场景：① 招聘测评（解出题 vs 讲清思路）；② 自动交易系统审计（赚钱 vs 理解风险因子）；③ 药物筛选 AI（找到活性分子 vs 理解构效关系）；④ RAG 系统评测（答对 vs 可溯源）。
灵感三：固定输入、切换处理器的受控比较协议
- 核心思想：把系统采集的原始证据固定下来，再横向比较不同处理方法，可以把一个端到端分数分解为“采集质量”与“利用质量”两个独立科学变量。
- 论文证据：共享 GP 在同观测下提升两个队列的恢复度（0.632→0.698 / 0.621→0.720），证明瓶颈在推断层；Pro 交付 0.366 vs 共享 D1 0.628 证明工具栈未榨干证据。
- 推广场景：① 评测检索增强生成——固定检索结果比生成器；② 评测数据标注平台——固定原始数据比标注流程；③ 分析师看板——固定数据源比可视化方案；④ 医学诊断——固定检查结果比判读模型。
灵感四：程序结构是免费的先验，但要给使用的入口
- 核心思想：系统的可见结构（代码、配置、依赖图）里藏着大量可机读约束，利用它们能成倍放大有限测量的价值；但“看得见”不等于“用得上”。
- 论文证据：代码等价把 GP 恢复度从 0.248 提到 0.462；但智能体看得见代码却无优势，且全部正确报告规则的同时全部违反规则（知行断裂），后验投影即修复（0.338→0.507）。
- 推广场景：① 编译器优化（读 IR 比黑盒调参强）；② 故障排查（读日志结构比暴力重启强）；③ 实验科学（读仪器约束避免无效实验）；④ 法规合规（读条款依赖图减少重复审查）。
灵感五：小世界穷举，换真值自由
- 核心思想：把问题尺寸刻意做小到可以穷举，就能为每个预测提供精确真值，评测从“采样估计”升维成“逐条对账”。
- 论文证据：d≤6 使 2^d≤64，全部 1248 条配置 127.87 秒即可复算，3392 条效应全部有真值。
- 推广场景：① 算法评测（小实例全验 + 大实例抽样）；② UI 测试（小状态空间全遍历）；③ 游戏AI（小棋盘穷举真值）；④ 数据库查询优化（小查询计划空间全评估）。
灵感六：警惕平均值，效应是条件的
- 核心思想：一个干预的效果几乎总是依赖背景（其他同时存在的干预），任何把效应平均掉或取单点的摘要都会系统性误导。
- 论文证据：35/36 任务存在符号反转——同一开关在两个背景下效果相反（+0.160 vs −0.084 的检索实例）。
- 推广场景：① A/B 测试分析（广告效果分人群看）；② 药物临床试验（疗效分基因型看）；③ 经济政策评估（政策效果分经济周期看）；④ 教学法选择（方法效果分学生背景看）。
灵感七：知行断裂本身是可测量、可修复的对象
- 核心思想：系统能“说出来”的规则和它“实际遵守”的规则之间的差距，可以设计成量化指标，而修复常常不需要新数据、只需在输出层投影回约束。
- 论文证据：8 个诊断 episode 全部正确报告规则、全部违反规则；后验等价类投影（不加测量）让 8 次全部降低误差。
- 推广场景：① LLM 事实一致性（声明的事实 vs 生成的內容投影）；② 安全合规系统（声明的策略 vs 实际路由投影）；③ 自动驾驶（声明的交规 vs 实际轨迹校正）；④ 代码生成（声明的 API 约束 vs 编译期强制转换）。
附录：术语速查
- 响应面（response surface）：全部配置组合到预测分数的完整表格，源自 Box & Wilson 1951。
- 条件效应 Δi(z)：背景 z 固定、只翻转第 i 位开关的分数变化。
- 符号反转（sign reversal）：同一开关在两个不同背景下效应符号相反。
- 恢复度 R：1 − 效应 MAE / 平均真实效应幅度，衡量重构出的效应场与真值的相对接近程度。
- 共享估计器（shared estimator）：固定观测集合、更换推断方法并重评分的受控协议。
- 代码等价（code equivalence）：由守卫规则导出的行为完全相同的配置类。