Agent 评测三重奏：OmniDR-Bench、EvalResearchBench 与 TheoPhysEval 精读

论文 1：Beyond Watching and Searching: Benchmarking Agents for Video-Centered Deep Research Reports (OmniDR-Bench) 代码仓库：marinero4972/OmniDR-Bench 发表时间：2026年10月 机构：北京大学（一作为其在阿里 Qwen 团队实习生）、阿里巴巴 Token Hub、独立研究者 领域标签：cs.CV / cs.AI，Agent 评测

论文 2：EvalResearchBench: Can AI Agents Build Their Own Feedback for Recursive Self-Improvement? 发表时间：2026年10月 机构：Oregon State University、UC San Diego、Pennsylvania State University、AG2 AI（公司参与） 领域标签：cs.AI，RSI 评测 / 评估设计

论文 3：TheoPhysEval: Assessing AI agents at autonomous theoretical physics problem solving 数据集：HuggingFace: RameshChandra1/TheoPhysEval 发表时间：2026年10月 机构：国际理论科学中心（ICTS）与 TIFR 主导，30 余名作者来自 19 家机构（UT Austin、东京大学 Kavli IPMU、Duke、UPenn、Harvard、IISc 等），Google DeepMind 两位协调人 领域标签：hep-th / cs.AI，AI4Science 评测

一、论文背景

如果把 2025 年之前的 Agent 评测理解为「能不能把任务做对」，那么 2026 年的评测论文明显在往三个更深的维度走：产出物的证据链是否可信、评估设计本身是否可以交给 agent、以及 agent 在研究级专家任务上的真实上限在哪里。本组三篇论文恰好各占一个维度。

1.1 OmniDR-Bench：深度研究报告需要「可审计」而不只是「好看」

深度研究 agent（deep research agent）已经能综合开放网络证据写出长报告，但现有基准都不评测「以一条源视频为组织轴心」的研究。文本深度研究 agent 产出带引用的报告但不处理视频；视频深度研究的基准主要瞄准短答案 QA；文图报告系统合成多模态网页素材但不以给定视频为证据源。OmniDR-Bench 的作者观察到，视频天然保留了难以完全文字化的情境线索——可见实体、空间关系、细粒度动作——这些线索会暴露出机制、可信度、替代方案等文本主题难以触及的研究问题。观众看完一个视频后想定位关键片段、核查声明、找相关材料或做实际决策，这些需求都呼唤「以源视频为中心」的研究报告。

评这样的报告很难：开放式报告没有唯一参考答案，有效的报告可以用不同的组织和来源集合。评测者必须区分「引用数量」与「声明支持」，还要评估视频锚定、跨源推理和最终渲染产物。这是 OmniDR-Bench 用原子评分树（Omni-ARTs）与审计式评分树构建流程（ARC）来解决的核心难题。

1.2 EvalResearchBench：评估是递归自我提升的反馈瓶颈

递归自我提升（Recursive Self-Improvement, RSI）依赖评估反馈来判断「一个改动是否让系统变好」。反复运行复杂基准既贵又慢，人类专家的经典做法是挑子集或设计紧凑代理套件（如 tinyBenchmarks）。问题是：如果希望 agent 自主完成改进闭环，这个「设计评估」的步骤本身能不能也交给 agent？

此前的自动化工作只覆盖了一部分：PostTrainBench 固定目标基准与评测 harness；RSIBench-Data 让 agent 在固定评估服务上改训练数据策略；AlphaEvolve 用用户提供的评估函数进化程序。AutoBencher、BenchAgents 自动化基准构建，BenchBench 比较模型设计的套件质量。但没有一个设定要求 agent 完整地「选择测量策略—花有限预算做实验—迭代修订可执行评估器—使其追踪复杂目标基准」。EvalResearchBench（ERB）把这个能力命名为「自主评估研究」（autonomous evaluation research），并把它做成可执行的基准。

1.3 TheoPhysEval：agent 在研究级物理上到底有多强

AI agent 最近在数学上接连解决公开问题（包括 Navier–Stokes 千禧年问题），但在理论物理上还没有标志性突破——尽管研究者日常已在用 agent 讨论想法、做计算、查文献、写稿。要科学地评估「当下的进度」，需要一个回答具体问题的测试：agent 能否自主解决良定义、可验证的理论物理问题？

构造这样的问题集非常苛刻：问题要源于当前研究、已知解要「易验证但难猜」、解不能被公开检索到。已有的物理基准（TPBench、SciCode、CritPt 等）混合了课程级与研究级题目，而且通常不给 agent 真实世界里可用的全套工具。TheoPhysEval 的做法是向世界级专家征集 50 道未发表的研究级「摇柄式」（turn-the-crank）问题——用已知技术推广既有结果，严格说结果是新的、有时可发表，但非突破性——并把答案数值化到不可猜测的程度。

二、论文定位和关联工作

2.1 OmniDR-Bench：在报告评测谱系中的位置

• 深度研究 agent 与基准：文本报告基准（DeepResearch-Bench、ResearchRubrics、DRACO 等）评事实性、完整性、引用质量与用户意图；长视频/浏览基准测时间分布理解或开放网多步 QA；多模态与过程研究（MMDeepResearch-Bench、MiroEval 等）考察视觉检索、工具使用与轨迹错误。OmniDR-Bench 是首个联合评测视频锚定、多模态证据、声明支持与交互呈现的完整报告基准——任务边界表里「源视频 × 开放网络 × 视频检索 × 长报告 × 时间链接」五行全勾的只有它。
• 与前序工作的关系：视频深度研究 QA（Video-Browser、VideoSearcher 等）只到短答案为止；文图报告系统（ViDR、TVIR 等）不读源视频。OmniDR-Bench 把这两条线焊在一起：以源视频的视听时间轴为研究主干，输出被外部多模态证据充实过的可审计交互报告。

2.2 EvalResearchBench：把「出题能力」变成被测对象

• 评测设计自动化谱系：任务构造（AutoBencher）、多代理构建（BenchAgents）、套件质量评估（BenchBench）都在自动化评估的某个环节；高效测量路线（tinyBenchmarks、Fluid Benchmarking、APTBench）研究如何用更少样本估计能力。ERB 的差异在于：agent 要自己选择测量策略、支付实验预算、迭代修订，最终冻结一个可执行评估器去复现 14 个复杂目标基准的打分与排序——这是对评估设计能力的端到端考核。
• 与自主研究基准的关系：MLAgentBench、MLE-bench、RE-Bench 考迭代实验；The AI Scientist 覆盖科研全流程；FunSearch/AlphaEvolve/Darwin Gödel Machine 用评估反馈指导程序或 agent 修订。ERB 聚焦的恰恰是这些系统默认由人类提供的那个部件——反馈仪器本身的构建。

2.3 TheoPhysEval：专家级评测的谱系与断网对照的独创性

• 物理基准谱系：学校/竞赛/本科物理基准之上，TPBench、SciCode、FrontierScience、PRL-Bench、QMBench、CritPt 引入研究级问题，但都混合难度层次，且大多不让 agent 使用真实工具。TheoPhysEval 的区分点是只收研究级未发表题并给全套工具。
• 与数学「First Proof」的关系：两者都用未发表研究级题，但 First Proof 需要人工评阅证明，TheoPhysEval 全自动判分（只看最终答案）。
• 双 track 协议是它的方法论贡献：realistic track（可联网+本地工具）对 isolated track（禁网）的对照，等于给「文献记忆 vs 现场检索」做了一次受控实验。

2.4 三篇论文的定位总结

三、问题定义

3.1 OmniDR-Bench：把「开放式报告质量」抽象为「可审计的原子判据集」

• 具体问题：开放式报告没有唯一参考答案，怎么评？
• 抽象问题：报告质量 = 报告对一组独立采集、带出处、二元可判的原子判据的满足率。形式化：给定源视频 V、用户请求 Q、开放工具环境 E，agent 产出交互式 HTML 报告 H = A(V, Q, E)；评分树把 H 映射到三维（内容 C / 引用 R / 呈现 P）加权分数 S = 100·ΣλkDk（λ = 0.50/0.30/0.20）。
• 精妙之处：上层维度共享保证跨任务可比，叶子判据任务特定保证诊断深度；语义叶子绑定独立事实记录、结构叶子绑定可执行浏览器检查，使每一个评分决定都可审计。任务的接受条件本身也被形式化（video-only 测试：仅凭视频无法完成；web-only 测试：换掉视频则研究边界改变；answerability：公共证据在实用预算内充分）。

3.2 ERB：把「评估设计」抽象为「预算约束下的测量仪器构建」

• 具体问题：agent 能否自己造出便宜且信息量足够的评估？
• 抽象问题：给定目标基准描述、开发参考分数、候选 API 与预算（3 小时、$100 推理、$100 开发测试），researcher agent 选择/合成任务、实现评分器、试点修订，冻结一个可执行评估器（≥100 题 + 可执行评分器 + 固定聚合规则），使其对候选模型的打分与排序复现 14 个目标基准。类比：这相当于把「出一份好卷子」当成一门独立于「会答题」的考试来考。
• 两个正交指标：Score = 100×Lin 一致性相关系数（同时奖励分数水平、离散度与顺序的匹配）；PA = 候选对排序一致率。密封（sealed）候选与目标对 researcher 完全隐藏，独立评估用单独预算（$120 总额 / $30 单模型上限）执行。

3.3 TheoPhysEval：把「研究能力」抽象为「未发表可验证问题的自主求解」

• 具体问题：agent 能否自主解决理论物理研究中的具体计算？
• 抽象问题：50 道专家出的未发表题，答案全部数值化到不可猜测（例如给出全部相关与无关物理量的数值，要求输出浮点数或整数序列），在 Docker 沙箱（2 vCPU/4GB，8 小时上限，多部题 20 小时）内由 agent 自主完成「定位文献→适配方程→写数值脚本→求解→报告答案」全流程，无人提示。通过率 = 答案匹配率。
• 精妙之处：数值化判分消除了 LLM judge 的误差源；断网 track 则把「文献记忆」从「检索能力」中剥离出来——这是对能力来源的受控归因。

四、问题解法

4.1 OmniDR-Bench：七阶段工作流 + Omni-ART 评分树 + ARC 构建流程

参考工作流（被评测 agent 可用任意内部流程）：七阶段技能——(1) 获取并检视视频；(2) 用 300 秒窗口并行读视听流、合并绝对时间轴；(3) 选取带时间戳的研究锚点（声明/实体/流程/参数）；(4) 按锚点并行检索网页/图像/视频/文档；(5) 用支持/矛盾/更新/解释/比较/应用六种关系连接视频与外部证据；(6) 写结构化报告数据并渲染双栏交互报告（源视频+时间对齐笔记+可点击时间戳+声明级引用）；(7) 程序化检查+引用核查+必需流程检查，失败定向修复。

Omni-ART 评分树：三层结构——3 个质量维度（内容 10 方向 / 引用 7 方向 / 呈现 6 方向，共 23 个共享诊断方向）之下挂任务特定的原子二元判据。语义叶子（J：多模态模型判断）绑定事实库记录，结构叶子（M：确定性程序与浏览器探针）绑定可执行检查。三类高产量方向（事实覆盖、因果分析、比较）设饱和阈值 τd=0.18 与计数上限 κd=15，防止其淹没总分。固定快照含 6,414 条判据（内容 4,060 / 引用 1,234 / 呈现 1,120），按证据难度分为 L0（单源视频事实）2,363 条、L1（需外部证据）1,475 条、L2（需独立验证或冲突处理）2,167 条、L3（跨事实组合）409 条，引用 3,102 个任务局部事实（平均每任务约 62 个）。

ARC（Audited Rubric Construction）：S0 固定任务范围与检索路线 → S1 隔离采集视频证据图（禁网）与网络证据图（六条检索路线、看不到视频），合并时保留冲突边而非静默消解 → S2 把事实库转成二元候选判据 → S3 筛掉无证据、复合、主观、重复、歧义判据 → S4 按维度装配合上限 → S5 三级验证（16 项静态检查；行为校准 R1<R2<R3 且 R3−R1>δcal=20%，R1=仅视频、R2=全工具、R3=事实库辅助，同一 Claude Opus 4.8 + Claude Code 生成；R2 三次重复评分非一致判据平均仅 0.89%）→ S6 人工审核路由修复，两轮人工验证把候选池从 82 压到 60 再到 50。最终对 50 个任务包各抽样 20 项，1,000 项中 >94.0% 被判正确。

4.2 ERB：三预算分离 + 冻结评估 + 独立评估

协议设计是 ERB 的核心贡献，四道防线防止作弊与过拟合：

1. 三预算分离：researcher 推理（$100）、共享开发测试（$100）、独立评估（$120 总额/$30 单模型上限）各自记账，agent 的思考不能吃掉测试额度；3 小时研究时限。
2. 提交契约：≥100 道不重复计分题 + 可执行评分器 + 固定聚合规则；打分时禁止查候选身份、禁止访问参考标签。
3. 双盲密封：候选面板 13 个模型中 9 个密封（API 与参考分数对 researcher 隐藏至冻结后）；14 个目标基准中 8 个密封。开发可见与密封的分离检验「拟合可见参考是否迁移」。
4. 独立评估：冻结后在开发+密封候选上统一执行，记录逐题得分、终止原因与开销，结果不回传 researcher。

baseline：Random120——人工设定 16 个公共任务源的配额（coding 5 源×8、co-work 7 源、reasoning 4 源×10，共 120 题、筛选 21,083 项、seed 42），等权聚合。这个「不用任何迭代研究」的采样器编码了人类的任务设计知识，是一个被严肃对待的强 baseline。

案例式修订研究：论文追踪了 researcher 的修订轨迹——Astra 从上游任务源构造 8 道多文件仓库追踪题；其 11/12 的试点暴露「题目从未要求均值却进了 rubric」的缺陷后修订题目；后续审计放宽只认单一架构的云迁移 rubric。GLM 修正无效示例与数值答案；K3 在近天花板试点后加 5 道难 coding 题；Fable 5.1 因 ArXivMath 两候选均输出为空而移除该家族、因 GDPval 9/16 触顶而把该家族输出上限从 8,000 提到 16,000 token。

4.3 TheoPhysEval：专家出题 + 数值化 + 双 track

出题协议：三条硬标准（关联当前研究；已知解易验证难猜；解不可公开检索），并请贡献者近期不发表解。两条主要来源：研究者工作笔记中「算过但懒得发表」的问题；或对近期论文改参（改参数后新答案无法从旧答案猜出）。这类练习常被布置给研究生入门，也是「增量论文」的写法——因此题目代表的是研究中的真实难度分布而非对抗性构造。

判分设计：物理符号答案的等价性验证很脆弱（同一表达式有多种写法、记号不统一），用 LLM judge 会引入额外误差源。作者的方案是全部数值化：给出相关与无关物理量的数值，要求输出不可猜的浮点数或整数序列。事后自动复查发现 §9a、§11d 两题约定未完全指定，评分键已兼容观测到的约定选择；§1b（逆问题）天然抗数值转换。

执行环境：Harbor 框架（Terminal-Bench 同款），realistic track 允许网搜+本地工具，isolated track 禁网（仅保留对模型提供商自身的调用）；Google Cloud e2-standard 虚拟机，每任务 2 vCPU/4GB/10GB；8 小时超时（电子结构三部曲等连锁题 20 小时）；自动化分析未发现沙箱逃逸。

五、评估指标与实验证据

5.1 OmniDR-Bench：18 配置横评 + 技能梯度消融

主结果（50 任务、0–100 分、失败记 0 分、任务 bootstrap 95% CI）：

Opus 5 与 GLM-5.3 的 1.3 分之差配对 CI 为 [−4.0, 5.6]，排序不具统计区分度——论文明确把它标注为「点估计排序而非可靠分离」。

共享瓶颈（跨 18 配置的方向级原子通过率均值）：呈现维度平均 81.8 分，内容仅 45.4、引用 47.8；L0 直接视频事实 79.9%，L1 外部证据 8.7%，L2 跨源验证 8.8%，L3 多事实组合 5.0%；事实覆盖 7.6%、因果分析 9.5%、比较 4.6%；视频忠实度高达 92.4%，但逻辑一致性 21.2%、声明支持仅 15.9%。

「找到来源≠用上来源」：GPT-5.6 Sol（Claude Code 下）源数量方向通过率 98.0%、多模态材料 93.5%，声明支持却只有 23.9%；Gemini-3.8-Flash 多模态材料 93.0% vs 声明支持 13.9%。轨迹检查发现报告常把链接堆在末尾 Sources 区而不在声明处引用。

技能消融（15 个匹配任务、GPT-5.6 Sol + Claude Code、五级梯度）：

完整编排比全部原子技能再 +7.3 分（配对 95% CI [3.4, 11.1]，15 任务赢 12），最大单项增益是引用 +20.7 分；代价是中位步数 103→167、时长 0.7→1.6 小时、token 2.3M→4.7M。多模态检索的 +1.1 总分 = 内容 +5.2 对冲引用 −5.3，说明「接触到更丰富的证据」与「成功引用整合」是两种能力。

评测器自身可信度：人工-机器原子判据一致率 91.0%（30 份报告、3 位标注者，人工内部一致 93.0%）；Omni-ART 分数与人工整体评分（1–5）Spearman ρ=0.64；评分参数 7 组敏感性分析中无系统排名移动超过 1 位。

5.2 ERB：9 researcher × 13 候选 × 14 目标

主结果（整体 14 目标等权）：

三个关键结构性发现：

1. 75% vs 91.2% 的鸿沟：最佳 PA 约 75%，而目标基准彼此间的排序分歧构成了 91.20% 的理论 PA 上限（精确子集动态规划算出的标签知情 oracle）——单一域分数不可能同时完美匹配互相冲突的多个目标。
2. 开发/密封反转：Fable 5.1 开发集 Score 最高（23.40）但密封集仅 20.87，Grok 密封集 26.14 反超——拟合可见参考不保证迁移，跨目标迁移本身是独立要求。
3. 权重反事实：Grok 六道 co-work 题占该域 93.87% 权重；把其冻结答案改为域内均匀权重后整体 Score 从 22.18 升至 37.03（co-work 25.75→50.76）、PA 几乎不变（76.07→76.01）——冻结套件里有用的测量信号被其自选权重浪费了。

任务组分的因果检验（删除-重算，对照同域同规模随机删除的 95% 区间）：删除 Astra 的 8 道 spreadsheet 任务使 co-work Score 降 31.94 分、PA 降 12.57 个百分点（46/96 响应到输出上限）；删除 K3/Astra/GLM 的 ArXiv-math 组分反而提高 reasoning 分。题目数量梯度（10/30/60/90 题）显示更多题平均质量更高、波动更小（Astra 整体 Score SD 从 6.64 降至 2.14）。

5.3 TheoPhysEval：5 agent × 双 track × 50 题

• 成本效率：摘要口径下最好 agent 平均每题不到 3 美元、98% 精度。Opus 成本最高（输出 token 7.15M/7.21M）；DeepSeek 最省（total token 虽然高达 1,025M/834M，但单价低）。
• 断网几乎不掉分：Astra 98→92、Opus 92→92、Gemini 68→62、DeepSeek 54→50，均在单次运行的统计不确定度内。GLM 反向（42→52）主要源于连锁电子结构题给了关键参考文献，断网劣势更小，而 realistic 轨迹早期一个符号错误跨题传播。
• 失败模式的结构：唯一全员未解的 §1b 是合成逆问题（信息不对称：出题者知道生成机制）；Astra 被初判错的几题经专家复核后竟是专家原解有误，改正后 Astra 全对；Gemini/GLM 在 §10d 把 AdS5 文献公式直接用于 4 维（isolated 下 Gemini/GLM/DeepSeek 还用测地线长度替代最小面积）；Opus 在 §7a 反复触碰输出上限无有效产出、在 §1c 误用文献初始数据。

指标如何支撑主张：这三个基准的实验设计都在把「总分」还原为「机制」——OmniDR 用 L0–L3 证据等级拆出整合瓶颈；ERB 用 oracle 上限与权重反事实拆出「测量信号存在但聚合方式欠优」；TheoPhys 用双 track 差分把「能力」归因到「文献记忆」。这是基准型论文能够提出因果论断的三种范式。

六、效果优势的根源解释

本组三篇均为基准型工作，「效果优势」的恰当含义是：它们各自的核心机制设计为何能产出其他设计产出不了的诊断性发现。以下按论文建立因果链，并用外部检索交叉验证。

6.1 根源机制与证据链

OmniDR-Bench：原子化 + 证据绑定 → 把「引用数量」与「声明支持」拆开

• 因果链：把引用维度拆为源数量/闭合/多样性/权威性/声明支持等独立方向，且语义判据逐条绑定独立事实记录 → 「链接堆在末尾」与「声明处引用」被记为不同的原子 → 才能测出源数量 98.0% vs 声明支持 23.9% 的断层。【论文实验已支持】
• L0–L3 难度分层由证据结构（而非模型预测）决定 → 呈现 81.8 vs 内容 45.4 的维度差、外部证据 8.7% 的通过率才能定位到「证据整合」而非「写作格式」。【论文实验已支持】
• ARC 的行为校准（R1<R2<R3，δcal=20%）在构造期验证了「评分树对证据获取量敏感」，这是「分数确实测研究深度」的必要条件；人工-机器一致率 91.0% 与 ρ=0.64 支撑效度。【论文实验已支持】
• 推断（阅读者推测）：编排技能 +7.3 分中引用占 +20.7 的模式提示，工作流中的第 7 阶段（引用核查+定向修复）可能是主要贡献者，但论文未做阶段级消融，此归因待验证。

ERB：三预算分离 + 双盲密封 → 让「评估设计能力」可测且不可作弊

• 因果链：把「造一次」与「跑多次」的成本分开记账 → 才能发现 Grok（107 题、$8.63）与 Fable 5.1（110 题、$109.41）题量相近而执行成本差 12.7 倍，「题目数量不预示循环成本」。【论文实验已支持】
• 密封目标的设计直接制造了 Fable 5.1 的开发/密封反转——若没有密封组，「开发集最优」会被误读为「最优评估器」。【论文实验已支持】
• DeepSeek 案例的机制：选确定性易评分任务 → 候选分数聚顶（GPT-5.5/Astra/Sol 在其 co-work 全 100%）→ 区分度塌缩 → 论文据此主张「任务选择对候选的区分贡献，而非任务数量/难度，决定评估器质量」。Grok 的均匀权重反事实（22.18→37.03）证明测量信号存在而聚合欠优，进一步把「设计」拆成任务选择与权重聚合两个独立失效点。【论文实验已支持】

TheoPhysEval：数值化判分 + 断网对照 → 把能力归因到文献记忆

• 因果链：数值化判分消除 LLM judge 噪声 → 98% 的分数可以按题归因；断网 track 保持任务与判分不变、仅移除网搜 → 两 track 差分即「检索依赖度」的受控测量 → 差分极小 + 多题需要文献公式（如 §11f 需要背景论文的记号）→「前沿模型已记忆理论物理文献的关键公式」的结论。【论文实验已支持；论文亦诚实标注单次运行的不确定度与 §9a/§11d 的约定歧义】
• 失败模式的机制解释：全员未解的 §1b 是信息不对称的逆问题（解还涉及分数阶导数与延迟项，对「微分方程」一词的措辞有游戏成分）；维度适配错误（AdS5→4 维）属于「公式记忆了但适用条件没有」——这与「公式已记忆」的正面结论互为表里。【前者为论文附录 B 明示；后半句为论文定性分析支持】

6.2 相关工作检索与对照

在本次检索范围内未发现：「引用数量与声明支持分离度量」在视频报告场景的更早先例（OmniDR 自称首个，未检索到反例）；「断网对照」协议在其他学科基准上的复制（TheoPhysEval 据我们所知是首个双 track 物理评测，但单一论文证据，结论条件是「本套题目、这些模型」）。

6.3 综合判断与未决问题

• 多研究共同支持的机制：(a) 深研产出的「表面质量 vs 研究实质」断层——OmniDR 的维度分差与 DEER 的维度结论来自不同构建管线却同向；(b) 「会做题≠会出题」——ERB 的无人全面领先 + Random120 强势 + BenchBench 的 ρ≈0.37；(c) 未发表+数值化是抗污染的有效出题模式——TheoPhysEval 与 FrontierMath。
• 仍属推测的部分：OmniDR 编排增益中「第 7 阶段修复」的具体贡献比例；TheoPhys「记忆的是公式而非推导能力」的强版本（维度适配错误提示部分记忆是碎片化的，但样本太少）。
• 适用条件：OmniDR 的结论在 50 任务/19 子类上成立，子类仅 1–5 题、查询形式非随机分配，类别差异只是描述性的；ERB 的 9 个 researcher 各只跑一个 episode（单次研究轨迹），排名有情景噪声，Fable 5 甚至因超预算只完成 20/39 个候选-域报告而被单列；TheoPhys 全部 API 只跑一遍、温度非零，通过率的统计误差被作者明确提示。
• 可能的失效条件：当模型学会「在声明处补引用」的表面策略时，OmniDR 的声明支持方向可能被针对性优化（但 L2/L3 组合验证仍难）；当公共任务源本身被污染或饱和时，Random120 baseline 的强度会虚高；若未来模型训练数据纳入类似双 track 评测的合成题，断网差分将失去归因力。

七、必要知识反推

假设让一个没有背景的人重做这三篇工作，最少必须掌握什么？

7.1 领域知识层

• 被测任务的领域结构：OmniDR 需要懂「深度研究报告」在实践中如何被使用（定位/核查/决策/复现四类需求直接导出了 19 个子类的分类法与三视图查询池）；ERB 需要懂 LLM 评测生态的真实痛点（API 成本、迭代速度、leaderboard 依赖）才能把协议设计到「不可作弊」；TheoPhys 需要理论物理各子领域的研究品味来判断什么题「可验证、难猜、未发表」——这就是为什么它需要 30 余位专家出题。
• 「什么样的答案可自动判分」：TheoPhys 的数值化设计要求作者理解符号等价验证的脆弱性（同一表达式多种写法、记号不统一），以及 LLM judge 会引入的误差源。

7.2 方法论知识层

• 心理测量学与统计：Lin 一致性相关系数（及 r·Cb 分解）与排序一致率是 ERB 双指标的数学基础；任务 bootstrap、配对差置信区间是 OmniDR 排名稳健性声明的工具；oracle 上限（标签知情 PA 最大值、加权 MSE 最优值）为「分数不可完美复现」提供了结构性解释。
• 评测构建方法论：Rubric 原子化、二元化、证据绑定（OmniDR）；行为校准思想——用「改变信息获取量时分数是否单调响应」来验证评分器效度（R1<R2<R3）；密封/开发分割与预算记账（ERB）；抗污染出题与受控对照（TheoPhys）。
• Agent harness 生态：三篇都默认读者理解模型×harness 是「agent」的构成（Claude Code/Codex/OpenClaw/Antigravity 的行为差异是部署系统的一部分）。

7.3 工程知识层

• Docker 沙箱 + 每任务资源限额 + 超时策略（TheoPhys 的 2 vCPU/4GB/8h）；浏览器自动化探针做结构化检查（OmniDR 的 M 类判据）；计费网关与 token 记账（ERB 的三钱包分离）。
• 多模态证据管线：视频窗口化并行阅读、六条隔离检索路线、冲突保留式合并（OmniDR ARC 的 S1）。

7.4 知识融合的关键节点

1. 「审计」概念的三重融合（OmniDR）：把财务审计的独立取证（隔离采集）、软件工程的确定性测试（浏览器探针）、心理测量的效度校验（R1<R2<R3）融合成单一构建流程——单独任何一项都不足以让开放式报告可评。
2. 「评估即研究」的抽象跃迁（ERB）：把 tinyBenchmarks 式的子集选择、AutoBencher 式的题目生成、AlphaEvolve 式的预算迭代三者识别为同一研究问题的碎片，然后用「冻结工件 + 独立评估」的物证式考核把它们缝合。
3. 「对照实验思维」移植到基准设计（TheoPhys）：意识到「禁不禁网」本身就是一个可操纵的变量，于是让同一个基准同时充当能力测验与归因实验——出题专家的领域品味（保证题难且真）+ 实验设计素养（保证差分可解释）缺一不可。

八、论文中可以提取的通用性灵感

8.1 「产出可信度」要拆成可独立度量的原子，而不是一个总分

• 核心思想：复杂产出的可信度是多维的（覆盖、忠实、支持、呈现），混在一个总分里会让「表面质量」掩盖「实质缺陷」。
• 论文证据：OmniDR 中呈现 81.8 分与内容 45.4 分的 36 分落差，只有拆维度后才可见；源数量 98.0% vs 声明支持 23.9% 的断层只有拆方向后才可诊断。
• 推广场景：代码生成（编译通过率 vs 需求满足率 vs 边界处理）；医疗 AI 报告（格式规范 vs 诊断依据链）；法律文书检索（条文找到 vs 论证支持）；教育批改（结构完整 vs 论证有效）；自动化科研（实验跑通 vs 结论被数据支持）。

8.2 用「信息获取量梯度」给评分器做行为校准

• 核心思想：一个评分器如果测的是真能力，就应该对被评者的信息/工具获取量单调敏感——可以据此在构造期淘汰迟钝的评分任务。
• 论文证据：ARC 要求 R1（仅视频）< R2（全工具）< R3（事实库辅助）且 R3−R1>20%，50 个任务全部通过后才入集。
• 推广场景：面试题设计（ progressively给提示看分数是否抬升）；安全评测（攻击工具升级时防护分是否下降）；课程测评（开卷/闭卷差分检验题目考的是记忆还是推理）；模型蒸馏评估（教师信息注入量梯度）；prompt 工程评测（上下文补充量梯度）。

8.3 「会做题≠会出题」——把元任务本身设为考核对象

• 核心思想：设计评估是一种与被评估能力正交的元能力，可以用「冻结工件 + 独立评估 + 密封对照」的协议单独度量。
• 论文证据：ERB 中 9 个前沿 researcher 无一全面领先，最佳 PA 75% 远低于 91.2% 上限；Random120 这个无迭代 baseline 在 PA 上只被 4/8 超过；外部 BenchBench 给出设计-答题相关仅 ρ≈0.37。
• 推广场景：教师考核（出题能力单独评）；红队考核（构造攻击用例的能力）；产品经理考核（写验收标准的能力）；科研训练（「提出好问题」与「解决问题」分开培养）；自进化系统的安全审查（自我评估模块必须与执行模块分开验证）。

8.4 「检索到」与「用起来」是两种能力，训练与评测都要分开对待

• 核心思想：证据获取与证据整合之间存在漏斗，仅度量获取量会系统性高估 agent。
• 论文证据：OmniDR 的 L1 通过率 8.7% 对 L0 的 79.9%；多模态检索消融中内容 +5.2 被引用 −5.3 对冲；长轨迹案例（549 步、31.6M token 仅 63.1 分）显示「研究做得多」≠「证据进报告」。
• 推广场景：RAG 系统优化（检索指标与引用忠实度分开优化）；情报分析（采集与研判的分工）；学术写作训练（文献综述的「综」与「述」）；企业知识管理（收藏≠应用）；司法证据链（调取与采信分离）。

8.5 受控差分是能力归因的最强工具：让环境变量成为实验变量

• 核心思想：在基准里内置一个可开关的环境变量（联网/断网），可以把「能力来源」从「能力水平」中分离出来。
• 论文证据：TheoPhys 断网后 Astra 98→92、Opus 92→92，多数题目需要文献公式 →「文献已被记忆」的结论比任何单项分数都更有解释力。
• 推广场景：工具增强 agent 评测（开/关工具测内生能力）；多模态模型（遮蔽模态测跨模态依赖）； copilot 产品（有无 AI 辅助的人机对照）；安全评测（有无系统提示防御）；教育（开卷断网检验理解 vs 记忆）。

8.6 评测协议要为「不可作弊」预先设计，而不是事后打补丁

• 核心思想：预算记账分离、密封测试组、冻结工件、答案不可猜——反博弈设计应当是协议的一等公民。
• 论文证据：ERB 的三钱包 + 密封候选/目标 + ≥100 题契约；TheoPhys 的答案数值化到「给出无关量数值」的程度；OmniDR 的「被评报告绝不进入 ARC 证据采集」的隔离铁律。
• 推广场景：竞赛防作弊（出题人与参赛者信息隔离）；在线考试（题库分层密封）；企业晋升评审（评审者不知被评者身份）；众包标注质量控制（金标准题混入）；金融市场（信息隔离墙）。

附录：三篇论文的关键数字速查