研究 Agent 与 Agent 系统级评测四重奏：元推理、科学验证、极限压测与工程判格 精读

论文一：Learning What to Investigate Next: Meta-Reasoning for Long-Horizon Research Agents（MIRA） 论文链接：https://arxiv.org/abs/2610.02525 发表时间：2026年10月 机构：Meta AI（主导）+ 哥伦比亚大学 + 特拉维夫大学——产学研合作，第一作者 Samanta 为哥大学生、工作完成于 Meta，Meta 为主要完成地 领域标签：cs.AI / cs.LG（自主科研 Agent、长时程强化学习）

论文二：MOF-VERIFY: A Failure-Aware Agentic Harness for MOF Hypothesis Verification 论文链接：https://arxiv.org/abs/2610.03056 代码仓库：https://github.com/IMMS-Ewha/MOF-Verify-Benchmark 发表时间：2026年10月 机构：梨花女子大学 IMMS 多尺度物质与系统研究所 + Lymeric 公司（首尔）——韩国产学研合作，高校出基准与领域专家知识，企业出工程实现 领域标签：材料 AI / 科学 Agent（MOF 假说验证）

论文三：HyperBrowseComp: A Multilingual and Multimodal Stress Test for Web-Browsing Agents 论文链接：https://arxiv.org/abs/2610.03574 项目主页：https://HyperBrowseComp.github.io/ 发表时间：2026年10月 机构：MBZUAI（第一机构、14 位作者含一作 Aji）+ Mila + Inception AI + Alibaba Group + AI Singapore——产学研多机构合作，MBZUAI 主导 领域标签：Web Agent / 基准（多语言多模态检索压测）

论文四：SimuVerity: Benchmarking Agents for Engineering-Grade Simulink Model Generation 论文链接：https://arxiv.org/abs/2610.02304 代码仓库：https://github.com/SimuVerity/SimuVerity 发表时间：2026年10月 机构：西安交通大学（单一高校，12 位作者，两位共同一作、两位通讯）——纯高校工作，无企业合作 领域标签：cs.SE / Agent 评测（工程级模型生成）

一、论文背景：当 Agent 开始做科研、做工程，评测对象变了

过去两年，LLM Agent 的故事从"能调用工具"快速演进为"能完成完整工作流"：OpenAI 的 Deep Research 可以自主浏览数十个网站综合出一份报告，Sakana AI 的 AI Scientist 已经端到端生成出通过 ICLR 研讨会盲审的论文，Google DeepMind 的 AI co-scientist 在 Nature 上报告了多个经湿实验验证的假说。Agent 的输出物不再是"一段文字"，而是"一个研究决策、一份科学裁决、一条证据链、一个可执行的工程模型"。

这带来两个连锁问题：

第一，Agent 本身变"长"了。 一个自主科研 Agent 一次战役要跑几十个小时，中间做几十次"下一步研究什么"的决策。这些决策在漫长的执行轨迹里极其稀疏——做对一次方向选择的价值可能要过五次实验才能显现。如何让 Agent 学会"研究分配"（research allocation），是长时程自主科研的核心难题。

第二，评测对象从"模型"变成了"系统"。 一旦 Agent 的能力由"底座模型 + 检索工具 + 执行 harness + 裁决路由"共同决定，传统的"出题打分"式基准就开始失真：同一个模型换个检索器分数能差 9 个百分点；一个能编译能执行的工程模型可能在物理上完全错误；一个 RAG 增强的科学问答系统可能因为检索到相互冲突的证据而比不用检索时更不可靠。“系统级评测"需要新的方法论：诊断失败发生在链路的哪一环、判分要判到"是否满足工程需求"这一层、压测要压到"参数记忆够不着"的难度。

本篇精读的四篇论文恰好构成这四个互补切面：

四篇的机构光谱也值得注意：MIRA（Meta 主导）、MOF-VERIFY（梨花女大+Lymeric）、HyperBrowseComp（MBZUAI+Inception/Alibaba）均为产学研合作，SimuVerity 是纯高校工作——研究 Agent 与系统级评测已不是大厂专属，但需要重资源（算力、领域专家、母语标注员）的基准类工作仍集中在有产业支撑的团队。

二、论文定位和关联工作：四条谱系里的坐标

2.1 自主科研 Agent 谱系：从"流程自动化"到"决策可训练"

• The AI Scientist（Sakana AI + 牛津 + UBC，2026 年 3 月登 Nature）：端到端完成 idea 生成、实验、写作、自评审，v2 引入 template-free 模式与 agentic tree search。它证明了"AI 做完整个科研流程"可行，但其研究分配策略是隐式嵌在长轨迹生成里的，无法单独优化。
• Agent Laboratory（AMD + JHU，arXiv:2501.04227）：用 PhD/Postdoc/ML Engineer/Professor 等角色代理分工完成文献综述、实验、报告，o1-preview 驱动效果最好，成本降 84%。同样是"流程编排"，不训练决策本身。
• Google AI co-scientist（DeepMind，Nature 2026）：Generate-Debate-Evolve 多智能体循环产出假说，靠模拟同行评审做排序改进。分配决策由启发式 tournament 承担。
• MLE-bench / MLAgentBench / ScienceAgentBench：为这类系统提供端到端评测，但只测最终结果，不测"研究分配质量"。

MIRA 的定位：它是这一谱系里第一篇把"研究分配决策"显式化为动作单元并成功施加策略梯度训练的工作——不问"流程能不能自动跑"，问"分配决策能不能被学习"。

2.2 科学验证 harness 谱系：从"能力评测"到"失败定位"

• ChemCrow / Coscientist（2023-2024）：给 LLM 装化学工具执行任务，验证"工具增强可行"。
• MOF 领域前期工作：ChatGPT 文献挖掘（Zheng et al. 2023）、ChatMOF、MOF-ChemUnity、SimMOF、Mind 等，覆盖信息抽取、合成规划、仿真自动化。
• 既有 MOF 基准（Bai et al. 2024、An et al. 2023、Kang & Kim 2024）：评测知识与工具使用，但"只看终局得分，不追问错误裁决发生在哪一环"。

MOF-VERIFY 的定位：诊断先行的 benchmark + 对症 harness。它的 T-MOF-1~4 用"3×3 证据访问矩阵 + 任务级失败归因"把端到端准确率拆解成链路级病因，再按病因逐模块施工。

2.3 浏览基准谱系：从"英语单语"到"原生多语言多模态"

• BrowseComp（OpenAI 2025.04）：1,266 道"难找易验证"题，GPT-4o 直接推理 0.6%、带浏览 1.9%、Deep Research 51.5%——确立了"持久寻证"这一评测维度，但英语中心、纯文本、且面临参数知识侵蚀。
• 语言扩展：BrowseComp-ZH、K-BrowseComp 各自单语；XBCP 用 12 种语言但靠翻译构造（题目仍基于英语语料）。
• 多模态扩展：MM-BrowseComp、BrowseComp-V3 单语多模态；MERRIN 覆盖视频音频噪声证据。
• 受控变体：BrowseComp-Plus 用固定语料+人工核验文档，SealQA 研究噪声检索。

HyperBrowseComp 的定位：唯一同时做到"13 语原生撰写 + 多模态 + 开放网络"的极限压测基准——难度不靠翻译腔，而靠各语言生态内部的冷僻可验证证据。

2.4 工程生成基准谱系：从"能编译"到"满足工程需求"

• SLGPT（2021）：Simulink 文件生成与工具链错误发现；SimuGen（2025）：图到模型重构+基本执行检查；ASWE-Bench（2026）：汽车控制逻辑的边界与时序测试（限单域）；SimuBench（Liang & Zhao 2026，arXiv:2601.05187）：5,300 项多域 text-to-model 任务，判据是完整性、可执行性与参考结构相似度。
• 相邻域：VerilogEval/RTLLM（RTL 代码功能正确性）、ModiGen（Modelica 仿真成功与模型质量）、MUSE/CADEngBench（CAD 可制造性）。

SimuVerity 的定位：第一个把判分标准推到"需求锚定的六维工程性能"的 Simulink 基准，并且用实验证明"参考结构相似度"恰恰是不可靠的代理指标。

2.5 定位总表

三、问题定义：四篇各自把什么抽象成了"本质问题"

3.1 MIRA：研究分配 ≈ 半马尔可夫决策过程里的显式动作

具体问题：长时程科研中 Agent 要决定验证哪个假设、何时放弃一个方向、何时停止，这些决策稀疏且后果延迟。

核心洞察：如果把"一次调查"（不管内部执行多长）压缩为元推理层面的一个转移 ξt = (ot, at, rt, ot+1, dt)，那么"决定研究什么"与"执行研究"就天然解耦——这正是经典分层强化学习里 options 框架的半 MDP 结构：高层策略选 option（工作单），低层执行（Codex harness），学习边界放在 option 边界上。

形式化：给定持久研究状态 Ht（Git 仓库：代码+测试+证据+移交记录），固定策展函数构造观测 ot = C(Ht)，策略采样完整决策响应 at（推理文本 + 工作单或终止决策），执行器完成调查并更新 Ht+1。求：最大化期望剩余研究回报 V^π(ot) = E[Gt|ot] 的策略。proxy 反馈定义为"现任最优"的增量改进（望远镜式可加），gold 反馈只在最终提交后出现。

精妙之处：信用分配的信噪比问题被结构性地解决——训练信号只需要覆盖决策响应的 token（占输出 token 的 25.8%），漫长的执行轨迹（工具调用、实验、失败重试）全部属于"环境转移"，不污染梯度。

3.2 MOF-VERIFY：验证失败 ≈ 链路环节的可定位病因

具体问题：MOF 假说验证涉及身份锚定、合成条件检索、证据充分性判断、必要时计算验证，端到端准确率无法区分错误来源。

核心洞察：把证据访问分档（closed-book / RAG / oracle），用两个差值做"病理切片"：

• Δaccess = F1(RAG) − F1(closed)：外部证据能补多少参数知识缺口
• Δretrieval = F1(oracle) − F1(RAG)：给了就有用、但检索拿不稳的部分

形式化：给定假说 h，输出 Yes/No/Uncertain（T-MOF-4 另有 Re-run/Human-review）。三任务族 × 三证据档构成 3×3 诊断矩阵，再对错误预测做任务级归因（Rstruct/Rsynth/Revidence/Rover）。求：既能定位失败环节、又能对症修复的 harness。

精妙之处：诊断与治疗共享一套分类学——六类失败（身份、结构、文献、充分性、路由、计算）一一对应六个 harness 模块，“开药"不需要发明新概念。

3.3 HyperBrowseComp：难度 ≈ 证据的"发现与连接”，而非题意解读

具体问题：现有基准要么被参数知识侵蚀（trivia 化），要么靠翻译丢失语言生态特性，要么单语单模态。

核心洞察：沿用 BrowseComp 的"非对称验证"设计（难找易答），但把题目构造交给各语言母语者从各自语言生态的冷僻可验证证据反向撰写——单一简短答案保证"难度不在解读题意"，母语原生保证"语言特定术语、文化参照、搜索行为不被翻译抹平"，再用 7 个无网模型筛查剔除参数知识可答的题。

形式化：给定 13 语 423 题（每题单答案+证据路由+指纹消歧约束），测各"模型×检索 harness"组合的准确率、成本与共同失败率。求：能区分"发现证据能力"与"记忆能力"、且对 harness 变化敏感的可审计测量。

精妙之处：把"harness 敏感性"从评测的干扰项变成了评测对象本身——同一模型换检索器的一升一降，正是系统级评测要捕捉的信息。

3.4 SimuVerity：工程合格性 ≈ 门控下的多维几何平均

具体问题：生成的 Simulink 模型能编译、能执行、长得像参考模型，就等于满足工程需求吗？

核心洞察：判分必须锚定在需求而非参考实现上——每个任务由领域专家构建"可执行系统档案"（系统边界、接口、机理、工况、动力学），据此派生工程 prompt 与任务特定仿真场景；结构相似度既会漏判"结构迥异但工程达标"（valid diversity），也会误判"结构相似但工程失效"（deceptive similarity）。

形式化：候选模型 x 在任务 t 上的评值为 (rdel, rexe, rG, v)——三道门（交付、原生可执行、工程资质）通过后，六维分数 A/Q/M/C/R/D 按任务特定权重取加权几何平均：St(x) = Γt(rdel, rexe, rG) × Πd(vd)^wt,d。几何平均保证任一维短板不能被其他维高分补偿。

精妙之处：门控结构本身就携带诊断信息——“76.90% 通过工程资质门 vs 42.86 总分"直接量化了"可交付可执行但不构成合格工程实现"的断层。

四、问题解法：四个系统的机制拆解

4.1 MIRA / MIRA-AC：把研究决策变成可训练的动作单元

架构（类比：options 框架的 LLM 化）：

工作循环：每次决策，外层从 Git 仓库策展证据（策展不是动作，属于观测构造），输出完整决策响应 at；若是工作单，一个全新上下文的 Codex 执行器完成调查、提交 handover 写回仓库；随后构造下一个观测。无论执行多长，元推理层只记一个转移。

决策级生成式 critic：用 LM 原生 next-token 分布对支撑集 {0.0, 0.1, …, 1.0}（proxy）或 {0,1}（gold-binary）重归一化，期望即 Vϕ(ot)——一次决策一个预测点，与控制单元对齐，而不是对生成中的每个 token 前缀各估一次。训练目标是对蒙特卡洛回报做两点投影后的 KL。

MIRA-AC 共享 actor-critic：一个模型两种模式（actor 出决策、critic 出价值），从 critic 预训练检查点初始化。关键设计：

1. 决策级优势传播：每个决策响应拿一个优势 Ât，actor 损失只施加在该响应的全部 token 上（GAE，γ=1）；prompt、观测、执行器生成、工具调用全部 mask。
2. 跨版本桥接：异步采样允许同一 episode 的不同决策用不同 critic 版本，用 Bt 桥项对齐基线而不动蒙特卡洛目标。
3. 缓冲式单 rollout 异步优化：完成的 episode 持续进入独立的 actor/critic 缓冲，触发各自更新，同事务内先 critic 后 actor、原子发布——适配调查时长高度异构的现实。
4. 跨环境价值预训练（LOO）：留一环境外出训练 critic，证明"部分研究观测的预测结构"跨环境可迁移，并以此初始化可泛化的元推理策略。

4.2 MOF-VERIFY：诊断先行，确定性模块对症

第一步：T-MOF-1~4 诊断基准（1,270 项，50% 对抗控制）：

第二步：六个对症模块：

• IR 身份解析：名称/别名 → 规范身份 + CSD 锚点，查版本化对照表；LLM 只能提候选、必须查表确认，否则返回"未解析”——幻觉身份进不了证据束。
• SE 结构证据：确定性查表到可信 CIF，摘要校验，实验结构优先于计算结构（QMOF 条目不会被当成沉积结构）。IR+SE 完全不调用模型。
• LE 文献证据：DOI → 预存文档先验摘要校验（文件缺失/被改即拒绝、无模型调用）→ 零温单遍结构化抽取；LLM 的任务被降格为"从已验证文档填充结构化记录"而非"裁决科学论断"；正文/表格/图冲突时报告分歧而非静默选一个。
• ES 证据充分性：按可追溯性、相互印证、材料 grounding 评质量，显式标记冲突、缺条件、证据缺口。
• CE 计算证据：SevenNet MLIP 按固定 spec 执行弛豫，记录计算器与输入指纹，裁决由类型化计算结果确定性导出。
• VR 判决路由：确定性决策门序列——来源被识别、溯源完整、可信源无未解矛盾、计算证据有效，四者齐备才出 Yes/No，否则弃权 Uncertain。LLM 可以提供论据与置信度，但不直接选择最终标签。

4.3 HyperBrowseComp：构造"参数记忆够不着"的极限题

构造管线（每题）：

1. 母语/近母语标注员从一个公开可验证答案+证据出发反向构造题目，提交答案、可接受别名、URL、精确证据位置（引文/页码/表格/视频时间戳/音频区间/地图位置）、解题主线（不假定是唯一路径）。
2. 第二标注员独立校验：题意可解读、答案唯一、证据可达、时间敏感措辞有界、不存在满足约束的其他实体。
3. 无网筛查：7 个无网模型（含 MiniMax-M2、DeepSeek-V3.2 等）作答 500 道候选题，删除 ≥2 模型答对的 54 题 + 单模型答对但答案高度特定（LLM 判别+人工确认）的 23 题，余 423 题。
4. 发布防污染：数据以编码形式发布、附解码密钥，抬高自动爬取管线误吞的概率成本。

评测协议：三种 harness 对照——provider 内置搜索（ReAct，25 步上限）、Exa 外部检索（ReAct + web_fetch）、OWL 多智能体 workforce（CAMEL：任务管理/协调/网页/多模态/综合专家，2,400 秒墙钟、50 次外部工具调用、250 次模型调用预算）。LLM judge 二元判分（自判与 3 个外部 judge 一致率 >98.7%、聚合精度差 ≤0.80pp），终端运行失败计错。

4.4 SimuVerity：需求锚定的分层判分器

构造（每任务）：领域专家为参考系统构建可执行系统档案（系统边界、I/O 接口与单位、机理与控制路径、运行范围、动力学与时间常数）→ 据档案撰写工程 prompt（对 agent 公开）与四族任务特定原生仿真场景（对 agent 保密）：

评估链：三道门（交付 .slx → 原生加载/更新/编译/仿真 → 工程资质 G：必备功能角色在场、信号路径连通、按输出约定产出有效证据）→ 门内六维打分：每个场景下观测的工程量经任务特定效用函数 φ 归一化（多对多映射到维度），维度内聚合，任务总分 = Γ × 六维加权几何平均（必要时用最坏条件聚合防"易条件高分掩盖临界失效"）。

效度与稳健性：两位领域专家盲评 30 个候选（加权 κ=0.90，评估器-专家 Spearman ρ=0.94，与专家间一致性 ρ=0.87 相当）；每任务-系统 3 次独立运行取均值，任务级 95% CI；换算术平均/等权几何/最小值聚合，Kendall τ 0.87–1.00，排序稳健。环境隔离：MATLAB 示例目录、参考模型、评分脚本对 agent 不可见，出网被禁，全部轨迹检索无越权访问。

五、评估指标与实验证据

5.1 MIRA：决策级训练全面抬升 gold 结果

主指标：环境特定 gold 成绩（Solved/Wins）、定理证明归一化得分、价值预测 RMSE（越低越好）。

未训练 MIRA 的编排收益（同一 GPT-5.5 + Codex harness 对照）：

Qwen3.6-27B 上 MIRA 让定理证明分翻倍以上；Loop Transformer 战役中 MIRA（GPT-6 Astra）自行提出 signed attention + leaky recurrent update，NLL 低于 Codex 与参考实现。

价值预测（RMSE）：决策级生成式 critic 0.214 < 决策级分类 0.222 < 决策级回归 0.248 < token 回归 0.290 < token 生成式 0.324——决策级比 token 级绝对降 0.110；LOO 跨环境预训练在 5 个目标支持 episode 后较 target-only 再降 0.053，零样本预测也全面占优。

策略学习（4 环境 gold 主指标，消融阶梯）：

注意 BNLearn 在跨环境版本中未参与 actor 训练（只进 critic 预训练），84 分证明元推理策略跨环境迁移。

行为层面（400 对匹配轨迹 LLM judge，隐藏身份）：60.8% 有效判定偏向 MIRA-AC 的研究决策贡献；行为标签上，有效风险探索 +17.8pp、区分性实验 +11.3pp、机制修正 +9.3pp、校准停止 +6.0pp，局部搜索停滞 −14.8pp。成本侧：MIRA-AC 每 episode 平均 10.6M 输入 token，低于全量回放与 200k 自动压缩两种投影。

5.2 MOF-VERIFY：诊断率与对症修复的双重验证

主指标：三类 Macro-F1（Yes/No/Uncertain 等权）。

诊断发现（10 个 backbone × 三档）：

• T-MOF-1–3 平均：Closed 31.02 / RAG 54.66 / Oracle 67.26——证据访问与检索质量都是大瓶颈，但病因分任务而异：T-MOF-1 的 Δaccess=47.78、Δretrieval=17.50（结构 grounding 双重受限）；T-MOF-2 Δaccess=30.24 但 Δretrieval 仅 8.44（给了文献就能读）；T-MOF-3 的 Δaccess=−7.10——朴素 RAG 检索到冲突/条件依赖证据时反而降分，Oracle 也只到 61.04。
• 任务级归因：错误预测中 Rstruct 94.87%、Rsynth 93.77%、Revidence 64.66% 可归因到预定义病因；gold-Uncertain 被强行二判的比例 Rover 高达 81.18%——过度承诺是普遍病。且三档证据访问下诊断率均高（82.47/81.40/87.00%），“改善证据获取"本身治不了这些病。

对症修复：

5.3 HyperBrowseComp：最强 31.68%，过半题目全军覆没

主指标：423 题准确率（终端失败计错）。

共同失败：244/423（57.68%）五模型无一答对；仅 21 题全部答对；49 题恰好一模型答对（共享失败与互补成功并存）。分层看：德语 73.7%、印尼语 69.2% 共同失败最高，越南语 32.0% 最低；模态上图表 75.0%、图像 74.4% 失败最集中。

人类对照（30 题，母语者、禁 LLM、1 小时可弃权）：15/30 正确（均值 89.5 分钟/题），与 Gemini 3.7 Flash 同子集 13/30 总体相当，但重叠仅 8 题——人强于印尼语、弱于泰语，与模型的难易分布不同向。

5.4 SimuVerity：42.86 对 96.01 的断层

主指标：总分（门控×几何平均，3 次运行均值）与三门通过率。

全体系统平均三门 84.43%/68.65%/47.85%——“交付≠执行≠合格"逐级衰减。六维端到端平均：Q 38.46 最高，R 27.69 / D 27.82 垫底（工况鲁棒性与动态恢复是共性短板）。统计分层 {Opus, GPT-5.5} > {DeepSeek, Qwen3.8-Max} > GLM > Qwen3.8-27B（相邻层 p≤0.012，层内不显著）。

关键消融与结构分析：

• 工具消融（10 个跨域强任务，Opus 4.8）：Full MCP 78.46 → 去仿真自检（保建模/查询/编译）7.88（G 门 100%→13.33%，p=0.002）→ Batch-only 18.23——agent 的工程能力高度寄生在"仿真反馈闭环"上。
• 结构相似度不可靠：Opus Run 1 的 95 个交付候选中，Reference-Aligned 39 个 end-to-end 均分 52.13 但含 7 个 0 分（XMECH-10 串联机械臂拓扑可辨却全维归零——deceptive similarity）；Structurally Distinct 13 个 post-G 均分反最高（61.20），含 85.10/80.07 的高分有效多样样本（valid diversity）。
• 布局与功能解耦：≥70 分的 31 个候选中 8 个严重布局混乱；仅重排块位置与走线（实现不变）即可将块重叠清零、线交叉密度降 22.7–85.1%（如 295.6→70.8/百段）——高分不等于可读，可视化质量是独立维度。

六、效果优势的根源解释

6.1 根源机制与证据链

MIRA：决策边界 → 信用分配信噪比

1. baseline（GPT-5.5 直接推理 / Codex 持久会话）曾经有效是因为长上下文能携带证据，但证据累积超出上下文窗口后，方向选择退化为惯性重复（inertia 0.958≈几乎不换方向）。【论文实验已支持】
2. MIRA 的结构性改变不是"更好的 prompt”，而是把学习边界放到决策处：策略梯度只施加于决策响应 token（25.8%），执行噪声全部归入环境转移——梯度信号被稀释的问题从机制上消失。【论文实验已支持：消融阶梯中 token 回归在各监督档均弱于决策级】
3. 因果链：决策边界压缩长轨迹 → 每个决策一个优势、critic 与策略同观测单点估值 → 信用分配信噪比提高 → RMSE 降 0.110、gold 成绩普涨；共享参数使 critic 损失直接训练策略的表征（识别"预示未来进展的证据”）。【论文实验已支持；“表征共享"的具体贡献在 BNLearn 上 Step regression 反超 AC，说明该机制并非在所有环境占优——论文自认】
4. 策展上下文限制输入（10.6M/episode，低于两种回放投影）→ 同预算下探索更多方向 → inertia 0.772。【论文实验已支持】
5. 阅读者推测：proxy 与 gold 排序不完全一致时（论文自述局限），决策级训练的收益依赖 proxy 的排名质量——这是该机制在真实科研（gold 极贵）中的适用边界。

MOF-VERIFY：确定性替换 + 弃权路由

1. baseline（RAG）的局限在机制上有两层：检索层拿不稳结构证据（T-MOF-1 Δretrieval 17.50），推理层对冲突证据过度承诺（Rover 81.18%）。改善证据访问治不了第二层（三档诊断率均 >81%）。【论文实验已支持】
2. MOF-VERIFY 的根本改变是把最易幻觉的两个环节从概率判断换成确定性过程：身份/结构 grounding 用查表+摘要校验（78.31，距 Oracle 1.15）；裁决用确定性路由（证据不齐即 Uncertain）。【论文实验已支持】
3. T-MOF-3 超 Oracle 证明：瓶颈在弃权决策而非证据本身——oracle 设定下模型仍被要求独立判断"证据够不够”，而 VR 的显式冲突/缺口标记把这一判断外化成了规则。【论文实验已支持】
4. CE 用可执行计算替代参数记忆裁决计算型假说（5.74→56.97）。T-MOF-2 无提升恰因精抽取仍是 LLM 环节——对症修复的边界即诊断的边界。【论文实验已支持】

HyperBrowseComp：难度锚定在"发现"而非"记忆/解读"

1. 母语者反向撰写 + 无网多模型筛查 → 参数知识可答的题被系统性剔除 → 难度落在发现与连接证据。【论文实验已支持：最强仅 31.68%、57.68% 共同失败，区分度远未饱和】
2. 模型-检索生态强耦合的机制解释：Gemini 与 Google/YouTube 原生搜索共适应，换 Exa 即 −7~−9pp；GPT-5.6 Sol 无自家检索栈、反而受益于通用检索器 +7.56pp。OWL 的 93 次终端失败暴露工具调用稳定性是多智能体 harness 的独立失败源。【论文数据已支持；“共适应"的具体机制（训练数据含搜索轨迹？工具协议耦合？）论文未拆解，属开放问题】
3. 阅读者推测：语言间失败率差异（德语 73.7% vs 越南语 32.0%）可能混合了"语言生态证据密度"与"模型训练语料覆盖"两个因子，论文只做了描述性归因。

SimuVerity：判分锚点从结构移到需求

1. 结构相似度基准的机制缺陷：把一个参考实现当标准，既惩罚有效异构（SD 组 post-G 61.20 最高），又放过"形似神不似”（RA 组 7 个 0 分含 2 个过 G 门）。【论文实验已支持】
2. 需求锚定 + 门控几何平均的因果链：每个工程量经任务特定效用函数归一化并多对多映射到六维 → 单维短板不可被补偿 → “76.90% G 门 vs 42.86 总分"的断层可被直接量化。【论文实验已支持】
3. 去仿真自检即崩（78.46→7.88）说明当前 agent 的工程实现在机制上依赖"运行-观察-修正"闭环，一旦失去仿真反馈，其静态推理产出的模型几乎全部不合格——这同时解释了 R/D 两维最低：鲁棒性与动态恢复恰恰最需要多轮仿真迭代才能验证与修正。【前半论文实验已支持；后半为阅读者的机制推测】

6.2 相关工作检索与对照

6.3 综合判断与未决问题

多研究共同支持的机制：

1. 决策/边界级信用分配优于平坦 token 级——MIRA 的消融阶梯与 HiPER 的 HAE、过程奖励文献在三个不同任务族上一致。
2. 模型自判弃权不可靠、系统级弃权路由有效——MOF-VERIFY 的 VR 与 AgentAbstain、ECE 从"建设"与"测量"两端汇合。
3. 评测对象必须是"模型×harness"配置——HyperBrowseComp 与 Finding the Right Fit/Agent Evaluation Reliability 在浏览与编码两个场景独立证实，且量化了反转幅度。
4. 可执行/相似 ≠ 合格——SimuVerity 的 deceptive similarity 案例与 SimuBench 的判据差异直接对撞，后者提示该结论在"把相似度当训练奖励"时需重新审视。

仍属推测的机制：MIRA 共享 actor-critic 的表征增益为何在 BNLearn 上不占优；Gemini-原生检索共适应的具体来源；SimuVerity 中 R/D 两维最低与"仿真迭代依赖"的因果方向（也可能仅因鲁棒性本身更难）。

适用条件与失效条件：MIRA 需要"研究可分解为有意义的决策边界”（论文自认对连续演化的研究形态存疑）且 proxy 与 gold 排序大体一致；MOF-VERIFY 的确定性模块依赖领域有可信数据库（CSD）与固定计算 spec，开放域无表可查时退化为 LE 式抽取；HyperBrowseComp 的开放网络引入时变性（论文保留全部 trace 以供审计）；SimuVerity 依赖领域专家构造档案与场景（101 任务已是重人力），且原生仿真评估慢——四篇各自标注了自己的边界，这是系统级评测走向成熟的标志。

七、必要知识反推：做这四项研究最少要知道什么

7.1 领域知识层

• 科研工作流的本体（MIRA）：知道"研究=决策×执行"的可分解性、handover/证据/现任最优这些科研协作原语，才能设计 Git 底座与工作单接口——不懂科研实践就无法定义决策边界。
• MOF 化学与数据基础设施（MOF-VERIFY）：CSD refcode 体系、合成条件六要素（温度/时间/溶剂/调节剂/金属源/连接体源）、MLIP 弛豫的收敛语义（fmax、步数预算、单相判定）——没有这些就无法构造"真实且对抗"的诱饵与扰动。
• 各语言的网络生态（HyperBrowseComp）：13 语母语标注员的招募、验证与共同作者化流程——语言特定的术语、文化参照、可检索性差异是题目难度的原材料。
• 十类工程系统的机理（SimuVerity）：电力电子、电池、热力、流体……每域的边界工况、故障注入方式、时间常数——领域专家是基准的"第一作者"。

7.2 方法论知识层

• 分层 RL / options / 半 MDP（MIRA）：时间抽象、GAE、异步 actor-critic 的版本桥接——决策级形式化直接站在 Sutton options 框架上。
• 诊断实验设计（MOF-VERIFY）：控制变量分档（三档证据访问）+ 差分指标（Δaccess/Δretrieval）+ 任务级归因——这是"基准即实验"的方法论内核。
• 基准防污染工程（HyperBrowseComp）：无网多模型筛查、答案特定性判别、编码发布——对抗参数记忆侵蚀的标准兵器库。
• 心理测量式的效度验证（SimuVerity）：评估器-专家秩相关、评分者间 κ、聚合规则敏感性、三层统计检验——把"判分器本身可信"当作待证命题。

7.3 工程知识层

• Codex harness 集成与版本化行为概率记录（MIRA 异步训练的基础设施）；
• 摘要/哈希校验、零温单遍抽取、类型化证据束（MOF-VERIFY 的可追溯工程）;
• ReAct 循环、CAMEL workforce 编排、judge 敏感度分析（HyperBrowseComp）;
• MATLAB MCP 工具链、环境隔离与轨迹审计（SimuVerity）。

7.4 知识融合的关键节点

1. MIRA 的创造性节点是把 RL 的"学习边界"概念与科研管理的"工作单"制度焊接——一个纯方法概念 × 一个组织行为学实践 = 决策级转移。
2. MOF-VERIFY 的创造性节点是让诊断分类学与 harness 模块一一对应（六失败 ↔ 六模块），“测"与"治"共享一套词汇。
3. HyperBrowseComp 的创造性节点是把"语言生态差异"从评测噪声转换为难度资源——翻译会抹平的东西恰恰是要保留的东西。
4. SimuVerity 的创造性节点是用"可执行系统档案"做需求与场景的共同祖先，使 prompt（公开）与判分（保密）可证明地指向同一工程语义。

八、论文中可以提取的通用性灵感

灵感一：把"稀疏的高层决策"显式化为动作单元，是长时程学习的通用杠杆

• 核心思想：任何"决策稀疏、执行漫长、后果延迟"的任务（科研、运维、战略、诊疗），都可以通过定义决策边界把信用分配问题从"万里挑一"降为"逐点归因”。
• 论文证据：MIRA 决策 token 仅占 25.8% 却承载全部 actor 损失，RMSE 较 token 级降 0.110，四环境 gold 普涨；HiPER 在 ALFWorld/WebShop 独立复证。
• 推广场景：① 安全运维中"何时升级事件"的决策训练；② 临床"是否换治疗方案"的元决策建模；③ 投研中"是否放弃一个论点"的分配学习；④ 编译器自动调参中 pass 序列的高层选择；⑤ 教育Agent 的"下一步教什么"策略。

灵感二：先诊断、后治疗——用受控差分定位系统病因，再按病因选模块范式

• 核心思想：复合系统的改进不应从"整体换更强的模型"开始，而应先用分档差分实验把失败定位到环节，再决定该环节用 LLM、确定性过程还是弃权路由。
• 论文证据：MOF-VERIFY 用 3×3 矩阵定位三处病因，确定性模块使 T-MOF-1 距 Oracle 仅 1.15、T-MOF-3 反超 Oracle；T-MOF-2 无提升诚实暴露了 LLM 环节的残留。
• 推广场景：① 客服系统的意图识别→检索→生成链路审计；② 风控决策链的"数据缺失/规则冲突/过度自信"分型；③ RAG 系统上线前的 Δaccess/Δretrieval 体检；④ 多 agent 系统的"编排错误 vs 工具失败"归因看板。

灵感三：难度要锚定在"能力构造"上，而不是"知识占有"上

• 核心思想：想让评测活得久，就把难度放在构造能力（发现、连接、验证证据）而非占有性知识（可被参数记忆吞掉的事实）上，并用无网筛查做流程化控制。
• 论文证据：HyperBrowseComp 删除 77 道参数可答题后，最强配置 31.68%、57.68% 全军覆没，区分度远未饱和；对照 BrowseComp 的 trivia 侵蚀问题。
• 推广场景：① 企业内部知识库问答的"防背题"考核设计；② 法律检索系统的真实难度校准；③ 面试/认证考试从记忆题向证据链题迁移；④ 合成数据生成中"可验证但难猜"的约束注入。

灵感四：评测"模型×harness"配置，把敏感性本身当测量对象

• 核心思想：系统级分数属于配置而非模型；报告分数时必须同时报告配置，交叉配置的差值是有信息的信号（生态耦合、工具依赖），不是噪声。
• 论文证据：Gemini 换 Exa −9.46pp、GPT-5.6 Sol +7.56pp；OWL 93 次终端失败暴露工具稳定性失败源；外部文献在编码场景给出同构的排名反转证据。
• 推广场景：① 采购选型时"在你的 harness 里测"；② MLOps 中模型升级的配置回归测试；③ 多智能体框架的"工具调用稳定性"独立指标化；④ 基准报告的配置披露规范。

灵感五：合格性的判分结构——门控 + 多维几何平均 + 需求锚定

• 核心思想：评价复杂产出物时，用"资格门（有没有、能不能跑、是不是真的）× 不可补偿的多维聚合（几何平均/最坏条件）“替代"平均分/相似度”，并把判分锚定在需求规格而非参考实现上。
• 论文证据：SimuVerity 的 76.90% G 门 vs 42.86 总分量化了合格性断层；RA 组 7 个 0 分与 SD 组 85.10 高分双向证伪结构相似度；去仿真自检崩至 7.88 定位能力寄生。
• 推广场景：① 代码评审的"可运行门+安全/性能/可维护性几何平均"；② 设计稿审查的"规格锚定"而非"与样稿相似"；③ 学生项目的"资格门+多维不可补偿"评分；④ 数据管道产出的合格性判定器设计。

灵感六：弃权是一种系统设计，不是一种模型品质

• 核心思想：与其祈求模型"知道自己不知道"，不如把"证据是否足以裁决"外化为确定性路由规则，让 LLM 只负责提供论据不负责下最终标签。
• 论文证据：MOF-VERIFY 的 Rover 诊断（81.18% 的 gold-Uncertain 被强行二判）与 VR 弃权路由（T-MOF-3 超 Oracle）；AgentAbstain 显示模型自判弃权与任务能力独立且均不强。
• 推广场景：① 医疗辅助诊断的"证据齐备才出结论"门；② 司法类文书生成的可裁决性检查；③ 金融投顾的适当时机沉默；④ 任何高风险二元裁决的 UI 层"拒答按钮"设计。

附录：四篇论文的发布与开源状态

一点题外观察：四篇论文都把"论文自己怎么测自己"当成了严肃工程——SimuVerity 验证判分器与专家判断的秩相关，HyperBrowseComp 做 judge 敏感度分析并保留全部轨迹，MOF-VERIFY 报告诊断率的分档稳定性，MIRA 用隐藏身份的 LLM judge 与行为标签交叉验证训练收益。当被测对象升级为系统，测量仪器自身的校准也必须升级——这可能是"系统级评测"区别于传统基准最深的一层含义。