科学能力的三把尺子：物理仿真、气候建模与直觉推理 三论文精读

论文一：WorldSolver: Can LLM Agents Simulate the Physical Dynamics via Solver Generation? 代码仓库：sirujiang/WorldSolver 发表时间：2026年10月 机构：中科院自动化所（NLPR&MAIS）+ 北京大学 + 华为诺亚方舟实验室——产学合作模式，高校主导基准构建，华为诺亚 3 位作者参与

论文二：SciExam for ENSO: Can AI Agents Build Climate Models? 代码仓库：ylzhang2447/SciExam-ENSO-code 发表时间：2026年10月 机构：俄亥俄州立大学 + 耶鲁大学 + UCSD + 斯坦福大学 + 普林斯顿大学——美国五校纯高校合作，无企业参与

论文三：Humanity’s Sixth Sense: Benchmarking Intuitive Visual Reasoning in Multimodal Models 代码/数据：Leaderboard / HSS 数据集 发表时间：2026年10月 机构：ScaleAI（一作 Xingang Guo 等 14 人）+ Elorian（10 人）+ UC Santa Cruz（Chenguang Wang 兼职）——企业主导基准建设，附高校兼职合作

领域标签：cs.AI（三篇均为 Artificial Intelligence）

一、论文背景：当"科学能力"成为智能体的下一个考场

2026 年，LLM 智能体已经能在编程竞赛、数学证明、法律考试里拿到漂亮分数。但一个更根本的问题浮出水面：它们真的能做科学吗？ 这个问题难就难在，“科学能力"不是一个单一技能，而是至少三种不同层面的能力：

第一层是工程实现能力——把一个物理现象（“布料从桌上滑落会堆积成褶皱”）翻译成可运行的仿真代码。这需要同时调用物理理解（该用什么模型）、数学建模（方程怎么离散化）和软件工程（代码怎么写对）三套知识。第二层是开放式的科研建模能力——面对一份没有标准答案的观测数据，从零构建一个能通过统计检验、能做预报的科学模型。第三层是直觉推理能力——人类科学家看一眼实验现象就能"感觉"到什么不对劲，这种零样本的直觉是人类认知的底层设施。

这三层能力恰好对应本精读的三篇论文。它们在 2026 年 10 月上旬同一周发布，像三把尺子从不同角度丈量智能体的科学能力，也给出了三种截然不同的测量方法。

三篇论文的机构背景本身就是一组对照。WorldSolver 是典型的产学合作：中科院自动化所 NLPR&MAIS 主导（一作 Siru Jiang，资深作者包括谭铁牛院士），北京大学参与，华为诺亚方舟实验室 3 位作者加入——中国高校的研究能力加上企业的工程资源。SciExam for ENSO 是纯高校模式：俄亥俄州立、耶鲁、UCSD、斯坦福、普林斯顿五校合作，无任何企业作者，通讯作者 Mengdi Wang、Shilong Liu 来自普林斯顿。HSS 则是企业主导：ScaleAI 出动 14 位作者（一作 Xingang Guo），Elorian 公司 10 人参与，UCSC 的 Chenguang Wang 以兼职身份加入——企业有动力也有资源做大规模人工标注（HSS 消化了 288 张图像 + 17.6 小时视频）。三种组织模式并无高下之分，但各自的资源禀赋直接塑造了基准的形态：企业擅长规模化标注，高校擅长理论深度。

要理解这三篇论文的动机，还需要知道各自领域此前遇到了什么问题。

物理仿真基准的问题：此前评测 LLM 物理能力的基准（如 PhysCodeBench、CFDLLMBench）大多聚焦单一物理域（流体或 CFD），且任务粒度偏小——补全几行数值格式代码、回答物理概念题。但真实的物理仿真求解器是一个整体工程：几何建模、时间步进、边界条件、渲染输出环环相扣。单点测评无法回答"智能体能否端到端造出一个求解器”。此外，场景搭建本身的自由度会污染评测——如果智能体连场景都要自己搭，我们就分不清失败是因为"物理不懂"还是"场景没搭对"。

AI 科研评测的问题：现有的"AI 科学家"评测通常对着已知答案打分——用标准答案匹配、用 rubric 逐条对照、或用 LLM 评审员打分。但真正的科研产出是没有已知答案的新知识。一个智能体构建出的新气候模型是否科学有效，任何答案库都帮不上忙。更麻烦的是，如果评测指标对智能体可见，智能体会过拟合指标（reward hacking）；如果评测在研发过程中使用，评测本身就会漂移。如何在没有答案的开放任务上做客观评测，是 AI 科研智能体领域悬而未决的方法论问题。

多模态推理评测的问题：现有视觉基准走向了两个极端。一头是"专家级解题"（MMMU、HLE）——考学术知识和缜密分析，但答案往往可以转写为纯文本，模型可以靠语言先验猜。另一头是"感知敏锐"（V*、BLINK）——考能否找到帧内的细小物体，但那只测了眼睛，没测直觉。人类独有的"看一眼就知道"的能力——瞥一眼照片就知道谁刚吵过架、看几秒视频就知道房间里谁说了算——恰好落在两者之间的空白地带，无人系统测量。

三篇论文分别对这三个"测不了"的问题给出了自己的回答。

二、论文定位和关联工作

2.1 WorldSolver：物理仿真基准谱系

物理仿真方向的基准此前沿两条线发展：

单域代码生成线：PhysCodeBench（物理代码生成）、CFDLLMBench（计算流体力学）、PDEAgent-Bench（PDE 求解）等聚焦单一物理域的代码任务，验证 LLM 对特定数值方法的理解。局限是任务粒度小、域覆盖窄，无法检验端到端的求解器工程能力。

场景构建线：SimuScene 等工作让智能体从零搭建物理场景（静态场景构建 + 动态设置），但场景搭建的自由度反而成了评测噪音源。WorldSolver 论文中的对比表显示，此前没有任何基准同时满足"覆盖 ≥5 个物理域 + 提供固定代码脚手架 + 视觉与数值双评估"三个条件。

WorldSolver 的定位：首个跨 7 域（流体、刚体、杆件、塑性、弹性、布料、多物理场）的求解器生成基准，用"固定脚手架"设计把变量隔离做到极致——场景由基准方锁死，智能体只写 solver.py 一个文件。任务来源也别出心裁：168 个任务全部取自 61 篇经典计算机图形学论文（SIGGRAPH 系），保证了每个任务背后都有经过同行检验的物理现象定义。

2.2 SciExam for ENSO：AI 科研评测谱系

AI-for-Science 评测此前主要有三类做法：

已知答案评测：AI Scientist、Agent Laboratory 等系统产出论文/想法，用 LLM 评审打分。问题：LLM 评审无法判断新科学模型的有效性，且有已知偏差。

基准套件评测：在 MLE-bench 等 Kaggle 竞赛基准上跑机器学习任务。问题：Kaggle 有排行榜和标准指标，本质仍是"已知答案"的变体。

气候/地球系统专项：此前有工作用 LLM 做气候数据分析或 ENSO 预报，但都是"给定模型框架做标定"或"做预报任务"，从未要求智能体从原始观测格点场出发、自主构建随机动力模型。

SciExam for ENSO 的定位：首个"无已知答案"的科研智能体基准。它的参照物不是另一个智能体的分数，而是一个已发表的五变量 ENSO 随机动力模型——把参考模型和智能体产出放在同一隐藏评分器下同卷同评。这相当于在开放任务上重建了"对照组"：不问"智能体得了多少分"，而问"智能体能否超过人类科学家已发表的工作"。

2.3 HSS：视觉推理基准谱系

多模态评测的两极：

专家分析极：MMMU、HLE 考大学级学科推理，但答案可转写为文本，语言先验即可作答；MMBench 等选择题基准更是给了排除法的空间。

感知极：V*（在高分辨率图里找小物体）、BLINK（考经典视觉错觉、相对深度等）只测低层感知，答案"在帧内"。认知科学的核心知识理论（Carey 与 Spelke 的核心知识、直觉物理学派、心智化理论）早已刻画出人类"直觉推理"的存在，但没有人为 MLLM 建过对应的基准。

HSS 的定位：在感知与专家分析之间开辟"直觉视觉推理"这个独立测量轴。其设计纪律严格到近乎苛刻：3,466 道初筛题经三轮独立评审只留下 522 道（15.1% 存活率），且"裁剪高分辨率 crop 即可秒答的任务一律剔除"。配套的盲测控制（去掉视觉输入后分数从 53.6% 跌到 6.6%）证明题目无法靠语言先验猜出。

2.4 三篇论文的合读定位

三把尺子量出了三种不同温度：物理仿真是"难但可测"，气候建模是"意外地可行"，直觉推理是"巨大鸿沟"。这种差异本身就是信息——它提示智能体能力在不同科学任务上的分布极不均匀。

三、问题定义

三篇论文面对的具体场景不同，但都在做同一件事：把"科学能力"这个模糊概念，抽象为可操作的形式化测量问题。

3.1 WorldSolver 的抽象

具体场景：智能体拿到一段自然语言的任务描述（“重现论文中布料在斜坡上滑落堆积的现象”），要写出一个能跑通的仿真求解器。

核心洞察：求解器生成的本质是从"现象描述空间"到"状态演化函数空间"的映射——给定现象描述 d 和脚手架 S，求 Φ：使状态按物理规律演化。形式化：给定描述 d 和固定脚手架 S=(G, P, E, R)（几何 G、物理参数 P、执行协议 E、渲染配置 R），智能体输出求解器 Φ，在脚手架定义的执行协议下从初始状态 s⁰ 逐步推进到 sᵗ⁺¹=Φ(sᵗ)，产出状态轨迹与渲染视频。

精妙之处在"除法"：把仿真工程这个大变量做了一次除法——场景搭建（分母，由脚手架固定）与求解器实现（分子，由智能体完成）分离。没有这个除法，任何失败都无法归因；有了它，失败就清晰地落在求解器一端。这类似于受控实验中"控制变量法"在基准设计里的翻版。

3.2 SciExam for ENSO 的抽象

具体场景：智能体拿到 1980–2014 年的 ENSO 相关观测格点场数据（ERSSTv5 海表温度、GODAS 次表层、NCEP-NCAR 风场等），要在 6 小时内建出一个五变量随机动力模型 dX=f(X,t)dt+Σ(X,t)dW，其中 X=(T_C, T_E, h_W, u, τ)（中东部太平洋海温、温跃层深度、风应力等）。

核心洞察：科学模型有效性无法直接判定，但可以通过行为测试间接判定——一个科学有效的模型应当"表现得像真实气候"：统计上，自由积分 2300 年产生的 PDF、季节方差、自相关函数、事件频率应与 1950–2019 观测一致；动力上，用集合 Kalman 平滑器从部分变量重构其余变量应可双向复原（NSE 高）；预测上，对从未见过的 2015–2024 年做 1–12 个月超前预报应胜过持续性预报。复合分 C=0.3S+0.3D+0.4P。

精妙之处在"参照物"：没有标准答案，就把已发表的参考模型作为"行为锚点"同卷同评。参考模型用的是全部三期资料（1950–2019 统计 + 1980–2014 重构 + 业务预报实践）开发的成熟工作；智能体只见到 35 年观测。这个信息不对称不是缺陷而是设计：如果智能体在这样的劣势下仍能超过参考模型，增益就只能来自建模过程本身，而非记忆。

3.3 HSS 的抽象

具体场景：给模型一张照片或一段几秒的视频，问一个自由作答的问题（“这两个人谁更有可能刚发生过争执？"），答案没有显式呈现在画面里。

核心洞察：直觉推理 = 从显式输入推断隐含结构。形式化：给定媒体输入 m 和问题 q，模型返回自由作答 a，裁判逐条核对答案是否满足该题的 k 条原子化 rubric 判据——当且仅当全部 rubric 判据都满足才判过。这把"直觉"从不可测的概念变成了可分解的判定集合：一道题平均 1.39 条 rubric，71.5% 的题只有 1–2 条。

精妙之处在"排除法免疫”：选择题给了模型排除法的捷径（答案转写为文本后语言先验即可猜），HSS 的自由作答 + rubric 全满足判定堵死了这条路。判定的严格性不是苛刻而是必要：只要漏掉一条决定性判据（比如"答案必须指明是左边的船"），答案就可能是蒙的。

3.4 三种抽象的共性

三者的共同抽象：能力 = 在约束条件下产出通过独立有效性检验的构建物。检验器独立于产出过程（脚手架由基准方冻结 / 评分器对智能体隐藏 / rubric 由人类预先写定），这是测量有效性的核心结构。

四、问题解法

4.1 WorldSolver：三维评估体系怎么建

WorldSolver 的解法分三步：任务构建、脚手架设计、评估体系。

任务构建：从 61 篇经典图形学论文中提取 168 个物理现象任务，覆盖 7 个域（每个域 18–30 个任务）。每个任务配一段现象描述与一个来源引用。选图形学论文而非物理教科书有讲究：图形学论文的现象都经过渲染验证、有明确视觉目标（“螺旋尾流”、“堆积褶皱”），天然适合视觉评估。

脚手架 S=(G,P,E,R)：这是一个完整的仿真基础设施包——几何定义 G（网格、粒子的初始布局）、物理参数 P（材料属性、边界条件）、执行协议 E（时间步长、总时长、输出格式）、渲染配置 R（相机、光照）。智能体只能写 solver/ 目录下的代码，只读脚手架其余部分，无网络访问。脚手架本身经过"人-迭代精化"流程保证正确：一个脚手架智能体先出初稿，人类逐项校验物理与渲染几何。

三维评估（总分=(V+P)/2×E）：

VLM 评委的可靠性经过人类校验：与人类打分的 Pearson 相关 0.730 / Spearman 0.713，均高于人类与人类之间的 0.624 / 0.607——即 VLM 评委与人类的分歧不比人类彼此的分歧更大。物理计算器完全隐藏且逐任务定制（如风车任务查角动量矩平衡、布料任务查接触穿透与应变范围），智能体无从过拟合。

一个设计细节值得注意：V 和 P 故意设计成互补而非冗余。论文的风车案例给出了漂亮的反例——GPT-5.6-Sol 产出一个近乎静止的风车，物理分拿满分 100（静止状态下角动量矩、固流力平衡、界面法向速度平衡全部近似为零，完美"守恒"），但视觉分只有 6.10。反过来，Qwen-3.8-Max 的布料渲染视觉可辨，但轨迹检查发现大量单元翻转穿透。单一维度的评测会被这两类"偏科生"各自欺骗，双评把它们都分离出来。

4.2 SciExam for ENSO：三阶段流程与隐藏评分器

任务流程设计成共享 6 小时预算的三阶段：

阶段 A（观测处理）：智能体拿到原始格点场（1980–2014 ERSSTv5/GODAS/NCEP-NCAR），做区域平均、异常化、季节循环去除等预处理，产出五变量时间序列。完成条件显式化。

阶段 B（诊断开发）：智能体从任务附带的科学指南出发，自选要检查的观测量与检查方式（如"Nino3.4 指数的季节方差"、“El Niño 与 La Niña 事件频率”），写出自己的诊断代码。90 分钟上限或自报完成。诊断随后冻结——这是整个设计的枢纽：阶段 C 里智能体只能依赖这套冻结的自建诊断作为反馈信号。

阶段 C（模型研发）：构建 dX=f dt+Σ dW 形式的随机动力模型并标定，每轮修订后跑诊断判断改进与否。

隐藏评分器是这个基准的灵魂。智能体全程看不到 C=0.3S+0.3D+0.4P 的任何分数：

• S 统计性质：模型自由积分 2300 年，检验生成轨迹的 PDF/季节方差/ACF/事件频率是否与 1950–2019 观测一致；
• D 动力一致性：集合 Kalman 平滑器从部分变量（如只给海温）重构其余变量（温跃层深度、风应力），检验双向 NSE；
• P 预测技巧：2015–2024 留出年的 1–12 月超前预报，与持续性预报对比。

为什么诊断要冻结：如果智能体在阶段 C 能修改诊断，它会把诊断改成对自己有利的形状（评价漂移）；如果智能体能看到评分器分数，它会过拟合评分器（reward hacking）。冻结的自建诊断是唯一合法反馈通道——它逼智能体像真正的科学家一样，靠自己的判断力选择"什么算好模型"。这套设计把"开放式任务的评测有效性"问题转化成了"反馈通道的隔离设计"问题。

参考模型同卷同评：已发表的五变量模型在同一评分器下得 0.378（S 0.727 / D 0.323 / P 0.157），构成横向对照锚点。

4.3 HSS：从认知科学分类学到三重质量控制

HSS 的解法分四步：分类学设计、题目编写、三轮评审、评分协议。

分类学设计：基于认知科学三条线（核心知识理论、直觉物理学、心智化）加抽象规律扩展，构建 4 域 11 子域的分类学——时间因果（retrodiction 即"看结果推成因"、prediction）、物理空间（可供性、空间逻辑、“外星视角”）、社会理解（意图、权威关系、群体规范）、抽象语境（隐含规则、模式识别）。

三原则筛题：① 排除纯感知任务（“裁剪出高分辨率 crop 即可秒答的一律不要”）；② 排除需要专业知识（学科训练）才能答的任务；③ 要求人类共识（没有公认正确答案的题不要）。3,466 道初筛题在三轮独立评审中逐轮淘汰：1,164 过第一轮、559 过第二轮、522 过第三轮——85% 的题目死在了质量关上。

最终数据集：522 题（288 图像 + 234 段视频共 17.6 小时，中位时长 76 秒），723 条原子化 rubric 判据（平均每题 1.39 条）。

评分协议：模型自由作答（每题独立试 3 次取 pass@1），单一裁判 LLM（Claude-Opus-5）逐条核对 rubric，全部满足才判过。裁判可靠性经三重审计：换用三厂商裁判（Claude/Gemini/GPT 系）重判 5 个模型，分数一致性 95%（criterion 层与 item 层）；裁判间 κ≥0.92；且未发现自偏好（Claude 裁判并未给 Claude 系模型打更高分）。

盲测控制：把视觉输入去掉、只给问题文本，最强模型从 53.6% 跌到 6.6%，522 题中仅 4 题盲测三次全过、且集中于二选一题型。这证明题目考察的确实是视觉推断，而非语言先验可猜。

人类基线：20 名标注员以与模型相同的自由作答条件答题，93.1% 通过率——其中确信题 94.1%、不确定的题也有 85.7%（人类的"直觉可靠性"即使在低置信下也成立，这是与模型的又一分野）。

五、评估指标与实验证据

5.1 WorldSolver：阶段漏斗暴露执行瓶颈

7 个前沿智能体（生成限时 1800s、运行限时 600s）的总体分与阶段数据：

阶段漏斗是这组数据最有信息量的切法：提交率普遍 88–100%（智能体都会交代码），但有效轨迹率骤降（GPT-5.6-Sol 82%、Kimi 仅 38%；其余智能体在 38–54% 区间），≥60 分通过率再降（GPT 41%、Kimi 8%）。最大分离点在执行阶段——代码交了但跑不出有效仿真。Kimi-K2.7-Code 的案例最极端：99% 提交 vs 38% 有效轨迹，说明其代码在物理正确性之前的"能跑通"一关就大量阵亡。

域级差异呈现互补格局：GPT-5.6-Sol 在流体（49.6）、刚体（54.8）、杆件（59.5）、多物理场（51.5）领先；Claude-Opus-5 在塑性（47.9）、弹性（61.9）、布料（60.1）领先。杆件域差距最大（26pp）、布料域 24.3pp——不同模型家族的物理直觉分布不均。

效率对照给了反直觉发现：GPT-5.6-Sol 以最少的平均 13.07 轮模型调用、234 行代码、22.78 秒运行时间、8.89 分钟墙钟拿到最高分；Kimi 用了 37.95 轮（近 3 倍）却最差。迭代次数与得分不成正比——盲目重试不如精准修订。

5.2 SciExam for ENSO：6/12 超过已发表参考模型

12 个智能体系统（Claude Code、Codex、Antigravity 等脚手架，离线容器）的结果：

6/12 超过参考模型的 0.378，主要增益来自 D（重构）与 P（预报）——多数系统超过参考的 0.323/0.157；参考模型仍保持 S 最高（0.727 vs Fable 的 0.715）。若按最佳检查点算则 8 个系统超过（Claude Opus 5 达 0.508）。论文特意注明最终分不应读作排名（不同系统的预算内收敛行为不同），但量级对比是稳的。

成本数据：OpenRouter 总花费约 $521；最贵 Qwen3-Max $132.37（3,250 次调用），最便宜 DeepSeek V4.1 Flash 仅 $2.43（752 次调用）——花费与得分几乎无关（Qwen3-Max 恰是末位）。

5.3 HSS：40 分鸿沟与系统性失败

25 个模型（8 厂商）pass@1 结果（节选）：

三个结构性发现：视频比图像难（23/25 模型在视频上平均低 7.3 个百分点，动态信息反而增加推断负担）；社会理解最弱；失败高度系统化。

社会理解最弱：4 域平均分中社会理解仅 24.4%，其余三域 34.1%；21/25 模型的最低分项都是社会理解。模型能推物理、能推时间，但"谁说了算"、“谁对谁有义务"这类心智化推断最弱。

失败高度系统化：对 8,573 次标注失败的分析显示，感知占 53%、隐含推断占 41%、逻辑推理仅 5%；两大单因是"漏看决定性视觉线索”（21%）与"误认对象/角色"（20%）。且失败是系统性的：在 ≥5 个模型都失败的任务上，中位 80% 的模型因完全相同的原因失败——不是随机失误，而是共享的盲区。

agentic 装置部分有效但不封顶：给模型装上 Claude Code/Codex 式的主动视觉操作工具后，Claude Code+Opus-5 从 30.8 提到 51.3（+20.5pp），但代价是中位 72 步、>42k 思考 token；Codex+GPT-6-astra 从 54.4 到 59.3（+4.9pp，仅 14 步）。最高也只到 59.3%，仍远低于人类 93.1%。细看修复模式：agent 修好的主要是"再看一眼可修"的错误（总失败 944→759，感知类错误降 19–37%），而深度/2D→3D 投射类错误纹丝不动（102→101）。测试时算力买不回缺失的直觉——GPT-6-astra 的推理努力从 high 提到 xhigh 反而掉 14 个点，非单调。

六、效果优势的根源解释

本部分用消融与对照实验建立因果链，解释三个核心结论"为什么成立"而非"是什么"。所有因果链均以论文自身实验为证据基础。

6.1 WorldSolver：固定脚手架 → 执行阶段暴露 → 行为模式诊断

因果链 1：固定脚手架为什么必要

• 前提（论文实验支持）：脚手架 S=(G,P,E,R) 由基准方经人-机迭代精化并冻结，智能体只写 solver.py。
• 机制（论文实验支持）：场景搭建变量被隔离后，失效集中出现在执行阶段——提交率 88–100% 但有效轨迹率 38–82%，最大分离点在"代码能否跑出有效仿真"而非"代码能否交上来"。
• 推论（论文实验支持）：如果没有脚手架（如 SimuScene 的场景自建模式），场景搭建失败与求解器失败会混在一起，“执行阶段是瓶颈"这一诊断就不可能做出。
• 反事实（阅读者推测）：若去掉固定脚手架，Kimi 的 99% 提交/38% 有效轨迹这对数字将无法解读——可能被归因为场景搭建失误。脚手架把 61 篇图形学论文的"场景工程"转化为公共基础设施，是归因清晰的前提。

因果链 2：视觉+物理双评为什么互补

• 机制（论文实验支持）：风车案例中 GPT-5.6-Sol 的近静止解在物理计算器上拿满分（角动量矩、固流力平衡、界面法向速度平衡全为零）、视觉分 6.10；布料案例中 Qwen 渲染可辨但轨迹大量穿透翻转。两类"偏科"解被双评各自捕获。
• 推理（论文实验支持）：物理计算器检查的是守恒律形式的约束，而"完美守恒"有一个平凡解——什么都不动。视觉评委检查现象级特征（转子加速、烟雾输运、螺旋尾流），恰好封住这个漏洞。反过来，视觉上"像"可能来自渲染层面的巧合，物理计算器再把这一层滤掉。
• 泛化（阅读者推测）：任何"约束满足式"评测都存在平凡解漏洞，需要搭配"现象重现式"评测互补——这个结构教训超出本基准。

因果链 3：修订行为与得分的正相关

• 证据（论文实验支持）：GPT-5.6-Sol 与 Claude-Opus-5 把 25.3%/12.5% 的工具调用花在 Edit（代码修订）上，Kimi 仅 2.5%；同时 GPT 用最少轮次（13.07）拿最高分、Kimi 用 3 倍轮次（37.95）拿最低分。
• 推理（阅读者推测，相关性≠因果）：高 Edit 占比可能反映"跑-看错-修"的精准迭代策略，低 Edit 高轮次可能反映"盲重试”。但无法排除第三变量（如模型本身的代码质量差异同时导致高分与高 Edit 率）。论文将其表述为行为模式差异而非因果断言，本文沿用此谨慎立场。

6.2 SciExam for ENSO：行为测试 + 信息干预的因果闭环

因果链 1：行为测试替代答案匹配为什么成立

• 前提（论文实验支持）：评分器检验的是模型行为（自由积分 2300 年的统计 / Kalman 重构 / 留出年预报），与参考模型同卷同评。
• 机制（论文实验支持）：智能体只见过 1980–2014 的 35 年观测；统计检验用 1950–2019（含智能体未见年份）、预报检验用 2015–2024（智能体从未见过）。6 个系统的复合分超过参考模型，主要来自 D 与 P。
• 推理（论文实验支持）：参考模型用了全部三期资料开发，智能体数据更少却分数更高 → 增益不可能来自"背记更多数据"，只能来自建模过程本身（模型结构选择、标定方法、诊断驱动的迭代）。
• 反事实（论文实验支持——年份匿名化对照）：把观测数据的年份标签打乱后重跑最强系统（Fable），得分 0.482（最佳）/0.463（最终），与原始 0.531/0.515 几乎持平 → 排除背记假设：如果模型靠记忆 ENSO 历史记录得分，打乱年份应导致分数崩塌，实际没有。
• 反事实（论文实验支持——信息干预）：文献+数据联网反而得到四条件中最低的 0.475（模型被校准到业务指数定义上）；仅文献 0.528 但结构更贴理论 → 更多信息未必更好，信息内容塑造建模方向。

因果链 2：诊断冻结为什么防过拟合

• 机制（论文实验设计）：阶段 B 诊断冻结后，阶段 C 的唯一反馈通道是自建诊断；隐藏评分器在全程不可见。
• 推理（论文实验支持 + 阅读者推测）：如果诊断可修改，智能体在阶段 C 可把诊断"改造"成对当前模型有利的形状——评分失去独立性（论文以"防 reward-hacking 与评价漂移"陈述设计动机，属实验设计层面支持；实际拦截效果的直接消融论文未单独报告，此步为推测）。
• 后果（论文实验支持）：智能体的 D/P 优势与"结构事后可归约"的事实共同说明：模型不是拟合出了评分器的形状，而是真的学到了 ENSO 动力结构。

因果链 3：结构简化实验揭示"候选机制"

• 证据（论文实验支持）：对 9 个近/超参考模型做"删项+重拟合+复评"，全部可无损归约为两族——4 个线性漂移+乘性噪声、5 个非线性漂移+加性噪声；简化几乎不损失分数（Fable 0.515→0.542 反而升高、GPT-6 Astra 0.442→0.462，无一损失超 0.014）。
• 推理（论文实验支持）：这两族恰好对应 ENSO 暖冷不对称的两大主流理论解释（线性-随机强迫 vs 非线性确定性动力学）——任务从未提及这个争论，智能体产出却落在争论的两端。
• 意义（论文实验支持）：这使智能体产出从"数据拟合产物"升格为"候选科学机制"——如果两个理论族都能达到这些分数，这组基准分数本身就携带了科学信息（与"高分=好模型"的朴素解读相比，这是质变）。

6.3 HSS：rubric 全满足 + 盲测的测量有效性

因果链 1：rubric 全满足判定为什么消除选择题捷径

• 前提（论文实验支持）：自由作答 + 每题 1.39 条原子化 rubric，全部满足才判过。
• 机制（论文实验支持）：盲测对照——去掉视觉输入后 GPT-6-astra 从 53.6% 跌至 6.6%，522 题仅 4 题盲测全过、集中于二选一。若题目可由语言先验猜出，盲测应保持可观分数；实际残余的 6.6% 就是"纯猜"的底噪（论文的表述是"残差是猜测而非知识"）。
• 推理（论文实验支持）：rubric 判据中包含指代性要求（如"必须指明是左边的船"），蒙对全部判据的概率极低——6.6% 的盲测底噪正是这个设计的效果量化。

因果链 2：为什么测试时算力买不回直觉

• 证据（论文实验支持）：三个独立证据——① agentic 装置只修复"再看一眼可修"的错误（失败 944→759），不修复深度/投射错误（102→101）；② 推理努力 high→xhigh 掉 14 个点（非单调）；③ 25 模型的思考 token 中位数从 1,496 到 10,407 跨近 7 倍，pass@1 却无相应增益。
• 推理（论文实验支持）：直觉推理的瓶颈不在"想得不够多"而在"看不见"——感知层（53%）与隐含推断（41%）合计占失败的 94%，逻辑推理仅 5%。增加推理轮次作用于逻辑推理层，而这个层几乎不是失败原因。
• 推理（阅读者推测）：这提示"直觉"可能更多是表征问题（视觉编码是否保留了推断所需的隐含结构）而非计算问题（推理链是否够长）——与"测试时扩展"范式的适用边界相关，但需后续研究确认。

因果链 3：为什么失败是系统性的

• 证据（论文实验支持）：≥5 模型失败的任务上中位 80% 同因失败；漏看线索 21% + 误认对象 20% 为两大单因。
• 推理（阅读者推测）：共享盲区最可能的解释是共享的训练分布与视觉编码方式（各厂商模型见到相似的世界），导致"什么算显著视觉线索"的判断系统性同构。论文未直接检验此假设，标注为推测。

6.4 外部对照与综合判断

在本次检索范围内（各论文 Related Work + arXiv abs 页信息），与三条核心机制相关的外部证据如下：

综合判断：

• 多项证据共同支持的机制：① 固定脚手架/冻结诊断/盲测控制这类"评测通道隔离"设计是测量有效性的必要条件——三篇论文各自独立采用了同构设计（隔离场景 / 隔离反馈 / 隔离语言先验），且各自的对照实验都验证了设计的必要性。② 视觉+物理双评、统计/动力/预报三维行为测试、rubric 多判据全满足——多维互补评测优于单维评测，三篇的消融/案例都展示了单维评测的被欺骗方式。
• 仍属推测的机制：① WorldSolver 中 Edit 占比与得分的因果方向（可能是相关非因果）；② HSS 中"共享训练分布导致系统性失败"的解释；③ SciExam 中诊断冻结实际拦截 reward-hacking 的效果量（设计动机明确但未单独消融）。
• 优势的适用条件：三篇的结论都在各自任务设定下成立——WorldSolver 的"执行阶段是瓶颈"依赖固定脚手架的存在；SciExam 的"智能体可超参考模型"依赖 6 小时预算与低阶随机动力模型的任务形态（换成分辨率更高的耦合 GCM 或许结论不同）；HSS 的"直觉鸿沟"依赖自由作答+rubric 判定（若改成选择题，鸿沟可能被压缩但测量效度下降）。
• 可能的失效条件：若未来模型的训练数据包含大量带年份的 ENSO 观测与对应已发表模型族，SciExam 的匿名化对照可能需要更强干预；若 VLM 评委模型与被评智能体同源，WorldSolver 的视觉评分可能出现自偏好（当前用 GPT-5.6-Sol 评所有智能体包括其自身，论文未单独讨论此点，是潜在的效度边界）。

七、必要知识反推

假设让一个没有任何背景的人来完成这三篇论文，他最少必须掌握什么？

7.1 领域知识层

物理仿真知识（WorldSolver）：必须理解"求解器"在仿真管线中的位置——求解器是推进状态演化的核心函数，上游是场景/几何/参数，下游是渲染。必须知道 7 个物理域各自的典型现象与守恒律形式（动量守恒、无穿透约束、质心一致），否则无法为每任务写物理违反计算器。必须熟悉图形学文献景观（哪些论文的现象定义经典且可渲染），否则 168 个任务的来源筛选无从下手。

气候动力学知识（SciExam）：必须理解 ENSO 是什么（热带太平洋海气耦合的年际变率主模态）、五变量低阶模型的传统（中东西太平洋海温、温跃层深度、风应力的动力学闭环）。必须懂随机动力系统 dX=f dt+Σ dW 的意义——确定性漂移加随机强迫。最难的是必须知道 ENSO 暖冷不对称存在两大对立理论解释，否则"结构归约实验对照理论族"这一步的科学与否都无法判断——这是整个基准科学价值的隐性前提。

认知科学知识（HSS）：必须掌握核心知识理论（人类先天具备对物体、代理、数量的核心认知）、直觉物理学与心智化（theory of mind）研究传统，否则 4 域 11 子域的分类学没有理论根据，筛题三原则也无从设计。“排除专业知识”、“要求人类共识"这两条原则本身是操作性认知科学。

7.2 方法论知识层

评测方法论：三篇论文的核心方法论挑战都是"测量有效性”——如何证明尺子量的是想量的东西。必须掌握：控制变量思想在基准设计中的移植（WorldSolver 的脚手架）；对照组重建（SciExam 的参考模型同卷同评）；效度攻击与防御（HSS 的盲测 vs 语言先验）。必须了解 LLM-as-judge 的偏差文献与校验方法（人类一致性、多裁判审计、自偏好检验），三篇都用到了其中至少一种。

统计与随机过程：SciExam 需要集合 Kalman 平滤/平滑（重构检验的技术核心）、PDF/ACF/季节方差的统计检验、持续性预报基准。没有这些，“行为测试"就是空话。

智能体系统知识：三篇都评的是智能体（agent scaffold + 模型），必须了解 Claude Code/Codex/Antigravity 等脚手架的工作方式、工具调用机制、预算控制，否则实验设计无法落地。

7.3 工程知识层

大规模数据工程：WorldSolver 要为 168 个任务构建并验证代码脚手架（人-机迭代精化流程）；SciExam 要搭离线容器让 12 个智能体系统跑 6 小时预算的实验（OpenRouter 计费追踪到 $521 总账）；HSS 要组织 288 图像 + 17.6 小时视频的授权、标注、三轮评审（3,466→522 的漏斗管理）。没有数据工程能力，任何一篇都停在想法阶段。

评测自动化：物理违反计算器的逐任务实现（每任务 3–5 条）、VLM 评委的 prompt 与帧采样（20 关键帧）、rubric 判定的裁判 prompt 设计——评测器本身的工程量不小于被评系统。

7.4 知识融合的关键节点

三篇论文各自有一个"知识化学反应"的节点：

• WorldSolver：图形学文献（现象库）× 评测方法论（变量隔离）→ “固定脚手架"设计。两个领域单独都不足以产生这个设计。
• SciExam：随机动力系统（模型形式）× 数据同化（Kalman 重构）× 评测隔离设计（冻结诊断）→ “行为测试式科研评测”。气候学家懂前两者，评测工程师懂第三者，融合才有了这篇。
• HSS：认知科学分类学（领域地图）× 大规模众包标注（企业能力）× 效度攻击方法论（盲测）→ “直觉推理基准”。没有认知科学的分类学是乱题集合，没有企业级标注能力则规模上不去。

最深刻的融合启示：测量一个新能力 = 找到一个理论刻画（它是什么）+ 一个隔离设计（怎么只测它）+ 一个效度证明（为什么测的是它）。三者缺一，基准就退化为刷分靶子。

八、论文中可以提取的通用性灵感

8.1 评测通道隔离：能力测量的通用结构

核心思想：要测一个能力，必须把评测信号与被测者的优化过程隔离——被测者只能通过"合法通道"获得反馈，评测器保持不可见/不可修改。

论文证据：WorldSolver 冻结脚手架使智能体无法改场景（只能改 solver）；SciExam 冻结诊断+隐藏评分器使智能体无法过拟合评分（年份匿名化对照证明分数不来自记忆）；HSS 冻结 rubric+盲测使语言先验失效（6.6% 底噪）。

推广场景：① 招聘评测——工作样本测试的评分标准对候选人隐藏，防止针对性表演；② 教育评估——过程性评价的评分细则与学生作业隔离，防止应试化；③ 模型对齐评估——安全评测的 adversarial prompt 集对被评模型保密；④ 自动驾驶验收——影子测试中车辆不知道何时被评估。

8.2 行为测试替代答案匹配：无标准答案任务的评测范式

核心思想：当没有标准答案时，用"行为是否与已知良好参照系一致"来判定质量——参照系可以是已发表工作（同卷同评）、物理守恒律、统计性质。

论文证据：SciExam 的三支柱（统计/重构/预报）+ 参考模型 0.378 锚点；WorldSolver 的物理违反计算器（守恒律是"免费的"参照系）；HSS 的人类基线（93.1% 是行为参照）。

推广场景：① 代码评审——不看"正确答案”（不存在），看代码是否通过行为测试（性能、内存、边界）；② 创意写作评估——没有"正确"小说，但可以测读者沉浸度、结构完整性等行为指标；③ 药物筛选——活性化合物的"行为谱"与已知有效药物对比；④ 组织管理——候选战略的推演结果与历史成功案例的行为特征对比；⑤ AI 生成科学假说——看假说导出的可检验预测是否覆盖已知观测。

8.3 多维互补评测：单维尺子必然被欺骗

核心思想：任何单一评测维度都有平凡解或捷径，两个语义上互补的维度交叉才能堵住作弊空间。

论文证据：WorldSolver 的风车案例——静止解物理满分/视觉 6.10；布料案例——视觉可辨/轨迹穿透。单独用物理分或视觉分都会把一类"偏科解"误判为优。

推广场景：① 人才评估——笔试+面试互补（会考试的不一定会谈，反之亦然）；② 系统安全——静态扫描+动态渗透互补；③ 医疗诊断——影像+生化+症状互补；④ 搜索引擎质量——相关性+多样性互补（优化单一相关性会输出同质结果）；⑤ 智能客服——解决率+用户负担（步数）互补。

8.4 过程痕迹诊断：分数之外的行为模式携带归因信息

核心思想：评测不只产出分数——智能体的过程行为（工具调用结构、迭代模式、修订占比）是归因失败/成功根源的富矿。

论文证据：WorldSolver 发现 Edit 占比与得分正相关（25.3%/12.5% vs 2.5%）且轮次与得分负相关（13.07 vs 37.95）；HSS 的 8,573 次失败归因分析发现失败高度系统性（中位 80% 同因）。

推广场景：① 学生学习诊断——做题时间分布/修改痕迹比总分更早暴露理解断层；② 生产事故归因——操作日志的模式比对找出系统性误操作；③ 医疗诊疗过程——问诊路径分析发现医生共同的漏诊盲区；④ 代码评审——提交历史的"小步修正 vs 大块重写"模式预测缺陷率；⑤ 人机交互——用户操作序列聚类发现界面设计的系统性误导。

8.5 更多信息未必更好：信息干预塑造产出方向

核心思想：给解题者更多信息不必然提高产出质量——信息内容会改变解题者对问题的建构方式，有时是束缚。

论文证据：SciExam 的四条件对照：离线 0.531 > 仅文献 0.528 > 年份匿名 0.482（最佳分口径 0.482 vs 0.531）> 文献+数据联网 0.475（最低，被校准到业务指数）。

推广场景：① 专家判断——先看原始数据再看文献，避免锚定在权威方法上；② 组织决策——过早引入"行业最佳实践"可能压制本地化创新；③ 产品设计——竞品调研放在用户研究之后防止同质化；④ 科研选题——文献综述太早可能收窄探索空间（探索-利用权衡的时间维度）。

8.6 测试时算力买不回表征缺陷

核心思想：如果失败根源在感知/表征层（看不见、看错），增加推理层算力（更长思考、更多工具轮次）收效甚微——瓶颈定位决定扩展策略的收益。

论文证据：HSS 的 agentic 装置修复感知类错误（944→759）但不修投射错误（102→101）；推理努力 high→xhigh 反掉 14 点；25 模型思考 token 跨 7 倍无相应分数增益。

推广场景：① 团队诊断——信息获取能力不足的团队，加再多分析人手也无用，先修信息通道；② 系统优化——I/O 瓶颈的系统加 CPU 无益，先定位瓶颈层；③ 教育干预——概念误解的学生刷更多题巩固的是误解，先修表征；④ AI 工程——RAG 检索质量差时堆推理步数是浪费算力，先修检索。

8.7 结构归约检验：高分产出是否携带真知识

核心思想：判断一个复杂产出（模型/方案/代码）是否学到本质，可以尝试无损归约到更简形式——如果简化后分数不降，说明复杂性是冗余的，其结构本身就是信息。

论文证据：SciExam 对 9 个高分模型删项重拟合，全部无损归约为两族（线性+乘性噪声 / 非线性+加性噪声），恰对应 ENSO 两大理论——智能体产出的"科学立场"通过归约显影。

推广场景：① 代码评审——过度复杂的实现能否无损简化，简化的形态暴露作者的真实设计意图；② 机器学习——高精度模型能否剪枝/蒸馏而不掉点，暴露真学到的特征；③ 战略评估——复杂商业计划的"最小可行情景"归约后是否仍成立；④ 科学复现——复杂实验协议的简化版若同样有效，说明机制理解到位。

九、总结：三把尺子量出的科学能力地图

三篇论文在 2026 年 10 月同一周出现并非偶然——它们共同回应了"智能体能力评测进入深水区"这个时代问题：当刷分式基准趋于饱和，如何测量真正复杂的科学能力？

三篇论文的答案构成一个光谱：

WorldSolver 代表"结构化重建"路线——把复杂能力分解到受控工程任务上（固定脚手架 + 求解器生成），用三维评估获得可归因的诊断。它量出的结论最"冷”：最强智能体 48.7% 的总体分、执行阶段是最大漏斗、迭代多≠分数高。物理仿真作为"具身 AI、游戏、影视的应用底座"，这个 48.7% 意味着离实用还有明显距离。

SciExam for ENSO 代表"开放式科研"路线——承认无标准答案，用行为测试+参照系重建测量有效性，用隔离设计防过拟合。它量出的结论最"热"：6/12 智能体超过已发表参考模型、结构归约落到真实理论争论的两端、信息干预塑造建模方向。这是三篇中唯一给出"肯定答案"的——智能体已能构建有科学意义的竞争模型。当然要谨慎：低阶随机动力模型是气候建模中"最小"的形态，距离业务级耦合模式还很远；$521 的总成本倒提示这条路线的扩展经济性极佳。

HSS 代表"人类基线对照"路线——用近乎苛刻的质量控制（15.1% 存活率）和效度证明（盲测 6.6%）建立一个人类轻松（93.1%）而模型艰难（53.6%）的测量轴。它量出的结论最"深"：直觉推理不随测试时算力涌现、失败高度系统化（中位 80% 同因）、社会理解是全域最弱项。40 分的鸿沟提示当前 MLLM 的视觉编码方式与人类"看一眼就懂"的机制之间存在结构性差异。

合读三篇，一个元层面的共性浮出水面：三篇论文的真正贡献都不是"又一个 leaderboard"，而是三种评测方法论——变量隔离（脚手架）、行为测试（隐藏评分器）、效度攻击（盲测+rubric）。这些方法论的价值超出各自的领域：任何要测量"没有标准答案的复杂能力"的场景（教育、组织、科学、AI 对齐）都能从中借到结构。当基准不再是刷分靶子而成为知识生产工具——SciExam 的智能体模型落进 ENSO 理论争论两端的那一刻，评测本身就在做科学了。

至于三篇合读给出的能力地图：智能体的科学能力分布极不均匀——工程实现（求解器）尚在半山腰，数据驱动建模（气候模型）已能登堂入室，而人类级直觉（看一眼就懂）还在山脚。这个不均匀本身就是对"scaling 何时到顶"问题的一个数据点：不同能力的爬升曲线不同步，单一维度的 scaling law 叙事遮蔽了这种参差。下一步值得关注的，是三条路线的合流——比如用 WorldSolver 式的脚手架隔离 + SciExam 式的行为测试去测"智能体能否从物理现象直接发现新方程"，或者给 HSS 式直觉评测加上 agentic 视觉操作后的长期演化。科学能力的尺子，才刚刚造出第一批。

（完）