AI 科学能力的三重考卷：OpenProblemBench、LLM-IDEA 与 Learn2Play Bench —— 精读

论文 1：OpenProblemBench: Benchmarking AI on Open Problems in the Foundational Theoretical Sciences 发表时间：2026 年 10 月 8 日 机构：中国科学技术大学（现代物理系、合肥国家实验室、微观物理科学国家研究中心与物理学院，多单位挂靠）、中国科学院理论物理研究所（理论物理重点实验室）、上海算法创新研究院、Endless Frontier（上海）。高校与科研院所合作，无企业参与；通讯作者为中科院理论物理所 Kun Chen。 领域标签：科学评测基准、数学推理、理论物理、Agent-as-Judge

论文 2：LLM-IDEA: Identifiability-Driven Experimental Agent for Autonomous Discovery of Mechanistic World Models 发表时间：2026 年 10 月 9 日（文中标注 October 9, 2026） 机构：Texas A&M University（美国高校）+ Polara Labs Inc.（美国企业）。两位作者：Surya Shetty（德州农工）、Ulisses Braga-Neto（德州农工教授并兼职 Polara Labs，属高校教师+企业兼职合著）。代码开源于 github.com/Suraskey/llm-idea（tag v1.0）。 领域标签：自主科学发现、系统辨识、可识别性分析、最优实验设计

论文 3：Learn2Play Bench: How Well Do LLM Agents Learn from Experience in Unfamiliar Environments? 发表时间：2026 年 10 月 8 日 机构：National University of Singapore（新加坡国立大学，纯高校，7 位作者：Yibo Li、Jinhang Qiu、Zhi Zheng、Qianyun Guo、Jiaying Wu、Shuo Ji、Bryan Hooi）。项目网站：learn2play-bench-website 领域标签：自进化 Agent 评测、文字游戏、经验学习、Agent Harness

三篇论文看似分属三个领域，实则站在同一个十字路口：当前沿模型已经能在既有知识内答对绝大多数考题时，评测本身必须被推到已知答案之外。论文 1 问「AI 能否在没有人知道答案的未解问题上取得真实进展」；论文 2 问「自主做实验的 AI 在停滞时能否分辨是自己不够强、还是数据本质上不允许答案存在」；论文 3 问「agent 分数的提升究竟是学到了新规则，还是只是调用了预训练里早已存在的知识」。三者共同勾勒出「AI 科研能力评测」的完整纵切面。

一、论文背景

1.1 共同背景：从「答题」走向「做研究」的评测真空

要理解这三篇论文，先要理解它们共同反对的东西：有参考答案的评测。传统的 benchmark——无论是数学题（FrontierMath）、科研代码（SciCode）还是论文复现（PaperBench）——在出题时答案就已经存在，评测只需要比对。但「做研究」的本质恰恰相反：答案不存在，你必须自己判断哪个方向有前途、什么证据能终结争论、一个看似合理的推导是否遗漏了某个参数区间。三篇论文分别从三个侧面填补这块真空。

1.2 论文 1 背景：什么是「开放问题」

开放问题（open problem）指在相关专家文献中尚未解决的研究问题。它不是难题，而是「全世界都没做出来」的题：Goldbach 猜想（每个大于 2 的偶数都是两素数之和）自 1742 年提出至今无人证明。论文 1 的立论依据是 2026 年的两个标志性事件：OpenAI 报告了 AI 生成的三维 Navier–Stokes 方程有限时间爆破证明（附 Lean 形式化）和对一个离散几何猜想的反例。这自然引出一个传统考试无法回答的问题：AI 能否推进专家文献中悬而未决的研究问题？难点在于无参考解的评分——论文 1 的核心贡献正是一套不需要标准答案的四评审盲评协议。

1.3 论文 2 背景：什么是「可识别性」

可识别性（identifiability）是系统辨识领域的经典概念：参数能否被观测数据唯一确定。一个直观类比：给你一架只能称总重的天平，你可以测出两件物品的总重量，却永远无法分出各自多重——这两个物品的重量就是「不可识别」的。这个领域已有数十年积累（Bellman 与 Åström 1970 年定义结构可识别性；Rothenberg 1971 年给出正则点上的判定定理；Fisher 信息最优实验设计更是控制与系统生物学的标准工具）。论文 2 指出的缺口是：当 LLM agent 自主做科学发现、学习「机制性世界模型」并陷入平台期（plateau）时，没有任何现有系统（AI Scientist、Co-Scientist、Kosmos、AlphaEvolve 等）会问一句：这个平台期是能力不足，还是数据本质上不包含答案？把不完整的数据继续拟合一万次也无济于事。

1.4 论文 3 背景：什么是「自进化 Agent」与「预训练污染」

自进化 Agent（self-evolving agent）指不更新权重、仅通过记忆机制在测试时从交互反馈中改进的 agent——Reflexion 做语言反思、ExpeL 抽取洞察、Voyager 沉淀可执行技能、AWM 归纳工作流、EvoTest 进化提示词。但论文 3 点出一个根本混淆：现有评测任务大多基于熟悉的现实场景（写代码、修软件、网页任务），底层规则可能早已存在于预训练语料中。agent 分数提高了，你无法区分它是「从交互中学到了新规则」还是「想起来了自己早就知道的东西」。要干净地测「学习」，必须保证规则是模型没见过的——甚至是反直觉的（比如某游戏里偷同事午餐反而能升职，努力工作不能）。

二、论文定位和关联工作

2.1 论文 1 的谱系：科学评测基准的三代演进

论文 1 的独特定位：每个问题都附带研究语境、假设、已知进展与参考文献（经由 Large Knowledge Model 从文献中提取候选），且为「求解器 × 评审器」矩阵设计了一套四级部分进展分级（trivial / nontrivial / breakthrough / solved）。

2.2 论文 2 的谱系：闭环实验设计 agent 的三条路线

论文 2 的自我定位非常克制：可识别性数学全是前人工作，新东西是「认证式三判决」（certified triage）作为 agent 的停止规则、其可靠性条件，以及把它当作评测引擎反向审计其他基准的元方法。

2.3 论文 3 的谱系：自进化 Agent 评测的两类做法

论文 3 的定位：新设计的隐藏规则游戏（确定性反馈+自动计分+实例重排测迁移），加上人类对照组（每游戏 21–30 名大学生），构成对「学习」本身的干净测量。

三、问题定义

3.1 论文 1：无参考解时如何定义「进展」

• 具体问题：AI 在未解问题上提交了一份论证，没有标准答案，怎么判分？
• 核心洞察：未解问题虽然最终答案未知，但验证结构常常是清晰的——反例可以对照假设检查、分类可以测试充要性、计算证书可以复现、证明可以在决定性步骤处审查。即「高求解难度 + 相对结构化的验证」。
• 形式化：给定 82 个问题集 P 与求解器集合 S，每个 (s, p) 产出一份提交；四个评审器独立给出五级判决 {solved, breakthrough, nontrivial, trivial, unsolved/incomplete}；求解率 = 判为 solved 的问题数 / 82，并对四评审取等权平均。附加 overclaim（提交声称的完成度超过论证实际支持的范围）作为可靠性诊断。
• 精妙之处：把「研究能力」操作化为「求解器-评审矩阵」上的分布，而非单一分数——区分「能做完题的模型」与「能做出有用中间结果的模型」。

3.2 论文 2：平台期的三分类

• 具体问题：agent 学习世界模型时分数不再上涨，该怎么办？
• 核心洞察：平台期只有两种根源——能力不足，或参数在该观测协议下不可识别（再多的同类实验也无济于事）。二者在现有系统里看起来一模一样。
• 形式化：设观测模型 y = f(θ) + ε，局部敏感度矩阵 S(θ) = ∂f/∂θ。三判决：(1) S 满秩且条件数 ≤ 10^8 → 局部可识别，平台期是能力问题（继续搜）；(2) 秩亏但存在未认证的零空间方向 → 类内可解（用设计排序器挑下一个实验）；(3) 每个混淆方向都被证书证明是整个设计类的对称（对类中所有实验方向导数恒为零，且类秩在正则点邻域内恒定，由 Rothenberg 定理保证可靠性）→ 换实验类型或只报告可识别组合。
• 精妙之处：命题 1 同时证明了一条负面结论——任何只依赖类内预测的评分对认证方向是盲的（held-out 误差在等价流形上取同值），这为后来审计 DiscoverPhysics 埋下理论武器。

3.3 论文 3：如何分离「学习」与「预训练知识」

• 具体问题：agent 在多轮游戏里分数上升，如何证明它学到了新东西？
• 核心洞察：只要规则是新颖或反直觉的（与常见游戏知识冲突），预训练知识就无法直接给出答案，提升只能来自交互反馈。
• 形式化：给定游戏 g 的归一化终端分 z_{g,r,t}（按参考分 C_g 归一到百分制），四指标：Max（试次峰值平均，衡量最好表现）、Mean（全程平均，衡量稳定性）、Learning Gain（末 k 集与首 k 集均值差）、Learning Slope（对 episode 线性回归斜率）。挑战游戏权重 3、普通游戏权重 1（两组各占总权 50%），每配置每游戏 3 个独立试次。
• 精妙之处：用「实例重排」（re-shuffled：换菜单换人物但规则不变）把「学规则」与「背实例」再切开一层——只记住了菜的位置的 agent 在菜单变化后学习斜率会崩掉。

四、问题解法

4.1 论文 1：OpenProblemBench 的构建与评测协议

问题收集（输入：文献；输出：82 个自包含题面）。从 Large Knowledge Model 提供的文献信息中筛选候选开放问题，人工复查源论文与后续文献确认仍未解决，整理成包含背景、题面、科学意义、当前进展与参考文献的自包含陈述。入选标准偏向「解法可较客观审查」的问题。最终 46 道数学（组合、代数几何、拓扑、分析、数论、逻辑等）+ 36 道物理（统计力学与可积系统 21、数学物理 7、量子信息 4 等），时间跨度从 2025/2026 年的新猜想到 1742 年的 Goldbach 猜想（约 280 年）。

求解执行。七个主配置各对 82 题提交一份最终解答（共 574 份）：GPT-6-Astra 与 GPT-5.6-Sol 跑在 Codex CLI，DeepSeek-V4.1-Flash 跑在 DeepSeek Harness，Kimi-K3、GLM-5.3、Qwen3.8-Max、GLM-5.3-Flash 跑在 OpenCode。协议允许最长 12 小时持续工作、本地计算可用、主设置禁网。注意论文强调评测对象是「模型-执行配置」而非裸模型权重。

四评审盲评（Agent-as-Judge）。GPT-5.6-Sol、Kimi-K3、GLM-5.3、Qwen3.8-Max 四个评审各自独立审所有提交（共 2296 份评审）：先列出题面施加的论证义务，再检查假设、量词、决定性证明步骤与支撑计算，允许定向重算与查源；必须按提交原样评审、不得替提交者补引理；记录已确立贡献与剩余缺口，并给出 overclaim 判定。

4.2 论文 2：LLM-IDEA 的确定性引擎

Agentic Council（LLM 提议器）。五角色多智能体：理论家 Plato（第一性原理推导）、经验家 Aristotle（残差拟合）、反对派 Diogenes（强制唱反调）、综合者 Heraclitus（桥接假设）、复现者 Parmenides（要求重复验证）。共享一张知识图谱（Agora），其中一角色还从历史提案中蒸馏评判准则注入后续提示。另设三角色辩论法庭，但全部实验中未发出任何模型调用。

可识别性引擎（无任何语言模型）。四个部件全部由 numpy/sympy/scipy 确定性计算，评分路径设有 grep 门禁禁止模型调用：

1. 诊断器：对有理函数/ODE 结构用精确符号检验；一般情形用敏感度矩阵 S 的秩与条件数（中心差分或前向敏感度方程），零空间即「不可识别参数组合」的具体方向向量；
2. 设计排序器：对候选实验按「能恢复的秩」打分，条件数做次级打破平局——论文坦承这是启发式，不是 D/E/最优性准则；
3. 耗尽证书：符号路线把模型闭式表达中的设计变量（时间、半径、剂量、初值）保持符号化，检验混淆方向的方向导数是否对类中一切设计化简为零，并检验类秩在附近参数点不上升（排除奇异点，反例 f=b³x² 在 b=0 处一阶检验会误杀可识别参数）；数值路线堆叠采样设计的敏感度矩阵，给出证据而非证明；
4. 闭环：平台期触发证书；change_class 则在第 0 轮立即终止，零提议器调用。

Alien Universe 测试床。作者自造的二体物理：引力 F_g = G m₁m₂ r⁻²(1+α r⁻³·⁵)、非多项式排斥力 F_s = β s₁s₂ r⁻²(1−cos γr)、切向惯量 μ* = μ + κ s₁s₂（运行点 G=1, α=0.05, β=0.02, γ=0.7, κ=0.3）。隐藏电荷 s₁、s₂ 只以乘积进入动力学，因此单配置观测下必然不可识别，而「同律异荷」的系统家族能提供跨系统变异。深度阶梯 L1（幂律引力）→ L2（修正项指数）→ L3（隐藏属性存在）→ L4（乘积耦合与周期距离依赖），按连续深度计分。

4.3 论文 3：Learn2Play Bench 的受控设计

四原则：规则新颖（含反直觉规则）、自动计分、确定性可复现、跨 episode 受控变化。20 个人工设计的游戏模板（每个可换种子生成多实例）：10 个固定游戏（同实例重复，练地图/配方/路线）+ 10 个重排游戏（换可见实例保规则，测迁移）；试评后选定 5 个挑战游戏（CATNIP、DREAMGARDEN、MOLA TEA、REDEYE、ROADSIDE OBSERVATORY，10 集窗口，其余 5 集）。

被测对象三维矩阵：11 个骨干模型（统一 OpenCode harness）、6 种经验保留方法（NAIVE 跨集丢弃 / MEMORY 累积原始历史 / Reflexion 反思 / EvoTest 进化提示 / ReasoningBank 推理库 / AWM 工作流，各固定骨干对比）、部署级 harness（Claude Code、Codex）。人类对照：每游戏 21–30 名大学生，同一界面，按 Max 取 Top-1/3/5。

证据归档：每个游戏定义局部规则发现目标 T1–Tk，按交互记录标注 S（至少一个试次完整证据）/ P（部分）/ –（不足），使「高分」与「真的发现规则」可以分开核查。

五、评估指标与实验证据

5.1 论文 1：主结果与关键数字

主指标：四评审平均判定求解率（82 题为分母）。

逐评审求解矩阵（每格为 82 题中判 solved 的数量，附录 B Table 3）：

值得注意的是评审器口味差异：GPT-Sol 评审对自己（7 题）和 Kimi（3 题）的判定与其他评审器差异明显，而 Astra 在每一列下都稳居第一——这说明尽管评审器间相关性不完美，头部排序是稳健的。摘要口径：满规模开放模型 5.5–6.7%，Flash 模型 2.4–3.7%。2296 份评审中 2288 份完成；部分进展判决 2095 份 = 768 trivial + 1252 nontrivial + 75 breakthrough。交叉评审一致性：10 题被四评审一致判 solved（8 题来自 Astra），18 题至少被一评审判 solved。学科差异（Qwen 评审口径）：Astra 数学 1/46 vs 物理 8/36，且无任何其他模型获得数学 solved 判决——论文明确说这反映任务构成（可验证性筛选偏向宽泛数学猜想）而非学科能力。

Harness 与联网敏感性（同一 Qwen3.8-Max、GLM-5.3 离线评审）：OpenCode→Claude Code 使 solved 7→5、实质性部分进展 68→59（McNemar 精确检验 p=0.625，方向不平衡不显著）；Claude Code 内开网：solved 不变（5），实质性部分进展 59→68（breakthrough 4→7），且 solved 集合换血（3 题 gained / 3 题 lost）。结论：执行设置改变个体问题表现与部分进展幅度；联网不提高判定求解率但支持更多实质进展。

Overclaim 诊断（判定覆盖内检出率，四评审区间）：Astra 0.0–10.0%、GPT-Sol 3.7–9.2%、Kimi 40.2–73.2%、GLM 15.9–72.0%、Qwen 19.5–74.4%、GLM-Flash 30.5–92.7%、DeepSeek-Flash 36.6–100%。Astra 对自己论证范围的自我描述最可靠。

案例分析四模式（§4.4，六个模型十道共同题）：(a) 重述问题——ORB-MATH-30 上 Astra 走题目允许的反驳路线（单位根处有界+无理参数序列与所求渐近矛盾），Qwen/Kimi 停在数值管线；(b) 从有限证据到一般证明——ORB-PHYS-62（Pauling 剩余熵估计在度增长时的一致误差）Astra 给出与图规模无关的 O((log d/d)^{1/3}) 界，四评审一致判 solved，其余模型均附加了规模-度关系或未证引理；(c) 补全决定性步骤——ORB-PHYS-71 迭代融合同构，Astra 先证直接构造良定义再构造互逆映射，Kimi 留下未解决的规范化与 GLM 留下条件性单射；(d) Flash 模型的构造性推理——ORB-PHYS-82（广义 λ 函数奇异值整性）上全部七个配置都被 Qwen 判 solved，GLM-Flash 用分圆赋值+符号消元走出与满血模型不同的成功路线。

5.2 论文 2：五组实验的核心数字

教科书系统验证（探索性）：四参数 Lotka-Volterra 满状态/仅猎物秩均 4/4（条件数 21/169）、Van der Pol 条件数 1、Lorenz 23/25。口服单室药动学模型秩 3/4，混淆方向沿 (V,F)（余弦 1.000000），排序器在三选一中推荐静脉臂（条件数 1.2×10²）——正是药理学家的绝对生物利用度标准做法；且局部检查看不到 flip-flop 对称（口服观测下交换 k_a、k_e 差异为 0.0，静脉臂差异 1.7）。

选择准则头对头（EXP-262，61 任务相同候选集）：A-最优设计精度最佳（合并中位误差 1.60×10⁻³，64 胜 14 负优于论文排序器，Holm 校正 p=4.9×10⁷ 分数量级）；D-最优/信息增益与论文排序器不可区分；分歧准则最弱（2.81×10⁻³）；随机最差（8.76×10⁻³）。论文据此明确建议：可行性问题用秩、满秩候选中用 A-最优。

第二体制迁移（和耦合 s₁+s₂、修正项 r⁻²·⁵，双工具调校带之外）：结构性诊断在乘积与和两种耦合下零新代码地给出同一混淆对 {s₁,s₂}；跨配置 L3 门在三次运行（原始 EXP-080 的 7/8、修正探针的 EXP-081 的 7/8、双通道修正的 EXP-083b 的 6/8，达到预注册门槛，95% CI [0.35, 0.97]）中保持——而以真值为中心的 L2 带门在引擎被修正后从 6/8 跌到 4/8 再到 2/8，论文将此诚实报告为「隐藏项污染下带指标的负结果」：更忠实于数据的引擎（报告数据最优指数约 2.1，被隐藏电荷项拉偏低于 2.5）在以真值为中心的带上反而得分更差。

反身审计自家指标（EXP-088）：把修正指数当自由参数，排序器把深度评分器自己的观测设计 D1 排在四位候选最末；D1 的无差别带 [2.05, 2.40] 与门带 [3.2, 3.8] 不相交（门通过 3.4 的提案是因为 5% 阈值宽松，不是数据偏好 3.5）；D4 带 [3.15, 5.50] 能排除 r⁻³ 但钉不住 3.5。

整数序列迁移（EXP-084/085，引擎零改动仅换适配器）：从三点尾窗诊断出秩 2/3（大 n 处 log n 数值线性导致），排序器选几何展开（条件数 2.9×10² vs 3.9×10⁶），精确恢复 θ=(1,0,1) 并由 sympy 认证 Vandermonde 恒等式；生成函数证书全程零假证书、一次假阴性。

5.3 论文 3：五大发现与关键数字

发现 1：保留原始历史优于蒸馏成规则。Kimi K3 骨干下 MEMORY（不反思、不抽规则、只累积原始交互历史）四指标全胜：Max 63.3 / Mean 48.0 / LG +16.9 / LS +4.69，超过 EvoTest（62.4/48.0/+1.8/+1.01）、Reflexion（61.6/40.4/+14.8/+3.35）、ReasoningBank（59.9/40.1/+8.3/+2.59）、AWM（56.1/37.0/+4.8/+0.62）、NAIVE（54.7/31.9/+0.3/+0.42）。机制证据：GEMFORGE 中 EvoTest 一次失败融合（jade+opal→矿渣）被泛化成「永远不要尝试二/三级融合」的提示词，封杀了从未测过但会成功的组合。

发现 2：人类 Top-1 峰值仍最高。Human Top-1：Max 84.3 / Mean 53.5 / LG +21.6 / LS +7.33，Max 超过全部 31 个 agent 配置（最强 agent Claude Code+Opus 5 为 81.8）。行为差异：相邻 episode 动作序列相似度人类 0.54 vs agent 0.66；低分后下一集创新高比例 33%（13/39）vs 22%（52/238）。全参与者平均仅 43.6/31.2/+10.4/+2.72——顶尖人类与平均人类差距巨大。分工差异：人类在需要找新策略的 GEMFORGE/GRAPEVINE 更强，agent 在长序列执行与精确计算的 REDEYE/MODEL AUDITOR 更强。

发现 3：Harness 影响巨大且可降本。同骨干换 harness：Claude Code+Opus 5（81.8/62.3/+27.1/+6.59）> OpenCode+Opus 5（74.5/53.8/+21.3/+5.13）；Codex+GPT-5.6-SOL（74.3/54.8/+22.2/+5.66）> OpenCode（57.0/41.1/+14.5/+3.71）。11 个骨干在 OpenCode 下的完整排序（按 Max）：Opus 5.5（80.1）> GPT-6 Astra（76.2）> Opus 5（74.5）> Qwen 3.8 Max（72.5）> Gemini 3.5 Flash（72.0）> Kimi K3（68.5）> Gemini 3.7 Flash（58.3）> GPT-5.6-SOL（57.0）> Sonnet 5（55.9）> DeepSeek V4 Pro（54.2）> GPT-5 Mini（34.0）。成本侧：Kimi K3 上 OpenCode 每集 0.55M 输入 token / $0.313，MEMORY 1.26M / $0.586（输入省 56%）；EvoTest 仅跨集更新就烧 11.5K 生成 token/集，超过 OpenCode 全部生成量（7.2K）；OpenCode 每集 8.1 次调用 vs Reflexion 29.2 / ReasoningBank 29.8（一次响应可批量执行多个游戏动作并去重上下文）。GPT-6 Astra 用确认账单 $150/600 集 = $0.25/集。效率前沿上 Codex+GPT-5.6-SOL（Max/成本比 516.6）与 OpenCode+DeepSeek V4 Pro（Max/百万 token 比 234.3）是两个极端亮点。

发现 4：环境变化拖慢学习。实例重排后学习斜率跌幅（Control − Re-shuf.，十集窗口）：Sonnet 5 跌 2.67（4.90→2.23）、Gemini 3.7 Flash 跌 2.15（4.49→2.34）、GPT-5.6-SOL 跌 1.94（3.72→1.78），而 Opus 5 仅跌 0.59（4.10→3.51）、Kimi K3 跌 0.88（4.19→3.31），Qwen（−0.41，3.16→3.57）与 Codex（−0.19，2.51→2.71）甚至不降。六方法对比中 MEMORY 跌 0.88、EvoTest 跌 0.85、NAIVE 几乎不变（−0.08）——不迁移者本就没什么可丢。SYNERGYCORP 中 Opus 5 把早期学到的特质→偏好映射用于新老板（137 分），Sonnet 5 则对每个新老板重新试错（67 分），Gemini 3.5 Flash 折中地每轮先做一次诊断性试探（84 分）。

发现 5：知规则不等于会规划。HAUNTED INN 中 Opus 5 已说出全部三条禁忌却贪心分配房间，导致后来的客人无安全房可住；下一集才学会预留缓冲位。骨干层面：Opus 5.5 领跑 Max/Mean（80.1/61.0），Qwen 3.8 Max 领跑 LG/LS（+25.2/+6.30）——得分最高的模型不一定是进步最快的模型。

六、效果优势的根源解释

6.1 论文 1：为什么 Astra 在无参考解评测中结构性领先

对比对象：其余六个配置，最好的满规模开放模型求解率只有 Astra 的约一半（GPT-Sol 在各评审下 5–7 题 vs Astra 9–15 题）。

因果链（每步标注证据等级）：

1. 方法差异：案例对比显示 Astra 反复执行三种行为——重述问题为可反驳/可构造的形式（ORB-MATH-30、ORB-PHYS-57）、选择误差可对不受限变量一致控制的表征（ORB-PHYS-62 的谱截断给出与图规模无关的界）、补全决定性引理而非留条件缺口（ORB-PHYS-71）【论文实验已支持：四案例均有四评审一致判决或详尽附录 E 佐证】；
2. 机制变化：这三种行为改变的是论证义务的覆盖结构——一般论证覆盖全部特例，而有限证据/未证引理/与实现共享同一数学错误的检查（ORB-PHYS-76 中 Kimi 的张力实现与暴力比较器共享错误的对偶约定）都留下未覆盖区域【论文实验已支持：附录 E 逐案指出其余模型的具体缺口】；
3. 指标提升：solved 判决 15/13/9/9、一致 solved 的 10 题中占 8 题【论文实验已支持】。

阅读者推测（论文未直接证明）：三种行为可能源自更强的长程探索中方向选择能力，而非知识量差异——支持旁证是 GLM-Flash 以低得多的求解率做出接近满血版的实质性进展（63.72% vs 62.80%），说明「知识量」与「研究行为」是可以解耦的两个轴。

反事实证据：harness 实验显示同一 Qwen 换 Claude Code 后 solved 7→5（McNemar p=0.625）——执行环境影响个体问题表现，说明求解率度量的是「模型-配置」复合体；开网不提升 solved 但实质性进展 59→68，说明外部信息主要补充中间结果而非终结论证。

6.2 论文 2：为什么观测协议切换造成 1/8 → 8/8 的悬崖

因果链：

1. 方法差异：单配置下电荷只以乘积 s₁s₂ 进入所有可观测量，(s₁,s₂) 沿 (1,−1) 方向是每个设计的对称；家族协议提供跨系统的乘积变异【论文实验已支持：确定性无 LLM 审计证明等积配置积分出比特级相同轨迹】；
2. 机制变化：跨系统变异使全局常数 β 无法再吸收乘积变化，幅度模型的敏感度矩阵从秩 1/2 恢复到秩 2/2；因子分解实验把效应干净归因——L3 层 16/16 vs 4/16（p=1.6×10⁻⁵）归于家族，L2 层 16/16 vs 8/16（p=0.0024）归于拟合引擎【论文实验已支持】；
3. 指标提升：深度 ≥3 从 1/8 到 8/8（Cliff’s δ=0.906）【论文实验已支持】。

类内盲区的验证（这是全文最硬的一条机制预言）：命题 1 推论——任何只用类内预测算的分数看不见认证方向。DiscoverPhysics 审计把它变成可检验预测并命中：认证等价世界里轨迹准确的模型 15/15 挂掉解释分，可识别世界只有 5/9（p=0.012）【论文实验已支持，且为预注册预测】。注意论文同时诚实报告了 9 个预注册世界判决中 2 个被证伪（gravity、yukawa 实际是 resolvable 而非 identifiable）、天花板排序预测不被支持（Mann-Whitney p=0.34）。

外部对照与适用边界：

综合判断：「跨系统变异打破参数简并 → 秩恢复 → 深度提升」得到论文内因子实验与教科书药动学案例双重支持，属多来源共同支持；「任务文本同时改变」（家族臂提示词明说了隐藏属性存在）使提升不能全部归因于数据本身——论文自己在限制章节承认这是协议与提示的联合效应；证书的数值路线跨平台不完全复现（Michaelis-Menten 格 1.2×10⁻⁷ 略超 10⁻⁷ 门），适用边界在有限差分噪声底。优势成立条件：问题确有参数化结构且设计类可显式声明；若假设类声明过窄，证书会在更宽类可解时误报耗尽。

6.3 论文 3：为什么原始历史打败精心设计的蒸馏

因果链：

1. 方法差异：MEMORY 保留逐动作的完整证据链；Reflexion/EvoTest/AWM 把证据压缩成规则/工作流再注入提示【论文实验已支持：设置描述】；
2. 机制变化：规则是从有限试次的不完全证据中归纳的，一旦早熟就被后续 episode 当真理执行，关闭了反例修正通道——GEMFORGE 中 EvoTest 把一次失败泛化为禁止全部未测组合即此机制的直接观察【论文实验已支持：附录 B.1.3 案例明说该案例不建立因果、只展示机制】；原始历史则允许模型在反馈与旧结论冲突时重读原始证据修正解释【论文实验已支持：POISONER 中 Kimi K3 对比各集接受菜品逐步排除酸度/温度/锁定咸度的过程记录】；
3. 指标提升：MEMORY 在 Kimi K3 上四指标全胜、三骨干平均也最高（57.6/44.5/+11.4/+3.04）【论文实验已支持】。

Harness 优势的双根源（论文给出的解释，标注为作者解释而非受控证明）：其一是模型在自家 harness 上训练过（Claude Code↔Claude、Codex↔GPT），工具协议与模型能力协同；其二是执行经济学——OpenCode 允许模型自主决定何时回看反馈/计算/检查计划，并可一次响应批量执行多个动作、去重重复的游戏反馈，从而调用次数（8.1 vs 27–30 次/集）与输入 token（0.55M vs 1.26M）双降。第二根源有直接token 计量支持，第一根源论文仅引官方文档佐证【前者论文实验已支持，后者为作者解释】。

人类优势的根源：行为统计（相似度 0.54 vs 0.66、挫折恢复 33% vs 22%）指向探索-利用平衡——agent 找到部分有效的策略后倾向重复（GEMFORGE 中 Opus 5 得出「高价值宝石做不出来」的结论后只重复已知配方），人类更持续地试新。论文明确标注这些是描述性比较而非因果检验。

综合判断：得到多来源支持的机制是「过早压缩损害可修正性」（MEMORY 结果 + GEMFORGE 案例 + POISONER 正面对照三处一致）与「harness 的执行经济学」（token/调用计量直接可验）；仍属推测的是「模型-harness 联合训练」解释与「人类探索偏好」的解释（后者无因果实验）。适用条件：MEMORY 的优势依赖长上下文与低成本输入，在上下文预算紧张或每步调用昂贵的部署下未必保持——论文自己指出 MEMORY 输入量最大（Kimi K3 下 1.26M token/集），Claude Opus 5 下 MEMORY 成本 $3.09/集是最贵配置之一。

七、必要知识反推

假设让一个毫无背景的人重做这三篇论文，最少需要哪些知识？

领域知识层：

• 数论/代数几何/统计力学等具体数学物理内容（论文 1 的选题与案例审查需要作者能读懂源文献判断问题是否仍开放、解法在哪一步决定性——没有这个就无法构建 82 题与附录 E 的案例分析）；
• 常微分方程与动力系统、参数估计理论（论文 2 的敏感度方程、正则点、辛积分器；Alien Universe 的中心力场哈密顿力学是教科书内容，但隐藏力项是自造的）；
• 博戏设计与评分系统设计（论文 3 的 20 个游戏需要既能藏规则又能保证参考分可计算——精确 791 分的 GEMFORGE 参考分意味着作者自己持有点数论证或求解器）。

方法论知识层：

• 无参考答案的评测方法论：部分进展分级、多评审独立性、overclaim 诊断、交叉评审一致性分析（论文 1）；
• Rothenberg 定理与结构/实际可识别性的整套工具箱：符号微分消去、Fisher 信息、A/D-最优设计、sloppy 谱（论文 2 的理论骨架全部是前人的，作者自己说「数学是 prior work」）；
• 受控比较的实验设计：配对消融、预注册与失效条款、因子分解归因、试次方差传播（论文 2 的 EXP 编号体系与论文 3 的三试次协议）；行为测量（序列相似度、挫折恢复率）。
• 训练数据污染的诊断意识（论文 3 的全部设计出发点）。

工程知识层：

• 多 harness（Codex CLI、OpenCode、Claude Code、DeepSeek Harness）的统一执行协议与成本核算（三篇论文都做了：论文 1 的 harness 对比、论文 2 的 grep 门禁与成本上限、论文 3 的 token 级成本表）；
• 确定性评分管线：sympy 认证、numpy/scipy 数值路径、与 LLM 调用的严格隔离（论文 2 的可复现性三原则）；
• 大规模游戏实例生成与规则发现证据的归档标注流程（论文 3 附录 D 的 20×T 矩阵）。

知识融合的关键节点：

1. 论文 1 的创造性节点：把「评审一篇数学论文的义务清单」操作化为 agent 可执行的判决协议——数学审稿常识 × LLM 评测工程；
2. 论文 2 的创造性节点：把计量经济学的识别定理（Rothenberg）搬到 agent 循环内部变成停止规则，再把同一工具反向对准基准自己的评分器——理论移植 × 元评测视角；
3. 论文 3 的创造性节点：用「反直觉规则」切断预训练先验，再用「实例重排」切断实例记忆——博弈设计 × 混杂因素控制；
4. 三篇共同的深层融合：评测者必须先证明自己的仪器有效——论文 1 用四评审交叉与案例审计，论文 2 用可识别性证书审计基准，论文 3 用参考分证据分级（exact/partial/estimated）与规则发现标注。

八、论文中可以提取的通用性灵感

灵感 1：无参考答案时，把「进展」分级而不是二值化。论文证据：OpenProblemBench 的 trivial/nontrivial/breakthrough 分级揭示出求解率完全隐藏的结构（Kimi 的 breakthrough 段 6.10%、GLM-Flash 实质性进展接近满血版）。推广场景：开放式产品设计的用户反馈评估、研究生的开题评审、投资尽调中「距离可投资还差什么」的分级、代码评审中区分「能跑」与「接近可合并」。

灵感 2：停止之前先证明「停止是合理的」。论文证据：证书使 EXHAUSTED 从预算判决变成第 0 轮的数学证明，省下全部提议器调用（EXP-078 总花费 $0.11）；RC 电路对该协议全类耗尽被事先命名。推广场景：调试中先确认 bug 可复现路径存在再投入、A/B 测试前先做效应量可检测性分析、招聘中先定义「该岗位数据能否区分候选人」再面试、任何「再加一轮迭代」的决策前先问数据是否包含答案。

灵感 3：原始证据优于早熟的总结——压缩是有损且会自我强化的。论文证据：MEMORY 以零蒸馏打败五种精心设计的记忆方法；EvoTest 的一次失败被泛化成封杀未测组合的规则。推广场景：代码注释应链接到原始 issue 而非只留结论、会议纪要保留关键分歧而非只记决议（决议的语境丢失后无法修正）、RAG 系统存原文片段加引用而非只存摘要、个人笔记系统保留来源。

灵感 4：先审计度量衡，再相信测量结果。论文证据：论文 2 把诊断器对准自家深度评分器（D1 设计排名垫底、无差别带与门带不相交）与 DiscoverPhysics（两世界认证等价、15/15 失败模式被预言命中）。推广场景：面试题先测能否区分应录与不应录、KPI 上线前检查其可被操纵的等价类、任何 leaderboard 发布前跑一遍「满分是否存在多条不可区分路径」检查。

灵感 5：测量的是系统而不是部件——harness 是第一公民。论文证据：同骨干换 harness，solved 7→5（论文 1）、四指标全面变化且成本反降（论文 3：81.8 vs 74.5 同时 $0.647 vs $2.57 每集）。推广场景：模型选型必须在目标编排框架内测、员工绩效评估应把工具链纳入变量、任何「换个人就不行」的岗位要先检查是人的问题还是配套的问题。

灵感 6：想测学习，就造模型没见过的世界。论文证据：反直觉规则 + 自造物理定律（Alien Universe 的力律只存在于作者代码中，「恢复它的任何步骤都无法从训练语料检索到」）+ 新设计游戏，三篇不约而同用「新颖性」隔离先验。推广场景：员工培训效果评估用新造案例而非经典案例、防背题的教育测评、检验顾问是真分析还是套模板、模型安全评估用未公开的红队场景。

灵感 7：人类的「低效」可能是未被理解的优势。论文证据：人类动作序列相似度更低（0.54 vs 0.66）、挫折恢复更频繁（33% vs 22%）、需要新策略的游戏（GEMFORGE/GRAPEVINE）上峰值更高（Top-1 Max 84.3）。推广场景：推荐系统的探索预算不应只看即时 CTR、组织要给「重复尝试失败」留制度空间、agent 设计中显式加入「部分有效策略下的强制再探索」。

结语

三篇论文放在一起读，最深的印象不是任何单个数字，而是一种共同的方法论自觉：当 AI 的能力评测逼近知识边界时，评测学的三个经典难题——无参考答案的评分、停止条件的正当性、学习与记忆的混淆——分别得到了工程化的回答。OpenProblemBench 给出「评审团 + 进展分级」，LLM-IDEA 给出「可识别性证书」，Learn2Play 给出「新颖规则 + 实例重排」。它们也共享同样的诚实：论文 1 承认结果只是模型判断、需专家复核；论文 2 把每一次预测失败与平台依赖都写进正文；论文 3 明确标注行为对比是描述性的。在人人谈论 AI 科学家的一年里，这三篇论文做的事情更像是在为「AI 科学家」这门课先出好考卷——而出好考卷，从来都是科学 itself 最硬核的工作之一。