自我改进的验证经济学：赢者诅咒、想法级批评与裁判扩展 三论文精读

论文一：The Winner’s Curse in LLM Self-Improvement Loops: Selection Noise, Lock-in, and Acceptance Rules 发表时间：2026年10月7日（arXiv v1，34 页，代码与实验记录以附属文件提供） 机构：Meta（Litao Hu）、Microsoft（Yutong Tang），两人分别署名两机构 领域标签：cs.AI / cs.LG

论文二：Verify Less, Evolve More: Training Idea-Level Critics for Verification-Efficient ML Evolving Agents 发表时间：2026年10月6日（arXiv v1，28 页） 机构：Penn State University 与 Meta 合作；前三作者（Jiamu Bai / Lizhu Zhang / Xin Yu）共同一作，工作在 Meta 实习/合作期间完成，Bo Peng（Meta）为项目负责人——典型的"高校学生 + 企业合著"模式 领域标签：cs.AI

论文三：VeriFine: Scaling Verification for Self-Improvement in Embodied Reasoning 发表时间：2026年10月6日（arXiv v1，27 页；项目主页） 机构：NVIDIA 主导，第一作者 Zewei Zhou 为 NVIDIA 实习生（UCLA），联合 UC Berkeley、Stanford；NVIDIA 提供内部驾驶数据（200 万 clips）与算力（20 块 H100） 领域标签：cs.AI / cs.RO

一、论文背景：自我改进的瓶颈正在移向"验证"

什么是 LLM 自我改进（self-improvement）？ 让一个以 LLM 为核心的系统自己提出对自身的修改——改写指令、改提示词、改代码、改训练数据——然后在某个评测集上打分，得分更高才保留（keep-if-better）。把这个循环转起来，系统理论上能越跑越强，无需人工干预。从 2023 年的指令进化（Aderinto 等的 OPRO）、程序化提示框架 DSPy（Khattab 等），到 2025 年 DeepMind 的 AlphaEvolve（Novikov 等，用进化式 coding agent 改进矩阵乘法与数据中心调度），这条路线已经从"调提示词"长到了"改世界级算法"。

这个循环里被长期忽视的一环是"验证"。 每一轮保留决策都依赖一个评测分数，而这个分数几乎总是在很小的评测集上测出来的——16 道题、32 条验证样本是常态，因为完整评测太贵。问题随之而来：

1. 小评测集上的分数是有噪声的测量。一道题的对错带有随机性，16 题的平均分噪声更大。当你在多个候选里挑"测得最高"的那个，你挑中的往往不真是最好的，而是"运气好"的那个——这在统计学里叫赢者诅咒（winner’s curse）：拍卖中出价最高者往往是高估了价值的人；A/B 测试里被上线的实验往往是噪声里虚高的那个（Smith & Winkler 2006 的 optimizer’s curse；论文一正是把这一经典理论引入 LLM 自我改进）。
2. 验证本身很贵。在 AI-for-ML 场景里，“验证一个想法"意味着真的去训练模型、跑评测——一次验证可能花费数小时 GPU 时间。进化搜索每轮提出几十个候选，全部验证预算根本不够用。
3. 验证器自己会过时。自我改进的策略不断暴露新的失败模式，而验证器（裁判/judge/奖励模型）是静态的——它只会判旧错误，认不出新错误。策略一旦逼近验证边界，反馈失真、reward hacking 随之而来。

这三篇论文恰好各攻其一：论文一证明"小评测集上的自报增益为什么会虚高、虚高多少、以及为什么常见补救无效”；论文二训练专门的批评模型，在昂贵验证之前预判想法优劣，把验证预算集中在最有希望的候选上；论文三让裁判随策略共同演化，用最小量的人类校准扩展验证边界。三者合起来，构成了自我改进系统的"验证经济学"：度量为什么失真（统计）、预算如何配置（学习）、能力怎样扩展（共演化）。

值得强调的时间线索：三篇论文都出现在 2026 年 10 月上旬，且都把矛头对准同一个此前被默认"没问题"的环节——这不是巧合，而是领域成熟的信号：当生成候选越来越便宜，验证就成了新的稀缺资源。

二、论文定位和关联工作

三篇论文处在同一研究版图的三个相邻格子。按谱系梳理：

谱系一：提示/程序优化与选择偏差（论文一的位置）

• 前序工作：OPRO（Aderinto 等 2023，LLM 作优化器进化指令）、DSPy 生态中的 MIPROv2（Opsahl-Ong 等，EMNLP 2024，贝叶斯优化搜指令+示例）与 GEPA（Agrawal 等，ICLR 2026 Oral，反射式提示进化，宣称以 35 倍更少的 rollout 超过 GRPO）。这些工作的报告增益普遍以复用的验证集分数为准。
• 同期质疑：论文一引用了 2026 年的一系列审计——进化出的 agent harness 在匹配预算下并不稳定胜过测试时扩展（Wang 等 2026）、greedy 接受会提交大量错误或有害编辑（Shawn 2026）、自训练增益可能是评测伪影（Xu 等 2026）、41 篇论文方法学审计发现普遍缺失效度控制（Arce 2026）。
• 论文一的突破：不满足于"指出问题"，而是给出可预测偏差规模的闭式模型——把选择问题放进随机效应框架（同代候选共享误差），导出高估量随候选数、评测集大小的解析关系，并用预注册实验证实。这是从"审计"到"测量理论"的升级。

谱系二：奖励模型 / 生成式批评（论文二的位置）

• 前序工作：标量奖励模型（RLHF 经典路线）、DeepSeek-GRM（Liu 等 2025，Self-Principled Critique Tuning 训练通用生成式奖励模型，先自造原则再批评）、批判性奖励模型系列。这一系工作的输入是"查询-回复"对，用于通用偏好判断。
• 论文二的突破：把批评对象从"回复"上移到"想法"（一个 ML 修改提案），输入是"父解-子提案"对；标签不来自人工标注，而来自真实执行结果（跑过才知道好坏）；并且证明了"直接拿前沿模型当选择器"收益有限（Gemini-3.1-Pro 当选择器只有 39.85 分，训练后的小模型 41.51）——专用小模型在这个窄任务上超过 15 倍大的通用模型。

谱系三：具身推理评测与裁判演化（论文三的位置）

• 前序工作：驾驶推理评测依赖受限 QA 格式与人工参考答案（LingoQA/LingoJudge，Marcu 等，ECCV 2024，分类器裁判与人类 Spearman 0.95 但需人工参考）；驾驶专用 judge 主要评轨迹质量。参考型评测难以扩展、对标注噪声敏感。
• 论文三的突破：其一，免参考裁判（reference-free）——直接从物理上下文评推理，不需人工参考答案，才能在线大规模打分；其二，裁判不是静态工具而是与策略共同演化的组件——这是从"更好的裁判"到"裁判改进循环"的范式变化。

定位对比表：

三篇互为镜像：论文一说"你在选择集上看到的进步是幻觉"；论文二说"那就少验证、先让学习到的批评家筛一遍"；论文三说"裁判本身也要进循环，且人类要低成本地参与校准"。

三、问题定义

三篇论文面对的具体场景不同，但都把问题抽象到了同一个本质层面：在带噪声/带成本/会漂移的验证器约束下，如何做出正确的保留决策。

论文一的抽象：把 keep-if-better 形式化为测量噪声下的选择问题。给定一代 K 个候选，每个候选有真实效应 Δk 与测量效应 Δ̂k = Δk + 误差；系统选 k̂ = argmax Δ̂k 并提交。核心洞察是误差结构：同代候选在同一套评测题上打分，它们的误差是相关的（共享误差 + 特异误差的随机效应结构，Assumption 1）。要回答：E[Δk̂ − 平均] 是多少？——即"测得最好的那个，真实比平均好多少"。这与数量遗传学的育种者方程（breeder’s equation：选择差中只有遗传力 h² 的比例能传递给下一代）、贝叶斯决策里的选择悖论（Dawid 1994）同构。给定测量模型与候选分布，求最优提交阈值与高估规模的闭式解。

论文二的抽象：把"验证预算分配"形式化为二阶段决策。给定一轮进化中产生的 M 个修改提案、每个提案的真实改进量 δ_i 未知、每执行一次真验证成本为 c、总预算 B；训练一个预测器 f（想法级批评模型）输出对 sign(δ_i) 的判断与置信度。求：f 的训练目标与路由策略，使同等 B 下最终解质量最大。关键抽象在于把"想法好不好"从"执行后才知道"变成"执行前可预测"——本质上是在学一个面向进化轨迹的奖励模型，但标签由执行结果免费产生。

论文三的抽象：把"验证器过时"形式化为策略-裁判的分布漂移跟踪问题。给定策略 π_t（随训练变化）、裁判 J_t、人类判断 H；自我改进使 π_t 的失败分布 P_fail(t) 持续漂移，而固定 J 的判别能力定义在旧的 P_fail 上。求：最小化人工查询成本的前提下，使 judge-人类一致性 corr(J_t, H) 在 P_fail(t) 上持续保持高位的最小干预序列。精妙之处在于不把人当作无穷的标注源，而当作"只在裁判与人类分歧且信息量大的案例上"被选择性查询的校准信号。

三个抽象共享同一个深层结构：验证是一个有成本、有噪声、会失效的信号源，自我改进系统的真实进步速度 = f(验证信号的质量 × 验证预算的效率)。三篇论文分别优化这三个乘子的不同因子。

四、问题解法

4.1 论文一：随机效应选择模型 + 三层实证

核心模型（Section 3）：同代 K 个候选共享在位者的误差项（因为都在同一套 n 题上测），各自的测量效应 = 真实效应 + 共享误差 + 特异误差。三个命题递进：

• Proposition 1（赢者诅咒的规模）：最优测量候选的期望高估 = (1−h²w)σw·κK + E[c]，其中 h²w 是"信度"（真实方差/测量方差的比例），κK 是 K 个候选中最大值对应的期望选择强度（K=4 时 κ≈1.77），c 是共享误差。直觉：候选越多（K 越大），从噪声里"挑出运气最好者"的放大效应越强；信度越低（评测集越小），诅咒越大。
• Proposition 2（最优提交阈值）：短视贝叶斯解为 τ* = −μe²/s²——当多数提案有害（μ<0）且候选间差异小（s≪e，真实效应标准差远小于噪声）时，最优阈值是负的但绝对值有限；这正是"应该接受看起来略降分的候选"的形式化理由。
• Proposition 3（Goodhart 漂移）：在 fresh-set 模型下，若真实改进为负（μ<0）且分布不随代变化，greedy 以正概率永远committing——选择压力把系统锁死在"优化评测集"而非"优化真实能力"上。

实证设计（三层，层层递进）：

1. Oracle 插桩循环：Qwen 模型自改指令（TREC / Banking77 / GSM8K 三任务），每个候选除了在选择集上打分，还同时在 600 题 held-out 金标集上打分——等于给循环装上了"上帝视角"，可以直接观测每次选择决策的真实后果。200 次重划分、9 个设置（3 模型 × 2 代际 × 2 推理栈）、n=8~256。
2. 预注册确认实验：先写好假设（H1-H5）与样本量再跑，防止事后挑结果。
3. 真实优化器插桩：对 DSPy 里的 GEPA 与 MIPROv2 接上同一套 held-out 集，测量工业级优化器的验证分数虚高。

补救方案：既然增益误差由全体候选共享、无法从选择集内部消除，就用 64 题从未参与选择的审计集（audit set），只对"种子指令"与"最终指令"各测一次（共 128 次评测，约为 n=16 循环名义预算 1280 次候选评测的十分之一），用两点差估计真实增益。

4.2 论文二：从执行轨迹训练想法级批评家

第一步：把执行结果变成免费标签。在 MLE-Dojo 与 MLS-Bench 两套 ML 进化环境里跑真实 Agent（Gemini-3.1-Pro 提案并实现），采集父-子对（当前解 vs 修改后的解），每一对都真的训练+评测过，按执行结果与父特定阈值 z 分标注为五级：BigWin / MediumWin / SmallWin / Tie / Lose。共 ~28K 执行标注样本：12.5K 进 SFT/评测池（其中 ~11K 训练 + 1.5K 构成静态基准 ML-Idea-Critic-Bench），15.5K 进类均衡下采样的 GRPO 池。这一步的本质：把"想法是否有效"从昂贵的执行结果，蒸馏成可大规模学习的监督信号。

第二步：软 rubric 推理模板。批评模型不只输出结论，而是先生成任务特定的准则列表（针对该 ML 任务什么算好修改），然后逐条比较父与子，再自主定权聚合出结论。教师批评由 Gemini-3.1-Pro 合成（每例独立采 8 条批评，按质量分三层难度分层：Sampled / Revised / Guided，各取约 500 例），先 SFT。

第三步：GRPO 对齐。以 ±1 二元奖励（预测方向是否正确）做 GRPO，进一步对齐。

三处应用：

1. 推理期选想法（集成进 OpenEvolve）：每轮 Gemini-3.1-Pro 提 16 个想法，批评模型对每个想法做 16 次推理批评投票，只把票数最高的 1 个送去真验证；3 岛 × 10 轮 = 每任务恰好 30 次真验证。
2. 测试时持续学习：TT-GRPO / TT-SDFT（LoRA 级测试时对齐）。
3. 策略训练的奖励模型：训练提案策略时，批评模型对低不确定性候选（u<0.25）直接用多数票给奖励，只有不确定的候选才送真验证器。

4.3 论文三：VeriFine 双循环框架

Policy Improvement Loop（策略改进循环）：

• 免参考 rubric 裁判：教师是 Claude Opus 5，按两维 rubric 打结构化诊断分——Action（指令一致性、安全性）与 Component（视觉接地、行为相关场景要素覆盖、因果关联）。不需要人工参考答案，直接从物理上下文评推理质量。
• 裁判识别失败模式 → 构建自适应课程（先正常场景、再挑战场景、后平衡）→ 裁判分作 GRPO 奖励（驾驶，带 KL 正则）或 SFT 数据选择（导航）。
• 蒸馏：把校准后的教师裁判能力蒸馏到 Qwen3-VL 2B 学生（各 rubric 维度建模为分类目标，等权 BCE）。学生推理 0.07 s/样本、比教师快约 300 倍——这个速度是免参考设计 + 小模型才可能达到的，支撑 GRPO 的高频奖励查询。

Judge Improvement Loop（裁判改进循环）：

• 触发条件用两个统计量：进展停滞（ΔP̄ 小，策略在锚定评估集上不再涨）与裁判-性能背离（Gt = |ΔR_judge − ΔP̄| 大，裁判说好但策略没变好）。
• 选择性人类查询：只对"信息量大的失败案例"（裁判与人类分歧大、且属于新暴露失败模式的）向人提问。
• 共 active 校准（coactive calibration）：人与 agent 迭代消解分歧——人不是不可错的 oracle，双方在争议案例上交换结构化诊断与评估依据，收敛于一个共享的物理推理 rubric，再据此修订裁判。累计评估集 Jt 防止裁判改进造成旧能力遗忘（R3 阶段直接在累积场景上验证而不新增测试集）。

类比：论文三像"驾校教练与学员共同成长"——学员（策略）暴露新错误，教练（裁判）判不了新错误就去请教考官（人类），但只问真正拿不准的案例，并把学到的判据固化进自己的评分表（rubric），下次能独立判断。

五、评估指标与实验证据

5.1 论文一的指标体系与证明力

主指标是两个口径的差：通胀（inflation）= 程序在选择集上的分 − held-out 准确率；增益高估（overstatement）= 选择集上测得的增益 − held-out 增益。所有关键结论都有配对种子与 Holm 校正。

证明力分析：这套设计的强处在于 oracle 插桩让"真实进步"可直接观测——不是拿另一个更大的评测集当参考，而是让每个候选都在金标集上有真值，因此"虚高"不是推断而是测量。预注册（4 设置 × 8 种子）则排除了事后挑选有利结果的嫌疑。特别注意 H1 的细节：扩大选择集不仅缩小虚高，还在 TREC 上真实提高了 held-out 增益（+10.5 分）——因为噪声小了，选择更准了。这是"修测量"能带来"真进步"的直接证据。

5.2 论文二的指标体系与证明力

三层指标：静态预测准确率（Dir-3，三向方向准确率：赢/平/输）→ 端到端解质量（域均分）→ 验证效率（同等预算下的策略更新步数）。

证明力分析：这个设计的巧妙在于同预算对照——推理期实验把 30 次真验证全部投给"批评模型投票最优"的想法，与"不筛随机挑"对比，两者验证成本完全相同，增益差只能来自筛选质量；策略训练实验同理，10,000 次真验证是硬约束，2.75× 的更新步数是预算转移的直接后果。不确定性分析补充了机制证据：k=16 次投票时 AUROC 饱和，T=0.25 阈值能召回约 70% 的批评错误、只路由约 30% 的想法送验——说明"不确定性路由"确实把验证留给了模型自己拿不准的部分。

5.3 论文三的指标体系与证明力

双主线指标：策略侧（推理分、minADE/ADE 驾驶指标）与裁判侧（judge-人类 Pearson r / MAE）。数据：内部驾驶推理数据集（200 万 clips、25 国），锚定评估集 2,134 样本、独立测试集 2,772 样本。

证明力分析：最有力的是两组消融的交叉：课程消融（固定裁判、只换选数策略）分离出"裁判引导的课程"的贡献（+14.6/8.1/4.5% 递减——合理，因为好摘的果子先摘完）；裁判消融（固定骨干、只做共 active 校准）分离出"校准"的贡献（0.67→0.85）。R1 学生在挑战子集 r=0.07→R2 校准后 0.74 的诊断，则直接展示了"策略逼近验证边界 → 裁判失灵 → 校准恢复"的完整周期，是"裁判必须演化"的微观证据。

六、效果优势的根源解释

按三篇分别建立因果链，每步标注证据来源，再做外部检索交叉验证。

6.1 论文一：为什么自报增益必然虚高，为什么补救规则无效

因果链（方法差异 → 机制变化 → 指标表现）：

1. 机制起点：keep-if-better 在噪声测量上取 argmax → 选中者偏倚于"正向噪声"（论文实验已支持：oracle 数据 4~39% 候选真实更优、均值效应为负，选择差几乎全由噪声贡献）。
2. 误差相关性放大：同代候选共享选择集误差 → 高估规模 = (1−h²w)σwκK + E[c]，随候选数 K（κ4≈1.77）增大、随 n 缩小而放大（论文实验已支持：模型隐含比值与观测比值 MAE=0.034，9 设置 × n=8~256 全谱吻合）。
3. Lock-in（在位者通胀）：被接受的候选带着正向噪声成为在位者，后续所有候选与它比较都要先翻越这道"虚假门槛"→ 复用选择集 11~20 代后在位者通胀达 13.6±1.7 分（n=16；7.2±1.1 @ n=64；1.7±0.6 @ n=256）（论文实验已支持）。
4. 为什么校准规则在完整运行中失效：贝叶斯门、select-then-confirm 只修正"特异噪声"引起的孤立决策偏差（pilot 门比 greedy 低 2.1±1.1 分、select-then-confirm 低 1.6±1.2 分、McNemar 在 TREC 放弃 7.4/12.3 分真实增益）——因为共享误差项 E[c] 由全体候选共享，任何只看选择集内部信息的规则都无法消除它（论文实验已支持：所有测试规则均未在整个运行中胜过 greedy）。
5. 为什么审计集有效：64 题从未参与选择 → 与选择集误差独立 → 两点测量（种子 vs 最终）直接把偏差归零、RMSE 15.5→5.7（论文实验已支持；单次估计仍差约 6 分，因为 64 题本身的测量噪声）。

一个必要的诚实标注：native 循环首代提交的 9.1 vs 9.0 是平均值层面的吻合，单设置误差达数分（如 1.5B TREC 1.9 vs 5.9、Banking77 12.9 vs 7.0）——模型预测的是平均规模而非单次命运（论文自己明确承认）。

6.2 论文二：为什么训练的小批评家胜过 15 倍大的前沿模型

因果链：

1. 数据机制：执行标注把"想法有效性"从一次数小时的真实训练变成一行标签 → 28K 样本让判断力成为可学习技能（论文实验已支持：基座 Qwen 41.3% → 训练后 60.7%，差距全部来自数据）。
2. 结构机制：软 rubric 强制"逐准则比较"为 RL 提供稳定的学习结构 → freestyle 推理在 GRPO 后从 55.6% 崩到 40.3%，软 rubric 从 55.6% 升到 60.7%（论文实验已支持；SFT 后两者相当，说明结构的价值在 RL 阶段才显现——无结构自由文本的输出空间里，±1 稀疏奖励引导出的"捷径"（更短、更表面的分析）被奖励同样多，规范约束了等价类）。
3. 效率机制：不确定性路由只让 36.3% 想法消耗真验证 → 同预算下策略更新步数 ~40 → ~110（2.75×）→ 提案策略在同等真验证信息量下多学 2.75 倍 → 域均分 +5.6/+5.3（论文实验已支持；T=0.25 召回约 70% 错误说明被送验的恰是难例）。
4. 推理期机制：16 提案 × 16 票选 1 → 30 次真验证全部投给高后验候选 → 无需增加任何验证成本，解质量 +2.7 分（论文实验已支持）。

边界（论文实验已支持的适用条件）：静态基准 60.7% 的绝对值并不高——四成判断仍错；增益依赖"任务与轨迹分布和训练数据同类"（ML 任务、Gemini 提案器）；直接提示前沿模型当选择器收益有限（39.85），说明判断力来自领域内执行数据而非通用能力。

6.3 论文三：为什么裁判必须共同演化，为什么少量人类校准就够

因果链：

1. 失灵机制：静态裁判定义在旧失败分布上 → 策略改进后逼近验证边界 → 反馈失真（论文实验已支持：R1 学生裁判在挑战子集 r 仅 0.07——几乎随机——而同期在首轮子集仍有 0.72）。
2. 恢复机制：共 active 校准针对分歧案例修订 rubric → 固定 Opus 5 骨干下 r 0.67→0.85（论文实验已支持：增益来自校准而非骨干，排除了"换更强模型"解释）。
3. 传导机制：裁判恢复可靠 → 课程选择重新有效（+14.6/8.1/4.5%）+ 奖励信号可信 → 策略分逐轮递增 67.30→70.59→71.61（论文实验已支持：若无 R2 校准，R2 的 70.59 不会出现——裁判消融与轮次增益的时间对应支持这一点）。
4. 可扩展机制：免参考 + 2B 学生蒸馏（0.07 s/样本、快 300 倍）→ 裁判可在线高频打分 → GRPO 的高频奖励查询在经济上可行；参考型裁判（如 LingoJudge 需人工参考）无法支撑这一环（论文实验已支持：LingoJudge 0.65/0.23 且需参考；VeriFine 学生 0.82/0.17 免参考）。

6.4 外部检索交叉验证

检索说明：以上链接均经本次逐条核验可访问。论文一引用的 2026 年同期审计（Wang 等 2026、Shawn 2026、Xu 等 2026a、Arce 2026）在本次检索范围内未取得原文（anysearch CLI 不可用，WebSearch 未命中具体条目），不做展开，仅按论文一转述呈现并如实标注。

6.5 综合判断与未决问题

多项证据共同支持的机制：(1) 噪声下 argmax 选择必然高估（论文一闭式模型 + oracle MAE 0.034 + 育种学/A-B 测试跨域同构 + GEPA/MIPROv2 插桩）；(2) 结构化批评模板对 RL 稳定性关键（论文二 freestyle 40.3 vs rubric 60.7 的消融 + DeepSeek-GRM 的 SPCT 精神同源）；(3) 共享误差无法从选择集内部消除（所有接受规则全运行失效 + 审计集归零偏差）。

仍属合理推测的部分：论文三"裁判演化必要性"的完整因果闭环依赖单一领域（驾驶+导航）与单一教师骨干（Opus 5），0.67→0.85 的校准增益是否在人机分歧更主观的领域（如开放文本创作）同样成立，论文未测；论文二 36.3% 的路由比例是 ML 域调参结果，迁移到验证成本结构不同的领域（如验证极便宜的代码单测）时收益会缩小。

优势成立的条件与失效条件：审计集方案在"增益本身只有 1~2 分"的场景下 64 题不够（单估计仍差 6 分，需数百题才能分辨数分增益——论文一附录 C 明确算过）；想法级批评在提案分布漂移后（换提案器、换领域）需要重采轨迹；裁判共演化在人类标注预算极低时（无法响应查询）退化为静态裁判。

七、必要知识反推

假设一个完全没背景的人要独立做出这三篇论文，最少需要掌握什么？

领域知识层：

• LLM 自我改进循环的完整技术栈：指令进化（OPRO/DSPy/GEPA/MIPROv2）、GRPO/SFT 强化微调、reward model——不知道这些系统的验收口径（验证集分数），就找不到"自报虚高"这个切口（论文一）。
• AI4ML 进化 Agent 的运行细节：提案-实现-验证三段式、MLE-Dojo/MLS-Bench 环境、OpenEvolve 的岛模型——不知道验证一次要训练一个模型，就不会把"验证预算"当一等公民（论文二）。
• 具身推理的评测困境：参考型 QA 评测的标注瓶颈、驾驶推理的 rubric 维度（Action/Component）、VLA/导航栈——不知道 LingoJudge 依赖人工参考，就论证不了免参考的必要性（论文三）。

方法论知识层：

• 随机效应模型与选择理论：信度 h²、期望最大值 κK、育种者方程、贝叶斯提交规则、Goodhart 定律的形式化——这是论文一从"现象报告"升维到"可预测理论"的全部工具箱。
• 预注册实验设计与多重比较校正（Holm）——保证 13~20 分这类惊人数字经得起审查。
• 奖励模型训练流水线：合成数据蒸馏（教师批评 + 难度分层 + 拒绝采样）、GRPO 群体相对策略优化、不确定性估计（多数票方差作 u、AUROC 校准）——论文二的骨架。
• 人机协同校准的设计模式：主动学习式的选择性查询、分布漂移检测（停滞 + 背离双触发）、持续学习的防遗忘（累计评估集）——论文三的骨架。

工程知识层：

• 大规模插桩：给每个候选项同时跑 600 题金标、给 DSPy 优化器接 held-out——评测基础设施的建设能力决定 oracle 实验可行性。
• 数据闭环工程：28K 执行标注的采集管线、类均衡下采样、五级标签的 z 分阈值构造。
• 多模态训练工程：2B 学生蒸馏（rubric 维度分类化）、20 块 H100 上的 GRPO 训练、0.07 s/样本的推理优化。

知识融合的关键节点：

1. 论文一的创造性融合点在**“数量遗传学 × 在线学习循环”**——把育种者方程的"选择响应"读作"自我改进增益"，把"遗传力"读作"测量信度"，这一类比一旦建立，全部统计机器直接可用。
2. 论文二的融合点在**“执行日志 → 奖励模型训练数据”**的重定向——进化系统本来把执行结果当终点，它把执行结果当免费标签，于是"进化"同时免费生产"批评家训练数据"。
3. 论文三的融合点在**“主动学习 × 具身评测”**——把人类从"标注工人"重定义为"分歧仲裁者"，查询的不是标注而是裁决，单次查询的信息密度大幅提高。
4. 三篇共同的元知识：任何闭环系统的进步速率受限于其最弱的测量环节——这是控制论可观测性思想在 LLM 自我改进上的重述。

八、论文中可以提取的通用性灵感（三篇合并）

灵感一：从一组带噪测量中挑最大值，等于系统性挑出运气最好者。 论文证据：n=16 时赢者的真实选择差只有测量值的 151%；greedy 循环自报虚高 1320 分；GEPA +38.8 vs 真实 +19.2。 推广场景：(1) 推荐系统离线指标筛选策略，上线增益缩水；(2) 药物临床试验中按二期终点挑候选进三期；(3) 量化回测中参数网格搜索的最优参数；(4) 招聘/投资尽调中"面得最好的候选人/讲得最好的项目"；(5) 自动超参搜索以验证集早停选 checkpoint。通用做法：凡 argmax over noisy estimates，预留从未参与选择的审计集复测。

灵感二：共享误差无法被任何只看内部信息的规则消除。 论文证据：贝叶斯门 / select-then-confirm / McNemar 在完整运行中全部不敌 greedy（−2.1 / −1.6 分，或放弃 7.4~12.3 分真实增益），而 64 题外部审计集直接把偏差归零。 推广场景：任何"裁判与选手共享同一套题"的结构——内部竞赛选拔（评委与培训同源）、模型自评（用训练分布的题自测）、组织内部晋升（在位者光环 = 在位者通胀 13.6 分的组织版本）。解法都是引入与选择过程独立的信号源。

灵感三：把"昂贵的真值"重定向为"免费的学习信号"。 论文证据：28K 执行标注（跑出来的结果）训练出 60.7% 的批评家，超过前沿模型零样本 46.6%；执行结果本来是进化的终点，被重用为监督的起点。 推广场景：(1) 编译器/测试框架的失败日志训练代码预判模型；(2) 临床手术 outcome 数据训练术前决策辅助；(3) A/B 实验结果积累训练实验设计先验；(4) 游戏对战日志训练局面评估器（AlphaGo 式自博的推广）。关键操作：凡有"执行后才知道结果"的存量流程，问一句——这些结果能否构成一个预测数据集？

灵感四：稀疏奖励下的 RL 需要输出结构约束，否则会学出捷径。 论文证据：freestyle 推理 GRPO 后 55.6%→40.3%（崩塌），软 rubric 55.6%→60.7%；定性观察是 freestyle 发展出更短、更表面的分析。 推广场景：任何"奖励只看最终对错、输出是自由文本"的训练——客服话术、医疗问诊、法律论证；解法是强制中间结构（逐准则/逐步骤比较），使"正确的推理"与"被奖励的输出"对齐。

灵感五：验证器与被验证者必须共同演化，否则验证器成为隐性天花板。 论文证据：R1 学生裁判在策略新暴露的挑战子集 r 仅 0.07；共 active 校准后 0.74；固定骨干下校准把总体 r 从 0.67 提到 0.85。 推广场景：(1) 安全过滤器 vs 生成器对抗演化；(2) 编译器优化 vs 新语言特性；(3) 考试大纲 vs 教学法（大纲不更新则高分低能）；(4) 反欺诈模型 vs 新欺诈手法。通用做法：为验证器设计"失效监测（停滞+背离）→ 定向校准 → 防遗忘回归"的自身改进循环。

灵感六：人类的最优角色是"分歧仲裁者"而非"批量标注员"。 论文证据：VeriFine 只对信息量大的失败案例选择性查询，人机通过共 active 校准收敛于共享 rubric，三轮内把 r 推到 0.85，同时人类判断本身也被 rubric 化、可蒸馏进 2B 学生。 推广场景：AI 医助（只请医生裁决 AI 分歧病例）、代码评审（只 escalate 关键分歧）、内容审核（人工只处理边界案例）。原则：把人力花在"模型不确定性最高"的样本上，单次交互的信息量最大化。

灵感七：同一预算下，改变预算的分配结构本身就是一种扩展法则。 论文证据：论文二不提升任何单项能力，仅靠"36.3% 想法送真验证"的重路由，就换来 2.75× 策略更新步与 +5.6 分终分；论文一仅靠 1/10 预算的审计重测，消除全部报告偏差。 推广场景：科研经费（部分预算恒定用于独立复现）、云资源（部分算力恒定用于混沌工程/回归测试）、个人时间（固定比例用于复盘而非产出）。这可以概括为：闭环系统应当把固定比例的资源分配给"度量自身"。

结语：验证是新的稀缺资源

把三篇放回同一个坐标系：自我改进系统的能力上限 = 生成候选的质量 × 验证信号的质量与效率。过去两年业界把算力押在第一项上，这三篇论文从统计（论文一：不修测量，你甚至不知道自己有没有进步）、学习（论文二：不学预判，你的验证预算撑不起搜索深度）、系统（论文三：不演化裁判，你的验证器就是隐形天花板）三个方向同时指出：下一阶段的竞争在第二项。对实践者最直接的三条行动项：给每个自我改进循环配 held-out 审计集并报告增益的不确定度；把执行日志重用为批评家的训练数据；给验证器装上失效监测与校准循环。对研究者：论文一闭式模型的失效条件（ties 密集格高估）、论文二批评家的分布外泛化、论文三在人类分歧更主观领域的校准上限，都是现成的开放问题。

附录：三篇论文关键数字速查