论文 1 链接：Beyond the Verdict: Agentic Code Judging with Verifiable Feedback (ARBITER) 论文 1 代码：github.com/horizon-llm/IOI2026 论文 2 链接：SpecForge: Recursive Self-Improvement for Coding Agents via Behavioral Specifications 论文 2 代码：github.com/ccsnow127/SpecForge 论文 3 链接：Self-Evolving Agent Harness（66 页扩展版：github.com/zgcagi/Harness-RSI） 发表时间：2026 年 10 月（论文 2 为 NeurIPS 2026） 机构：论文 1 为 HKUST + Amazon（学生一作+企业联合培养模式）；论文 2 为 Virginia Tech + NEC Laboratories America（一作在 NEC 实习期间完成）；论文 3 为中关村学院 + 中关村人工智能研究院 + 中国科学技术大学 领域标签：cs.AI / cs.SE / 智能体自进化

合读导言：RSI 的三问

递归自改进（Recursive Self-Improvement, RSI）——系统用自己的执行反馈改进自己——从 1965 年 Good 的猜想、2003 年 Schmidhuber 的 Gödel Machine，到 2026 年已经裂变成一个工程学科。但当每个人都说自己在做 RSI 时，三个根本问题被喧嚣掩盖：

1. 改什么？ 模型权重动不了（冻结或 API 闭源），可改的只剩 harness——提示词、记忆、工作流、工具、代码。改进的载体（carrier）是什么？
2. 凭什么信？ 一个改动『看起来有效』和『真的有效』之间隔着证据鸿沟。改进的证据（evidence）标准是什么？
3. 何时可靠？ 迭代改进会不会打地鼠——修好一个坏两个？会不会过拟合验证器？可靠性有没有理论（theory）边界？

本周三篇论文恰好一人一题：ARBITER 回答证据问题（反例即证据），SpecForge 回答载体问题（行为规格即载体），Self-Evolving Agent Harness 回答理论问题（三条统计学习边界）。它们互相引用彼此的世界——ARBITER 的证据门控就是 Harness 论文说的 admission rule 实例；SpecForge 的 Pareto 归档就是 Harness 论文 EA 分类学中的 archive-based search 实例；Harness 论文的 freshness 要求正对应 ARBITER 论文中『找不到反例不能证明接受』的不对称性。合读这三篇，等于把 RSI 领域的骨架一次看清。

一、论文背景

1.1 测试时扩展离不开验证器，但官方评判不给你反馈

什么是测试时扩展（test-time scaling）？ 让模型在给出答案后继续思考：生成多个候选解再挑选（selection），或修改早先的答案（revision）。无论哪种，都需要对候选的正确性做判断——这个角色由 verifier（验证器）或 reward model 承担。

竞技编程为什么是试金石？ 它有一套权威的官方评判系统（Online Judge）：隐藏测试数据、资源限制、二元判定。问题恰恰出在这：官方评判只给判决（verdict），不给失败解释、不给失败输入，而且在正式比赛里提交次数有限（IOI 每题 50 次）。你想在两次提交之间改进代码？官方反馈通道基本关闭。测试生成的现有工作（CodeT、CodeHacker 等）能产测试，但『给一个未知质量的候选程序判断对错 + 如果怀疑有错给一个可检验的反例』这个联合任务此前几乎没人系统研究——这就是 ARBITER 的切口。

1.2 冻结模型的自我改进：上下文空间 vs 权重空间

RSI 的两条路。 权重空间方法：模型在自己生成的数据上微调（Self-Instruct、TTRL 等）——收益跨任务摊销，但不可读、不可 diff、不可回滚，且需要训练基础设施。上下文空间（context-space）方法：权重冻结，改 harness——提示词搜索（MIPROv2、GEPA）、经验记忆（ACE 的 playbook）、技能合成（Voyager）、甚至重写整个 scaffold（ADAS）。改进可读、可回滚、可经 API 实施。

SpecForge 选择的载体是行为规格（behavioral specification）：描述程序实体（函数/类/方法）做什么的自然语言文档——输入、输出、行为约束。关键转向：传统文档为人类读者优化（可读性、BLEU 分），规格为代码生成模型优化——它的质量唯一判据是：一个没见过源码的模型能否仅凭规格重建出行为正确的代码。这让文档从『注释』变成了『可执行的改进载体』。

为什么迭代改进规格很难？ 因为输出耦合（output coupling）：程序实体相互依赖。改 A 的规格可能弄坏 B 的生成。两种机制：依赖耦合（caller 的正确性取决于 callee 的实现）和生成耦合（生成器以整个规格束为条件，改一处牵动全身）。结果是打地鼠效应（whack-a-mole）：局部改善引发他处回退，优化过程震荡而非收敛。SpecForge 的全部设计都围绕压制这个效应。

1.3 领域缺一张地图：Harness 自进化的理论化时机

2025-2026 年 harness 自进化工作爆发：Self-Harness、HarnessCompass、HarnessBank、DarwinX、MCE、SkillOpt 系列……但每篇各说各话：改的对象、生成候选的方式、接受修订的标准都不同。更深的焦虑：经验性选择（这轮分数高了就采纳）并不能 establishes 泛化或保留——你可能只是在过拟合测试集，或者每轮都在遗忘旧能力。

中关村学院团队的 66 页论文就是要补这个位：给 harness 自进化下操作化定义、建分类学、做进化算法结构映射、推统计学习保证，并系统讨论五大应用场景的社会影响。这是一份领域从工程实践走向原理化的立宪文件。

二、论文定位和关联工作

2.1 验证器谱系与 ARBITER 的位置

ARBITER 的核心区分：预测的判决不是可执行的见证（witness）。一个合法且能击破候选程序的输入才支持拒绝判决。这个『反例接地』让验证反馈本身变成可检验的。评测侧，UOJ-BENCH 的 hacking split 只有错题（全猜 unaccepted 即可满分 verdict accuracy），ARBITER 因此新建 USACO-JUDGE：900 个候选（人类高手+五个 LLM 写的），接受:不接受 = 1:2，覆盖五个分数段——首个同时测『认对』与『抓错』的基准。

2.2 上下文空间 RSI 谱系与 SpecForge 的位置

SpecForge 与最强 baseline DocSearch（同一作者团队的前作）的关键差异：DocSearch 沿单路径推进且『无任何实体回退才提交修订』——一旦候选过不了无回退测试就只能弃掉该实体；SpecForge 用 Pareto 归档保留互补前沿，从另一条前沿继续。这个差异在弱骨干上收益最大（+7.4pp）：弱模型更难一次通过无回退门。

2.3 Harness 理论谱系与 18813 的位置

前序：EURISKO（1983，启发式自修订）与 Gödel Machine（2003，证明治理的自重写）是两大思想源头。近期理论尝试：Cai et al. 2026（可靠自进化理论）、Gan et al. 2026（harness 演化的学习论极限）。18813 的增量在于完备性与操作性：首次把『改什么（更新目标分类学）』『怎么改（EA 结构对应）』『何时可信（三条界）』『部署影响（五场景）』整合进一个自洽框架，且每条界都配了可操作的采纳规则（如新鲜验证集的样本量公式），而非抽象存在性结论。

2.4 三篇的互相定位

• ARBITER 是 Harness 论文 Section 4.2『admission with fresh validation』在竞技编程场景的最佳实例——反例就是最硬的 fresh evidence；
• SpecForge 是 Harness 论文 EA 分类学里 archive-based + Pareto selection + bandit-guided 三种结构的集成实例，其 output coupling 分析正是分类学强调的『propagation burden』在规格空间的体现；
• Harness 论文则把这两篇的方法贡献升维成领域常识，并指出它们的共同盲区：经验性 fitness 选择需要新鲜独立验证才能宣称泛化。

三、问题定义

3.1 ARBITER：单候选验证与反例接地诊断

具体场景：赛制只允许 50 次官方提交，如何在不消耗提交次数的前提下判断候选程序对错并指导修订？ 抽象问题：给定问题陈述 P 和候选程序 C（质量未知），输出 (v, d, g)——判决 v（六类：Accepted/WA/TLE/MLE/RE/CE）、自然语言诊断 d、确定性 Python 反例生成器 g。判分由外部 judge 完成：v 与官方测试下的真实判决比对；g 生成输入 x，验证 x 合法且 C 在 x 上失败。 约束：验证器看不到隐藏测试、参考解、验证器、checker，也看不到自己反例的检查结果。 精妙之处：证据的不对称性被显式承认——反例可以证明失败，找不到反例不能证明接受。奖励设计必须尊重这个认识论结构。

3.2 SpecForge：行为规格优化

形式化：n 个程序实体 E，调用图 G，测试集 T（测试归属实体）。规格束 D=(d₁,…,dₙ)，生成模型 G 从 D 生成每个实体的实现。实体 i 的规格质量 = 实体通过率 φᵢ(D)；目标是最大化解决集 |S(D)|（全部测试通过的实体数）。 本质：一个黑箱优化问题——规格质量只能通过『生成代码→跑测试』观测，测试失败提供关于规格缺了什么的结构化反馈。等价于在自然语言空间做带依赖约束的组合搜索。 精妙之处：把『改进代码』的重目标（re-target）为『改进对代码库的行为知识』。代码每次重新生成，知识沉淀在规格里——所以能迁移到 Java 翻译、新功能实现等原始循环之外的任务。

3.3 Harness 论文：harness 自进化的操作化定义

形式化：harness H 是治理模型 M 执行的软件与配置。执行产出 rollout，τ~Run(M,H,E)，评分 y=J(τ)。自进化是迭代更新：第 k 轮，现任 Hₖ₋₁ 产出 b 个 rollout 的批次 Bₖ，更新算子 Hₖ=Update(Hₖ₋₁,Bₖ)（含诊断、提议、评估、接纳四步）。 两条充要要求：① 运行反馈与更新连续性（算法化地从自身执行构造/选择修订，且机制保留）；② 跨运行持久性（被接受的修订被存储并在后续运行加载）。追加日志或按固定规则压缩上下文不算自进化；学习可复用程序或改变记忆策略才算。 关键分离：更新目标（改什么）与提议/接纳机制（怎么改、何时信）正交。J（最终评估）必须在可编辑面之外——候选可以修订 H 内部的临时检查器，但不能修改 J。

3.4 三个定义的合流

四、问题解法

4.1 ARBITER：证据门控的 agentic RL

训练数据：6145 道竞赛题上的 20,000 个候选程序（solver rollout 采样），15% 被接受；未接受的里 46.8% 得分在 76-99——高分败品最可能藏有穿过大多数官方测试的隐蔽 bug，这是训练集刻意加重的部分。

奖励的精心设计（对照 Figure 3）：

证据门控的本质：拒绝判决的大头奖励（0.75/1.00）必须用可执行反例赎回。诊断 d 本身不给正确性奖励——反例成功率是 d 质量的可检验代理。

为什么必须门控？ 论文做了诊断实验：只用判决一致性做奖励，训练奖励上升，验证集判决准确率却停在 56-58%，平均工具调用从 4.9 掉到不足 1——模型学的是多数类捷径（训练池 85% 未接受，无脑猜 unaccepted 即可刷分）。这正是 RLVR 领域反复出现的 reward hacking 变体：奖励可优化≠能力在提升。门控后模型被迫真的去构造输入、跑候选、找崩点。

自适应长度控制：响应变长→rollout 超时浪费。惩罚只在高奖励（≥0.9）、超组内长度上四分位、且至少 1/4 组并列最高奖励时触发（扣 0.6）；交替开关惩罚阶段，避免持续压制探索（持续惩罚会让 hack 成功率 62.3%→59.1%）。

基建：UOJ（Universal Online Judge）自部署，30 个 judger 容器并行；为 USACO 39 题手写 testlib 验证器 + 6 个自定义 checker——评测基础设施本身就是重大工程。

4.2 SpecForge：多前沿树搜索

每轮迭代回答三个问题：

❶ 在哪搜（Pareto 引导状态选择）：维护非支配规格状态的归档 A（支配 = 逐实体通过率全不差）。新子入档若无既有状态支配它，被它支配的移出。选择时按频率加权采样：每个实体给其最高通过率的节点记信用（平分），节点权重 = 累计信用。这偏向『在更多实体维度上是前沿最佳』的节点，保留互补前沿而非塌缩到单轨迹。

❷ 改什么（依赖约束实体选择）：合格前沿 E_elig(v) = 未解决且所有 callee 已解决的实体——callee 先于 caller 的精炼次序（递归用强连通分量缩成联合精炼的元实体）。多候选时用折扣 UCB bandit 分配预算，奖励归一化为缺口闭合率 r̂ₑ = Δφₑ/(1−φₑ)——分离『内在可修性』与『剩余误差大』的平凡效应，分数再乘剩余缺口。

❸ 怎么改（错误多样化扩展）：失败测试诊断价值异质——有的直接暴露规格缺口，有的是级联失败/冗余信号/误导性共现。理论（Theorem 1 信号腐化）：混合噪声进信息批次严格降低精炼成功率 q(e⁺∪e⁻)<q(e⁺)。策略：从失败集采 W 个不同子集，各生成一个精炼候选。Theorem 2：只要有一个子集比全失败集干净，多样化扩展的最佳分支严格优于全部条件于全失败集。

两条定理的角色：这是把软件工程故障定位领域的经验直觉（测试质量>数量）形式化成可用的搜索策略证明。

4.3 Harness 论文：分类学 + 进化对应 + 三条界

分类学（第 3 节）：更新目标二分成——

• 解释态更新（interpreted-state）：修订指令、存储经验、预定义能力上的任务级协调（含只组合预定义算子的代码）；
• 可执行修订（executable revisions）：改能力实现（组件级）、运行时控制逻辑（仓库级）、插件组合（绑定关系）。判据是被编辑工件的角色而非编程语言。

两条实证线佐证分类学的工程意义：① HarnessOpt（运行时修订：电子表格预览、输出检查、工具失败恢复）让 GPT-5.4-nano+harness 达 77.58%，超过 GPT-5.5+SkillOpt 的 76.20%——弱模型+好 harness 的跨界交叉；② Everything-is-a-Plugin 的 Codex 插件让 agent 运行中生成工具并留存：首个任务工具调用 13→3（但 token +15.7%、耗时 +54.9%），五任务累计省 110,351 token / 22.97 秒——复用的摊销曲线。

EA 结构对应（Figure 2，八种）：(1+1) 精英搜索 ↔ SICA/MCE/SkillOpt；(1+λ) ↔ Self-Harness；归档式程序搜索 ↔ DGM/DarwinX/HGM；重组/交叉 ↔ DarwinX/HarnessCompass；质量多样性（MAP-Elites）↔ HarnessBank；合作协同进化 ↔ HarnessCompass；Pareto 选择 ↔ Meta-Harness/SkillMOO；bandit 引导进化 ↔ HGM。每个对应都标注了限度（如『不等于完整 NSGA-II』）——诚实的形式对应而非攀附。

三条理论界（第 4.2 节，continual PAC-learning 框架）：

1. 泛化界：算法稳定性 β_s,k（替换一个任务重跑全部下游更新所引起的期望损失变化）控制期望泛化差距 |E[R_s(Hₖ)−R̂_s(Hₖ)]| ≤ β_s,k。要点：小代码编辑≠更新过程稳定——反馈、归档、选择的连锁都算。
2. 保留界：F_s,k（遗忘量）≤ Σ ε_s,u（各轮历史回归预算之和）。回归预算是独立假设而非稳定性推论，且累加无衰减——每轮容忍的小回退会积分成大遗忘。
3. 接纳规则：对至多 K 个候选、T 轮，用 m 个新鲜独立验证任务，paired Hoeffding + 联合界给出同步高概率：Δ̂ₖ(H′)+√(2ln(KT/δ)/m)<0 才接受。若评估器与目标风险差至多 η，还需 +2η<0。搜索期复用训练任务做筛查（如 HarnessBank）缺乏该独立性——需要新鲜样本或自适应有效推断。

五、评估指标与实验证据

5.1 ARBITER 的指标体系与主结果

双指标：Verdict Acc.（二元判决准确率）+ Hack Succ.（反例成功率=真未接受候选被合法输入击破的比例）。二者互补——诊断实验证明 hack 率稳定时判决准确率可能暗中下滑（Accepted 跳过率与 rollout 中止率相互抵消）。

主表关键读数（Table 1）：

35B 的 ARBITER 超过 1.6T 的 DeepSeek-V4-Pro、逼近闭源旗舰；同骨干三段跃迁（16.10→40.61→62.67）证明 scaffold 与 RL 各自的贡献。测试时采样上 1 个 ARBITER 样本 > 8 个无工具样本（全 split）。

人工审计闭环：三名竞赛程序员独立审计 400 条诊断，初始标签 100% 一致（!）；正确诊断 83.0%，其中 82.2% 定位到具体代码、54.0% 给出可操作修复。反例成功率与诊断正确性的判别力：正确诊断 71.6% vs 错误/空洞诊断 10.3%——代理指标成立。

下游三任务：

1. 精炼（Table 2）：V+D 组合在两个 solver × 全部难度层的 Best@8 全部超过官方 OJ 反馈——诊断比反例生成器代码更有修复指导价值（Hard 层 D 比 X 高 5.9/6.7/6.5/3.3 分）；
2. IOI 2026 案例研究：同样 50 次提交限额，ARBITER 引导精炼期望分 385.46（第 4 轮过金牌线 361.12），官方反馈只有 334.6——ARBITER 复审不消耗提交额度，等于白送的无限次『预评审』；
3. 选择（Table 3）：LiveCodeBench v6 pool=64 上 82.6 vs 最强已发表 baseline 73.7；OJBench 43.6 vs 34.9；每候选 $0.0045 的输出成本。

能打破官方判定：两个案例值得注意——ARBITER 构造出官方测试漏掉的二次方复杂度输入（20 万牛同组→4×10¹⁰ 次循环 TLE）和 14 字节的哨兵值碰撞输入，推翻了官方 Accepted。这展示了反例接地评判超越官方测试的潜力。

5.2 SpecForge 的指标体系与主结果

基准 DevEval+：20 个 Python 模块、247 实体、760 测试、平均依赖深度 4.2——专门为压力测试 output coupling 设计（更模块、更密测试、更多边角）。搜索期只用 LLM 生成测试（自动生成+执行验证只留通过者），最终评估用隐藏的 ground-truth 测试套件。

主表（50 rollouts，Table 1）：五个骨干全部第一——Qwen3-235B 88.9 / Gemini-2.5-Flash 89.6 / GPT-4o 90.9 / Gemini-3.1-Pro 91.0 / Claude-4.5-Sonnet 94.9。对最强 baseline DocSearch 平均 +5.7pp（弱骨干差距最大 +7.4，强骨干收窄到 +3.8——Pareto 归档的价值在于『无回退门失败时换前沿继续』，弱模型更常触发）。对最佳迭代 baseline 提升 23.5-49.1pp。

失败模式的层级结构（比数字更有信息量）：静态文档 14.5-35.3%（文档-规格鸿沟：给人读的模糊在模型那里是字面歧义）→ 单块优化器 ACE 最高 62.8（归因失败+耦合放大）→ 商业 agent 全副武装 61.9（+Topo+Test）→ 迭代+拓扑 64.4（同级兄弟耦合仍打地鼠）→ DocSearch 81.5-90.4 → SpecForge 88.9-94.9。

收敛曲线（Figure 3）：迭代法在 45-54% 震荡；GEPA 峰值 37 后单调衰到 24（进化不可逆，无 running-best 保留）；ACE 反复回退（38→30）靠 playbook 缓慢恢复；SpecForge 41%→93% 单调爬升，前 10 rollouts 最陡（+29%，D-UCB+拓扑快速解决叶实体）。

消融（Figure 3c）：逆拓扑序 −18.6 > D-UCB −10.4 > 错误多样化 −9.5 > Pareto −5.2。依赖约束是地基，四件套缺一不可。

下游迁移（Figure 4，最重要的结果）：

• Java 翻译（16 模块 208 实体 JUnit5 镜像测试）：Source-only 39.7 → RepoAgent 静态文档 33.5（比无文档还差！人类向文档引入源码没有的歧义）→ SpecForge 规格版 65.7（+26.0） → 规格+源码 76.2。规格描述的是『算什么』而非『Python 怎么算』，解放了模型选 Java 惯用实现的自由；
• 新功能实现（SWE-DEV，27 实例）：用各家方法生成的现有库规格作上下文写新函数——SpecForge 规格 74.5/51.7（easy/hard）超过官方 PRD 的 55.7/44.6（+18.8/+7.1），尽管它从未见过 PRD 和目标测试。这证明循环产出的是可复用的代码库行为知识，不是对引导测试的过拟合。

5.3 Harness 论文的证据组织方式

理论文的证据=假设的明确性+推论的严谨+对现有实践的批判性检查：

• 三条界各自标注了假设清单（任务独立采样、损失有界 [0,1]、评估器偏差 η 有界），并诚实声明不满足时结论失效；
• 批判性检查实例：HarnessBank 用训练任务筛查、Self-Harness 复用留出回归集——都违反新鲜独立性；『保密与比较次数校正不能消除自适应依赖』（引 Dwork et al. 可复用 holdout）；
• 案例证据的审慎态度值得学习：EIP 的首任务成本数据与累计序列存在 +1,558 token/1.77s 的未解释缺口，论文如实标注『无法当作单一成本轨迹』；LiveBrowseComp 51.39 分的单位未注明——『重复运行、匹配预算、匹配质量才能确立因果插件收益』。

六、效果优势的根源解释

6.1 ARBITER：为什么证据门控能造出强验证器

Baseline 的根本局限：verdict-only 奖励下，奖励函数与能力脱钩——85% 未接受的先验让『猜多数类』成为最优策略（诊断实验：工具调用 4.9→<1 而奖励上升）。这不是实现 bug，是奖励结构允许的捷径：判决可以被猜，证据不能被猜。

因果链（每步有论文实验支持）： 证据门控奖励（0.75 分绑定击破）→ 猜测无利可图，必须构造输入/执行候选 → 工具使用与攻击行为被强化（Attempt 率 +8-23pp、转化率 +7-13pp）→ 反例成功 40.61→62.67 → 判决信息含量上升（Hard verdict 65.34→84.50）→ 下游精炼与选择双双超过官方反馈与已发表 verifier。

交叉验证：

• 相似机制：AgentV-RL（ACL 2026 Findings）同样用 agentic RL 训练 verifier 并报告显著增益——工具接地+RL 是验证器 scaling 的有效路径（方法相似）；
• 相近结论：UOJ-BENCH 原文已证反例发现是比判决更难得的能力；LLM-as-judge 文献（Zheng et al. 2023）证明单判官不稳定——ARBITER 的外部 judge 解耦了训练信号与判官质量；
• 相反方向的警示：ARBITER 自己的 λ=0.5 实验显示假阳性惩罚提升 Accepted 精度（77.78→80.98）但砍召回（76.67→62.86）——证据标准的松紧是 P/R 权衡而非免费午餐；
• 本次检索范围内未发现『证据门控反使验证器变差』的相反结论，但注意到其不对称性：无法为 Accepted 产生正证据，假阴性风险结构性存在（refinement 混淆矩阵中 3.6-9.7% 的错误接受）。

6.2 SpecForge：为什么多前沿搜索能压制打地鼠

Baseline 的根本局限：单路径搜索在 output coupling 下的死结——改进 A 规格 → 生成耦合弄坏 B → 无回退门拒绝 → 该实体被放弃（DocSearch 模式）或回退震荡（迭代模式）。这不是搜索不够努力，是保留策略结构性丢弃了互补解。

因果链： Pareto 归档保留逐实体互补的非支配状态 → 不同状态暴露不同的合格前沿（frontier-local optimum 是状态依赖的，Proposition 1 形式化了这一点）→ 一条前沿饱和时另一条仍可推进 → 弱骨干上收益最大（+7.4pp，它们更频繁触发无回退门失败）。

依赖约束 → caller 只在被稳定 callee 之上精炼 → 消除反馈误导（下游错的锅别让上游规格背）→ 消融 -18.6pp 证明这是最大单项。

错误多样化 → 对冲失败集的噪声分区（Theorem 1：噪声混入严格腐化信号；实证动机：故障定位文献证明低价值测试稀释诊断信号）→ 至少一个干净分支的概率上升（Theorem 2）。

交叉验证：

• 方法相似：Pareto 归档+依赖序在多目标优化与编译器调度中是成熟技术；MAP-Elites 类质量多样性搜索（HarnessBank）在 harness 演化中同样报喜——归档多样性是耦合搜索的通用解；
• 结论相近：ACE 论文（ICLR 2026）从 playbook 角度同样发现『无保留的单块重写不稳定』；GEPA 的不可逆衰退（37→24）在本论文复现中被直接观测——独立佐证 running-best 保留的必要性；
• 边界条件：SpecForge 的规格优化依赖测试映射 α（测试归属实体）和调用图可提取——无测试或动态依赖重的场景（前端 UI 等）该框架不直接适用；50 rollouts 预算下完成，更大搜索空间的伸缩性未验证。

6.3 Harness 论文：理论如何解释两篇实证的成功与风险

解释成功：ARBITER 的反例=式(8)的执行级证据（比统计置信更强）；SpecForge 的 Pareto 归档=对抗 frontier-local optimum 的结构对冲，D-UCB=bandit 引导进化的实例。 预言风险：

• SpecForge 搜索期用 LLM 生成测试筛选，最终才用 ground-truth 评估——正是『搜索期筛查缺乏新鲜独立性』的轻症版本，其 94.9% 是保守方向（评估更严）但搜索路径可能被噪声测试误导（错误多样化正是对此的对冲）；
• ARBITER 训练分布 85% 未接受，部署时先验不同——稳定性 β 未跨分布检验；
• 两篇都固定评估器 J——式(9)的 η=0 特例。评估器漂移（判官模型升级）下所有保证需重校准。

综合判断：多研究共同支持的机制=①证据接地（可执行反例/测试通过）优于无证据信号；②归档多样性+依赖序是耦合搜索的必要结构；③新鲜独立验证是接纳的最低标准。仍属推测的：ARBITER 的诊断深度分布（54% actionable）能否通过奖励塑形继续提升；SpecForge 规格的跨模型可移植性（为 A 模型优化的规格给 B 模型用效果如何）论文未测。失效条件：测试不可靠（噪声>信号，Theorem 1 前提破坏）、依赖图错误（拓扑约束反成错误先验）、评估器与目标分布漂移超 η。

七、必要知识反推

7.1 领域知识层

• 竞赛编程评判生态（OJ 系统、verdict 体系、IOI/USACO 赛制、提交经济学）——ARBITER 的问题空间与 IOI 案例的预算会计全部建立在此上；UOJ/testlib 的工程知识是把评测想法落地的门槛；
• 软件工程文档与规格传统（docstring 文化、DevEval 谱系、故障定位文献）——SpecForge 的『规格重目标』需要知道文档生成的历史失败模式才能定位增量；
• agent harness 组件解剖（上下文构造、记忆、编排、压缩、调度、沙箱）——18813 分类学的七个运行时功能是领域常识的系统化。

7.2 方法论知识层

• RLVR 与奖励设计（GRPO、奖励 hacking 的形态学、长度惩罚技术）——ARBITER 的多数类捷径诊断要求对 reward hacking 有嗅觉；Kimi 式长度控制的改造需要 RL 训练工程经验；
• 进化算法全景（精英策略、归档、Pareto、MAP-Elites、bandit）——SpecForge 三机制与 18813 八对应都需要 EA 素养；错误多样化理论需要 bandit/概率论基础；
• 统计学习理论（算法稳定性→泛化、Hoeffding 集中、continual learning 的遗忘界、自适应数据分析的 holdout 复用问题）——18813 三条界的推导链与批判性检查（Dwork 引用）以此为前提；
• 验证器/judge 文献（ORM/PRM/generative verifier 谱系、LLM-as-judge 偏差）——定位『可执行见证 vs 预测判决』的增量需要知道前人停在哪。

7.3 工程知识层

• 自部署 OJ 基础设施（Docker judger 池、validator/checker 编写）；
• 多 agent 搜索系统的预算管理（rollout 计数、token 成本核算）；
• LLM 测试生成的质量控制（执行验证、只留通过者——SpecForge 附录 J 的覆盖驱动生成）。

7.4 知识融合的关键节点

1. 认识论 × 奖励设计（ARBITER）：把『证据不对称性』（反例证伪≠证实）这个哲学结构翻译成 0.75 分的门控权重——认识论约束变成 RL 奖励的分段函数；
2. 多目标优化 × 代码依赖（SpecForge）：Pareto 支配定义在逐实体通过率向量上而非标量分数——把软件的模块结构直接嵌入搜索空间的偏序，这是领域知识与算法设计的化学反应；
3. 学习理论 × 系统工程（18813）：把 continual PAC-learning 的稳定性/遗忘工具搬到 harness 更新循环上，产出可直接算样本量的接纳公式——理论服务于工程决策而非装饰；
4. 失败模式分类学 × 评测设计：ARBITER 的 verdict-only 捷径诊断、SpecForge 的五级失败层级、18813 的『任务分数背后的四个主张』——三者都在用失败分类驱动下一轮设计。

八、论文中可以提取的通用性灵感

灵感 1：把改进沉淀在『知识载体』上，而不是产物上

• 核心思想：自我改进循环应该优化对任务的可复用知识表示（规格、手册、策略），让产物（代码）每次从知识重新生成——知识可迁移，产物不可。
• 论文证据：SpecForge 的规格在 Java 翻译 +26pp、SWE-DEV 超 PRD +18.8/+7.1pp——循环学到的不是『过拟合测试』而是代码库行为知识；ARBITER 的诊断 d 跨轮引导精炼也扮演同样角色。
• 推广场景：① 客服系统：把对话案例沉淀成『处置策略手册』而非 QA 对；② 法务：从判例提炼『裁判要旨库』供新案检索；③ 医疗：从诊疗记录提炼『鉴别诊断决策树』；④ 个人知识管理：读书笔记记『模型』而非摘抄。

灵感 2：奖励必须绑定可检验证据，猜对的分要近乎零

• 核心思想：任何可被『猜』满足的奖励分量都会在规模化的 RL 中被猜穿——把大头奖励绑定到外部可检验的证据事件上，是防止能力空心化的结构手段。
• 论文证据：verdict-only 奖励 → 工具调用 4.9→<1、验证准确率原地踏步；证据门控后 hack 40.61→62.67 且判决同步上升；+0.10 奖励给『推翻官方 Accepted 的反例』——证据等级高于权威。
• 推广场景：① 教育：奖励答对过程证据而非选项；② 内容审核：奖励给出可复核引用的判定；③ 科研评估：奖励可复现的中间产物；④ 自动化运维：告警处置必须附执行日志证据。

灵感 3：耦合系统中的改进要『换前沿』而非『死磕单路径』

• 核心思想：当组件间存在输出耦合，单路径迭代必然遭遇『此路不通』的局部最优；保留多个互补的部分解（Pareto 归档），在饱和时切换前沿，是结构性出路。
• 论文证据：Proposition 1 形式化 frontier-local optimum 的状态依赖性；弱骨干上 +7.4pp（最常触发无回退门失败的场景）；GEPA 无保留进化的单调衰退（37→24）为反面教材。
• 推广场景：① 产品路线图：并行保持多条技术方案到后期再收敛；② 组织变革：试点多套流程各自进化而非一刀切；③ 算法交易：多策略组合按 Pareto 前沿轮换；④ 个人职业：技能组合的互补性优于单点最优。

灵感 4：依赖序是免费的质量杠杆——先稳地基再改上层

• 核心思想：任何有依赖图的改进过程（代码、组织、供应链）都应该按 callee-before-caller 的次序推进，否则下游的噪声会以误导性反馈污染上游的改进判断。
• 论文证据：消融中逆拓扑序是最大单项（−18.6pp）；迭代法加拓扑即从 54.3→67.5（GPT-4o）；商业 agent 加 Topo 上下文同样上涨。
• 推广场景：① 微服务重构：先稳定被依赖服务；② 团队协作：先对齐底层接口再迭代上层功能；③ 课程设计：先固化前置知识；④ 供应链：先认证上游原料再优化产线。

灵感 5：反馈信号本身需要降噪——多样本批次优于全量反馈

• 核心思想：把全部失败/反馈一次性塞给改进者未必最优：反馈是异质的（信息性 vs 噪声性），混合会腐化信号；采样多个子集各出一版改进，取最好——是对未知分区的统计对冲。
• 论文证据：Theorem 1（信号腐化）+ Theorem 2（最佳分支优势）；消融 −9.5pp；动机来自故障定位文献『测试质量>数量』。
• 推广场景：① code review：分主题给反馈而非一屏 50 条；② 学生改错：按错因分组练习；③ 医疗会诊：按假说分组检查再汇总；④ 模型蒸馏：按错误类型分桶构造训练批次。

灵感 6：自我改进系统的安全性在于『不可编辑面』的设计

• 核心思想：让系统持续自我修改的前提是明确划出不可自改的组件——最终评估 J、紧急停止、权限边界必须在可编辑面之外，且接纳决策要用新鲜独立证据。
• 论文证据：18813 定义层即规定 J 不可修改；式(8) 要求 fresh validation set；五场景分析：物理世界回滚不能撤销伤害、临床系统错误偏好会制度化歧视；ARBITER 案例中推翻官方判定的 +0.10 设计也隐含『证据高于权威』的排序。
• 推广场景：① 企业流程自动化：财务审批红线不可被流程引擎自改；② 自适应定价：反垄断约束外置；③ 自动交易：熔断与持仓上限硬编码；④ 任何 self-modifying 系统：宪法层/执行层分离。

结语

把三篇放回 RSI 的时间轴：ARBITER 证明了证据标准可以训练出来——35B 模型经证据门控 RL 后在反例发现上超过 1.6T 旗舰；SpecForge 证明了改进的载体选对了就能复利——规格不仅在本任务上 94.9%，还把知识外溢到翻译与新功能；18813 则提醒所有人：经验性爬升不等于可靠，泛化要稳定性、记忆要回归预算、采纳要新鲜证据。RSI 正在从一个吸引眼球的词变成一门有载体、有证据、有边界的工程学科——这三篇论文分别是这门学科三个分支的最新刻度。