HarnessRL: Co-Evolving Policies with a Just-in-Time Training Harness for Open-Ended RL —— 精读

论文链接：https://arxiv.org/abs/2610.26426 代码仓库：https://github.com/Tongyi-ConvAI/Qwen-Character/tree/main/HarnessRL 发表时间：2026年10月（arXiv v1，2026-10-19） 机构：阿里巴巴 Token Hub（Alibaba Group，一作实习单位）+ Université de Montréal / Mila – Quebec AI Institute——企业出训练基础设施与数据、学术机构出方法指导的合作模式，通讯作者 Yongbin Li 与 Bang Liu 分属两边 领域标签：cs.CL（计算语言学）、LLM 后训练、rubric 奖励 RL、开放生成任务

一、论文背景

LLM 后训练的主干道是可验证奖励的强化学习（RLVR）：数学答案对不对可以比对，代码能不能跑可以执行，奖励信号干净利落。但一大类任务天然没有规则验证器——角色扮演要维持人设一致性、长文写作的"好"是多维且主观的、社交推理没有唯一正确答案。对这类开放生成任务，主流方案是 rubric as reward：把质量拆解成一 组自然语言判据（比如"开头呼应结尾 +4 分"“使用了具体的感官细节 +3 分”），让一个 LLM 裁判逐条打分，加权合成奖励。

问题出在训练的动态过程中。论文开篇给出一个量化得近乎残酷的测量：在一轮标准的 rubric-based GRPO 训练里，61.6% 的响应对提供的奖励信号是有问题甚至有害的。具体拆成两类三种：

• 非区分性奖励：组内所有 rollout 得分挤在一起。要么全体低分（blind，盲区——策略根本产不出满足判据的响应，比如判据要求"结尾回到开头引入的具体意象"而全组 8 个 rollout 没一个做到，连续多步如此），要么全体高分（saturated，饱和——判据太粗，比如"约 200 词"被所有 rollout 满足，连续两步 8/8 通过，组内毫无梯度可言）。GRPO 的优势函数是组内相对比较，全员同分意味着 advantage 为零，这个 batch 白跑。
• 伪区分性奖励：分数确实拉开了差距，但方向是错的（spurious，虚假）——策略学会了讨好判据的表面形式而非真正满足质量。论文举例：判据"使用具体的感官细节"实际在按形容词密度切分全组，与"细节是否落在具名对象上"无关；更典型的是开头夸赞 + 结尾宣称"所有要求均已满足"的话术。

这三类失效背后的共同根源，是论文的核心洞察：训练配置是静态的，而策略是移动的。任务采样分布、探索方式、评判标准这三样东西从第 0 步到第 500 步一成不变，但策略的能力分布一直在动——昨天够不着的判据今天可能已轻松达成（该撤脚手架了），昨天有区分度的判据今天可能已被全员满足（该收紧或换了）。静态配置对移动目标，失配只会越积越多。

已有的修补工作各自只动一处：rubric 演化一派（EvoRubric、AMARIS 等）改判据，脚手架一派（RuscaRL、SkillRL 等）改探索。论文指出这会造成失效转移：给策略加指导帮它够到固定 rubric，判据很快饱和（DAPO 作者 Yu et al. 也观察到饱和组无 advantage）；反过来只收紧 rubric 不给指导，判据又超出策略能力变成盲区（Sundaram et al. 的"可学习性边缘"工作正是此现象）。按下葫芦浮起瓢。缺的是一个诊断-路由机制：先弄清当前失效是哪一类、该动哪个旋钮，再动手——而且动之前先量一量效果。

这个问题的实践紧迫性还在上升。角色扮演与长文写作正是消费级产品的核心场景（陪伴类应用、创作辅助），模型能力的天花板越来越由后训练质量决定；而 rubric 奖励一旦在训练中途失效，继续训练不仅无益反而有害——策略在被污染的奖励梯度上越走越偏，把"讨好判据的表面话术"固化进权重。论文图 1 里 GRPO 的训练奖励曲线一路上行、oracle 质量曲线却中途掉头的分叉，就是这种"越练越错"的可视化。如何让奖励体系在数百步的训练过程中保持可信，是开放生成 RL 从演示走向生产的必答题。

二、论文定位和关联工作

这个方向的相关工作可以按"动的是训练系统的哪个部件"组织成三条谱系，外加一个正在成形的训练时 harness 谱系。

**谱系一：rubric/奖励演化。**Rubrics as rewards（Gunjal et al., ICLR 2026）确立了判据式奖励的地位；随后 EvoRubric 从策略响应中修剪与再生判据，AMARIS 用记忆增强的循环修订 rubric，DynamicRubric 让评估器与策略共进化，OpenRS 为每个响应对构建自适应 rubric，Rubric-ARM 在 rubric 生成器与裁判之间交替 RL，DecoEvo 在文本空间解耦共演化 solver 与 rubric 生成技能。这一整族工作的共识是"固定 rubric 必然被 hack"（Mahmoud et al. 专门研究了 rubric RL 的 reward hacking）。HarnessRL 与它们的区别：不只是演化 rubric，而是先归因——只有被判定 spurious 的判据才走 rubric 接口，blind 走指导、饱和走采样，且每次更新先被 JIT critic 实测。

**谱系二：脚手架/特权信息探索。**DAPO 对零 advantage 组重采样，熵机制工作（Cui et al.）防策略熵坍缩——这些改的是 rollout 组的构成而不改输入。另一支把特权上下文放进策略输入：RuscaRL 用 rubric 做脚手架并按日程衰减，SkillRL 递归积累技能增强 rollout，POPE/off-context GRPO 用特权信息引导难题探索，OPSD 与 ICE 用自蒸馏把"有指导的探索"固化进"无指导的策略"。HarnessRL 的差异：指导字段的挂载不是按预设日程，而是被 blind 归因触发、被 JIT critic 实测确认（奖励增量落在接受带内才挂），且撤销同样先测——实测数据显示它在 step 350 就让 86% 任务脱掉了指导，早于日程要求的时点。

**谱系三：课程/任务采样演化。**从经典的 prioritized experience replay（Schaul et al. 2016，本文的重要性权重校正直接承此）到 LLM 时代的 SEC（难度 bandit 课程）、CurES（梯度分析课程）、PAC 等按学习增益重分配采样。HarnessRL 的采样接口与它们的关键差异：降权的判定依据是"任务的判别质量（discriminative mass）下降"而非笼统的难度或准确率，且降权操作本身要过 critic 的 ∆w>0 检查与"前序时间索引记录中确有饱和诊断"的条件。

谱系四：训练时 harness（正在成形的新范畴）。传统 agent harness 指推理时连接模型与环境的设施（SWE-agent 的接口、Meta-Prompting 的脚手架）。近期一批工作把 harness 挪进训练：EvoHarness-RL 学习长程 agent 的自进化运行时 harness，HarnessBank 在基因库里搜索 harness 变体，Harness-1 用外置状态 harness 训搜索 agent；最接近本文的是 EvoTrainer（策略与训练 harness 共进化、对记录的运行做诊断干预）与 harness-and-model co-evolution（Yu et al., on-policy correction）。HarnessRL 在此谱系中的增量：一是结构化的失效归因学（三分类 × 三接口的路由表），二是JIT critic 的"接受前实测"——不信任提议者的自评，在当前冻结策略上量出 ∆ 再决定。

其中 AMARIS++ 是作者为公平对照自行加强的最近基线（把 AMARIS 扩展到三接口但仍无跨任务记忆与 critic）——这个对照的构造本身就说明了论文的增量边界在哪里。

定位结论：HarnessRL 是"训练配置可进化"思潮中把诊断、路由、实测接受三件事第一次做全的工作，它把此前各自为政的 rubric 演化、脚手架、课程学习统一进一个 harness 接口框架，并用统一的失效分类学驱动。

三、问题定义

论文的抽象把 RL 训练系统拆成一个受控的壳与一个进化的核。

具体场景：rubric-based GRPO 训练开放生成模型。每步从任务库采样任务 x，策略 π_θ 生成 J=8 个 rollout，冻结的裁判 R 按当前 rubric 的 K 条判据逐条二值打分，加权得奖励，组内标准化成 advantage 更新策略。

核心洞察：奖励信号失效不是单一故障，而是三类病因不同的病——blind（策略达不到）、saturated（任务被掌握）、spurious（判据被表面满足）。三类的解药在不同接口：blind 该给药（rollout 指导帮策略够到）、saturated 该换靶（任务采样降权，把算力让给还有信号的任务）、spurious 该修尺（重写判据堵住表面通道）。

形式化：定义训练时 harness H_t = (p_t, g_t, c_t)——p_t 是任务库上的采样分布（由任务权重参数化的类别分布），g_t 是每任务挂载的特权指导字段子集（criterion/reference/critique 三种），c_t 是加权自然语言判据集。内层 RL 目标是扩展的 GRPO：任务从 Cat(p_t) 采样、rollout 在 g_t 条件下生成、奖励在 c_t 下计算、每任务损失乘以重要性校正 u_t = 1/(N·p_i^t)（承袭 prioritized replay，保证重加权只改采样频率不改期望贡献）。外层问题：给定失效观测（打分矩阵 S_t 与历史记录），求 H_{t+1} = 更新(H_t, 证据)，使得三类失效比例下降、oracle 质量（与训练奖励无关的强裁判排名）上升。

这个抽象的精妙之处：接口化把"改训练配置"从一次性超参决策变成每步可微调的操作空间，且每个接口的操作类型是有限的、类型化的（采样：reweight 三档；指导：add/drop 三种字段；rubric：create/rewrite/delete/reweight/merge/split 六种）。诊断路由表"失效类 → 接口"是整个系统的骨架——它把"训练不工作了"这个模糊陈述分解为可分派的可执行子问题。

四、问题解法

4.1 harness 控制的 RL 循环

每步 512 个任务、每任务 J=8 rollout、温度 1.0。判据独立打分成 K_t×J 的二值矩阵 S_t——这个矩阵是后续一切诊断的原始观测。奖励 r = Σλ_m·s_m / Σmax(λ_m,0)，负权重判据惩罚不良行为，归一化保持不同 rubric 规模下的尺度可比。

三个接口各自展开：

• 采样接口 p_t：任务权重分档（γ1=0.61、γ2=0.38、γ3=0.17 三档降权，档位由记忆冷启动按任务判别质量的分位数初始化）。饱和任务降权后，重要性校正 u_t 保证其期望训练贡献不变。
• rollout 接口 g_t：三种可挂载的指导字段——<criterion>（目标判据的改述或历史达标行为）、<reference>（本任务或捐赠任务的正反例响应）、<critique>（上一组的短板记录）。挂载有上限且上限随训练推进每季度减一，训练结束前全部撤除，保证评估时 g=∅（不依赖指导）。种子 harness 不挂任何字段。
• rubric 接口 c_t：锚判据（种子判据中文本被冷启动固定者）只许调权重不许改文本，防漂移；锚判据权重占比恒定，防止影响范围悄悄扩张。

三接口的类型化操作一览：

每任务指导字段挂载上限随训练每四分之一减一——外层日程保证评估前必然脱依赖，内层触发决定实际挂载时点（实际数据显示脱依赖远早于日程，这是 critic 实测的功劳）。

4.2 harness 记忆 M：双索引证据库

单步打分矩阵只能看到当下的模式，看不到"这个失败持续几步了"“上次同类更新后来怎样了”。记忆为每次任务抽取存一条记录：rollout 历史（任务、组、打分矩阵）+ rubric 历史（当时的 harness 与提议动作）+ 训练动态（奖励轨迹与更新史）。

历史很快超出上下文，所以用两个索引检索证据（式 3）：时间索引 E_time 返回该任务的全部历史记录——让归因器区分"持续性 blind"与"单步噪声"，让提议者避免重提已被推翻的更新；语义索引 E_sem 用判据文本嵌入（bge-base-en-v1.5）检索跨任务相似判据（余弦≥0.82，top-4）及其正反例——当本任务历史里没有参考对时，从"捐赠任务"借。这个跨任务证据流转后来被统计出覆盖了 58% 已挂载 reference 字段的供给。

4.3 进化器 E：归因器 → 提议者 → JIT critic

三个角色的职责刻意分离——没有任何一次模型调用既提议又接受自己的提议，这是对抗自我肯定的结构性防线。

**归因器（Attributor）**对每条判据问三个问题：

1. 可达性（Reach）：策略能产出目标性质吗？本组未满足且历史记录也从未满足 → blind，路由到指导接口；本组未满足但早先满足过 → 单步噪声，标 agree 不动作。
2. 训练阶段（Stage）：任务被掌握了吗？最近多步全部 rollout 满足 → saturated。当这类判据拉低任务的判别质量（区分组的判据占比）时，任务整体诊断为饱和，路由到采样接口。还有一种"泛内容饱和"——所有 rollout 靠免责声明或礼貌结尾之类通用内容满足判据——标记给提议者做二次收紧。
3. 奖励作弊（Hacking）：满足判据等于高质量吗？对比满足/不满足的 rollout 与语义检索到的相关正例，若只有满足方共享表面合规、长度博弈、部分覆盖、迎合式拒答等特征 → spurious，路由到 rubric 接口；附带一个 rubric 措辞检查，定位允许表面形式通过的精确短语，作为重写依据。

**提议者（Proposer）**按标签选接口、按证据选操作：盲判据挂指导字段（饱和/盲标上还可叠加二次 rubric 操作，或对已脱离 blind 的字段提议 drop）。产出动作元组 a=(a_p, a_g, a_c)，每接口一个候选或 noop。

JIT critic（即时批评者）是全文最讲究的机制。此前的证据可能支持一个对当前策略已无效或过猛的更新，所以接受前先在参数冻结的当前策略上实测三种增量（式 5）：

• rubric 更新 ∆c = r̄_t − r̄(Y_t, c̃_{t+1})：用候选 rubric 对已记录的组重新打分——注意方向约定，修伪判据的有效更新应当降低该组的分数（原来被表面满足的分数是虚高），奖励上升反而不能验证 rubric 更新（这个反直觉的方向约定是正确性的关键，论文引用了"reward 增加不能验证 rubric 修改"的先例）；
• 指导更新 ∆g = r̄(Ỹ_t, c_t) − r̄_t：在候选指导下重采样一组，看奖励增量；
• 采样更新 ∆w = (w − w̃)·r̄_t：权重下调腾出的算力 × 当前组均奖励（无需查询策略）。

接受条件：(i) 方向正确（∆c>0、∆g>0、∆w>0）；(ii) ∆g/∆c 落在接受带 [ε_low, ε_high] 内——下界是零假设波动（独立组间差异、重复评分差异的 95 分位）排除噪声，上界是组内奖励范围的中位数，防止"效果猛到可疑"（比如指导强到直接给答案，或判据改动等于换了一道题）；(iii) 被 spurious 标记重写/新建的每条判据在组内仍有变异（全组同分的判据对策略更新零贡献）；(iv) 采样更新要求该任务前一记录中确有饱和诊断。拒绝的候选带着测量结果退回提议者修改，最多 B=3 轮，仍不过就 noop（明确的不作为也是决策）。所有标签、动作、测量写回记忆。

一个贯穿全文的案例值得在此预演：纤维素滤纸任务。step 30 判据 spurious → 删"即时检测用途"、建"每单元三个羟基"等三条新判据；step 55 新判据"命名化学反应"全组未满足 → blind → 挂 criterion+reference 指导；step 130 该判据已达标 → drop 指导 + 任务饱和降权 + 合并/删除冗余判据；此后又经历两轮收紧，到 step 440 任务再次饱和降至 γ2，组奖励从 100.0 一路降到 32.8 而 oracle 质量从 58.1 升到 61.0——训练奖励与真实质量的分叉恰恰说明 rubric 修正一直在挤水分。这一个案例把三接口如何接力讲得明明白白。

4.4 记忆冷启动：一切阈值的经验来源

训练前用 4B 种子策略把全训练集跑一遍，统计出：采样三档 γ 值（任务判别质量的分位数）、指导接受带 [10.2, 28.0] 与 rubric 接受带 [3.1, 28.0]（下界 = 零假设波动 95 分位，上界 = 组内奖励范围中位数）。9B 训练直接复用 4B 的冷启动值。这个设计把"超参从哪来"的诘问变成了"超参从数据里量出来"。

4.5 全景小结

五、评估指标与实验证据

先建立指标全景，再看数据。这套评估体系分四层：

oracle 质量的构造是这个体系里最讲究的一环：训练奖励是"被进化对象"的一部分，若用它证明自己有效就是循环论证。论文的解法是引入完全外部的 oracle 排名（更强裁判 + 无 rubric + 成对比较 + 与人工标注校准），并用它反衬出 GRPO 训练奖励的失真程度（一致率仅 38.4%）——先把"尺子本身坏了"这件事量化，再证明自己的修理有效（一致率升到 48.9%）。

5.1 数据与设置

Rubric-Mix-10k：作者自建的五域套件——医疗（HealthBench + RaR + RubricHub 医疗片，3000 训练任务）、科学（ResearchQA + 两源科学片，2000）、写作（LongWriter-Zero，1200）、角色扮演（RubricHub chat，1200）、指令跟随（RubricHub IF，1200），合计 8600 训练任务 / 110,606 条种子判据（均 12.9 条/任务），每域 250 个不相交 held-out 任务 + 一个 OOD 基准（MedQA / GPQA-Diamond / WritingBench / RoleBench / IFBench）。负权重判据占 10.7%，35% 任务带参考响应（仅描述语料用，训练与奖励均不使用）。

训练：Qwen3.5-4B 与 9B，GRPO 500 步，每步 512 任务 × 8 rollout，学习率 1e-6，KL 系数 0.001，三种子。裁判与进化器三角色骨干均为冻结的 gemma-4-31B-it。oracle 裁判（仅分析用）为 Claude Sonnet 5：不读 rubric，按每域一条质量准则对组内 28 对做双向比较，与两名标注员的 Kendall τ 分别 0.80/0.79、与共识 0.82——oracle 本身的可信度先被钉住了。

Rubric-Mix-10k 的域构成与 OOD 映射细节：

判据密度差异本身就是信息：角色扮演平均 26.5 条判据（人设、情感、连贯多维并存），指令跟随仅 3.6 条（近乎可验证的硬约束）——这解释了后文"指令跟随增益最窄"的域分布。

评估的关键设计：域内 held-out 用种子 rubric（不被 harness 更新污染的冻结判据）打分；五个 OOD 基准里四个用各自官方协议（多选准确率 / ROUGE-L / 程序化约束检查），只有 WritingBench 用训练裁判——也就是说 4/5 的证据独立于被演化的奖励体系，防"改尺子把自己量高"的循环论证。

5.2 主结果：全域全规模第一

Qwen3.5-4B（域内 / OOD，五域平均）：

9B 上格局相同（69.5/57.3，+2.9/+3.1 vs AMARIS++）。统计强度扎实：对 AMARIS++ 的配对 bootstrap 95% CI 全部不含 0（4B 域内 [2.4,3.6]、OOD [2.0,3.5]），配对置换检验 p<0.001，三种子标准差 0.2–0.4 且在所有方法中最小——稳定性被归因于 critic 拒绝出界更新。

9B 的完整分域数字同样值得过目（域内 / OOD）：

每个域、每个规模、每次对比全部第一——增益不是靠某个域的爆发撑起来的平均数，而是全域一致的结构性改善。

两个结构性发现比总分更有信息量：

• 域内增益分布不均：写作与角色扮演 +3.7pp 最大，指令跟随仅 +0.9pp。解释：前两者多合法响应易饱和冻结 rubric，重写判据的收益空间大；后者判据近乎可验证，GRPO 起点 68.1 已高。增益分布与"哪里 rubric 失效空间大"的先验一致。
• 指导侧与 rubric 侧的 OOD 迁移不对称：指导侧方法（RuscaRL/SkillRL）域内 +3.0/+2.6 但 OOD 几乎不涨（44.3/44.6 vs 43.9），因为脚手架把策略拟合到了冻结训练 rubric 上；rubric 侧（EvoRubric/AMARIS）OOD 迁移更好，因为重写判据改变的是奖励度量的内容本身。HarnessRL 两头都要。

5.3 消融：拆开三件套

组件消融（4B OOD）：完整 49.8 → 去 critic 45.9（低于 AMARIS++ 的 47.0）→ 再去记忆 44.1（几乎回到 GRPO 的 43.9+0.2）。记忆与 critic 合计贡献了相对 GRPO 增益的 5.7/5.9。单接口版（HarnessRL_g 仅指导、HarnessRL_c 仅 rubric）域内 60.6/61.2、OOD 46.3/47.2——各自与最强单侧基线相当，证明单接口确实不够。接口替换消融：把某一接口换成已发表规则（采样←SEC bandit / 指导←RuscaRL 日程 / rubric←EvoRubric 修剪再生），其余两接口保留本文机制——三者分别 49.2/48.1/48.4 OOD，都保住对 GRPO 的大部分增益但都不及完整版（49.8）。这个"替换式消融"的设计比常见的"删除式消融"更能定位每个接口上本文机制相对已有规则的增量。

5.4 失效动力学：三接口联合的必要性（RQ2）

step 500 时三类失效占比（4B）：

单侧方法的"失效转移"被直接观测到：RuscaRL 压下 blind 却推高 saturated；AMARIS 压下 saturated/spurious 却推高 blind。HarnessRL 三类同降。与最终分数的 Spearman 相关：agree 0.91/0.92、spurious 0.78/0.82、saturated 0.59/0.74，而 blind 几乎不相关（0.15/−0.01）——盲区占比高未必坏事（可能是 rubric 收紧把判据推到了能力边缘，恰是学习信号最密的地带），这个反直觉发现加深了"三类失效需要分别对待"的论证。

critic 与记忆的可观测行为：反向更新率（同一判据的更新在两次抽取内被撤销）HarnessRL 1.6% vs AMARIS++ 18.2% vs 去掉 critic&memory 22.3%；无 critic 时反向率从首窗口 6.8% 爬到末窗口 14.1%——记忆能"看到"重复但只有 critic 能"拦住"重复。指导字段均值在 step 75 达峰 1.6 个/任务后加速下降，step 350 时 86% 任务已无指导（早于日程）；rubric 更新从首窗口 1240 次单调降到末窗口 140 次（create 集中在前段）；step 500 时 52% 任务已被降权。critic 对有证据支撑的候选接受率 71% vs 无证据 44%——检索证据真的在帮提议者。人工验证：三名盲标注员复核 200 个归因标签（各类 κ 0.71）与 200 个已接受 rubric 更新（κ 0.68），blind/saturated/spurious/agree 标签维持率 97/98/86/90%，82.5% 更新被判定确实针对所诊断失效。

5.5 效率：开销与回收（RQ3）

每 100 步成本（4B，cluster hours）的分项：

但到最佳 OOD checkpoint 的总时间：HarnessRL 17.5h（step 250 即峰）< AMARIS 17.9 < AMARIS++ 18.3 < GRPO 20.4（step 475）——开销被更早的峰值完全回收。步数维度更醒目：达到最佳 OOD 只用了 GRPO 约一半的步数。等算力对比（17.5h 预算内）HarnessRL 49.8 vs AMARIS++ 46.9；不做 best-checkpoint 挑选、直接看 step 500，HarnessRL 仍 +3.0pp 领先——优势不是挑 checkpoint 挑出来的。机制解释：harness 在奖励退化发生时即时纠正，而 GRPO 无纠正、rubric 侧基线无 critic，只能靠更多步数硬扛。

值得注意的细节是 critic 开销（1.2）是增量的大头，但它的重采样组只针对候选更新涉及的任务，而非全库——这个成本会随更新频率下降而自然衰减（rubric 更新从 1240/百步降到 140/百步），因此后期每步的实际开销低于平均的 1.6×。这说明 harness 系统的自身开销不是恒定税，而是随问题密度衰减的治理成本。

六、效果优势的根源解释

6.1 根源机制与证据链

**因果链一：失效转移是单侧适应的结构性宿命，归因路由是解药。**单侧方法优化一个接口时，被修复的失效模式会以另一类形态重新出现——指导提升达标率→判据饱和（零 advantage 组），收紧判据→超出能力→盲区（零信号组）。这不是实现缺陷而是守恒式的困境：三类失效共享同一个成因池（策略能力 × 任务分布 × 判据难度的错配），单接口只能改变错配的形态。归因路由让每类失效流向对症的接口，三管齐下才能同时压降三类。【论文实验已支持：Figure 3 中 RuscaRL/AMARIS 的失效类别跷跷板与 HarnessRL 三类同降；替换式消融中任一接口换回单侧规则都有掉点】

**因果链二：训练时记忆把"提议"从盲猜变成有据更新。**时间索引提供持续性判据（区分 noise 与持续 blind）与更新后果回溯（避免重提已撤销的操作——无 critic 时反向率爬升到 14.1% 说明仅有记忆不够，但去掉记忆连"看到"都没有）；语义索引提供的跨任务正反例覆盖了 58% 的 reference 供给，解决了新任务冷启动没参考的鸡生蛋问题。【论文实验已支持：去记忆后 OOD 从 45.9 掉到 44.1；有证据候选接受率 71% vs 44%】

**因果链三：JIT critic 把"提议即生效"换成"实测才接受"，同时换了方向正确性与幅度合理性两道关。**方向关：rubric 更新的验证方向是反直觉的（应降分而非升分）——因为修伪判据意味着挤掉虚高分，奖励上升的 rubric 改动极可能是又一轮讨好；幅度关：接受带下界滤噪声（95 分位零假设波动），上界防过猛（组内奖励范围中位数——强到可疑的指导可能在泄露答案）。【论文实验已支持：种子方差最小、反向率 1.6%、去 critic 掉 3.9pp OOD 低于 AMARIS++】机制类比：这是把软件工程的 CI 门禁搬进了文本空间进化——不是相信提交者的人品，而是跑一遍测试再合并。

**因果链四：更早的 OOD 峰值来自奖励信号质量的持续维护。**GRPO 的训练奖励与 oracle 质量在训练中期开始分叉（策略学会讨好 rubric），之后每一步都在"优化错误的目标"；HarnessRL 的失效纠正让 reward-oracle 一致率维持在 48.9%（GRPO 38.4%），策略每一步学的东西更接近真实质量，因此更少的步数就到达更高的点。【论文实验已支持：纤维素案例中组奖励降而 oracle 质量升的分叉轨迹；17.5h vs 20.4h 的墙钟对比】

6.2 相关工作检索与对照

检索范围说明：以上对照来自论文 Related Work、其引用谱系及本精读写作时的少量补充验证（DAPO、Sundaram 等均可核验）；在本次检索范围内未发现同时具备"三分类失效归因 + 接口路由 + 接受前实测"三要素的已发表工作，EvoTrainer 与 AMARIS++ 是最接近的边界。

6.3 综合判断与未决问题

多研究共同支持的机制：(1) rubric 奖励会被表面满足（reward hacking 文献 + 本文 34% spurious 实测）；(2) 饱和组无学习信号（DAPO + 本文饱和类分析）；(3) 单侧适应引发失效转移（本文 Figure 3 + DAPO/Sundaram 分别观察到的两极）；(4) 记忆降低重复无效更新（AMARIS 先例 + 本文反向率对比）。

仍属推测或单点证据的部分：接受带的具体数值（[10.2,28.0] 等）来自 4B 冷启动并直接复用于 9B，对更弱/更强模型或不同域混合是否需要重校准，论文未做敏感性分析；三分类归因由 31B 裁判骨干执行，标注维持率中 spurious 类最低（86%）——最难的判断恰在最脆弱的类别上；判别质量驱动的采样降权可能系统性放弃难任务（blind 持续的任务若指导也失败，最终被降权边缘化），论文未讨论这类"放弃"对能力上限的长期影响。

适用边界与潜在失效条件：整套机制依赖一个可靠的冻结裁判——若裁判本身与质量错位，归因器学到的是裁判的偏嗜；接受带校准假设奖励波动近似平稳，训练早期策略剧变阶段可能大量误拒；三接口的操作空间是为 rubric 奖励定制的，迁移到纯 RLVR 或 agentic RL 需要重新定义接口集合。

七、必要知识反推

领域知识层。必须透彻理解 GRPO 的组内相对优势机制——不理解"组内无差异 = 无梯度"就不明白 saturated/blind 为何致命。必须理解 rubric 奖励的构造（判据分解、加权、二值打分）及其已知的作弊形态（开头夸赞、结尾宣称合规、长度博弈、迎合拒答）——这是归因器三个问题中第三个问题的直接来源。必须理解开放生成任务为什么没有可验证奖励、oracle 裁判作为替代质量标准的构建方法（成对比较、与人工标注的 τ 一致性校准）。

方法论知识层。必须掌握课程学习与优先采样的经典工具——重要性校正 u_t 的推导与作用（Schaul et al. 的优先经验回放），否则重加权采样的目标保持性无从谈起。必须了解 rubric 演化与脚手架探索两条已有谱系及其各自观察到的失效转移现象（DAPO 的饱和、Sundaram 的可学习性边缘）——归因路由表正是站在这两组对立观察之上的综合。必须掌握文本嵌入检索（语义索引的构造、余弦阈值、top-k）与多目标接受检验的统计构造（95 分位零假设下界、中位数上界）。

工程知识层。必须能搭建大规模 RL 后训练基础设施：512 任务×8 rollout 的采样吞吐、裁判批量打分的成本核算（cluster hours 分解到组件）、ChromaDB 向量库的时间/语义双索引、冻结策略上的重采样与重打分管线。必须会设计与执行"进化系统"的审计：反向更新率、接受率、失效类别比例、字段挂载量这些过程指标的定义与埋点——没有它们，消融只能看终点看不到路径。必须能设计防循环论证的评估（4/5 OOD 基准独立于被演化的奖励）与防自我肯定的职责分离（提议者与批评者不同调用）。

知识融合的关键节点。第一个融合点是"失效分类学 × 接口化"：把模糊的"训练坏了"拆成三类的洞察，与把训练配置拆成三个可操作接口的工程抽象，二者互为镜像——每类失效恰好对应一个接口，这个对应关系是整个系统的奇点。第二个融合点是"拒绝的方向约定"：识别出"rubric 修复应以降分验证"依赖把 reward hacking 的病理（虚高分）与测量论（分数是判据的函数，修判据必动分）融通——这是 JIT critic 正确性的前提，也是全文最容易被读者滑过去的细节。第三个融合点是"统计校准 × LLM 决策"：接受带不是拍出来的超参而是从冷启动数据的分位数量出来的，把经典统计的零假设检验嵌进 LLM 进化循环——LLM 负责提议、统计负责把关，这种分工是可以迁移的模式。

八、论文中可以提取的通用性灵感

**灵感一：复杂系统的故障要先分类归因，再分派处置——别用一把锤子修所有病。**核心思想：失效模式多样的系统里，统一干预会引发"按下葫芦浮起瓢"的失效转移；建立"故障类 → 对症组件"的路由表是系统性解法。论文证据：单侧方法各自压下一类失效却推高另一类（RuscaRL saturated 17.1↑、AMARIS blind 13.3↑），三接口路由三类同降。推广场景：微服务的故障响应分诊、医疗的鉴别诊断、组织变革的痛点-方案匹配、生态治理的干预组合设计、教育诊断（概念缺失/练习不足/动机问题分治）。

**灵感二：提议者与验收者必须分离，且验收要"实测当前效果"而非"审查提议理由"。**核心思想：自改进系统中，任何"提出即生效"的通道都会积累自洽的错误；验收标准应是冻结环境下的实测增量，且要同时检查方向与幅度。论文证据：JIT critic 在冻结策略上测 ∆；接受带双侧边界（滤噪声、防过猛）；去 critic 反向更新率 6.8%→14.1%。推广场景：代码评审的 CI 门禁、自动交易策略的影子账户实测、AI 生成内容的红队验证、自适应课程系统的干预效应估计、机器人技能的仿真先验验收。

**灵感三：训练/运行配置不应是一次性决策，而应是随主体能力移动而共同进化的接口集合。**核心思想：静态配置对移动目标的失配只会积累；把配置操作化为有限类型化的动作空间（挂/摘/加权/重写），就能与主体协同进化。论文证据：指导字段随能力增长提前撤除（step 350 已 86% 卸载）、rubric 随掌握程度持续收紧、采样随信号枯竭降权。推广场景：教学难度随学生进步调整、推荐系统探索率随用户熟悉度衰减、团队管理规范随成熟度演进、康复训练强度随体能自适应、编译器优化等级随代码热度升降。

**灵感四：跨案例记忆是规模化的倍增器——时间索引用来"不重蹈覆辙"，语义索引用来"借他山之石"。**核心思想：单点历史回答"是否持续、后果如何"，相似案例库回答"别人怎么解决的"；两种检索各有不可替代的职能。论文证据：时间索引区分噪声与持续失效、防止重提被拒更新；语义索引为 58% 的参考字段供给跨任务正反例。推广场景：客服知识库的双视图设计（本用户历史 + 相似案例库）、代码审查的缺陷模式库、科研的失败实验档案、企业的项目复盘双检索体系。

**灵感五：有些指标与结果的关系是反直觉的——修复的验证信号可能方向相反。**核心思想：校准"什么算变好"必须穿透到测量机制的构造层；修尺子时尺子读数下降可能恰是修复成功的证据。论文证据：spurious 判据的有效修复使已记录组降分（∆c>0 的方向约定）；纤维素案例组奖励 100→32.8 而 oracle 质量 58.1→61.0。推广场景：健康指标（体重降可能是肌肉流失或减脂成功）、反欺诈系统（告警量下降的成功判据）、代码重构（测试覆盖率变化的双义性）、经济去杠杆期的 GDP 读数。

**灵感六：超参可以从目标系统自身的冷启动统计中"量"出来。**核心思想：接受阈值、分档参数这类关键常数，与其全局调参，不如在系统启动时用基线行为测量（零假设波动分位数、典型范围）直接导出。论文证据：接受带下界 = 独立组间差异的 95 分位，上界 = 组内奖励范围中位数，γ 档 = 判别质量分位数——全部来自一次性 0.75 cluster hour 的冷启动。推广场景：A/B 测试的最小可检测效应设定、监控告警的动态阈值、个人训练计划的基线心率分区、异常检测的季节性基线校准。

附录：与同期 HarnessPro 的对照

本期同日精读的 HarnessPro（arXiv:2610.26770）与本论文构成了"harness 自优化"命题的两个互补切面：HarnessPro 演化推理时 harness（prompt/工具/hooks），优化 pass rate-成本 Pareto 前沿，用 LLM 合成的固定测试评估候选；HarnessRL 演化训练时 harness（采样/指导/rubric），优化奖励信号的有效性，用 JIT critic 在冻结策略上实测候选。两者在方法论上共享三个基因：把配置操作化为类型化动作空间、以轨迹/记录证据驱动更新、在接受更新前建立独立于提议者的验证关卡。对读之下，“harness 工程"正在形成一条从推理侧贯穿到训练侧的完整方法论——凡是被静态固定的，皆可被证据驱动地进化。