CoEvo-RSI: When Harnesses Evolve, Which Models Should Follow? —— 精读

论文链接:https://arxiv.org/abs/2610.25078 代码仓库:https://github.com/SuJQ0722/CoEvo-RSI;模型集合:HuggingFace CoEvo-RSI 发表时间:2026年10月(arXiv v1 提交于 2026-10-18) 机构:新加坡国立大学(一作 Jiaqi Su 所在单位)、新加坡科技研究局 A*STAR、SenseTime Group——高校主导研究、科研院所与业界深度参与的合作;作者群含 Ivor Tsang、颜水成等 agent 与机器学习方向研究者 领域标签:cs.LG、agent harness 优化、递归自改进(RSI)、模型合并(model merging)

一、论文背景

要读懂这篇论文,得先弄清两个概念:harness(躯壳/执行脚手架) 和 模型-harness 共进化。

一个 LLM agent 由两部分组成。**大脑(brain)**是语言模型本身,负责推理和选择动作;**身体(body)**是 harness,定义工具接口、动作空间、记忆机制和执行工作流——系统提示词、控制流代码、工具的输入输出 schema、上下文管理策略,都属于 harness。Claude Code、Codex CLI 这类编码 agent 产品,本质是"通用大模型 + 精心打磨的 harness"。harness 之于 agent,有点像变速箱之于发动机:发动机马力再大,齿比不对,车轮上输出的扭矩照样拉胯。

agent 的进化因此沿两条路展开。模型训练路线通过监督学习、强化学习、自蒸馏改进大脑的参数;harness 优化路线固定模型,用执行反馈迭代修改提示词、工具和控制流,或用种群进化生成、评估、重组竞争性的 harness 设计。两条路在 2026 年交汇成 模型-harness 共进化(model-harness co-evolution):一轮共进化中,执行反馈 Ft 先指导 harness 变化,新 harness 的要求再塑造模型的下一次适配,从配对 (Ht, θt) 推进到 (Ht+1, θt+1)。

问题就藏在这个交汇处。论文识别并形式化了一个持续存在却被普遍忽视的失败模式——brain-body mismatch(脑体失配):当演化中的 harness 要求模型尚未学过的行为,或限制模型已经具备的能力时,配对就失配了。两个具体例子:

  • 接口失配:模型输出 XML 格式的工具调用,而演化后的 harness 期望 JSON——意图完全正确的调用被直接拒绝。这就像你换了台新机床,老师傅的手艺还在,但操作面板上所有按钮位置全变了,肌肉记忆全成错误。
  • 能力失配:harness 引入了一个"主动上下文管理工具",让模型决定哪些信息保留、摘要还是丢弃。不熟悉这类操作的模型用不好它;而某个历史 checkpoint θi 恰好具备相关能力,反而是更合适的适配起点。

这个问题的根源在于:harness 的演化速度和模型的演化速度不同步,且二者没有协调机制。现有共进化方法(如 HarnessForge、Co-Harness、WHALE)模型侧都默认"继承最新 checkpoint"或"继承父分支策略"——但最新不等于最兼容。失配的直接后果是:正确的意图被接口拒绝(执行摩擦)、模型能力被 harness 结构锁死(能力浪费)。论文 Figure 2 右图给了一个直观证据:十轮演化中,latest-only 路线出现 0.118% 的接口失配率(TIMR)且精度较低,而 CoEvo-RSI 把 TIMR 压到 0 同时拿到 +13.05 个百分点。

还有一个大背景值得交代:RSI(递归自改进)的实用化转向。早期 RSI 叙事追求"agent 无限制地全面自我提升",而本文作者明确把目标收窄为 affordable domain specialization(可负担的领域专精)——用低成本让一个 9B 小模型在特定垂直领域(失败归因、SQL、智能家居)达到大模型水平。这个定位非常务实:企业要的是"高频调用、成本敏感的领域能力",而不是全能上帝模型。9B 模型自采样、自训练的算力成本,与前沿模型的 API 账单相比几乎可以忽略。

二、论文定位和关联工作

论文的 Related Work 按三个优化目标组织文献谱系,本精读沿用这个骨架并逐一说明区别。

**谱系一:递归 harness 改进(harness 演化,模型冻结)。**ReAct 确立了推理-行动交织的范式,Reflexion 用语言反馈跨尝试记忆错误,Voyager 积累可复用的可执行技能,SWE-agent 的 agent-computer interface 研究证明"暴露给模型的操作集"本身塑造其有效性——这些是手工设计时代的奠基。之后优化目标从手工机制转向自动化:上下文(Agentic Context Engineering)、记忆(MemEvolve、MemSkill)、规划(TodoEvolve)、检索(Self-Evolving Search Index)逐组件进化;系统级的工作则联合修改提示词、工具与控制流——AutoHarness 从环境反馈合成可执行支撑代码,Meta-Harness 让提议者访问历史源码、分数与执行轨迹,Self-Harness 让 harness 自我改进,DarwinX 做自然选择式种群演化,Darwin Gödel Machine 用自指 agent 的档案让早期分支成为后续改进的垫脚石。这一谱系的共同局限:模型始终冻结,harness 演化到某个程度后,模型能力成为天花板(本文实验中 Meta-Harness/Self-Harness 在 TraceElephant 上 When 精度不足 10% 就是明证)。

**谱系二:递归模型改进(模型自进化,harness 固定或仅作环境)。**三条学习环路相关:(i) 课程自造——self-play(Absolute Zero)、面向工具的任务生成、无演示训练搜索 agent,反馈回路改变模型遇到的经验分布;(ii) 监督自蒸馏——把模型自身的改进行为变成训练目标(Latent On-Policy Self-Distillation 等),on-policy 变体使生成轨迹的分布成为学习的中心;(iii) 经验复用——SkillRL 联合演化分层技能库与 agent 策略。这一谱系忽略了:harness 决定训练轨迹中出现哪些工具、观察与执行约束——脱离 harness 谈模型初始化与适配是错位的。

**谱系三:模型-harness 共进化(双侧联合适配)。**这是本文的直接赛道:(i) 上下文与权重耦合(P2O 联合策略与提示词优化、Training with Harnesses);(ii) 可执行 harness 与策略耦合——HarnessForge 用故障引导的 harness 裁剪加 harness 条件化的策略对齐,Co-Harness 交替验证过的 harness 补丁与轨迹微调,WHALE 交替拒绝采样微调与可执行 harness 搜索,HASE 让模型权重、harness、任务解共同演化;(iii) 执行与编辑共享学习(agent 参与自己支撑系统的演化)。论文附录 D 的 Table 10 做了最直接的定位对比——8 个方法里,没有任何一个在模型侧支持"跨代选择(Select)“或"多 checkpoint 合并(Merge)”:

方法Harness 继承模型初始化模型更新SelectMerge
HarnessForge父 harness + 档案示例父分支策略LoRA SFT否否
HarnessX当前 harness 编辑+分支路由当前 checkpoint跨 harness GRPO否否
Co-Harness当前 harness 已验证补丁当前 checkpointSFT否否
HASE持久 harness + 阶段评审编辑当前 checkpointGRPO否否
WHALE档案 harness 程序的搜索复用当前 checkpoint拒绝采样 SFT否否
SafeEvolve版本化 prompt/技能更新当前策略SFT + RL否否
CoEvo-RSIagent 自选历史基底 + 设计复用agent 自选或合并档案 checkpoint拒绝采样 SFT是是(TIES)

定位结论:CoEvo-RSI 是共进化谱系中第一个把 双向历史继承做成显式决策 的框架——harness 侧选历史设计不必是最新一代,模型侧选/合并 checkpoint 也不必跟随 harness 的父系谱。这个"解耦两侧继承"的格子,此前的框架全部空着。

三、问题定义

论文的抽象方式很干净:把 agent 看成一个配对,把共进化看成配对序列的迭代,把失配定义为配对内部两个分量的行为漂移。

具体问题:共进化过程中,harness 每次演化都改变其执行要求(工具名、调用 schema、格式契约、工作流结构),模型的每次训练都改变其已学行为。两侧独立演化, (Ht, θt) 的兼容性随时可能破裂——模型"会"的 harness 用不上,harness"要"的模型不会。

核心洞察:接口兼容性不是模型或 harness 单侧的属性,而是配对特定的(pair-specific)属性。同一个 checkpoint 在 harness A 下失配率极高,换到 harness B 下可能是全场最低——论文 Figure 8 的 10×10 矩阵直接实证了这一点(round-3 checkpoint 在 harness 4-9 下 TIMR 高达 0.54-1.00,在最终 harness 下却只有 0.02,还拿到全程最佳 Safe-EX 80.85%)。既然兼容性属于配对而非个体,那么"下一代该继承谁"就不能只看单侧的新旧,而应该做配对级的组合搜索。

形式化:可执行 agent 是配对 p = (H, θ),H 指定提示词、工具、状态管理与控制流,θ 是任务模型参数。约束 C 固定环境、验证器与允许接口,任务分布 ρ。目标函数:

J(H, θ) = E_{xρ} E_{τP_{θ,H}(·|x;C)} [s(x, τ)]

即在 harness H 约束的轨迹分布下最大化期望任务得分。给定任务集 D 与每任务 n_eval 次执行,用经验估计 Ĵ。问题:在逐轮共进化中,维护 (Ht, θt) 与历史档案 A<t 的前提下,通过连续的 harness-模型协同适配,保持配对兼容性并最大化 J——失配最小化不是目标本身,而是实现高分的前提约束。

论文还引入了一个诊断量:TIMR(Turn-level Interface Mismatch Rate,turn 级接口失配率)。对一组被评估轨迹,统计所有模型 turn 中"调用了不存在的工具 / 违反接口契约 / 输出格式错误"的 turn 占比(每个违规 turn 只计一次,即使后来恢复了)。TIMR 越低,接口兼容性越好。作者对这个指标的态度相当克制:TIMR 只刻画 brain-body mismatch 中"可观测接口违规"这一个侧面,不涵盖"harness 低估模型能力"这类需要任务结果才能暴露的失配——它是廉价、可从轨迹直接验证的诊断信号,不是问题的完整度量。这种诚实的范围声明值得肯定。

这个抽象的精妙之处有三点。第一,它把"harness 该配什么模型"从经验问题变成了搜索问题——档案里有 i 个 harness、j 个 checkpoint,候选配对空间是乘性的。第二,双向继承把搜索空间从"最新链"(每轮只有 1 个起点)扩展到全档案,理论上让每轮的候选从 K 个变成 K×|M| 量级。第三,它承认了演化过程的非单调性——最新一代不一定最好(Latest-only 消融在第 4 轮就回归了),所以继承决策必须面向全历史。

四、问题解法

CoEvo-RSI 的解法是一个 agent 驱动的闭环,核心角色是元 agent(meta-agent)——一个参数固定为 φ 的 LLM(实验中是 Codex 里的 DeepSeek-V4.1-Flash),带着一组角色策略 π_φ^role 操作在档案之上。整个框架的心脏是 演化档案(evolutionary archive)A<t:它记录所有历史 harness、模型 checkpoint、它们的开发过程(编辑谱系、父代、训练历史)与执行结果,且互相链接——每个设计都关联它的模型与结果。

一轮演化的流程如下(对应论文 Figure 3):

**第一步:诊断 + 证据整理(Curator)。**当前配对 pt 在验证集 V 上 rollout,diagnose 产生反馈 Ft。Curator agent 用迭代检索策略浏览档案的元数据索引,按需读取历史记录(有预算上限),最终产出两样东西:证据 et(把历史设计与它们的实际行为关联起来)和 K 条修改假设 bt,1:K(每条假设对应一种 harness 改进方向)。Curator 的检索是一个马尔可夫过程:每一步根据当前检查历史选择下一个动作,直到停止或耗尽预算。这像一位档案管理员:先看病历(当前失败),再去库房调阅相关历史病例,整理成"什么设计在什么情况下有效"的证据卡。

第二步:harness 继承(编辑器自选起点)。K 个相互独立的编辑器各自拿到一条假设 bt,k,浏览档案,自主选择一个历史 harness 作为自己的起点(base),然后结合证据与相关历史设计开发子代 harness。关键设计:(i) 起点不必是最新一代——第 9 轮的编辑器完全可以选第 2 轮的 harness 起步;(ii) 编辑器记录 U_t,k(它实际采纳了哪些历史 harness 的设计),保留完整谱系;(iii) 多编辑器并行保证假设多样性。这一步对应类比:不是让所有工匠都在最新原型上改,而是每人根据自己要解决的问题,去仓库里挑最合适的旧型号返工。

**第三步:模型继承(checkpoint 选择或合并)。**这是本文最独特的组件。给定 K 个子代 harness,元 agent 为每个 harness 提议模型初始化:或从档案 选择 一个历史 checkpoint(one-hot 系数 α),或用 TIES-Merging 合并 多个 checkpoint——θ(α) = TIES({θj}, α),TIES 先修剪小任务向量、解决符号冲突、再合并且符号一致的更新。提议策略 π_inherit 以历史证据 et、档案 checkpoint 索引 M<t、以及评估反馈 O(该 harness 下的任务表现与 TIMR)为条件。初步评估筛选后,验证集决定最优配对:

p̄t = argmax_{p∈Q_sel} Ĵ_V(p)

这一步的深意:选初始 checkpoint 的标准是"适配之前就能开动这个 harness"——初始化本身就是一个兼容性决策。合并则允许把"会 JSON 格式"的 checkpoint 与"会上下文管理"的 checkpoint 的能力组合起来。

**第四步:配对专属适配 + 晋升。**选定配对 p̄t = (H̄t, θ̄t) 在训练集上生成自己的轨迹,拒绝采样保留验证器接受的执行(每任务最多采 3 条、温度 1、首条被接受即停),对这些成功轨迹做一轮全参数 SFT(学习率 5e-6、batch 8、4×H100),harness 保持冻结。产出增强配对 p+t。晋升在验证集上三方比较:pt+1 = max{pt, p̄t, p+t},子代必须以超过边际 δprom 的优势胜出才能晋级,否则当前配对续任。所有结果(包括失败的修改)都进档案——失败也是证据。

组件输入输出速览:

组件输入输出作用
Curator当前失败 Ft、档案索引证据 et、K 条假设把失败模式与历史方案对上号
Harness 编辑器 ×K假设、证据、档案K 个子代 harness + 谱系双向继承的 harness 侧
模型继承子代 harness、checkpoint 档案、TIMR/表现反馈候选配对集 Q_sel双向继承的模型侧
评估/选择Q_sel、验证集p̄t配对级择优
拒绝采样 SFTp̄t、训练集p+t固化成功行为
晋升pt、p̄t、p+tpt+1防回归的守门员

几个容易忽略的工程细节:元 agent 的 prompt 有严格的证据纪律(不得把全量 rollout 倒进上下文、失败先分类为 harness 可解决/模型能力受限/外部因素);权限边界只有候选 harness 可改、禁止编码基准答案;TIMR 与任务表现并行地喂给继承决策。整套流程"agent 驱动"的含义是:所有继承决策都由 LLM 基于证据做出,没有手工规则。

五、评估指标与实验证据

实验覆盖三个刻意差异化、都需要长轨迹推理或结构化执行的垂直领域,任务是检验"共进化 + 双向继承"能否让 9B 模型逼近前沿模型。

领域 1:多智能体失败归因——给定一次失败的多 agent 运行日志,指出负责的 agent(Who)与决定性错误步骤(When)。训练 3,400 单错实例(TracerTraj 1,618 + CORRECT-Error 1,230 + AFTraj 430 + 自建 122),200 个 TracerTraj 实例做演化验证,四个基准全部留作 OOD 测试。主指标:Agent Accuracy(AA/Who)——预测的负责 agent 与标注精确匹配;Step Accuracy(SA/When)——决定性步骤精确匹配。这两个指标衡量的是截然不同的能力:Who 需要跨长轨迹的因果归属,When 需要步骤级精确定位,后者难得多。

领域 2:角色感知 text-to-SQL(RBAC)——仅当用户角色的列级/操作级授权覆盖 SQL 引用的所有表和列时才生成 SQL,否则必须拒绝。Spider 子集训练演化,BIRD 子集零训练 OOD。指标:Safe-EX(允许请求中正确执行率)、Safe-Deny(拒绝请求中正确拒绝率)、Viol. 违规率(越低越好,安全底线指标)、AC-F1(访问控制 F1)。这里"指标好看"与"指标证明主张"的区分尤为关键:只有 Safe-EX 与 Viol. 同时好,才能证明系统既没有为安全牺牲能力、也没有为能力牺牲安全。

领域 3:智能家居指令跟随(HomeBench)——把 2-10 条子指令映射为设备操作、拒绝不可行指令。指标:Success(预测与参考命令多重集合精确匹配)、F1。

**核心结果一:小模型超越前沿模型。**TraceElephant 上 CoEvo-RSI(Qwen3.5-9B 底座)Who 70.78%,比 DeepSeek-V4-Pro-0813(56.62%)高 +14.16;Who&When Pro 69.43% 超 Qwen3.8-Max(65.03%);Who&When Hand 68.39/29.31 超 FALAT+MiniMax-2.5(66.30/25.90)。RBAC Spider 上 Safe-EX 80.85%、Safe-Deny 96.64%、违规率 1.57% 三项全部第一。HomeBench VM 成功率 75.51% 超 DeepSeek-V4-Pro(75.10%)。注意基线的量级:Artificial Analysis 智力指数上 Qwen3.5-9B 是 11 分,DeepSeek-V4-Pro 是 36、GLM-5.3 是 45——能力差 3-4 倍的模型在领域内被反超,这才是"共进化"声称的分量。

核心结果二:消融证明每个组件都有必要(Who&When Algo. 十轮):

变体表现说明
Harness-only(模型冻结)十轮中 8 轮 TIMR>1%;SA 每轮低于完整版只改 harness 不训练,接口持续失配
Model-only(初始 harness 下训练)TIMR≈0 但 SA≤35%接口兼容不等于任务成功
Latest-only(双侧演化但只用最新代)第 4 轮回归,最终 SA 最低继承不能锁定最新链
完整 CoEvo-RSITIMR≤0.22%,AA +11.11 / SA +5.55双侧 + 历史继承缺一不可

**核心结果三:继承矩阵(Figure 8)直接验证问题定义。**把 RBAC 运行中每个选中 harness 与全部 checkpoint 配对测 TIMR:十轮中七轮选中的恰是可用 checkpoint 中 TIMR 最低的;五轮重新选中了已有权重;后期每个派生 checkpoint 都与 round-3 checkpoint 合并;round-10 甚至回用到 round-3 checkpoint——它在 harness 4-9 下 TIMR 烂到 0.54-1.00,却在最终 harness 下低至 0.02 并取得全程最佳 Safe-EX。这张矩阵是"接口兼容性是配对特定属性"这一核心主张的最强实验证据。

**核心结果四:成本。**训练侧:默认 K=8 时一轮演化 17.48 小时、API 成本 $2.72;十轮累计采样轨迹比一次 GRPO 运行少 8.5%,实际训练样本仅其 48.3%,四基准精度反而全面更高。推理侧:Who&When Hand 上 68.39%@$0.16 vs DeepSeek-V4.1-Flash 60.34%@$3.55——高 8.05 个百分点且便宜 22 倍;RBAC Spider 上超最强基线 0.59 点且便宜 38 倍。

实验设计为什么能证明论点:其一,测试集与演化过程严格隔离(样本 ID/任务/轨迹三级查重),排除记忆污染;其二,四族基线(Direct LLM、harness-enhanced 系统、harness 演化、RL 训练、共进化)覆盖了所有单侧与双侧替代方案;其三,消融的三个变体恰好对应三个竞争假设,逐一排除;其四,作者对"RSI 还是过拟合"的自我质询很坦率:强同域 held-out 表现不等于跨域能力,本文目标是领域专精而非全能 RSI。

六、效果优势的根源解释

6.1 根源机制与证据链

因果链 1:配对级继承 → 候选空间扩展 → 跨代兼容配对可达 → TIMR 低位 + 任务精度高。baseline 的根本局限在于:它们的继承策略(最新 checkpoint / 父分支策略)把候选空间限制在演化树的"主干"上,而接口兼容性这个配对特定属性的最优解大概率不在主干上——它是 K×|M| 组合空间里的稀疏点。CoEvo-RSI 的双向历史继承没有改变"适配"这个动作本身(仍是拒绝采样 SFT),改变的是搜索的起点集合:从每轮 1 个起点扩展到全档案。证据等级:Figure 8 的继承矩阵(论文实验已支持)+ Latest-only 消融在第 4 轮回归(论文实验已支持)。反事实推理:若去掉历史继承,Figure 4 显示 Latest-only 最终 SA 落到全场最低——这条设计被消融直接反证了必要性。

**因果链 2:TIMR 诊断 → 继承决策获得廉价信号 → 无需昂贵的全量适配即可预筛配对。**如果只靠任务得分选配对,每个候选都要走完整评估(昂贵且含噪);TIMR 从轨迹即可机械判定,把"这个 checkpoint 能不能开动这个 harness"变成可计算的先验。证据等级:论文附录 B 明确声明 TIMR 是诊断信号而非因果证明——Model-only 变体 TIMR≈0 但 SA≤35% 恰好证明接口兼容只是必要条件。作者对"低 TIMR 是否直接导致性能提升"持谨慎态度(需要受控干预才能归因),这种克制是对的。

**因果链 3:拒绝采样 SFT → 成功行为固化于被选 harness 的轨迹分布 → 领域内能力密度提升。**这里有个值得展开的机制点:SFT 的监督信号全部来自 Qwen3.5-9B 自己被验证器接受的轨迹(含早代 checkpoint 的回放重采样)——没有蒸馏、没有外部示范。9B 模型能追上前沿模型,说明大量"领域能力"原本就存在于基础模型的可激发空间里,harness 提供了激发的结构、SFT 提供了固化。证据等级:论文 Table 8(比 RL 少一半训练样本仍更高精度)支持"固化路线的样本效率",但"能力主要靠激发而非新学"属于阅读者推测——论文未做能力来源的分解实验。

**因果链 4:解耦的双侧继承 → 演化非单调性可被恢复。**Latest-only 在第 4 轮回归后再未恢复(单链继承的僵化);CoEvo-RSI 在第 4 轮低谷后,于第 6、8 轮复用 round-4 权重配新 harness 实现反弹。档案的存在让"退步"变成可回溯的搜索历史而非不可逆的遗忘。证据等级:论文实验已支持(Figure 4 演化曲线)。

6.2 相关工作检索与对照

围绕关键机制做外部交叉验证(基于论文 Related Work 与可确证的知识,检索范围内未发现的如实注明):

研究相似尝试相关结论与本文的差异与边界对根源解释的影响
Darwin Gödel Machine(2025)档案式开放式进化,早期分支作垫脚石保存设计多样性对持续改进必要只演化 agent 代码/结构,不训练模型权重支持因果链 1 的"档案扩展搜索空间"论(harness 侧)
TIES-Merging(NeurIPS 2023)多模型合并:修剪+符号冲突消解合并可在不训练的情况下组合多任务能力通用合并方法,未用于共进化的初始化决策支持因果链 1 中 Merge 分路的可行性基础
WHALE(2026)档案 harness 程序搜索复用 + 拒绝采样 SFT双侧交替有效模型侧只用当前 checkpoint,无跨代选择/合并补充:证明 harness 侧档案复用有效,反衬模型侧 Select/Merge 是本文增量
Co-Harness(2026)验证补丁 + 轨迹微调交替双侧交替优于单侧继承限定父分支链限定:交替本身不够,继承方向才是关键变量
SkillRL(2026)技能库与策略联合演化库-策略联合优于单独策略训练技能库是上下文资产,非可执行 harness;无配对级搜索补充:联合演化思路一致,粒度不同
模型合并文献(task arithmetic / DARE 等)合并系数的组合优化合并空间非平凡,系数选择影响大非 agent 场景推测支撑(阅读者判断):本文让 LLM 直接输出实数系数 α 的做法属于将合并决策 agent 化,本次检索范围内未发现先例,新颖性成立但鲁棒性证据有限

值得注意的相反证据:论文引用的 Wang et al.(2026,可靠性综述方向)以及 HERA 等同期工作提出"harness 演化的增益能否泛化到优化中反复使用的任务之外"这一质疑。CoEvo-RSI 的回应是承认领域专精定位(OOD 测试全部限定同域 held-out),没有声称跨域迁移。这限定了优势的适用边界:换一个领域,档案、harness、checkpoint 都要重头演化。

6.3 综合判断与未决问题

得到多项研究共同支持的机制:(1) 档案式继承扩展候选空间优于单链继承——DGM(harness 侧)、WHALE(harness 程序复用)、本文消融三方一致;(2) 双侧联合演化优于任一单侧——Co-Harness、WHALE、HarnessForge 与本文消融方向一致。仍属推测的机制:(1) “能力主要靠激发而非新学”——没有能力来源分解实验;(2) TIMR 与性能之间的因果强度——作者自己也承认需要受控干预。适用条件:有可靠验证器(拒绝采样依赖它)、领域内有足量训练任务、底座模型具备可激发的领域先验。可能失效的条件:验证器不可靠的开放域任务(错误轨迹被固化);档案膨胀后检索成本与 LLM 继承决策的可扩展性;跨 checkpoint 合并在大容量差异模型间的行为未知。

七、必要知识反推

假设一个零知识的人要完成这项工作,他最少需要掌握什么?

领域知识层。(1) agent 的 brain/body 解剖:必须知道 harness 包含哪些可分离组件(提示词、工具 schema、控制流、状态管理),否则无法定义"演化 harness"的操作对象——CoEvo-RSI 的编辑器改的是代码化 harness,不是自然语言描述。(2) 工具调用的接口契约:XML vs JSON 之争不是格式洁癖,是机器可解析性契约——不理解 turn 级接口违规就无法定义 TIMR。(3) 多智能体失败归因/ RBAC / 智能家居三个垂直领域的任务结构与评估方式——没有领域验证器就没有拒绝采样的"接受"标准。(4) checkpoint 与任务向量:知道 θj - θbase 这个差向量有语义(任务算术),才知道"合并"为什么可能成立。

方法论知识层。(5) 共进化/种群优化框架:轮次、配对、晋升、边际 δprom 这些概念来自进化计算传统——特别是"档案(archive)“与 DGM 一脉的开放式进化思想。(6) 拒绝采样 + SFT:RAFT 式训练循环——为什么 on-policy 的成功轨迹比离线示范更适配当前 harness。(7) TIES-Merging 的三步机制:修剪-冲突消解-聚合,知道何时合并会失败。(8) LLM-as-meta-agent 的 prompt 工程:证据纪律、失败分类学、权限边界——CoEvo-RSI 的元 agent prompt 长达数页,本身就是方法论产物。(9) 验证集/测试集隔离与 OOD 评估设计:防止演化过程对测试基准的隐性记忆。

工程知识层。(10) harness 的代码化实现与沙箱评估(Codex 环境、vLLM 服务、温度/上下文预算配置)。(11) 全参 SFT 的工程栈:ms-swift、DeepSpeed ZeRO-3、序列并行、4×H100 的显存预算。(12) 成本核算:API 定价、Pareto 前沿作图——“便宜 22 倍"这种主张需要可复算的成本模型。

**知识融合的关键节点。**最有创造性的一跃发生在三个节点。节点一:把"接口兼容性"从轶事提升为配对特定属性——这需要同时懂接口工程(知道违规长什么样)与组合优化(知道配对空间是乘性的)的人,才会想到用矩阵去测它(Figure 8)。节点二:把模型初始化变成 agent 的实值决策——融合了进化计算(继承)、模型合并(α 系数)与 LLM agent 决策(π_inherit)三个原本不相邻的社区知识;TIES 的作者大概没想过合并系数可以由一个浏览执行档案的 LLM 来指定。节点三:用 SFT 而非 RL 完成适配——论文作者们(多位有 RL 训练背景)清楚 GRPO/GSPO 的能力,但选择了更便宜的拒绝采样 SFT 路线并证明其在这个设定下够用,这是一个"知道全部选项后做减法"的决策。

八、论文中可以提取的通用性灵感

**灵感一:兼容性是配对属性,不是个体属性。**评估或优化一个系统时,若两个组件各自最优但联合失效,问题可能出在配对层——应该搜索配对空间而非分别打磨组件。论文证据:Figure 8 矩阵中同一 checkpoint 的 TIMR 随 harness 从 1.00 变到 0.02;Latest-only 消融失败。推广场景:微服务架构中 API 契约的版本兼容矩阵管理;人机协作中"操作员-工具界面"的重新配对评估;多模型系统中路由器-模型的组合搜索;数据库中执行计划与统计信息的适配;教育中学习者-教材表征的匹配。

**灵感二:档案化失败,让退步可回溯。**把所有中间产物(含失败)结构化存档并链接其行为证据,继承决策面向全历史而非最新状态。论文证据:round-10 回用 round-3 checkpoint 拿到全程最佳;失败结果也进档案 A<t+1。推广场景:持续学习系统防止灾难性遗忘的显式回滚点;软件工程中实验分支的长期保留与复活策略;组织知识管理中"失败项目复盘库”;自动机器学习的试错历史复用;个人决策中的"人生决策档案”。

**灵感三:用廉价可验证的代理信号做预筛,用昂贵信号做终审。**TIMR 从轨迹机械判定、成本近零,先筛掉"开都开不动"的配对;验证集任务得分(昂贵)只用于终选与晋升。论文证据:七轮选中 TIMR 最低的 checkpoint;附录 B 明确 TIMR 与任务分的分工。推广场景:招聘中的简历筛(廉价)与面试(昂贵)分层;编译器中快速类型检查与完整测试的分层验证;药物筛选中计算打分与湿实验的级联;推荐系统的召回-精排级联;代码评审的静态检查与人工深读。

**灵感四:让决策者读原始证据而非摘要分数。**Curator 与编辑器访问的是源码、执行轨迹与谱系——论文 Related Work 点明 Meta-Harness 的类似设计动机:单一标量分数或压缩反思会丢失关键证据。论文证据:档案保存 edits/parents/outcomes 三链。推广场景:管理层决策保留一线原始反馈通道;自动化运维保留完整日志而非只看告警聚合;法律检索回溯判例原文而非摘要;科研中读原始数据而非只读二手综述;产品迭代直接看用户会话录像。

**灵感五:领域专精是 RSI 的务实形态。**与其追求无界自我改进,不如在选定的垂直域内做"数据自生成 + 选择自训练 + 结构自演化"的闭环——质量目标对齐前沿、成本目标压到极限。论文证据:9B 模型三域逼近 36-45 智力指数的前沿模型,推理成本低 22-38 倍,训练成本每轮不到 $4。推广场景:边缘设备上的领域小模型生产流水线;企业高频内部任务的私有模型定制;垂直 SaaS 的自动化领域适配;机器人特定作业技能的低成本迭代;科研中"小模型+好脚手架"替代大模型 API 的经费策略。

**灵感六:解耦两侧的继承节奏。**联合演化两个互相依赖的组件时,两侧不必共享同一继承链——各自按自己的兼容性证据选起点,再在配对层汇合。论文证据:harness 编辑器选基底与模型继承选 checkpoint 是两个独立决策(Table 10 对比全为 No)。推广场景:前后端独立版本化但接口契约测试配对验证;课程与教学法分别迭代、在学习者层评估组合效果;硬件-软件协同设计中 ISA 与编译器解耦演进;团队重组中技能组与项目需求的独立演化再匹配;双臂实验设计中处理与剂量的独立搜索。

附录:读后记录

  • 这篇论文与同期 HERA(harness-环境共进化)恰好互补:CoEvo-RSI 共进化"模型-harness"两内件,HERA 共进化"harness-任务环境"内外件——两篇合读能看到 co-evolution 范式在两个正交方向上的展开。
  • 论文最值得反复看的是 Figure 8 的 harness×checkpoint 矩阵与附录 D 的 Table 10:前者是问题定义的实验化身,后者是定位的一句话总结。
  • 代码与模型已开源(GitHub + HuggingFace collection),复现门槛主要在三域评估环境与元 agent 的 API 成本。
  • 写作上的诚实点值得学习:作者明确 TIMR 的适用范围、明确"领域专精 ≠ 通用 RSI"、明确 RL 基线在个别指标(When)上反超——不回避对自己主张的不利证据。