Harness 优化与轨迹学习三重奏：RSR、HASTE 与 Sentry 精读

论文链接：

• RSR: Scaling Trajectories for Complex Tasks through Recursive Self-Rewrite
• HASTE: Evolving Agent Harnesses Against Emerging Attacks Using Sparse Evidence
• Sentry: Learning to Recover from LLM Agent Failures at Test Time

代码仓库：RSR 释出模型权重（IntelligenceLab/RSR-27B，代码库 URL 原文未单独给出）；HASTE 开源（xxiqiao/HASTE）；Sentry 原文未提供代码链接 发表时间：2026 年 10 月（arXiv v1，三篇几乎同期） 机构：RSR——腾讯 HY LLM Frontier 主导 + University of Maryland / University of Georgia / 新加坡国立大学 / Indiana University / WashU / 南洋理工，典型的「企业主导产学研」：腾讯出任务管线、训练与评测资源，高校参与任务构建与写作（含 Jordan Boyd-Graber 等学术顾问）；HASTE——中国科学技术大学（一作 Xiqiao Xiong、通讯 Fuli Feng / Xiangnan He）+ 新加坡国立大学 + 新加坡管理大学，纯高校跨国合作，无企业；Sentry——Stanford 计算机系单一机构（Changxiu Ji、Amy Lu 共同一作，Qizheng Zhang、Kunle Olukotun），且作者与 ACE（Agentic Context Engineering）、Meta-Harness 两个谱系深度重叠——这篇可视为该组对自家「常驻 playbook」范式的自我批判与修正。三篇恰好展示了经验复用研究的资源阶梯：训进权重（企业级算力）＞进化 harness（中等算力）＞检索式上下文（轻量），机构形态与所需资源精确对应 领域标签：cs.AI / cs.LG / cs.SE / cs.CR

三篇论文放在一篇精读里，是因为它们回答的是同一个问题的三个阶段：当冻结模型权重成为共识、当 benchmark 分数越来越贵也越来越不可信，Agent 的进步还能靠什么驱动？三篇的共同答案是「经验」——但经验的形态、验证方式和使用时机完全不同。RSR 把经验转译后训进参数（离线、一次性）；HASTE 把经验进化进 harness（持续、对抗式）；Sentry 把经验条件性注入上下文（在线、失败触发）。贯穿三篇的一条暗线是：传统上由外部 benchmark 承担的「评测」职能，正在被拆解进经验回路的三个环节——经验从哪来（多样化发现/对抗生成/失败检测）、如何可信（执行验证准入）、何时使用（训练时/进化时/检索时）。这条暗线就是本期的叙事轴。

一、论文背景

1.1 Harness 时代：模型之外的那一半 Agent

一个现代 Agent = 模型 + Harness。Harness 是包裹在模型外面的可执行运行时：上下文构建、工具编排、状态管理、执行控制、验证机制。2026 年的共识是：训练要 GPU 集群和数月周期，改 Harness 只要改代码——于是「harness engineering」成为最划算的能力提升路径，Meta-Harness（COLM 2026）一类的外层自动搜索已经能在 TerminalBench-2 上超过最好的人工 harness。

但 harness 优化自己又引出了两个更深的问题，分别被本期三篇接力回答。

问题一：harness 里解出的轨迹，是模型的能力还是 harness 的能力？ 一个模型在 StateM（带状态检查契约的 harness）里解出了难题，换到通用 harness 里就解不出——这条成功轨迹到底是「模型会了」还是「脚手架撑着」？如果想让模型真正学会，能不能直接把专用 harness 里的轨迹拿来 SFT？RSR 的出发点正是这个看似自然、实则致命的做法：直接 SFT 会让模型把 harness 专属的控制约定（比如 statem goto 这类控制命令）学进参数，而推理时这些外部支撑并不存在。

问题二：优化 harness 需要评测信号，但评测集从哪来？ 能力优化还好说——任务自带验证器；安全防御就难了：新攻击出现时，你手里往往只有一份威胁报告或几个攻击样例（稀疏证据），没有成千上万的攻击案例供你迭代。等人工构建好评测集，攻击早就变样了。HASTE 面对的正是这个「评测集比威胁落后一个身位」的困境。

1.2 经验复用的两条已有路线及其困境

在本次三篇之前，「让 Agent 从自己的执行经验中学习」已有两条成熟路线，理解它们才能定位三篇的位置：

路线 A：轨迹→上下文（不训练）。 Reflexion（2023）把失败反馈写成语言反思存入 episodic memory，重试时注入；AWM（2024）从轨迹中归纳可复用 workflow 存入记忆指导后续任务；ACE（ICLR 2026，Stanford+SambaNova+Berkeley）把上下文当成持续进化的 playbook，用 Generator/Reflector/Curator 三角色增量更新，AppWorld 上 +10.6%。这条路线便宜、可解释，但有个从未被系统检验的默认设置：经验被选入上下文后全程常驻——不管当前这一步需不需要它。

路线 B：轨迹→权重（训练）。 STaR（2022）开了自我提升的先河：生成推理链、只保留答对的做 SFT、迭代。后续 rejection sampling / best-of-N 成为「有验证器时的标配」。但这条路线在 Agent 场景遇到了新麻烦：Agent 轨迹不再是单轮推理，而是嵌在特定 harness 里的长程行为——轨迹的分布由 harness 塑形，这是单轮时代的自我提升方法从未需要处理的变量。RSR 论文里最扎眼的数字由此而来：直接 SFT 源轨迹，TB2 反而比 Base 掉 3.6pp。

1.3 第三块拼图：运行时的失败

就算模型训好了、harness 进化好了，执行中还是会失败——无效工具调用、重复动作、失据推理。Wink（2026，生产系统）的统计是：约 30% 的生产轨迹包含至少一种失当行为。失败发生时怎么办？路线 A 的常驻上下文帮不上忙（任务开始前选的 lesson 未必对应当前的失败），路线 B 的权重更帮不上忙（不能现场重训）。这留出了第三块拼图：失败发生后、任务结束前，用积累的经验现场恢复——Sentry 的位置。

三篇连起来，正好覆盖「经验复用」的完整时间轴：事后沉淀（RSR，离线训练）→ 事前进化（HASTE，持续防御）→ 事中介入（Sentry，运行时恢复）。

二、论文定位和关联工作

2.1 RSR：站在自我提升与 harness 优化的交叉口

RSR 的定位是「轨迹级经验复用」：让同一模型在多种专用 harness 下解难题，再把这些轨迹改写成通用 harness 下模型自身的能力。四条相关谱系：

• vs 直接 SFT / rejection sampling（STaR、RFT 一族）：同是「采轨迹→过滤→SFT」，但 RSR 多了中间的「转译」层（planner 重构 + critic 审查 + executor 复验），解决 harness 专属行为污染训练数据的问题——STaR 时代的单轮推理不存在这个污染源。
• vs 轨迹→上下文路线（Reflexion/AWM/ACE）：经验最终进参数而非上下文，好处是推理时零额外 token、不占上下文窗口；代价是需要一次性训练成本。
• vs harness 自动优化（Meta-Harness/VERSE/SelfSearch）：Meta-Harness 搜索更好的 harness 代码，VERSE 给优化器加执行验证与自进化，SelfSearch 用 episode 记录做无评测搜索——它们优化「脚手架」，RSR 把脚手架带来的收益内化进模型，让模型摆脱脚手架也能做对。方向恰好相反：一个是让环境迁就模型，一个是让模型吸收环境。
• vs 蒸馏：RSR 全程同一模型自产自销，无教师模型，属于 self-improvement 而非知识转移。

一个关键细节值得单列：RSR 的「runbook 复验」与 STaR 的「rationalization」（给模型答案提示让它重推、只保留成功推理链）结构同构——都是「用 privileged 信息引导生成，再以结果过滤」。区别在于 RSR 的 privileged 信息是跨 harness 改写出的程序性知识（runbook），而非标准答案本身；且 critic 会显式审查 runbook 是否泄漏答案。

2.2 HASTE：把对抗式共同进化搬进 harness 防御

HASTE 的定位是「harness 级防御进化」：只有稀疏威胁证据时，自动进化 harness 防御新兴攻击。相关谱系：

• vs Meta-Harness 式 harness 进化用于安全：这是 HASTE 最重要的 baseline（同为 harness 进化、同样使用观测样例），区别在于 Meta-Harness 在固定案例集上累积经验，HASTE 让「安全规范」和「攻击案例」两个生成器持续共同进化——评测集本身是活的。
• vs 权重级对抗训练（GPT-Red 一族）：OpenAI 的 GPT-Red 用大规模 self-play RL 训练红队攻击者、与防御者种群共同进化，验证了「攻防共同进化产生超越静态数据集的训练信号」这一原理——但在权重层。HASTE 把同一原理搬到 harness 层：不改权重、不需要 RL 级算力，纯高校资源即可运行。
• vs 护栏模型与防火墙（Qwen3Guard/Safiron/LlamaFirewall 等）：护栏在输入/输出层做分类拦截，无法约束 Agent 的观察、记忆与执行路径；harness 级防御可以控制「Agent 看到什么、记住什么、执行什么」，且即插即用。
• vs 静态安全评测基准（ASB/STAC/InjecAgent）：HASTE 不是又一个基准，而是把基准「生成器化」——攻击案例由案例优化器针对当前 harness 的残留漏洞持续再生成。

2.3 Sentry：对自己谱系的修正

Sentry 的定位是「运行时失败恢复 + 跨任务经验积累」，它同时站在两条 baseline 线的交点上，并指出各自缺了一半：

• vs 上下文进化（Reflexion/ACE/AWM/ReasoningBank）：这一线在任务开始前选好 lesson 并全程驻留上下文，agent 需要在每一步自行判断「这条经验现在适不适用」——常常判错。Sentry 的杀手证据来自对 ACE 的反事实：从 ACE playbook 里删掉失败类 lesson，WebShop 反而从 0.335 涨到 0.391、Mind2Web 从 0.562 涨到 0.643——常驻的失败知识是负资产。
• vs 运行时干预（AgentGuard/AgentForesight/AgentFixer/Wink）：这一线在正确的时机（检测到失败）介入，条件变量选对了（当前轨迹），但知识固定不学习——同样的失败下次还会犯。Wink 在生产中解决了 90% 的单次干预失当，但纠偏知识不跨任务积累。
• 谱系自察：Sentry 作者（Qizheng Zhang、Kunle Olukotun）正是 ACE 的共同一作与通讯——这篇论文本质上是该组对自家范式的精准修正：保留 ACE 的 playbook 进化（跨任务学习），替换其暴露机制（常驻→失败触发条件检索 k=5），再加一道 ACE 没有的恢复验证准入。论文也诚实展示了组合最优：ACE+Sentry（0.555/0.789）超过单独 Sentry，说明 ACE 的进化机制仍有独立价值。

2.4 定位总表

三、问题定义

3.1 RSR：跨分布的轨迹转译问题

RSR 表面的问题是「扩充自提升训练数据」，本质是一个分布迁移问题。形式化：设模型 $M$ 在 harness 集合 $\{h_1, h_2, h_3\}$（Terminus 2 / StateM / RSRT）下执行任务，得到成功轨迹集 $\tau \sim p(\cdot \mid M, h_i, \text{task})$；目标是得到训练数据使 $M$ 在通用 harness $h_g$ 下、无任何外部脚手架时表现最大化。困难在于 $p(\cdot \mid M, h_i, \cdot) \neq p(\cdot \mid M, h_g, \cdot)$：源轨迹里混着 harness 控制消息、harness 专属命令、以及「因为脚手架兜底才敢走的捷径」。

RSR 的核心洞察是把「轨迹」拆成两层：表层行为（依赖 harness，不可迁移）与程序性知识（里程碑/检查/恢复策略，可迁移）。于是问题转化为：给定源轨迹，求其程序性知识的充分统计（runbook），再在目标分布下重新采样行为并仅保留通过任务验证的样本。约束有三：runbook 不得泄漏任务答案（否则训练的是抄答案）；复验必须在全新沙箱的通用 harness 下（强制目标分布）；复验不过的样本丢弃（验证准入）。

这个抽象的精妙之处：它没有试图对源轨迹做「风格修正」之类的表面清洗（那需要定义什么是 harness 风格），而是绕过表层、只在程序层传递信息，让行为层完全在目标分布下重新生成。类比来说，这像把「名师带练时的动作记录」改写成「训练计划」，再让学员按计划独自练习、只保留达标的练习记录。

3.2 HASTE：评测集内生化问题

HASTE 表面的问题是「稀疏证据下进化防御」，本质是把评测集从外生常量变成内生变量。形式化：给定稀疏证据 $E$（威胁报告/少量攻击样例）与初始 harness $H_0$，求进化后的 $H_T$ 使其在未见攻击上的 ASR 最小、良性任务帮助率（SHR）最大。如果存在一个固定的攻击案例集 $D$ 用于评估与选择，优化就会过拟合 $D$——这正是 HASTE 最强 baseline Meta-Harness 的结构性弱点。

HASTE 的解法是把 $D$ 变成时变的 $D_t$：每轮由案例优化器针对当前 $H_t$ 的残留漏洞再生成攻击案例（无可安全完成路径）与安全案例（可安全完成，探测效用回退），新生成案例对规范优化器和 harness 提案者保密。于是「评测」不再是一次性外部裁判，而是回路内生的、随被优化对象同步进化的探测压力。这里的关键设计是信息隔离：被优化者永远看不到评测内容，只能看到「按安全规范修订后是否通过」的信号——过拟合的对象从案例本身退守到机制层面（攻击规范），而机制层面恰恰是希望它学到的。

3.3 Sentry：知识的条件性暴露问题

Sentry 表面的问题是「测试时从失败中恢复」，本质是知识暴露时机问题。形式化：给定随任务积累的经验库（playbook）$\mathcal{P}$ 与执行中的轨迹状态 $s_t$，求暴露策略 $\sigma(\mathcal{P}, s_t) \to \mathcal{C}_t \subseteq \mathcal{P}$（注入上下文的子集）使最终任务回报最大。此前的两类极端：$\sigma_{\text{static}}$（任务开始时选定、全程驻留——ACE/AWM）与 $\sigma_{\text{none}}$（不暴露——纯运行时干预线）。Sentry 的主张：失败知识是条件性知识——只在「同类失败发生」这个条件下才有正价值，其余时刻是噪音甚至毒药。

两个配套的形式化设计：其一，暴露的触发器不是「任务特征」而是「轨迹特征」（最近 W=5 个推理-动作-观察循环中的失败信号），条件变量从粗到细；其二，写入端也有准入控制——一次恢复尝试须在 H=10 步内被无奖励地判断为「确实恢复了」，验证成功的恢复经验才写成新 lesson 入库。知识库的进出口都被条件化了。

3.4 公共抽象：经验回路的三问

三篇合起来回答的问题：把外部 benchmark 的「一次性评分」拆解为回路内的「生成—验证—时机控制」，经验就能替代评测成为进步的驱动信号。

四、问题解法

4.1 RSR：三角色递归改写管线

RSR（Recursive Self-Rewrite）的管线四步，像一条严格的「知识精炼厂」：

第一步：多 harness 发现。 用 Terminus 2、StateM、RSRT 三种专用 harness 让 Qwen-3.8-27B 在 2,929 个任务上执行（14,598 rollouts），得到 2,001 条成功轨迹、覆盖 759 个任务。选三种 harness 不是凑数：它们激活的解题行为互补——RSRT 靠「拒绝后反思续跑」、StateM 靠「状态检查契约」，Base 模型在 TBH 上 RSRT 66.0% vs Terminus 2 33.0%，而三者在不同任务上各有胜场，并集覆盖 70.0%、比最强单 harness（Terminus 2，565 任务）多 194 个任务（+34.3%）。这是「多样化发现源」的直接收益。

第二步：planner 重构 runbook。 planner 读取源轨迹（剔除 harness 控制消息后），把它重构为 runbook——一份只含程序性知识的文档：关键里程碑、检查点、恢复策略。类比：把「跟着导航开车的行车记录」改写成「路线要点卡片」，抹掉导航播报的每一句话。

第三步：critic 审查防泄漏。 critic 用「规则检查 + 模型审查」双重手段筛除两类污染：verifier 泄漏（runbook 里写了「验证器会查什么」）与答案泄漏（直接包含任务答案）。被拒绝时带理由递归重采——这是「Recursive」的来源之一。这一步是数据纯度的守门员：任何形式的抄答案都会让后续 SFT 学到「等 runbook 给答案」而非「自己解题」。

第四步：executor 全新沙箱复验。 executor 在全新沙箱、通用 Terminus 2 harness 下按 runbook 重解任务。关键约束：runbook 是 executor 的私有指导，不进入产出的公开轨迹——最终用于 SFT 的轨迹里没有 runbook 的影子，只有模型在通用接口下「自己走出来的」行为。每条 runbook 改写 K=4 份、每份执行 M=4 次，仅保留通过任务验证的轨迹。2,001 条源轨迹由此扩成 11,094 条训练轨迹（12,893 rollouts、86% 通过率）——「一源多写」同时完成了扩量与净化。

最后的 SFT 用这批复验通过的轨迹训练。整个管线里，「评测」只以任务验证器的形式存在于回路内部（复验时判过/不过），没有任何人工标注或外部模型打分。

4.2 HASTE：双生成器对抗闭环 + 保密协议

HASTE 三阶段多智能体框架，核心是让「规范」与「案例」两个生成器互为对手：

阶段一：攻击解析。 攻击解析器把稀疏证据（威胁报告/预印本的攻击描述或少量样例）抽象为固定的攻击规范：攻击者能力 + 攻击机制。这一步把「偶发的攻击细节」提升到机制层，防止后续优化拟合报告里的表面特征。

阶段二：双轨生成与保密修订。 两个优化器并行工作——规范优化器生成安全规范（harness 应该长什么样的防御约束）；案例优化器生成两类探针：攻击案例（无可安全完成路径——探测残留漏洞）与安全案例（可安全完成——探测效用回退，防止防御过度误伤）。提案者按安全规范增量修订 harness。关键的保密协议：新生成的案例对规范优化器和提案者都保密——提案者永远不能看到评测它的新案例，只能收到「修订后是否通过」的信号。

阶段三：评审闭环。 评审者评估修订后 harness 的安全性与效用，给出诊断反馈，累积回传两个优化器——规范修补案例暴露的漏洞，案例再探修补后的漏洞，形成对抗闭环。

两种部署设定：HASTEblind（无观测样例，盲进化、取末轮 harness）与 HASTEseen（有少量观测样例，按 1−ASR+SHR 选最优轮）。注意 HASTEseen 的选轮用了观测样例——这仍是一点「外部评测」的残留，但只用于轮间选择而非回路内拟合，接触面被压到最小。

4.3 Sentry：检测—隔离检索—验证准入

Sentry 是一个与任务 Agent 并行运行的失败管理层，三段式：

检测（何时介入）。 每步检查最近 W=5 个推理-动作-观察循环，识别三类失败：动作有效性（schema 无效等，走硬修复——确定性重写无效动作）、执行进度（原地打转）、推理-接地（结论没有观察支撑）。后两类走软修复。W=5 是「看到失败苗头但不反应过度」的折中窗口。

隔离检索（用什么介入）。 软修复从一个完全隔离于 Agent 上下文之外的 playbook 中检索经验：按失败类型 + 细粒度标签匹配，至多取 k=5 条 lesson 指导下一步动作。隔离是双向的：playbook 不常驻上下文（不占窗口、不产生「每步判断适用性」的负担），上下文也不污染 playbook（lesson 只在检索时短暂出现）。检索质量的三层过滤（失败类型+细粒度标签+k 截断）在消融中各值 −11.3%~−28.9%。

验证准入（什么能留下）。 一次恢复尝试后，Sentry 无奖励访问地判断 H=10 步内是否真正恢复（任务是否回到正轨）；只有验证成功的恢复，其经验才被写成新 lesson 追加进 playbook——失败-恢复-入库，跨任务积累。反过来说，一次糟糕的恢复尝试不会污染知识库。这一「准入」与其说防攻击，不如说防「把偶然脱困当成可复用经验」的自污染。

成本结构因此非常便宜：无失败时不消耗任何额外 token（playbook 不在上下文里），有失败时只注入 k=5 条——整体 token 仅 1.54× base agent。

五、评估指标与实验证据

5.1 RSR：训练收益与「Direct SFT 陷阱」

设置：Qwen-3.8-27B，六个基准（TB2/TB3/TB4/TBH 100 题自建/SWR100 自建/LHTB），pass@3 与 3 次运行平均通过率。对照组：Base（原模型）、Direct SFT（直接 SFT 源轨迹）。

* 3 次运行平均通过率口径：Base 51.7% → Direct SFT 43.8%。

为什么这张表有证明力：

• Direct SFT 在 TB2 掉 3.6pp 是全文最重要的对照——它排除了「数据多一点总归好一点」的平庸解释，把因果钉在「轨迹分布是否与推理分布对齐」上。论文对掉点的归因：原始轨迹含 >100 步的循环/死胡同行为与 harness 专属约定，SFT 忠实学进了这些。
• harness 互补性有独立证据链：Base 模型在 TBH 上 Terminus 2 33.0% / RSRT 66.0% / StateM 46.0%、并集 70.0%——不同 harness 激活不同行为不是假设而是测量结果；训练数据层面并集 759 任务 > 单 harness 565。
• 改写-复验的经济学账本：2,929 任务上 14,598 次 rollout 只得到 2,001 条成功轨迹（759 任务），难题发现本身很贵；而 K=4×M=4 的一源多写把 2,001 条扩到 11,094 条（12,893 rollouts、86% 通过率）——发现贵、复验便宜，这个成本结构是「转译扩写」路线成立的经济学基础。
• 诚实报告：LHTB 上 process reward 0.21→0.29，但 46 题仍 0 完整完成；TB3/TB4/SWR100 绝对值仍低（9.5%/9.1%/6.0%）——RSR 扩大了可解任务边界，但没有变出奇迹。这些数字更适合解读为「能力天花板被推高了一格」而非「解决」。
• 一个旁证性对照：VERSE（MIT+Amazon）的附录显示 harness 补丁类方法在 Terminal-Bench 上与空白 harness 差距多在 2 点以内（该基准对 harness 补丁不敏感）；RSR 在 TB2 上 +17.2pp，说明其收益走的是参数通道而非 harness 通道——这正是「内化」的量化签名。

5.2 HASTE：对抗进化的增益与致命消融

设置：Agent-SafetyBench（ASB）+ STAC，4 个骨干模型（DeepSeek-V4-Pro / Qwen3-8B / Phi-4-mini / GPT-5.4-mini），3 次重复。指标：ASR↓（攻击成功率）与 SHR↑（安全且有帮助率——同时衡量防御与效用，防「防御过度」的作弊解）。

STAC 三模型平均：HASTEseen 15.76 < Meta-Harness 16.29 < HASTEblind 29.12 < Safiron 36.18 < No-defense 64.96；分模型最低到 GPT-5.4-mini 8.90±6.86。

消融与泛化是证明力的核心：

• 冻结案例生成是最致命的消融（ASB-300，Qwen3-8B）：HASTEblind ASR 从 26.00 飙到 53.67、HASTEseen 从 25.56 飙到 55.89——几乎回到无防御水平（54.00）。冻结规范优化次之（46.33/40.22）。这条消融直接验证了「评测集必须与被优化对象共同进化」的机制主张：案例生成一停，残留漏洞就无人探测，防御退化为对旧案例的背诵。
• 跨基准泛化（ASB 训练→STAC 93 例）：HASTEseen 平均 ASR 8.24，仍远优于 No-defense 66.11——保密协议起效，harness 没有拟合 ASB 的案例表面。
• 跨骨干迁移：OOD 平均 ASR 约 30–31 vs 无防御 48.96；连续威胁（8 个风险类型依次引入）下 HASTEseen 在绝大多数阶段保持最低 ASR / 最高 SHR——防御不是针对单次攻击的过拟合，而是可持续进化的能力。
• 口径警示（阅读者注）：外部评测有效性研究（arXiv:2510.05244）指出 ASB 存在「强制注入攻击工具」导致的 ASR 虚高问题（修订版口径下 GPT-4o 的 ASR 从 73.58 降到 9.25）。HASTE 的 SHR 指标与 STAC 跨基准验证部分对冲了这一担忧，但 ASB 上的绝对数值应谨慎解读——对比性结论（HASTE 优于基线的幅度）比绝对 ASR 更可信。

5.3 Sentry：四基准全胜 + 反事实直接命中机制

设置：主 backbone Qwen3.5-9B，5 次运行均值±标准差；WebShop / AppWorld / Mind2Web Replay 各 100 任务、SWE-bench Lite 50 任务。两类对照分开跑：运行时干预类与上下文进化类（held-out 50+50 协议）。

运行时干预对比（Table 1）：

四项平均超最强 baseline 37%；GPT-OSS-120B backbone 下平均超最强 51%（WebShop +95%）——机制不绑定小模型。

上下文进化对比（Table 2，held-out）：WebShop 0.495 vs ACE 0.335（+47.8%）、Mind2Web Replay 0.729 vs ACE 0.562（+29.7%）；Reflexion 0.295/0.531、AWM 0.270/0.470、ReasoningBank 0.250/0.483 全部垫底。ACE+Sentry 组合最优（0.555/0.789）。

四组机制证据：

• 配对反事实（200 个分叉点，最干净的因果设计）：同一失败时刻，干预分支 vs 放任分支——局部恢复率 33.5%→60.5%，最终得分 74 胜/25 负/101 平。干预无害且有实效。
• 反事实直接命中「常驻有害」假设：从 ACE playbook 删掉失败类 lesson，WebShop 0.335→0.391、Mind2Web 0.562→0.643（涨！）；把固定 playbook 常驻上下文，0.364→0.296（跌）。知识本身没错，错在暴露方式。
• 消融链完整：去干预必要性检查 −54.7%（最大单项——不筛「是否真的需要介入」最伤）；去软修复 −41.9%/−30.3%；去自进化 −31%；去失败特定检索 −26%；去恢复验证 −20%。检索消融：随机检索 −28.9%、不过滤 −18.8%、仅失败类型 −11.3%。每个机制都能单独追溯到分数。
• 成本与人类验证：token 仅 1.54×（AgentForesight 2.44×）；SWE-bench/AppWorld 每任务反而省时 31.7s/45.6s（少走弯路省回的）；干预决策人类一致率 86.0%、恢复判断 81.8%、有帮助率 85.8%（κ=0.82–0.89）。整体恢复率：939 个检测失败中 81.7% 被解决。

六、效果优势的根源解释

6.1 RSR：为什么「转译后复验」胜过「直接模仿」

因果链：

1. 不同 harness 激活不同解题行为（RSRT 的反思续跑、StateM 的状态契约），故多 harness 并集能发现单 harness 发现不了的难题解——论文实验已支持（TBH 上 RSRT 66.0% vs Terminus 2 33.0%，并集 70.0%；训练集并集 759 > 565）。
2. 直接 SFT 源轨迹会把 harness 专属约定与死胡同行为学进参数；推理时外部支撑不存在，习得行为失效——论文实验已支持（Direct SFT TB2 掉 3.6pp，>100 步循环行为的归因分析）。
3. runbook 抽象只保留程序性知识（里程碑/检查/恢复），critic 杜绝答案泄漏，fresh sandbox 强制行为在目标分布（通用 harness）下重新生成——训练分布≈推理分布，学到的规划/检查/恢复能力自足——论文实验已支持（+20.8pp 的组间差；86% 复验通过率过滤掉不适配样本）。
4. 一源多写（K×M+拒绝采样）同时扩量提质——论文实验已支持（2,001→11,094 条）。

外部交叉验证：其一，STaR（arXiv:2203.14465）的 rationalization 机制——给模型答案提示重推、只保留成功链——与 RSR 的「runbook 引导复验」结构同构，先例证明「privileged 引导 + 结果过滤」能产生高于模型自主水平的数据；RSR 的增量在于 privileged 信息从答案换成了不含答案的程序性知识。其二，HASP（arXiv:2605.17734）系统比较了 RS/SFT/OPD 三种内化路径，发现带中间质量过滤的拒绝采样最稳——与 RSR「复验不过即丢」的设计互相印证。其三，VERSE（arXiv:2610.02604）实测 49% 的验证结果不可复现——任何依赖执行验证的管线都必须多重验证，RSR 的 K×M 设计（16 次执行/runbook）可视为对此类噪声的工程响应。其四，Meta-Harness 的关键消融（proposer 只看分数+代码 41.3、加摘要 38.7、接入原始轨迹 56.7）证明丰富执行细节对诊断的价值——RSR 把完整轨迹（而非摘要）交给 planner 重构 runbook，遵循同一原则。综合判断：「分布对齐的训练数据优于原始成功轨迹」有 Direct SFT 反例 + 外部谱系双重支持；「多 harness 并集效应」是论文内部测量，外部尚缺直接复现（阅读者注：SelfSearch 的跨 harness 迁移数据是间接旁证）。

6.2 HASTE：为什么「共同进化的案例」胜过「固定案例集」

因果链：

1. 稀疏证据直接用于拟合会锁定偶发细节——攻击规范把证据抽象到机制层，使防御面向攻击类而非攻击例——论文实验已支持（冻结规范优化掉点到 46.33/40.22）。
2. 固定案例集上优化 → harness 针对案例定制 → 残留漏洞无人再探测 → 真实 ASR 回升——论文实验已支持（冻结案例生成：26.00→53.67，几乎等于无防御；这正是 Meta-Harness 类方法的结构性天花板）。
3. 案例对提案者保密 → 提案者无法拟合评测内容，只能通过「按规范修订」真正提升机制 → 泛化到未见基准——论文实验已支持（ASB→STAC 8.24 vs 无防御 66.11）。
4. 对抗闭环使案例集随 harness 进化持续膨胀（旧洞补上新洞又现），等效于把稀疏证据外推成不断长大的评测集——论文实验已支持 + 外部强支持（见下）。

外部交叉验证：GPT-Red（arXiv:2607.26115，OpenAI）在权重层做了同构实验：攻击者与防御者种群 self-play 共同进化，观察到「防御变强→攻击者被迫发现更精攻击→更难训练数据→更强防御」的健康飞轮，并用其训练出对提示注入最稳健的 GPT-5.6——这是「攻防共同进化优于静态数据集」迄今最强证据，且其明确指出静态红队数据会被快速过拟合。HASTE 与之构成「harness 层 vs 权重层」的分层验证：同一原理在两个优化对象上都成立。同时注意相反方向的限定：TPRS 类研究（如 g2 提取清单中 arXiv:2610.03585）证明 Agent 安全基准的 ASR 对威胁在表示层的呈现方式高度敏感——单一表示下的 ASR 不能外推为稳健性结论；HASTE 的跨基准/跨骨干实验是对冲，但「对自动生成案例的防御」与「对真实人类攻击者的防御」之间的差距论文未测（阅读者推测的适用边界）。

6.3 Sentry：为什么「条件性暴露」胜过「常驻知识」

因果链：

1. 常驻 lesson 要求 agent 每步自行判断适用性，判断错误导致分心/误用——论文实验已支持（删失败类 lesson 反涨 0.335→0.391 / 0.562→0.643；固定 playbook 常驻 0.364→0.296）。
2. 运行时干预线选对了条件变量（当前轨迹）但知识固定——Sentry = 跨任务进化 playbook × 失败触发检索 × 验证准入，三者组合让「同样的知识在正确的时机出现」——论文实验已支持（消融链：去自进化 −31%、去检索 −26%、去验证 −20%、去必要性检查 −54.7%，每个机制独立贡献可加）。
3. 隔离 + k=5 截断使成本近零（1.54×），且无失败时零开销——论文实验已支持（token 统计 + 每任务省时）。

外部交叉验证：其一，Wink（arXiv:2602.17037）在生产环境（10,000+ 真实轨迹、线上 A/B）验证了「异步观察者检测失当 + 注入针对性纠偏」的形态可行（单次干预解决 90% 可单发解决的失当），并给出 ~30% 轨迹失当的基线率——Sentry 的检测-干预结构在生产有直接对应物；Sentry 的增量是让纠偏知识跨任务积累并条件检索。其二，Reflexion（arXiv:2303.11366）的 episodic memory 其实是「条件暴露」的单任务特例——反思只在重试时注入——Sentry 把这个原则推广到跨任务尺度并给出了 ACE 反事实，说明该原则在两个尺度上都成立。其三，限定性证据：ACE 自己在 AppWorld 上 +10.6%（ICLR 2026），说明常驻 playbook 在其评测的任务族上有效——与本篇结论并不矛盾而是划界：当任务族内失败模式高度重叠、lesson 复用率高时，常驻的检索成本可接受；当失败类型分化大（WebShop/SWE-bench 跨任务差异大）时条件性暴露占优（此划界为阅读者基于两篇证据的综合推测，两文均未直接对比任务族结构）。其四，无奖励判断恢复（H=10 步）有噪声风险——Sentry 用人类一致率 81.8% 佐证判断质量，但「验证器自身的错误率如何影响入库纯度」论文未做敏感性分析（证据缺口）。

6.4 三篇合观：验证准入是被反复独立发明的同一个机制

把三篇的因果链并排，会发现一个惊人的收敛：三篇都设置了「执行验证通过才准入」的关口——RSR 的 executor 复验（86% 通过率过滤训练数据）、HASTE 的评审者评估与案例持续探测（冻结核即崩）、Sentry 的恢复验证（−20% 消融）。VERSE 的 49% 不可复现噪声、GPT-Red 的「静态数据被快速过拟合」从外部补充了同一结论：未经执行验证的经验是负资产。这不是巧合，而是「经验替代评测」的必要条件——评测的裁判职能可以内化，但不能取消。

三篇机构形态与机制的对应也值得记录：需要训练算力的转译路线（RSR）由企业主导的产学研完成；需要大规模对抗生成的进化路线（HASTE）由纯高校跨国团队以中等算力完成；需要精细消融与反事实设计的暴露路线（Sentry）由单一顶级高校完成——研究门槛依次下降，而机制洞察密度并不递减。

七、必要知识反推

假设让一个零基础的人复现这三篇论文，最少需要哪些知识？

7.1 领域知识层

• Agent/Harness 分解：知道 agent = 模型 + 运行时脚手架，且轨迹的分布由 harness 塑形——这是 RSR 全部设计的出发点；不理解它就无法理解为什么直接 SFT 会失败。
• 自我提升范式（STaR→RFT→expert iteration）：知道「采样-过滤-训练」回路及其在单轮推理上的成功，才能识别 Agent 场景的新变量（harness 依赖）。
• 安全评测的指标语义：ASR/SHR 各衡量什么、为什么必须成对报告（防「全拒绝」作弊解）——HASTE 的评估设计基础。
• Agent 失败分类学：动作有效性/进度/推理-接地的三分法，以及「失败是常态」（生产 ~30%）——Sentry 检测路由的设计输入。

7.2 方法论知识层

• 上下文进化谱系（Reflexion→AWM→ACE）：知道常驻 playbook 范式的成功与局限，Sentry 的定位与反事实设计才有靶子。
• harness 自动优化谱系（Meta-Harness/VERSE）：HASTE 需要知道最强 baseline 的协议细节才能做公平对照并指出其固定案例集的结构弱点。
• 对抗式共同进化思想：red-teaming 与 self-play 的攻防飞轮原理（GPT-Red 一族），HASTE 的双生成器是其 harness 层实例化。
• 因果推断的实验设计：Sentry 的配对反事实（200 分叉点）与「删 lesson 反涨」的删除实验，都需要「控制其他变量、翻转单个机制」的意识。

7.3 工程知识层

• 沙箱隔离与全新环境复验：RSR 的 fresh sandbox 强制目标分布——这是「训练-推理分布对齐」的工程兑现。
• 奖励/数据完整性防护：critic 的答案泄漏审查、HASTE 的案例保密、Sentry 的 playbook 上下文隔离——三篇各自发明了信息隔离，防止被优化对象污染验证信号（与 Turbo Harness 的评分隔离、GPT-Red 的多防御者防过拟合同属一族工程纪律）。
• held-out 与跨域评估协议：Sentry 的 50+50 held-out、HASTE 的跨基准/跨骨干/连续威胁——进化类方法的过拟合风险必须用协议对冲。

7.4 知识融合的关键节点

1. RSR 的「runbook = 轨迹的程序性抽象」：把 skill library（上下文形态的知识）与 SFT（参数形态的知识）用「转译层」接通——单一领域知识做不出这一步，必须同时懂上下文进化与后训练。
2. HASTE 的「评测集内生化为生成器」：把对抗 ML 的 self-play 思想与 harness 工程的增量修订对接，并把「信息隔离」（对抗 ML 里防御者不看攻击者训练细节的直觉）落到多智能体协议上。
3. Sentry 的「暴露时机作为一等公民」：把记忆系统设计（存什么）的问题重构为信息调度问题（何时给看什么），并用检索精度与验证准入两个旋钮落地——这是记忆研究与运行时干预两条线的化学反应。

八、论文中可以提取的通用性灵感

灵感一：经验跨环境复用前，必须转译到目标分布——直接模仿会连「脚手架依赖」一起学走。 论文证据：RSR 中 Direct SFT 在 TB2 反掉 3.6pp（>100 步循环行为入参），转译+复验后 +20.8pp；runbook 只保留程序性知识、行为在通用 harness 下重新生成。 推广场景：① 新员工跟岗学习的录像不能直接当培训教材，需提炼成「无导师在场也可执行」的操作手册再考核；② 换框架迁移代码时，自动改写工具应剔除旧框架的惯用法而非逐行翻译；③ 体育科研中辅助器械训练的动作数据，需重新映射到无器械动作空间才能指导比赛；④ 自动化流程从「有人值守」迁到「无人值守」时，人工兜底环节的经验必须重述为可自动恢复的策略。

灵感二：评测集必须是活的——与被优化对象共同进化，冻结即失效。 论文证据：HASTE 冻结案例生成使 ASR 26.00→53.67（≈无防御 54.00）；GPT-Red 的 self-play 飞轮在权重层给出同构证据；静态红队数据被快速过拟合。 推广场景：① 风控规则与欺诈样本必须共同进化，历史上 fraud 模式的静态黑名单都会被试探绕过；② 招聘题库需随候选人准备策略同步更新，否则测的是刷题能力；③ 体育反兴奋剂检测随新型药物持续更新检测面板；④ 教育测评的题目应随教学大纲与学生应对策略轮换生成。

灵感三：知识的暴露时机与内容同等重要——条件性知识的常驻是负资产。 论文证据：删 ACE 失败类 lesson 反涨（0.335→0.391）；固定 playbook 常驻 0.364→0.296；Sentry 失败触发 k=5 检索 + token 仅 1.54×。 推广场景：① 客服知识库按来电问题特征实时推送条目，优于上岗前全量背诵手册；② IDE 的 lint/补全按光标上下文触发，优于常驻侧栏文档；③ 医疗临床路径在特定指征出现时弹出的警示，比全程显示全部禁忌更有效；④ 应急预案按事件类型分册激活，而非一本大全从头读到尾。

灵感四：执行验证是经验入库的最低门槛——未经验证的经验是负资产。 论文证据：三篇独立收敛于验证准入（RSR 复验 86% 过滤、HASTE 评审闭环、Sentry 恢复验证 −20% 消融）；VERSE 实测 49% 验证结果不可复现。 推广场景：① 复盘会产出的「经验教训」必须附带可执行的重现/检验条件才能入组织知识库；② wiki 型团队知识引入「已验证/未验证」状态标签，引用未验证条目需标注；③ 自动化运维的 runbook 入库前必须在演练环境跑通一次；④ 科研 negative result 入库时须附失败复现条件，防止以讹传讹。

灵感五：多样化发现源的正并集效应——不同「脚手架」看到的问题面不同。 论文证据：三 harness 并集 759 任务 > 最强单 harness 565（+34.3%）；TBH 上三 harness 各有胜场、并集 70.0% 超任一单项。 推广场景：① 代码评审用「性能视角/安全视角/可读性视角」多角色轮查，发现的问题集大于任何单一角色；② 医疗疑难病例多学科会诊（MDT）的价值正是不同专科看到不同征象；③ 漏洞赏金平台允许多种工具/方法提交，覆盖面超单一扫描器；④ 用户研究分渠道收集反馈，各渠道用户暴露不同的产品摩擦点。

灵感六：对被优化者保密评测内容——信息隔离是对抗过拟合的协议级手段。 论文证据：HASTE 新生成案例对提案者与规范优化者双保密，跨基准 ASR 8.24；对比 Meta-Harness（固定案例集）32.03。 推广场景：① 教育测评的题库对学生保密且持续轮换，防止刷题；② A/B 实验的实验组定义不向被测团队公开细节，防止行为扭曲；③ 体育反兴奋剂的抽检窗口与检测项目随机化；④ 红蓝演练中蓝方不知道红方的具体攻击剧本，只按防御规程响应。

附录：三篇论文速查卡

三篇合起来给「经验复用」补上的，是一个完整的时间轴与一套共同的准入纪律：**事后的经验要转译（RSR）、事前的评测要进化（HASTE）、事中的知识要择机（Sentry）——而无论哪个环节，执行验证都是经验从「故事」变成「资产」的唯一关口。**当这三个环节各自成熟，外部 benchmark 的角色将从「进步的裁判」退居为「进步的抽检」——这大概就是「经验替代评测」这个词最实在的含义。