论文链接：
- Agent-Reflex: Teaching Language Agents to Act Reflectively（arXiv 2610.17953）
- Harness 2: Recursive Agent Harnessing for an Open World（arXiv 2610.14224） 代码仓库：
- Agent-Reflex（GitHub：RUC-NLPIR/Agent-Reflex，含模型/数据/skill 库）
- Harness 2（GitHub：google-research/harness2） 发表时间：2026年10月（Agent-Reflex 10月13日；Harness² 10月9日） 机构：中国人民大学高瓴人工智能学院 + 新加坡国立大学（Agent-Reflex，窦志成组，HF 192 赞）；西北大学 + Google Cloud AI Research（Harness²，第一作者实习期间完成——高校学生+企业合著的典型合作模式，Google 提供研究环境与基准资源） 领域标签：cs.CL / cs.AI；Agent 训练与自进化方向
一、论文背景：Agent 自进化缺的两块拼图
什么是 Agent 的"自进化"？ 当前 LLM agent 的能力上限不再只由模型权重决定。一个 agent = 冻结的模型 + harness（系统提示、护栏、记忆、技能、工具指引、脚本、子代理、插件等运行时脚手架）。让这套系统在使用中持续变强，就是 agent 的自进化（self-evolving / RSI，递归自改进）。2026 年这个方向已分化出两条正交路线：
- 训练侧：把运行中学到的经验写回模型权重（SFT/RL）。优点是内化后零推理开销、行为更稳；缺点是权重更新成本高、易灾难性遗忘。
- 环境侧：模型权重冻结，把经验写进 harness（技能库、记忆、经验文档）。优点是可审计、可回滚、可跨模型迁移；缺点是推理时上下文开销与采纳可靠性问题。
训练侧的缺口：反思学习缺少"可验证的监督"。 Agent-Reflex 论文开篇指出，现有训练范式假设了一个理想化世界：(1) 工具服务永远返回干净反馈——但真实 MCP 服务常常超时、限流、返回错误（论文从 9 个公开 agent 基准回放中收集了 177,700 次工具返回，其中 24,510 次是错误）；(2) 用户不会中途干预——但真实用户会在 agent 偏离意图时主动纠正。更深层的问题是反思方法的监督信号匮乏：推理时反思（Reflexion/Self-Refine/ExpeL）不更新参数，且批评由失败策略自己生成——“一个格式正确但内容错误的工具返回，上下文里没有任何东西能反驳失败的计划”；纠错轨迹训练（Agent-R/ReflectRL）每次修复只拟合单条轨迹，没有任何东西沉淀为环境级、可被后来不同失败的 episode 复用的陈述；噪声增强训练（NoisyAgent）只有标量回报，“能表达被扰动的 episode 更难，不能表达这次失败允许哪种恢复”。
环境侧的缺口：开放世界没有 ground-truth 验证器。 Harness 演化方法分两代：离线方法（Meta-Harness/AHE 等）在固定训练任务上借助验证反馈搜索最优 harness，但静态 harness 遇到部署时的新任务往往失效；在线方法（RHI/Harness Scaling/TTHE）逐任务改写 harness，但面临两个难题——其一，开放世界任务无标签无验证器，“如何安全地用不完美的执行证据指导 harness 修改"没有答案，依赖代理信号容易被作弊；其二，为一个任务改进 harness 不会自动改进下一个任务怎么被改进——任务特化的编辑在需求变化时失效，直接继承高度定制的执行 harness 会在任务分布漂移时产生噪声式递归改进。
一句话：训练侧缺"经验从哪来、如何可验证”，环境侧缺"无验证器如何采纳、经验如何跨任务复用"。这两篇论文各补一块，且方法上互为镜像——这构成本文合读的主线。
二、论文定位和关联工作
2.1 Agent-Reflex 在反思学习谱系中的位置
按"纠正信号存在哪里"，反思学习分三代：
| 代际 | 代表 | 信号位置 | 核心局限（本文指出的） |
|---|---|---|---|
| 推理时反思 | Reflexion、Self-Refine、ExpeL | 上下文 | 批评来自失败策略自身；格式正确但错误的返回无法被识别 |
| 纠错轨迹训练 | Agent-R、ReflectRL、LoongReflect | 每轨迹的重写 | 修复逐轨迹定制，不沉淀环境级知识 |
| 噪声暴露训练 | NoisyAgent | 标量回报 | 只知"更难"，不知"哪种恢复可行" |
Agent-Reflex 的定位是第四代：环境级元技能的挖掘与内化——在任何策略训练之前，先把跨模型的成功/失败对比（同任务、同注入噪声下）固化为环境索引的显式技能，再经两阶段训练内化。它与环境合成谱系（Simia/GenEnv 的 LLM 世界模型路线、EnvScaler/ScaleEnv/Agent-World 的可执行环境路线）的关系是"继承范式、开垦失败"：前者规模化可解环境的供给，Agent-Reflex 在这些环境内部把失败变成监督。
2.2 Harness² 在 harness 演化谱系中的位置
按"优化阶段 × 标签依赖 × 改进器是否更新"（论文附录 Table 4 系统对比了 27 个方法），Harness² 的独特组合是：在线（部署任务流）+ 无外部标签（行为对比）+ 流式（逐任务、不回放已完成任务）+ 有 test-time scaling 研究 + 更新改进 harness 本身。最接近的三个对手：
| 方法 | 机制 | 与 Harness² 的关键区别 |
|---|---|---|
| Meta-Harness（COLM 2026） | 离线在训练集上搜索 harness 代码 | 需要训练集与评估反馈；Harness² 从空库开始在线学习 |
| Harness Scaling | 逐任务花推理预算改写 harness | 无范围分拆、无组合、无库；状态不跨任务；12 组对比中 7 组劣于基础 |
| RHI（递归 harness 自改进） | 成对输出判断引导在线修改 | 只改执行 harness；Harness² 增加第二级递归——改进经验库反哺改进机制 |
递归自改进的理论谱系（STOP 的改进程序、Darwin Gödel Machine 的 agent 代码、Hyperagents 的可编辑元级）给 Harness² 提供了"改进对象可以是任何自指层"的思想；Harness² 把这个对象具体化为文件级 8 组件 harness（继承 AHE 的分解并新增中间件插件组件），使改进可执行、可对比、可持久化。
2.3 两篇论文的互相定位
Agent-Reflex 训练的是"agent 本身的反思能力"（权重侧），Harness² 改进的是"agent 外部的脚手架"（环境侧）。有趣的是二者在"经验载体"上殊途同归：前者沉淀环境索引的技能库（用于训练时蒸馏，推理时剥离），后者沉淀harness 改进库（EXPERIENCE.md + 可执行组件，跨任务复用）。两者合起来正好覆盖 2026 年自进化地图的两大象限——这也是 g2 提取清单将它们并列精读的原因。
三、问题定义：两条路线的共同抽象
把两篇论文的具体场景剥掉，它们回答的是同一个抽象问题：当一个 agent 系统在无验证器（或验证信号稀疏）的环境中重复失败时，如何把"失败发生了什么、什么修复有效"转化为系统的一部分，使未来的失败更少、且改进本身越来越高效？
3.1 Agent-Reflex 的抽象：反思即可学习的元技能
具体问题：让 agent 在噪声工具反馈与用户纠正下主动反思。 核心洞察：反思不是 prompting 技巧，而是可挖掘、可验证、可内化的元技能——同一环境内，不同能力的模型在相同注入噪声下产生"同任务成功/失败对"，其对比蕴含环境特异的恢复规则（如"Airtable 环境中必须按 base→table→record 顺序解析 ID，写后必须重读验证"）。这些规则跨任务复用（同环境不同任务共享数据库与工具语义），因而值得存为库、化为监督。
形式化：给定环境生态 E（含噪声注入 o~J(o)，注入概率 p_inj）与能力多样模型池，挖掘配对集 D_pair={(q, τ⁺, τ⁻, e, t★, s_t★)}，提取技能库 K=∪K_m；训练目标 = 将 K 内化为策略：ReSFT 用三种采样把 κ 转为监督数据（SR/KR/UR），ORPO 用 κ 作特权上下文对同 token 打分对比（Δ=sg[ℓ_skill−ℓ_student]，置信门 γ=σ(β·Δ)）。约束：存储输入中剥离一切特权信息（技能文本、状态快照），保证部署分布一致。
3.2 Harness² 的抽象：无验证器下的对比式采纳 + 改进的递归
具体问题：开放世界任务流上递归改进执行 harness。 核心洞察一（对比式采纳）：没有 ground-truth 时，行为对比（同一任务、匹配条件下候选 harness 与参考 harness 的轨迹/交付物差异）是唯一诚实的证据——它证明"编辑缓解了目标缺陷/未改变相关行为/引入回归"，但不证明任务正确性。把采纳决策绑定到具体观察而非假定的分数增益，避免代理信号作弊。 核心洞察二（两级递归）：改进过程本身产生高复用经验（弱点如何诊断、哪些修改被测试、执行揭示了什么）。只改执行 harness 是一级递归；把"采纳的 harness + 经验教训"写入改进库、指导未来的 Propose/Compose，才是让 RSI 真正闭合的第二级。
形式化：任务级：(H′,e′,ξ)=Φ(q_t, H, E; R_t)，Φ = Propose（不变式+领域两类候选）→ Probe（同条件执行取对比）→ Compose（选择性合并/修订/保留）；harnessing 级：R_{t+1}=Update(R_t, H★_t, D_t)，库条目 = 可执行 harness 树 + EXPERIENCE.md。约束：模型权重、阶段指令、决策规则全程冻结；库单调增长。
对偶表（两篇论文的镜像结构）：
| 维度 | Agent-Reflex（训练侧） | Harness²（环境侧） |
|---|---|---|
| 改进对象 | 模型权重 π_θ | 执行 harness H + 改进 harness R |
| 经验载体 | 环境索引技能库 K | harness 改进库（组件+EXPERIENCE.md） |
| 采纳依据 | 环境验证器（恢复可执行验证） | 行为对比（无标签） |
| 特权信息 | 训练时注入、存储时剥离 | 编辑器可见证据、评分器隔离 |
| 推理开销 | 零（已内化） | 每任务多执行若干 rollout |
| 可逆性 | 低（权重更新） | 高（文件级 diff、库可回滚） |
四、问题解法：两套三段式机制拆解
4.1 Agent-Reflex：RSD → ReSFT → ORPO
阶段一 RSD（环境反思技能发现）：
- 噪声接地的环境规模化：锚定 Smithery 注册表 557 个高用量 MCP 服务器主题，按 Agent-World 范式由研究 agent（GPT-OSS-120B）挖数据库、编码 agent 生成带单元测试的工具（只保留可编译、过测试、满足状态转移约束、支持可执行验证的工具），每环境 60 个验证器背书任务。
- 工具故障挖掘与注入：在 9 个公开 agent 基准上回放 agent、记录全部工具返回（177,700 条，其中 24,510 条错误），按表面形式聚类为 8 个可操作失败族（服务不可用 33.6%、鉴权/权限 17.9%、超时 14.7%、资源缺失 10.5%、参数校验 10.2%、执行异常 8.3%、限流 4.5%、网络连接 0.3%）。注入按 Bernoulli(p_inj=0.2) 替换真实返回，族均匀抽样保证罕见族也有足够恢复样本。
- 能力多样采样与配对：9 模型池（Qwen3 全家 5 档 + Llama-3.1-8B + Gemma-4-31B + GPT-OSS-120B + DeepSeek-V4-Flash 284B，跨 5 家族 4B–284B）在同一采样协议下跑全部任务——多样性防止单模型轨迹聚集于其特有推理倾向。分析器（DeepSeek-V4-Flash）+环境验证器联合标注成功/失败轨迹、诊断错误理据、定位首个错误 turn 与状态快照；同任务内配对（每环境至少 5 个不同任务）。
- 元技能提取：结构化记录 ζ_m=(环境描述, 工具, 坏模式, 技能)——技能不是自由文本，而是"可见历史上的触发器 + 支持反驳证据 + 命名失败族的诊断 + 恢复模板（重试/换端点/问用户/中止）+ 可逆性与部分效果标志"，共 1,170 条。
阶段二 ReSFT（反思监督微调）：三种互补采样（类比：局部修补/全局重启/听人指挥三种纠错姿势）：
- SR 自反思：环境回滚到首错 turn 前状态 s_t★，技能 κ 附加在历史后继续采样，只保留验证器通过的延续；存储时剥离 κ——策略学会从自己的错误状态中恢复。
- KR 技能恢复：环境重置到初始 s₀，带 κ 从头重做（针对"初始计划就错"的全局恢复）；同样剥离。
- UR 用户中心反思：用户模拟器（GPT-4.1）把 κ 改写成自然语言纠正 u_κ 插入错误 turn 后——u_κ 保留在存储输入中（用户消息部署时可见），且模拟器刻意覆盖直接纠正/部分提示/歧义/故意错误建议，教"证据敏感的重规划"而非服从。 最终 54K 轨迹（含 Qwen3-8B 自身验证成功轨迹）做 SFT。
阶段三 ORPO（在策反思策略优化）：
- 噪声 agentic RL：从 EnvScaler 2.5K RL 任务池取任务（与 RSD 任务池完全不同，环境级对齐查技能），G=8 条混合 rollout（ν=0.25 比例在噪声环境），组内归一化优势（不按干净/噪声分层归一——保持真实失败在策分布内），裁剪 PPO 目标 + KL，只对 agent 生成 token 计梯度（工具返回与模拟用户消息 mask 掉）。
- 反思引导 OPD：技能卡 κ_q（按环境 ID 直接查库，无检索）前置后用同一策略对已采样 token 重新打分 ℓ_skill——特权教师只是前向分支、梯度截断；Δ=sg[ℓ_skill−ℓ_θ]、γ=σ(β_opd·Δ) 软加权（强调技能诱导正移位的 token、降权弱/负移位），使稀疏结果信号稠密化为 token 级反思监督。边际成本仅一次前向而非一次 rollout。
- 联合目标 L_ORPO = L_RL + λ_opd·L_OPD。
4.2 Harness²：两级递归
执行 harness 的 8 组件文件级分解（表 5）：上下文构造类 C1 系统提示/C2 护栏/C3 记忆/C6 技能（按需加载）；工具接口类 C4 工具指引/C7 脚本（bash 执行的确定性新能力）；编排类 C5 子代理（唯一增加推理上下文的组件）；中间件控制类 C8 插件（工具循环内的 TypeScript 钩子，“强制行为而非指示行为”）。每组件是一个文件 ⇒ 编辑即 diff ⇒ 可执行可对比。
任务级递归——对比式改进步：
- Propose：先取参考执行 e₀~A(q_t; M, H)（揭示 harness 行为，不揭示对错）。基于任务、当前 harness、参考、历史与库，提出两个候选：不变式候选（跨领域复发的能力缺陷：规划/工具使用/上下文管理/委派）与领域候选（当前领域的知识/流程/约束）。每个候选都是编辑组件文件得到的可执行 harness；可复用/改编库中组件，但任务特定事实必须对照当前任务证据核查。
- Probe：候选在同任务、匹配模型与环境配置下执行，与参考比较得行为对比——编辑缓解了目标缺陷？未改变相关行为？引入回归？（明确承认执行随机性与共享模型偏差限制证据可靠性。）
- Compose：读参考、候选、diff 与全部任务内执行证据，选择性组成后继 H′（合并受支持修改/修订冲突编辑/采纳一个/保持现状），每个决策绑定具体观察。产出执行记录 e′ 与步记录 ξ。
- 并行递归：k 个参考执行 + k 不变式 + k 领域候选，k 个独立组合会话各收全池（RSA 聚合原则搬到可执行 harness）；串行递归：链式 k 步、逐步累积证据。
- 最终选择：k>1 时 agentic 选择器比较匿名化交付物（不综合新内容、不见来源 harness）。
- harnessing 级递归：任务后 Reflector 审查完整改进记录 D_t，提取"什么修改在什么条件下解决了什么缺陷、后果如何"的教训——只有被行为对比支持的教训才保留（选对一个输出不证明可迁移）。R_{t+1}=Update(R_t, H★_t, D_t)：库条目 = 采纳的完整 harness 树 + EXPERIENCE.md + 索引。下个任务仍从公共 H₀ 出发，但 Propose/Compose 由更新的 R 指导——选择性复用而非自动继承。
- 防作弊设计：guard 拒绝向任何改进会话移交含评分器判定/rubric/分数的工作目录；无效树（无触发句的技能/不编译的脚本/引用缺失助手）重试一次、失败则回退并记录。
五、评估指标与实验证据
5.1 Agent-Reflex：三层验证
基准设置：5 个长程工具使用基准（VitaBench/τ²-Bench/BFCL-v4/ACEBench/ToolSandbox，均用官方指标）+ 噪声交互基准 AgentNoiseBench（τ²/Vita 实例化，Stability-Gated Success：只有整条轨迹未被噪声带偏且答对才计分——排除"碰巧答对"）。所有训练方法同用 Qwen3-8B 骨干（公平控制），每个分数为 3 次独立运行均值。
| 对比组 | 基准 | Agent-Reflex | 最强基线 | 差距 |
|---|---|---|---|---|
| vs 推理时反思 | VitaBench | 17.5% | Reflexion-8B 6.8% | +10.7 |
| vs 纠错轨迹训练 | ACEBench | 78.0% | NoisyAgent-8B 52.0% | +26.0 |
| vs 环境规模化 | τ²-Bench | 62.1% | Agent-World-8B 54.6% | +7.5 |
| 五基准总分 | Overall | 58.6 | EnvScaler-8B 50.9 | +7.7（超过 GPT-5.2 64.4 之外的所有 8B 档） |
| 噪声泛化（OOD） | AgentNoiseBench | 29.1 | NoisyAgent-8B 25.9 | 关键：训练噪声与评测噪声来源/注入过程完全不同，证明学到的是反思而非记忆噪声分布 |
算法对比（同任务池 100 RL 步）：ORPO 在 BFCL/τ²/AgentNoiseBench 上稳定领先 GRPO/DAPO/REINFORCE++/NoisyAgent RL/SEED，且训练奖励曲线在后者平坦后继续上升。
消融（AgentNoiseBench 两设置）：去 SR 掉最多（45.9→41.3 / 12.3→8.9），SR>KR>UR 的排序说明"失败感知与局部修复是反思行为的地基"；去 OPD 明显退化而只去置信加权也退化——增益来自 token 级反思信号而非技能暴露本身。
细粒度归因（13 个噪声轴）：领先全部 13 轴；对两基线同时过 95% 区间的轴是误导诱惑（13.9，工具侧最大差）与信息不完整（10.9）——恰是"返回格式正确、只有载荷内证据暴露撒谎"的族，这正是 RSD 独有贡献（干净环境再多也永远不会记录"哪个格式正确的返回悄悄撒了谎"）；用户侧最大差是认知过载（12.9）——指令本身是缺陷时修复是重新限定请求而非重排工具，任何工具侧奖励教不会。被噪声带偏率 28.5% vs EnvScaler 44.8% vs 骨干 56.1%——指标门控轨迹有效性，“增益是修复而非容忍”。
5.2 Harness²：四个配置 × 三个专业基准
设置：WorkBuddy-Bench（Code 40/Web 35/Office 25 测试任务，复合验证器）、JobBench（34 测试任务，Claude Opus 4.8 rubric 评分）、LAB（Harvey 法律基准 100 任务，逐准则通过率 Partial）；执行器 Gemini 3.5 Flash / GLM-5 × 初始 harness OpenCode / Codex 四配置；默认编辑器 Claude Opus 4.8。3 次打乱任务序运行取均值，同时报 #Steps（执行步数）以对照计算成本。
| 配置 | 基准 | 单步增益（vs 基础 harness） | 递归 k=5 追加 |
|---|---|---|---|
| GLM-5 + OpenCode | WorkBuddy-Bench Avg | 64.2→75.7（+11.5，全文最大单步） | +3.9 |
| Gemini + OpenCode | JobBench | 31.5→36.0（+4.5） | +3.0（累计 7.5） |
| GLM-5 + OpenCode | LAB Partial | 59.6→71.4（+11.8pp） | +6.7pp |
| 四配置一致 | — | 全部为正 | 全部为正 |
超越基线：WorkBuddy-Bench Avg 与 JobBench Score 四配置全部超过 Meta-Harness（离线优化者）/ReasoningBank（推理记忆）/Harness Scaling；后者在 12 组对比中 7 组劣于基础 harness。递归缩放单调：WB-code 76.5→80.8、WB-office 79.5→83.4（k=1→5），且 k=2 的两种递归已超过所有基线 k=5——增益来自递归精炼而非单纯测试时算力。Pareto 前沿图：两配置均在前沿上，Meta-Harness k=5 用更多算力得更低分。
消融（k=1 隔离组件）：去库 −3.1/−1.8（WB/JobBench）、去范围分拆 −2.9/−3.7、去组合 −1.6/−1.9——三组件均必要；库证明"改进经验跨任务复用"真实有价。
harnessing 级证据（本文最独特的实验）：
- 无执行直接编辑（不看参考执行/探针/库）：Code 73.4→63.2 倒退 10 分——证明执行证据不可省；
- k=1 库恢复基线水平；k=5 库在无进一步探针下支持 +0.9/+4.4/+5.1——更大任务级探索自动滋养后续 harnessing；
- 跨基准迁移：JobBench 攒的库用于 WorkBuddy 一步改进 +0.6/+0.5/+2.9——经验超出单一基准；
- 留一复用：去掉本任务条目反而 +1.9/+1.7（离线分析，说明后期任务条目对自身贡献小、库已饱和）。
同模型自编辑：5 个模型（GLM-5 到 Opus 5）同时任执行器与编辑器全部有效——GLM-5 在 LAB +13.7——不需要更强编辑器。跨模型迁移：为 Gemini 精炼的 harness 原样给 GLM-5，Code +17.3（58.5→75.8）。组件分析：技能与脚本占编辑约一半；去技能 −5.3、去脚本 −3.7（各自最大损失域不同）。工具可靠性：错误率三基准全部下降（JobBench 14.4%→9.1%）。案例：JobBench 43.1→77.8（+34.7），不变式干预（清点输入+溯源数字+重开验证脚本）与领域干预（对账机制技能+数字格式工具指引）四项编辑全被 Composer 保留。
六、效果优势的根源解释
6.1 根源机制与证据链
Agent-Reflex：监督信号的"验证过 + 环境级"双重差异。
因果链：跨模型同任务同噪声的成功/失败对比 ⇒ 挖出环境特异但任务无关的恢复规则（1,170 条技能）⇒ ReSFT 把规则转为验证器通过才入库的恢复行为（区别于 Reflexion 的未验证自我批评）⇒ 策略学到的是"纠错动作"而非"解读文字建议" ⇒ 噪声下先知先觉地规避。证据：【已支持】vs Reflexion +10.7（VitaBench）——同骨干下推理时文本建议被内化训练碾压；误导诱惑轴最大领先（13.9）——只有技能库记录了"格式正确返回会撒谎"这一环境事实，环境扩展无法提供；OOD 噪声基准仍第一——学的是反思模式而非噪声记忆。
OPD 的 token 级稠密化：混合组 RL 只给轨迹级标量，OPD 用特权技能上下文的同 token 重打分把监督细化到"哪个动作 token 被技能背书"。证据：【已支持】消融中"保留库但去 OPD"明显退化；去置信加权也退化——软门控防技能中性 token 主导更新。训练动力学：置信加权使 ORPO 奖励曲线在 GRPO/SEED 平坦后继续上升【已支持】。
Harness²：证据的可执行化与采纳的对比化。
因果链：编辑落到可执行文件（diff 可验证：脚本编译、技能有触发句）⇒ Probe 在匹配条件下执行候选 ⇒ 行为对比提供"该编辑对目标行为有何影响"的因果证据 ⇒ Compose 的每项采纳绑定具体观察（区别于 Harness Scaling 的"改了就部署"，后者 7/12 组倒退）⇒ 无验证器下避免代理信号作弊。证据：【已支持】无执行直接编辑倒退 10 分（执行证据不可省）；去组合 −1.6/−1.9（二选一不如合成）；WB-code 43.1→77.8 案例四编辑全保留且有行为证据。
两级递归的复利：任务级探索产出"诊断-测试-揭示"的过程记录 ⇒ 教训只在行为对比支持下入库 ⇒ 后续 Propose/Compose 起点更高 ⇒ k=5 库在零额外探针下支持后续 +5.1。证据：【已支持】库消融 −3.1/−1.8；k=1 与 k=5 库的梯度差异；JobBench→WorkBuddy 跨基准 +2.9；RSD/技能暴露单独不足（Agent-Reflex 侧的同构证据：库在但去 OPD 退化）。
6.2 相关工作检索与对照（交叉验证）
| 研究 | 相似尝试 | 相关结论 | 与两文的差异与边界 | 对根源解释的影响 |
|---|---|---|---|---|
| Shinn et al., Reflexion (NeurIPS 2023) | 推理时言语自我批评 | 上下文反思有一定恢复力 | Agent-Reflex 实证其上界：同骨干下 Reflexion-8B 多基准低于裸骨干——批评受限于失败策略自身的环境模型 | 支持“内化优于推理时建议”，且量化了差距（+10.7） |
| Yuan et al., Agent-R (2025) | MCTS+修订点选择构造恢复轨迹 | 逐轨迹修复可学 | 修复拟合单 episode，无环境级沉淀；Agent-Reflex 的技能一次挖掘跨 episode 复用 | 补充：对比可见 ACEBench +26.0 的差距来源 |
| Chen et al., NoisyAgent (2026) | 干净/噪声混合 rollout + 自适应难度 | 噪声暴露提升鲁棒 | 只有标量回报；Agent-Reflex 在其最强设置（τ² 上做 RL）外仍以 29.1 vs 25.9 领先 | 限定：噪声暴露有价值但缺"哪种恢复可行"的信号 |
| Wu et al., SEED (2026) | 同 token 特权上下文重打分的 OPD | 稠密化有效 | 特权槽内容是 rollout 估计的经验；ORPO 直接复用其估计器、只换特权内容为环境级技能卡——100 步对比 ORPO 全基准领先 | 支持：特权信息的质量（实证技能 vs 估计经验）决定 OPD 上限 |
| Lee et al., Meta-Harness (COLM 2026) | 离线搜索最优 harness | 验证器驱动搜索有效 | 需训练集+评估反馈；Harness² 在线零标签下四配置中的三基准超过它（LAB Codex 配置除外） | 支持对比式采纳可替代标签，同时限定：离线优势在个别配置仍在 |
| Wang et al., Harness Scaling (2026) | 逐任务测试时改写 harness | 探索有增益 | 无库无组合无范围，12 组中 7 组倒退；Harness² 的 k=2 递归已胜其 k=5 | 支持：改进需要结构与证据，不是"多改几轮" |
| Zelikman et al., STOP (COLM 2024) / Darwin Gödel Machine (ICLR 2026) | 递归改写改进程序 / agent 代码 | 改进对象可自指 | 依赖基准评估引导；Harness² 把自指对象文件化并去标签化 | 支持两级递归是 RSI 闭合的一般形态 |
| Ouyang et al., ReasoningBank (ICLR 2026) | 跨任务推理记忆检索 | 经验回灌上下文有效 | 记忆不改变执行结构；Harness² 中它在 coding 任务最多 −6.6（低于基础） | 限定：纯上下文经验注入不稳定，可执行组件改造更可靠 |
| Venkatraman et al., RSA (2025) | 聚合多候选推理 | 并行聚合优于单路 | Harness² 把聚合原则从推理输出搬到可执行 harness+行为后果 | 方法相似层面支持并行递归设计 |
| 本次检索范围内未发现 | 直接组合"训练侧内化+环境侧 harness 递归"的同期工作 | — | 两篇互为补全但未互相引用 | 开放问题：组合增益待验 |
6.3 综合判断与未决问题
- 多研究共同支持：(1) 经验必须"验证过/有行为证据"才可采纳——Agent-Reflex 的验证器门控与 Harness² 的对比式采纳 + “教训须被对比支持"是同一原则在两侧的体现（Reflexion 上界、Harness Scaling 倒退为反证）；(2) 经验的复用粒度决定复利——环境级技能/库条目跨任务有效（跨基准迁移 +2.9、k=5 库后续 +5.1、OOD 噪声仍领先）；(3) 稀疏信号稠密化（OPD 的 token 级、Compose 的观察绑定）优于纯结果驱动。
- 仍属推测：Agent-Reflex 技能库从固定快照挖掘，工具接口/服务行为漂移后需要重挖（作者自认的局限——在线更新未必产生更泛化的技能，覆盖度与更新频率的平衡未解）；Harness² 的选择器仍是弱点（失败分析中"选了 55 分弃 95 分"类回归），行为对比无法防共享模型偏差。
- 适用条件：Agent-Reflex 需要可执行验证器存在（合成环境满足，真实部署未必）；Harness² 每任务多执行 rollout 的算力成本在低价值任务上可能不划算（Pareto 图显示其在前沿上但非免费）。失效条件：任务分布漂移极快时，两侧的库都会积累过时经验。
七、必要知识反推
7.1 领域知识层
- MCP 协议与工具生态：知道 MCP 服务器/工具调用/返回格式，才能理解噪声注入点在"返回"而非"调用”；知道 Smithery 注册表才能理解 557 主题的采样方式。
- Agent 交互循环：ReAct 范式、状态-动作-观察三元组、用户模拟器的双控设定（τ²-Bench）。
- Harness 的解剖学：系统提示/护栏/记忆/技能/工具指引/子代理/脚本/插件各自的运行时角色与激活时机——不理解"技能按需加载、插件在工具循环内强制行为"就谈不上设计编辑空间。
- 真实服务故障形态学：HTTP 状态码族、限流/超时/鉴权失败的语义差异（哪些可原样重试、哪些必须换路）——8 失败族的恢复含义表是领域知识直接结构化的产物。
7.2 方法论知识层
- RL 微调全栈：GRPO 组归一化、PPO 裁剪、KL 约束、token mask（只训 agent 生成 token）——ORPO 的 RL 项直接建立在这些上。
- 在策蒸馏（OPD）：Agarwal 2024 的 GKD 思想与 SEED 的估计器（同 token 双上下文打分、stop-gradient、sigmoid 置信门）——不理解它就无法理解"特权槽内容"是 ORPO 的真正贡献点。
- 行为测试与对照实验设计：匹配条件探针、无关对照、消融链——两篇论文的实验设计共用这套方法论。
- 进化搜索结构：并行/串行递归对应 (1+λ) 精英搜索与链式自精炼；RSA 聚合原则——Harness² 任务级递归的理论骨架。
7.3 工程知识层
- 环境合成管线：数据库挖掘→工具生成→单元测试→状态转移约束→可执行验证器（Agent-World 范式）；557 环境 × 60 任务的规模化工程。
- 文件级 agent 脚手架：OpenCode/Codex 的组件树、技能工具、task 工具、TypeScript 插件钩子——Harness² 的可编辑面。
- LLM 池采样与轨迹分析：多模型统一采样协议、分析器+验证器联合标注、配对约束（每环境 ≥5 任务）。
- 评估防污染：环境族级切分、近重复检查、评分器隔离（guard 拒绝移交含评分的目录）——两文共有的可信度工程。
7.4 知识融合的关键节点
- “失败对比 ⇒ 环境级规则"的归纳跳跃（Agent-Reflex RSD）：意识到配对轨迹的差分蕴含环境语义而非任务语义——这是把"数据飞轮"从任务级升到环境级的洞察。
- “特权信息训时可见、存时剥离”（SR/KR 剥离 κ、UR 保留 u_κ）：部署可见性成为数据构造的第一原则——训练分布与推理分布对齐的微观实现。
- “行为对比替代正确性标签”（Harness² Compose）：在没有 ground-truth 的开放世界，把采纳依据从"分数更高"改为"行为证据支持”——避免代理信号作弊的结构性方案。
- “改进过程本身是学习资源”（harnessing 级递归）：诊断-测试-揭示的过程记录比最终产出更可复用——两级递归使 RSI 从口号变为可实验的机制。
八、论文中可以提取的通用性灵感
灵感一：经验沉淀的粒度应该是"环境/领域级"，而非"任务级"或"轨迹级"。
- 核心思想：从失败中学习时，把对比证据归纳到"同类情境都会复发"的粒度（环境、领域、故障族），复利才会出现；逐轨迹修复每次从零开始。
- 论文证据：Agent-Reflex 1,170 条环境索引技能跨任务复用（OOD 噪声仍领先）；Harness² 库跨基准迁移 +2.9、k=5 库反哺后续 +5.1；反例是 Agent-R 逐轨迹修复被 +26.0 碾压。
- 推广场景：①运维 incident 管理——按"故障模式+基础设施环境"而非单次工单沉淀 runbook；②客服质检——按"业务线+违规类型"归纳话术修正规则；③代码评审——按 repo/模块级沉淀缺陷模式库（而非逐 PR 评论）；④医疗差错分析——按"科室+流程节点"建立纠错规程；⑤教育——按"知识单元+典型误解"建错因库。
灵感二：没有验证器时，用"匹配条件下的行为对比"做采纳决策。
- 核心思想：无法判断"对错"时，仍可可靠判断"这个改变是否影响了目标行为"——控制变量地执行两个版本、比较行为差异，把采纳绑定到因果证据而非评分。
- 论文证据：Harness² Compose 每项决策绑定具体观察，四配置全部正增益；对照 Harness Scaling"改了就部署"7/12 组倒退；无执行直接编辑倒退 10 分。
- 推广场景：①A/B 测试无明确北极星指标时的功能采纳；②组织流程改造——新旧流程并行试点对比行为指标而非主观评价；③提示词/配置变更的回归测试——对比变更前后的行为快照；④算法交易策略更新——影子运行对比成交行为；⑤编辑团队改版式——小流量对比读者行为。
灵感三：特权信息"训练时可见、部署时剥离"。
- 核心思想：用 privileged information（专家规则、 hindsight 信息）提升训练信号密度，但最终产物必须在无特权条件下工作——数据构造时就按部署可见性切分输入。
- 论文证据：SR/KR 中技能 κ 触发恢复后从存储输入剥离；UR 中用户改写 u_κ 保留（部署可见）；OPD 教师分支只在前向打分、梯度只走学生分支。
- 推广场景：①教练训练（训练时辅助提示、比赛时无提示）；②医学生教学（诊断决策卡学习、临床剥离）；③特权蒸馏（教师模型看答案 rerank、学生盲做）——knowledge distillation 的可见性对齐版；④模拟器训练机器人（训练时给真值状态、部署只有传感器）。
灵感四：把"噪声/失败"当作一等公民数据源，系统性注入而非被动遭遇。
- 核心思想：真实系统的失败模式可以从日志挖掘、分类成族、按可控比例注入训练环境——让系统在安全环境中预演灾难。
- 论文证据：24,510 条真实错误返回 → 8 失败族 → Bernoulli(0.2) 均匀注入（罕见族也保供）；细粒度归因显示"格式正确但撒谎"的族受益最大——这正是被动训练永远覆盖不到的。
- 推广场景：①混沌工程（Netflix Chaos Monkey 的 ML 训练版）；②金融系统压力测试——按历史危机模式注入行情；③供应链——按中断族（港口/汇率/供应商破产）做仿真训练；④客服培训——按投诉类型族做角色扮演演练。
灵感五：改进机制本身要被改进——两级递归是复利的开关。
- 核心思想：只优化产物（当前 harness/当前策略）是单级学习；把优化过程的经验（怎么诊断、什么有效）也持久化并指导后续优化，才构成递归自改进。
- 论文证据：Harness² 库消融 −3.1/−1.8；Agent-Reflex 的技能库同样服务跨任务（ORPO 阶段直接按环境查库）；反例是纯任务级方法（Harness Scaling/TTHE）无复利。
- 推广场景：①研发团队——除了产品迭代，沉淀"需求-方案映射"决策库让迭代加速；②个人知识管理——不仅记结论，记"怎么得出结论"的方法论笔记；③编译器——不仅优化代码，把优化 pattern 沉淀为规则库反哺后续编译；④进化算法——meta-learning 的 mutation 策略。
灵感六：编辑空间文件化 = 可审计、可组合、可回滚。
- 核心思想：把待改进的系统分解为文件级组件，每个改进是一次 diff——天然获得版本控制、组合合并、失败回退的全部工程红利。
- 论文证据：8 组件均挂载为文件；无效树重试/回退并记录；库条目保留完整可执行树而非摘要文本（“Executable components are retained rather than summarised as prose”）。
- 推广场景：①基础设施即代码（IaC）的一切改进；②法规/政策修订——diff 式立法与影响追踪；③教学大纲迭代——课程组件级版本管理；④任何配置系统的变更管理。
附：双篇对照总览
| Agent-Reflex | Harness² | |
|---|---|---|
| 一句话 | 把真实失败挖成元技能并内化进权重 | 无验证器下两级递归改造 harness |
| 核心机制 | RSD 挖掘 + ReSFT 三级监督 + ORPO 在策蒸馏 | Propose–Probe–Compose + 改进库两级递归 |
| 最硬数字 | 五基准 58.6 第一；ACEBench +26.0 vs NoisyAgent；OOD 噪声 29.1 第一 | 单步 +11.5（WB）；k=5 递归再 +2.9~6.7；跨基准迁移 +2.9 |
| 采纳依据 | 环境验证器（可执行验证） | 行为对比（无标签） |
| 留下的缺口 | 技能库需随环境漂移重挖 | 选择器仍可能选错（55 vs 95 案例） |
| 与另一篇互补 | 提供内化的反思能力，harness 无法承载的 | 提供可审计的外部进化，权重无法实现的 |
附二：组合的可能性——一个自进化闭环的构想
两篇论文放在一张图上，恰好拼出完整的自进化回路：
- 环境侧（Harness²）先行：开放世界任务流上，对比式采纳改造执行 harness，改进库持续积累"诊断-修改-证据"三元组——这一步不需要任何标注，只用执行预算换经验。
- 训练侧（Agent-Reflex）收割：harness 演化过程天然产生大量"同任务、不同 harness、有行为对比"的配对轨迹——这正是 RSD 式技能挖掘需要的原料（把"跨模型对比"换成"跨 harness 版本对比"）；改进库中的 EXPERIENCE.md 本身就是环境级教训的初稿。
- 内化后反哺环境侧：内化反思能力的执行器跑同样的 harness 改进步，其参考执行与探针质量更高（错误更早暴露、恢复更可执行），行为对比的分辨率随之提高——改进库的教训质量上升。
- 闭环的自我校正：权重更新后，旧的执行 harness 组件（为旧策略优化的提示/技能）可能失配，Harness² 的文件级 diff 与回退机制恰好提供再适配的安全网。
这个构想并非空想：Agent-Reflex 的附录已指出 ORPO 的特权槽"接受任何环境级工件（验证过的子计划、工具契约）"，而 Harness² 的库条目正是此类工件；反过来，Agent-Reflex 式的细粒度失败归因（13 个噪声轴的归因方法）可以直接用来诊断 Harness² 选择器的"选 55 弃 95"失败。两者的组合实验——harness 递归攒库、定期蒸馏内化、内化后再递归——是这条赛道下一个显然的实验设计。