递归自我改进的实践与审判——CARE 与 SelfImprove-Bench 双篇精读

论文一链接：CARE: Grounded Recursive Self-Improvement for Production Customer-Service Agents 论文二链接：SelfImprove-Bench: Evaluating Generalization in Self-Improving Agents 代码仓库：SelfImprove-Bench（theseus-labs-rsi）（CARE 为企业技术报告，未开源） 发表时间：2026年11月 机构：CARE——Meituan Keeta AI & Data Team（第一单位，主导生产部署）、University of Melbourne、Fudan University，企业主导、高校合作；SelfImprove-Bench——Shanghai Jiao Tong University（第一单位）、Theseus Labs、Humanlaya、Shanghai AI Lab，产学研合作 领域标签：cs.AI / Agent 自进化 / RSI 评测

引言：一枚硬币的两面

2026 年的递归自我改进（Recursive Self-Improvement, RSI）研究同时出现了两篇方向相反却互为镜像的论文。一篇是美团 Keeta 的 CARE：把 RSI 真刀真枪地跑在七个地区的外卖客服生产环境里，用五轮迭代让 31B 自研模型的检查 Bad Case 率降到 1.97%，比 GPT-5.4 前任还低一半以上，最终完全替代前任、单均服务成本降 70.5%。另一篇是上海交大与 Theseus Labs 的 SelfImprove-Bench：不提出任何新的自我改进方法，而是造了一架"审判天平"——G0 到 G4 的泛化阶梯——用它称量现有 RSI 方法的改进到底是真能力增长，还是仅仅记住了训练场景。

这两篇论文合起来读，恰好构成 RSI 研究的完整闭环：CARE 回答"接地（grounded）的 RSI 在生产环境能走多远"，SelfImprove-Bench 回答"你说你改进了，证据呢？改进迁移了多远？“一个提供实践证据，一个提供审判标尺。更微妙的是，SelfImprove-Bench 的核心发现——87.9% 的 RSI 修改只动 prompt 和 memory、无一修改改进器自身——恰好为 CARE 为何选择"归因引导 + 特权信息蒸馏"的重量级路线提供了反面注脚：轻量的非训练式 RSI 改不动模型的决策分布，而 CARE 的消融显示只有定义在模型自身分布上的 OPSD 目标才能在几百条修复数据上稳定更新。

本精读按九部分结构展开：第一至五部分分别覆盖两篇论文的背景、定位、问题定义、解法与实验证据；第六部分从根源机制上解释两篇论文的核心发现，并做外部检索交叉验证；第七、八部分反推必要知识与提炼通用灵感。

一、论文背景

1.1 什么是递归自我改进（RSI）

要理解这两篇论文，首先要把"递归自我改进"这个概念链讲清楚。

自我改进（Self-Improvement） 指一个 AI 系统利用自身运行产生的经验（轨迹、反馈、失败记录）来改进自身性能。它不要求外部人工标注——改进的"原材料"来自系统自己。类比：一个销售新人不再只靠培训教材（人工标注）进步，而是每天复盘自己接过的客户电话（自经验），总结教训并调整话术。

递归（Recursive） 强调这个改进过程是闭环且自我指涉的：改进后的系统产生新经验，新经验又驱动下一轮改进，循环往复。概念源头可追溯到 Good 1965 年的"智能爆炸"设想与 Schmidhuber 2007 年的哥德尔机（Gödel Machine）——一个能修改自身代码、且仅在能证明修改有益时才执行的理论构造。类比：销售新人不但复盘改进话术，还改进"自己总结话术的方法”（比如发明了录音回听流程），改进方法本身又被下一轮复盘改进。

LLM 时代的 RSI 通常指这样一个循环：系统把自身经验和反馈转化为对自身组件的持久更新——更新的对象可以是权重（如 STaR 自生成推理链训练）、提示与记忆（如 Reflexion 的言语反馈、Voyager 的技能库）、Agent 代码（如 Darwin Gödel Machine 演化编码智能体），或整个 harness（工具、流程、中间件）。

RSI 的中心难题是接地的可靠性。 当同一个模型既生成输出又评判输出时，相关性错误会自我强化——模型会加固自己"自信的错误"。Shumailov 等人在 Nature 2024 的研究表明，在自生成数据上递归训练会侵蚀分布的尾部，导致模型崩溃（model collapse）；LLM 裁判也已被证明可被博弈。生产客服场景把这三重困难叠加放大：没有能证明整段对话正确的验证器（一次退款对话的"对错"无法像数学题那样判定）；一次失败可能源于模型、Skill/SOP、工具、harness、裁判或基础设施中的任何一个；在生产流量上做实验还受真实用户约束。

1.2 CARE 面临的具体困境

CARE 的出发点是一个纯粹的生产问题：外卖平台（Keeta）的客服 Agent 由前沿专有模型（GPT-5.4）驱动，质量不错，但有三个痛点——大规模服务成本高昂、推理延迟影响每轮响应、运营方对模型行为与数据边界的控制有限。于是要用自研中型模型替换前任。

但一次性蒸馏不够，原因有三：第一，历史轨迹训练后残余的质量差距集中在长尾场景，这些失败只有部署后、模型遇到自身行为诱导的状态分布时才暴露；第二，生产环境非平稳——Skill/SOP 会修订、工具 schema 会变、prompt 会被热修，在一个配置下正确的行为到下一个配置可能就错了；第三，前任退休后其生产轨迹不再产生，新鲜经验只能来自替代模型自身的行为。这就把"替换"问题变成了 RSI 问题：模型必须在自己产生的经验上持续学习，同时适应不断变化的业务政策。

1.3 SelfImprove-Bench 面临的评估困境

SelfImprove-Bench 的出发点则是评测方法学的缺口。RSI 方法近年爆发式增长——经验级（改 prompt/记忆/手册，如 Reflexion、A-MEM、ACE）、harness 级（改工具/流程/可执行代码，如 SICA、Self-Harness、AHE）、元级（改改进机制本身，如 DGM、HyperAgents）——但现有评估有三个未解决的挑战：

• 泛化评估不成体系：已有基准只测选定的设置（如同任务迁移或跨难度迁移），缺乏一个能同时覆盖"实例—难度—任务—能力"四层的统一分类学。
• 评估不可扩展：固定任务池和有限难度范围会随方法进化触顶而失去区分力，无法支撑 RSI 所需的持续评估。
• 过程诊断太粗：现有分析依赖总分、选例或留存消融，改进轨迹与泛化结果之间的关系是个黑箱。

一句话：整个领域在宣称"自我改进"，却缺乏区分"记住这题"（场景拟合）与"能力增长"（真自我改进）的可靠度量。SelfImprove-Bench 的定义直接给出了判据：一个改进增益算自我改进的程度，是它能在精炼中从未暴露的实例、难度和任务上留存；算场景拟合的程度，是它被 confinement 在训练实例内。

二、论文定位和关联工作

2.1 CARE 所在的谱系：从自我训练到接地的自我蒸馏

谱系一：权重更新型自我改进。 STaR（2022）用自生成推理链配合答案正确性过滤做自举训练；SPIN（2024）在自生成与人类示范的对不上训练；Self-Rewarding（2024）用模型自评同时改进策略与奖励模型。这三个方法的监督信号分别是答案正确性、人类示范、自我评判。CARE 与它们的分野在于：监督信号既非答案也非自评，而是"经复核的证据 + 因果归因 + 经核验的修复"三重接地链——因为客服场景没有可验证的答案正确性，而自我评判恰是 RSI 最危险的信号源。

谱系二：非权重更新型 RSI。 Reflexion 把言语反馈注入后续尝试的上下文；Voyager 通过环境交互积累可执行技能库；Darwin Gödel Machine（arXiv:2505.22954）维护一个编码智能体档案库，交替自我修改与基准实测验证，SWE-bench 从 20.0% 提升到 50.0%。CARE 对这一谱系的判断是：它们改进的是模型外围组件而非决策分布本身——这恰好与 SelfImprove-Bench 的轨迹分析发现（87.9% 修改集中在 prompt/memory）形成呼应。CARE 选择双轨制：组件缺陷走组件修复（不改模型），模型错误走 OPSD 权重更新，由归因阶段路由。

谱系三：在策略蒸馏与特权信息。 GKD（arXiv:2306.13649）指出固定数据集蒸馏存在训练/推理分布错配，提出在学生自采样序列上用教师概率做监督；π-Distill / OPSD（arXiv:2602.04942）引入"训练时可见、推理时不可见"的特权信息（Privileged Information, LUPI 范式），用 PI 条件化的教师蒸馏无 PI 的学生。CARE 站在这条线的延长线上：教师与学生是同一个模型（冻结副本），唯一的差别是教师持有诊断与修复作为特权信息。这是"自我教学"而非"外部教学"——教师的信息优势不是更强的能力，而是被告知哪里错了。

谱系四：交互式评估。 τ-bench（arXiv:2406.12045）在领域政策约束下评测工具—Agent—用户三方交互，用最终数据库状态对比标注目标状态；τ²-bench 扩展到双控环境。CARE 的可执行仿真测试直接继承这一"以执行后的业务状态为准"的设计哲学，但把"人工标注的任务实例"换成了"从最新 SOP 自动编译再冻结"，以适应政策的持续修订。

CARE 在 Table 1 中给自己的定位一目了然：它是表中唯一同时满足"更新组件=权重+路由式组件修复"“经验来源=仿真与生产中自身失败"“接地=执行状态+复核检查+归因+核验修复"“教师=自身+事后信息"“显式处理政策变化"的方法。

2.2 SelfImprove-Bench 所在的谱系：RSI 评测的四维缺口

论文 Table 1 对比了 13 个相关工作，四维覆盖唯一的是 SelfImprove-Bench：

• RSI 专用基准：EvoPathBench（过程级评测）、EvoAgentBench（能力内迁移）、SEAGym（跨任务/跨能力）、SkillLearnBench、ServeLearnBench、PAST-Bench、STOP、RSIBench-Data 等各覆盖一维；AI4AI-Bench 虽做了代码修改的语义统计，但无难度轴。
• RSI 方法的自带评估：HyperAgents、ADAS（跨任务+能力内+跨能力三维，但难度轴缺失）、RRSI。
• RSI 之外的近邻：Reasoning Gym（模型级评测，覆盖难度+能力内+跨能力，但面向 RL 训练而非 Agent RSI 精炼）。

SelfImprove-Bench 的差异化在于三点组合：能力导向的任务组织（把任务按探索/规划/推理三能力挂在 6 个游戏上）、模板+难度系数+种子的无限实例生成（held-out 池与训练描述符去重）、以及对改进轨迹的逐条语义标注（而非仅总分）。它不与真实世界 RSI 基准竞争，而是作为受控测试床提供"迁移半径"这一中间变量。

2.3 两篇论文的互相定位

一个耐人寻味的交叉点：CARE 训练混合多 SOP 版本、每个失败按事发时政策判罚，实质是在教模型"跟随给定政策"而非记忆固定行为——这正是一种对 G1（同难度新实例）/G3（同能力跨任务）泛化的隐式投资；而 SelfImprove-Bench 的 G0 发现（8/18 重放不保留）说明非训练式 RSI 连"同实例重放"这最低门槛都守不住，从反面解释了 CARE 为何必须走权重更新路线。

三、问题定义

3.1 CARE：把"替换前沿模型"形式化为接地的 RSI 迭代

CARE 的抽象分三步。

第一步：政策在上下文中，不在权重里。 客服 Agent 的正确行为由输入而非参数决定。定义运行上下文 c = (s, w, p)：s 是治理行为的 Skill/SOP，w 是可用工具及其 schema，p 是提示指令。交互产生轨迹 τ = (x₀, o₁, a₁, y₁, …, o_T, a_T, y_T, z)：初始业务状态、可见观测、动作（回复/工具查询/业务操作）、结果、终局业务结果。策略 π(aₜ | hₜ, c) 依赖可见历史与上下文。这个形式化的精妙之处在于把"SOP 改版"从"模型错误"中剥离开：同一请求在不同 c 下正确动作不同。

第二步：替换准则逐上下文定义。 令 Q(π,c) 为质量、H(π,c) 为硬违规率（禁止动作/非法状态转移）、K(π) 为平均服务成本，替换准则要求对每个上下文 c：Q(π_θ,c) ≥ Q(π⋆,c) − δ、H(π_θ,c) ≤ H(π⋆,c)、K(π_θ) < K(π⋆)。注意这是逐上下文而非聚合的——聚合会掩盖特定地区/场景的塌陷。

第三步：接地 RSI 迭代。 给定 θₖ，一次迭代为：

• Dₖ = (Construct ∘ Attribute ∘ Retrospect)(Tₖ)，Tₖ ∼ π_θₖ（经验来自自身）
• θ′ₖ = Evolve(θₖ; Dₖ)（模型自己是教师）
• θₖ₊₁ = θ′ₖ 当且仅当 Gate(θ′ₖ, θₖ) = 1（晋级门：综合分离数 ≥ 在线版 + 在线对照确认 + 人工审批）

对"self"的界定是这篇论文概念上最锋利的一刀：CARE 在经验来源和教师上自我，不在裁判上自我。 回看、归因、修复构造由外部前沿模型驱动，外部输出只作为教师的特权信息进入训练、绝不进学生输入。用论文的分类学，CARE 是有界（bounded）、人在线旁（human-on-the-loop）的 RSI，而非闭环自治。

类比：CARE 的 OPSD 像一个"开卷考订正”——学生（模型）先不看答案自己作答（在失败决策点采样自己的决策），老师（同一模型的冻结副本）拿着标准答案和诊断（特权信息）逐 token 批改，学生只在被批改处修正笔法，其余笔法不动；而传统 SFT 是"抄范文”（每个 token 都要拟合），DPO 是"二选一”（在两个固定选项间拉偏）。

3.2 SelfImprove-Bench：把"改进的迁移半径"形式化为五级阶梯

SelfImprove-Bench 的抽象同样分三步。

第一步：任务即三元组。 每个实例 τ = G_g(d, ξ)：游戏 g、难度系数 d、随机种子 ξ。配置 θ 先定游戏集合，再分配难度与种子，生成 held-in 序列 S_in（执行与精炼）与 held-out 池 S_out（评估）。生成器先构造 held-out 池并拒绝重复的任务描述符哈希——从机制上保证"评估所见必非训练所见”。

第二步：能力分类。 把任务按主要能力需求组织：探索（Exploring，通过观察与交互获取信息）、规划（Planning，约束下组织动作序列）、推理（Reasoning，解释规则、推导蕴含、计算）。6 个游戏分属三类：Farm 与 Combat（规划）、Hero 与 Sweepmine（推理）、MC 与 Astray（探索）。

第三步：泛化阶梯 G0–G4 与 HCI 指标。 相对源游戏 g 在难度 d₀ 上精炼：

指标 HCI = (s_a − s_b)/(s_r − s_b)：对比分相对基线分对参考分差距的闭合率。这个归一化的好处是跨游戏可比——不同游戏分数量纲不同，用"追平参考分的百分比"统一刻度。

问题定义的精妙之处：它没有把"泛化"当作一个二值属性，而是把它切成一条迁移半径轴，逐层询问"改进传了多远"。类比：一个学生刷题后成绩提高——G0 问重做原题还会不会（记忆），G1 问同型新题（题型掌握），G2 问更难的题（方法可扩展），G3 问同科目另一章（学科迁移），G4 问另一科目（跨域迁移）。总分只能告诉你分数涨了，阶梯才能告诉你涨在哪一层。

四、问题解法

4.1 CARE：两阶段框架

Phase I 冷启动（一次性）：数据引擎。 原料是前任系统的生产日志（完整 Agent 对话含工具定义/调用/结果/Skill 内容）与人工客服对话。日志量大但脏：执行缺陷、语言错误、场景失衡，且前任轨迹"看着流畅"但可能动作与业务状态矛盾。数据引擎三步走，全程强制成员只减不增（IDs(F) ⊆ IDs(S) ⊆ IDs(Dₛ) ⊆ IDs(D)）：

• 准入：语言 QA（规则检测异常片段 + 模型结合上下文裁决，排除文字混码/词内拼接/无关语言侵入）→ 结构 QA（场景范围、动作链、上下文长度——超长排除而非截断，因为截断会悄悄改变决策问题）→ 证据锚定语义筛查（筛查模型结合工具执行结果与结构化业务事实找"有证据支撑的执行缺陷"，如对整单未收到申请套用缺件流程、声称联系骑手但无对应执行动作；弱信号如低满意度不算数）。只有判定 no_problem 的对话进入候选池。
• 容量受限分层配额：生产流量被少数地区/场景主导（早期快照中单一场景占 37.8%）。按流量分布采样会让长尾欠代表。分配用注水法（water-filling）：nⱼ = min(cⱼ, λ)，稀缺类别全额贡献，剩余预算在有剩余容量的类别间均分——在组（SA/BR/HK/GCC4）→ 场景 → 地区三层依次执行，保证 max-min 公平。
• 状态对齐表达精炼：前任回复业务流程对但语言生硬，人工对话语言自然但操作权限不同。解法：人工对话只作语言风格参考，业务事实与动作全保留原轨迹——精炼只改既有助手消息的自然语言内容（保护字段投影 P(τ′)=P(τ)），改写被拒则回退原文，最终质检不过才剔除。

冷启动目标就是掩码 NLL（只在助手 token 上算损失），从 Gemma-4-31B-IT 训练出 V0。类比：冷启动是"照着老师傅的录像学完整流程"，但录像里没有你自己会犯的错。

Phase II 递归循环：回看 → 归因 → 构造 → 蒸馏 → 评估。

1. 24/7 在线检查（回看）：当前模型服务部分生产流量，检查系统全天候审视其对话。设计三分离：发现可疑对话 ≠ 确认 Bad Case；模型判断 ≠ 判断发布；局部证据 ≠ 生产写入。关键机制：证据盲评——元数据（来源质量标签、模型身份、实验标签）保留审计但绝不进判断 prompt（h(ξ(x),µ)=h(ξ(x),µ′)），否则裁判会学到"来源系统失败过→判失败"的标签捷径。准入按三配额分层：高分层（最大化即时发现）、边界带（测筛查器的不确定带）、探索层（保新失败家族可发现）——纯 top-K 会让筛查器历史偏见固化。深分析产出结构化案卷（六问：用户实际要什么/系统选了什么路径/关键轮承诺了什么/是否违规/运行时证据够不够/缺陷类型与修法），每条结论挂证据锚点；独立复核员挑战案卷后给 BAD/EXPECTED/INCONCLUSIVE 终态；发布门要求唯一异常轮 + 完整证据包 + 合法分类 + 明确判定。fail-closed：无法确认就记 INCONCLUSIVE，只有 BAD 才能进学习。
2. 失败归因：确认的失败只说明"出错了"，不说明"该改模型"。归因收集完整轨迹、工具结果、当时的 Skill/SOP 与近期变更、训练覆盖度、裁判版本，在五类原因（模型行为/Skill-SOP-prompt/工具-harness-路由/裁判-检查/基础设施）中路由。核心原则"共现非因果"：并发 Skill 改版不等于失败的锅是 Skill 的。可行时做受控重放——独立变化模型、Skill/prompt、工具契约。多因或不明就挂起。这个保守性防止循环教模型去绕过坏工具或坏裁判——那正是 RSI 必须避免的"自我确认失败"。
3. 修复构造（在首个错误决策处截断）：一条确认失败是多轮长轨迹，但模型当时每个决策只见其前缀——首错之后的一切都是事后信息（后续轮次条件化于修正策略不会到达的状态，其"纠正"无定义）。四步构造：定位首错 t*（由请求身份与精确日志输出锚定，非序号）；因果截断（训练输入 x = h_{t*} 精确请求，错误输出 a⁻、其后一切、结局 z、诊断 d 构成事后信息 H，只能进教师侧）；最小反事实修复 a⁺（提议者拿 x、a⁻、事发时政策、d，提出对单一错误决策的最小改写，约束四条——局部性/可行性/非预见性（事后信息不得让 a⁺ 比 x 允许的更具体：状态工具只返回"未取餐"，修复只能删"正在备餐"的无据断言、不得替换成后来才查到的状态）/合规性（按事发时政策而非当前政策））；独立核验（确定性检查前缀一致、单一原位差异、schema 合法，再由独立核验器按五轴判：真模型错/症状纠正/停在决策边界/合规/守工具契约，全过才接受）。
4. OPSD 在策略自蒸馏：对每个修复元组 (x, c, a⁻, a⁺, d)，学生只拿 x 采样自己的单轮决策 ŷ；自教师是迭代开始时的冻结副本 θ̄ₖ，输入 x + 特权信息 I=enc(d,a⁻,a⁺)（哪里错了、事发时 SOP、核验修复），逐 token 跟读学生前缀，两边各给全词表分布。部署配置的损失：前向 KL 截断到教师 top-32 token、加零下限 floor（ℓₜ = max(uₜ, 0)，uₜ 为教师 top-32 上的部分前向 KL 和）。梯度直接穿过学生分布反传，无策略梯度估计器。floor 的机制：uₜ 为负仅当学生已在该集合上放的质量比教师多，此时继续压只会让学生更集中，floor 让这种 token 的更新止步于零。
5. 评估与晋级：候选先跑从最新 SOP 自动编译再冻结的可执行仿真测试（559 例），产出仿真准确率与检查 Bad Case 率，综合分 S = (Acc_sim + (100−bR))/2；S(θ′) ≥ S(θₖ) 才进在线对照（与前任同期分流服务），确认后人工审批晋级，前任保留为回退。训练失败与评估案例来源严格分离、绝不混用。

为什么不用 GRPO？ 论文给出明确理由：最终被评判的是用户满意度，而满意度是糟糕的训练奖励——大多对话从不被评分、评分只在终局到达、且被骑手延误/退款政策/食物本身等 Agent 不可控因素混淆，也无法对重放或仿真的决策计算。可计算的奖励要么与满意度无关（格式/工具合法性）要么出自可被优化器博弈的 LLM 裁判。OPSD 完全不定义标量奖励，其 token 级信号是与"看过核验修复的教师"的散度——学习接地于关于具体决策的复核证据。

4.2 SelfImprove-Bench：三大模块

模块一：能力导向任务体系。 6 游戏 × 三能力。规划类：Farm（现金流/土地/时间约束下排产，一次性输入返回按日 JSON 计划，目标是终端现金利润最大化）、Combat（确定性卡组构建，战斗/商店交替+Boss，目标是存活并最大化剩余血量与金币）。推理类：Hero（隐藏规则归纳：从示例推断缺失规则并返回完整动作序列）、Sweepmine（部分可观察扫雷，预算内标出全部雷）。探索类：MC（Minecraft 浏览器版第一人称资源收集，视觉观测）、Astray（截图引导小球走迷宫）。难度由生成参数控制：如 Farm 难度 d 时作物目录 2d+2 种、地块与天数 4d+4；Sweepmine 从 5×5/3 雷到 9×9/15 雷。参考分用搜索算法算近优解（Farm 用逐日贪心滚动搜索，Combat 两级枚举保留 top-k 计划）——注意 Farm 参考分是伪真值，学生分可超过 1。

模块二：泛化阶梯与 HCI。 如 3.2 节。评估时精炼协议有边界约束：精炼中方法可检查修改自己的工作区，但不得访问基准模块或直接执行/评估任务实例；反馈只经规定接口（含逐步轨迹、成功标志、游戏内得分）；候选验证只用 held-in 任务，Sout 不可见；骨干模型全程冻结。

模块三：语义过程分析。 用 GPT-5.6 Sol 把改进产物拆成原子意见（915 条留存意见），四维标注：语义关系（新增/修订/重复，相对父快照与同阶段既有意见）；适用范围（任务特定/类内通用/完全通用）；功能目标（探索/推理/规划/执行——执行指工具调用、输出格式、重试等操作机制）；修改面（上下文物件 prompt-memory/执行 harness/精炼机制自身 meta）。人工对 100 条抽样复核：范围精确一致 88%、修改面 99%、功能任意标签重叠 96%（Jaccard 均值 0.828）——注意这是"复核后"的一致率而非独立盲测。

五、评估指标与实验证据

5.1 CARE 的证据链

指标体系：主指标两个——检查 Bad Case 率（离线检查仿真轨迹的确认坏例率，越低越好，是保守下界估计而非校准的总体错误率）与仿真准确率（冻结测试通过占比）；晋级用综合分 S=两者折半。在线指标为满意度（4–5 星占有效评分比，附 95% Wilson 区间与双比例检验）；辅助指标为回复延迟分位数与单均服务成本。消融指标：同数据不同学习目标（SFT/DPO/OPSD）与 OPSD 损失配置（方向/K/floor）。

数据集/环境：多语言外卖客服，七地区（SA/BR/HK/GCC4）生产部署 + 559 例冻结仿真测试。

五轮迭代六版本（核心实验，Table 6）：

这组数据支撑论文核心主张的方式值得细读：

• 冷启动的局限被直接量化：V0 仿真 93.0%（对比零样本基座 79.0%），但 Bad Case 6.42% 反高于零样本基座（5.59%）与前任（4.60%）——模仿历史轨迹教会了"照流程办事"，学不会"避开只有自己上场才暴露的长尾错误"。这是递归阶段必要性的直接证据。
• 综合分单调不降（93.29→96.07）是晋级门的结构性结果——每轮只学前一版新出现的失败家族，且不过门不晋级。注意两分并非同步改善（V1→V2 Bad Case 反弹、V3→V4 仿真微降、V5 用 1.07 分仿真准确率换 2.14 分 Bad Case 降幅），S 的设计允许一侧小损换另一侧大得。
• V5 的 Bad Case 1.97% 是全部评测模型中最低，不到前任 4.60% 的一半；满意度差从 −4.57 收敛到 +1.73，但最后两版差异不显著（p=0.85/0.47）——论文的诚实表述是"统计上达平价、点估计略超"，而非"超越"。

横向对比（Table 7）：GPT-6-Luna 91.60/5.55、Gemini-3.5-Flash 94.30/6.44、DeepSeek-V4-Flash 93.71/4.97、Qwen3.8-27B 77.08/9.17、Gemma-4-31B-IT 零样本 79.00/5.59、CARE V5 94.10/1.97。同量级无任务训练模型仿真全低于 80%，说明能力来自后训练而非基座；V5 综合分 96.07 仅落后前任 0.03、居第二。

学习信号消融（Table 9，从 V4 出发、同修复数据、同预算）：SFT 训练中崩溃（持续输出工具调用，被单例冒烟测试拦下，从未进全量测试）；DPO 行为塌缩为首轮立即转人工（仿真 15.1%，综合分 56.61——Bad Case 1.88% 的"低"只是因为立即转人工没留下可出错的决策，这正说明为何晋级要双分并重）；OPSD 保持 94.1/1.97。这一消融直接回答"为什么必须是 OPSD"。

OPSD 损失消融（Table 10，280 元组/3 epoch）：部署配置（前向 top-32+floor）综合分 96.07 最优；反向 top-128+尾单元 94.56（Bad Case 最低 1.79% 但仿真最低 90.9%）；单因子对比 K:128→32 提升 1.00、去 floor 提升 0.73。作者明确不外推"更小 K 更好"，且承认部分对比一次变多因子、Bad Case 计数来自不同审查批次（10 vs 11 例不构成显著差异）。

成本（Table 8）：P50 延迟降 27.7%（P90/P95 约 28%，均值 18.4%——说明 P95 之外有慢尾，改善只确立到 P95）；完全替代后单均服务成本降 70.5%，其中模型 serving 本身降 92.8%（H20 GPU 自部署），剩大头是固定机器成本。注意论文自陈该成本未计研发/存储/流量/运维人力。

5.2 SelfImprove-Bench 的证据链

被评对象：经验级 ACE（演化式结构手册）、harness 级 AHE（基于任务反馈修订 prompt/工具/执行 harness）、元级 HyperAgents（improver 修改任务 Agent 代码仓库）；骨干含 GPT-5.6 Sol、Claude Opus 5.5、DeepSeek；初始 harness 含 Codex、DeepSeek Harness。

G0–G3 主结果（Table 2，18 个方法-任务对）：

• G0 重放：8/18 不保留（重放分低于历史分）。例如 AHE 在 MC 上 G0 HCI −179.4%、ACE 在 MC −10.1%、ACE 在 Sweepmine −6.0%、AHE 在 Farm G0 +58.7% 但 G1 −33.8%（另一方向的反转）。精炼并不总能保住已见实例的性能。
• G1 同难度新实例：16/18 为正。HyperAgents 在 Farm/Combat/Astray 最高（Combat +100.0%），AHE 在 Sweepmine/Hero/MC 最高（MC +43.4%）。强初始不保强终点：Farm 上 AHE 起点高于 HyperAgents、终点反低（G1 HCI −33.8% vs +100.0%）。
• G2 更高难度：排名反转。Farm 训练难度上 HyperAgents 赢 AHE，Hard 集上反输；MC Hard 组 AHE 从 1.000 跌至 0.600；ACE 在 Astray G1 正但 G2 负。
• G3 同能力跨游戏：方向不对称。推理类游戏中 Hero→Sweepmine 三法全正、反向全负；HyperAgents Combat→Farm 109.2% 超过直接在 Farm 上精炼的 100.0%——在"邻居游戏"上进化有时比直接在目标上进化更好。
• G4 跨能力（HyperAgents，8 方向）：仅 5 正。Farm-精炼 Agent 在 Sweepmine/Hero 上、Combat-精炼 Agent 在 Hero 上超过直接精炼。

轨迹语义分析（Table 3，915 条留存意见）：

三个关键发现：功能目标上推理 61.2%、规划 49.6%、探索仅 11.0%（方法靠观察轨迹找错改错、不探索替代方案）；87.9% 的修改集中在 prompt 与 memory、无一方法修改改进器自身——元级自修改不会自发出现；修订率与最终性能同序（Hyper 40.2% > AHE 30.6% > ACE 14.2%），有效精炼依赖持续修订既有策略而非只加新意见。但高修订不消除重复：Hyper 在 Hero 上重复率高达 67.6%。

对照与消融：与通用 Agent 比较 Medium held-out——精炼后 agent 在 6 游戏中 5 个最高（Hyper Farm 1.179/Combat 1.433/Astray 0.520、AHE Sweepmine 0.436/Hero 0.526），但 MC 上 Claude Code 0.720 胜过全部精炼 agent（最高 0.310）——RSI 精炼不是万能票，强通用 harness 加强骨干在部分任务仍占优。任务调度消融：随机中等难度训练最优（Combat Hard 1.314 vs 固定实例 0.507、混合 1.195、递增 1.080），更难的训练实例不一定更好。HyperDSH 探索实验（直接精炼 DeepSeek Harness）：三个变体 1.274/0.941/1.326 vs 原始 0.751，但仍低于主实验 HyperAgents 1.433；且轨迹分析显示——尽管拥有整个仓库的修改权限，主实验 HyperAgents 零 meta 意见（无自发改改进器倾向），而显式允许改进器自演化的 HyperDSH 变体 meta 意见占 20.5–45.2%、且无一条 harness 级留存意见、意见产出也更少（57–127 条 vs 265 条）。

六、效果优势的根源解释

6.1 根源机制与证据链

CARE 因果链一：冷启动为什么必然留下只有 RSI 能填的缺口。

• 冷启动数据 = 前任的轨迹分布；部署后模型遇到的是自己行为诱导的状态分布——两个分布不同，且差距集中在长尾。【论文实验已支持：V0 Bad Case 6.42% 高于零样本基座 5.59%，即"模仿前任"反而引入了新错误模式】
• 前任退休后，新鲜经验只能来自自身行为——数据来源的结构性约束把"持续改进"锁死在自经验上。【设定使然，非实验结论】
• 因果链：模仿学习只能覆盖演示分布 → 模型自身分布暴露的长尾错误无示范可学 → 只有自经验闭环能发现它们 → 在线检查 + 归因 + 修复把长尾错误变成训练信号 → Bad Case 从 6.42% 降至 1.97%。【论文实验已支持】

CARE 因果链二：回路为什么不塌缩——接地四重奏。

自训练回路的两大已知死法：模型崩溃（分布尾部被侵蚀）与自我强化（裁判与生成器相关错误互证）。CARE 的对应机制：

• 失败由执行过的业务状态与复核证据确立，非模型自评——切断"自评自证"。【论文实验已支持（Bad Case 率单调下降本身证明裁判未被博弈，但这只能证明在该 559 例测试与五轮周期内未发生可测博弈；更长周期的博弈风险无法排除）】
• 归因先分离组件缺陷——防止教模型"绕过坏工具/坏裁判"这一自我确认失败。【设计层机制，论文给出路由表与受控重放描述；归因准确率未报告，属机制解释而非已量化验证】
• 修复经独立核验、非预见性约束保证目标可从 x 单独达成——特权信息不会教模型"断言它当时不可能知道的事"。【论文实验已支持：核验五轴全过才接受】
• 特权信息只给教师不进学生输入且数据加载器被检查——测得的改进反映模型已内化的东西，不泄漏。【论文实验已支持】

CARE 因果链三：OPSD 为什么在几百条修复上稳定而 SFT/DPO 崩溃。

这是全文最核心的机制解释，值得逐层拆：

• SFT/DPO 的目标定义在固定文本上：每个 token 都要拟合提议者写的字，没有任何东西锚住模型其余行为——几百条元组无法约束全参数更新。【论文实验已支持：SFT 训练崩溃、DPO 塌缩为首轮转人工】
• OPSD 的目标定义在模型自身分布上：每个 token 的目标是模型自己的分布、仅被特权信息重塑之处有大梯度——教师起点权重与学生相同，目标天然贴近学生分布，更新集中于"诊断改变判断"的决策点。【机制解释，论文实验支持其结果（OPSD 稳定于同数据）但梯度集中性的直接观测未报告，属合理的机制推断】
• 教师冻结而非跟踪学生移动平均——学生无法移动自己的靶子，锚定小增量可用性。【设计机制，消融未对比移动平均教师，属未验证的设计论证】
• 反事实推理：若去掉特权边界（诊断也进学生输入），测得的收益将高估模型内化程度——论文以数据加载器检查与评估不供特权信息来封死这一路径，但没有"泄漏版"对照实验，泄漏的增益幅度不可知。【阅读者推测】

SelfImprove-Bench 因果链一：为什么总分掩盖了泛化失败。

• 现有评估在同分布或混合流上算总分：G0 不保留（8/18）说明部分"改进"连记忆都不稳定，混合流总分靠新实例增益撑起来；G2 排名反转说明训练难度上的领先与 Hard 集领先脱钩。【论文实验已支持】
• 机制线索来自轨迹分析：任务特定意见占绝对多数（通用+跨类 ACE 14.2%/AHE 7.8%），修改集中在 prompt/memory（87.9%）——prompt/memory 的改动天然绑定训练措辞与表面模式，难以结构化迁移。【相关性证据，论文自己也是以"can coexist"的措辞陈述，未做因果干预】
• G3 方向不对称（Hero→Sweepmine 正、反向负）暗示迁移依赖任务间的结构关系方向（如规则归纳→约束传播可推、反向需先建立规则归纳能力）。【阅读者推测：论文报告了现象，方向性机制未验证】

SelfImprove-Bench 因果链二：为什么元级自修改不自发出现。

• HyperAgents 拥有全仓库修改权限却零 meta 留存意见；显式允许改进器自演化的 HyperDSH 变体 meta 占 20.5–45.2%。【论文实验已支持：权限不是瓶颈，任务压力才是——改进器改动不直接被任务分数奖励，优化压力自然流向 task agent 的 prompt/harness】
• 修订率与性能同序提示"持续修订既有策略"比"堆新意见"更重要——ACE 三方法中修订率最低、综合表现最弱。【相关性证据，非因果证明】

交叉印证：CARE 与 SelfImprove-Bench 互为对方核心主张的独立证据。

• SelfImprove-Bench 证明非训练式 RSI 的修改集中在 prompt/memory（87.9%）且 G0 都守不住——这从反面解释 CARE 为何必须走权重更新 + 接地回路：轻改上下文物件既改不动决策分布（CARE 消融中 SFT/DPO 崩溃说明固定文本信号也不行，OPSD 成功说明信号必须定义在自身分布上），也无法承载"每个失败按事发时政策判罚"这种上下文条件学习。【跨论文推断，两边实验各自支持一半，组合推断属阅读者推测】
• CARE 的 OPSD 教师只持有"诊断+修复"作为特权信息、且外部模型驱动归因——恰是 SelfImprove-Bench 揭示的"模型不会自发改自己的改进器"的工程解：改进的方向感由外部接地供给，模型只负责在自己分布上重述被核验的修正。【阅读者推测】

6.2 相关工作检索与对照

以下为围绕两篇论文核心机制的外部检索结果（检索执行于 2026-11-04，检索范围：arXiv/Nature/官方仓库，关键词覆盖中英文同义表述）：

检索说明：本次检索覆盖了 CARE 引用的全部关键谱系文献（均获可核验链接与一致摘要）以及 SelfImprove-Bench 的三个被评方法原始论文。未找到直接复现 CARE 生产场景（客服域接地 RSI 替换前沿模型）的同期工作——在本次检索范围内未发现，不能断言不存在；同样未发现针对 OPSD 生产部署规模的外部独立复现研究。

6.3 综合判断与未决问题

得到多研究共同支持的机制：

• 在策略信号必须定义在模型自身输出分布上：GKD（外部教师）、π-Distill/OPSD（自身+PI）、CARE（自身+事后信息+同数据 SFT/DPO 反例）三线汇聚。
• 非训练式 RSI 的修改面结构性偏向 prompt/memory：ACE 原文（手册即 context）、SelfImprove-Bench 轨迹统计（87.9%）、HyperAgents 零 meta 留存三方一致。
• 评估需以执行后状态/留存证据为准、防标签捷径：τ-bench、DGM 实测门、CARE 证据盲评+冻结测试同构。

仍属合理猜测的机制：

• CARE 归因阶段的准确率及其误差向训练的传播（论文自陈未报告归因准确率）。
• OPSD 梯度集中性（“仅特权信息重塑处有大梯度”）缺少直接观测证据。
• SelfImprove-Bench 的 G3 方向不对称与任务结构关系的因果解释。
• 混合 SOP 版本训练带来跨版本泛化（论文自陈"argued rather than measured"）。

优势成立条件与失效条件：

• CARE 的回路依赖三个外部件：外部前沿模型（检查/归因/修复提议——在 2611 年时间线即 GPT-5.6-Sol 级）、组件负责人、人工审批——若三者缺位（如全自主闭环），接地断裂、塌缩风险回归模型崩溃预言。
• CARE 的 OPSD 稳定性论证绑定"小增量"场景（几百条元组）；若失败积累速度远超组件修复速度，回路吞吐可能不足——论文未报告回路延迟（从失败发生到晋级上线的周期）。
• SelfImprove-Bench 的结论限定于非训练式 RSI 与文本游戏受控环境；其 G2 排名反转是否在真实工作流任务复现、HCI 相对伪真值参考分的偏置（Farm 分可>1）对结论的影响，均待后续工作。

七、必要知识反推

假设让一个没有背景的人从零完成这两项工作，最少必须掌握什么？

领域知识层（客服生产与游戏化评测的运作机制）：

• 客服 Agent 的真实结构：模型只是中心一环，Skill/SOP、工具 schema、prompt、harness、人工转接共同决定行为——不理解这点就无法设计"归因先于学习"（CARE R2）。为什么必须懂：V0 的 Bad Case 反升说明，不懂"轨迹正确≠决策分布正确"的人会误以为蒸馏就够了。
• 多语言生产的脏数据形态：文字混码、词内拼接、快照重复、流量倾斜（单场景 37.8%）——不懂这些设计不出三段准入与注水配额。
• 游戏作为受控测试床的属性：显式规则、有界状态空间、难度参数化、种子可复现——不理解"可控性+可复现性"就无法把能力映射到游戏并隔离混合能力混淆。

方法论知识层（RSI 与蒸馏的研究脉络）：

• RSI 谱系与两大死法：模型崩溃（Nature 2024）与自我强化错误——这是 CARE 全部接地设计的动机来源；不知道死法就不知道防御为何必要。
• 在策略学习与分布错配理论（DAgger 谱系到 GKD）：复合误差来自训练/执行状态分布差——这是 OPSD 目标定义位置的理论依据。
• LUPI 特权信息范式：训练时可见、推理时不可见的监督——CARE 的教师-学生差分设计直接建立在它之上。
• HCI 类归一化指标与 held-out 协议：迁移评估需要参考分锚定与训练/评估描述符去重——否则跨游戏分数不可比。

工程知识层（系统与评估实现）：

• 数据引擎的工程约束：成员只减不增的恒等链、超长排除而非截断、无回填——这些是防止数据治理悄悄变形的工程纪律。
• 可执行仿真的信息边界设计：案例按模块拆视图（用户模拟器拿目标与知识、系统模拟器拿真态、Agent 只拿上下文、评估器事后才读 oracle）——不理解"谁在何时能看到什么"就无法排除泄题回路。
• 训练基础设施：冻结教师副本、损失只更新学生、数据加载器特权边界检查、失败元组的重放验证与渲染检查。

知识融合的关键节点：

• 节点一（CARE）：把"生产模型替换"这个工程问题翻译成"接地 RSI 迭代"这个形式对象——融合了领域知识（政策在上下文中）与方法论（RSI 塌缩风险），产出 Definition 2 的精确"self"界定。
• 节点二（CARE）：把特权信息从"成功轨迹"（π-Distill）重构为"诊断+核验修复"（失败-修正信息）——融合了 LUPI 范式与客服"无验证器"的现实，产出 hindsight 只进教师的边界。
• 节点三（SelfImprove-Bench）：把"泛化"从二值属性切成分层轴——融合了教育学式的难度参数化与迁移度量，产出 G0–G4 阶梯与 HCI。
• 节点四（SelfImprove-Bench）：把轨迹从产物变成数据——用语义标注把"改了什么"与"迁移了多远"关联起来，产出 87.9%/零 meta 的结构性发现。

八、论文中可以提取的通用性灵感

灵感一：改进的有效半径必须显式度量，否则一切改进主张都可能是场景拟合。

• 核心思想：报告任何自改进系统的增益时，应同时报告其在"同实例重放→新实例→更高难度→同族新任务→跨族任务"上的留存衰减曲线。
• 论文证据：SelfImprove-Bench G0 8/18 不保留、G2 排名反转、G4 仅 5/8 正——总分接近的方法在阶梯上剖面截然不同。
• 推广场景：①教育科技中自适应练习系统的"掌握"判定（原题重做≠掌握）；②推荐系统的 A/B 增益审计（新用户群≠训练分布）；③机器人技能学习的 sim-to-real 报告规范；④代码 Agent 的 benchmark 泛化分层报告；⑤个人知识管理中"收藏≠学会"的复习半径设计。

灵感二：有界更新优于无界重写——小数据上的目标必须锚定在系统自身分布上。

• 核心思想：当更新数据远小于系统能力规模时，把学习信号定义在系统自身行为上（仅在被证据修正处施力），而非用固定外部文本全量拟合。
• 论文证据：CARE 同数据消融——SFT 崩溃、DPO 塌缩为转人工、OPSD 稳定；Nature 2024 的模型崩溃是"无锚定自训练"的极端反例。
• 推广场景：①组织变革中的渐进式流程修订 vs 推倒重来；②个人习惯改造的"最小反事实修复"（只改出错的那一步而非整套流程）；③数据库 schema 迁移的兼容性约束更新；④法规修订中的"事发时合规"原则（非溯及既往）；⑤增量学习的灾难性遗忘防御。

灵感三：裁判与被评者必须证据隔离，元数据即捷径。

• 核心思想：评估流程中任何与身份/来源/历史标签相关的信息都可能被裁判（人或模型）学成捷径，必须从判断输入中盲掉。
• 论文证据：CARE 的证据盲评不变式 h(ξ(x),µ)=h(ξ(x),µ′) 与"标签捷径"论述；仿真测试的 oracle 只在跑后读取（Eq. 37 是盲评的仿真对偶）；τ-bench 的用户指令对 Agent 隐藏同构。
• 推广场景：①盲审制度设计（期刊/基金的双盲）；②代码评审中隐去作者身份；③考试防泄题的出题-监考-阅卷角色分离；④绩效考核中的评估者-被评者轮换；⑤AI 对齐评估中的 prompt 污染防护。

灵感四：失败先归因再学习——把"系统错误"从"模型错误"中路由出去。

• 核心思想：从失败中学习前先回答"这是谁的失败"，把组件缺陷路由给组件修复，只让可归属于核心决策的错误进入学习信号，否则系统会学会绕过坏组件（自我确认失败）。
• 论文证据：CARE 归因五类路由表与"共现非因果"原则；DPO 塌缩为转人工正是"学会了绕过"的行为学例证。
• 推广场景：①事故复盘（postmortem）中区分人为失误/流程缺陷/工具缺陷；②医疗差错的个人-系统归因分离；③软件缺陷的分层定位（应用/依赖/基础设施）；④学生错题归因（概念不清/粗心/题意误读对应不同补救）；⑤自动驾驶安全报告的责任分层。

灵感五：特权信息是桥梁不是拐杖——事后知识可以教，但不能进输入。

• 核心思想：训练时给"知道答案的自己"当教师、推理时用"不知道答案的自己"，可把事后可得的修正转移到无事后信息的决策上——前提是特权边界被严格执行且修正满足非预见性。
• 论文证据：CARE 特权信息只进教师系统消息、数据加载器检查、非预见性约束（修复不得断言决策时不可知的事实）；π-Distill 的独立复现支持。
• 推广场景：①案例教学的"后见之明"使用规范（避免事后诸葛式评判）；②军事/商业兵棋推演的结果回灌训练；②手术复盘的并发症知识下放；④教练训练中"看过录像的教练指导没看过录像的球员"；⑤合成数据的生成-消费分离协议。

灵感六：评估集要从"活文档"自动编译再冻结，适应非平稳规则。

• 核心思想：当规则（政策/SOP）持续修订时，评估基准应从最新规则自动编译并在评估期内冻结——既保证测的是现行政策，又保证候选间可比。
• 论文证据：CARE 仿真测试随 SOP 变更自动重编译、冻结后所有候选同条件评测；训练侧混合多版本按事发时政策判罚。
• 推广场景：①合规系统的法规变更响应（评估用最新法规编译）；②游戏平衡性补丁后的天梯重校准；③ API 版本化测试套件的自动再生成；④课程标准修订后的考纲自动编译；⑤安全策略更新后的红队测试集重建。

结语：实践者的谦逊与审判者的锋利

把两篇论文放回同一个问题的两侧：RSI 能不能真？CARE 的回答是"能，但每一环都要接地"——失败要复核证据确立、原因要归因分离、修复要独立核验、特权信息不能过界、晋级要过冻结测试与在线对照与人工审批三道门。SelfImprove-Bench 的回答是"先别急着说真"——把改进放到 G0–G4 阶梯上称一称，看看它是记住了题、掌握了型、扩展了法，还是迁移了能力；再把轨迹拆开数一数，看看改动落在哪一层。

对从业者，CARE 给出了一份可审计的生产级蓝图：它的价值不在某个单点创新，而在整条接地链路的完整性——以及那份诚实（满意度只敢说"平价"、成本不含研发、归因准确率未报告、混版本收益"argued rather than measured"）。对研究者，SelfImprove-Bench 给出了一套可复用的审判协议：模板化生成保证可扩展、能力分类保证可解释、语义标注保证可归因——它的 G0 重放门（改进连自己见过的题都保不住吗）值得成为一切自改进报告的默认底线检查。

递归自我改进的下一步，大概在这两篇的交汇处：用 SelfImprove-Bench 式的阶梯去审判 CARE 式的接地回路——特别是"混合 SOP 版本训练是否带来跨版本泛化"这个 CARE 自己承认只论证未测量的命题。当审判标尺遇上实践蓝图，RSI 才真正开始积累可信的知识。