递归自改进的两条路线——Recursa 系统级学习与 RSI-Dojo 内化进权重精读

论文链接：

• Recursa: Toward Recursively Self-Improving Foundation Model Systems
• Training LLM Agents to Automate LLM Post-Training with RSI-Dojo

代码仓库：

• Recursa：原文未提及开源代码
• RSI-Dojo：原文未提及开源代码

发表时间：均为 2026 年 11 月（arXiv 2611.04035v1 于 2026-11-02；2611.03698v1 于 2026-10-29） 机构：

• Recursa：Alibaba Research（阿里巴巴，全部五位作者）
• RSI-Dojo：香港中文大学（一作 Shuzheng Gao、Michael R. Lyu）+ 字节跳动（Shilin He 等）+ 清华大学 + 上海交通大学——CUHK 与 ByteDance 共同主导 领域标签：cs.AI / cs.CL / cs.LG——递归自改进（RSI）、基础模型系统学习、agent 训练、自动化后训练

〇、为什么把这两篇放在一起读

递归自改进（Recursive Self-Improvement, RSI）这个从 MIRI 时代延续下来的概念，在 2026 年的 LLM agent 语境下正在分化成两个技术形态完全不同的路线。这两篇论文恰好各占一端，而且是同一个月（2026 年 10 月底至 11 月初）放出的 arXiv 工作，对照阅读能看到这个领域的实时切面。

一条贯穿两篇的主线是：RSI 的关键是把改进放在哪一层。Recursa 的作者把整个问题命名为 foundation model system learning——模型、指令、技能、记忆、harness 都是可以学习的组件，他们选择了知识库作为第一步，因为它是文本表示、可以立即在下一个任务上使用、也易于对照源材料检查；模型学习与 harness 学习被留作未来工作。RSI-Dojo 的作者则针锋相对地指出现有工作（DataMaster、AutoTrainess、ANDES、RSI-Master 等）恰恰是把后训练能力放在 workflow/harness 层——换环境即失效——所以他们要把能力以 SFT 轨迹的形式内化进权重。

两条路线目前都没有走完完整的递归闭环：Recursa 只学知识库，不改模型与 harness；RSI-Dojo 微调出的模型能改进别的模型，但论文明确承认没有做到用自己训练出的模型再训练自己的后继版本（论文 Limitations 原文：stop short of recursive self-improvement of the trained model itself）。这个共同的未完成态本身就是本轮 RSI 研究的诚实注脚。

另外值得注意的是两篇对更强模型角色的处理，这直接决定了各自 RSI 主张的纯度。Recursa 的设定是 solver 和 learner 用同一个模型，全流程没有一个更强的教师模型来写修订；RSI-Dojo 的轨迹收集用的是前沿模型，蒸馏进 35B——严格说这是弱到强蒸馏而非纯自举，但其价值主张本来就不在纯度而在内化。两种取舍分别定义了 RSI 光谱上的两个刻度。

一、论文背景

1.1 Recursa：新领域适配为什么既缺数据又缺监督

基础模型总会遇到训练未覆盖的新领域知识、未见过的需求和不熟悉的工具。论文开篇给出的结构性困境是：通过进一步训练（如 RL）来适配需要大量训练数据与可靠的监督或奖励信号，而一个新领域恰恰在最开始什么都不提供。但指令、技能、记忆和 harness 可以直接从领域材料和任务经验中学出来——所以领域适配意味着学习整个系统，而不只是训练一个强模型。

论文把这个问题命名为 foundation model system learning：改进一个由模型、指令、技能、记忆、harness 组成的系统。学习必须闭合两个鸿沟：

• 知识鸿沟（knowledge gap）：系统缺少领域事实、术语或材料位置的知识——可以从领域材料中学；
• 行为鸿沟（behavior gap）：系统有信息但用错了——比如找到了相关文档却在写答案时选错——只能通过做任务并反思反馈来学。

知识密集领域（法律、金融）让两个鸿沟同时变难：领域知识散乱且缺乏统一组织；行为预期高度局部——同一份证据在不同上下文、不同用户目标下支持不同结论，正确性难以自动验证。这要求学习系统能够消化任何单个 agent 都看不完的材料与任务经验，也要求 harness 能支撑同一模型既做证据检索又做失败诊断的长程工作。

现有方法只学了系统的一部分：学指令的（DSPy、GEPA 等）、学 harness 的（AFlow、Meta-Harness 等）、学工具技能与子 agent 的、学学习方法本身的（STOP、Darwin Gödel Machine 等）。它们大多从任务反馈学行为鸿沟，少数只研读语料的（Machine Studying、Corpus2Skill、Engram 博客）只针对知识鸿沟。更普遍的三个缺口：Reflexion 式上下文反思不跨任务积累；评测多集中在答案短且精确的编码/数学/游戏域，不检查证据与推理；很多方法依赖更强模型来驱动学习。

1.2 RSI-Dojo：自动后训练的能力为什么停留在 harness 层

RSI-Dojo 的背景是 PostTrainBench 提出的任务设定：给 agent 一个基座模型、目标基准、评测接口与有界算力（单 GPU、10 小时预算），要求它通过数据构造、训练、迭代评测来提升基座的下游性能。围绕这个基准已经出现了一批结构化方法——DataMaster 用 DataTree 组织数据工程尝试、AutoTrainess 把训练循环暴露为显式 workflow、ANDES 把数据合成做成自演化技能、RSI-Master 用 Experiment OS 与 reviewer 引导编排实验、Gödel Forest 用多棵共演化搜索树平衡探索深度与广度。

RSI-Dojo 的作者点出这批工作的共同局限：改进都发生在 workflow/harness 层，能力没有内化进模型本身。换一个环境、换一套 harness，能力就失效。而要把「如何后训练」内化进模型，需要大规模的可执行训练环境来产出高质量轨迹——展示如何选数据、训练模型、诊断失败、迭代改进。这里有一个鸡生蛋问题：SWE 任务有真实 issue 加测试套件（SWE-bench 一脉），MLE 任务可以复用 Kaggle 竞赛（MLE-bench 一脉），但 LLM 后训练任务的自动化大规模构造此前无人探索。RSI-Dojo 补的就是这块基础设施。

二、论文定位与关联工作

2.1 Recursa 的谱系位置

Recursa 的组件设计有清晰的学术血统，论文引用都给得很诚实：

• 代码式工具使用（harness 的 REPL 设计）：承自 Executable Code Actions（Wang et al., 2024）与 Anthropic 的 code execution with MCP 工程实践；
• 程序化上下文管理（事件日志 + 按需检索）：承自 Scroll（Lin et al., 2026）；
• 多 agent 编排（子 agent 沙箱并行）：承自 Recursive Language Models（Zhang et al., 2025a）及其在 M&A 尽调的应用；
• bootstrap 的导航结构：参考 RAPTOR 的多层摘要与 Corpus2Skill 的可导航层级；探索笔记参考软件库自写 cheatsheet 的实践（Machine Studying）；
• 自练习任务生成：与 SPICE（challenger-reasoner 自博弈）、PREPING（目标任务到来前的验证式合成练习）同属一个家族。

Recursa 相对这个谱系的增量在于把三样东西组成闭环：可学习组件明确定义为知识库三件套（指令/技能/记忆，技能遵循 Agent Skills 开放规范）、学习过程本身递归化（learner 分解任务给子 learner，验证并合并修订，把反思存入记忆指导后续学习）、以及全程同一模型扮演 solver 与 learner 两角色。论文特别区分了它与两类最近邻：只研读语料的方法只闭知识鸿沟，只从任务反馈学的方法只闭行为鸿沟，Recursa 两阶段各闭一个。

2.2 RSI-Dojo 的谱系位置

RSI-Dojo 站在两条线的交汇处。RSI 与自演化 agent 一线：Agent2 RL-Bench 测 RL 后训练管线设计执行、CurationBench 测数据策展、RSIBench-Data 测数据中心研究、Evo-Bench 与 HarnessDev 测 harness 演化、Self-Harness/Dream-RSI/Hyperagents 改进 harness 本身。自动后训练一线：即上述 DataMaster、AutoTrainess、ANDES、RSI-Master、Gödel Forest 等结构化方法。

论文的定位语写得很直白：这些方法改进 workflow 和 harness，而 RSI-Dojo 构造一个可扩展的可执行后训练任务源，使收集轨迹并把后训练能力内化进基座模型成为可能。换言之，前者在造更好的 scaffolding，后者在造让 scaffolding 经验沉淀为模型能力的通道。

2.3 两篇互为参照

有趣的互文：RSI-Dojo 论文里被对比的 harness 层方法（AutoTrainess 等），在 Recursa 的术语体系里恰好属于「学 harness 的那一类部分方法」；而 Recursa 声称的完整 RSI 路线图（知识库→模型→harness）中，模型内化这一步正是 RSI-Dojo 已经用蒸馏走通的。两篇论文各自走了对方路线图的一端，读起来像同一个问题的两份互补进度报告。

三、问题定义

3.1 Recursa：递归自改进的形式化

Recursa 把系统拆成两个可形式化的角色与一组可学习组件。

两个角色，同一模型：

• Solver：用当前组件 K 执行任务，(y, τ) = SOLVE(x, K)，返回答案与执行轨迹；
• Learner：改进 solver 的组件，(K′, T) = LEARN(D, K)，可以自己跑 solve→diagnose→edit→verify 循环，也可以把任务集 D 分解给子 learner 并行、合并修订、反思存记忆，返回修订后的组件与学习轨迹 T。

可学习组件三组：知识库（instructions：每步都在上下文里的系统提示与守则；skills：按需加载的可复用程序性知识包，遵循 Agent Skills 规范，可捆绑脚本与参考材料；memory：learner 记录的关于过去任务执行与学习经验的反思，如失败案例类别与应对策略）、harness（执行循环、工具、子 agent 沙箱）、基础模型。本文设定中学的只有知识库，harness 与模型冻结——理由是知识库是文本表示、可即时用于下一任务、易于对照源材料核查，也是模型学习的天然数据源。

递归性的体现：learner 的子任务分解是递归的（子 learner 还可以再分）；改进过程本身被反思记录进 memory，memory 又指导后续的学习决策——改进改进过程自身，这是 RSI 字面意义上的递归成分。

3.2 RSI-Dojo：把后训练能力变成可蒸馏的监督信号

RSI-Dojo 要解决的是训练数据构造问题，其形式化重心在环境而非算法：

• 任务：给定基座模型 m 与目标基准 b，agent 在预算内最大化 s_m,b（基座在 b 上的分数）；
• 环境的四要素：可访问的数据集、统一接口的任务定义与评测指标、可运行的评测依赖、以及能区分强弱的信号；
• 监督信号：从前沿模型在环境里的 rollout 中过滤出既过程合格又有真实指标提升的轨迹，作为 SFT 数据。

评测指标官方定义值得记：PostTrainBench 对每个 (m, b) 点取 s̃ = max(s_agent, s_base)（提交模型不如基座则得基座分），先按基准加权再跨基座平均；PostTrainBench-Lite 按 GPT-5.6 System Card 的设定，把提交模型分数对基座与指令微调参考模型归一化并截断到 [0,1]——追平基座得 0，追平指令微调版得 1；被判作弊（如在 held-out 评测数据上训练）直接 0 分。

3.3 两个问题定义的镜像结构

两个定义共享一个深层结构：都把「改进」建立在可验证的证据上而非自由生成的文本——Recursa 的每次知识库编辑都要通过重解验证，RSI-Dojo 的每条轨迹都要通过指标提升验证。这可以视为 RSI 从叙事走向工程的第一道纪律。

四、解法剖析

4.1 Recursa：两阶段学习 + 支撑长程学习的 harness

阶段一：Bootstrapping（闭知识鸿沟）。

进入新环境的 agent 不知道环境里有什么、如何组织、遵循什么惯例。学习系统里多个 agent 反复探索的成本会复利式放大（每次 solver 尝试都从零开始探索）。Recursa 的做法是先从语料 bootstrap 知识库：

• 产物分两种形态。导航结构（navigation structures）适合庞大异质的文档集合：摘要链接到源位置，结构化元数据（实体、文档类型、状态、日期）把搜索收窄到相关区域；探索笔记（exploration notes）适合较窄、结构良好的领域（如单个软件项目）：以紧凑 cheatsheet 记录术语、惯例与调查指引。两种形态的每个条目都保留源链接并声明不确定度与适用范围——agent 可以判断何时信条目、何时查原文。bootstrap 还记录环境边界：哪类材料在场、缺席、部分覆盖。
• 多 agent 并行：大语料按部分分派给并行 agent，各自在所辖部分做深度摘要与映射，编排 agent 合并发现、对照源检查、分配后续工作。
• 自练习（self-practice）：从 bootstrap 读过的材料生成练习任务，要求 agent 找来源、调和证据、产出有依据的回答；learner 评估尝试、检查成败背后的证据与决策、把反思存入 memory、用能改进未来表现的知识或策略更新技能。练习记录保留源引用，使提出的教训可以对照材料核查。稀缺引导（偏好、示例 rubric、已知失败模式）可以引导任务生成与评估。

阶段二：递归自改进（闭行为鸿沟）。

从 bootstrap 组件 K(0) 出发，对训练任务 D 调 LEARN。叶子 learner 执行四步循环：

1. Solve：并行派 solver，每任务一个，用当前组件 K；
2. Diagnose：读失败尝试的反馈与执行轨迹，区分真实 solver 错误与噪声/歧义反馈，识别缺失的知识或行为，并反思先前的编辑；
3. Edit：针对诊断出的错误修订指令与技能，借鉴先前反思；
4. Verify：重解受影响任务 + 抽样重解已通过任务，编辑只有在修复失败且不引起回归时才保留。

循环在无改进或预算耗尽时停止。非叶子 learner 做三件事：Splitting（按主题、失败模式、要改进的技能或练习的工具切分任务集，目标是减少重复劳动——子集各自练不同技能时，子 learner 不易重复诊断同一失败或重做同一技能，合并时编辑冲突也少）、Merging（去重、调和冲突编辑、泛化跨子集复现的教训，然后抽样重解子任务确认合并没有抵消收益）、Reflection（读子学习轨迹，找出没改进的子集、冲突的编辑、反馈不可靠的任务，据此发出新的学习任务）。

论文专门用一小节讨论学习浪费（learning waste）与学习信号（learning signal）：浪费分 stall（agent 空等依赖）与 rework（重复读不变状态、重新发现目录结构、重查别人已诊断过的失败），并行化减 stall、按技能切分减 rework，但过度切分又制造合并冲突与重复调查——learner 会分析自己的学习轨迹发现两类浪费并调整策略，这些反思存入 memory。信号方面，solver 信号（反馈+轨迹）有噪声，需要迭代使用让经验确认或推翻早期诊断；learner 信号（验证结果、源核查、子学习轨迹）更干净。

支撑两阶段的 harness。

三个长程特性：其一，代码式工具组合——持久 Python REPL，文档搜索、文件访问、外部 API 都是可调用库，agent 用循环/条件/函数组合工具，中间结果留在变量里、只有选定输出回上下文，失败的步骤可以只重试失败部分；其二，程序化上下文管理——完整交互历史存在上下文外的 append-only 事件日志里，模型上下文只留近期历史与驱逐索引，agent 用代码检索日志记录进 REPL 变量，只有选定证据进入活跃上下文；其三，多 agent 编排——子 agent 在隔离沙箱并行处理分支工作。知识库通过 harness 接入：指令与技能加载进上下文，learner 额外加载记忆，工具作为可调用函数进 REPL，子 agent 也可从 REPL 调用。

一个值得单独指出的设计细节：solver 和 learner 跑在同一个 harness 上，只是对知识库的访问级别不同。这意味着诊断失败的能力与执行任务的能力共享同一套基础设施——learner 分析 solver 轨迹时用的是同一种事件日志检索机制。

4.2 RSI-Dojo：从论文到环境的流水线 + 双重过滤蒸馏

RSI-Craft：把人类研究产物变成可执行训练环境。

三步流水线：

1. 种子选择：爬取近三年 NeurIPS/ICML/ICLR/ACL/EMNLP/NAACL/COLM 论文 + InspectAI 平台任务，关键词扫描标题摘要中的数据集/基准标识，再由 agent 筛选是否提供真实数据集或可执行评测目标（而非只有评测方法、分析协议或无数据的任务形式化），得 547 个候选种子；
2. 环境实例化：agent 定位数据集并验证可访问、识别任务定义与评测指标及所需代码或协议、装依赖并验证评测脚本可跑，通过后归一化为统一评测接口；数据集含多子集不同指标的拆成独立任务；总量少于 50 例的丢弃、超过 300 例的降采样到 300（控制评测时间），得 315 个可运行初始环境；
3. 可靠性与区分度过滤：可靠性过滤移除需要特殊基础设施（kernel 相关基准）、评测结果不稳定（LLM-as-judge 重复判断波动大）、指标不使用模型生成文本的任务；区分度过滤用 Qwen3-4B-Base 与 GPT-5-mini 各测一遍，两模型差距至少 10pp 才保留，且两者都高于 80% 或都低于 20% 的任务剔除（对后训练无可用信号），最终得 281 个任务。

281 个任务覆盖 10 个域：General QA（31.7%）与 Safety（14.6%）是两大类，Finance、Sociology、Instruction Following 等构成小的专门组。域分布的设计意图：大类提供充沛的后训练信号，低频域检验数据选择、训练配方与评测策略能否跨任务迁移。

轨迹收集：改进的 harness 抑制坏模式。

直接从前沿模型 rollout 的轨迹质量不足，论文归纳出反复出现的坏模式：在很小的数据集上反复跑 LoRA 却不改 EOS 配置，导致 base 转指令模型后无法正确终止生成；花很多轮换 recipe 却不分析具体失败案例，无方向地乱试；最终没按要求的格式提交模型。基础 harness 采用 AutoTrainess（通过 AGENTS.md、skills、hooks 提供任务特定指导），在其上追加针对上述失败模式的定向指导：诊断当前模型失败、基于观察到的案例选数据与训练配方、检查特殊 token 等配置细节、按预期格式提交最终模型——同时保持端到端训练循环不被拆解。

双重过滤与微调。

收集的 324 个高质量 CLI 会话切分为 1,240 条训练轨迹（在上下文压缩边界切分、排除推理摘要、自定义工具做规则转换或掩码）。过滤两道：rubric 过滤剔除含坏模式（过早 LoRA + 特殊 token 处理错误、无诊断反复换 recipe、未按要求格式提交、作弊）的轨迹；outcome 过滤剔除最终模型在目标任务上无可测量提升的轨迹。保留轨迹微调 Qwen3.5-9B 与 Qwen3.6-35B-A3B，4 个 epoch，学习率从 1e-5 衰减到最低 2e-6。

两个工程决策值得注意：收集时限制每次 rollout 5 小时控制成本；收集阶段禁用 web search 工具以与自托管模型评测时的工具配置一致（自托管模型在 Codex CLI 里用不了 web search 这个 custom tool）。

4.3 两条解法路线的对照

五、实验证据

5.1 Recursa：在 Harvey LAB 上的三层证据

实验环境是 Harvey LAB Firm Knowledge benchmark：合成律所 46 个虚构客户、266 个 matters 横跨 15 个执业领域、9,288 个文件、约 1.08 亿 token；250 个任务要求 agent 全库检索、识别相关 matters 与源文件、跨文件推理证据、产出满足任务特定 rubric 的长答案。环境刻意做难：相关证据散落多文档、字面关键词匹配不够、成功取决于判断证据是否完整、现行、相关。

第一层：harness 本身就是强起点。 用 Qwen3.8-27B 作 solver 与公开评测对照：参考 base agent（无学习）criteria pass 58.2% / all-pass 21.6%，参考已发布最高 study 配置 70.1% / 31.0%，而 Recursa 的无学习 harness（持久 REPL）在原始 rubric 下 78.9% / 35.2%、修订 rubric 下 79.1% / 37.2%——不学任何东西就已经超过两个参考配置。

第二层：bootstrap 的作用主要是省成本。 DeepSeek-V4.1-Flash 上，bootstrap 后的 14 个技能（1 个导航技能 + 13 个练习蒸馏技能）使交互轮次从 69.4 降到 55.0、输入 token 从 6.45M 降到 4.81M（各减约五分之一到四分之一），all-pass 从 31.2% 小幅升到 34.0%，criteria pass 基本不变。论文的解释很克制：基线在无语料知识时可以多花轮次搜索来弥补，语料知识的主要作用是降低每次 solver 尝试的搜索与上下文成本——不是提精度，是省成本。

第三层：递归自改进是主要增益来源。 核心结果表（修订 rubric，all-pass 率）：

三个关键读数：其一，多 learner 版 DeepSeek 达到测试 55.0%，比无学习高 25 个百分点，增益集中在 all-pass（把部分正确的答案转成完整成功）且迁移到从未参与学习的测试任务。其二，单 learner 是关键消融——DeepSeek 单 learner K(4) 训练 34.7/测试 43.0、Qwen 单 learner K(5) 训练 30.0（低于 bootstrap 的 37.3）/测试 37.0，全面低于多 learner，证明按主题分解任务、并行学习、合并修订的架构价值。其三，逐轮数据（附录 Table 4）显示 DeepSeek 多 learner K(1) 合并件训练分最高（51.3%）但测试分 48.0% 低于 K(2) 的 55.0%——训练-测试差距说明合并后再迭代有防过拟合作用。

学到的领域判断（行为分析）。 论文用两个测试任务展示学习改变的不是搜索量而是判断方式。Q157（找最新含 no-shop 条款的已签 M&A 交易）：无学习版只搜字面 no-shop、只认标题为 No-Shop 的条款、选中 5 月 20 日签约的交易；学习后从一开始就同时搜 no-shop、Exclusivity、No Solicitation，按条款实质（限制了什么）而非标题判读，排除归档在 Real Estate 的酒店收购与无签署确定性协议的 LOI，找到 6 月 16 日的合格交易。Q078（哪些 IP matters 以和解结案）：无学习版按 patent、trade secret 等主题词识别 IP matters 返回 8 个（含一个带商业秘密诉请的限制性契约纠纷）；学习后先从 engagement records（载明每个 matter 的负责执业组）确立范围，再逐案核查和解执行，把该纠纷（归档在 Labor & Employment）排除，返回 7 个合格 matters。两个案例的共同点：改进来自应用更恰当的包含规则——区分了两种易混淆的证据（触及 IP 的证据 vs 律所按 IP matter 办理的证据）。

评测基础设施的诚实性。 论文发现 250 个任务的 rubric 中有 46 条（分布在 30 个任务）与任务陈述或源文档冲突，分五类：Contradicts（判据与任务陈述矛盾，如把诉讼中仅主张过的费率当作已实现结果）、Files（证据被限制为特定文件名，引用载明同一事实的更直接文件反而算错）、Omits（答案允许集漏掉合格项）、Admits（允许集混入任务明确排除的项）、Placeholder（判据含未展开的占位符，judge 无从核对）。修订只改判据文本、不动任务陈述与其余 220 个任务，主表与附录同时报告两套 rubric 下的结果。这个附录本身就是一个方法论贡献：任何用 LLM judge + 人工 rubric 的长答案基准都可能埋着这类地雷，Recursa 团队逐条对照源文档排查的做法值得当成检查清单用。

局限（论文自陈）。 依赖领域语料的质量与可得性；推理与训练算力需求大；错误或有偏的数据与底层模型缺陷会经学习过程传播；学习效果受底层模型能力制约且未研究；实验域有限。安全方面：系统自主探索软件环境、执行程序、把观察到的信息存入记忆，有隐私与安全风险——实验全程在严格隔离、无网络访问的受控沙箱进行。

5.2 RSI-Dojo：35B 追平前沿的四组证据

主结果（PostTrainBench v1.1 / Lite）。 RSI-Dojo-9B 从基座 7.72 提到 16.46（+8.74），RSI-Dojo-35B-A3B 从 13.08 提到 29.95（+16.87）；Lite 上 9B 从 0.56 到 15.71、35B 从 5.80 到 53.29。横向对照（自测同设置）：35B 的 29.95 超过 GLM-5.2 的 29.52、GPT-5.5 的 27.80、GPT-5.4 的 26.21；对照官方榜也超过 GPT-5.5（27.23）与 Claude Opus 4.7（28.56），接近 Kimi K3（31.96），距 Claude Opus 4.8（33.84）尚有差距；但同 setting 自测的 DeepSeek-V4.1-Flash 高达 36.36，仍是断档第一。Lite 上 53.29 与 GPT-5.5 的 52.96 相当、低于 GLM-5.2（56.37）与 DeepSeek-V4.1-Flash（62.92）。论文的总结论是：30B 级开源模型与前沿 700B+ agent 的差距被大幅收窄。

执行可靠性与迭代质量（可能是最有信息量的表）。 微调前 Qwen3.5-9B 在 28 个评测设置里只有 10 个能完成至少一次有效训练（35B 为 15 个）、最终分数超过基座的分别只有 1 个和 11 个；微调后 9B 达到 24/28 完成与 15/28 提升，35B 达到 28/28 完成与 26/28 提升。有效迭代率（有效迭代/总迭代）：RSI-Dojo-35B 为 61/175 = 34.86%，明显高于 GPT-5.4（19.11%）与 GPT-5.5（20.69%）且总迭代数更少；GLM-5.2（40.71%）与 DeepSeek-V4.1-Flash（48.51%）仍更高效。这说明微调的主要贡献之一是把不可靠的执行变成可靠的执行——基座模型连训练脚本都常写不通，遑论迭代改进。

追加指导的消融（各 100 条轨迹对比）。 轨迹保留率从 42% 升到 56%；平均迭代数从 11.93 降到 9.25，其中产生实际改进的迭代从 3.05 升到 3.32；四类坏行为全部下降：EOS 处理失败 23→14、训练数据 >90% 为合成数据 22→18、训练数据过少 22→3、未提交最终模型 4→0。

过滤策略消融（Lite 上训练 35B）。 只用行为过滤 30.66 分（7/12 设置提升）、只用 outcome 过滤 26.13（8/12 提升）、双重过滤 53.29（9/12 提升）——两种过滤缺一不可，组合后有远超相加的跃升。

行为分析与失败面。 不同模型策略迥异：GPT-5.4 偏好大量小步实验（几百条样本上的 LoRA、模型合并），轨迹长而有效迭代少、很少用全参数训练、常不改 EOS 配置；RSI-Dojo-35B、GLM-5.2、DeepSeek-V4.1-Flash 用少得多的迭代完成 28 个设置。蒸馏使用也分化：GPT-5.4/5.5 从不用大教师，GLM-5.2 用 2 次、DeepSeek-V4.1-Flash 用 10 次（6 次在 HealthBench/Arena-Hard——这些基准评测目标更复杂、特别适合教师监督）。按基准排名：RSI-Dojo-35B 在 GPQA Main 第一、GSM8K 与 HealthBench 第二，与训练集域分布（数学、通用 QA、医学占比大）对应；弱项也和训练数据对得上——AIME 级难题的 rollout 很少产生可测量提升、被 outcome 过滤滤掉，导致监督稀缺；Arena-Hard 的大幅提升依赖教师蒸馏、而训练数据里没有这类轨迹，所以学不到该策略。这两个失败面是 outcome 过滤路线的内在代价：难任务上失败率高的策略进不了训练数据，形成能力空洞。

成功轨迹的共性模式（论文归纳）：早期增益来自纠正训练与输出格式（全参数 SFT + 正确 EOS 配置可避免 LoRA/不改 EOS 的终止失败）；数据选择策略关键（GSM8K 例中先选对 MetaMathQA 与 OpenMathInstruct-2，再通过数据过滤与低学习率续训进一步改进）；后期迭代常分析失败案例、精炼训练子集、退火续训；评测目标应随训练阶段演化——早期用小子集有用，但子集性能饱和后继续优化它会偏向局部收益，高性能轨迹后期会回到完整评测集对齐最终目标。

局限（论文自陈）。 环境主要覆盖 PostTrainBench 式任务，未代表更长程、 richer 环境反馈的 agentic 后训练场景；没有闭环 RSI（不用自己训练的模型训练自己的后继）；工具受限（web search 在收集与评测中都被禁用，未来计划经 MCP 服务器接回）。

六、知识反推：重做这两篇需要什么

假设让一个没有背景的人重做这两篇工作，最少必须知道什么？

6.1 Recursa 侧

• Agent Skills 规范：Recursa 的技能组件直接遵循这个开放标准（agentskills.io），技能是按需加载的程序性知识包、可捆绑脚本与参考材料。不知道这个规范的存在，就理解不了为什么技能是文本可核查的。
• 代码式 agent harness 的三个前提：持久 REPL 中变量跨步骤存活（失败步骤可单独重试）；append-only 事件日志 + 驱逐索引的上下文外历史（这是 Scroll 一脉的核心贡献）；子 agent 沙箱调用。这三样是支撑 learner 诊断数百条失败轨迹的基础设施——没有它们，长程学习在工程上不成立。
• 法律域任务的结构：正确性依赖证据定位 + 局部行为规范（同证据在不同上下文支持不同结论）；rubric 判据可能自相矛盾且需要逐条对照源文档排查（46/2623 条判据有五类缺陷）。做知识密集域评测必须预设 rubric 有错并预算排查成本。
• 多 agent 学习的组织学：按什么切分任务集能减少重复劳动（主题/失败模式/技能/工具）、过度切分的代价（合并冲突、重复调查）、stall 与 rework 的区分。这套概念更像分布式系统工程的经验知识而非 ML 知识。
• 验证式编辑的纪律：每条知识库编辑必须重解受影响任务 + 抽样重解已通过任务。这是防止知识库越学越坏的唯一闸门，也是与自由生成记忆类方法的本质区别。

6.2 RSI-Dojo 侧

• LLM 后训练的工程实践清单：EOS/special token 配置、全参数 SFT vs LoRA 的取舍、学习率退火、数据子集选择（MetaMathQA、OpenMathInstruct-2 这类资源）、早期小子集评测后期全量评测的阶段策略。这些散落在实践中的知识正是轨迹要传递的程序性知识，也是 rubric 过滤要检查的对象——不掌握这份清单就写不出坏模式目录。
• 环境合成的数据工程：从论文批量提取数据集任务（关键词 + agent 双重筛选）、数据集大小归一化（<50 丢、>300 降采样）、评测依赖复现、统一接口归一化。这本质上是数据工程而非研究技巧。
• 区分度过滤的测量学依据：为什么用 4B-Base vs GPT-5-mini 的 10pp 差距做阈值——太容易（都 >80%）或太难（都 <20%）的任务对后训练无信号。这个设计把「什么样的任务能产生学习信号」变成可操作判据，值得做任何任务合成的人抄走。
• 轨迹重建工程：从 Codex 会话记录重建训练样本——在上下文压缩边界切分、排除推理摘要、自定义工具（exec/wait/apply_patch）的规则转换与掩码。蒸馏 CLI agent 轨迹的工程细节决定了数据可用性。
• PostTrainBench 的记分与反作弊规则：max(s_agent, s_base) 聚合、Lite 的基座-指令微调参考归一化、作弊判 0 分。不知道官方口径就没法对齐复现设置（论文特意用较弱 GPU 并说明了适应性改动）。

6.3 两篇共享的知识底座

• 可验证性作为 RSI 的地基：两篇都不让改进建立在自由文本上——Recursa 的编辑过重解验证、RSI-Dojo 的轨迹过指标验证。理解 verifier-based 判断（而非 judge-based）为什么在 RSI 语境下更可靠，是两篇共同的隐含前提。
• 蒸馏与自举的纯度光谱：从完全外部教师（RSI-Dojo 的前沿模型轨迹）到完全自举（Recursa 的同模型 solver/learner），中间还有用自身历史轨迹自蒸馏（STaR 一脉）。知道这个光谱的存在才能给两篇的主张定位。
• SFT 内化 vs 知识库外挂的取舍意识：权重内化换环境不失效但不可读不可审计；知识库外挂可读可核查可回滚但依赖 harness 存续。两篇分别是两个极端的代价承受者。

七、通用性灵感

灵感一：把「学习什么」显式分层，先学立即生效且可核查的那层。

Recursa 的组件选择论证是可以迁移的决策框架：在模型/知识库/harness 三层可学习组件中，知识库是更新后立即可用于下一任务、文本表示易于对照源核查、且天然成为模型学习数据的层——所以先学它。任何多组件系统的自改进设计都可以问同一组问题：哪层改动见效最快？哪层最容易验证？哪层的产物能喂给下一层？

灵感二：自生成任务是连接静态语料与动态经验的桥。

两篇都用了任务合成但不目的相同：Recursa 的自练习任务把死语料变成可评估的经验（有 rubric 可判成败），RSI-Dojo 把论文里的数据集变成可执行的训练环境。共同的抽象：当你只有静态资源（语料/数据集）而缺动态监督（反馈）时，从静态资源生成任务是把前者变成后者的通用变换。这个变换的准入门槛是任务可自动判分。

灵感三：改进的准入门槛必须是「修复失败且不引起回归」。

Recursa 的 validate 步骤（重解受影响任务 + 抽样重解已通过任务）本质是给知识库改动上了回归测试。任何增量自改进系统——无论是记忆系统、技能库还是配置自动调优——都需要这个双门槛：只看修复会引入回归，只看不回归会停滞。软件工程的 regression testing 思想直接平移。

灵感四：蒸馏数据的质量下限由「坏模式目录 + 指标验证」双重闸门决定。

RSI-Dojo 的消融证明双重过滤有远超相加的效果（30.66/26.13 → 53.29）。可迁移的结构：第一道闸门是过程质量（列出具体坏模式并逐条检查——EOS 配置、无诊断乱试、格式失败），第二道闸门是结果验证（最终产物须有可测量改进）。只用过程过滤会保留会考试不会做事的轨迹，只用结果过滤会保留碰运气成功的坏过程。值得注意的是坏模式目录本身来自对失败 rollout 的人工归纳——先跑、先看、再定目录，而不是先验设计。

灵感五：域分布决定能力分布，outcome 过滤会在难任务上挖出能力空洞。

RSI-Dojo 在 GPQA/GSM8K/HealthBench 强（训练数据多）、AIME 弱（难题 rollout 全被滤掉）、Arena-Hard 弱（缺蒸馏策略轨迹）——能力形状是数据形状的投影，而 outcome 过滤会系统性放大这个效应：越难的任务失败轨迹越多、保留越少、学得越差，形成难度上的马太效应（论文只给出了各基准强弱的归因，马太效应机制为【阅读者推测】）。做任何「从成功轨迹学习」的系统都要预期并检查这个空洞，补救手段包括对难任务的失败轨迹做对比学习利用、或专门收集该域的教师轨迹。

灵感六：多 learner 分解的收益在防过拟合，而不仅是并行提速。

Recursa 最有说服力的消融不是快慢而是泛化：单 learner 在训练任务上分数不低（DeepSeek K(1) 51.3%）但测试分低（48.0%），多 learner 合并迭代后训练分略降测试分反升（K(2) 48.7/55.0）。按主题/失败模式切分让每个子 learner 只见到部分数据、编辑经合并调和——这与训练分降测试分升的现象一致，可理解为分解给学习过程提供了结构化正则（论文报告了数据，正则化解释为【阅读者推测】）。这个洞察对任何「大任务集 + 迭代改进」的 pipeline 都适用：分解维度（让子集练不同技能）比分解本身更重要。

灵感七：评测基准的 rubric 本身是需要被审计的对象。

Recursa 发现 46/2623 条判据有五类缺陷（与任务矛盾、文件白名单、漏项、混项、占位符未展开），并公开修订对照表。任何依赖 LLM judge + 人工判据的长答案评测都可能埋着同类地雷，而且这些地雷会系统性地惩罚答对了但与判据口径不一致的 agent。可操作的建议：在报告 agent 成绩前先对判据做一次「与任务陈述和源文档的一致性」排查——尤其当你的系统聪明到能给出判据作者没想到的正确答案时（比如引用载明同一事实的更直接文件）。

灵感八：能力内化与知识外挂不是二选一，而是同一管线的前后两端。

Recursa 明说知识库的积累是模型学习的训练数据源（future work）；RSI-Dojo 展示了轨迹蒸馏进权重的可行比例尺。合起来的完整图景是：系统级学习先在知识库层快速积累可验证的改进（成本低、可回滚、可审计），沉淀为轨迹后蒸馏进权重（换环境不失效），最后让更强的模型再驱动知识库学习——一个尚未有人走通的环。当下构建自改进系统时，把两个阶段的数据接口（知识库条目/轨迹格式）设计成可互转，是为这个环预留的接口。

附录：两篇论文的审稿视角快评

• Recursa：问题命名（foundation model system learning）与双鸿沟框架有概念贡献；多 learner 消融与逐轮数据完整；两个行为案例分析（按实质搜索、按 engagement records 定范围）比分数更能说明学到了什么；rubric 审计附录是意外之喜。弱点是只有法律一个域、bootstrap 增益有限、harness 与模型学习未动——更像一个路线图的首块基石而非完成品。适合对 agent 学习系统方向的研究者精读。
• RSI-Dojo：环境合成流水线（547→315→281 的漏斗与双重阈值）是扎实的基础设施贡献；执行可靠性数据（10/28→24/28、15/28→28/28）比总分更能说明内化的价值；双重过滤消融（53.29 vs 30.66/26.13）有说服力。弱点是蒸馏来源不公开的复现门槛、web search 禁用导致的工具面收窄、以及 AIME/Arena-Hard 的能力空洞——作者自己都写清楚了。适合做 agent 训练数据合成与后训练自动化的人精读。

两篇合起来的启示可以压缩成一句话：递归自改进当下最可靠的形式不是让模型改模型，而是让可验证的改进先发生在一个可审计的外部载体上——无论它是技能库还是训练环境——然后再决定是否把它压进权重。