训练侧创新四重奏：系统化后训练、自进化数据合成与特征离线校正——WEFT、RSI、SCALE、STAIR 合读

题目区

本篇是四篇论文的合读（quartet 模式），主题是 Agent 能力的训练侧创新——系统化后训练、自进化数据合成与特征离线校正：

1. WEFT: Scaling Tool-Use Post-Training for General-Purpose Agents（arXiv:2609.36887）——华东师范大学、复旦大学、上海创新研究院、中国人民大学、上海期智峰（Shanghai Qiji Zhifeng Co., Ltd.）。产学研合作共 19 位作者：高校（华东师大/复旦/人大）与上海创新研究院负责研究，企业提供工程、算力与产品化（通讯作者 shaozhou@qijizhifeng.com 在期智峰）。2026 年 9 月 29 日发布，代码/数据 URL 原文未提及。
2. Recursive Harness Self-Improvement for Frontier Reasoning Data Synthesis（RSI）（arXiv:2610.03548）——上海交通大学 EPIC Lab（通讯作者 Linfeng Zhang）+ 中国科学技术大学 + 上海财经大学 + 帝国理工 + 剑桥 + 南洋理工 + 复旦 + 电子科技大学，八所机构纯高校合作、无企业参与，三位共同一作。2026 年 10 月 2 日发布，代码 URL 原文未提及。
3. Rethinking Token Reweighting for SFT: Suppress, Reverse, and Extrapolate Learned Features（SCALE）（arXiv:2609.33463）——上海人工智能实验室（新型研发机构，主导项目、通讯作者所在）+ 中国科学技术大学（第一作者联培单位）+ 复旦大学 + KTH 皇家理工学院 + 香港中文大学。2026 年 9 月 27 日发布，代码 URL 原文未提及。
4. Can Computation from Earlier Problems Help LLMs Solve New Ones?（STAIR）（arXiv:2609.39394）——中国人民大学高瓴人工智能学院 + 意大利摩德纳-雷焦艾米利亚大学（University of Modena and Reggio Emilia），跨国高校合作、无企业。2026 年 9 月 30 日发布，代码 URL 原文未提及。

四篇论文在 2026 年 9 月底至 10 月初密集出现，各自独立发表，但拼在一起恰好覆盖训练侧创新流水线的四个环节：

• 训练系统怎么建（WEFT）：工具使用后训练不该只堆环境，而要让"环境+任务+harness+评估器"整交互系统协同演化，从源头保证学习信号可靠；
• 训练数据怎么造（RSI）：推理数据合成不该只递归任务，还要递归"生成任务的 harness"（技能/提示/工作流），让数据生产程序自己进化；
• 已训特征怎么修（SCALE）：SFT 学完的 LoRA delta 里有有用也有有害的成分，与其在训练时加权，不如冻结 delta 离线学"抑制/反转/外推"门控；
• 历史计算怎么用（STAIR）：早先问题在会话中留下的 attention K/V 是一笔被浪费的计算资产，冻结骨干、只学 12,288 个参数的 query 反射方向就能把这笔资产重新利用起来。

一句话概括四篇的共同底色：把训练的创新点从"堆更多"转向"修更准"——WEFT 修的是学习信号的来源质量，RSI 修的是数据生产程序自身，SCALE 修的是已经学进参数的特征用法，STAIR 修的是对历史内部状态的读取方式。四篇均处于 Preprint 阶段，结论尚待同行评审检验。值得注意的是团队构成差异：WEFT 是唯一的企业参与工作（19 人大团队、需要大规模工程基础设施），RSI/SCALE/STAIR 分别代表"八校纯学术协作"“新型研发机构+多高校联培"“跨国高校"三种学术组织形态——训练侧创新的工程门槛正在分化研究形态。

一、论文背景：训练侧的四个"堆不动了”

1.1 工具使用后训练：环境堆不动了

先补几个基础概念。**LLM Agent 的工具使用（tool use / function calling）**指模型不直接回答，而是调用外部程序（查数据库、发邮件、操作日历）再基于返回结果继续推理；有状态环境指环境的数据库/文件会随工具调用而改变，agent 必须跟踪这些变化（上一轮创建的订单 ID，下一轮取消时要记得）。**MCP（Model Context Protocol）**是把工具封装成标准化服务的协议，一个 MCP 服务可以暴露几个到几十个工具。**后训练（post-training）**是预训练之后让模型学会实际干活的全过程，主流配方是 SFT（模仿好轨迹）+ RL（用可验证结果当奖励的 GRPO 一族）。

LLM Agent 靠工具与有状态环境交互完成多步任务，有效的工具使用后训练依赖两样东西：多样的交互轨迹、可靠的结果监督。近年主流做法是程序化合成可执行环境（TOUCAN、EnvScaler、Agent-World、EnvACE 等一族工作）：自动生成海量工具环境与任务，让模型在里面 rollout 学习。这条路一度有效，但撞上一堵墙——可执行环境只是"智能体交互系统"的一个组件。完整的交互系统包括四个部分：环境（工具真的能跑）、任务（目标真的可达）、agent harness（模型与工具的接线方式：提示、记忆、规划循环、工具调用协议）、评估器（结果真的判得对）。用一个类比：只扩建考场（环境）而不检查考题是否出错了（任务）、监考流程是否合理（harness）、阅卷标准是否准确（评估器），考生分数上不去未必是考生的问题。

环境可执行不保证任务可行，也不保证评估正确：任务失败可能来自有缺陷的工具实现、不可行的任务设定、或者评估器误判，而不是模型能力不足。WEFT 论文图 1 给了一个直观例子——“更新客户记录并发送确认"的任务里，“更新未保存"是环境缺陷、“客户不存在"是任务缺陷、“已发送却判失败"是评估器缺陷，三者都会把正确的模型行为打成"失败”。把这些失败一股脑归因于策略，会惩罚正确行为、注入误导学习信号（WEFT 引言引用的 Cai et al. 2025 对不完美评估器下奖励噪声的研究正是这一担忧的实证支撑）。孤立扩展环境，堆到边际收益归零。这是 WEFT 的出发点。

1.2 推理数据合成：静态配方堆不动了

数学、代码、科学推理的进步依赖持续供给的高质量难题。先解释"合成 harness"这个概念：把一道种子题变成一道验证过的新题，中间要经过的整套程序——可复用的构造技能（“给几何题加一个需要构造辅助圆的中间步骤"这类变换手法，相当于命题人的招式库）、角色提示（出题人/审题人各角色的系统提示词）、工作流（Extend 出题→Revise 修订→Verify 验证的动作序列与衔接方式）。OpenMathInstruct-2 证明了合成数据的价值（Llama3.1-405B 合成 14M 问答对，SFT 后 8B 模型 MATH 从 51.9% 到 67.8%），FrontierMath 则证明了"难题"的稀缺性——大部分公开题对前沿模型已无区分度。

但静态数据集有个先天缺陷：难度是固定的——模型能力提升后，数据就"过时"了；单纯加大数据量并不能让合成程序造出更难的题。OpenMathInstruct-2 自己的消融也说明了方向的局限：它的难度来自 nucleus 采样的随机性，“没有给出明确指令来增加难度”。递归式合成（RST、BenchEvolver、IQC）把已验证的生成任务当作下一轮种子，让任务进化；但生成任务所用的 harness——可复用的构造技能、角色提示、工作流——保持不变。随着任务分布前移，固定 harness 的构造能力触顶：它只会做初始技能库覆盖到的那些变换。这就像一个只会四种题型的命题老师，学生把这四种题型都练熟之后，他出题的难度天花板就到了——除非他自己也学新的命题手法。这是 RSI 要解决的问题：让生成程序本身成为优化目标。

1.3 SFT token 加权：单向压制压不动了

SFT 的目标函数出奇简单：对所有示范 token 做平均负对数似然。它的参考 token logit 梯度是 π(y_t|c_t)−1——模型越觉得不可能的 token，修正越猛；已经高概率预测的 token 几乎不动。这既带来快速习得新行为的好处，也埋下隐患：自然语言监督天生一对多，一段示范里既有核心推理，也有可互换的措辞、格式约定、风格偏好、偶发错误。一个低概率参考 token 可能是"模型不确定、参考提供了宝贵新信息”（该猛学），也可能是"模型自信地偏好一个连贯替代、参考只是噪声”（不该学）。SFT 对两者一视同仁，把最强修正恰好施加在可靠性最模糊的 token 上——既可能覆盖有用的预训练知识，又可能放大噪声监督。

一连串 token 加权方法试图缓解：DFT 按参考概率加权（概率低=可能噪声，降权）、ProFit 按概率掩码、EAFT 按预测熵衰减"自信冲突”、TALR 自适应重加权。但它们共享一个结构：给示范 token 的损失乘一个非负系数 w_t（数据过滤是 w_t∈{0,1} 的特例）。非负系数只能缩放监督梯度的大小——抑制或放大，无法反转已经学进去的有害特征，放大也不等于外推；而且改 w_t 改变的是优化轨迹（学的时候怎么走），不是缩放一个固定的 SFT 方向（学完之后怎么用）。“学什么"与"怎么用"被混在一次训练里。打个比方：菜已经照菜谱炒出来了（SFT 完成），这些方法都是在"炒菜过程中少放盐”，而"这盘菜太咸了应该加点糖中和”（反转）与"这个味道对了应该更浓一点”（外推）是炒菜时做不了的——盐已经在菜里。这是 SCALE 的出发点。

1.4 会话内历史计算：白白扔掉了

LLM 常在同一会话里解多个独立问题。对用户来说，早先轮次只是上下文里的文本；对模型来说，生成那些文本时发生过一整套内部计算——每层注意力都为每个 token 算过 key 和 value 向量，这些 attention K/V 以缓存形式残留在前缀状态里，后续 token 的 query 可以直接对它们做注意力。这意味着"早先问题的计算"不只是可见文本，还包含文本背后模型当时调用过的全部中间表征。现状是模型对新问题的 query 会"顺便"注意到这些历史位置——STAIR 的机制分析量化了这一点：任务切换后，当前问题对早先 assistant 响应的注意力在中后层（第 19 层）仍占 12.4–12.9%。这种无意注意可能有益可能有害（预实验：MATH-500 上保留历史让 Qwen3-4B Instruct 的 Avg@4 从 95.00% 掉到 93.75%，GPQA-Diamond 上却让 Qwen3.5-4B 从 63.64% 升到 75.25%），模型自己控制不了读多少、怎么读。

另一条平行线是 KV cache 复用研究（Prompt Cache、CacheBlend、KVLink），但它们的目标是省计算（把重复文本的 KV 直接拼接复用、降低 TTFT），要专门处理"独立编码丢失跨块注意力"的精度损失——KVLink 的报告显示独立编码拼接在 QA 上可造成最高 35% 的相对精度损失，需要位置重编码与可训练 link token 来修复；CLC 系统综述（arXiv:2609.31415）进一步把这条线分为"冷复用"（查询时选择性重算）与"暖复用"（存储时预嵌入跨块注意力）。但没人问过：历史计算本身当作推理资源来"用"而非"省"，能不能提升精度？ 这是 STAIR 的出发点。

1.5 四个问题其实是一条流水线

把四个背景并置会发现它们是同一条训练流水线上的四个工位：WEFT 管学习信号的来源（交互系统产出的轨迹是否干净）、RSI 管训练数据的制造（合成程序能否随能力进化）、SCALE 管学完之后参数里的特征（delta 的用法能否事后校正）、STAIR 管推理时历史内部的资产（残留计算能否定向再利用）。任何一环失守，训练侧投入就在下一环漏水。四篇论文恰好各守一工位。

二、论文定位和关联工作

2.1 WEFT：从"环境扩展"到"整系统演化"

WEFT 站在四条脉络的交汇处：

• 环境与任务扩展：前序工作从有状态环境（AppWorld、ToolSandbox 一族）到自动化环境合成（Agent-World、EnvScaler、EnvACE）逐步做大规模化，覆盖工作区/网页/软件工程/终端等域。WEFT 的差异在于跨 MCP 任务组合——把执行验证过的原子任务用依赖、实体绑定、接地初始状态串成共享长程目标的 DAG 工作流，而非只造单域环境。
• 交互与 rollout 系统：harness 设计（计算机接口、执行评估框架）与混合 harness rollout 已有探索，且已知"训练与推理提示格式不一致会导致性能退化"。WEFT 把交互多样性当作扩展维度之一：同一接地任务用不同披露视图（Agentic 完整简报 / SimUser 模拟用户增量请求）×不同 harness（ReAct/OpenClaw/Hermes）rollout。
• 自我改进：行为层（自反馈、言语反思、技能积累）、任务适配层（能力差距定向造题）、系统层（搜索 agent 程序、用执行轨迹修订 harness）各有先行者。WEFT 的定位是失败归因：区分"有效任务上的策略失败"与"环境/任务/评估器缺陷"，只修订责任组件。
• RL 信用分配：GiGPO 按重复状态分组、PivotRL 在示范的中间轮分支采样、BPO 从沙箱快照比较兄弟终端回报。WEFT 的原子轮次 GRPO 改为：从相同历史与环境状态采样候选原子轮段，用当前原子任务自身的二元完成结果算组内优势，而非终端回报。

定位结论：WEFT 之前，“扩展"的对象是环境数量；WEFT 把扩展对象重新定义为完整交互系统的三个维度（环境广度×任务复杂度×交互多样性），并让执行经验同时服务策略学习与系统修订。

2.2 RSI：从"任务递归"到"task-harness 协同进化”

RSI 的谱系分三层：

• 静态合成：Self-Instruct 自举指令、WizardLM 预定义算子加难度、OpenMathInstruct-2 大规模问答对合成、MetaMath 自举数学题。共同点：合成程序一次固定。
• 任务级递归：RST 递归复用已验证任务作种子、BenchEvolver 解题中心进化、IQC 迭代组题、Auto Evol-Instruct 从轨迹学指令进化策略。共同点：任务在进化，harness 不动。
• harness 优化：ADAS 生成代码定义的 agent 设计、AFlow 搜索工作流、Promptbreeder 进化变异提示、STOP 递归改进代码优化器、Darwin Gödel Machine 维护已验证自修改档案；数据侧的 Autodata 优化数据科学家脚手架、DataFoundry 进化数据准备运行时。共同点：优化 agent 程序，但多面向通用任务执行。

定位结论：RSI 是首个把"递归合成"与"harness 自我改进"合并到推理数据合成场景的框架（同期 Meta-harness、Recursive harness self-improvement 等工作探索通用 harness 优化，RSI 引用它们作为组织批级修订的依据），且配了严格的采纳闸门（有效性/难度/成本三条件+回滚），这是多数先行者缺少的安全机制。

2.3 SCALE：从"训练时加权"到"训练后校正"

• token 级重加权：Token Cleaning 用影响力分数离线筛、DFT/ProFit/EAFT/TALR 训练时加权或掩码。共同结构：非负系数作用于"正在学的更新"。SCALE 的 Proposition 1 证明这个结构的单边性：加权 CE 的直接 logit 下降方向恒为 w_t(e_y−π)，非负 w 只能抬示范 logit、压竞争 logit 或归零，反转不了这个方向。
• delta 操作与模型编辑：Task Arithmetic 把微调模型表示为相对预训练的参数位移并做算术组合（含取负"遗忘"任务）、TIES-Merging 解决任务向量干扰、AdaMerging/WEMoE 学多任务更新组合。共同点：多任务向量的选择与合并。SCALE 处理的是不同问题——单个已完成的 SFT delta 在每个 token×模块上该怎么用：token 条件化的有符号门控，围绕 SFT 端点做抑制/反转/外推。
• 理论根源：Chen et al.（NeurIPS 2020）证明自训练熵最小化在线性模型下能避免依赖伪特征——SCALE 的 Theorem 1（门控子空间内熵下降局部提升任务价值）是这一思想在"冻结 delta 门控族"上的受限重生。

定位结论：SCALE 划清了一条此前模糊的界线——训练时改 w_t（改优化轨迹）≠ 训练后控 λ（控已完成更新的用法）；反转与外推只有在冻结 delta 形成稳定参考系后才良定义。

2.4 STAIR：从"省计算的 cache 复用"到"提精度的计算再利用"

• 跨段信息传递：Transformer-XL、Recurrent Memory Transformer 用递归跨段携带信息；Memorizing Transformers 用近似最近邻检索过往 K/V 再 attend。
• KV cache 复用（效率导向）：Prompt Cache 预计算可复用提示模块、CacheBlend 选择性重算恢复跨块交互、KVLink 用位置重编码+可训练 link token 恢复独立编码文档间的自注意力（7 数据集平均 +4% 精度的同时 TTFT 降 85-96%）。这条线的复用对象是当前输入里重复出现的文本，目标是省 prefill。
• 连续推理：pause tokens、Coconut 隐空间推理、CoLaR/PIPO 潜在压缩；Differential Transformer 在注意力算子层做双注意力图相减。STAIR 与它们的差别：在 prefill 阶段对固定的历史 K/V bank做"参考读−反射读"差分读出，骨干与存储全部冻结。

定位结论：STAIR 首次把"早先问题的遗留计算"当作可学习的推理资源——不是省它，而是学怎么读它。

2.5 对比总表

再用一张表补齐四篇在"优化对象/冻结项/采纳安全机制"上的结构对照（这也是第六部分根源分析的骨架）：

三、问题定义

四篇论文面对的具体场景不同，但抽象后共享同一个深层结构：训练/推理的"资产"已经存在（交互轨迹、合成程序、SFT delta、历史 K/V），问题是如何让这些资产的"用法"成为可优化的对象，而不是让它们一次性定型。

3.1 WEFT：学习信号的可靠性问题

• 具体问题：工具使用后训练中，轨迹失败的原因混杂——策略错？环境坏？任务不可行？评估器误判？
• 抽象问题：给定执行轨迹与状态证据，如何归因失败并修订责任组件，使产出训练数据的系统持续变得更可靠？
• 形式化：轨迹 τ 有 K 个覆盖原子任务与总目标的检查点，R(τ)=mean(r_k(τ))；自演化=在任务集与 rollout 预算固定的约束下，通过归因-修订-新 rollout 验证的循环，降低选定训练轨迹的工具调用错误率（1.76%→0.96%），约束是任务语义在视图间保持不变。

3.2 RSI：生成程序的递归改进问题

• 具体问题：合成更难的推理题时，固定 harness 的构造能力会触顶。
• 抽象问题：把 harness H=(技能库 L, 角色提示 P, 工作流 W, 验证/修订位置 ρV,ρR) 当作优化变量，模型权重与验证逻辑固定，如何用生成反馈递归改进 H？
• 类比：RSI ≈ 把"数据合成"从手工坊变成自进化工厂——Task-only 递归像是只换产品不换产线，RSI 连产线一起升级。
• 形式化：给定种子队列，第 n 轮用 H_n 的working copy 从 T_n 构造 T_{n+1}；Critic 采纳候选 H’ 当且仅当 Q(H’)≥Q(H_o)（有效性不降）、Ā(H’)<Ā(H_o)（难度更高，固定 solver 四次尝试平均准确率更低）、成本增幅 ≤ min{1+1.5(r_D−1), 1.5}×基线；三次拒绝回滚到线上快照。

3.3 SCALE：已完成更新的用法控制问题

• 具体问题：SFT 学到的 LoRA delta 里有任务有益与有害的成分，训练时加权管不了。
• 抽象问题：在由冻结 base 与冻结 delta 定义的稳定参考系里，如何为每个 token×模块学一个系数 λ∈(L,U)（L<0<1<U），使 0≤λ<1 抑制、λ<0 反转、λ>1 外推该模块的 delta 贡献？
• 类比：delta 像一味已煎好的药，训练时加权是"煎药时少放料”，SCALE 是"端上桌后按口味精确调味"——学什么（Stage I）与怎么用（Stage II）解耦。
• 精妙之处： Proposition 2 证明若熵目标 F 在 [0,1]^M 的局部最优点有非零梯度，则 (L,U)^M 中存在任意近的更优解——λ=0 边界处正导数呼唤反转、λ=1 边界处负导数呼唤外推，扩展区间能解除边界阻塞，这是"只压制"方法结构上做不到的。

3.4 STAIR：遗留计算的读取控制问题

• 具体问题：会话内历史对新问题的影响不可控（有时+11pp 有时-1pp）。
• 抽象问题：骨干与历史 K/V bank 全部冻结，只允许改变当前 query 对 bank 的寻址方式，能否让历史计算净收益为正？
• 形式化：每个受控 query head 学一个反射平面法向量 n（Householder 反射 q̃_R=q̃−2u(u^Tq̃) 保范数），差分读出 Δr=Σ(π^R_j−π^ref_j)v_j 注入原生注意力输出；约束是权重和为零（只注入重定向增量）、训练仅 12,288 参数（3 层×8 head×512 维）。

3.5 共同抽象

精妙之处：四篇都遵守"冻结大资产、只学小控制器/小修订"的约束——WEFT 冻结任务语义只修缺陷组件、RSI 冻结模型与验证器只改 harness、SCALE 冻结全部权重只训门控（参数量 Σ(d_m+1)）、STAIR 冻结骨干只训反射方向。这是"最小干预原则"在训练侧的统一体现。

再深一层看，这个共同抽象之所以成立，是因为四个场景里"资产"与"用法"天然可分离：交互系统的产出（轨迹）与产出机制（系统）分离；合成数据的难度与生成难度的能力分离；SFT 学到的方向与方向的施加强度分离；历史存储的内容与内容的读取方式分离。凡是被分离出来的"用法"一侧，都比"资产"一侧小几个数量级（组件修订 ≪ 全系统重建；harness 技能 ≪ 模型权重；门控 Σ(d_m+1) ≪ LoRA r(d_m+d’_m)；反射方向 12,288 ≪ 骨干 4B）——小搜索空间既让优化容易，也天然限制了破坏半径。这个"大小不对称"是四篇方法安全性的共同来源。

四、问题解法

4.1 WEFT：三件套的端到端流水线

组件一：可扩展交互系统构建。 类比：不是"建更多考场"，而是"考场+考题+监考+阅卷"整套质检。(1) 有状态环境合成——从公开工具文档与业务需求构造 MCP 工具定义，推断共享实体/读写依赖/状态转移，实例化共享数据库 schema，契约（参数-状态映射、读、写、返回）指导 FastAPI 后端生成，最后用正常+边界调用做执行验证（查询对状态、更新对数据库 diff 与后续读回），错误定位到 schema/契约/后端分别修订。(2) 跨 MCP 任务组合——任务合成 agent 为每个认证 MCP 生成原子任务（最小可独立执行可验证单元）与 E2E 测试，经端到端执行验证、工具链正交性剪枝、工具覆盖度三道认证；覆盖感知采样按共享实体/操作互补/功能冗余排序组合，评估模型检查 MCP 描述的营业目标连贯性；组合 agent 把原子任务连成共享业务目标的 DAG（实体绑定对齐跨 MCP 业务对象），渐进状态接地三轮初始化（实体→关系约束→历史记录+干扰项）形成可重置初始快照。(3) 多视图多 harness rollout——Agentic（完整简报自主规划）与 SimUser（用户模拟 agent 按依赖顺序增量请求；vague/partial/full 三档披露度）两视图，路由到 ReAct/OpenClaw/Hermes 三个 harness 沙箱执行，任务目标、依赖、初始状态、完成条件、MCP 接口全部保持不变。

组件二：执行驱动自演化。 类比：工厂的"质检-返工"闭环。验证用状态 diff+工具返回两类证据，验证器生成 agent 产出确定性检查与评分量规（rubric），且检查在参考证据上测试修订——后续 rollout 无需遵循参考工具调用序列。失败归因 agent 检查任务图、轨迹、检查点结果与状态证据，区分"有效任务上的策略失败"（任务不动，进策略学习）与"环境/任务/评估器问题"（分别路由到后端/任务图与初始状态/验证器修订）；跨视图跨 harness 的失败模式帮助定位（同一任务在多个 harness 都失败指向环境/任务问题，单一 harness 失败指向交互适配），rubric 分与可执行分不一致提示验证器修订。修订只动选中的组件，依赖重验证+新 rollout 评估修订并暴露新问题，交替执行驱动迭代演化。输入是"轨迹+状态证据+检查点结果"，输出是"组件级修订指令"，作用是把一次性构建变成可持续质检的闭环。

组件三：稳定后训练 + MegaMCP。 前两个组件负责"产出干净的交互经验"，这一组件负责"把经验高效变成模型能力"——类比流水线上"质检合格的原料"进入"精密加工"环节。(1) 前缀保留拒绝采样：以原子任务轮为拒绝单元，teacher（Kimi K3）按依赖序执行，成功的轨迹与数据库/工作区状态保留给后续任务；失败则丢弃该次尝试、恢复轮前历史与状态、只重采该任务（至多 k 次重试）；全部通过后保留的段拼成完整 SFT 轨迹——不丢弃已成功片段（端到端采样在 20 轮任务第 19 轮失败时前 18 轮全部作废，重采成本随任务长度爆炸）。(2) RL 任务过滤：rubric 引导的 LLM 裁判独立给试点 rollout 打分，Pearson 与 Spearman 双相关同时达标才保留任务（5,000 候选选出 1,954），RL 只用可执行奖励——双门槛的原因是 rubric 与可执行检查的失配模式不同（一个偏语义、一个偏状态），单一相关会放过只在另一维度失配的评估器。(3) 原子轮次 GRPO：第 t 轮由冻结 rollout 策略从相同历史在隔离同一状态（MegaMCP 恢复）独立采 G 个段，原子任务验证器给 r_t∈{0,1}，组内标准化优势只施加于当前轮策略 token（排除前缀）；确定性检查标记无进展重复/畸形调用/接口违规（即便在成功段里），被标记轮的优势压到 min(A,0)——只删正信用，不罚恢复行为（成功段里的重复循环若被正向强化，模型学会"绕圈也能过"）。(4) MegaMCP：注册表内容寻址存 MCP 代码与定义，静态分析筛进程全局副作用决定共享等级；prefork master 预载依赖按需建 worker，worker 以独立模块导入 MCP 服务、绑定会话私有数据库（COW 克隆不可变初始快照）；变更调用后防抖异步检查点持久化到对象存储（代际栅栏防旧 worker 写），本地重试与候选采样从相同状态起步无需重放；验证器在服务层运行、代码与特权状态对 agent 隐藏（防 reward hacking），每工具错误率与崩溃统计回连 MCP 定义驱动重验证。

4.2 RSI：双时间尺度的 harness 自进化

Stage 1 初始化：种子与来源段落筛重与基准去污染（重复种子族留在同一演化/held-out 划分内；基准题目与解答隔离于生成 agent），获取模型用 intent/method/difficulty_effect/tool_hint 四字段抽取可复用任务变换，筛后技能+初始提示+工作流构成 H_0。输入是"种子数据集+来源文档"，输出是"筛查后的种子队列+初始 harness"——这一步的质量决定了后面 14 轮的起点公平性（去污染不严则难度增益可能来自泄漏）。

Stage 2 线上自改进（轮内）：Director 选技能控制 Extend/Revise/Verify 直到 Finish 或预算耗尽。验证环节中生成模型同时尝试中间题 q_{n,t}；若 solver 失败可归因于有效题目上的推理弱点，失败 trace z_miss 交给 Meta Agent 转化为可复用构造变换（不是该题的答案）：L_{n,t+1}=Admit(L_{n,t}, Meta_s(q,z_miss;Γ_s))，Γ_s 规定适用性/可复用性/支撑证据。关键设计：下一次 Director 调用就读更新后的库——同批未完成任务立即受益，失败反馈不用等到批次结束。注意三类失败不触发技能入库（无效 QA、参考答案错误、工具故障改走修复路径）——只有"题目有效且失败源于推理弱点"才是可转化的信号。批边界冻结为 H^online_n，作为下一步优化的对照基线与回退快照。

Stage 3 批后自改进（轮间）：批次结束后用保留任务的环内测试分与失败 trace、运行日志、运营指标，加上人事先定义的目标 g 与约束 Γ，Meta Agent 先在 H^online 拷贝上更新技能得 bH_n，再提出候选 ΔH（允许增删改技能、改提示与工作流、重定位 Verify/Revise；验证器逻辑不可改；拒绝过的人工编辑不自动累积，但可读先前拒绝报告 R_<j）。候选评估：冻结当前保留任务为共享队列 S_n，候选与线上基线各从 S_n 独立合成一轮（相同模型/工具设置/资源上限，各自隔离地跑线上适应），比较新产出而非历史分数。Critic 三条件采纳：Q(H’)≥Q(H_o)（缺失候选计为无效）、Ā(H’)<Ā(H_o)、生成成本 ≤ min{1+1.5(r_D−1), 1.5}×基线——难度优先、成本允许按难度增益放大（20% 难度增益最多允许 30% 成本上浮）、封顶 50%。首个通过者成为 H_{n+1}；三次拒绝则丢弃全部批后编辑、保留线上快照。held-out 评估永不反馈进更新。

4.3 SCALE：两阶段熵引导门控

Stage I（学）：标准 SFT 训 LoRA（r=16, α=16, 全线性层），冻结 base、输出头与训好的 φ*。这一阶段与普通 LoRA 微调完全一致——SCALE 不要求改变任何现有训练流程，这是它工程上"即插即补"的关键：任何已有的 LoRA 产物都可以直接加一层校准。

Stage II（调）：每个目标模块一个线性投影门 g_m,s=w_m^T·sg(h_m,s)+b_m，经 tanh（温度 τ）与分段线性映射到有界系数 λ=1+(1−L)min(v,0)+(U−1)max(v,0)∈(L,U)——零初始化精确恢复 Stage-I 模型。门控作用于冻结 delta：u_m,s=W_m·h_m,s+λ_m,s·ΔW_m·h_m,s。训练目标只有一个：最小化 top-k（k=100）预测熵（log k 归一化，仅响应位置）——无 CE、无 KL、无预算项。理论侧：Lemma 1 给出熵优势 A_ent=log π+H（中心化、有符号的动作级反馈）；式 (12) 把门的熵梯度写成 logit 与干预切向量的协方差——信用经 delta 控制传递到因果下游全部受影响位置；Assumption 1（门子空间内熵-任务一致性，失配范数有界）下 Theorem 1 保证小步长熵下降局部提升任务价值 V_k。参数量仅 Σ(d_m+1)（每门 d_m+1 个），训练 20–46 分钟（基线 53–305 分钟）。

为什么允许反转/外推（作者论证）：门区间扫描实验（42 组 L∈[−6,0]×U∈[1,6]）显示数学高分配置落在负 L 区（两个 Qwen2.5-Math 还偏好 U>1），代码高分区近 L=0 且 U 大——数学要纠错（Qwen2.5-Math 的特化使部分 SFT 特征值得反转），代码要放大（新适配特征值得外推），反转/外推的需求依任务与 backbone 而异。另一个支撑证据来自附录诊断（附录 D）：按 ΔH 符号硬性抑制 delta 贡献（不训门控，纯前向干预），压制"降熵贡献"的 token 使 Avg@16 从 LoRA 的 15.47 掉到 12.59，压制"升熵贡献"的 token 升到 22.59——熵变化的方向确实携带"哪个方向的 delta 该削弱"的信息，而学连续门控（37.84）远超两个硬干预——连续、token 级、模块级的选择比符号级硬规则强得多。

4.4 STAIR：反射读取 + 差分读出

先建立一个直觉类比：历史 K/V bank 像一座图书馆，书（K/V 对）已经固定摆放；原生模型的注意力像是读者"顺手乱翻"（无意注意，读多少全凭 query 与 key 的天然相似度）；STAIR 给每位读者（每个 query head）配一副特制眼镜（Householder 反射），使其目光按学到的方向重新聚焦到有用的书架上——而且只把"新看到的内容与原来看到的内容之差"记进笔记（差分读出），原有的阅读习惯完全保留。

只读 bank：早先响应生成时捕获的 attention K（key 投影+归一化后、RoPE 前）/V 对，按序入库；Qwen3.5 存推理体、Instruct 存答案体；本轮只读、新状态 detach 追加。辅助分支位置编码：bank 键给连续位置 0..M−1，当前 token（全长输入位置 p）给 M+p——bank 读独立于原生注意力路径的位置与掩码。

query 侧重寻址：受控层 [3,11,19]（零基，覆盖早中段计算）每个 query head 学一个 Householder 反射法向量 n（归一化 u），反射保范数只反转 n 方向分量；反射作用于辅助 RoPE 后的 query。参考分布 π_ref=平滑 softmax(q̃·k̃)+ε 均匀；反射分布用位移 c=q̃_R−q̃ 对参考重加权；差分读出 Δr=Σ(π^R−π_ref)v——权重和为零，只注入重定向引起的内容变化。Δr 过原生 sigmoid 门（Qwen3.5）与冻结输出投影，加到原生注意力输出上；prefill 后辅助分支关闭，自回归解码走原路径（修改过的前缀状态生效）。

训练：DAPO-Math-17k 四轮会话（骨干自生成响应，对错都保留——错误响应也是合法的历史状态，控制器必须学会在有噪声历史上工作），T1 原生回放供给初始历史，T2–T4 teacher forcing + 损失 = CE + KL(Native‖STAIR)（λ=1）——贴近原生分布的同时学有用的读取；只有反射法向量收梯度，共 3 层×8 head×512=12,288 参数（LoRA 的 1/336）。设计链条环环相扣：差分读出保证"不动原生路径只加增量"→ KL 锚定保证输出分布不漂移 → 参数极小保证不会通过 12,288 个参数"偷学"任务知识（Bank-free 控制实验证明同参数预算无 bank 读取时只能拿到 +15.00 中的增益）→ prefill-only 保证解码路径零改动（部署兼容性）。

4.5 全景对比表

五、评估指标与实验证据

5.1 WEFT：信号干净度 → 下游三基准

指标体系：(1) 主指标——BFCL V4 / τ²-Bench / Claw-Eval 官方 aggregate（工具调用、多轮交互、长程执行的分层能力）。逐个说明：BFCL V4 是 Berkeley Function-Calling Leaderboard 第四代，测单轮/多轮/记忆/检索增强的工具调用正确率；τ²-Bench 是双控制环境（agent 与用户都可执行动作）的多轮对话基准，Telecom/Retail/Airline 三个域；Claw-Eval 评测终端（命令行）agent 的长程执行。选这三个是因为它们恰好覆盖"一次调对参数→多轮维护状态→长程规划执行"的能力阶梯，且都按基准原生 harness 与官方 aggregate 计分——排除评测 harness 差异带来的假增益。进阶基准 Toolathlon-Verified / AutomationBench 进一步测多工具长程工作流。(2) 信号质量指标——选定训练轨迹的工具调用错误率（含可恢复错误）：这是"学习信号干净度"的直接度量，也是自演化轮数的响应变量——为什么它重要：下游基准分数是滞后指标，错误率是先行指标，用它证明"系统在变好"比等下游分数更贴近因果。(3) 消融指标——视图/harness 多样性、前缀保留 vs 端到端采样、原子轮 vs 轨迹级 GRPO、自演化轮数。(4) 系统指标——上传量/常驻内存/TTFT（衡量并发 rollout 基础设施的成本）。

语料规模：8,172 个 MCP、64,755 工具、41,695 认证原子任务、11,884 组合任务（中位数 20 原子任务轮；Software & DevOps 占 22.6%；超半数任务跨域）。

核心结果：

（14B 组三项分别 +6.41/+2.23/+12.27pp；8B 组 +0.88/+0.45/+5.28pp——提升幅度随模型变小收窄但方向一致。）

WEFT-35B-A3B：BFCL Memory 66.02%（35B–685B 组最高、超次优 11.82pp）、Telecom 85.09%（次于 DeepSeek-V3.2 的 96.2%）、Toolathlon-Verified 45.99%、AutomationBench 26.50%。分类别：WEFT-14B 的 BFCL Memory 比 Agent-World-14B +25.35、Telecom +20.22、WebSearch +15.00（至 68.00%）——记忆与状态跟踪是跨规模的复现性强项，恰是"状态 diff 验证"直接监督的能力。

消融因果链：(1) 自演化——任务集与 rollout 预算固定，3 轮把工具错误率 1.76%→0.96%（相对 -45.5%），三基准 +5.25/+4.33/+3.65pp；前两轮吃掉 AutomationBench 与 Claw-Eval 的大部分增益，Toolathlon-Verified 在第三轮随工具错误单调下降继续涨——证明"结果过滤之外，底层交互仍有改进空间"，且该先行指标与长程基准的收益同步。(2) 视图/harness——固定任务集下 SimUser 单独低于 Agentic 但混合平均 +3.18（弱视图仍能改进训练混合，“单独更差的成分在混合中可能更好"是数据配方的重要现象）；加 OpenClaw/Hermes 再 +9.71 均值（Toolathlon +13.58）——所有增益在 benchmark-native harness 下测得，说明多样性带来的是模型能力而非对训练 harness 的过拟合。(3) 前缀保留——接受轨迹数固定（排除数量因素），k=3 时 Toolathlon +1.85、Automation +2.17——同等接受数下 SFT 数据训练价值更高。(4) 信用分配——轨迹级 GRPO 在 τ²-Bench 相对 SFT 回归（8B -3.17/14B -0.84pp），原子轮 GRPO 全面提升且 τ² 超 SFT +5.69/+4.43pp——全轨迹平均结果稀释到每轮是结构性缺陷；训练曲线（图 8）显示平均轨迹回报上升同时策略熵下降，优化稳定。(5) MegaMCP——1,000 任务上传 773.5→34.8 MiB（-95.5%）、常驻内存 -77.6%（52 实例/8 进程）与 -95.7%（50 会话/1 进程）、冷启动 TTFT p50 10.455→4.794s（-54.1%）、1,000 任务冷重复 428.6→17.4s（-95.9%）——并发 rollout 的边际成本大幅下降，是原子轮 GRPO"从相同状态采样 G 个段"这类设计在工程上可行的前提。

5.2 RSI：难度曲线 → 下游双训练范式

指标体系：(1) 主指标——固定 solver（DeepSeek-V4-Pro，每任务 4 次尝试）的平均准确率（越低越难，难度是合成质量的代理）。为什么这个代理合理：solver 固定意味着准确率变化只能来自题目变化；每任务 4 次尝试取平均而非 pass@1，降低采样运气的影响；每条种子链保留"最新有效完成任务"且失败尝试留在日志与成本核算里，排除了"只挑最难的祖先回溯"的统计假象。(2) 迁移指标——冻结 harness 在 held-out 种子上的难度增益（区分"学到生成程序"与"记住特定链”：前者在没见过的种子上也能造出难题）。(3) 成本指标——每种子生成算子成本（Extend/Revise/Verify 费用，不含 Director 与技能更新开销——作者注明这是比 Ĉ_gen 更窄的口径）。(4) 下游指标——GRPO（Qwen3.5-4B Thinking，10K 样本，mean-16）与 SFT（Qwen3.5-35B-A3B，12K）四基准（APEX Shortlist/HMMT/LCB/SciBench）+ 27B 学生 APEX 2025——为什么双范式都要测：GRPO 与 SFT 对数据特性的偏好不同（RL 要可探索的难度梯度，SFT 要可靠的解法示范），单一范式下的优势可能只是适配了该范式的偏好。

核心结果：150 条种子链 14 轮，整体难度 100.0%→54.8%（Math 50.0/Coding 58.5/Science 56.0），固定队列内每个域都在降（非成分变化假象）。机制消融（50 共享种子）：

互补性证据：Online only 后期回升说明技能库单独不足，Post-task 的工作流再审带来后期持续下降（57.0→50.0）——线上机制提供即时复用，批级机制重审累积库与使用库的工作流。冻结迁移：H14 vs H0 在 50 个 held-out 数学种子（从同一种子起步，排除起点差异）10 轮后 52.0% vs 70.0%（-18.0pp）——学到的是可复用生成程序而非特定链。成本：R14 生成算子 $1.065/种子 vs Task-only $1.332（更难还更便宜，-20%）。

下游价值：GRPO 总体 62.7%（vs 基线模型 58.4%、最强数据对比 IQC 59.5%），四项全最优（APEX 36.4↑4.0/HMMT 78.3↑4.8/LCB 59.2↑3.4/SciBench 76.9↑5.1）；静态数据集（OpenMathInstruct-2 58.1/OpenCodeReasoning 57.2/WildSci 55.6/MetaMath 54.5）多数项降分——同一 4B 学生、同一训练配方下，数据来源的差异被放大成 8.2pp 的总体差距，最强单项各不相同（OpenMathInstruct-2 赢 HMMT、OpenCodeReasoning 赢 LCB、IQC 赢 APEX 与 SciBench）而 RSI 数据在每一项上超过各自最强者，说明其优势不是偏科而是全域。SFT 侧（35B-A3B，12K）总体 55.7% vs 51.1（+4.6pp 四项全升；对照：OpenMathInstruct-2 与 MMIQC 提升 APEX/HMMT 却降 LCB，OpenCodeReasoning 反之——只有 RSI 数据同时提升数学与代码）。27B 学生（Qwen3.8-27B+10K 数学）：APEX 2025 mean-16 从 56.3%→62.5%（+6.2pp），超 DeepSeek-v4-pro（61.5%）、Gemini 3.1 Pro（60.9%）、GPT-5.4 xhigh（54.2%）、Claude 4.7 xhigh（40.6%）、DeepSeek V4 Flash（44.8%），距 Kimi K3 Think（65.6%）差 3.1pp——10K 合成样本让 27B 学生在 APEX 上越过一排前沿闭源模型（作者也注明：各模型训练与推理成本不等同，比较不构成同等成本下的排名）。

作者自报边界：未做匹配 token 的 fixed-harness vs evolved-harness 下游对照、总演化成本/候选有效率/回退率未报、向独立 solver 的迁移未测——难度增益→下游增益的链条仍有一段"信任区间"。

5.3 SCALE：三操作贡献分解

指标体系：数学推理 Avg@16（Math500/Minerva/Olympiad/AIME24/AMC23，NuminaMath-CoT 100k 微调）为主——Avg@16 是每题 16 次采样的平均正确率，比 pass@1 更能反映分布质量（小模型上单次采样方差太大）；通用保持（MMLU-Pro/BBH/OBQA）防灾难性遗忘——这是"事后校正"类方法必须自证的维度（门控若失控损伤通用能力，收益再大也不可部署）；代码 pass@1（HumanEval/HE+/MBPP，Magicoder-OSS）验证跨域——检验"反转偏数学、外推偏代码"的任务依赖性是否真实。

三个 backbone 全部最优且每个基准都最优；通用保持 Avg 33.34/45.40/48.34（两最高一次高——推理涨分不以通用能力为代价，这正是"冻结 delta 只调用法"相对于继续训练的结构优势）；代码平均 34.72/47.35/47.34 三 backbone 全部最优（超次优 TALR +0.01/+3.72/+6.62）。三种子稳定性 37.83±0.20。还有一个容易忽略的数字：基线侧 DoRA（15.66/21.22/19.62）没有超过 LoRA（15.47/21.93/20.00），ProFit（26.92）与 TALR（28.15）大幅领先 LoRA 但仍落后 DFT（32.81）——token 重加权方法之间的差距（>10 分）远大于它们与 SCALE 的差距（约 5 分），说明"信号设计"之后还有一整层"用法校正"的空间，这正是本文贡献所在的层。

机制消融（最有说服力的部分）：(1) 去掉反转（max(λ,0)）掉 16.95/9.15 分，去掉外推掉 6.99/12.46 分——两种"越界"操作各自不可或缺，直接验证 Proposition 2 的边界阻塞解除价值。(2) 实际学到 λ 分布：39.36%/44.34% 的生成 token 学到 λ<0（反转）、42.82%/36.55% 学到 λ>1（外推）——模型主动选择反转与外推，不是摆设。(3) 信号消融：熵 vs CE 校准 37.84 vs 16.17——单一无监督熵信号远胜监督 CE（CE 会继续过拟合示范）。(4) 诊断实验（附录）：按 ΔH 符号硬性抑制 delta 贡献——压制降熵贡献 12.59（比 LoRA 15.47 还差）、压制升熵贡献 22.59——熵变化方向确实携带"该怎么用 delta"的方向信息。(5) 效率：Stage-II 仅 20–46 分钟 vs 基线 53–305 分钟，参数 Σ(d_m+1)。

5.4 STAIR：机制发现 → 受控读回

指标体系：Avg@4/Pass@4（每题 4 采样），三模型（Qwen3-4B Instruct/Qwen3.5-4B/9B thinking）×四基准（MATH-500/AIME 2025/AMC23†34 题/GPQA-Diamond 跨域）；Vanilla（T1 无历史）/Native（带历史原模型）/STAIR 三条件共享问题调度与采样种子。补充维度：交叉历史回放的机制度量（注意力质量占比/状态位移分解/近邻重合率）与答案转移计数（错→对、对→错）——这些机制指标既是方法设计的依据也是疗效诊断的工具。

主结果（T2–T4 均值）：AIME 2025 上 STAIR vs Native：Qwen3.5-4B 40.56→52.22（+11.67pp）、9B 43.33→49.44（+6.11）、Instruct 34.44→38.06（+3.61）；三模型 AIME 每个后继轮次与平均 Pass@4 全升（如 Qwen3.5-4B Pass@4 64.44→77.78）。Native 本身在 AIME 上相对 Vanilla 大幅下降（Qwen3.5-4B 60.83→40.56，保留历史反降 20.27pp）——AIME 竞赛题对历史干扰最敏感，也因此是 STAIR 修复空间最大的基准。Qwen3.5-4B 在 MATH-500 96.27 与 AMC23† 74.51 双双超过 Vanilla 参考（96.00/76.47 后者接近），说明 STAIR 不仅修复历史损害还能转为净收益。GPQA-Diamond：Instruct 双指标提升（58.75/77.78），Qwen3.5 两模型无可比增益——反射方向在数学上拟合、向科学问答的跨域迁移有限（作者明示的开放问题）；对照 Native 在 GPQA 上本来就升（75.25 vs Vanilla 63.64），历史对科学问答天然有利，STAIR 的边际改进空间小。

机制发现（第 2 部分，方法设计的依据）：交叉历史回放（两 disjoint 组各 128 当前问题×32 三轮历史，冻结权重回放）显示：(1) 历史注意力持续——层 3 时早先 assistant 响应占注意力质量 39.49%/38.29%，层 19 仍 12.41%/12.87%；(2) 状态位移分解 d=μ+a(问题)+b(历史)+e(交互响应)中，交互响应在层 19 仅占位移能量 0.69%/0.66%——大部分位移是历史共享偏移；但 (3) 交互响应的 8 近邻跨历史重合率 48.06%/46.50%（打乱身份控制仅 11.73%/12.08%）——小能量成分携带问题依赖的结构，这正是"值得学习读取"的部分；(4) Native 答案转移（T4，2,000 对/轮）：35 对错→对、60 对对→错——双向都存在，净 -1.25pp，且按 T1 对错分组后 Native 在正确 T1 之后仍低于 Vanilla、错误 T1 之后大幅下降（60.35%），说明历史损害不只因"前面答错了"。

共享 T1 控制实验（Qwen3.5-4B，AIME T2，30 题×4 轨迹）——方法完整性检验：

Pass@4 56.67→80.00。四个控制全部低于完整方法：随机反射也已 +15.56（说明 bank 里确实有可取用的历史信息，寻址方式不是唯一因素——哪怕随机换一个读取方向都比原生无意注意强），Bank-free 控制器 +15.00（同参数预算的注意力输出调整也能获益，但拿不到 bank 里的定向内容），K-V 打乱降到 +11.39（值与键的配对完整性有贡献），但完整方法比最好的消融（Direct reflected-read +20.00）还高 6.66pp——学习的反射方向+差分读出+K/V 配对完整性各有贡献，且"全读"不如"只读增量"（Direct 把参考读的内容也叠加进去，干扰了原生计算）。与 LoRA 对比（Instruct AIME）：LoRA 4,128,768 参数 39.44%，STAIR 12,288 参数（1/336）38.06%——用 0.3% 的参数拿到 LoRA 97% 的增益；LoRA+STAIR 43.33%（比 LoRA +3.89、Pass@4 +4.44）——历史访问与权重适配互补，联合训练最优，两种适应方式作用于不同自由度（读取几何 vs 权重）不冲突。成本：2K/8K/32K bank 前缀得 35.00/43.33/39.17（全量 48.33，非单调——中段历史可能含误导）；全量读取中位 +0.81s、峰值内存 +6.60 GiB。

5.5 四篇的实验设计互鉴

放在一起看，四篇的实验设计有一处值得专门指出的共性纪律——“共享起点的对照”：WEFT 的消融固定任务集与 rollout 预算、固定接受轨迹数；RSI 的候选评估共享 150/50 条种子队列、冻结迁移实验从同一种子起步；STAIR 的共享 T1 控制固定可见历史、当前问题、生成种子与解码预算。每次比较都把"起点差异"从"方法差异"中剥离——这是它们的结果能支撑因果结论（而不只是相关性）的关键。反过来看各自的软肋也清晰：SCALE 缺 held-out 域上的门控迁移实验（数学训的门在代码上直接用了同区间扫描选最优，存在按测试集选区间的风险——附录称 Table 1/2 报的是 oracle sweep 最优区间，控制比较用固定区间，这个区分做得诚实但读者需留意主表数字的乐观偏差）；WEFT 的 19 人团队没有报告归因环节自身的准确率；RSI 与 STAIR 的边界则已在各自小节说明。

六、效果优势的根源解释

6.1 根源机制与证据链

WEFT：信号纯度 → 学习效率。 因果链：环境扩展基线只加工具/场景覆盖，但失败可能来自环境/任务/评估器缺陷 → 把这些错误归因于策略 = 惩罚正确行为 + 注入误导信号（例如评估器把实际完成的"发送确认"误判为失败，RL 会惩罚正确的工具调用序列）→ WEFT 的执行驱动归因把选定轨迹工具错误率压低 45.5%（论文实验已支持）→ 更干净的学习信号转化为下游 +3.65–5.25pp（论文实验已支持）。同理：原子轮 credit assignment 用当前原子任务二元结果计算组内优势，避免全轨迹平均稀释——轨迹级 GRPO 在 τ²-Bench 的回归（-3.17/-0.84pp）与原子轮的全面提升形成对照（论文实验已支持）。前缀保留在固定接受数下提升训练价值、MegaMCP 解除"每 rollout 全套部署"冗余使大规模并发可行（论文实验已支持）。推测部分：失败归因的准确率本身依赖归因 agent 的判断质量，论文未单独评估归因正确率——错误归因可能修订掉正确组件，这是流水线中尚未量化的风险点（阅读者推测，论文未提供归因质量指标）。

RSI：优化对象升维 → 难度持续增长。 因果链：Task-only 递归的可达难度受固定构造算子覆盖限制 → 分布前移后固定 harness 触顶（Task-only R8 后回升 70.5→73.5 是直接证据，论文实验已支持）→ RSI 把生成程序本身变成优化目标：线上机制把单次 solver 失败即时转化为构造变换（同批可复用），批级机制在队列对照+成本闸门下修订整个 harness → Full 比 Task-only 低 23.5pp 且算子成本 -20%（论文实验已支持）→ 难度增益迁移到 held-out 种子（52.0% vs 70.0%，论文实验已支持）证明学到可复用生成程序 → 该难度结构转化为下游 SFT/GRPO 全域增益（论文实验已支持，但缺匹配 token 的直接对照——作者自认边界）。推测部分：Critic 采纳的"更难"未必等于"更有训练价值"——难度用固定 solver 准确率代理，若题目变难的方式偏离能力前沿（如纯粹变冗长），下游增益会打折扣；27B 学生的 APEX 结果支持但未完全排除这一风险（阅读者推测）。

SCALE：干预集合扩展 + 无监督信号选向 → 校准超越重加权。 因果链：非负加权 CE 的单边性（Proposition 1）使训练时方法结构上不可达"反转已学特征"（理论已证明）；且改 w_t 改的是轨迹不是固定方向 → SCALE 冻结 delta 建立稳定参考系，带符号门控把可达干预集从 [0,1] 扩到 (L,U)（Proposition 2 解除边界阻塞，理论+消融双重支持：去反转 -16.95/-9.15、去外推 -6.99/-12.46）→ top-k 熵下降在门子空间与任务价值方向一致（Theorem 1 + 二元 margin 模型 Eq.7：m>0 时熵下降强化有益贡献削弱有害贡献）→ 39%/44% token 学到反转、37%/43% 学到外推（论文实验已支持）→ 三 backbone 数学 +1.91~+6.08、代码全优（论文实验已支持）。推测部分：熵-任务一致性假设在 m<0（当前预测错误）时结论反转，SCALE 的安全性依赖"多数位置 m>0"这一未显式验证的前提；其数学（要反转）与代码（要外推）的模式差异暗示任务-delta 对齐度决定该前提，跨到更弱 backbone 或更脏数据时收益可能缩水（阅读者推测，基于附录门区间扫描的跨任务差异）。

STAIR：历史中确有可复用成分 + 最小干预保住基座。 因果链：机制分析发现任务切换后历史注意力持续存在（层 19 仍 12.4–12.9%）且位移分解中的交互响应跨历史保留 46.5–48.1% 近邻结构（vs 打乱控制 11.7–12.1%）——历史影响含可复用的问题依赖成分（论文实验已支持）→ STAIR 差分读出只注入重定向增量（权重和为零）+ KL 约束贴近 Native + 12,288 参数（LoRA 的 1/336）避免灾难性遗忘（控制实验支持：完整方法 > 随机反射 > K/V 打乱 > Bank-free）→ AIME +11.67pp、共享 T1 +26.67pp（论文实验已支持）。推测部分：AIME（增益最大）与 GPQA（无增益）的域差异暗示反射方向过拟合训练分布的 query-历史关系，Bank 前缀实验的非单调性（2K<8K>32K<全量）暗示历史中存在误导成分、当前无选择机制——选择性保留是论文自认的改进方向（论文讨论+阅读者推测）。

6.2 相关工作检索与对照

以下用 WebSearch 围绕四条关键机制做了外部检索（检索日期 2026-10-06；覆盖核心机制及中英文同义表述），结果汇总如下。需要说明的是：AgentGym、ToolSandbox、OpenMathInstruct-2、IQC、Task Arithmetic、KVLink 均为四篇论文自引或谱系内工作，检索用于核对数字与结论；Chen et al. 熵最小化理论、LaLoRA、CLC 综述、熵失败模式分析是本次检索新引入的交叉证据。在本次检索范围内未发现与 WEFT"归因-修订-再验证"完整闭环直接同构的训练系统工作（Eigendata 等自进化数据平台被 WEFT 引用为最近邻，但其不区分失败责任方）；未发现与 STAIR"跨问题 KV bank 学习寻址"同构的推理增强工作（最接近的是 KVLink 一系的效率导向复用）。

6.3 综合判断与未决问题

多研究共同支持的机制：(1) “训练环境/信号的可靠性本身是可优化变量”——AgentGym（演化策略）、R2E-Gym（验证器噪声量化）、WEFT（系统演化+错误率 -45.5%）从三个角度收敛。(2) “冻结大资产+学习小控制器"的安全收益——SCALE（门控）、STAIR（反射）、KVLink（link token）、LaLoRA（拉普拉斯正则）在参数空间与 KV 空间平行验证。(3) “递归+闸门"优于"一次性构造”——RSI 的三条件 Critic 与 Task Arithmetic 的取负操作共同表明：可逆/可回滚的修正比无界重写更稳。(4) “执行验证的状态跟踪是工具使用训练的核心瓶颈”——ToolSandbox 的评估发现（状态依赖是最难类别、强模型因并行调用触发竞态）与 WEFT 的 Memory/Telecom 跨规模强项互相印证。

仍属推测的机制：(1) WEFT 失败归因 agent 的归因准确率未量化——信号纯度提升可能部分来自 rollout 过滤而非归因本身；(2) RSI “更难=更有训练价值"的等价性依赖固定 solver 难度代理，未在独立 solver 上验证迁移；(3) SCALE 的熵-任务一致性在弱初始化/脏数据下的稳健性未测（对照 Chen et al. 的失败案例：初始化不足时熵最小化会强化错误自信）；(4) STAIR 反射方向的跨域（GPQA 无增益）与长会话（bank 增长成本）边界未解；(5) 四篇共有的一个未验证假设——“小控制器不会过拟合其训练分布”（SCALE 的门在 held-out 上工作、STAIR 的反射在 GPQA 上不工作，两个方向的结果都出现了）。

适用条件：WEFT 需要"可执行+状态可 diff"的环境（开放网页等难验证域不直接适用）；RSI 需要可验证的生成域（数学/代码/科学，开放创作域的 Q(H) 难定义）；SCALE 需要 LoRA 化的训练流程与可用的无标注响应前缀；STAIR 需要会话内多问题场景与可承受的 KV 存储开销（全量 bank +6.60 GiB 峰值内存）。

可能的失效条件：评估器与策略共同进化可能共谋（WEFT 未讨论验证器被"适应"的风险——修订循环可能选出"容易被模型满足"的检查）；RSI 的成本闸门在算子价格变化下需重校准，且 Critic 的"难度"以固定 solver 为参照，solver 换代后整个进化轨迹需重跑；SCALE 在 m<0 主导的域（SFT 严重错误方向）会放大错误，其安全性依赖"多数位置模型已大致指对方向"这一前提；STAIR 在历史强误导（前序错误答案）时可能读取到污染——其 32K 前缀的非单调结果（8K 前缀 43.33 > 32K 前缀 39.17）已是信号，且四轮会话之外的更长对话未测。

七、必要知识反推

假设找一个没有相关知识的人来做这四篇工作，最少必须知道什么？

领域知识层：(1) Agent 交互系统的四组件分解（环境/任务/harness/评估器）及各组件的失效模式——不知道这个就无法定义"归因"的类别空间（WEFT 全部机制的骨架）；(2) LoRA 的 delta 结构（ΔW=BA 低秩）与 SFT 梯度的置信依赖性（π−1）——不知道就没有"冻结 delta"与"单边性"这两个关键概念（SCALE 的理论起点）；(3) attention 的 K/V/Q 机制与 RoPE 位置编码——不知道就无法设计"RoPE 前捕获、辅助位置重编码"的 bank（STAIR 的实现基础）；(4) KV cache 的生命周期（prefill 生成/decode 追加）——决定 STAIR 只能在 prefill 干预的边界；(5) “难度"在推理数据语境的含义——solver 通过率作为可测代理，以及为什么固定 solver 才能让跨轮难度可比（RSI 全部度量成立的前提）。

方法论知识层：(1) 拒绝采样与 GRPO 组相对优势——WEFT 的前缀保留采样与原子轮 RL 是对两者的改造，需先懂原版；(2) 合成数据递归范式（Self-Instruct→WizardLM→RST/IQC 谱系）与"验证器固定"的自进化安全原则——RSI 的闸门设计来自对无界自改进（Gödel 机一系）风险的认知；(3) 熵最小化自训练理论（Chen et al. 2020）与 task arithmetic——SCALE 的 Theorem 1 与门控设计分别是两者的受限移植；(4) Householder 反射的保范数性质与差分思想（Differential Transformer）——STAIR 控制器的两个数学支柱；(5) 因果推断式的消融设计：固定接受数、共享种子队列、共享 T1 历史——四篇的对照实验设计共享"只动一个变量"的纪律；(6) 平衡设计下的方差分解（d=μ+a+b+e）——STAIR 机制分析分离"问题效应/历史效应/交互响应"的统计工具，不懂它就无法把"可复用成分"从总位移中剥离出来。

工程知识层：(1) MCP 协议与 FastAPI 后端化、COW 数据库/快照恢复/进程共享——MegaMCP 的全部系统机制（WEFT 大规模 rollout 可行性的真正支撑）；(2) 大规模并发 rollout 的成本结构（上传/内存/冷启动各占多少）——没有这个账本就不知道该优化什么；(3) LoRA 训练的秩/α/学习率惯例与 teacher forcing 会话回放——SCALE/STAIR 的 Stage II 训练管线；(4) 去污染流程（重复检测+基准隔离+合成后再查）——RSI 数据有效性的前提；(5) 统计相关性的双指标校验（Pearson 线性+Spearman 秩）——WEFT 任务过滤用双门槛而非单门槛的原因（不同步的失配模式暗示评估器只在部分区间可靠）。

知识融合的关键节点：(1) WEFT 的"执行证据双用途”（同一批轨迹既训策略又修系统）需要把 RL 数据管线知识与软件工程的可观测性/版本控制知识碰撞——这是全文最非显然的融合点；(2) RSI 的"失败→技能"转换需要把"错误是学习信号"的教育学直觉形式化为 Meta Agent 的四字段抽取——失败分析与技能库设计的融合；(3) **SCALE 的"学什么/怎么用解耦”**需要同时看到 SFT 优化视角（政策损失）与模型编辑视角（delta 算术）——两个通常不对话的社区的交叉；(4) **STAIR 的"差分读出”**需要把控制论的最小干预思想（零和注入）与注意力机制融合——改造对象是读取几何而非存储内容。四个融合节点的共性：把 A 领域"如何安全地改动系统"的成熟纪律（版本控制/闸门/有界干预/最小干预）移植到 B 领域的训练对象上。

八、论文中可以提取的通用性灵感

灵感一：把"资产"与"资产的用法"分离，优化后者。 核心思想：已定型的资产（学好的模型、建好的环境、存下的计算）不必推倒重做，冻结它、学一个小控制器管理它的用法往往更便宜更安全。论文证据：SCALE 冻结 delta 学门控（参数 Σ(d_m+1)，20-46 分钟）；STAIR 冻结骨干学反射（12,288 参数超 LoRA 效率）；KVLink 冻结文档 KV 学 link token。推广场景：数据库已建好的索引之上学查询路由器；已训练推荐模型之上学融合门控；代码仓库之上学检索策略；城市路网之上学信号灯配时；已有员工技能之上学任务分配策略。

灵感二：失败归因先于失败惩罚。 核心思想：任何依赖"结果信号"改进系统的场景，都应先判断失败责任方，再决定惩罚谁——把基础设施错误算到策略头上会系统性污染学习信号。论文证据：WEFT 区分策略错误与环境/任务/评估器缺陷后工具错误率 -45.5%、下游 +3.65-5.25pp。推广场景：学生错题先区分"知识缺"还是"题出错了"再安排练习；线上服务告警先归因到应用/基础设施/监控再触发自愈；代码评审先分清需求歧义与实现错误；机器人技能训练中区分感知噪声与控制错误。

灵感三：优化"生产程序"而非只优化"产品"。 核心思想：当产出质量的需求持续前移时，递归地改进生产流程本身比堆产品数量更有长期收益，且改进要配成本闸门与回滚。论文证据：RSI 的 harness 进化比 Task-only 难 23.5pp 还便宜 20%，三条件 Critic+回滚保证不劣化。推广场景：教研组持续修订命题策略而非只刷题库；内容工厂迭代选题-写作 SOP；自动化测试团队进化测试生成器；科研组把"文献调研流程"本身当研究对象。

灵感四：无监督的置信信号可用于事后校准，但必须限定干预族。 核心思想：熵/一致性这类免费信号不是正确性 oracle，但在"只能做有界干预"的约束下（反转/抑制/外推一个已有方向），它能选出正确方向——安全性来自干预受限而非信号可靠。论文证据：SCALE 仅用 top-k 熵超 CE 校准 21.7 分（37.84 vs 16.17），且消融证明区间约束（去反转/外推大掉分）正是价值来源。推广场景：用用户停留时长这类噪声信号校准已上线的推荐策略强度（只调档不换策略）；用编译警告密度微调 lint 规则的启用级别；医生用生命体征趋势在既定治疗方案内调剂量。

灵感五：历史遗留状态是可寻址的资产。 核心思想：系统运行中残留下来的中间状态（缓存、日志、轨迹、注意力）默认被"顺带"使用或完全闲置，显式建 bank+学习寻址能把它们变成净收益。论文证据：STAIR 把 12.4-12.9% 的无意历史注意力变成受控读取，AIME +11.67pp；共享 T1 控制 +26.67pp。推广场景：IDE 把开发者历史编辑的 AST 状态存 bank 供代码补全定向读取；对话系统存储前几轮的检索中间结果；工厂把设备历史工况特征做成可查询 bank 供异常检测读取；多任务学习中旧任务的梯度/特征缓存复用。

灵感六：同一信号的双时间尺度利用。 核心思想：即时反馈（单次失败）与聚合反馈（批次统计）作用于不同时间粒度，应该各配各的机制而不是只留一个。论文证据：RSI 线上技能入库（同批复用）+批级 harness 修订（重审累积库），两者缺一（Online only 67.0 / Post-task only 59.0 vs Full 50.0%）。推广场景：在线教育即时错题提示+周期性课程修订；生产系统实时告警响应+月度根因分析；个人知识管理随手的卡片笔记+定期的体系重构。

灵感七：“单独更差"的成分仍可能改进混合。 核心思想：评估一个数据源/组件的价值要看它在混合中的边际贡献，而非单独使用的效果——单独更弱的视图提供了混合分布中缺失的覆盖。论文证据：WEFT 的 SimUser 视图在三基准上全部低于 Agentic，但混合后平均 +3.18pp。推广场景：弱分类器集成（单独低于强模型但提升 ensemble）；饮食配比中"营养密度低但互补"的食材；团队中单兵作战弱但补位强的角色；检索系统中低精度但高召回的检索源。

灵感八：先做机制发现，再做机制利用。 核心思想：想干预一个复杂系统的内部过程，先设计控制实验确认"里面确实有可干预的结构”，再设计干预——跳过第一步的干预往往是盲目的。论文证据：STAIR 先用交叉历史回放发现交互响应保留 46.5–48.1% 跨历史近邻结构（vs 打乱 11.7–12.1%），确认"历史影响含问题依赖的可复用成分"后才设计反射读取；SCALE 先做 ΔH 符号抑制诊断（压制升熵贡献 22.59 > LoRA 15.47）确认熵信号携带方向信息，才设计熵引导门控。推广场景：先做消融确认特征重要性再设计特征工程；先做 A/B 测试归因再改产品设计；先做故障树分析再做冗余设计。

附录 A：四篇的互推关系——如果拼接成一条流水线

四篇虽然在流水线上各守一段，但相互之间有可直接组合的接口：

• WEFT → RSI：WEFT 的执行驱动自演化修订的是交互系统组件，RSI 的 harness 自进化修订的是数据生成程序——两者共享"用失败反馈修订生产设施"的范式。WEFT 造任务时的失败归因（区分策略错误与任务缺陷）可以直接充当 RSI 式"失败→构造技能"转换的前置过滤器：只有归因为"任务对 solver 太容易"的失败才值得转化为加难技能。
• RSI → SCALE：RSI 产出的更难数据终将进入 SFT，而 SCALE 恰好是 SFT 之后的校准层。一个自然的组合：RSI 造的数据难度分布前移后，SFT delta 中"值得反转"的成分比例可能变化（更难的数据教会模型更多新行为、也引入更多噪声），SCALE 的门控区间（L,U）或需按数据难度重新扫描。
• SCALE → STAIR：两者是"冻结+小控制器"在参数空间与 KV 空间的对偶。SCALE 的 Stage-II 门控思想（按 token 条件化调整干预强度）可以移植到 STAIR（当前反射方向是 head 级恒定的，按 query 条件化反射强度是显然的下一步——论文自己指出"共享反射器须能表达有用方向"是 Proposition 类比中的缺口）；反向，STAIR 的差分读出（零和注入）也可用于 SCALE 的门控正则。
• WEFT → STAIR：WEFT 的 SimUser 多轮会话训练数据天然是"会话内多问题"场景，STAIR 的历史 bank 读取可以成为 WEFT 多轮工具使用训练的推理期增强——agent 在第 t 轮调用工具时读取前几轮的 K/V 或许能减少重复查询（与 EGO2WORLD 基准中"持久信念减少 90% 重复视觉查询"的发现呼应）。

这些组合均属阅读者的外推，四篇原文均未实验验证；但接口的存在本身说明"训练侧创新"正在从单点技巧走向可拼接的组件化方法库。

附录 B：四篇论文的机构形态速览

四篇的分工耐人寻味：需要大规模 rollout 基础设施的工作（WEFT）出现了企业身影，而理论密度更高的三篇（RSI 的自进化框架、SCALE 的策略损失分析、STAIR 的机制发现）全部出自纯学术团队——训练侧创新的工程门槛正在自然筛选研究组织形态。