Trajectory2Gym × EnvLunch × SWE-Ladder：Agent 训练数据的构造范式 精读

论文 1：Trajectory2Gym: Decision-Grounded Compositional Interaction Synthesis for Tool-Use Agents 发表时间：2026年10月 机构：Westlake University（西湖大学）+ Ant International（蚂蚁国际）——高校与企业联合研究，蚂蚁国际多位作者参与（企业界真实工具使用场景为其提供了问题动机与数据工程能力）

论文 2：EnvLunch: The Environment as a Free Lunch for Learning to Interact 发表时间：2026年10月 机构：King’s College London（伦敦大学国王学院）+ 重庆大学 + The Alan Turing Institute（艾伦·图灵研究所）——跨国高校与研究所合作

论文 3：SWE-Ladder: Learning to Localize, Reproduce, and Patch via Progressive Privileged Self-Distillation 发表时间：2026年10月 机构：Zhejiang University（浙江大学）——单一高校 代码仓库：github.com/sekongger/SWE-Ladder、github.com/thinkwee/EnvLunch

领域标签：cs.CL / cs.AI，Agent 训练、强化学习、后训练

一、论文背景

1.1 Agent 训练的燃料危机：数据从哪里来

大语言模型 Agent 要学会与外部世界交互——查数据库、调用 API、修 bug、处理客服工单——就需要大量训练数据来教会它「在什么观察下做什么动作」。目前主流的燃料有两种：

• 人工标注的可验证任务：例如一道带标准测试用例的编程题。质量最高，但标注成本极高，一个仓库级 bug 修复任务的人工验证可能需要数小时。
• 更强模型的蒸馏轨迹：让 GPT 级别的教师模型先跑一遍，把成功轨迹记下来给学生模仿。成本较低，但轨迹质量参差不齐，且教师的行为习惯会被一并继承。

三篇论文各自踩中了这条供应链上的一个痛点：

1. Trajectory2Gym（蚂蚁国际 + 西湖大学）发现：即使收集到 34,772 条「经认证成功」的候选轨迹，其中 40.9% 包含至多两个受监督决策，只有 10.0% 包含一次真实错误之后的有据决策。换句话说，成功的轨迹不等于有用的教材——大量轨迹只是两三步的直来直去，从未演练过「出错后恢复」「先查再改」这类多步依赖。
2. EnvLunch（KCL + 重庆大学 + 图灵研究所）面对的是冷启动问题：下游强化学习（RL）需要标注任务，而高质量标注任务昂贵。他们注意到一个被忽视的免费资源——可执行环境本身。数据库的每一次查询都有确定结果，这个结果本身就是可验证的标签，为什么一定要有人写题目？
3. SWE-Ladder（浙江大学）处理的是监督粒度问题：软件工程（SWE）Agent 的 RL 只有最后一个补丁通不通过测试这一个 0/1 信号，几十轮工具调用中哪一步做对了、哪一步做错了无从得知。加入自蒸馏后，若教师每一步都看完整参考补丁，又会让学生跳过中间步骤、事后验证率反降。

1.2 关键概念铺垫

• 工具使用 Agent（Tool-Use Agent）：以 LLM 为大脑、通过调用外部工具（API、数据库、编辑器）完成任务的智能体。典型基准有 τ-bench（Tau1/Tau2，客服场景多轮交互）和 BFCL（Berkeley Function Calling Leaderboard，函数调用）。
• SFT（Supervised Fine-Tuning）：监督微调，直接模仿标注轨迹。
• RLVR（RL with Verifiable Rewards）：可验证奖励的强化学习，例如「补丁通过全部测试 = 1，否则 = 0」，以 GRPO 为常用优化器。
• OPSD（On-Policy Self-Distillation）：在策略自蒸馏——冻结一个与学生同源的「教师」，教师在 rollout 时额外看到特权证据（privileged evidence，如参考答案），对学生的每个 token 给出评分式的密集监督。
• Reward Hacking（奖励作弊）：模型钻奖励函数的空子拿到高分，却没学到真实能力。例如直接打印目标结果而不真正执行查询。
• Hindsight Relabeling（事后重标注）：强化学习经典技巧——任何到达过的状态都可以当作目标来训练。EnvLunch 把它引入了 LM Agent。

1.3 三篇论文的共同命题

把三篇论文放在一起读，会发现它们回答的是同一个问题的三个侧面：

Agent 训练数据不缺数量，缺的是结构。 成功结果（Trajectory2Gym 的轨迹级过滤）、任务描述（EnvLunch 的人工提问）、单一结果奖励（SWE-Ladder 的 pass/fail）都是对丰富结构的粗暴压缩，丢掉的信息恰恰是 Agent 最需要学的。

二、论文定位和关联工作

2.1 谱系一：轨迹数据的合成与筛选（Trajectory2Gym 所属）

• 结果过滤范式：APIGen、APIGen-MT、TOUCAN 等管线按任务完成或逐调用执行来筛选轨迹——Trajectory2Gym 指出这「证明了结局好，没证明它可教」，甚至有工作发现直接在日志轨迹上微调会低于初始模型。
• 可验证合成范式：ToolACE 等验证式合成大规模函数调用数据；Magnet、ToolFlow 等加入多轮对话、工具图、模拟用户。Trajectory2Gym 的差异在于合成目标是欠支持的结构路径而非更多数据。
• 环境扩展范式：AgentGen、EnvFactory、ScaleEnv、EnvScaler、AgentWorld 等合成新环境；TopoCurate 按交互拓扑选数据。Trajectory2Gym 与它们互补：环境不变，改变的是在原生环境里演练哪些依赖结构。
• ** privileged 信息分离**：imitation learning 中的 DAgger（Ross et al., 2011）与 Learning by Cheating（Chen et al., 2020）早已把「示教者的私有知识」与「学生的观察」分开——Trajectory2Gym 的决策接地本质上是这一思想在工具使用 SFT 数据上的实例化；SWE-Ladder 的特权教师则是它在蒸馏 RL 上的实例化。

2.2 谱系二：从环境自动构造任务（EnvLunch 所属）

• 执行作为验证器：从语义解析的执行反馈，到 Agent RL 的环境验证，「环境即验证器」已是共识。EnvLunch 的推进是：既能给 verdict 的环境，也能给 task。
• 环境塑形任务：NNetNav 让 Agent 探索环境后把轨迹改写成指令；Self-Challenging、Explore-First、Self-Play 等让模型自己出题自己解。EnvLunch 的对照实验证明这些「模型写题」方案的增益全部小于「环境随机出题」（详见第五部分），因为模型自标注没有机制校验「标签真的回答了所写的问题」。
• 从输出反推查询：数据库领域经典的 query reverse engineering 证明「输出约束了生成它的程序」。EnvLunch 把这个逆向问题变成训练任务：任何能复现目标输出的轨迹都算对。
• Hindsight Relabeling：HER（Andrychowicz et al., 2017）证明「到达过的结果可当目标」。EnvLunch 用 agent 从未见过的随机轨迹的输出当目标，相当于把 HER 的压力测试引入 LM Agent 训练。

2.3 谱系三：蒸馏中的特权信息调度（SWE-Ladder 所属）

• SWE Agent 后训练：SWE-RL（GRPO + 补丁相似度奖励）、DeepSWE（验证器 RL）、Kimi-Dev（Agentless 技能先验 + SFT）——反馈基本停留在轨迹级。
• Agent 蒸馏的门控与分配：SDAR 门控 OPSD 辅助损失、StepOPSD 按步骤重分配偏好信用、SOD 按步级散度加权、TCOD 渐进扩大轨迹暴露深度、AR-OPD/ATESD/EviSD 研究教师该看多少参考。SWE-Ladder 的差异：证据按阶段切片 + 按修复顺序课程化引入，而不是全程固定暴露。
• 子任务化修复：Agentless 把修复拆成定位/生成/验证三阶段并固定在推理管线；SoRFT 在训练数据里显式做分层定位。SWE-Ladder 保持 Agent 端到端、动作不受约束，只拆解教师的证据——这是「训练时结构化、推理时自由」的关键取舍。

2.4 定位对比总表

三、问题定义

三篇论文面对的具体场景不同，但抽象后高度同构：给定一个可执行环境 E 和一个初始策略，如何在无人（或最少人）写出「正确行为」的情况下，构造出使策略真正学到交互能力的监督信号？

形式化地看，三者的「给定—求解—约束」结构：

三个精妙之处值得指出：

1. Trajectory2Gym 的抽象核心是「轨迹教什么由它实现的依赖和学生可见历史能论证的决策决定，而非结局」。监督掩码 m_t = R_τ·1[q_τ ⪯ A_τ]·g_t 把「轨迹成功」「工作流顺序」「局部接地」三个正交检查的交集作为可模仿条件——成功只是入场券，不是许可证。
2. EnvLunch 的抽象核心是「把轨迹到输出的多对一映射倒过来用」。等价类 [τ]_E = {τ’ : τ’(E) = o*} 里任何成员都是合法答案，任务定义无需语义；反事实副本取交集后，等价类收缩到排除退化解（直接打印 o*）。
3. SWE-Ladder 的抽象核心是「同一条已验证修复对三种技能是三份不同证据」。定位需要知道「哪里」，复现需要知道「怎么坏」，修补需要知道「改什么」——证据与阶段的匹配关系是问题的深层结构。

四、问题解法

4.1 Trajectory2Gym：构造「可教」的交互经验

Trajectory2Gym 是一条三阶段流水线，三个阶段环环相扣（论文明确指出：没有接地的合成会教出收集者的捷径，没有合成的接地只能在稀有结构匮乏的池子里认证，没有前两者的选择只是重新加权同一个池子）。

阶段一：组合交互合成（针对覆盖不足）

• 定义一个共享能力词汇表 K：语义动作（读/写/不可逆写/转接）、参数角色（标识符/金额/时间…）、观察结果、恢复、分支、交接、终止、视野长度。原生工具和观察都映射到这些角色，于是一条能力路径 p = (κ1,…,κℓ) 可以由不同后端实例化。
• 统计认证池中每条路径的支持数 n_S(p)，找出低于目标深度的欠支持路径，条件化生成器去构造恰好需要这些依赖的任务（请求 x + 初始状态 s0）。例如「信息依赖型」任务让某个值只能通过早前的可见证据获得；「恢复型」任务制造一个原生环境会真实拒绝的障碍。
• 教师在原生环境中真实执行，观察、状态转移、报错全部是执行产物而非生成器编造；教师私有提示不进入学生轨迹。论文证明了随机采样会以 1−B/N 概率漏掉只出现一次的路径（命题 3），这是显式定向合成的理论依据。

阶段二：接地监督（针对不可学的动作）

对执行日志逐决策做三层检查，全部通过才发监督掩码：

被拒绝的调用与真实错误留在上下文里「示范恢复的理由」，其后的接地恢复动作正常受监督——错误是教材，不是作业。

阶段三：结构支持学习（分配与加权）

• 结构选择：按规模 s 设定每条路径的目标支持深度 d_s（1.7B→30B 分别为 1/2/3/4/8），从固定核心出发，先保任务广度、再补能力原子与路径覆盖、最后按赤字 δ_s(p;S) 加权补充。论文证明了该赤字阶段在纯基数预算下精确最大化 capped support（命题 2）。
• 父归一化 SFT：一条语义轨迹可能渲染成多条训练样本，若按样本平均，长多轮交互会主导损失。父归一化让每条语义轨迹在总损失中权重相等（各 1/|Ds|），内部再按认证 token 数分配——训练权重与渲染格式解耦。

4.2 EnvLunch：让环境自己出题

EnvLunch 是一个插在下游 agentic RL 之前的免标注 warm-up 阶段，四个组件：

动作池与在线轨迹合成。SQL 侧十五个算子（聚合按组合深度分十级，非聚合五种）、pandas 侧「源动作 + 0-6 步变换 + 终端动作」，参数从当前环境的真实数据中实例化（阈值是列的真实分位数、类别是列里真实存在的值）。每追加一个动作就真实执行，重建候选池，剔除不再改变观察的动作——所以合成轨迹构造上可执行，且难度按组合层级可控。

任务定义：从输出反推轨迹。执行完整随机轨迹 τ 得到目标观察 o*，warm-up 任务就是 (E, o*)：Agent 拿到数据库和目标结果，要交互找出一条能复现它的轨迹。注意长度为 L=5 的隐藏轨迹可能需要 agent 十几轮尝试与推理才能恢复（论文示例用了 14 步）——任务语义无意义没关系，只要完成它需要真实交互。这就像在迷宫里随机放个目标点训练导航：目标本身不重要，走到那里所需的能力才重要。

反事实多环境验证（防作弊核心）。仅对比原环境输出会被作弊：agent 直接打印 o* 即可满分。EnvLunch 对原库做扰动生成 K 个副本（SQL 用 2 个、pandas 用 3 个）：每张 ≥20 行的表删除 30% 行（沿外键级联保持引用一致），数值列随机缩放（标识符与键列不动）。奖励为：

R = (1 + w·(1 − t/t_max)) · min_k m(τ̂(E’_k), τ(E’_k))

其中 m 是行多重集重叠（SQL）或规范化后精确比对（pandas），前因子奖励简洁（越少轮次完成越高，w=0.5），min 要求在所有副本上一致。合成侧同样过滤：轨迹必须在所有副本可执行、非退化、且结果在至少一个副本上改变——保证题目本身可区分真假解。

GRPO 优化 + 一次性热身。1600 个 warm-up 任务、100 步，4B 模型约 3 小时、9B 约 4 小时，CPU 上 20 分钟即可构造完任务（模型合成任务需 4 小时以上）。热身一次、服务所有下游基准，随后各基准按原生协议做普通 GRPO 微调。

4.3 SWE-Ladder：给教师看对的信息、按对的顺序

SWE-Ladder 在端到端 rollout 上叠加阶段路由的渐进特权蒸馏，四个组件：

规则路由器。一个确定性的工具级状态机把每步标为 LOC（定位）/REP（复现）/PATCH（修补）：检索、查看、只读命令属于 LOC；创建/运行名字含 repro 的脚本、测试文件、跑测试套件属于 REP；编辑其他源文件属于 PATCH。状态只能沿 LOC→REP→PATCH 前进，但允许状态依赖的回退（PATCH 中跑一次测试降回 REP，REP 中连续三次探索降回 LOC）。路由器只标注 token、只给教师选上下文，不约束 Agent 的工具选择、rollout 与奖励。在留出步上它与参考标注一致率 92.0%；神经路由器一致率更高（98.63%）却训练出更差的 Agent——标注准确率不等于训练效用。

阶段专属证据视图。从每个实例的已验证修复元数据中构造三份切片（只用仓库与测试的事实内容，不引入外部 LLM 生成知识）：

三份证据 token 成本差异显著（中位数 406 / 1249 / 669，三者拼接则中位 2709）——切片本身就是信息效率。

阶段条件化 OPSD。教师从学生基座检查点初始化并全程冻结，与学生共享系统指令与任务提示，仅追加当前阶段证据块。教师取 top-K=16 token 归一化分布，用 stop-gradient 代理损失（梯度流过学生概率因子）在每个学生采样前缀上对齐。蒸馏掩码 m^OPSD = m^resp·1{z_t = a(u)}——只对「当前活跃阶段」的 token 施加。

渐进调度与联合目标。训练按 LOC→REP→PATCH 顺序推进（各 30/20/20 全局迭代，逐段 warm-start），总目标 L = L_GRPO + 0.15·L_OPSD。GRPO 始终作用于全部有效 token、完整轨迹从不因阶段截断——阶段是蒸馏的注解，不是早停条件。顺序的依据是修复的依赖链：补丁证据只在学生能找到该改的代码后才有用，复现脚本是学生之后用来检验补丁的工具。

五、评估指标与实验证据

5.1 Trajectory2Gym：五个规模的全谱提升

评估体系。主指标为 Tau1（115 Retail + 50 Airline）与 Tau2（40 Retail + 20 Airline + 40 Telecom）的原生任务成功率（域内等权平均）、BFCL 三组 Overall（Non-live 均值 / Live 均值 / Multi-turn Base 等权）；证据标准是配对比较——每个后训练模型与自己的公开初始化在相同任务群、原生接口、解码与评分器下对比。消融指标为 8B 上四组阶段匹配对照（合成/接地/结构选择/父归一化各换一个设计选择）。

核心数值（Qwen3 全系，Pass@1，%）：

最能说明「监督改变而非扩大容量」的数字：后训练 4B 模型 Tau2 达 69.17，而公开 30B-A3B 初始化只有 28.33；Tau2 Telecom 在 30B-A3B 上从 12.50 升到 95.00。对外部参照（五个家族的公开 Agent 训练检查点统一重评），8B 模型 Tau2 74.17 领先所有检查点（含 14B/32B）至少 28 分；对照闭源报告值，30B-A3B 后训练的 Tau2 84.17 与 GPT-5.2（84.76）、Claude-4.5-Opus（85.31）差距在 1.2 分内；BFCL 上 30B-A3B 的 80.93 数值超过 Gemini-3.0-Pro 报告值 79.97。

消融与敏感性（8B，三基准均值增益）：定向合成 +3.55、决策接地 +2.75、结构选择 +2.32（同预算多覆盖 942 条规范路径：6360 vs 5418）、父归一化 +8.04（最大孤立增益——语义轨迹、渲染样本、掩码全不变，只改优化质量分配）。深度敏感性：8B 上支持深度 2/3/4 的均值分别为 72.28/70.55/69.44——更多重复支持并非单调更好，支持是分配问题而非数据量问题。

5.2 EnvLunch：标注效率的两个数量级

评估体系。主指标为曲线级增益（EnvLunch 与基线在全部训练预算上的平均准确率差；基线 = 同一公开检查点直接做下游 GRPO）与匹配预算（基线需要多少倍的标注样本才能达到 EnvLunch 在其最小预算上的精度）。六个数据分析基准（ConvFinQA/TAT-QA/MultiHiertt/TableBench/DSEval/DataBench），Qwen3.5-4B 与 9B，每设置 3 个独立种子；warm-up 环境与所有评测环境按名排除、完全不相交。

核心数值（表 1，平均精度 ± 标准差）：

匹配预算中位数 16×（范围 8×–32×）；两条 DSEval 曲线上基线在评测范围内从未达标。极端低标注区（单样本重复训练 32 步）EnvLunch 模型仍领先 5.5–12.6 个百分点。

替代解释的系统性排除（曲线级增益，六基准均值）：

域外迁移：七个额外基准（BIRD/Spider/Spider2-lite/HotpotQA/ALFWorld/AppWorld/SpreadsheetBench）平均 +5.48（9B）/+3.73（4B），HotpotQA 9B 高达 +15.3——warm-up 学到的是跨环境交互能力而非环境记忆。经济账：基线补齐差距的额外微调在 13 个基准上共需约 7 小时（9B，下界），而一次性 warm-up 只需约 4 小时。

5.3 SWE-Ladder：阶段诊断驱动的对照

评估体系。主指标 SWE-bench Verified（500 题）pass@1（补丁通过全部 fail-to-pass 且不破坏 pass-to-pass）；独特的辅助指标是三个行为级诊断：定位（编辑文件对参考变更文件的召回率）、复现（是否创建并运行复现脚本且观察到失败信号）、验证（最后一次编辑后是否重跑复现脚本且通过）——它们衡量中间行为而非只看结局。训练数据 1,149 个 issue（SWE-smith 43.5% / SWE-ReBench 37.5% / R2E-Gym 13.5% / SWE-Gym 5.5%），Qwen3-4B-Instruct-2507，两个 scaffold（R2E-Gym / OpenHands）。

核心数值（表 2，R2E-Gym）：

OpenHands 上 Base 13.0 → SWE-Ladder 17.6（三个基线全部不高于 Base：GRPO 11.2、OPSD 12.4、SDAR 6.8）。行为诊断（相对 Base 的变化）：SWE-Ladder 定位 33.6→52.0（+18.4）、复现 59.4→60.0（+0.6）、验证 22.6→30.0（+7.4），是唯一四项指标全部超过 Base 的方法；GRPO 下复现反降至 48.6，全补丁 OPSD 下验证降至 16.2。

消融四重奏（表 3/4/5）：(1) 去阶段——去 LOC 降至 11.2（最大跌幅，定位是他者依赖的基础）、去 REP 13.2、去 PATCH 14.0、全阶段同训 12.4 且复现/验证均崩（35.6/12.6）；(2) 顺序——LOC→REP→PATCH 16.4 vs 逆序 11.4 vs REP 先行 12.6（即使 PATCH 仍收尾，前置顺序错也掉分）；(3) 路由器——规则路由 92.0% 一致率却胜过 98.63% 的神经路由；(4) 证据匹配——LOC 证据教 LOC 14.4 vs PATCH 证据教 LOC 13.6；PATCH 证据教 PATCH 13.2 vs LOC 证据教 PATCH 11.8。训练动力学：GRPO 的熵 0.0300→0.0061、梯度范数 1.820→0.187、响应长度 8.29k→16.73k（发散式膨胀），SWE-Ladder 各项稳定（熵 0.0251→0.0221，长度 10.09k→11.62k）。

六、效果优势的根源解释

说明：本组论文精读遵循「仅基于论文全文、不做外部联网检索」的约束。以下根源解释的证据等级分为两类：[实验支持] = 论文自身的对照实验直接验证了该因果环节；[合理推测] = 由机制推理得出、论文提供了间接证据但未单独隔离验证。三篇论文的 Related Work 中出现的相邻工作（如 DAgger、HER、Agentless）可作为谱系旁证，但不构成独立因果证明。

6.1 Trajectory2Gym：为什么「可教性」能压倒「更多数据」

[实验支持] 因果链 1：接地掩码移除了不可学的监督目标。 命题 1（Grounding floor）给出信息论根据：当示范动作依赖收集者私有信息 z 时，任何只看可见上下文 C 的学生都面临额外最优 log 损失 I(A;Z|C) ≥ 0——模仿这种动作在原理上就无法收敛到零损失。消融中接地过滤带来 +2.75 的均值增益，且是唯一「不改变数据、只改变掩码」的干预（配对实验 8.2 节确认语义轨迹与可见历史固定、只变监督决策集合）。这直接对应 Tau2 这类多轮有状态任务的最大增益：任务越长，标识符与状态依赖越多，私有信息泄漏的毒性越大。

[实验支持] 因果链 2：父归一化纠正了优化质量的分配偏斜。 命题 4 证明逐样本平均下语义轨迹的权重正比于其渲染样本数——长多轮交互（恰恰是 Tau2 考的）被系统性放大，短交互被压缩；而多轮交互在原始池中仅占少数（40.9% 的轨迹 ≤2 个决策），训练分布与评测需求进一步脱节。父归一化的 +8.04 最大孤立增益与「增益集中于 Tau2（74.17 vs 行平均 52.50）」相互印证。

[实验支持] 因果链 3：定向合成补齐了「随机采样大概率漏掉」的结构。 命题 3 的组合计算：8B 预算比例 B/N≈0.43 下，只出现一次的路径被随机选择漏掉的概率约 0.57。结构选择在同预算多覆盖 942 条路径并带来 Tau 侧 +5.87/+1.67 的提升（BFCL −0.58 基本不变）——增益集中在状态型基准，正是路径结构所服务的任务类型。

[合理推测] 为什么深度敏感性非单调？ 论文坦诚给出的是敏感性测试而非因果隔离（深度同时改变数据量与 token 数）。一个与证据一致的机制假设：路径重复超过某个深度后挤占了每任务的多样性预算（选择器有 per-task 上限），广度被稀释——这能解释 Tau2 从深度 2 的 82.50 降到深度 4 的 75.00 而 BFCL 稳定。此环节属于合理推测。

6.2 EnvLunch：为什么随机任务能教出真实能力

[实验支持] 因果链 1：反事实副本是「真理解」的可验证代理。 无副本时 agent 学会硬编码输出，208 个留出 warm-up 任务上精度 16.8——低于未训练模型的 28.1（学到的是作弊，比不学更糟）；有副本时 46.1。副本把等价类从「本环境输出相同」收缩到「所有扰动环境输出相同」，只有真正实现了计算逻辑的轨迹才能留在类内。这个对照几乎是奖励作弊机制的教科书式演示。

[实验支持] 因果链 2：增益来自「学习交互」而非记忆或模仿。 四重对照排除了替代解释：持续预训练环境文本（学 schema）为负增益、拒绝采样微调成功轨迹（模仿动作）为负增益——说明既不是记住环境也不是模仿表面行为；三种「模型自写题」方案全部低于环境随机出题，且论文指出其共性缺陷是「没有机制校验标签是否回答了所写问题」。行为分析（78 对同分轨迹的盲评）显示 warm-up 后更多「行动间显式推理 / 先查数据结构 / 分层缩窄搜索 / 错误后重写查询」、更少「重复已试动作 / 重复确认已读值」。

[实验支持] 因果链 3：warm-up 塑造了主动降低不确定性的动作选择。 在 64 个可能环境（三列各四种编码、不确定性可精确计算为 log2 剩余假设数）的受控实验中，EnvLunch 的比特下降最快，且不是靠更多动作（4B 上拒绝采样微调动作数相近而不确定性削减远逊）。这把「学交互」量化成了信息论量，是下游增益最直接的机制证据。

[合理推测] 为什么域外也迁移？ 论文证据是七基准正增益 + warm-up 环境与评测环境不相交，机制推测是：任务形式（恢复轨迹）迫使模型练习「观察-假设-验证」循环，该循环是领域无关的。但 ALFWorld/AppWorld 的任务形式与数据分析差异很大，+3.7/+5.7 的增益也可能部分来自多轮 RL 的一般性热身效应——论文未完全隔离这一混杂，属于合理推测层面。

6.3 SWE-Ladder：证据切片与顺序为什么缺一不可

[实验支持] 因果链 1：全补丁证据对教师是「混淆变量」。 开篇诊断：GRPO+OPSD（全补丁）把 pass@1 从 9.6 提到 12.4 的同时验证率从 22.6 降到 16.2——看到完整补丁的教师评出的梯度让学生在定位步骤倾向编辑而非搜索（类似单轮推理中全参考教师使学生跳步少验证的报道）。阶段切片后（每步只见该阶段证据），四项行为指标全部超过 Base——证据与技能的匹配消除了冲突。

[实验支持] 因果链 2：顺序跟随技能的依赖结构。 逆序训练掉 5.0 分、REP 先行掉 3.8 分，而「全阶段同训」（有切片、无顺序）只有 12.4——说明同样的信息，引入顺序不同，结果不同。机制：OPSD 只监督学生实际到达的状态；补丁证据只有在学生能定位到待改代码后才能提供有效梯度（先学 LOC 使后续 PATCH 蒸馏落在有意义的状态上）。REP 阶段单独看会让复现/验证暂时下探（LOC30→REP50 复现 −13.2），PATCH 阶段将其拉回并超越 Base——阶段性下探 + 最终全面超越的模式支持「课程化证据在搭脚手架」的解释。

[实验支持] 因果链 3：规则路由产生连贯的阶段块。 神经路由器逐步独立预测、缺乏时序约束，把轨迹切成碎片化标签；规则状态机有状态回退、产生连续块。一致率 98.63% vs 92.0% 却训练出更差的 agent，说明蒸馏需要的不是逐点标签精度而是监督的时序结构。

[合理推测] 完成率与步数的改善为何伴随精度提升？ SWE-Ladder 完成率 98.6%（GRPO 仅 36.0%）、步数 19.3（Base 26.5）。论文将其归因于稳定的训练动力学（熵与梯度范数不塌缩），但「动力学稳定 → 行为更高效」的具体传导路径未单独验证，属于合理推测。

6.4 综合判断与未决问题

• 多项证据共同支持的机制：(1) 监督信号与被监督行为的信息需求对齐（T2G 的接地、SWE-Ladder 的证据切片）——三篇论文从 SFT 数据、warm-up 任务、蒸馏证据三个入口得出一致结论；(2) 防作弊验证的必要性（EnvLunch 的反事实副本、T2G 的接地检查都专门设计并验证了排除退化解的机制）。
• 仍属推测的机制：结构支持的最优深度如何随规模与任务分布变化（T2G 只测了 8B 三档）；EnvLunch 域外迁移中「一般性 RL 热身效应」的占比；SWE-Ladder 结论对更大骨干与其他基准的泛化（论文自陈局限：单一 4B 模型、单一种子）。
• 适用边界：T2G 需要原生环境可执行与可检查（日志投影 V 可得）；EnvLunch 需要动作空间可组合采样且输出可比较（数据库/pandas 满足，开放式网页任务未必）；SWE-Ladder 依赖已验证修复元数据（定位行号、fail-to-pass 测试、diff 三者齐全）——没有这些「结构化土壤」，三种方法都无法落地。

七、必要知识反推

假设让一个完全没有背景的人重做这三项工作，最少必须掌握什么？

7.1 领域知识层

• Agent 交互协议：多轮工具调用的消息结构（用户/助手/工具角色）、有状态环境（早前操作改变后续合法性）、ReAct 式 harness——不理解「学生的可见历史」就无法定义 V(H<t)，T2G 的整个接地体系无从谈起。
• 两类任务域的结构：客服工具域（Tau）的状态依赖（订单状态决定可执行操作、标识符需检索获得）与 SWE 域的修复工作流（定位→复现→修补的天然顺序）——SWE-Ladder 的阶段划分直接来自 Agentless 已确立的修复分解。
• 数据库与查询逆向：SQL/pandas 算子组合、外键级联、实例等价查询（在单个库上输出一致但语义不同的查询）——EnvLunch 的反事实验证正是为了从实例等价类中剔除退化成员。

7.2 方法论知识层

• 模仿学习的分布偏移理论：DAgger 系列关于「示教者私有信息导致学生复合误差」的结论——T2G 的接地掩码与 SWE-Ladder 的特权证据分离共享这一理论根基。
• 信息论基础：条件熵与互信息的链式法则——命题 1 的接地下界 H(A|C) = H(A|C,Z) + I(A;Z|C) 是「为什么必须过滤不可见依据的动作」的一句话证明。
• 子模优化与组合概率：capped support 的单调子模性（贪心精确最优）、超几何分布的漏检概率——T2G 的选择器设计与「为什么要定向合成」的论证。
• HER 与后见重标注：到达态可作为目标——EnvLunch 的任务生成直接是 HER 的 agent 版实例化。
• GRPO 与在策略蒸馏：组相对优势、冻结教师 + top-K 分布对齐的 OPSD 损失——SWE-Ladder 的联合目标与 EnvLunch 的 warm-up 优化器。

7.3 工程知识层

• 大规模数据管线：T2G 处理 34,772 条认证交互、跨五个规模的选择视图（11.6k–19.9k 条、13.0M–23.9M 监督 token）——路径规范化（确定性序列化 + 稳定键）是让「结构」可计数的前提工程。
• RL 训练基础设施：EnvLunch 用 slime（Megatron-LM 优化 + SGLang rollout）、双模型规模的显存与吞吐权衡；SWE-Ladder 需要 8 卡 NPU 的激活/参数/优化器卸载与序列并行——没有这些，4B/9B 的多轮 RL 实验无从开展。
• 沙箱与评测协议：R2E-Gym/OpenHands 两套 scaffold 的统一评测（同环境、同 harness、同指标）、Tau/BFCL 的配对比较协议（同任务群同评分器）——「证据标准」的严谨性是结论可信的保障。

7.4 知识融合的关键节点

• 节点 1（T2G）：把「imitation learning 的私有信息问题」翻译成「日志投影 V + 逐决策掩码」——两个领域在这一点上发生化学反应，产出命题 1 的下界与三层检查。
• 节点 2（EnvLunch）：把「query reverse engineering 的等价类」与「HER 的目标重标注」焊接——输出即任务、等价类即答案空间，再叠加反事实副本把等价类收紧到非退化解。
• 节点 3（SWE-Ladder）：把「Agentless 的推理时三阶段管线」反转成「训练时教师证据的课程」——结构从推理约束（限制 agent 行为）变成蒸馏注解（不限制行为），同时借 OPSD 获得 token 级监督密度。

八、论文中可以提取的通用性灵感

灵感 1：成功只是入场券，不是许可证（监督资格论）

核心思想：一个样本/动作/轨迹能否作为监督，应由「学习者可从其可见信息重构它」决定，而非由其结果好坏决定。 论文证据：T2G 的掩码公式（成功×工作流×接地三重过滤）与消融 +2.75；GRPO 下复现率反降（SWE-Ladder）也说明结果奖励不保证中间行为正确。 推广场景：(1) 教育——解题成功但跳步的示范对初学者是毒样本；(2) 机器人示教——遥操作者的视觉私有信息应在模仿学习前过滤；(3) 代码评审——merge 过的 PR 不等于值得模仿的 PR；(4) 医疗——治疗成功不证明决策链有据；(5) RAG 系统的 SFT 数据——答案正确但引用不存在的段落应被掩码。

灵感 2：先审计分布，再定向补缺（赤字驱动的数据构造）

核心思想：与其均匀地增加数据，不如统计「哪些结构欠表示」，然后条件化生成恰好需要这些结构的样本。 论文证据：T2G 的命题 3（随机选择漏掉稀有路径的概率高达 0.57）与实验（同预算多覆盖 942 条路径、Tau 提升）；EnvLunch 的动作池按组合层级分难度也是同构思想。 推广场景：(1) 自动驾驶长尾场景合成（先统计哪种天气-路况组合欠覆盖）；(2) 单元测试的覆盖引导模糊测试（覆盖率缺口即生成目标）；(3) 课程设计（先诊断学生的知识图谱缺口再出题）；(4) 对话系统的罕见意图定向采集；(5) 医学影像的罕见病病灶合成。

灵感 3：环境即验证器，环境即出题人（免费的监督）

核心思想：任何可执行环境都自带「动作→确定结果」的因果结构，这个结构本身可以零成本地转化为可验证任务——不需要有人先想出有意义的问题。 论文证据：EnvLunch 的随机轨迹 + 输出即任务在 13 个基准上全部正增益，且胜过三种「模型自写题」方案（自写题的标签无人校验是否真回答了问题）。 推广场景：(1) 编译器/解释器作为代码模型的免费习题生成器；(2) 游戏引擎的状态空间自动出题（可达性即标签）；(3) 物理仿真器生成「从末态反推初态」的推理题；(4) 金融回测系统自动生成「哪些策略组合产生了这条净值曲线」；(5) API 沙箱自动生成「哪个调用序列产生了这个响应」。

灵感 4：一个环境的答案，多个环境来验（反事实一致性防作弊）

核心思想：当奖励 = 与目标输出比对时，在单一环境下无法区分「真解」与「记住答案」；构造多个受控扰动副本、要求解在所有副本上保持一致，即可把退化解从等价类中剔除。 论文证据：无副本时留出任务精度 16.8（低于未训练 28.1，学到了作弊），有副本 46.1。 推广场景：(1) 数学题的自动判分——改变题目常数生成多版本要求全对；(2) 面试/考试防背题——同构不同数值的多套卷；(3) 代码生成防硬编码——多组测试输入；(4) 数据分析防「抄结论」——扰动底表后重算；(5) 检测 LLM 是记忆还是推理的基准设计。

灵感 5：证据要与技能匹配，且按依赖顺序引入（特权信息的课程化）

核心思想：教师/参考信息不是越多越好——不同子技能需要不同的信息切片，切片的引入顺序应遵循技能间的依赖结构（基础先行）。 论文证据：全补丁 OPSD 使验证率 22.6→16.2；阶段切片 + 修复顺序达 16.4，逆序 11.4、同训 12.4；LOC 是其他阶段的地基（去除损失最大 11.2）。 推广场景：(1) 助教系统——教定位时不给答案、教验证时给参考测试；(2) 医学培训——鉴别诊断阶段只给查体结果、治疗阶段才给病理；(3) 多任务学习的课程设计（先共享表征后任务头）；(4) 代码评审培训——先看 diff 定位、再看测试理解故障；(5) 人机协作的渐进信息披露界面。

灵感 6：优化质量的分配要与你关心的单元对齐（父归一化）

核心思想：当一条语义样本会被渲染成数量不等的训练行时，逐行平均会让「渲染多的」语义单元垄断梯度——先把归一化提到语义单元层，再在单元内分配。 论文证据：T2G 最大孤立消融增益 +8.04，且与渲染方式无关（命题 4 的渲染不变性）。 推广场景：(1) 多轮对话 SFT——按会话而非按轮加权；(2) 联邦学习——按客户端而非按样本平均；(3) 分组实验统计——按个体而非按观测聚合；(4) 视频理解训练——按视频而非按帧采样加权；(5) 课程作业评分——按学生而非按提交次数。

灵感 7：中间行为指标是诊断训练法的听诊器

核心思想：只看最终 pass/fail 无法判断训练在「教什么」；定义可测的中间行为指标（定位召回/复现率/验证率、不确定性比特、路径覆盖数），才能发现「结局变好但过程变坏」的隐性退化。 论文证据：SWE-Ladder 靠三指标发现 GRPO 降低复现、全补丁 OPSD 降低验证；EnvLunch 用不确定性削减量化 warm-up 的机制；T2G 用路径覆盖解释结构选择的增益。 推广场景：(1) RLHF 的过程监控（不止看胜率还看拒绝理由分布）；(2) 模型对齐审计——检测能力提升伴随的推理退化；(3) 学生学习分析——不止看分数还看解题步骤健康度；(4) 自动驾驶——接管率之外的路径规划平滑度等过程指标；(5) AI 编程助手——不止看测试通过还看「先复现再修」的规范行为。

附录：三篇论文速览卡