训练环境与训练信号的三重突破——ToolSpace、Targeted Guidance、Navalia 三篇精读

论文链接：

• ToolSpace: Scaling Tool-Centric Environment Synthesis for Long-Horizon Agents（arXiv:2611.05036）
• Stabilizing On-Policy Targeted Guidance in Agentic Reinforcement Learning（arXiv:2611.05266）
• Navalia: Advancing Cowork Agents through Verifiable Task Synthesis and Long-Horizon Post-Training（arXiv:2610.26887）

代码与资源：

• ToolSpace：项目页 https://toolspace-agent.github.io/ ；代码 https://github.com/dongguanting/ToolSpace ；模型 https://huggingface.co/collections/dongguanting/toolspace
• Targeted Guidance：原文未给出开源链接
• Navalia：论文 Resources 栏标注 GitHub（txt 中未含明文 URL），承诺发布模型权重与任务构建、后训练、评测的关键组件

机构：

• ToolSpace：中国人民大学（一作与通讯 Dong Guanting、Dou Zhicheng）+ 复旦大学 + 上海交通大学——纯高校合作
• Targeted Guidance：Cursor Research + UC Berkeley——Kevin Frans（Cursor/Berkeley 双身份）、Alexander M. Rush（Cursor）、Sergey Levine 与 Pieter Abbeel（Berkeley）、Ashvin Nair（Cursor）——企业与高校深度联培形态
• Navalia：AllSpark Team（论文署名团队，附录列 Hengqi Liu、Ziyuan Liu 共同一作，Yang Qin 项目负责）

领域标签：cs.CL / cs.LG / cs.AI——agent 训练数据合成、agentic RL、长程工具使用

〇、为什么把这三篇放在一起读

如果把 2026 年的 agent 训练研究压缩成一句话，那就是：瓶颈正在从模型与算法转向训练环境与训练信号。

预训练给了模型足够的先验，GRPO 一类策略梯度给了稳定的优化器，剩下的两个硬问题是——用什么任务训练（环境合成），以及奖励信号够不够教会新行为（信号设计）。本组三篇论文恰好一人一角：

三篇共享一条方法论主线：可验证性优先。

• ToolSpace 的每个训练样本必须从初始快照重放、通过全部断言才保留；
• Navalia 的参考答案由确定性数值例程算出，再经独立 review 模型与程序化检查双重核对；
• Targeted Guidance 的每条判据都是可二值判定的 rubric 项。

另一条暗线是合成顺序的反转：

• ToolSpace 把数据为中心范式的先库后工具，反转为先轨迹后环境（Trace-to-ENV）；
• Navalia 把先题后答，反转为先链后题（从计算链生成问题）；
• Targeted Guidance 把奖励到策略的单标量通道，反转为文字反馈到专家的双通道。

三篇拼起来，正好覆盖造任务与教行为两个半场。

一、题目与核心主张

1.1 ToolSpace：以工具为中心的环境合成

ToolSpace: Scaling Tool-Centric Environment Synthesis for Long-Horizon Agents——面向长程 agent 的以工具为中心的环境规模化合成。

核心主张：工具（而非环境数据库）才是 agent 能力生长的原子单元。从真实执行轨迹中挖掘工具间依赖、构建跨环境工具图，再在图上做带回滚的状态感知随机游走，可以合成出既真实又跨环境、且可重放验证的训练任务。环境数据库只在需要时按需合成，而不是一切任务的先决条件。

1.2 Targeted Guidance：稳定的在线定向引导

Stabilizing On-Policy Targeted Guidance in Agentic Reinforcement Learning——稳定 agentic RL 中的在线定向引导。

核心主张：naive on-policy RL 因覆盖不足，学不会基础策略支持集集外的判据（新工具格式、特定风格）。把 judge 的文字反馈插进出错回合之前、构造同权重的反馈条件化专家，对该回合施加反向 KL 蒸馏并与 per-criteria RL 奖励结合，既能教会新行为又不伤基线性能。重点不是单个行为的提升，而是整个训练过程的稳定。

1.3 Navalia：可验证任务合成加长程后训练

Navalia: Advancing Cowork Agents through Verifiable Task Synthesis and Long-Horizon Post-Training——以可验证任务合成与长程后训练推进 Cowork Agent。

核心主张：金融分析这类专业场景里，任务合成的关键不是让 LLM 自由出题，而是用结构化事实与确定性计算链从源头保证证据可溯源、依赖真实存在、答案可复现，再配合冷启动 SFT 与长程 RL 把能力注进 35B 模型。

二、背景：长程 agent 训练的双重瓶颈

2.1 环境合成瓶颈：数据为中心范式的三宗罪（ToolSpace 视角）

LLM agent 已经普遍以 MCP 服务为工具生态执行长程工作流。要让 agent 学会跨服务编排工具，训练环境必须规模化。既有路线分两族：

• 模拟器族（Simia、GenEnv，arXiv:2511.01824 / arXiv:2512.19682）：把 LLM 当隐式文本世界模型模拟工具反馈——便宜、扩展快，但反馈易幻觉、状态一致性难保证；
• 可执行环境族（Agent-World、EnvScaler 等，arXiv:2604.18292 / arXiv:2601.05808）：从主题先合成数据库、再派生工具与任务——真实但受制于合成顺序。

ToolSpace 论文把后者统称为 Data-Centric Environment Synthesis，并指出三个内生缺陷：

1. 工具-功能失配：工具从虚构数据库反推，参数逻辑偏离真实接口，agent 学到的是合成协议而非可迁移到真实工具生态的操作；
2. 编排失真：工具链图靠随机连接或浅层 LLM 判断构建，缺乏执行证据——真实工具服务本就不稳定嘈杂，逻辑关系靠主观判断难以为继；
3. 困于单环境：工具锁在各家沙箱里，跨环境可达关系未定义，真实任务常横跨数环境的长程复杂度无法自然生长。

三者共享同一根因：先造环境再派生工具，把真实 agent 执行中的依赖方向弄反了。

2.2 领域任务合成瓶颈：专家贵、自由生成不可靠（Navalia 视角）

Cowork Agent 要在金融分析里整合跨文档证据、做多步数值推理——在长文档与复杂表格中定位证据、识别公司与报告期间指标定义与口径差异、经反复工具交互完成计算，检索、证据整合与计算环环相扣，任一环节出错都会传导到结论。

可靠的金融任务必须写明来源文档、支持证据、计算依赖与参考答案，还要保证报告期、指标定义、单位与算法参数一致。两条既有路径各有短板：

• 专家构建（如 APEX-Agents 请投行/咨询/法律专家造题）真实但贵且难规模化，无法持续扩张成后训练所需的大数据集；
• LLM 自由出题会混入指标定义或口径不一致的数据、犯计算错误、偏向简单查找与初级算术——即便题面多步，步骤间也可能没有实际数据依赖，训练信号名存实亡（论文引用 MuSiQue 的伪多步观察，arXiv:2108.00605 一脉的问题在 agent 数据里重演）。

此外，从数据构建贯穿到完整后训练的系统性公开文档一直稀缺，方法难以复现与延展。

2.3 优化信号瓶颈：RL 只会强化、不擅教学（TG 视角）

策略梯度的老问题是 insufficient coverage：如果基础策略几乎不会以非零概率做出某行为，那么无论奖励怎么设计，on-policy RL 都无从学起。Echo chamber 研究（arXiv:2504.07912）观察到 RL 后训练主要放大预训练已有的行为——RL 擅长放大、不擅长引入。

TG 论文的切入点很实际：现代后训练系统的奖励本就来自富文本源（带 rubric 的 judge 模型），把多路信号压成单个标量损失巨大；这些现成的文字反馈其实可以变成方向性的策略改进信号。难点是如何引入而不破坏基线 RL 性能——on-policy 自蒸馏已有推理链缩短、多样性坍缩等前科，直接叠加风险不小。

三、定位与关联工作

3.1 ToolSpace：环境扩展与图合成两条谱系的交汇

环境扩展谱系里，ToolSpace 与前作的差异在于扩展的单元：

• Simulator 系扩展的是模拟反馈；
• Executable 系（EnvScaler、Agent-World、Agent-Reflex、WorkRover）扩展的是环境或 harness——工具能怎么组合在抽任务之前就定了；
• ToolSpace 扩展的是工具组合空间本身，环境只是图上聚类的产物。

图合成谱系里，先前工作用函数签名图或 API 依赖图游走出多轮调用（APIGen-MT，arXiv:2504.03601；Magnet 等），搜索与知识 agent 用知识图谱造难题（WebShaper，arXiv:2507.15061）。ToolSpace 的差异在于图的来源与保证：

• 边由确定性规则从真实轨迹的相邻调用挖掘（数据源含 Toucan-1.5M 的 495 个 MCP 服务器、150 万轨迹，arXiv:2510.01179，及 ToolLLM 约 46.9 万 RapidAPI 调用，arXiv:2307.16789）；
• 边带类型（data/state/retry）与见证频次权重；
• 每条链必须从初始状态重放通过状态、轨迹、输出三类检查才进训练集。

它还能反向输出两个 Pro 基准，把评测难度也升级了——任务合成流水线天然是基准难度控制器。

3.2 Navalia：Cowork 任务合成的自动化一环

• 专家构建侧：APEX-Agents 请专业人士模拟多日项目造题，OfficeQA Pro 由标注团队扩展种子问答——真实、参考答案可靠，但人工限制规模；
• 自动化侧：OfficeVerse（arXiv:2607.20062）从公开数据造办公任务，ClawGym 轻量模拟文件加混合验证——可扩展，但对多步数值推理的依赖真实性关注少。

Navalia 聚焦企业文档上的多步金融分析，三点差异化：证据从完整事实集语义选出（而非规则预过滤）；计算由复合模板串成真依赖链；答案经确定性例程与独立审查双重核对。它继承了 Program of Thoughts（arXiv:2211.12588）把计算从推理中剥离的思想，但把它前移到了任务合成阶段——不是让求解时少算错，而是让题目本身的答案天然无错。

3.3 Targeted Guidance：OPSD 家族的 agentic 落地

利用特权信息构造同权重专家再蒸馏的 on-policy self-distillation（OPSD）已有系列工作（如 Self-Distilled Reasoner，arXiv:2601.18734；自蒸馏持续学习等）。与 TG 最接近的是把蒸馏信号 gate 到失败 rollout 的几篇（HDPO 等）。

差异在于：前人用蒸馏改进单一总奖励，TG 要同时改进多条辅助判据并守住基线 RL——这正是实际后训练系统（既要 pass rate 又要风格合规）的形态。对比方法里：

• Online SFT 让教师自回归生成替代回合再 SFT；
• LaTRO（arXiv:2411.04282）与 Verifree 把替代回合的似然当奖励；
• 这三者都要采样全新动作，而 TG 的教师只出 logit 不出 token，新增成本仅一次额外前向。

3.4 三篇合观

四、问题定义

4.1 ToolSpace 的形式化

给定真实执行轨迹集 M = {(f_t, x_t, o_t)}，目标是构建：

1. 带类型的工具图 G_TS = (V, E, w)，节点与边从 M 中提取并经其过滤；
2. 按工具边密度聚合的环境簇及真实工具定义；
3. 仅为操作型环境按需合成底层数据；
4. 数据集 X_TS = {(q, V, ω, s0)}，其中每条工具链 ω 必须是 G_TS 上满足依赖可达、状态前置条件与参数溯源（每个实参可追溯到 q、s0 或更早观察）的游走，且从 s0 重放通过 V 的全部断言。

优化目标是最大化 X_TS 的长程、跨环境覆盖——而非任何单一合成数据库的保真度。这个目标函数的转移是全文的概念支点：环境不再是优化的对象，而是工具关系的副产品。

4.2 Navalia 的任务表示

每个任务 T = (q, y, C, F+, G, a, θ)：

• q：自然语言问题；y：参考答案；
• C：由财务报告构成的交互环境，支持多轮工具检索与数值分析；
• F+：可溯源支持事实集，每条事实带来源位置、报告期、单位、指标定义与口径；
• G：可执行计算链（事实、有序计算步骤与中间结果）；
• a：任务锚点（公司、报告期、指标及定义与口径）；θ：算子参数。

核心约束是链上后续步骤必须消费前步输出（z_k = o_k(z_{k-1}, x_k; θ_k)），从结构上排除名义多步、实际并行的伪依赖。

4.3 TG 的信号结构

奖励 R(τ) = Σ λ_i R_i(τ) 是一组预设判据的加权和，主项是任务完成验证，其余为风格与工具用法。每条判据 R_i 可附带文字反馈串 f。TG 要解的问题是：构造专家 µ(·|s) = π_θ(·|s, f)（同权重、上下文条件化），在 live policy 的状态分布上最小化 KL(π_θ ∥ µ)，仅对失败判据所在回合施加。

两点设计前提来自经典策略改进论证：

• 专家对当前策略的期望优势为正（式 1）——反馈要真能让专家更好；
• 专家与策略的偏离有界（式 2，KL < δ）——专家除了目标行为尽量别改别的东西。

当全部判据持续满足时，蒸馏项因 gating 归零，总体目标退化为普通策略梯度，即渐进无偏。

五、解法与实验证据

5.1 ToolSpace：Trace-to-ENV 两阶段流水线

阶段一：工具空间探索。

从 MCP 生态与网络来源收集 20 万余条 agent-工具交互轨迹，按执行真实性分级过滤：真实服务器交互为高（Toucan-1.5M、ToolLLM）、真实工作区为中（SWE-agent、OpenHands 的显式工具调用）、合成工具轨迹为低（仅保留与真实工具名及 schema 匹配的调用）。轨迹收集阶段做了任务级与轨迹级去污染——与评测测试集任务、调用序列或初始状态重叠的一律剔除。

对轨迹中每对相邻调用，用确定性规则（不用 LLM 判断）挖三类边：

• data 边：下游输入用了上游输出值且字段类型匹配——具体数据在传递；
• state 边：前调用改写了环境对象、后调用读写同一对象——不是碰巧相等的值；
• retry 边：前调用报错、换工具后成功——错误被当作可恢复观察保留。

边权 w(v_i, v_j) = N_ij / N_i 即见证转移频率，剔除低频边与不可溯源的数据边（防止 limit=10 这类公共常数造成假链）。同一工具不同参数配置算不同节点，最终得到 77,760 个节点、来自 2,042 个规范工具；data/state/retry 边占比 69%/25%/6%——data 边主导说明工具组合主要由中间结果传递驱动，state 边补状态前置、retry 边补失败恢复。

按边密度聚成 804 个环境（平均每环境 10.86 个工具、最多 436 个），三分法处理底层数据：

• 操作型环境（22.5%）有增删改工具，才让研究型 agent 联网收集并迭代合成数据库，经单元测试与状态转移检查后保留；
• 查询型环境用真实查询输出（如 google_drive.files.list 的返回）锚定初始快照 s0；
• 无状态环境（搜索、固定索引）直接复用缓存返回，不发真实 API、不造库。

阶段二：跨环境可验证任务合成。

在图上做状态感知随机游走：每步只保留下一跳输入可由早前返回或当前快照填满的邻居，按边权比例采样——真实轨迹里高频出现的连接更可能被延伸。执行失败或执行后状态与所过边的语义不符则回滚到 s_{t-1} 重采样；反复回滚仍走不通的链整条丢弃。走满目标长度 L 与环境数 K 后，把链反编译成不含工具名与调用顺序的自然语言任务，配三组断言：V_state 查终态、V_trace 查关键中间快照、V_out 查必现输出字段。只有从 s0 重放全过的样本才进数据集。

最终产出 34,376 条轨迹（21,385 条至少 5 次工具调用）：

• 平均 30,466 token、18.86 次工具调用、2.29 个环境；
• 最高 855,386 token、209 次调用、22 个环境；
• 66.2% 以上跨至少两个环境。

训练与主结果。

以 Kimi K3 为教师生成轨迹并反推任务，产出 34,376 条 SFT 样本与 653 条 RL 样本（后者经 35B 模型 Pass@16 筛选、只留一两次正确的候选以保证 RL 信息量）；RL 用 GRPO（arXiv:2404.03300），clip 上下界 0.8/1.28，rollout 组 16、batch 256，全异步训练 48 步。8B/35B 在 16 卡训练一个 epoch，744B 用 256 卡。七个长程工具使用基准（AutomationBench、SkillsBench、JobBench、τ³-Bench Banking、BFCL V4、Harvey LAB、OfficeQA Pro）上：

• 8B 池：ToolSpace-8B 平均 19.6（+RL 后 20.7），基座 Qwen3-8B 仅 7.2；同规模环境扩展基线 Agent-Reflex-8B 9.2、Agent-World-8B 8.9——单环境数据只教会调用形式，教不会跨环境组合；
• 35B 池：ToolSpace-35B-A3B 41.0（+RL 43.2），基座 23.0，AutomationBench 单项 8.2→45.8；同规模最佳开源基线 Nex-N2 Mini 23.1；
• 744B：ToolSpace-744B-A40B 56.6，超教师 Kimi K3（49.7）、GPT 5.6 Sol（48.9）、GLM 5.3（53.8），追平 Claude Opus 5（56.6）。

超过教师这一点很关键：论文据此主张 ToolSpace 教的是可迁移的工具组合结构而非能力蒸馏【论文实验已支持】。

Pro 基准：顺手升级评测难度。

把同一流水线锚定到 AutomationBench 与 τ³-Bench Banking，链入与基准工具共享数据或状态关系的外部工具、放大 L 与 K，反推出 AutomationBench Pro（300 题）与 τ³-Bench Banking Pro（98 题），经三位博士级专家两天独立审查（Fleiss’ κ=0.82、观察一致性 93.1%）。

七个前沿模型在 Pro 上全体大幅下滑：

• AutomationBench：DeepSeek-V4.1-Flash-1017 60.5→22.3（-38.2），Claude Opus 5.5 -32.9，GPT 6.1 Sol -26.1，最少的 GLM 5.2 也 -11.3；
• Banking Pro：Qwen 3.8 Max -25.6，Claude Opus 5.5 -15.8，GPT 6.1 Sol -16.8。

Pro 任务的平均工具调用从 26.8-43.6 升到 56.3-60.6（AutomationBench）、从 23.1-32.2 升到 27.3-36.3（Banking），证明难度提升来自更长更频繁的工具编排，而非题目质量问题。

消融与扩展分析。

• 边类型分工：去掉 state 边对 τ³-Bench Banking 伤害最大（34.0→21.5），去掉 data 边对 BFCL V4 伤害最大（74.3→62.4）；两者平均降幅 7.1 与 7.4 且落在不相交的基准上——状态前置与数据流分工明确【论文实验已支持】；
• 边的来源：把确定性规则挖边换成 LLM 判断边，全线降级、幅度接近去掉 state 边——边必须被执行见证、不能只是貌似合理；
• 环境扩展：从 1/16 到全量，AutomationBench 9.2→45.8（1/16→1/8 就从 9.2 跳到 33.8），Banking 却只在全集才跳升（19.6→34.0）——新环境簇贡献新的跨环境边，覆盖低时空间广度是限制因素；高连接环境簇贡献来得晚；
• 数据扩展：1/16 到全量五基准单调升，1/2→full 仍全线提升（Automation +4.6），尚未触顶；但 1/16 时 BFCL V4 与 OfficeQA Pro 反而低于基座（60.0→55.5、45.9→36.1）——小规模混合数据有干扰，坏数据不是中性噪声；
• 环境相关性：Top-50% 相关环境 vs 随机 50% 环境差距不超过 1.7 分，且都接近全量——收益不靠拟合基准相似环境，而反映可迁移的工具组合结构【论文实验已支持】；
• 任务多样性：t-SNE+DBSCAN 聚出 42 簇，多于 EnvScaler（25）、Agent-World（31）、Agent-Reflex（34）；
• 合成成本：500 个采样环境中需合成文件从 Agent-World 的 2,724 降到 1,218（省 55.3%，JSON 从 2,643 降到 1,205）。

5.2 Navalia：双视图、算子链与两阶段后训练

可验证任务合成。

每份财务报告解析成双视图：

• 文档视图 r(d)：解析为 Markdown，保留正文、标题、表格结构，构成 agent 检索与分析的环境语料；
• 事实视图 F(d)：每条事实记录数值、单位、来源位置、表格上下文、报告期、指标定义、口径与版本，信息不全即剔除，聚合成全局事实库。

任务生成从采样分析算子或复合模板开始（覆盖跨期聚合、趋势比较、统计、回归、数值变换、跨公司分析），再采样锚点与参数，检查文档覆盖（时序任务要连续报告期、跨公司任务要同期可比、多步任务要覆盖所有步骤的数据需求），不满足就重采样。

证据选择的两个设计点：

• LLM 从候选文档的完整事实集出发做语义选择（大集合先按文档内预选再跨文档联合评估），刻意不做关键词预过滤以减少证据遗漏；
• F+ 覆盖不足或定义口径不合即丢弃重采样——证据不合格，任务直接不生。

计算侧分复杂度处理：简单单步（查找、求和、变化率、平均）由 LLM 直推；复杂计算（回归、预测、统计、数值变换）由 LLM 抽数值、确定性例程执行——固定输入格式与计算规则保证同数据同参数必同结果。最终答案经单位换算、精度与格式规范化产出。

质控三道闸：

1. 独立 review 模型只用 q 与 F+ 从零推导答案，与 y 对照，捕捉证据识别与数值计算错误；
2. 程序化检查验证每个非终步输出确被后续步消费、题面报告期与事实记录一致；
3. 环境里故意掺入平均 208.69 份干扰文档（同公司其他期+同行，最多 994 份），逼出真实检索压力。

训练数据特性：平均每任务 5.85 份支持文档；轨迹平均 59.27 个工具轮次、61.10 次工具调用；八类推理能力分布均衡（最高类多步推理仅占 16.5%），防单类主导训练。

两阶段后训练。

冷启动 SFT：教师轨迹按答案正确性、工具调用有效性、最少轮次过滤，按算子/模板分池均匀采样；turn 级质量评估把低质回应的监督 mask 掉但保留为上下文。训练样本用 FIFO 上下文管理（窗口 30 轮、步长 10 轮）：每样本含任务指令+至多 20 轮历史+10 轮新交互，loss 只算通过质检的新回应，监督区间不重叠——每个合格回应恰好进一个样本。

长程 RL：沿用同一 harness。任务按冷启动模型 rollout 成功率筛选——全成功丢弃、有成功有失败保留、全失败仅当更强模型能解才保留，聚焦可解而不稳的任务。G 条轨迹取最终段为 Anchor 算终局奖励，组相对优势共享到所有段，让早期检索与分析行为也吃到终局反馈。只保留组内奖励方差非零的任务组（动态采样）。被截断的轨迹其 Anchor 奖励仍参与优势计算与动态采样统计、但整条轨迹 token 全部 mask——防止截断失败冤枉早前的有效探索。

结果。

基于 Qwen3.6-35B-A3B（原生 262,144 token 上下文；SFT 用 slime 2 epoch、batch 128、最长序列 256K；RL 用 dressage、on-policy 每批单次更新；单回应最长 64K、至多 200 交互轮），五个基准全面超基座：

以小博大也成立：全面超 Qwen3.5-397B-A17B（如 FinSearchComp +5.40），OfficeQA Pro 超 Kimi-K2.6 4.01 分、超 Qwen3.7-Plus（55.39）7.27 分，APEX 超 Qwen3.7-Plus 3.02 分，Workspace 超 DeepSeek-V4-Flash 1.19 分。

行为分析显示训练后 OfficeQA Pro 上：全支持文档检索率 45.4→69.8、文档召回 50.8→74.7、工具轮次 39.3→47.8、任务准确率 39.60→62.66——模型真的变得更会检索与更长交互，而非碰巧答对【论文实验已支持】。

FIFO 对比逐轮滑窗（同为 30 轮可见窗口）：样本/轨迹从 40.52 降到 3.90（-90.4%，276,598→23,523 样本）同时 OfficeQA Pro 49.96→51.56——效率与效果双赢。跨 harness 迁移（Workspace 用 Claude Code Harness、APEX 用 Stirrup Agent Harness 评测）依然超基线，说明增益在模型而非 harness。

5.3 Targeted Guidance：三件稳定器撑起的方向性信号

核心机制。

训练中每当某回合违反某判据，就把该判据的静态反馈串插到该回合之前，条件化后的同权重策略即为专家；对该回合施加全词表反向 KL 蒸馏（trainer 侧计算，避免推理-训练失配；按 rollout 内 token 归一化，防长而循环的 rollout 主导），其余回合 mask。总损失：

L(θ) = L_GRPO(θ) + λ · Σ_{t∈F} KL( π_θ(·|s_t) ∥ sg(π_θ(·|s_t, f_t)) )

其中 F 是失败判据所在回合集，sg 是 stop-gradient。反馈串本身要经过验证：用候选反馈查询基模型、对比无反馈平均表现，只留确有提升的。计算上教师只出 logit 不出 token——相比 rollout 采样，新增成本仅一次额外前向，可用 Liger-Kernel/QuACK 类内核只物化末层隐藏态缓解显存。

三件稳定器，各有实验背书。

其一，gating 到失败回合：俳句实验（要求每回合以诗汇报状态的支持集外判据）里，反馈无条件常开的变体出现 pass rate 回归，gated 版学会写诗且 pass rate 不退——不必要的蒸馏压力是坏事【论文实验已支持】。

其二，蒸馏必须配 per-criteria RL 奖励：纯 OPSD 能学会行为但不稳定、pass rate 回退；GRPO 稳但完全学不会（俳句判据 0%）——蒸馏负责教会、无偏的 RL 负责固化【论文实验已支持】。

其三，thinking token 也要蒸馏：不蒸思考链时判据间互相挤压、此消彼长地震荡；蒸了之后 thinking 里出现风格自我提醒（如我该用正确的 markdown 排版此处），曲线变稳定单调——把提醒写进思考链是消除判据竞争的关键【论文实验已支持】。

主结果。

Qwen3-Coder-30B 多轮软件工程环境（先经 harness SFT 适配）、7 项风格判据、200 步（32 组×32 rollout、lr 3e-6、Adam、异步流水线、单 epoch 训练集），最后 32 步取标准差：

TG 六项风格判据全胜且 pass rate 与纯 GRPO 持平。对比方法的失败模式：GRPO 多数判据 0.00-0.01（支持集外学不会）；OPSD 部分能学但不一致；Online SFT、LaTRO、Verifree 的 pass rate 掉到 0.14-0.26——论文归因于它们要自回归采样全新动作，可能提高次优动作的似然，在异步 regime 下陈旧动作更致命【论文实验已支持（归因部分为作者假设）】。

失败模式也有清楚刻画：蒸馏权重过高时熵尖峰→输出长度飙升→pass rate 崩溃；低权重稳但慢。熵尖峰的严重性可能源于自蒸馏的递归性——学生熵增、专家（同权重）也跟着增，持续自我强化【阅读者注：原文表述为 possible explanation，属解释性假说】。静态权重即可落稳，动态加权留作效率优化。

5.4 适用边界与相反证据检视

ToolSpace 的边界：

• 依赖 20 万级真实执行轨迹与可快照/回滚的环境；重放验证假设环境状态可确定重建——不可逆操作（真实发邮件、真实支付）无法进闭环；
• 1/16 数据量时 BFCL V4 与 OfficeQA Pro 低于基座，小规模混合数据是干扰而非中性；
• 环境扩展在 1/4-1/2 有平台期；Banking 类窄工具域收益来得晚；
• 8B 池在 Harvey LAB 全军覆没（0.0），连 ToolSpace-35B 也只有 1.7-2.5——法律 agent 工作流对当前所有开源模型都是硬墙。

Navalia 的边界：

• 事实视图依赖高结构化的财务报告，确定性例程依赖可形式化的计算——开放域非结构化推理不直接适用；
• 优势共享不区分阶段贡献是已声明局限；单 agent ReAct harness、固定 FIFO 窗口，无压缩/长期记忆/多 agent；
• 提升是相对自身基座：OfficeQA Pro 上 Kimi-K3（67.92）、DeepSeek-V4-Flash（65.66）、Qwen3.8 Flash Next（64.04）仍在其上，APEX 上 Qwen3.8 Flash Next（38.86）几乎是它（25.44）的 1.5 倍——35B 与前沿模型仍有真实差距。

TG 的边界：

• 每条判据需人工设计并验证静态反馈串——能否自动学习反馈是作者留下的开放问题；
• 实验限于多轮 SWE 场景、判据以风格与格式为主（作者自认未触及主要智能）；
• 只对比了 OPSD 家族的代表方法，未能与全部变体逐一对照；熵尖峰机理是解释性假说而非受控验证。

六、知识反推：三篇为什么有效

反推一：执行见证的边为什么胜过 LLM 判断的边。

LLM 判断只保证貌似合理（plausible），不保证可执行；ToolSpace 的消融里 LLM-judged 边几乎复刻去掉 state 边的降幅。机制链：真实轨迹的相邻调用天然满足参数类型衔接与状态前置 → 按此游走生成的链在环境中真的跑得通 → 重放验证再兜一层底 → 训练信号里没有不可执行的假链 → 模型学到的是真实工具生态的组合规律【论文实验已支持】。更深一层：数据为中心范式的错误是分布级的（先造库再反推工具，工具协议整体偏移），单点修不好，必须反转合成顺序【论文论证已支持】。

反推二：跨环境覆盖为什么是独立的扩张轴。

环境相关性实验里，随机砍掉一半最相关环境性能几乎不掉，而环境数量从 1/16 加到全量持续涨——收益来自组合空间的结构（新环境簇带来新的跨环境边），不是来自与评测集相似的内容。这组对照把数据合成的目标从拟合评测分布转向扩张组合结构，是全文最有信息量的实验之一【论文实验已支持】。

反推三：Navalia 的答案为什么可以信。

参考答案由确定性例程从同一批事实算出 → 独立 review 模型不知生成过程、只看题与证据重新推导且须与 y 一致 → 程序检查再验证依赖真实性与报告期对齐。三道闸互相独立，任何一道都可否决任务。LLM 自由出题的老三样（混口径、算错、伪多步）在这里被系统性堵死【论文实验已支持】。金融域训练迁移到通用办公基准（APEX +13.20、Workspace +13.07）暗示学到的是检索规划-证据整合-长程执行这类通用程序性能力，而非金融知识本身【论文实验已支持（迁移事实）+ 阅读者推测（能力构成的解释）】。

反推四：RL 与蒸馏的分工边界。

三篇从不同角度撞到同一堵墙：

• TG 里 GRPO 在俳句判据上 0%——支持集外行为学不会；
• ToolSpace 里 RL 只在 SFT 之上添 2.2 分（41.0→43.2）——环境 RL 的增量有限但真实（Banking 34.0→42.3 最大）；
• Navalia 里 RL 需要精心筛掉全成功任务才有信息量。

on-policy RL 是强化器不是教师。TG 的解法是让蒸馏当教师（方向性、token 级、只在分歧处强信号）、RL 当强化器（无偏、渐进），两者缺一即失效【论文实验已支持】。一个值得注意的呼应：ToolSpace 的 RL 样本筛选（只留一两次正确的候选）、Navalia 的任务筛选（只留可解不稳的）与 TG 的动态采样（只留方差非零任务组）本质相同——都在人工制造组内奖励方差，同一原理的三处独立出现【阅读者归纳】。

反推五：thinking token 是判据竞争的调解场。

TG 的振荡消融显示，只在最终输出上蒸馏时判据间此消彼长；把蒸馏延伸到思考链后，模型在思考里主动列举全部风格要求。机制：输出层的判据共享同一串 token 预算、天然零和，而思考链提供了免费的调度空间，把多判据变成思考中的检查清单再一次性落实【论文实验已支持（现象）+ 阅读者推测（机制解释）】。

七、通用灵感

给造训练环境的人：先问证据从哪来，再问任务怎么造。

ToolSpace 的教训是合成顺序决定一切：从真实执行反推，工具语义、组合关系、可执行性三者免费到手；从虚构数据正推，三者全要事后补。任何要合成 agent 训练环境的团队都该先盘点自己有什么真实交互日志——MCP 调用、shell 历史、API 网关日志都是潜在的边矿。

给造领域任务的人：答案先于题目。

Navalia 的可验证性来自先构造计算链与参考答案、再让题目从链上长出来的反向顺序。凡是有确定性计算内核的领域（财务、法务合规核对、工程计算），这套算子驱动+语义选证+双重审查的模板可以直接搬。干扰文档的刻意注入（均值 208 份）也值得抄：没有检索压力的任务教不出检索能力。

给做 agentic RL 的人：奖励方差是稀缺资源。

三篇不约而同在做方差工程——筛任务、筛 rollout、gate 蒸馏，本质都是把训练预算集中到有区分度的样本上。若你的 RL 不涨，先查组内奖励方差是不是为零，再查目标行为是否在支持集外：前者换数据，后者 TG 指路——文字反馈+同权重专家蒸馏是当前最轻的教新行为方案，代价只是一次额外前向。

给所有人：可验证性是合成数据的唯一硬通货。

三篇的验证器形态不同（重放断言、确定性计算、judge 判据），但共同点是验证器先于数据存在。没有验证器的合成数据是负资产——ToolSpace 在 1/16 数据量时低于基座的反例说明，坏数据不是中性噪声，是主动干扰。另外，ToolSpace 用同一套流水线顺手把两个基准升级成 Pro 版（前沿模型最多掉 38.2 分）提示我们：任务合成流水线天然是基准难度控制器，评测与训练在工程上本是一体两面。

一个跨三篇的开放问题。

TG 证明 RL 学不会支持集外的行为，ToolSpace/Navalia 证明环境覆盖决定能力上限——那么当环境合成把支持集扩到足够宽，RL 的教学盲区会不会自然消失？TG 的俳句实验暗示不会（行为再简单，支持集外就是学不会），而 ToolSpace 的 8B 模型在 Harvey LAB 得 0 分又暗示环境再宽、模型容量不够也白搭。支持集宽度、模型容量、信号方向性三者的关系，可能是下一轮 agent 训练研究的核心问题【阅读者推测】。