How Data Scales in Agentic Reinforcement Learning: Laws and Synthesis Strategies 精读

论文链接：How Data Scales in Agentic Reinforcement Learning: Laws and Synthesis Strategies 代码仓库：BokwaiHo/AgentRL_Scaling 发表时间：2026年10月（NeurIPS 2026） 机构：MBZUAI（一作单位，MBZUAI Base Fund 独立资助）+ McGill University + CityUHK + Columbia University，多高校合作，无企业参与 领域标签：cs.LG / scaling law / agentic RL

一、论文背景

要理解这篇论文，需要先理解两个领域的交汇点：预训练 scaling law 的思维方式，与 agentic RL 的数据现实。

预训练 scaling law 把数据变成一个数。 从 Kaplan et al.（2020）到 Chinchilla（Hoffmann et al., 2022），预训练 scaling law 建立了损失-参数-token 数之间的幂律关系，并催生了 compute-optimal 训练配方。这套框架有一个隐含抽象：训练数据是一维的——只有"多少 token"重要，数据的内部结构不进入公式。这个抽象在预训练里是合理的：网页文本同质性强，token 数确实抓住了主要矛盾。

agentic RL 继承了这个抽象，但它是错的。 DeepSeek-R1 证明纯 RL 加可验证奖励可以扩展推理能力后，agentic RL 迅速跟进：论文引用的工作里，ScaleRL（Khatri et al., 2025）刻画固定配方下的 RL 计算扩展，Mai et al.（2025）报告 ZeroTIR 的 Agent RL Scaling Law，Tan et al.（2025）做 RL 后训练扩展的实证研究——它们无一例外把性能画在 rollout token 数、prompt 数或训练步数这一根轴上，仿佛这些量可以互换。但 agentic 数据的一个"数据点"同时编码了四样东西：任务描述、带 API 表面与动力学的环境、模型动作与工具反馈的轨迹、奖励信号——每一样由不同管线以不同成本生成。环境生成器（AWM、GenEnv）、任务生成器（AutoPlay、SCA）、轨迹生成器（SWiRL、TDScaling）各自作用在不同轴上、以不同速率饱和。标量抽象悄悄地失效了。

合成管线让问题从"收集多少"变成"往哪花"。 有了现代合成工具，agentic 数据供给实际上无界，实践者的核心问题从"how much"移到了"where"。论文 Figure 1 给出刺眼的开场：两个 Qwen3-8B GRPO 训练，总 token 与 FLOPs 完全相同，只是预算在任务/环境/轨迹三轴上的切分不同——成功率差 14 个百分点。单轴幂律无法同时拟合这两条曲线，说明瓶颈已经从数量转移到了分配。而当前的预算分配大多由惯例或便利决定，没有定量依据。

相邻领域的警示：合成数据崩溃。 预训练侧已有一批文献记录合成数据引发的模型崩溃（Shumailov et al. 的 curse of recursion、Seddik et al. 的统计分析、Gerstgrasser et al. 的累积-崩溃研究）。agentic RL 的合成管线会不会有类似问题？崩溃从哪根轴开始？此前没有系统测量。

被搁置的相邻问题。 课程学习与环境自动生成（GenEnv、self-evolving curricula、difficulty-aligned 生成）研究"以什么顺序呈现数据"；本文刻意上提一层，只问"每根轴配多少预算"，两个层次互补。

综上，领域背景可总结为一句话：agentic RL 迫切需要一个多维数据版本的 Chinchilla——把数据从标量还原为结构化设计空间，并给出可操作的预算分配公式。

二、论文定位和关联工作

谱系一：预训练与 RL 的 scaling law

• Kaplan et al.（2020）与 Hoffmann et al.（2022） 奠定幂律加 compute-optimal 的范式；后续工作处理推理约束（Sardana et al., 2024）、Kaplan-Chinchilla 调和（Pearce & Song, 2024）、稳健性复查（Schaeffer et al., 2025）。本文与它们的关系是"分解数据轴"：不加新的全局轴，而是把"数据"这一项拆开，发现分解本身对预测分配结果是必要的。
• RL 侧：DeepSeek-R1（Guo et al., 2025）证明可验证奖励的 RL 可扩展；ScaleRL（2025）在固定配方下刻画 RL 计算；Mai et al.（2025）与 Tan et al.（2025）给出经验 scaling。共同局限：数据仍是一根轴（rollout token 或唯一 prompt 数）。本文的差异化在于：21 个设置上的一致指数排序、崩溃比、以及可外推的分配配方。

谱系二：agentic 数据合成

• 环境合成：AWM（Wang et al., 2026）用 agent world model 无限生成环境；GenEnv（Guo et al., 2025）做难度对齐的 agent-环境共进化；RLVE（Zeng et al., 2025）自适应生成可验证环境；DeepSeek-V3.2 的环境管线是工业实践。任务合成：AutoPlay（Ramrakhya et al., 2025）经探索扩展合成任务、SCA（Zhou et al., 2025）自我挑战、轨迹合成：SWiRL（Goldie et al., 2025）、TDScaling（Chen et al., 2026）、Self-Play/Spiral（Liu et al., 2025）。这些方法各自扩展一根轴、各自为战；本文的贡献是给它们一个公共坐标系（轴归属 + κ 折扣 + r* 崩溃点），发现轴归属能解释 κ 方差的 97%。
• 模型崩溃文献（Shumailov 2023、Seddik 2024、Gerstgrasser 2024、Feng 2025、Yi 2025）：记录了预训练侧合成数据的退化。本文把"崩溃"改造成可定量的轴属性（临界比 r*），并发现三轴崩溃点相差一个数量级。

谱系三：课程与环境设计

GenEnv、self-evolving curricula（Chen et al., 2025）、difficulty-aligned 生成处理轴内调度。本文明确把"顺序问题"留给未来（结论第 (iii) 条），两者正交：本文定预算、课程定消费节奏。

定位总结

一句话定位：这是 agentic RL 数据侧的第一篇"分解-定价-优化"全链条工作——用 6.1 万 GPU 时把"数据是结构化的"从口号变成公式，并给出与主流实践相反的可验证结论：轨迹重采样排最后。

三、问题定义

论文面对的具体场景：给定一笔合成预算，要为 agentic RL 产训练数据，管线可以生成任务、环境、轨迹，各轴成本差异巨大（论文表 3：每环境 4.10 美元、每任务 0.18 美元、每轨迹 0.02 美元）。实践问题：“预算往哪根轴花？”

**核心洞察：分配问题在标量抽象下无解，在分解后变成可解的约束优化。**论文把这个洞察形式化为三步递进（顺序不可交换）：

1. 分解（没有公度单位就没有定价）：定义数据张量 D = (S_T, S_E, {(t_i, e_i, τ_i)}, ρ)。三根基数轴：任务轴 DT = |S_T|（按句嵌入余弦距离 > 0.15 去重，五种替代规则下 αT 波动仅 [0.238, 0.261]）；环境轴 DE = |S_E|（按结构签名去重——类型化工具/API 表面、状态 schema、转移语义、验证器接口的规范哈希；底层世界变化——不同仓库/应用/站点——单列为世界多样性 DW）；轨迹轴 Dτ = 已覆盖 (task, env) 格上平均 rollout 数（GRPO 组采样的标准做法）。外加奖励密度 DR 作类别控制变量（稀疏 outcome vs 至少三个可验证中间信号）。
2. 定价（没有价格就没有优化目标）：合成方法沿其目标轴把算力换算成"真实等效数据"的效率，用折扣因子 κ(r) ∈ [0,1] 刻画；崩溃临界比 r* 定义为归一化成功跌破纯真实基线 95% 的合成/真实比。
3. 优化（定律 + 价格 → 配方）：预算分配写成轴可加线性成本约束下的损失最小化，KKT 条件给出闭式解。

形式化核心（加性幂律）：L(DT, DE, Dτ) − L∞ = A·DT^(−αT) + B·DE^(−αE) + C·Dτ^(−ατ) + I(·)，其中 L ≡ −log p_success（因可验证奖励 RL 没有平滑损失，用留出集成功率的负对数，可直接对齐预训练定律做干净的 log-linear 拟合）。无交叉项的独立近似由 I(·) 的单独测量修正：拟合乘法修正 I = −γ·(DE·DT)^(−β) 把 R² 从 0.93 提到 0.98（γ=0.18, β=0.21），揭示"环境多样性是任务多样性起效的前置条件"。

为什么损失用 −log p_success：成功率的对数把"从 10% 到 20%“与"从 50% 到 100%“这类等倍改进放在同一标尺上，与预训练交叉熵损失的量纲行为一致，使指数可直接横向比较——这是"公度尺"的数学基础。

这个抽象的精妙之处：它没有发明新的数学（幂律、Lagrangian、KKT 都是教科书内容），而是把 Chinchilla 的思维实验在"数据的结构维度"上重做了一遍，并且每一步（指数、折扣、配方）都单独可检验、可证伪。

四、问题解法

解法按三步链条展开。基础设施：verl 框架 + VerlTool 多工具 rollout，Qwen3-4B/8B/14B 为规模梯度（默认 8B），另加 Llama-3.1-8B 与 Qwen2.5-7B 做家族稳健性；GRPO 默认（组大小 8）+ PPO（等规模独立 critic）；全部数字为 3 种子均值加 bootstrap 95% CI。

4.1 第一步：分解设计空间，逐轴拟合指数

类比：这像药物临床试验的标准流程——先在固定背景下逐个剂量爬坡（其余背景锁定），而不是把所有药物混在一起看总反应。

协议：其余两轴锁定在校准 sweep 定下的饱和值（DE, DT, Dτ) = (256, 10,240, 8)——倍增任一轴改变成功率不足 2 点；目标轴扫 6 个嵌套格点跨 32 倍（稳定性检查扩到 8 点）。训练信号对齐是关键设计：每个 DE 与 DT 格点用相同的 256,000 个任务-环境格（每格 8 rollout）与 1,000 次 update，rollout token 漂移低于 4%、每环境重复度沿 DE 甚至下降 32 倍——只有 Dτ 轴真正缩放 token（32 倍）；若强行等化 token 或 FLOPs，ατ 掉到 0.07-0.08 而 αE/αT 至多动 0.01（附录 D.1）。这排除了"指数只是 token 数伪装"的混淆解释。拟合用非线性加权最小二乘，L∞ 在格点上 profiling、内层 log-linear 闭式解。

结果（Qwen3-8B，math+code）：αE = 0.41±0.03 > αT = 0.26±0.02 > ατ = 0.11±0.02，每个面板 R² > 0.97。稳健性三重验证：不依赖拟合的局部 log-log 斜率在 49/49 次轴间比较中排序一致（Mann-Whitney p = 2.9×10⁻⁴）；配对 bootstrap 差值 CI 不含零（αE−αT = 0.148 [0.109, 0.187]，αT−ατ = 0.150 [0.116, 0.184]）；跨 18 个（模型×算法×领域）格点与另外 3 个家族/领域设置（共 21 个）排序全部成立，绝对值最多漂移 0.05。

交叉项与前置结构：(DE, DT) 网格热图显示低 DE 下扫 DT 近零回报——等成本等高线呈现 Pareto 脊。实践含义：往小环境池里猛灌任务合成（如 τ-bench 类小池变体）必然早饱和。

奖励控制变量：稀疏→密集奖励等效于 Dτ 的 1.4×-2.1× 乘数，不改变 αE/αT——按控制变量处理并折算为有效轨迹数。

环境轴的分解（4.4 节，论文最细的手术）：环境变异分三级——L0 内容种子/初态（同一仓库与 harness 内换题目，指数 0.07±0.02，安慰剂）；L1 结构（工具/API 表面、状态 schema、转移语义、验证器变化，如无状态 vs 持久 REPL、pytest vs tox 输出语法）；L2 世界（自带状态的仓库/语料/应用/站点）。固定 DE、算力与训练信号，把预算从结构转向世界——(W,V) 从 (1,64) 移到 (8,8)（web 为 (4,16)）——SWE/UI/web 三域每步 held-out 成功率全升（SWE 18.0%→26.1%，CI 不重叠）。联合拟合得 αW = 0.44±0.04、αV = 0.28±0.03，且混合 αE 是两者的组合加权（SWE 上 0.87×0.44+0.13×0.28≈0.42 对实测 0.39±0.03）。math+code 单世界（Python 工具服务器）下 αE 就是纯结构指数（0.41）——没有世界轴时结构扛下全部泛化负担。结构多样性在因子级覆盖后继续有回报，直到 384 个签名的清单天花板。

4.2 第二步：以指数为公度尺给合成定价

类比：指数是"汇率表”——知道每根轴的 loss 对数据的弹性后，任何合成方法的产出都能折算成真实数据单位；没有汇率，“合成数据打了七折"这句话没有单位。

κ 折扣：设 L(Dr, Ds) = f(Dr + κ(r)·Ds)，r ≡ Ds/Dr。估法：固定总量 D = Dr + Ds，扫 r ∈ {0, 0.25, 1, 4, 16}，从性能曲线反解 κ。r 崩溃比*：归一化成功过峰后跌破纯真实基线 95% 的比值，13 点比值格上单调 logistic 拟合的 0.95 交点。

九种方法的定价表（统一 harness 跑出）：环境轴——AWM κ=0.71 / r*=9.4、GenEnv κ=0.66 / r*=8.1；跨轴——DreamGym κ=0.59 / r*=6.2；任务轴——RLVE κ=0.57 / r*=3.4、AutoPlay κ=0.54 / r*=3.1、SCA κ=0.51 / r*=2.8；轨迹轴——TDScaling κ=0.42 / r*=1.7、SWiRL κ=0.34 / r*=1.4、Self-Play κ=0.31 / r*=1.2。轴归属解释 κ 方差的 97%（ANOVA F(2,5)=76.6, p<0.001）——方法间的效率差异几乎完全由它们作用的轴决定。

机制解释：接地强度（groundedness）。环境合成为可执行代码，每次 rollout 都被解释器硬约束，分布漂移有硬上界（与 AWM、DeepSeek-V3.2 环境管线的设计原则一致）；任务只被"奖励是否可验证"弱锚定，问题复杂度分布仍可漂移；轨迹由策略自身分布采样——只被模型自己接地，复现并放大自身偏差，正是预训练侧递归崩溃的 agentic 类比。

合成-分配悖论：当前主流管线把最大算力份额花在轨迹生成上，而这根轴指数最低、崩溃阈值也最低——双料最差却被重仓。这个错位是论文实践冲击力的来源。

4.3 第三步：解出 compute-optimal 配方

成本模型（轴可加线性，在最优处线性化双线性 rollout 成本）：Φ = cE/(κE)·DE + cT/(κT)·DT + cτ/(κτ)·Dτ + cN·N——1/κi 的加权含义直观：合成数据只有 κi 倍效果，等效单价就是 1/κi 倍。单位成本从表 3 的美元单价与实测 FLOP/step 校准。

Lagrangian 与闭式解：对每个设计变量 Di，KKT 给出 αi·Ki·Di^(−αi−1) / (ci/κi) = λ，反解得 Di* ∝ (κi·αi·Ki/ci)^(1/(αi+1))·λ^(−1/(αi+1))，λ 由预算约束定出，代回后每个轴对 C 呈独立幂律。

配方：DE ∝ C^0.34、DT ∝ C^0.27、Dτ ∝ C^0.13、N ∝ C^0.26，四指数之和约等于 1（每个域皆然，附录 M）。两个结构性观察：分配指数的排序保持 loss 侧排序（更陡的轴加更高折扣赢得更大份额）；合并数据指数 0.74 大于 Chinchilla 的 0.5、模型指数 0.26 相应更小——agentic RL 是"数据多样性收益压过模型规模"的 regime，相对 next-token 预训练是质变。

IsoFLOP 验证：六个对数间隔计算档 C ∈ {1,…,32}×C0（C0 ≈ 2.4×10¹⁸ FLOPs，校准于单次 Qwen3-4B math+code GRPO run），每档数值求解预测最优点并实测该点与每轴 ±30% 的四个扰动，3 种子。

4.4 留出验证与两个分配 regime

留出验证：只用 4B/8B 在 C ≤ 8C0 拟合 Eq.8，预测 32C0 档 Qwen3-14B 的最优分配 (500, 9,800, 30, 14B)，实测 51.3%±1.4% 对预测 51.7%±1.6%——落在预测区间内（预测的 DE=500 超过生成器清单 384 签名，用 116 个"旧签名×新世界"实例补足，即结构上仅 384 唯一——诚实披露）。同预算下 naive（全押轨迹）42.9%、Chinchilla-transferred 47.3%，配方领先 4.0-8.4 点，等效 1.4×-1.7× 计算效率（naive 需要 ≈1.67C 才追上配方成绩，配方只需 0.6C 达到 naive 成绩）。

稳健性：指数在 SWE/web 数据上重推漂移 <±0.04；成本 ±50% 扰动下 <0.05；加入实测的 horizon/latency/failure/utilization 成本后至多 0.06（0.7 点），方向总是偏向任务与轨迹。诚实的边界声明：SWE 系数下环境与任务指数不可区分（0.28 vs 0.29）——不声称 DE 处处占优；环境轴丢掉头名的条件约在完全加载成本超过最高实测环境成本 3.4 倍（约 40 美元等效/世界）以上，“一个带可用 harness 与 verifier 的仓库很可能在这条线之上，实践者应按自己的成本重算”。

两个 regime（6.4 节）：(a) 合成预算内——结构变体与任务指数不可分但单价差 23 倍（4.10 vs 0.18 美元），按美元任务合成更划算，结构变异主要付到世界池结构空间覆盖为止；(b) 采购新世界——αW 最陡、按美元排第一，直到单世界完全加载成本超约 40 美元等效。两个 regime 里轨迹重采样都排最后——这是论文的中心实践主张。

全景对照表

五、评估指标与实验证据

指标体系

• 主指标：loss-equivalent L ≡ −log p_success。留出集任务成功率的负对数，越低越好。选择理由：可验证奖励 RL 没有平滑损失，直接用成功率会把"等倍改进"映射成不等距间隔，破坏与预训练定律的可比性；取负对数后 log-linear 拟合干净（附录 F）。论文全部指数都建立在这个量上。
• 分配指标：逐轴指数 α 与配方指数（对 C 的幂）。前者是公度尺本身，后者是最终产出。稳健性用局部 log-log 斜率（免拟合）、配对 bootstrap CI、Mann-Whitney 检验交叉印证。
• 定价指标：κ 折扣与 r 崩溃比*。κ 衡量"合成换算成真实数据的汇率”，r* 衡量"汇率崩塌的临界点”。方向：κ 越高越好、r* 越大越耐合成。
• 终点指标：held-out 成功率与 compute 效率倍数。配方对基线的绝对点差与"达到同成绩所需算力比"。

测试床与数据集

五个领域 + 一个稳健域：(a) math+code（TIR）——Python 解释器作工具、ZeroTIR 配方合成数学题训练，评测 AIME24/25、MATH500、AMC23；(b) SWE——SWE-Gym 风格执行环境，评测 SWE-bench Verified；(c) web——WebArena-Lite + BrowserGym；(d) UI/工具——AppWorld 与 ALFWorld；(e) 搜索 agent（Wikipedia 检索 + 分页搜索 API，Bamboogle 与多跳切分）作稳健检查。评测隔离设计：SWE 与 AppWorld 为 world-held-out（测未见世界），web 为 task-held-out——针对每根轴的威胁模型定制。合成器：AWM（环境）、AutoPlay/SCA（任务）、标准策略 rollout（轨迹）。

关键实验与数据

实验一：逐轴 sweep 与指数排序（Figure 2，核心论据）。三轴各 6-8 格点、3 种子，Qwen3-4B/8B/14B 上全部得到 αE>αT>ατ 且 CI 不重叠；8B math+code 点估计 0.41/0.26/0.11。训练信号对齐设计（4% token 漂移上限）排除了 token 混淆。

实验二：等算力不同分配差 14 点（Figure 1，动机实验）。同 token 同 FLOPs 的两个 GRPO run，仅切分不同——AppWorld/ALFWorld/WebShop/math 套件成功率差 14 个百分点，单轴幂律无法同时拟合。

实验三：交叉项与前置结构（Figure 3）。(DE, DT) 网格 + 等成本等高线揭示 Pareto 脊：低 DE 区扫 DT 回报近零；乘法修正把 R² 0.93→0.98。

实验四：世界 vs 结构（4.4 节）。固定 DE 与算力，(1,64)→(8,8) 使 SWE held-out 世界成功率 18.0%→26.1%（CI 不重叠）；L0 内容变异 0.07±0.02 是安慰剂——“换题目不算环境多样性”。

实验五：合成定价与崩溃谱（Table 3, Figure 4）。九方法统一 harness：κ 从环境轴 0.71 单调降到轨迹轴 0.31；r* 谱 9.4/3.4/1.4 与指数排序同向，跨一个数量级且不依赖崩溃判据细节（附录 J 用替代判据复查）。

实验六：配方与 IsoFLOP（Figure 5a）。六档算力上 Lagrangian 预测斜率与经验最优点（每档 ±30% 扰动网格实测）吻合；四指数和 1.00。

实验七：留出验证（Figure 5b 黑星，最硬的证据）。4B/8B 小算力拟合 → 14B/32C0 预测 51.7%±1.6%，实测 51.3%±1.4%；三配方同预算：配方 51.3% > Chinchilla-transferred 47.3% > naive 42.9%。

实验八：稳健性与边界（附录 L/M/N + 6.3）。成本扰动、域迁移、真实成本核算下指数稳定；SWE 系数下 αE 与 αT 不可区分的诚实披露；40 美元/世界的头名易位线。

主结果汇总表：

负结果也透明报告（Related Work 末段与附录）：乘法形式替代加性、单轴合并拟合、raw 成功率直接拟合、固定分配下加 curriculum——均不如主方法。

指标如何证明论点

“瓶颈在分配不在数量"这个中心主张的证据链：Figure 1 证明同数量不同分配差 14 点（分配重要）→ 21 设置指数排序证明三轴回报结构性不等（分配有规律可循）→ κ/r* 证明合成效率由轴决定（合成分配也有规律）→ 闭式配方 + 留出验证证明规律可外推成可操作公式（分配可解）。每一步的指标设计都针对上一步留下的漏洞：指数排序不依赖拟合方法（局部斜率）、不依赖 token 混淆（信号对齐）、不依赖崩溃判据（替代判据复查）、配方不过拟合测试床（留出规模与模型、成本扰动）。

六、效果优势的根源解释

6.1 根源机制与证据链

因果链一：环境多样性提供了不可替代的结构变异（论文实验已支持）。机制：每个新环境迫使策略跨不同状态空间、动作词表、工具反馈动力学泛化——这些是结构性变异，无法从固定环境内的新任务获得；任务只换目标结构不换交互语法；已覆盖 (task, env) 格上的重复 rollout 主要在已探索策略区域内部降方差，一旦样本足以估好优势，继续采样回报递减（GRPO/DAPO 的方差缩减机制所限）。证据链：α 排序在 21 设置成立 + L0 安慰剂（内容变异 0.07）+ 世界-结构分解（αW 最大）+ 交叉项（环境是任务的前置）。其中"为什么环境最陡"的机制解释是论文自己的解读（Interpretation 小节），属"与数据一致的合理解释"而非直接干预实验——但 L0/L1/L2 三级分解本身就是对"结构 vs 内容"的干预实验，支持力度较强。

因果链二：崩溃谱由接地强度决定（论文机制解释 + 外部文献支持）。环境合成被解释器逐步硬约束（分布漂移有界）→ 任务被可验证奖励弱锚定 → 轨迹只被自身分布接地（复现并放大偏差）。r* 排序 9.4≫3.4≫1.4 与之同向。这与预训练侧模型崩溃文献的机制（自分布采样导致分布尾部丢失）同构——外部文献（Shumailov et al. 2023、Seddik et al. 2024）从不同场景得出"递归自采样有累积代价"的一致结论。需注意边界：论文未对"接地强度"做直接干预（例如给任务合成加执行过滤是否提升 r*_T），该机制是合理推断而非直接因果证明——论文自己也只是说 aligned with。

因果链三：优化保持指数排序（数学必然 + 实测验证）。KKT 解中更陡的 loss 指数与更高折扣获得更大份额——这不是经验发现而是凸优化的结构性推论；IsoFLOP 经验最优点与预测斜率吻合提供实证闭合。合并数据指数 0.74 > Chinchilla 0.5 的"regime 声明"则依赖因果链一成立。

因果链四：留出验证的成功来自定律的可外推性（论文实验已支持）。预测区间覆盖实测（51.7±1.6 vs 51.3±1.4），且配方在 SWE/web 重推指数漂移 <0.04——说明拟合的不是测试床特异的巧合。

反事实验证（论文内建）：naive 与 Chinchilla-transferred 两个对照 arm 在同预算下实测 42.9%/47.3%——若"分配不重要"则三 arm 应无差异；14 点与 8.4 点的差距本身就是反事实证据。

6.2 相关工作检索与对照

以下基于论文 Related Work 与笔者确证的知识，检索范围如实标注。

在本次检索范围内未发现：(1) 对 agentic 数据做逐轴分解 scaling 的先前或同期独立工作（本文问题定义在检索范围内是新的）；(2) 对"接地强度"机制的直接干预实验（如给任务合成加执行验证器后 r*_T 是否上移）——这是根源解释里最值得补的实验缺口；(3) 前沿模型规模（>14B）上的配方验证——论文自己也列为未决方向。

6.3 综合判断与未决问题

多研究共同支持的机制：(1) 重复采样的边际回报递减——GRPO/DAPO 的方差缩减分析、本文 ατ 最低、主流实践对比三重印证；(2) 合成数据的崩溃是真实且可定量的——预训练崩溃文献与本文 r* 谱互证；(3) 环境多样性的前置性——本文交叉项、L0 安慰剂、世界-结构分解内部一致，RLVE/GenEnv 的独立经验同向。

仍属推测的部分：接地强度排序（解释了 κ 与 r* 谱但无直接干预）；αW 在更大世界池（384 签名天花板之外）的延续性；奖励轴的正交化处理（论文自己承认只做了类别控制变量）。

适用条件与失效条件：绝对指数是 regime 特异的（±0.05 漂移），搬运公式时应重拟合；SWE 系数下环境与任务不可区分——环境轴的头名不是普适的；单世界完全加载成本超约 40 美元等效时世界采购让位；配方在 C≤4C0 时三 arm 差距 <1 点——“预算紧张时配方选择几乎无所谓"是适用下限；验证规模止步 14B/32C0，前沿规模外推是未决问题。

七、必要知识反推

领域知识层

• agentic RL 数据解剖：必须能定义什么是"一个任务”（去重规则如何影响计数——本文用嵌入余弦距离并做了五种替代规则稳健性）、什么是"一个环境”（结构签名 vs 世界的两级本体论）、什么是"一条轨迹"。没有这套本体，“分解"无从谈起；本体定义错了（如把内容种子算作环境），指数就是自我欺骗——L0 安慰剂实验就是对本体的压力测试。
• 各领域测试床的威胁模型：SWE/AppWorld 要 world-held-out、web 要 task-held-out——知道每根轴的泛化威胁是什么，才能设计不偏向自己结论的评测。
• 合成管线的工程现状：知道 AWM/AutoPlay/SWiRL 各自生成什么、成本几何，否则定价表无从构建。

方法论知识层

• scaling law 拟合传统：Kaplan/Chinchilla 的加性幂律形式、L∞ profiling、加权最小二乘、log-linear 内层闭式——直接复用预训练工具箱。
• 实验设计三件套：锁饱和单变量扫描（药物试验式）、训练信号对齐（排除 token 混淆——这是本文最关键的方法论创新点之一：不等化 token 则三轴不可比，等化则测的是另一回事，本文选择对齐信号并诚实报告等化替代方案的后果）、免拟合的局部斜率验证（防止"拟合形式制造排序"的质疑）。
• 约束优化与 KKT：Lagrangian、闭式解、预算约束定 λ——教科书内容，但要知道"1/κ 加权单价"这种建模翻译。
• 统计稳健性：bootstrap CI、Mann-Whitney、配对差值、ANOVA 方差分解——21 设置的可信度全靠这些。

工程知识层

• verl/VerlTool 训练栈：多工具 rollout 的实现、GRPO/PPO 双算法配置。
• 合成器 harness 统一：九种方法跑在同一 harness 下（附录 I）——否则 κ 的横向比较是苹果对橘子；这是"定价"可信的工程前提。
• 成本核算：美元单价 × κ 折算成等效单价、FLOP/step 实测、IsoFLOP 档位设计——把"算力预算"从口号变成可解方程的输入。

知识融合的关键节点

1. “Chinchilla 思维"与"agentic 数据解剖"的融合：把 (N, D) 二元组扩展成 (N, DE, DT, Dτ) 四元组，加性幂律形式照搬——融合产物是分解式定律。关键洞察是"数据的结构维度不该被求和压缩”。
2. “货币汇率"与"机器学习数据"的融合：κ 折扣因子的定义把异质合成方法放进同一账户体系。关键在于先有指数（汇率表）后有定价——步骤顺序不可交换是全文的方法论骨架。
3. “崩溃文献"与"轴本体论"的融合：预训练侧把崩溃当全局灾难，本文把它改造成轴属性 r*——这需要同时懂崩溃机制（自分布接地）与轴的接地差异。
4. “凸优化"与"实践痛点"的融合：主流押轨迹的错位被 KKT 解一次性量化——数学工具不新，但知道该把什么变量放进目标与约束（包括 1/κ 单价修正）是领域判断力。

八、论文中可以提取的通用性灵感

灵感一：当标量抽象遇到结构化资源——先分解再优化

核心思想：任何被传统指标压缩成标量的资源（数据量、人力、时间），一旦其内部各维度的边际回报不同且获取成本不同，就应该分解为多轴设计空间并对预算分配做约束优化。论文证据：同 token 同 FLOPs 下分配不同差 14 点；闭式配方 1.4×-1.7× 效率。推广场景：(1) 研发团队编制分配——研究员/工程师/产品三轴的"指数"与"单价"差异；(2) 营销预算跨渠道分配；(3) 云成本在算力/存储/带宽间的分配；(4) 个人学习时间在课程/项目/社交间的配置；(5) 临床试验在适应症/剂量/中心间的资源切分。

灵感二：边际回报排序往往反映"变异的结构层级”

核心思想：资源各维度的回报排序常对应其带来的变异深度——改变交互语法（结构）> 改变目标（任务）> 重复采样同分布（方差缩减）；内容层面的变化近似安慰剂。论文证据：αW(0.44) > αV(0.28) ≈ αT > ατ(0.11)；L0 内容种子 0.07。推广场景：(1) 教育训练——换题型/换学科 vs 反复刷同类题的收益结构；(2) 机器人 sim-to-real——域随机化的维度选择（动力学结构 vs 表观纹理）；(3) 网络安全红队——攻击面结构变异 vs 参数变异的防御泛化压力；(4) 游戏关卡生成——机制变体 vs 数值变体；(5) 组织学习——跨部门轮岗 vs 同岗位深耕。

灵感三：给异质供应商定价需要先有"汇率表”

核心思想：比较异质来源（合成 vs 真实、外包 vs 自建）的效率时，先用目标系统的响应曲线（指数）建立公度单位，再定义折扣因子——没有单位的百分比比较没有意义。论文证据：κ 的定义依赖 α（“没有逐轴指数，‘合成数据打七折’无单位"是论文原话）；轴归属解释 97% 方差。推广场景:(1) 数据采购——外部数据源按下游模型增益折算等效内部数据量；(2) 混合云——按任务完成质量给供应商打 κ；(3) 内容平台——UGC/AIGC 内容对用户留存的等效系数；(4) 招聘——不同背景候选人的岗位绩效折算；(5) 能源——绿电/储能/需求响应的系统等效容量。

灵感四：合成资源的耐久度由"接地强度"决定

核心思想：自生成资源的累积退化临界点，取决于生成过程被外部现实约束的强度——执行验证 > 结果验证 > 自分布采样；设计合成管线时应把接地最强的环节放在最前。论文证据：r* 谱 9.4（环境，解释器逐步硬约束）≫ 3.4（任务，奖励弱锚定）≫ 1.4（轨迹，自分布采样）；与预训练崩溃文献机制同构。推广场景：(1) 数据增强——带物理约束的仿真增强 vs 插值增强的崩溃风险；(2) 知识管理——AI 生成文档必须锚定外部引用；(3) 自动化测试合成——可执行断言 vs 模型自评；(4) 教育内容生成——锚定教材 vs 自由生成；(5) 代码生成——编译/测试接地的合成数据优于纯模型生成。

灵感五：留出规模的验证是"配方"类研究的金标准

核心思想：任何声称"应该这样分配"的处方，其可信度在于用它没见过的规模与配置外推预测并实测命中——拟合内插人人会，外推命中才是定律。论文证据：4B/8B ≤8C0 拟合 → 14B/32C0 预测 51.7%±1.6%，实测 51.3%±1.4%；同时诚实披露生成器清单天花板对预测的妥协（500 单位中仅 384 结构唯一）。推广场景：(1) 结构工程的安全系数外推验证；(2) 药物剂量从小人群到大规模人群的预测；(3) AB 测试结论跨市场外推；(4) 容量规划从历史负载数据外推未来峰值；(5) 教育 IRT 从校准样本到新考生群体。

灵感六：诚实标注适用边界反而增强结论可信度

核心思想：主动声明"我的结论在哪组参数下不再成立”（头名易位的成本线、指数不可分的域），比普适性宣称更接近工程可用的知识。论文证据：SWE 系数下 αE≈αT 的披露、40 美元世界成本线、C≤4C0 时配方选择无关紧要的下限声明。推广场景：(1) 技术选型报告写明失效条件；(2) 医疗指南标注不适用人群；(3) 金融策略声明 regime 依赖；(4) 政策评估的边界条件；(5) 任何 benchmark 论文报告"何时我们的方法不再占优”。

附录：关键数字速查

• 指数（Qwen3-8B math+code）：αE 0.41 / αT 0.26 / ατ 0.11；分解后 αW 0.44 / αV 0.28；L0 安慰剂 0.07；αN 0.30。
• 崩溃比：rE 9.4 ≫ rT 3.4 ≫ r*τ 1.4；κ 范围 0.31（Self-Play）到 0.71（AWM）。
• 配方：DE ∝ C^0.34、DT ∝ C^0.27、Dτ ∝ C^0.13、N ∝ C^0.26，和 ≈ 1.00；合并数据指数 0.74 vs Chinchilla 0.5。
• 留出验证：32C0/14B 预测 51.7%±1.6% vs 实测 51.3%±1.4%；对 naive +8.4 点、对 Chinchilla +4.0 点；效率 1.4×-1.7×。
• 成本参照：环境 4.10 美元/个、任务 0.18 美元/个、轨迹 0.02 美元/条；世界采购头名线约 40 美元等效；总实验规模约 61,000 H100-GPU-hours。
• 去重与本体细节：任务按句嵌入余弦距离 > 0.15 去重（五种替代规则下 αT 波动 [0.238, 0.261]）；环境按结构签名（工具/API 表面 + 状态 schema + 转移语义 + 验证器接口的规范哈希）去重，内容变化不产生新实例；饱和锚点 (DE, DT, Dτ) = (256, 10,240, 8)，校准标准是倍增改变成功率 < 2 点。
• 读图指南：Figure 2（逐轴拟合，看 CI 不重叠）→ Figure 3（交叉项热图，看 Pareto 脊）→ Figure 4（崩溃曲线，看 r* 竖线位置）→ Figure 5a（IsoFLOP 预测 vs 经验点）→ Figure 5b（三配方对比 + 黑星留出验证）——五张图就是论文全链条的视觉摘要。
• 一句话总结：这篇论文把 agentic RL 的数据问题从"攒多少"改写成"往哪花”，并给出了完整的答案链条——三轴指数排序是汇率表，κ 与 r* 是供应商报价与风险评级，Chinchilla 式配方是投资组合，留出验证是审计报告；对一切"预算有限、维度多样"的资源分配问题，这套分解-定价-优化的三步框架都值得照抄。