训练机制四重奏：方向、坍缩与信用分配——OPSFT、Mesh Learning、DepGPO、SCAD 合读

题目区

本篇是四篇论文的合读（quartet 模式），主题是 LLM 训练机制的因果发现——方向、坍缩与信用分配：

1. On-Policy Parameter Update Direction Underlies Generalization in LLM Post-Training（OPSFT）（arXiv:2609.36659，代码：GitHub）——中科院计算所 AI 安全全国重点实验室 + 国科大 + 美团。产学研合作：中科院计算所主导理论与实验（一作与通讯所在），美团提供合作作者参与后训练方法研究。2026 年 9 月发布。
2. All Work And No Play Makes Jack a Dull Boy: Understanding and Preventing Catastrophic Strategy Collapse in RLVR（Mesh Learning）（arXiv:2610.02835，摘要声明代码在 GitHub、正文未给出具体 URL）——北京大学，三位作者（两位共同一作 + 通讯），纯高校，无企业参与。2026 年 10 月 2 日发布，84 页长文含全部定理证明。
3. Credit Where It Matters: Dependency-Aware Policy Optimization for Terminal Agents（DepGPO）（arXiv:2610.03634，代码未见）——东南大学计算机学院 + 华为诺亚方舟实验室。产学研合作：东南大学主导方法设计（一作及通讯 Lei Feng），诺亚实验室两人参与方法与实验。2026 年 10 月 2 日发布。
4. SCAD: Structured Credit Assignment and Distillation for Long-Horizon Agents（arXiv:2610.03372）——北京邮电大学 + 清华大学 + 南洋理工大学（新加坡），纯高校跨国合作，两位通讯作者分属北邮与 NTU。2026 年 10 月 2 日发布。

四篇论文在 2026 年 9 月底至 10 月初密集出现，各自孤立发表，但拼在一起恰好构成 LLM 训练机制的一条因果链四环节：

• 更新方向（OPSFT）：训练到底往哪走？on-policy 泛化优势的物理载体是什么？
• 策略坍缩（Mesh Learning）：沿这个方向走下去会发生什么？为什么晚期会崩？怎么保持多样性？
• 步骤信用（DepGPO）：终端奖励信号确定之后，该怎么分配到轨迹中的每一步？
• 长程监督（SCAD）：教师信号在长轨迹上怎么不失效？终端信号与教师信号怎么共存？

一句话概括四篇的共同底色：把训练机制从"经验有效的配方"还原为"可解释的因果结构"——方向是三元组 {−1,0,1}^d 的符号几何，坍缩是策略容量的幂律下界冲突，信用是执行依赖图上的反向回溯，监督是上下文匹配下的信号分配。这四篇都发布于 Preprint 阶段，结论尚待同行评审检验，阅读时需注意证据边界。

一、论文背景：后训练的三个"知其然"

1.1 “SFT 记忆、RL 泛化"知其然

后训练（post-training）指预训练之后的全部训练阶段，主流两条路线：SFT（监督微调）拿人工或强模型产出的高质量轨迹做下一 token 预测；RLVR（可验证奖励强化学习）让模型自己 rollout，用可自动验证的结果（数学答案对错、代码测试通过与否）当奖励，GRPO/DAPO/GSPO 是其主力算法族。工业界的共识是"先 SFT 再 RL”：SFT 稳定输出格式，RL 提升推理上限。ICML 2025 的经典比较研究（Chu et al., arXiv:2501.17161）把现象定格为一句口号——“SFT memorizes, RL generalizes”：在规则变体与视觉变体上，outcome-based RL 泛化、SFT 记忆。

但为什么？没人说得清。on-policy 范式与 SFT 差异巨大（采样分布、负样本、reverse KL、clip……），逐组件分析成本高且结论碎片化。近年一条更本质的路线出现：绕开组件，直接比较两者的参数更新行为——更新发生在哪些位置（稀疏性）、更新幅度多大（谱特性）。Mukherjee et al.（NeurIPS 2025）发现 RL 只更新 5%–30% 参数的子网络，且该子网络跨种子、跨数据、跨算法高度复现。但这些研究把更新行为当作 on-policy 训练的副产品来观察，没有追问：这些行为本身能不能反过来当优化原则用？这是 OPSFT 的出发点。

1.2 RLVR 晚期坍缩知其然

RLVR 训练有一条公认的暗线：训练前期精度稳定爬升，某一刻突崖式下跌（collapse）。这个现象在 GRPO/DAPO/GSPO、加 KL 或 JS 正则、Qwen 与 Phi 两个家族上都复现——换算法、换正则、换模型都躲不开，说明它不是实现 bug，而是当前 RLVR 优化目标的共性缺陷。经验对策也有一堆：动态采样、非对称 clip、熵正则、发散约束（DAPO、DPPO、TMAX 各显神通），但都是在现象层面打补丁。

同时期一批实证研究从侧面逼近真相：Liang et al. 观察到 Pass@1 提升伴随生成多样性下降、大 k 下 Pass@k 退化；Yue et al.（NeurIPS 2025 满分论文）证明 RLVR 并未扩展推理边界，只是放大基座已有的高奖励路径、甚至收缩覆盖范围；Nguyen et al. 把"推理边界收缩"归因于负干扰与赢家通吃。坍缩是什么、为什么必然发生、能否在精度崩之前预警——这三个问题缺一个统一的理论回答。这是 Mesh Learning 的出发点。

1.3 信用分配与教师信号知其然

第三块背景在 agent RL。终端 agent（命令行多步任务）与长程搜索 agent 的训练信号只有终点一个 0/1 分。GRPO 的做法是把轨迹级优势均匀广播给每一步每个 token——用 DepGPO 的 Pilot 分析量化：61% 的任务组（K=4 采样）奖励全同、组相对优势恒为零；即便在通过验证的参考轨迹里，中位数只有 0.57 的命令真正落在通往验证结果的依赖路径上（≥5 命令的任务仅 0.18）——均匀分配意味着大量训练信号送给了无关操作，甚至强化了"将被覆盖的写"。另一边，长程 agent 的另一训练支柱 on-policy 蒸馏（OPD）（教师模型在学生访问的状态上逐 token 打分）也有软肋：随着学生自生成历史变长，教师反馈在深层交互上失去区分度（“prefix teach, suffix fade"现象）；更麻烦的是终端负反馈会压制失败轨迹中执行正确的子任务的教师信号。怎么把信用分准、把教师信号保住——这是 DepGPO 与 SCAD 的出发点。

1.4 四个问题其实是一个

把三个背景并置会发现它们是同一枚硬币：训练信号从目标（方向）→ 动力学（坍缩）→ 分配（信用）→ 保护（监督）逐层展开。任何一环失守，后训练就退化为"玄学调参”。四篇论文恰好各守一环。

还有一层有趣的呼应：OPSFT 证明 on-policy 训练的宏观输出（累积方向）可以离线复用，Mesh 证明 on-policy 训练的长期风险（容量压缩）需要在线干预，两者分别回答了"on-policy 给我们留下了什么"与"on-policy 拿走了什么"；DepGPO 与 SCAD 则在 agent 场景下处理 on-policy 信号的两个操作性问题（分配与保护）。四篇合起来像一份 on-policy 范式的资产负债表。

二、论文定位和关联工作

2.1 OPSFT：从"观察更新行为"到"用更新行为当约束"

OPSFT 站在三条研究脉络的交汇处：

• on-policy 优化行为分析：Wu/Zhu/Shen 等从谱视角比较更新几何，Mukherjee et al. 发现 RL 更新限定在小子网络（5%–30%）。前者的局限是只做观察，后者揭示了"位置"这一维度。OPSFT 的关键推进：位置 {0,1}^d 只是方向 {−1,0,1}^d 的退化形式——每个参数不仅"动不动"，还有"往哪边动"。只共享位置不够（实验证明甚至更差），必须共享符号。
• 任务相关参数定位（稀疏微调）：BitFit、LoRA-TL、SMT 等用启发式估计参数-任务相关性再稀疏更新。OPSFT 的区别：不靠启发式，靠 on-policy 训练本身充当"定位器"——它天然识别出位置和方向。
• 改造 SFT 的泛化：Qin & Springenberg 的数据选择、logit 加权损失、负样本学习等从目标函数/数据构造上模仿 on-policy。OPSFT 换了个维度：直接在参数空间传递优势。

2.2 Mesh Learning：从"工程补丁"到"策略级定理"

• RLVR 优化改进线：DAPO/CISPO/GSPO/SAPO/Dr.GRPO/VAPO/REINFORCE++ 等改进采样、裁剪与目标——都默认"优化得好就不崩"。Mesh 直接证明：崩是目标本身的三定理级必然。
• 坍缩实证线：Liang（Pass@k 退化）、Nguyen（推理边界悖论）、Yuan（过度训练致多样性坍缩）、M-GRPO（长程突变坍缩）记录现象。常见药方是固定参考的 KL/JS 正则，Li et al.（ICLR 2026）证明 JS 比 KL 更保多样性。Mesh 的 Thm3 直接判了这类药方的死刑：奖励差与正则强度之比 ΔR/β 超过有限阈值 C_D，最优解仍坍缩到单一策略——固定散度正则原理上不可能通用防坍缩。
• Mesh 的原创抽象：用轨迹级 Fisher 分数耦合核 K_ij = U_i^T U_j 定义"策略"——对参数更新响应一致的轨迹等价类（邻域等价的严格数学定义见其 Def 1：正耦合 + 与所有被考察轨迹的耦合轮廓相似）。这个定义纯优化中心、不依赖语义；再用实验证明它与人类可辨的解题方法对齐（MATH-500 上同类方法内轨迹耦合显著高于跨类，ε=0.05 时的划分与 DeepSeek-V4-Pro 标注的方法类吻合），于是"策略"既可理论分析又可工程控制。这个对齐还附带一个方法论赠品：既然方法前缀能代理策略，那么策略容量 m 可以保守估计——论文用 Coach 枚举 1000 道 MATH 题的方法取最小值 4，避免了高估任务多样性。

2.3 DepGPO：从"状态分组"到"执行依赖"

步级信用分配的既有路线：GiGPO 用锚点状态（跨轨迹重复出现的环境状态）分组对比同状态动作；HGPO 加历史上下文；GAGPO 用分组状态价值传播；GEPO/GraphGPO/G2PO 从状态转移图的结构重要性导出信用；HCAPO 用 LLM 事后重估。DepGPO 的 Pilot 直接测出这些方法在终端任务的死穴：锚点状态极少复现——两个锚点最多的任务里 25 个锚点状态只有 4 个复现（文件系统状态几乎不重样）。DepGPO 换用执行 trace 里的读-写依赖（文件边 + stdout 复用边）作为信用证据——不依赖状态重合、不需要学习型打分器、直接回答"验证器读到的内容是谁写的"。与 DARS（谓词依赖图势函数塑形）思路同源，但 DepGPO 不改奖励，只重分配 GRPO 优势。

2.4 SCAD：从"信号混合"到"信号分职"

长程 agent 训练的组织结构谱系：AgentFlow/Context Folding/CoDA/AgentFold/IterResearch 管上下文；HiPER 分层规划/执行优势；GiGPO/Tree-GRPO 共享状态与树搜索分组；TCOD/MemOPD/ATOD 优化 OPD 的时间课程或记忆对齐。SCAD 的差异化：三个组件都围绕"信号该在什么粒度、什么上下文、给谁"——局部蒸馏限定教师评分的上下文粒度；前缀树信用限定跨 rollout 比较只在共享历史下进行；信号分配按规划/执行角色决定终端信号与教师信号的组合方式。对照表中 ATOD（腾讯+清华）是最近对手：退火 OPD-RL 调度 + 轮级重加权，但教师监督仍用全历史上下文。

2.5 定位总结

三、问题定义

四篇论文的问题可以统一为一个抽象框架：后训练 = 在巨大参数空间中，用极其稀疏的终端信号引导策略分布的重构。每篇各切一个自由度：

3.1 OPSFT：方向充分性假设

• 具体问题：on-policy 范式的泛化优势能不能迁移给 SFT？
• 抽象问题：泛化优势的载体是参数更新的累积符号方向 v = sign(θ_on − θ_base) ∈ {−1,0,1}^d，而非采样方式、损失函数或更新位置本身。
• 形式化：给定 base 模型 θ_base、少量 on-policy 训练得到 θ_on，求符号向量 v；SFT 的每步梯度 g 被约束为 g_s = I(sign(−g) = v) ∘ g（只保留与 v 符号一致的梯度分量），问：约束后的 SFT 能否达到 on-policy 的泛化水平？
• 精妙之处：把"泛化能力"这个看似属于数据与目标函数的性质，还原为参数空间的一个离散几何量（符号向量）。它的可证伪性极强——随机方向、仅位置、跨域方向三组对照任何一个不按预测走，假设就崩。

3.2 Mesh Learning：坍缩的必然性定理

• 具体问题：RLVR 晚期精度坍缩的机制是什么，如何预警与阻止？
• 抽象问题：把"策略"定义为对更新响应一致的轨迹等价类后，RLVR 优化动力学与任务精度需求是否结构性冲突？
• 形式化（三个定理构成的归谬法）：
  • Thm1（坍缩必然）：若 GRPO/DAPO/GSPO 保持在非坍缩区（精度非平凡），则以高概率把每个 query 的策略质量集中到单一策略（≥1−ζ）。
  • Thm2（容量下界）：维持精度 P_acc 需要可用策略容量满足幂律下界 |S_ε,k| = Ω(ρ,γ)(m_ε N^(P_acc−γ))——精度越高需要的策略越多。
  • Thm3（正则失效）：固定 KL/JS 散度正则下，最优-次优奖励差与正则强度之比 ΔR/β 超过有限阈值 C_D 时，最优分布仍把 ≥1−ε 的质量放在单一策略上。
• 精妙之处：坍缩不是"训练出 bug"，而是 Thm1 与 Thm2 的逻辑合取不可能——优化必然压缩容量，而精度需要容量，矛盾迟早兑现为精度悬崖。坍缩时间是随机变量（Thm1 以概率成立），这解释了为什么"偶尔有 run 不崩"。

3.3 DepGPO：信用 = 依赖可达性

• 具体问题：终端任务 agent RL 的步级优势怎么分配？
• 抽象问题：组相对优势决定学习信号的正负与幅度，执行依赖决定它在步间的分配——两者解耦。
• 形式化：构建有向无环命令依赖图 G（文件边 + stdout 边），从验证器读取集 E 反向回溯得可达图 G_E。写命令信用 = 其写入行中到达 E 的比例 Contrib(c) = |W_c^E|/|W_c|；读命令信用 = 其支撑的正信用写入按最短路径衰减求和 q(r) = Σ_c β^{d_G(r,c)}·Contrib(c)；逐步聚合归一化为均值 1 的非负步因子 f_{i,t}，逐步优势 = (f_{i,t}/Z_i)·Â_i（Z_i 为 token 加权均值因子）。
• 精妙之处：信用是非负的相关性分数，不含成功与否——符号永远由组相对优势决定。这保证了"谁该被强化"（组间比较）与"强化多少"（依赖强度）正交，不会因信用分配翻转学习方向。

3.4 SCAD：信号按角色分配

• 具体问题：长程 agent 中教师监督与终端奖励如何共存？
• 抽象问题：规划（决策方向）与执行（动作质量）对信号的需求不同——规划需要带符号的因果比较（错了要罚），执行需要保护性正向信号（好的执行不该被负终局连坐）。
• 形式化：token 优势按角色二分：规划 token A = A^grp + B_tree（带符号终局 + 树信用）；执行 token A = max(A^grp, 0) + δ（正终局 + 截断的教师信号 δ = clip(Δ, −b, b)，Δ = log π_T/π_old）。命题 3 证明：该分配在对偶裁剪下弱增大每个 token 的直接对数概率导数（相对均匀混合），且失败轨迹上退化为纯教师更新。
• 精妙之处：命题 3 的证明显式构造了反事实——当 g < 0 且 0 < δ < −g 时，均匀融合给负导数（g+δ<0，压制），SCAD 给正导数 δ>0（保护）。负终局信用在数学上不可能压过教师信号。

四、问题解法

4.1 OPSFT：两段式"方向识别 + 方向约束"

阶段一：识别方向。 先在目标数据集上跑少量 GRPO 步（实验中 50 步即可），取训练前后参数差得到累积更新方向，量化为符号向量 v = sign(θ_on − θ_base)。理论依据是式 5/6 的对比：SFT 梯度沿固定教师分布的 s_θ(x,τ) 方向（余弦相似度累积接近 1.0），on-policy 梯度是优势 A 与 s 的协方差方向、随策略演化持续调整（累积约 0.5）——持续的调整意味着 on-policy 花了整个训练过程"寻找"一个泛化友好的累积方向，这个方向本身携带信息。

阶段二：两级约束 SFT。 每步先做梯度级掩码（式 7，只保留与 v 符号一致的梯度元素），再在优化器步后做参数级硬投影（对抗优化器内建正则项如 AdamW 动量对方向的扰动，附录 A 详述）。类比：v 像一条山区步道的导览路线图——SFT 这个登山者仍自由选择踩点（梯度大小、步长），但只允许朝路线图标注的方向前进。

两个应用场景：① 效率——50 步 GRPO 识别方向 + 100 步 OPSFT，8.9h 达到 19.3h 完整 GRPO 的水平；② 后训练后继续提升——GRPO 训完的模型用 OPSFT 沿原方向继续吃新积累的高质量轨迹，直接 SFT 会掉点（能力被冲掉），OPSFT 继续涨。

训练动力学的自我修复现象（Figure 6，值得单独一提）：OPSFT 更新被限制在 v 决定的参数子集内、子集内是稠密更新；矩阵级方向在训练早期与晚期差异显著——这说明参数级（符号）约束并没有把矩阵级行为锁死，而是先把 SFT 的优化轨迹重定向到泛化友好的矩阵级方向，随后沿该方向自由优化。换言之，符号约束是"导轨"而非"牢笼"——这回应了一个自然疑问：仅约束符号会不会过强？实验答案是不会，因为剩余自由度（幅度）足以支撑后续优化。

4.2 Mesh Learning：监测器 + 防坍缩框架

MEI 预警指标。 从坍缩几何导出：坍缩临近时轨迹 logit 梯度 v_i 相互收缩（‖v_i − v_j‖→0）。MEI = ‖Σv_i‖²/Σ‖v_i‖²，等价形式 1 + 2Σv_i^T v_j/Σ‖v_i‖²。轨迹对齐→分子平方和主导→MEI 升；弱耦合时基线为 1。在 pre-RLVR 的 Qwen2.5-7B-Instruct 与 Qwen3-4B 上跨三个数据集标定出 3σ 阈值 1.013。附录 B 定理 5 保证 logit 梯度收敛蕴含参数梯度收敛，故 MEI 是策略几何的忠实代理。选 logit 梯度而非 Fisher 分数的原因是内存：参数梯度向量维度为 d（数十亿级），仅存储就会吃掉 64GB 显存；logit 梯度维度等于词表维度与序列的乘积，反向传播第一阶段即可免费拿到，计算开销相对注意力计算可忽略——这是"理论量"到"可部署量"翻译的典型工程取舍。

Coach Prompting（CP）。 离线用一个 Coach LLM（实验用 DeepSeek-V4-Pro）为每个训练 query 生成 m=4 个语义不同的策略前缀（暴力枚举/幂律公式/方程变换/模式归纳这类方法提示，不含计算与答案），每个前缀条件化一个独立 rollout 组（16 rollout = 4 策略 × 4 次）。前缀在训练中被当作"候选"而非指令——策略先评估其适用性再作答；推理时移除前缀，模型自提策略并走同一验证流程。Coach token 从损失中 mask 掉，不引入在线开销。

策略均衡正则。 定义策略 i 的可微支撑代理 z_i =（其正确轨迹平均 log 概率），以 pre-RLVR 参考策略为基准取差 z − z_ref，正则 JS = D_KL(U_m ‖ softmax(z − z_ref))。两个关键性质（附录 C.2 证明收敛到每策略非零质量的均衡）：① 梯度 ∇_z JS = p − (1/m)1 抑制相对快增策略、补强滞后策略；② 平移不变 JS(z + c·1) = JS(z)——只控相对增长不抗共同提升。长度偏差与 padding 捷径都被 z − z_ref 基准化消掉。

4.3 DepGPO：从 trace 到逐步优势的五步流水线

一个具体例子走通五步（改写自论文 Figure 2 的 nginx 场景）：agent 依次执行 cat nginx.conf（读）→ sed -i s/80/8080/ nginx.conf（写）→ cp nginx.conf /tmp/bak（读+写）→ systemctl reload（进程操作）→ apt-get install xxx（无关写）。验证器只读 app.conf 与配置项。回溯：验证器读的配置行来自 sed 的写入 → sed 拿到直接写信用；cat 的 stdout 被后续命令复用、支撑了 sed 的修改 → cat 按距离衰减拿读信用；apt-get 写的文件从未被 E 或后续有效命令读取 → 信用为零。GRPO 的均匀分配则给五步同样的优势——包括那个无关的 apt-get。

保守规则的设计哲学：间接贡献要求消费命令"写别的文件且不覆盖输入行"——同文件编辑不产生输出、覆盖行不能算贡献。宁可漏credit 也不误判，这与"非负信用 + 组相对优势定符号"的解耦设计一致：分配错误不会翻转学习方向，只会钝化它。

4.4 SCAD：三组件流水线

组件一：子任务局部蒸馏。 共享一个策略模型扮演规划与执行两角：规划只可用 branch（委派子任务）/finish（提交答案），执行可用环境工具 + return（返回报告）。执行上下文 c^E = (x, d_ik, u_{ik,<t})——从任务输入与子任务指令起步，排除规划历史与之前的执行 trace，本地 transcribed 增长受 token 预算 B 约束（实现 16,384），超限即汇报"结果与剩余不确定性"收工；只有报告进入规划历史。环境工具实例化为 search（搜索）、page opening（开页）、image search（图搜）。教师（冻结）在同一本地上下文里给学生采样的 token 打分：Δ = log π_T(y|c)/π_old(y|c)，截断到 [−b, b]，其期望恰为负 reverse-KL。收集到的子任务可并行评分——本地上下文天然适配批处理，这是 RQ6 中训练时间省 38% 的来源之一（另一来源是教师 token 总需求下降）。命题 1 证明该有界分数是 reverse-KL 梯度的无偏近似，偏差由截断尾部 Lη_b 控制；且该条件性结论不要求前置子任务独立——固定 (x, d, u_<t) 即固定上下文，早先决策仍可影响任务分配与观测，但不污染局部梯度。局部上下文的红利（RQ3 实验）：深度 24 时本地 vs 全历史的教师偏好 margin 为 0.126 vs 0.039 nats/token——教师的区分度在本地上下文里高 3 倍。

组件二：跨 rollout 前缀树信用。 把 G 条已完成 rollout 的子任务序列（子任务文本嵌入余弦去聚集类 + 报告类型规范化）合并成"子任务-报告前缀树"，树节点 p 由（父节点，子任务簇，报告键）定位，STOP 也作为一个动作分支。在父节点 p 上对动作 a 计算 Monte Carlo 动作值 Q(p,a)（选择该动作的 rollout 平均回报），相对先验收缩的基线 V(p) = (N_p·Q̄_p + ν·μ_x)/(N_p+ν)（ν=2），缩放 clip 到 [−b, b] 得树优势。命题 2 证明：截断前的树信用恰好移除选择内回报方差（组内平均的统计收益），先验平移不改变兄弟对比。类比蒙特卡洛树搜索的兄弟比较——但树是从已经完成的 rollout 中事后合并的，不需要额外的分支采样。首访计数防止同一 rollout 的重复序列被重复计数，树与决策 span 在整个优化批次内冻结。

组件三：结构化信号分配。 如 3.4 所述按角色组合信号，最终目标为 token 平均化的 PPO 代理 + 对偶裁剪（式 10）。当组内结果全同时终局信号消失、蒸馏仍在——这是一个优雅的边界行为：全成功/全失败时教师信号接管训练。整个更新流程为：每轮先收集 rollout（规划保序、执行本地上下文）→ 教师并行给执行 token 打分 → 建前缀树、算树信用 → 冻结所有优势与教师分数，在收集的批次上优化共享策略。三路信号权重全为 1（教师/树信号 clip 在 b=5），没有额外的参考 KL 或熵正则——所有监督都通过分配后的优势进入，这让三组件的消融归因保持干净。

与最强基线 ATOD 的机制级差异：ATOD 用退火调度在时间维混合 OPD 与 RL（早期靠教师逼近上限、后期靠 RL 突破上限）+ 轮级重加权；SCAD 在空间维切分信号（规划/执行分职）+ 上下文维保证教师存活（本地蒸馏）。RQ3 的对照实验直接量化了后者的独立贡献：同为 Planner-Worker 架构，全历史教师监督的 ATOD 41.24 vs 局部 OPD+GRPO 的 43.75——换教师上下文一项就值 2.51pp。

五、评估指标与实验证据

5.1 OPSFT：对照链完备的方向证明

核心指标：数学 Acc@8（AIME24/25、HMMT25-Feb/Nov）、OOD 六基准均值、代码 HumanEval+/MBPP+/LCBv6；主对照为 vanilla SFT、DFT、GRPO、OPSFT(location)（只共享位置）、随机方向。

证据链设计（这是本文最漂亮的部分——每组对照排除一个替代解释）：

关键数据点：OOD 六基准（IFEval/ARC/HaluEval/Hellaswag/Winogrande/PIQA），4B 均值 OPSFT 74.11 > GRPO 73.95 > SFT 73.65 > Base 73.43；8B：76.39 > 76.20 > 75.54。后训练后继续提升（Table 3）：GRPO 后 4B 38.96 → 直接 SFT 36.25（掉）→ OPSFT 41.36（涨）；8B：40.31 → SFT 37.50 → OPSFT 42.39；1.7B 与 DeepSeek-R1-LLaMA-8B 同构（R1-LLaMA：25.21 → SFT 16.36 大掉 → OPSFT 26.15）。代码任务（Table 4，Eurus，Qwen3-4B）：OPSFT 58.07 vs GRPO 57.19 vs SFT 54.30，时间 9.5h vs 20.3h。方向识别时机（Figure 5）：GRPO 越晚期的方向带来越好的 OPSFT 泛化，且边际收益递减（100→150 步增益小于 50→100 步）——“早停识别"有理论依据。精度消融（Table 6）：BF16 下许多小梯度被舍入为零，vanilla SFT 只更新 2.702% 参数；OPSFT 进一步压到 0.408% 仍达 40.94 vs SFT 38.33（比 base 提升 24.59%）；FP32 下 SFT 更新 89.286%、OPSFT 仅 9.454%（GRPO 为 9.499%——稀疏度与 GRPO 相当）。推理行为分析（Figure 7）：方向约束让 OPSFT 的 case-split 与逻辑线索词频率逼近 GRPO、精度方差（多次采样的一致性不确定度）也接近 GRPO——不是靠拉长回复，而是真的学到了 on-policy 式的推理行为模式。

方向复用性（Figure 4）：同域跨数据集（DAPO 方向→DeepMath 任务）不仅有效甚至略优于本域方向；跨域（Eurus 方向→数学任务）失效。同域两数据集方向余弦仅 ~0.2——说明同域存在多个有效方向，泛化由"方向族"支撑。

5.2 Mesh Learning：8/8 设置最优 + 预警曲线

核心指标：Mean@4 Accuracy（AIME26/25、MATH-500、GPQA-Diamond、LiveCodeBench v6）、Pass@k（k 最大 128）、MEI 曲线。训练配置：VeRL 框架实现于 GRPO 之上，clip 0.2，每 query 16 rollout，正则权重 μ=10⁻⁵；Coast 前缀由 DeepSeek-V4-Pro 离线生成一次并全程固定。训练数据按基准分别使用 Hendrycks-MATH 7.5k、DAPOMath 7k、WildSci 4.5k、Skywork-OR1 4.5k——评测集与训练集严格分离（AIME/MATH-500/GPQA/LCB 全部为 OOD 评测）。

主结果（Table 2，Mean@4）：

跨家族（Phi-4-mini-reasoning）：AIME26 25.0（DAPO）→ 33.3（+8.3）；GPQA 23.0 → 34.5（+11.5）。LiveCodeBench v6：Qwen3-4B 52.2（DAPO）→ 56.4；Phi 32.7 → 36.3。8/8 模型×基准设置最优。

三组关键消融：

• CP 单独无增益：GRPO+CP 在 Qwen3-4B AIME26 上 43.3 vs GRPO 43.3（零提升）；DAPO+CP 36.6 反降。这组对照极其重要——它排除了"收益来自 Coach 提供的更强先验”，证明增益来自优化过程中的策略保持（均衡正则）。同理 GRPO+JS（无 CP）在 AIME26 仅 40.0——只有暴露多策略 + 均衡正则的组合才有效，二者缺一不可。附带的理论验证：附录 C.2 证明 CP + 均衡正则的动力学收敛到每个策略保有非零质量的均衡，同时一阶保持组内轨迹竞争——多策略共存不等于放弃组内优胜劣汰。
• m 敏感性：m=3 52.5 vs m=4 56.7——适度变化不敏感，过小限制暴露的策略容量。
• MEI 预警：五个基线在精度悬崖前 MEI 越过 1.013 阈值并飙升；Mesh 全程低位。GPQA 是理论预测的反例验证：四选一 γ≈1 违反 Thm2 条件，策略集中不必诱发坍缩——实验中 GPQA 的基线确实没有崩。

Pass@k（多样性保留的直接证据）：Qwen3-4B 在 AIME26/25 的 Pass@128 分别 +32.6/+28.8pp，且优势随 k 增大而扩大；Qwen2.5-7B 为 +6.9/+7.3pp。MEI 低位 + 大 k 优势扩大共同印证：Mesh 保住的正是坍缩丢失的策略容量。

5.3 DepGPO：八设置全胜 + 训练稳定性

核心指标：Terminal-Bench 2.0/2.1 pass@1（每任务 5 次独立尝试估计、完整评估重复三轮取均值±SD），两个模型（Qwen3.5-9B / Qwen3.6-27B）× 两套训练数据（SETA / TMAX）。训练配置：每批 4 任务 × K=8 轨迹，学习率 10⁻⁶，SETA 限 10 步交互、TMAX 限 56 步，依赖衰减 β=0.5；评测放宽到 56 步。

主结果（Table 1 摘录）：

8/8 设置第一；较各设置最强 RL 基线 +3.2210.03pp，较 GRPO +4.3414.53pp（27B+SETA TB2.0：25.09→37.75，+12.66pp）。值得注意的一点实验设计：所有方法从同一 SFT 检查点出发、在同一筛选任务池上训练——任务筛选阶段每组采 4 次仅保留"有成功有失败"的任务（排除全零优势组），任务池在配置内对所有方法固定。这保证了方法间差异只能来自 RL 阶段的信用分配方式。另有两个值得注意的信号：① 步级基线（GiGPO/GraphGPO）在终端任务上反而低于 GRPO——印证 Pilot 的锚点稀疏分析，状态分组方法在文件系统环境拿到了错误的分组依据；② 27B 增益大于 9B——作者推测大模型更能利用细粒度信号，小模型更受训练分布制约。

稳定性证据（Figure 5）：GRPO 后期奖励退化、最后 45 步中 43 步梯度为零；GiGPO 更早恶化、熵骤降；DepGPO 熵保持平稳（对数轴上稳定在中间量级）、梯度持续非零，且步因子标准差随训练增大——信用分配越来越有选择性，与"均匀分配导致无关步污染梯度→熵坍缩→梯度消失"的因果链吻合。这条稳定性证据与 Mesh 的坍缩理论隔空呼应：终端任务的 GRPO 退化同样是探索容量压缩的表现形式，只是 DepGPO 从信号分配侧、Mesh 从策略容量侧切入同一病灶。消融排序（识别相关写 > 区分写强度 > 给读记功 > 间接传播，单项 −6.59/−3.82/−2.17/−1.79）本身就是方法因果链的分离验证——每一层精细化都对应一个可归因的增益。

消融明细（9B+SETA TB2.0，完整 25.24）：去验证器过滤 18.65（−6.59，最大单项）；去支撑读信用 21.42（−3.82）；二值化写信用 23.07（−2.17）；仅直接写 23.45（−1.79）。

5.4 SCAD：双模态 + 三组件归因

核心指标：最终答案准确率（greedy 解码 + Gemini-3.7-Flash 判分），文本 11 基准宏平均（525 ID + 289 OOD）、多模态 8 基准宏平均（395 ID + 115 OOD）。

主结果：文本（Qwen3-4B 学生 / Qwen3-4B-Instruct-2507 教师）SCAD 46.10%，最强训练基线 ATOD 41.62（+4.48）；多模态（Qwen3-VL-2B / Qwen3-VL-4B）33.13%，最强基线 HyperEyes 28.94（+4.19），且学生反超教师 2.23pp（教师 30.90）。单数据集全面领先（如 WebWalkerQA 40.42、2Wiki 56.41）。小学生扩展（1.7B/4B 教师）：39.58% vs ATOD 35.32（+4.26），保留 4B 学生 85.86% 的准确率。

累积消融（Figure 5，固定规划/执行架构上加组件）：文本 39.88 → +局部 OPD +3.87 → +树信用 +1.24 → +信号分配 +1.11 = 46.10；多模态 19.97 → +9.46 → +1.61 → +2.09 = 33.13。局部 OPD 占总增益的 62.2%/71.9%——教师监督是最大头；树信用与信号分配在其上叠加互补增益。

三组机制实验（对应 RQ3–RQ5）：

• 教师监督深度衰减：深度 24 时教师续写增益从深度 1 的 +7.82pp 缩到 +1.28pp；本地上下文教师偏好 margin 0.126 vs 全历史 0.039 nats/token。训练后对比：全历史 ATOD 41.24 vs 局部 OPD+GRPO 43.75（+2.51）——上下文粒度是教师信号存活的关键变量。
• 树信用：五档对照（无树 44.32 → 均匀放大 ×1.6 44.61 → 单候选 44.89 → 多候选 45.32 → 完整 46.10）。均匀缩放 1.49pp 之差证明增益来自前缀特定的区分而非更大的规划信号幅度。多候选节点覆盖 23.51% 的规划决策访问、出现在 72.66% 的轨迹中。规划优势绝对值也随信用精细化上升（0.729→1.081→0.830→1.181），说明区分度而非幅度才是规划学习的瓶颈。
• 信号分配：子任务正确性与终局不一致的比例 26.49%（这是分配结构的实证必要性——四分之一的正确子任务身处失败轨迹）。正确/失败保留率：SCAD +3.64pp；Full-E 对照（signed 规划 + signed 执行 + OPD）44.99 vs SCAD 46.10——正终局执行信用贡献 +1.11。

效率（RQ6）：60 步训练用时 SCAD 4.92h vs ATOD 7.93h vs GRPO+OPD 8.21h（省 37.96%）；同 24M 教师监督 token 下 43.51% vs ATOD 41.53%。训练规模本身也值得注意：文本侧只用 400 个训练样例、8 prompt × 8 rollout、60 步更新、4 张 RTX PRO 6000——这不是算力碾压型工作，增益几乎全部来自信号组织方式，这对资源有限团队是个好消息。

覆盖率统计（附录 A.2）：4B 文本全程 60 轮更新共 3,840 条轨迹、8,973 个父组、9,813 个父-动作组——前缀树的规模证实跨 rollout 共享历史并不稀有（多候选节点出现在 72.66% 的轨迹中），这是树信用可行的数据基础。

六、效果优势的根源解释

6.1 根源机制与证据链

OPSFT 的因果链：

方法差异（把更新约束从位置 {0,1}^d 扩到方向 {−1,0,1}^d）→ 机制变化（SFT 的优化轨迹被重定向到 on-policy 识别出的泛化友好方向：累积更新方向的矩阵谱特性更均匀、主奇异向量旋转更小；更新稀疏度与 GRPO 相当（FP32 下 9.454% vs 9.499%）→ 指标提升（in-domain/OOD 全面超 SFT 并追平/超过 GRPO，保留 SFT 的高效率与免 rollout 特性）。[论文实验已支持：方向 vs 位置 vs 随机三组对照 + Figure 6 的矩阵级方向演化分析]

推测部分（阅读者推断）：论文未完全解释为什么该符号方向泛化友好——Figure 4 的跨数据集复用与同域多方向（余弦 ~0.2 仍各自有效）提示存在一个"泛化方向族"，其几何刻画（例如损失景观的连通低损失路径）是开放问题。

Mesh 的因果链：

方法差异（显式暴露 m 个策略 + 只控相对增长的均衡正则）→ 机制变化（每个策略有独立 rollout 组保证探索不靠自发涌现；正则平移不变性使共同提升不受罚、相对失衡被修正；组内轨迹竞争一阶保持——策略内部仍做优胜劣汰）→ 指标提升（8/8 设置最优 + Pass@128 大幅领先 + MEI 全程低位）。[论文实验已支持：CP-only 与 JS-only 双消融分别排除先验解释与单独正则解释；Thm3 证明固定散度正则为何必然失败——ΔR/β > C_D 时最优解仍单策略]

DepGPO 的因果链：

方法差异（信用锚定在验证器读取集 E 的反向可达性上，而非状态重合或均匀分配）→ 机制变化（训练信号集中到真正影响验证结果的写及其信息来源读：无关命令的梯度权重降为基准、将被覆盖的写不再被强化；熵与梯度范数保持非零，推迟训练退化——Figure 5 显示 GRPO 后期梯度 43/45 步为零而 DepGPO 持续非零）→ 指标提升（+3.22~10.03pp；消融中验证器过滤单项 −6.59 证明"信号去哪"比"信号多大"更关键）。[论文实验已支持]

推测部分：27B 增益 > 9B 的模型容量解释是作者的 plausible explanation，未做受控验证。

SCAD 的因果链：

方法差异（教师评分的上下文从全历史改为子任务本地 + 信号按角色分配）→ 机制变化（教师分布在本地上下文上的判别力是全历史的 3 倍（0.126 vs 0.039 nats/token），教师信号在深层交互存活；负终局在数学上不可能压制教师信号（命题 3），26.49% 的正确子任务被保护；跨 rollout 前缀树在共享历史下做兄弟比较，移除选择内方差（命题 2），规划信用比均匀放大准确区分决策质量）→ 指标提升（46.10/33.13%，三组件累积消融各自贡献可分离）。[论文实验已支持]

6.2 相关工作检索与对照

以下为围绕四条机制的外部检索结果（检索日期 2026-10-06）：

交叉验证要点归纳：

1. “RL 泛化的载体是参数几何"得到两项独立证据链支持——OPSFT 的方向约束迁移实验 + Mukherjee 的子网络复现性。前者证明充分性（给 SFT 方向就泛化），后者证明稳定性（子网络跨条件复现）。两者共同把"泛化优势"从范式属性还原为几何属性。
2. “RLVR 压缩多样性"是多点汇合的结论——Yue（边界收缩）、Wu（隐形缰绳）、Liang（Pass@k 退化）、SvS（熵塌缩）从 pass@k、熵、支撑集、合成数据四个不同侧面独立抵达，Mesh 提供了首个机制级定理解释。尚未见到反例研究声称"RLVR 扩张了答案级多样性”。
3. “步级信用必须锚定客观证据"存在清晰的适用边界——GiGPO 系（状态重合）在状态复现率高的环境（ALFWorld/WebShop）有效、在文件系统型环境失效；DepGPO（读写依赖）依赖 trace 可解析（行级写入可追踪），对无结构化环境（纯对话、GUI 截图）需另行验证——SCA（GUI 空间信用，arXiv:2609.36939）是同团队在 GUI 侧的平行探索。
4. “教师信号需要上下文管理"在 OPD 线已有独立佐证——ATOD 的轮级重加权、“prefix teach, suffix fade”（arXiv:2605.13643）报告的深层蒸馏失效，与 SCAD 的本地上下文方案构成"现象-机制-解法"三段对应。

6.3 综合判断与未决问题

跨论文的一条隐线：四篇其实在互相供弹药。 把四条因果链首尾相接会得到一个更完整的图景：on-policy 优化沿泛化友好方向推进（OPSFT 证其方向可迁移），但推进本身压缩策略容量（Mesh 证其必然性），在 agent 场景容量压缩的微观表现是信号分配失准——均匀优势把梯度浪费在无关步上、加速熵坍缩（DepGPO 的梯度消失证据），而教师信号是对抗容量压缩的外部补给线，补给线的瓶颈在上下文匹配（SCAD 的 3 倍 margin 差）。反过来，OPSFT 的方向约束（只更新 9.454% 参数）本身也是一种容量保持手段——它天然限制了优化对无关参数子空间的侵蚀，这与 Mukherjee 观察到的"RL 天然稀疏更新"形成互证：也许 on-policy 的稀疏性不是缺陷而是自我保护。这个统一图景是阅读者的综合推测，四篇论文各自都没有做这样的互引验证，但它给出了清晰的实验议程：比如在 OPSFT 训练中监测 MEI，或把 DepGPO 的依赖信用嫁接到 Mesh 的多策略组上。

多项研究共同支持的机制：① 更新方向/几何是泛化的载体（OPSFT + Mukherjee + 跨数据集复用实验）；② RLVR 的容量压缩动力学（Mesh 定理 + 四项独立实证）；③ 信用分配应基于客观依赖证据而非状态表面重合（DepGPO 消融 + GiGPO 在终端任务的失效对照）。

仍属推测的机制：① 方向为何泛化友好的第一性解释（谱均匀/低旋转是相关而非因果证明）；② DepGPO 的模型规模调制效应（27B>9B 的容量解释）；③ SCAD 树信用中先验收缩参数 ν=2 的最优性。

适用条件与失效条件：OPSFT 需要可获得 on-policy 方向（有可验证奖励的域），跨域方向失效是硬边界；Mesh 的 Thm2 条件（答案空间多样、γ≪1）意味着选择题类任务（如 GPQA）不适用其坍缩预测；DepGPO 依赖可解析的执行 trace 与行级写追踪；SCAD 依赖子任务可分解性与教师质量（教师错误会在局部上下文里被放大为密集信号）。四篇均为 Preprint，定理证明虽经作者自验（Mesh 声明 AI 辅助检查、作者独立复核），尚缺同行评审。

七、必要知识反推

假设让一个没有任何背景的人完成这四项工作，最少需要掌握什么？

领域知识层：

• 后训练范式全景（SFT/RLVR/OPD/GRPO 家族）及其经验现象（泛化差异、晚期坍缩、信用稀释）——不知道"现象是什么"就不知道要解释什么。
• 参数空间与优化几何基础：梯度、Fisher 信息、符号/位置/谱的区分——OPSFT 与 Mesh 的语言体系。
• agent 交互结构：轨迹-步骤-token 三层粒度、环境观测与策略生成的分离——DepGPO 与 SCAD 的操作对象。

方法论知识层：

• 策略梯度与组相对优势的推导（GRPO 的 Â_i 形式及其组内归一化的统计含义）——四篇全部建立在其上。
• 归谬法式的理论构造：定义等价类（策略）→ 证必然集中 → 证下界冲突（Mesh 的三定理骨架）。
• 蒙特卡洛估计与方差缩减（SCAD 命题 2 的"选择内方差移除"就是分层估计的经典结论）。
• 反事实对照实验设计：随机方向对照、CP-only 消融、均匀缩放对照——四篇的证据链都靠"排除替代解释"立起来。

工程知识层：

• 分布式 RL 训练栈（VeRL 等）与 rollout 基础设施——Mesh 与 DepGPO 的实验载体。
• 执行 trace 的解析（文件 diff 的行级追踪、stdout 值匹配、验证器插桩）——DepGPO 的全部信用证据来源。
• 多角色共享策略的上下文工程（规划/执行的渲染函数 C^P/C^E、token 预算控制）——SCAD 的实现核心。

知识融合的关键节点：

• OPSFT 的化学反应点：把 Mukherjee 的"位置观察"升维到"方向”，同时借稀疏微调的投影技术实现约束——三个不相关的领域（优化行为分析、PEFT、泛化理论）在一个符号向量上会师。
• Mesh 的化学反应点：Fisher 分数耦合核（纯优化量）与人类可辨方法（纯语义量）的对齐验证——这个"双语词典"让定理世界的策略可以在工程世界被 Coach 前缀操控。
• DepGPO 的化学反应点：把"验证器读什么"当作信用回溯的终点——验证器从"打分器"重定义为"依赖图的根节点”，一个视角转换解决整个分配问题。
• SCAD 的化学反应点：命题 3 的构造性证明把"负终局不该压制教师"从直觉变成不等式 D(ρ,A^S) ≥ D(ρ,A^U)——对偶裁剪的解析性质被用来给信号分配上保险。

八、论文中可以提取的通用性灵感

灵感一：副产品当原则（观察→约束）。 核心思想：系统运行中暴露出的行为模式（更新方向、状态轨迹、资源访问模式）不是废弃物，而是可以反过来充当系统的控制约束或诊断信号。论文证据：OPSFT 把 on-policy 的累积方向变成 SFT 的硬约束，随机方向对照（27.71）证明方向信息不可替代。推广场景：① 数据库系统用历史查询模式做索引预建约束；② 推荐系统把用户自发探索模式蒸馏为新用户的引导方向；③ 编译器把专家手写优化的热路径模式提取为自动 pass 的搜索约束；④ 组织管理把高绩效团队的工作模式（非 KPI 结果）显式化为流程约束。

灵感二：容量冲突是崩溃的通用形态。 核心思想：任何"优化压力持续压缩某资源、而系统维持性能又需要该资源保有下限"的结构，都会以突崖式崩溃收场——预警应监测资源的压缩前兆而非性能本身。论文证据：Mesh 的 Thm1/Thm2（策略容量）+ MEI 在精度崩前越阈值。推广场景：① 生态学：单一作物化压缩物种多样性，产量崩溃前多样性指数先降；② 供应链：成本优化压缩供应商冗余，断供风险在产能崩溃前于"供应集中度指标"上显现；③ 团队管理：绩效淘汰制压缩解法多样性，创新力骤降前想法相似度上升；④ 免疫系统：抗原压力压缩受体库多样性。

灵感三：从消费端反向归因。 核心思想：判断一个中间产物/中间步骤的价值，不要看它产出时多努力，而要看最终消费者是否真的用到它——沿使用链反向回溯。论文证据：DepGPO 从验证器读取集 E 反向追踪写入行，中位数仅 0.57 的命令在有效路径上；去验证器过滤是最大消融项（−6.59）。推广场景：① 代码评审：从最终被调用的 API 反向审查中间抽象层的必要性；② 内容生产：从读者划线/引用行为反向评估素材价值；③ 制造业：从最终装配反向追溯工单，识别真正进入产品的加工步骤；④ 知识管理：从决策实际引用的信息反向整理知识库优先级。

灵感四：信号按角色分职，负反馈不连坐。 核心思想：混合多种训练/反馈信号时，按信号接收者的角色决定组合方式——决策角色接收带符号的因果信号（错误要罚），执行角色接收保护性正向信号（好的执行不该被整体失败连坐）。论文证据：SCAD 命题 3 的不等式保证 + 26.49% 正确子任务被保护的实证。推广场景：① 项目复盘：战略错误追责决策层，执行层复盘中只肯定做对的动作；② 多智能体系统：任务失败时规划 agent 更新价值权重、执行 agent 只强化已验证的技能；③ 教育训练：错题订正时批判思路选择、肯定计算过程；④ 在线平台治理：整体推荐失败的实验中仍保留对单点有效策略的信用。

灵感五：上下文匹配是监督信号存活的前提。 核心思想：给建议/评分的人（教师、顾问、评审）必须与被评者共享相同的局部上下文，否则评分辨别力随历史长度衰减——“局外人无法评判局部决策”。论文证据：SCAD 深度 24 时本地上下文教师 margin 0.126 vs 全历史 0.039（3 倍差）；局部蒸馏占总增益 62–72%。推广场景：① 代码评审：评审者需在相同分支/相同上下文中看 diff 而非全库泛读；② 医疗会诊：专科意见需基于同一份局部检查而非全病历平均；③ 组织管理：一线反馈应在其业务上下文内被评估，而非被总部全局指标稀释；④ 法庭鉴定：证据链评估须锚定在具体场景重建中。

灵感六：先暴露再保持（探索的显式化）。 核心思想：不能指望系统自发维持多样性——要么显式暴露多个模式（多策略 rollout），要么显式均衡各模式的相对增长；只加"别走太远"的约束（固定正则）在奖励差距大时必然失效。论文证据：Mesh 的 CP-only 零增益 + JS-only 有限增益 vs 组合后 +13.4pp；Thm3 证明固定散度正则的失效阈值。推广场景：① 投资组合：显式持有多资产类别 + 再平衡规则，而非仅设单仓上限；② 产品线管理：显式孵化多方案 + 资源再平衡，而非只限制单一方案的资源占比；③ 进化算法：显式维持多个生态位 + 适应度份额机制（fitness sharing 正是同构思想）；④ 学术 funding：显式资助多种技术路线并按相对进展再平衡。

九、结语：训练机制的"显微镜时代”

四篇论文放在一起读，最大的震撼不是任何一个单独的数字（尽管 +12.66pp、+13.4pp、Pass@128 +32.6pp、学生超教师 2.23pp 都足够亮眼），而是方法论的趋同：LLM 训练研究正在从配方工程（“加这个 trick 涨点”）转向机制科学（“涨点的原因在哪个环节、以什么结构发生”）。

OPSFT 把"SFT 记忆、RL 泛化"这句口号还原成一个符号向量；Mesh 把"训练崩了"还原成两条定理的合取矛盾；DepGPO 把"步级信用"还原成依赖图上的可达性；SCAD 把"教师信号失效"还原成上下文匹配问题。四个还原共用同一个信念：训练过程有自己的物理学，现象之下有可陈述、可检验、可迁移的因果结构。

这条因果链目前仍是半成品——方向为何泛化友好、坍缩时间的精确分布、依赖图信用在非终端任务的迁移、教师信号的自动质量管控，都是下一层待解的问题。但对从业者而言，四篇合读给出的操作启示已经足够具体：用方向思维重新审视你的 SFT 流水线（也许 50 步 RL + 方向约束就够了）；盯住 MEI 类多样性指标而不是只看 reward 曲线；如果做 agent RL，先问你的信用分配锚在什么客观证据上；如果做蒸馏，先检查教师的上下文和学生的是不是同一个。机制清楚了，配方才有迭代的方向——正如 OPSFT 自己证明的那样。

附录：四篇论文速查卡

检索关键词备忘

本文第六部分的交叉验证检索覆盖以下关键词（AnySearch/WebSearch，2026-10-06）：SFT memorizes RL generalizes、GiGPO group-in-group policy optimization、RLVR diversity collapse pass@k entropy、on-policy distillation GKD reverse KL、ATOD annealed turn-aware on-policy distillation、RL finetunes small subnetworks。未能在本次检索范围内找到对"更新方向充分性"直接证伪的研究；对"RLVR 扩张答案级多样性"的正面证据亦未检索到（“The Debate on RLVR Reasoning"综述了边界扩张侧的证据，其机制解释为两阶段概率质量动力学，与策略容量压缩视角并不矛盾——扩张发生在利用阶段之后的探索阶段，而 Mesh 分析的是非坍缩区内的持续优化压力）。