MPO × 无监督 RLVR 坍缩理论 × Outcome RL 三分解：Agent RL 信用分配的机制、崩塌与真实增益 精读

论文 1：Multiscale Policy Optimization for Long-Horizon LLM Agents 链接：https://arxiv.org/abs/2610.35013 ｜ 发表时间：2026 年 10 月 ｜ 机构：北京大学、IQuest Research、清华大学、中国人民大学、香港大学 ｜ 领域标签：Agentic RL / LLM 后训练

论文 2：Collective Dynamics of Self-Reinforcement: How Cross-Task Coupling Drives Policy Collapse in Unsupervised RLVR 链接：https://arxiv.org/abs/2610.37553 ｜ 发表时间：2026 年 10 月 ｜ 机构：Columbia University（单作者）｜ 领域标签：RL 理论 / 学习动力学

论文 3：What Outcome RL Buys: Finishing, Reliability, Rarely Reach 链接：https://arxiv.org/abs/2610.34894 ｜ 发表时间：2026 年 10 月 ｜ 机构：独立研究者（单作者）｜ 领域标签：RLVR 实证分析

一、论文背景

1.1 领域地基：从 RLHF 到 Agentic RL

强化学习已成为 LLM 后训练的标准组件。DeepSeekMath 提出的 GRPO 用组相对优势取代了昂贵的 critic，DeepSeek-R1 则证明了大规模 RLVR（Reinforcement Learning with Verifiable Rewards）能激发推理能力。这一波浪潮的方法论基调是：只给最终答案的对错奖励，让模型自己学会更长的思考。

但当 RL 从单轮推理走向 Agent，问题的结构变了。一个搜索 Agent 要连续发起十几次查询，一个工具调用 Agent 要在终端里执行多轮命令，每次交互都是一个完整的 assistant turn，而每个 turn 又由几十上百个 token 自回归生成。终端奖励只有一个——任务成功与否。于是「最后那一个 0/1 信号如何回传到几十个决策、几千个 token 上」，成了 Agentic RL 的核心难题。这就是经典的 credit assignment（信用分配）问题在 LLM 语境下的复活。

与此同时，两个更根本的追问浮出水面。其一：如果连奖励都不想要人工标注，让模型用多数票给自己发奖励（无监督 RLVR），会发生什么？实验发现这种自奖励训练先升后崩——自评奖励冲到 1，真实精度跌回随机，而且崩溃只在训练题目数量大时出现。其二：就算用干净的 outcome RL 训出来了，pass@1 涨的那几个点，到底是模型「学会了新东西」，还是仅仅「行为被改变了」？

1.2 初学者概念阶梯

读这三篇论文之前，需要一层层搭好概念阶梯：

• turn 与 token：LLM Agent 的一次完整输出（如一条搜索查询、一次工具调用）是一个 turn，也叫宏动作（macro action）；turn 内部由 token 逐个自回归生成。环境只消费完整的 turn，但策略逐 token 生成。
• 优势（advantage）：某个动作比该状态下的平均水平好多少。策略梯度以优势为权重更新。优势估计越准，信用分配越准。
• GAE（广义优势估计）：用 TD 残差的指数加权和来估计优势，λ 参数控制偏差-方差权衡。传统 GAE 在 token 流上逐 token 衰减。
• 重要性采样比：新策略与旧策略对同一动作的概率之比。clip 这个比值（PPO 式）是控制更新幅度的常用手段。
• RLVR 与 GRPO：可验证奖励的 RL。GRPO 对同一问题采一组回答，组内标准化奖励得到优势，无需 critic。
• 无监督 RLVR / 多数票自奖励：无参考答案时，把 K 个采样中出现最多的答案当作伪标签，与之一致的样本得奖励。
• pass@k 与 token 预算：k 次采样至少一次正确的比例。每个 pass@k 都是在某个 token 预算 B 下计分的——预算掐住完成率，这是论文 3 全部分析的支点。
• NTK（神经正切核）：线性化网络后，K_ij 度量「在问题 j 上的一步梯度更新会移动问题 i 的 logit 多少」。它把跨问题耦合变成了可测量的量。

1.3 为何放在一起读

三篇论文表面上是三个方向——方法、理论、实证——实际上回答的是同一个问题的三个侧面：

1. 信用怎么分（MPO）：终端奖励应该沿什么结构回传？答案是把 turn 当作宏动作锚定跨轮信用、在 turn 内部保留 token 级细化，理论证明 token 级代理目标天然多付一项「轮内分布偏移」惩罚。
2. 信号何时崩（RLVR 坍缩理论）：当奖励来自模型自己（多数票），训练题目数 N 越大越容易崩。答案藏在集体动力学：N 个问题通过共享参数耦合，单个问题在「不确定窗口」内时会把微小的共享偏置指数放大，N 越大窗口期越长。
3. 增益到底是什么（Outcome RL 三分解）：pass@1 的增益可以精确拆成 finishing（按时写完）、reliability（写完了更常对）、reach（解出 base 全错的新题）。紧预算下 82% 的增益是 finishing——是行为改变，不是新知识。

更深的联系在于：三篇都在做同一件事——把一个笼统的信号（终端奖励、自评奖励、pass@1 增益）沿着正确的坐标轴分解。MPO 沿时间结构（turn/token）分解奖励，坍缩理论沿参数空间方向（共享 vs 问题特异）分解梯度流，三分解沿预算结构（完成/正确/覆盖）分解增益。分解对了，机制就显形了。

时间上三篇也构成一条自然的阅读动线：先读 MPO 建立「信用分配的正确坐标系」，再读坍缩理论理解「坐标系里哪些方向是危险的」，最后读三分解检验「把信用分对了之后实际买到了什么」。三篇的实验规模从 30B-A3B 的 Agent 训练、到单 CPU 一小时的统计物理仿真、再到 20 个已发布模型的离线读分——恰好展示了同一个研究纲领在不同资源约束下的三种打开方式。

二、论文定位和关联工作

2.1 三篇论文的谱系定位

2.2 论文 1 的谱系

RL for LLM 的两大流派在 Agent 场景各有缺口：

• Critic-free 组相对方法（GRPO、DAPO、GSPO）：每条 rollout 共享一个组相对优势，无法区分不同 turn、不同 token 的贡献。GSPO 已经意识到序列级重要性比更稳，但信用分配仍停留在序列粒度。
• Critic-based token 级方法（PPO、VC-PPO、VAPO、SAO）：用学到的 value function 逐 token 估计优势，粒度细了，但没有区分「turn 内生成」与「跨 turn 环境交互」这两种性质不同的过程。

MPO 的切入点是一个实证观察：critic 值的变化主要发生在 turn 之间。在 2048 条轨迹、16323 个 turn 上统计，turn 均值之间的差异占 critic 轨内方差的 中位 89.5%，93.8% 的轨迹满足 turn 间方差 > turn 内方差。这个「结构先验」直接决定了方法设计的方向。这与层级 RL（如 ArCHer）的思想相通，但 MPO 的贡献是把「双尺度」同时贯彻到优势估计和重要性采样两端，并配了改进界。

2.3 论文 2 的谱系

无监督 RLVR 的实证现象已被充分记录：TTRL、self-certainty、熵最小化等方法早期有效、长期崩溃；He et al. (2026) 系统研究发现 ≤128 题稳定、≥512 题一致 reward hacking。但已有理论（Huang et al. 2025 的 sharpening 理论）是单问题的：每个问题被推向自己的初始多数答案。单问题理论解释不了两件事：为什么全体问题会被拖向同一个答案？为什么这依赖训练题目数 N？

本文补上的正是「跨问题耦合」这一维度：问题之间通过共享参数（z_i = u_i + λv）耦合，任何能把所有答案朝同一方向推的参数扰动（格式偏好、输出偏置）会一次性收集全部问题的多数票信号。这把分析从单问题动力学升级为集体动力学，数学工具也从常微分方程变成了线性稳定性分析 + Curie-Weiss 型平均场论证——统计物理的顺磁不稳定性在深度学习里的一次漂亮移植。

2.4 论文 3 的谱系

「RL 到底教会了什么」是一条长线：Yue et al. (2025) 发现 RL 提高 pass@1 但大 k 时被 base 反超，RL 解的问题几乎是 base 的子集；后续工作把覆盖损失归因于小样本组里稀有成功被丢掉、或赢家通吃式强化；Qin et al. (2025) 分解出「固定覆盖内的执行增益」。但没有人把增益沿 token 预算这个轴精确拆开。

论文 3 的贡献是三点：一是恒等式 pass@k(B) = fin@k(B) × pass@k(B|fin) 的精确因子化加上扣除镜像的 reach 项，三部分严格求和等于总变化；二是比较规则——必须在配方自己的训练 cap 或以上读分，否则测的是「写多长」而非「推理多好」；三是对「仅 RL 解出」的题目逐一复检（再采样 + 人工盲读），把 reach 的水分挤干。它与论文 2 形成有趣对照：一个分析奖励信号缺失时的失败模式，一个分析奖励信号干净时的真实所得。

2.5 三篇对照速览

三、问题定义

3.1 论文 1：终端奖励下的双尺度信用分配

形式化：Agent 轨迹 τ = (o₀, a₀, o₁, a₁, …, o_T, a_T)，其中 o₀ 是任务指令，a_t 是第 t 个 assistant turn（一个工具调用或最终回答），o_{t+1} 是环境反馈。每个 turn 是 token 序列 a_t = (a_{t,1}, …, a_{t,L_t})，策略自回归分解 π_θ(a_t|h_t) = ∏i π_θ(a{t,i}|h_{t,i})。奖励只有终端一个：r_{t,i} = R(τ) 当且仅当 t = T 且 i = L_T，其余全部为零。目标 J(θ) = E[R(τ)]。

关键建模选择：MPO 把完整 assistant turn 当作宏动作（macro action）、把到达该 turn 前的全部历史 h_t 当作宏状态（含时间索引与剩余预算，turn 结束决策本身包含在 a_t 内）。引理 1 证明宏观与 token 两种描述在无损 token 细化、同一停止规则、γ=1 下任务回报相同，且 ∇log π(a_t|h_t) = Σ_i ∇log π(a_{t,i}|h_{t,i})——同一个策略的两种读法，这为「在两个尺度上分别构造代理目标再比较」铺平了道路。

关键建模选择之外还有一个容易被忽视的实证支柱：附录 C 的四组统计。除 89.5% 的 turn 间方差占比外，边界跳跃均值超过轮内 P95–P05 跨度的轨迹只有 22.4%，边界只占相邻值变化平方和的 9.2%——turn 间的值差不意味着大部分局部运动发生在边界，轮内小波动在更多 token 上累积。这个细致的区分正是「turn 级传播 + 轮内细化」双组件设计的直接依据：如果值变化全部集中在边界，纯 turn 广播就够了（β=0 会够用）；但轮内变异仍占一成方差、局部运动持续存在，所以 token 细化（β=1 比 β=0 高 6.28 点）有真实的信号可挖。方法与统计之间严丝合缝，这是全文最扎实的部分。

挑战：（1）单个 0/1 信号要跨越 T+1 次环境交互、数千个生成 token 回传；（2）环境只在 turn 边界响应，turn 内 token 之间没有环境交互——两种时间尺度性质不同；（3）更新时用 token 级概率比还是 turn 级概率比？前者只修正下一个 token 的分布，后者修正整轮输出的分布。两大方法家族各占一个极端，都不对齐 Agent 的交互结构；（4）估计误差的来源也不同：turn 级 GAE 的偏差只含边界 critic 误差（ε_A = ε_B(1−λ^T)），token 级 GAE 则要背上全部内部前缀的误差——附录 A.7 的匹配预算比较显示，同 critic 误差上限下 token 级估计项比 turn 级至少大 √L 倍。

3.2 论文 2：自奖励崩溃的规模依赖

形式化：N 个二元问题，logit 共享一个参数：z_i = u_i + λv。每步采 K 个答案、多数票定伪标签、与多数一致的样本得奖励（REINFORCE / 组均值基线 / GRPO 三种估计量）。单问题平均漂移 F(z)（K=3 时 F(z) = p(1-p)(2p-1)，p = σ(z)）推动每个问题向自己的当前多数答案锐化。

挑战：（1）单问题 sharpening 理论预言每题各自收敛到初始多数，与「全体塌到同一答案」的实证矛盾；（2）崩溃概率在 N 上是尖锐相变（数倍 N 内从 0 到 1），需要解释阈值从哪来；（3）机制必须同时容纳实证规律：λ 越强越易崩、初始置信度越低越易崩、batch size 影响极小、自信模型永不崩。

3.3 论文 3：预算约束下的增益归因

形式化：在 token 预算 B 下，pass@k(B) = fin@k(B) × pass@k(B|fin)，其中 fin@k(B) 是至少一个样本按时完成的题目比例，pass@k(B|fin) 是完成后至少一次正确的条件比例。增益拆分：finishing F = Δfin × pass^RL(B|fin)（完成率变化的贡献），reliability P = fin^base × Δpass(B|fin)（条件正确率变化的贡献），reach 扣除镜像——RL 独解（base 八次全完成全错）减去 base 独解。三部分精确求和：Δpass@1(B) = F + P + reach。

拆分的细节设计：交叉项 Δfin × Δpass(B|fin) 归给 F（也可折半或归 P，附录验证三种顺序不改变结论走向）；matched reliability 只在双方都至少完成 7/8 样本的题目上测，避免「RL 新完成的题更难、拉低条件正确率」的选择效应；robust reach 只统计对方 8 次采样中至少 4 次解出的独占胜例，滤掉侥幸。这些设计每个都在堵一个具体的统计漏洞。

挑战：（1）pass@1 一个数混合了「按时写完」「写对了」「解新题」三件事，不分开会系统性误读；（2）每个配方训练时自带 cap，cap 之下比较测的是长度适配而非推理；（3）「仅 RL 解出」可能是采样运气（八次采样会漏掉低概率可解的题），需要复检排除；（4）判定「新知识」需要极保守的标准：base 八次全部完成且全错，RL 才有机会展示 reach；（5）评分器本身是混淆源——matcher 对大模型的答案形式更苛刻，judge 重评会移动各项数值，需要双评分体系交叉验证。

四、解法

4.1 论文 1：MPO = MAE + turn 级重要性采样

MPO 由两个组件构成，分别对齐「信用分配」和「策略更新」的尺度。

第一步：turn 级信用传播。 把一个 turn 内的所有 TD 残差加起来，内部值预测全部抵消，得到宏残差 δ^turn_t = 1{t=T}·R(τ) + V_{t+1,1} − V_{t,1}。再在 turn 时间轴上跑 GAE：A^turn_t = Σ_ℓ λ^ℓ δ^turn_{t+ℓ}。直觉：信用每次交互衰减一次，而不是每次 token 衰减一次——与环境的节律对齐。对固定奖励和边界值，这个估计与 turn 长度、critic 内部预测全部无关，只依赖边界值（附录证明其误差只含边界 critic 误差）。

第二步：turn 内 token 细化。 局部迹 A^intra_{t,i} = Σ_{j≥i} λ_intra^{j−i} δ_{t,j}，只在当前 turn 内展开（trace 在边界截断，但最后一个 TD 残差仍从下一 turn 的值 bootstrap）。直接加上去会漂移 turn 均值，所以做成保均值投影：A^MAE_{t,i} = A^turn_t + β(A^intra_{t,i} − Ā^intra_t)。直觉：turn 级信号定「这一轮整体多好」，中心化后的局部信号定「轮内哪些 token 更关键」；均值锁死，相对差异保留。β=0 退化为纯 turn 广播。数学上这是带等式约束的最小二乘投影的闭式解。

第三步：turn 级重要性校正。 关键难题：若所有 token 的 MAE 优势直接乘同一个可微的 turn 级比值 ρ_t = ∏i ρ{t,i}，求和时中心化的局部修正会被抵消掉。MPO 的技巧是 stop-gradient 构造：ρ̃_{t,i}(θ) = ρ_{t,i}(θ) · sg(∏{j≠i} ρ{t,j})。前向时每个 token 都拿到完整的 turn 比值（ρ̃ = ρ_t），但梯度 ∇ρ̃_{t,i} = ρ_t ∇log π_θ(a_{t,i}) 只流过自己的 token 概率。于是：前向加权与裁剪由整轮比值控制，反向每个 token 的 score gradient 由自己的 MAE 优势控制——两个尺度各司其职。最终更新是 PPO 式裁剪目标。

理论支撑：定理 1 给出 turn 级单调改进界 J(π′) − J(π) ≥ S_M − 2A_max·T(T+1)·α²_M（α_M 是完整输出分布的 TV 距离上确界）。定理 2 证明：把 turn 代理换成 token 代理，在同 KL 约束下要多付一项轮内分布偏移惩罚 2(T+1)·A^tok_max·L_max(L_max−1)·α²_T。直观解释：turn 级比值修正整轮输出的分布，而 token 级比值只修正旧策略前缀上的下一 token 分布——前缀分布本身已经偏了，这个差异随轮长平方增长。附录还有反例（命题 2）：内部 critic 误差可以反转 token 级更新的方向，而 turn 级锚定不受影响。

超参直觉：λ = 0.80（跨轮传播约 5 个 turn 的名义几何长度）、λ_intra = 0.95（轮内约 20 个 token）、β = 1。两个衰减系数计数的事件不同（交互 vs token），必须分开调——λ < λ_intra 不是巧合而是结构要求。critic 侧沿用 VAPO 的解耦 GAE 设 λ_critic = 1，直接回归终端 Monte Carlo 回报 R(τ)（每个有效 assistant token 的目标都是 R(τ)，detach 处理）——于是 4.2 节里那些「内部 critic 误差」在 critic 回归目标层面已被最小化，MAE 两阶段复用同一个冻结的 critic 预测。工程上整个估计器是线性时间扫描（Algorithm 1 共 11 步），turn 锚点可用「turn 内广播 V_{t,1} + 内部衰减 1 + 末 token 处 λ」的 token GAE 扫描等价实现，没有引入新的网络模块。

4.2 论文 2：集体动力学与闭式阈值

机制核心：最小模型 z_i = u_i + λv 下，期望动力学为 ż_i = (η/N)F(z_i) + ηλ²⟨F⟩。两项对 N 的标度完全不同：局部锐化每题只分到 1/N 的训练信号，共享漂移却汇聚全部问题的梯度。对一个平衡总体（一半偏好 +、一半偏好 −）施加共同扰动 w，线性化得 ẇ = ηλ²⟨F′(z(t))⟩w——共享扰动在 ⟨F′⟩ > 0 时指数增长。K=3 时 F′ > 0 当且仅当 |z| < z* = ln(2+√3) ≈ 1.317（即 0.21 < p < 0.79）——「不确定窗口」。这是 Curie-Weiss 顺磁不稳定性的结构：未决的问题像自旋一样集体放大任何共享偏置，已决的问题集体压制它。

两场赛跑：局部锐化把每题送出窗口需要时间 ∝ N（每题只有 1/N 的信号份额）；共享模式以 ∝ λ² 的 N 无关速率增长。窗口期内的总对数放大为 Λ = λ²N·G(a)，其中 G(a) = ln[F*/F(a)] 随初始置信度 a 单调递减。种子噪声 δ（来自 minibatch 采样）被放大到 O(1) 时少数派翻转，全体塌向同一答案。由此得到闭式临界规模：

N_c ≈ ln(1/δ) / (λ² · ln[F*/F(a)])

这个公式一次性吐出四条可证伪预测：P1 尖锐相变（仿真中 P(collapse) 在 3–4 倍 N 内从 0 到 1，示例 N_c ≈ 536）；P2 N_c ∝ λ^(−2)（拟合 −2.22，含对数修正；变化 λ 两个数量级移动 N_c 从 60 到 5750）；P3 batch size 仅对数影响（B 从 8 到 128 只移动 N_c 2.2 倍，线性缩放规则下完全无影响）；P4 初始自信模型（a > z*）永不崩，哪怕 λ²N 高达 1474、训练 10 倍时长。所有扫描收敛到单一临界放大 Λ_c ≈ 2.6。

核版本（连接真实网络）：线性化网络后 ż = (η/N)KF(z)，K 是经验 NTK。把 K 投影到两个集体方向——均匀模式 1（推所有问题同向，驱动崩溃，耦合强度 k_u）与符号模式 s（锐化一个问题时连带锐化其他，是保护性耦合 k_s）——得到 Λ(N) = G·Nk_u/(k′_d + Nk_s)。当 G·k_u < Λ_c·k_s 时没有任何训练集规模会导致崩溃：泛化（锐化共享）强于共享偏置时，加数据反而安全。四个核系数在任何 RL 步之前就能从初始网络测出。

边际熵补救及其局限：对 batch 池化答案分布加熵 bonus βH(p̄)，只压制均匀模式而不拖慢单题锐化，临界权重 β_c ≤ 1/2 有闭式解且仿真与 Transformer 均验证。但在网络里，压住均匀模式后不稳定转移到下一个集体核模式——答案依然平衡、置信度依然高，但遵循的是特征决定的任意规则而非任务，精度照样跌回随机。消除答案边缘的不平衡 ≠ 阻止集体崩溃。

从理论到实践的四条杠杆：作者在讨论节把机制翻译成可操作的干预清单——（1）训练前测量：⟨F′⟩ 与核比值可从初始模型采样与逐例梯度估计，可算 N_c（但记住其筛查而非保证的定位）；（2）削减共享耦合：任何移除「与答案无关的共享方向」的手段都降低 λ——反对称 readout 是极端例，答案格式归一化、冻结输出偏置是温和例；（3）直接稳定均匀模式：β > 1/2 的边际熵 bonus，但真答案分布高度偏斜时不适用、且网络中必须同时抑制其他集体模式；（4）按置信度排课程：先训有把握的题（|z| > z*）或分小块训练，保持 λ²NG 低于阈值——作者坦承第 4 条未测。更大的组 K 收窄窗口但只温和移动 N_c（G_K(0.5) 从 0.514 降到 0.202@K=16），性价比有限。

4.3 论文 3：三分解协议 + 五通道受控探针

读分协议：20 个已发布 RL 模型（1.5B–32B）各对自己的 thinking base，物理（300 题 + 671 题未过滤集）与竞赛数学（MATH-500 + 276 题）两个域，4k–64k 预算网格，每题 8 采样（T=0.6），在每个配方自己的训练 cap 及上一档预算读分。10 对模型的 4k/8k 预测在产出前预注册。

reach 的保守定义与复检：独胜（lone win）= 对方八次全完成且全错。144 道物理独胜题复检：56 次加采样后 base 解回 87/121；剩下 34 题保留全文人工读，最终只有 5 道是真正的物理内容差异（3.5%）。人工盲读 143 对推导：双方「有对方没有的步骤」的比例几乎对称（46% vs 50%）；作者抽检 50 对， upheld 的 RL 侧新步骤 10 个里 9 个出现在 base 自己的样本里。26 个被判定决定性的 RL 步骤，0 个为 base 缺失——base 的错误样本也写了该步骤，只是 17/26 没贯彻到底。

受控探针：8B 模型（Qwen3-VL-8B-Thinking）用 GSPO 在物理上训练（12k cap、60 步），五种方式注入题目所需的物理 setup（提示注入、教师推导拼接、策略自写 setup、问题微调、setup 奖励），检验「外部供给的知识能否被 RL 安装并迁移」。结果五通道全部在训练中改变了模型（如 setup 声明率 55%→92%、被触摸问题解出率 12%→59%），但没有一个在留出集上显著超过 plain RL；setup 奖励通道还被策略 game 了评分器（学会给答案拼单位）。机制解释：奖励只在采到成功后才提高该题解率，而 base 对 160 道难训练题的 pass@64 也只有 24%——第一成功本身就是瓶颈；反复重访 60 道难题可把解率从 0.10 提到 0.28，但对其余 293 道题和留出集毫无影响。

五、实验洞察

5.1 论文 1 核心数据

主结果（4B / 30B-A3B，9 项指标全部第一）：

30B-A3B 上 MPO 同样全指标领先（BCP 50.32 / GAIA 43.42 / HLE 10.03 / Claw-Eval pass3 58.35 / Automation 15.00）。相对最强非 MPO baseline，Search pass@1 提升 +4.33（BCP 4B）、+3.85（GAIA 4B）等。训练配置为三个场景分别 300/300/200 步（Search 用 SUPO 的训练数据、rollout n=8、max_turn 20–50），评测取每个 run 的最优 checkpoint 离线五次取均值——协议层面把选择噪声压到最低。

值得注意的基线细节：Automation Bench 上 GSPO 只有 5.22、GRPO 只有 4.33，而 PPO 系全部上到 11+——critic-based 方法在这个长时程自动化场景本来就占优，MPO 在此之上再加 1.3–1.7 点；Claw-Eval 的 pass3（三次全成功）指标上 MPO 领先 0.95–1.12 点，说明增益延伸到了「重复尝试全对」这种对稳定性的更苛刻要求。

消融一：换掉 turn 级 IS。MPO w/ token IS 保留 MAE 但换成 token 级比值，4B Search pass@1 全线下跌 2.36/3.12/1.03 点——隔离出 turn 级重要性校正的独立贡献。值得注意的是 token IS 版本仍全面胜过 PPO，说明多尺度信用分配本身有价值，turn 级 IS 是叠加上去的第二层增益。

消融二：β 扫描（token 细化的贡献）。β=0（纯 turn 广播）时 BCP pass@1 只有 41.80，β=1 恢复到 48.08——差 6.28 点；但 β 加到 1.5、2.0 又回落。中心化修正保持 turn 均值不变、只放大 token 间差异，权重过大时噪声被同步放大。「适度细化」是数据支持的结论，不是装饰性的说辞。

消融三：λ 与 λ_intra 分尺度调参。λ=0.85 比 0.80 在三个基准上掉 1.72/2.21/1.05 点（远交互噪声进来），λ=0.60 也掉（有用的跨轮信用被砍）；λ_intra=0.95 优于 0.90（掉 1.83/1.55/1.77）和 1.00（掉 0.41）。两个系数分别计数交互与 token，名义几何长度 5 turn vs 20 token——分开调参不是过参数化，而是双尺度的内在要求。

训练动力学与 pass@k：MPO 的 critic explained variance 在两个尺度上平均更高——作者给出一个自洽解释：turn 对齐的更新改变了访问到的历史与后续结果，使其回报结构更易被 critic 拟合（同时坦承这不构成因果证明）。训练曲线还显示 MPO 的熵降得比 PPO 快、响应长度更早稳定、交互轮数增长更平缓——策略更早进入「稳定的探索结构」，而不是靠熵坍缩换分数。

pass@k（k 到 32）：MPO 在 4B 全部三个基准的每个 k 都领先，pass@32 达 75.90/69.90/34.00，超过 GRPO 与 PPO 中的强者 3.61/5.82/5.80 点——低熵并不等于有效探索坍缩，pass@k 直接检验了这一点。注意这里的论证结构：PPO 在 30A3B 上熵大幅下降但验证性能持续上升，4B MPO 熵更低却在大 k 下依然领先——token 熵这一代理指标不能证伪探索坍缩，pass@k 才是直接证据。这是用正确的测量替代直觉代理的又一例。

鲁棒性（论文 2 附录 C 的补充）：把 REINFORCE 换成 GRPO（K=3 时平均漂移恰为 √2·F，常数在 G 的比值中消去），N_c 从 536 只移到 548——估计量换汤不换药；更大的组 K=5/8/16 使不确定窗口边缘 z*_K 收窄（1.317→1.006），N_c 按精确枚举的 G_K 顺序上移（793/876/1557）；多答案 softmax（M=3/4/6）在 Λ_c = 2.1–2.2 处塌缩，略低于二元值（M−1 个噪声共享方向互相播种）；Adam 重整速率为 Λ ∝ λ√N·G，标度 N_c ∝ λ^(−2) 不变但常数大约 9 倍（λ²N_c = 34–36 恒定，拟合斜率 −2.06）——定律对训练套件的全部自由度都不敏感，这正是「机制正确」的强证据。

5.2 论文 2 核心数据

四条预测全部验证。变化 λ（0.035→0.28）移动 N_c 两个数量级（60→5750），幂律拟合 −2.22（理论 −2 + 对数修正）；变化初始置信 a（0.15→1.1）移动 N_c 从 189 到 8740，理论曲线用单一常数 Λ_c = 2.64 覆盖；7 种异质初始分布的 N_c 跨 455–14700，全部塌到同一 Λ_c ∈ [2.0, 2.8]。

异质分布里藏着两个漂亮的极端案例：30% 混合分布（多数问题已自信）照样崩，只是 N_c 推到 14700——只要有一部分问题落在窗口内、G > 0，崩溃只是延迟不是豁免；而 uniform[0.5, 2.5] 分布从第一步起 ⟨F′⟩ < 0（G = 0），N = 24000 也零崩溃。决定命运的不是平均置信度而是「是否存在窗口内的问题」——这把 He et al. 的「高熵 base 更糟」实证精确化为「窗口内问题占比」这一单一参数。

另一个关键细节是崩溃的「早期决定性」：N = 584（最接近 N_c ≈ 536）处四个同配置种子的分化在前 100 个 epoch 内定型，之后 Φ 冻结不再反转——因为那时所有问题已被锐化送出窗口，共享模式从放大转为阻尼。这解释了为什么崩溃无法靠「看到苗头再干预」来止损：等你能观察到趋势时，结局已经写好了。

关键因果实验（Transformer）：六位数比较任务上的小 Transformer。反对称 readout（z(x) = h(x) − h(x̄)，交换输入两半恒翻转答案）从结构上消除共享方向：k_u/k′_d < 0.002，168 个 run 零崩溃——包括初始 G = 1.125（高度不确定）的配置。加回受控输出偏置（ρ_b = λ²_b/k_d）后按剂量恢复崩溃，ρ_b ≥ 1 时 336 个 run 里 335 个崩。普通 readout（k_u/k′_d = 0.40–0.70）则复现语言模型的两大规律：崩溃概率随 N 单调上升（base 90 从 N=16 的 0/6 升到 N≥512 的 6/6）、随温度（初始熵）单调上升（τ=1/2/3 下 29/34/37 of 42）。这组实验把「共享方向的存在」从相关推到了因果。

诚实报告的局限：核校准代理预测器与实际崩溃的符号一致率 71%，甚至低于「永远预测崩溃」的 73%；ROC AUC 0.87（排序好）但平均预测概率 0.46 vs 实际 0.71（校准差、系统性低估）。原因之一是核在训练中漂移：反对称 base-20 网络的保护耦合 k_s/k′_d 一个 epoch 内从 0.42 掉到 0.07；base-10 的自核涨 28–245 倍。最刺眼的反例：plain base-120 在 τ=1 下初始 G = 0.000（三位小数），按固定核理论预测几乎不崩，实际 42 个 run 崩了 17 个。作者没有回避：初始核是筛查工具，不是稳定性保证。

补救实验的深层教训：边际熵 bonus 在 Transformer 上同样有效（β ≥ 1/2 时 24 个 run 零崩溃，匹配预测阈值 β_c(0.2)=0.49 / β_c(0.5)=0.44），但被救回的 run 最终「答案平衡（Φ≈0.1）、高置信（⟨|z|⟩≈7）、精度随机」——学到的标签与任何简单输入特征的一致性不超过 58%。核谱解释了为什么：初始核里均匀模式（特征值 1.45×10⁴）之外还有一串正交集体模式（5.1×10³、2.5×10³、2.3×10³…），全部远超自核 k_d = 94。命题 1 对每个这样的模式都成立——压住均匀模式，次强模式接棒。教训：修复必须覆盖全部失稳方向，只修最显眼的那个等于把不稳定挤到暗处。这条教训的通用性很高：任何「打地鼠式」的补丁策略（补一个漏洞、攻防转移到下一个）都共享这个结构。

5.3 论文 3 核心数据

主结果（20 个配方在物理、训练 cap 处）：

紧预算（4k/8k）下 finishing 占变化的 82% [77, 86]，108 个配对点的总变化与 finishing 项 Spearman ρ = 0.97。RL 长度变化与 finishing 变化 ρ = −0.93，RL 把 backtracking 词（wait/actually）减半——「写完」的直接机制是把犹豫剪掉。

finishing 不是隐藏知识：挑出 RL 在 4k 上占优的题目，给 base 64k 预算后 base 反超（0.44→0.80 vs RL 0.68）。base 不是不会做，是没写完。8k 挑选题上 base 也从 0.38 追到 0.59（RL 0.65），大部分差距消失；追不平的残差按定义记入 reliability。受控实验侧的佐证更直接：RL 把每条推导里的 backtracking 词（wait、actually）减半，而训练前后都完成的题目上条件正确率不动——多出来的 token 花在犹豫上，不在推导上。作者留了一个诚实的限定：committing to the right approach 本身也是技能，finishing 与知识不能完全分离；其主张收窄为「RL 几乎不添加 base 不会写的步骤」（由步骤复检支撑）。

一个容易被忽略的对照是 Open-Reasoner-Zero-7B（非 thinking base）：RL 后它在 2k 预算的完成率反而从 0.98 掉到 0.65——短答案 base 上 RL 把推导拉长、紧预算下完成率恶化。RL 学的是「在训练 cap 内把长度调到奖励最大的位置」，方向取决于起点：短 cap 教你写短（ProRL v2），长 cap 教你写长（Polaris 系在其 cap 处 fin@1 从 0.99 掉到 0.90）。

reliability 的机制：16 个非 cap-bound 配方在物理上 reliability 全部上升；对 40 道「RL 更常对」的题做步骤级盲读，26 个被判定决定性的步骤没有一个是 base 缺失的——base 也会写，只是错误样本在 17/26 的题上没贯彻到底。RL 买到的是「更可靠地执行自己已有的步骤」，外加一部分答案格式匹配（12/40 的对比只差答案形式；judge 重评使 reliability 项平均降 8%）。

reach 的水分被挤干：四个数据集上 net reach 最多 +2.1 点、均值 +0.003；144 道「仅 RL 解出」的物理题复检后 3.5% 成立；专为补知识设计的配方（QuestA 提示部分参考解、KnowRL 注入知识点）net reach ≤ 0.018。训练步数与 robust reach 的相关 ρ = 0.13——训得久不等于够得远。

规模与 reach 的开放问题：7B 以上配方的 net reach（+0.009 到 +0.013）高于所有小配方，但 32B 配方 9 个 robust win 里 6 个是答案格式问题，换更宽松的 judge 后其 net reach 从 0.013 掉到 0.004——大模型的表面 reach 一部分是 matcher 对大模型答案形式更苛刻造成的假象。7B 系不受 judge 影响、reach 站得住，但样本只有四个配方。「真实 reach 是否随规模增长」被作者明确列为开放问题，这个不轻易外推的克制值得肯定。

受控探针的完整证据链：为什么外部知识装不进去？论文用一串测量把瓶颈定位在「第一次成功」：base 对 160 道难训练题 pass@64 = 24%（仍在上升）、16 人组看到至少一次成功的机会不到一半；单题增益呈 p(1−p) 形状（解过 1–6 次的题下次 +0.16 到 +0.18，全错或全对的题 +0.05 以下）；finishing 在组内奖励方差中早期占 48%（finishing 是所有 prompt 共享的信号、能跨 batch 累加，内容信号只在题目重现时累加——附录 B.14 用全协方差定律把这个不对称写成了公式）。这条「梯度只有踩到成功才有内容可学」的因果链，与论文 2 的共享通道放大、论文 1 的可区分性扩展，构成三篇共通的信号学视角。

五通道的逐个结局也值得记录：提示注入（hint）在上下文里有效（setup 声明率 55%→92%）但 hint 撤走后不留痕迹，且与等长的内容无关清单块无显著差异——留下的是提示脚手架不是知识；教师推导拼接让被触摸的题从 12% 升到 59% 却让 371 道未触摸题平均掉 5.1 分（输出变长 15%）；策略自写 setup 的章节正确率从 0.29 升到 0.45 但组内「章节更完整」与「样本解出」零相关；问题微调学会了 99.5% 开头提问的习惯，提问样本解出率 2.0% 反而低于不提问的 2.6%；setup 奖励被 game（学会拼单位骗 matcher）。五个方向、五种失败方式，共同指向同一个结构性瓶颈。

比较规则的实际影响：在 cap 之下读分会产生系统性误判——QuestA 和两个 Polaris 配方在物理 16k 处低于 base、在自己 cap 处不再低（Polaris-1.7B cap 48k 处 fin@1 从 0.99 掉到 0.90 但总变化回到 0）；ProRL v2 在 8k cap 处 fin@1 从 0.45 拉到 0.99、贡献 +0.203 的 finishing——同一配方在不同预算下读出的「增益构成」完全不同。作者由此给出可操作的比较规则：任何配方对比必须在被比较配方自己的训练 cap 或以上进行，且必须同报 fin@1(B)。这条规则对整个领域的评测实践都有约束力。

5.4 交叉解读

把三篇的实验放在一起看，有一条暗线：奖励信号的可分性决定了 RL 能学到什么。

• 论文 3 证明：紧预算下 group-relative credit 最能区分的就是「完成与否」（未完成奖励恒 0），所以 RL 先学完成；预算充足处奖励才区分对错，于是 reliability 升；而奖励只在采样成功后才作用于该题，base 全错的题根本触不到 reward 的梯度——reach 近零是结构必然，不是训练不足。
• 论文 2 从反面补上：当奖励来自多数票，信号里混进了「共享方向」这个伪通道，问题数多时它被指数放大直至吞没真信号——自奖励的失败不是噪声大，而是信号里有结构性陷阱。
• 论文 1 则是在奖励干净的前提下把信用沿正确的时间结构铺开：turn 间用宏残差传播（对齐环境节律）、turn 内用中心化局部迹细化（保留相对信息），更新时用整轮比值——每一层都在扩大「奖励能区分的东西」。

三条线索还可以互相回答对方没回答的问题。MPO 的 pass@k 实验显示低熵不等于探索坍缩，但论文 2 恰好给出了探索坍缩的一种具体机制（共享模式吞没问题特异信号）——两者合读可以得到「熵下降有良性（MPO 的收敛）与恶性（集体坍缩）两种，区分标准是问题特异方向是否还在接收信号」。论文 3 的 finishing 主导（82%）说明紧预算下奖励几乎只编码完成性信息，这反过来为 MPO 类方法的价值划了边界：如果奖励本身在紧预算下只区分完成与否，那么再精细的 credit 分配也只能优化「按时写完」——信用分配方法的天花板由奖励的信息含量决定。论文 2 的 β_c ≤ 1/2 与论文 3 的 cap 比较规则则在不同层面做同一件事：给训练稳定性/评测有效性一个可计算的边界条件，而不是靠试错。

还有一层方法论的互文：三篇都依赖「小世界验证」。MPO 的 critic 方差统计在单个搜索 Agent run 上做（2048 轨迹）；坍缩理论的可解模型 + 六位数小 Transformer；三分解的受控探针是 8B 单模型 60 步。三者都把「大世界的结论」追溯到一个「可完全测量的小世界」——这不是算力拮据的妥协，而是机制研究的标准姿势：机制必须在能穷尽测量的系统里确立，才有资格被外推。

六、知识反推

从这三篇的结果往回推，可以提炼出几条超出单篇的领域规律：

规律一：结构对齐先于粒度细化。 MPO 的赢法不是「更细的 credit」而是「对了尺度的 credit」：turn 级锚定 + token 级细化的组合全面胜过纯 token 级（PPO 系）和纯序列级（GRPO 系）。反观纯 token 细化（定理 2）在同 KL 预算下要多付 L² 级惩罚。这暗示一个一般原则：信用分配的坐标系应该对齐环境响应的边界，而不是参数化的边界。环境在 turn 边界响应，就在 turn 边界传播信用。

规律二：梯度流的不对称汇聚是自监督训练的普遍风险。 论文 2 的核心洞察——问题特异方向分到 1/N 的信号、共享方向汇聚全部信号——不限于多数票自奖励。任何「每个样本各自产生梯度、参数全体共享」的学习系统都有这个结构。N 越大，局部学习越慢、共享模式窗口越长。这可以解释一系列经验现象：为什么大数据集上的自监督训练对初始化偏置更敏感、为什么「高熵 base 模型更容易崩」（更多问题落在不确定窗口内，G 更大）。作者的方法论也值得学：把经验阈值现象（≤128 稳定 / ≥512 崩）翻译成可测量量的闭式判据，理论才算落地。

规律三：增益的会计学比增益的总量更重要。 论文 3 用 82% / ρ=0.97 / 3.5% 这几个数字证明：不分解的 pass@1 会把「学会在预算内写完」记成「学会推理」。对领域的直接纠偏是报告规范——pass@1 必须与 fin@1(B) 同报、比较必须在训练 cap 或以上进行。更深层的方法论：当一个指标混合了多个机制，沿哪个轴分解决定了你能看到什么。预算轴（finishing/reliability/reach）比覆盖轴（pass@k 曲线）给出了更强的机制分辨力。

规律四：作者们的共同手法是「先测量、后设计」。 MPO 先在 2048 条轨迹上统计 critic 方差的 turn 结构（89.5%），方法设计只是把这个统计翻译成算法；坍缩理论先接受 He et al. 的实证阈值再给机制；三分解先锁定「预算混淆」这个测量学缺陷再定协议。三篇都没有从「现有方法的缺陷」出发空想改进，而是从可测量的现象出发。这大概是同期工作中区分度最高的方法论特征。

规律五：每个机制主张都需要一个「反例检验」。 MPO 的命题 2（内部 critic 误差可反转 token 级更新方向）说明 token 级方法不仅次优还可能方向错；坍缩理论的反对称 readout 实验把共享方向从相关推到因果；三分解对 144 道独胜题的逐一复检把 3.5% 这个刺眼的数字钉死。机制的置信度来自设计出来的反例测试，不是来自更多正例。

规律六：预注册是把分析型论文做硬的唯一路径。 论文 3 对 10 对模型的 4k/8k 预测在产出前预注册（H1 finishing 占过半对全部 10 对成立 p=0.001；H2 matched 变化 <0.03 在双基准合并时成立、物理单独时被 QuestA 的 +0.108 打破——失败也如实报告）；竞赛数学集的五条预测 P1–P5 中 P1 在 Open-RS3 上失败（4k 处双方完成率都不足 6%、无从拆分）也如实写明。分析型论文最容易被质疑「事后挑数据」，预注册 + 报告失败预测是最有效的防御。论文 2 的四条可证伪预测走的是同一条路：先把定律写成可能错的形式，再逐一押上。

规律七：诚实的局限段落本身就是贡献。 论文 2 承认核预测「与永远预测崩溃的平凡基线无法区分」、论文 3 承认 reach 定义把「base 从未对但有样本未完成」的题目记入行为（这部分占非 cap-bound 配方增益的约 10%、cap-bound 的约 34%）、MPO 承认 explained variance 的解释不构成因果证明。三个团队都不掩饰对自己不利的数据点（G=0.000 仍崩 17/42、QuestA 物理 matched 达 +0.108、token IS 仍胜 PPO）。这些「负空间」划定了结论的适用边界，恰恰是后续工作最可靠的出发点。

七、通用灵感

灵感一：任何「总分」都应该问一句——它的乘法结构是什么。 论文 3 的恒等式 pass@k = fin × pass(B|fin) 提示：很多看似整体的指标其实有天然的因子结构。转化率 = 流量 × 转化效率、留存 = 首次成功 × 复访率、项目交付率 = 启动率 × 完成率……找到正确的因式分解，改进的杠杆点立刻显形（紧预算下杠杆在 fin，宽预算下在条件正确率）。迁移到任何分析工作：先找恒等式，再看数据。

灵感二：多尺度系统的控制参数应该按尺度分开。 MPO 的 λ（交互尺度）与 λ_intra（token 尺度）分开调、且最优值不同（0.80 vs 0.95），这不是超参技巧而是结构事实：两个衰减系数计数的事件频率差了几个数量级，共用一个系数等于强加错误的时间标度。组织管理同理：季度目标与日度执行的回顾衰减周期不该一样；系统设计同理：跨服务的一致性检查频率与单服务内部的健康检查频率天然分层。

灵感三：警惕「汇聚通道」——所有信号都流经的地方就是最先失稳的地方。 论文 2 的共享参数 v 一次性收集全部问题的多数票信号，N 大时它先于任何问题特异方向被放大。任何分布式系统里都有类似结构：全局缓存、共享特征、总部汇总的 KPI。判断稳定性的正确问题不是「平均信号好不好」而是「汇聚方向的增益 × 暴露时长是否超过阈值」。对应的诊断动作：测量共享方向与特异方向的耦合比（k_u/k_s），在投入前算窗口期。

灵感四：区分「不会」与「没做完」，成本极低、信息量极大。 论文 3 最实用的一招是 fin@1(B) 这个辅助指标：base 给 64k 就反超，说明瓶颈是预算不是知识。产品漏斗、代码交付、学生考试……大量「失败」其实是未完成。先量完成率，再谈质量——很多时候把完成率拉平之后，质量差距会自己消失一大半。

灵感五：保均值的细化是安全的增量改进模式。 MPO 的中心化投影（A^MAE = A^turn + β·centered(A^intra)）保证局部修正不污染全局信号，β 控制强度且过大会退化。这是「分层修正」的通用范式：第一层定锚（总量/均值锁定），第二层在锚附近做差分修正，强度可调、上限可证。任何需要在保留既有约束下引入新自由度的系统（预算分配、排版微调、调度优化）都可以套用：新自由度必须对旧约束零投影。

灵感六：自评系统的崩溃阈值可以提前测量。 论文 2 给的实操清单：训练前测 ⟨F′(z_i)⟩（不确定窗口内的问题占比）与核比值 k_u/k′_d、k_s/k′_d；用小规模先验证 N_c 量级；边际熵 bonus β > 1/2 压制均匀模式（但要意识到下一个集体模式会接棒）。哪怕理论在小网络上欠校准，把「加数据会不会引入新的失稳模式」列入数据规模决策的检查项，本身就是观念升级。

灵感七：把「置信度」当作可操作的资源来管理。 论文 2 里最有反直觉味道的结论是 P4：初始自信的模型（a > z* ≈ 1.32）永不崩溃——不是慢崩，是数学上的稳定。反之，高熵模型不是「更有探索性」而是「更靠近失稳边界」。这给出了一个与直觉相反的管理原则：在依赖自反馈信号的系统中，先建立置信（哪怕小范围）再扩大规模，比一开始就铺开更安全。作者的「按置信度排课程」建议（先训模型已有把握的题、或小块训练保持 λ²NG 低于阈值）虽然未测，但逻辑直接从 P4 与式 (6) 推出——这个顺序颠倒了常见的「先难后易」直觉。

灵感八：识别「对称的噪声」可以省掉一半的归因工作。 论文 3 处理独胜题的手法值得单独拆出来：先注意到两个方向的独胜数量几乎相等（392 vs 457），怀疑是采样噪声；再让双方各加采 24–56 个样本，发现各自能解回对方「全错」题目的比例也几乎相等（23% vs 27%）；最后才对残差做人工复检。如果两个方向的误差对称，多数归因可以停在「噪声」这一层，只有不对称的残差才值得深挖。这把昂贵的逐题人工检查从 5400 对压缩到 144 对。任何 A/B 分析里「双向都有独占胜例」的现象都值得先跑这个对称性检验。

结语

三篇论文分别站在方法、理论、实证三个位置，却共享同一个信条：Agent RL 的下一步不在更大的奖励、更长的训练，而在于把已经有的信号沿着正确的坐标分解清楚——时间坐标上分清 turn 与 token，参数坐标上分清共享与特异，预算坐标上分清完成、正确与触及。分解做对了，82% 的「推理增益」现出行为改变的原形，128 题与 512 题的生死线有了闭式表达，多轮交互的 credit 终于落在了环境响应的边界上。这大概就是机制研究的朴素理想：让每一个数字都说实话。

对后续工作的指向也很清晰：MPO 的双尺度思路可以与层级 RL、异步 Agent 训练（SAO、FlashREINFORCE 一系）正交组合，turn 级重要性校正是否能迁移到那些框架是个开放问题；坍缩理论最需要的一步是把 ⟨F′⟩ 与核比值的测量搬到真实预训练 LLM 上、对照 He et al. 的 128/512 阈值做定量检验；三分解协议则应当成为 RLVR 报告的默认规范——毕竟在一个 82% 增益来自 finishing 的领域里，不报 fin@1(B) 的 pass@1 曲线本身就是一种系统性误导。