β-OPSD: Deriving with Policy Optimization, Training with Self-Distillation 精读

4.5 完整算法

输入：学生 π_θ，特权教师 p_T，数据集 D
      调度端点 w_start=0.5, w_end=0.8，折扣 γ=0.99

for k = 0 to K-1:
  1. 采样问题 x ~ D
  2. 学生在策略生成轨迹 y ~ π_θ(·|x)
  3. 计算进度 w_k = 0.5 + (0.8-0.5) × k/(K-1)
  4. 构造插值目标（logit加权平均）
  5. 计算每个token的失配 ρ_t
  6. 计算return-to-go权重 G_t（累积未来失配）
  7. 用 G_t 加权的token损失更新 θ
end for

五、评估指标与实验证据

5.1 评估指标体系

主指标：avg@12（12次采样的平均正确率）——衡量数学推理的可靠性和稳定性

评估基准：

• AIME 2024/2025：美国数学邀请赛，竞赛级难度
• HMMT 2025：哈佛-MIT数学锦标赛，更高难度

对比方法：

• Base model（无后训练）
• SFT（在标准答案上监督微调）
• Vanilla OPSD（标准在线策略蒸馏，β=1）
• GRPO（组相对策略优化强化学习）

5.2 核心实验结果

主实验：三种模型规模

关键发现：

1. β-OPSD在所有三种模型规模上持续超越vanilla OPSD
2. 小模型收益最大——Qwen3-1.7B上AIME 2024提升9.16分（44.17→53.33），平均提升5.74分
3. β-OPSD强于GRPO——在所有规模上平均分更高，说明蒸馏路径优于纯RL
4. SFT在Qwen3-4B上灾难性崩溃（17.96），说明直接监督微调不如在策略蒸馏

5.3 消融实验的证明力

消融一：Logit插值 vs. 直接教师

证明了什么：即使两者都用return-to-go信用分配，logit插值目标仍带来巨大提升——因为插值提供了"中间桥梁”，学生不需要一步跳到教师。

消融二：Return-to-go vs. 局部token

证明了什么：return-to-go在长序列推理（AIME 2025和HMMT 2025）上提升显著——因为它能感知早期token错误对后续的传播效应。

消融三：插值调度

证明了什么：渐进式调度（0.5→0.8）优于固定值——训练早期保守（50%教师），训练后期激进（80%教师），形成平滑过渡。

六、效果优势的根源解释

6.1 为什么β-OPSD比vanilla OPSD更稳定？

baseline（vanilla OPSD, β=1）的根本局限：最优策略恰好是教师端点——学生被要求完全匹配教师。当学生初始分布 $\pi_\theta$ 与教师分布 $p_T$ 差距很大时（如1.7B学生 vs 拥有标准答案的教师），KL散度 $D_{KL}(\pi_\theta \| p_T)$ 的梯度方向指向一个不可达的端点——学生在有限步内无法到达教师，梯度信号在高维空间中振荡。

β-OPSD的根本性改变：

β>1时，最优策略 $\pi_\beta^*$ 是参考和教师的几何插值——一个中间点。学生的梯度方向指向这个可达的中间目标，而非遥远的教师端点。

随着训练进行，参考策略逐步向教师移动（因为学生在学习），中间目标也随之移动——形成一条动态的平滑路径。

因果链：β>1 → 最优策略为中间点而非教师端点 → 学生梯度指向可达目标 → 减少振荡 → 训练稳定 → 调度逐步增大教师权重 → 学生沿平滑路径走向教师。

6.2 为什么logit插值比直接教师匹配更有效？

表面解释：插值提供了更"温和"的目标。❌

根源解释：这是一个分布课程学习（distribution curriculum）问题。

直接教师匹配要求学生一步从分布 $\pi_\theta$ 跳到 $p_T$——两个分布可能在生成空间中相距甚远（不同的推理路径、不同的token序列）。一步跨越意味着学生必须同时改变所有token的分布——这在梯度下降框架下是低效的。

Logit插值 $\tilde{p} = \text{softmax}((1-w)z_{ref} + w z_T)$ 创造了一系列中间分布——随着 $w$ 从0.5增大到0.8，中间分布从靠近学生平滑过渡到靠近教师。学生在每一步只需匹配邻近的中间分布——两个相近分布之间的梯度下降是高效的。

因果链：logit插值 → 中间分布序列 → 每步匹配邻近分布（而非远端教师） → 梯度下降高效 → 稳定收敛。

6.3 为什么return-to-go能纠正token级更新的近视性？

标准token级更新的近视性：在自回归生成 $y = (y_1, y_2, \ldots, y_T)$ 中，token $y_t$ 的损失 $\rho_t$ 只衡量当前token与目标的差异。但 $y_t$ 的质量会影响 $y_{t+1}$ 的生成——如果 $y_t$ 偏离了目标路径，后续所有token都会受到影响。

标准更新看不到这种级联效应——它会"正确地"优化每个token的局部损失，但局部最优不等于全局最优。

Return-to-go的根本性改变：

权重 $G_t = \sum_{s=t}^T \gamma^{s-t} \rho_s$ 将当前token及所有后续token的失配聚合为当前token的梯度权重。如果一个token $y_t$ 虽然局部失配小，但导致了后续大量失配（级联错误），$G_t$ 会很大——赋予该token更大的更新力度。

无偏性保证：命题B.1证明当 $\gamma=1$ 时，return-to-go是序列级KL梯度的无偏估计器——这意味着它在期望上等价于"将整个序列作为一个整体优化”，但只需要token级计算。

因果链：return-to-go聚合未来失配 → 识别导致级联错误的关键token → 赋予更大更新权重 → 纠正级联错误源 → 全局序列质量提升。

七、必要知识反推

7.1 领域知识层

• 推理语言模型的训练范式：必须理解SFT、RLHF、GRPO和蒸馏各自的机制和适用场景，才能定位OPSD在其中的位置
• 数学推理的级联特性：必须理解数学推理中早期错误传播到后续所有步骤的特性，才能设计return-to-go信用分配
• KL散度的性质：必须理解KL散度的非对称性和闭式最优策略的推导方法

7.2 方法论知识层

• KL正则化策略优化的理论框架：必须掌握RLHF中 $\max R - \beta D_{KL}(\pi \| \pi_{ref})$ 的标准形式和闭式解推导
• DPO（Direct Preference Optimization）：必须理解DPO如何将RL目标转化为闭式解再转化为分类损失——β-OPSD采用了类似的"RL推导→闭式解→蒸馏训练"路径
• score-function梯度估计：必须理解REINFORCE和score-function恒等式，才能证明return-to-go的无偏性
• 课程学习理论：必须理解从易到难的渐进式训练原理，才能设计调度插值

7.3 工程知识层

• LoRA微调：必须掌握低秩适配的高效微调技术（rank=64, α=128）
• vLLM在策略生成：必须了解如何高效地在训练循环中集成vLLM推理引擎
• 数值稳定性技巧：必须了解梯度裁剪（0.1）、bfloat16精度和FlashAttention-2的使用

7.4 知识融合的关键节点

创造性融合节点：“RL推导→闭式解→蒸馏执行"的方法论贯通。这需要同时理解：

• RLHF的闭式解推导（方法论）——才能找到 $\pi_\beta^*$
• 蒸馏的训练机制（领域+工程）——才能将闭式解转化为可执行的logit插值
• 课程学习的渐进思想（方法论）——才能设计调度而非固定β
• 信用分配的因果传播（方法论）——才能设计return-to-go

八、论文中可以提取的通用性灵感

灵感一：“揭示隐式特例→参数化泛化"的理论突破模式

核心思想：当一个现有方法（如OPSD）在实践中不稳定时，检查它是否是某个更广泛优化框架的隐式特例（如β=1）。如果是，将隐式参数变为显式可控参数，就能获得从"激进端点"到"保守端点"的完整谱系——不稳定的原因往往是现有方法恰好处于最激进的端点。

论文证据：OPSD是β=1特例，β>1时更稳定。

推广场景：

1. 学习率调度：检查固定学习率是否是schedule的特例（固定=恒定schedule），参数化schedule获得更大灵活性
2. 损失函数权重：检查多任务损失的固定权重是否是动态调度的特例
3. 正则化系数：检查Dropout率/权重衰减是否是自适应正则化的特例
4. 任何"隐式固定了一个本可变化的参数"的方法

灵感二：“RL推导目标→蒸馏执行训练"的混合范式

核心思想：当直接RL优化不稳定或高成本时，可以先用RL的理论推导找到最优策略的闭式解，然后将闭式解转化为蒸馏目标用监督学习执行——获得RL的理论最优性，同时享有蒸馏的训练稳定性。

论文证据：β-OPSD用闭式解指导logit插值蒸馏，避免了直接RL的高方差。

推广场景：

1. 机器人模仿学习：用最优控制的闭式解（如LQR）指导策略蒸馏
2. 推荐系统：用bandit的最优策略闭式解指导推荐模型蒸馏
3. 对话系统：用RLHF的DPO闭式解指导对话策略蒸馏
4. 任何"理论最优可达但直接优化困难"的场景

灵感三：“Return-to-go信用分配"纠正近视更新

核心思想：在自回归/序列决策中，token级/步骤级的局部更新是近视的——它看不到当前决策对未来步骤的级联影响。用"从当前步骤到序列结束的累积未来失配"作为权重，可以将序列级信号分解到每个步骤，实现无偏的序列级优化。

论文证据：return-to-go在长序列推理（AIME 2025/HMMT 2025）上提升显著（+5.55/+3.61），在短任务上提升较小（+1.12）。

推广场景：

1. 代码生成的token级优化：代码中早期语法错误级联影响后续编译——用return-to-go识别导致后续大量错误的早期token
2. 多轮对话策略优化：对话早期策略错误影响后续所有轮次——用return-to-go对齐对话级目标
3. Agent多步规划：规划早期步骤的错误传播到后续所有步骤——用return-to-go做规划级信用分配
4. 任何自回归/序列决策的优化

灵感四：“分布课程"的渐进式训练

核心思想：当学生分布与目标分布相距甚远时，不要要求学生一步跳到目标——而是构造一系列中间分布（通过插值/混合/调度），让学生逐步匹配邻近的中间分布，形成平滑的优化路径。

论文证据：调度插值（0.5→0.8）优于固定值（0.5）和反方向调度（0.8→0.5）。

推广场景：

1. 领域适应：源域和目标域差距大时，构造中间域逐步迁移
2. 难度课程：从简单任务逐步过渡到困难任务
3. 模型量化/压缩：从全精度逐步过渡到低精度
4. 任何"起点和终点差距大"的优化问题