论文链接：Eliciting Weak-to-Strong Generalization with On-Policy Reverse Distillation 发表时间：2026年9月 机构：KAIST AI（Youngrok Park、Sangmin Bae、Se-Young Yun 等）、Microsoft（Jongwoo Ko、Young Jin Kim、Pashmina Cameron）、University of Toronto、Mila / Université de Montréal（Aaron Courville，CIFAR AI Chair）—— 典型"高校+企业"合作：KAIST 主导方法与实验，Microsoft 提供工程与模型支持，Mila 提供理论背景 领域标签：cs.LG / Weak-to-Strong Generalization / On-Policy Distillation / RLVR
一、论文背景
知识蒸馏是深度学习的经典操作：让小模型（学生）模仿大模型（教师）的输出，把大模型的能力"蒸"进来。对自回归语言模型，标准做法是在教师生成的序列上训练学生。但这里有个先天缺陷：训练时学生见的是教师的前缀，推理时它面对的却是自己生成的前缀——分布错位。
**在线策略蒸馏（OPD）**修正了这一点：让学生自己生成回复，教师在学生访问到的每个前缀上提供 token 级监督。这样训练和推理的分布就对齐了。OPD 近两年已成为 Qwen、GLM-5、Xiaomi 等前沿模型后训练的标配技术，也用于把多个领域专家模型的能力合并进一个学生（多教师 MOPD）。
弱到强泛化（Weak-to-Strong Generalization, W2SG）是 OpenAI 超对齐团队 2024 年提出的问题：一个更强的模型能否从更弱的监督者那里学习，并且超越这个监督者？这个问题在两个现实场景中极其重要：
- 代际传递：上一代后训练好的 4B 模型，能否当教师去教 8B 的继任者，让它继承后训练收益并且更强？如果成立，就不用每个新代际都从头做昂贵的后训练。
- 多域合并：在小模型上分别做四个领域的专项后训练（迭代奖励函数、环境、配方都便宜），再把这些能力合并进一个统一大模型。
问题的要害在于：标准 OPD 在弱到强方向会出事。OPD 的优化目标是让学生匹配教师策略——它的逐点最优解就是教师策略本身。也就是说，只要以教师为优化目标，学生最多学到教师那样，被教师的容量天花板死死钳住。加 RL 也救不回来：只要教师匹配还是独立目标，匹配损失就和奖励最大化互相打架。
于是核心问题浮出水面：如何利用弱模型后训练学到的收益，却不把弱模型策略（或它的策略变化）当成独立优化目标？
二、论文定位和关联工作
脉络一：蒸馏方法演化。 经典 KD（Hinton 2015）→ 序列级蒸馏（教师轨迹模仿）→ OPD（学生前缀上的教师监督，Gu et al. 2024、Agarwal et al. 2024、Ko et al. 2024）→ 多教师 OPD（Kimi、Xiaomi、DeepSeek-AI 用于能力合并）。本文的突破点：所有这些方法都把某个教师派生策略当优化目标，本文第一个把教师信号降格为梯度方向的调制器。
脉络二：弱到强泛化。 Burns et al.（OpenAI 超对齐）开创 W2SG：强预训练模型用弱标签/弱偏好超越弱监督者。后续工作用弱标签微调、固定推理轨迹、精炼方法等，但大多只能收复与强监督之间差距的一部分。本文与它们的区别：不比较"学生离真值多远"，而比较"学生训练动力学被教师加速了多少"，且给出不动点保持的理论保证。
脉络三：教师匹配+RL 的混合方法。 近期工作（Xu et al. 2025、Ramos et al. 2026）把教师匹配与强化学习组合，用密集教师监督配稀疏结果奖励。但教师匹配仍是独立损失项，教师策略仍是直接优化目标——张力依旧。
| 维度 | OPD 及混合方法 | OPRD |
|---|---|---|
| 教师信号的角色 | 优化目标（匹配对象） | 梯度方向调制器 |
| 学生能达到的上限 | 教师策略（逐点最优=教师） | 由 verifier 目标与学生策略类决定 |
| 不动点 | 教师策略 | RLVR 的原不动点集合 |
| 学生超越教师 | 不可能（目标上限） | 结构上可能（对齐时加速、反对时保留） |
定位结论：本文是"蒸馏目标论"到"蒸馏调制论"的转折点——教师从"要到达的地方"变成"值得快走的路标"。
三、问题定义
具体问题：在代际传递与多域合并两个场景中，如何让强学生从弱教师的后训练收益中获益且不受其上限约束。
核心洞察（抽象）：弱教师后训练前后的策略变化（policy shift）里，包含了"这次后训练学到了什么"的信息。这个变化方向可以提取出来，作为学生自身策略梯度的可信方向参考——但仅此而已。学生要不要走这条路、走多远，由学生自己的 verifier 梯度说了算。
形式化定义：RLVR 的 token 级策略梯度为 g_t = A_t ∇_{z_t} log π_θ(y_t|s_t)，其中 A_t 是 verifier 给的优势，z_t 是 logits。设弱教师后训练后的策略为 π_T、其参考策略（后训练前）为 π_T^ref，则在学生访问的前缀 s_t 上，教师的政策偏移为 Δ_t = center(z_T) − center(z_T^ref)（logit 空间均值中心化后的差向量），单位化得方向 d_t。
OPRD 的学生更新规则：
g_t^OPRD = (1 + λ_t^+) · P_{d_t}(g_t) + (1 − λ_t^−) · (g_t − P_{d_t}(g_t)) 的正向部分放大、正交部分不动。
即：把学生梯度投影到教师偏移方向上的分量放大 (1+λ)，正交分量原样保留。λ^+ 从一开始就激活（放大双方都认可的方向），λ^− 逐渐增大（逐步强化"verifier 支持但教师不认可"的偏离，即超越教师的部分）。
这个抽象为何精妙：它把"从教师学习"从约束优化（学生解空间被教师策略限制）改写成了同伦加速（学生走自己的路，教师只是告诉它哪边顺路）。数学上，正缩放一个 already-present 的梯度分量不改变不动点集合——学生的可达上限结构性地回到了 verifier 决定。
四、问题解法
4.1 教师政策偏移的提取
在每个学生访问的前缀 s_t 上，把弱教师后训练后与参考策略的 logits 分别均值中心化，取差得 Δ_t，再单位化为方向 d_t。实践中加一个简单截断：只在学生策略的 top-10 高概率词表区域上计算，让修正聚焦在学生真正会走的分支上。
4.2 梯度投影与不对称缩放
学生每步照常采样 rollout、算 verifier 优势、得到策略梯度 g_t。然后：
- 对齐分量（g_t · d_t > 0）：乘以 (1+λ_t^+) 放大。这加速双方一致认可的更新。
- 反对分量（g_t · d_t < 0）：缩放系数 (1−λ_t^−) 随训练逐渐趋近于不衰减——初期弱学生的"意外好行为"少，先跟着教师走；后期学生接近并超越教师时，verifier 支持但教师反对的更新被保留甚至强化，这就是"超越教师"的机制入口。
λ 的调度是训练稳定性的关键：负向缩放过早激活会放大噪声，过晚激活则退化为普通 RL。
4.3 为什么不动点保持
因为教师信号只做非负的重缩放，从不引入新的优化目标：学生仍在最小化 RLVR 目标。一阶意义上，OPRD 的更新是 RLVR 更新的正对齐分量加速——当 g_t 与 d_t 同向时收敛更快；反向时学生行为被 verifier 支持而保留。论文在附录 A 给出了缩放不改变驻点的形式化论证。
4.4 两个实验场景的设定
- 代际传递：后训练过的 4B 教师教 8B 学生（Qwen3 系）。
- 多域合并：四个领域专项的 4B 教师（逻辑、算法、博弈等）混合批次蒸馏进一个 8B 学生，每个样本激活对应领域的教师。
五、评估指标与实验证据
指标体系：数学用 Mean@16（AIME'24、AIME'25、HMMT'25、OlympiadBench），推理任务用 Pass@1（Knights & Knaves、Quantum Lock、String Manipulation、Countdown，即 Reasoning Gym 系）。训练策略的表格数值是五个 checkpoint 的平均（单教师每 30 更新、多教师每 60 更新采样）——这个设计同时捕捉学习速度与全程表现，比只报最终分更公平。
关键结果一：代际传递的速度与上限。OPRD 达到弱教师性能所需的学生更新数比 GRPO 少 33–67%；早期 checkpoint 性能最高领先 22.7 个百分点。更关键的是形态差异：OPD 在迁移完教师后就饱和在教师水平，OPRD 越过教师继续上升——这正是 W2SG 想要的定性行为，一条曲线同时证明了"加速"和"超越"。
关键结果二：多教师合并。四个 4B 专项教师→一个 8B 学生：OPRD 达到教师级性能比 Mix-RL 少 55% 更新，最终学生超越全部四个专家（Logic/Algorithms/Games 三线都越过最强教师的虚线）。这排除了"OPRD 只是快速复现教师"的解释——它在合并场景创造了教师们都没有的能力组合。
关键结果三：学生行为风格分析。响应风格分析显示 OPRD 学生的风格更接近"纯 verifier RL 训练出的模型"而非它的弱教师——说明教师没有把自己的"腔调"刻进学生，只是加速了学生自己的优化。这是"加速而非转向"主张的行为学证据。
关键结果四：常规强到弱方向同样有效。OPRD 在传统的强教师蒸馏里也跑赢 OPD 的平台（Qwen3-8B→1.7B、8B-Base→0.6B），说明该机制不依赖弱到强的特殊设定，是 OPD 的普适升级。
证明力评估：所有方法同起点、同任务提示、同 rollout 预算、同更新数，教师对教师方法共享冻结教师——变量控制干净。灰色虚线标注教师水平让"是否超越"一眼可判。局限是任务集中在数学与推理 Gym，开放域对齐任务未测。
六、效果优势的根源解释
OPD 的根本瓶颈：反向 KL 的逐点最优解是教师策略。这意味着 OPD 的信息利用方式是"复制"——教师知道什么，学生知道什么，上限即教师。在弱到强场景，这个上限就是教师容量，结构上不可逾越。加 RL 的混合方法为什么没解决？因为教师匹配项依然在拉学生回到教师策略，两个目标的加权和的最优解依然是折中——学生被"拉扯"而不是"放行"。
OPRD 的根本性改变：改的不是权重，是信息的流向与语义。教师信号从"目标分布"降格为"方向先验"：
- 方法差异：教师以参考策略为锚的偏移方向，被投影进学生梯度 → 机制变化：学生优化问题的不动点集合不变（RLVR 驻点），但等值面的"下滑速度"在教师认可的方向上变大 → 指标体现：达到同性能所需更新数减少 33–67%，学习曲线前期陡峭。
- 超越机制的因果链：当学生产生 verifier 支持、教师反对的更新时 → 正交/反对分量不被教师目标压制 → 学生的"惊喜行为"存活并被强化 → 指标体现：OPD 饱和于教师虚线，OPRD 越线上升（代际与多教师场景均复现）。
- 风格保持的因果链：教师信号不进入损失项、只重缩放梯度 → 学生的 token 分布演化仍由 verifier 驱动 → 指标体现：风格分析中 OPRD 学生聚类于纯 RL 模型而非教师。
反事实验证：若把 OPRD 退化为 OPD（教师信号变成匹配目标），曲线立即饱和在教师水平（论文 OPD 基线复现了这一点）；若退化为纯 GRPO（去掉教师调制），前期速度掉回基线（33–67% 的加速差消失）。两个反事实分别对应"超越"与"加速"两个收益的来源，机制归因闭环。
七、必要知识反推
领域知识层：
- RLVR 的策略梯度形式与优势估计——不理解 g_t 的构成就无法理解"投影哪个向量"；
- OPD 的反向 KL 形式及其逐点最优性质——这是整个"教师匹配钳制上限"论证的数学根基；
- 参考策略（reference policy）在后训练中的角色——不懂 KL 正则化就看不懂"政策偏移"为什么以参考策略为锚。
方法论知识层：
- 弱到强泛化的实验范式（Burns et al. 的设置与度量）；
- 梯度投影/共轭梯度类的"方向调制"优化技术——OPRD 本质是把这类技巧第一次引入蒸馏；
- 多教师混合训练的批次构造与教师切换机制。
工程知识层：
- 大模型 RL 训练infra（rollout 引擎、verifier 打分、checkpoint 采样协议）；
- top-10 截断的工程考量（内存、噪声控制）；
- 五 checkpoint 平均的评测协议设计。
知识融合的关键节点：融合发生在"对齐研究的问题意识"（W2SG：学生不该被教师钳制）与"蒸馏技术的数学结构"（反向 KL 的最优解性质）之间。做对齐的人知道目标是什么但缺技术杠杆，做蒸馏的人精通技术但默认了"匹配即目标"。作者同时看到：反向 KL 的病（逐点最优=教师）恰好是 W2SG 痛点的数学表述，而梯度投影恰好能拆掉"目标"这个词——教师信号降格为调制器后，两个领域的矛盾同时消解。λ^+/λ^− 的不对称调度则来自对训练动力学的直觉：先跟走后超越，是弱学生初期的理性策略。
八、论文中可以提取的通用性灵感
1. 把"示范者"降格为"方向调制器"，破除上限钳制。 核心思想：想让学习者超越示范者，就不能把示范者的输出当优化目标——只能当梯度方向的参考。 论文证据：OPD 饱和于教师 vs OPRD 越线；少 33–67% 更新加速。 推广场景：人类反馈训练（示范不等于上限）；机器人模仿学习+任务奖励；组织里的"导师制"设计（导师指引方向而非规定动作）；教学系统（范例应该是路标不是模板答案）。
2. 后训练的"政策偏移"本身就是可复用资产。 核心思想：模型微调前后的参数/策略差异携带了"这次训练学到了什么"的浓缩信息，可以提取、迁移、复用。 论文证据：教师相对参考策略的偏移方向足以加速学生的 RLVR 优化。 推广场景：LoRA 增量作为能力"胶囊"在模型间搬运；个性化助手的用户偏好偏移迁移；领域适配增量的组合复用。
3. 不对称调度匹配学习阶段。 核心思想：先紧跟示范者、后偏离示范者的两阶段缩放，是弱学习者启动期的理性策略。 论文证据：λ^− 逐渐激活，避免早期噪声放大，后期保留超越行为。 推广场景：课程学习中的探索率退火；强化学习的模仿预训练→自主探索切换；新员工培训的"先照做后创新"节奏。
4. 保不动点的加速才是安全加速。 核心思想：任何加速手段若改变了优化问题的驻点集合，就可能改变可达上限；只重缩放既有梯度分量则上限结构不变。 论文证据：OPRD 形式化论证缩放不改驻点，学生上限回归 verifier 决定。 推广场景：优化器设计（预条件子不改变驻点）；推荐系统的流量扶持（不改变内容排序的公平性约束）；经济政策的"补贴不改变市场均衡结构"。
5. 行为风格是检验"学了什么"的独立证据源。 核心思想：除了任务指标，输出风格/习惯的聚类分析可以区分"复制了教师"还是"自己学会了"。 论文证据：OPRD 学生风格靠近纯 RL 模型而非教师。 推广场景：蒸馏后模型的"教师腔"检测；多源数据训练的来源溯源；学生解题风格与老师雷同度的教学评估。
本文基于 arXiv:2609.08798 全文精读撰写。数据与结论均引自原文。