合读论文：

• ROADMOPD: Beyond Domain-Routed Supervision: Cross-Teacher Guarding for Multi-Teacher On-Policy Distillation（arXiv:2610.13521）
• CriticOPD: Recovering Reliable Supervision via Critique-Guided On-Policy Distillation（arXiv:2610.20572，代码 github.com/kzhao5/CriticOPD）
• ActionOPD: Distilling Decisions, Not Tokens（arXiv:2610.19820，代码 github.com/thu-nics/ActionOPD）
• More Methods, Better Agents? A Reality Check on Self-Distillation in Agentic RL（arXiv:2610.19789，项目 github.com/aim-uofa/Self-Distillation-AgentRL）

发表时间：2026 年 10 月 机构：ROADMOPD——南京大学 + 京东（学校学生 + 企业合著的项目型合作，京东方为项目负责与通信作者单位）；CriticOPD——杨百翰大学 + 北卡罗来纳大学教堂山分校；ActionOPD——清华大学；Reality Check——浙江大学 + 蚂蚁集团 领域标签：cs.AI / cs.LG / cs.CL，后训练、知识蒸馏、智能体训练

一、论文背景：OPD 的承诺与三处裂缝

先从最基础的概念讲起。知识蒸馏（KD） 是让小模型（学生）模仿大模型（教师）的技术；最经典的形态是学生直接拟合教师生成的完整回答序列（sequence-level distillation，Kim & Rush, 2016）。这种离线蒸馏有个先天缺陷：训练时学生看到的是教师写的 prefix，推理时却要接续自己写的 prefix——两边状态分布对不上，CriticOPD 把这个距离命名为占用失配（occupancy mismatch），这正是模仿学习里 DAgger（Ross et al., 2011）要解决的老问题：学生一旦在推理时走进训练中罕见的状态，错误会滚雪球式累积。

On-policy 蒸馏（OPD） 就是对它的回应：让学生自己生成轨迹（rollout），教师只在学生真实到访的状态上给出下一个 token 的分布作为监督。这样训练分布与推理分布一致，且教师反馈是 token 级的密集信号——比 RL 只有结果奖励（outcome reward）细得多，也比离线蒸馏匹配学生状态。OPD 的一般形式是最小化序列级反向 KL：

L_OPD(θ) = E_x D_KL(π_θ(·|x) ‖ π_T(·|x))

由自回归分解与 KL 链式法则，它可以精确拆成 token 级监督的和——每个被采样的 token y_t 收到优势 A_t = log π_T(y_t|h_t) − log π_θ(y_t|h_t)：教师比学生更看好的 token 被强化，反之被抑制。ROADMOPD 还给出了等价的「相对奖励」视角：引入冻结参考模型 π_ref，OPD 等价于最大化教师相对参考的对数似然减去学生对参考的 KL 惩罚——这个视角让它后面的奖励缩放操作变得自然。

三种训练范式的直观对比：

听起来 OPD 很完美——它确实已成为后训练的流行组件。但本组合读的四篇论文各自在「教师监督可靠」这个前提上撬开了一道裂缝：

1. 裂缝一（多教师场景）：当一个学生同时向多个领域专家教师学习（MOPD），惯例做法是按领域路由——数学数据只找数学教师。ROADMOPD 发现：域路由只区分了监督来源，所有域的梯度仍作用于共享参数。当教师之间风格与专长差异大时（典型如医疗×数学），单独有效的监督在联合优化中会互相打架——医疗×数学训练中平均 45.2% 的参数层存在梯度冲突，医疗成绩反而低于单域 OPD 基线（Math+Medical 设置中 MedQA 掉 14.45 分）。
2. 裂缝二（单教师场景）：OPD 隐含假设教师能从学生的任意 prefix 续写出正确答案。CriticOPD 把这个性质命名为可恢复性（recoverability） 并实测证伪：在教师原本会做的题上，一旦学生 rollout 出错，教师续写正确率从 0.82 跌到 0.29，最高一半的失败续写以学生的错误答案收尾——教师跟着学生一起错。
3. 裂缝三（智能体场景）：token 级对齐要求教师输出 token 概率且词表兼容。ActionOPD 追问：对会调工具、会说话的 agent 而言，对齐的天然单位真的是 token 吗？同一个决策可以有无穷多种措辞，模仿措辞不等于学到决策。
4. 裂缝四（方法论层面）：这一方向论文井喷（Reality Check 统计约每两天一篇新预印本），但各论文实验条件互不相同、baseline 分数互相转引，重复评测报告率仅 1/10、实测成本报告率仅 3/10。这些增益是真的吗？Reality Check 用 132 次全量重训做了一次照妖镜式的独立评测。

一句话串起来：前三篇分别把监督信号失真的位置（梯度层 / 前缀层 / 粒度层）诊断出来并修复，第四篇则质疑修复本身的证据质量。

二、论文定位和关联工作

四篇论文共享同一个知识谱系的底座，再各自分叉：

定位结论：

• ROADMOPD 是首个用非路由教师做同轨迹批评者来协调 MOPD 更新的工作——之前的 MOPD 变体（Open-MOPD 平衡 token 份额、D3-MOPD 调度域进度、CaMOPD 分离能力恢复与域保持更新）都没让路由教师之外的教师给当前域轨迹打分。
• CriticOPD 是首个把模仿学习中的可恢复性概念引入 OPD、并用「教师批评 + 学生自重写」恢复它的工作。与既有路线的分野：FastOPD 等选择截断长响应（减少监督）、TRD/SKD/RelayOPD 等让教师接管重写（替换序列）——两者都在回避不可靠状态，而 CriticOPD 选择让监督在错误状态上重新变得可靠。
• ActionOPD 是首个把监督单元显式定义为语义动作并给出 REINFORCE 形式推导的 agent 蒸馏工作，核心卖点是跨家族黑盒教师（DeepSeek 教师 → Qwen 学生）无需 tokenizer 对齐。
• Reality Check 是该方向首个 11 方法 × 4 基准 × 3 尺度的全量重训独立评测基准；它不提出新训练方法，而是把「独立评测」本身当作贡献——正如作者所言：方法井喷时，最需要的是判断哪些值得建的共同基础。

同期相关还可关注 Waypoint-OPD（arXiv:2610.21601），它用 RL checkpoint 的时序一致性门控来筛选蒸馏信号，与 ROADMOPD 的跨教师一致性门控思路同源（该文全文不在手边，本文不展开其数字）。

四篇的组合定位：前三篇是「修复型」工作——各自锁定一类失真并给出最小侵入的修复；第四篇是「审计型」工作——不复现任何单一方法的全部细节，而是把十个同类方法放进同一协议下重新定价。修复与审计互为镜像：没有修复型工作的增益，审计无从谈起；没有审计型的对照标准，修复型增益的可信度无处安放。

三、问题定义：监督信号的失真与修复

把四篇的问题抽象到同一层：教师监督信号 π_T(·|h) 在什么条件下不再代表正确的学习目标，如何在丢失最少 on-policy 性质的前提下修复它？

形式化地，OPD 想最大化 J(θ) = E_h~dπθ[Σ_t log π_T(y_t|h_t)]，其中状态分布 d 来自学生自身策略。这个目标有效的前提是：教师分布在学生到访的每个状态上都「指向正确方向」。四篇论文分别挑战了该前提的一个侧面：

抽象的共同结构是：监督 = 单位 × 来源 × 可靠性。单位（token 还是动作）、来源（一个教师、多个教师还是特权上下文中的自己）、可靠性（可恢复性、梯度兼容性、可复现性）——四篇论文各改一个维度，这个分解本身是本次合读最大的收获之一。

四、问题解法

4.1 ROADMOPD：跨教师守护（token 级信用分配 + 预防性梯度投影）

类比：专科会诊制度。患者的病历（学生轨迹）照常交给对应专科医生（路由教师），但其他科医生也看同一份病历给出意见；两科意见一致的治疗方案加码执行，意见相左的方案打折扣，且查出的冲突用药（梯度冲突）在开处方（参数更新）之前就被拦截。

组件一：跨教师引导的信用分配。在同一批学生生成的轨迹上（teacher forcing 打分，无需额外 rollout），路由教师 T_r 与辅助教师 T_a 各自相对共享冻结参考模型 π_ref 给出证据，token 级一致性得分：

s_t = tanh((ℓ^r_t − ℓ^ref_t)/τ) · tanh((ℓ^a_t − ℓ^ref_t)/τ) ∈ [−1, 1]

两教师相对参考模型倾向同向修正则 s_t > 0，反向则 < 0，任一方无证据则趋近 0。用它把全局奖励尺度 λ 替换为逐 token 系数：λ_t = clip(1 + ρ_g·s_t, λ_min, λ_max)（实现中界为 [0.5, 1.5]）。一致处放大监督、冲突处衰减、无证据处 λ_t=1 退回标准 OPD。注意辅助教师不是来教目标域任务的——它的相对偏好只作为该教师所代表能力的兼容性信号。实现上采用 PPO 式裁剪 surrogate，优势经一致性调制后截断并 stop-gradient，梯度只流过重要性比率。

组件二：预防性多教师梯度投影。目标域梯度 g_d（来自一致性调制损失）与「辅助教师对同批轨迹的普通 OPD 梯度」g′_d 逐参数张量比较。若内积 ⟨g, g′⟩ < 0（冲突），把候选解限制在 g 与其全投影的凸包线段上，选残差冲突最小、且范数保留不低于 m‖g‖ 的部分投影：

g̃ = g − α⋆ · (⟨g,g′⟩/‖g′‖²) · g′，α⋆ ∈ [0,1]

全投影能消冲突但可能几乎抹掉 g，范数下限 m 保证目标域学习信号不被消灭——α⋆ 有闭式解。与 PCGrad 的关键区别：PCGrad 对各自独立计算的域梯度做事后手术；ROADMOPD 用同一条轨迹上的辅助教师梯度对即将发生的更新做预防性约束，能捕捉独立域梯度对齐时仍存在的局部冲突。多辅助教师时按最负余弦依次投影、共享同一范数下限；辅助梯度从不作为独立优化步应用。

4.2 CriticOPD：批评引导的可恢复性重建

类比：导师批注论文。学生初稿（错误 rollout）交给导师，导师逐段指出错误并给修改建议（critique，含参考答案）；学生从最后一个错误处自己重写——导师一个字都不替学生写；最后导师看着批注给重写稿打分，学生训练时却看不到批注，学会的是「没有批注也能改对」。

流程四步：

1. 触发：错误或超长无答案的 rollout 进入批评流程；正确的走标准 OPD。
2. 批评：教师收到题目、参考答案和分段编号的解答，输出每处错误所在段落、错误原句与简短修正（批评长度上限 2,048 token）；批评与参考答案合并为反馈 c。参考答案让教师能批评自己也解不出的题。
3. 剪切点：保留到最后一个错误所在段落为止的前缀 h_τ，丢弃其余——重写恰好从教师可恢复性开始崩坏的那类状态出发。
4. 重写与训练：学生在「前缀 + 批评」上下文里自己采样新后缀（τ 之前 token 不变）；教师带着批评给新后缀打分 π_T(·|h_t,c)，学生不带批评计算损失——批评是训练期特权信息，推理时无需任何反馈。

其反馈蒸馏优势可精确分解：A^fb_t = OPD 优势 + r_t，其中 r_t = log[π_T(y_t|h_t,c) / π_T(y_t|h_t)] 是 token 与批评在教师分布下的逐点互信息——教师把自己的错误识别能力转化成了 token 级信用。只监督重写后缀（保留前缀含错误、处于低可恢复状态）。

4.3 ActionOPD：把监督单位换成语义动作

类比：师徒制教的是手法不是口诀。同一个「查北京天气」的决策，工具名和参数一致就算学会，措辞与推理过程怎么写都行。

核心推导：在学生到访状态 s 上最大化期望教师动作似然 E[π_θ(a_T|s)]。把「学生实现语义动作 a 的概率」写成所有等价响应的概率质量之和 π_θ(a|s) = Σ_y π_θ(y|s)·1{φ_s(y)=a}，经 score-function 恒等式精确转化为以语义一致为奖励的 REINFORCE 梯度：∇J = E[1{φ_s(y)=a_T} ∇log π_θ(y|s)]。一个语义级奖励加权该响应全部 token 的策略梯度——监督是动作级的，优化覆盖学生自己的推理与动作 token，不把教师推理文本当模仿目标。

工程三件事：

• 语义匹配器：工具调用按程序比工具名 + 规范化参数（city=“Paris”, unit=“celsius” 与参数顺序无关）；自然语言回复先归一化精确匹配、再由冻结 LLM 比较意图与事实内容（如「Basic-economy 不可改签」与「改签不允许用于 basic-economy」算同一动作）。匹配器评估的是一致性，不是正确性。
• 奖励设计：每状态采 K=3 个教师响应、N=4 个学生候选；首个匹配得 1 分，每个额外匹配得频率加成（λ=0.5：教师采样 [A,A,B] 时匹配 A 得 1.25、匹配 B 得 1），无效动作罚 −1——频率加成让全匹配组内部仍可分优劣。
• 状态组 rollout：每状态只执行最高奖励的候选动作推进轨迹，但全组候选都参与训练——教师引导下探索学生自身分布难以到达的轨迹，同组内提供局部奖励对照。优化用组相对优势（组均值基线 + 批内标准差归一）+ PPO 裁剪。

整个接口只需教师能被生成（黑盒 API 可行），不需要 token 概率、不需要同家族、不需要 tokenizer 对齐。

4.4 Reality Check：不改方法，改证据标准

它的「方法」是一套评测协议：11 个方法（GRPO 基线 + 10 个自蒸馏方法）× 4 基准（ALFWorld 家务 / ScienceWorld 科学实验 / Search-QA 检索问答 / WebShop 购物）× 3 尺度（Qwen3.5-2B/4B/9B），共 12 个模型-任务设置；每设置 100 步全量重训，共 132 次训练、12,124.4 H800 GPU 小时；每 5 步验证共 2,772 次扫描；终评以 T=0.4、8 个 rollout 种子重复（1,152 次评测扫描），报告均值与样本标准差。方法侧超参遵照源论文与开源实现（如 ADRS 的任务特定 η 与归一化设置、AgentOPSD 的 PPO 上裁剪界 0.24），保留方法特异性以避免「统一超参惩罚方法」。考察三个此前严重缺失的维度：重复评测方差、训练失败分析（验证曲线 AUC、峰值-终值回撤、低性能结局）、实测计算成本（含时间预算对齐比较）。

五、评估指标与实验证据

5.1 ROADMOPD：失真诊断 → 机制验证 → 修复有效的完整证据链

设置：11 个基准（Code: HumanEval+/MBPP+/LiveCodeBench；Math: AIME24/25 与 HMMT 2025 二月/十一月；Medical: MedQA/MedXpertQA/MedMCQA/SuperGPQA-Med）；报告 Code Avg@4、Math Avg@32、Medical Avg@1。学生 Qwen3-4B 与 1.7B（关思考模式）；数学/代码教师为 Qwen3-4B 专项 checkpoint，医疗教师为 II-Medical-8B（Qwen3-8B RL checkpoint）；每域 1 万条提示。

证据链三环节：

1. 失真存在：Math×Code 联训冲突层均值仅 2.2% 且多数基准小幅获益；医疗×任一域冲突层达 36.6% / 45.2% 且训练后期继续走高，Vanilla MOPD 的医疗成绩全面低于单域 OPD（Math+Medical 中 MedQA −14.45、MedXpertQA −3.07、MedMCQA −7.05、SuperGPQA-Med −9.26）——证明失真是可测量的梯度层现象而非玄学。
2. 机制与失真相关：按教师不一致度 S⁻ 五分位分组，原始梯度冲突率随不一致度单调上升（Math 24%→40%，Medical 46%→76%）——信用分配的门控信号确实预告冲突。token 级可视化也印证：两教师反向修正的「Alternatively / The」被衰减，同向修正的「perhaps / Maybe」被放大。
3. 修复有效且不伤其他域：四个双域设置（两配对 × 两学生规模）全部拿到最高双域均值，超最强 baseline 0.72–2.89 分。以 4B 学生为例（域均值 / 双域均值）：

高冲突场景医疗较 Vanilla MOPD 恢复 5.6–8.8 个百分点；1.7B 学生医疗均值 36.89/36.51 甚至超过单域 OPD 参照的 35.67，超最强多域医疗基线 3.88/5.17 分。低冲突 Math×Code 仍最高（55.40，超 ExOPD 0.35）；三域设置全域领先（52.89，超 CaMOPD 1.18），同时验证了多辅助教师的聚合一致性 + 顺序投影扩展。

消融与对照：去掉信用分配，Math/Code 分别掉 1.82 / 3.48 分；去掉梯度保护，Code×Medical 医疗掉 0.88；把自适应范数保留换成全投影，双域均值掉 0.83 / 0.44——三个组件各有贡献，「投影但保底」优于「投影到底」。与 PCGrad 的受控对比（保留相同信用分配与范数机制）中，四个域均值全面高出 0.18–2.12 分；同轨迹梯度对在训练大部分时间为负余弦（μ = −0.529 / −0.391），而独立域梯度对多为非负（μ = +0.076 / +0.033）——两类方法看到的冲突根本不同，支持预防性约束的必要性。

5.2 CriticOPD：诊断定量 → 修复定位 → 主结果

诊断实验（Qwen3-1.7B 学生 80 步 OPD 后；900 题取 150 对正误 rollout；8 个切点各 16 次续写估计 Λ）：

• 排除混淆变量：正确 rollout 上 Λ_T 始终 ≥0.93、Λ_S 从 0.81 升至 0.94——prefix 变长本身不损害可恢复性。
• 主诊断：教师会做的题（初始 Λ_T≥0.5）上，错误 rollout 使 Λ_T 从 0.82 跌至 0.29、Λ_S 从 0.34 跌至 0.10；失败续写中以学生错误答案收尾的比例从 1% 升至 35%（占失败续写的 8%→50%）——教师被学生 prefix 带偏，而非不会做题。
• 不对称性：错误识别精度在五个 Λ_T 分箱（均值 0.07–0.93）上稳定于 73–81%——识别能力没坏，坏的只是续写。
• 量化严重性：错误 rollout 中 53% 的 token 位于 Λ_T<0.2 的 prefix 上（仅 21% 在 Λ_T≥0.8），而错误 rollout 占训练 token 的 61%——约三分之一的全局训练 token 拿到的是低可靠监督。
• 修复效果（重写 vs 原始）：续写至 75% 处教师可恢复性 0.14→0.67，学生成功率 0.03→0.16。

主结果（六个数学基准，3 种子；AIME/AMC 32 样本均值、其余 8 样本）：

• 总提升：1.7B +4.57（50.08→54.65）、0.6B +4.06（34.80→38.86）；增益集中于竞赛题：AIME24 +6.01、AIME25 +7.36、AMC23 +6.94——恰是学生最常出错、最需要从错误状态学习的难题。0.6B 上对应 +4.72/+4.72/+5.30。
• 六基准中五个的第一名（两个尺度）；1.7B 超 FastOPD 2.10、超 RelayOPD 0.97。特权信息类对照：OPSD-T 仅 +0.93/+1.82；Critique-GRPO 甚至低于初始学生——特权信息用错方式会起反作用。扩展到 OLMo-3 师生：54.69→57.23；非数学任务持平（70.69 vs 70.47）。
• 消融（1.7B）：去参考答案 −0.85、去批评 −5.90（最大组件）、换通用反馈 −1.46、教师替写后缀 −0.66、教师打分不带反馈 −1.19；只用答案不带批评时学生甚至跌破 OPD——学会「报答案」而不会推导。
• 双指标权衡：occupancy mismatch 0.16（OPD 0.10、FastOPD 0.21、RelayOPD 0.35）+ 监督状态上教师可靠性最高——两难曲线上拿到最优角落。
• 增益定位：CriticOPD 学生在错误 prefix 后的续写成功率较 OPD 学生平均 +0.023（95% CI [0.010, 0.036]），正确 prefix 上差异 0.000、空 prefix ≤0.015——学到的东西恰好长在失真发生的地方。剪点处 132 个对照实验：纠正续写比延续错误的每 token 优势从 0.24（无批评，CI [0.19,0.29]）拉大到 1.47（有批评，CI [1.36,1.58]），前 32 个 token 贡献 87% 的拉大幅度。
• 成本：每条被批评 rollout 多一次教师生成 + 一次学生生成，但因更早到达选定 checkpoint，总训练算力仅 0.42 倍 OPD。

5.3 ActionOPD：跨家族迁移、缩放与诚实的同台对比

主实验（训练：AWM 5,942 任务/794 环境 + EnvScaler 755 任务/49 环境，共 6,697 任务，100 步；评测四个训练外基准：BFCL 多轮 / ToolSandbox / AppWorld Normal+Challenge / τ²-bench 三域）：

• 两条缩放规律：学生越大蒸馏后越强；教师越强（DeepSeek-V4-Flash 直评 71.2 > Qwen3.7-Flash 65.6）学生越强——且 DeepSeek→Qwen 跨家族无需 token 空间兼容，教师选择可只看决策质量。
• 同台对比（Qwen3-4B 学生 + Qwen3-32B 教师，178 个 τ² 训练任务，第 50 步）：KD 拿最高测试 pass4（19.2，有限任务上的重复成功可靠性）；OPD 与 ActionOPD 测试 pass1 更高（39.6 / 40.0），ActionOPD 超 OPD 0.4 分但 pass4 更低（14.2 vs 17.5）。作者明确承认这不构成全面优势——价值在「只用生成接口」的更松约束下仍有竞争力。
• 消融：语义奖励换成合法性奖励，测试均值 40.0→30.8（全匹配组内部失去分辨力）；换二值奖励、随机提交也各有退化——监督必须携带语义而非仅协议合规。
• Self-ActionOPD（同一模型当教师、喂特权上下文：动作指引、私有目标摘要、参考动作与目标结果）：测试 pass1/pass4 从 29.2/7.5 升至 34.0/10.0（+4.8/+2.5）——特权引导的收益在去掉特权后仍保留，指向 agent 自提升路径。

5.4 Reality Check：三个发现

• 发现一（增益范围有限）：十个方法都在某些设置赢过 GRPO，但十二设置均值只有两个超过 GRPO 的 49.68：

赢局数会骗人：ICSD 赢 7/12 却均值 44.75，其 4B WebShop 以 0.00% 收场；GRPO+OPSD 赢 6 个设置均值仅 43.05，4B ALFWorld 只剩 1.52%。均值最高的 PCSD 甚至没有任何单项第一——「选综合最优」与「选单项冠军」是两个不同的问题。领先者也随尺度轮换：ALFWorld 三个尺度分别由 Skill-SD、RLSD、ICSD 领跑；WebShop 三个尺度全是 GRPO+OPSD 第一。

• 发现二（终值掩盖不稳定）：PCSD 终值第一但验证曲线 AUC（38.45）低于 OCSD（39.88）；AgentOPSD 终值第二、AUC 却第九（34.41，低于 GRPO 的 36.89）。极端案例：AgentOPSD 在 4B ALFWorld 第 35 步 60.0%、第 45–70 步连续六次验证 ≤4.3%、第 100 步又回到 79.3%——只看终点完全看不见这段近零期；GRPO+OPSD 同设置第 20 步 39.3%、第 25–40 步归零、最终 2.1%。另有 9 个 run 终值低于自身验证峰值 20 分以上（OCSD 4B ALFWorld 85.0%→51.4%，末三次验证均值 50.5%；ICSD 9B ScienceWorld 55.23→18.77，末三次均值 26.99）——持续性的晚期回撤，不是单次测量不走运。
• 发现三（成本不保证收益）：120 个方法-设置对比中 112 个比 GRPO 净耗时更长，其中 58 个性能反而更低、7 个打平；唯二均值胜出的 PCSD/AgentOPSD 也要 1.17/1.19 倍配对时间比。按 GRPO 时间预算截断后优势可反转：AgentOPSD 在 ALFWorld 的三尺度均值从 68.10% 掉到 37.63%（同预算 GRPO 58.10%）；PCSD 在 WebShop 从 73.17% 掉到 63.83%（GRPO 68.20%）——固定步数的优势在等算力比较下消失。

指标如何支撑论点：四个基准覆盖四种能力（具身指令遵循、科学实验、检索问答、真实网页操作），三种尺度检验规律性；八种子重复评测把「均值差异」与「采样运气」分开；验证曲线 AUC 与峰值-终值回撤把「学得快且稳」与「终点好看」分开；时间预算对齐比较把「固定步数优势」与「等算力优势」分开——三个发现分别对应这三个更严格的证据维度，这正是「指标真的证明论点」而非「指标好看」的示范。

六、效果优势的根源解释

四篇的因果链可以统一表述为「失真定位 → 修复单位对齐 → 指标提升」：

• ROADMOPD（论文实验已支持）：辅助教师同轨迹证据 → token 信用与梯度约束都建立在「同一行为」上 → 冲突监督被衰减/投影 → 医疗域恢复 5.6–8.8pp 且他域不塌。机制证据：不一致度与梯度冲突率单调相关（24%→40% / 46%→76%）；同轨迹梯度对均值为负而独立域梯度对非负，解释了为何 PCGrad 式事后手术漏掉这类冲突；消融证明三组件独立贡献、「投影保底」优于「投影到底」。边界：仅覆盖三个文本推理域；辅助打分与梯度计算增加训练开销；教师池扩大后的兼容性估计未解决（作者自陈）。
• CriticOPD（论文实验已支持）：诊断证明失真源是「续写被带偏而识别完好」→ 修复恰好只用识别能力（批评）而绕开续写能力 → 学生在错误后状态获得可靠目标 → 增益集中于错误后状态（+0.023 vs 正确状态 0.000）与竞赛难题（AIME/AMC +6~7）。反事实链完整：去掉批评 −5.90、打分不带反馈 −1.19、优势差 0.24→1.47——批评同时改善了「写的人」和「打分的人」。边界：依赖可验证参考答案；thinking 模式、代码域（作者建议单元测试可当参考答案）、更大师生规模未测。
• ActionOPD（论文实验已支持）：监督单位与决策语义对齐 → 免除 token 复现负担 → 黑盒跨家族教师可用，增益随学生尺寸与教师能力单调放大；合法性奖励消融（40.0→30.8）证明语义内容（而非协议合规）是有效成分。边界（作者自陈）：一致≠正确——教师错误决策也会成为学习目标；LLM 匹配器的假阳/假阴直接污染奖励；长视野下固定 K=3/N=4 的采样覆盖可能不足。
• Reality Check（论文实验已支持 + 阅读者推测）：证据学层面，增益是「设置条件 × 协议细节」的函数，转引 baseline 把条件差异误当方法进步；固定步数优势在时间预算下消失，因为自蒸馏的教师分支前向天然更贵（阅读者推测：这与 PCSD 需要冻结教师分支、OVCSD 需额外采集验证续写的计算结构一致，论文未逐方法拆分开销来源）。

相关工作检索与对照：本次合读范围内未做外部联网检索，交叉验证基于四篇论文互引的共同前序工作网络——四篇独立引用 DAgger/占用失配（Ross et al., 2011）、特权信息学习（Vapnik & Vashist 2009；Lopez-Paz et al. 2016）、PCGrad 梯度手术、OPSD 系列特权自蒸馏，并在彼此的 baseline 与相关工作章节构成间接互证：CriticOPD 引用的 Prefix-Teachability 崩坏（Liu et al., 2026）与监督保真度衰减（Liu et al., 2026）文献，与 ROADMOPD 观测的梯度冲突、Reality Check 引用的监督不一致与特权偏差失败模式分析（Yang et al., 2026b；Harne et al., 2026）互为印证——「教师信号随训练推进失真」已是被多线独立观测的现象。相反结论方面：Reality Check 本身即对「自蒸馏普遍有效」的最大规模证伪（8/10 方法均值不及 GRPO），构成对前三篇所代表路线的外部限定——单点增益必须放在十二设置的广度里检验。此为证据局限，如实说明；文中未出现的文献不做引申。

综合判断：「监督信号存在可定位的失效域」得到多项研究共同支持；「在失效域上以更细/更语义的单位重建监督有效」在各自实验内证据充分，但跨设置稳健性尚未经 Reality Check 级别的独立重训检验（三篇方法论文都未进入其评测清单）——这是三篇修复型工作当前最大的证据缺口。优势成立的条件：教师识别/一致性信号确实可用（CriticOPD 的 73–81% 精度、ROADMOPD 的单调相关）；可能的失效条件：教师池更大时兼容性估计失准、无参考答案域、教师与学生的错误模式高度重合。

七、必要知识反推

假设一个零基础的人要完成这四篇工作，最少必须掌握的知识分三层：

领域知识层：

• LLM 后训练全栈：SFT、RLHF、GRPO/PPO 裁剪 surrogate——不理解「没有教师时的替代方案」就无法设计对照实验。
• 自回归分解与 KL 链式法则：把序列级 reverse-KL 精确拆成 token 级监督（ROADMOPD 附录 A.1、CriticOPD 式(1) 的共同起点）；采样 token 的 k1 log-ratio 估计器。
• 教师强制（teacher forcing）打分与冻结参考模型的角色：为什么 π_ref 是共享基线而非额外教师。

方法论知识层：

• 模仿学习的分布偏移理论（DAgger、occupancy mismatch）——CriticOPD 全部诊断语言与 mismatch 指标的来源。
• 多任务学习的梯度冲突理论与手术方法（PCGrad/CAGrad）——ROADMOPD 的直接对照与出发点；约束优化的凸包线段解法（闭式 α⋆ 推导需要矩阵微积分）。
• 特权信息学习（LUPI）与上下文蒸馏——CriticOPD 的批评上下文、ActionOPD 的 Self-ActionOPD、Reality Check 十个方法的公共理论基础。
• 策略梯度与 REINFORCE 推导——ActionOPD 从动作似然到奖励形式的精确转化；组相对优势基线的设计动机。
• RL 信用分配：为什么 token 级优势（log 概率差）能当奖励用，以及它何时失效。

工程知识层：

• 大规模多教师推理编排：同轨迹多教师打分、教师样本缓存（ActionOPD 附录 A.3 的样本保留与缓存策略）。
• 分布式训练与算力核算：Reality Check 的 12,124.4 GPU 小时级预算管理、按方法记录配对时间比。
• 评测协议设计：多种子重复评测、验证曲线 AUC、峰值-终值回撤、时间预算对齐比较——Reality Check 的方法论核心贡献。
• 语义匹配器的程序化 + LLM 混合实现：规范化参数比较、意图与事实内容判断。

知识融合的关键节点：ROADMOPD 的洞见是把「多任务梯度冲突」的多任务从「数据域」换成「教师视角」，让冲突检测发生在同一条轨迹内——需要同时深挖多任务优化与 MOPD 系统设计才能看到这个换维；CriticOPD 的洞见是把 LUPI 的特权上下文从「答案」升级为「结构化批评」，并把批评的逐点互信息解释为 token 奖励——站在模仿学习与蒸馏的交汇处才能完成；ActionOPD 的洞见是概率质量在语义等价类上的重聚合天然导出 REINFORCE——需要把蒸馏目标当概率度量而非损失函数看；Reality Check 的洞见是把「方法论文的实验纪律」转化为可复用的公共品基准。四者都要求作者同时站在 RL、蒸馏、模仿学习三个传统之上。

八、通用性灵感

1. 先测量信号的可靠性，再设计利用信号的方法。CriticOPD 花一整节量化「约三分之一训练 token 处于低可靠状态」后才动手设计方法。推广：推荐系统的隐式反馈、自动驾驶的专家示教、医疗诊断的第二意见——任何监督信号都有失效域，先画失效域地图再谈算法，否则修复是盲目的。
2. 把「诊断能力」与「执行能力」分开定价。教师认得出错误却续不对答案（识别精度 73–81% 稳定 vs 续写 0.82→0.29 崩坏）——两种能力的失真不同步，修复方法是让强的那种能力通过结构化通道（批评）传递。推广：专家审稿胜过专家代写；代码评审的价值不等于结对编程；规则引擎擅长发现问题、不擅长修复，系统设计就该让两者各司其职。
3. 聚合多个专家意见时，在信号层和更新层双重防冲突。ROADMOPD 的 token 级一致性门控 + 梯度级预防性投影是通用架构：任何多源监督（多标注者、多模型集成、多目标优化）都可套用「一致则放大、冲突则衰减、更新前投影」三段式；范数保留下限 m 体现「修复不能以消灭目标信号为代价」的原则。事后手术（PCGrad）与预防性约束的差异在于：后者在同一个行为上比对意见。
4. 对齐的粒度应该匹配任务的决策粒度。ActionOPD 把监督单位从 token 换成语义动作后，黑盒教师、跨家族迁移、学生自由选择推理风格全部自然解锁；合法性奖励消融证明只有语义内容是有效成分。推广：机器人技能学习对齐子目标而非关节轨迹、管理培训对齐决策而非话术、翻译评估对齐语义而非字面。
5. 方法的可信度 = 广度 × 稳定性 × 单位成本，缺一不可。Reality Check 的三维评测（十二设置均值 / 验证曲线 AUC 与回撤 / 时间预算对齐）应成为一切「新方法」的默认对照标准：赢局数、终值、固定步数优势都会骗人（ICSD 赢 7/12 均值却垫底区；AgentOPSD 终值第二、AUC 第九；等预算后优势反转）。推广到任何快速产出论文的领域：独立重测的公共品价值高于又一个新方法。
6. 修复手段自身的成本必须实测而非假设。CriticOPD 总算力只有 OPD 的 0.42 倍（更早收敛抵消了额外生成）——诊断驱动的修复不必然更贵；但 Reality Check 给出反例集：112/120 个方法-设置组合更费时，其中 58 个还更差。两条合读的启示：成本是结果变量不是设计假设，论文里不报成本的增益应默认存疑。

九、加评（合读评述）

把四篇放在一起看，2026 年 10 月的 on-policy 蒸馏研究正在完成一次范式收敛：从「如何拿到教师信号」转向「教师信号在何处失真、以什么单位重建、以及重建的证据是否站得住」。ROADMOPD 修多教师聚合失真、CriticOPD 修错误前缀上的失真、ActionOPD 直接更换监督单位绕开 token 失真——三者共享「诊断定量化 → 最小侵入修复 → 保留 on-policy 性质」的方法论模板：ROADMOPD 明确以范数下限保留目标域信号、CriticOPD 让每个受监督 token 仍出自学生之手（mismatch 仅 0.16）、ActionOPD 只约束动作语义而放开推理文本。Reality Check 则像这份热闹宴席上冷面的审计师：它不否认自蒸馏路线的价值（PCSD/AgentOPSD 毕竟均值胜出），但要求把「某设置某尺度的胜利」翻译成「广度、稳定性、成本」三维坐标后再谈进步。

几点保留意见：

• 规模边界：四篇的证据各自绑定特定家族（Qwen 系学生为主）与中等规模（0.6B–9B），万卡级 frontier 规模上「多教师打分」「批评生成」的延迟与成本结构可能完全不同，结论外推需谨慎。
• 诊断统一化的机会：ROADMOPD 的跨教师一致性与 CriticOPD 的可恢复性本质上都在测量「教师信号的局部可信度」，未来可能出现统一的监督可靠性度量框架，把「何时该信任教师」变成训练时显式调度的量。
• ActionOPD 的软肋：语义匹配依赖 LLM 裁判，其假阳/假阴直接污染奖励——作者已诚实列出，这是该方法最值得跟进的工程点；「一致≠正确」也意味着教师错误会被学生继承，与 Reality Check 引用的特权偏差失败模式（Harne et al., 2026）同根。
• 公平协议的张力：Reality Check 的「无方法全面胜出」可能部分源于超参搬运（各方法用源论文超参而非逐设置调优），「统一协议下的公平」与「每方法最优配置」各有其理，后续工作需要在两者之间给出更细的结论。
• 三篇修复型工作的证据缺口：ROADMOPD/CriticOPD/ActionOPD 都未进入 Reality Check 的评测清单，它们的增益同样需要十二设置级别的独立重训检验——这正是该基准留给社区的最大空白。

总体而言，这是一组诊断意识极强、证据链完整的工作，合读的价值大于任何单篇——它们共同示范了：在拥挤的研究方向上，找准失真位置比发明新损失函数更重要；而证明「修复有效」的方式本身，也在从单点对比进化为系统评测。