自生成监督与在线策略蒸馏三连精读：OPST、MultiAgent-OPD 与 Frontier-OPD

论文一：On-Policy Self-Training: Data-Free Self-Improvement in Large Language Models（OPST） 论文链接：https://arxiv.org/abs/2610.32770 发表时间：2026年10月 机构：Google（一作 Leon Sick 为 Ulm 大学博士生，工作在 Google 实习期间完成）+ Ulm University 领域标签：cs.CL / 后训练 / 自监督

论文二：MultiAgent-OPD: End-to-End Training of Hierarchical Multi-Agent Systems with On-Policy Distillation 论文链接：https://arxiv.org/abs/2610.23234 发表时间：2026年10月 机构：阿里巴巴集团（7 人，含 2 位通讯作者）+ 浙江大学（共同一作 Jiaxin Zhao 为实习生，实习期间完成） 领域标签：cs.CL / 多智能体 / 强化学习 / 蒸馏

论文三：Frontier-OPD: Discovering the Edge of Agent Capability and Teaching Agents to Go Beyond 论文链接：https://arxiv.org/abs/2610.32802 代码仓库：github.com/jiangz20/FrontierOPD 发表时间：2026年10月 机构：清华大学（全部作者，Lifeng Sun 为通讯） 领域标签：cs.CL / 智能体 / 在线策略蒸馏

一、论文背景：后训练的监督信号到底从哪来

要理解这三篇论文为什么同时出现，需要先理解大模型后训练领域的一个根本张力：学习信号的密度与信号来源的代价之间的矛盾。

监督微调（SFT）：模型模仿人工编写的示范答案。它给出逐 token 的密集信号，但训练发生在教师强迫的轨迹上——模型推理时根本不会访问这些状态，这带来暴露偏差（exposure bias），还会侵蚀模型已有能力。

可验证奖励的强化学习（RLVR）：模型在自己采样的轨迹上训练，规避了分布失配，但一整条轨迹只压缩成一个标量奖励——错了不知道错在第几步。

在线策略蒸馏（OPD）：结合两者。学生自己采样轨迹，教师对学生的每一步、每个 token 给出目标分布。Thinking Machines Lab 2025 年 10 月的博客将其总结为把 RL 的在策略相关性与蒸馏的密集逐 token 奖励合二为一，并引用 Qwen3 团队的实践——用 OPD 以约十分之一的 GPU 时数在 AIME 上追平 RL 训练效果（74.4% 对 67.6%）。

但 OPD 有一个隐含前提：需要一个更强的教师。沿着这条线再往前走一步，**在线策略自蒸馏（OPSD）**用同一个模型构造师生双方，教师靠特权信息（privileged information，通常是参考答案）获得信息差而非能力差。

沿着这条演进链观察，会发现一个规律，OPST 论文将其点破：外部监督从未被真正移除，只是被搬迁了位置——SFT 需要参考答案，RLVR 需要金标答案，OPD 需要更强教师，OPSD 需要特权上下文（典型是标准解答）。而人工监督贵到什么程度？OPST 引用了两个数字：给一个数学语料库做过程级标注用了约 80 万条人工步骤标签；一个开放指令数据集建立在 1.3 万名众包志愿者的劳动之上。

三篇论文各自对这条监督链动了手术，切入角度恰好互补：

1. **OPST（Google + Ulm）**问的是：如果连题目都不给，只给一个粗粒度主题词（比如 Abstract Algebra），模型能否自己出题、自己给特权信息、自己蒸馏自己？它把监督的来源推到了极限——全部自生成，唯一的外部输入是主题描述符。
2. **MultiAgent-OPD（阿里 + 浙大）**问的是：层级多智能体系统里，Leader 分解任务、Searcher 检索证据、Answerer 作答，最终答案对中间的 Searcher 只有间接信号——每条搜索轨迹该从哪里获得密集监督？它的答案是：先在简单工作流里训一个 teacher，再用在线策略蒸馏把 teacher 的能力按 token 级灌给 Searcher。
3. Frontier-OPD（清华）问的是：多轮智能体的 OPD 中，教师该在哪些决策点介入？分歧大不等于值得教——学生可能接不住。它把干预点选择形式化为学习前沿：既有未掌握需求、又能在短教师引导后自主续行的决策情境。

统一叙事由此浮现：监督信号从哪来——OPST 让信号完全自生成；MultiAgent-OPD 用简单工作流上训出的 teacher 给中间角色供信号；Frontier-OPD 决定有限的教学预算应该投放在哪些状态上。三者共享同一个技术底座（teacher 条件于特权信息、在学生自己的轨迹上给逐 token 目标），却在监督来源的三个不同维度上各自突破。

二、论文定位和关联工作

三篇论文处于同一棵方法族谱的不同分支上。按谱系组织：

谱系一：自训练与自博弈（OPST 的前身）

• STaR（Zelikman et al., 2022）与 LLM Self-Improve（Huang et al., 2023）：模型解题、按参考答案或自多数投票过滤、再微调保留的解。它们移除了答案标注，但仍训练在人工题目集上。
• Self-Instruct（Wang et al., 2023）：模型自生成指令数据。题目开始自生成，但训练信号仍是 SFT 式模仿。
• Absolute Zero（Zhao et al., 2025）/ R-Zero（Huang et al., 2026）：自博弈出题 + 标量奖励（代码执行器验证或多数投票）。题目与答案都自生成了，但自生成数据携带的丰富信息（rationale、候选答案）被压缩成一个标量奖励。
• u-OPSD（Li et al., 2026）：在人工题目上，把自生成答案作为 teacher 上下文而非奖励。OPST 的消融直接对标它。
• OPST 的增量：同时移除人工题目和人工答案，且把自生成数据从标量奖励升级为 teacher 的特权上下文，产生密集逐 token 监督。作者声明：完全靠参数知识自生成题目、不靠检索或外部接地、配密集 token 级监督的自训练，此前未见研究。

外部交叉验证提示这条路线的已知陷阱：R-Few（arXiv:2512.02472）系统总结了 Absolute Zero 与 R-Zero 的失效模式——概念漂移（模型强化自身偏见）、多样性崩溃（自生成任务收敛到熟悉低熵区）、奖励作弊。OPST 的共识门与 EMA teacher 正是对前两类问题的工程回应。

谱系二：在线策略蒸馏与智能体蒸馏（Frontier-OPD 的前身）

• GKD（Agarwal et al., 2024）/ MiniLLM（Gu et al., 2024）：OPD 的奠基工作，在学生自生成序列上用教师概率训练。
• Thinking Machines Lab 博客（2025-10）：实践层面的系统化：逐 token 反向 KL、在 RL 循环上只需一行改动、比 RL 便宜约一个数量级。
• TCOD（arXiv:2604.24005）：用时间课程调节学生执行深度；Guided-OPD（arXiv:2606.15912）：调度教师参与的轮次；FutureBridge-OPD（arXiv:2608.01953）：用学生续行验证局部教师引导是否有用。
• Frontier-OPD 的增量：在 FutureBridge 的续行验证思想之上，回答选择问题——哪些决策情境值得分配干预预算。贡献是轨迹平衡的共享状态聚合 + 分歧×续行能力的联合前沿。
• 更远的源头是交互式模仿学习：DAgger（Ross et al., 2011）收集学习者诱导状态分布下的专家标签，ThriftyDAgger（Hoque et al., 2022）按新颖性与风险分配干预预算。

谱系三：多智能体系统的联合训练（MultiAgent-OPD 的前身）

• M-GRPO（arXiv:2511.13288）：联合训练主 agent 与子 agent，用最终答案 + 格式奖励 + LLM 评审给子任务打分。评审依赖 judge 自身能力，有偏。
• Kimi K2.5 PARL（arXiv:2602.02276）：冻结子 agent 只训 Leader，子 agent 适配被排除在联合训练外。
• Dr. MAS（NeurIPS 2026）：agent 级优势归一化稳定多智能体 RL。
• SD-Search / OPDSearch+ / SOD：把 OPD 引入单一搜索 agent（无任务委派）。
• MultiAgent-OPD 的增量：用任务训练过的 teacher 给被委派子任务上的 Searcher token 提供密集过程监督，同时 Leader/Answerer 保留 outcome RL——信号类型与角色对最终答案的关系相匹配。

定位对比表

三、问题定义

三篇论文面对的具体场景不同，但抽象出的是同一个深层结构：监督信号的配置问题。

统一抽象：监督 = 密度 × 投放 × 来源

一篇模型或系统的训练信号可以分解为三个正交维度：

1. 密度：每条轨迹（或每个 token）获得多少比特的监督——标量奖励是 1 bit/轨迹，逐 token 目标分布是数千 bit/轨迹。
2. 投放位置：监督施加在哪些状态上——教师轨迹的状态（off-policy）、学生轨迹的状态（on-policy）、还是学生轨迹中被选择的子集（Frontier-OPD 的前沿）。
3. 来源：信号由谁产生——人工标注、外部强模型、环境验证器、还是模型自身。

各篇的形式化

OPST：给定主题描述符集合 T = {τ1..τK}（每个 τ 只是一个宽泛的学科名），无人工查询分布、无金标答案。模型自生成合成训练集 Dsyn = {(xi, zi)}，其中 xi 为查询、zi = (ri, ai) 为特权信息（rationale + 候选答案）。目标一：在种子领域提升推理；目标二：由于信号全部自生成无人工把关，必须保持非自训练域的已有能力（多轮迭代的前提）。

MultiAgent-OPD：层级系统中，同一模型 πθ 扮演 Leader L / Searcher S / Answerer A 三角色（role prompt 切换）。对问题 x 采样 G 条团队轨迹，团队结果是 R_EM = max_j c_i,j（候选归一化精确匹配）。核心难点：若 Searcher 也用 outcome 优势，同题 G 条轨迹同分时所有 Searcher token 优势为零；好报告可能因下游不用而零奖励。求：给每个 Searcher token 一个与其最终答案解耦、又贴合团队实际状态的密集优势。

Frontier-OPD：在第 k 轮收集迭代中，学生 πθk 对任务 x 采样 M 条轨迹。求一个候选决策情境集合 Fk（学习前沿），使其中每个情境既有聚合证据表明学生与教师存在持续分歧（需要教），又在注入至多 K 步教师短桥后学生的续行与教师保持一致（教得动）。形式化为两个算子：分歧聚合（Eq.5 轨迹平衡节点分）与续行验证（Eq.9 匹配窗口一致性增益 Δ ≥ η）。

精妙之处：三个形式化都抓住了监督配置中的一个被忽视的自由度——OPST 发现题目分布本身就是自由度（此前被人工固定）；MultiAgent-OPD 发现信号类型可以按角色与最终目标的关系分配（此前一律 outcome）；Frontier-OPD 发现投放位置是自由度（此前全量或按轮次）。

四、问题解法

4.1 OPST：自生成课程 + 特权 EMA teacher 的自蒸馏闭环

类比：一个学生自己给自己编写习题册——出题（附参考解法草稿）、自检题目质量、跳过已会的题，然后由一个稳定版的自己（EMA teacher）看着参考草稿给自己逐步批改。

（1）主题种子课程生成。生成器 πgen（EMA teacher 或冻结的初始模型）以主题 τ 为条件，产出查询 x 与特权信息 z=(r,a)：x,z ~ πgen(·|τ)。学生只见 x，teacher 额外见 z。温度采样保证多样性。查询可以是选择题或开放题。

（2）双重过滤——替代人工质检：

• 伪验证（pseudo-verification）：检验题目良构性。生成器必须在全新上下文（不见 z、低温）下重解得到相同答案 â(x)=a，且把题目改写为 x′ 后再解答案不变 â(x′)=a。前者把出题与解题分离（一次性生成的题目可能是歧义的，但生成时仍会给出自信答案）；后者拒绝答案依赖偶然措辞的题。
• 共识门（consensus gate）：检验信息量。学生采样 G 条 rollout，若全部与候选答案一致（c=1），说明学生已稳定掌握，丢弃。两道门方向相反：伪验证保留足够稳定可作特权信息的样本，共识门丢弃学生已会的样本——保留的样本恰好落在学生能力前沿上，且门槛随学生演化，课程难度自动升级。

（3）在策略自蒸馏训练。对伪验证后的批次，学生 rollout，teacher（EMA，β=0.05）条件于 z 给逐 token 目标。散度用偏斜 JSD（α=0.8，偏向 mode-seeking），关键性质是有上界 H(α)——不像无界 KL，某个分布给近零概率的 token（如噪声提示的局部伪影）不会主导梯度。这是在纯合成数据上训练的保险丝。

（4）迭代多轮。N 轮生成-验证-训练循环，师生权重跨轮延续并经 EMA 共演化：更强的 teacher 既是目标分布、又是生成器、还是验证器，三重角色同时变强。附录消融显示 7 轮最优（47.7），更多轮稳定在 46.2。

（5）Visual OPST。扩展到视觉-语言：无标注图像 + 视觉主题词。特权信息两种形式——详细场景描述（caption）或检测框导出的空间关系——可以组合。视觉验证用 K 个增广视图（色彩抖动、缩放、裁剪，排除水平翻转——会改变左右类问题答案）上答案一致性检验候选答案是否由图像支持而非幻觉前提。

最核心的一处设计决策：自生成的候选答案作为 teacher 的上下文而非优化目标。SFT 模仿 z 会把 z 的每个 token（包括遗漏与错误）当作正确目标直接进梯度；GRPO 奖励与 z 的一致性则把监督压缩为标量且同样以 z 的质量为上界。OPST 让 teacher 条件于 z、从自身参数知识出发重推 rollout——z 中缺失的步骤会被 teacher 补全，z 中的错误只按 teacher 认为其可信的程度部分生效。附录 A.1 给出机制分析：监督覆盖学生的整个 rollout 而非 z 的 |z| 个 token；目标表达在模型自身分布而非 z 的表面形式；先验限制了错误 z 的影响。

4.2 MultiAgent-OPD：两阶段角色匹配信号框架

类比：一家公司先在简单业务上练出一个资深检索专家（teacher），冻结后请他坐在新团队旁边，对每个检索员工的每次键盘输入实时点评；而总经理和答辩者仍按最终业绩考核。

Stage I：在简单工作流上训 teacher。Searcher–Answerer 两角色级联（无 Leader，报告直接给 Answerer），从指令模型 π0 出发做 GRPO + 角色归一化优势训练。Searcher 奖励 = 0.9·R_EM + 0.1·b_S（b_S 为搜索行为奖励：一步后总结 0.5、多步 1）；Answerer 候选奖励 = 归一化 EM。训好后冻结为 teacher πT，其级联评估即 C-MAS + RL 基线（36.07%）。

Stage II：联合训练层级团队。层级学生从 π0 初始化（不继承 Stage-I 权重），三角色共享一个学生模型参数。每 token 优势按生成它的角色分配：

• Searcher（核心创新）：teacher 在与学生完全相同的局部历史（相同 role prompt、子任务、检索段落、生成前缀）上打分，OPD 优势为 Â_OPD = β·M_t·log(π_T(a_t|h_t)/π_old(a_t|h_t))，β=0.01，M_t 掩码掉非学生生成 token（检索段落不计）。数学上这是采样反向 KL 蒸馏的梯度重写（Eq.4-Eq.5）：log-ratio 充当被采样 token 的优势。关键性质：每个 Searcher token 都有信号——包括最终答案错误的轨迹、包括同题全部 G 条轨迹同分的情形；且因 teacher 评的是学生前缀，Leader 改变分工后监督自动跟随新子任务。
• Leader：团队成功奖励 R_L = 0.9·R_EM + 0.1·R_assign（搜索活动有界奖励），组间 GRPO 归一化。
• Answerer：候选正确性 c_i,j，父工作流内归一化。

PPO 裁剪目标 + 熵奖励更新；Leader/Answerer 附加对 teacher 的 KL 惩罚（系数 1e-3），Searcher 的 KL 已隐含在 OPD 项中。训练用 NQ（79,168 例）+ HotpotQA（90,447 例），E5 检索器每查询返回 3 段。推理时只需学生——teacher 与 judge 都不部署。

4.3 Frontier-OPD：学习前沿的估计、验证与更新

类比：家教不再从头讲到尾，而是先统计学生在哪些题型上反复出错（聚合多份试卷，不让一份试卷上同一错题的反复出现垄断注意力），每次只示范一步，然后观察学生能否顺着走下去——能走通的示范才进讲义。

（1）经验轨迹图。对任务 x 的 M 条学生轨迹，把每个观测 o 与可用动作信息 A 哈希为状态键 v=φ(o,A)，合并重复观测成共享节点，边记录观测到的转移。每个决策出现 c=(i,t) 保留原始上下文、响应与重放前缀——共享键用于聚合证据，原始历史用于重放，两者不混淆。

（2）轨迹平衡分歧聚合。出现级统计量是采样符号分歧 d_k(c)：学生与教师对该响应的平均对数概率差（学生偏高为正，表示教师不认可学生行为）。节点分 s_k(v) 先在轨迹内对节点 v 的出现平均、再对有贡献的轨迹平均——一条打转轨迹反复访问同一节点不会增加该轨迹的权重（论文给出例子：一条轨迹 3 次得分 10 + 另一条 1 次得分 0 → 节点分 5 而非 7.5）。取 top-B 个不同节点为前沿候选，每节点选其最高分歧出现作重放代表。

（3）教师短桥与匹配窗口验证。环境重置、重放代表的前缀（含课程专家前缀），teacher 生成至多 K 步（默认 K=1）短桥——在离开图、环境终止或步数用尽时停。桥后必须非终局交还学生，学生续行 H 步（默认 H=3）。一致性用负绝对对数概率差 a_k(h,y) 度量，窗口级取响应内平均再轮间平均（防止长响应主导）。一致性增益 Δ = A(W_new) − A(W_old)：新窗口（桥+续行）对比原轨迹等长 L_c+H 段。Δ ≥ η（默认 0）接受，教师桥响应进蒸馏池；验证用续行不进池。

（4）蒸馏与前沿更新。普通学生经验 D_stu 与接受桥经验 D_br 并入同一多轮 OPD 更新（token 优势 = teacher 对数概率 − 行为模型对数概率，κ=1.0）。新的 rollout 重建图与分数——前沿随策略演化。超参默认 M=4, B=4, K=1, H=3, η=0；AdamW lr=1e-6；200 步训练。

五、评估指标与实验证据

5.1 OPST：无数据自提升是否成立

指标体系：主指标为四个语言推理基准（MMLU / GPQA / GSM8K / HellaSwag）准确率，GSM8K 仅思考模式评估；多选题按答案选项对数似然评分（排除格式化改进的混淆）。辅助指标含三个 OOD 基准（ARC-C / MATH-500 / Winogrande）检验保留性、VQAv2/POPE 检验多模态迁移、跨种子标准差（≤1.2）。消融指标拆解每个组件。

核心结果表（Gemma 4 E2B，无思考）：

三种方法用同一份自生成数据，唯一差异是生成答案被当作目标、奖励还是上下文——这个对照把该设计选择的效果隔离出来：OPST 比 SFT 平均高 5.6 分（2B 无思考）。思考模式下 GSM8K +8.2、GPQA +6.5。

跨监督级别对比（Table 2）：OPST（无人工题目、无人工答案）在四个设置下平均分全部超过 u-OPSD（人工题目 +1.02.8）与 R-Zero（同级监督 +1.45.2）；2B 无思考恢复全监督 OPSD 增益的 88%（+7.3/+8.3），思考模式两个规模均追平全监督（+0.2 / +0.7）——人工题目集并非必要。

多模态与跨模型族：Visual OPST 组合两种特权信息在 VQAv2 上 49.1→56.0（+6.9），POPE Recall +4.5；Qwen3-4B-Base（未经指令微调）平均 66.7→72.7（+6.0），其中 GSM8K +13.3——协议、模板、超参完全不变。

消融链（E2B, MMLU）：去特权信息增益 10.2→3.1；换成同主题另一题的 placebo 特权信息只剩 2.7；仅 rationale 8.3 > 仅 answer 7.1——增益确实来自样本特异信息且 rationale 信号强于答案。EMA β=1（无 EMA）38.1 vs β=0.05 的 47.7（差 9.6 分，最陡的单一消融）；评估 EMA teacher 比学生高 1.8（45.9 vs 47.7）。伪验证 +2.7、共识门 +2.3。

抗噪实验（最有说服力的设计）：关闭双过滤，把 p 比例候选答案换成错误答案。p=75% 时 OPST 仅 −1.9 且仍高于基座 3.3 分，SFT −5.7 且低于基座 4.4 分——teacher 条件于答案而非模仿答案，从机制上限定了错误生成的影响。

5.2 MultiAgent-OPD：层级系统端到端训练

指标体系：主指标 macro avg@4——七个 QA 数据集（NQ/TriviaQA/PopQA/HotpotQA/2Wiki/MuSiQue/Bamboogle）等权、每题四次独立运行的均值（估计单次尝试成功率，无需答案选择规则）。辅助指标 pass@4（四次至少一次对的覆盖率）、4/4 全对率（一致性）、配对 bootstrap 95% CI、推理资源用量。训练 NQ+HotpotQA，测试固定 5000 题，与训练题去重。

主结果（Qwen3-4B-Instruct-2507）：

对 Prompted Critic +4.06pp（95% CI [2.98, 5.12]）、对 C-MAS+RL +2.61pp（CI [1.49, 3.73]），均显著；对五个 RL 搜索代理（Search-R1 33.39 / DeSA 36.96 / Tree-GRPO 37.37 / MemSearcher 36.81 / Dr.MAS 35.54）全部领先；7 个数据集 avg@4 上全超 Prompted Critic。4/4 全对率 29.27%（Prompted Critic 23.24）——增益同时体现在覆盖率与稳定性。

诊断实验（Table 3，同训练步数 500 checkpoint）：

outcome RL 训 Searcher 的崩溃案例是全文最有说服力的证据：不仅分数崩到比未训练的 H-MAS base 还低 10.82pp，且附录 A.5 的训练动态显示第 300→400 步间无搜索轨迹比例从 0.5% 跳到 100%，EM 从 26.0% 掉到 21.8%、最终 19.2%——而 99.51% 的工作流仍产出子任务与报告、99.03% 产出最终答案。最终答案奖励无法维持检索行为：模型学会了跳过搜索直接作答，因为搜索的证据价值被下游的成败稀释了。换基座 teacher 掉 9.18pp 说明 teacher 必须任务训练过（通用能力不等于会教检索）；去直接监督掉 8.86pp 说明共享参数的间接更新远远不够。

代价：每工作流 5.39 次搜索、9,172 输入 token，比 Prompted Critic（4.45 / 6,786）多 21.4% 搜索与 35.2% 输入 token；输出 token 反而从 885 降到 697。作者在局限中坦承：各系统按自身工作流预算运行，未做等检索/等 token 预算对比。

5.3 Frontier-OPD：前沿选择的蒸馏是否更优

指标体系：主指标为三个交互基准的自主成功率（SR）与任务分——ALFWorld（家务指令）、WebShop（真实网页购物）、ScienceWorld（科学程序推理）；评估从环境初始状态独立执行、无教师干预、无参考前缀重放，held-out 任务实例，3 种子均值±样本标准差。辅助指标：预算敏感性扫描、每步训练时间与达靶时间。

主结果（Qwen3-32B → 1.7B）：

1.7B 上对 OPD +23.4pp、对 FTB +5.5pp（ALFWorld）；→ 4B 学生 49.5/52.3/16.2 仍全指标最高均值。换 Qwen3-8B-RL teacher（→ 4B ALFWorld 74.6，超 FTB 4.0pp、超 Guided-OPD 2.5pp）跨教师配置保持领先——但作者明确声明 3 种子不建立统计显著性。

消融（8B-RL → 4B，ALFWorld SR）：完整 74.6；随机选择 67.4（−7.2pp，最大退化——干预预算的分配方式最重要）；去桥数据 70.9；去增益过滤 72.4。选择与过滤互补。

训练效率（4×B300 GPU）：每步耗时 Frontier-OPD 37.85s 最贵（OPD 19.26 / TCOD 12.38 / FTB 20.44），但达到 55% SR 的墙钟时间最短：46 分钟（OPD 74 / TCOD 58 / FTB 67）——收集与验证的额外开销被样本效率抵偿。预算扫描显示候选预算 B 从 1→4 增益递增后走平（70.9→72.4→74.6→74.6），轨迹数 M=2→8 持续上升（70.1→76.1）。

六、效果优势的根源解释

6.1 根源机制与证据链

OPST 为什么赢 SFT/GRPO（同一数据上 +5.6）：

• 对比对象曾有效的原因：SFT 在人工数据上有效是因为人工答案接近无噪；GRPO 在可验证域有效是因为奖励 oracle 可靠。
• baseline 的根本局限：纯合成数据上这两个前提都失效。SFT 把噪声答案的每个 token 当作正确目标——错误直接进入梯度（75% 错误答案实验：SFT −5.7 vs OPST −1.9）。GRPO 把自生成数据压缩为标量，其信息上界是生成质量。
• OPST 的机制改变：teacher 条件于 z 后从自身参数知识重推 rollout → 目标分布受模型先验约束 → 错误提示只按可信度部分生效、缺失推理被补全（附录 A.1；论文实验支持）；逐 token 有界 JSD 防止噪声 token 主导梯度（设计论证；消融中 α 的作用未单独列表，属论文论证+机制推测）；EMA 提供稳定目标（β 消融 38.1 vs 47.7，论文实验支持）。

MultiAgent-OPD 为什么赢 LLM 评审与 outcome RL（+4.06 / Searcher 存活）：

• 根本局限：outcome 奖励对 Searcher 信息量极低——同题 G 条轨迹同分则组内优势全零（GRPO 机制性死区）；好报告可能因 Answerer 不用而零奖励（信用错配）。LLM 评审则依赖 judge 自身能力且有偏（M-GRPO 已知问题）。崩溃实验（17.78%、0 次搜索）是这一机制解释的直接实验证据：搜索是前置成本、收益由下游决定，outcome 信号系统性低估搜索，策略滑向不搜索。
• OPD 的因果链：teacher 在相同接口（问题/子任务→报告）上经任务训练 → 其 log-ratio 在学生实际访问状态上为每个 token 提供与最终答案解耦的密集信号 → 搜索行为获得即时的逐 token 强化而得以维持 → 且监督随 Leader 分工变化自适应（teacher 评学生前缀）。换基座 teacher 掉 9.18pp 佐证：不是任何 log-prob 都行，信号质量来自 teacher 曾在同一任务上被优化过。
• 阅读者推测（论文未直接验证）：搜索行为存活也可能部分来自行为奖励 b_S 的残留效应，但该奖励在 Stage-II 的 Leader 侧仅有 0.1 权重，且 Prompted Critic 同样有 0.2 权重的行为奖励仍发生检索退化（附录 A.5 对应变体），故 OPD 信号是更可信的主因。

Frontier-OPD 为什么赢全量/随机蒸馏（+5.5 vs FTB；随机 −7.2）：

• 根本局限：师生分歧单独不构成干预依据——需要纠正（分歧）与学生能利用（续行能力）是两个独立条件；单轨迹内重复访问会垄断干预预算（打转轨迹）。
• 机制链：轨迹平衡聚合防止单轨迹垄断（随机化消融 −7.2 佐证分配单位与排名的重要性）→ 匹配窗口验证筛掉学生接不住的教师引导（去增益过滤 −2.2 佐证）→ 进入蒸馏的监督贴合当前策略分布 → 同预算下样本效率更高（达靶 46 分钟最短）。
• 论文自身标注的边界：协议是行为代理——高分歧不必然指示缺失技能，非降一致性不保证后续掌握；随机选择消融同时改变了排名与分配单位，无法单独分离状态聚合的贡献（Limitations 明示）。

6.2 相关工作检索与对照

在本次检索范围内未发现与三篇论文设定完全相同（自生成题目+特权上下文蒸馏 / 层级多智能体 Searcher OPD / 前沿选择蒸馏）的同期竞争工作；SD-Search、OPDSearch+、SOD 等同期工作均为单一搜索 agent 设定，与 MultiAgent-OPD 的委派式层级有明确区别（论文 Related Work 已区分，检索未发现反例）。

6.3 综合判断与未决问题

多项研究共同支持的机制：(1) 在学生自身状态上给逐 token 密集目标优于稀疏奖励（Thinking Machines、Qwen3、三篇论文、u-OPSD 一致）；(2) teacher 的任务相关能力是必要条件（MultiAgent-OPD 消融、Rethinking OPD 一致）。

仍属合理推测的部分：有界 JSD 的防噪作用（OPST 论文论证但未单独消融 α）；轨迹平衡聚合中状态哈希合并不同学习需求历史的影响（Frontier-OPD 自认 Limitation）。

适用条件：OPST 仅能放大已有能力（自一致性≠正确性）、主题词人工选定、只在 ≤4B 小模型验证——大模型上自生成数据质量与增益未知；MultiAgent-OPD 未做等预算对比、精确匹配检测不到语义等价、反向 KL 减少探索；Frontier-OPD 需要可重放环境与 teacher token 概率、时序优势仅在一个靶率一个硬件上测得。三篇可能共同失效的场景：teacher 与学生能力差距过小（无信息差可言）或任务不可验证且无可用先验。

七、必要知识反推

假设让一个没有任何背景的人完成这三篇工作，倒推最少必要知识：

领域知识层：

• 后训练范式谱系（SFT/RLVR/OPD/OPSD）及各自信号密度与分布失配特性——不理解暴露偏差与标量奖励的信息瓶颈，就无法定位三篇论文的切入点。
• GRPO 的组相对优势机制——MultiAgent-OPD 的崩溃分析建立在同组同分则优势为零这一性质上。
• 多智能体系统的角色分工（Leader–Subagent 范式，Claude Code/Codex/Kimi Code 等生产 harness 均已采用）——它是 MultiAgent-OPD 的问题来源与动机。
• 多轮交互环境的观测-动作-历史结构——Frontier-OPD 的状态哈希、前缀重放都建立在其上。

方法论知识层：

• 知识蒸馏的散度选择（正向/反向 KL、mode-seeking/covering、广义 JSD 及其有界性）——OPST 的 α=0.8 与 MultiAgent-OPD 的采样反向 KL 都是这一理论的直接应用。
• EMA/momentum teacher 的自监督传统（视觉自监督如 DINO 一脉）——OPST 的 β=0.05 与评估 teacher 的选择由此而来。
• 自一致性检验（self-consistency）与多数投票——伪验证、共识门、视觉增广验证都是其变体。
• 课程学习与最近发展区思想——共识门的能力前沿、TCOD 的专家前缀课程、Frontier-OPD 的学习前沿共享同一个教育学直觉。
• 交互式模仿学习的干预预算分配（DAgger/ThriftyDAgger）——Frontier-OPD 的直接思想源头。

工程知识层：

• 大规模 RL 训练栈（veRL、SGLang、vLLM、PPO 裁剪、熵正则、KL 惩罚系数）与角色归一化实现。
• 评测协议设计：配对 bootstrap 置信区间、固定测试清单、与训练题去重、多种子报告——三篇论文的统计严谨性全靠这些工程纪律。
• 概率访问与重放：teacher token 对数概率的批量获取、环境状态重置与前缀重放（Frontier-OPD 的验证管线依赖它）。

知识融合的关键节点：

1. OPST 的创造性节点：把自博弈文献（出题）与 OPSD 文献（特权上下文）在零人工数据约束下融合——出题时顺手生成的 rationale+answer 不再丢弃或压缩为奖励，而是升级为 teacher 的特权上下文。
2. MultiAgent-OPD 的创造性节点：识别出角色与最终目标的关系决定信号类型——Searcher 的证据价值是条件性的（依赖下游使用），所以它需要与结果解耦的过程信号；Leader/Answerer 的贡献是直接的，所以 outcome 足够。把蒸馏优势嵌入 GRPO 的逐 token 优势框架是实现这一洞察的粘合剂。
3. Frontier-OPD 的创造性节点：把需要纠正（分歧）与教得动（续行）解耦为两个可分别度量的算子，再用共享状态图把二者耦合在一个预算分配问题里——信息检索中的去重聚合思想（轨迹平衡）与教育心理学中的最近发展区在此融合。

八、论文中可以提取的通用性灵感

灵感一：噪声信号作上下文优于作目标。当信号可能有错时，把它放进条件里让一个有先验的决策者参考，而不是直接当作优化目标——先验会按可信度过滤错误。论文证据：OPST 同数据超 SFT 5.6 分；75% 错误率下 −1.9 vs −5.7。推广场景：数据清洗管线（脏标签作路由特征而非训练标签）、推荐系统（用户误点击作上下文特征）、代码评审（历史 bug 报告作 LLM 评审的条件输入）、医学诊断辅助（不确定的化验值作鉴别诊断线索而非结论）。

灵感二：信用分配错配会系统性摧毁前置投入行为。当一个角色的产出只在下游被使用时才产生价值，结果奖励会低估它，导致该行为消失——即使系统整体因此变差。论文证据：outcome RL 训 Searcher，2 万条轨迹 0 次搜索、分数崩至 17.78%。推广场景：组织管理（中台/支持部门的 KPI 只挂最终营收会瓦解支撑行为）、供应链（上游质量投入不可见则被压缩）、多级流水线系统（中间服务只按端到端 SLO 考核会退化）、RAG 系统训练（检索器只按最终答案奖励同样会检索退化）。

灵感三：需要教和教得动是两个正交维度，联合评估才算找到前沿。干预价值 = 未掌握程度 × 可利用程度，只看任一维都会浪费预算。论文证据：随机选择 −7.2pp、去续行过滤 −2.2pp，两者互补。推广场景：教育分层教学（难度 × 先备知识的二维分班）、主动学习采样（模型不确定性 × 标注增益的联合准则）、医疗资源投放（疾病负担 × 干预可及性）、缺陷优先级排序（严重度 × 可修复性的风险矩阵）。

灵感四：门槛随学习者演化，课程自动升级。把过滤条件绑定在当前学生身上（共识门），课程难度就无须手工设计。论文证据：共识门 +2.3 分且保留样本落在能力前沿。推广场景：自适应题库（按用户当前正确率动态出题）、编译器优化（按程序热点演化重排 pass 序列）、健身训练计划（按当前能力调整负荷）、游戏难度系统（动态难度调整 DDA）。

灵感五：稳定的教学者本身是学习系统的输出。EMA teacher 比学生好 1.8 分且无 EMA 训练几乎失败（38.1 vs 47.7）——自提升系统需要一个抗噪的慢变量作为锚。推广场景：持续学习系统（慢权重/快权重双速率）、团队知识管理（稳定的评审标准 vs 快速迭代的一线实践）、个人成长（定期复盘形成的稳定原则 vs 日常经验）、宏观经济（长期政策框架稳定短期工具灵活）。

灵感六：昂贵但更准的数据收集可以比廉价收集整体更快。Frontier-OPD 每步成本最高（37.85s）却最快达靶（46 分钟）——样本效率与采集成本的权衡要按总时间而非单位成本评估。论文证据：图 4 效率对比。推广场景：主动学习（贵标注少而准 vs 便宜标注多而噪）、数据库索引（建索引慢但查询快）、科学实验（高精度仪器的前置投入）、缓存预热策略。

附录：技能与产物

• OPST 的完整 prompt 模板（题目合成/学生 rollout/teacher 条件化/视觉验证）在论文附录 A.7-A.8 开放，含教师 prompt 的关键措辞：要求 teacher 把特权信息作为背景从第一性原理推导、不提及答案已被提供——这一措辞设计值得所有蒸馏工作借鉴。
• MultiAgent-OPD 的 Leader/Searcher/Answerer/Critic 四套角色 prompt 在附录 C 全文公开；匿名 artifact 提供打分记录、聚合脚本与评估协议，可复现全部汇总统计。
• Frontier-OPD 代码开源（github.com/jiangz20/FrontierOPD），附录 B 给出算法伪代码与复杂度分析（图组装 O(N)、候选排序 O(U log U)、验证至多 B(K+H) 次生成/任务）。
• 三篇论文均含详细的 AI 使用声明与局限自述——在自生成监督这一方向上，论文本身的写作规范也构成了方法可信度的一部分。