论文链接：Verify Before You Distill: Prompt-Level Teacher Gating for On-Policy Distillation 发表时间：2026年9月2日（arXiv:2609.02998，公开技术报告） 机构：AllSpark Team（产业独立团队；本团队 Iris 同期上榜） 领域标签：cs.LG / 在策略蒸馏 / RLVR / 训练系统工程
一、论文背景
在策略蒸馏（OPD）是当下最热的后训练加速手段：学生在自身 rollout 上训练，教师逐 token 提供 reverse-KL 密集信号——相比 RLVR 每条轨迹一个标量奖励，密集信号能让学生以约一个数量级更少的计算达到教师水平。
但 OPD 有一个被系统性忽视的盲区：教师不是在每个提示上都可靠。reverse-KL 是模式寻找（mode-seeking）的——教师自信地押注在错误模式上时，产生的密集梯度又强又错，学生被精准带偏。
现有的"信号过滤"思路全部失灵，因为它们测错了东西：
- 熵/一致性等分布代理：测量的是不确定性，不是正确性——一个自信的错误答案熵极低、自洽性极高；
- 本文给出的最尖锐证据：代码域教师的置信度区分正确/错误的 AUROC 只有 0.51——等于抛硬币。在教师最不可靠的域（代码），置信度完全失明。
问题的正确提法由此浮现：与其"猜教师是否可靠"，不如直接验证——用可验证任务（数学/代码/IF 都有验证器）的天然优势，先让教师做几道探针题。
二、论文定位和关联工作
| 谱系 | 代表 | 过滤机制 | 局限 |
|---|---|---|---|
| Vanilla OPD | GKD、Thinking Machines OPD | 无（无条件采纳） | 自信错误被模式寻找放大 |
| 置信度过滤 | TrOPD、温度调整类 | 教师置信度代理 | AUROC 0.51，测不确定性非正确性 |
| 奖励引导 | RG-OPD | 用奖励重加权教师信号 | 信号强度调整而非采纳决策 |
| RL-蒸馏混合 | RLSD | 同时用两种信号 | 无路由，错误密集信号照常进入 |
| TGOPD | — | 验证器探针的提示级硬门控 | 可观测、可阈值、零额外成本 |
与本日 FlowBalance 的呼应：两文独立收敛到同一原则——密集信号的采纳必须以验证器的裁决为前提。区别在粒度与对象：FlowBalance 在轨迹级用符号反转密集能量并拟合分布；TGOPD 在提示级做硬路由（采纳/拒绝）。
三、问题定义
具体问题：在 OPD 训练中，如何在不中断训练、不显著增加计算的前提下，逐提示判断教师是否可靠，并据此决定该提示的监督信号类型？
抽象化：定义教师可靠性 q_T(x) = 教师在提示 x 上采样 K 条响应的验证器通过率；给定阈值 τ，将训练集划分为"教师可信区"（密集 OPD 监督）与"教师不可信区"（验证器锚定的 GRPO 监督）。
形式化要点：
- q_T(x) ← (1/K)·Σ r(x, ŷ_k)，ŷ_k ~ π_T，K 为探针预算（小，如 4–8）；
- 门控：q_T(x) ≥ τ → A = A^OPD（token 级密集优势）；否则 → A = A^GRPO（组相对优势）；
- 约束：探针计算须嵌入教师空闲算力窗口，不延长训练墙钟时间。
四、问题解法
4.1 可靠性探针与门控
每个提示在进入训练循环时，教师先采样 K 条短探针响应，验证器打分得 q_T(x)。这是一个直接测量而非代理估计——AUROC 0.51 的置信度在这里毫无地位，因为根本不看置信度。
阈值 τ 的语义清晰：教师在这道题上通过率够高，说明它"会做"，它的逐 token 监督值得学；通过率低，说明它"不会做"，它的密集信号是毒药，回落到学生自己 rollout 的 GRPO 组相对优势。
4.2 门控条件的监督路由
- 门开：token 级优势取教师反向 KL 的 OPD 优势项；
- 门关：优势取学生 rollout 的验证器组相对优势（GRPO 式）——不是没有监督，而是换成不会中毒的稀疏监督；
- 消融确认：门关后"阻断信号"贡献了主要收益，但回落到 GRPO 略优于监督归零。
4.3 探针嵌入空闲算力窗口（系统工程贡献）
异步 OPD 训练中存在一个结构性现象：教师节点大部分时间空闲——同步屏障、学生 rollout 期间教师无事可做。实测 Vanilla OPD 下教师节点利用率低于 5% 的时间占 59%，平均利用率仅 9.8%。
TGOPD 把可靠性探针调度进这些空闲窗口：
- 探针不延长关键路径（与学生 rollout 并发）；
- 教师平均利用率 9.8% → 78.9%；
- 多域训练时探针按域路由，天然适配域间负载差异。
这使门控的边际成本接近纯利——“免费的可靠性审计”。
五、评估指标与实验证据
单域设置（两尺度 × 三域 = 6 个）：TGOPD 6/6 全部超过 Vanilla OPD。
代码域（35B，最能说明问题）：
| 方法 | LiveCodeBench | OJBench | 状态 |
|---|---|---|---|
| 教师 | 62.7 | 27.6 | 参考 |
| Base | 61.0 | 26.1 | 参考 |
| Vanilla OPD | 60.2 | 26.7 | 负迁移 |
| TrOPD | 58.5 | 26.1 | 更差 |
| RLSD-style | 56.9 | 25.4 | 崩 |
| TGOPD | 64.0 | 28.7 | 超过教师 |
14 个基准列中 TGOPD 7 列第一、6 列超过教师本身。数学域 AIME 2025（4B）：TGOPD 64.8 vs Vanilla OPD 61.1 vs 教师 63.4。IF 域 IFBench（4B）：50.4 vs 48.5。
多域混合训练：TGOPD 在两尺度下都取得七基准最高平均。GPU 利用率 9.8%→78.9%（4B 单域实测），残差开销由空闲窗口吸收。
指标如何证明论点：
- 6/6 的全胜排除"某个域碰巧受益"；
- 代码域的"其他方法全部负迁移、TGOPD 反超教师"是决定性证据——该域恰恰是教师置信 AUROC 0.51 的域，不可靠性最极端，门控的收益也最大；
- 利用率曲线证明"审计不需要额外预算"。
六、效果优势的根源解释
Baseline 为什么弱：所有对比方法的共同假设是"教师信号总值得采纳，问题只在权重/温度"。这个假设在教师 AUROC≈0.5 的域直接破产——权重再小的毒药也是毒药，密集信号的错误梯度会以远高于稀疏信号的效率污染学生。
TGOPD 的机制变化：把"采纳与否"从连续加权重构为可观测统计量驱动的硬路由——
- 探针直接测正确性（验证器），绕开置信度与正确性脱节的问题；
- 门关时的 GRPO 回落保证不可信提示仍有无毒监督（学生自己的组相对优势）；
- 提示级粒度精确对齐"教师能力的题目依赖性"——同一教师在 AIME 难题与简单代数题上的可靠性天差地别，域级或轨迹级过滤都无法捕捉这种异质性。
与 FlowBalance 的机制对照：两者都让验证器握有"密集信号是否生效"的裁决权，但 TGOPD 的硬门控换来的是实现简单与部署友好（不需要改损失函数形式），FlowBalance 的软门控换来的是逐轨迹的精细利用。这构成一个方法论光谱：软校准 ↔ 硬路由。
反事实：用置信度替代探针——代码域门控完全失效（AUROC 0.51）；全域统一开关——数学域会误伤教师的可靠区间；门关后监督归零——损失 GRPO 回落的约 1 个点的收益。
七、必要知识反推
领域知识层：
- OPD 的 reverse-KL 密集监督机制与模式寻找特性的含义；
- RLVR/GRPO 的组相对优势（作为门关时的回落信号）；
- 异步训练中教师-学生角色的负载不均衡现象。
方法论知识层：
- 直接测量优于代理估计：当"正确性"可验证时，任何置信度代理都是多余且误导的；
- 可靠性的题目级异质性要求提示级（而非域级/模型级）的决策粒度；
- 训练系统里"空闲窗口"是天然的资源池——审计、探针、评测都可以住进去。
工程知识层：
- 异步 OPD 的 rollout-update 循环实现与探针并发调度；
- GPU 利用率曲线作为系统优化的证据形态；
- 多域探针的域路由设计。
八、论文中可以提取的通用性灵感
“先验证再采信"是密集信号时代的通用防御
- 核心思想：任何外部信号源（教师模型、评审 LLM、自动评分器）的采信都应以其在当前输入上的可验证表现为前提，而非其全局声誉或置信度。
- 推广场景：Agent 的工具选择（先小成本试错再采信工具输出）、RAG 的证据源门控、多教师蒸馏的教师路由。
置信度与正确性的脱节必须实证测量
- 核心思想：AUROC 0.51 这样的数字应该成为每个信号源的"体检报告”——在用它做过滤前先测它与目标的实际相关性。
- 推广场景：LLM-as-Judge 的元评估协议、自一致性采样的适用性检查、奖励模型的 per-domain 校准审计。
空闲资源承载审计成本
- 核心思想：可靠性检查、回归测试、安全扫描等"防守型计算"应被调度进训练/服务系统的结构性空闲，而非与主任务争抢预算。
- 推广场景：训练集群的间隙评测、服务系统的影子流量测试、CI 的低峰期回归。
硬路由与软校准构成方法光谱
- 核心思想：信号融合的两大范式（采纳/拒绝的离散决策 vs 权重调整的连续校准）各有适用域——毒性强时硬路由，噪声大时软校准。
- 推广场景：多 Agent 意见聚合机制设计、数据清洗的过滤强度选择。