Agent 经验蒸馏三论文合读：SRD、D-OPCD 与 HAD 精读

论文一：Self-Retrospection Distillation: Turning Post-hoc Experiences into Prior Foresight（arXiv 2610.08077） 论文二：Internalizing Agent Experience into Diffusion Model Weights via On-Policy Context Distillation（arXiv 2610.07250） 论文三：Harness-Aware Distillation for Small Language Model Agents（arXiv 2610.02858） 发表时间：2026 年 10 月 机构：SRD——Salesforce AI Research（主导）+ UC San Diego + Texas A&M + Stanford；D-OPCD——哈尔滨工业大学 + 上海 AI Laboratory + 山东大学 + 南洋理工大学 + 上海交通大学；HAD——KAIST AI（韩国）+ 独立研究者 领域标签：cs.AI / LLM Agent 后训练 / 知识蒸馏

题目区

这三篇论文讨论的是同一个母题的不同侧面：Agent 在环境里辛苦攒下的经验，到底应该怎么"蒸"进模型里。SRD 蒸馏的是"这次交互本来能预见到什么"，D-OPCD 蒸馏的是"harness 替模型做了哪些事"，HAD 蒸馏的是"教师比 harness 多出来的那部分能力"。三篇放在一起读，会看到经验蒸馏的三个正交设计轴：监督目标是什么（行为还是预测）、承载载体在哪（上下文还是权重）、能力边界怎么切（系统内增量还是全量行为）。

一、论文背景

1.1 Agent 经验为什么值钱，又为什么难用

LLM Agent 的标准工作方式是：模型 + 一个外部"harness"（管理上下文、工具调用、反馈的软件层），在环境里多轮交互完成任务。每一次任务执行都会产生轨迹（trajectory）——一系列动作、观测和最终结果。这些轨迹是免费的副产品，里面藏着两类信息：环境怎么响应动作（交互结构）、以及哪些做法导致了成功或失败（经验教训）。

问题在于把轨迹变成训练信号的通道非常窄。当前主流是 RLVR（Reinforcement Learning with Verifiable Rewards）：用一个验证器（数学答案检查器、单元测试、任务评分）给完整轨迹打一个标量奖励，再用策略梯度把奖励信号分配回每个动作。它有个鲜为人注意的结构性缺陷——组内奖励全同时梯度为零。GRPO 这类组相对方法对同一任务的 G 条轨迹求组内平均和标准差，算 advantage；如果 G 条轨迹全对或全错，标准差为零，每条轨迹的 advantage 都是零，整组丢弃重采样。模型越弱（全错越多）或越强（全对越多），浪费的采样预算越大。SRD 论文实测：可用预算份额从未超过 63%，2B 模型上 98% 的组是奖励一致的——这些轨迹并非没有信息，只是 RLVR 的信号通道读不出它们。

1.2 第二条路：自蒸馏与上下文蒸馏

另一条路线是蒸馏：让一个"看过答案"的教师版本教学生。On-policy 蒸馏（OPD，Thinking Machines Lab 2025）在学生自己采到的状态上用反向 KL 对齐教师分布，规避教师数据与学生分布的错配——离线模仿教师轨迹会让学生在"教师会走但学生走不到"的状态上浪费容量，on-policy 把监督搬进学生自己的状态流。OPS（on-policy self-distillation）进一步让教师就是带了"特权上下文"（正确解、运行时反馈）的自己——同一个模型，教师态看到金标准答案，学生态只有任务描述，学生在自己的 rollout 上逐 token 对齐教师。上下文蒸馏（Askell et al. 2021）则回答"蒸到哪"：把 system prompt 里的知识内化进权重，推理时不再需要 prompt——这条线最近的形态是 OPCD（Ye et al. 2026），用 on-policy 方式把优化过的系统 prompt（医疗、安全等领域）写进模型参数。

这条线也有自己的坑。诊断研究（Kim et al. 2026，微软等，已被引 73 次）发现丰富的教师条件会抑制不确定性表达（“wait”、“maybe"这类认知词被压掉），自蒸馏有时反而让推理能力退化最多 40% 的准确率——SRD 论文里 OPSD 单独训练在 9B 上数学均值低于 4B（39.70 vs 41.81，规模倒挂）正是这个现象的实例。同时"蒸什么"也从未被仔细切分：教师带 harness 时的行为里，哪些是 harness 的贡献、哪些是模型自己的增量？这个盲区正是 HAD 的出发点。

1.3 T2I 侧的同一母题

文生图（T2I）领域并行演化出了 agentic harness：GEMS（He et al. 2026）这类框架给生成器包上记忆、技能、验证、迭代改写 prompt 的完整回路，能把 Z-Image-Turbo 的四基准均分从 60.52 拉到 81.83。但收益全部留在外部：每次请求都要重新检索技能、重新推理、重新验证。收益放在上下文里越攒越多，检索变难、推理变贵——这是 D-OPCD 要解决的问题，也正好补齐了"经验放哪"这最后一块拼图。

与此同时，NVIDIA 的立场文章《Small Language Models are the Future of Agentic AI》（Belcak et al. 2025，已被引近 500 次）论证了专用小模型在经济性与部署上的必然性——把 8B 教师的能力装进 1.7B 学生是产业刚需。这条需求线与前两条技术线（蒸馏通道的扩展、经验载体的迁移）交汇，就构成了本次三篇论文共同的出发点：经验的信号通道、经验的目标形态、经验的最终归宿，每一环都还有未被打开的设计空间。

二、论文定位和关联工作

三篇论文分别站在三条研究脉络的延长线上，组合成一张完整的定位图。

SRD 的谱系是"事后信息利用”：从 RLVR 的标量奖励（DAPO，Yu et al. 2025）→ 过程监督 → 保留结构化事后信息的 on-policy 自蒸馏（OPSD/RLSD 系列）。所有前作的监督目标都是行动分布（教模型下一步该做什么）；SRD 把监督目标换成预测分布（教模型交互前能预见到什么），与 HER（Andrychowicz et al. 2017）的事后重标注、世界模型的前瞻预测（Dreamer 系）同宗，但不需要重建完整未来轨迹。

D-OPCD 的谱系是"harness 收益内化"：上下文蒸馏（Askell 2021→OPCD，Ye et al. 2026）解决了"prompt 知识进权重"，D-OPSD（Jiang et al. 2026）解决了"扩散模型上的 on-policy 自蒸馏"，但前者的特权上下文是人工 prompt、后者的特权信息是目标图像；D-OPCD 的组合创新在于特权上下文换成 agent harness 自己演化出的精选 prompt，并且第一次展示了"内化→清空→再进化"的闭环。

HAD 的谱系是"agent 蒸馏"：OPD（Agarwal et al. 2024）及多轮变体（SAGE-OPD/Guided-OPD/SOPD）都在"怎么在学生状态上模仿教师"上做文章；HAD 换了问题——共享固定组件的系统间蒸馏该蒸馏什么，答案是把 harness 有/无两种条件下教师的动作差作为偏好对。这与 RPO（检索偏好优化）“有无检索对比"的构造同构，但用 validity filter 处理了教师错误。

三、问题定义

三篇论文面对的具体场景不同，但抽象后是同一个问题的三个投影：给定一个"信息不对称对”——同一系统在有特权信息与无特权信息两种状态下的输出差异——如何把差异部分（而非全量行为）转化为无特权一方的训练信号。

• SRD：特权信息 = 完成后的轨迹+金标准解+错误标注（hindsight）；无特权 = 交互前只有任务描述。求：让无特权状态下的预测分布（foresight）逼近特权状态下的预测分布。
• D-OPCD：特权信息 = harness 精选的生成 prompt；无特权 = 只有原始 query。求：让 query 条件下的去噪速度场匹配 query+prompt 条件下的速度场。
• HAD：特权信息 = harness 注入的状态跟踪与行为监控文本；无特权 = 剥离后的裸历史。求：让学生在裸历史上也更倾向于教师带 harness 时选择的动作。

形式化的共性可以写成：给定 (x, z)，z 是交互中才能获得的特权信息，定义 p_hind(·|x,z)（教师/事后分布）与 p_fore(·|x)（学生/事前分布），最小化 D(p_hind ‖ p_fore)，且约束学生推理时 z 不可得。三篇的差异只在 D 的选取（SRD 用广义 JSD、D-OPCD 用速度场 L2、HAD 用 pairwise logistic）和 z 的来源（轨迹、prompt、harness 文本）。

这个抽象的精妙之处：它把"经验蒸馏"从行为模仿（拷贝输出）提升为信息压缩（把只有事后/特权条件下才可计算的条件分布差异，压进无条件的前向计算里）。奖励一致组在 SRD 里不再浪费，正是因为 p_hind 对每条轨迹都良定义，不需要组内对比。

用一张对偶表把这个抽象结构与经典深度学习训练对应起来：

注意最后一行：三篇都在"学生自己访问的状态"上做监督，这是 on-policy 蒸馏家族的共同签名，也是它们区别于 SFT 式经验回放的根本点。

四、问题解法

4.1 SRD：Self-Retrospection Distillation

机制类比：考完试对答案后写"错因笔记"，但笔记的内容不是"这题该选 B"，而是"这类题容易在哪里翻车"——下次考试前你就能默写出来。

先看 SRD 的形式化框架"prospective learning"（前瞻学习）。定义 foresight 分布 p_fore = π_θ(·|x,e)——只看任务 x 和环境上下文 e（不接触任何实际交互）时模型对"即将发生什么"的预测分布；hindsight 分布 p_hind = π_θ̄(·|x,e,z_hind)——同一个模型（stop-gradient）额外看到事后信息 z_hind 时的分布。目标就是最小化 L_pro = E[D(p_hind ‖ p_fore)]。这个框架把 RLVR（z_hind 退化为标量奖励、U 是 advantage 加权对数似然）、OPSD（z_hind 是已验证轨迹、U 是 KL）、技能记忆方法（z_hind 是抽象经验）统一进同一个目标族，然后指出它们共享同一个监督目标（行动分布），SRD 换掉它。

具体到实现，对每个任务的 on-policy rollout 组（G 条轨迹），SRD 做四件事：

1. 视角分配：按奖励决定每条轨迹教什么——成功轨迹 r=1 提供 KNOWLEDGE 视角（这题用了哪些可迁移知识，格式是 [Knowledge/Rule]+[Details/Examples] 微型技能块），失败轨迹 r=0 提供 PITFALL 视角（[Error]/[Rule]/[Example] 结构化错误卡：具体错在哪、避开它的通用原则、一个不含本题答案的迷你例子）。奖励决定"教哪门课"，而不是"有没有课可教"——这是与 RLVR 最本质的区别。
2. foresight 采样：学生（只有任务 x 和环境 e，无交互信息）生成 foresight 序列 z_fore，例如预测"这类题常见陷阱是展开 (a+b)² 时丢交叉项"。
3. hindsight 自教师：同一个模型（stop-gradient + EMA，更新率 0.05）以特权上下文 f=(轨迹, 金解, 错误标注)+同视角指令，在学生的 foresight 前缀上逐 token 给出分布。失败轨迹的 pitfall 提取分两阶段：先逐条诊断（按失败类型——截断/格式错误/答错——附不同的 failure note 引导归因），再跨轨迹聚合去重，教师看到的是紧凑的"这题怎么错"摘要而非冗长重复的拼接。
4. token 级对齐：广义 JSD（β=0.5，top-k=100 近似，重要性比裁剪 2.0）对齐 hindsight-foresight 分布，作为辅助损失 L_SRD 以 λ=0.01 加进任意基础目标（GRPO/OPSD/RLSD）。

关键设计：foresight 只是训练目标，推理时不需要生成。这使 SRD 零推理开销。消融发现只蒸 PITFALL 通道更优——训练中 pitfall 通道发散度降 47%/30% 而 knowledge 通道平坦（∼0.0045），两通道知识高度冗余且 knowledge 更费 rollout 时间（rollout 占一步训练的 78–87%，knowledge 通道每步多花 4–10 秒）。附录 A.7 给出理论佐证：按训练成功率算，pitfall 行天然占多数（µ_H = (1−p)µ_P + p·µ_K），且梯度范数受控于自身发散度——pitfall 的发散在收敛而 knowledge 的不动，后者持续白占预算。

4.2 D-OPCD：Diffusion On-Policy Context Distillation

机制类比：老司机（harness）带路时你能开得又快又稳，D-OPCD 就是把"老司机怎么打方向盘"写进你的肌肉记忆（LoRA 权重），之后不带司机也能开。

方法分三块：

ASE（Auto Skill Evolver）制造特权数据。任务流按批处理，经验组织成三级：episode（单任务完整执行轨迹+外部评估反馈）→ insight（“执行中发现的、本可提前告知的信息”，由 insight manager 在批边界做 ADD/SUPPORT/REVISE/CONTRADICT/MERGE/ARCHIVE 六种操作，支持数达 τ 且超过反驳数则"成熟"）→ skill（把多个成熟 insight 固化为可复用的首 prompt 构建指南，由 skill manager 做 CREATE/REVISE/SPLIT/MERGE/RETIRE，受库容量与长度约束）。每次技能库提交产生新 harness 版本 H_r，在 held-out 集上选最优版本 H_r*。一个值得注意的工程细节：insight 库在失败验证时可被检索来指导当前任务的 prompt 修正，但"冻结技能回放"时禁用该检索——保证经验只能通过已固化的技能库进入行为，版本间可公平比较。

D-OPCD 把 harness 收益写进权重。冻结生成器跑 H_r* 收集 (q_i, p_i, I_i) 三元组（原始 query、harness 精选 prompt、被选中提交的图像）。注意 p_i 的定义很讲究：harness 可能调用生成器多次，p_i 是通过内部验证且被选中提交那一版的生成条件——它是"harness 认为最好的条件"的可观测代理。训练时：文本编码器给学生 F_T(q_i)、给教师 F_T([q_i; p_i])（结构化拼接，query 在前）；学生从纯噪声出发用自己的条件 c_s 做去噪 rollout（on-policy 状态访问，rollout 状态视为常数、梯度不穿过求解器）；在学生访问的每个状态上，学生与 EMA 教师各预测速度场，最小化 L2 距离（教师 stop-gradient）。图像 I_i 只用于筛选记录（过滤掉提交失败的输出），不进训练——特权信号只有 prompt。

内化→清空→再进化闭环。训练完得到 π_θ’，用签名内化间隙 δ = J(H_∅; π_θ’) − J(H_r*; π_θ) 度量"不带技能的更新生成器"相对"带技能的旧生成器"的差距。然后把技能库连同 episode/insight 记录全部清空，让 ASE 围绕 π_θ’ 重新演化出 H_r†。

为什么不能用 SFT 直接拟合 (q_i, I_i)？两个原因：一是 off-policy 错配——SFT 监督的是图像派生状态而非学生自己访问的状态；二是 SFT 把知识留在输入侧（要学的是从 q 到 I 的映射，但 prompt 里那部分信息 q 里没有），学不到"query-only 生成"。Diffusion-DPO 也不行：偏好对里的 rejected 图像是同种子直出图，信号来自"图像 A 比图像 B 好"，而 harness 的知识藏在"prompt p 比原始 query q 更会指挥"这层文本条件差异里——图像级偏好对根本采样不到这层信息。

数据协议上还有一个容易被忽略的细节：D-OPCD 不直接复用流式执行时留下的记录，而是冻结 H_r* 在 Q_train 上重放再收集数据。原因是流式记录混合了多个 harness 版本的行为（技能库在增长），而蒸馏需要"单一教师条件分布"的干净数据——所有 (q,p) 对都必须来自同一个版本的 harness 作用在同一个初始生成器上，教师的 EMA 更新才有稳定的对齐目标。

4.3 HAD：Harness-Aware Distillation

机制类比：新员工（学生）和资深员工（教师）用同一套办公系统（harness，自动记录待办、提醒重复操作）。普通师傅带徒弟是让徒弟抄完整工作日志；HAD 是专门挑出"系统提醒改变了老师决策"的那些时刻教——“看到提醒’尺寸还没选’时该先选尺码而不是直接下单”。

HAD = 响应蒸馏 + 动作偏好 + 有效性过滤，三项都不需要任务奖励、成功标签或未来信息：

1. 响应蒸馏（response distillation）：学生带 harness rollout，教师在每个访问状态生成完整响应（推理+动作），学生以 token 级 NLL 模仿——这是常规 OPD。
2. harness 感知动作偏好：同一教师在剥离 harness 信息的历史上再采样一次动作。两个动作（带 harness 选的 ã⁺ 和不带的 a⁻）在学生自己的推理前缀下打分，做参考自由的 pairwise logistic 偏好损失。关键理论结果（Proposition A.1）：该损失的最优分数是 log(P⁺(a)/P⁻(a))+κ——纯模仿教师响应不可能辨识这个对比信息（Observation A.1 用反例证明响应蒸馏风险只依赖正例分布 J⁺，与 P⁻ 无关）。两动作相同时零梯度，信号只在 harness 改变教师决策的步上激活。
3. 有效性过滤（validity filter）：教师也会错。检查正例动作是否与 harness 记录矛盾（用了没持有的物品、不在可用动作列表里、重复已报失败的动作），矛盾则丢弃该偏好对——只丢偏好项，蒸馏项不受影响。

两个精心的设计选择：只比动作不比完整响应（推理文本很长会稀释动作信号，且有无 harness 下推理风格差异会污染对比）；在学生自己的推理前缀下打分（匹配部署时学生的真实决策上下文，教师推理下的分数不是学生可达的先验）。λ 用 minibatch 梯度范数平衡（偏好项梯度固定为蒸馏项的 ρ=0.5 倍）。

五、评估指标与实验证据

5.1 SRD：10 基准 × 3 基础目标 × 2 规模

设置：Qwen3.5-4B/9B-Thinking，数学（DAPO-Math-17K）/代码（LCB stdin）/搜索（Search-R1 配方）混合训练，ALFWorld+WebShop 第二混合。avg@8 pass rate。

唯一回退：9B OPSD WebShop（−3.61pp）。10 基准 × 6 组合里仅此一处，说明 SRD 的可组合性极稳。迁移性同样得到验证：代码训练用 stdin 格式、评估用函数式格式（LCB-v6）且换基准（OJBench），SRD 仍 +8.33pp；ALFWorld 评估在未见房间布局的 OOD split 上，六个设置全部提升（+1.12 到 +13.74pp）；BrowseComp-Plus 交互轮次比训练 rollout 长 10 倍以上，六个设置五个提升（最高 +9.52pp）。SRD 还修复了纯自蒸馏的不稳定性：9B OPSD 单独训练在 HotpotQA/2Wiki/LCB 上低于未训练基线 5.50/3.76/2.18pp（后训练把本该 sharpen 的接口练坏了），加 SRD 后三项转为 +10.75/+11.75/+8.54pp，数学规模序恢复 4B<9B。

证明力最强的实验是 RQ3（2B 极限设定）：只用代码域训练、关闭动态采样（所有组都训练，包括奖励一致组）。2B 模型 98% 组奖励一致（几乎全错），GRPO 训练成功率峰值 1.6%、最终 0.0%——奖励信号稀疏到无法启动学习；同预算加 SRD 达到 60.6%。这个实验设计直接证明核心主张：当组内对比通道完全失效时，事后经验仍可通过 foresight 监督产生有效梯度。配套理论（附录 A）给出分离定理：奖励方向在奖励一致组上逐点为零（不是均值意义），而前瞻方向无此结构性门控；估计奖励方向到同等相对误差需 Ω((Gπ(p)ε²)⁻¹) 组样本，前瞻方向无 π(p)⁻¹ 惩罚。预算测量还揭示 U 型规律：被丢弃份额在 2B/4B/9B/35B 上分别为 98.0/39.1/37.0/41.3——全错组随能力单调降（98.0→13.4）但全对组单调升（0.0→27.9），规模化只是把盲区从失败端搬到成功端，从不消除它；且 4B 实测丢弃率 37% 远超同质任务假设预测的 <6%，凸性论证证明这是任务难度异质性的 Jensen 间隙。

token 级机制分析（RQ2）：SRD 让策略每 rollout 多发 8.6 个连接词、3.7 个规划语（we/need/think）、少发 6.7 个数学符号、4.1 个数字——总 token 仅 +0.6。它不是让模型说更多话，而是把固定预算从"搬运算"重新分配到"命名问题与计划"，工具调用语法不变（+0.03）。两个对照排除了伪解释：各词类的平均移动幅度平坦（0.390–0.469），说明不是全局锐化；在两臂各自的 rollout 上独立计算偏移，Pearson r=+0.9976、99.75% 符号一致，说明不是"给别人的文本打分"的 artifact。

位移几何分析（RQ4）：把 GRPO+SRD 相对基座的位移分解到 GRPO 自身方向上——α/‖A‖=1.30，即 +SRD 的 run 沿 GRPO 自己的方向多走了 30%（不是回退），同时新增 0.49 的正交分量；对 OPSD 则相反，把过大的位移（1.97）缩短到 0.57。解释：对稀疏信用分配的宿主（RL），它加密信号、加长步长；对已经是稠密自蒸馏的宿主（OPSD），它是第二个自指目标，起锚定作用。这解释了为何 SRD 对两类宿主都有效但机制不同——延长与缩短是同一个"步长拉向信息密度"的两面。

推理时 foresight 实验（RQ5）：把训练好的 foresight 显式生成出来再行动，四个检查点中一个 +5.00pp、其余三个移动 2/3/11 个 rollout（共 800）——基本无效。且八条臂没有一个在全部六类 ALFWorld 任务上超过自己的基线，全都在做 trade（Look 任务类型跨臂从 −20.13 到 +40.28pp）。结论：foresight 的价值在训练目标而非推理输出；说出口的预测若是错的，会条件化整个 episode 且无法被后续更新纠正。

5.2 D-OPCD：4 基准 + OOD，闭环全链路验证

设置：Z-Image-Turbo 生成器 + GEMS 式 harness，LoRA 同预算训练。四基准：GenEval/GenEval2(WISE Soft-TIFA)/WISE/R2I-Bench。

对照训练法（同数据同预算）：Vanilla SFT 63.38（+2.86）、Diffusion-DPO 62.18（+1.66）、D-OPSD 62.75（+2.23）、D-OPCD 65.09（+4.57）四项全领先。这组对照的设计值得注意：四种方法用同一批 H_r* 回放出的任务记录、同一初始权重、同一 LoRA 优化预算，唯一差异是各自如何使用 (q,p,I)——SFT 拟合 (q,I)，DPO 用 (I, 同种子直出图) 做偏好对，D-OPSD 用 I 做教师图像条件，D-OPCD 用 p 做教师文本条件。D-OPSD（特权=图像）明显弱于 D-OPCD（特权=prompt）说明在此场景"编译后的条件"比"结果图像"是更好的特权信号——图像给了教师"这次画成什么样"，prompt 给了教师"该往哪个方向画"。

消融里最有信息量的是教师条件 shuffle 对照：把教师看到的 prompt 换成别的任务的，均分掉到 61.05——证明内化的确是"任务匹配的 prompt 编译信息"，不是数据量效应；教师只看 p_i（不给 q_i）是 64.63，说明 q 与 p 的结构化拼接也有边际贡献。OOD 上 T2I-CompBench++ Color 77.45→81.61、2D-Spatial 32.32→37.33（GenEval/GenEval2 训练源），泛化成立；WISE/R2I 训练源的检查点基本持平，内化收益与训练源特性相关。

诚实披露：作者明确承认直接生成 65.09 仍远低于 harness 版 81.83，内化只拿回了 harness 收益的约四分之一——prompt 介导的收益只有部分能与扩散模型潜空间对齐。这个 gap 本身是重要发现：对生成有效的好 prompt 未必是适合内化的好教材（improvement filter/diversity adapter 消融进一步佐证：筛"更大图像优势"的对子均分几乎不变 65.14，增加措辞多样性反而降到 64.42）。

5.3 HAD：3 环境 × 2 模型族，学生超教师

设置：ALFWorld 1.7B←8B（Qwen3），WebShop/ScienceWorld 0.6B←30B-A3B，Gemma-4 E2B←12B 复现。指标 SR/Score + 自定义 harness 利用率 HU（动作与 harness 报告的一致比例：下一动作应属于可用动作列表、应不同于被报失败的动作等，按组件平均）。harness 本身是任务无关的：状态跟踪（可用动作/位置物品/访问历史/步数预算）每步显示，行为监控（同状态失败动作/停滞检测）仅条件触发时显示，所有方法训练与评估用同一 harness。

三个关键对照：①动机实验（图 2）——给 OPD 基线加上 harness 蒸馏，HU 从 65.7%→73.1% 但 SR 几乎不动（43.1%→43.5%）：“利用了 harness 信息"不等于"会据此改变决策”，这正是 HAD 对比监督瞄准的缺口。②教师预算对照——HAD 每状态查询教师两次，给基线 2× 教师预算（还附带 2× 更新次数），OPD 47.0→47.8、SOPD 45.5→50.8，仍远低于 HAD 63.4：增益来自信息（对比），不来自算力。③消融——去 validity 57.4→50.8、去负例（只模仿正动作）→52.4 且 HU 降到 74.4（≈纯蒸馏）、去偏好项→43.5：偏好对比贡献了大部分 HU 提升，validity filter 主要保护任务性能。

防卡死/恢复分析（表 3）：HAD 防卡死 75.9%（教师 64.6%、OPD 64.2%）、逃逸恢复 59.7%（所有基线 ≤50.0%，未训练学生 46.8%）——标准蒸馏根本教不会恢复，HAD 是唯一显著超过未训练学生的方法。图 4 案例机制闭环：任务"加热杯子放进柜子"中加热只对手持物品生效，所有学生都先错把杯子放进微波炉再空手尝试加热；基线们原地循环到步数上限，HAD 收到 harness 的"5 步无新观测"停滞报告后取回杯子，收到"你正拿着 cup 2"报告后完成加热——学到的正是"对 harness 信息正确反应"的增量能力。

WebShop/ScienceWorld 上 HAD 同样全面第一：WebShop Score 47.19/SR 19.60 均超基线（OPD 41.59/19.00），ScienceWorld Score 9.40 超 OPD 8.05——注意这两个环境里 0.6B 学生与 30B-A3B 教师差距悬殊（零样本学生甚至负分），HAD 在极小模型上仍稳定起作用。Gemma-4 复现 37.31 vs 最佳基线 32.09，跨模型族成立。去 harness 评估 HAD 仍 40.30（高于所有基线带 harness 的值），且隐藏状态跟踪掉分（63.4→37.3）远大于隐藏行为监控（→56.0）——HAD 把行为监控类反馈部分内化进了权重，状态跟踪仍读上下文，自适应分工。拦截 harness 拒绝的动作也会掉分（→55.2），说明 harness 对 HAD 的价值主要是"信息"而非"硬约束"。

六、效果优势的根源解释

6.1 根源机制与证据链

SRD 为什么能在零奖励对比处学习（每步标注：论文实验已支持/推测）：

• 方法差异：监督目标从行动分布改为交互前 foresight 分布 → L_SRD 对每条轨迹独立良定义，不依赖组内奖励方差【已支持：公式 8 逐 rollout 定义】
• 机制变化：奖励一致组的轨迹从"整组丢弃"变为"每条产生自蒸馏目标" → 2B 设定下 98% 被丢弃的 rollout 变成有效信号【已支持：RQ3 实验】
• 指标提升：2B 从 0.0%→60.6%【已支持】；正常场景中 pitfall 通道发散度持续下降 47%/30% 而 knowledge 平坦【已支持：训练曲线】
• 深层原因（推测，但有间接证据）：foresight 目标比行为目标更"可学"——它要求的是对任务结构的预测而非对最优动作的复制，学生当前能力与 hindsight 之间永远存在可压缩间隙（“预期滞后于执行”），全对组也有知识可提。间接证据是 RQ4 的位移分析：加 SRD 后 GRPO 方向的位移延长 30% 且新增 0.49 的正交分量——它不是原方向的缩放，是真正的新信息轴。

D-OPCD 为什么优于 SFT：

• 方法差异：SFT 拟合 (q,I) 对，监督发生在图像派生状态；D-OPCD 用上下文不对称 + 学生自身轨迹 on-policy 监督 → 消除 off-policy 错配【已支持：表 2 对照，SFT +2.86 vs D-OPCD +4.57】
• 机制变化：把"prompt 编译的生成优势"从推理时外部依赖变为单次离线训练摊销的权重能力；同时清空已饱和技能释放 harness 上下文容量【已支持：δ=+0.50、二轮进化 +1.83】
• shuffle 对照是因果链的关键一环：教师看错 prompt 则收益消失（65.09→61.05），排除"多见数据"的混淆解释【已支持】
• 内化不全（65 ≪ 81.8）的根源（推测）：harness prompt 是为"给生成器看"优化的，不是为"教 query-only 学生"优化的——两种用途对上下文的需求不同。improvement filter 消融（图像优势更大的对子不带来更大内化收益）与这一解释一致【消融支持了现象，归因仍属推测】

HAD 为什么超过全量模仿：

• 方法差异：把蒸馏重构为"共享固定组件的系统间蒸馏"，显式监督 harness 改变教师决策的那些步 → 对比信息 log(P⁺/P⁻) 在纯模仿下不可辨识【已支持：Observation A.1 反例证明】
• 机制变化：动作级对比避免长推理稀释；学生前缀打分匹配部署上下文【已支持：full-response 变体与 teacher-reference 变体都更差的消融】
• 指标提升：HU 65.7%→81.0% 且 SR 同步上升（动机实验证明 OPD+提升 HU 不提升 SR）——对比监督补上的正是"决策改变"而非"信息可见"【已支持】
• 教师预算对照排除算力解释【已支持】

6.2 相关工作检索与对照

相反/限定证据：①SRD 自己的 RQ5 发现推理时显式生成 foresight 几乎无增益且有风险——错误 foresight 在训练中可被后续更新纠正，说出声来却会条件化整个 episode（一个被检查的案例把两物体任务的容量上限错置到目的地）。foresight 的价值在训练目标而非推理输出。②D-OPCD 承认内化只回收约四分之一 harness 收益，且多轮内化-清空循环是否收敛未验证（遗忘风险）。③HAD 的 validity filter 只能挡"与记录矛盾"的错误，挡不住"合法但错误"的教师动作——跟随不完整教师是所有蒸馏的固有上限。④HAD 附录 A.4 自己指出参考自由偏好损失的固有偏置：当 P⁺=P⁻ 时孤立最优解是均匀分布（会"压平"动作概率），靠响应蒸馏项与梯度范数平衡来缓解——即偏好项并非纯增益，是一个被管理的正则化 trade-off。

6.2.1 检索过程说明

本节表格基于 anysearch 对以下关键词族的检索：GRPO zero advantage / reward uniform groups / DAPO dynamic sampling（命中 DAPO 原文与 Advantage Collapse）；hindsight experience replay foresight（命中 HER 原文及多篇解读）；context distillation internalize prompt into weights（命中 Askell 2021 的后续引用链与 OPCD arXiv 2602.12275）；on-policy distillation reverse KL（命中 Thinking Machines 博客与 TGPO 等后续）；self-distillation degrade reasoning（命中 Kim et al. 2603.24472）；D-OPSD（命中 arXiv 2605.05204）；small language model agent distillation（命中 NVIDIA SLM 立场文与 SmartAD/Structured Agent Distillation 等 agent 蒸馏线）。agent 蒸馏线上 SmartAD、Structured Agent Distillation 等同期工作与 HAD 同域但都未处理"harness 贡献与模型增量的切分"问题；在本次检索范围内未发现与 SRD"事后经验监督事前预测分布"直接同构的已发表工作，也未发现 D-OPCD 之外把 agent harness 演化收益写入生成模型权重的工作。

6.3 综合判断与未决问题

多项研究共同支持的机制：(1) 组内奖励对比在奖励一致组上的结构性零梯度是真实且被反复独立观测的（DAPO 的工程绕行、Advantage Collapse 的理论诊断、SRD 的预算测量三方互证）；(2) on-policy 状态匹配优于离线模仿（Thinking Machines、D-OPSD、HAD 的三个独立领域）；(3) 上下文收益可部分内化进权重且推理零开销（Askell→OPCD→D-OPCD 一脉）。

仍属推测的机制：SRD 的"预期滞后于执行"解释为何全对组也有信号（无直接实验）；D-OPCD 的"prompt 用途与教材用途错配"归因；HAD 学到的"行为监控内化/状态跟踪读上下文"分工只有隐藏消融的间接支持。

适用条件与失效条件：SRD 在奖励极稀疏或极饱和时收益最大（U 型），在奖励对比充分的中间段收益收窄（λ 扫描显示跨域 trade-off，单一 λ 是权衡而非最优）；D-OPCD 的内化率取决于 harness 收益的 prompt 介导比例——工具/检索型收益（不经过 prompt）无法被此通道内化（作者自己指出）；HAD 要求 harness 确定性计算且大体有益，若 harness 信息经常误导教师，偏好对方向就错了。

对三篇因果链的整体评价：每篇都至少有一个"不可回避"的对照实验把主要增益钉死在其核心机制上（SRD 的 2B 关动态采样对照、D-OPCD 的 shuffle 对照、HAD 的 2× 预算对照），这在方法论上是可以互相学习的范本——核心主张必须配一个"把最廉价替代解释排除掉"的实验。

七、必要知识反推

假设一个零知识的人要独立完成这三篇工作，最少需要掌握什么？

领域知识层：①RLVR/GRPO 的组相对 advantage 机制——不知道"组内奖励全同→advantage 全零"就不可能发现 SRD 瞄准的盲区（这需要读透 DAPO 而非只知道 GRPO 名字）；②扩散/流匹配生成的速度场表述——D-OPCD 的 velocity matching 目标、EMA 教师、stop-gradient 都建立在此之上；③harness 概念本身——HAD 的全部动机建立在"教师行为可分解为 harness 贡献+模型增量"这个分解直觉上，需要熟悉 OpenHands/agent scaffold 生态；④T2I agentic 生态（GEMS 的五角色架构：Planner/Decomposer/Generator/Verifier/Refiner）——D-OPCD 的"提交对"定义（最早达到最高通过数的尝试）依赖对这个循环的理解。

方法论知识层：①蒸馏的分布视角（KL/JSD 对齐而非样本模仿）与 on-policy 状态匹配原则——三篇共享的地基，源头是知识蒸馏（Hinton 2015）到 MiniLLM/OPD 的演化；②偏好优化理论（DPO 系）——HAD 的 pairwise logistic 损失和"最优分数=log 概率比"命题直接调用这套工具；③事后信息利用的双重传统——HER（重标注）与世界模型（前瞻预测），SRD 的定位需要同时知道这两条线才能讲清"耦合方式不同"；④信息不对称的形式化——特权上下文/stop-gradient 教师的构造（Askell 2021 以来的标准件）；⑤概率论工具——SRD 附录的 gating cost 分析需要二项分布、Jensen 不等式、估计误差理论。

工程知识层：①混合基准训练的公平比较设计（同数据同序同预算——SRD 的所有对照都严格满足，16 prompts × 8 rollouts、每步 128 轨迹）；②harness 版本管理与 held-out 选择协议（D-OPCD 的 Q_train/Q_hold/Q_eval 三分）；③诊断指标的构造（HU、防卡死率、恢复率都是自造指标但规则公开可复现）；④预算归因实验（HAD 的 2× 教师预算对照、SRD 的 λ 扫描）——区分"信息增益"与"算力增益"是说服力的关键；⑤结构化 prompt 设计——pitfall 卡的 [Error]/[Rule]/[Example] 格式、按失败类型（截断/格式/答错）注入不同 failure note，这些细节直接决定 hindsight 质量。

知识融合的关键节点：三篇各自有一个"化学反应"节点。SRD 的是把 RLVR 的零梯度病理（RL 视角）与蒸馏的分布对齐（蒸馏视角）在"预测分布"这个第三对象上接通——单独任何一方都构造不出 L_SRD。D-OPCD 的是把 LLM 侧的 OPCD（特权=文本上下文）与扩散侧的 D-OPSD（特权=图像、状态=去噪轨迹）杂交，发现 harness prompt 恰好是两者缺失的桥梁。HAD 的是把因果推断的"对比"思想（±处理组）翻译成蒸馏的偏好对构造，并用 validity filter 处理对照本身被污染的情形。三个融合节点共同指向一个元认知：当两条成熟技术线各自卡住时，寻找它们交汇处那个"双方都需要的第三对象"（预测分布/harness prompt/偏好对）。

八、论文中可以提取的通用性灵感

灵感一：浪费的样本里藏着免费的监督——只要换一个不需要组内对比的目标。SRD 的核心操作是把监督目标从"需要对比才能定义的好坏"（advantage）换成"每条轨迹独立良定义的量"（hindsight-foresight 差）。论文证据：2B 设定 98% 组奖励一致、GRPO 收敛到 0.0%，同预算 SRD 60.6%；理论附录证明奖励方向在一致组上逐点为零而前瞻方向无此门控。推广场景：①A/B 测试中"全成功/全失败"的实验组通常被丢弃，可改为对比"事前预期与事后复盘"的差来提取信息；②推荐系统中未获得曝光差异的物品流量可用"期望-实际"差做无对照监督；③教育中全对/全错的试卷仍可通过"考前预测 vs 考后诊断"提取学习信号。

灵感二：接口即内化通道——把系统收益压缩进组件前先找它的"唯一交换格式"。D-OPCD 的关键是观察到无论 harness 内部多复杂（记忆/技能/验证/反思），它对生成器的作用最终都经过 prompt 这一个接口，于是 (query, prompt) 对成为内化的最小充分数据；shuffle 消融（教师看错任务 prompt 收益即消失）证明信息确实经此接口流动。推广场景：①编译器优化收益可通过"源码-优化后 IR"对内化进代码模型；②RAG 系统的检索增益可通过"裸 query-检索增强输出"对蒸馏进基座（这正是 OPCD 在医疗/安全系统 prompt 上的用法）；③任何"外部系统增强核心模型"的架构都可问一句：增强信息经过哪个唯一接口，能否在那个接口上构造特权对。

灵感三：蒸馏进带固定组件的系统时，只教组件给不了的那部分。HAD 的原则性表述：“distillation into a system with a fixed component should focus on what that component cannot provide”。论文证据：纯模仿只能把 HU 提到 73.1% 而 SR 不动，对比监督把两者分别推到 81.0%/57.4%，且 2× 教师预算的基线仍落后 10+ 点——缺的不是示范是"决策何时该变"的信息。推广场景：①新员工培训不必教会其使用办公系统（系统会提示），要教"看到提示后如何改变决策"；②带 Linter/类型系统的编程助手蒸馏，应聚焦教师对警告的反应而非编码风格；③法规检索增强的合规模型蒸馏，聚焦"引用条文后如何论证"而非条文复述。

灵感四：预期滞后于执行是可持续的自监督源。SRD 论文的原则：“a target remains informative as long as the agent’s anticipation lags behind what its own execution reveals”——只要预见比执行差，hindsight→foresight 就有梯度，与任务奖励无关；且这个差距天然自我衰减（学会了就不再提供信号），不会过度训练。论文证据：全对组上 knowledge 通道仍有监督作用（发散度不为零）、2B 全失败组上 pitfall 通道撑起 60.6%。推广场景：①个人知识管理中"预测-验证"循环（先猜后查）优于纯被动阅读，有认知科学支撑；②天气预报/需求预测系统的自蒸馏可用"实际发生值条件下的复盘"教"事前预测分布"；③代码生成模型可用"执行后 debug 记录"教"写码前风险预判"。

灵感五：饱和即释放——内化之后要清空缓存让探索重启。D-OPCD 的"内化→清空技能库→再进化"闭环对应一个普适机制：已内化的知识若继续留在上下文/记忆中，会占容量、抬高检索成本、并抑制对新知识的探索（旧技能会持续被复用）；清空后 harness 围绕更新模型再演化出 +1.83，且超过原技能版水平。推广场景：①组织管理中把常规流程制度化（写进 SOP=权重）之后应释放老人去做新事，而非让 SOP 和新人竞争注意力；②缓存系统把热数据写入持久层后清空缓存，腾出空间给新热点；③课程学习中掌握的技能应"程序化"以释放工作记忆给新内容（认知负荷理论的经典结论）；④软件重构中已被编译器/框架吸收的模式应从代码中删掉，让剩余代码只表达未内化的业务逻辑。

附录：三篇论文速查卡

三篇合读的 takeaway：经验蒸馏的设计空间是三维的——监督目标（行为 vs 预测）、承载载体（上下文 vs 权重）、能力切分（全量 vs 系统外增量）。SRD 动了第一维，D-OPCD 动了第二维，HAD 动了第三维；三者互不冲突，理论上可以叠加（例如用 SRD 的 foresight 目标蒸 D-OPCD 的内化数据，或给 HAD 的偏好对加 foresight 通道）。更远的想象是三篇共同指向的终点：一个能"白天在环境里攒经验、夜里把经验压缩进权重、第二天带着更好的预见再出发"的自进化 Agent——事后复盘变事前先见（SRD）、外部收益变内部能力（D-OPCD）、只学系统给不了的（HAD），恰好是这个循环的三个环节。