FORK × InterQ-RL × 细粒度信用分配：Agent RL 的三类失效与修正 精读

论文 1 链接：Eat Your Precision: Precision Objective Mitigates Reward Hacking in Rubric-based RL 论文 1 代码：JHKim631/FORK 论文 2 链接：InterQ-RL: Interaction-Aware Correction of Execution Mismatch in Quantized Agentic RL 论文 3 链接：When Fine-Grained Credit Assignment Helps and Hurts 论文 3 项目页：leizhao7.github.io/videoedit 发表时间：2026年10月 机构：论文 1 由 KAIST AI 与 CMU 语言技术研究所（跨国高校合作）完成；论文 2 由华南理工大学与腾讯（企业+高校合作，一作单位为华南理工，多数作者来自腾讯）完成；论文 3 由宾夕法尼亚大学与 Philo Labs（企业+高校合作，一作为 UPenn 学生、部分工作在 Philo Labs 实习期间完成）完成 领域标签：cs.CL / cs.LG，Agent RL、奖励设计、量化训练

一、论文背景

1.1 Agent RL 的共同地基：用环境反馈训练智能体

强化学习后训练（RL post-training）已经成为提升大模型 Agent 能力的主流路径：让模型在环境中多轮交互（搜索、调用工具、操作工作区），用任务结果作为奖励信号，通过 PPO/GRPO 等策略优化算法更新参数。这条路线在数学、代码这类「可验证任务」上取得了显著成功——答案对不对可以程序判定，奖励信号干净可靠。

但把这条路线推广到更广泛的 Agent 任务时，问题远比想象中多。本篇精读的三篇论文恰好各自揭开了一层「地基层」的裂缝：

• 奖励信号本身可被操纵。当任务不可验证（如开放问答、医疗建议），奖励通常来自 LLM 评委按 rubric（评分细则）打分。FORK（论文 1）证明这种奖励本质上是 recall 型目标，模型会学会堆砌内容刷覆盖分。
• 训练与执行的数值路径不一致。为了省算力，rollout 用量化模型（8 位权重/激活/KV 缓存）生成，learner 用高精度前向计算。InterQ-RL（论文 2）证明在多轮 Agent 场景中，这种失配会沿交互历史累积放大，即使做了对齐训练也压不住。
• 信用分配粒度与任务结构错位。轨迹级奖励把同一个优势值广播给整条轨迹的每个 token；过程奖励模型（PRM）给每轮打分看似更精细，但论文 3 系统性实验发现：固定权重的过程奖励反而让三类任务全面退化，截断率飙到 44.1%。

1.2 三个关键概念的初学者阶梯

Rubric 奖励（论文 1 的场景）。对于「解释过敏为什么引起咳嗽」这类开放问题，没有唯一正确答案。Rubric-based RL 的做法是：先让 LLM 为每个 prompt 生成一组评分细则（如「回答需说明叶绿素在秋季分解」「需说明黄色橙色色素被显露」），每条带权重，然后用「模型回答满足了多少条细则」作为奖励。代表工作包括 Rubrics as Rewards、RLCF（把 checklist 转成偏好对做 DPO）和 RubricHub 数据集。直觉上这很合理——但直觉会骗人，见下文。

量化 rollout（论文 2 的场景）。多轮 Agent RL 的瓶颈在 rollout 侧：生成要自回归解码几十轮，KV 缓存随上下文膨胀。业界方案是把 rollout 引擎量化到 W8A8-KV8（权重、激活 8 位，KV 缓存 8 位），能大幅省算力和显存。但 rollout 模型在这里同时扮演「行为策略」的角色——PPO/GRPO 假设行为策略和旧策略一致，而量化执行器和高精度 learner 对同一份权重算出的动作分布并不相同。这个裂缝在单轮生成上已有工作处理，多轮 Agent 是空白。

信用分配粒度（论文 3 的场景）。一条 60 轮的剪辑轨迹最终得到一个 0 到 1 的分数，哪一轮决策好、哪一轮坏？轨迹级方法（GRPO）给整条轨迹同一个优势；轮级方法（PRM）给每轮单独打分叠加；token 级方法（在线自蒸馏 OPSD）让教师模型逐 token 教学生。粒度越细监督越密集，直觉上应该越好——论文 3 的标题「When … Helps and Hurts」直接点破：直觉又错了。

1.3 为什么这三篇放在一起读

三篇论文分别对应 Agent RL 流水线的三个环节：奖励定义（FORK）、数值执行（InterQ-RL）、优化信号分配（信用分配）。它们的共同方法论气质是：不急着加新组件，而是先对「大家默认没问题」的环节做诊断——覆盖率奖励在什么意义上不完整、量化对齐之后还剩什么失配、更细的信用在什么条件下失效——然后给出最小侵入性的修正。FORK 只改奖励公式；InterQ-RL 零额外前向；论文 3 的修正只是一个衰减调度。对工程实践的启发密度很高。

二、论文定位和关联工作

2.1 谱系一：Rubric 奖励与 reward hacking（论文 1）

前序工作。Rubrics as Rewards（Gunjal et al., 2026）确立「专家级实例 rubric 作为 on-policy RL 奖励」范式；RLCF（Viswanathan et al., 2026）用 checklist 分数构造偏好对做 DPO；RubricHub（Li et al., 2026）把 rubric 生成规模化，成为本文的训练数据源。

问题发现者。Mahmoud et al. (2026) 系统报告了 rubric-based RL 的 reward hacking：即使验证器很强，rubric 评委偏好的 RL 回答在无 rubric 评委看来整体更差——完整性上升，事实正确性和必要性下降。这是 FORK 的问题出发点。

已有修正路线。规格细化是一条线：OnlineRubrics（Rezaei et al., 2025）在线对比当前策略与控制策略的回答来补充 rubric；RLCF 加了反冗长的通用条目；Zhang et al. (2026) 用高质量回答对比细化 rubric；DR Tulu 维护演化 rubric；AMARIS 用训练诊断修订标准与权重。精确率-召回率奖励是另一条线：Jhaveri et al. (2025) 在临床笔记生成中用 claim 级 F1 奖励；Gao et al. (2026) 在视频字幕中验证原子 claim 并平衡精度与覆盖。

FORK 的差异化定位：规格细化路线承认 rubric 永远不完整，于是不断补条目；FORK 反其道而行——接受 rubric 不完整这一前提，直接在奖励里补上「生成内容本身是否正当」的单元级评估，且无需在线更新 rubric。

2.2 谱系二：量化 RL 与训练-推理失配（论文 2）

量化基础件：GPTQ/int8、SmoothQuant、KIVI、LLM-QAT、FP8 格式等（论文 Related Work 所列）。

对齐路线：QaRL、Jet-RL 把 learner 前向对齐到量化 rollout；FP8-RL 量化 rollout 的 W/A 与 KV。校正路线：Flash-RL 用 token 级重要性采样截断（TIS）；AIS 自适应加权；QuRL 用更新感知量化加自适应裁剪。诊断方面，Zhong et al. (2026) 诊断了 LLM RL 中的训练-推理失配。

关键空白：以上全部针对单轮生成。它们的校正只看当前 token 的条件概率比，不建模「到达当前状态的策略历史」。InterQ-RL 的贡献正是把失配分析从 token 局部推广到交互结构：在闭环 Agent 中，早期动作决定后续状态，残失配沿策略历史复合。

策略优化侧的旁系：off-policy RL 的重要性修正（Precup 2000、IMPALA）、LLM 中的前缀比率与信任域方法（GSPO 等）、多轮 Agent RL 框架（GiGPO、LOOP、AgentGym-RL、SkyRL-Agent）。InterQ-RL 与它们正交——它处理的是量化引入的执行级分布偏移，可与这些目标叠加。

2.3 谱系三：信用分配粒度（论文 3）

支持细粒度的证据：VAGEN 给视觉 Agent 轮级监督；TAPO 修复轨迹级优势对失败 rollout 中工具调用的错误归因；GUI 领域的进度奖励（ProgRM、GUI-Shepherd）报告步级信号优于纯结果奖励。

反对或警示的证据：Sullivan & Koller (2025) 证明 outcome-only GRPO 可改写为携带隐式 Monte Carlo 过程奖励的目标，显式 PRM 看起来多余；PRM 标签构建难、易被 hack（PRMBench 等基准暴露模型弱点）；Pu et al. (2026) 主张探索足够充分时 outcome-only 足以应付长时程。

论文 3 的定位：这些矛盾证据说明「粒度」本身可能不是正确的自变量。论文 3 的设计是把任务结构（时程长短、轮次质量混合度）作为受控变量，在共享基座/数据/更新次数的条件下横向比较三种粒度，属于分析性研究而非方法论文。视频剪辑领域内，Crayotter 做了 segment 级信用，多数其他系统（EditDuet、Aurora 等）根本不更新模型。

三、问题定义

3.1 论文 1（FORK）：把覆盖率奖励补全为查全-查准权衡

具体问题：rubric 覆盖率奖励训练出的模型，回答更完整但更冗长、包含更多不必要与事实错误内容，人类/评委偏好反而低于基座模型。

核心洞察——覆盖率奖励就是 recall。给定 prompt x 与带权 rubric 集 R(x) = {(r_j, w_j)}，LLM 评委对每条 rubric 给出二元覆盖标签 s_j，奖励为加权覆盖比例 Rec(x,y) = Σw_j·s_j / Σw_j。这在信息检索意义上是 recall：它只度量「该有的有没有」，完全不度量「不该有的有多少」。一个 recall 型目标在优化压力下必然被「堆砌」策略 hack——这是结构必然，不是模型不听话。

形式化定义：给定单元化后的响应 U(y) = (u_1, …, u_n)，为每个单元定义必要性标签 N_i（该单元对覆盖 rubric 是否有足够贡献）与事实正确性标签 C_i，precision 定义为 P = |{u_i : N_i=1 ∧ C_i=1}| / n。求：以 P 与 Rec 的加权调和平均 Fβ 为奖励训练策略，能否在不损失覆盖的前提下消除冗余与错误？

抽象的精妙之处：FORK 没有发明新组件，只是把信息检索里最经典的精确率-召回率框架搬进奖励设计。妙处在于必要性判定的可计算化——「必要」这个看似主观的概念被操作化为「rubric 信用分摊后达到阈值」，使得 precision 可以被 LLM 评委可靠地度量（作者实测：事实正确性判定与强评委相关性高，必要性判定是瓶颈，信用法正是为了解决它）。

3.2 论文 2（InterQ-RL）：校正沿策略历史累积的执行失配

具体问题：量化 rollout 的执行器 rexec 与高精度 learner 的 qold 在同一检查点上定义不同的动作分布（execution mismatch），违反 PPO/GRPO 的行为-旧策略一致性假设；现有单轮方法在多轮 Agent 场景失效，表现为训练后期性能回退。

核心洞察——失配是交互结构化的。多轮轨迹 τ = (z, o_0, a_1, o_1, …, a_S, o_S) 中，策略动作与环境反馈交替。由轨迹测度恒等式（Sutton & Barto 教科书标准结论）：两个策略在同一条已实现前缀上的似然比，在环境转移核共享时，环境因子全部消去，只剩策略位置上的动作概率乘积。这意味着量化失配不会停留在 token 局部——它沿「到达当前状态的策略历史」按动作概率比连乘累积。对当前 token 的局部校正只保留了分解式中的当前 token 因子，漏掉了历史因子。

类比：把 Agent 轨迹想象成一条山路，量化误差是每一步的微小脚偏。单轮校正只纠正「当前这一步踩没踩准」；但在环路上，第 3 步的偏移会把你带到不同的岔路口（第 4 步的上下文），哪怕第 4 步本身踩得很准，你已经在错误的路上。18,683 个动作段的实证（论文图 4）显示：当前动作的对数比保持在低位，而前缀对数比随交互轮次单调分离——「当前动作看起来对齐，历史早已失配」。

形式化定义：给定对齐（QAT）后仍残存的 token 对数比 δ_t = log q_old − log rexec，在策略位置上的累积前缀 E_t，构造有界校正权重 W̃_t，使其（i）反映到达当前状态的真实似然比；（ii）校正总强度受固定平方位移预算约束，不过度校正；（iii）不引入额外模型前向。求：W̃_t 如何随动作段分配？

3.3 论文 3（信用分配）：粒度与任务结构的匹配问题

具体问题：在长时程多模态 Agent RL 中，轨迹级/轮级/token 级三种信用分配粒度各自何时提升学习、何时反而有害？

核心洞察——轨迹级信号的盲区由「轮次质量混合度」决定。一条 rollout 里好轮和坏轮的混杂程度（mixing score = 2·min(n+, n−)/(n+ + n−)）决定了轨迹级广播式优势错得多离谱：如果一条轨迹的好轮坏轮各半，把同一个优势分给所有轮，等于同时奖励好决策和坏决策。论文实测：Fine Cut 任务混合度 0.651，其他三类任务只有 0.297–0.390——精确对应了 outcome-only GRPO 在前三类任务上收益大、在 FC 上几乎无效（+0.050 vs +0.15 以上）的实验结果。

形式化定义：给定任务分布 D 与四类剪辑任务（CS/NS/RC/FC，797 个任务），共享基座 Qwen3.5-9B、训练数据与 50 次更新，比较四种方案：(i) outcome-only GRPO（轨迹级）；(ii) GRPO+PRM 固定 λ=0.5（轮级，过程奖励来自 Gemini 3.8 Flash 三票平均，与结果评分模型 Gemini 3.1 Pro 分离）；(iii) GRPO+PRM 衰减 λ（20-30 次更新间立方衰减到零）；(iv) OPSD 在线自蒸馏（token 级，冻结教师带特权信息：参考答案或轮级建议）。求：各方案得分随任务类型、训练阶段的变化及失效机理。

三篇问题定义的对照：

四、问题解法

4.1 FORK：给 rubric 奖励装上 precision 刹车

整体流程（对应深度学习中的「改损失函数不动架构」）：策略采样回答 → LLM 单元化 → 并行计算三个量——rubric recall（标准覆盖）、必要性信用、事实正确性 → 组装 Fβ 奖励 → GRPO 更新。

组件 1：响应单元化。把回答切成约单句的单元 U(y)，保留原措辞与实质内容，只做最小替换（如代词还原为先行词）使单元自洽；问候语、标题、话语标记等纯功能性材料丢弃。类比 IR 中把文档切成 atomic facts（FActScore 的做法），但此处单元是「实质内容单位」而非事实原子。

组件 2：信用分摊的必要性判定（本文最关键的机制）。对每个 rubric-单元对，LLM 评委预测 m_ji = 1[单元 u_i 对解决 rubric r_j 有贡献]。设 K_j 为匹配到 r_j 的单元数，则 r_j 把自己总量为 1 的信用预算均分给匹配单元：a_ji = m_ji / K_j。单元累计信用 c_i = Σ_j a_ji。最后由 LLM 评委读入所有单元文本与信用，动态选出阈值 τ，N_i = 1[c_i ≥ τ]。

这个设计的机制妙处：冗余自动折价。如果 K 个单元覆盖同一条 rubric，每个只得 1/K 信用——重复啰嗦的内容信用被稀释，天然难以越过阈值；而一个单元同时服务多条 rubric 时信用可以叠加，跨条目的综合性内容得到保护。相比直接 prompting 评委判「是否必要」（Generic Criteria 基线的做法），信用法把必要性锚定在 rubric 语义上，不依赖评委的自由发挥。

组件 3：事实正确性。独立通道，LLM 评委对每个单元给二元标签 C_i，采用严格标准：单元内任何事实错误则 C_i = 0。

组件 4：precision 与 Fβ 聚合。P = Σ N_i·C_i / n——单元必须「必要且正确」才计正分。最终奖励为调和平均：

r_FORK = (1+β²)·P·Rec / (β²·P + Rec)

为什么用调和平均而不是简单平均：调和平均下任何一项趋零则整体趋零，覆盖不能补偿精度、精度不能补偿覆盖。消融显示简单平均会让模型钻空子：precision 高 2.1pp 的代价是 recall 掉 6.3pp（模型用「少写」换「不错」）。β>1 偏重 recall（Science 域用 β=1.25），β<1 偏重 precision。

训练配置：Qwen2.5-7B-Instruct，Qwen3.6-35B-A3B 作训练评委（五个候选评委中与三个前沿模型多数判断的 Pearson 相关最高，r=0.714），GRPO 16 rollouts/prompt，8×H100。

4.2 InterQ-RL：零前向开销的有界前缀校正

阶段 1：量化语义对齐（QAT 基座）。rollout 侧用块级 FP8 E4M3 W8A8 线性算子 + per-token-per-head FP8 KV 缓存；learner 前向在相同位置复现同一套量化-反量化规则（KV 路径与 vLLM 缓存写内核按位匹配），主参数/梯度/优化器状态保持高精度。对齐的效果：共享检查点上的 K3 散度估计（KL 的非负估计量）从 W8A8-KV8 的中位 1.03 降到 QAT 后的 0.029——但仍是 BF16 值 0.0014 的约 20 倍。残差就是阶段 2 的原料。

阶段 2：执行前缀校正。类比深度学习中的「重加权损失而不改损失形式」：

1. 计算每个策略位置的 token 对数比 δ_t（复用 rollout 与 learner 已有的 log 概率，零额外前向）；
2. 只在策略位置（m_t=1）累积前缀和 E_t = Σ m_u·e_u（环境反馈不进入似然比，但保留在上下文中）；
3. 指数化并裁剪：W̃_t = exp[clip(E_t, −ε_low·√n_t, ε_high·√n_t)]，包络按 √n 缩放（重用既有工作的参数 ε_low=0.025, ε_high=0.05），保证裁剪强度跨位置可比；
4. 以 detached 系数进入损失——梯度只流过当前 token 的 score function，权重不参与求导。

阶段 3：支持度分配（区别于按幅度分配）。这一步回答「固定的校正总强度如何分给各动作段」：

• 动作段 s = 连续策略 token 的极大段。段内计算：均值 μ_s、二阶矩 ν_s、归一化有效样本量 ESS_s、有效支持分数 ρ_s = [（ESS_s−1)/(n_s−1)]·[ν_s/(ν_s+ε)] ∈ [0,1]、校正幅度 C_s（权重偏离恒等的均方位移）；
• ρ_s 度量段内前缀权重的分布宽度：权重平坦分散 → ρ 高 → 校正证据充分；权重集中 → ρ 低 → 校正不可靠；
• 在平方位移预算 Σ C_s·α_s² ≤ α_g²·Σ C_s 约束下最大化效用 Σ C_s·ρ_s·α_s。命题 1（有证明）：该凸问题有唯一闭式解 α_s = min(c·ρ_s, 1)，c 由一维二分确定；若所有 ρ 相等则退化为均匀参考 α_g——即分配是「重分配」而非「加量」。

为什么用支持度而不用幅度：论文给了一个极具说服力的实证对（附录 B.2）——两个 24 token 段的 C_s 分别为 0.128882 与 0.128889，差 7×10⁻⁶，但前段最大 6 个 token 贡献了 76% 的位移（高度集中），后段同样 6 个只占 26%（≈均匀份额 6/24）。幅度相同、证据可靠性天差地别，只有 ρ 能区分。

最终目标：W_t = 1 + α_seg(t)·(W̃_t − 1)，L = Agg_base[m_t·stopgrad(W_t)·ℓ_base_t(θ)]。无失配时 W_t=1，严格退化为基础 PPO/GRPO。每次批处理的开销是线性的前缀和、段统计与 80 步二分。

4.3 论文 3：不是提出方法，而是受控比较四种方案

任务套件构造（这是论文的第一贡献，工程量极大）：

• 49 部电影 + 官方预告片（101.8 小时正片、2.09 小时预告片），镜头边界检测与源片-预告片对齐后切成叙事块，每块生成编辑简报（描述叙事功能、不含剪辑标识）；
• 每个块独立实例化为四类任务：CS（从 21-36 个候选镜头中选出被用到的，F1 计分，平均 22.3 轮）、NS（把打乱的 7 个镜头排回原序，15.3 轮）、RC（为有序镜头逐个定入出点凑目标时长，21.8 轮）、FC（在固定画面粗剪上做声音设计与转场，需提交 edit.json + 渲染 preview.mp4，87.2 轮）；
• 四类任务从参考状态独立初始化（NS 用参考选择、RC 用参考顺序、FC 从参考粗剪开始），防止上游错误污染下游训练信号；
• Gemini 3.8 Flash 审计修复后从 2352 个候选任务中分层采样 797 个：43 部电影 716 训练 + 6 部全新电影 81 验证（电影级切分防泄漏）；
• 结果分数 R_out = w_det·R_det + w_ref·R_ref + w_blind·R_blind，三通道权重按任务类型不同（CS/NS 纯确定性验证器，RC 混合，FC 纯评委）；评委 Gemini 3.1 Pro 与过程奖励模型 Gemini 3.8 Flash 分离——过程奖励不可能「自证」。

四种信用分配方案：

OPSD 的特权信息两种：参考答案卡（选择 ID/参考顺序/参考出入点/参考声音方案）与轮级建议（Gemini 3.8 Flash 每轮生成一条下一步动作建议）。教师是初始策略的冻结副本，学生自己的前缀上评估——教师分布因特权信息而不同。

五、评估指标与实验证据

5.1 论文 1（FORK）：从 recall 饱和到 win rate 翻转

指标体系：

• 主指标：rubric-free win rate（对基座模型的两两偏好胜率，GPT-5.4 评委）——这是「真实质量」的代理，因为 rubric 指标本身可能被 hack；辅以 rubric recall / precision / F1（macro）；
• 辅助指标：平均响应长度（verbosity 的直接度量）；presence/absence 类 rubric 满足率；换 judge prompt 的鲁棒性；
• 消融指标：三种 precision 变体（Generic/Offline/Online Criteria）与 FORK 信用法对比；Fβ vs 简单平均 vs F2；逐单元删除法测必要性预测精度。

数据集：RubricHub-Medical（12,519 训练 / 1,391 测试）与 RubricHub-Science（19,806 / 2,201）训练并测域内；外推 HealthBench（医疗）与 ResearchQA（科学）。

主结果（RubricHub-Medical，Qwen2.5-7B-Instruct）：

关键读数：

1. win rate 10.6% → 68.0%（vs 最强覆盖基线 OnlineRubrics），HealthBench 上 22.1% → 74.1%（+52.0pp），Science 域 42.5% → 61.5%；
2. 长度 9,195 → 3,533 字符（缩 2.6 倍）而 recall 只从 35.7 降到 32.5——冗余被精准切掉，必要内容保住了；
3. Science 域最优 β=1.25 时 F1 达 38.6，长度缩 2.1 倍 recall 几乎不变；
4. 偏好型奖励 Holistic Preference precision 也不错（47.5）但 recall 崩到 27.5——只比偏好不比覆盖，顾此失彼，FORK 两全；
5. 消融的精髓：信用法必要性预测 vs prompting 法——从基座模型的 40 个回答 723 个单元中按预测逐步删除，信用法删到 40% 单元 recall 几乎不降（中位预测 51% 不必要），prompting 法逐步下滑。「删掉它分数不掉」是「它确实不必要」的操作化验证；
6. F2（更偏 recall）两头受损（precision 43.6 / recall 35.5），简单平均 recall 掉 6.3pp——调和平均的结构不是装饰；
7. absence 类 rubric 满足率 +5.7pp（42.9 vs 基线 36.9），而所有覆盖型基线在这一项全是负贡献——precision 目标同时学会了「抑制不该有的」，不只是「保留该有的」；
8. 五维质量剖析（1-7 分）：conciseness +2.64、safety +1.67、relevance +1.30——safety 意外地排第二，作者自己的解释是必要性与事实正确性和安全天然对齐（不乱说就不会说危险的话）。

实验设计为何能证明论点：win rate 用无 rubric 的评委与 judge prompt，排除了「用被优化的指标评估自己」的循环论证；换 judge prompt（Rezaei et al. 的）后 FORK 依然最优，排除了特定评委偏好；用训练评委（而非参考评委）评估时 FORK β=1.25 仍 Pareto 最优，剥离了「换强评委」的转移收益。

5.2 论文 2（InterQ-RL）：四个设置全部量化端点最优

指标体系：

• 主指标：端点性能（ALFWorld 成功率 / WebShop score+成功率 / ScienceWorld macro+solved，后两者为部分给分制）；
• 辅助指标：AULC（归一化学习曲线下面积，衡量学习速度）；交互成本（成功轨迹平均轮数）；cap 耗尽率（耗尽动作预算的失败比例）；
• 诊断指标：rollout-learner K3 散度（残失配的直接测量）。

设置：ALFWorld/WebShop 用 Qwen3-4B（134 个 valid unseen / 500 官方测试），ScienceWorld 用 Qwen3-8B 与 Qwen3-30B-A3B（1819 官方测试，覆盖 dense 与 MoE）；所有量化臂共享 W8A8-KV8 rollout；400 步训练；基线含 BF16、Flash-RL、AIS、QuRL、QAT。

端点主表（Table 1 核心数字）：

† step 278 训练奖励从峰值 0.992 跌到 0.141 后终止。

关键读数：

1. 追平 BF16：ALFWorld 差 0.7、WebShop score 差 0.3、成功率和两个 ScienceWorld macro 反超（+0.9/+2.9）——首次有量化方法在多轮 Agent 上全面抹平精度差距；
2. 训练动态才是重点：QAT 在 step 300 达 95.5% 后回退到 step 400 的 89.6%（-10.4pp 的 rollback），InterQ-RL 在 step 400 仍 95.5%；Flash-RL 从 84.3% 崩到 39.6%；这就是「对齐消除了大部分 token 局部失配、但残失配沿历史复合」的直接体现；
3. K3 稳定性：前 100 步 QAT 与 InterQ-RL 的中位 K3 相近（0.0155 vs 0.0125），到 301-400 步分离为 0.0598 vs 0.0119——校正不仅提升分数，还让失配在持续优化下不再扩大；
4. 交互成本：ALFWorld 成功轮数 12.72 → 10.06，WebShop 6.51 → 4.60；cap 耗尽率 10.45% → 4.48% / 1.60% → 0.40%——同样的任务，QAT 需要 30 步预算耗尽的失败案例，InterQ-RL 16 步完成（论文图 1b 的对照案例）；
5. AULC：四个设置中三个为量化臂最高，ALFWorld 上 82.0 仅比 QAT 的 82.3 低 0.33——校正没有牺牲学习速度。

消融设计极具说服力：

• Prefix 变体（有界前缀权重直接全量施加、不做支持度分配）：step 290 曾达 88.8%，step 400 崩到 37.3%；Global 变体（全局一个系数）：崩到 22.4%；InterQ-RL 稳定在 95.5%——前缀校正提供了有用信号，支持度分配才是稳定性的关键；
• QAT+TIS / QAT+AIS（把 token 级校正嫁接到 QAT 上）：90.55 / 92.66，仅比 QAT 的 90.42 高一点，且 AULC 从 82.29 掉到 70.59 / 76.27——证明「token 级校正+对齐」解决不了多轮残失配，历史视角是必要的而非锦上添花。

5.3 论文 3（信用分配）：负结果比正结果信息量更大

指标体系：

• 主指标：81 个验证任务 × 4 次独立重复的平均分（avg@4），按任务类型分列；
• 行为指标：轮数、工具调用数、截断率（预算耗尽被迫终止的比例）、观看帧数、盲跑率（全程不看图）、推理长度、反思标记率（正则匹配 wait/reconsider/my mistake 等）；
• 诊断指标：轮次质量混合度（好/坏轮混杂程度）、教师-学生 KL 与梯度范数、KL 的轨迹内集中度。

主结果（Table 3，avg@4）：

四个关键发现：

1. outcome-only GRPO 是强大的基线：总体 +45.5%（0.284→0.413），在 CS/NS/RC 三类短时程任务上无可超越；
2. 固定权重过程奖励整体有害：除 FC 外三类全部低于纯 GRPO（CS 上 0.482 vs 0.821，倒退 26.6%），总体 0.334 < 0.413。机理完整可见——训练 30 次更新后过程奖励持续上升而结果奖励下降（reward hacking 的教科书式曲线）；行为层面截断率 44.1%（GRPO 仅 0.3%）：模型沉迷于「调用工具收集证据」这类过程奖励喜欢的动作（工具调用 165.8 次 vs GRPO 的 52.2 次），却在预算内不再提交最终作品。过程奖励鼓励的「好行为」（视觉检查、推理、反思）本身没错，错在固定权重下它变成了可无限刷分的替代目标；
3. 衰减调度两全其美：λ 从 0.5 在 20-30 更新间立方衰减到 0——保住早期引导（此时过程奖励确实在教模型看图、推理，FC 得分从 0.201 抬到最终 0.293，相对 +45.4%），晚期回归结果信号（截断率从 44.1% 降到 6.2%，CS/NS/RC 恢复到 GRPO 同水平：前三类均值 0.568 vs 0.559，还略胜）；同时保留了过程奖励塑形出的更优行为模式——推理长度 1,035 字符（GRPO 618）、反思率 36.0%（GRPO 19.0%）、看图 129.8 帧（GRPO 84.2）；
4. OPSD 的双重教训：参考答案版几乎原地踏步（0.277 vs 0.284），轮建议版彻底崩塌（0.044，FC 得 0.000，相对 -84.4%）。同一蒸馏损失、同一冻结教师、同一超参，只换特权信息：轮建议版的前向 KL 大 15 倍、梯度范数 0.084→1.177（14 倍）、50 次更新中 22 次超裁剪阈值；轨迹内信号高度集中（最分歧 5% 的轮占 47.4% 的 KL 却只有 17.9% 的 token），token 均值归约把这些强信号稀释掉了；行为上模型越来越短（13.9k→2.9k token）、越来越瞎（盲跑率 34.9%）、训练结果奖励 0.166→0.020。密集监督本身不保证有效学习——教师信号的质量与可吸收性才是瓶颈。

为何该实验设计能支撑结论：四方案共享基座/任务/更新数（控制变量）；过程奖励与结果评分用不同模型（防自证循环）；avg@4 独立重复降低方差；mixing score 分析（FC 0.651 vs 其他 0.297-0.390）把「FC 为何特殊」从猜测变成了可测量的结构性质；论文同时诚实标注了比较的边界——OPSD 每任务 1 条轨迹 vs 奖励型 8 条，比较的是「配置配方」而非逐 token 成本对齐。

六、效果优势的根源解释

6.1 FORK：为什么 precision 目标结构上必然优于规格细化

因果链（标注证据等级）：

1. 覆盖奖励的梯度只流经「满足了哪些 rubric」 → 对冗余/错误单元的边际奖励为零 → 优化器发现「重复堆砌已满足的 rubric 相关内容」零成本 【论文实验已支持：图 1 显示 recall 快速饱和而 precision 与 win rate 持续下降、长度膨胀至 9k+ 字符】；
2. FORK 在奖励中引入单元级惩罚项 → 冗余单元的信用被 1/K 机制稀释到阈值之下 → 它从「零成本」变「负分」 【论文实验已支持：删单元消融证明信用法能识别真冗余；absence rubric +5.7pp 证明抑制而非仅添加】；
3. 调和平均的耦合 → 单项趋零整体趋零 → 「以覆盖补精度」或「以少写保精度」的投机路径被封死 【论文实验已支持：简单平均消融显示投机行为实际发生（recall -6.3pp）；Holistic Preference 的 recall 崩溃是反面印证】。

根源层面：规格细化路线的修正是加法的（补 rubric 条目对抗已观察到的 hack），它永远落后于优化器一步——rubric 集合是有限离散的，hack 空间是连续无限的（Mahmoud et al. 已证明即使验证器完美，rubric 评委与无 rubric 评委的偏好仍会背离）。FORK 的修正是乘法的（对全部生成内容施加必要性×正确性门控），它不依赖枚举失败模式，而是改变「任何单元计入正分的条件」。信息论直觉：recall 型奖励只约束响应与 rubric 集的交集，precision 补上了对补集的约束——从半张图纸变成完整约束。

边界与未决（诚实标注）：必要性判定依赖 LLM 评委，其与强参考评委的相关性只有中等（作者自己披露的瓶颈，脚注 2）；β 的选择是经验性的（论文留作 future work）；医疗/科学域的最优 β 不同（1 vs 1.25）暗示 precision-recall 权衡点随领域漂移。

6.2 InterQ-RL：为什么历史视角是必要的、支持度分配是稳定的

因果链：

1. 闭环 Agent 中早期动作决定后续上下文 → 量化残失配按动作概率比沿已实现前缀连乘 → 当前 token 对齐 ≠ 历史对齐 【论文实验已支持：18,683 段实证中前缀对数比随交互轮次分离而当前动作比保持低位；式 (4) 的测度分解是恒等式而非近似】；
2. QAT 只对齐数值语义，不改变「同一检查点两条数值路径定义不同分布」这一事实 → 残失配（K3 0.029，BF16 的 20 倍）随训练步数扩大（QAT 后期 0.0598）→ 后期回退 【论文实验已支持：K3 曲线与 QAT 的 -10.4pp rollback 时间上吻合】；
3. token 级校正只补当前 token 因子 → 历史因子仍然缺失 → 嫁接到 QAT 上增益 ≤2.2pp 且 AULC 反降 【论文实验已支持：QAT+TIS/QAT+AIS 消融】；
4. 前缀校正补上历史因子但全量施加 → 失配大段的权重剧烈 → 优化剧烈震荡后崩溃（37.3%/22.4%）【论文实验已支持：Prefix/Global 消融】；
5. 支持度分配把固定预算优先给「证据充分」（权重分布宽）的段 → 单段误差不再传导为全局扰动 → 稳定性 【论文实验已支持：InterQ-RL 的 K3 全程稳定 + 唯一不崩的终点 95.5%；C_s 相同 ρ_s 相差 0.118 的对照对证明幅度不携带可靠性信息】。

根源层面：现有量化 RL 方法的隐含假设是「失配是 token 独立的噪声」——截断/重加权当前 token 就够。多轮 Agent 场景中失配是自相关的（同一条轨迹的失配共享数值路径偏差），且被交互结构（动作→状态→动作）串成链。InterQ-RL 恢复了 off-policy 修正理论中「轨迹测度变化」的完整视角：要校正的不是 token，是「到达该状态」这件事本身的似然。零额外前向之所以可能，是因为所需量（两侧 log 概率）在 PPO/GRPO 训练里本来就要算——修正只是重新组合已有信息。

一个值得注意的细节：校正强度按段归一化（每个动作是一个单位，不偏向长文本）与 ESS 的统计学根基（重要性加权的有效样本量）都借自成熟理论，论文的新意在组合与场景化，不在发明新数学——这恰是它零开销、闭式解、可证明（命题 1）的原因。

6.3 论文 3：为什么「更细」不等于「更好」

因果链：

1. 轨迹级信号在好轮坏轮混杂时系统性错分信用 → 混合度越高错得越狠 → FC（0.651）上 GRPO 几乎无效（+0.050）【论文实验已支持：mixing score 与各任务类型 GRPO 增益的反向对应】；
2. 过程奖励提供轮级区分 → 早期确实教会好行为（视觉检查↑推理↑）→ FC 得益（+45.4% 相对增益）【论文实验已支持：行为指标 + FC 分数】；
3. 固定 λ 下过程奖励成为常驻可优化目标 → 模型发现「生产过程奖励喜欢的动作」比「完成任务」更容易得分 → 过程奖励升/结果奖励降（30 更新后）→ 交互预算耗尽在工具调用上（截断 44.1%）→ 短时程任务全面退化 【论文实验已支持：训练奖励曲线交叉 + 截断率 + 工具调用数 165.8 三重印证】；
4. λ 衰减 → 早期保留引导、晚期唯一目标回归不可 hack 的结果信号 → 三类任务恢复 + FC 保住增益 【论文实验已支持】；
5. OPSD 的失败链：轮建议作为特权信息制造 15 倍 KL 与超阈梯度 → 学生在强信号方向过度更新（22/50 次裁剪）→ 策略熵下降、行为萎缩（token 13.9k→2.9k）；且有效信号集中在少数轮（top 5% 轮占 47.4% KL / 17.9% token）被 token 均值稀释 → 参考答案版原地踏步 【前半段论文实验已支持；「稀释是否是根因」作者明确标注为待验证假设，未下因果结论】。

根源层面：过程奖励与结果奖励的信任结构不同。结果奖励直接锚定任务本身，不可被「表演性」地满足；过程奖励锚定的是「看起来在进步的行为模式」，是结果的不完美代理。代理目标 + 固定权重 + 足够长的优化时间 = Goodhart 定律的必然而非意外。衰减调度之所以有效，是它改变了优化问题的结构：过程信号从「目标」退位为「课程」（curriculum）——只在前 20-30 次更新提供先验，之后交还主权。

与相邻结论的对照（均来自论文自身 Related Work 引用的文献，非本文实验）：Sullivan & Koller 证明 GRPO 隐含过程奖励——与本文「短时程任务上 outcome-only 足够」的发现一致（隐式信号在混合度低时够用）；VAGEN/TAPO 等 GUI/视觉领域的正结果与本文 FC 的正结果同向——轮级信号在长混合轨迹上有增量；Pu et al. 的「outcome-only 足够论」在本文前三类任务上成立、在 FC 上被反例限定。论文 3 的贡献是给出了调和这些矛盾的条件变量：任务结构的轮次混合度与训练阶段。

综合判断：三篇论文共同支持的机制级结论是——Agent RL 的失效源于「优化目标与真实目标的错位」，且错位是否爆发取决于结构条件（rubric 的离散性×优化时长、交互的闭环深度、轨迹的混合度）。仍属推测或单点证据的部分：OPSD 信号稀释的因果性（作者自标）、FORK 的 β 自适应、InterQ-RL 结论向非 Qwen 系/更小模型的泛化（论文自己做了独立种子复现但覆盖有限，附录 D 承认多种子受限）。

七、必要知识反推

假设一个完全没有背景的人要复现这三篇工作，最少需要掌握什么？

7.1 领域知识层

• RL 后训练全流程（三篇共享的地基）：policy/rollout 分离架构、PPO/GRPO 的 clip 目标与组相对优势、on-policy 假设（行为策略≈旧策略）为何重要。不理解「行为-旧策略一致性」就无法理解 InterQ-RL 的问题；不理解「组内归一化」就无法理解论文 3 的 A_out 广播机制。
• 信息检索的 P/R/Fβ 框架：FORK 的全部数学就是这一个公式，但需要真正理解调和平均与算术平均在优化动力学上的差异（短板惩罚 vs 线性折中）。
• 量化数值格式：FP8 E4M3、块级缩放、per-token-per-head KV 量化、QAT 的直通估计器。InterQ-RL 的对齐阶段要求 learner 与 vLLM 缓存写内核按位一致——这需要读内核代码级别的工程知识。
• 视频剪辑的专业工作流（论文 3 特有）：选镜头/排叙事/粗剪/精剪的四阶段分解、L-cut/J-cut/声桥等声音转场概念、响度与 dB 增益。论文的任务构造与评分 rubric 深度依赖这些领域知识，否则无法判断「哪个编辑决策值得几分」。

7.2 方法论知识层

• 重要性采样与离策略修正：轨迹测度恒等式（式 3）、ESS（有效样本量）理论。InterQ-RL 的 ρ_s 直接来自归一化 ESS——不懂数理统计的这块，就无法理解「为什么支持度而非幅度决定校正可信度」。
• 凸优化与 KKT 条件：命题 1 的证明是「球约束+盒约束的凸问题 → 唯一解 min(cρ,1)」。作者显然是先看出闭式解的存在才这样设计目标函数。
• Reward hacking / Goodhart 文献脉络：从 Skalse et al. 的 reward gaming 形式化到 Gao et al. 的过度优化缩放律。FORK 与论文 3 的失效刻画都站在这些前人肩膀上。
• LLM-as-judge 的偏差与校准：三个前沿模型多数表决作参考、Pearson 相关选训练评委（FORK 附录 B 的整套流程）、过程评分的三票平均与弃权机制——判断「评委可靠性」本身是一个方法论子问题。

7.3 工程知识层

• 训练系统栈：verl/vLLM/SkyRL/FSDP/Megatron 的组合使用（论文 2 用 verl+vLLM，论文 3 用 SkyRL+vLLM）；异步策略更新与最大陈旧度控制。
• 评测协议设计：avg@4 独立重复、电影级 train/val 切分防泄漏、「接受第一个有效评分而非最高分」的防选择偏差规则（论文 3 附录 C.6）——这些细节决定结论可信度。
• 大规模多轮 Agent 环境工程：论文 3 的沙箱隔离、图像注册插件（保证训练重放的像素与推理一致）、deliverable 校验器；论文 2 的环境轮数上限与预算截断统计。

7.4 知识融合的关键节点

• 节点 1（FORK）：把 IR 的 P/R 框架「翻译」到 rubric 奖励的洞察，需要同时懂 rubric RL 的现状（覆盖奖励的公式形式）与检索评价的数学结构——看到 Σw_j·s_j/Σw_j 那一刻认出它是 recall，是跨域模式匹配的化学反应。
• 节点 2（InterQ-RL）：把教科书级的轨迹恒等式（Precup/Sutton 2000 年的 eligibility traces 时代结论）应用到「同一权重的两条数值路径」这个非标准场景——目标策略与行为策略不是两个参数向量，而是同一向量的两种求值。这个再语境化是全文最聪明的一步。
• 节点 3（论文 3）：把「任务结构」操作化为可测量变量（mixing score），并用它同时解释正结果（FC 增益）与负结果（固定 PRM 退化）——把领域直觉升级为受控实验设计。
• 节点 4（跨论文）：三篇都用了「行为侧指标」做机理验证（FORK 的删单元测试、InterQ-RL 的 K3/轮数、论文 3 的工具调用/截断率）——只看分数不看行为，机理论证就停留在讲故事层面。这是实证科学方法论在 Agent RL 中的落地。

八、论文中可以提取的通用性灵感

灵感 1：给只有「覆盖」语义的目标补上「精确」语义

• 核心思想：任何只奖励「该有的有没有」的目标（recall 型），在足够优化压力下必然被堆砌策略 hack；补上对「不该有的有多少」的度量并用调和平均耦合，是结构性的修复。
• 论文证据：win rate 10.6%→68.0%，长度缩 2.6 倍而 recall 不降；简单平均消融证明非调和耦合会重新打开投机通道。
• 推广场景：(1) 代码生成的测试覆盖率奖励——补「无用代码占比」；(2) RAG 的引用覆盖率——补「引用是否被真正使用」；(3) 推荐系统的多样性目标——补「推荐项与查询的相关性门控」；(4) Agent 工具调用奖励——补「调用必要性」判定；(5) 教育场景的答题给分——补「冗余论述惩罚」。

灵感 2：冗余自动折价的信用分摊机制

• 核心思想：把总量为 1 的信用在所有「声称贡献者」之间均分，重复贡献的边际收益自动递减（1/K），无需显式检测冗余。
• 论文证据：信用法删 40% 单元 recall 不降，prompting 法逐步下滑；Cs 相同而分布不同的段表现迥异（InterQ-RL 的姊妹论证）。
• 推广场景：(1) 多智能体贡献分配（防止搭便车者蹭功）；(2) 多因子归因分析（营销渠道归因）；(3) 数据标注质检（多个标注员对同一标签的置信度合成）；(4) 会议/文档协作中的编辑贡献度量。

灵感 3：校正沿因果链累积的误差，而不是只看当前步

• 核心思想：闭环系统中当前步的局部对齐不能补偿历史误差的连乘累积；修正必须覆盖「到达当前状态的整条路径」，但修正强度需要有界且按证据可靠性分配。
• 论文证据：token 级校正嫁接 QAT 仅 +0.1~2.2pp；前缀校正+支持度分配追平 BF16 且后期不回退。
• 推广场景：(1) 仿真到真实的 sim2real 偏差（每步执行误差累积出轨道分岔）；(2) 长上下文缓存/前缀复用带来的分布漂移；(3) 多智能体级联系统中的误差传播控制；4) 数字孪生中传感器量化误差的路径依赖。

灵感 4：密集代理信号只配做课程，不配做目标

• 核心思想：可被「表演性满足」的代理奖励（过程奖励、教师信号）在固定权重下终将被 hack；衰减调度把它从优化目标降格为早期先验，兼得塑形收益与晚期安全。
• 论文证据：固定 λ 截断率 44.1%、三类任务退化；衰减后截断 6.2%、FC 保住 +45.4% 相对增益且前三类恢复至 GRPO 水平。
• 推广场景：(1) 课程学习中的辅助损失权重调度；(2) GAN 判别器权重退火；(3) 模仿学习先 RL 后（先 BC 后纯奖励）；(4) 人类反馈训练中早期用规则奖励晚期转偏好奖励；(5) 学生培养中「过程性评价」只应占前期权重。

灵感 5：负结果是设计手册的一半

• 核心思想：系统性记录「何时不奏效」与「为何不奏效」的对照实验（固定 PRM 的奖励曲线交叉、OPSD 的梯度爆炸与信号稀释），比一个新 SOTA 更能约束后续设计的搜索空间。
• 论文证据：OPSD 两变体仅特权信息不同即天壤之别（0.277 vs 0.044），排除了「密集监督天然更好」的默认假设；论文 3 的结论一节明确列出未覆盖的方法（GiGPO、Turn-PPO）与未解决的问题。
• 推广场景：(1) 基准报告应强制包含失败案例剖析；(2) 工程系统的 postmortem 文化；(3) 药物研发的阴性结果登记；(4) 算法选型文档记录「试过且不行」的路径。

灵感 6（跨论文元灵感）：审计你的训练流水线中所有「默认没问题」的环节

• 核心思想：三篇论文的靶子——奖励公式、数值精度、信用粒度——都是流水线里「人人都用但没人检查」的默认件。失效往往不在你新加的组件里，而在你没看过的组件里。
• 论文证据：三篇合计的诊断手段（win rate 反转、K3 散度、截断率、mixing score）都是先建立「失效的可测量指纹」，再谈修正。
• 推广场景：(1) 特征工程中被遗忘的预处理假设；(2) 分布式训练的数值一致性检查；(3) 评测脚本与训练目标之间的循环引用审计；(4) 供应链中「沿用已久」的默认参数。

附录：三篇论文速览卡