多奖励强化学习归一化二重奏：DARA 与 CorrGRPO 精读

论文一链接：Make Sparse Rewards Count: Density-Aware Reward Aggregation (DARA) 论文一代码仓库：zhaihaotian/DARA 论文二链接：CorrGRPO: Correlation-Normalized GRPO for Multi-Reward Learning 论文二代码仓库：HKUST-KNowComp/CorrGRPO 发表时间：2026年10月 / 2025年9月（arXiv 提交） 机构：DARA——中国科学院大学、明尼苏达大学双城分校、威斯康星大学麦迪逊分校、石溪大学、大连理工大学、北京外国语大学、东南大学与快手科技（企业+高校合作，快手科技 Pengcheng Xu 为通讯作者）；CorrGRPO——香港科技大学 KnowComp 组（单一高校，Wenbin Hu 与 Huihao Jing 同等贡献，Yangqiu Song 指导） 领域标签：cs.LG / cs.CL（强化学习、LLM 后训练）

多奖励强化学习后训练里，「归一化」这个词正在被重新审视。这篇文章把 2026 年 10 月的 DARA 和 2025 年 9 月的 CorrGRPO 放在一起精读：前者从「奖励活跃频率」、后者从「奖励间相关结构」出发，不约而同地指出——GRPO/GDPO 系算法在多个奖励叠加时的归一化环节存在系统性偏差，而且这个偏差恰好落在最需要保住的信号上。两文的修正方式都小到令人惊讶（一个逐批次改权重，一个换分母），但理论推导和跨规模实验都做得扎实，非常适合作为「多目标 RL 微调」这个方向的成对阅读材料。

一、论文背景

什么是多奖励 RL 后训练。 现代大模型的后训练普遍采用 RLVR（Reinforcement Learning with Verifiable Rewards）范式：给模型的每条输出同时打多个可验证的奖励分数——答案对不对（正确性）、格式合不合规（格式）、长度超没超（长度）、工具调用序列对不对（工具调用），然后把总奖励喂给策略梯度算法更新模型。GRPO 是这个范式的主力算法：对同一 prompt 采样一组（group）回复，用组内均值和标准差归一化总奖励得到 advantage，再按 advantage 加权更新策略。后续的 GDPO 把归一化细化到 reward-wise（每个奖励单独归一化再合并），DVAO、GD²PO 等又做了各自的改进。

为什么归一化如此关键。 多个奖励的原始量纲差异很大：正确性是 0/1，格式可能满分 1.0，长度惩罚可能到几十。如果不归一化，大尺度奖励会直接支配梯度方向。GRPO 的组内标准差归一化、GDPO 的 reward-wise 归一化都是为了让每个奖励「话语权公平」。但两篇论文各自发现了一个被忽视的事实：

• DARA 的发现：即便做了 reward-wise 归一化，批次级别的信号仍然失衡——不是因为量纲，而是因为活跃频率。一个稀疏奖励（比如长度合规：训练后期 99% 的样本都已合规）只有极少数 rollout 组能产生非零相对优势，它在批次里的总「能量」天然就小，会被高频奖励的梯度波动淹没。
• CorrGRPO 的发现：GRPO 的分母是总奖励的组内标准差，展开后等于全部奖励两两协方差之和。大尺度奖励的方差项可以占这个和的 91.1%（原文示例：S=15.5520 中第三奖励方差 14.1696），于是归一化实际上被大尺度奖励驱动，与小尺度奖励之间的相关性无关——你精心设计的奖励依赖结构在分母里根本没有发言权。

一句话总结两文共同的洞察：归一化不仅在缩放量纲，还在隐式决定「谁的声音被放大」——而现有的归一化恰恰把最脆弱的两类信号（稀疏奖励、小尺度相关奖励）压到了噪声底下。

二、论文定位和关联工作

两篇论文都生长在「GRPO 系多奖励归一化修正」这棵谱系树上，但占据不同的分支。

谱系一：GRPO 及其归一化修正线。 GRPO（DeepSeek，2024）用组内标准差归一化 advantage，是 DeepSeekMath 提出的 REINFORCE 组相对基线。DAPO 去掉损失里的 KL 惩罚并做了动态采样；CISPO 对小优势 clip 方式做了改造；GDPO 则指出多奖励应 reward-wise 分别归一化。DARA 直接以 GDPO 为理论起点——它证明 GDPO 的归一化在理想条件下仍然遗留了批次级的能量失衡，这是「GDPO 的下一步」；CorrGRPO 以 GRPO 本身为起点，与 DAPO/CISPO/GDPO 正交（它只动分母），实验验证了与 CISPO、DAPO 的叠加兼容（CISPO+CorrGRPO 平均 51.56% vs CISPO 单独 50.30%；DAPO+CorrGRPO 50.92% vs DAPO 50.68%）。

谱系二：多目标 RL 的奖励聚合线。 传统多目标 RL 常用加权和、偏好条件化（如 Concrete RL）或奖励归一化技巧（PopArt 等）。两文与这条线的区别在于：它们不改变「奖励怎么合成」，而是改变「合成后的相对影响力怎么算」——DARA 调的是每个奖励在批次内的能量占比，CorrGRPO 调的是奖励相关性在分母中的表达方式。

谱系三（CorrGRPO 特有）：策略熵与探索维护线。 CorrGRPO 观察到自己的方法保留了更高的策略熵、更慢的熵衰减（Figure 12），这把它和「防止熵坍缩」的一系列工作（如熵正则、Clip-Cov 类技巧）联系起来——但它不是显式加熵 bonus，而是通过归一化的尺度解耦间接维持了探索。

定位结论：DARA 是 GDPO 谱系的纵深推进（同门：reward-wise 归一化理论），CorrGRPO 是 GRPO 谱系的横向扩展（跨算法正交修正）。一个管分子侧的权重，一个管分母侧的结构，恰好构成多奖励归一化的「二重奏」。

三、问题定义

两篇论文把各自的具体场景抽象成了两个互补的数学问题。

DARA 的抽象：能量对齐问题。 给定一个批次内 K 个奖励、每个奖励 k 的活跃组密度 π_k（提供非零相对优势的 rollout 组比例），DARA 首先在理想 GDPO 归一化下建立能量等式：每个奖励的 advantage energy（批次内平方优势之和）满足 E_k = B·π_k·(G−1)，其中 B 为批大小、G 为组大小。也就是说，能量正比于活跃密度——这是 Proposition 1 的核心（V_k ∝ E_k）。于是问题变成：给定各奖励参差的 π_k，求一组逐批次权重 w_k，使得每个奖励的能量被对齐到参考能量 E_ref（即 w_k²·E_k = E_ref），且不改变策略优化目标本身。

CorrGRPO 的抽象：尺度-相关解耦问题。 GRPO 的 advantage 分母是总奖励的组内标准差，其平方展开为 S = Σ_{l,m} Cov(R_l, R_m)。利用 Cov(R_l,R_m)=σ_l·σ_m·ρ_lm（ρ 为 Pearson 相关系数），大尺度奖励的方差项（σ²）可以占据 S 的绝对主导。问题变成：给定多奖励的组内样本，构造一个归一化分母，使其只响应奖励间的相关结构 ρ 而不响应尺度 σ，同时保持组内梯度方向不变。

两文抽象的精妙之处在于都把「工程痛点」还原成了「恒等式层面的观察」：DARA 的 E_k = B·π_k·(G−1) 是归一化的直接推论，不是新假设；CorrGRPO 的 Cov = σσρ 是初等分解，人人可验。正因为起点是不可辩驳的恒等式，后续的修正才显得「结构上必然」而非「调参调出来的」。

四、问题解法

DARA：密度感知的奖励聚合

类比：想象一个会议室里有 K 个人同时说话，每个人音量（量纲）已被统一，但有人几乎不开口（稀疏奖励）、有人一直在说（高频奖励）。GDPO 保证每人开口时音量合规，但整场会议的话语权自然被「一直在说的人」占据。DARA 的做法是：给很少开口的人一个扩音器，让他开口那几次的音量足以和常说话者平衡。

机制拆解：

1. 密度统计（输入：批次内各 rollout 组的各奖励相对优势；输出：π_k）。对每个奖励 k 统计批次内有多少比例的组产生了非零相对优势。格式奖励几乎每组都活跃（π≈1），长度合规在饱和期可能只有 5% 的组活跃（π≈0.05）。
2. 逆平方根权重（输出：w_k）。取 w_k = min(w_max, √(π_ref/π_k))，其中 π_ref 为参考密度（如高频奖励的密度），w_max 为上限防止极端放大。低密度奖励的权重按密度的逆平方根增长——注意是平方根而不是线性逆，因为能量是优势的平方，权重作用在优势上、平方后正好把能量对齐（w_k²·E_k = E_ref）。
3. 逐批次自适应。权重每个批次重新计算，训练早期长度奖励还高频时权重接近 1，随着合规率上升、密度下降，权重自动增大——不需要任何阈值或阶段切换。
4. 不动优化目标。DARA 只改「奖励聚合」这一步，策略损失、KL、clip 等全部保持原样，因此可以套在任何组相对算法上（论文中以 GDPO 为宿主，得到 DARA-Sym / DARA-Asym 两个变体）。

一个关键对照：为什么不用固定大权重「保护」稀疏奖励？论文的对照实验显示，固定权重 w=5 会令工具调用准确率从 48.03% 掉到 46.84%——因为稀疏奖励不活跃时强行放大的是噪声；而 DARA 的动态权重只在奖励活跃时放大有效比较，不会与正确性目标冲突。

CorrGRPO：相关性归一化的 GRPO

类比：GRPO 的分母像一台自动增益控制器，但它只看总音量。两个音量小但总是同起同落的麦克风（强相关小尺度奖励），和一个音量大但各说各话的麦克风（大尺度奖励），在总音量统计里前者几乎不可见。CorrGRPO 把增益控制器换成「只看联动模式、不看音量」的版本。

机制拆解：

1. 分母替换（输入：组内各奖励样本；输出：相关系数和）。把 GRPO advantage 分母中的 Σ_{l,m} Cov(R_l,R_m) 整体替换为 Σ_{l,m} ρ̂_lm（Pearson 相关系数），分子保持中心化总奖励不变。每个非零方差的奖励在对角贡献 1，非对角贡献 ρ̂_lm ∈ [−1,1]。
2. 尺度不变性。相关系数天然无量纲，大尺度奖励不再因为 σ 大而支配分母。原文示例：替换前 S=15.5520 中第三奖励方差 14.1696（占 91.1%）；替换后，强相关小尺度奖励对（ρ̂₁₂=0.9756）的贡献是对弱相关大尺度对（0.1098）的 8.89 倍——归一化第一次真正「看见」了奖励依赖结构。
3. 方向保持。替换后的分母对组内每个样本仍是正常数（c_q > 0 的纯缩放），因此组内梯度方向不变，只改步长的相对大小——这保证了与 DAPO/CISPO/GDPO 等改进的兼容性（叠加实验均有小幅正向增益）。
4. 自动去冗余。极限情形：若两个奖励完全相同（R_run = R_pass），协方差体系下 advantage 会被双倍计权，而相关系数体系下 ρ̂=1 的贡献有界，advantage 不会翻倍——重复设置的奖励自动被去冗余。

全景对比：

五、评估指标与实验证据

DARA 的实验体系

主指标：达标步数（time-to-threshold）与联合得分（Joint Score）。 DARA 最核心的主张是「加速稀疏目标收敛且不伤正确性」，对应的指标是达到某个合规阈值所需的训练步数——这是「加速」主张的直接量化；Joint Score（正确性与合规同时满足）和 Exceed（超长率）则验证「不伤正确性、不引入回避行为」。

实验一：工具调用（BFCL-v4，Qwen2.5-1.5B/3B，step 100）。 DARA-Sym 平均 Acc 51.17% / 平均 Format 97.55%；3B 上 DARA-Sym 平均 Format 97.22% 为全场最高、平均 Acc 54.15%。步 60 中程检查点：DARA-Sym/Asym 平均 Acc 50.94%/50.69%、平均 Format 96.06%/96.02% 均为全场最高，baseline 至多 50.50%/90.11%——说明 DARA 的领先在中程就已建立，不是终点冲刺。

实验二：数学推理长度控制（MATH-500、AIME 2024、AMC 2022/23、Minerva、OlympiadBench 共 1,559 题）。 关键数字：99% 长度合规首次稳定达标的步数——Qwen3-4B-Instruct 上 DARA-Asym/Sym/GDPO 分别为步 66/59/111，DeepSeek-R1-7B 上为 56/50/142（比 GDPO 少 41–65% 步）；step 50 检查点 DARA-Asym 在两个 DeepSeek-R1 规模上 Joint 得分最高（45.14%、57.83%），Exceed 仅 8.16%/3.73%——达标快的同时没有用「拒答/超短回答」作弊。格式奖励达到 0.8 所需步数：DARA 14–15 步 vs GDPO 19 步 vs GRPO 34 步。

实验三：奖励数量扩展（三奖励）。 GDPO 平均 Format 从 97.11% 掉到 94.39%，DARA-Asym 仅 97.90%→96.93%——奖励越多、稀疏失衡越严重时，DARA 的稳健性优势越明显。

摘要级结论：达高格式合规少 26% 步（工具调用）、近饱和长度合规少 65% 步（数学推理）。

CorrGRPO 的实验体系

主指标：Pass@1 与 Joint Accuracy / ASR。 代码生成用 Pass@1（功能正确性是硬指标），工具调用用 all-exact 匹配率，agent 安全用 Joint Accuracy（安全与有用同时达标）和 ASR（攻击成功率，越低越好）。实验覆盖 0.5B–8B 四个规模，三域（代码生成 + 工具调用 + agent 安全）。

实验一：代码生成（LeetCodeDataset 2,641 训练/228 测试）。 7B 上 CorrGRPO 24.12% vs GRPO 15.79%（+8.33pp）——这是全文最大的单项提升。四基准（LeetCode/HumanEval/MBPP/LCB v6）平均 Pass@1 相对 GRPO 提升 +2.09/+0.80/+2.27/+4.21pp（0.5B/1.5B/3B/7B），规模越大提升越大。效率维度上，7B 的 24.12% Pass@1 与 0.5B 的 67.86%（效率分）共同构成全部非支配 Pareto 前沿点。

实验二：工具调用。 RLLA-4K all-exact：Qwen2.5-7B 67.61% vs GRPO 63.38%；Qwen3-4B-Thinking 在 API-Bank v3 从 52.24%→64.08%（+11.84pp）。

实验三：Agent 安全。 ASB Joint Accuracy Qwen2.5-7B 47.88% vs GRPO 31.38%（+16.5pp）；AgentDojo Joint Accuracy 3B 89.62% vs 60.13%；InjecAgent 总 ASR 3B 5.52% vs GRPO 8.80%——安全奖励通常是小尺度、与有用性弱相关的信号，正是 CorrGRPO 理论预测受益最大的场景，实验结果与机制高度吻合。

兼容性实验：CISPO+CorrGRPO 平均 51.56% vs CISPO 50.30%，DAPO+CorrGRPO 50.92% vs DAPO 50.68%，验证正交叠加有效。

实验设计为何能证明论点：两文都遵循「机制预测 → 定向验证」的模式。DARA 预测稀疏目标受益最大，于是选择「合规率随训练饱和」的场景（长度控制）做主战场，达标步数正是稀疏进度的直接读数；CorrGRPO 预测小尺度弱相关奖励受益最大，于是选择「安全奖励 + 有用奖励」这种典型小尺度组合的 agent 安全域做验证——两文的实验都不是泛泛刷榜，而是让机制的预测在最能区分优劣的场景里接受检验。

六、效果优势的根源解释

6.1 根源机制与证据链

DARA 的因果链：

1. GDPO 只做组内 reward-wise 归一化 →（论文实验已支持：Proposition 1 推导）每个活跃组贡献固定能量 G−1；
2. 稀疏奖励活跃组少（π_k 小）→ 批次总能量 E_k = B·π_k·(G−1) 小 → 梯度波动被高频奖励主导 →（论文实验已支持：Proposition 1，V_k ∝ E_k）稀疏目标（如长度合规接近饱和时）学习停滞；
3. DARA 用密度权重把每个奖励的能量对齐到参考能量（w_k²·E_k = E_ref）→（论文实验已支持：达标步数 59 vs 111 的直接加速）等价于均衡各奖励的梯度波动 → 剩余的少量有效比较被放大；
4. 稀疏目标加速收敛且不与正确性冲突 →（论文实验已支持：固定权重 w=5 对照令 Acc 从 48.03% 掉到 46.84%，DARA 动态权重则不掉）——动态性是关键，因为「放大」必须与「活跃」同步。

阅读者推测（需注意证据等级）：DARA 的 w_max 上限与 π_ref 参考密度的选取可能存在任务依赖性，论文未系统消融这两个超参的敏感性——在极端稀疏（π < 1/w_max²）的场景下能量对齐会不完全，优势可能减弱。

CorrGRPO 的因果链：

1. GRPO 分母 S = Σ Cov(R_l,R_m) = Σ σ_lσ_mρ_lm →（论文实验已支持：原文数值示例）大尺度奖励方差项可占 91.1% → 分母被大尺度奖励驱动、与小尺度奖励的相关性无关 → 相关性自适应机制失真；
2. 换成相关系数后 →（论文实验已支持：ρ̂₁₂=0.9756 的贡献是 0.1098 对的 8.89 倍）强相关小尺度奖励对获得应有的归一化响应 → 归一化真正响应奖励依赖结构；
3. 尺度解耦同时保留了更高的策略熵 / 更慢的熵衰减 →（论文实验已支持：Figure 12）维持探索 → 持续改进——这一步的中间机制（为何归一化变化影响熵演化）论文以实证呈现，因果解释部分属于阅读者推测；
4. 极限情形 R_run=R_pass 时 advantage 不翻倍 →（数学恒等式直接可验）自动去冗余。

6.2 相关工作检索与对照

围绕两条核心机制做外部检索验证：

检索范围内未发现与「能量对齐活跃密度」（DARA）机制完全相同的已发表工作；「协方差→相关系数」的分母替换（CorrGRPO）在多目标 RL 检索范围内亦未见先例。PopArt 等自适应归一化工作从「方法相似」角度支持「归一化需要自适应」的大方向，但它们处理的是输出尺度而非奖励能量或奖励间相关结构，属于补充而非直接证明。

6.3 综合判断与未决问题

多研究共同支持的机制：(1) 多奖励 RL 的归一化粒度需要细化（GRPO→GDPO→DARA 一脉相承，且每一步细化都有同配置实验支持）；(2) 自适应归一化优于固定加权（PopArt 与 DARA 的固定权重对照从两个方向印证）；(3) CorrGRPO 的尺度解耦与现有改进正交可叠加（CISPO/DAPO 叠加实验）。

仍属推测的机制：CorrGRPO「归一化尺度解耦 → 策略熵维持 → 持续改进」这条链的中间环节，论文以实证（Figure 12）呈现相关性，因果解释是合理推测；DARA 的 w_max/π_ref 超参敏感性未系统消融。

适用条件：DARA 的收益条件是「存在学习进度严重不均的稀疏奖励」——如果所有奖励同频活跃，π_k 相近、权重趋近 1，DARA 退化为宿主算法（无害但也无增益）；CorrGRPO 的收益条件是「奖励间存在显著相关结构且尺度差异大」——若奖励彼此独立且尺度接近，相关系数分母与标准差分母近似等价。可能的失效条件：奖励噪声大时相关系数估计不稳定（组内样本有限），DARA 在极端稀疏下能量对齐不完全。两文分别在「频率维度」和「结构维度」上互补，理论上可以组合（DARA 管分子权重 + CorrGRPO 管分母结构），这是一个未被探索的开放方向。

七、必要知识反推

假设一个完全没有背景的人要完成这两篇论文，最少必须掌握：

领域知识层：(1) LLM 后训练的 RLVR 流程——prompt 批次、rollout 组、reward model 组合、策略梯度更新，不理解这个流水线就不知道「归一化」发生在哪个环节；(2) 多奖励的典型构成（正确性/格式/长度/工具调用/安全）及各自的量纲、稀疏度差异——这是发现问题的经验土壤；(3) 组相对 advantage 的直觉——为什么用组内统计代替 critic。

方法论知识层：(1) GRPO/GDPO 的精确数学形式，特别是分母的协方差展开——CorrGRPO 的全部洞察都藏在这个展开里；(2) 方差-协方差-相关系数的分解恒等式 Cov=σσρ——把「尺度支配」从现象变成可计算的占比（91.1%）；(3) advantage 能量的定义与期望计算——DARA 的 Proposition 1 需要在理想归一化下逐项积分；(4) 偏差-方差权衡与梯度噪声分析——理解「能量失衡→梯度波动→学习停滞」的链条。

工程知识层：(1) verl/OpenRLHF 类训练框架的奖励聚合接口——两文的修正都要落在这个钩子上；(2) 多基准评估协议（BFCL、LeetCode、AgentDojo 等）与防泄漏切分；(3) 训练中程检查点监控（DARA 的步 50/60 分析、CorrGRPO 的熵曲线都需要细粒度 checkpoint 管理）。

知识融合的关键节点：最关键的化学反应是把「训练后期的停滞现象」翻译成「批次统计量」——DARA 作者必须同时看到「长度合规率饱和」（现象层）和「E_k 正比 π_k」（数学层），才能想到用密度的逆平方根做权重；CorrGRPO 作者必须同时看到「安全奖励被淹没」（现象层）和「方差项占 91%」（分解层），才能想到换掉分母。两个融合节点都是「现象 → 恒等式 → 最小修正」的三段式，这也是两文改动都极小的根本原因。

八、论文中可以提取的通用性灵感

灵感一：归一化即话语权分配。 核心思想：任何多信号聚合系统里，归一化不只是技术性的量纲处理，它隐式决定了每个信号的发言权——审查你的归一化在放大谁、压制谁。论文证据：GRPO 分母中大方差项占 91.1%；GDPO 归一化后能量仍正比活跃密度。推广场景：(1) 多任务学习的损失归一化（Uncertainty Weighting 之外的新视角）；(2) 联邦学习的客户端聚合权重；(3) 多模态融合的特征归一化；(4) 搜索引擎的多路召回分数合并。

灵感二：用恒等式定位最小修正。 核心思想：把系统性偏差追到一条初等恒等式（E∝π 或 Cov=σσρ），修正方案往往会自然涌现且改动极小、易于证明无副作用。论文证据：DARA 只改聚合权重、不动优化目标；CorrGRPO 只换分母、保持梯度方向（c_q>0 纯缩放）。推广场景：(1) 系统性能调优中先用 profiling 恒等式定位瓶颈再动手；(2) 分布式系统的一致性协议设计；(3) 任何「大系统小改动」的工程决策。

灵感三：放大必须与活跃同步。 核心思想：给弱信号加权重时，权重必须随信号的有效性动态变化，固定权重会放大噪声。论文证据：固定 w=5 令 Acc 从 48.03% 掉到 46.84%，DARA 动态权重不掉。推广场景：(1) 课程学习中的难度调度；(2) 稀疏奖励 shaping 的课程化；(3) 异常检测中对罕见事件告警的动态阈值。

灵感四：冗余信号应有界计权。 核心思想：多个高度重叠的信号不应线性叠加影响力，否则重复即放大。论文证据：R_run=R_pass 时 CorrGRPO 的 advantage 不翻倍，自动去冗余。推广场景：(1) 集成学习中强相关基学习器的权重折扣；(2) 多传感器融合中的冗余观测处理；(3) 评审投票中去相关性加权。

灵感五：频率与结构是两个正交的失衡维度。 核心思想：多信号系统的话语权失衡至少有两个独立来源——活跃频率（时间维）与相互相关（结构维），完整诊断需要分别检查。论文证据：DARA 修频率维度、CorrGRPO 修结构维度，且两者理论上可组合。推广场景：(1) 组织管理中沉默成员与派系结构的分别治理；(2) 信号处理中欠采样通道与相关通道的分别处理；(3) 数据集中类别不平衡与特征共线性的分别校正。

附录：快速上手

• DARA 代码：https://github.com/zhaihaotian/DARA （宿主为 GDPO 训练框架，DARA-Sym/Asym 变体可选）
• CorrGRPO 代码：https://github.com/HKUST-KNowComp/CorrGRPO （分母替换为独立模块，可叠加 DAPO/CISPO）
• 复现优先级建议：若你的场景是「格式/长度合规接近饱和后停滞」，先试 DARA；若是「安全/风格类小尺度奖励总被正确性淹没」，先试 CorrGRPO；两者机制正交，组合实验是开放方向。