PlanPO: Group Planning-Aware Policy Optimization for Multi-Turn Agentic LLMs 精读

论文链接：PlanPO: Group Planning-Aware Policy Optimization for Multi-Turn Agentic LLMs 发表时间：2026年8月 机构：厦门大学 + 上海交通大学 + 暨南大学 + 南洋理工大学 领域标签：cs.AI / 多轮 agent RL

机构合作说明：四校纯学术合作（厦门大学自动化系一作 Dayang Liang，通讯 Yunlong Liu；南洋理工 Bo An 参与理论把关）。

一、论文背景

GRPO 为何统治了 agent RL？ DeepSeek 推广的 GRPO（组相对策略优化）解决了"没有价值模型也能算优势"的问题：同一任务采样 G 条轨迹形成组，组内奖励标准化后作为各轨迹的优势——“比同组平均好多少"就是优势。对结果可验证的 agent 任务（任务成功=1/失败=0），这几乎零成本地提供了基线。

但组相对在"全成功组"上失灵。 一个被忽视的死角：当组内所有轨迹都成功（或按结果奖励拿到相同分数）时，所有优势归零——梯度消失。这就是优势坍缩。更糟的是它恰好惩罚了"想变好"的动机：模型已经能稳定成功后，GRPO 就再也没有信号教它"成功得更漂亮”。

迂回与高效的差异被抹平。同一任务，一条轨迹 15 步直奔目标，另一条绕 40 步撞了三次墙才到——结果奖励同为 1，GRPO 视为完全等价。但交互效率（步数、每轮响应长度）是真实世界中昂贵的资源：每步都是 API 调用与延迟。

二、论文定位和关联工作

定位结论：PlanPO 的定位是"最小代价修补 GRPO 的坍缩死角"——不引入 critic、不设计任务特定启发式，只从 rollout 自身挖一个天然信号：成功组内的长度差异。

三、问题定义

核心洞察：“多成功地成功”（succeed well）本身携带可免费获取的相对信号——同组成功轨迹的步数与每轮响应长度天然构成效率排序，而这个排序在结果奖励下被丢弃了。

形式化：组内轨迹按结果奖励分层（成功/失败），失败层的优势照旧（组相对）；成功层内引入两级长度信号——轨迹级（总步数少者优先）与轮级（成功轨迹内各轮响应长度，短者优先），映射为组内细粒度优势。约束：不破坏原 GRPO 的组结构（同一 clip 目标与 KL 控制），额外计算可忽略。

精妙之处：把"效率偏好"实现为组内条件排序而非绝对阈值——不同任务的步数分布差异极大，条件排序天然归一化。

四、问题解法

4.1 粗到细优势信号

第一层（粗）：轨迹级总长度差异在成功子组内产生优势差——短轨迹获得正偏置。第二层（细）：同一成功轨迹内部，各轮响应长度差异产生轮级信号——惩罚"每轮都写一大段废话"的模式。两层叠加：既鼓励少走弯路，又鼓励每步言简意赅。

4.2 与组结构的融合

PlanPO 保持 GRPO 的优化目标（clip 代理损失+组相对结构），只替换组内优势的计算——实现上是 GRPO 训练器的一个小改动，无需新模块。

4.3 为什么不用价值模型

论文的论证脉络：critic 引入估计偏差与显存成本；PRM 需要标注的过程数据；HiPER/GiGPO 等组内信号方法各有任务特定设计——而长度信号是任何多轮环境都免费提供的通用量。

五、评估指标与实验证据

主结果：ALFWorld、WebShop、SciWorld 三个多轮基准上，PlanPO 平均超 GRPO 27.2%，并胜过 HiPER、GiGPO 等近期强基线；额外训练成本"可忽略"（论文强调这是设计目标的一部分）。

为什么实验设计有证明力：三个基准覆盖具身规划（ALFWorld）、网页购物（WebShop）、科学实验（SciWorld）三种环境；对照系包括"价值模型路线"与"组内信号路线"的代表方法；平均 27.2% 的幅度远超随机波动，且在三个环境一致——支持"任务通用"的主张。

诚实边界：论文报告的是相对 GRPO 的平均提升，各基准的具体分数与消融细节（两层信号各自的贡献占比）原文以图表形式给出，精读建议查阅原文 Table/Figure 获取分解数据。

六、效果优势的根源解释

对比对象：GRPO 与组内信号方法（HiPER/GiGPO）。

根本局限：GRPO 的坍缩是结构性的——优势来自组内奖励方差，全成功组方差为零，这不是调参能解决的。HiPER/GiGPO 修补了步级信号但依赖特定设计（子任务可分解性/锚状态可重复性），在结构不满足的任务上失效。

本文的根本性改变：因果链是——长度信号在成功组内恢复方差 → 优势不再坍缩，“稳定成功后继续优化"的通道重新打开 → 粗（轨迹级）细（轮级）两层分别优化"少绕路"与"不啰嗦"两种效率 → 平均 27.2% 的提升。深层原因：效率偏好通过 RL 内化后，模型学到的是可泛化的规划行为（先想清楚再动）而非任务特定的捷径——这解释了为何在三个异构环境都有效。

反事实支撑：若长度信号无效，成功组优势仍应坍缩、PlanPO 应与 GRPO 在"模型已能稳定成功"的训练阶段无差——实际的大幅差距否定了这一预测。

如实说明：长度偏好隐含假设"短=好”，对"长而必要"的推理（需要充分展开的复杂推理链）可能欠优——论文通过轮级与轨迹级分层缓解（轮内短与轨迹短是不同的偏好），但没有在"长度天然与质量正相关"的任务上验证。

七、必要知识反推

领域知识层：GRPO 的组相对优势语义与坍缩条件——不理解"方差为零=梯度为零"就看不到问题；多轮 agent 环境的奖励结构（终局稀疏）。

方法论知识层：策略梯度估计的方差来源分析；条件排序的归一化思想（组内相对而非绝对阈值）；与 KL/clip 约束的兼容性设计。

工程知识层：GRPO 训练器的实现结构（优势计算作为可替换模块）；多轮 rollout 的轨迹长度统计。

知识融合的关键节点：最有创造性的一步是识别"成功组内的长度差异"为被丢弃的免费信号——需要同时注意到"结果奖励抹平效率差异"与"长度天然构成组内排序"这两件事的连接。这个洞察的价值在于极简：不添加任何模型与数据，只改变优势的记账方式。

八、论文中可以提取的通用性灵感

1. 相对评价体系在"全员达标"时失去信号，需引入效率维度 论文证据：全成功组的优势坍缩——结果奖励下"及格线以上的差异"不可见；长度信号恢复了这个区间的分辨率。 推广场景：绩效评估在全员完成 KPI 后应以效率/质量区分；升学考试满分扎堆时需附加维度；体育预赛全员达标后的计时排名。

2. 免费信号优先于新建模型 论文证据：长度信号零成本可得、效果超 critic/PRM 路线——先挖 rollout 自身的信息再考虑加模型。 推广场景：日志中的时间戳间隔是现成的性能信号；用户操作序列的长度本身是 engagement 指标；代码 diff 的规模是复杂度代理。

3. 条件排序天然归一化异构分布 论文证据：不同任务步数分布差异巨大，组内条件排序避免绝对阈值调参。 推广场景：跨部门评分按部门内相对位置；不同难度考试的 percentile 而非原始分；A/B 测试按分层内相对提升汇报。

4. 两级粒度的效率偏好优于单一偏好 论文证据：轨迹级（少绕路）与轮级（不啰嗦）分层——单一偏好会与另一维度冲突。 推广场景：写作的字数控制分文档级与段落级；系统延迟优化分请求级与阶段级；减肥的卡路里控制分日总量与单餐。