Agentic ESOpt: Fine-Tuning Long-Horizon LLM Agents with Minimal GPU Memory Requirements 精读

论文链接：Agentic ESOpt: Fine-Tuning Long-Horizon LLM Agents with Minimal GPU Memory Requirements 代码仓库：zz1358m/Agentic-ESOpt 发表时间：2026年8月 机构：新加坡国立大学 + 南方科技大学 + 牛津大学 领域标签：cs.LG / agent 微调优化

机构合作说明：三校纯学术合作。NUS 的 Zhi Zheng 与 Wee Sun Lee、南方科大团队、牛津的 Yee Whye Teh（深度学习推断理论领域权威）联合——理论分析（估计器方差 scaling 论证）与实验验证并重。

一、论文背景

什么是 agent 微调？ 通用 LLM 在特定任务上（冷门工具 API、专业算法任务）表现不佳时，需要把任务专业能力"训练进"模型。两条主要路线：prompt 空间优化（冻结模型，只改指令/技能文本——轻量但只能激发已有能力）与参数微调（SFT 需要专家标签；RL 只需环境奖励信号）。

RL 微调 agent 的两大痛点。痛点一：显存与算力。PPO/GRPO 需要存储激活值、优化器状态并沿整个多轮轨迹反传——27B 模型的全参 RL 在 4 张 H100 上不可行（论文中 Qwen3.5-27B 推理就要 51.75GB）。痛点二：长程功劳分配。agent 任务奖励稀疏（通常只有终局成败），把一个标量结果分配回几十上百个具体决策，PPO 的 critic 在稀疏终端奖励下学不出可靠价值信号，GRPO 的组相对优势在多轮场景覆盖不足。

什么是进化策略（ES）？ 想象你在一座山上蒙着眼找峰顶：RL 是"每走一步都精确计算这一步的坡度贡献"（需要反传），ES 是"同时朝随机方向迈一小步试一脚，走高的方向多走点、走低的方向退回来"。形式化地：对参数 θ 加高斯扰动 σϵ，用扰动后收益 J(θ+σϵ) 加权扰动方向本身，得到平滑目标的伪梯度 ∇J_σ(θ) = E[J(θ+σϵ)ϵ]/σ。2017 年 OpenAI（Salimans et al.）就证明 ES 可并行扩展至 RL 级任务，但单轮推理任务上 ES 一直"更省但略弱"。本文的立场是：这个"略弱"在长程 agent 场景会反转为"更强"——因为两类估计器的方差结构随 horizon 的增长方式根本不同。

二、论文定位和关联工作

定位结论：本文站在"ES 复兴"与"agent RL"两条线的交点上，贡献不是发明 ES，而是（1）识别出 agent 长程性恰好落在 ES 的结构性优势区，（2）给出覆盖训练时+测试时的完整框架（含 σ 余弦退火与 prompt-参数协同），（3）用受控 Sudoku 实验把"何时 ES 更好"变成可预测的 crossover 现象。

三、问题定义

具体场景：长程 agent 任务（H 可到 15+ 轮的 Sudoku、>10 轮的 ReAct 工具使用、浏览器任务）上微调 4B-27B 模型，奖励只有终局信号。

核心洞察：两类估计器对同一个标量结果的"记账方式"不同。RL 策略梯度把终端回报归因到每一步动作分数上再求和：∇PG = (R-b)·Σ_t ∇log π(a_t|s_t)；ES 把整个轨迹的回报归因到一个参数扰动上：∇ES = (R(θ+σϵ)-b)·ϵ/σ。前者的方差随求和项数 H 近线性增长（在弱相关假设下），后者的参数分数项不随 H 求和。

形式化问题：给定目标 J(θ;c) = E_{τ~π_θ}[R(τ)]，在高斯平滑目标 J_σ(θ;c) 上，用 G 个扰动样本的归一化奖励加权更新 θ_{t+1} = θ_t + (α/G)Σ R̂_i ϵ_i，并设计 σ 的调度以平衡探索（大 σ）与目标偏差（小 σ）。

精妙之处：这个问题定义把"选 RL 还是选 ES"从口味之争变成horizon 的函数——存在一个 crossover 点，越过它 ES 的方差优势压倒其采样效率劣势。

四、问题解法

4.1 免反传全参更新的实现

只存储每个扰动的随机种子（不存储完整扰动向量），推理时用原地加减恢复扰动参数——显存需求与纯推理完全一致。奖励做组内 z-score 归一化降方差，省略显式 1/σ 因子（α 吸收为有效步长）。

4.2 σ 余弦退火：探索-适应的显式管理

理论依据（Lemma 1）：高斯平滑引入的偏差主项是 (σ²/2)Tr(∇²J)——对最大化目标这相当于惩罚尖锐局部最优、偏爱平坦邻域的正则项。于是 σ 大=强探索+强正则+大偏差，σ 小=深耕+低偏差。调度：σ_t = σ_T + (σ_0-σ_T)(1+cos(πt/T))/2。训练时保留非零 σ_T（正则换泛化）；测试时衰减到 0（只要当前任务的无偏结果）。消融显示：去掉退火（固定 σ）的 Vanilla ES 在长训练后期被锁死在局部最优（H*=15 时 42.71% vs 完整版 53.13%）；σ_T=0 则过拟合（28.13%）。

4.3 Prompt-参数协同进化

黑盒接口的副产品：同一批 rollout 轨迹既能喂给 ES 参数更新（U_ES），也能喂给 prompt 空间优化器如 Trace2Skill/EoH（U_c），形成交替外环 θ_{t+1}=U_ES(θ_t;c_t,D_t), c_{t+1}=U_c(c_t;D_t)。这解决了纯 prompt 优化的天花板：冻结模型的搜索只能在已有行为分布内重组合，参数更新能拓展分布本身。

4.4 WebArena 27B 全参适配

27B 模型 RL 不可行、ES 可行的对比实验：G=8 种群、任务成功率为奖励，No Skill 基线 29.47%→36.16%。

五、评估指标与实验证据

受控 Sudoku（核心实验）：通过遮挡格数直接控制最短成功 horizon H*∈{5,10,15}。结果呈现教科书级的 crossover：H*=5 时 PPO 领先（90.63% vs ESOpt 89.58%）、H*=10 时 GRPO 领先（67.71% vs 62.50%）、H*=15 时 ESOpt 称雄（53.13% vs GRPO 40.63%，+12.5pp，PPO 崩溃至 0%）。这个"排序反转"比全面胜利更有信息量——它与方差随 H 增长的理论预测一致，排除了"ESOpt 只是更强的优化器"的混淆解释。

Math/DocVQA（ReAct 工具使用）：Qwen3.5-4B 上 ESOpt 较 base 平均 +13.7%、较 Agentic GRPO +8.3%；DAPO Mean@4 63.0→76.8、AIME 2026 Mean@4 55.8→70.8；且所有 Pass@K 指标全面超过配对 GRPO——平均性能提升不以牺牲覆盖广度为代价。

WebArena-Lite（27B 全参可行性）：29.47%→36.16%（+6.69）；与 Trace2Skill 组合 33.94%→36.36%。注意 Reddit 站点微降（-1.58）——诚实呈现了非全面碾压。

效率：显存 8.41GB vs GRPO 58.88GB（-85.7%）；虽然种群 G=32 大于 GRPO 的 8 rollouts，但省掉参考模型与反传后 FLOPs 相当（Sudoku H*=15：9.4 vs 10.9 EFLOPs），实测墙钟时间近半（9.4h vs 19.0h）。

为什么实验设计有证明力：Sudoku 把 H* 变成实验者直接控制的变量——这在该领域极少见，大多数"长程"任务的 horizon 是不可控的混合分布；三组 H* 下的排序反转 + 匹配 FLOPs 的对照，构成了"ES 优势随 horizon 增长"这一因果主张的强证据。

六、效果优势的根源解释

对比对象：Agentic GRPO（最强配置）与 Agentic PPO。

根本局限：GRPO 的组相对优势解决"没有价值模型"的问题，但把整条轨迹当一个记账单元，无法区分迂回与高效；PPO 的 critic 在稀疏终端奖励下需要 warm-up 且早期优势不可靠；更根本的是，两者的策略梯度都包含对 H 个动作分数项的求和——每多一轮交互，“这个终端结果该归功/归罪于哪一步"的不确定性就累加一分，方差随 H 近线性增长。H*=15 时 PPO 归零、GRPO 提升缓慢正是这一瓶颈的表现（GRPO 轨迹长度顶到 45 轮上限，ESOpt 稳定在 15.41 轮——模型学会了不浪费步数）。

本文的根本性改变：ES 把归因单元从"每步动作"换成"整个参数扰动方向”——终端结果直接指向一个连贯的策略变体，没有跨 horizon 的责任分摊问题。因果链：估计器结构无 H 求和项 → 长程下方差优势超过其种群开销 → H*=15 时 +12.5pp；同时免反传 → 显存=推理级 → 27B 全参适配可行（RL 在同硬件上不可行）。

σ 调度的贡献：平滑偏差的二阶项 = 平坦性正则。去掉它（Vanilla ES）后期锁死局部最优（39.58%@step60 → 53.13%@step100 的后期爬升消失）；σ_T=0 过拟合。两个消融方向从两侧夹出"退火但保留非零终值"的必要性。

如实说明：ES 在 H*=5 时不占优——短程下 RL 的样本效率优势仍在；ES 也需要更多环境评估次数（G=32），在环境昂贵的场景这是真实成本。

七、必要知识反推

领域知识层：多轮 agent 任务的 POMDP 建模与稀疏奖励结构；ReAct 交互范式与 WebArena 浏览器观测/动作空间；Qwen3.5 模型族的推理配置（temperature/top-p 推荐值影响实验公平性）。

方法论知识层：OpenAI ES（Salimans 2017）的伪梯度推导与其第 3.1 节的方差分析——本文的 scaling 论证直接继承于此；高斯平滑理论的二阶偏差展开（Lemma 1 的 Tr(∇²J) 正则化解释）；GRPO/PPO 的优势估计语义；prompt 空间优化代表工作（Trace2Skill、EoH）的接口。

工程知识层：噪声种子存储+原地加减的省显存技巧（Qiu et al. 2026）；4×H100 上 vLLM 推理部署；Sudoku 环境的可控 horizon 设计（最少成功步数由遮挡格数严格定义）。

知识融合的关键节点：最有创造性的一步是把 Salimans 的方差分析从"单轮 RL 任务"迁移到"多轮 agent 微调"并识别出 crossover 的存在条件——需要同时理解 ES 估计器的数学结构与 agent 任务 horizon 分布的人才能预判"反转点在 H*≈10-15 之间"。第二个节点是把平滑偏差的二阶项重新解读为"平坦性正则"，从而用同一套数学既解释探索也解释泛化，并据此设计训练/测试两种不同的 σ_T 策略。

八、论文中可以提取的通用性灵感

1. 归因粒度应与反馈粒度匹配 论文证据：终局标量奖励下，按"参数扰动"整体归因（ES）优于按"逐步动作"归因（RL）；反馈只有一个比特级别时，细粒度归因只累加噪声。 推广场景：团队绩效评估中只有项目成败信号时，按"整个尝试方向"复盘比逐个决策追责更可靠；在线广告只有转化信号时，按创意变体而非单次曝光归因；教育中只有期末成绩时，评估"学习方法组合"而非单节课。

2. 同一理论量可以同时解释探索与正则化 论文证据：σ²/2·Tr(∇²J) 既是平滑偏差（要压小）也是平坦最优偏好（要保留）——σ 调度就是在管理这个双面性。 推广场景：模拟退火的温度；贝叶斯先验的强度（强先验既约束探索也防过拟合）；dropout 率（正则 vs 表达能力）。

3. 测试时也可以更新参数（test-time compute 的新维度） 论文证据：σ_T 衰减到 0 的测试时版本在 36 组启发式设计对比中 28 组胜出——参数空间适配可以嵌入测试时搜索循环。 推广场景：硬件在环的控制器现场微调；推荐系统会话内的实时个性化；机器人部署后的现场校准——凡"部署分布 ≠ 训练分布"且反馈便宜处皆可用。

4. 显存壁垒的改变会重新划分方法版图 论文证据：ES 的推理级显存让 27B 全参微调在 4×H100 上从不可行变可行——不是 ES 变强了，是约束面变了。 推广场景：边缘设备上的本地适配；学术实验室用消费级 GPU 做大模型研究；任何"资源约束决定了方法论选择"的领域都应定期重新评估：约束还成立吗？

5. 用可控变量的实验暴露"交叉点"而非只比"终点" 论文证据：H*∈{5,10,15} 的受控扫描揭示方法排序反转——若只测一个 horizon 会得出完全相反的结论。 推广场景：算法选型要扫描问题规模而非单点对比；缓存策略在小/大数据集上的优劣反转；组织管理方式在团队规模扩张后的失效点研究。