ContextPilot: Teaching Agents for Proactive Context Management via Fine-grained RL —— 精读

论文链接：https://arxiv.org/abs/2608.28476

项目主页：https://tencent.github.io/ContextPilot

代码仓库：https://github.com/Tencent/ContextPilot

模型权重：https://huggingface.co/collections/panzs19/contextpilot

发表时间：2026 年 8 月 28 日（arXiv:2608.28476v1）

机构：清华大学、腾讯优图实验室、上海AI Lab——典型企业+高校合作，一作 Zhuoshi Pan（清华，兼腾讯）、Qizhi Pei（上海AI Lab）为共同一作，通讯作者 H. Vicky Zhao（清华）、Xing Sun（腾讯优图）

领域标签：cs.CL，长上下文智能体 / 强化学习后训练

一、论文背景

1.1 长时程任务中的上下文增长问题

像 ReAct 这样的主流智能体范式按部就班地把每一步的推理、工具调用与工具返回都追加进上下文。这在几轮交互内没问题，但长时程任务（长文档问答、深度搜索）需要几十轮迭代检索与整合分散信息，上下文随之单调膨胀。类比一个不断往桌面堆文件的知识工作者：每份文件都有用，但堆到某个程度后找东西的效率反而下降——对 LLM 而言，上下文过长带来注意力稀释、成本上涨与『迷失中间』效应。

1.2 从被动管理到主动管理

处理上下文增长有两条路线。被动管理：预设规则在超长时触发截断或摘要——模型是规则管理的接受者，无法自己决定何时、如何整理。主动管理：近期的 MemGPT、StateLM、Sculptor、AgentFold 等工作给模型配备上下文编辑工具（搜索、删除、摘要、折叠），让模型像管理自己书桌一样自发管理上下文。这是本文所在的方向。

1.3 主动管理范式的三个现存缺陷

论文指出主动管理仍面临三关：

• 工具集贫乏：搜索/删除/摘要覆盖不了长时程任务的真实需求——跨碎片建立长期记忆、维护结构化的实体—事件关联、行动前做全局规划，这些都缺工具支撑；
• 探索低效：上下文编辑动作会大幅覆写交互历史，对后续步骤影响远超普通工具调用，但现有 RL 训练对所有决策一视同仁地均匀采样探索预算；
• 信用分配粗粒度：最终轨迹级奖励被平摊给所有中间编辑动作，无法区分『哪次删除救了任务、哪次摘要毁了证据』。

论文的先导实验把后两点量化得很直观：从不同工具调用处分支采样 10 条延续轨迹，各工具分支的最终成功率标准差差异悬殊（finish 0.74 vs deleteContext 2.79）；同时存在『答对但管理糟糕、答错却管理合理』的案例错配。这两组证据共同说明：上下文编辑动作需要差异化的探索与更精细的信用分配。

二、论文定位和关联工作

2.1 相关研究谱系

谱系一：被动上下文管理。训练无关的方法（MemoChat、SECOM 等靠固定工作流或外部模块做摘要压缩）与纳入 RL 训练的方法（FoldAct、SUPO 把上下文折叠与训练联合）都在缩短上下文，但模型始终是被动的规则接受者。与 ContextPilot 的区别：本文的模型自己决定何时动用哪个工具。

谱系二：智能体主动上下文管理。MemGPT 把记忆当虚拟内存管理（早期框架）；Agentic Memory 与 A-MEM 提供记忆编辑工具训练智能体自主管理记忆；StateLM（Pensieve 范式）、Sculptor、MemAct 提供碎片化/搜索/摘要/删除工具并微调模型学会使用；AgentFold 用 SFT 学习多尺度折叠操作。ContextPilot 直接构建于 StateLM 的基础工具集之上，两大差异：工具侧扩展规划/长期记忆/软卸载；训练侧首次为上下文管理量身定制 RL 算法。

谱系三：记忆系统研究。Mem0、A-MEM 等研究为智能体构建可扩展长期记忆；结构化情景事件记忆工作维护实体—事件片段。这些为 memorize 工具的设计（实体/时间戳/事件片段+关联边）提供了知识来源。

谱系四：RL 训练技术。ARPO 提出用熵识别关键状态做部分回放——ContextPilot 的 partial rollout 直接受其启发并扩展为『上下文变化+熵变化』双信号；SALT 研究长时程智能体的步级优势分配。ContextPilot 的差异在于信用分配建立在轨迹快照（trajectory snapshot）结构上而非通用步级。

2.2 定位总结

定位结论：ContextPilot 是首个把『工具设计』与『RL 训练算法』同时针对上下文管理特性定制的框架，并首次把主动上下文管理的评测从长上下文 QA 扩展到深度搜索。

三、问题定义

3.1 从具体场景到抽象问题

具体场景：模型在长时程任务中边检索边整理自己的上下文，需要在合适的时机用合适的工具改写工作记忆，最终答对问题且保持上下文紧凑。

深层洞察在于把上下文管理类比为操作系统的内存管理：上下文是内存，工具是系统调用（换页、压缩、外存交换），而训练要解决的是让『调度策略』学会在正确的时刻做正确操作。进一步，RL 训练面临的本质困难可以抽象为一个估计问题：中间某个编辑动作的价值（它导致的上下文状态的续跑期望回报）应该怎么估计才方差最小？

3.2 形式化定义

在 ReAct 基础上扩展：第 i 步模型基于上下文 c_i 生成思考与工具调用，上下文管理动作 a_i^cm ∈ A_cm 触发上下文转移函数 c_{i+1} = F(c_i, a_i^cm) ⊕ (t_i, a_i, o_i)。上下文编辑动作 A_ce ⊆ A_cm（卸载、写记忆、更新记忆类）会改写历史消息，因此轨迹在每次编辑处切分为 M+1 个轨迹快照——每个快照是独立训练实例，配合 token 级损失掩码避免重复优化。

给定：扩展工具集、任务查询集、快照切分机制；求：策略 π_θ 最大化任务回报同时保持上下文紧凑；约束：每查询 N=128 个快照的采样预算、GRPO 组内相对优势估计。

3.3 抽象的精妙之处

快照机制把『会改写历史的动作』变成『树的分叉点』——一次编辑之后的世界与之前不连续，正好用树结构描述。一旦轨迹变成树，两个自然推论随之而来：探索预算应该在分叉点间不均匀分配（高影响分叉多采几支），动作价值应该用穿过该分叉的所有分支均值估计（而非单条轨迹的回报）。论文的两个核心算法正是这两个推论的实现，而附录 A 的方差分析（Var = σ²/n_S < σ²）说明这不是工程技巧而是统计上的严格改进。

四、问题解法

4.1 工具集设计：从『删与摘要』到完整管理栈

ContextPilot 在 StateLM 基础工具上扩展出 15 个工具、四大类：

类比：deleteContext 像扔文件，summarizeContext 像写便签替换原稿，compressContext 像无损打包，而 foldHistory 像把整桌文件归档进带检索目录的档案柜——不是丢失而是按需取回，所以叫软卸载。上下文卸载、写记忆、更新记忆被定义为上下文编辑工具，轨迹在这些操作处切快照。

4.2 SFT 数据合成：带脚手架的教师蒸馏

教师是 Qwen3.5-397B-A17B（thinking 模式）。关键设计是上下文管理 harness 作为生成期脚手架：按当前状态动态只暴露前置条件满足的工具（记忆未写时禁用 readMemory、未搜索前扣住 readChunk），教师参数错误时返回定向提示重试，最终轨迹剔除全部提示与失败中间调用。类比驾校教练的车内指导——学车时在场，考试（SFT 数据）时不许跟车。三段过滤：结果过滤（含两次重试机会的精确匹配）、GPT-OSS-120B 过程过滤（剔除管理不当行为）、峰值上下文 ≤32K 过滤——3,196 题最终保留 3,068 条合格轨迹、切出 51,469 个快照。

4.3 RL 训练：两大核心机制

机制一：Context-Aware Partial Rollout（上下文感知部分回放）。类似 ARPO 用熵找关键状态，但上下文编辑的特殊性在于它直接改变状态本身，因此敏感度分数综合两个信号：

• 上下文变化率 ΔC_t^cm = |len(c_{t+1}) - len(c_t)| / len(c_t)——编辑的物理幅度；
• 熵变化 ΔH_t^cm = H_t^cm - H_initial——观察后 k 个生成 token 的平均熵相对轨迹初始熵的偏移（用初始熵而非上一步熵做基准，是为了捕捉相对初始查询状态的不确定性变化而非相邻步的局部波动）。

敏感度 S = α·ΔC + β·ΔH（实验取 α=β=1）。预算分配：每查询 N=128 快照，先做 8 条轨迹级回放、切成至多 64 个快照，剩余预算按 S 降序选出 top 动作作为分支点，从其父节点采样额外子轨迹。探索预算从均匀分配变成按影响力分配。

机制二：细粒度信用分配。终局快照奖励 = 结果奖励 + 格式奖励 + 惩罚项（无效调用如未建记忆就 readMemory、超长违规）。中间快照 S_i 的奖励是所有以其为前缀的终局轨迹的平均回报：

R(S_i) = (1/|T(S_i)|) Σ_{T∈T(S_i)} R(T)

随后同查询下所有快照组成 GRPO 组做组内标准化优势、以快照为独立样本优化。部分回放恰好增大了高敏感动作的 n_S（穿过它的分支数），两个机制形成协同：前者造样本，后者用样本。理论上（附录 A）：两个估计器都无偏，但轨迹级方差 σ²，本文方差 σ²/n_S——n_S>1 时严格更小。

4.4 全景：训练与推理配置

SFT 用 ZeRO-3、批 128、lr 5e-6；RL 训 128 步、KL 系数 0.001；输入上限 30K、输出 2K；推理温度 0.7、top-p 0.8；预算 60 轮（长上下文 QA）/60 次调用（深搜）。

五、评估指标与实验证据

5.1 指标体系与数据集

• 主指标：各基准准确率（NovelQA/∞Bench 用精确匹配多选；LongMemEval-S、BrowseComp+、深搜各基准用 LLM-as-a-Judge，GPT-OSS-120B 裁判）；
• 辅助指标：每轮平均输入 token（上下文紧凑度，取 ≥15 轮的轨迹）；
• 消融指标：工具类别逐项累加、RL 各组件逐项累加、RL 过程中工具分布与失败率演化。

长上下文 QA 在 NovelQA（Copyright）、∞Bench（En.MC）、LongMemEval-S、BrowseComp+ 四基准评测；深搜在 GAIA（text-only 103 题）、BrowseComp、BrowseComp-ZH、xBench-DeepSearch 评测。基座覆盖 Qwen3-8B/14B、Gemma4-E4B（长上下文）与 WebSailor-7B、WebExplorer-8B（深搜，已有搜索能力故跳过 SFT 直接 RL）。

5.2 主结果一：长上下文 QA

三个要点：(1) 8B-RL 平均 69.40 比 StateLM-8B-RL 的 65.85 高 3.55，14B 版超 2.09；(2) 只给工具不训练反而崩溃（27.61 vs 45.93）——工具使用是学出来的能力；(3) 32K 窗口 + 主动管理超过 128K 原生长上下文基座。Gemma4-E4B 上同样成立（60.96 vs 不训练 23.55）。

5.3 主结果二：深度搜索

两个骨干上平均分别超最强基线（SUPO）1.51+2.18 点。注意深搜版未做 SFT——纯 RL 训练即可让已有搜索能力的模型学会上下文管理。

5.4 token 效率：最直观的证据

BrowseComp 上 WebExplorer-8B 每轮输入线性增长至约 30K，ContextPilot-8B 稳定在 8K–10K——上下文不再随轮数膨胀，而是被管理成一条准平稳的带（BrowseComp-ZH 同样形态）。这是『更紧凑上下文』主张的直接可视化证明。

5.5 RL 过程分析

• 工具分布重塑：训练初期信息检索约占一半调用，随训练推进检索占比下降、规划/感知、长期记忆、卸载工具占比上升——模型从朴素检索转向协调管理；
• 失败率协同下降：早期记忆与卸载类工具失败率显著高于检索（SFT 模型会用但不真懂），随 RL 训练大幅下降，任务成功率同步上升——RL 同时改善了『用不用』与『用得对不对』。

5.6 消融：各组件贡献

工具侧（Qwen3.5-397B 逐项累加）：原工具 77.89 → +规划 80.29 → +软卸载 83.08 → +长期记忆 87.16；BrowseComp+ 上从 63.49 涨到 80.96（+17.47），任务越长工具收益越大。

训练侧（Qwen3-8B）：SFT 65.78 → GRPO 66.84 → +熵部分回放 66.84（不稳，BC+ 反降 1.32）→ +上下文感知部分回放 67.37 → +细粒度信用分配 69.40（四基准全升，BC+ +3.10）。两个关键结论：熵单独作分支信号不够（上下文编辑的影响主要体现在状态变化而非输出熵）；细粒度信用分配在全部基准一致提升，是最大的单项贡献。Gemma4-E4B 上趋势复现（54.74→60.96）。

5.7 指标如何证明论点

论文的论点是『工具要够 + 训练要为上下文管理定制』。证明链：(1) 只给工具不训练 → 崩溃，说明训练必要；(2) 工具逐项累加单调升 → 说明每类工具都必要；(3) RL 组件逐项累加、且细粒度信用分配全面正向 → 说明定制算法必要；(4) token 曲线平稳在 8-10K → 紧凑性主张成立；(5) 跨 5 个基座、2 大任务域一致 → 泛化性成立。每条主张都有对应实验，没有依赖单一好看数字。

六、效果优势的根源解释

6.1 为什么工具扩展有效（尤其长期记忆 +17.47）

对比对象：StateLM 类基础工具集（搜索/删除/摘要）。它为什么曾经有效——短上下文 QA 里信息局部性强，删掉冗余块、摘要旧历史已足够保住关键信息。

根本局限：BrowseComp+ 类任务平均输入 552K token，证据散布在几十次检索之间且相互关联。删除是破坏性操作——删掉的原文不可恢复，摘要是有损投影，一旦后续问题需要被删细节就永久丢失。这不是『做得不够好』而是信息论上的不可逆瓶颈。

本文的改变：软卸载（foldHistory 保留关键字可检索索引）+ 长期记忆（memorize 提取实体—事件—时间戳并建关联边）把『丢弃』变成『转移存储位置』——信息从活跃上下文移到外部，需要时按需取回。信息流从单向衰减变成循环流动（活跃上下文 ⇄ 外部存储），552K 输入的任务才能在 32K 窗口内完成。消融中 BrowseComp+ 增益最大（+17.47）而 NovelQA 增益较小（88.90→91.94），正是因为前者任务越长、信息越分散、对不可逆操作的脆弱性越高——工具收益与任务的信息结构精确对应。

6.2 为什么细粒度信用分配有效（四基准一致提升）

对比对象：轨迹级信用分配（把终局奖励平摊给所有快照）。它为什么曾经可行——普通工具轨迹中各步贡献相对均匀，单条轨迹回报是无偏估计。

根本局限（论文图 2/图 3 的证据）：上下文编辑动作的分支方差悬殊（0.74–2.79），且终局对错与管理质量错配（答对的轨迹可能靠反复重检索、管理糟糕；答错的轨迹管理可能合理）。用统计语言说：σ²(S) 很大时，单样本估计 R(T_1) 的方差就是 σ²(S)——同一条轨迹穿过多个快照，还把相关性引进了不同快照的估计。

本文的改变：穿过同一快照的所有分支取平均，方差降为 σ²/n_S；partial rollout 又专门增大高敏感动作的 n_S。因果链完整：分支采样 → 高影响动作获得更多后续样本 → 平均估计的方差按 1/n_S 收缩 → GRPO 组内优势信号更稳 → 梯度方向更准 → 一致提升。反事实检验：去掉细粒度信用分配（停在上下文感知部分回放）平均掉 2.03 点；去掉上下文感知（只用熵分支）在 BrowseComp+ 反降 1.32——熵信号识别不了『物理上大幅改写状态』的编辑，这正是上下文编辑区别于普通动作的本质特征，也是『上下文感知』这个定语的必要性证明。

6.3 为什么 RL 在更难任务上收益更大

NovelQA 仅 +1.32（SFT 数据已含其另一 split），BrowseComp+ +5.34。根源：SFT 只能模仿教师的固定管理策略，任务难度超出教师策略覆盖时泛化受限；RL 以结果为信号，可以在 552K 输入的极端压力下探索出 SFT 分布之外的管理模式。这也解释了深搜骨干跳过 SFT 直接 RL 仍能超越全管线基线——奖励信号比教师示范更适配极端状态空间。

6.4 为什么只给工具会崩溃（27.61 < 45.93）

不训练的模型面对 15 个工具的接口负担：无效参数（删除不存在的 msg_id）、前置条件违反（未建索引就搜索）、时机错误（该卸载时继续检索）。工具越多接口负担越重——这从反面证明工具丰富化必须与训练配套，二者是同一问题的两侧。

七、必要知识反推

7.1 领域知识层

• 智能体上下文演化机制：ReAct 范式中上下文如何单调增长、为什么编辑动作会破坏后续训练的对齐——不理解轨迹快照与损失掩码的必要性就无从谈起；
• 长上下文/深搜任务的信息结构：证据分散性、跨片段关联、多跳依赖——这是判断『需要什么工具』的领域依据；
• 记忆系统设计：实体—事件—时间戳结构、关联边、邻居检索——memorize/readMemory 的设计直接建立在这些知识上。

7.2 方法论知识层

• GRPO 与组内相对优势：本文优势计算的基础框架；
• ARPO 的熵驱动部分回放：partial rollout 的直接前身——知道它才知道该往哪里改造；
• 估计量方差分析：无偏性、条件方差、均值估计的 1/n 收缩——附录 A 的理论论证需要本科概率论水平；
• SFT 数据蒸馏与过滤管线：教师选择、脚手架设计、结果/过程/长度三段过滤——合成高质量示范的标准套路；
• LLMLingua-2 提示压缩：compressContext 工具的直接实现（一作本人的前作，知识血缘清晰）。

7.3 工程知识层

• verl 训练框架：SFT/RL 的实际实现载体；
• 快照切分与 token 级损失掩码的实现：训练稳定性全靠这个机制；
• 工具前置条件的运行时门控：harness 按状态动态暴露工具——SFT 脚手架与推理系统提示都依赖；
• LLM-as-a-Judge 评测：开放题判分的复现性控制（固定裁判模型与提示）。

7.4 知识融合的关键节点

• 洞察一（编辑动作 = 分叉点 = 估计机会）：把『上下文编辑会改写历史』这个麻烦（训练对齐困难）翻转为机会（快照天然构成树，支持分支采样与均值估计）——麻烦与算法来自同一个结构性质，这是全文最漂亮的转化；
• 洞察二（双信号敏感度）：把 ARPO 的熵信号与上下文长度变化率线性组合——前者捕捉模型不确定性、后者捕捉状态物理变化，二者互补覆盖了『影响大』的两张面孔，消融证明缺一不可；
• 洞察三（工具收益与任务结构对齐）：不是拍脑袋加工具，而是从长时程任务的信息结构（分散、关联、长期）反推工具类别（检索、记忆、软卸载）——所以消融里每类工具都在最需要它的基准上增益最大。

八、论文中可以提取的通用性灵感

灵感一：破坏性操作改软性——『转移而非丢弃』的信息管理原则

核心思想：对会增长的信息载体，把删除/覆盖类操作改造为可恢复的外置存储 + 按需检索，能同时获得紧凑性与信息保全。

论文证据：foldHistory 丢弃全部历史但建可检索索引，memorize 把细节提取为结构化记忆；软卸载+长期记忆合计把 BrowseComp+ 从 68（软卸载后）推到 80.96，远超只靠删除/摘要的基线。

推广场景：(1) 个人知识管理中的归档系统代替删除；(2) 数据库的冷热分层存储；(3) 浏览器/IDE 的标签页休眠与快速恢复；(4) 操作系统的 swap 机制；(5) 任何 agent 框架的工作记忆设计。

灵感二：方差缩减视角做信用分配——『多分支均值』优于『单轨迹平摊』

核心思想：当一个中间决策的影响方差很大时，用穿过它的多条后续路径的平均回报估计其价值，统计上严格优于把单条路径的结局平摊给它。

论文证据：理论上方差从 σ² 降到 σ²/n_S；实验上细粒度信用分配是最大单项贡献（四基准一致提升，BC+ +3.10）；对照ly，熵单信号分支不稳定（BC+ -1.32）。

推广场景：(1) 强化学习中状态值函数的蒙特卡洛估计；(2) A/B 测试中对中间环节的多路径归因；(3) 组织管理中按项目分支复盘而非按最终成败论功；(4) 临床试验中中间处置的多结局汇总评估；(5) 推荐系统中曝光决策的长期价值估计。

灵感三：探索预算按影响力分配——不均匀采样的普遍价值

核心思想：训练/搜索预算不该均匀撒在所有决策点上，而应按决策的影响力指标（状态变化幅度 + 不确定性变化）集中投放。

论文证据：上下文管理动作分支的成功率标准差相差近 4 倍（0.74 vs 2.79），partial rollout 把剩余预算全部给 top 敏感动作，配合信用分配共同带来最大增益。

推广场景:(1) 蒙特卡洛树搜索的选择策略；(2) 主动学习中的高不确定性样本优先标注；(3) 测试资源向高风险模块倾斜；(4) 安全审计聚焦高影响变更点；(5) 教育中针对薄弱环节的针对性练习。

灵感四：工具丰富化必须与训练配套——接口负担定律

核心思想：给模型/人增加工具而不训练使用能力，性能不升反降；工具的收益 = 功能收益 - 接口负担，训练是压低负担项的唯一途径。

论文证据：Qwen3-8B 带全套工具不训练平均 27.61，比无工具的 45.93 还低 18 点；SFT 后恢复到 65.78，RL 后 69.40。

推广场景:(1) 企业数字化中系统上线不培训导致效率下降；(2) 给 LLM 加更多 API 反而降低工具选择准确率的现象；(3) 消费电子产品功能膨胀与可用性下降；(4) 编程语言特性丰富度与学习曲线的权衡；(5) 团队协作中协作工具的采用成本。

灵感五：脚手架只在训练期存在——『教师指导不留痕』的蒸馏原则

核心思想：用规则化脚手架引导教师产出高质量示范，但脚手架本身从最终训练数据中剔除，让模型学到策略而非依赖拐杖。

论文证据：harness 动态门控工具暴露、定向重试提示，最终轨迹剔除全部提示与失败调用只保留成功尝试——51,469 个干净快照。

推广场景:(1) 教育中的逐步提示淡出；(2) 康复训练中的辅助器具渐进撤除；(3) 代码教学中从填空到独立实现的过渡；(4) RLHF 中奖励模型的课程式退火；(5) 任何 teacher-student 蒸馏管线的数据清洗原则。

灵感六：以压缩换能力——小窗口 + 管理可以打败大窗口

核心思想：与其追求更大的原生容器，不如给小容器配管理能力；被良好管理的小窗口能超过未被管理的大窗口。

论文证据：32K 窗口的 ContextPilot-8B-RL（69.40）大幅超过 128K 原生窗口的 Qwen3-8B（45.93），甚至超过 397B 大模型无工具版（80.55 vs 带全套工具的 87.16 也有距离）；每轮输入稳定 8-10K。

推广场景：(1) 边缘设备上的小模型 + 缓存管理替代云端大模型；(2) 小内存数据库 + 智能换页替代大内存堆硬件；(3) 精力管理中专注时段 + 外部笔记系统替代长时间连续工作；(4) 城市交通的小路网 + 智能调度 vs 大规模扩路；(5) 推理成本优化的通用思路——管理优于扩容。

附录：值得记录的实现细节

• 深搜版跳过 SFT：WebSailor/WebExplorer 已有搜索能力，纯 RL（1K OpenSeeker 样本）即可习得上下文管理——已有能力基座上 RL 的边际成本极低，这对工程落地很有参考价值；
• 裁判固定：LLM-as-a-Judge 全部用 GPT-OSS-120B + StateLM 的开放题判分提示，降低评测方差；
• 工具失败的定义边界：检索类返回空结果不算失败（查询与索引合法即可），只有环境侧错误（格式错、参数无效、前置条件违反）计入——失败率分析的语义清洁性由此保证；
• 作者知识血缘：一作 Zhuoshi Pan 是 LLMLingua-2 与 SECOM 的作者，压缩与记忆两条技术线在本文汇合——compressContext 用 LLMLingua-2、记忆设计承接 SECOM 的个性化记忆研究。