论文链接：PILOT in the Loop: Live Self-Improvement for Long-Horizon Agents (arXiv:2608.26530) 发表时间：2026年8月25日 机构：AllSpark Team（团队署名，论文未展开机构明细；代码开源于 GitHub） 领域标签：cs.AI，长程 Agent 自改进 / 监督架构 开源资源：github.com/XiaoYang66/Pilot

一、论文背景

1.1 长程任务与经验的两种价值

长程任务（long-horizon tasks） 指需要几十上百步连续决策、与环境持续交互的任务：驱动 shell 完成系统工程目标（Terminal-Bench 2.0）、修复多语言仓库级 issue（SWE-bench Multilingual/Pro）。这类任务的运行会产生宝贵经验：成功的尝试揭示可复用的程序，失败的尝试暴露该避开的失败模式。

1.2 现有自改进的共性盲区：都是事后的

当前主流的自改进路径——反思（Reflexion，批评已完成轨迹）、judge 评估（评判最终结果）、自演化 harness（从完成轨迹改 prompt/技能/记忆）——全都在 run 结束后才开始。这带来两个结构性损失：① 当前这次运行已经无法挽回——错误策略跑到底才知道错；② 新提炼的知识无法立即在同一段执行上被应用与验证，只能等下一次 rollout。一个类比：这就像教练只能在赛后复盘，比赛进行中永远换不了人。

1.3 想要 live，但现有架构撑不住

把自改进搬进运行中有两个候选架构，但各有硬伤：

• 单 Agent 自纠错：同一个 Agent 既执行任务又诊断自己的错误，而执行细节（工具调用、中间输出、死胡同）塞满了它的上下文——诊断所需的注意力被挤占（注意力分裂）。
• 子 Agent 委派：主 Agent 把任务派给子 Agent，但只能在子 Agent 跑完后拿到最终摘要——监督是事后的，无法在子 Agent 运行中重定向。

于是论文提出 live self-improvement：用运行中涌现的经验同时重定向当前 run 和更新持久 harness。

二、论文定位和关联工作

2.1 相关工作图谱

2.2 定位结论

PILOT 的贡献是把「监督独立于执行」与「监督与 run 同刻」两个此前互斥的性质同时实现：supervisor-worker 双向通道是对现有 subagent 模式（只回传摘要）的直接修正。评测协议（无基准反馈、验证器只决定保留）也专门防了「偷看测试」的作弊路径。

三、问题定义

设定：长程任务 $\tau$ 在环境 $E$ 中单 episode 尝试。模型参数 $\theta$ 冻结；持久 harness $H$ 包含技能库 $K$ 与记忆 $M$，跨 episode 存续。「自改进」指 $H$ 的演化而非 $\theta$ 的更新。

问题：设计一个闭环，使得：(1) 监督者可以在工作者执行中基于活证据重定向或中止当前 run（live steering）；(2) 监督者可以在执行中把可复用程序、项目惯例、失败模式蒸馏进 $K$ 或 $M$，更新后的 harness 立即被同 episode 或后续 episode 的新 worker 加载（live self-evolution）。

约束（评测诚实性）：任务运行中不得接收任何基准评估信号或奖励；候选更新必须在验证器结果可知之前基于活轨迹与环境反馈产生，验证器只决定哪些更新进入下一迭代。

四、问题解法

4.1 角色与上下文隔离

监督者（supervisor）是独立 Agent 会话，可并发或接续地 spawn 多个工作者（worker）$W_j \leftarrow \mathrm{SPAWN}(\theta, \tau_j, H)$。每个 worker 加载当前 harness $H$，在隔离上下文中执行——探索、死胡同、冗长工具输出留在 worker 自己的上下文里；监督者的独立上下文只保留目标、近期事件、偏航迹象，只在需要诊断时读取轨迹 $\xi_j$ 的相关片段。实现上 PILOT 扩展自 Pi coding-agent 运行时，supervisor 与 workers 是进程内独立会话，同一冻结模型分饰两角（隔离监督质量差距与任务能力差距）。

4.2 live steering：双向活通道

worker→supervisor 三类事件：通知（worker 自主汇报进度/中间结果/风险，汇报后继续执行）、提问（下一步需要监督输入时暂停等待回复）、结果（运行时自动投递最终结果与 worker 索引）。supervisor→worker 两个动作：Steer（活证据表明当前路线该变时，检查相关轨迹片段并为下一轮排队指导——当前轮先跑完）、Abort（继续该会话已无价值时中断）。

4.3 live self-evolution

监督者在活轨迹中识别出值得复用的程序或该避开的失败模式时，写入 $K$（技能）或 $M$（记忆），harness 从 $H$ 精化为 $H'$。更新之后 spawn 的每个 worker——无论同 episode 还是后续 episode——都加载 $H'$，新 worker 的轨迹再次暴露给监督与蒸馏，闭环。

4.4 两种评测设置

• 单次设置：每任务从全新 harness 状态出发，隔离检验 live steering 能否在运行中保住轨迹。
• 自改进设置：Terminal-Bench 2.0 全任务扫一遍为一轮迭代；第 $i$ 轮所有运行共享同一 harness 状态 $H_i$ 的隔离副本；运行中可以创建/修订技能与记忆（只用活轨迹与环境反馈）；全部跑完后验证器结果只决定哪些更新并入 $H_{i+1}$（成功 run 的更新保留、失败 run 的不保留）。每个被评 harness 收到相同的自改进指令。

五、评估指标与实验证据

5.1 单次设置：六个配置中五个第一

Terminal-Bench 2.0（89 任务，双 backbone，每配置跑两次取均值）：

领先最强单 Agent 基线 Pi 5.3 个点，最大领先 9.8pp；Hard 任务上双 backbone 均达 55.0%。SWE-bench Pro 均分 59.9 vs Pi 55.5（+4.4）；SWE-bench Multilingual 第二。三基准 × 双 backbone 共六个组合中五个第一。

5.2 自改进设置：+14.6pp 且越改越省

20 轮迭代中最佳观测通过率：GLM-5.1 从 66.3 → 80.9（+14.6pp，第 14 轮达峰）、Kimi-K2.6 从 68.5 → 80.9（+12.4pp）。对比（GLM）：PILOT +14.6 vs OpenCode +7.9 vs Pi +2.3。

配套的机制数据：

• 技能库跨迭代增长：GLM 62→83 个、Kimi 50→81 个。
• 增益集中在 Hard 任务：GLM 新增通过 Easy +2 / Medium +6 / Hard +8；Kimi +1/+7/+12。
• token 效率翻倍式改善：每任务平均输出 token GLM 28.5K→16.3K（-42.9%）、Kimi 41.9K→22.1K（-47.4%）；每百万输出 token 的成功评估 +110.3%/+134.0%。

5.3 live steering 归因：只在难任务上显灵

人工检查全部 supervisor-worker 轨迹，只有「监督者识别具体错误/停滞分支/无效策略并给出纠正方向、worker 或替代分支采纳、最终沿纠正路径成功」才计为 steering 贡献（干预后 PASS 不算，排除被忽略/过时/冗余的干预）。结果：Easy 任务 0%、Medium 1.1%/8.1%、Hard 6.1%/19.7%（GLM/Kimi）。Easy 任务在 worker 能力圈内不需要外部重定向；任务越难、执行链越长越脆，监督者可挽回的空间越大。

5.4 两个案例研究

• 策略级纠正（Kimi，CoreWars 任务）：worker 花 20 多分钟调 DAT-clear 变体、对多进程对手反复平局。监督者 Steer：「停止测试合成对手，彻底换策略……找已发表的 warrior 源码对实际五个对手测试。」worker 采纳，从公共 corewar-koth 仓库改造 Silk Warrior 1.3（轨迹无任何基准仓库访问），全部阈值通过。
• 实现级纠正（GLM，张量并行任务）：worker 在 RowParallelLinear 里把 bias 传进 F.linear 再 all_reduce——每 rank 重复加全量 bias。监督者指出：「bias 应在 all_reduce 之后加，不是之前。」worker 改为 F.linear(x, W, None) + all_reduce + 单次加 bias，最终 13 项验证器测试全过（world size 1/2/4 的前向与梯度）。

六、效果优势的根源解释

链条一：角色分离 → 监督注意力不被执行细节稀释 → 错误在可恢复窗口内被发现。单 Agent 自纠错的根本困难是诊断与执行共享上下文：几十步工具输出淹没了对「策略是否有效」的判断。PILOT 的 worker 上下文吸收执行细节与死胡同，supervisor 上下文只留目标/近期事件/偏航迹象——这正是能在 20 分钟调参无果时喊停的结构前提。指标对应：Hard 任务 6.1%/19.7% 的 steering 贡献率（Easy 为 0 说明这不是普遍干预的噪声，而是难任务的结构性收益）。

链条二：双向通道 → 监督与 run 同刻 → 纠偏作用于活轨迹而非下一次。现有 subagent 模式只回传最终摘要，监督者即使发现问题也无处发力。PILOT 的通知/提问让 worker 主动暴露风险点、Steer/Abort 让监督者即时介入——CoreWars 案例里 worker 还有预算可转向，等赛后复盘就只剩 0 分。单次设置 +5.3pp 均分是这条链的直接读数。

链条三：live 蒸馏 + 验证器门控 → 经验在同 episode 被验证 → 技能库复利。蒸馏出的程序立即被后续 worker 加载执行，等于每条新知识当场获得一次真实检验；验证器只做保留决策（运行中零反馈），防止向基准特化。20 轮 +14.6/+12.4pp、技能库净增 21/31 个是复利的读数；token -43%/-47% 说明积累的知识确实减少了重复推理与探索（后面任务直接复用既定程序）。

链条四：Hard 任务增益最大 → 与蒸馏内容的性质吻合。Hard 任务更依赖特定程序、恢复策略、工具使用模式——恰是 backbone 不能可靠现场重构、最适合沉淀为技能的知识类型。Easy/Medium/Hard 的新增通过数梯度（2/6/8 与 1/7/12）支持这条解释。

边界说明：同模型分饰两角是保守设置（监督质量受限于 backbone 能力上限）；迭代式自改进每轮重扫全基准，成本高昂，限制了基准与 backbone 覆盖面——作者自报为局限。

七、必要知识反推

7.1 领域知识层

• 长程 Agent 的实际失败形态：20 分钟调参不换道的策略僵化、bias 加错位置这类实现级错误、以及错误沿执行链复合的方式——没读过大量轨迹设计不出 Steer 的触发判据。
• 现有 harness 生态：Pi/OpenCode/Hermes/Terminus-2 的设计差异，以及 subagent 只回传摘要的接口约定——PILOT 的通道设计是对这个约定的针对性修正。
• 自演化 harness 谱系（ADAS/ACE/Self-Harness 等）：知道前人都在「事后」做文章，才能把「live」提炼成清晰的架构级区分。

7.2 方法论知识层

• 受控对比设计：冻结 backbone 换 harness 隔离 harness 效应；双 backbone 交叉验证；每配置两次运行取均值。
• 防作弊的评测协议设计：候选更新先于验证器结果产生、验证器只决定保留、运行中零基准反馈——这是自改进研究最难也最关键的方法学防线。
• 严格的归因标准：steering 贡献的人工判定要求「识别-采纳-沿纠正路径成功」三环齐全，排除事后 PASS 的假阳性。

7.3 工程知识层

• 进程内多会话架构：supervisor 与 workers 为独立 Agent 会话、共享运行时——双向通道的低延迟实现基础。
• 持久 harness 的序列化与加载：技能库/记忆跨迭代合并（$H_i \to H_{i+1}$）的版本管理。
• 长程任务的沙箱执行：每任务隔离容器、3 小时墙上钟上限、版本冲突任务的同规则排除。

八、论文中可以提取的通用性灵感

8.1 监督要独立于执行，也要同刻于执行（架构级）

核心思想：好的监督系统需要同时满足两个此前互斥的条件——监督者与执行者上下文隔离（防注意力分裂）、监督与执行同时发生（错误还在可恢复窗口内）。事后复盘与单 Agent 自省各缺一半。 论文证据：单次设置 +5.3pp 均分、Hard 任务 steering 贡献 19.7%（Kimi）；两个案例中监督纠正分别发生在 run 中途。 推广场景：① 人机协作的实时 code review（而非 PR 后评审）；② 工业流程的在线质检 vs 终检；③ 无人机/自动驾驶的地面站监控；④ 值班 SWE 对执行中 agent 的 on-call 模式。

8.2 把「救当前这局」和「让下局更好」做成一个闭环（机制级）

核心思想：纠正当前 run 与沉淀经验不应是两个分离的系统——纠正动作本身就是最好的经验来源，蒸馏出的知识当场被新 worker 验证。 论文证据：live steering 与 live self-evolution 共享同一条活轨迹流；20 轮 +14.6pp 且技能库净增 21 个。 推广场景：① 客服系统的实时纠偏 + 话术库沉淀；② 手术/飞行的 check-list 演化；③ 任何「教练在场边、赛后还留训练笔记」的组织设计。

8.3 验证器只做保留决策（评测方法学级）

核心思想：自改进系统的评测中，评估信号只能出现在「筛选」环节而不能出现在「生成」环节，否则改进的是对评估器的过拟合。 论文证据：运行中零基准反馈，更新先于验证结果产生，验证器只决定 $H_i \to H_{i+1}$ 的取舍。 推广场景：① 自进化/自我训练系统的评测协议设计；② RLHF 中奖励模型的防泄漏；③ 自动化超参搜索的数据隔离。

8.4 干预价值随任务难度分化（机制级）

核心思想：外部监督/护栏不是均匀洒胡椒面——能力圈内任务无需干预，脆弱长链任务才是干预的高价值区；应该按难度/风险自适应投放监督资源。 论文证据：steering 贡献 Easy 0% / Medium 1.1-8.1% / Hard 6.1-19.7%；Hard 新增通过 +8/+12。 推广场景：① 人工审核 AI 产出的分级抽检策略；② Agent 产品的升级人工兜底触发条件；③ 教育中的因材施教（对掌握者放手、对挣扎者介入）。

8.5 效率收益来自知识复用而非更强推理（成本级）

核心思想：自改进的隐性红利是 token 成本下降——后续任务直接复用既定程序，砍掉重复探索；「每 token 成功数」是比成功率更能反映经济性的指标。 论文证据：输出 token -42.9%/-47.4%，每百万 token 成功评估 +110.3%/+134.0%。 推广场景：① Agent 产品的单位成本核算；② 技能库/模板库的 ROI 评估；③ 组织流程标准化的收益量化。

8.6 同模型分饰监督与执行是可行起点（工程级）

核心思想：不必等「更强监督模型」——冻结的同一个模型在隔离上下文与不同角色 prompt 下就能形成有效的监督-执行分工；异构配对留作后续探索。 论文证据：GLM-5.1 与 Kimi-K2.6 各自同时担任 supervisor 与 worker，均在单次与自改进设置中获益。 推广场景：① 中小团队无预算上双模型时的多角色编排；② 同模型 self-play 类系统的设计参考。