论文一:CarryOn: Object-Based Continuation Carriers for Long-Horizon Agent Context(PackLight, CarryOn: Building Object-Oriented Context for Long-Horizon Agents) 论文二:BELIEFWEAVER: Persistent Belief Graphs and Implicit World Models for Failure Recovery(Failure Recovery via Belief Updates and World Modeling for Long-Horizon Agents) 论文三:Mosaic: Multi-Session Agentic RL with Hierarchical Advantage Shaping 发表时间:均为 2026 年 10 月 机构:论文一 UC San Diego;论文二 University of Maryland + Google + MBZUAI(三共同一作,其中 Shengxin Zhang 挂职 Google,属学界学生 + 企业合著模式);论文三 HKUST(GZ) LARK 实验室 + 华为基础模型实验室 + 香港城市大学 + HKUST(校企协同,华为侧 Haochen Tan 为项目负责人) 领域标签:cs.AI / cs.LG / cs.CL,Long-Horizon Agents、Context Management、Agentic RL

题目区:为什么把这三篇放在一起读

长时程 Agent(long-horizon agent)指需要连续执行数十到数百步、跨越小时级任务周期的智能体,例如操作整台电脑完成办公流程(OSWorld 2.0 的任务人类中位完成时间约 1.6 小时)、修复一个多文件工程缺陷、或在网络上完成深度检索。这三类任务有一个共同的隐含假设正在崩塌:Agent 的执行状态可以由交互历史(interaction history)承载。

三篇论文在同一个月份、从三个互补的层面宣判了这个假设的失效:

论文作用层面核心命题一句话结果
CarryOn推理时上下文运行时进度应组织在可复用任务对象上,而非产生它的历史叙述上OSWorld 2.0 partial 43.9→49.7,token 总量 -51.9%
BELIEFWEAVER推理时失败恢复控制器失败假设的证据应在 rollback 中存续并传播三个终端基准综合 Final +5.1pp,9B 学生 58.4 反超教师 53.7
Mosaic训练时 RL 算法优势估计必须对齐 compaction/forking 造成的多会话结构BrowseComp 38.86 vs 广播 35.31,平均 session 3.17→2.35

它们合起来构成一条完整的叙事链:历史既是冗余的(CarryOn)、又是易失的(BELIEFWEAVER)、还是训练信号错位的根源(Mosaic)。读任何一篇都只能看到局部,合读才能看到长时程 Agent 状态管理的全貌。

一、论文背景:长时程 Agent 的三重状态危机

要让初学者理解这三篇论文,需要先建立几个概念。

什么是长时程 Agent 的上下文(context)? LLM Agent 以 ReAct 式循环工作:模型生成动作(点击、输入命令、搜索),环境返回观测,观测追加进上下文,再触发下一步。上下文就是模型每一步能"看见"的全部信息。任务越长,历史越长——这是第一重危机:上下文膨胀。CarryOn 的实测显示,OSWorld 2.0 上基线 Agent 的输入上下文随轨迹增长最终突破 200K token,每一步都在为"图片已经插入 PPT"这句话重复付费。主流解法是压缩/摘要/剪枝(LLMLingua、MemGPT、ACON 等一族工作),或把历史翻译成结构化状态记录。但 CarryOn 指出其通病:摘要是对进度的一份选择性重构叙述,会与 Agent 直接检查、修改的真实任务状态漂移。

什么是失败恢复与回滚? 长轨迹中,早期错误会传播:错误假设污染后续所有推理,破坏性动作(覆盖文件、错误配置)难以用后续动作挽回。AgentRewind 这类工作给出运行时答案——记录 Agent 上下文与环境状态的对齐检查点(checkpoint),允许回滚(rollback)重试。但 BELIEFWEAVER 追问:回滚解决了"回到哪里",没解决"接下来试什么"。树搜索式回溯(branching/backtracking)假设失败原因在最近分支上,而长时程失败的原因往往在多个分支共享的更早决策里;一次失败尝试产生的证据,应该能改写其他相关假设的优先级——这是第二重危机:恢复中的证据流失。现有回滚要么丢掉失败记忆,要么只保留"发生了什么"而不回答"这暗示什么方向更值得试"。

什么是 Agentic RL 的单会话假设? 用强化学习训练 Agent(以 GRPO 为代表的免 critic、组相对优势方法)通常假设一条轨迹 = 一段连续累积的上下文 = 一个训练分段。但现代 Agent 推理技术已经打破了这个单位:上下文压缩(compaction)把历史改写成短前缀再继续,等于开启新会话;子智能体分叉(subagent forking)派生分支会话。Mosaic 指出这是训练与推理的结构性错配——这是第三重危机:训练信号错位。粗糙的广播(broadcasting)做法把轨迹级优势复制到所有会话的每个 token,不区分各会话贡献,随着会话数增长监督越来越失准。

三篇论文分别把这三重危机推到了同一个抽象面前:状态与历史必须解耦。

1.1 三篇论文的元信息与机构关系

  • CarryOn(arXiv:2610.18784v2,10 月 14 日更新):UC San Diego 三人小团队(Yuchen Lu、Julian McAuley、Lei Zhang,通讯作者 Lei Zhang),无企业合著,纯学界工作。有项目页(ethannju.github.io/carryon)但论文未附开源代码链接。
  • BELIEFWEAVER(arXiv:2610.18082v1,10 月 13 日提交):University of Maryland 三位共同一作(Xiyang Wu、Zhichao Liu 均为 UMD,Shengxin Zhang 挂 Google),加 MBZUAI 的 Tianyi Zhou 与 UMD 的 Dinesh Manocha 压阵。属于典型的学界主力 + 企业研究员个体参与模式:核心实验(蒸馏训练、终端基准)在学界完成,Google 侧贡献于世界模型相关视角。无公开代码。
  • Mosaic(arXiv:2610.22174v1,10 月 15 日提交):港科大(广州)LARK 实验室 + 华为基础模型实验室(Haochen Tan 任项目负责人)+ 香港城市大学 + 港科大清水湾。属校企联合培养模式:一作 Yilong Xu 等四位 LARK 学生主导方法与实验,华为侧提供项目领导与通信作者(Zhijiang Guo)。有 GitHub 项目页(lark-ai-lab.github.io/Mosaic/)。

三条时间线高度密集(10 月 13—15 日三天内相继挂出),且彼此未互引(投稿周期错开所致),说明"状态连续性"是各自独立收敛到的方向——这本身就是领域风向的证据。

二、论文定位和关联工作

三篇论文各自站在一条研究谱系的延长线上,定位可以用三张小谱系图说清。

CarryOn 的谱系:上下文管理 → 状态外化 → 对象化。

  • 压缩/剪枝系:LLMLingua(prompt 级压缩)、轨迹削减、冗余交互删除——只减负,不改变"历史是基础"的组织方式。
  • 摘要系:HiAgent、ReSum(周期性把交互替换为紧凑推理状态)、AgentFold 的折叠操作(把最新交互凝缩为状态摘要或多尺度合并)。
  • 状态外化系:MemGPT(上下文分页)、ACM(Agent 自主决定压缩并把丢弃内容卸载到外部记忆、按需取回)、Context-as-an-Environment(程序化上下文管理)。
  • CarryOn 的差异点:前述工作的延续基础仍是"压缩后的历史"或"外部维护的状态",CarryOn 第一次把可复用任务对象本身(文件、结论、应用内状态)作为延续的一等公民,并解决对象有效性随折叠演化的维护问题。AgentFold 是其直接参照系(同为 fold 术语,但 AgentFold 由模型逐 step 输出折叠指令并 SFT 训练,CarryOn 是模型无关的旁路运行时)。

BELIEFWEAVER 的谱系:反思 → 树搜索回溯 → 证据持久化。

  • 反思系:Reflexion、Self-Refine——失败后修改行为,但作用域是局部、当次的。
  • 树/递归系:Re-trac、HTR(持久假设树)、SciNav(解分支搜索)、AgentRewind(对齐检查点 + 回滚记忆)。
  • 世界模型系:RAP、WebDreamer(LLM 预测后果辅助规划)、WorldCoder(可执行世界模型)、Qwen-AgentWorld。
  • BELIEFWEAVER 的差异点:把"回滚后保留什么"从记忆问题升级为信念更新问题——不是记录失败,而是用因子化证据(重复尝试、精化关系、目标历史、探针反驳)持续修正每个修复假设的先验;且第一个把这套反复调用的推理角色蒸馏进 9B 学生。

Mosaic 的谱系:GRPO 系 Agentic RL → 过程奖励 → 多会话形式化。

  • 单会话系:GRPO 及大量变体,假设轨迹为单段。
  • 过程信号系:IGPO(turn 级信息增益奖励)、隐式步奖励——解决稀疏奖励但仍在单会话内。
  • 压缩训练系:CompactionRL(把压缩摘要作为可训练分段联合优化任务奖励)、AutoCompact(学会何时压缩)。
  • Mosaic 的差异点:第一个把"任意会话数"形式化为通用设定,并给出免 critic 的层级优势设计;其信息增益信号把 IGPO 的 turn 级搬到 session 级,且用按类型归一化解决了不同会话类型增益分布不可比的问题。

跨论文的互引与交汇证据。三篇的参考文献有明确的公共交集:CarryOn 与 BELIEFWEAVER 都引用了 context-folding(Scaling Long-Horizon LLM Agent via Context-Folding)与结构化记忆系工作;BELIEFWEAVER 引用 AgentRewind 作为恢复基础设施;Mosaic 引用 CompactionRL 作为压缩训练先例、并把 IGPO 纳入实验对照。此外三篇对"共同对手"的选择也透露定位:CarryOn 的对照组是摘要系(GS/CGS),BELIEFWEAVER 的对照组是原生续跑与树搜索式结构化续跑,Mosaic 的对照组是广播与单会话 GRPO——各自与谱系中最近的邻居比,而非与稻草人比,这让其实验更具证明力。

横向看,三篇论文还有互引关系:CarryOn 引用 AgentFold 与 context-folding;BELIEFWEAVER 引用 AgentRewind 与 context-folding;Mosaic 引用 CompactionRL 并以 IGPO 为 baseline——它们共同引用的"折叠/回滚"工作正是三重危机交汇处。

三、问题定义:把三篇论文抽象成一个问题

三个场景各不相同(编辑 PPT / 修终端任务 / RL 训练搜索 Agent),但抽象后是同一个结构性问题:

给定:一个执行预算有限的 Agent,其执行会被三类边界切断——折叠边界(历史被替换)、回滚边界(状态被还原)、会话边界(上下文被重写或分叉)。 求:一种状态表示 S 与更新算子 Update,使得跨边界后 Agent 仍能(a)无损获得已达成的进度,(b)利用跨边界积累的证据做更优决策,(c)(训练场景)学习信号能正确归因到各段贡献。 约束:状态维护本身的开销(token、API 成本、控制器调用)必须远小于其节省;表示必须与环境真实状态一致而非漂移的叙述。

一个帮助理解的类比:把 Agent 想成一家跨班次运转的工厂。第一重危机(CarryOn)是每班交接都把全部监控录像(历史)放给下一班看,而非交接"产线现状板"(状态);第二重危机(BELIEFWEAVER)是每次返工(rollback)都把上一班记录的"哪条路走不通"撕掉,返工班组只能盲试;第三重危机(Mosaic)是绩效考核(RL 奖励)只看整厂最终出货,把辅助工序(压缩、外包班组)与主工序混在一起计分,于是没人知道该优化哪一环。

三篇论文对这个抽象的实例化对偶关系:

抽象要素CarryOnBELIEFWEAVERMosaic
状态 S延续载体集合 + 执行上下文 + 活尾 V_t=(A_k, E_k, L_t)探索图 G_t=(V,R) + 证据 E + 信念 b_t会话级塑形信号(边际信息增益)+ 轨迹级优势
边界fold(折叠)rollback(回滚)session 切分(compaction/fork)
UpdateTracker/Grounder/Compiler 四阶段联合编译因子化信念更新 q_i ∝ φ0·∏ψ_a优势估计 Â_sat=(1−ρu)·Â_traj 加塑形
一致性保障证据绑定 + 只读环境检查 + 原子提交证据门控(consistent/insufficient/contradicted)方向保持门 + 全失败门

这个抽象的精妙之处在于:它把"记性好"(长上下文)问题转化为"状态维护"问题。一旦状态可以显式存续,上下文长度就不再是能力上限的硬约束,训练信号也不再被错误的分段稀释。反过来,如果这个抽象不成立(即历史确实无损承载了状态),三篇论文的收益都应当为零——而三组实验各自用对照(CarryOn 的 GS/SW 反降、BELIEFWEAVER 的 +WM 消融、Mosaic 的广播基线)证明了收益非零,等于从三个方向对抽象做了反事实验证。

四、问题解法:三套机制逐一拆解

在进入机制细节前先给一张总览:三套解法在"谁来维护状态"上的分工不同——CarryOn 是模型外旁路运行时(不改模型、不训练,挂在任意 Agent 旁边);BELIEFWEAVER 是模型内控制器(教师模型实时扮演四个推理角色,可蒸馏下沉);Mosaic 是模型上训练信号(状态维护行为本身被 RL 塑形)。这个分工也决定了三者的部署成本:CarryOn 即插即用但每任务付运行时 token;BELIEFWEAVER 控制器调用密集(蒸馏后可省);Mosaic 一次训练、推理零额外开销但需要重训。

4.1 CarryOn:对象导向的上下文运行时

核心类比:像操作系统的虚拟内存管理——进程不需要把全部数据装进物理内存,靠页表按需换入换出;CarryOn 让 Agent 不必把全部历史装进上下文,靠载体记录按需检查复用。

上下文三组件:

  1. 延续载体(Continuation Carriers):暴露可复用进度,每个载体有稳定身份 + 可复用内容或引用 + 复用条件。按价值存放地分三类:外部对象(代码文件、文档等环境独立存在、可重开的工作产品,载体只记录引用与进度描述)、信息产品(交互中获得的可复用结论,未落地为文件时以带证据指针的声明形式直接存进载体)、情境状态(只存在于特定应用/会话/流程内的进度,如进行到付款步的购物车,载体记录环境锚点与复用范围)。判定标准很清晰:若 VM、会话、轨迹全部消失只剩这份表示,新 Agent 能否理解并使用它——能则是产品,必须回到同一环境才能继续才是状态。
  2. 执行上下文(Execution Context):载体装不下的互补信息——当前焦点、未决约束与义务、未物化的待办。
  3. 活尾(Live Tail):最近一次 fold 之后累积的原始交互,尚未被折叠。

fold 流水线四阶段:

  • 追踪候选(Tracker):识别可能成为载体的进度,维护候选登记表;候选可跨多次追踪持续发育,成熟时发起编译请求,请求同时指明"编译什么"与"需要什么证据"。
  • 证据准备(Grounder):信息产品做来源引用与摘录核对;对象绑定请求做只读环境检查——文件是否存在、内容哈希是否偏离初始快照、docx/pptx/xlsx 容器是否有效、文档差异、指令文本匹配。检查结果为 supported/contradicted/unknown 三值裁决,矛盾即拒。
  • 联合编译(Compiler):同时产出载体编辑 ΔA 与修订版执行上下文——两者耦合设计:载体已捕获的进度不在执行上下文重复,未完成目标必须显式保留。Compiler 的提示词把"节俭即正确"写成硬约束:每句保留的话必须改变未来动作或防止重大重发现。
  • 验证与提交:检查引用一致性、来源授权、输出约束,且一次有效 fold 必须包含至少一个载体变更;通过则原子提交并推进折叠边界覆盖整个活尾,失败则一切不动。

触发与开销:OSWorld 上交互文本累积约 6000 token 触发追踪;BrowseComp-Plus 上按 prompt 增长 120K token 触发、连续未折叠则阈值翻倍退避。运行时自身消耗(Tracker+Compiler)在 OSWorld 上平均每任务 0.69M token,占总消耗比例很小。

一条真实折叠示例(论文图 1 顶部案例,帮助建立直觉):任务是"给香港天气演示文稿加雨雪背景并设 40% 透明度"。折叠前活尾里躺着第 157 步"导出雨雪 PNG"、第 184 步"应用雨天背景"、第 216 步"设置 40% 透明度"等 200 余步交互;折叠后上下文只剩三个载体(雨天合成图 PNG 路径、雪天合成图 PNG 路径、工作 PPTX 路径及"背景已应用"进度)加执行上下文(“保持 40% 透明度、其他内容不动、确认 PPTX 已保存”),从 42.4K token 降到 14.4K(−66.0%)。Agent 下一步直接打开 PPTX 检查保存状态,而不是重读 157 步的历史叙述来"想起"自己做过什么。

4.2 BELIEFWEAVER:证据门控的信念图恢复控制器

核心类比:像医生的鉴别诊断板——每个候选病因(frontier,修复假设)是一张卡片,检查结果(探针证据)不断在卡片间传播更新"这个方向还值得查吗"的判断,且换班(rollback)不擦板。

frontier 与探索图:每个 frontier f_i 是一个可检验的修复假设,规定可能的失败机制、所需证据、评估修复的检查项。持久探索图 G_t 把 frontier 与其尝试、观测、检查点相连,并链接共享机制或精化关系的 frontier。每个 frontier 维护二值信念 b_i = q_i(z_i=1),整个状态 B_t=(G_t, E_t, b_t) 跨 rollback 持久。

隐式世界模型(IWM)四角色:

  1. 候选假设生成:输入任务条款 + 行号索引源码 + 当前诊断 + 历史尝试,输出结构化假设(机制、预测结果、待收集证据、源码定位 ≤20 行、目标检查、可选父假设)。
  2. 诊断探针与证据裁决:为每个候选生成诊断命令,在检查点临时副本中执行(30 秒超时、1500 字符输出上限);证据裁决器对照假设声称的行为返回 consistent / insufficient / contradicted。
  3. 前瞻评估:local_code 专家沿控制流/数据流估计机制有效性与一次有界修复的进展概率;contract_judge 检查实现是否违反引用的任务条款;组合出严格进展概率 p_prog = mα+(1−m)β。
  4. 关系推断:识别 same_mechanism / supports / requires / conflicts,明确禁止仅凭共享文件推断关系,优先调用/数据流依赖。

信念更新:证据以单边几率因子进入乘法模型 O_i = λatt^n · λrel^r · λtgt^u · λctr^c,b_i = O/(1+O)。四类证据:重复尝试失败(λatt=0.34,来自开发集重试统计)、关系传播(λrel=3.0,共享机制的失败会连坐)、目标历史(λtgt=0.5,目标从未改善的降权)、探针反驳(λctr=0.2)。关键设计:排名与执行资格分离——排名用 S_t = b_i − λfail·ℓ_i,执行资格要求证据裁决为 consistent 且目标检查未通过。

蒸馏:四个反复调用的 IWM 角色蒸馏进 Qwen3.5-9B(LoRA):先用 859 个教师样本 SFT 热启动;再做三轮在策蒸馏(OPD)——学生自己扮演四个角色跑探索,影子教师对同样请求打标签作监督,师生分歧样本加权;恢复控制器、执行器、信念规则保持不变。验收标准含解析接受率 ≥95%、证据裁决一致率衰减 ≤2pp。

一个具体案例(论文图 2,TB3 货运航班任务):检查点状态 19/27 项检查通过,候选假设有"缺少可行性检查"与"燃油传播计算错误"两派。控制器对"缺少检查"假设发出探针命令,在环境副本里打印 leg[“fuel_remaining_ok”] 与 leg[“crosswind_ok”] 的存在性——两个检查其实早已写入路径可行性函数,证据裁决为 contradicted,该假设信念掉到 q=0.167;燃油传播假设保持 q=0.500 被选中执行。一次续跑后 24/27 通过(70.37%→88.89%)。这个案例展示了"证据裁决改变假设排序 → 选择修复方向 → 验证器计分回填"的完整环路;论文同时也展示了一个反例(Nginx 任务七轮续跑分数纹丝不动)——信念更新能重定向探索,但不能保证局部修复与检查点得分一致,这是方法边界的一部分。

4.3 Mosaic:会话感知的层级优势优化

核心设定:轨迹 τ_i 由 N_i 个会话组成,会话分三种类型——普通会话(常规推理/工具调用)、压缩会话(把满上下文摘要为短前缀,摘要本身由策略生成、是可训练分段)、子代理会话(fork 出的分支执行)。m 次压缩产生 2m+1 个训练分段;M 个子代理产生 M+1 个。

层级一:会话感知的轨迹级优势估计。把会话数 N_i 作为探索量与结构复杂度的代理信号,但不能直接当奖励。三条排序约束:C1 成功轨迹中用更少会话者优势更高(省成本);C2 失败轨迹中用更多会话者优势更高(鼓励充分探索);C3 结果奖励必须主导,会话信号只调幅不改号。实现:在同结果子组内对 N_i 取中心化秩 u_i∈[−1,1](对长尾鲁棒),乘性调制 Â_sat = (1−ρu_i)·Â_traj,0≤ρ<1 保证不反号。全成功/全失败组里 GRPO 优势为零,落入加性回退(−β1·u 或 β0·min(u,0)),在无结果信号时仍注入会话信号、拉大组内优势方差。

层级二:会话级优势塑形。把每个会话视为状态转移 s=(v_{j−1}→v_j),定义答案似然势 Φ(y*|x,v):在状态 v 的上下文后教师强制续写标准答案,取答案 token 的长度归一化对数概率。会话奖励 = 边际信息增益 r_Δ = Φ(v_j) − Φ(v_{j−1})(stopgrad)。直觉:一个带来有用证据、去除噪声或返回高质量子任务的会话应提高标准答案的生成似然。由于不同类型会话的增益分布天然不同(压缩会话均值偏低),按类型分组归一化,避免全局归一化系统性打压压缩会话。末会话塑形置零以防最终答案污染分布。合成:Â_session = Â_traj + λ_r·r̂。两道安全门:全失败门(禁止正塑形强化失败会话)、方向保持门(塑形不得翻转基础优势符号)。超参 ρ=0.2、β0=0.1、β1=0.2、λ_r=0.1。

信息增益的具体算法值得展开一步,因为它解释了成本数字。对每个非末会话 s,rollout 时直接记录两个边界 token 流(h⁻:会话开始时的 prompt;h⁺:会话结束后的上下文——压缩会话取"摘要注入新前缀后的 prompt",子代理会话取"fork 结果回填后的主 Agent 上下文"),然后在两个边界后各拼接同一段固定的教师强制续写(含标准答案),只对答案 token 打分。每个合格会话只需两次前向打分请求,且 detached 于计算图。相比之下 IGPO 要对每个 turn 都做边界打分——图 3(b) 显示这正是 Mosaic 信息增益计算墙时远低于 IGPO 的原因:把打分粒度从 turn 提到 session,请求次数按会话数而非轮数增长。

五、评估指标与实验证据(含效果优势的根源解释)

进入逐篇解读前先说评估口径的共同点:三篇都刻意选择了"长时程性"有区分度的基准——OSWorld 2.0(人类中位 1.6 小时、500 步预算)、终端三基准(TB3/LHTB 强调更长执行与稀疏诊断)、BrowseComp(1266 题深度检索)——且都在成本侧做了完整记账(CarryOn 含缓存读写的 token 口径、BELIEFWEAVER 区分执行器与教师 API 成本、Mosaic 报告 session 数与 IG 计算墙时)。这意味着性能数字都是"扣除管理开销后"的净收益,评估方法论本身就值得借鉴。

5.1 CarryOn:性能与成本双改善

配置(OSWorld 2.0 全集)Binary(%)Partial(%)成本/任务($)
Claude Opus 4.7 (max) 基线15.743.936.8
Claude Opus 4.7 + CarryOn19.449.723.6
参照:GPT-5.5 (xhigh)13.049.525.5
参照:Claude Opus 4.8 (max)18.549.376.1

partial +5.8、binary +3.7,同时总 token 40.10M→19.30M(−51.9%)、总成本 −35.9%(含运行时开销)。BrowseComp-Plus 100 题子集:准确率 49→56(+7),token −22.9%。两个图景性证据:(a) 输入上下文稳定在约 65K token 而基线超 200K;(b) 累计成本约 150 步交叉反超,500 步时累计省 34.1%——管理开销是先付的,回收随轨迹变长放大。

最有证明力的对照是 40 任务子集上的上下文管理策略对比:Sliding Window(partial 37.41)与通用摘要 GS(44.94)都低于不压缩基线(50.32)——激进压缩本身不改善性能,反而有害;把对象化原则塞进文本摘要(CGS)恢复到 50.93;完整 CarryOn 达 55.93 且折叠后文本反而比 CGS 短约 10%。消融:隐藏执行上下文 partial 掉到 44.00;隐藏载体掉到 44.62 且 Agent 调用 +23.8%、成本 +22.3%(Agent 被迫重新提取 PDF 价格表这类已建立的信息)——两组件互补缺一不可。纵向看,80% 的载体观测跨折叠被保留或更新(813 个观测中 278 保留 + 372 更新)而非推倒重建。

根源解释:因果链是——基线让模型每步重读"进度如何达成"的冗余叙述 → 注意力被稀释、成本线性膨胀;摘要基线用重构叙述替代可复用结果 → 叙述与真实任务状态漂移,性能反降;CarryOn 把"达成什么"锚定在环境内可检查的对象上(Grounder 哈希/容器校验保证不漂移)+ 保留"还要做什么" → 信息流从重放历史变为检查现状。这解释了为何它同时提升性能与省钱——这不是压缩率的胜利,是信息组织方式的胜利(CGS 对照实验是论文自己给出的机制隔离证据)。

5.2 BELIEFWEAVER:组件叠加实验与蒸馏收益

113 个终端任务(TB2 65 / TB3 23 / LHTB 25),所有方法从同一检查点、同一剩余预算出发:

配置Overall Final(%)Step-AUCTime-AUC
TERMINUS-2 原生续跑48.626.746.8
+ 结构化续跑(SC)51.527.647.9
+ 世界模型接地(WM)49.827.147.4
BELIEFWEAVER(完整)53.7(+5.1pp)29.548.4
学生 SFT55.629.950.3
学生 SFT+OPD58.4(+9.8pp)29.250.1
学生 SFT+OPD+GEN57.528.749.3

三个层次的证据:(1) 组件消融的信息量很大——SC 单独 +2.9,但 WM 接地单独加上反而 −1.7(探针/诊断只有配上"证据如何改变优先级"的信念机制才不变成开销),完整版在 SC 基础上再 +2.2,说明诊断证据与信念传播必须成对工作。(2) 执行器资源:步数 −13.2%、时间 −17.8%、成本 −16.6%,代价是控制器调用 33.4 次/任务——这正是蒸馏动机。(3) 蒸馏:SFT+OPD 达 58.4,比匹配教师(53.7)高 4.7pp,同时教师 API 成本 $0.550→$0.248(−54.8%)、token −55.1%;若把假设生成也交给学生(+GEN),成本再降到 $0.100(−81.9%)、请求 −74.5%,Final 仍比教师高 3.8pp。增益最大的 TB3 +10.1pp;显著性上教师与学生的 Final 增益均有 95% bootstrap CI 支撑(+5.1±2.7 / +9.8±6.1)。

根源解释:学生反超教师不是玄学——OPD 在学生自己诱导的探索分布上收集教师监督,相当于把 IWM 角色适配到学生实际会遇到的状态(教师跑出的轨迹和学生跑出的轨迹分布不同),这与 GKD(Agarwal et al., ICLR 2024)的核心发现同构:在策监督修正曝光偏差,学生自生成序列上的教师反馈能超越离线蒸馏。而"证据跨回滚传播"的机制必要性由消融反向证明:没有信念图时(+WM 单独)诊断证据无处落地,增益为负。

5.3 Mosaic:BrowseComp 主表与机制分析

方法单会话压缩多会话(准确率/session数)子代理多会话
Qwen3.5-4B 基座23.2224.80 / 1.7021.64 / 2.98
GRPO(单会话训练)31.9934.68 / 1.2431.91 / 2.09
IGPO(单会话训练)28.5231.36 / 4.1224.64 / 3.26
Broadcasting(多会话训练)–35.31 / 3.1731.44 / 4.43
Mosaic(多会话训练)–38.86 / 2.3532.46 / 3.77

压缩场景相对广播提升 10.1%(38.86 vs 35.31)且平均会话从 3.17 降到 2.35(−25.9%)。表中最有诊断价值的一行:GRPO 单会话训练后放到多会话推理(test-time scaling)只能到 34.68——多会话推理能力不会从单会话训练中免费泛化,训练-推理对齐本身贡献了主要增益。消融显示两个层级各自贡献、压缩场景叠加增益显著而子代理场景叠加温和(作者归因:子代理轨迹是 DAG 结构,一个会话影响多个后继,即时边际增益与最终贡献错位)。机制分析四点:(1) 会话感知优势确实产生预期排序且拉大组内方差、提升样本效率;(2) 全局归一化系统性打压压缩会话,类型条件归一化修正此偏差;(3) 会话级质量指标:正 IG 会话占比压缩场景基座 37.36%→广播 47.74%→Mosaic 59.92%,子代理 27.39%→41.15%→51.04%;(4) IGPO 的 turn 级信息增益计算昂贵,Mosaic 的会话级方案大幅降低前沿计算墙时间且性能反超(31.36→38.86)。

根源解释:广播的失效机制是信用分配粒度错配——把同一标量复制给功能异质(普通/压缩/子代理)的会话,等于告诉策略"所有段同样好/坏",会话数因此单调膨胀(广播训练曲线的 session 均值持续上行)。Mosaic 的乘性有界调制保住了结果奖励的排序主导权,塑形信号在每个会话边界上给出"这段是否让答案更可预测"的局部可归因反馈;类型条件归一化消除了对压缩会话的分布性歧视。最终 RQ4 的结论把因果链补完整:性能提升伴随的是会话效用与分配质量(正 IG 率、IG/会话)提升而非会话数量增长。

5.4 外部交叉验证(根源解释的独立证据)

外部工作相似尝试相关结论与本组论文的差异对根源解释的作用
AgentFold (arXiv:2510.24699, ICLR 2026)逐 step 多尺度折叠上下文,30B-A3B SFT 达 BrowseComp 36.2%主动状态组织优于被动日志,跨任务复证折叠指令由模型生成并训练;CarryOn 是模型无关旁路运行时且带环境校验支持"历史冗余、状态应显式组织"(CarryOn 侧)
ACM (arXiv:2607.23809, Meta+CMU)Agent 自主调用上下文编辑工具,卸载至外部记忆按需取回BrowseComp-Plus 相对 +27%;管理降低峰值 token 压力压缩内容由外部记忆兜底,未做对象级环境校验支持"阈值触发压缩与推理焦点脱节"(CarryOn 侧)
AgentRewind (arXiv:2608.14380)上下文+环境对齐检查点,回滚后注入失败记忆可恢复执行显著提升成功率与清单进度保留"发生了什么",不解决"该改试什么"补充/限定:回滚基础设施是 BELIEFWEAVER 信念更新的前提
GKD (Agarwal et al., ICLR 2024, arXiv:2306.13649)在策蒸馏:学生自生成序列上取教师反馈在策修正曝光偏差,增益稳定超离线蒸馏文本级蒸馏 vs Agent 恢复角色蒸馏支持"OPD 学生反超教师"的机制解释(BELIEFWEAVER 侧)
IGPO (ICLR 2026, arXiv:2510.14967)turn 级边际信息增益作密集奖励缓解优势坍缩、样本效率提升turn 级 vs Mosaic 会话级 + 类型归一支持"信息增益是可泛化的过程信号"(Mosaic 侧)
CompactionRL (arXiv:2607.05378)压缩摘要作为可训练分段联合 RL,已入 GLM 生产管线摘要质量直接决定压缩后任务能否继续(换摘要体差 6.5pp)PPO 路线、跨段 GAE 折扣;Mosaic 免 critic支持"压缩行为应进训练循环"(Mosaic 侧)
ECHO (arXiv:2606.31650)压缩后保留来源索引,沿索引路由结果信用提出 provenance gap:压缩破坏信用归因以记忆选择动作为路由载体从另一路径得出与 Mosaic 相同的错配诊断(结论相近)

综合判断:“状态与历史解耦"这一根本命题已被多条独立工作线共同支持(AgentFold/ACM 支持推理侧,CompactionRL/ECHO 支持训练侧,AgentRewind 支持恢复侧);“在策蒸馏可致学生反超"有 GKD 的跨任务先例;仍属合理推测的部分包括:Mosaic 子代理场景下 DAG 结构对即时奖励的失配程度、BELIEFWEAVER 信念因子参数(λatt=0.34 等)在其他域的迁移性(作者自述来自开发集重试统计,非学习所得)。适用边界也须记明:BELIEFWEAVER 依赖验证器反馈与可靠检查点恢复,稀疏反馈/不可回滚场景未验证;CarryOn 的环境检查表是为 OSWorld 定制的,纯对话域的"对象"定义待解。

5.5 实验解读:指标好看与指标证明论点的分界

三篇论文的实验设计里各有一处"数字之外"的证明力值得单独指出。

CarryOn 的分界在于三组对照的递进隔离。如果只看主表(+5.8、−51.9%),无法排除"性能提升来自任何形式的上下文缩减"这一混淆解释。Sliding Window 与 GS 两组对照专门排除了它:它们压缩得更狠却比不压缩基线更差,说明缩减本身不是收益来源;CGS 复现了对象化原则的文本版本(50.93)又隔离出"结构化维护"本身的增量(55.93−50.93=5.0,且文本更短)。此外成本图(150 步交叉、500 步 −34.1%)排除了"一次性省钱"的侥幸——收益随轨迹长度单调放大,恰是"避免重复处理历史"这一机制的时间签名。若把评估换成短轨迹基准,该机制的理论收益会趋近于零(先付运行时开销、来不及回收)——这也是作者选 OSWorld 2.0(人类中位 1.6 小时)而非短任务基准的方法论理由。

BELIEFWEAVER 的分界在于负结果组件与 Step-AUC。+WM 单独叠加反而 −1.7pp 是全表最有信息量的数字:它证明诊断证据在没有信念传播机制时是纯开销,从而把"证据必须跨假设传播才有用"从口号变成了可证伪的机制主张。Step-AUC/Time-AUC 的设计也非装饰:Final 只看终点,一个只在最后冲刺的方法与一个持续早出分的方法在 Final 上不可区分;BELIEFWEAVER 在 Step-AUC 上 +2.9 显著,说明收益来自恢复过程本身的效率而非末端运气——这直接支撑"更有效的恢复"而非"更好的收尾"这一因果解释。蒸馏侧必须留意一个细节:学生的 Final 反超(58.4 vs 53.7)发生在教师与学生共享同一控制器与执行协议的严格配对下(附录 C 明确禁用了影子教师与回退),排除了"学生偷偷用了更强执行器"的解释路径。

Mosaic 的分界在于 RQ4 的行为学拆解。38.86 vs 35.31 只说明 Mosaic 更好,不说明为什么。表 2 的三维拆解(数量/质量/分配)把"更好"分解成可检验的行为假设:若性能提升来自更多探索,session 数应涨;实测 Mosaic 的 session 数反而从广播的 3.17 降到 2.35,而正 IG 会话占比从 47.74% 升到 59.92%——性能提升与"每会话更有用"相关而与"会话更多"无关。这组数据把训练动态的观察(广播的 session 曲线单调上行、Mosaic 的 leveling off)与最终行为连成闭环,也使作者的结论(“中心问题不是用多少会话,而是每个会话能挤出多少有用进展”)有数据而非修辞支撑。另一处须谨慎的数字是 10.1% 相对提升:其基数是 35.31,绝对差 3.55 在 1266 题基准上稳定,但子代理场景的叠加消融只显示温和增益,说明该机制在 DAG 结构下的普适性仍是开放问题。

六、必要知识反推

假设让一个零基础的人复现这三篇论文,最少必须掌握:

领域知识层:长时程 Agent 的双通道进度模型(持久任务状态 vs 交互历史,CarryOn 全部设计的出发点);终端/计算机使用基准的奖励结构(测试通过率、部分得分、LLM-as-judge,决定三篇的评估口径);compaction 与 forking 的运行时语义(会话边界的准确定义是 Mosaic 一切形式化的地基);GRPO 的组相对优势与训练分段在 Megatron 类框架中的对应关系(broadcasting 公式的工程来源)。

方法论知识层:对象身份与版本化(CarryOn 载体的 successor 链、provenance 记录——不懂数据库式版本管理设计不出稳定身份);概率图模型的因子化信念与几率更新(BELIEFWEAVER 的乘法因子模型直接来自因子图推断);教师强制似然作为状态价值的代理(Mosaic 的 Φ 势与 IGPO 同源,需要信息论直觉:答案似然的边际变化 = 该段获取的关于答案的信息量);蒸馏的曝光偏差问题与在策修正(BELIEFWEAVER 的 OPD 直接建立在 GKD 之上);RL 奖励塑形的保号性约束(Mosaic 的乘性调制与两道门是对势函数塑形理论的小心应用)。

工程知识层:append-only 交互日志与原子提交协议(fold 失败不污染状态);只读环境探针(哈希、容器校验——在不干扰任务的前提下验证对象有效性);影子教师标注与 LoRA 多适配器管理(OPD 的工程骨架);上下文并行下的前向打分与会话级归一化(信息增益的计算成本控制)。

知识融合的关键节点:三篇论文各自的最关键化学反应都在"两个领域的接口"上——CarryOn 把"进度"从 NLP 摘要问题变成 OS 对象管理问题(数据库思维接入 Agent 运行时);BELIEFWEAVER 把"回滚后学什么"从记忆问题变成因子图推断问题;Mosaic 把"会话数"从工程计数变成依赖结果条件的秩信号(统计思维接入奖励设计)。单独懂任何一门都不够,融合点才是论文的增量。

也可以从"反事实"角度检验这些知识的必要性:若作者不懂版本化身份,CarryOn 的载体在多次折叠后会退化为多份不一致副本;若不懂因子图的局部归一化,BELIEFWEAVER 的关系证据将无法在共享假设间正确传播(要么全连、要么全断);若不懂奖励塑形的保号理论,Mosaic 的会话信号可能翻转结果奖励方向,训练出"多开会话骗奖励"的策略——C3 约束正是针对这个失败模式写下的。

七、论文中可以提取的通用性灵感

灵感一:状态与历史解耦——为结果建对象,而非为过程写传记。CarryOn 证明(partial +5.8 且 token −51.9%,且摘要基线反降证明非压缩之功),凡是要长期延续的系统,都应把"已达成的可复用结果"从"产生它的过程记录"中析出为一等实体,附上复用条件并做有效性校验。推广场景:长会话协作系统(以决策与产物为锚而非聊天记录)、持续集成流水线(以工件为传递单位)、个人知识管理(以可复用结论而非剪藏全文为单位)、多轮谈判系统(以已达成条款为状态)。

灵感二:负面结果要在假设空间中传播,而非在时间线中沉淀。BELIEFWEAVER 的信念图让一次失败自动改写相关假设的优先级(λrel=3.0 的关系因子使共享机制的假设连坐),失败因此变成证据而非日志。推广场景:科研实验管理(阴性结果按机制关联更新假设库)、A/B 测试平台(失败变体的归因传播)、医疗鉴别诊断、排障知识库(错误码间的机制关联图)。

灵感三:信用分配的粒度必须与行为的结构粒度对齐。Mosaic 显示把轨迹级信号广播到异质会话会在 38.86 vs 35.31 的差距上付出代价,而"类型条件归一化 + 边际信息增益"修复了它。推广场景:多人协作绩效评估(按角色类型归一化个人贡献)、微服务调用链追踪(按服务类型评估边际价值)、课程学习中的模块级反馈、供应链的环节级改进排序。

灵感四:可测的本地信号 + 保号的全局信号是安全的组合模式。Mosaic 的乘性有界调制与两道门(局部塑形永不翻转结果方向)、BELIEFWEAVER 的"排名与执行资格分离”、CarryOn 的"一致性检查只保有效性不判任务对错”,三者在不同层面用了同一模式:局部/辅助信号只允许调节幅度与资格,主导信号的方向不可篡改。推广场景:导航系统(局部路径微调不改变目的地)、风控(辅助特征调阈值不覆盖主规则)、LLM 解码约束(局部重排在全局目标下)。

灵感五:把反复调用的重推理蒸馏成轻角色,让系统分层付费。BELIEFWEAVER 学生以 54.8% 的教师成本反超教师 4.7pp(GEN 变体省 81.9%),前提是控制器/执行器/规则不动、只蒸馏四个高频结构化角色。推广场景:代码助手的诊断角色下沉到端侧模型、客服系统的意图澄清角色本地化、任何"重模型当仲裁、轻模型当日常"的混合架构。

灵感六:开销要趁早付、收益会随时长放大。CarryOn 成本曲线约 150 步才交叉反超、500 步省 34.1%——状态维护是一次性投入换持续红利,评估这类系统必须看长轨迹累计值而非单步开销。推广场景:索引构建 vs 暴力检索、缓存预热、组织流程中的文档化投入。

灵感七:给"未完成"一个一等的数据结构。CarryOn 的执行上下文专门存放义务(obligation,每条一个祈使句 + 来源步骤,最多 8 条并发)、未决约束、待验证存档;BELIEFWEAVER 的检查点与未满足目标检查同理。多数系统只建模"是什么",这三篇都在显式建模"还欠什么"——因为长时程延续中,欠账清单比现状快照更容易在边界切换中丢失,也直接决定下一步。推广场景:跨 handoff 的工程工单(移交的是待办而非仅现状)、合同履约跟踪(义务条款带证据指针)、智能体外呼任务(跨会话未决事项簿)、CI 流水线失败重试(欠账即重试队列的语义化)。

灵感八:类型异质的单元不可共用同一归一化基线。Mosaic 发现普通/压缩/子代理会话的原始信息增益分布天然错位,全局归一化会让压缩会话被系统性打压;按类型各自中心化重标后,每类才能各自收到有正有负的公平信号。这是一个普适的统计陷阱:任何跨异质群体的相对评价(绩效、实验组、推荐位)若不加类型条件,都会把结构性差异误判为质量差异。推广场景:跨岗位绩效评估按职类归一、多模态特征融合前按模态标准化、A/B 测试跨人群子群分析、模型评估按任务类型分桶报告。

八、加评:三篇合读看到的趋势与留白

把三篇放回一起,能看到 2026 年长时程 Agent 研究的一个清晰转向:上下文工程(context engineering)正在分化为"状态工程"。第一代方案问"如何把历史塞进窗口"(压缩、摘要、检索),这三篇问"窗口之外,系统应该维护什么表征"——对象(CarryOn)、信念(BELIEFWEAVER)、优势归因(Mosaic)分别对应状态的物理层、认知层、学习层。三层独立成立又天然互补:一个理想的系统可以用 CarryOn 式载体管理物理进度、用 BELIEFWEAVER 式信念管理假设空间、用 Mosaic 式信号训练自己——Mosaic 的讨论部分已点名"跨会话状态迁移应成为中心学习目标",CarryOn 的对象与 BELIEFWEAVER 的信念正是这个方向上两类现成的迁移载荷。

三篇也都诚实地留下了边界:CarryOn 的环境检查依赖 OSWorld 的文件型世界;BELIEFWEAVER 承认在稀疏反馈与不可靠回滚下未验证、信念因子是手调的;Mosaic 的子代理场景中 DAG 结构让即时奖励失配、其多会话训练数据稀缺(作者专门呼吁建设开放训练集与执行环境)。这些留白恰好互相成为彼此的机会:BELIEFWEAVER 的证据因子可以学习化(其结论里自陈"learned and uncertainty-aware belief updates"是未来工作),Mosaic 的会话效用指标(正 IG 率)可以直接拿来评估 CarryOn 式折叠的"每次折叠信息增益",而 CarryOn 的载体对象给 AgentRewind 式回滚提供了比检查点更细的状态单位。

对从业者的落地判断也可以更具体:CarryOn 的三型载体判定法(“若轨迹全消失只剩这份表示,新 Agent 能否继续”)是一个可以立即在任何长任务 Agent 项目里做的分类练习,哪怕不引入完整运行时,把 prompt 里的"历史摘要"区段改写成"对象 + 复用条件 + 执行上下文"三段就是 CGS 对照验证过的低成本改进(40 任务子集上 +0.6pp);BELIEFWEAVER 的"排名与资格分离"是一个 20 行代码就能落地的控制器模式(先证据门控、再信念排序、最后回退普通续跑);Mosaic 的结论则直接影响训练基础设施选型——若你的 rollout 管线已经在产出多分段轨迹,广播归约正在静默地扭曲你的梯度。

对读者的建议:如果只做推理侧工程,优先读 CarryOn 的 fold 流水线与三型载体判定法;如果关心可靠性与恢复,BELIEFWEAVER 的"排名/资格分离 + 因子化信念"是可直接抄用的控制器骨架;如果做 Agent RL,Mosaic 给出的最重要提醒是——在你训练策略之前,先检查你的训练分段单位是否还等于推理时的执行单位;如果不等,广播不是中立默认项,而是一种持续缴税的选择。

附录:三篇论文机制速查卡

维度CarryOnBELIEFWEAVERMosaic
一句话把进度变成对象,折叠历史把证据变成信念,跨回滚传播把会话变成信用单元,分层归因
状态单位延续载体(对象/信息/情境)frontier 修复假设session(普通/压缩/子代理)
边界操作fold(原子提交)rollback(图与信念不回滚)session 切分(分段训练)
安全机制环境只读校验 + 必含载体变更证据门控 + 排名/资格分离保号乘性调制 + 两道门
主基准OSWorld 2.0 / BrowseComp-PlusTB2 + TB3 + LHTBBrowseComp(Qwen3.5-4B)
头条数字partial +5.8、token −51.9%Final +5.1pp、学生 +9.8pp38.86 vs 35.31、session −25.9%
成本代价运行时 0.69M token/任务控制器 33.4 次调用/任务(蒸馏后省 54.8%)会话级 IG 前向打分开销(远低于 IGPO)
最硬的证据GS/SW 压缩基线反降、CGS 隔离+WM 单独 −1.7pp、Step-AUC 显著正 IG 率 59.92% 且 session 反降
自认局限环境检查表绑定 OSWorld稀疏反馈/不可靠回滚未验证子代理 DAG 下塑形失配、训练数据稀缺

最后留一个给读者的问题:如果把这三套机制串成一个系统——CarryOn 载体做物理状态、BELIEFWEAVER 信念做假设状态、Mosaic 塑形做训练信号——最先撞上的工程瓶颈会是什么?三篇的记账数据给出线索:状态维护的开销全部集中在"边界事件"上(fold 编译、探针裁决、边界打分),因此瓶颈大概率是边界检测的时机策略而非表示本身。这或许是下一个值得精读的方向。