Agent-Editing World Model 精读

论文链接：Agent-Editing World Model: Rethinking World Modeling for LLM Agents 发表时间：2026年9月 机构：中国人民大学高瓴人工智能学院（Shuang Sun、Guoxin Chen 共同一作；赵鑫通讯、文继荣等） 领域标签：cs.CL / LLM Agent / 语言世界模型

一、论文背景

1.1 语言世界模型：从「模拟世界」到「该预测什么」

要让初学者理解这篇论文，得先从「世界模型」这个概念说起。世界模型（world model）指一类学习环境结构与动态规律的模型：给定当前状态和动作，预测环境接下来会变成什么样。在强化学习和具身智能领域，这是经典配置——Dreamer 系列用它在内心里「想象」训练，MuZero 用它在棋盘和 Atari 上规划。人们普遍相信，通用智能必须有世界模型作为基础（Richens 等 2025 甚至证明：要在足够多样的任务上泛化，agent 必然学到了一个世界模型）。

大语言模型（LLM）Agent 兴起后，这个想法被搬到了语言空间：既然 agent 要调搜索、跑终端、改代码，那能不能训一个「语言世界模型」来预测工具返回的结果？让 agent 先在「想象中」试一下动作，看看环境大概会返回什么，再决定要不要真执行？这条路线有一批代表性工作：预测网页状态转移的 WMA（Web Agents with World Models）、模拟代码执行的工具世界模型、乃至 2026 年 6 月阿里发布的 Qwen-AgentWorld——用千万级真实交互轨迹训练出的观察预测器，覆盖 7 个领域。

1.2 这条路的麻烦：观测是「高熵、执行依赖」的

AEWM 的出发点是对这条主流路线的一记质疑。作者指出：任务导向的 LLM Agent 需要的是环境反馈来解决任务，而不是重建环境本身。它面对的观测——搜索结果页、终端输出、测试报告——有两个特点：

• 高熵：搜索结果取决于瞬息万变的网页内容和黑箱排序；今天搜同一个词，明天结果就不一样。
• 执行依赖：终端输出取决于文件系统与运行时的具体状态，不真跑一遍根本无法知道。

预测这类观测既困难、又没多大价值——因为真实工具随手就能给出落地的反馈。更糟的是，模拟出来的观测可能是「捏造的证据」：agent 拿假想的搜索结果当真，反而会污染后续判断（Zuo 等 2026、Sun 等 2026 都观察到这一点）。于是论文提出了它的核心问题：语言世界模型到底应该预测什么，才能真正支撑可靠的长程 agent？

1.3 论文诊断出的病灶：任务状态污染

作者对失败轨迹做了系统分析，发现一个反复出现的失败机制，命名为任务状态污染（task-state contamination）。长程 agent 在陌生环境里探索，必须基于部分观察维护假设、计划和进度判断。但 agent 常常：

• 把未证实的假设当成事实（「这家银行就是那个 1890 年代的老机构」——没有任何证据就窄化了检索）；
• 反馈已经矛盾了还抱着过时计划不放；
• 把部分进展误当成完成（测试跑通了一个函数，就以为整个任务交付了）。

关键在于：这些错误留在交互历史里，被后续「局部合理」的动作不断放大。哪怕每一步单看都像样，整个轨迹早已被污染。论文的洞察是：真正该建模的对象不是环境会返回什么，而是agent 自己的推理和动作会如何塑造后续的任务进展——一次决定要么巩固扎实的理解，要么把错误解释焊死进历史，改向后面所有决策。

二、论文定位和关联工作

AEWM 站在一个十字路口上：它既是对「语言世界模型」路线的内部反思，也大量借用了「过程监督」与「修正学习」的工具箱。按研究谱系组织如下。

2.1 谱系一：观察预测型世界模型（被反思的前序路线）

定位：AEWM 与这条路线的关系是「范式修正」而非增量改进——公式对照见第三部分。它保留了「预测性世界建模」的框架（预测的还是某种未来量），但把预测目标从环境观测换成决策效果，把干预对象从模拟观察换成 agent 状态本身。

2.2 谱系二：过程监督与决策评估（方法论近亲）

• 过程奖励模型（PRM）：Let’s Verify Step by Step、Math-Shepherd 开创了逐步打分的监督方式。AgentPRM（复旦+蚂蚁，2025）把 PRM 搬到 agent 任务，用 TD 估计 + GAE 给每步「前景与进度」打分。区别：PRM 输出标量分数用于搜索/训练，AEWM 的 Action Judge 输出语义三分类并直接触发状态编辑。
• SRR-Judge（华为，2026）：与本文最接近的同期工作。给搜索 agent 的每步推理与搜索动作做 1-5 分 rubric 评级，低于阈值则精炼，配拒绝采样微调。区别：SRR-Judge 的评级基于「写作质量 rubric」（清晰度、逻辑结构、查询恰当性），AEWM 的标签基于「该决策对任务完成的实际贡献」（由环境观察与后续轨迹回溯确立）；SRR-Judge 精炼的是当前步，AEWM 编辑的是要写进历史的推理+动作状态对。论文在 Related Work 中明确与 SRR-Judge 划界。
• 工具 PRM 评估：ToolPRMBench（2026）专门评估工具使用场景的步级 PRM，发现专用 PRM 明显优于通用模型——与 AEWM 的 DeepSeek-V4-Pro WM 消融结论一致。

2.3 谱系三：修正学习与 agent 自我改进

• Self-Refine / Reflexion（2023）：自反馈迭代精炼与言语强化学习，是「修正学习」的源头。
• AgentRefine（ICLR 2025）、Agent-R（2025）：通过精炼调教与迭代自训练提升 agent 泛化与反思能力。
• 关键反面证据：「LLM 无法自我纠正推理」（Huang 等, ICLR 2024）证明无外部反馈的内在自我纠正常常无效甚至变差。这条结论是 AEWM 拒绝 Self-WM（用 agent 自己当世界模型）设计的理论依据——其消融中 Self-WM 在两个基准上劣于专训 AEWM 恰好印证。

2.4 本文定位结论

一句话定位：AEWM 是第一个把「语言世界模型」从环境模拟器重构为决策级判断器 + 状态编辑器、并配齐跨域训练与内化闭环的工作。

三、问题定义

3.1 从具体场景到抽象结构

具体问题：长程 agent 在交互中不断产生错误解释、过时计划、虚假完成感，这些污染留在历史里被放大。怎么修？

一般的修法是「事后纠错」：等错误暴露了再反思（Reflexion 式）。AEWM 的核心洞察是结构性的：污染的载体是即将被写进历史的那一对 (r̂t, ât)——推理与动作。在它入轨之前拦下它，比入轨之后清洗整个历史便宜得多、也准得多。 这就把「清理上下文污染」问题转化成了「预执行状态编辑」问题。

一个贴切的类比：这就像代码评审（code review）之于线上事故。ReAct 是「写完直接上线」，Self-Refine 是「出了事故自己复盘」，Best@3 是「写三个版本让主管挑一个」，而 AEWM 是「提交前有个资深架构师看一眼 diff：关键改动直接过、有效试探放行、无意义改动直接打回并给出改法」。

3.2 形式化

给定任务 x 与执行前历史 ht = (x, (ri, ai, oi)_{i<t})，agent 提议 (r̂t, ât) ~ πθ(·|ht)，构成预执行状态 st = ht ⊕ (r̂t, ât)。

• 旧范式（观察预测）：Mobs(st) → b̂t（预测观测）
• AEWM：MSR(st) → s̃t = ht ⊕ (r̃t, ãt)（编辑状态，保留 ht、替换推理与动作对）

求什么：学一个统一的 M，具备两个能力——

1. Action Judge（AJ）：byt = MAJ(st) ∈ {CRITICAL, EXPLORATORY, NOISY}，在执行前预测该决策的效果类型；
2. State Revision（SR）：被判 NOISY 时，(r̃t, ãt) ~ MSR(·|st)，从同一历史生成替换对。

约束：编辑后的动作 ãt 在真实环境执行，观测 ot ~ E(·|ht, at) 来自真实反馈；被采纳的 (rt, at, ot) 进入 ht+1。

三标签的语义值得注意：CRITICAL 指闭合关键缺口、获取必要证据、完成必需的状态变更；EXPLORATORY 指实质性降低不确定性或测试合理分支；NOISY 指重复、无关、违反约束或方向错误。显式设置 EXPLORATORY 类是设计上的讲究——它保护了「不直接解题但有用」的信息搜集行为，避免判别器把一切非关键动作都当成噪音砍掉，杀死探索。

3.3 这个抽象的精妙之处

第一，它把「标注可行性」问题漂亮地解决了：判断「这个动作的效果」需要未来信息，但事后回溯标注（看到整条轨迹再标每一轮）与前事预测推理（只看 st 预测）针对的是同一个预测目标——差别只在于确立该目标的证据是否已被观察到。于是「回溯标注、前视监督」成立，标签供给源源不断。第二，它避开了与高熵观测硬碰硬：不预测观测细节，只预测三分类的贡献类型，这是一个低熵、跨环境稳定的预测量。第三，干预发生在污染写入历史之前，从源头切断放大链。

四、问题解法

4.1 整体架构：一个模型、两个头、一条闭环

AEWM 用 Qwen3.5-35B-A3B 做骨干，单一模型同时承载 AJ 与 SR 两个能力（不同任务格式触发不同输出）。类比：像同一个资深工程师既能做「评审」也能做「改码」，因为两者共享对任务与历史的理解。

4.2 EditAct：推理时闭环

每个非终止步：

1. agent 提议 (r̂t, ât)；
2. AJ 给出标签：CRITICAL / EXPLORATORY → 原样保留；NOISY → 触发 SR；
3. SR 从同一历史生成 (r̃t, ãt)，推理与动作联合替换；
4. 选定动作在真实环境执行，观测写回历史。

与「批评家」的区别是本质性的：AEWM 不是给 agent 一句「你这步不太对」的提示（AEWM Hint 消融证明了提示式引导的劣势），而是直接换掉即将入轨的状态。改变的不只是下一步动作，还有随推理一起写进未来的任务理解。

4.3 训练数据合成：两个 Agent 流水线

AJ 数据：把成功验证的轨迹拆成单轮，标注 agent（DeepSeek-V4-Pro 高推理档，每决策独立标注 3 次，取三次一致者为高置信储备；GLM-5 轨迹扩充来源）结合当轮环境观察与后续轨迹，给每一轮打 C/E/N 标签，并生成严格前视的推理链 rAJ_t（不得使用决策点之后才揭示的信息——语义审计会拦下「事后诸葛亮」式理由）。输入只含可见历史 ht 与提议 (r̂t, ât)。

SR 数据：三 agent 接力——proposal agent（Qwen3.5-35B-A3B）做任务，AJ checkpoint 盯梢；一旦提议被判 NOISY，revision agent（DeepSeek-V4-Pro）从同一历史生成替换对，真实执行；只有当新推理动作带来实质性进展（后续轨迹证明）才保留样本。训练输入是 ht + 被拒提议，目标是替换对。

质量闸门：结构检查（参数合法性、动作-观察对齐、无残留 XML 包装）+ 语义审计（五维 0-4 分制，每维 ≥3 分且满足硬性条件：标签正确无未来泄漏 / 替换带来实质改进与真实进展）+ 多样性感知配比（按来源、工具、轨迹位置交错取样，内容指纹去重，终止类工具单独限额防止垄断监督信号）。

4.4 两阶段训练

4.5 AEWM-RFT：内化闭环

EditAct 在线引导产生的轨迹里，含着 agent 自己采样覆盖之外的模式——证据获取、计划纠正、执行验证。对这些经过真实反馈验证的轨迹（含 AEWM 的改写在内）做拒绝采样微调，把「被编辑」变成「自己会做」：推理时不再需要 AEWM 在线，agent 本体学会了避开并从任务状态污染中恢复。这是「外挂 → 内功」的蒸馏路径。

4.6 组件全景表

五、评估指标与实验证据

5.1 指标体系

• 主指标 1：Action Judge 基准 macro-F1。自建 3000 决策基准（Search/Terminal/SWE 各 1000，C/E/N = 300/245/455），由 GLM-5 与 DeepSeek-V4-Pro 轨迹经三轮一致标注、GPT-5.6-Sol 逐例复审、多样性采样构成。考察的是「执行前判断决策质量」这一本质能力——为什么用 macro-F1：三类别不平衡，macro 平均防止模型靠押注多数类刷分。
• 主指标 2：六大 agent 基准平均分（3 次独立运行取均值）：BrowseComp（准确率）、DeepSearchQA（F1）、Terminal-Bench 2.0（任务准确率）、Doc2Repo / NL2Repo（平均测试通过率）、SWE-Bench Pro（解决率）。覆盖分布内（†）与分布外（‡）。
• 消融指标：9 种推理变体 + 2 种训练变体，隔离每个设计的贡献。

5.2 AJ 基准：专训世界模型 vs 前沿通用模型

整体 +10.6pp，三域分别 +10.3 / +10.5 / +13.4。类别层面 NOISY 的 F1 最高（81.1%，P=80.3/R=82.0）——判「无效」最准，恰是下游干预的触发条件。这个实验证明的核心主张是：决策级判断是可学习的专长，通用前沿模型不做定向训练拿不下来。

5.3 EditAct 主结果：六基准 × 三骨干

（最强基线为步级 Best@3 / 轨迹级 Best@3 中较高者，验证器均为 DeepSeek-V4-Pro。）

35B 逐基准：BrowseComp 48.1（+2.1 对最强基线）、DeepSearchQA 78.6（+4.3）、Terminal-Bench 2.0 48.3（+4.4）、Doc2Repo 48.9（+5.2）、NL2Repo 25.3（+0.8）、SWE-Bench Pro 43.8（+0.3）。两个 OOD 基准（DeepSearchQA、SWE-Bench Pro）也在涨，说明泛化超出训练分布。

最有戏剧性的数字：Qwen3.5-9B + EditAct（44.1）> Qwen3.5-35B-A3B + ReAct（42.2）——一个 9B 小模型配上好「外脑」，能追平近 4 倍参数量的裸奔大模型。这直接支撑「AEWM 可缩小 agent 规模差距」的主张，也是论文性价比论证的支点。

5.4 AEWM-RFT：内化后的增益

对 Self-RFT +2.2 / +2.6 / +2.5（两者唯一差异是 rollout 来源），平均轮数在 BrowseComp / TB2 上再降 30.0% / 16.7%。对照设计干净：同任务集、同过滤策略、同微调配置，只有轨迹来源不同——增益只能归因于 EditAct 轨迹提供了 agent 自身成功 rollout 之外的监督信号。

5.5 消融：每个设计都有独立贡献

推理消融（35B 骨干，BC / TB2 / Doc2Repo）：

训练消融：完整两阶段全面最优；对仅 SFT +0.8/+6.4/+4.3，对仅中期训练 +0.3/+4.1/+1.9——广博交互知识与定向校准监督互补。

5.6 行为分析：干预在干什么

标注语料中三域动作类型分布差异显著：Search 域 60% NOISY（未验证假设窄化检索），Terminal 域 EXPLORATORY 占 43.2%（探索最多、25.1% NOISY），SWE 域 CRITICAL 占 42.1%（关键路径密集、28% NOISY）。在线 AEWM 预测保持了同样的分布形状——模型确实学到了各域决策行为的差异并迁移到在线引导。行为层面：被 AEWM 引导后，最长纯搜索序列从 16.9 降到 13.2，不同网页请求数从 7.7 升到 10.1——更宽的证据收集，更少的确认偏误式打转。

指标与论点的对应：AJ 基准证明「判断能力可学习」（主张 1）；EditAct 六基准证明「编辑状态优于批评与重采样」（主张 2）；消融矩阵把每个机制差异单独定罪/定功；RFT 证明「编辑模式可内化转移」（主张 3）。证据链是闭合的。

六、效果优势的根源解释

6.1 根源机制与证据链

因果链 1：预测目标重构 → 低熵稳定的学习信号 → 判断力大幅领先

• baseline（观察预测型 WM / 通用前沿模型）的根本局限：观察预测要求模型匹配高熵、执行依赖的环境输出，误差大且对决策无直接价值；通用模型即便有强推理，也没有针对「预执行决策效果」这一目标做过输出分布校准。
• AEWM 的改变：预测目标换成三分类贡献类型——一个低熵、跨环境语义稳定的量。「回溯标注 = 前视监督」的等价性使 52B token 级的监督供给成为可能。
• 结果：AJ 基准 +10.6pp，且 NOISY 类 F1 81.1% 最高。
• 证据等级：论文实验已支持（AJ 基准 + Random Gate 消融证明判别有效）。

因果链 2：干预点前移 + 直接替换 → 改变后续历史依赖的状态 → 端到端分数提升

• baseline（ReAct）的局限：污染写入历史后才靠局部合理动作「自我感觉良好」地放大；批评式修正（Hint）的局限：修正建议要经过 agent 的再生成这一有损信道，agent 的原误解仍留在历史里。
• AEWM 的改变：在入轨前替换 (r̂t, ât) → (r̃t, ãt)。推理与动作联合编辑意味着写进未来的任务理解本身被修正，信息流的变化是「历史依赖的状态被改变」，而非「多了一条建议」。
• 结果：优于 Agent Resampling、AEWM Hint、仅改动作、仅改推理四组消融。
• 证据等级：论文实验已支持（消融矩阵 5.5 节）；「推理入史携带修正」这一机制细节属阅读者推测——消融只证明联合优于单边，未直接观测历史中的推理如何影响后续步。

因果链 3：跨域统一训练 → 工具无关的决策级判断 → 跨域与 OOD 泛化

• 若 AEWM 只学了环境特化技巧，跨域提升应不均衡。实际三域 AJ 均 +10 以上、OOD 基准（DeepSearchQA +4.3、SWE-Bench Pro +0.3~+4.3 视骨干）也有提升，说明学到的是「决策对任务进展的贡献」这一与工具解耦的抽象。
• 证据等级：论文实验已支持（跨域一致性）；「工具无关性」的更强主张需领域迁移实验直接验证，目前为合理推断。

因果链 4：真实执行验证的编辑轨迹 → 超出 agent 自身覆盖的监督 → RFT 增益

• AEWM-RFT 与 Self-RFT 唯一差异是轨迹来源，+2.2~2.6 的增益只能来自「被验证的纠正模式」这一新监督源。轮数下降 30% 说明内化的是更直接的路径偏好而非暴力试错。
• 证据等级：论文实验已支持（对照设计严格）。

边界条件（论文自认）：对更强的 agent（Qwen3.5-Plus），EditAct 仅在 BrowseComp 上有明显提升（44.1→52.7），Terminal/SWE 提升有限——作者归因于 AEWM（35B 骨干）与 agent 的能力差距。这提示外挂判别器的有效性受「判别器 ≥ agent」条件的约束，类比人类工程里「评审者必须比提交者资深」。

6.2 相关工作检索与对照

围绕上述因果链，我们检索了外部文献（检索关键词：language world model agent / task state contamination LLM agent / action judge critic self-correction / world model action effect prediction / process reward model agent 等），结果汇总如下。

相反/限定方向的证据：需要诚实指出，检索范围内未发现直接否定「决策效果预测+状态编辑」路线的工作，但存在三类限定性证据：(1) Qwen-AgentWorld 与 ITP 表明在可模拟/训练侧场景，观察预测仍有独立价值——AEWM 的论断应限定于「推理时 + 真实工具可达」的场景；(2) WorldEvolver 的 oracle 实验提醒：任何前视/判断信号一旦不可靠就会反噬，AEWM 的 Random Gate 消融（BC 上 44.1 vs 48.1）正是同一现象的本文侧印证——判别器质量是这套系统的单点风险；(3) 论文自认对更强 agent 增益受限，提示能力差距条件。

6.3 综合判断与未决问题

多研究共同支持的机制：

1. 「污染放大」真实存在且代价巨大——CCRM 的 7.1 倍错误率放大、记忆洗白研究、WorldEvolver 噪声前视实验从三个独立场景 converge；
2. 「外部视角的判别优于自我判别」——Huang 等、Self-Correction Bench 与本文 Self-WM 消融三方一致；
3. 「步级判断 + 执行验证 + RFT 内化」组合有效——SRR-Judge、AgentPRM 与本文 AEWM-RFT 独立复现。

仍属合理推测的部分：联合编辑优于单边编辑的机制解释（推理入史携带修正影响后续决策）目前只有消融间接证据；跨域提升是否真能归因于「工具无关的决策级抽象」而非数据规模，需跨域迁移的受控实验。

优势成立条件：(a) 判别器能力 ≥ agent 能力；(b) 环境反馈真实可得（否则观察模拟路线回潮）；(c) 标签供给 pipeline 可维护（AEWM 的标注依赖 DeepSeek-V4-Pro 级别的标注器，复现成本不低）。

可能失效条件：agent 自身经 RLVR 训练后决策分布大幅改善时，NOISY 触发率下降、外挂收益收窄（论文 Qwen3.5-Plus 结果已是先兆）；对抗性环境中被编辑的推理可能被 agent 后续步「顶回」原方向——交互动力学未被论文分析。

七、必要知识反推

假设找一个毫无背景的人重做这项工作，他最少需要掌握什么？

7.1 领域知识层

• LLM Agent 交互范式：ReAct 的推理-动作-观察循环、工具调用格式、历史如何作为上下文驱动后续决策。不理解「历史即状态」就看不到污染问题的存在。
• 三大任务域的失败形态学：搜索（确认偏误、假设窄化检索）、终端（误读执行证据、部分进展当完成）、SWE（依赖假设错误、契约破坏、需求遗忘）。论文的三分类标签设计直接源自对这些失败模式的归纳——附录 D 的九个案例就是这份知识浓缩。
• 世界模型理论谱系：从 Dreamer/MuZero 到语言世界模型，以及 Richens 的必要性定理——否则无法论证「重构预测目标」而非「抛弃世界模型」的合法性。

7.2 方法论知识层

• 过程监督与 PRM 文献：知道标量分数监督的存在与局限，才能意识到「语义三分类 + 触发编辑」是不同的设计点。
• 自我纠正的失败机理：Huang 等的结论是 Self-WM 消融的理论前提——不做这个消融会被审稿人问死，做了才知道为什么必须分离训练。
• 回溯标注与前视监督的等价性论证：这是整篇论文数据 pipeline 的逻辑基石（credit assignment 的蒙特卡洛式回溯 vs 前视条件预测），需要强化学习credit assignment 的基本功。
• 两阶段训练范式：中期训练注入知识 + SFT 校准能力的「先广博后精准」结构，以及多样性感知的数据配比方法。

7.3 工程知识层

• 大规模数据合成的质量控制：多标注器一致性过滤、语义审计 rubric 设计（防未来泄漏、防表面改写）、内容指纹去重、轨迹/工具限额——每个环节缺失都会产生噪声标签，而判别器吃噪声标签会被 Random Gate 反超。
• 评测协议设计：Best@3 基线的验证器选型、3 次运行均值、分布内/外划分、上下文折叠规则（32K 工具内容上限）——保证对比公平性的全套细节。
• Agent 脚手架工程：AweAgent 框架、三域 scaffold 的工具集与预算配置、256K 上下文管理。

7.4 知识融合的关键节点

1. 诊断 → 建模对象的转译：把「污染」这一现象学观察，翻译成「预执行状态 st 是干预点」的形式化——这是轨迹分析与 MDP 形式化的融合节点。
2. 标注可行性的顿悟：意识到「事后看到的贡献」与「事前预测的贡献」是同一个随机变量的两种条件分布——强化学习思想与监督学习 pipeline 的融合节点，没有它 52B token 的监督无从谈起。
3. 判断与干预的闭环设计：AJ 的三分类不是分析工具而是控制信号——标签语义（保留/保留/替换）直接编码了下游动作，这是过程监督与控制流的融合节点。
4. 外挂 → 内化的蒸馏闭环：EditAct 轨迹做 RFT，把推理时系统的好处沉淀进参数——测试时计算与训练时计算的融合节点。

八、论文中可以提取的通用性灵感

灵感 1：当模拟成本高且真实反馈可得时，把「预测世界」改成「预测决策对目标的效果」。

• 证据：AJ 基准上放弃观测重建的专训模型比五个前沿通用模型高 10.6pp；WMA 的转移抽象、DILLO 的语义后果预测同向佐证。
• 推广场景：机器人控制中预测「该控制量是否推进子目标」而非精确物理状态；数据库查询优化中预测「该计划的收益级别」而非执行细节；产品运营中预测「该动作对北极星指标的贡献类型」而非全量后果仿真；教育系统中预测「该练习对掌握度的效果」而非学生全部反应。

灵感 2：错误进入历史前的拦截，远比进入历史后的清洗便宜。

• 证据：CCRM 显示污染使错误率放大 7.1 倍；记忆洗白研究证明压缩后清洗基本无效；AEWM 的预执行编辑在源头切断放大链。
• 推广场景：代码仓库的 pre-commit hook vs 上线后数据修复；新闻事实核查的发布前审核 vs 传播后辟谣；供应链的进料检验 vs 成品召回；组织决策的事前红队 vs 事后追责。

灵感 3：为「有用的非关键行为」显式建类，防止优化器杀死探索。

• 证据：EXPLORATORY 类的显式设置让 AJ 不把探索误杀为噪音；Terminal 域 43.2% 的探索占比下 EditAct 依然正增益。
• 推广场景：研发管理中把「失败但有信息量的实验」从绩效黑名单中救出；推荐系统中为「有益多样性」留探索预算；RL 的探索奖励设计；测试工程里区分「发现 bug 的用例」与「通过的用例」的价值。

灵感 4：外部专训判别器 + 内化蒸馏，是「能力租借」的通用模式。

• 证据：Self-WM 消融证明自评不足（呼应「LLM 无法自我纠正」）；AEWM-RFT 证明租来的能力可以沉淀为本体参数（+2.2~2.6 且推理时零外挂开销）。
• 推广场景：企业先用咨询顾问建立流程再内部化；学生借助导师批改形成自我修改能力；代码先用 linter 规范、后由模型学会规范地写；LLM 训练中的 distillation from critic。

灵感 5：回溯标注可以监督前视预测——只要两者共享同一预测目标。

• 证据：AJ 数据 pipeline 的核心论证：事后贡献标签作为前视分类的目标，「证据是否已被观察」是唯一差异。
• 推广场景：医疗中用治愈结局回溯标注诊断决策质量来训预诊模型；交易中用最终盈亏回溯标注入场决策；游戏 AI 用胜负回溯标注局面评估；任何「结果可验、过程难标」的领域（信用评估、招聘决策、科研资助）。

灵感 6：联合修正「理解」与「行动」，只修一头效果打折。

• 证据：仅改动作（BC 47.4）与仅改推理（BC 47.3）都低于联合编辑（48.1）；TB2 上差距更悬殊（45.7/41.9 vs 48.3）。
• 推广场景：组织变革中战略叙事与执行动作要同步调整；编辑系统修改代码时同步更新文档与注释；API 重构时同步更新调用方心智模型（文档）；机器人任务中同步修正世界估计与控制策略。

附录：核心数据速查