论文链接：WM-R1: Training GUI Agents to Reason and leverage World Models with Reinforcement Learning 代码仓库：genalyu/WM-R1 发表时间：2026年8月 机构：华东师范大学计算机科学与技术学院（纯高校，第一作者 Yu Han，通讯作者 Tianwen Qian） 领域标签：cs.AI（GUI 智能体 / 强化学习 / 世界模型）

一、论文背景

1.1 GUI 智能体与 RL 训练的崛起

自主 GUI 智能体通过视觉感知与动作执行在手机界面上完成多步交互，是自动化复杂数字工作流的有前途方向——从订机票、填表格到跨应用搬运数据。这类智能体的主流训练路线是视觉语言模型（VLM）在大规模状态-动作轨迹上做 SFT（监督微调）：GUI grounding 方面有 CogAgent 的空间感知视觉理解、SeeClick 的显式定位监督、UGround 的跨平台通用定位；动作预测方面有 ShowUI 的视觉-语言-动作统一建模、UI-TARS 的面向推理的微调。

但 SFT 只能模仿，学不出真正的规划。强化学习由此进场：PPO 需要单独训练价值网络，开销大；GRPO（Group Relative Policy Optimization）通过组内相对优势计算干掉了价值网络，DeepSeek-R1 证明纯规则奖励就能催生推理能力。在 GUI 领域，UI-R1 第一个把 GRPO 用于 GUI 动作预测（格式 + 动作类型 + 坐标的规则奖励，无需监督推理轨迹），后续工作扩展出经验回放（ARPO）、多轮 RL、课程训练、自进化策略等变体。

1.2 真实环境交互：三座大山

然而所有现有 RL 方法都依赖大量真实环境交互，这带来三大瓶颈：

1. 计算成本：环境交互比模型推理慢几个数量级——每次动作都要等真实 Android 环境渲染响应；
2. 不可逆性：一个错误动作就能让长程轨迹脱轨，且无法撤销重来；
3. 环境噪声：非确定性转移（网络延迟、随机弹窗、状态漂移）污染奖励信号，让训练不稳定。

1.3 世界模型：已有的药方与新问题

世界模型（world model）支持动作条件化的未来预测，为规划服务，被视为上述问题的解药。GUI 场景的世界模型分三类：文本型用自然语言或 DOM 更新预测转移，能捕捉语义意图但丢弃空间-视觉细节；像素型（ViMo、MobileDreamer）用扩散模型合成截图，但结构可控性差——按钮可能渲染得不在该在的位置；代码型（Code2World）生成可渲染 HTML，视觉保真与结构精度兼得。

问题在于：所有这些工作都只在推理时使用世界模型——作为即插即用的模拟器增强已训练好的 Agent 的决策（propose-simulate-select），RL 训练循环本身原封不动。真正的挑战悬而未决：**如何让世界模型不只是推理工具，而是成为训练环境本身？**这就是 WM-R1 要回答的问题。

二、论文定位和关联工作

2.1 三条研究谱系的交汇

谱系一：GUI 智能体的 RL 训练。从 UI-R1 的规则奖励 GRPO出发，ARPO 引入经验回放缓冲区复用成功轨迹，后续有多轮 RL（UI-TARS-2）、课程训练（CRAFT-GUI）、解耦训练、移动专用 RL（MobileGUI-RL、MobileRL）、自进化 grounding、高效训练等一整条分支。这一谱系确立了『GRPO + 规则奖励』的可行性，但全部依赖真实环境交互——MobileGUI-RL 这类在线 RL 需要活的 Android 模拟器与真实设备重置，单次训练约 36.5 GPU 小时外加大量环境管理基础设施。WM-R1 直接站在这条谱系的延长线上，其直接对照系 UI-R1 是最贴近的 baseline。

谱系二：GUI 世界模型。文本型、像素型、代码型三类世界模型在 2024-2026 年间快速演进，UI-Simulator 与 SimuRA 已尝试用世界模型做训练仿真。但正如论文反复强调的，这些工作全部停留在推理时。WM-R1 的差异化定位精确而关键：不是造一个更好的世界模型，而是把已有的世界模型（冻结的 Code2World-8B）放进训练循环的转移函数位置。

谱系三：世界模型用于具身智能的通用思想。Ha 与 Schmidhuber 2018 年的经典工作『World Models』奠定了『在想象中训练、在现实中执行』的范式，后续在游戏（Dreamer 系列）与机器人领域大放异彩。WM-R1 本质上是把这一思想首次完整地搬到移动 GUI 领域，并加上了 GUI 特有的设计——把世界模型调用嵌进语言推理流而非只当环境。

2.2 定位结论

WM-R1 在谱系中的位置：它是『GUI RL 训练』与『世界模型』两条线的第一个完整交汇点——不是渐进式改良，而是把一个组件（世界模型）的使用时机从推理阶段整体搬到训练阶段。

三、问题定义

3.1 从具体困境到抽象问题

具体场景：想用 GRPO 训练一个手机 GUI Agent，每次策略更新需要采样一组轨迹，每条轨迹的每一步都要真实环境响应——慢、贵、不可逆、有噪声。

论文的抽象转换核心是一个替换：标准 RL 中环境转移函数 T(·|φt, at) 产生下一状态截图，WM-R1 把 T 换成学习到的世界模型 W——φ̂t+1 ~ W(·|φt, at)。这个替换看似只改一行公式，实质上改变了整个问题的约束结构：

• 转移可以并行生成（世界模型是纯计算，无环境串行瓶颈）；
• 转移无噪声且确定（同样的输入同样的输出，消除奖励信号污染）；
• 错误可回滚（在模拟中试错，不消耗真实环境的不可逆性）。

但这个替换也带来论文必须解决的新问题：如果世界模型只当环境，Agent 学到的仍只是『在模拟环境里的动作映射』；如何让 Agent 真正学会用世界模型推理——在行动前主动模拟候选动作的后果并据此修正决策？

3.2 形式化定义

给定：任务指令 I 与初始截图 φ0；参数为 θ 的策略模型 πθ（Qwen2.5-VL-3/7B）；冻结的世界模型 W（Code2World-8B）；GRPO 训练框架。

求解：策略 πθ，使其在真实 Android 基准上最大化任务成功率，且训练全程不接触真实环境。

约束与机制：轨迹 τ = (φ̂0, a0, φ̂1, a1, …, φ̂T, aT) 的所有状态转移 φ̂t+1 ~ W(·|φt, at) 均来自世界模型；Agent 的思维链中可通过 <call_wm> 机制调用 W 预览候选动作后果；复合奖励 R = α·R_success + β·R_L + γ·R_WM 联合优化任务成功、轨迹效率与世界模型使用。

一个类比：标准 GRPO 像在真实考场里刷题（每错一步都记入档案且不可重考），推理时模拟像考前押题（考场上临时多想一步），WM-R1 则是把整个备考搬进模拟考场——不仅可以无限重考，还把『先打草稿再落笔』变成了被显式训练的答题习惯。

3.3 定义的精妙之处

这个定义的精妙在于『双重身份』设计：世界模型既是环境（提供训练循环中的全部状态转移），又是工具（思维链中可调用的推理原语）。而且两者天然耦合——Agent 观察到的每个状态转移都来自世界模型，因此把世界模型调用嵌入推理流是零额外成本的延伸。这为后文『Agent 学会何时调用世界模型』的行为涌现埋下了结构基础。

四、问题解法

4.1 预备：GRPO 基础

标准 GRPO 中，对每条轨迹 τi 计算奖励 ri，组内优势为 Ai = (ri − μr)/σr（μr、σr 为组内均值与标准差），策略更新最大化裁剪的重要性采样目标加 KL 惩罚。GUI 任务的奖励天然稀疏（r ∈ {0,1}：任务完成与否）。WM-R1 完整继承 GRPO 框架，只动两处：转移函数换成世界模型，奖励换成多维复合设计。

4.2 用世界模型推理：<call_wm> 机制

这是论文的核心创新。系统提示要求 Agent 以结构化格式输出——思考过程放 thinking 标签内、最终答案放 answer 标签内，并告知：思考过程中可调用 <call_wm> 在提交前模拟动作后果。

与把世界模型当作独立对话轮的做法不同，WM-R1 把世界模型调用嵌入 Agent 的推理流之内：每个推理步骤中，Agent 可决定对提议的动作发起模拟 φ̂t+1 ~ W(·|φ̂t, at)，模拟截图作为 System (WM) 观察注入回来，Agent 在同一个思考块内从这一点继续推理。这种多轮推理模式允许思考与世界模型调用在一个思考块内交错，直到 Agent 有信心才产出最终动作。

4.3 轨迹生成：策略与世界的迭代循环

每条训练轨迹按四步循环生成：

1. 观察：Agent 收到当前模拟截图 φ̂t 与完整交互历史 ht；
2. 思考：πθ 生成含可选 <call_wm> 的推理块；
3. 模拟并继续：若有 <call_wm>，世界模型生成下一张模拟截图回注为 System (WM) 观察，Agent 继续推理；若无，推理块结束、产出最终动作 at；
4. 重复：直到终端动作或达到最大轨迹长度 Tmax。

实现上，世界模型用预训练的 Code2World-8B，训练期间冻结：它从当前截图与动作生成可渲染 HTML，再由无头浏览器渲染成 1080×2400 的截图充当下一状态。训练基础设施用 Ray 做分布式协调，每个世界模型实例跑在独立 Ray actor 上；actor-rollout worker 组用 FSDP 做显存高效训练，vLLM 处理 rollout 阶段的序列生成（生成间隙转入睡眠模式降低峰值显存）。整套训练在单张 NVIDIA H200（141GB）上完成。

4.4 多维复合奖励设计

奖励函数决定 Agent 学到什么行为。WM-R1 的复合设计有三项：

成功奖励 R_success（权重 α=1.0）：LLM-as-a-judge 对比最终轨迹与参考解，二元判定（动作序列及其效果是否语义等价于参考轨迹）。判定器用 GPT-4o（温度 0），接收任务指令、参考轨迹、Agent 执行轨迹、最终模拟截图四个字段，输出含二元成功标志与理由的结构化 JSON。判定器经过校准：在 200 条人工标注轨迹（三名标注者，Fleiss κ=0.89）上与人类多数票一致率 93.5%；每轨迹跑两次独立评估取平均（一致率 96.2%），分歧用参考轨迹多数票解决；与 AndroidWorld 程序化检查在 100 个确定性任务上的一致率为 97.0%。

长度奖励 R_L（权重 β=0.5）：惩罚不必要的长轨迹。沿用 DAST/UI-R1 的难度自适应预算——Lbudget = p·L̄r + (1−p)·Lmax，其中 p = c/N 是已完成子任务占比、L̄r 是参考轨迹长度、Lmax 是允许上限。归一化偏差 λ = (Li − Lbudget)/Lbudget 进入分段函数：成功时 R_L = max(−0.5λ + 0.5, 0.1)，失败时 R_L = min(0.9λ − 0.1, −0.1)。直觉：越接近任务完成，允许的步数预算越宽。

世界模型调用奖励 R_WM（权重 γ=0.1）：调节模拟的使用量。设轨迹 i 的 <call_wm> 次数为 N_WM^(i)，组内均值为 N̄_WM，归一化偏差 μ = (N_WM^(i) − N̄_WM)/N̄_WM，进入与 R_L 同形的分段函数：相对组均值过多或过少都拿低分。

这个设计的深意在于与 GRPO 的组相对性配合：组内优势计算天然筛选『比组平均更好』的轨迹——有效利用模拟修正动作的轨迹得高分，无谓或时机不当的调用不加分。于是 Agent 被训练出的不是固定调用策略，而是何时、调用多少次的元决策能力。

4.5 数据策展

训练集合并三个公开 Android 数据集（AndroidCode、GUI-Odyssey、GUI-R1），按难度过滤：零样本成功率高于 80%（过于简单）或低于 5%（过于困难）的任务剔除，从过滤池随机采样 2000 条。理由直白：世界模型反馈对中等复杂度任务信息量最大——太简单的任务不需要模拟，太难的连模拟也救不了。

五、评估指标与实验证据

5.1 指标体系与基准

• 主指标：长程任务成功率。AndroidWorld（多步手机设备控制，最大执行长度 15）与 GUI-Odyssey（跨应用导航）——这是检验『世界模型训练能否产生可泛化推理』的核心战场。两者均设 Hard 子集（需 ≥5 个真值步骤），专门度量多步推理。
• 辅助指标：grounding 与动作预测。ScreenSpot-Pro / ScreenSpot-V2（移动子集的 GUI 定位精度）、AndroidControl（动作类型预测 Type 与坐标定位 Gnd）——检验基础能力是否受损或提升。
• 消融指标：去 CoT / 去 R_L / 去 R_WM 的单项贡献；超参敏感性；WM 调用动态与策略熵曲线。

5.2 主结果：双规模全面 SOTA

3B 规模上 WM-R1 同样领先（29.5 vs UI-R1-3B 的 18.6）。三条证据链特别有分量：

其一，对推理时模拟的优势。同一世界模型只在推理时用（+CW 基线，做 propose-simulate-select）比零样本高 6.3 分，而 WM-R1-7B 比零样本高 17.4 分、比 +CW 高 11.1 分——增益的大头来自训练阶段的世界模型化，不是推理时的临时增强。Hard 子集上差距更大（AndroidWorld-Hard +9.6、GUI-Odyssey-Hard +8.8，均为 7B 对 +CW）。

其二，OOD 泛化。把基准相对训练数据分类：AndroidControl 与 GUI-Odyssey 为 ID，AndroidWorld 与 ScreenSpot-Pro/V2 为 OOD。WM-R1 的平均 OOD 提升为 +16.0（相对零样本），是 UI-R1（+8.7）的 1.84 倍。这个实验直接攻击『是不是在背训练集』的质疑——世界模型训练出的推理策略在新环境上衰减更慢。

其三，训练动态（图 3/4/5）。同为 15 个 episode：WM-R1 曲线更陡（第 5 个 episode 即达 31.5%）、方差更低（无环境随机性）、收敛更高（39.8% vs UI-R1 的 30.8%）。策略熵曲线揭示机制：两者都是先降后升，但 WM-R1 的熵下降缓和得多（前 3 个 episode 3.8→2.9，UI-R1 3.8→2.1），收敛时保留更高熵（约 3.2 vs 约 2.6）——无噪世界模型避免了对探索动作的随机惩罚，探索得以持续。

5.3 消融实验：各组件贡献

AndroidWorld 7B 规模（表 2）：

CoT 推理是最大贡献项：去掉后模型直接从观察出动作，绕过了『用世界模型模拟反馈评估并修正候选动作』的反思回路——整个 think-before-act 机制失效。R_L 贡献 3.3 分：没有它 Agent 能做对但带冗余步骤，错误随轨迹长度累积。R_WM 单项贡献最小但角色是稳定：没有调节，部分轨迹收敛到滥用世界模型浪费推理预算、部分完全不用。三组件对付三种不同的失败模式，完整系统比最强单组件变体高 5.2 分。

5.4 世界模型使用动态：从依赖到内化

追踪每轨迹平均 <call_wm> 次数与平均奖励（图 5），呈现清晰的三个阶段：

• 探索期（episode 1-4）：频繁调用（约 4.2 次/轨迹），大量冗余模拟——对显而易见的动作也模拟，反映未分化的依赖；
• 校准期（episode 5-10）：开始区分受益于模拟的动作（点击歧义 UI 元素、进入陌生界面）与不受益的（输入文本、按 Home 键），调用降至约 2.5 次——学会战略性分配模拟预算；
• 选择性使用期（episode 11-15）：只在关键决策点调用——不确定后果或错误会脱轨剩余轨迹之处，稳定在约 1.8 次/轨迹——内化出定向模拟策略：世界模型价值最大处用之，常规动作交给已学策略。

调用次数降、奖励升（0.15→0.52）的反向关系，与 R_WM 惩罚过度/不足使用的组相对设计完全自洽。

5.5 案例研究：世界模型引导的自纠

一条『点击搜索框并输入查询』的推理轨迹完整展示了三段式：（1）提出——识别搜索框在顶栏左侧，提出初始坐标 click(0.7, 0.3)；（2）模拟评估——调用世界模型，预测截图显示点击落在搜索框右侧空白区；（3）修正确认——判断坐标偏右（搜索框从 x≈0.4 开始），改为 click(0.5, 0.3)，再模拟见搜索框聚焦光标可见，才提交动作。这种自纠回路对 GRPO-only 基线是不可能的——它们必须直接执行动作，承受初始错误的不可逆后果。世界模型实际上充当了『草稿纸』，让 Agent 在行动前犯错并从错误中学习。

5.6 成本分析与架构无关性

训练成本（表 5）：WM-R1-7B 在单张 H200 上 11.2 小时完成 15 个 episode——时间构成约 45% 世界模型模拟（每帧约 1.1 秒）、35% 策略生成、20% 训练更新。对照：离线 GRPO 变体 UI-R1（无环境）7.8 小时，WM-R1 多花 3.4 小时（1.44 倍）换来 AndroidWorld +9.0 分；在线 RL 的 MobileGUI-RL 要 36.5 GPU 小时外加真实设备管理基础设施。推理开销：每轨迹平均 1.8 次世界模型调用，7B 加约 2.3 秒（3B 加 1.6 秒）——相对典型任务完成时间（30-90 秒）是温和的。

架构无关性（表 6）：同样的训练配置套到 Qwen3-VL 上，4B 与 8B 双规模增益复现——WM-R1-8B 在 AndroidWorld 达 44.5、GUI-Odyssey 35.8（分别超 UI-R1-8B 达 9.3 与 10.0 分），且模式相同：Hard 子集与长程任务增益最大。主实验选 Qwen2.5-VL 只是为了与 UI-R1、MobileGUI-RL、GUI-R1 等基线共用骨干、隔离训练框架的贡献。

六、效果优势的根源解释

6.1 Baseline 的根本局限在哪

**GRPO-only（UI-R1 类）为何不行？**它在真实环境中学到的本质是『训练分布上的正确动作映射』。面对陌生 UI 元素或应用组合时只能靠表面模式匹配，分布漂移下迅速退化。更糟的是真实环境的三大瓶颈在机制层面互相放大：环境慢 → 采样少 → 组内方差估计差；不可逆 → 探索性动作一旦出错即受罚 → 策略熵过早坍缩（UI-R1 前 3 个 episode 熵从 3.8 掉到 2.1）；噪声 → 好轨迹拿坏奖励 → 信号污染。

**推理时模拟（+CW）为何不够？**它是在不改变策略的前提下外挂一个决策增强——策略本身没有学会模拟的价值，何时模拟、如何解读模拟结果都是硬编码的。增益天花板低（+6.3 分），且推理时的每次模拟都要实付延迟成本。

6.2 WM-R1 的因果链

**环境替换 → 训练体制变化 → 探索质量提升。**世界模型替代真实环境后，转移是纯计算：可大规模并行（ rollout 不再排队等环境）、确定性（同输入同输出，奖励信号干净）、可回滚（模拟中试错零成本）。熵曲线是这一机制的直接证据——WM-R1 的探索不被随机性惩罚，熵下降更缓、收敛后保留更高熵（3.2 vs 2.6），在 15 个 episode 内学到更陡的成功率曲线与更低的种子方差。

<call_wm> 嵌入思维链 → 推理策略而非动作映射 → OOD 泛化。这是论文最深刻的机制。Agent 被训练的循环是『提出候选 → 模拟后果 → 对照意图 → 修正再提交』——这是一种推理策略，不是记住的映射。它天然迁移到 OOD 场景的原因是结构性的：面对从未见过的 UI 模式，Agent 依然可以对候选动作模拟并评估（世界模型见过大量 UI 转移，其模拟能力不限于训练任务的分布）。这解释了 OOD 平均提升 +16.0 对 UI-R1 +8.7 的 1.84 倍优势，也解释了 Hard 子集增益尤大——任务越长、步骤越多，『行动前模拟』的价值越被复利放大。

**训练分布多样化 → 表征更鲁棒 → grounding 提升。**世界模型对多样截图模拟动作后果，等效于让 Agent 在比原始数据集更宽、更新的状态转移分布上训练——这解释了 ScreenSpot-Pro icon +13.4、SS-V2 icon +18.1 这类 grounding 提升的来源：模拟的密集视觉反馈让 Agent 学会把视觉特征与空间位置更精确地绑定。

**奖励设计与组相对性的耦合 → 用量自动校准。**R_WM 单独看贡献最小（−2.6），但它的作用是稳定而非增益：以组均值为锚惩罚过度与不足，把 WM 调用次数推向有效均衡。反事实推理：去掉它，图 5 的三阶段动态消失——部分轨迹滥用模拟（每步都调）、部分弃用（从不调用），推理预算浪费或增益全失。

消融的因果排序验证了设计重心：去 CoT 掉分最多（−5.2）说明整个框架的灵魂是『推理中的模拟』而非『模拟环境』本身——如果只是要一个干净环境，去掉思维链不该伤这么重。这正是『训练环境』与『推理原语』双重身份设计中后者更关键的证据。

6.3 必须交代的边界

论文自己的 Limitations 节很诚实：其一，训练信号完全来自 Code2World 的模拟转移，它对常见 UI 转移（点击、导航、表单）保真度高，但对高动态交互元素（动画、实时数据、第三方挂件）可能失准——失准的世界模型会误导训练，学出在真实环境中次优的策略；其二，当前表述限于离散动作空间，扩展到连续控制（自由光标移动、拖放手势）需要修改世界模型与奖励设计。此外，39.8 的绝对成功率虽是 SOTA，仍意味着近六成任务失败——模拟与现实的 gap 是该范式的根本挑战。

七、必要知识反推

7.1 领域知识层

• GUI 智能体的任务结构：截图观察、动作空间（click/type/scroll）、多步交互历史——不理解输入输出的形态，就无法设计轨迹生成循环。
• Android 生态的特殊挑战：应用多样性、动态布局、触摸导航——这是移动专用方法（Mobile-Agent-v3、Aria-UI）存在的原因，也是评测基准选择的依据。
• 世界模型三类技术路线的优劣：文本型丢视觉细节、像素型缺结构可控性、代码型兼得——不掌握这张地图，就不知道为什么选 Code2World。

7.2 方法论知识层

• GRPO 原理：组相对优势计算、无价值网络、规则奖励催生推理——这是整个训练框架的地基，奖励设计必须与组相对性配合才能生效。
• DAST 难度自适应长度预算：Lbudget 随子任务完成度调节——R_L 的直接来源。
• Ha & Schmidhuber 以来的『想象中训练』范式：在梦里训练、在现实执行——WM-R1 的思想祖先，没有这条脉络就想不到把环境整个换掉。
• LLM-as-a-judge 的校准方法论：Fleiss κ 一致性、双评估平均、与程序化检查对齐——稀疏成功奖励的可靠性保障，不校准的判官会污染全部下游指标。

7.3 工程知识层

• 分布式训练栈：Ray 协调、FSDP 显存高效训练、vLLM 生成（含睡眠模式）——单卡跑通 3B/7B 训练的现实基础。
• 无头浏览器渲染管线：HTML → 1080×2400 截图，每帧约 1.1 秒——世界模型输出的落地形态与成本构成。
• 数据策展的难度过滤：剔除零样本 >80% 与 <5% 的任务——保证 2000 条训练数据落在世界模型反馈信息量最大的复杂度区间。

7.4 知识融合的关键节点

**节点一：环境替换与推理嵌入的耦合设计。**单独做环境替换得到『模拟环境里的 GRPO』（更便宜但上限有限），单独做推理嵌入得到『+CW 式外挂』（有增益但不改变策略）。两者的耦合点在于：既然所有转移来自世界模型，把它嵌进思维链是零成本延伸，且训练信号会自动教会 Agent 何时使用它——1+1>2 的化学反应发生在这里。**节点二：组相对奖励与元决策学习。**GRPO 的组内比较特性 + R_WM 的组均值锚定，把『何时调用世界模型』从设计者的硬编码变成 Agent 可习得的策略变量——这是奖励设计与优化器特性的精妙咬合。节点三：难度过滤与反馈价值的匹配。『世界模型反馈对中等复杂度任务最有信息量』这一判断把数据策展从采样问题变成了训练信号质量问题。

八、论文中可以提取的通用性灵感

灵感一：把工具的使用时机从推理期整体搬到训练期。 核心思想：一个辅助组件（模拟器、校验器、检索器）只在推理时使用，其增益受限于策略本身没学会利用它；把它放进训练循环，策略会被优化出利用该组件的能力。 论文证据：同一 Code2World，推理时使用（+CW）只带来 +6.3 分，作为训练环境 + 思维链原语带来 +17.4 分；消融显示与推理模拟相关的 CoT 组件贡献最大（−5.2）。 推广场景：把形式化验证器放进代码生成的 RL 训练而非仅推理时检查；把单元测试执行嵌入训练循环学出测试驱动编码策略；把搜索引擎作为训练期工具让模型学会何时检索；把仿真器接入机器人策略训练（Domain Randomization 的语义升级版）。

灵感二：在想象中试错，把不可逆风险隔离在模拟侧。 核心思想：当真实环境动作不可逆且昂贵时，先在学到的环境模型里演练候选动作，用预测后果做筛选，只提交通过评估的动作。 论文证据：案例研究中 Agent 对点击坐标两轮模拟-修正后才提交；这种自纠回路被明确指出对 GRPO-only（必须直接执行）不可能。 推广场景：数据库变更先在影子库演练；营销投放先在数字孪生市场模拟；谈判策略先对模拟对手推演；外科手术方案先在患者数字孪生上验证。

灵感三：可回滚与无噪声环境维持探索、防止熵坍缩。 核心思想：训练环境的随机性惩罚探索性行为，导致策略过早收敛；确定性模拟环境保留更高策略熵，换来更高质量的学习曲线。 论文证据：WM-R1 熵下降 3.8→2.9（UI-R1 3.8→2.1），收敛熵约 3.2 vs 2.6，对应更陡成功率曲线与更低种子方差。 推广场景：课程学习中先在确定性简化环境训练再引入随机；A/B 实验设计中控制噪声源防止早期错误止损；进化算法中用精英保留对抗噪声适应度；创业试错中用低成本可逆实验替代孤注一掷。

灵感四：以组均值为锚的用量调节奖励。 核心思想：对一个可选工具的使用量，惩罚相对参照系的过度与不足双向偏离，让『合适用量』成为策略可学习的变量而非硬编码常数。 论文证据：R_WM 按组均值归一化偏差计分，训练中 WM 调用从 4.2 次/轨迹自动收敛到 1.8 次，涌现探索-校准-选择性三阶段；去掉该项出现滥用与弃用两极分化。 推广场景：调节 Agent 的思考长度（何时快思考慢思考）；控制 RAG 的检索次数；管理多智能体系统的通信频率；控制人的深度工作与快速响应的时间分配。

灵感五：按反馈信息量过滤训练数据，而非越多越好。 核心思想：训练数据的价值取决于反馈信号在其中是否可提取，剔除『不需反馈就会』与『有反馈也没用』的两端，聚焦中间复杂度区间。 论文证据：剔除零样本成功率 >80% 与 <5% 的任务，2000 条中等复杂度数据训出双规模 SOTA。 推广场景：练习题库按通过率分层取中间段；bug 修复训练聚焦可复现非平凡缺陷；辅导中针对最近发展区出题；筛选微调数据时排除模型已会与全错样本。

灵感六：学习如何思考的迁移性优于学习思考什么的记忆性。 核心思想：训练目标若是『在特定模式上产出正确答案』，学到的是映射，分布漂移下退化；若是『用通用程序评估候选再修正』，学到的是策略，可迁移到未见模式。 论文证据：WM-R1 的 OOD 平均提升 +16.0 是 UI-R1（+8.7）的 1.84 倍；论文将其归因于 think-before-act 是可在陌生 UI 上执行的推理策略而非记忆映射。 推广场景：教育中教解题程序而非题海背答案；代码训练中学测试驱动的方法论而非 API 记忆；组织知识管理沉淀决策流程而非案例库；运动训练练动作原理而非固定套路。