Agent 从数字世界到物理世界三级跳：OpenMobile-2 / LaLa-World / FRED 精读

论文链接：OpenMobile-2: Building Versatile Mobile Agents with Scalable Environments and App-Native Tools · LaLa-World: Scaling Latent World Models with Natural Language Actions · Self-Distilling Future Video Representations for World Action Models 代码仓库：FRED（模型在 HuggingFace FRED-AGI-LAB）；OpenMobile-2 与 LaLa-World 论文承诺开源（OpenMobile-2 项目主页、LaLa-World 项目页 github.io/lala-world，txt 中链接为占位格式，未给出完整 https URL） 发表时间：2026年10月（OpenMobile-2 v1 为 10 月 9 日；LaLa-World v2 与 FRED 均为 10 月 21 日） 机构：OpenMobile-2——南京大学、SenseTime（商汤）、香港大学、西安交通大学、新加坡国立大学、华东师范大学（企业+高校合作：商汤提供环境/算力/工程，南大为主贡献算法与数据流程）；LaLa-World——NAVER AI Lab（主导）、Georgia Tech、Brown University、Mila & Université de Montréal；FRED——KAIST（第一单位）+ RLWRLD（公司资助并参与真机数据采集） 领域标签：cs.SE / cs.CV / cs.RO（移动 agent、世界模型、机器人学习）

一、论文背景

这三篇论文处在同一条主线上的三个台阶：agent 要从「会聊天」走向「会做事」，必须在可验证的环境里获得训练信号。所谓「可验证」，指的是 agent 的每次尝试都能被环境客观判定成功或失败——要么是数字世界里程序化检查器对业务状态的比对，要么是物理世界里任务是否真实完成。LLM 的预训练语料里没有这种信号：文本不产生后果，也无从验证。于是三条路线各自解决了「环境信号从哪来」：

1.1 OpenMobile-2：手机 agent 的环境瓶颈

手机 agent（mobile agent）指按自然语言指令操作智能手机的视觉-语言模型：看屏幕截图、输出点击/滑动/输入等动作。这条路线的进展严重依赖大规模交互经验——跨任务、跨应用、跨环境的轨迹数据。但现实是：高质量交互数据基本被大厂私有（UI-TARS、MAI-UI 等都是闭源数据喂出来的），开源社区只能用少量 emulator 上的开源 app 练手。

环境本身有两难。一端是 Android 模拟器/真机跑真实 app：交互真实，但第三方 app 无法可靠重置（reset），副作用不可逆（下了单、发了消息收不回来），并行化 rollout 代价高昂——这对需要反复试错、每步都要打分的强化学习几乎是致命的。另一端是 可控模拟环境（如 MobileGym）：重置干净、并行便宜、可程序化验证，但应用数量少且「浅」——每个 app 只是几个页面的粗糙复刻，覆盖不了订机票、逛淘宝这类深导航、多状态的真实商业工作流。OpenMobile-2 要解的就是这个「可控」与「真实商业丰富度」不可兼得的矛盾，顺手回答第二个问题：计算机使用正在从纯 GUI 走向 GUI 与结构化接口（CLI、MCP、app 原生工具）混合的时代，手机 agent 该怎么训练才能「该点屏时点屏、该调工具时调工具」。

1.2 LaLa-World：世界模型的数据孤岛

世界模型（world model）让 agent 在「行动前想象后果」：给定当前观测和候选动作，预测世界会变成什么样，据此规划。JEPA 式**潜空间世界模型（LWM）**是其中的效率流派——不学像素重建，只在冻结的自监督视觉编码器（DINOv2/DINOv3、V-JEPA 2）输出空间里预测下一个隐状态，用 L2 回归训练。它省算力，特别适合 MPC 规划（要在想象里反复 roll out 上千条候选动作序列，每次预测必须便宜）。

但 LWM 有个数据结构性的毛病：动作条件是数值向量，维度和物理含义每个域都不一样。[2, 4] 在这个数据集里是水平/垂直位移，在另一个里是力的大小。所以 DINO-WM、V-JEPA 2-AC 这些前作基本都是一个域训一个预测器，动力学知识无法跨域共享。更糟的是，世界上最大的观测数据源——无动作标注的网络图像/视频——完全进不了「动作条件预测」的训练管线。LaLa-World 的出发点一句话：视频生成模型早就证明了语言可以统一异构数据的条件接口（一句 caption 管所有视频），LWM 为什么不能照办？

1.3 FRED：视频扩散模型当机器人策略，瓶颈在「一步去噪的表征」

World Action Model（WAM）是机器人学习的新范式：拿预训练视频扩散模型（VDM，如 Wan2.2-5B）当底座，让它联合预测未来帧和动作，把视频模型从亿级人类视频里学到的时空先验「引流」给机器人控制。完整的 VDM 推理要迭代去噪几十步，太慢；近期一批工作（DiT4DiT、Fast-WAM、AGRA）改为解耦架构：动作解码器只吃 VDM 单次前向（从纯噪声出发，τ_v=1）得到的中间隐状态 h——一次前向就把动作生成条件准备好了，延迟大降。

但这带来一个被忽视的依赖：策略质量直接取决于 h 的质量。从纯噪声一步生成的隐状态，到底装了多少关于「未来机器人-物体动力学」的信息？FRED 的分析给出了量化答案：WAM 常规训练下 h 的运动探针精度随训练上升，但相对「干净未来观测提特征」始终有明显差距——这个表征缺口，正是动作长程泛化、跨域泛化失败的嫌疑根源。

1.4 三篇的共同背景

把三篇放在一起看：OpenMobile-2 造数字环境的可验证信号（模拟商业 app + 程序化验证器），LaLa-World 造跨域共享的动力学信号（语言接口统一动作空间），FRED 造视频先验到动作的表征信号（自蒸馏对齐未来表征）。分别对应「agent 落地物理/数字世界」的环境层、模型层、表征层——这是本精读把它们作为一部曲阅读的逻辑。

二、论文定位和关联工作

2.1 OpenMobile-2：环境谱系与混合交互谱系

环境谱系分两支。真机/模拟器支：AndroidWorld（116 任务 20 app，emulator 上程序化判定，但 0 个商业 app、重置难）、AndroidLab、SPA-Bench（58 个商业 app、340 任务、真机评测，但完全不可控）、MobileWorld（4 个商业 app + MCP 设定）。模拟支：AppWorld（9 个 API-only 应用，无手机 GUI）、MobileGym（12 个商业 app、可重置、可验证，但跨 app 支持有限且应用浅）。OpenMobile-2 直接建在 MobileGym 的仿真框架上，把商业 app 数从 12 推到 35（新增 app 交互丰富度是旧版的 1.48× 动作/1.91× 页面跳转），加上 emulator 新配置的 62 个 app，总计 110+ 应用的训练场。

混合交互谱系：此前手机上的「GUI+工具」要么是外挂 MCP 服务器（MobileWorld）、要么是真实 app 上的 RPA 快捷方式、要么是 agent 从自己 GUI 轨迹里自造动作。OpenMobile-2 的差异点：工具由 app 自己暴露（app-native），读写的是与 GUI 同一份应用状态——taobao__add_to_cart 写的购物车就是屏幕上渲染的那个购物车，这使「工具通道 vs GUI 通道」的受控对比第一次可以在完全相同的任务、初始状态、判定条件下进行。

定位结论：单项技术（仿真环境、SFT+RL 配方、工具混合）均有前作，OpenMobile-2 的增量在于成体系且完全开放——环境、11.6K 轨迹、2K+ 可执行 RL 任务、训练配方、9B/27B 模型全开源，是开源手机 agent 迄今最完整的训练栈。

2.2 LaLa-World：LWM、生成式世界模型与 VLA 三条线的交汇点

LWM 支：V-JEPA 2-AC（把潜空间规划推到真机操作）、DINO-WM（冻结 DINOv2 编码器 + 数值动作条件）、JEPA-WMs（系统研究设计选择）、LeWorldModel/AdaJEPA（训练稳定性）。共同局限：动作条件数值化 → 单域训练。Newt 虽跨域但限于控制/游戏数据。生成式支：Wan、Cosmos-Predict2 等视频模型语言条件接口天然统一，但 MPC 规划要反复合成带视觉细节的未来帧，代价大；此前 V-JEPA 2 报告过「潜空间比视频生成规划快」，但两边动作接口、编码器、数据全不同，不是公平对比。策略支：Cosmos Policy 把 Cosmos-Predict2 微调成联合预测动作+未来帧的策略，证明视频预训练权重是策略学习的好初始化——LaLa-Policy 完全套用这个配方，只是把初始化换成潜空间世界模型。

最相关的先例是 Dynalang（Lin et al., ICML 2024, arXiv:2308.01399）：也主张「语言进世界模型」，但它把语言当观测/任务描述（预测未来文本），动作仍是数值；LaLa-World 则把语言当动作接口本身，方向正交。LaLa-World 还做了领域内第一组潜空间 vs 生成式世界模型的匹配对比（同 DINOv3-L/16 编码器、同语言条件、同数据、各约 0.8B 参数）——此前没人控制变量比过。

定位结论：LaLa-World =「语言接口」这一视频生成界的成熟设计在 LWM 上的系统性移植 + 首次匹配对比验证「不重建像素也够用」。

2.3 FRED：WAM 与扩散表征学习两线的交叉

WAM 支：多步共享骨干的 DreamZero（14B、效果好但 3.255s/步太慢）；单步解耦的 DiT4DiT（FRED 的直接底座，5B long-horizon 仅 16.7%）、Fast-WAM（用注意力掩码彻底不算未来视频）、AGRA（把中间特征对齐到冻结外部视觉编码器）。扩散表征学习支：REPA（Yu et al., ICLR 2025, arXiv:2410.06940）将去噪特征对齐 DINOv2 干净表征，17.5× 加速 DiT 训练；SRA 用扩散模型自身低噪声表征当目标；Self-Flow 无外部编码器的流匹配自监督；VideoREPA/MoAlign 扩展到 VDM。

FRED 的差异点：蒸馏目标不是外部编码器、也不是自身低噪声态，而是「本模型对真实未来观测（适度加噪 τ=0.25）的表征」。AGRA 对齐的是「与动作无关的通用视觉语义」（DINO 特征不含未来运动信息），FRED 对齐的是「这个机器人下一步会怎么动」——目标更贴任务。r=0.89 的表征-成功率相关性分析是这个差异点最有力的实证。

定位结论：FRED 不是又一个 WAM 变体，而是给「单步 WAM」这一整条线补上了缺失的训练目标——显式优化它真正依赖的那块表征。

2.4 三篇合起来的定位

三、问题定义

3.1 OpenMobile-2：把「环境规模化」形式化

具体问题：如何在保证「干净重置 + 程序化验证」的前提下，让训练环境覆盖真实商业移动应用的丰富度？

抽象问题：给定预算 B（轨迹条数固定），选择一组应用集合 A 与环境实现方式，最大化 agent 在未见环境上的成功率。OpenMobile-2 的核心洞察是把它拆成两个可独立优化的子问题：

• 保真-可控分解：app = 数据 schema + 交互图 + 视觉呈现。前两者决定「业务状态丰富度与导航深度」（架构属性，先于任何界面渲染确定），后者只影响感知难度。仿真是对「schema + 交互图」的忠实复刻，牺牲的只是视觉细节——而 agent 看到的本来就是原始像素，无 accessibility tree 可作弊。
• 形式化：给定任务指令分布 D、应用集 A、验证器族 V，求策略 π 最大化 E_{t~D}[V(π, t)]，约束是环境支持任意初始状态快照恢复（rollout 可重复）与状态 diff 判定（reward 可程序计算）。

类比：验证器之于 agent 训练，恰似损失函数之于监督学习——MobileGym++ Bench 的 215 个任务就是 215 个「带自动判分的考题」，且 GUI-only 与 hybrid 两种交互模式共用同一套考题（任务、初始状态、检查器完全一致），使「工具是否有用」成为可受控实验的问题。

3.2 LaLa-World：接口统一问题

具体问题：一个未来预测器能否同时吃 7 个异构控制数据集（动作维度 2D~7D、物理含义互不相同）+ 大规模无动作标注的图像/视频数据，还能比单域训练的专门模型更好？

抽象问题：把 LWM 的动作条件 c ∈ R^k 替换为语言条件 z ∈ V*（词序列），问题变为：求单一预测器 P_φ(e_{t-w+1:t}, z) ≈ e_{t+1}，使所有域的规划成功率之和最大。两个子设计对应两个子问题：

• 接口：数值动作 → 固定模板语言（“move the pusher 1.19 left and 0.68 up”），保留数值大小与方向；视觉变化 → 描述性语言（视频 caption、图像编辑指令）。语言成了异构动作空间的「公分母」。
• 读接口的模型：传统 LWM 用 AdaLN/特征条件注入数值动作，读不了文本；视频模型外挂文本编码器，多一套参数与开销。解法：预测器本身就是语言模型（Qwen3.5-0.8B），语言条件直接 tokenize 进输入序列，视觉潜层经 2 层 MLP + 3D 位置编码映射进同一嵌入空间，query token 读出下一隐状态，L2 损失端到端训练。

精妙之处：这个抽象把「动作空间的异构性」这个看似必须逐域解决的问题，转化成了「序列建模」一个已经被 LLM 解决了的问题——只要动作能写成 token，语言模型天生会处理。

3.3 FRED：表征质量问题的显式化

具体问题：单步 WAM 中，动作解码器条件 h = f_θ(ε | o_t, c)（VDM 前若干层、从纯噪声一次前向）质量不足，导致长程/OOD 任务失败。

抽象与洞察：把 VDM 重新解释为未来表征生成器——它的本职（去噪出未来帧）在单步 WAM 里被废弃了，真正被消费的产物是中间隐状态 h。于是问题变成一个标准的表征学习问题：如何让「从噪声生成的 h」逼近「真实未来观测的表征」？FRED 用自蒸馏给出最直接的答案：让模型自己（EMA teacher）在适度加噪的真实未来 o^τ_{t+1} (τ=0.25) 上提取目标表征 h_τ，student 从纯噪声生成 h 去对齐（KL 损失，teacher 中心化锐化防坍缩），同时给两者都喂 H=4 帧历史提供时序线索。总损失 L_video = L_FM + 0.01·L_SD，动作流匹配损失不回传 VDM 主干（stop-grad 消融 +3.2pp 证明这个隔离有益）。

反事实可验证：去掉自蒸馏 → 65.1，去历史 → 64.8，两个都去 = 底座 DiT4DiT 的 61.4（RoboCasa）——每个组件的必要性都被消融钉死。

四、问题解法

4.1 OpenMobile-2 解法：三层栈

（1）MobileGym++ 仿真环境

• 构建流程：先从源应用的数据 schema 与交互图出发写结构化规格（每个状态变更交互声明元素、动作、预期状态效应与检查），实现后再由人类标注者对照 live app 迭代打磨功能与视觉保真，交付前跑两道检查（覆盖检查：声明的每个交互都映射到实现；重放检查：代表性转移确实产生声明的状态变更）。
• 规模：35 个新建商业 app（淘宝、京东、携程、美团、滴滴、微博等）+ 28 个继承自 MobileGym，共 63 个仿真客户端；中位数每 app 37 条路由 / 166 个可交互动作 / 86 次页面跳转 / 交互深度 3；与同环境保留的 12 个旧 MobileGym 商业 app 相比，新增 app 达 1.48× 交互动作、1.91× 页面跳转。
• 跨 app 机制：剪贴板、app 间分享、支付跳转、媒体选择；所有 app 跑在共享可重置设备上，全状态可序列化恢复。
• 观察空间：纯像素（1080×2400），agent 读不到业务状态，坐标预测在归一化 999×999 空间。

（2）App 原生工具 + MobileGym++ Bench

50+ app 暴露 300+ 工具，设计原则是「每个工具对应用自身业务对象做一次结构化读或写，与对应 GUI 交互语义等价」。例如 Taobao：taobao__search_items(query, limit?)（读）、taobao__add_to_cart(item_id, sku_description, quantity)（写，校验 SKU 后写入 GUI 渲染的同一份购物车）、taobao__prepare_checkout(cart_line_ids)（打开确认页但不产生订单——故意留一步必须走 GUI，防止任务被工具「一键完成」而退化）。工具目录只在该 app 处于前台时挂载，agent 每步在 GUI 动作与可用工具间二选一。Bench 共 215 个任务（109 单 app / 74 双 app / 27 三 app / 5 四 app），指令只说用户目标、不点名控件或工具，判定用应用业务状态的 before/after diff，不依赖任何模型裁判。

（3）OpenMobile-Data-v2 与两段式训练

• 数据管线：为每个 app 构建状态-动作转移图 → 全局视图（功能总览）+ 局部视图（当前状态可达动作）条件下用 Gemini-3.1-Pro-Preview 生成用户指令 → 同一模型当 teacher 在环境里执行 → 只保留通过验证器（仿真：程序化验证；emulator：VLM 裁判）的成功 rollout → 步级过滤去掉无效循环。产出 11.6K 演示轨迹（含 1.7K 混合工具轨迹，合计 118,582 步级样本）+ 2K+ 可执行 RL 任务（指令+初始状态快照+验证器三元组）。
• 训练：Qwen3.5-9B / Qwen3.6-27B 两个底座各跑 GUI-only 与 Hybrid 两种 SFT（5 epoch，Megatron-SWIFT，每步一个样本：指令+历史+Thought 段落+一个工具调用）→ 从 Hybrid 检查点起 RL（GRPO 组相对优势 + DAPO 目标，verl 实现，32×H800，rank-64 LoRA 冻结视觉塔，奖励 r = 验证器 v × 工具加成 m_tool × 长度因子 ℓ − 0.2·格式罚 − 0.2·谎报罚）。

4.2 LaLa-World 解法：语言条件化的 LWM 全家桶

（1）数据侧：7 个控制数据集（Wall、PointMaze、Push-T、MetaWorld、Rope、Granular、DROID，合计约 500 万转移；DROID 取 150 万、约为原始 20% 以免独大）的动作经固定模板转语言；OpenVid-1M 视频片段（Qwen3-VL-30B 生成相邻帧变化描述）、OmniEdit/ShareGPT-4o 图像编辑对（编辑指令即条件）补充约 136 万「视觉变化描述」转移。每个控制转移同时配数值与定性两种描述。

（2）模型侧：冻结 DINOv2-S/14（或 DINOv3-L/16）编码器；Qwen3.5-0.8B 当预测器主干，语言 token 与视觉 patch token（2 层 MLP 投影 + 时间×行×列的 3D 位置编码）同序列进模型，每个目标 patch 一个可学习 query，query 输出经预测头映回编码器特征维度，L2 损失。明确不用本体感知状态（域特定，损害跨域通用性）。可视化用单独训的 12 层 transformer 解码器（L1+LPIPS），不参与世界模型训练。

（3）规划与微调：MPC + CEM，候选动作序列经训练模板语言化后自回归 roll out H 步，代价 = 末态潜层与目标图像编码的欧氏距离。LaLa-Policy 在预测器里加 action query，输出接 Isaac-GR00T 式 DiT action head（动作分布建模、迭代去噪出动作块），未来预测目标仍是 E_θ(x_{t+N})。

（4）彩蛋：可通信世界建模。CEM 一条轨迹要想象 4,50054,000 次；换成 LLM actor（Claude Opus 5 / GPT-6 Astra）用自然语言提出候选动作序列、LaLa-World 只返回代价，rollout 降到 896 次（约 100× 减少），Wall 上 Claude Opus 5 拿 100.0%。语言接口让世界模型从「搜索引擎」变成了「可对话的评估器」。

4.3 FRED 解法：两项设计 + 一个训练原则

• 自蒸馏：teacher = student 的 EMA 拷贝（逆幂次衰减预热）。student 从 ε~N(0,I) 生成 h；teacher 对 o^τ_{t+1} = (1−τ)o_{t+1} + τε（τ 默认 0.25）提取 h_τ；两者各经 patch 级投影头后，student 侧 softmax 温度 γ1、teacher 侧 logits 减均值再锐化（γ2）防坍缩，最小化逐 patch 的 KL(p_τ‖p)。
• 历史条件：student/teacher 都以 H=4 帧历史 + 当前帧为条件，给「机器人正在怎么动」的时序线索。
• 训练原则：L_video = L_FM + 0.01·L_SD；动作流匹配损失 L_FM(φ) 不更新 θ（stop-grad）。5B 用 Wan2.2-TI2V-5B（第 19 层特征、16 层 DiT 动作头），14B 用 Wan2.1-I2V-14B（第 25 层、24 层 DiT）；蒸馏层 = 动作条件层。推理：单次前向得 h，Euler ODE 4 步去噪出动作块。

五、评估指标与实验证据

5.1 OpenMobile-2：五基准横跨三类环境

主指标一律是成功率（AndroidWorld 报 Pass@1/Pass@3，MobileGym 另报进度率 PR）。评测矩阵刻意覆盖 emulator 真实 app（AndroidWorld/MobileWorld）、物理真机（SPA-Bench L3）、仿真商业 app（MobileGym/MobileGym++ Bench GUI 与 Hybrid 双模式）——同一个模型要在三种环境里都赢，才排除「只会过拟合一种环境」的解释。

关键分析实验（这三个设计比主表更能证明论点）：

1. 覆盖率实验：固定 2K 轨迹预算，训练 app 数从 15 → 53（InD 数据占比 100%→39.1%），held-out AndroidWorld Pass@1 从 60.7 涨到 67.5，InD 只从 73.7 微降到 71.4——证明「应用多样性」本身是泛化的因果变量，不是数据量。
2. 工具有效性实验：混合 SFT 前，Qwen 模型工具调用只出现在 20102/215 个任务、收益仅 2.84.2 点，GUI-Owl 甚至会退化；混合 SFT 后调用覆盖 113/128 个任务、110/115 个不同工具，工具带来的提升扩大到 5.6/10.3 点且轨迹平均缩短 4.8/5.8 步——工具接口摆在那里没用，教会「何时用」才有用。
3. 污染检查：text-embedding-3-large 下 SFT 指令与四个 benchmark 相似度 >0.7 的仅 0.39%~2.25%，无一 >0.9；RL 任务目标 6.1% >0.7——成绩不是背题。

5.2 LaLa-World：规划、匹配对比、策略三线

（1）MPC 规划（CEM，成功率%）：

第二组（Rope/Granular/RoboCasa-R/RoboCasa-P/DROID）平均 50.5 vs JEPA-WMs 44.8；RoboCasa 是训练完全未见的域，零样本 40.6/46.9 为所有方法最高。单项最大增益 Push-T：68.8→81.2。注意 LaLa-World 在 PointMaze 上（56.2）并不比 JEPA-WMs（60.4）好——联合训练不是处处占优，作者如实报告。

（2）潜空间 vs 生成式匹配对比（同 DINOv3-L/16、同语言条件、同数据、预测器各约 0.8B，RAEv2 从公开预训练权重起步）：LaLa-World 2 小时达到 RAEv2-step5 12 小时的水平（6× 训练成本优势）；最终规划成绩 59.4% vs RAEv2 最优 48.0%；推理快 2.9×（step1）/ 13.9×（step5）。脚注算了一笔账：给 RAEv2 跑 50 步去噪的评测约需 8 张 H100 烧 25 天——匹配对比本身也是对「像素生成是规划必需品」这一假设的否定。

（3）图像/视频数据的作用：全数据平均 61.6 vs 仅控制数据 59.3；动作改述（“move the gripper”→“shift the robot hand”）下，仅控制数据掉 6.8 分（59.3→52.5），全数据几乎不掉（61.6→61.0）——语言多样性换来了措辞鲁棒性。

（4）LaLa-Policy：LIBERO 平均 SR 97.7（Cosmos Policy 用 Cosmos-Predict2 初始化 97.3、π0.5 96.9、OpenVLA-OFT 97.1、CogVLA 97.4）；RoboCasa 50 demos 57.3（Cosmos Policy 56.0、π0.5 54.5）、300 demos 66.4；推理每轨迹 LIBERO 0.86s vs Cosmos Policy 4.45s（×5.2）、RoboCasa 2.12s vs 11.71s（×5.5）。初始化消融：LaLa-World 初始化（57.3）> Qwen3.5 裸权重（56.8）> 随机（55.5），RoboCasa 300 demos 下 66.4 vs 随机 65.1——世界模型预训练的先验确实迁移到了策略，且增益在小数据时更明显。

（5）机制检查：ImageNet 变换检索 MRR 0.856（空语言 0.026、直接用源潜层 0.024；IWM 强 jitter 发表值 0.85）——预测器真的在用语言条件「想象」指定变换，不是靠视觉惯性。语言敏感性分析里 Nemotron 验证损失接近 Qwen3.5 但方向词反转时分数几乎不变——低预测损失 ≠ 模型听懂了动作语义，这组对照是全文最漂亮的机制实验。

5.3 FRED：真机两组 + 仿真消融

（1）DROID 训练、Franka Research 3 全新环境零样本（成功率/长程进度率%）：

14B 的 OOD 从最强对手 10.4 到 52.1（5 倍）、长程 61.7→81.7——「跨域动词泛化」（Reveal、Stamp 这类 DROID 指令里没有的动作）是差距最大的地方，直接支持「表征质量决定泛化」的论点。

（2）OpenArm 人形 + 人-机共训（553 条机器人遥操作演示 192K 帧 + 1,187 条人类第一人称视频 321K 帧）：

• 仅机器人数据：atomic 91.7（追平 GR00T N1.7 的 91.7）、composite 70.8（次优 DiT4DiT 50.0）；加人类视频后 97.2 / 75.0。
• 人类技能迁移（任务只出现在人类视频里）：任务成功 19.4（DiT4DiT，最优对手）→ 50.0；指令遵循 55.6→97.2；DreamZero/Fast-WAM/AGRA 迁移成功全为 0。人类视频无需动作标签——视频目标直接喂给 VDM，表征学习把「人怎么做」翻译成「机器人动作条件」，这是 FRED 框架的「免费午餐」。

（3）机制与消融（RoboCasa Kitchen 68.8 vs DiT4DiT 61.4）：

• 相关性分析（最核心的实验设计）：横评 Base WAM / Self-Flow / SRA / VideoREPA / DMD2 / FRED 六个变体，任务成功率与「单步生成表征的探针精度」相关 r=0.89，与单步视频质量 FVD 仅 r=0.24、与干净未来表征质量 r=0.49。这组实验把「WAM 该优化什么」从直觉变成了测量——不是视频好看，不是通用表征强，而是那块被动作解码器吃的中间表征。
• 组件消融：去自蒸馏 65.1、去历史 64.8、全去 61.4；蒸馏设计：τ=0.25 最优（0.00 干净未来 65.3、0.50/0.75 更差）、第 18 层最优（浅层 10 层 57.5、深层 26 层 64.7）、λ_SD=0.01 最优（0.001 掉到 62.7）、stop-grad +3.2（65.6→68.8）。
• 表征学习横评：RoboCasa 68.8 vs VideoREPA 64.3 / SRA 62.9 / Self-Flow 61.8；GR-1 Tabletop 54.8 全场最高；LIBERO 98.2。跨底座有效：Cosmos-Predict2.5-2B 上 56.7→62.1。大预算复跑（batch 256）达 75.4，超 RLDX-1（70.6）、GR00T N1.7（70.8）、Xiaomi-Robotics-1（74.5）。
• 推理延迟：5B 五帧 0.136s（DiT4DiT 单帧 0.111s、π0.5 0.261s）；14B 0.406s vs DreamZero 3.255s（约 8×）——表征增强不牺牲单步架构的效率优势。

六、效果优势的根源解释

6.1 OpenMobile-2：为什么开源栈能追上闭源

对比对象：UI-Venus、GUI-Owl、MAI-UI 等闭源数据训练的开源/闭源模型。它们曾经有效，因为大规模私有轨迹确实是最直接的交互经验来源。

baseline 的根本局限：不是模型弱，而是经验分布被环境决定了。闭源厂商在自有真实 app 上采数据，覆盖广但无法重置 → RL 不可行、跨 app 工作流难以合成；开源环境 app 少且浅 → SFT 数据多样性天花板低。关键证据是覆盖率实验：数据量固定时仅提高 app 多样性就有 +6.8 held-out 增益——瓶颈在环境分布的宽度，不在轨迹数量。

因果链：高保真可控仿真（全状态序列化）→ ① 跨 app 长程任务可规模化合成与程序化验证（2K RL 任务 × 自动 reward）→ RL 与合成数据成为可能；② 35 个深商业 app（中位 166 动作/86 跳转）→ 数据分布覆盖真实使用形态 → 真机迁移（SPA-Bench 31.9→57.4，模拟到物理的 gap 主要在感知细节而非业务逻辑，模型在多样仿真里学到的「导航-检索-填写」流程知识直接复用）；③ 混合轨迹教会「何时用工具」的判断而非具体 API（未见 MCP 工具 35.0→45.0 的迁移为证）。每一步都有对应实验支撑（论文实验已支持）。

外部对照：AndroidWorld（Rawles et al., ICLR 2025, arXiv:2405.14573）本身就是为了「可复现、程序化判定」而设计的 emulator 基准，其设计哲学（状态检查而非截图比对、动态参数化任务）与 MobileGym++ 同源，但它在真实 app 上的重置难题被社区公认（后续 MobileWorld 等工作明确指出其饱和与局限）——这印证了「真实 app 不可控」是领域共识瓶颈而非本文一家之言。UI-TARS（arXiv:2501.12326）代表另一条路：用大规模自采轨迹 + 反思在线迭代在数百台虚拟机上采数据闭源训练——它证明了交互经验的规模决定性能，但没有解决「可重置环境」问题，其数据管线本质上仍受真实 app 状态不可控约束。OpenMobile-2 与这两者的差异：把「可控性」做成第一设计原则，用保真换可控的代价由混合 GUI-工具通道和仿真多样性对冲。

6.2 LaLa-World：为什么语言接口 + 潜空间必然更优

对比对象一（LWM 们）：单域训练的根本局限是动力学知识无法共享。2D 的 Wall 和 7D 的 DROID 表面上动作空间不兼容，但「物体在推力下平移」的局部规律是共享的——数值动作接口把这个共享结构锁死了。语言化后，跨域合并训练（一个预测器管 10 个域），Push-T 68.8→81.2、平均 64.6→72.1：机制变化 = 多域数据在同一参数空间里互相正则化（论文实验已支持平均分与多个单项；「互相正则化」的具体机制表述为阅读者推测，论文未直接证明）。

对比对象二（RAEv2 生成式）：匹配对比下的 6×/13.9× 优势根源不在架构好坏，而在目标函数的信息预算：规划只需要「潜层离目标多远」这一个标量，潜空间预测一步前向直接给出；生成式必须把视觉细节渲染完才能算同一标量——多余信息对规划无用却全额付费。59.4 vs 48.0 的性能差还说明：放弃像素重建不是损失而是去掉了与控制无关的容量占用（论文实验已支持；「容量占用」的机制解释为推测）。

外部对照：Dynalang（Lin et al., ICML 2024, arXiv:2308.01399）从完全不同的设定（DreamerV3 系世界模型、语言作为观测与任务描述而非动作）出发得出一致结论——「语言信号通过未来预测来落地比直接映射到动作更有效」，两项工作互相印证「语言 × 未来预测」组合的普适价值；差异在于 Dynalang 未触及动作接口统一与异构数据合并。RAE/REPA 一系（Zheng et al., ICLR 2026；Yu et al., ICLR 2025, arXiv:2410.06940）证明生成模型可在 SSL 表征空间里工作（RAEv2 甚至用 DINOv3 当编码器），LaLa-World 的对比恰好在「同一表征空间、同一接口」下剥离了「生成 vs 预测」这最后一个变量——REPA 论文「扩散模型训练瓶颈在内部表征质量」的论断与 FRED 的发现也形成呼应（见 6.3）。V-JEPA 2-AC 曾报告潜空间规划快于视频生成基线，但接口/编码器/数据均不匹配；LaLa-World 把它变成受控结论。

限定条件：PointMaze 上 LaLa-World 落后 JEPA-WMs（56.2 vs 60.4）——单域极致优化仍有优势场景；预测器仅监督下一步（多步 roll out 靠自回归累积误差）；规划视界 ≤6 步；策略验证止于仿真。论文 Future Directions 一节对此诚实列出。

6.3 FRED：为什么「对齐观测未来」是对的目标

对比对象：DiT4DiT 底座的局限是训练目标与被消费的产物脱节——流匹配损失优化的是视频去噪轨迹，动作解码器吃的却是单步隐状态；这个隐状态在常规训练里只是「顺带」变好（图 1a 探针精度随训练上升但始终有差距）。AGRA 的局限是对齐目标错位：DINO 特征是通用视觉语义，不含「这个机器人接下来怎么动」的任务信息。

因果链：自蒸馏以「EMA teacher 对 τ=0.25 加噪真实未来的表征」为目标 → 单步生成表征被直接拉向未来运动信息（CKNNA 与探针精度双升，论文实验已支持，图 1）→ 历史条件补足时序推断所需的速度/方向线索（消融 +4.0，已支持）→ 表征质量与成功率强相关（r=0.89，已支持）→ 长程（+20.0 vs DreamZero）、OOD（+41.7）、人-机迁移（+30.6 vs DiT4DiT）大幅提升（已支持）。stop-grad 的 +3.2 说明反向的因果也成立：让动作梯度去扭曲视频主干反而有害——表征学习与动作优化应当解耦。

外部对照：REPA（Yu et al., ICLR 2025, arXiv:2410.06940）在纯生成任务上证明「扩散 Transformer 的瓶颈在内部表征、对齐外部高质量表征可 17.5× 加速训练」——与 FRED「WAM 的瓶颈在单步表征」的判断同构（方法相似谱系）；但 REPA 对齐的是与任务无关的 DINO 语义，FRED 的横评（68.8 vs VideoREPA 64.3）直接量化了「对齐目标贴任务」的增量——这组对比同时构成对 REPA 思路在 WAM 场景下的限定：外部通用表征不是最优目标。SRA（Jiang et al., ICLR 2025）用自身低噪声表征当目标，与 FRED 的 τ=0.25 teacher 设计同源；FRED 的 τ 消融（0.25 > 0.00 > 0.50）把「中间噪声水平表征最强」的直觉钉成了实验事实。在本次检索范围内未发现与「以观测未来为 WAM 蒸馏目标」直接竞争的同期工作（AGRA 是最近邻，已如上对照）。

6.4 综合判断

• 多项研究共同支持的机制：① 环境可控性（可重置+程序化验证）是 agent 训练信号规模化的前提——AndroidWorld/MobileGym/OpenMobile-2 三代工作一致；② 放弃像素重建不损失（甚至提升）规划与控制所需的预测质量——LaLa-World 匹配对比 + FRED r=0.89（FVD 无关）+ V-JEPA 2 系先例；③ 表征对齐类正则是扩散/流模型训练的高杠杆组件——REPA→SRA→VideoREPA→FRED 谱系一致，且 FRED 进一步表明对齐目标应贴任务。
• 仍属推测的部分：LaLa-World 跨域增益的「互相正则化」机制、OpenMobile-2 真机迁移中「流程知识 vs 感知鲁棒」的贡献拆分（论文未做中间层分析）。
• 失效条件：LaLa-World 在单域极致任务（PointMaze 精细控制）、长视界规划上可能失利；FRED 依赖底座 VDM 的语言理解（无人类视频共训时指令遵循 0%）、人-机迁移的表征对应仍是隐式的；OpenMobile-2 的 RL 增益依赖训练-评测环境对齐（其他 benchmark 上 RL 增益有限，论文自述）。

七、必要知识反推

假设一个零知识的人要做出这三篇工作，最少需要掌握什么？

7.1 领域知识层

• 移动 agent 的动作闭环：截图→坐标动作→状态变更→验证，以及 accessibility tree 缺席时纯像素输入的含义（OpenMobile-2 不懂这个就无法设计「无业务状态泄漏」的观察空间）。
• 商业 app 的解剖学：数据 schema、路由图、业务对象（订单/预算/行程）如何随交互演化——这是「先写规格后渲染」构建法的全部前提。
• 世界模型的两种形态：潜空间预测（JEPA 系）与像素生成（扩散系）的代价结构与适用场景；MPC/CEM 规划为何需要廉价 rollout。
• 扩散模型推理解剖：去噪 timestep 的含义、中间隐状态的语义层级（哪一层适合喂动作头）、EMA teacher 与自蒸馏防坍缩的标准技巧（DINO/iBOT 一脉）。
• 机器人数据生态：DROID/OpenArm、遥操作采集、人类视频无动作标签这一数据形态的存在。

7.2 方法论知识层

• SFT→RL 两段式配方（GRPO/DAPO、组相对优势、KL 约束、reward shaping 的各项含义）。
• LLM 的 tokenization/嵌入机制——LaLa-World 把视觉 patch 与语言 token 放进同一序列，必须懂「一切皆 token」的抽象。
• 蒸馏与表征对齐谱系：REPA/SRA 的损失设计与「中间噪声表征最强」的经验规律。
• 探针评测（attentive probe）、CKNNA、FVD 等表征/生成质量度量——没有这些工具，FRED 的 r=0.89 分析做不出来。
• 基准设计的受控原则：同任务双模式评测、before/after diff 判定、污染检查（embedding 相似度）。

7.3 工程知识层

• 浏览器托管仿真的全状态序列化与并行实例化；vLLM colocated rollout + FSDP2/Ulysses 序列并行的 RL 基础设施（32×H800 上跑多轮 rollout 的现实工程）。
• verl/Megatron-SWIFT/Diffusers 等训练栈；Wan2.1/2.2、Cosmos-Predict2.5 等 VDM 底座的微调细节（学习率、timestep 采样分布、动作归一化 Q01-Q99）。
• 真机评测协议：每任务 12 trial、部分计分、步数上限——机器人实验统计效力的最低保障。

7.4 知识融合的关键节点

• OpenMobile-2 的化学反应点：把「app 是状态机」的软件工程视角与「agent 是策略学习」的 RL 视角焊在一起——schema+交互图先于 UI 的构建顺序，本质是让环境为验证器而生，而非反过来。
• LaLa-World 的化学反应点：意识到「语言模型的输入接口本身就是统一异构条件的现成方案」——不需要发明新模块，只需要把预测器换成 LLM 并把视觉 token 投影进去。
• FRED 的化学反应点：把 VLM 时代的「读中间层」直觉迁移到 VDM——分类头读 BERT 中间层与动作头读 VDM 第 19 层，是同一个「中间表征最有信息量」原理在不同模态的实例化；再用自监督学习（DINO 式 EMA 自蒸馏）把它训练好。

八、论文中可以提取的通用性灵感

灵感 1：接口统一比算法统一更省力（跨域迁移类）

核心思想：当多个异构数据源无法在数值层面对齐时，寻找一个所有源都能无损表达的公共符号系统（如自然语言），把「异构性」问题转化为「序列建模」问题。

论文证据：LaLa-World 用固定模板把 2D~7D 动作与视频编辑指令统一为语言条件，一个 0.8B 预测器跨 10 个域平均分 61.6，超过所有单域训练基线；MRR 0.856 证明语言条件被真实使用。

推广场景：① 多软件系统的 API 调用日志统一为自然语言意图序列做异常检测；② 多家医院的异构电子病历字段统一为描述语言后训练预后模型；③ 多游戏引擎的输入指令统一后训练通用游戏 agent；④ 多机械臂本体的动作空间统一后合并数据训练操作策略。

灵感 2：可控性与保真度可以分解购买（关注点分离类）

核心思想：「真实」不是不可分割的整体——把环境的语义骨架（状态转移结构）与感知皮肤（视觉呈现）分离实现，前者追求忠实、后者允许近似，往往能用 20% 的保真成本买到 80% 的训练信号。

论文证据：MobileGym++ 的 35 个 app 在数据 schema 与交互图层面忠实复刻（中位 166 动作/86 跳转），视觉为高保真近似；训练出的 agent 在纯像素输入下真机 SPA-Bench 从 31.9 提到 59.6。

推广场景：① Web agent 训练器：忠实建模站点状态图+简化渲染；② 电商压测环境：复刻库存/订单状态机而非完整前端；③ 对话系统模拟用户：建模意图转移结构而非逐词模仿；④ 金融回测：分离市场微观结构规则与报价精度。

灵感 3：优化「被消费的表征」而非「产出的表象」（机制类）

核心思想：级联系统中，下游真正读取的是中间表征而非最终输出；把训练显式对齐到那块被消费的表征上，比优化端到端损失或改善最终输出外观都更有效。

论文证据：FRED 的 r=0.89：成功率与单步生成表征探针精度强相关，与视频质量 FVD 仅 r=0.24；对齐后 OOD 10.4→52.1。stop-grad 消融进一步表明让下游梯度污染上游反而有害。

推广场景：① 检索增强生成中对「被检索块嵌入」做任务对齐而非通用对比学习；② 语音识别中优化下游 NLU 消费的 acoustic token 而非音素错误率；③ 编译器优化热点函数的 IR 而非源码；④ 推荐 system 对曝光预估模型的隐层（而非点击率）做校准蒸馏。

灵感 4：工具的价值在于「何时用」的判断，接口摆好只是前提（信号利用类）

核心思想：给系统增加新能力通道（工具、API、捷径）本身几乎不产生收益；必须用混合示范或专门的训练信号教会「选择通道的时机」，收益才会释放，且释放后的收益会外溢到未见过的同类通道。

论文证据：OpenMobile-2 混合 SFT 前，app 原生工具只在 20102/215 任务被调用、收益 2.84.2 点且可能负收益；混合训练后覆盖 128/215 任务、收益 5.6/10.3 点、轨迹缩短 4.8/5.8 步；未见 MCP 工具场景 35.0→45.0。

推广场景：① 企业内部 AI 助手接入新工具后需要「何时调用」的示范数据而非仅 API 描述；② 人机协作界面中快捷键的采纳训练；③ 数据库查询系统学习何时走索引捷径 vs 全表扫描；④ 多模型路由：何时用小模型何时升级大模型的决策需要专门训练。

灵感 5：无标注数据通过「想象目标」进入有监督管线（紧凑性/跨域迁移类）

核心思想：缺乏某个监督维度（如动作标签）的数据，仍可通过「描述变化」的方式为预测式目标函数提供训练信号——前提是模型的接口能消化描述。

论文证据：LaLa-World 把 OpenVid 视频 caption、OmniEdit 编辑指令作为「视觉变化条件」并入训练，平均分 59.3→61.6 且措辞鲁棒性大增；FRED 的人类视频（无动作标签）经视频目标共训，让仅存在于人类演示中的任务成功率 0→50.0。

推广场景：① 无标注手术视频经「操作描述」进入机器人手术策略预训练；② 无标签 UI 操作录屏经意图描述进入 GUI agent 训练；③ 无棋谱的对弈录像经评论文本进入棋类模型；④ 无售后记录的产品使用视频经故障描述进入诊断模型。

灵感 6：把搜索预算从「采样」搬到「语义提案」（效率类）

核心思想：当评估一个候选的代价远低于枚举候选时，让强先验的提案者（LLM、人类专家）用语言提出少量高质量候选，廉价评估器只回传标量代价——闭环对话可替代暴力采样搜索。

论文证据：LaLa-World 的可通信世界建模：LLM actor 替代 CEM 后 rollout 从 4,50054,000 次降到 896 次（约 100×），Wall 上 Claude Opus 5 达 100% 成功率。

推广场景：① 药物分子设计：LLM 提候选分子、打分器回传结合能；② 代码优化：模型提案补丁、测试套件回传通过率；③ 实验科学：LLM 提实验方案、仿真器回传指标；④ 生产调度：专家规则提案、仿真评估迭代。

附录：三篇论文一句话核心结论

• OpenMobile-2：环境可控性与商业丰富度可以兼得——35 个高保真可重置仿真商业 app + 11.6K 轨迹 + 2K 可验证 RL 任务的全开源栈，把开源手机 agent 推到 AndroidWorld 79.9、真机 SPA-Bench 59.6 的开源最优，并证明「应用多样性」与「混合工具训练」分别是泛化与工具收益的因果变量。
• LaLa-World：语言是潜空间世界模型的统一动作接口——一个 0.8B 语言模型预测器联合训练 7 个控制数据集与图像/视频数据，平均规划分超单域 LWM 基线，并在首次匹配对比中以 6× 训练、13.9× 推理优势压过生成式世界模型，微调成策略后再以 5.5× 推理优势打平 Cosmos Policy。
• FRED：单步 WAM 的性能瓶颈在被消费的未来表征质量——以 EMA teacher 对 τ=0.25 加噪真实未来的表征做自蒸馏目标，使表征探针精度与成功率相关达 r=0.89，真机长程 61.7→81.7、OOD 10.4→52.1、人类视频技能迁移 19.4→50.0。