MAI-Gym + OpenGCUA + JevAgentHarness 合读：GUI Agent 的平台、执行与决策三层 harness 工程

论文一：MAI-Gym: An Open All-in-One Platform for GUI Agent Evaluation and RL Training across Mobile and Computer Environments（arXiv:2610.20939） 论文二：OpenGCUA: Toward a Fully Open Stack for Generalist Computer Use（arXiv:2610.22200） 论文三：JevAgentHarness: Benchmarking, Deploying and Training Decision Models That Share Control with LLMs（arXiv:2610.21412） 代码仓库：MAI-Gym / JevAgentHarness / OpenGCUA 的 harness 实现、prompts 与 8 模型评测轨迹已开源 发表时间：均为 2026 年 10 月（10 月 14/15 日提交 arXiv） 机构：论文一、二为 Alibaba Token Hub（MAI-UI Team，两篇作者名单高度重叠，系同一团队的连续工作）；论文三为 UIUC + Princeton + Google 合作（Kunlun Zhu、Tao Feng 一作，Heng Ji、Jiaxuan You、Xiangru Tang 等指导） 领域标签：cs.AI / cs.CV / cs.CL，GUI agents、agentic RL、agent 基础设施

一、论文背景：当模型足够强，瓶颈移到了 harness

要用初学者能懂的方式理解这三篇论文，先要弄清几个基础概念。

GUI agent（图形界面智能体）是什么？ 就是让大模型『看着屏幕、操作电脑』的系统：模型接收截图作为观察，输出点击坐标、输入文本、拖拽、快捷键等动作，代替人在手机或电脑上完成任务，比如订票、填表、整理文件。computer-use agent（CUA） 是它在桌面端的称呼。这个方向近两年进步飞快：前沿模型报告的最大增益越来越多来自 agentic 任务——修真实代码仓库的 issue、操作桌面应用、在终端完成任务、按领域政策做客服。

harness（运行具装）是什么？ 它是夹在模型和环境之间的那层程序代码：负责把截图和历史拼成模型输入（上下文构造）、解析模型输出为可执行动作、决定何时截下一张图、保留多少历史、何时停止、记忆怎么读写。Claude Code、Codex、OpenHands 这些产品本质上都是『模型 + harness』的组合。MAI-Gym 论文引用了他们自己的前序发现（StructAgent）：同一个模型换一套 harness，基准分数就会变——也就是说你测的其实不是模型本身，而是『模型 + harness』这个组合。这直接动摇了只比模型分数的评测逻辑。

在线 RL（online reinforcement learning）与可验证奖励是什么？ DeepSeek-R1 之后，『让模型在环境里反复试错、用能自动判分的奖励信号更新参数』成了提升推理与 agent 能力的主流路径，在数学（答案可自动判对错）、代码（测试可执行）领域大获成功。它的前提是：环境便宜、可验证、任务充足。数学题可以共享判分基础设施，代码任务可以共享沙箱——但 GUI 环境两者都不满足，这就是第一篇论文的出发点。

决策模型（decision model）是什么？ JEV 这类模型不做文本生成，而是接收『状态 + 一个选择题（选项列表）』，直接输出每个选项的概率——像 Kahneman 笔下快速的 System 1，而不是慢速深思的 System 2。论文记录：一次 JEV 调用只要 LLM 调用 28% 的时间和 2.6% 的价格。harness 里大量决策本质就是选择题（下一个调哪个工具？该不该停？），这是第三篇论文的出发点。

为什么 2026 年 10 月 harness 突然成了论文主角？三篇分别点出三个痛点：

1. 环境贵且不可规模化。代码任务可以共享一个沙箱跑测试，但 GUI 任务每一次尝试都会改变设备状态（点了按钮、改了设置、动了文件），无法并发共享；每次尝试都需要一台专属的、可精确重置到初始状态的手机或虚拟机，并在结束前做几十次基于截图的多模态模型调用。大规模在线 RL 需要几千个这样的实例同时在线。已有 gym 或只覆盖单一平台、或只提供任务不给训练代码，最多的也只有几百并行环境。
2. 执行范式低效。传统 GUI agent 每步只做一个动作、看一次截图，一个任务要几十上百次模型调用。OpenGCUA 观察到一个他们称为『route flip』的行业转折：OpenAI 为 GPT-6 Astra 发布的官方 computer-use 指南开始推荐模型写并运行短程序（用 PyAutoGUI、Playwright），而不是依赖旧的鼠标键盘 computer tool；OSWorld-v2 上前沿 agent 的动作也日益转向代码、API 与文件操作而非点击。厂商文档的变化比基准分数更早显影了范式转移。
3. 每个决定都太贵。harness 里每个选择题都调大模型，长任务又慢又贵——JevAgentHarness 引用：给一个公开 agent 排行榜做评测花了约 4 万美元。而其中大多数调用是例行的选择题，理论上可以被便宜的小模型包办。

这三篇论文恰好分别回应这三个痛点，构成 GUI agent 的『平台层（环境供给）—执行层（控制流）—决策层（成本分层）』三层 harness 工程。

二、论文定位和关联工作

2.1 MAI-Gym：一体化 gym 平台，补齐两派各自的短板

MAI-Gym 把现有工作分为两派并给出详细对比表（论文 Table 1）：

• 基础设施派：BrowserGym（统一 web 基准接口）、WebGym（256 并行）、MobileGym（256 并行、mocked apps）、SCALECUA（600 并行、开源在线 RL）、ClawGUI 等——让评测或训练可复现，但各覆盖一个平台，放出训练代码的最多 600 并行环境；
• 数据派：CUA-Gym（mocked 网站）、Gym-Anything（真实软件）、GUI-Genesis（每任务生成环境）、PhoneWorld（预定义世界）等——贡献新 app 和任务，但不放训练代码，也跑不了已有基准。

两派短板互补纠缠：可扩展基础设施需要持续的有意义任务供给，合成任务又需要高效的执行评估才有用。MAI-Gym 是对比表中唯一同时做到：跨 3 平台、10 个基准评测、开源在线 RL、2 万并行环境、mocked app 与跨应用世界（文件与 app 状态共享）、代码 + VLM 双奖励。模型侧它延续 DigiRL、DistRL、MobileRL、WebRL、ComputerRL、UI-TARS-2、Qwen-UI-Agent、UI-Venus-2 一脉的在线 RL 路线，但主张『一个平台跑所有域』而非每域自建一套栈——论文特别指出常见配方是每域训一个专家再参数平均合并，而 MAI-Gym 因为手机和桌面走同一条 rollout 路径，可以单 run 联合训练。任务合成方面它综合了 ZeroGUI/AutoPlay/OS-Genesis（VLM 判官，易被假阳性破坏 RL）与 GUI-Genesis/AutoWebWorld/InfiniteWeb（代码验证，范围窄）两条线的教训，以及 WebRL/TRACE/GenEnv『任务跟着学习者走』的思想。

2.2 OpenGCUA：给 GCUA 下定义并开源全栈

论文借 Agents’ Last Exam 的五层系统分解（模型 Brain / GUI 感知 Eyes / 编排 Body / 工具 Hands / 运行时 Feet）指出一个精妙的逻辑漏洞：拥有全部五层只说明『能』用 GUI 和 CLI，不说明『会选』——一个每步都点十几个屏幕而不肯跑一条 shell 命令的 agent，和一个每步都选对接口的 agent，在层视图里无法区分。于是 GCUA 的定义落在每一步的三个决策上：观察什么、如何行动、如何组织工作。

论文用统一形式化把现有 agent 家族全部写成 GCUA 的特例（这是全文最漂亮的一张表）：

相关工作里，CoAct-1、ComputerRL、UltraCUA、ToolCUA、StateAct 也在探索 GUI 与程序的混合执行，RecreationWorld/WeaveBench 提供相应环境与基准；OpenGCUA 的差异在于：给出统一形式化定义、8 个前沿模型的系统消融、真实设备 harness 与跨设备 SDK 的开源，以及『模型尚在训练中、先开源 harness 与轨迹』的分阶段发布策略。

2.3 JevAgentHarness：决策模型的评测与委托理论

决策模型（JEV 及开源模仿者 Intern-Decision、StartLux-Decision、OpenJev 系列）此前只在固定问题集上测试；路由器与级联（FrugalGPT、AutoMix、RouteLLM 一系）只研究『这个调用发给哪个模型』；REFLEX 用单一全局阈值决定何时把动作交回 LLM。三者都没回答核心问题：决策模型放进一个真实 agent 里、错误会沿轨迹传播、每步都面对 agent 自己造成的状态时，还灵不灵？JevAgentHarness 补上这块空白：三层评测 + 逐决策点阈值级联 + 在 agent 自身状态上后训练的 4B 模型，并用预注册实验的统计纪律给出答案。

2.4 横向定位：三层互补而非竞争

三篇的关系不是竞争而是分层互补：MAI-Gym 造训练场（环境层），OpenGCUA 定执行范式（执行层），JevAgentHarness 管决策成本（决策层）。值得注意的是 MAI-Gym 训练所用的 Qwen-UI-Agent 正是 OpenGCUA 团队的前作，两篇是同一团队从『平台』到『范式』的连贯布局（MAI-Gym 论文也提到该平台被用于训练 Qwen-UI-Agent）；而 OpenGCUA 的 harness-to-model 决策移交（把决策权从规则移给更强的模型）与 JevAgentHarness 的决策委托（把决策权移给更便宜的小模型）是同一枚硬币的两面——都在重新划分『谁在哪一步做主』，只是方向相反：一个向上移交换能力，一个向下委托换成本。

三篇的系统性对照如下表，读者可以用它快速把握差异与呼应：

三行对照还揭示了一个容易忽略的事实：三篇对『谁做验证』给出三种答案——MAI-Gym 用独立生成的代码验证器、OpenGCUA 用模型程序里的 assert 加保存态的独立评估器、JevAgentHarness 用环境答案键——但共同原则是验证必须独立于被验证的决策者，这本身就是 harness 工程的一条元规则。

三、问题定义：把三篇抽象成一个正交分解

把 GUI agent 的具体场景剥掉，三篇论文其实在回答同一个总问题的三个正交子问题。

总问题：一个 agent 系统的最终表现 F = f(模型 θ, harness H, 任务分布 X)。当 θ 本身的进步放缓边际收益时，如何系统性改造 H 与 X 的供给？

子问题一（环境供给，MAI-Gym）：如何工业化生产『可执行、可验证、可重置』的任务流？形式化：可执行任务 x = (E, s0, g, V)——环境、初始状态、自然语言指令、验证器。奖励 r = Σwjbj / Σwj ∈ [0,1] 给部分信用，任务成功 S 要求全部关键判据通过。在线 RL 最大化 J(θ) = E[r]，每次更新都要新鲜 rollout，所以实例必须全程规模化地重置、隔离与服务。

子问题二（控制权分配，OpenGCUA）：每步的三个决策 (qt, pt, mt+1) ∼ πθ(·|mt, ot) 由规则 h 固定还是由模型决定？qt ⊆ {截图, AX 树} 是请求的观察视图（可以是空集——不要新观察）；pt 是全接口原语集 A = AGUI ∪ AAX ∪ ACLI ∪ AAPI 上的程序（可含循环、分支、变量）；mt+1 是模型更新的工件状态（计划、进度、保留的观察）。

子问题三（决策成本分层，JevAgentHarness）：哪些选择题可以委托给便宜模型、何时委托？CASCADE 模式：决策模型先答，置信度 c(s) ≥ τd 才采纳，否则交回 LLM。最优阈值有闭式解 τ* = max(0, qL − ΔC/V)，其中 qL 是 LLM 在此类选择上的正确率、ΔC 是省下的调用价格、V 是选错一次的损失——含义直观：决策模型可以比 LLM 稍差，只要省的钱覆盖额外的风险就值得委托。

这个分解的精妙之处在于三者互相使能：没有 MAI-Gym 式的可验证环境，OpenGCUA 程序里的 assert 验证无从谈起；没有 OpenGCUA 式的接口统一，JevAgentHarness 的 8 个决策点无从而来；而决策分层又直接回应了 OpenGCUA 把效率列为一等指标（步数、输出 token、推理 token、成本）的关切。

四、问题解法

4.1 MAI-Gym：一条 rollout 路径 + 世界合成 + 执行验证

共享 rollout 路径（one harness, one rollout path）。评测、数据收集、训练复用同一 agent harness——同样的截图预处理、历史截断、prompt 模板、动作解析。作者反复观察到训练奖励与评测分数之间出现无法解释的差距，根源就是各 workload 各持一份 harness 副本逐渐漂移（训练副本留 5 张截图、评测副本留 10 张，评的就是另一个 agent）。统一后，对 harness 的修复一次生效于三处。环境管理器只暴露五个操作（请求实例/观察/重置到任务/步进/评估），适配器把各基准的原生初始化与验证翻译进来（适配器里没有任何 RL 相关代码），部署后端可用 Kubernetes/Docker 或对接已有手机、电脑、浏览器。

规模化的工程手段，针对 GUI rollout 比文本贵得多的三个原因（每次尝试要独占设备、上千实例同时在线且部分会坏、每次尝试几十次多模态调用才换来一个终端奖励）逐一化解：

• 可靠重置：移动端用 ReDroid 把每台手机跑成宿主内核上的普通容器（绕开多数容器集群不具备的嵌套虚拟化），每次重置恢复 /data 黄金快照与服务状态；桌面端解决『虚拟机过早报告就绪』与『并发尝试互相干扰』——加严格就绪检查、中途故障容器恢复、每实例独立服务端口与工件缓存、等应用真正写完状态再让验证器读取；web 端用 headless Chromium 同时承载真实网站与本地 mocked app。实测重置中位耗时：Android 165 秒、桌面 VM 37 秒、浏览器 6 秒。
• 快速供给：异步供给（不占线程等后端操作）、warm pool（初始化注册完成才接活）、截图走对象存储而非控制消息。1000 个新环境就绪：移动端 328.4 秒（比 KVM 估算快至少 6 倍）、计算机 88.9 秒。故障域隔离：会话租约拒绝被替换 worker 的动作、动作标识符保证重试只生效一次、所有操作有截止时间、验证器跑在独立进程组。
• 高效多轮推理（窗口式历史）：『保留最近 k 张截图』策略每步都删最旧一张，改变 prompt 开头，KV 前缀缓存全部失效。MAI-Gym 改为 K=10 步一窗、相邻窗口重叠 O=2 步：窗口内只追加不删除（每条 prompt 是前一条的延长，缓存可复用），窗口边界旧截图塌缩为占位符而文本保留。前缀每 K−O=8 步才变一次。训练侧复用同样的窗口：每窗一条因果训练序列、loss 只算新步（K=10, O=2 时第一样本训 1–10 步、第二样本以 9–10 步为上下文训 11–18 步，无输出被训两遍）。

环境与任务合成（每阶段都是一个 coding agent 可复用的 skill，随 app 和任务一起发布）。合成覆盖任务的全部四个组件：

• mocked app（新环境 E）：两类——『真实世界克隆』复刻 12306、建设银行、滴滴、美团、大众点评、抖音、小红书 7 个 app 的主用户流程（订票、下单、支付），后端每次尝试间重置，让策略可以安全练习交易类操作千次；『novel app』42 个凭空发明的 app（840 个任务、三个难度级），跑在 Chromium 里的确定性状态机——同初始状态同动作序列必得同结果，重置与奖励精确。发布前用参考解、重置测试、浏览器内/外双执行一致性验证。
• 跨应用世界（初始状态 s0）：先用 persona（用户身份、角色、目标）+ 场景（时间线、事件、约束）构建一个连贯世界：项目简报、预算表、邮件线程、日历条目描述同一个项目的不同侧面。任务再从世界里出——不是『创建一个叫预算评审的事件』，而是『把预算评审挪到修订版表格截止日的第二天』（要读邮件、读表格、看日历）。世界缺资产就补并验证。
• 任务与验证器（指令 g 与验证器 V）：任务规范（指令、所需资产、成功判据、隐藏的答案上下文）先于验证器固定；golden code（直接把环境置为完成态）与 verifier code（检查文件改动、计算值、app 更新）由两次独立生成、互不阅读；reward audit 对照规范查漏。然后是关键的执行三态测试：验证器必须在真实实例上经历初始态得 0 → golden 执行后得 1 → 重置后再得 0 才被接受；再由多个模型通过 agent 接口实际试做，审查可执行性、难度、指令清晰度与 reward-hacking 风险。最终发布 2000 个任务（MobileWorld 与 OSWorld 各 1000）。
• 失败驱动：coding agent 通过诊断端点查询失败轨迹，从动作、轨迹、任务所需知识三个层面对比成功与失败尝试，输出诊断报告喂给任务生成器——模型自己的失败决定它接下来练什么。

训练配方。SFT 预热（覆盖移动+桌面的混合 GUI/CLI 指令数据）后，单一 GRPO run 联合训练两个域的任务（群组 G=8，lr 1e-6，KL 系数 1e-3 加在 loss 上而非奖励上），512 GPU、峰值 2 万并发环境、约 96 小时。策略自适应任务采样：GRPO 只从『组内奖励有差异』的群组学到东西，所以对成功率 > η=0.8 的已掌握任务只给 2 次尝试、从未解出的给 4 次、其余满额 8 次（掌握了也要复查，因为策略在变）。训练-rollout 一致性：逐 token 对比训练器与推理引擎的 log-prob，用对尖锐分歧敏感的 k3 估计量门控 KL，异常上升即暴露生成内核损坏或版本偏差。

4.2 OpenGCUA：代码执行 + harness-to-model 决策移交

代码执行（how to act）。模型每步输出一段 Python 程序：pyautogui.click() 等 GUI 操作、bash() shell 调用、循环/条件/断言混在一个程序里，语法检查后在计算机环境中执行，stdout/stderr 与执行状态返回给模型。论文对『批次动作 vs 代码执行』的辨析一句话说透：批次是没有控制流的程序——批次里每个动作在生成时就固定了，模型必须在看到第一个动作结果之前决定后续所有点击；而程序的控制流在运行中决定。一次调用内从此可能三件事：条件（对话框出现就关掉）、循环（逐行填三列表单）、验证（断言状态已变为已保存）。原来十几次往返的任务变成一次。

论文从 GPT-6 Astra 的轨迹里归纳出五种代码执行模式，每种都有真实案例：

1. 跨接口组合：合同生成任务里，点『生成合同』按钮 → bash 读输出文件断言 20 个新文件且状态为 COMPLETE → 才点『发送邮件』→ 再程序化检查本地草稿确为 20 封；
2. 循环执行：录制网站走查，循环 7 个导航目标，逐个点击并从 DOM 断言当前 section 与目标一致，全程不回模型；
3. 结果依赖执行：发邮件前复制界面草稿与存档版本比对（trim 后完全一致才点 Send），匹配逻辑留在程序内；
4. 观察准备：检查 3D 物体时程序旋转 25 个视角截图、裁剪拼成 5×5 联络表，再请求一次视觉观察让模型看——程序从『执行动作』扩展到『为模型准备观察』；
5. 可执行验证：编辑两页幻灯片背景后，对比原始与保存的演示文稿包，断言预期改动发生、其余 64 个包条目逐字节未变、透明度参数为 60000（40%）。

决策移交（what to observe & how to organize）。harness 提供机制、模型决定何时用：

• screenshot()：按需请求截图，程序输出够用就不看图（环境仍每步截图存档，只是不进模型输入）；
• todo 账本：持久记录进度、事实、未决问题，状态区分 pending / attempted / changed_unverified / claimed_verified / blocked——『改了但没验证』与『声称验证过』是两回事，后者仍是模型自评而非独立核验；
• <intent> 块：程序执行前一句话声明意图，64 行程序可以被概括为『更新 29 条线索状态、保留原始客户资料』，真实设备上展示给用户看懂 agent 在干什么；论文明确 intent 是事后标签，不是指令、不是证据、不是完成声明；
• harness 仍保留两类上下文策略：滚动截图缓冲（成批删旧图，减少对 prompt 缓存的破坏）与微压缩（旧工具输出替换为占位符）。

真实设备栈。论文列举基准与真机的五大差异：用户与 agent 共享控制（不能假设独占指针键盘）、屏幕持续变化（窗口开合遮挡）、用户请求演化（中途改需求）、观察与控制需要显式目标（全桌面截图看到的可能是前台无关页面而非目标标签页）、任务起始于既有环境（文件、会话、权限都是历史遗留）。应对是五层架构（模型/持久解释器运行时/跨设备 SDK/驱动/真实应用与 OS）+ 跨设备 SDK：每个操作绑定显式的设备、应用、窗口或标签页（资源句柄各自保持目标，选新目标不会重定向旧绑定）；观察采集与交付分离（程序可静默 inspect 多个目标、只在 mu.emit 时把选定内容给模型）；AX 与 vision 双通道（AX 用于程序可读条件，vision 补充语义不足）；干扰最小化优先级：AX 元素操作 > 窗口定向坐标输入 > 前台输入（前台操作前要先与用户协调）；ask_user 处理登录、授权、消歧。

4.3 JevAgentHarness：三层评测 + 级联委托 + 状态后训练

AgentDecisionBench 三层评测。核心洞察：决策模型可以在固定测试上得高分却在 agent 里失败，因为固定测试里答错一题不影响下一题；agent 基准又只报整任务成败，看不出哪个选择错了。

• L1 孤立问题：BFCL v4 的 1114 道工具选择 + 1949 道参数题、When2Call 的 928 道，转成选择题；
• L2 步级（录制轨迹）：在录制 agent 运行的每一步作答，只打分不执行——像在录制驾驶数据上测试驾驶策略，一错不会引发下一错。所有模型回答同样 5314 个公共状态；
• L3 任务级（在线控制）：真正接管运行中 agent 的每个工具选择（ALFWorld 里是每个动作），无阈值，错误会累积。最难、最接近部署。

配套自建 DecisionGym：模拟小商店客服台，每任务乱序提供 68 个工具 + finish——7 个核心工具（找用户、列订单、取消、退款、查库存、发货、发消息）、1 个问用户、31 个核心工具的近义变体（返回看似合理但无进展的结果）、29 个无关工具。因为任务由脚本计划生成，环境可在任何仍可解的状态（包括 agent 自己绕路之后）给出『可接受下一步』的答案键——这是 L2 打分和训练标签的基础。难点设计：必须先问用户的 must-ask 状态（缺关键细节，任何改状态调用直接判负）、近义干扰工具。另有两个加测集：Shifted（工具改名+换请求类型）与 Hard（10–12 个客户 + 新的取消/发货规则）。

JevAgentHarness 本体。8 个决策点（工具选择、工具参数、无工具环境的动作、记忆写、记忆读、反思、停止、路由到便宜 LLM）× 5 种集成模式：

核心流程：先在 150 个校准任务上以 shadow 模式跑 agent（决策模型静默回答每个问题但不生效），从轨迹估计 qL、ΔC、V 及决策模型在各置信度的实际正确率（分箱、每箱至少 20 个），取『从该置信度起每个更高箱的优势估计非负』的最低值为阈值；无则该点不委托。JEV + Gemini Flash 组合下工具选择阈值拟合到 1.00、参数 0.99——近乎确定才采纳。适配器以 hook 方式接入现有 harness（mini-SWE-agent 的强/快路由、pi 的守门与触发、Codex CLI 与 Claude Code 的命令 hook），任何组件失败即回退 LLM 原路径。

AgentDecision-4B 后训练。两个动机：API 模型按调用计费且学不会 harness 自己的规则；现成模型从固定问题与成功示范学习，从未见过 agent 自己犯错之后的状态——而决策模型恰恰必须在这种状态上作答。配方：

• 数据：587 个训练任务上记录 15694 个决策状态，脚本策略故意重放开发期见过的错误，使 30.9% 的状态跟随一个错误；
• SFT：教师 JEV 排序正确时目标混合 one-hot 标签与教师分布（α=0.3），否则纯 one-hot；损失加 Brier 平方项保校准（μ=0.5）；LoRA r=32、2 epoch、lr 1e-4，仅 2.2 GPU 时；
• GRPO：SFT 模型在训练任务上做决定、固定 agent LLM 做其余，从自己选择的后果中学习。奖励 Ri = Si(1 − λ·min(1, Ni/N0)) − η·Ei：成功给分但对 LLM 调用数打折（λ=0.5, N0=10），不可逆错误调用加罚（η=0.2）；群组 G=8，加步级奖励项与对 SFT 的 KL 约束，4.5 GPU 时。

五、评估指标与实验证据（含根源分析）

5.1 MAI-Gym：分数、迁移与规模三线证据

主结果（Task OOD）。MAI-Gym-9B 在训练环境中的未见任务上：MobileWorld 78.4%、OSWorld-Verified 76.2%，10B 以下开源 GUI agent 最佳。关键对比（二分成功率，%）：

它超过 Claude Opus 4.8、GPT-5.5、Qwen3.8-Max 之外的多数前沿模型（MobileWorld 上也超 Qwen3.8-Max 的 77.8），OSWorld-Verified 上距 GPT-5.5 仅 2.5 分，只有 397B 的 Qwen-CUA（86.2）更高；对同尺寸 UI-Venus-2-9B 领先 3.2/5.4 分，对大 3.5 倍的 GUI-Owl-1.5-32B 领先 34.5/19.7 分。环境 OOD：AndroidWorld 75.9、MobileGym 46.5、OSWorld 2.0 3.7/11.3、MacAgentBench 41.3、MyPCBench 15.2——五个从未训练过的环境全部较 SFT 预热版改善，证明合成任务学到的能力泛化到训练环境之外。增益拆解：SFT 占大头（Task-OOD 均值 29.9→66.4），联合 RL 再把 Cross Avg 从 44.1 提到 50.5（移动 +8.7、计算机 +4.2），两域同 run 共同提升而非此消彼长。

四个分析实验的证明力：

1. sim-to-real：只在 12306 克隆 app 里做 RL，52 个配对任务在真机（物理手机）上实测：28.8% → 48.1%（+19.2 个百分点），克隆内 36.5% → 73.1%；相对日期推理（『下周一』）这类语义能力在两个 app 里同步出现。但克隆-真机差距从 7.7 扩大到 25.0 个百分点——迁移真实但不完全；
2. 联合 vs 专家合并：分别训练移动专家（76.4/71.4）与计算机专家（73.5/73.8）后按不同权重参数平均，最好的 MobileWorld 合并（50/50）76.4、最好的 OSWorld 合并（30/70）74.8，没有任何权重两域同时最优；联合 RL 78.4/76.2 两域全胜；
3. 任务规模：500 → 1000 → 5000 合成任务，MobileWorld 69.2 → 73.5 → 78.4，OSWorld-Verified 69.7 → 70.9 → 76.2（rollout 预算不变，增益纯粹来自任务多样性）；
4. 效率：窗口式历史让前缀缓存命中 42.5% → 85.9%（+102.1%），每轨迹训练输入 token 566,375 → 86,855（-84.7%），更新耗时 2166 → 811 秒（-62.6%）；移动端 1000 环境就绪 328.4 秒，比串行 KVM 估算（至少 1980 秒）快 6 倍以上；全程 unscored 中断率 0.0–1.9%。

根源分析：分数优势的因果链是『执行验证的代码奖励（三态测试杜绝可被策略利用的假阳性——VLM 判官路线的 ZeroGUI 等被论文明确指出有此风险）× 任务多样性（世界先行、证据成链，而非孤立导航指令）× 评测训练同路径（消除 harness 漂移）』。novel app 实验提供最干净的佐证：在 252 个 novel app 任务上训练、62 个 held-out 任务上评测（模型从未见过这些 app 的界面），RL 使成功率 25.8% → 45.2%，耗尽步数预算的尝试从 27 降到 5，平均轨迹长度 33.3 → 16.4 步——agent 确实从奖励 alone 学到了陌生界面的通用操作能力，而非背诵特定 app。训练后涌现的高效行为（OSWorld 里用 ffprobe/ffmpeg 处理视频而非长 GUI 路径、表格操作批量化、移动端原生双击自适应放大看小字）进一步说明策略学到的是『为每个任务选对交互模式』。GRPO 与 SAO 的对比则显示 SAO 省采样等待但 critic 计算抵消收益，无整体时间优势——诚实报告了算法选择的工程权衡。

5.2 OpenGCUA：8 模型一致改善 + 逐层拆解归因

在 OSWorld-v2 v2.1 离线 82 题（排除 26 个需要外网的任务）上，8 个前沿模型从批次 GUI-only 切到完整 GCUA 配置（代码执行 + 决策移交）：

三个层次的证明力值得细看。第一，增益的全模型一致性：不是只对弱模型有效——基线最高的 GPT-6 Astra 也 +8.7 分且步数砍 2/3；基线最低的 GLM-5.3-Flash +35.2 分。强弱模型分差收窄过半，说明批次 GUI-only 是所有模型的共性瓶颈。第二，消融把收益归因到控制流而非接口：单动作 GUI → 批次 GUI → 批次 GUI+CLI → 代码执行四级阶梯中（Qwen3.8-Max 50.9/46.9/57.2/62.4），关键一跃发生在『批次 GUI+CLI → 代码执行』——两者接口完全相同、都能跑 shell 脚本，唯一区别是批次在生成时固定动作序列而程序在运行中决定控制流；对 4 个模型这一步再涨 4.4–9.1 分（均值 +6.1）、步数再降 14.8%。对照批次 GUI，代码执行 +15.5~+33.6 分、步数 -55.3%~-63.1%。第三，决策移交各机制分工明确且诚实呈现副作用：按需截图使 Qwen3.8-Max / DeepSeek-V4.1-Flash 缓存命中 75.6→86.1 / 61.9→76.3 个百分点且分数反升；滚动截图缓冲再 +16.0/+13.4 个百分点；todo 账本 62.4→64.0 / 56.7→58.5；微压缩反而使缓存下降（75.6→68.6）——上下文压缩与缓存复用存在张力；intent 标注分数略降，因其目标是用户可理解而非跑分。步数少了 token 未必少：8 个模型中 6 个输出 token 下降（均值 -27.2%，Claude Opus 5 从 378.3K 降到 89.3K），但 GPT-6 Astra 输出预算基本不变——步数（交互效率）与输出 token（生成量）必须分开度量。

真实设备（4 个 macOS 任务）暴露的是模型层差距：同一 harness 下，Qwen3.8-Max 平均推理 token 50.2K，是 GPT-6 Astra（2.6K）的 19.4 倍，输出总量 5.7 倍（73.4K vs 12.9K），完成任务 3/4 vs 4/4，但成本反而更低（$1.49 vs $18.29/任务）。案例把差距拆到三个具体行为：同一个『截个图』，Qwen 用 2030 推理 token、GPT 用 11 个；Qwen 要目标页（Amazon 后台标签页）却截了整个桌面（看到的是前台淘宝登录页）再切回来，GPT 直接截选定页面——观察目标选择能力；表格任务里 GPT 从工作簿内容识别出全部 125 道题、先对 7 个示例验证求解器再批量作答，Qwen 硬编码行区间只覆盖 85 题且不检查遗漏——差距不在会不会写带循环条件的代码，而在能否用代码覆盖整个任务并自查。钱与时间的资源曲线则显示：预算 $0.38/任务时 Qwen3.8-Flash（60.5 分）最优，$15.26 时才轮到 GPT-6 Astra（75.7）——模型选择应是资源约束的函数，这是把『效率列为一等指标』落实为可操作结论。

5.3 JevAgentHarness：错排、阈值保护与状态后训练

发现 1：孤立分数错排决策模型。三层之间的名次散布：L1 5.1 分 → L2 19.7 分 → L3 57.5 分（34.0%–91.5%）。L1 最准的 StartLux-9B（BFCL 工具选择 92.2%）在任务级只解决 69.5%；L1 落后的 AgentDecision-4B（89.3%）任务级 91.5%；JEV 82.0%。步级与任务级 Kendall 相关 0.84——越接近使用环境的评测层级越有预测力。差距集中在 must-ask 状态：AgentDecision-4B 答对 67.4%、JEV 仅 58.3%。

发现 2：拟合阈值保护成功率。Stage 1 逐项测试 40 个点-模式组合（预注册 + Holm 校正）：无阈值 REPLACE 全替工具选择丢 19.0 分；固定 0.5 阈值丢 21.5 分；拟合阈值下 JEV 接管 27.2% 工具选择与 20.8% 参数选择，省 14.2% 成本，500 个任务结果一个没变。三工具候选清单（ASSIST）省 53.7% 但丢 7.8 分（仍远胜关键词清单的 18.8% 成功率）；守门与路由基本不省钱（守门 +6.2% 成本、路由 +36.2%）——仍要调用 LLM 的模式省不了多少，这是对『哪种委托才有效』的机制性回答。

发现 3：降本增速。AgentDecision-4B 在 L4 GPU 上单答中位 31 毫秒（Flash 调用 809 毫秒）、每决策成本约为 JEV 的 1/4。部署组合（工具+参数级联 + 反思触发）在 500 个新任务上：AgentDecision-4B 做 99.9% 工具选择、75.0% 参数选择，每任务省 4.5 次 LLM 调用，整体省 81.1% 成本；4B 独占 GPU + 批量 + 公共数据加训后省 86.3% 成本、快 2.5 倍，通过非劣检验。ALFWorld 上按其状态训练的 4B 省 89.0% 成本、成功率反升 4.3 分（90.7→95.0），未见房间再省 92.0% 仍 +0.7 分。coding agent（mini-SWE-agent/SWE-agent/pi）上路由收益仅 7.0–10.5%——其动作是自由文本，决策模型只能选谁来写。

发现 4：在 agent 状态上后训练让 4B 反超教师。SFT 把 shifted 任务步级准确率 52.9% → 98.4%、任务成功 13.5% → 96.0%（仅 2.2 GPU 时）；must-ask 状态 27.6% → 95.0%。GRPO 再加 4.5 GPU 时无可测增益（诚实报告：不做 SFT 直接 GRPO，13.5% → 11.5% 反而更差）。同一配方把 StartLux-4B 从 49.0% 提到 98.0%、把 0.8B 模型从 13.0% 提到 82.0%——配方可复制。学生反超教师（任务级 91.5 vs 82.0）的根源不在模型更大，而在训练分布：教师 JEV 从未见过 agent 犯错后的状态，而学生 30.9% 的训练状态正是这些；加训公共工具数据后 L1 涨到 85.1 但任务级降到 91.5——分布偏移再次显形。

失败边界（论文主动列举）：JEV 的 34 个失败任务全部始于不可逆的错误工具选择（该问用户时直接取消订单），状态训练的模型零此类错误；带新规则的 Hard 任务上未重训的 4B 只做对 3.0%（LLM 单独 88.0%），重拟合阈值（JEV 组合 +3.5 分）或按新规则重训（held-out 76.5%→95.3%）才恢复；JEV 组合在 τ2-bench 丢 2.2 分未过非劣检验、换成 4B 后以 81.1% 降本通过；伦理部分还警示——便宜的 Flash-Lite 做主体 LLM 时，停止守门接受了 40.7% 的错误终止尝试，决策模型守门不能成为不可逆操作的唯一防线。

六、必要知识反推

假设让一个完全没有相关知识的人去做这三件工作，最少必须掌握什么？

领域知识层：

• Android 容器化（ReDroid 在宿主内核直接跑、/data 快照恢复）与虚拟机就绪语义（过早报告 ready 是桌面环境主要故障源）——不懂设计不出 2 万实例的可靠集群；
• KV cache 前缀命中条件（新 prompt 必须以缓存内容的精确 token 开头）——不懂则无法理解为什么『保留最近 k 张截图』每步都摧毁缓存，也想不出窗口式历史；
• 可访问性树（AX tree）与 DOM/ARIA 的结构化语义——OpenGCUA 的元素级操作、程序可读条件、免打扰后台操作全建立在其上；
• JEV 的类型化问题格式（choice/noul）与置信度输出语义——委托机制的原语。

方法论知识层：

• GRPO 群组基线的梯度性质（全对/全错的群组零优势无梯度 → 任务采样必须避开必胜/必败任务）与 clipped surrogate 目标；
• 校准理论（gd(c) = P(对|c)，过自信 ξ 的模型阈值需上移 ξ，故要在 held-out 决策上拟合 gd 而非假设置信度等于正确率）与 learning-to-defer / 选择性预测传统；
• 期望损失分析推导最优阈值（接受决策模型答案 ⇔ gd(c) − qL(c) ≥ −ΔC/V）；
• 非劣性检验、预注册、Holm 多重校正——JevAgentHarness 在 Stage 2 之前登记全部测试以防选择偏差，这种统计纪律是工程类论文的方法论范本。

工程知识层：

• 分布式系统基本功：租约（替换的 worker 不能继续操作）、幂等（动作标识符使重试只生效一次）、截止时间、故障域隔离（MAI-Gym 把环境故障与零奖励分开记账，基础设施故障不进训练信号）；
• 大 payload 旁路（截图走对象存储不走控制消息）；
• Megatron-LM 训练 + SGLang 推理的双引擎一致性（逐 token log-prob 对比、k3 KL 估计门控）。

知识融合的关键节点（不是知识叠加而是化学反应）：

1. MAI-Gym 把软件工程的『契约先行』思想（需求规范先于实现）迁移到任务合成，加上执行三态测试，产出不可被策略利用的奖励——单靠 RL 知识或单靠软件测试知识都到不了这里；
2. OpenGCUA 从『批次 = 没有控制流的程序』这一洞察出发倒转设计：把模型间往返换成程序内 if/for/assert，一次调用完成过去十几次调用的事；
3. JevAgentHarness 把决策理论的阈值规则放到 agent 自身状态分布上拟合，并把『教师没见过的状态』变成训练集的主体——诊断出蒸馏的分布缺陷并直接修复它。

七、论文中可以提取的通用性灵感

1. 评测与训练必须共享同一条执行路径。MAI-Gym 的 one harness, one rollout path 消除的是『训练的 agent 与评测的 agent 不是同一个』的系统性漂移。推广到推荐系统（离线指标与在线 A/B 的口径统一）、机器人（仿真训练与实机部署的控制栈一致）、编译器（基准与真实负载同路径）——凡是有训练-部署偏移的地方，先问评测和训练跑的是不是同一份代码。
2. 需求先于验证器 + 执行三态测试。先固定验收规范，再独立生成两套实现（golden 与 verifier），并用可执行状态（初始 0 / 完成 1 / 重置 0）而非评审模型做最终裁决。这是自动生成测试、验收合同、数据质检的通用配方：把『标准』与『检查者』解耦，杜绝检查者被钻空子。
3. 控制流内化：用一次调用内的程序分支替换多次模型调用。OpenGCUA 的 -53% 步数本质是把『模型间往返』换成『程序内廉价 if/for/assert』。任何『每步都问一次大模型』的流水线（工单处理、数据分析、文档加工）都值得问：这几步能不能合并成一个带条件与自检的程序？
4. 决策权随能力上移、成本随决策分层。OpenGCUA 把 harness 规则的决策还给模型（截图要不要看、任务状态怎么记），JevAgentHarness 把模型的选择题交给便宜决策模型并在低置信处回退 LLM。前者换能力、后者换成本，方向相反结构相同：逐决策点地重新审查『谁做主』。组织管理（授权一线、例外上升）、系统设计（路由/级联的精细化到决策点粒度）同构。
5. 在系统自身状态分布（尤其是错误后状态）上训练替代者。AgentDecision-4B 反超教师的根源是 30.9% 的训练状态来自错误之后——教师从未见过这些。小模型替代大模型做审核、风控、路由时同理：光有教师的答案不够，要有系统真实运行到的状态，特别是出错之后的状态。
6. 接近部署环境的评测层级才有预测力。L1→L3 名次散布扩大 10 倍以上，孤立评测会系统性错排候选者。招聘（笔试 vs 实战演练）、模型采购（静态榜单 vs 限定场景试用）、驾驶（科目一 vs 路考）都是同一结构：用与部署同构的层级做最终筛选。
7. 合成环境的 sim-to-real 收益真实但不完全，且差距随能力增长。克隆训练让真机 +19.2 个百分点，但克隆-真机差距从 7.7 扩大到 25.0。对机器人、自动驾驶、游戏 agent 的启示：合成环境是有效的训练信号源，但需要持续的迁移度量与真机锚点，而非一次性验收。
8. 把失败变成训练目标（failure-driven synthesis）。MAI-Gym 用失败轨迹诊断驱动下一批任务合成，JevAgentHarness 用重放错误制造训练状态——两者都是把『系统在哪里失败』直接转化为『系统在哪里加练』。可推广到课程设计、个人学习（错题驱动）、DevOps（故障注入回归测试）。

八、加评

把三篇放在一起读，能看到 2026 年 GUI agent 研究的一个清晰转折：竞争单位正从『模型』迁移到『模型 + harness + 环境』的系统整体。MAI-Gym 与 OpenGCUA 出自同一团队（作者名单大量重叠），分别占据『训练基础设施』与『执行范式』两个生态位，加上前作 Qwen-UI-Agent，阿里在走一条平台化、开源化的连贯路线——用 MAI-Gym 论文里的话说，这类工作的可复现性本身（框架、合成 skill、49 个 mocked app、2000 个验证过的任务、模型 checkpoint 全部发布）就是贡献的一部分。JevAgentHarness 则以学界的统计严谨补上『何时该委托』的理论空洞：预注册假设（且如实报告 H1/H3 被证伪）、非劣性检验、Holm 校正、失败模式专节，方法论上比多数工程论文扎实。

三篇也各自留下诚实的未决问题。MAI-Gym：克隆-真机差距随训练扩大，sim-to-real 的天花板在哪没有答案；失败驱动的评测-诊断-合成-再训练闭环本文只跑了单轮，多轮是否持续收敛待验证。OpenGCUA：第一版不含训练模型（下一版发布），真实设备评测只有 4 个任务、每模型选一次 run，作者自己声明这些结果刻画配置而非排名；时间对比未控制 API 带宽等变量，只能算探索性证据。JevAgentHarness：方法在自由文本动作的 coding agent 上收益甚微（7.0–10.5%）；阈值与模型都绑定具体 agent，新工具、新规则、换 LLM 都要重拟合或重训（hard 任务上 3.0% vs 88.0% 的滑坡是最好警示）；GRPO 无可测增益；且便宜的控制层会放大对不可逆错误的忽视——决策模型守门不应成为安全边界。

如果只记三个数字：2 万并行环境、+19.6 分 / −53% 步数、86.3% 成本节省——它们分别是平台层、执行层、决策层 harness 工程在 2026 年 10 月同时达到的水位线。harness 已经从论文实现细节的脚注，变成了论文标题本身的主角；而三篇论文合起来暗示的下一个问题也相当明显：当环境可合成、执行可编程、决策可分层，训练一个『为 harness 而生』的模型（OpenGCUA 下一版的 GCUA 模型）还缺什么——大概就是 MAI-Gym 的规模、OpenGCUA 的范式与 JevAgentHarness 的成本结构的乘积。

附录 A：三篇论文的评测资产一览

MAI-Gym 支持的 10 个基准（一条命令评测）：

MAI-Gym 发布资产：框架（评测 harness + 在线 RL 训练代码）、合成 skills、49 个 mocked apps（7 个真实克隆 + 42 个 novel apps 含 840 任务）、2000 个执行验证任务（MobileWorld/OSWorld 各 1000）、MAI-Gym-9B checkpoint。

OpenGCUA 发布资产：harness 实现（OSWorld-v2 版 + 初步真实设备版）、完整系统 prompt、8 个前沿模型在 OSWorld-v2 的全部评测轨迹、初步版跨设备 SDK；GCUA 模型与真实设备基准计划后续发布。

JevAgentHarness 发布资产：AgentDecisionBench（L1/L2/L3 全套）、DecisionGym 环境生成器、harness 与各适配器、AgentDecision-4B/0.8B 及训练配方与数据。评测套件覆盖 BFCL v4、When2Call、τ2-bench（airline/retail/telecom）、SWE-bench Verified（经 mini-SWE-agent/SWE-agent）、Terminal-Bench 2.0 与 Terminal-Bench-Science（经 pi）、ALFWorld、DecisionGym（500 新种子 + Shifted + Hard）。

附录 B：三条可以直接借鉴的工程配方

1. 窗口式历史（任何多轮多模态 agent 都适用）：K=10 步一窗、重叠 O=2，窗口内只追加、边界处旧图塌缩为占位符文本保留——前缀缓存命中翻倍、训练 token 降 84.7%，代价只是 rollout 吞吐降 18.9%。
2. shadow 模式拟合委托阈值（任何级联/路由系统都适用）：先让便宜模型静默答题跑 150 个任务，分箱估计其各置信度下的真实正确率，代入 τ* = max(0, qL − ΔC/V) 得到逐决策点阈值；分布漂移时监控『过阈值答案占比』作为重拟合信号。
3. 执行三态验证（任何自动生成任务/测试的流水线都适用）：验证器必须 初始态 0 → golden 执行后 1 → 重置后 0 三态全过才接受；golden 与 verifier 由独立生成互不阅读；再让多个模型实际试做审查难度与作弊空间。