论文一（WebHarbor）：WebHarbor: Docking Real Websites for Evolving GUI Agent Environments 代码仓库：aiming-lab/WebHarbor 论文二（SCOPE）：From Local Skills to Long-Horizon Web Tasks: Progressive Skill Exploration for LLM Web Agents 发表时间：均为 2026 年 11 月（arXiv v1 提交于 2026-11-02） 机构：WebHarbor 由 UNC Chapel Hill 与 Microsoft 共同领导，联合 OSU、CMU、CUHK 等 26 个机构 57 位贡献者以社区方式构建（WebAgentLab）；SCOPE 由中国人民大学高瓴人工智能学院与华为合作完成（一作在华为实习期间参与），已被 NeurIPS 2026 接收 领域标签：cs.AI / Web Agent / 强化学习环境 / 技能习得
一、论文背景
1.1 Web Agent 与它的供给侧瓶颈
Web Agent 是以 LLM/多模态模型为大脑、以浏览器为手脚的自主智能体：它读取渲染后的网页（截图、HTML 或可访问性树 AXTree），理解用户的自然语言指令，再通过点击、输入、滚动等浏览器动作完成任务，比如在购物网站查订单、在 GitLab 发合并请求、在订票网站完成一次预订。
要训练和评测这样的智能体，需要两样"原料"：
- 环境：可以反复交互的网站。评测要求环境稳定可复现——同一个任务今天跑和明天跑结果应当一致；强化学习（RL）进一步要求环境支持可执行的状态转移和可重复的重置。
- 训练信号：成功轨迹或奖励。长程任务的奖励通常只在最后一步给出（任务完成记 1，否则记 0），中间步骤没有任何分数。
2026 年的 Web Agent 研究恰好在这两侧都撞上了"供给侧"瓶颈，而本精读的两篇论文分别从一侧发起了一场供给改革：
- 环境侧（WebHarbor）：直接拿活网站（live websites）做评测与训练。活网站最真实，但内容随时漂移、反爬虫机器人检测随时拦截、地区与账号限制随时出现。WebHarbor 论文实测：Online-Mind2Web 有 38% 的任务被 bot 检测拦截，WebVoyager 有 22% 的任务因网站改版而过时。更致命的是，活网站几乎无法提供"登录后才能做的操作"这类工作流——总不能让研究者的 agent 反复在真实电商网站上下单。
- 训练侧（SCOPE）：用整体 rollout（从任务开始一口气做到结尾）的方式做 RL 探索。假设每一步关键决策做对的概率是 p，一个需要 L 步的任务整体成功概率就是 p^L——深度稍大就指数归零。于是成功轨迹极其稀少；而 Web 环境的奖励又是稀疏的终态奖励，失败轨迹即使包含"成功导航到订单页"这样的局部进步，也通常被整体丢弃。
一句话概括两篇论文的动机：Web Agent 的能力上限不再只由模型架构决定，而是由"能不能稳定地供给高质量的环境与训练信号"决定。WebHarbor 革环境的命——从活网站走向可控合成；SCOPE 革训练方法的命——从整体 rollout 走向技能渐进探索。
1.2 WebHarbor：环境侧的背景与既有路线
在 WebHarbor 之前，环境供给有三条路线，各有硬伤：
- 人工自托管基准（WebArena / VisualWebArena / WorkArena）：人工构建少数几个自托管网站，可复现，但覆盖极窄——WebArena 只有 6 个站点，重建一个真实网站的工程量让人工路线难以规模化。
- 活站评测基准（WebVoyager / Online-Mind2Web / DeepShop）：覆盖广、最真实，但内容漂移、CAPTCHA、网络与地域限制使评测不可控；且认证后（post-authentication）工作流覆盖几乎为零。
- 自动合成环境（WebArena-Infinity / InfiniteWeb / AutoWebWorld / CUA-Gym 等）：用 agent 从文档、规格、视觉参照自动合成功能性网站，可规模化，但强调"新生成的世界"而非对真实网站的任务锚定重建，普遍缺多模态内容（图少）与认证后功能；而且纯 agent 合成的质量无人把关。
WebHarbor 的定位就是补齐第四象限：既像活站一样真实（覆盖 WebVoyager 全部 15 站与 Online-Mind2Web 全部站）、又像自托管一样可控（离线 Docker、确定性重置）、还带认证工作流与持久状态变化。
1.3 SCOPE：训练侧的背景与既有路线
SCOPE 面对的既有训练路线：
- 模仿学习 / SFT：学人类演示，但演示昂贵且覆盖不了环境的动态性。
- 端到端 agentic RL（WebRL / WebAgent-R1 / OpenWebRL / GRPO 等）：让 agent 与环境交互、靠奖励优化策略。这些方法都依赖朴素的整体 rollout 探索——采样一个任务、从初始状态完整走一遍、用终态奖励更新。在长程任务上，这种探索"成功轨迹稀少 + 失败轨迹整体废弃"两个问题叠加，agent 陷在重复试错里。
- 任务课程与任务生成（WebRL 的自进化课程、PAE、SAGE、Go-Browse）：通过生成难度适配的新任务缓解探索难，但任务内的探索仍是整体的、端到端的。
SCOPE 借用的理论灯塔是 Fitts 与 Posner 1967 年的技能习得理论：人类掌握复杂技能不是靠一次完整的从头到尾尝试，而是先分解出局部技能（认知阶段），再把局部技能组合成高阶技能（联结阶段），最后内化为自动化的熟练执行（自动化阶段）。SCOPE 把这个三阶段理论原样搬进 Web Agent 训练：从失败轨迹里提取局部技能、组合成技能链、在技能链末端扩展，最后蒸馏进策略参数。
二、论文定位和关联工作
2.1 WebHarbor 的谱系：从"复制网站"到"停靠网站"
WebHarbor 把自己的构建过程命名为 docking（停靠）：以真实网站为目标，把对目标网站的活依赖替换为本地资产、种子状态与受控重置，同时保留可辨认的视觉与功能行为。这在谱系上站在三条线交汇处：
- 确定性复刻线：REAL（arXiv:2504.11543）用确定性模拟复刻 11 个真实网站、112 个任务，证明了"真实网站的确定性复刻"可行，但规模停在 11 站且从预认证状态起步。WebHarbor 把这个思路从 11 站推到 153 站、从评测推到 RL 训练。
- 自动合成线：AutoWebWorld（arXiv:2602.14296）、CUA-Gym（arXiv:2605.25624）、InfiniteWeb（arXiv:2601.04126）、WebArena-Infinity 证明了 agent 可以规模化合成环境，但不发布训练 checkpoint、不锚定真实网站的任务支持面、图像与认证深度不足。WebHarbor 的关键差异是"任务锚定的真实网站重建 + 人工审核质量门"。
- RL 环境线：WebGym 为视觉 Web Agent 提供 704 个活网站的 2,102 个训练任务，OpenWebRL（arXiv:2606.02031）基于它在活网站上做在线 RL 并成为 SOTA 开源 agent。WebHarbor 恰好把 OpenWebRL 选为镜像训练的 baseline，直接回答"离线合成环境 RL 是否能匹敌活网站 RL"。
2.2 SCOPE 的谱系：从"记住经验"到"组织经验、跨轮复用"
- 技能/工作流记忆线：Voyager（arXiv:2305.16291）在 Minecraft 中用可执行代码技能库 + 自动课程实现终身学习；AWM（Agent Workflow Memory，arXiv:2409.07429）在 Mind2Web/WebArena 上从轨迹归纳可复用工作流。这条线证明了"经验可以抽象为可复用单元"，但技能停留在上下文/代码库层面，不进模型参数，也没有系统利用失败经验。
- 先返回后探索线：Go-Explore（Nature 2021，arXiv:2004.12919）提出"记住有希望的状态 → 先返回 → 再探索"，解决了 Atari 硬探索游戏。SCOPE 的技能链状态恢复正是这一原则在 LLM Web Agent 上的实例化，并加了失败记忆与理论刻画。推理时树搜索（Koh et al.，arXiv:2407.01476）同样利用"回到中间状态再分支"，但发生在测试时、不改变模型参数；SCOPE 把搜索搬进训练时并把成果蒸馏进权重。
- Web RL 线：WebRL（arXiv:2411.02337）、WebAgent-R1（arXiv:2505.16421）、DIGIRL（arXiv:2406.11896）等端到端 RL 方法是 SCOPE 的直接对比对象——SCOPE 在 WebArena-Lite 上对比的 WEBRL 45.8 分即来自该线最强结果。
- 在策略蒸馏线：OPD/OPSD 的核心是在学生自己生成的状态上给逐步教师监督。SCOPE 提出 agentic OPD，把"在策略"从 token 层面抬到 agent-环境交互步层面：蒸馏所用状态全部是学生策略实际可达的环境状态。
2.3 定位对比表
| 维度 | 之前的主流路线 | WebHarbor 的突破 | SCOPE 的突破 |
|---|---|---|---|
| 环境供给 | 活网站（真实但不可控）或人工自托管（可控但窄） | 任务驱动 docking：153 站离线可控、覆盖两个活站基准全部站点 | ——（沿用既有环境，改训练法） |
| 训练信号供给 | 整体 rollout + 终态稀疏奖励 | 认证/状态化工作流任务占 35.6%+31.8%，活站基准几乎给不了 | 失败轨迹拆出局部技能与失败经验，跨 rollout 组合 |
| 质量保证 | 纯自动合成或纯人工 | 人机协同：agent 实现 + 人工审核 2–3 轮/环境 | 辅助 LLM 做记忆管理，可换成自管理同源模型 |
| 理论刻画 | 经验性观察 | 排名一致性实证（Spearman 1.0） | 探索方差从指数级降为多项式级（命题 1） |
| 落点 | —— | 评测基础设施 + RL 训练环境 + 开源 4B agent | NeurIPS 2026 方法论文，三基准 3.9%–18.6% 相对增益 |
定位结论：两篇论文在同一周发布、互为补集——WebHarbor 解决"在哪里练"，SCOPE 解决"怎么练"。WebHarbor 是资源型基础设施贡献（社区共建、代码数据全开源），SCOPE 是方法型训练算法贡献；前者用镜像对照实验证明合成环境可以替代活站，后者用消融与理论证明技能化渐进探索可以替代整体 rollout。
三、问题定义
3.1 WebHarbor：docking 问题的抽象
具体问题：把一个大型商业网站（如 Amazon、Booking.com）变成可以离线运行、可重置、支持目标任务完成的本地环境。
核心洞察——任务定义支持面（task-relevant support surface）：整站克隆不可行（Amazon 的商品目录、YouTube 的视频库规模无边），但对一个给定任务集合，环境真正需要支持的只是：入口页与终态页、可观察的实体与属性、所需的浏览器动作、持久状态变化。任务把"无边的重建问题"约减为"有界的支持面重建问题"。
形式化：给定目标网站 W 与任务集 T = {t_i}，每个任务 t 规定（入口页、终态页、实体属性、动作序列模式、持久状态变化）。求一个本地可执行环境 E，使得：
- 观察等价（对任务支持面内的页面）：agent 在 E 中看到的页面层级、导航、图像内容与 W 在任务相关路径上的观察一致；
- 转移等价：执行任务所需动作后，E 产生与 W 一致的状态转移（含数据库写入、账户状态）；
- 可控性：E 可确定性重置到种子状态（reset 中位 6.0 秒）；
- 有效性：不泄漏答案、保留近失替代项（near-miss）与干扰项，防止 agent 走捷径。
抽象的精妙处：约束 1、2 只要求"任务支持面内"等价而非全站等价——这是把不可行问题变成可行问题的关键降维；约束 4 是很多合成环境被忽视的一面（功能上能完成任务的环境可能通过界面泄漏答案而变得无效）。
3.2 SCOPE：探索问题的抽象
具体问题：长程 Web 任务上，朴素端到端探索得不到成功轨迹，失败轨迹也提供不了指导。
核心洞察——失败轨迹的双重资产性：Web 任务的中间观察 o_t 记录了环境变化（状态转移、界面切换、报错），这提供了稀疏终态奖励之外的中间反馈。借助它，一条失败轨迹可以同时被拆成两类资产：经环境反馈验证的局部技能（比如"从首页导航到订单页"成功了）与失败经验（比如"误入联系反馈页"）。
形式化：给定任务分布 D、策略 π_θ、任务 G，轨迹 τ 由 DISCOVER 算子切分为语义连续子任务单元 (ξ_i, y_i)，ξ_i = (s_start, A, s_end; m)：
- y_i = 1 的单元入技能库 B_skill（可复用的状态转移序列）；
- y_i = 0 的单元入失败库 B_fail。
目标是把"一次完成 L 步"改造为"跨 rollout 逐步扩展可达 frontier"：每轮探索先用技能链把环境恢复到上轮 frontier 状态 s*，再从 s* 向外扩展一步，直到拼出完整完成任务技能链，最后经 agentic 在策略蒸馏内化进 π_θ。命题 1 证明：若单步前沿扩展正确概率下界为 p、深度 k 处候选 frontier 状态数多项式有界（O(k^α)），则总探索轮数标准差 Std(T_total) = O(L^((1+2α)/2) / p)——从朴素探索的指数级 p^L 衰减降为多项式级。
抽象的精妙处：与深度学习里"由易到难的课程学习"不同，这里难度的推进不是靠换任务（换更难的题），而是靠在同一任务上积累可达状态——任务不变，探索起点在变。这对应一个精确的类比：
| 技能渐进探索 | 深度学习训练 |
|---|---|
| 技能库 B_skill | 已学到的表示（可复用的中间特征） |
| frontier 状态 s* | 当前损失下降最有效的梯度方向区域 |
| 技能链恢复到 s* | 预训练/热启动（不必从随机初始化开始） |
| 失败经验干预 | 负样本/难例挖掘（避免重复犯错） |
| 蒸馏内化 | 将搜索得到的收益固化进参数（类似 policy distillation 固化 MCTS 收益） |
四、问题解法
4.1 WebHarbor：任务驱动 docking 的四组件流水线
WebHarbor 的构建过程是一个"人机协同、随任务演化"的流水线，四个组件环环相扣：
（1）任务驱动定界（Task-Driven Docking）。以 WebVoyager 的 15 站 643 任务为起点（其活站评测已不可靠），扩展覆盖 Online-Mind2Web 全部网站但弃用其原任务（多为信息检索、缺认证与状态变化）。对新站点，人类贡献者标出核心功能区，LLM 用对常见 Web 服务的知识扩展成候选工作流，人类再筛——最终任务覆盖账户管理、预订、购买、收藏等持久操作。环境不只为完成任务而建：还保留自然导航路径、周边内容、合理替代项与近失项，防捷径。
（2）技能驱动合成与演化（Skill-Driven Synthesis and Evolution）。对每个网站，编码 agent 先用渲染浏览器探索目标站（Playwright 驱动真实 Chromium，抓取水合后 DOM、解析后的图片 URL、页面层级、URL 模式、交互控件），再用标准化构建技能实现前端 + 后端 + SQLite 数据库 + 本地打包图像资产。合成分五阶段：①重建接口/后端/数据模型/认证流/种子数据 → ②定义覆盖主要功能的多步任务 → ③逐任务执行、补全缺失路由/表单/状态机 → ④防答案泄漏、加近失项、扩结果集、查跨字段一致性 → ⑤冻结确定性种子库并验证重置。新任务暴露功能缺口时，同一流程迭代扩展环境。
（3）人机协同迭代精修（Human-in-the-Loop）。这是 WebHarbor 与纯自动合成路线的分水岭。试点研究给出硬证据：26 个纯 agent 构建的网站里，13 个有视觉/资产缺陷（如图文不匹配），14 个有交互损坏或浅薄（如按钮无响应）——agent 能走通目标任务却留下周边界面失真或人为变简单的环境，这类缺陷人类审核员一眼可见。于是设置两个角色：贡献者提任务、指导构建；审核者端到端执行任务，对照目标站检查视觉保真、功能正确、任务有效性，把缺陷转译成给编码 agent 的修复请求，直到通过。平均每个环境 2–3 轮审核、每轮 1–2 小时。审核者还开发任务专属验证器与评判 rubric。
（4）社区协作演化。约 5 个月、57 位贡献者、26 个机构，产出 153 个 Docker 化环境。每个环境运行不需访问目标服务，快速重置（中位 6.0 秒），支持信息检索与认证后深度工作流。训练/测试划分：15 个 WebVoyager 站 + 15 个额外站整体留出，其余 123 站每站留 20% 任务，得 2,288 训练任务；测试任务池用 GPT-4.1、GPT-5.5、GPT-5.6-Sol、GPT-6-Astra、Qwen3.6-35B-A3B 五个模型执行过滤（脚本验证器与 GPT-5.6-Sol OpenCode agent 判决一致者保留），每站限 2 题，得 306 题测试集。
镜像 RL 训练设计：为回答"合成环境 RL 能否匹敌活站 RL"，WebHarbor 做了严格受控的镜像对照——从与 OpenWebRL 完全相同的 SFT 起点（OpenWebRL-4B-SFT）、相同的 MM-GRPO 目标、相同的 ReAct 式 GUI harness 出发，唯一差异是环境与任务（WebHarbor 隔离确定性种子沙箱 vs WebGym 2,102 活网站任务），连最终答案奖励（format-gated GPT-4.1）都保持一致。
4.2 SCOPE：技能三步循环 + 蒸馏内化
SCOPE 的每个训练外轮包含 J 次内迭代探索 + 一次蒸馏：
（1）Skill Discovery——把轨迹切成带标签的资产。辅助 LLM（外部设置用 DeepSeek-V3.2）以任务目标 G、完成判据 c 与轨迹中的环境反馈为输入，把 rollout 切成语义连续的子任务单元并判定每个单元是否达成子目标（y_i ∈ {0,1}）。类比：给一盘失败的比赛录像做"分镜头标注"，标出哪几段是得分动作、哪几段是失误动作。
（2）Skill Orchestration——把技能库当状态图用。技能库 B_skill 构成一张状态图：节点是环境状态（订单页、排序后页面），边是验证过的局部技能。系统从图中收集候选 frontier 状态集 S_frontier，做组级评估选出下一轮的 s*，再回溯拼出从初始状态到 s* 的技能链 p*，在新 rollout 中执行技能链恢复到 s*。两个工程细节：①探索感知的 frontier 选择——对高频访问状态降权（平衡复用与多样性）；②鲁棒技能执行——轨迹中的元素以 AXTree/HTML 索引引用，跨页面复用会失效，因此执行前把元素名重新接地（re-grounding）到当前页面上下文。
（3）Skill Expansion——失败经验对齐注入。检索与 s* 匹配的失败经验 F* = {ξ ∈ B_fail | s_start(ξ) = s*}，在 frontier 的第一个动作处做在策略干预，两种策略：
- OPTI（教师干预）：教师模型直接生成干预动作 a_teach = INTERVENE(G, s*, F*)，外部引导更强；
- OPSI（自我干预）：策略自身条件于失败摘要生成 a_self ∼ π_θ(·|G, s*, SUMMARIZE(G, p*, F*))，分布更贴近自身。
关键性质：干预在环境交互步层面保持在策略——s* 是由策略自己历史产出组合的技能链恢复的，干预后策略继续自主探索。
（4）Skill Distillation——agentic 在策略蒸馏。把渐进探索产出的完成任务轨迹分布 q_SCOPE 蒸馏进 π_θ（对教师轨迹上实际执行的状态-动作对做极大似然）。以 OPSI 为例：frontier 动作来自失败条件分布 π_θ(a|G, s_t, F*)，蒸馏把它压缩进标准策略分布 π_θ(a|G, s_t)——即把"需要失败记忆提示才会做的事"内化成"不需要提示也会做的事"。
论文附录的案例直观展示了全过程：一个"找出 On Hold 状态订单"的购物任务，第一次尝试发现"导航到订单页"“翻页"两个技能并记录"误入联系页"“分页循环"等失败；第二三次复用导航技能但困于翻页；第四次发现"改视图每页显示更多订单"的新技能但仍未找到目标；第五次组合"导航 + 改视图"技能链，成功完成任务。
4.3 两篇方法对照
| 组件 | WebHarbor | SCOPE |
|---|---|---|
| 核心循环 | 任务驱动定界 → agent 合成 → 人审 → 演化 | 发现 → 编排 → 扩展 → 蒸馏 |
| 失败的用途 | 试点失败率（50% 缺陷）证明需要人审 | 失败轨迹拆出经验证技能与失败模式 |
| 状态管理 | SQLite 种子库 + 确定性重置（6.0s） | 技能链把环境恢复到 frontier 状态 |
| 防退化机制 | 防答案泄漏 + 近失干扰项 | 探索感知降权 + 失败对齐干预 |
| 内化方式 | MM-GRPO 强化学习 | agentic 在策略蒸馏 |
| 人/外部模型角色 | 人类审核质量门 | 辅助 LLM 记忆管理（可自管理替代） |
五、评估指标与实验证据
5.1 WebHarbor：四维证据链
指标体系分四层：环境规模与多样性（基础设施价值）、排名一致性（作为评测基准的有效性）、镜像训练对照（作为训练环境的价值）、能力组分解（增益来源定位）。
（1）环境规模与多样性：153 站 3,518 任务；均每环境 37.3 页、1,319.9 图、104.8 MiB 图像资产、6,610.6 行代码，全面超 AutoWebWorld（21.9 页/79.4 图）、CUA-Gym（14.3 页/0.6 图）、WebArena-Infinity（8.8 页/0 图）。任务构成：信息检索 64.9%、交易预订 448 项（12.7%）、设置/状态 15.0%、账户 4.6%、内容通信 2.8%；需认证 31.8%（135 站）、持久状态变化 35.6%（141 站）、跨页推理 53.7%——后三类正是活站基准几乎给不了的。语义多样性：组内最近邻相似度中位 0.58（对比组 0.66–0.76，越低越多样），与 Online-Mind2Web 交叉相似度仅 0.39（防泄漏）。
（2）排名一致性：同 4 个 agent 在 WebVoyager 同站与 WebHarbor 上评测，得分高 4.4–18.8 分（干扰减少），且 6/6 两两排序完全保持（Spearman ρ = 1.0，Pearson r = 0.802）——说明 WebHarbor 是活站评测的有效替代：绝对分数变了，相对强弱结论不变。
（3）镜像训练对照（核心实验）：
| 4B 模型 | WebVoyager | Online-Mind2Web | 均分 |
|---|---|---|---|
| Qwen3-VL-4B-Thinking（base） | 52.6 | 32.0 | 42.3 |
| OpenWebRL-4B-SFT（共享起点） | 60.2 | 47.0 | 53.6 |
| OpenWebRL-4B（活网站 RL） | 74.1 | 67.0 | 70.6 |
| WebHarbor-4B（合成环境 RL） | 81.2 | 70.4 | 75.8 |
WebHarbor-4B 超活网站 RL 的 OpenWebRL-4B 达 5.2 分，超共享 SFT 起点 22.2 分，也超全部所列开源 agent（MolmoWeb-8B 56.8、Fara-7B 53.8、UI-TARS-1.5-7B 48.9、GLM-4.1V-9B-Thinking 50.4 均分）。三个评测集（WebVoyager 全部 15 站留出、Online-Mind2Web 原任务排除、WebArena 独立环境族）保证这是对未见站、未见任务实例、异环境族的泛化。
（4）能力组分解与禁登录测试：WebHarbor-4B 对 OpenWebRL-4B 的增益集中于认证（+13.3）、多页导航（+12.6）、状态化操作（+10.8）；WebArena 上交易类 +21.4。WebArena-NL 禁自动登录（凭据写进任务描述）时，WebHarbor-4B 仅掉 2.7 分，而 OpenWebRL 两个变体掉 4.9/3.6 分；GitLab（30.4 vs 19.6）与 Map（25.0 vs 15.6）领先幅度反而拉大。这直接印证增益来源正是训练里独有的认证/状态化工作流信号。另在 WebArena 226 任务子集上总分 28.8 超两个 OpenWebRL 变体（26.1/20.4），5 站中 4 站领先（Reddit 是例外：所有模型 <12%）。
辅助证据：操作延迟低（初始化中位 6.75s、重置 6.0s、验证器 4.0s），支持大规模 RL；306 题测试集上 GPT-6-Astra 验证器通过率 95.7%（对前沿模型接近饱和，但小模型训练仍有价值）；验证器与 agent-judge 一致率 87–99.6%。
5.2 SCOPE：三基准 + 机理分解
指标体系分三层：主指标（成功率/得分对最强基线的相对提升）、机理指标（探索动态按任务长度分解）、效率指标（每发现一个成功任务的模型调用与环境交互数）。
（1）主结果：
| 基准 | 骨干 | 最强基线 | SCOPE | 相对提升 |
|---|---|---|---|---|
| WebArena-Lite | Llama3.1-8B | WEBRL 45.8 | 54.3（OPSI） | +18.6% |
| WebArena-Lite | Llama3.1-8B | WEBRL 45.8 | 53.6（OPTI） | +17.0% |
| WebArena-Lite | Qwen2.5-3B | RFT 36.5 | 41.6（OPTI） | +14.0% |
| WebVoyager（真实在线网站） | Llama3.1-8B | RFT 37.3 | 42.8 | +14.7% |
| WebVoyager | Qwen2.5-3B | RFT 26.1 | 28.4 | +8.8% |
| WebShop（Score/SR） | Llama3.1-8B | GRPO 0.889/76.2 | 0.938/85.2 | +5.5%/+11.8% |
| WebShop | Qwen2.5-3B | GRPO 0.898/80.8 | 0.933/84.6 | +3.9%/+4.7% |
覆盖离线可控（WebArena-Lite）、真实在线（WebVoyager）、可重复仿真（WebShop）三类环境，两种骨干规模，增益一致且随模型能力放大（Llama 增益大于 Qwen）。
（2）消融（WebShop，Qwen2.5-3B，Score）：去 Skill Discovery 0.827（−11.4%）、去 Skill Orchestration 0.897（−3.9%）、去 Skill Expansion 0.816（−12.5%）、三者全去退化为 RFT 0.780（−16.4%）。Discovery 与 Expansion 贡献最大——没有技能就没有可复用资产，没有失败干预就会重复无效分支。
（3）探索动态机理：同等 rollout 数下 SCOPE 累积发现更多 reward-positive 样本；按任务所需步长分组，SCOPE 在更长任务上 rollout 成功率优势更大；训练出的模型在需要更长轨迹的测试任务上累计成功率更高。三层证据把"探索改进 → 长程能力"的传导链闭合。
（4）OPTI vs OPSI 的双角色：OPTI 探索更强（弱策略 Qwen 的 rollout 动态更好，外部引导直接突破 frontier），OPSI 内化更优（强策略 Llama 最终 54.3 > 53.6，自我纠正动作贴近自身分布、易被蒸馏吸收）。这与学生友好蒸馏（student-friendly distillation）的既有发现一致。
（5）效率与扩展性：WebShop 上 SCOPE 总模型调用 108,729，比 RFT 的 168,621 少 35.5%、比 GRPO 约 242,000 少 55.1%；WebArena 上与 RFT 相当（Qwen +1.8%、Llama −4.6%）——记忆管理调用的开销被"避免重复低价值探索"的节省覆盖。外轮 1→3 轮在 WebVoyager 增益 4.25 分；内迭代从初始 rollout 的 33.40% 提升到 15 个阶段后的 43.41%。自管理记忆（微调同源 Llama3.1-8B 做 DISCOVER/SELECT/SUMMARIZE/INTERVENE）达到与外部 DeepSeek-V3.2 相当的效果，意味着框架可脱离外部大模型自演化。辅助信息 c 的消融（OPTI 53.6 vs 52.7）说明增益不依赖额外判据信息。
六、效果优势的根源解释
6.1 根源机制与证据链
WebHarbor：为什么合成环境 RL 能反超活网站 RL
Baseline 为什么曾经有效：OpenWebRL 在 704 个活网站上做在线 RL，环境最真实、任务分布最广，曾是最强开源 agent。它的有效性建立在"真实交互信号"上。
根本局限：活网站作为 RL 环境有三个不可逾越的障碍——①方差不可控（38% 拦截 + 22% 过时意味着奖励信号本身带噪）；②工作流深度受限（账号、下单、支付在活站上无法反复训练，RL 最需要的是可重复的试错，而活站恰恰不允许重复产生真实副作用）；③重置不可行（活站没有 reset 按钮）。因此 OpenWebRL 的训练分布天然偏科于信息检索，认证/状态化能力得不到训练信号。
因果链（每步标注证据等级）：
- 任务驱动定界把不可行的整站克隆变成有界的支持面重建，且显式保留近失项防答案泄漏 →【论文实验已支持：3,518 任务全覆盖 153 站，与 Online-Mind2Web 交叉相似度仅 0.39 说明非复制泄漏】
- 纯 agent 合成存在系统性质量缺口（试点 26 站中 13 视觉缺陷、14 交互损坏）→ 人类审核闭环补齐保真与交互深度 →【论文实验已支持：试点统计 + 每环境 2–3 轮审核流程】
- 认证（31.8%）与状态化（35.6%）工作流是活站基准几乎无法提供的训练信号 → WebHarbor-4B 的增益恰好集中在这些能力组（认证 +13.3、多页 +12.6、状态化 +10.8、WebArena 交易 +21.4）→【论文实验已支持：能力组分解直接对应】
- 禁登录设置下 WebHarbor-4B 仅掉 2.7 分（对手掉 4.9/3.6），GitLab/Map 领先反扩大 → 说明学到的不是"记住登录快捷方式"而是通用的认证流程能力 →【论文实验已支持：WebArena-NL 对照】
- 确定性快速重置（6.0s）满足 RL 可重复性要求，使同等算力下有效采样密度高于活站（活站 rollout 会被 bot 检测等打断）→【阅读者推测：论文未直接测量"单位算力有效样本数"这一指标，此为从延迟表与活站拦截率的合理推断】
- 合成环境与活站的结构同构性（页面层级、导航模式、表单交互的同分布）使能力可迁移 →【论文实验已支持：在全部留出的 WebVoyager 15 站与 Online-Mind2Web 上泛化；但论文 Limitations 也承认 client-heavy 行为（交互地图、实时行情）被静态代理化，同构性有边界】
反事实推理：如果去掉人工审核（纯 agent 合成），试点数据预示约 50% 环境带缺陷，训练信号质量崩塌；如果去掉认证工作流任务，增益应塌缩到信息检索组的水平（+15.1 分主要来自 SFT 基线差异而非环境红利）——这正是 OpenWebRL 的天花板形态。
SCOPE：为什么技能渐进探索能稳定超越整体 rollout
Baseline 为什么曾经有效：RFT/GRPO/WEBRL 等靠完整成功轨迹做强化，在短程或中程任务上成功轨迹可得，方法有效。
根本局限：长程任务成功概率 p^L 指数衰减 → 成功轨迹产量趋零；失败轨迹整体丢弃 → 每次失败的学习信号为零 → agent 重复踩同一批坑（论文动机数据：never-solved 任务上反复修改同一目标，试错高度冗余）。
因果链：
- 失败轨迹被 DISCOVER 拆为经验证局部技能 + 失败模式，从"零价值的废料"变为"可复用资产” →【论文实验已支持：去 Skill Discovery 掉 11.4%，是第二大组件】
- 技能链把每轮探索起点恢复到上轮 frontier，等效探索深度从 L 缩到"剩余深度”，单轮扩展成功概率从 p^L 变成 p → 方差从指数级降为多项式级（命题 1 + Lemma 1：深度 k 处候选 frontier 状态 O(k^α)，实验观测 frontier 增长远低于线性）→【论文实验已支持：理论推导 + Figure 4 亚线性增长实证】
- 失败对齐干预避免重复无效分支（只注入与当前 frontier 匹配的失败）→【论文实验已支持：去 Skill Expansion 掉 12.5%，是最大组件】
- 蒸馏对象是"探索 + 干预混合"产出的完整成功轨迹，OPSI 的干预动作由策略自身（条件于失败摘要）生成，分布接近学生策略 → 内化容易 →【论文实验已支持：Llama 上 OPSI 54.3 > OPTI 53.6，且与 student-friendly distillation 文献一致】
- 探索改进传导到长程能力 →【论文实验已支持：按任务长度三层分解（rollout 成功率/探索成功率/测试累计成功率）在长任务组全面占优】
- 效率优势来源：记忆管理调用（Discovery/Orchestration/Expansion 共约 4,700 次调用）远小于被避免的重复 rollout →【论文实验已支持：WebShop 调用 −35.5%/−55.1%；WebArena 上打平略省】
- 环境反馈验证子目标（y_i 判定）近似无偏，是技能库质量的根基 →【阅读者推测：论文用辅助 LLM 判定 y_i，其与真实奖励的一致率未单独报告，若判定系统性偏松可能让"伪技能"入库，此风险论文未量化】
6.2 相关工作检索与对照
以下为围绕两篇论文核心机制的外部检索结果（检索工具：WebSearch；检索日期：2026-11-04；关键词覆盖 skill memory / progressive exploration / web agent environment synthesis / deterministic web benchmark / first-return-then-explore 及中文同义表述）：
| 研究（可核验链接） | 相似尝试 | 相关结论 | 与本文的差异与适用边界 | 对根源解释的影响 |
|---|---|---|---|---|
| Go-Explore, First return then explore（arXiv:2004.12919, Nature 2021） | 记住有希望状态、先返回再探索，解 Atari 硬探索 | “detachment/derailment 是探索失败主因；先返回后探索是通用强原则” | 游戏/机器人状态可快照恢复；Web 状态需技能链重放恢复，SCOPE 是其 LLM Agent 实例化并加了方差理论 | 支持：SCOPE 技能链恢复 = Web 版 Go-Explore 存档机制，机制跨域成立 |
| Agent Workflow Memory（arXiv:2409.07429） | 从轨迹归纳可复用工作流注入上下文，Mind2Web +24.6%、WebArena +51.1% 相对提升 | 工作流复用能显著提升长程任务 | 技能留在上下文不进参数；无失败记忆、无跨 rollout frontier 推进、无蒸馏 | 支持并补充：证明技能抽象有效；SCOPE 补上"内化 + 失败利用"两翼 |
| Voyager（arXiv:2305.16291） | Minecraft 终身学习：技能代码库 + 自动课程，技能组合滚雪球 | 可组合技能库带来能力复利、抗遗忘 | 游戏环境可程序化验证；不训练模型参数；无失败经验机制 | 支持：技能组合性跨域成立；边界：Web 动态性要求重接地 |
| Tree Search for LM Agents（arXiv:2407.01476） | 测试时最佳优先树搜索，VisualWebArena 相对 +39.7% | 回到中间状态分支能显著提升 Web 任务 | 测试时算力换性能、不改参数、成本高；SCOPE 在训练时搜索并蒸馏，推理零额外开销 | 支持：同一"状态回溯 + 分支"机制在测试时也有效，机制非偶然 |
| WebArena（arXiv:2307.13854） | 人工自托管可控环境 + 程序化验证 | 可控环境是可复现评测的基石 | 仅 6 站、人工成本高、重置重 | 支持：可控性价值已被验证；WebHarbor 是其规模化 + 真实锚定版 |
| REAL（arXiv:2504.11543） | 11 个真实网站的确定性高保真复刻 + 112 任务 | 确定性真实复刻可行且前沿模型仅 41%，暴露真实差距 | 11 站规模、预认证起步、以评测为主；WebHarbor 153 站 + 认证工作流 + RL 训练价值验证 | 支持：确定性复刻路线独立成立；WebHarbor 把它推到训练侧 |
| OpenWebRL（arXiv:2606.02031） | 活网站在线 RL，SOTA 开源 agent | 活站 RL 有效但受限于活站工作流深度 | 作为被镜像超越的 baseline，其 WebVoyager 74.1/WebArena 掉分模式印证活站信号偏科 | 限定：说明活站路线并非无效，而是信号结构有系统性缺口 |
| WebRL（arXiv:2411.02337） | 自进化课程 RL，Llama 上 45.8 | 按能力生成难度递进任务有效 | 课程在任务间推进；SCOPE 在单一任务内推进 frontier，两者可叠加 | 补充：另一条缓解探索难的路径，与技能路线正交 |
| AutoWebWorld（arXiv:2602.14296）/ CUA-Gym（arXiv:2605.25624）/ InfiniteWeb（arXiv:2601.04126） | FSM/agent 自动合成可验证 Web 环境 | 合成环境可规模化产出训练信号 | 多为生成新世界而非真实网站任务锚定重建；图像与认证深度不足；不发布 checkpoint，训练价值未验证 | 对照：合成路线的保真/深度缺口正是 WebHarbor 人审 + 任务锚定要补的 |
| DIGIRL（arXiv:2406.11896） | 设备控制自主 RL，免人工标注 | 在策略自主探索可训练 GUI agent | 仍是整体 rollout，长程任务探索效率受限 | 对照：SCOPE 与之同属自主探索谱系，差异在探索的组织方式 |
诚实说明检索边界：(1) 在本次检索范围内，未发现与 WebHarbor"任务驱动停靠 + 人工审核演化 + 社区共建"完全同构的已发表管线（同期未正式发表的 GUI-GENESIS、VeriEnv 等只在 WebHarbor 文内被引述，未能独立核验其全文）；(2) 未发现同时具备"失败经验库 + 技能链状态恢复 + 在策略蒸馏"三要素且给出方差理论的完全同构工作——SCOPE 的最近邻是 AWM（技能归纳）、Go-Explore（返回再探索）与 OPD（在策略蒸馏）三者的组合，该组合本身是新的；(3) 未找到任何工作直接反驳"确定性合成环境 RL 可匹敌活站 RL"这一结论，但也未找到第二个独立做出的镜像对照实验——该结论目前只有 WebHarbor 一家的受控证据，外推需谨慎。
6.3 综合判断与未决问题
多项研究共同支持的机制：
- “先返回、后探索"能根治长程稀疏奖励探索失败——Go-Explore（游戏）、Tree Search（Web 推理时）、SCOPE（Web 训练时）三个独立场景一致；
- 经验抽象为可复用技能/工作流显著提升长程任务——AWM、Voyager、SCOPE 一致；
- 可控确定性环境支撑可复现评测与有效训练——WebArena、REAL、WebHarbor 一致；
- 在策略的监督（学生可达状态上给反馈）优于离线模仿——OPD 文献与 SCOPE 的 OPSI 优势一致。
仍属合理推测的机制：
- “合成-真实迁移的结构同构性"足够强，故合成环境训练收益可外推——WebHarbor 的四基准泛化是强证据但只有一家、一个 4B 模型、一种 RL 算法（作者在 Limitations 自认）；
- “认证工作流信号不可替代”——增益集中证据支持相关性，但没有消融"去掉认证任务只留信息检索任务"的直接对照（此类对照工程上难以构造）；
- SCOPE 的 y_i 判定无偏性、以及"frontier 状态多项式增长"假设在超长任务（数百步）上是否仍成立（论文实证只到 15 步量级）。
优势成立的条件：WebHarbor 路线要求目标任务支持面可枚举、站点行为可静态代理化；SCOPE 要求任务可拆成"环境反馈可局部验证"的子任务（信息检索/表单操作满足，开放式创作类任务未必）。可能的失效条件：对强动态站点（实时行情、交互地图），WebHarbor 的静态代理会失真；当模型足够强（成功轨迹不再稀缺）时，SCOPE 的探索收益会衰减为蒸馏收益；OPSI/OPTI 的强弱反转（弱模型宜 OPTI、强模型宜 OPSI）提示干预策略需随模型能力配置。
七、必要知识反推
假设让一个完全没有背景的人从零做出这两篇论文，最少需要哪些知识？
7.1 领域知识层
- Web Agent 的观察-动作循环：AXTree/HTML/截图观察、浏览器动作空间、ReAct 式 harness。不理解它就无法定义"观察等价/转移等价”（WebHarbor）或把轨迹切成子任务（SCOPE）。
- 真实网站的工程解剖：页面层级、URL 模式、水合后 DOM、认证流、表单与持久状态。WebHarbor 的编码 agent 技能（Flask/SQLAlchemy/Jinja2 重建、SHA-256 资产记录）全部建立在此之上。
- 技能习得理论（Fitts & Posner）：认知-联结-自动化三阶段。这是 SCOPE 整个框架的叙事骨架与模块划分依据。
7.2 方法论知识层
- 强化学习基础：稀疏奖励、探索-利用权衡、GRPO/MM-GRPO、on-policy 含义。两篇的 RL 侧（镜像训练设计、agentic OPD）都以此为准入知识。
- Go-Explore 与树搜索思想：状态存档、先返回后探索、中间状态分支。SCOPE 的技能链恢复是其直接后裔。
- 蒸馏理论：离线蒸馏的 off-policy 失配问题、在策略蒸馏的分布对齐收益。没有它推不出 agentic OPD 的设计动机。
- 基准构建方法学：任务泄漏检查、近失干扰项、验证器-判官一致性、留出集设计。WebHarbor 的 306 题测试集五模型过滤流程是这套方法学的体现。
7.3 工程知识层
- Docker 化与确定性种子：byte 级一致的数据库重置、隔离沙箱、Orchard 接口管理——RL 可重复性的工程前提。
- 社区开源协作：PR 流程、角色分工（贡献者/审核者）、资产版本管理——57 人 5 个月产出 153 环境的组织学。
- LLM 微调工程：LLaMA-Factory、vLLM 推理、学习率/批大小选择、温度 0 评测协议。
7.4 知识融合的关键节点
- WebHarbor 的创造性节点：把"软件工程的范围界定”（scope）与"基准构建的有效性"（validity）融合进"任务定义支持面"这一概念——任务不再只是考题，而是环境规格说明书。第二个节点是把社区开源的人海力量编排进"agent 实现 + 人审"的分工：agent 干重活、人当质检员，5 个月干完纯人工几十年份的活。
- SCOPE 的创造性节点：把认知心理学的三阶段技能理论翻译成可执行算法（发现≈认知、编排≈联结、蒸馏≈自动化）；再把 RL 探索理论（Go-Explore 的存档思想）与蒸馏理论（在策略分布对齐）焊接起来——技能链保证状态在策略可达，蒸馏保证动作分布贴近策略，两者共同守住"on-policy"这条命脉。
八、论文中可以提取的通用性灵感
灵感一：任务即规格——用需求定界代替全量复制
- 核心思想：面对一个规模无边的复杂系统，不要复制系统本身，只重建"完成目标任务所必需的支持面"。
- 论文证据：WebHarbor 以 3,518 个任务定界 153 个网站的支持面，均每环境 6,610 行代码即达成任务级观察/转移等价；近失项与干扰项同时被纳入规格，防捷径。
- 推广场景：①机器人仿真——只为目标任务族重建抓取/装配所需桌景；②软件测试——按用户旅程重建最小可测系统；③教育——按考核目标组织最小完备知识图谱；④数字孪生——按监控决策需求做局部孪生而非全厂孪生。
灵感二：人机协同的质检员模式——agent 干活、人类验收
- 核心思想：自动化生产的质量缺口（试点 50% 缺陷率）不必回到全人工，把人放在"审核 + 缺陷转译"节点上即可闭环。
- 论文证据：26 站试点 13 视觉缺陷、14 交互损坏 → 引入人审后每环境 2–3 轮达标；社区 57 人 5 个月 153 站，PR 合并率 89.9%。
- 推广场景：①数据集众包构建（标注者提需求、模型产数据、专家验收）；②代码生成流水线（模型写码、人审边界条件）；③内容生产（AI 起草、编辑定稿）；④科学发现（AI 提假设、人设计判决实验）。
灵感三：失败轨迹资产化——废料拆解成两座矿
- 核心思想：失败的不是全部——把失败整体拆成"经验证的局部成功"与"结构化的失败模式"，两类资产都有再利用价值。
- 论文证据：SCOPE 去 Skill Discovery −11.4%、去 Skill Expansion（失败注入）−12.5%，失败利用与成功提取贡献相当。
- 推广场景：①学生错题本（拆出会做的子步骤 + 错误模式）；②企业复盘（保留有效局部实践、登记失败路径）；③药物研发（失败化合物库指导分子设计）；④推荐系统（负反馈建模）。
灵感四：先返回、后探索——把探索起点推到已知边界
- 核心思想：面对长链任务，先恢复到"已验证可达的最远状态"再向外迈一步，避免每次从零开始；其收益是把成功概率的指数衰减变成多项式衰减。
- 论文证据：命题 1 的方差界 + 按任务长度分层的探索/测试优势；效率上 WebShop 模型调用省 35.5%。
- 推广场景：①长文档写作（从上轮稿件的 frontier 续写）；②数学证明（从已证的引理出发攻新引理）；③多轮谈判（回到已达成的条款再谈分歧）；④爬虫/测试路径规划。
灵感五：可控性优先的环境供给侧改革
- 核心思想：当训练/评测环境不可控时，先造可控环境再谈算法——可控性（确定性重置、无干扰）本身就是训练信号质量的一部分。
- 论文证据：活站 38% 拦截 + 22% 过时的不可控方差，被 6.0 秒确定性重置替代后，同起点同算法反超 5.2 分。
- 推广场景：①自动驾驶仿真（可控合成场景训练、真实路测验证的分工）；②医疗 AI（合成病历训练、真实病历评测）；③金融回测（可重放的市场环境）；④教育测评（标准化模拟考场）。
灵感六：镜像对照——同起点、同算法、只换环境/只换方法
- 核心思想：要证明"X 是收益来源"，就保持一切不变只换 X；WebHarbor 换环境不换算法，SCOPE 换探索方式不动骨干。
- 论文证据：WebHarbor-4B 与 OpenWebRL-4B 同 SFT 起点、同 MM-GRPO、同 harness、同奖励，唯一变量是环境；SCOPE 消融中"全去三组件 = RFT"提供了方法内部的下界锚点。
- 推广场景：①云服务迁移决策（同负载新旧环境对跑）；②教学法对比（同学生画像换教材）；③A/B 测试设计；④政策试点评估。
附录：两篇论文速览
| 项目 | WebHarbor | SCOPE |
|---|---|---|
| arXiv | 2611.03634 | 2611.03116 |
| 一句话 | 把 153 个真实网站停靠为可控 Docker 环境，合成环境 RL 反超活站 RL | 失败轨迹拆技能、链式恢复、渐进扩展，方差指数级→多项式级 |
| 规模 | 153 站 / 3,518 任务 / 57 人 / 26 机构 / 5 个月 | 3 基准 × 2 骨干，NeurIPS 2026 |
| 关键数字 | WebVoyager 81.2、OM2W 70.4、均分 75.8（+5.2 vs 活站 RL） | WebArena-Lite 54.3（+18.6% 相对）、WebShop SR 85.2（+11.8%） |
| 开源 | 代码/数据公开（GitHub: aiming-lab/WebHarbor） | 正文未提供代码链接 |
| 发表口径 | Preprint（社区资源型，NeurIPS D&B 口径竞争力中上） | NeurIPS 2026 已接收 |
声明：本精读基于两篇论文 arXiv v1 全文撰写；第六部分的外部检索通过 WebSearch 完成，检索范围与未找到的结果已如实标注。文中【阅读者推测】标签处为本文作者提出的机制假设，非论文原文明证。