论文一链接：Player-1: Learning to Play from Synthetic Experience 论文一代码：github.com/TencentARC/Player-1 论文一发表时间：2026年10月 论文一机构：新加坡国立大学 + 腾讯 IEG ARC Lab + 南洋理工大学（第一作者为 NUS 学生，工作完成于腾讯 ARC Lab 实习期间——典型「学校学生 + 企业合著」模式，企业提供算力、数据与工程设施）
论文二链接：EmbodiedEvo: Self-Evolving Coding Agent For Physical Intelligence 论文二主页：lab.einsia.ai/embodiedevo 论文二发表时间：2026年10月 论文二机构：Navers Lab、Einsia.AI、清华大学（产业实验室 + 创业公司 + 高校联合）
这是一篇合读精读：两篇论文表面上分属「玩游戏」和「操纵机器人」两个领域，实则回答同一个问题的两个侧面——当一个通用模型（VLM 或编码 agent）需要在交互式环境里做精细控制时，它需要的「经验」从哪里来、存在哪里、能否迁移？ Player-1 把经验以梯度形式写进模型参数；EmbodiedEvo 把经验以代码和文本形式存在模型外部。对照阅读能看清这条谱系的完整设计空间。
一、论文背景：交互式控制为什么是「经验饥渴」问题
先说什么是交互式控制。 过去两年，computer-use agent（电脑操作智能体）已经能看懂屏幕、移动鼠标、敲键盘，完成填表、订票这类办公任务。这类任务的共同点是节奏慢、可暂停——点错一个按钮，下一轮再看一眼屏幕就能补救。而游戏和机器人操作是另一类极端：画面每秒几十帧地变，操作要求持续按住、精确瞄准、多键并发，比如一边按 W 前进一边转动视角一边开枪。Player-1 论文开篇就把游戏称为「迈向通用数字控制的下一块硬骨头」。
再说「经验饥渴」。 两篇论文各自指出了当前范式的同一个瓶颈：
- 演示数据覆盖不了动态状态。 Player-1 的观察是：现有游戏 agent（Game-TARS、SIMA 2、NitroGen 等）依赖大规模人类 gameplay 演示做监督训练，但演示只覆盖玩家实际遇到的状态——一旦 agent 自己玩偏了，进入演示里从未出现的局面，它就没有任何可参考的行为。这和自动驾驶的「长尾问题」同构。
- 零样本 agent 每次都从零熟悉身体。 EmbodiedEvo 的诊断更细腻：他们分析了 GPT-6-Astra 在 RoboDojo 上的失败轨迹，发现 agent 把大量交互预算花在「熟悉这具身体」上——比如井字棋任务里，机械臂两次到达目标位姿却两次空抓（第 216、283 个动作），到第 367 个动作才第一次稳定抓住圆环，此时已烧掉三分之一的动作预算。关键洞察是：这些用昂贵物理反馈换来的操作诀窍，episode 结束就全部作废，下一个全新 agent 从零再来。
两条路径的分歧由此产生：既然经验是瓶颈，那就需要系统性地生产经验。Player-1 选择造一个可以无限次重置、程序化发奖励的合成训练场（经验最终变成参数）；EmbodiedEvo 选择让 agent 在练习场里把物理反馈主动蒸馏成文本化的 Skills 和 Lessons（经验保持在外部）。这个分歧贯穿两篇论文的全部设计。
顺带一提，这个「经验饥渴」问题并非游戏和机器人独有。任何闭环交互系统都面临同样的结构性困境：LLM 的 RL 训练受限于可验证奖励的稀缺，agent 的上下文学习受限于历史窗口的长度，人类组织的知识管理受限于老兵离职的经验流失。两篇论文给出的答案——「造替身环境批量生产」与「蒸馏成可交接的结构化产物」——因此具有超出具身智能领域的参考价值，这也是把它们合读而不是分开读的理由。
二、论文定位和关联工作
2.1 Player-1 的谱系：游戏 agent 的三代路线
| 路线 | 代表工作 | 核心思路 | 局限 |
|---|---|---|---|
| 大规模预训练 | Game-TARS (2025) | 海量游戏轨迹预训练 | 覆盖有限，闭环不可用 |
| 监督初始化 + 真机/世界模型 RL | SIMA 2 (2025)、Odysseus | SFT 后在少量游戏环境在线 RLVR | RL 环境稀缺，难扩展到套件外 |
| 系统-1 快速策略 | NitroGen (2026) | 动作 chunk 低延迟泛化 | 无推理，无 RL |
| Player-1（本文） | — | 按「控制需求抽象」自建 16 个合成环境做 RLVR，不依赖任何目标游戏 | 合成与真实的残余差距 |
论文表 1 的对比里最有信息量的一格是「RL environments」：SIMA 2 用 Genie 3 世界模型、Odysseus 只有 5 个马里奥关卡，而 Player-1 是 16 个自研合成环境且全部代码开源。它的邻居还有 CUA-Gym（为办公任务合成环境）和 SPADE（自适应合成环境），Player-1 把这个思路第一次系统性地搬进动态游戏控制领域。
2.2 EmbodiedEvo 的谱系：具身控制从「学参数」到「写代码」再到「存经验」
| 路线 | 代表工作 | 控制知识放在哪 | 局限 |
|---|---|---|---|
| VLA 参数化策略 | RT-2、OpenVLA、π0 系列 | 全在网络权重 | 需要海量真机数据，难零样本迁移 |
| 世界-动作模型 | DreamZero、VPP2 | 权重 + 生成式世界模型 | 同上 |
| 代码即策略 | Code as Policies、Agent as Policy | 单次生成的程序里 | 程序用完即弃，经验不积累 |
| 技能库积累 | Voyager（Minecraft 技能库）、RATs | 外部代码库 | 多在虚拟世界，缺少冻结协议与系统迁移评估 |
| EmbodiedEvo（本文） | — | 外置 Skills + Lessons，经严格 freeze 协议跨场景/跨模型/跨任务复用 | 精细接触控制仍是瓶颈 |
EmbodiedEvo 的独特定位在于它关心的不是「agent 能不能写控制程序」（Agent as Policy 已证明可以），而是「探索产出的经验内容本身」：用什么表示、冻结后还有多少价值、能迁移多远。这与 SkillOpt、SHAPER、EmbodiedRSI 等 harness 进化工作互为呼应，但 EmbodiedEvo 用「单场景 Playground + 冻结 + 多接收者」的协议把迁移性变成了可测量的对象。
2.3 合读定位
两篇论文在「经验获取」维度上构成一组干净的对偶：
| 维度 | Player-1 | EmbodiedEvo |
|---|---|---|
| 经验载体 | 模型参数（PPO 梯度） | 外置文本（Skills 代码 + Lessons 诊断） |
| 经验来源 | 合成环境 + 程序化奖励 | 真实（仿真）物理反馈 |
| 获取风险 | 零成本零风险，可无限重置 | 每条经验消耗真机/仿真动作预算 |
| 获得后能否复用 | 隐式（泛化到新游戏） | 显式（冻结文件直接给新 agent） |
| 模型是否更新 | 是（SFT + RL） | 否（权重与接口完全冻结） |
三、问题定义：把「学控制」抽象成经验生产问题
剥掉游戏和机器人的场景外衣，两篇论文面对的是同一个抽象问题：
给定一个具备基础感知与推理能力的通用模型 M、一个交互环境分布 E、以及一组无法直接微调或无法低成本交互的目标环境 T，求一套经验生产机制，使 M 在 T 上的控制成功率最大化，约束是目标环境 T 中不提供训练信号（不能在商业游戏里做 RL / 不能在测试场景里重置）。
两者对这个抽象问题给出了对偶的解法结构：
- Player-1 的核心洞察是「控制需求抽象」：表面上千差万别的游戏，底层共享少数几类控制需求——瞄准、战斗、驾驶、导航、UI 操作。如果合成环境按这些共享控制需求而非按具体游戏来设计，那么在合成环境里学的控制能力就应该泛化到任何需要同类控制需求的游戏。这相当于对「什么经验可迁移」做了一个强先验假设。
- EmbodiedEvo 的核心洞察是「经验的双重结构」：物理操作经验天然分成两半——怎么做一个操作（Skill，可执行程序）和什么时候能做/失败了怎么救（Lesson，适用条件与恢复指引）。轨迹数据之所以不可复用，是因为这两种知识纠缠在时间序列里；蒸馏成「程序 + 条件」的对偶结构后，就变得可读、可检验、可交接。
精妙之处在于：Player-1 假设不变性在环境侧（控制需求跨游戏不变），EmbodiedEvo 假设不变性在经验侧（操作诀窍跨场景/模型不变）。两者都必须赌一种不变性，否则经验就迁移不动。
四、问题解法
4.1 Player-1：三段式流水线
（1）扩展动作空间：让 CUA 动作能表达游戏操作。 标准 computer-use 动作只有「点击绝对坐标 + 单键敲击」，表达不了游戏操作。Player-1 做了三层扩展，每层都保留原有动作（兼容基础模型已会的 GUI 能力）：
| 扩展 | 形式 | 对应游戏操作 |
|---|---|---|
| 相对指针移动 | move(relative, Δx, Δy)，Δ∈[-1000,1000] 归一化 | 无光标的第一人称视角转动 |
| 持续输入 | hold(key, Δt) 跨控制步保持 | 持续前进、持续转向 |
| 复合动作 | input1 ∥ input2 ∥ …（m≥2 并发） | 跑跳（W+Space）、边瞄准边开火 |
（2）监督初始化：6,044 条精选演示。 来源是公开数据集（D2E、Gaming 500 Hours、Open Pixel2Play、VPT）加上自录，共 295,097 个交互轮次、172 款游戏、约 16.4 小时。数据分布值得注意：Minecraft 占 20.5%（1,236 条），GTA V 占 6.6%，其余 162 款游戏合计 53.7%——刻意保持多样性而非集中在少数游戏。复合动作统计揭示了游戏操作的真实形态：36.6% 的控制步只有单个输入，41.1% 有两个，22.3% 有三个以上；鼠标移动中相对模式占 69.5%（绝对定位仅 30.5%）——印证了相对指针扩展的必要性。工程上有两个关键处理：一是时间对齐——各数据源的时间戳粒度不一（150-250ms），统一投影到 200ms 控制步网格上；二是鼠标校准——不同录制设置下原始鼠标输入的尺度不同（VPT 用逻辑坐标 k=2，D2E 用 k=0.66），用同一会话中自由移动光标的位移做回归，统一换算成像素等效坐标。标注则交给 Gemini 3.8 Flash：先为每款游戏建「规则/角色/输入」档案，再为每条轨迹标注任务指令和逐轮视觉推理。SFT 时用动作平衡采样——原始数据里鼠标左键输入占比不足 1%（被键盘和移动主导），按动作类型分池加权采样（九个动作池权重各 1，杂项池 0.1），保证低频但关键的动作有足够监督。
（3）Player-1-Gym + 多环境 RLVR。 十六个自研环境（基于共享的 Three.js 浏览器引擎）按五大任务族组织：瞄准（2 个）、战斗（5）、驾驶（4）、导航（4）、UI 交互（1）。每个环境的奖励是程序化可验证的：直接读游戏内部状态的分数增量（击杀数、检查点、金币数），不需要学习型裁判，策略侧只看截图。每个环境还做四个维度的域随机化：外观（颜色/光照/资产）、相机（投影/机位/初始朝向）、场景（布局/出生点）、控制（输入响应增益）——其中控制随机化（比如视角增益在 0.8-1.2 倍间采样）专门防止策略过拟合到某一种手感。RL 算法是 PPO（γ=λ=1 保留跨轮信用），并做按环境优势归一化：16 个环境奖励量纲差异很大（0-3 分到 0-25 分），逐环境归一化优势值防止大量纲环境主导梯度。训练规模：200 步 RL，每步 256 个 episode 均分到 16 个环境，9B 模型 RL 阶段用 64 张 H200 约 36 小时。
4.2 EmbodiedEvo：Playground → Freeze → Test 三阶段协议
（1）程序化机器人接口（L1/L2 两层）。 L1 是环境原语：get_instruction()、get_observation()、step(action)、reset()。注意不给物体真值位姿、深度、相机标定——agent 和真机器人一样只能看 RGB 和本体状态。L2 是 agent 在工作区里写的 Python 程序：变量、函数、循环、条件分支都可以，step(code) 经适配器执行，程序内部调用原生 step(action)。机器人状态和 Python 定义在多次提交之间持久——编辑代码出错不会撤销已完成的动作，agent 必须适应当前物理状态继续写。
（2）Playground 阶段：单场景探索 + 双通道蒸馏。 每个任务只有一个练习场景。agent 在其中循环：观察 → 推理 → 写程序 → 提交执行 → 检查反馈 → 修改。系统提示要求它趁证据新鲜立即记录（「不要等到会话结束才写」），把发现写入两类产物：
- Skills：参数化的可执行程序，要求带前提条件、容差、预算参数，并有实验证据支撑（如一个带对齐检查和负载验证的抓取函数
pick_from_above）； - Lessons：文本化诊断知识——失败模式、诊断信号、恢复策略、边界情形、未决假设（如「机械臂到达了目标位姿，但负载保持失败」）。
（3）Freeze 协议：严格的经验隔离。 Playground 结束时只带走 skills/ 和 lessons/ 两个目录，其余全部丢弃（执行的程序、临时文件、观察记录都不带走）。Test 阶段每个新场景都是全新 agent、全新工作区、全新仿真器，经验只读、不可更新、不共享——reset 被禁用。这个设计的实验美学在于因果干净：Test 性能提升只能来自冻结经验本身，而不是热启动或环境泄漏；换执行模型时也不用重新探索，因为「经验内容是显式的程序和指引」，跨模型复用零额外成本。
一个具体 Skill 的长相（论文附录 D.2 的真实示例）：pick_from_above(arm, grasp_pose, lift_z, action_budget, ...) 是一个带防御性检查的抓取函数——先读当前观测计算横向误差，若超过对齐容差 0.003 或高度不对就返回错误码而不执行；下降、闭合、抬升三个阶段各有步长预算（0.010 / 0.008）和停留时间；任何阶段预算不足即中止。与之配对的 Lesson 是一句话诊断：「机械臂到达了目标位姿，但负载保持失败」——Test 阶段的 agent 读到它，就知道要在提升后做视觉保持验证而不是盲目进入下一阶段。Skill 是肌肉，Lesson 是反射条件，两者合起来才构成一次可交接的操作经验。
4.3 一个容易被忽略的对照：两者对「历史」的处理哲学
Player-1 的历史是截断压缩的：SFT、RL、评估统一用「2 + 2」设定——两个最近的视觉-动作轮（带截图）加两个更早的纯动作轮（截图替换为 <image omitted>，推理替换为 <thinking omitted>）。这是被上下文预算逼出来的工程妥协：游戏交互动辄上百轮，全量历史不可能，于是只保留最近的完整感知和更早的动作轨迹。经验最终不依赖历史长度存在——它已经被 PPO 写进参数。
EmbodiedEvo 的历史是持久工作区：执行的程序、观察记录、Python 变量在 episode 内全程保留，agent 可以随时翻查自己五次提交之前看到了什么。但 Test 场景之间历史清零，跨 episode 只有冻结的 Skills/Lessons 两个目录可携带。经验显式地以文件形式存在，历史只是蒸馏的原料。
这个对照的启示在于：上下文窗口永远装不下长程交互，必须选择一种「经验的沉淀机制」——参数化（Player-1）或文件化（EmbodiedEvo），而两者的选择又分别被各自领域约束决定：游戏控制需要毫秒级反应，不能靠翻文件；机器人操作节奏慢且有程序语义，文件化的收益更大。
五、评估指标与实验证据
5.1 Player-1：三个套件外基准证明「经验可迁移」
核心实验设计逻辑：RL 只在自建的 16 个合成环境里做，所有主评估都在 RL 训练套件之外——如果套件外性能提升，就证明合成环境里学到的是可迁移的控制能力而非过拟合。
MineDojo-300（Minecraft，300 任务 × 8 次试验）：
| 方法 | 总成功率 | ≥4/8 次成功的任务数 |
|---|---|---|
| GameWAM（最强 baseline） | 12.63% | 16/300 |
| Qwen3.5-9B（底座） | 9.21% | 13/300 |
| Player-1-9B-SFT | 10.54% | 20/300 |
| Player-1-9B | 38.33% | 136/300 |
| Player-1-35B-A3B-SFT | 23.38% | 76/300 |
| Player-1-35B-A3B | 41.04% | 142/300 |
三个层次的证据链：① 9B 模型 RL 比自己的 SFT 高 27.79 个百分点，35B 高 17.66pp——合成经验的增益远大于监督初始化；② 比最强 baseline GameWAM 高 25.70pp（38.33% vs 12.63%）；③ 稳定完成的任务数从 20 涨到 136（9B），说明不是靠少数任务刷分，覆盖面和可重复性同时提升。
ViZDoom-10（第一人称射击，10 地图 × 50 试验）：9B 的 overall scaled return 从 SFT 的 0.4361 升到 0.6922；35B 达 0.7236，比 GameWAM 的 0.3938 高 83.7%。GameWorld（34 款浏览器游戏，170 任务）：9B progress 从 31.43% 升到 34.45%。两个基准和 RL 环境形态差异极大（像素射击、浏览器小游戏），增益虽小但一致，支撑泛化主张。
消融与机制分析：
- 环境规模缩放：固定 25,600 episode 预算，用 2/4/8/16 个环境训练，Minecraft 成功率 39.33% → 44.67% → 48.00% → 51.67% 单调上升——更广的合成环境覆盖直接改善迁移，这是「控制需求抽象」假设最直接的证据。
- SFT 初始化的必要性：从 SFT 出发 RL 到 51.67%，从底座直接 RL 只到 16.67%，相差 35pp——合成经验 RL 需要演示初始化打底。
- 复合动作自发涌现：RL 过程中复合动作占比从 64.7% 升至 93.2%（100 步后），没有任何显式奖励鼓励并发输入——任务驱动的 RL 自动强化了「边瞄准边开火」这类协调控制。
- 演示案例：在从未见过的商业游戏 Watch Dogs 2 里，agent 完成了步行导航、接近车辆、上车、城市驾驶的连续序列。
指标体系的证明力分析：MineDojo-300 的成功率以 8 次试验平均，并给出 95% 任务簇 bootstrap 置信区间（38.33% 对应 [35.13, 41.58]），与 GameWAM 的 [10.79, 14.54] 完全无重叠——提升在统计上是稳的。覆盖度指标（≥1/≥2/≥4 次成功）则是比平均成功率更严格的「可重复性」度量：Player-1-9B 有 136 个任务在至少一半试验中成功，而 GameWAM 只有 16 个，排除了「少数任务碰运气刷高分拉均值」的解释。ViZDoom 的 scaled return 设计（每个地图按其原生奖励预算归一）让不同奖励量纲的地图可以公平平均。一个值得注意的诚实细节：论文附录估算了完整评估协议的成本——全预算评估一个模型约 314 万决策轮，按 GPT-6 Astra API 价格折算约 11 万美元，因此他们只对比了开源可复现的模型而非闭源 API 模型。
5.2 EmbodiedEvo：配对比较证明「经验归谁用」
实验设计的关键是配对（paired）：同一个执行模型、同样场景、有无经验两条件对比，把混淆因素压到最低。
RoboDojo-Sim 全量榜（42 任务 × 50 场景 = 2,100 episode）：
| 系统 | 类型 | 平均分 | 成功率 | Generalization | Precision | Long-Horizon | Memory | Open |
|---|---|---|---|---|---|---|---|---|
| GPT-6-Astra（官方已验证成绩） | Agent | 28.97 | 22.48% | 30.50% | 4.00% | 8.25% | 38.67% | 31.00% |
| Simate-beta | VLA | 33.95 | 27.96% | 27.95% | 26.92% | 43.42% | 33.00% | 8.50% |
| PhysicalRSI | Agent+VLA | 36.27 | 31.38% | 15.62% | 32.50% | 37.33% | 46.56% | 24.92% |
| VPP2（最强 WAM） | WAM | 39.26 | 32.26% | 29.50% | 35.17% | 37.00% | 55.56% | 4.08% |
| EmbodiedEvo (Astra/xhigh) | Agent | 44.48 | 37.82% | 29.67% | 13.25% | 23.50% | 69.67% | 53.00% |
超最强 WAM VPP2 5.22 分 / 5.56pp，超官方 Astra 成绩 15.51pp。分项表暴露了清晰的能力结构：Memory 类 69.67% SR（次优 VPP2 为 55.56%）、Open 类 53.00%（次优 Astra 为 31.00%）大幅领先；但 Precision 类只有 13.25%（VPP2 为 35.17%）、Long-Horizon 23.50%（Simate-beta 为 43.42%）明显落后——外置经验擅长「记住该做什么、按什么顺序」，不擅长精细接触。没有一个系统在五类任务上全面领先，这个榜面本身具身智能领域「没有免费午餐」现状的写照。
配对实验（dev 集，5 场景/任务）： 纯任务描述输入下，Astra 从 14.77 分/8.50% 升至 38.64 分/30.17%（+23.87 分/+21.67pp）；带 wiki 时增益保持 +21.75/+21.72pp。具体任务上：叠方块、井字棋从 0% 直接到 100%，模仿排序从 0% 到 80%；而插管、插钥匙两个 Precision 任务分数涨了（4→36、9→15）但成功率仍为 0——论文诚实展示了「抓手成功了、交接手失败」的轨迹，pickup 保住了钥匙但接收手闭合时是空的。
经验迁移三连问：
- 跨模型：Astra 的经验给弱模型用——Astra/medium +18.72pp、Sol +8.86pp（自己探索只有 2.50%，用 Astra 经验到 12.03%）、Luna +5.50pp（自己为 0）。这分离了『生产经验的能力』和『应用经验的能力』：弱执行器用得好它自己造不出的经验。
- 跨任务：不探索目标任务，直接用别的任务的经验——相关任务经验 +14.18 分，甚至不相关任务经验 +18.65 分（vs 同任务 +24.43）。有意思的是不相关反而比相关更好，说明迁移的是「限幅运动、负载检查、回位检查」这类通用控制常识，任务标签相似度不能预测迁移收益。
- 经验表示效率：Skills/Lessons 对比同一 Playground 的原始交互历史（Raw History）——性能相当（30.17% vs 29.78%），但每 episode 成本从 $12.203 降到 $5.732（-53.0%），未缓存输入 token 降 87.9%。另外，未完成的探索也有价值：传送带抓取任务 Playground 阶段 100 次执行零成功，但冻结局部的移动目标抓取 Skill 后 Test 从 0/0 升到 40 分/40%。
5.3 两篇实验设计的合读对照
| 实验设计维度 | Player-1 | EmbodiedEvo |
|---|---|---|
| 核心主张 | 合成经验能超越演示初始化且泛化到套件外 | 外置冻结经验能跨场景/模型/任务复用 |
| 证明主张的关键设计 | 所有主评估都在 RL 套件之外（MineDojo/ViZDoom/GameWorld） | Freeze 协议隔离经验贡献与热启动泄漏 |
| 反事实对照 | Base→RL vs SFT→RL；环境数 2→16 缩放 | 有无经验配对；Skills/Lessons vs Raw History |
| 涌现/机制证据 | 复合动作占比 64.7%→93.2% 自发上升 | 井字棋第 38 动作 vs 第 367 动作完成首次抓取 |
| 诚实披露的局限 | 未测闭源 API 模型（评估成本约 11 万美元/模型） | Precision 13.25% 落后 VPP2；配对实验未隔离单一产物因果 |
| 统计严谨性 | 95% 任务簇 bootstrap 置信区间 | 公开 leaderboard 快照锚定 + 固定场景集 |
两篇论文在实验方法论上有一个共同的值得学习的取向：都把「泛化」从口号变成了可测量的对象——Player-1 用「训练套件与评估套件严格不相交」来操作化泛化，EmbodiedEvo 用「经验生产者与消费者严格分离（换场景/换模型/换任务）」来操作化迁移。相比之下，许多 agent 论文只报告单一基准的绝对分数，无法回答「学到的东西到底能不能带走」这个根本问题。
六、效果优势的根源解释
指标与设计的证明力分析：EmbodiedEvo 的评测金字塔有三层，各有分工——全量榜（2,100 episode）回答「和 SOTA 比怎么样」；dev 集配对比较（同一 executor、同场景、唯一变量是有无冻结经验）回答「经验本身的贡献」；跨模型/跨任务矩阵回答「经验的通用性」。特别值得称道的是论文对反事实的坦率：作者明确写出配对运行「说明了机制，但没有隔离单一产物的因果效应」（ tic-tac-toe 案例同时改变动作时机与运动方式）。另一个设计细节是 Playground 与 Test 的场景严格隔离：经验在「一个」场景上获取，在 50 个未见过的布局上测试，且 Generalization 任务的标准/随机场景混合采样并公开 scene identity 记录，保证可复现。约束也同样清晰：Test 阶段禁用 reset、经验只读、episode 间不共享新发现——一切设计都为了让「冻结经验的价值」成为唯一被测量的变量。
6.1 Player-1：为什么合成经验能打过大规模演示训练的 baseline
Baseline（GameWAM 等）的机制局限：世界-动作模型和演示预训练本质上是开环模仿——它们把「看到状态 X 就输出动作 Y」的映射压缩进参数，但演示分布之外的状态（即 agent 自己犯错后到达的状态）没有监督信号，错误会滚雪球。这解释了为什么 GameWAM 在 MineDojo 只有 12.63%：任务要求长程探索和战斗，agent 很快偏离演示流形。
Player-1 的因果链（每步有实验支撑）：
- 合成环境提供策略自身状态分布上的密集可验证奖励（PPO 天然在策略分布上采样）→ 直接修复了「偏离演示流形后无信号」的缺陷；
- 环境按共享控制需求设计 + 四维随机化 → 学到的策略不能依赖任何单一外观/手感/布局 → 表征层面被迫抽象出「瞄准」「导航」等通用控制结构。证据：环境从 2 个加到 16 个，套件外 Minecraft 成功率单调升（39.33%→51.67%），如果学到的是环境特异性技巧，加环境应该稀释而非增强；
- SFT 初始化提供行为先验，让 RL 从「已经会基本操作」出发探索高回报区域（Base→RL 只有 16.67% vs SFT→RL 51.67%）；
- 复合动作占比自发上升到 93.2%，说明任务奖励间接选择了协调控制这个更优的动作结构。
外部交叉验证：这个「合成环境 + 可验证奖励 → 套件外泛化」的机制与多个独立工作结论一致——SIMA 2 在 Genie 3 世界模型环境中 RLVR 后展示了跨环境自我改进迁移（arXiv:2512.04797）；CUA-Gym（arXiv:2605.25624）证明合成可验证环境能规模化训练 computer-use agent；SPADE（arXiv:2608.19197）用自适应合成执行环境得到相近结论。域随机化提高迁移性则是 OpenAI Dexterity（2019）以来 sim-to-real 的经典结论，Player-1 把它从物理参数推广到外观/相机/场景/控制四个维度。边界条件：合成经验依赖「控制需求抽象」假设，对奖励结构特殊（经济系统、社交博弈）或控制需求超纲（文字推理为主的游戏）的目标，16 个环境可能覆盖不足——论文未测这类游戏，此处为推测。
6.2 EmbodiedEvo：为什么外置经验能打过 VLA/WAM
VLA/WAM 的机制局限：控制知识全部编码在参数里，意味着（a）知识获取只能通过梯度更新，需要海量目标相似场景数据；（b）知识无法在推理时被「查看、检验、修改」；（c）换模型就清零。
EmbodiedEvo 的因果链：
- 失败分析显示 agent 的预算大量消耗在重建有效操作和发现前置条件上（空抓 150 个动作才稳定抓取）——这是每 episode 重复支付的「熟悉身体税」；
- Skills 把成功操作固化为带前提检查的参数化程序、Lessons 把失败模式固化为文本条件 → 这笔税在 Playground 一次性缴清，Test 阶段直接复用。证据：井字棋任务 baseline 首次稳定抓取在第 367 个动作，继承经验后第 38 个动作即完成；模仿排序任务 Lesson「先观察完演示序列再动手」直接消解了提前动手的终止性错误（0%→80%）；
- 经验的程序+条件双重结构使它天然可跨模型——程序是显式的，条件是文本的，弱模型也能按图索骥。证据：Sol 用自己的 harness 失败（2.50%），用 Astra 的 harness 到 12.03%；跨任务迁移中不相关任务经验反而更高（+18.65 vs +14.18），说明有效成分是通用控制常识而非任务技巧；
- 结构化经验 vs 原始历史性能相当但成本低 53%——因为原始历史里两种知识纠缠在时间序列中，接收方要花大量输入 token 自己再蒸馏一遍；Skills/Lessons 已预蒸馏，未缓存输入降 87.9%。
外部交叉验证：Voyager（arXiv:2305.16291）在 Minecraft 证明了可执行技能库能持续积累能力；RATs（arXiv:2606.19419）证明了冻结技能跨 agent 迁移可行；ReasoningBank（arXiv:2509.25140）在纯语言 agent 上证明从成败双向经验蒸馏策略记忆有效——不同场景收敛于「外置结构化经验」这一设计。反面证据与边界：EmbodiedEvo 自己的 Precision 数据（13.25% vs VPP2 的 35.17%）就是最诚实的限定——精细接触控制的知识很难用「程序+文本条件」表达（接触几何是连续的、混沌的），这正是参数化策略的强项；RoboTTT（arXiv:2607.15275）走的「长历史压缩成快速权重」路线在需要隐式运动技能的场景是对外置文本经验的补充而非重复。
6.3 合读综合判断
外部检索对照表（围绕两篇论文的核心机制）：
| 研究 | 相似尝试 | 相关结论 | 与本文差异 | 对根源解释的影响 |
|---|---|---|---|---|
| SIMA 2 (arXiv:2512.04797) | SFT + 世界模型环境在线 RLVR | 自我改进可跨 Genie 3 环境迁移 | RL 环境是世界模型而非手工程序 | 支持第 6.1 节「合成经验泛化」机制 |
| CUA-Gym (arXiv:2605.25624) | 合成可验证环境训练 CUA | 环境合成可规模化 | 面向办公 GUI 而非动态控制 | 补充：该机制不限于游戏域 |
| Voyager (arXiv:2305.16291) | Minecraft 可执行技能库 | 外置技能可持续积累 | 虚拟世界、无冻结协议 | 支持 6.2 节外置经验机制 |
| ReasoningBank (arXiv:2509.25140) | 从成败经验蒸馏策略记忆 | 语言域同样有效 | 非具身场景 | 支持经验结构化的普适性 |
| RoboTTT (arXiv:2607.15275) | 长交互历史压缩为快速权重 | 隐式压缩路线可行 | 经验进权重而非文本 | 限定：文本外置非唯一路径 |
| VPP2 / Simate-beta（本文 baseline） | 参数化 WAM/VLA | 精细接触强 | 在 Precision 上反超 EmbodiedEvo | 挑战：外置经验有明确失效面 |
多项证据共同支持的机制：① 经验的规模化生产（合成或蒸馏）优于被动收集演示；② 经验结构化（按控制需求组织 / 按程序+条件分解）是迁移性的来源。仍属推测的部分：Player-1 的控制需求分类是否穷尽了游戏控制空间；EmbodiedEvo 的 freeze 协议在真实机器人（非仿真）上的成本可行性（真机 Playground 探索的磨损与安全成本论文未讨论，标注为推测）。两篇各自的失效面恰好互补：Player-1 式参数内经验无法跨模型共享（35B 和 9B 要各训各的），EmbodiedEvo 式外置经验做不了精细接触——这暗示两种载体可能是互补而非竞争关系。
七、必要知识反推
假设一个团队从零复现这两条路线，反推其必要知识：
领域知识层：
- 游戏控制的基本形态学（指针语义、持续输入、并发键鼠）——不懂这些就无法设计动作空间扩展，会把「按住 W」错误地表达成连续的独立按键；
- 机器人操作的任务分类学（抓取/放置/插入/交接的失败模式）——EmbodiedEvo 的 Skill/Lesson 二分法直接来自对空抓、掉落、过早行动这些失败模式的定性归纳。
方法论知识层：
- RLVR/PPO 的细节：Player-1 的按环境优势归一化、γ=λ=1 的跨轮信用、critic 预热，每一处都对应多环境训练的一个已知坑；
- 迁移学习理论：域随机化为什么有效（迫使表征不变性）、什么知识可以跨任务迁移（程序性 vs 陈述性）；
- SFT-then-RL 的初始化依赖：两篇都隐含「先有基础能力再获取经验」的结构（Player-1 显式消融了这一点）。
工程知识层：
- Player-1 的数据工程：跨源时间对齐（150-250ms → 200ms 网格）、鼠标校准回归、动作平衡采样——这些无名细节直接决定 SFT 质量；
- EmbodiedEvo 的评测工程：配对比较设计、冻结协议的场景隔离、以公开 leaderboard 快照为锚——没有这些，迁移性主张无法成立。
知识融合的关键节点：最有创造性的融合点在两篇论文各赌一个「不变性」的地方——Player-1 团队需要同时懂游戏（提取控制需求分类）和 RL（设计奖励与随机化），把领域知识转化为可训练的环境结构；EmbodiedEvo 团队需要同时懂软件工程（SWE-agent 式工作区）和机器人（失败模式分析），把 agent 工程转化为经验蒸馏协议。两者都要求「把领域直觉编译成可执行协议」的能力，这是纯 ML 背景或纯领域背景都单独做不到的。
另一个值得反推的隐性知识是对「经验」概念本身的元认知：两篇论文的作者都必须先回答「什么算一条经验」——Player-1 的答案是「一个控制步内的状态-动作-奖励转移」，EmbodiedEvo 的答案是「一个操作及其适用条件」——然后才能设计生产、存储、迁移机制。多数失败的 agent 改进尝试卡在跳过这步、直接堆数据或堆交互量上。定义清楚经验的原子单位，是所有经验工程的起点。
八、论文中可以提取的通用性灵感
灵感一：按「共享操作需求」而非「表面相似性」组织训练/练习资源。 Player-1 不按游戏类型造环境，而按瞄准/战斗/驾驶/导航/UI 五类控制需求造环境，结果 16 个环境练出的能力迁移到了 Minecraft、ViZDoom、浏览器游戏乃至没见过的商业游戏。推广场景：客服训练按「情绪处理/信息检索/权限判断」而非按行业组织；编程训练按「状态管理/并发/错误传播」而非按语言组织；医疗培训按「无菌操作/沟通告知/应急决策」而非按科室组织。
灵感二：把经验拆成「怎么做」（程序）与「何时做」（条件）两个正交产物。 EmbodiedEvo 的 Skill/Lesson 二分让同一经验既能被执行复用又能被判断复用，且跨模型有效。推广场景：运维领域 runbook（操作步骤）+ playbook（触发条件与回滚策略）分离；新员工 onboarding 分「操作手册」和「避坑清单」；科研方法分「实验协议」和「适用范围与失败教训」。
灵感三：为「经验交接」设计显式冻结协议，才能测出经验的真实价值。 EmbodiedEvo 的 Freeze（只带走两个只读目录、全新执行者、禁 reset）让「经验贡献」与「热启动泄漏」彻底解耦，才有了干净的迁移测量。推广场景：代码交接时冻结文档版本以评估文档本身的价值；A/B 测试中冻结对照组环境；咨询行业的方法论交付后由独立团队执行以检验方法论的完备性。
灵感三之二：一次性缴纳「熟悉成本税」，避免每个新 episode 重复支付。 失败分析显示每个新 agent 把 1/3 预算花在重新学会前辈已会的东西上——这个诊断适用于几乎所有「临时工式」系统（每次重建缓存、每次重新发现配置、每次重新踩坑）。识别组织中重复支付的熟悉成本，把它转化为持久资产，是自进化的第一性原理。
灵感四：合成环境 + 可验证奖励是绕过「目标环境不可训练」约束的通用模板。 当目标环境太贵/太危险/无奖励信号时，自建一个保留目标不变性的廉价替身来训练。推广场景：安全攻防在合成靶场训练而非生产系统；销售在模拟客户环境练习；教育测评用等价形式的变式题库防刷题。Player-1 的环境规模消融（2→16 环境，迁移性能单调升）提示这个替身要覆盖足够广，单一替身会过拟合。
灵感五：部分成功也是可保留的经验。 EmbodiedEvo 里 Playground 全程未完成任务的经验仍让 Test 从 0 升到 40%——经验积累的单位应该是「操作与条件」而非「整任务成败」。推广场景：失败的创业项目仍应沉淀「客户获取的有效操作与适用条件」；未中标的方案书里可复用的论证结构；中断的实验中已验证的排除性结论。
灵感六：结构化压缩的经验与原始记录性能相当，但使用成本低一个量级。 Skills/Lessons 与原始历史性能持平（30.17% vs 29.78%）但成本降 53%——蒸馏的价值不在提升上限而在降低单位使用的边际成本（未缓存输入 -87.9%）。推广场景：会议纪要 vs 完整录像；法条释义 vs 判例全文；团队 wiki vs 聊天记录导出。
灵感七：任务标签不能预测经验迁移收益，要按「内容」检索经验。 EmbodiedEvo 的跨任务实验里，不相关任务的经验（+18.65 分）反而比相关任务（+14.18 分）更有用——因为真正迁移的是「限幅运动、负载检查」这类嵌在程序里的通用控制常识，而不是任务表面的语义相似。论文的结论是「选择有用经验需要检查保留的操作及其适用条件，而非任务标签相似度」。推广场景：招聘中岗位名称匹配不如技能图谱匹配；文献检索中关键词匹配不如方法结构匹配；跨部门复用工具时看功能本质而非业务领域标签。这对所有做「经验检索/RAG for agent memory」的系统是一个直接的设计警告：基于 embedding 相似度的经验召回可能系统性错过最有价值的经验。
加评：一个设计空间的两个象限
把两篇论文放回「经验获取」的坐标系里，横轴是经验载体（参数内 ↔ 外置文本），纵轴是获取环境（合成可验证 ↔ 真实反馈），Player-1 占据「合成 × 参数内」象限，EmbodiedEvo 占据「真实 × 外置」象限——它们其实是这个空间的两条对角线端点，剩下的两个象限（合成环境里蒸馏外置经验；真实反馈里做参数 RL）分别对应低效或高成本区域，暂时少人问津。
对从业者最有操作价值的两个结论：其一，如果你的目标环境不能训练（商业游戏、生产系统、真机），你有两条被验证的路——Player-1 式（造合成替身 + 把能力练进参数，适合感知运动类技能）或 EmbodiedEvo 式（练习场蒸馏 + 外置冻结，适合程序性、条件性知识）；选择依据是该领域知识能否用「程序 + 文本条件」表达。其二，两篇的失效面恰好互补（参数经验不跨模型、外置经验不精接触），最自然的后续是把两者叠加——用外置 Skills 给参数化控制策略做骨架——论文一的 Watch Dogs 2 案例和论文二的 Precision 瓶颈都暗示了这个方向。
值得注意的是两篇的「学术品味」共性：都没有发明新算法（PPO 是标准件，编码 agent 循环是既有范式），真正的贡献在于把一个模糊的愿望（「让 agent 越来越会控制」）转译成协议化的机制（控制需求分类的环境套件 / Playground-Freeze-Test 三阶段）。这种「把直觉编译成可测量协议」的功夫，比任何单点技巧更值得模仿。