AgentGarten、Trace2Env 与 COAP：代码世界三重奏 精读

论文一：AgentGarten: Code Worlds for Evolving Agents（MirroS 技术报告） 代码仓库：MirroS-Lab/AgentGarten ｜ 项目博客 发表时间：2026年10月8日（arXiv v1，26 页） 机构：MirroS（企业实验室，主导）+ 清华大学 + 北京大学——企业-高校合作模式，项目负责人为 Jialong Wu 与 Fangfu Liu，作者还包括 Mingsheng Long、Yueqi Duan 等 14 人 领域标签：cs.CV / cs.AI（世界模型、具身智能）

论文二：From Traces to Agentic Worlds: Agentic Language World Models for Interactive Environment Simulation（Trace2Env） 代码仓库：ruyue0001/trace2env 发表时间：2026年10月6日（arXiv v1，39 页） 机构：南洋理工大学（NTU，通讯作者 Quanyu Long、Wenya Wang）+ 香港理工大学——纯高校合作，无企业参与 领域标签：cs.CL / cs.AI（语言世界模型、LLM 智能体）

论文三：Embodied Turing Machines: Stateful Code for Robot Recursive Self-Improvement（COAP） 发表时间：2026年10月8日（arXiv v1，31 页） 机构：南洋理工大学（主导，Ziwei Liu 组）+ Ropedia（企业）——高校主导、企业参与，Kairui Hu 与 Siyuan Hu 为共同一作 领域标签：cs.RO / cs.AI（机器人学、递归自改进）

一、论文背景：环境是智能体的上界

智能体为什么需要环境？ 无论是 LLM agent 还是机器人策略，学习都发生在「动作-观测-反馈」的循环里：智能体做出动作，环境返回观测，观测改变智能体的下一步判断。论文一开篇就点破了问题的本质：智能体能学到什么，被它练习的环境所限定。环境必须同时满足两个条件——「忠实」（state、规则、动力学前后一致）和「真实」（观测符合真实世界的视觉分布）。

现状是这两条要求存在根本性权衡。 现有做法分成两个阵营，各有致命短板：

• 模拟器 / 游戏引擎阵营：状态显式可编程，但每换一个视觉风格就要做 3D 资产和渲染管线，新环境又贵又慢；
• 视频世界模型阵营（如 Genie、GameNGen 一脉）：从数据里学出丰富的交互式视觉观测，但任务相关的状态和物理规则隐式埋在生成历史和神经网络表征里，无法直接检查、编辑和测试。

注意「隐式」这个词——它是三篇论文共同的靶子。论文一把视频世界模型的问题表述为「渲染误差会累积进状态」；论文二把扁平 prompt 式语言世界模型的问题表述为「跨回合知识与本回合事实混在一起，长程状态后果无法可靠保持」（经典例子：删掉 report.txt 时毫无输出，几十回合后 cat report.txt 却必须报错）；论文三把 VLA 的问题表述为「状态隐式编码在权重里，不可检查、每步都要网络推理、任务间互相覆写」。三篇论文分别从环境生成端、环境重建端、策略执行端进攻同一个问题：把世界的状态和规则从隐式表征里解放出来，变成显式、可检查、可编辑的代码。

为什么是现在？ 三个前提在 2026 年同时成熟：(1) 预训练基础模型的代码能力已经强到能写出完整场景程序和机器人感知代码；(2) 视频生成模型（如 Cosmos 3）可以蒸馏成实时条件渲染器；(3) LLM 的结构化输出和工具调用让「一个 agent 操作一份结构化知识库」成为可靠的运行时形态。三篇论文分别押注其中一个前提，构成了「代码世界」这个方向的三重奏。

二、论文定位和关联工作

谱系一：可执行环境与代码世界（论文一的位置）

• 前序工作：Habitat 2.0、ManiSkill2、ProcTHOR 提供了模拟环境基础；OpenAI 2019 年的 hide-and-seek（Baker et al., ICLR 2020）证明了「简单物理环境 + 自博弈 RL」能催生工具使用的涌现行为，但代价是约 2500 万轮才出现搭庇护所、约 1 亿轮才出现用坡道。
• 语言生成环境一脉：Holodeck、SceneCraft、LLMR 用 LLM 把语言变成 3D 资产和场景代码；Code2Worlds、SimWorld Studio 扩展到动态场景。共同短板：观测仍由传统图形管线渲染，受制于资产保真度。
• 「状态外置 + 视频模型渲染」一脉（最接近的同期工作）：StatePlay、MASS、Marionette、Magpie、GameDirector 等把世界演化与外观解耦。论文一的差异点：条件接口是任何 3D 引擎都能导出的深度/法线、渲染器是因果分块实时的（新动作可在 rollout 中途进入）、状态是完整的可执行环境（预训练智能体可在其中练习并跨轮进化）。
• 蒸馏技术脉络：Self Forcing（arXiv:2506.08009）让学生在自身 rollout 上训练；Self Gradient Forcing（arXiv:2607.20368）引入第二遍让梯度流过历史；DMD2（arXiv:2405.14867）加真实数据对抗损失；R3GAN 提供相对判别器与 R1/R2 正则。论文一的 Adversarial Forcing 是这条线的集大成再加两项关键改造（见第四节）。

谱系二：语言世界模型与轨迹复用（论文二的位置）

• 前序工作：语言世界模型（LWM）把环境模拟表述为下一观测预测（Li et al. 2026；Zuo et al. 2026 的 AgentWorldBench）；RAWM 用检索历史转移做上下文证据；WorldEvolver（arXiv:2606.30639）用情景记忆 + 从预测-观测差异归纳规则增强冻结世界模型——但它假设原环境持续可访问以更新记忆。
• 轨迹蒸馏一脉：Agent Workflow Memory、Trace2Skill、Memory-Skill Co-Evolution、SkillGen、TraceCompiler 把轨迹变成可复用技能/工作流——但产物服务于任务智能体怎么行动。
• 最接近的动机同类：Terminal-Universe（arXiv:2609.04148）从轨迹重建可执行终端环境。论文二的差异化定位：重建的不是可执行系统，而是行为规范（worldbook），由一个 agentic LWM 主动查阅它来模拟环境响应——trace-only 设定（原环境不可复现）比 Terminal-Universe 更宽松、更贴近企业内部系统等现实场景。

谱系三：代码即策略（论文三的位置）

• 机器人策略三大路线：VLA（RT-2、OpenVLA、π0/π0.5）把状态-动作映射隐式编码进权重；Agent Harness（Agent-as-Policy、Harness VLA、Show-Harness）让 VLM 在环决策，状态存模型上下文或文本记忆但推理仍是黑盒；代码路线又分两支——Code-as-Policies/ProgPrompt/VoxPoser 让模型在线逐回合写代码，PyRUA-Lean、Skill2Real 让模型每个决策阶段重新组合程序，RHO/EmbodiedSWE 离线写一个程序但状态仍来自 SAM/Molmo 等外部感知模型或仿真器 oracle。
• 论文三的突破：状态也由代码自己测量（RGB + 本体感受 + 实测物体几何，无深度、无分割、无模型服务），一个程序跑一个任务的所有 episode，不同任务共享一个库（新任务 83% 的代码来自库复用）。这使得「测试时的行为 = 验证时的行为」，对照 RoboRSI：变更过了门也仍只是操控黑盒。
• 基准脉络：LIBERO-PRO（arXiv:2510.03827）指出 VLA 基准成功可能反映训练配置记忆；π0.5 序贯微调五个真机任务后平均分从 86.9 跌到 31.4（arXiv:2605.26820）——「任务间覆写」是 VLA 路线的实证痛点，COAP 的「能力累积」与之形成正面对照。

定位对比表：

三、问题定义

三篇论文面对的具体场景不同，但抽象出的是同一个深层结构：给定一个隐式表征的世界（渲染历史/扁平 prompt/神经网络权重），如何重构为显式状态 + 显式规则的可执行或可推理形式，使长程后果可保持、可检查、可改进？

论文一的抽象：代码世界 = 场景程序 p + 引擎 + 神经渲染器 R_θ。状态转移 (s_{t+1}, π_{t+1}) = f_p(s_t, π_t, a_t)，结构化条件 c_t = h_p(s_t, π_t)，观测 x_t = R_θ(x_{<t}, c_{≤t}, x_0, y)。精妙之处在一条信息流约束：转移函数 f 不接收任何渲染观测作为输入——渲染器只能通过智能体选的动作影响状态，因此渲染误差无法累积进状态；反之，条件未决定的属性（颜色、材质）由外观参考 x_0 与视觉历史承载。一条录好的状态轨迹可以换参考图重渲染而不改变事件本身。

论文二的抽象：给定历史轨迹集 D = {h^(i)}（原状态转移函数、实现、隐藏状态均不可得，LWM 参数 θ 固定），求构造程序把轨迹映射为可复用的环境表示，使得模拟器 Q_θ(·|ĥ_t, a_t, D_build) 在新动作序列下逼近环境的可观测行为——不重现原实现。核心洞察是把「相关性」与「适用性」分开：检索到的转移可能行为正确但事实属于别的 episode，所以每条 worldbook 条目要过适用性门 g_app ∈ {supporting, uncertain, format-only}。

论文三的抽象：具身世界即图灵机——世界状态是纸带（环境状态：物体位姿与空间关系；机器人状态：关节角与可达位姿；两者都可准确观测），策略是规则（代码）。转移写成 (x_{t+1}, a_t) = F_θ(x_t, o_t)。关键判断：任务固定时 episode 布局只改变纸带不改变规则，所以一个程序能跑所有 episode；若还需要 VLM 在环，说明代码还不够鲁棒。上界由两个因素决定：状态表示的准确性 + 代码逻辑的鲁棒性。

三个抽象共享同一个「图灵机直觉」：规则（程序）固定、纸带（状态）可变，于是同一套规则可处理任意输入——这就是「泛化」在代码范式下的形态。

四、问题解法

4.1 AgentGarten：引擎 + 共享渲染器 + Adversarial Forcing

类比：把游戏引擎当「骨架」（管物理和规则），把神经渲染器当「皮肤」（管长相）。骨架换了皮肤还是那个骨架，皮肤画错了也不会把骨头画歪。

组件一：结构化条件接口。 引擎导出彩色化深度或表面法线（三通道，可复用预训练视频编码器；真实视频可用 ViPE + Depth Anything 3 估计深度、NormalCrafter 估计法线）。深度用 Vision Banana 映射编码，法线编码为 (n+1)/2。这个接口的妙处：任何有 3D 场景的模拟器都能导出，场景程序因此不需要细节材质和树叶级资产，只需传达布局、轮廓、遮挡和运动动力学的粗糙几何。

组件二：几何条件化的实时渲染器。 从 Cosmos 3-Nano 预训练双向视频模型出发（36 层 Transformer、隐藏宽度 4096；UND/GEN 双塔分离；Wan 视频自编码器冻结），经三阶段训练：几何条件化（几何 token 与 RGB token 序列拼接进同一 Transformer，共享时间旋转坐标，只有带噪 RGB token 出速度预测）→ 教师强制适配（块级并行训练：每块有干净副本 P_j 当历史、带噪副本 Q_j 去噪，注意力掩码保证 Q_j 看不到自己的干净目标）→ Adversarial Forcing 蒸馏。三阶段的训练配置汇总如下（Appendix A.1，32 张 H100、BF16、AdamW 零权重衰减）：

鲁棒性增强（3.2 节）：几何条件随机保留深度或法线、偶发双丢弃（黑帧）、降采样-升采样抑制细纹理、锚定首帧的光滑空间扰动对齐、条件潜变量加噪（σ=0.4）——这些让「估计几何」与「引擎几何」之间的分布差不再被模型投机利用。

组件三：Adversarial Forcing 的两项关键改造（在 Self Forcing 基础上）：

1. 精确重放（exact replay）：标准 Self Forcing 把已完成块编码进 detached KV cache，后续损失只能监督「从 cache 出发的预测」，无法更新「写入历史的那份计算」。SGF 用全序列 FlexAttention 做第二遍，但 kernel、张量形状、归约顺序都不同，无限精度下重放会偏离采样轨迹（实测 3.99% 相对 L2 误差）。论文一改为逐块 SDPA 重放：保持与 rollout 完全相同的注意力调用、KV 顺序与分块分组，做到 bitwise 级一致（误差 0），且前向时间还快 5.4%。投影和前馈层也按相同分组执行——因为「对整个 packed 序列做投影」和「逐块做投影」的舍入可能不同，而这类差异会在训练好的网络里放大。
2. 精确 R1/R2 正则：判别器用「冻结教师骨干 B + 可训练头 h_φ」。R1/R2 的参数梯度 normally 需要对反向传播再求导，而 FlashAttention 不支持 double backward。利用骨干冻结这一事实（z=B(x) 与 A=J_B(x) 都不依赖 φ），先用一次 VJP 得 g=A⊤u，再一次 JVP 得 v=Ag，再写出一个 surrogate R̃ 同时具有真实惩罚值和对 φ 的精确一阶导——全程没有对反向 kernel 求导，没有有限差分，没有随机方向。

组件四：流式推理工程。 有界 KV cache（sink 前缀 + 滑动窗口，服务配置 5 sink + 44 recent 潜帧）；超出训练视界时做顶部对齐的旋转位置重映射；手写 Triton kernel 融合 RMSNorm/RoPE/门控激活；CUDA graph 消除启动开销；蒸馏 tiny 解码器（<10ms 重建像素帧）。最终单卡 H100 上 480×832@36.5 fps。

组件五：进化循环。 预训练智能体（GPT-6 Astra）只通过渲染观测看世界，提交短 Python 程序作为动作；每轮结束复盘写 playbook（一个技能一个 Markdown 文件），下一轮新对话的智能体继承全部 playbook。注意任务的硬约束：任务文件只给目标、动作和限制，不给解法；观测无坐标、无地图、局中无分数。

4.2 Trace2Env：worldbook + agentic 运行时

类比：不是把倒闭的餐厅原样重建，而是从监控录像里总结出一本「这家店如何运营」的操作手册，再雇一位懂行的经理（world model agent）照手册接待客人（task agent）——手册没写的情况，经理按常识处理但要留下记录。

离线阶段：重构 worldbook。 四个互补组件（Appendix C.1 的工件明细）：

(1) 归因模糊的效果被扣留（歧义转移置信度上限 0.5）；规则编译门槛置信度 0.55；(2) 规则要经过「怀疑式审查」：成功-失败对比可提示缺失前置条件，反例可收窄或降级规则，scope 只允许租户/版本/环境选择器、绝不放 episode 标识符——「一个规则是可复用知识，不是一次交互的回放」；(3) Terminal 的 worldbook 规模：15 个动作、29 个状态字段、3/12 条候选可执行规则、18 条笔记、334 条证据回合。

在线阶段：三资源分离 + 两道门。 工作区 W_t = (K_E, ŝ_t, M_t)：不可变的 worldbook（环境如何行为）、可变的 episode 状态（当前什么是真的）、情景记忆（发生过什么）。关键语义：状态条目缺失意味着「未知」而非「不存在」。每步两阶段：world model agent 通过工具（inspect_action、search_knowledge、read_evidence、read_state、recall、apply_rule 干跑、dry_run 状态副本试写等）主动查阅资源，产出转移提案 q_t = (Δ_t, õ_{t+1})——提案本身不直接改状态；共享 harness 的验证门在状态副本上检查声明路径、可变性、类型、规则支持与状态约束，只有接受才提交。检索与适用性分离：supporting 证据完整展示，uncertain/format-only 做值脱敏（宿主名、文件名换成占位符）。

learning-free 的含义：不训练任何模型，一次性构建 worldbook（gpt-5.6-sol 构建）后冻结，跨 backbone 复用（deepseek-v4.1-flash 直接操作同一份 worldbook 也涨分）。

4.3 COAP：状态自测的代码策略 + RSI 闭环

类比：VLA 像「凭手感的老师傅」（手感在肌肉里，说不出来也改不了某一步），Agent Harness 像「带助手的老师傅」（每次干活都要问管家，管家偶尔心情不一），COAP 像「写了操作规程的工厂」（每一步有据可查，出了事故能定位到具体参数并修订规程）。

状态的三部分：环境状态（每个物体的位姿/尺寸/类别 + 空间关系，每条记录带误差、来源、时间戳）、机器人状态（关节角、末端位姿、夹爪开度、可达位姿）、任务状态（阶段、物体-手臂分配、重试计数、必须记住的信息如每个杯子下的颜色）。前两部分是纸带，第三部分是图灵机的内部状态。

感知即代码：纯 NumPy + OpenCV。机器人网格用实测关节角投影进图像并遮蔽；与当前桌面颜色不同的像素形成候选区域；下边缘落在桌面的连通域成为物体候选；射线与桌面平面求交得位置；再把已知 3D 形状在位置和偏航角上搜索对齐、取重叠最大者。相机参数、机器人网格、物体尺寸、桌高是基准公开常量（属于规则 θ），每集变的是哪些物体在哪（属于状态）。被手臂遮挡的物体保留最后实测位姿；需要毫米级精度的任务在最终接近前用手腕相机重测。

分层共享库：任务程序 → 物体家族（这类物体是什么、怎么持握）→ 操作（grasp/pick/carry/place/push/pour）→ 感知 → 运动（IK、规划、碰撞）。抓取按方法抽象而非按物体（top/side/handle/rim/edge/cloth pinch 六种，分别服务 28/6/3/3/4/1 个任务），新物体直接复用方法。扩展有三种不改旧代码的方式：组合现有模块、继承现有任务覆写单个决策、给共享函数加默认关闭的参数（形式化保证：不传新参数的任务执行迹不变）。

RSI 闭环：Claude Opus 5.5 编码智能体在各自 git worktree 里读失败运行的状态记录、定位出错变量或规则、提出 diff；分支构成可运行代码的搜索前沿，可并行评估；合并条件是验证集成功数增加超过噪声裕量（对重复运行 1-3 个 episode 的噪声，取 4 个 episode 裕量），且兼容性条件保护未被针对的任务——每步接受都非降，改进单调累积。开发全程不接触测试集、人不在环。开发可以被组织成对「决策」的广度优先搜索：一个节点是一个决策（如怎么抓马克杯），分支是其变体（沿边缘/远侧/把手/顶部……8 个分支同时跑），选出最佳再进下一个决策——因为每个变体都是无需训练的完整程序，分支才能这样并行枚举。论文的量化记录（Figure 10）：36 个分支中只有 17% 带来可接受增益，但每轮分支数从 1 加到 8 时，接受概率从约 11% 升到 36%、期望增益从 +5 升到 +15 点、wall-clock 等待从 20h 降到 2.3h（GPU 时间 18h 不变）——「一次改动很少有用，但并行分支让有用的改动更快浮现」。

五、评估指标与实验证据

5.1 论文一：三组证据链

证据链 A：渲染质量与保真（证明渲染器可用）。 30 秒 rollout 对比：Self Forcing 训练的渲染器随时间出现重复表面纹理、丢失场景细节；Adversarial Forcing 全程保持自然纹理与细节（Figure 8，定性证据）。重放精度（Table 1，H100、36 层、480×832、61 潜帧、BF16）：SGF 式 FlexAttention 重放相对 L2 误差 3.99%，逐块 SDPA 重放 bitwise 一致（0）；前向时间 2.95s→2.79s（−5.4%）；峰值显存 50.83→50.92 GiB（+0.2%）。推理吞吐（Table 2）：稳态每 16 帧块 438.8ms（条件编码 10.6ms + 四步去噪与 cache 发布 414.4ms + tiny 解码与主机传输 8.8ms），36.5 帧/秒。

证据链 B：进化里程碑（证明范式差异，而非样本效率比）。 hide-and-seek（Table 3）：搭庇护所，自博弈 RL 约 2500 万 episode vs 预训练智能体第 4 轮；用坡道越墙，约 1 亿 episode vs 第 10 轮。作者明确强调这是两种学习范式的对照：2019 年的智能体从随机权重出发、直接读物体真值状态、靠 PPO 从零探索；这里的智能体带着网页级预训练的常识先验，挑战在于把抽象知识落地为闭环感知运动执行、纯粹从合成视觉观测诊断空间执行失败。设定细节：序列式一藏一找变体，智能体只能拿第一人称渲染观测、用短 Python 程序行动，全程无坐标、无隐藏状态、无对手私有观测；每轮 5 局、跨采样布局与种子；涌现的三类典型行为——藏者搬挡板封入口、找者搬坡道翻内墙、初次跳落后把坡道挪近重试。

证据链 C：跨世界泛化（证明循环通用）。 同一流程在四个世界各跑 4 轮（Table 4）：伴侣犬互动分 13→14→19→19；单车道桥双车换位 71→68→45→41 秒；牧羊 60→90.1→87.6→88.3 分（4 只羊入圈 3/4→4/4/4/4）；采石场装载机 30→0→30→90.9 分。每轮一个 episode、各世界自己的度量，无内部状态访问。

5.2 论文二：单步保真 + 多轮一致双重评估

指标设计本身是贡献：单步用 AgentWorldBench 官方五维裁判分（Format/Factuality/Consistency/Realism/Quality，gpt-5.2 官方评分器，0-100）；多轮的关键指标不是「模拟内成功率」而是 W2R（在 world model 里生成的动作序列回放到真实环境的成功率）与 CR = W2R/Real——因为模拟内高分可能只是幻觉的自洽。

单步结果（Table 1，7 个环境 × 2 backbone）：gpt-5.6-sol 上 Trace2Env 平均 75.94 vs Direct Prompting 69.51（+6.43）、Trace RAG 73.76、Worldbook Prompting 74.35、Harness only 70.79；deepseek-v4.1-flash 上 75.75 vs 68.71（+7.04）。14 个环境-backbone 对中 11 个最佳、从不低于 Direct；Factuality 与 Consistency 在全部 14 对均提升（Appendix B.1）。逐环境分数（GPT backbone）：Terminal 55.76→65.42（+9.66，置信区间 [7.18, 12.15]，轨迹聚类 bootstrap）、SWE 65.87→70.59、Android 62.80→65.10、Web 54.23→59.55、Food 81.67→87.43、Shopping 77.32→85.36、Benefits 88.89→98.11。九个环境的评估与构造数据规模（Table 4）示例：Terminal 354 条/76 轨迹、20 条独立构造轨迹（334 回合）；SWE 472 条/99 轨迹、基准自带会话五折交叉拟合（2585 可见转移）；Web 200 条/118 轨迹、50 条 WebArena 构造轨迹；ALFWorld 100 任务、40 条模拟器确认成功轨迹（836 回合）；SciWorld 40 任务、30 条 Measurement 金路径轨迹（1119 回合）。

多轮结果（Table 2）：ALFWorld，Real 93%，Direct 的 WM 97% 但 W2R 仅 3%（CR 0.032），Trace2Env 的 WM 88%、W2R 85%（CR 0.914）；SciWorld，W2R 60% vs 45%（CR 0.706 vs 0.529）。这个实验设计精妙之处：Direct 模拟内成功率更高（97% vs 88%），恰恰证明「模拟内成功」是伪指标——幻觉一个错误转移后照样能自洽地走向「成功」，而回放原形毕露。案例研究进一步展示了机制的微观运作（Appendix D 的三个案例）：① heredoc 续行提示——当前 episode 从未见过多行输入怎么渲染，worldbook 从另外三个任务 retrieve 出 heredoc 交互 + 归纳出的 bash-continuation-prompt 笔记，裁判分 90 vs Direct 30；② pip install pandas 依赖——早期 pystan 安装的情景记忆 + 跟踪的 world.package_versions 状态（有 numpy 无 pandas）+ 检索到的安装证据，正确复现三个包与版本，100 分 vs 55 分；③ 即上文的 ALFWorld put no-op 案例。

消融（Table 3/9，Terminal，354 条）：Schema only 62.05；加抽象单独 −1.12±0.90（不涨反跌）；加证据单独 +2.45±0.89 到 64.18；证据之上再加抽象 +0.69±0.63 到 64.89；反过来在抽象之上加证据 +4.26±1.02。去掉自适应循环 −1.79±0.91；去掉状态跟踪 −0.97±0.78。证据是地基、抽象是组织者，缺一不可。构造轨迹数从 20 加到 36：64.89→66.42，曲线仍在上升。

成本与迁移：Terminal 上 Direct 约 $0.04/条、26.0s；Trace2Env $0.187/条、38.1s、5 次模型调用（精度-成本可调：去自适应循环省 71% 推理成本保留约 80% 提升）。无重叠任务子集（312/354 条）增益 +3.69（GPT），排除记忆构造任务的解释。worldbook 由 gpt-5.6-sol 构建、由 deepseek 操作仍有效，证明跨 backbone 复用。

5.3 论文三：SOTA 跨度与机制归因

主结果（Table 2，RoboDojo 42 个双臂任务、每任务 3 种子 × 50 布局、官方评测客户端）：COAP 总成功率 70.24%、进度分 75.45；超当前 SOTA（PhysicalRSI agent+VLA 31.38%）38.9 个百分点，超最强世界动作模型 Awomo-0.5（29.64%）40+ 点，超最强 VLA Simate-beta（27.96%）42+ 点，超 GPT-6 Astra 直接当策略（22.48%）47+ 点。五维度全部第一：Memory 89.9（+39.6）、Precision 75.1（+41.6）、Open 64.1（+33.1）、Generalization 65.7（+35.2；标准布局 77.3%、随机化布局 54.1%）、Long-Horizon 56.4（+13.0，优势最小）。排行榜头部对照（总体 SR / 进度分）：

按任务步数上限分组（Table 4）：200-500 步组 COAP 78.1 vs Harness 47.3 vs VLA 21.9；550-800 步组 78.4 vs 30.6 vs 38.0；900-1900 步组 52.0 vs 13.2 vs 22.1——所有组领先，最长任务上各家都掉、最强 Harness 掉得最多。逐任务亮点（Table 9）：cover_blocks / press_by_number / swap_T / swap_blocks 四个 Memory 任务满分 100；play_tic_tac_toe 99.3、make_kong 98.0；弱项为 pack_objects_into_box 0.7、organize_table 0.0（进度分仍 51.5）、两个无程序任务（plug_in_charger、store_tools_in_toolbox 记 0）。

这个实验设计为什么能证明论点：五个维度不是并列的装饰，而是对三优势的定向检验——Memory 维度的任务（如杯子盖住方块后按记忆颜色序揭开）直接测「状态是否持久存储」，COAP 用 90% vs Harness 47% vs VLA 33% 响应；Precision 维度直接测「状态是否精确到测量值」，75% vs 33% vs 27%；Long-Horizon 优势最小恰好符合预期（长任务难在逻辑完整性而非状态显式性）。同一程序实测状态 63% vs oracle 状态 83% 的对照，把「上界=状态表示准确性」这个论断变成了可量化缺口。

RSI 过程证据：合并序列把成功率从 66.5% 推到 70.24%；验证 76.7% vs 测试 74.9%（标准布局，40 个有程序的任务），接近且无过拟合；开发从未接触测试集。错误归因（Figure 11）：感知错 35% + 接触错 27% = 状态测量限制占 62%；逻辑不完整 29% + 代码设计差 8% = 逻辑限制占 37%——两类失败恰好对应论文自述的两个上界因素。执行效率：每 episode 中位数 352 次决策，单次中位 0.3ms（CPU），计算量约为 VLA 的 0.8–2.4%、Agent Harness 的不到 0.1%；出错 episode 中程序自己注意到 76%、换方法重试 34%、主动报告后停止 42%、触碰步数上限 1%、未察觉 22%。

扩展性证据：冻结库后 4 个全新任务 15 小时内从零达到平均 47% 成功（无数据无训练；对照 OpenVLA 每任务微调需 5-15 小时 8 卡 A100）；旧任务成功率 78.4%→79.9%（CMH 检验 p=0.16，无显著回归）；π0.5 序贯微调后 86.9→31.4 的对照来自引文 [61]。新任务开发时间线（Table 6）：make_toast 首次评估 3.2h、首次成功 4.7h、首次合并 5.8h（50→77%）；hang_mugs 5.2h/6.8h（7→50→57%）；sweep_blocks 6.4h/7.9h（0→60→50%）；fill_pen_holder 0.2h/4.0h/2.7h（0→20→27%）。库的分层规模（Table 7）：任务程序 23.5k 行（被 2.5% 层使用）、物体家族 28.5k（18%）、操作 5.4k（78%）、感知 5.3k（100%）、运动 3.3k（100%）——越往下层越被全体共享。失败恢复明细（Table 3）：重试后成功 12%、重试后仍失败 22%、主动报告后停止 42%、无更多方法 37%、步数预算 4%、触碰上限 1%、未察觉 22%；重试的失败步分布：抓取滑失 49%（其中 17% 被救回）、携带掉落 32%（48% 救回）、释放卡住 18%（23% 救回）、按压未咬合 8%（100% 救回）。

六、效果优势的根源解释

6.1 根源机制与证据链

因果链一（论文一）：状态-外观解耦 → 渲染误差被隔离在观测侧 → 智能体可长期交互且事件可复现。

• 方法差异：视频世界模型把状态埋进生成历史，渲染误差通过「历史作为下一步条件」自我强化；
• 机制变化：转移函数 f 不接收渲染观测（论文名义结构保证，论文实验已支持的机制）——状态由引擎代码推进，渲染器只读条件。30 秒 rollout 不退化（AF 定性对比）与换皮重渲染能力是这条链的可观测末端；
• 补充链：精确重放让 DMD/对抗损失能更新「写历史的参数」而非只调预测头（机制由 bitwise 0 误差的实验直接支持），对抗目标注入真实数据监督弥补纯分布匹配的长程视觉衰减（Self Forcing 30 秒退化 vs AF 保持的对照实验支持）。
• 反事实：若去掉精确重放改用 SGF 式重放，3.99% 的轨迹偏差会让「在自身 rollout 上训练」退化为「在一条略微不同的轨迹上训练」——论文未做此消融，此为阅读者推测。

因果链二（论文二）：知识分层存储 → 状态后果显式化 → 长程一致性与回放有效性。

• 方法差异：Direct Prompting 把「环境如何行为」（跨 episode 知识）与「本 episode 什么是真的」（状态）压进同一个扁平 prompt；
• 机制变化：三分存储（不可变 worldbook / 可变状态 / 情景记忆）+ 缺失即未知的语义 + 验证门——ALFWorld 案例是完整因果展示：不支持的 put 命令被预测为 no-op（规则知识），tissuebox 2 仍在库存（状态持久），后续 inventory/help 响应暴露未变状态并提示合法的 move 命令（记忆一致性），任务智能体得以恢复（论文实验已支持）。Direct 则幻觉「放置成功」，从虚假状态自洽走到假成功，回放 3% vs 85%（28 倍差距）；
• 证据分层对照：evidence 单独 +2.45、abstraction 单独 −1.12、合并最优——说明抽象必须锚定在证据上才有组织价值（消融实验支持）；−状态跟踪 −0.97 支持状态持久性的独立贡献。
• 「agentic 主动检索优于静态塞入 prompt」（Worldbook Prompting 74.35 vs Trace2Env 75.94）差距相对小，说明主要增益来自知识结构而非检索方式——此解读为阅读者推测，论文未单独讨论该差距分解。

因果链三（论文三）：状态显式 + 规则显式 → 决策可归因、行为可复现 → RSI 的每次变更可控且能力累积。

• 方法差异：VLA 每步黑盒推理（随机性、任务覆写）、Harness 每决策调模型（同 prompt 不同输出）；
• 机制变化：状态在代码变量里——失败可回溯到具体变量（如碗沿打滑定位到携带速度一行代码）；规则在代码里——测试行为=运行行为，验证-测试 76.7/74.9 的接近度是直接证据（论文实验已支持）；共享库 + 默认关闭参数——能力累积有形式化保证（兼容性等式），旧任务 78.4→79.9 无回归是实证；
• Memory +39.6 / Precision +41.6 的巨大优势直接源于「变量存储不遗忘、实测值精确到位姿级」（论文自身归因）；Long-Horizon 只 +13.0 恰好暴露该范式的边界：长任务难在逻辑完整性，显式状态帮不上忙。
• 适用边界（论文自述）：全部结果在仿真内，感知依赖基准公开的相机/网格/尺寸常量；sim-to-real 与真机感知未验证——62% 失败来自状态测量限制本身就是这条边界的量化。

6.2 相关工作检索与对照

以下交叉验证基于三篇论文正文与参考文献列表定位的可核验文献（本任务离线环境未做全网检索，检索范围为论文引用网络，特此说明）：

综合判断与未决问题：

• 多项研究共同支持的机制：「显式外部记忆/知识库优于扁平上下文」（Reflexion、Voyager、ExpeL、WorldEvolver、Trace2Env 消融一致）；「状态与观测/外观解耦防止误差累积」（GameDirector、Marionette 等同期工作 + AgentGarten 的结构论证）。
• 仍属推测的机制：bitwise 精确重放对最终视觉质量的净贡献（论文只报了重放精度与吞吐，未报「用 3.99% 偏差重放训练的终端质量」这一关键消融）；「测试行为=运行行为」在真机上的保持（仿真中执行确定、真机有噪声，论文自认 sim-to-real 是边界）。
• 优势成立条件：论文三的优势依赖「状态可从 RGB 准确测量」（物体几何已知、桌面可分割）；论文二依赖「轨迹覆盖了环境的行为面」（其保真上界即轨迹所揭示的）；论文一依赖「几何条件足以承载任务相关信息」（旋转对称物体的自转不可见——论文自己举的例子：子弹绕长轴旋转时深度/法线不变）。
• 可能失效条件： deformable 物体接触（COAP 的 27% 接触错误）、轨迹从未出现的状态分支（Trace2Env 只能按声明字段推测）、依赖材质/颜色语义的任务（AgentGarten 的几何条件盲区）。

七、必要知识反推

假设让一个没有背景的人从零完成这三项工作，最少需要哪些知识？

领域知识层：

• 世界模型与交互环境的形式化（POMDP 式的动作-观测接口、状态转移可分性）——不理解它就无法把「环境」抽象成可替换部件，这是三篇论文共享的第一块基石；
• 机器人学与感知几何（相机投影模型、射线-平面求交、IK 与碰撞、本体感受）——论文三的感知代码全靠这些经典几何知识而非学习模型；
• 视频扩散模型机理（流匹配、CFG、潜空间分块、KV cache、旋转位置编码）——论文一的每个训练阶段都建立在这些部件上。

方法论知识层：

• 蒸馏理论谱系（DMD 分布匹配、教师-伪分数双网络、GAN 的 R1/R2 正则与训练稳定性）——Adversarial Forcing 是站在 DMD2/R3GAN/SGF 肩膀上的组合创新；
• 程序合成与 agent 工程（结构化输出、工具调用、状态 schema 设计、适用性门控）——Trace2Env 的 harness 是当代 agent 工程的集大成；
• 软件工程规范（分层库设计、继承与默认关闭参数、git 分支、无回归合并门、单元测试 fixture）——COAP 的累积性保证直接来自这些「非 AI」的工程纪律。

工程知识层：

• 实时推理优化（Triton kernel 融合、CUDA graph、蒸馏解码器、WebRTC 流式）——36.5 fps 是智能体实时闭环的硬前提；
• 评测协议设计（官方评测客户端、轨迹聚类 bootstrap 置信区间、五折交叉拟合防泄漏、W2R/CR 这类「回放验证」指标）——三篇论文的可信度都建立在严谨的评测设计上。

知识融合的关键节点：

1. 论文一的创造节点：把「分布匹配蒸馏里的历史梯度问题」识别为「数值一致性问题」——需要同时深谙训练动力学与浮点 kernel 语义的人才会想到「保持执行结构」而非「换更准的 kernel」；
2. 论文二的创造节点：把数据库设计的「不可变 schema + 事务式提交」思想移植到语言世界模型——转移提案不直接写状态、验证门在副本上试提交，这是数据库事务的幽灵在 agent 运行时里还魂；
3. 论文三的创造节点：把图灵机的「规则固定、纸带可变」读成「程序跨 episode、状态每集重测」——一个 1936 年的抽象直接决定了代码库的架构决策（哪些是常量、哪些是变量）。

八、论文中可以提取的通用性灵感

灵感一：分离状态与外观/知识的载体，误差就不会跨层传播。

• 核心思想：系统中「事实的存储」与「事实的呈现」分属不同层时，呈现层的误差无法污染存储层。
• 论文证据：AgentGarten 的转移函数不接收渲染观测（渲染误差不进状态）；Trace2Env 的 worldbook 不可变、episode 状态可变、记忆流水式（知识污染被适用性门拦截）。
• 推广场景：① 数据管线中「原始证据层 / 清洗层 / 报表层」的权限隔离；② 多智能体系统里共享事实库与各自视图的分离；③ 编辑器/IDE 的文档模型与渲染视图分离（MVC 的深层理由原来是误差隔离）；④ 企业知识管理中「制度手册」（稳定）与「工单状态」（易变）的分级。

灵感二：显式表示是可改进性的前提——能定位到变量，才能无回归地迭代。

• 核心思想：改进一个系统的第一步是让「错误」能被回溯到一个具体的、可替换的表示单元。
• 论文证据：COAP 把碗打滑定位到携带速度一行代码并修复；Trace2Env 把幻觉转移拦截为可检查的提案；AgentGarten 的 playbook 一课一文件、下一轮可验证。
• 推广场景：① SRE 事后复盘要求定位到具体配置项而非「系统不稳定」；② 法规修订的逐条可追溯；③ 教学中「错题归因到知识点」而非笼统重做；④ 编译器诊断信息的设计哲学。

灵感三：「回放有效性」比「内部自洽」是更真实的评估标准。

• 核心思想：在模拟/内部环境里表现好不算数，生成的行为拿回真实环境仍然有效才是保真。
• 论文证据：Trace2Env 的 W2R 指标——Direct 模拟内 97% 成功、回放只剩 3%；COAP 验证-测试集 76.7/74.9 的接近性检验过拟合。
• 推广场景：① 离线强化学习的 sim-to-real 评估；② 面试/模拟考与真实工作表现的对照校验；③ 沙盘推演结论须经过实兵检验；④ 合成数据训练的模型必须在真实分布上报告指标。

灵感四：把「谁在什么时候可以改什么」形式化，累积性才有保证。

• 核心思想：系统可持续进化的条件不是「能改」，而是「每次改动的影响范围有形式化边界」。
• 论文证据：COAP 的默认关闭参数满足显式等式（不传参任务的执行迹不变）+ 验证集无回归才合并；AgentGarten 的 worldbook 冻结后跨 backbone 复用。
• 推广场景：① 微服务 API 的向后兼容纪律；② 宪法修正与普通立法的分层修改门槛；③ 开源项目 semver 与 lockfile 机制；④ 增量学习中的旧任务性能守护（对照 π0.5 的 86.9→31.4）。

灵感五：先验 + 环绕式练习，可以绕过从零探索的样本深渊。

• 核心思想：当智能体已携带通用先验，学习问题从「发现概念」变为「落地概念」，环境只需提供「有反馈的练习场」。
• 论文证据：hide-and-seek 的 25M episode vs 4 轮；四个附加世界全部 4 轮内提升。
• 推广场景：① 员工在岗培训（带常识的成年人 vs 婴儿式学习）；② 仿真到实机的课程学习设计；③ 新语言学习中的「已知语言迁移」教学法；④ LLM 的 in-context 演化 vs 重新预训练的成本权衡。

灵感六：轨迹是比代码更易得的遗产——行为规范可以替代实现重建。

• 核心思想：系统死了但日志还在时，可以从行为记录归纳出足以模拟的规范，而不必逆向工程实现。
• 论文证据：Trace2Env 用 20 条轨迹（334 回合）就能让 Terminal 保真度 +6.43，36 条仍在涨。
• 推广场景：① 遗留系统替换前的行为快照测试；② 从老员工操作录像沉淀 SOP；③ 竞品分析中的黑盒行为建模；④ 数字孪生中「日志驱动」的轻量孪生体。

灵感七：把「缺失」与「不存在」区分开，是开放世界推理的基本卫生。

• 核心思想：知识库里没有的条目应当返回「未知」而非「否定」，否则检索系统会系统性幻觉。
• 论文证据：Trace2Env 的状态语义明确规定「缺失状态条目按未知处理，不作为不存在证据」，配合适用性门把 uncertain/format-only 证据脱敏后使用；COAP 被遮挡物体保留最后实测位姿而非清空。
• 推广场景：① 数据库 NULL 语义与三值逻辑；② 医疗诊断中「未见异常」与「未检查」的病历区分；③ 法律上的「无罪推定」与证据缺失；④ RAG 系统对未命中文档的 abstain 设计。

三重奏的和声：三篇论文的共同底律是——当代码成为世界的显式表示，智能体的进化就从「重新训练」变成「修订」，环境的构建就从「资产工程」变成「写程序」，环境的复现就从「逆向工程」变成「读手册」。论文一造世界、论文二复刻世界、论文三直接活在代码里；它们合起来把 2026 年「环境是上界」这个判断，翻译成了一整套可操作工程学。

附：三篇论文的关键数字速查