AUTOTAVERN × InteractiveWorld × EmbodiedLab：构建与行动的能力边界 精读

论文 1（主论文）：Build, Don’t Play: Self-Improving LLM Research Agents Develop a Hearthstone Battlegrounds AI That Rivals Top Players（AUTOTAVERN） 代码仓库：MCG-NJU/AutoTavern（承诺开源 TAVERNGYM 与 TAVERNBENCH） 发表时间：2026年10月 机构：南京大学 + 上海人工智能实验室（高校 + 国家研究机构合作，两位作者双聘于两机构） 领域标签：cs.AI，自主研究智能体、游戏强化学习

论文 2：InteractiveWorld: A Verifiable Human-Centric Environment for Building Better Interactive MLLM Assistants（InteractiveWorld / InteractiveBench） 代码仓库：facebookresearch/InteractiveWorld 发表时间：2026年10月 机构：Meta + Duke University（企业 + 高校合作；一作 Qinsi Wang 为 Duke 大学学生，工作在其于 Meta 实习期间完成——典型的「高校学生 + 企业实习合著」模式，需重点标注） 领域标签：cs.HC，自我中心 AI 助手、多模态大模型评测

论文 3：EmbodiedLab: Benchmarking Embodied Agents That Act to Know（EmbodiedLab） 代码仓库：HexaFuture/EmbodiedLab 发表时间：2026年10月 机构：HexaFuture Inc.（企业）+ 清华大学 + 新加坡国立大学 + 北京大学（企业牵头 + 三所高校合作，主力作者来自企业，需重点标注产学研结构） 领域标签：cs.RO，具身智能评测、机器人操作

一、论文背景

如果把 2026 年的 Agent 研究画成一张地图，最热闹的地方已经从「模型能不能一道题答对」转移到「模型能不能在真实环境里把事情做成」。但「做成」这个词在不同世界里意味着完全不同的难度：在纯软件世界里写代码、跑实验，错了可以重来；在和人对话的世界里，一句话说错就可能把人引向歧途；在物理世界里，一个抓取滑落、一个数字读错，整个任务就报废。本篇精读的三篇论文，恰好各自守住了其中一个世界，并且不约而同地做了一件此前很少有人认真做的事：把 Agent 放进一个闭环、可验证、有后果的环境里，然后诚实地报告分数。

第一篇 AUTOTAVERN 关注的是「纯软件世界的自主研究能力」。 游戏历来是人工智能的里程碑——围棋、星际争霸 II、Dota 2、扑克、麻将、Stratego，每一个超人类系统背后都是一支庞大的专家团队：他们搭建环境、设计学习算法、调试训练世界与真实游戏的无数差异。如今 LLM 智能体已经能写并运行这类系统的大量代码，一个自然的问题是：它们能否把「研究本身」自动化——不是在基准任务或论文复现里，而是把一个困难的真实问题从原始数据一路做到能与人类顶尖水平抗衡，且最终成绩在真实对局中检验？AUTOTAVERN 选择的考场是炉石传说酒馆战棋（Hearthstone Battlegrounds）：一个八人自动对弈游戏，有随机酒馆、隐藏信息、共享卡池、数百步决策却只在终局给奖励、近千张相互作用的卡牌且每个版本都在变。此前的相关工作要么基于简化模拟器给人类玩家当参谋（如 Zolboot 等人的 MCTS 助手），要么只模拟战斗阶段给出胜率（社区工具 Firestone、Bob’s Buddy），没有一项复现完整游戏或训练出真正上场的智能体。

第二篇 InteractiveWorld 关注的是「人机交互的指导闭环」。 自我中心（egocentric）AI 助手是可穿戴设备上的一个近期能实现的梦想：助手与用户共享第一人称视角，在用户做体力活时适时给出口头指导。但评测这件事非常困难：真实的真人实验昂贵且难以规模化；而现有的基准几乎全是静态的——模型看一段预录的第一人称视频回答问题（Ego4D、EgoSchema、EgoThink 等）或预测何时该干预（HoloAssist、ProAssist），无论模型说什么，视频都不会改变。真实世界的帮助是动态的：助手的每句话都会改变用户的动作，进而改变助手下一秒看到的世界。少数闭合了回路的真人研究（如 Verghese 等人的 user-in-the-loop）已经发现离线指标不能反映在线表现，但只有寥寥几名参与者、成本高、难以复现。于是核心问题变成：如何忠实评测一个助手与人交互、帮人做事的能力？

第三篇 EmbodiedLab 关注的是「物理世界的认知性动作」。 具身智能与传统机器人的分野在于「谁决定如何与世界交互」：传统机器人执行预先工程化的流程，具身智能体只拿到目标，要自己决定与什么交互、怎么交互、何时交互。许多真实目标——判断一根线是否带电、一台泵为何启动不了、如何设置电源使其带载稳压——无法通过「朝一个已知目标状态行动」达成，智能体必须先通过交互改变系统状态、观察反馈、反复探索，直到达成目标或弄清目标所需。论文把这类动作称为「为知而行」（acting to know）：动作的目的是获取信息，改变物理状态只是手段。现有基准恰好把这件事的两端拆开了：操作基准（RoboCasa、LIBERO、RoboTwin 2.0、BEHAVIOR-1K 等）给定目标状态、只考「把场景变成指定样子」；科学发现基准（ScienceWorld、DiscoveryWorld、PhysGym、NewtonBench 等）考「发现规律」，但实验只是文本指令或数值查询，动作与信息之间没有物理鸿沟。真实任务里两者是耦合的：怎么动决定能看到什么，看到什么决定下一步怎么动。

三篇论文合起来，构成了对 Agent 能力边界的一次三维扫描：AUTOTAVERN 证明在纯软件世界里，Agent 的「构建」能力已经强到能造出打败服务器前十玩家的系统，但「直接执行」（亲自下棋）依然又慢又差；InteractiveWorld 证明即便是最强的多模态模型，在「指导人做事」这个闭环里通过率也不到一半，最弱的环节不是感知而是持续跟踪与沟通；EmbodiedLab 证明在物理世界里，绝大多数失败发生在物理交互（动作、观察、复原台面）而不是推理。共同的教训只有一句话：能力评估必须放在闭环、可验证、有后果的环境里——静态基准上的高分无法回答「它真的有用吗」这个问题。

二、论文定位和关联工作

三篇论文分属三个研究谱系，但都在同一个位置上发力：把「开环、静态、无后果」的评测换成「闭环、动态、有后果」的评测。下面分别梳理各自谱系中的定位。

2.1 AUTOTAVERN：LLM 自主研究谱系

这个谱系的前序工作可分为三类。其一是自动化科学研究：The AI Scientist（Lu 等，2024；Yamada 等 2025/2026）自动化了选题、实验与论文写作；Eureka 与 AlphaEvolve 让 LLM 提出奖励函数或程序、由自动评估器打分。其二是机器学习任务评测：MLAgentBench、MLE-bench、RE-Bench、PaperBench 在 ML 工程任务上测量智能体。其三是自我改进的智能体编排：Darwin Gödel Machine 等系统让编码智能体编排自身或改进自己的脚手架；Kirgis 等人（2026）发现智能体能完成开放项目的工程部分、却在研究性问题上挣扎。AUTOTAVERN 与它们的差异有两点：改进的对象——它不是重写自己的代码，而是通过「教训记忆 + 新验证门」改进研究过程本身；改进的判据——进步不在基准分数上衡量，而是在真实天梯上与真人打出来的成绩，一条「现实回路」把仿真器与对手模型持续锚定回真实对局，五道验证门挡在每一个结论与共享记忆之间。在炉石战棋这个具体领域内（论文 Table 2），它是唯一同时满足「完整内容、当前版本、含英雄、招募+战斗、可训练、与真实对局对齐、亲自上场打真实对局」七个条件的工作。

2.2 InteractiveWorld：自我中心助手与具身仿真谱系

论文附录 A 的对比表（Table 4）把相邻工作分成三组。自我中心助手基准（EgoSchema、EgoThink、EgoPlan-Bench、EgoLife、HoloAssist、ProAssist 等）全部开环：模型输出对照固定录像打分，从不影响后续画面；EgoBench 引入了 LLM 模拟用户但视觉仍是预录的。机器人中心仿真器（Habitat 2.0、BEHAVIOR-1K、ManiSkill3、Isaac Lab、RoboCasa、GRUtopia 等）提供闭环与可验证成功判定，但被评的模型是「执行者」——它输出动作直接驱动机器人身体，人缺席或只是布景；HumanCLAW 用物理仿真的人体替换了机器人，但视觉模型仍然决定身体的每一步。面向交互的仿真器（VirtualHome、TEACh、Habitat 3.0、Watch-and-Help、PARTNR、FreeAskWorld、HRIBench 等）把人或对话带入仿真，但 AI 仍是物理执行者，人是脚本化伙伴或信息来源。InteractiveWorld 把这些角色整个反转：AI 是一个没有身体的助手，只分享人的第一人称视角；一个自主的 MLLM 扮演的「人」独立解读助手的自由语言指导并决定行动。它是论文对比表中唯一同时满足「第一人称视角、人执行、受指导的人、自然语言对话、闭环、可验证成功」六项的环境。真人闭环研究（Verghese 等）已证明离线指标不反映在线表现，InteractiveWorld 则把这种闭环搬进可复现的仿真并用最终物体状态自动判分。

2.3 EmbodiedLab：操作基准与科学发现基准的合流谱系

如 2.2 与第一节所述，操作基准（含实验室机器人基准 LabUtopia、AutoBio、Pipette、LabDex 等）给定目标态、科学发现基准（ScienceWorld、DiscoveryWorld、PhysGym、NewtonBench、ActiveSciBench 等）以文本动作做实验，具身问答（EQA、IQA）虽为信息而行动但只到「采集能回答问题的视角」为止。EmbodiedLab 的定位是在这两端的空白地带立起第三种范式：实验必须靠物理交互完成，读数只存在于智能体自己搭建、自己用相机读取的仪器上——怎么行动决定能观察到什么。与「用代码行动的智能体」谱系（Code as Policies、VoxPoser、CaP-X、EmbodiedSWE、HexaShell、Physical Coding 等）的关系是：这些工作在操作基准上评测或在选定任务上演示，EmbodiedLab 则要求智能体写的代码不仅驱动机器人，还要完成「取数、读数、分析」的完整实验闭环。

2.4 三篇论文的定位总表

三、问题定义

三篇论文面对的具体场景不同，但抽象出的核心问题高度同构：当「环境对智能体行动的真实响应」本身不可直接观测或不可廉价观测时，如何定义并最大化智能体的真实能力？

3.1 AUTOTAVERN：代理指标与真实指标的鸿沟

具体问题：如何在 20 天内让一个能上真实天梯对战人类的战棋智能体从零出现？抽象后的形式化定义是：研究状态由工件组（环境 E、对手模型 O、考试集 X、策略 π）与研究过程（记忆 M、验证门 G）构成；目标是策略的真实表现 J(π)——天梯上的期望名次——但它只能通过缓慢昂贵的少量真实对局观测；循环内智能体能改进的只是代理指标 Ĵ(π; E, O, X)。由此立即推出两种失败模式：代理漂移（Ĵ 涨而 J 不涨，因为 E 或 O 错了且被策略利用）与虚假发现（把噪声、泄漏或选择效应当成结论记入记忆、误导后续工作）。AUTOTAVERN 的整个系统就是围绕这两个失败模式设计的：现实回路治前者，验证门治后者。这个抽象的精妙之处在于它承认了「代理指标不可弃用」这一现实约束，转而把问题改写为「如何让代理持续重新锚定到现实」。

3.2 InteractiveWorld：把「帮人」定义为可验证的闭环因果

具体问题：第一人称 AI 助手到底能不能帮人做成物理世界的事？抽象：在每轮 t，助手基于历史与当前观察输出话语 u_A，人代理将其落地为动作 a_t，环境执行并渲染下一帧第一人称视角；助手的话直接塑造人的动作，进而塑造后续所有观察。任务成功不是「话说得对」，而是最终物体状态满足预定义核心条件（如「披萨在烤箱里」「冰箱关着」）。这一定义的关键洞察是因果链的转移：传统基准评测「模型输出与标准答案的匹配」，这里评测的是「模型输出经一个自主解释者（人）落地为物理动作后的世界状态」——助手的一切能力最终都要穿过「沟通」这道窄门才能变成结果。同一个人代理配 Oracle 助手 100% 通过、无助手 0% 通过，证明量尺的两端都被钉死，测的确实是「帮助」本身。

3.3 EmbodiedLab：把「为知而行」变成可精确评分的任务

具体问题：具身智能体能否通过物理交互弄清一个物理系统的性质？抽象：每个任务是一个参数化物理系统 M_θ，隐藏参数 θ 每实例重新采样，目标 y* = q(θ, s_τ) 依赖 θ 与（对预测/配置类任务）智能体离开时的状态 s_τ。智能体只拿到任务卡（目标、公开参数、规则，无方法），通过相机观察、通过代码接口行动，一次性提交答案 ŷ 与证据引用 E。成功 = 所有门 G(E, R_τ, s_τ) 通过 × 相对误差在仪器容差内。这个定义的精妙之处在于参数重采样：答案不可预知（不能背），但可精确评分（物理量有真值）；「证据门」要求引用的每个读数确实来自本局仪器（不能编）；「台面复原门」要求撤消除目标外的所有改动（长时程追踪自己的痕迹）。三级嵌套接口 T0⊂T1⊂T2 把「行动」逐级接管，从而把失败定位到具体环节——这本质上是一个内建的消融设计。

3.4 三者的同构性

四、问题解法

4.1 AUTOTAVERN：现实锚定的自改进研究系统

AUTOTAVERN 的原则是「现实锚定的自改进」：智能体优化的每一个代理（仿真器、对手模型、考试）都以固定节奏重新锚定到真实游戏；每一个结论必须先经受过 designed-to-refute-it 的检验才能进入共享状态；检验捕获的错误反过来改变产生这些错误的流程本身。系统由四部分组成。

角色智能体：六个长时程 LLM 研究智能体各司一职——研究主管（选下一个问题、派活）、环境智能体（实现并验证规则、修复真实对局暴露的差异）、对手建模智能体（从人类统计与真实对局构建拟人对手）、训练智能体（设计配方与课程）、评测审计智能体（测量、复核、审计）、部署智能体（维护客户端控制器与输入格式），另有短命子智能体做探针与功能实现。

类型化研究记忆：智能体之间从不直接对话，一切协调通过版本化、类型化的文本存储——编号发现的台账（更正是指向旧条目的新条目，结论的演变史因此被保留）、220 条已确认规则决策的注册表、交接笔记、约 10,000 条实验的注册表、以及每次会话开头加载的「教训」库。

五道验证门：G1 build（代码改动过完整测试套件才能进共享构建）、G2 contract（模型绑定训练它的仿真器构建，控制器拒绝错配）、G3 comparison（只在同一构建内、多随机种子比较）、G4 delivery（只有在未见过的种子上复核通过才交付）、G5 reality（交付的模型上天梯打真实对局、对局回放到仿真器中比对）。

现实回路与自改进：控制器记录每一局真实对局并关联到智能体的决策；评测智能体在 TAVERNGYM 里重放真实战斗与招募步骤，报告仿真与现实的分歧点；责任智能体修复规则、输入编码或对手，下一轮迭代在修正后的世界里训练。错误本身变成资产：论文第 8 节报告的六个错误中，两个变成了新门（G4 的未见种子复核、G2 的双编码器位级比对），两个变成了长期规则。迭代以八步循环（观察→诊断→计划→实现→训练→评估→部署→反思）在三个时间尺度上运转：训练循环（秒到分钟）、研究循环（数小时）、天梯循环（数日），调度器在资源预算内排队实验，使回路可以无人值守连跑数天；人类只在两处介入——设定目标、对游戏数据无法判定的模糊机制做裁决（20 天里共 418 条消息，占全部消息的 0.6%）。

产物：20 天产出 TAVERNGYM（Rust 引擎 6.3 万行、复现 36.6.3 版本全部 978 个游戏对象、单核每秒 190-280 局完整八人对局、375 条规则验证记录 + 220 条规则决策、单位测试 + 模糊测试 + 精确合法动作掩码）与 TAVERNAGENT（实体 Transformer：己方随从/手牌/酒馆/对手各成一 token（≤56 个），每张卡 = 身份嵌入 + 静态特征 + 规则文本嵌入，指针头输出 245 个带合法掩码的动作 logits，d=384、8 层 8 头、1800 万参数；PPO 训练，每迭代约 100 万决策、每阶段 300 迭代约 3.1 亿决策；对手不是自我博弈，而是七个「现实校准」库席位——从顶尖人类玩家统计与录像构建、并按智能体实际遇到的对手逐轮重校准，考试库从不用于训练）。

4.2 InteractiveWorld：让「人」成为可执行的仿真组件

InteractiveWorld 建在 Isaac Sim 上，自下而上三层，把「人」从一个被动的动画角色变成一个会观察、会理解指令、会自主行动的交互智能体。

物理层：SMPL+H 全身模型（52 关节、6,890 顶点）头部挂载相机提供第一人称视角；人体以运动学方式驱动以杜绝随机摔倒、保证可复现；17 个胶囊体 + 头部球组成代理碰撞体，所有期望姿态先过碰撞检查再提交；资产来自 BEHAVIOR-1K v3.9.0——1,829 个物体类别、8,635 个模型目录、51 个场景布局，覆盖家具、容器、家电、工具与食物。

人动作层：把高层动作拆成两段执行。「碰撞感知自动导航」：先为目标物体选定一个可操作的站立位（评估连通性、全身间隙、臂可达性），在 0.10 m 栅格障碍图上用 A* 规划安全路径（带间隙偏置代价），沿路执行连续步行转身。「目标驱动自适应操作」：到达后按目标高度在站立/前倾/下蹲间切换姿态，用闭式循环坐标下降法做手臂逆运动学（1 mm 收敛目标），抓取族按几何自动选择（小而扁用 PINCH、高瘦用圆柱握、其余用环握），手指逐 6° 弯曲直到五指中至少四指有效接触；无可行轨迹则换站位重规划，不安全动作被拒绝并返回明确失败原因。

语义层：定义 36 个动作原语（[Walk]、[LookAt]、[Grab]、[PutInside]、[Open]、[Pour]、[Cook]、[Cut] 等），命令只指定动作与目标（如 [Grab]），底层导航、定位、身体动作全自动完成。可验证多轮交互在此之上闭合：助手基于第一人称视角与对话历史选择沉默/干预/结束，人代理解读指导后输出动作，环境执行、更新状态、渲染新视角，循环往复；系统全程追踪物体位置与状态，任务结束时检查实际物体关系自动判分。

InteractiveBench 的构造同样贯彻「闭环、可验证」：120 个任务（六类各 20 个）全部经人工双重评审，且必须满足「真实需要帮助、必须多轮使用第一人称信息、结果可从环境状态验证」三条件；每个任务带初始场景、暖场动作、确定性开场；构建时以 Oracle 口头助手 + 脚本人验证接线、以沉默/故意错误/故意提前干预做因果对照，确认「人无法独立解决、错误可观察、正确与错误的帮助留下不同的世界状态」；信息按角色严格分区——助手看不到任何仿真器内部 ID、答案、分数，人代理被禁止自行推断答案或修复助手的计划。评估时固定 Gemini 3.1 Pro 扮演人代理，被评模型当助手，每轮视觉上限 32 帧。

4.3 EmbodiedLab：三级接口隔离「行动」与「认知」

EmbodiedLab 是一个 Isaac Sim 仿真实验室：30 个定量实验横跨力、电、光、热、化五学科、架在 14 个装置平台上；每台配置 Franka Panda 机械臂 + 两指夹爪 + 三个相机（两个固定、一个腕部）。物理引擎跑 240 Hz 刚体力学，引擎不管的部分由标准物理模型计算并渲染回场景（电路用改进节点分析法 + 精确指数时间步进、光学用近轴光线传输矩阵 + 衍射角、热用集总热容 + 仪器滞后、染料光谱为拟合文献谱的高斯带、滴定为理想溶液 pH 求解器），仪器带量化与噪声，示数出现在刻度、指针与显示屏上，智能体只能用相机读。

开放性是设计核心：每张实验台像教学实验室一样配备了比任何单一方法所需更多的仪器、工具与材料；任务卡写明目标、部件与规则但不给方法；没有任何工具直接返回读数——读数只存在于智能体自己搭建的仪器上。

三级嵌套接口是诊断设计：T0 只给三路相机图像、机器人状态与逐物理步的七关节位置目标（外加一个只解运动学、不做碰撞检查的 IK 求解器），轨迹、避障、感知、抓取全部由智能体自己写；T1 增加「可提示分割模型 + 掩码像素真深度」的感知与 cuRobo 对真实障碍物的无碰撞笛卡尔运动规划；T2 再加一套从最强智能体（GPT/Claude 系）成功运行中蒸馏出的操作技能库（定位、抓取、搬运、放置、按压、推、滑），以 T1 公开调用的短序列形式放在智能体工作区里，可读可改。每一级都接管更多的「行动」而把「实验本身」留给智能体——T0 到 T1、T1 到 T2 的成功率变化因此成为「失败有多少出在行动上」的定量测量。T2 属诊断级（技能来自同一批实验的成功运行，部分复用已知解），不计入正式协议。

验证管线保证每个实验可信：声明式规范（隐藏参数的先验、仪器、门、容差、预算）→ 公开种子生成实例（θ 每实例重采样）→ 无语言模型、只走公开接口、只读仪器的参考解（30 个实验全部被参考解解出，容差取参考误差能稳居其半以内的最紧档，0.2%-5%）→ 发布审计（卡面与任何工具中无答案与方法、无状态捷径、只有物理操作）。

五、评估指标与实验证据

5.1 AUTOTAVERN：真实天梯是唯一的最终指标

指标体系分三层。主指标是真实天梯表现：rating 走势、以及论文专门设计的公平横比口径——公开排行榜追踪器（wallii.gg）为每位玩家估计的最近 20 条记录平均名次（同一量尺用于所有人）。辅助指标是仿真器内考试：主考试与更难考试上、固定仿真器构建、三个未见种子、每行 24,576 局八人对局的名次/第一率/前四率。消融与诊断指标包括 TAVERNBENCH 各能力类准确率、每决策耗时、对手库校准消融、决策价值移除实验等。

核心数值：（i）迭代改进：23 个交付版本的首名率从 1.9%（TA-1）升至 41.5%（TA-23），平均名次 3.40→2.33；更难考试上 TA-23 达 23.8%；对照中随机合法动作与脚本机器人第一率均为 0%。（ii）真实天梯：第 5-18 天共 392 局（388 局有名次），rating 从 6,000 连续爬至 14,007，结束时约 15,000、服务端前 100；排除客户端故障局后平均名次 3.22、16.4% 第一、77.1% 前四，最新版本组 TA-19–23 达 2.37 名、32.6% 第一、91.3% 前四。与顶尖玩家的横比：按公开排行榜口径，智能体最近 20 条记录平均名次 1.60、80% 第一、每条记录 rating 增量 +64，而服务器评分最高十位玩家合计为 2.34 名、59% 第一、+7——每一项统计上智能体都占优，且截断时 rating 仍陡峭上升、无平台期迹象。（iii）TAVERNBENCH（960 任务、40 场景、8 类）：TAVERNAGENT 答对 91% 的对局类任务、每题 0.03 秒；直接下场的前沿 LLM 最高仅 63%（GPT-6 Astra），Claude 两款 52-53%，其余 22-46%；在真实回合允许的 1 秒预算内 TAVERNAGENT 保持 90%，DeepSeek-V4.1-Flash 与 Jev 分别只有 26% 与 37%，其余 LLM 全部归零（它们的单题中位耗时 1.4-26 秒）。规则执行类上 LLM 反而领先（GPT-6 Astra 95%、Claude Opus 5.5 92%、Gemini 3.8 Flash 90%）——读得懂规则不等于会赢。给 LLM 挂上 TAVERNGYM 当工具后，GPT-6 Astra 的短期决策从 62% 升至 97%，说明差距主要在「脑内模拟战斗」这一环。

消融证据：对手现实校准是单项最大增益——同一起点同预算下，第一率从 20.9%（未校准库）升至 27.2%（现实校准库），更难考试从 10.3% 升至 13.5%。决策价值移除：Dark Gifts 决策被拿走平均损失 1.94 个名次、Discover 选择 1.64、攻击目标 1.45、饰品选择 0.56、英雄技能 0.26。八个版本同场对打（无库席位）时 TA-23 以 26.2% 第一率胜出（公平份额 12.5%）。

为什么这套实验设计能证明核心主张：论文要证的是「智能体构建的系统在真实世界里站得住」，因此每层指标都刻意堵住一条作弊路径——天梯成绩无法靠仿真器过拟合（G5 现实门 + 392 局真实对局记录与决策日志逐局关联）；「胜过顶尖玩家」不能用自家的对局日志说事，所以横比采用对手玩家同样被记录的公开排行榜口径；23 个版本的成绩全部在同一个仿真器构建、三个未见种子上重新测量（每点 24,576 局），排除「考试本身随版本变容易」的解释；客户端故障局（96 局）仅凭控制器日志的事前标记剔除、绝不看结果行事。值得注意的诚实细节：论文明确说明 rating 既是实力的函数也是局数的函数（只打了两周），因此不以 rating 高低论英雄，而以「最近 20 条记录」的横比与无平台期的上升势头作为「达到顶尖水平」的证据。

5.2 InteractiveWorld：Oracle 锚定的绝对量尺

指标体系：（i）Pass（全部目标达成）与 MCR（任务内目标平均完成率）；（ii）动作效率（严格成功局中实际动作数 / 该任务 Oracle 动作数）；（iii）九项能力原子分（物体识别、空间接地、OCR、长时程记忆、规划、知识、错误检测、主动性、沟通），按评测点等权聚合、与任务成败独立计分；（iv）首错六分类（R1 视觉接地、R2 状态跟踪、R3 规则因果推理、R4 规划重规划、R5 可执行指令、R6 干预时机）。

量尺锚定：同一个人代理配 Oracle 助手 100% 通过、无助手 0% 通过——量尺的两端都被实验钉死，41.7% 这个数字因此有绝对含义。核心数值：12 个前沿 MLLM 中，最强的 Claude Fable 5.1 平均 Pass 仅 41.7%（MCR 54.8%），其余全部 ≤33.3%（Claude Opus 5 33.3%、Muse Spark 1.1 31.7%、GPT-5.6 Sol 30.8%……DeepSeek V4.1 Flash 12.5%）。分类别看，Fable 5.1 在 Decision（单步场景判断）上达 85.0%，但在长时程的 Guidance（20.0%）与 Planning（25.0%）上惨淡——难度在于维持闭环：模型单步判断尚可，一旦要持续跟踪进度并重规划就崩。任务长度统计证实这一点：家族调整后的成功率斜率为 -0.431（从最短到最长归一化任务下降 43.1 个百分点，95% 自举置信区间 -58.1 至 -28.9，单侧置换 p<0.0001）。

首错归因：各模型 70.4%-85.7% 的首错出在感知（R1）与记忆（R2）——看错场景或跟丢状态，一次误感知级联污染后续全部指导；Gemini 3.1 Pro 的首错 69.8% 是感知，Kimi K3 则记忆（39.2%）多于感知（33.8%）。沟通的关键性有精妙的控制证据：GLM 5.3 Flash 与 Fable 5.1 的九能力均分几乎相同（58.2% vs 59.2%），但沟通分差 10 个点（69.8% vs 79.6%），任务少过 11.7 个百分点（30.0% vs 41.7%）——闭环成功由链上最弱能力而非平均能力决定。效率：几乎所有模型动作冗余严重，为 Oracle 的 1.07×-6.75×，在 Accessibility 与 Guidance 上最重（2.35×-3.66×）；且效率高度依赖任务而非模型固有属性（Fable 5.1 在 Accessibility 上最差 6.75×、在 Prevention 上却只有 1.20×）。消融：推理时挂一个自管理记忆字段使 Prevention/Finding 提升 5-15 个百分点，但两个模型的 Planning 反降 5 个点——简单的记忆外挂不足以支撑可靠的长时程帮助。静态版本对照：把同样 120 个任务改成静态问答后，8 个模型的分数普遍膨胀（如 Prevention 静态 45-75% vs 动态 10-55%），且「仅静态通过」的区域远大于「仅动态通过」——静态评测系统性高估能力。真人验证：3 名真人执行者与 4 个模型执行者在 36 个任务上交叉，更换执行者对每位助手分数的影响 ≤3 题（8.3 个百分点），模型执行者与真人的一致率 84.3%，接近真人彼此之间的 85.2%——用 MLLM 扮演人做评估具备初步效度。

为什么这套实验设计能证明核心主张：论文要证的是「模型能否真正帮到人」，于是全部设计围绕「帮助的因果归因」展开——量尺两端由 Oracle（100%）与无助手（0%）钉死，40% 出头的分数才有绝对含义；构建期的因果对照（沉默/故意错误/故意提前干预）确保「正确帮助与错误帮助留下不同的世界状态」，杜绝了「任务在散文里成功」的可能；评估协议中人代理被明令禁止自行推断答案或修复助手的计划，失败只能归因于助手；每轮视觉上限 32 帧、按时间序保留最近两轮完整，控制了上下文工程带来的隐性加成。首错归因方法也值得注意：对每个失败局回看完整对话、帧与动作结果，找到「最早的、未纠正的、此后成功不再可能」的那个错误——每个失败只计一次主因，避免了把最后症状当原因的常见错误。

5.3 EmbodiedLab：里程碑分解定位失败环节

指标体系：主指标是 T0 成功率（对实验内多次运行先平均、再跨实验等权平均）；辅以过程分 PS（六个里程碑 L1-L6 的加权求和，权重 (10,10,10,10,30,30)——四个「拿到足够读数」的阶段各 10 分，「知道结果」与「复原台面」各 30 分，因此结果准确但台面凌乱的一局得 70 分、根本没得出结果的一局至多 40 分）；诊断指标包括各里程碑通过率 π_l 与首决性错误归因。

核心数值：六个前沿模型（各在开发者自家的编码智能体中、中间推理档运行）T0 成功率：Claude Opus 5.5（Claude Code）43.3%、GPT-6 Astra（Codex）40.0%、GPT-6.1 Sol（Codex）28.3%、DeepSeek-V4.1-Flash（DSH）10.0%、Kimi K3（Kimi Code）10.0%、GLM-5.3-Flash（ZCode）0.0%；过程分从 64.0 排到 16.3，与成功率排序一致。30 个实验中 27 个被至少一个智能体解出；黑盒电阻、透镜焦距、双透镜中继在 T0 无人解出。维度分解：三个最强智能体在长时程多阶段工作上最弱（GPT 两款分别 21.4% 与 14.3%）；Claude Opus 5.5 各维度均衡（42.9%-44.4%）且是唯一高级实验（50.0%）反超基本实验（38.9%）的智能体。

里程碑分解是本文最有诊断力的证据：三个最强智能体 L1-L4（作用于装置、进入可测状态、取得首个有效读数、读数足够）通过率 0.81-1.00——它们很少在读数不够前就死；最低的阶段通过率出现在「知道结果」（L5，0.73-0.82）与「复原台面」（L6，0.55-0.79）。三者 L5 绝对通过率相近（51.7%-55.0%），真正拉开成功率差距的是复原台面：GPT-6.1 Sol 有 23% 的运行结果准确却台面未复原，超过所有其他智能体。弱智能体则死得更早：DeepSeek 60%、Kimi 67%、GLM 90% 的运行停在 L1-L2（改变装置状态或观察它）。首决性错误归因：对每个智能体，「行动（运动/接触）+ 观察（定位/读数）+ 复原」合计占失败运行的 75%-100%，纯认知（流程/分析/何时停）至多 25%；弱三款的失败 64-69% 出在行动、其中单纯「接触」就占 45-62%（抓取滑脱、部件翻倒、按键按空）；强三款行动失败降至 35-42%，但「结果准确台面乱」占 25-33%，观察错误少而致命（读错一位数字就葬送全局，占 Claude Opus 5.5 失败的 23%、是其第二大死因），GPT-6 Astra 有 19% 的失败是停得太早（屏上只有一个光斑却提交条纹位置）。

接口分级消融直接量化「行动瓶颈」：T0→T1（感知 + 运动规划）只带来 +1.7 至 +10.0 个百分点（Claude +10.0 至 53.3%）；T1→T2（操作技能）给弱智能体带来 +10.0 至 +26.7 个百分点——DeepSeek 从 10.0% 升至 40.0%（恰好等于 GPT-6 Astra 的 T0 水平）、Kimi 升至 33.3%、GLM 从 0 升至 13.3%。但技能补不齐实验本身：拿到技能的三个智能体 L4（读数足够）通过率仍只有 47%-77%（Claude T1 为 90%），长时程工作上至多 14.3%——操作技能是弱智能体的瓶颈，实验设计（认知）是所有人的第二道坎。

为什么这套实验设计能证明核心主张：论文要证的是「为知而行尚未被解决、且失败集中在物理交互」，设计上有三重保障——其一，每个实验先被一个无语言模型、只走公开接口、只读仪器的参考解解出（30/30），容差取参考误差稳居其半以内的最紧档（0.2%-5%），因此低分不能归咎于任务不可解或容差苛刻；其二，隐藏参数每实例重采样且答案只在评分器一侧，模型无从背题，低分也不能归咎于数据泄漏后的记忆；其三，三级接口嵌套（T0⊂T1⊂T2）使「行动」可以被逐级接管而「实验认知」始终留在智能体身上——成功率随级别的增量因此成为行动瓶颈的干净测量。首决性错误的归因规则（最早未纠正且此后必败的错误、被纠正的不算、最后症状不用）与里程碑的乘积分解（Pr[succ] = Ππ_l，最低的阶段通过率即限速环节）一起，把「失败在哪」从印象变成了可计算的量。

六、效果优势的根源解释

本部分按因果链解释三篇论文的核心结论为何成立。需要说明：按照本次精读的执行约束，本节不做额外联网检索，外部对照全部来自三篇论文自身 Related Work 与附录中真实出现的工作；三篇论文因问题同构（闭环、可验证、有后果），彼此构成最好的交叉验证。

6.1 AUTOTAVERN：为什么「构建远胜于直接执行」，为什么自改进能成立

6.1.1 构建与执行的分离：速度与误差复合的双重约束

结论一：构建远胜于直接执行。 因果链：LLM 的推理是文本式的、逐 token 串行，而战棋的一个招募回合约两分钟、含上百个操作，单决策超一秒就不可下（实时约束）→ 前沿 LLM 单题中位 1.4-26 秒，1 秒预算内除两个无推理模型外全部归零（机制约束）→ 即使不慢，一回合串联数十个决策，每个决策三成的错误不会「平均掉」而是「毁掉整个计划」（误差复合）→ 而「构建」——写仿真器代码、设计实验、定位 sim-real 差异——是 LLM 的代码与诊断强项，且时间预算宽松。TAVERNBENCH 上 91% vs 63%、0.03 秒 vs 26 秒的悬殊，正是这两条约束的必然结果，论文实验已直接支持。给 LLM 挂仿真器工具后 62%→97% 的跃升进一步说明：差距不在知识（规则类 LLM 反而 95%），而在「脑内模拟物理过程」——工具外化了模拟，差距即消失。反过来说，深度强化学习训练出的策略网络把「模拟」压缩成了前向传播（0.03 秒），这正是「构建出的系统优于构建者」的结构性原因：构建者把反复试错的一次性成本支付给了训练过程，成品不再需要在线推理。

6.1.2 自改进的复利：验证门 + 现实回路 + 教训库

结论二：自改进成立的根源是「不为同一错误付两次代价」。 因果链：五道验证门把虚假发现挡在共享记忆外 → 现实回路把代理漂移持续拉回真实 → 被捕获的错误写进教训库或变成新门 → 后续会话开局即加载 → 错误只发生一次。反事实证据充分：搜棋盘副本曾「带来」23.6 个百分点的假增益（副本携带了随机数状态、能偷看未来），重播种后增益归零（-0.65±1.14）——没有对照检验这类假发现就会带偏整个项目；TA-10 在考试上首名率翻倍（12.8%→24.2%）却让天梯 rating 从 8,968 跌到 7,658——没有现实回路，代理漂移无从暴露。外部对照：Kirgis 等人（2026）发现智能体「完成工程、困于研究问题」，AUTOTAVERN 的回应是把研究过程本身变成可被门与教训修正的对象；The AI Scientist 谱系止步于基准与论文评审，本文首次把最终判据换成真实对局——这是它与整个谱系的机制性分野。

6.2 InteractiveWorld：为什么最强模型也不到一半，为什么沟通是窄门

6.2.1 根源一：闭环把「单点能力」变成「链式能力」

因果链：静态基准一次答错只丢一分 → 闭环里一次误感知/忘状态会级联污染其后全部指导（论文 Finding 3：感知+记忆占首错 70.4-85.7%）→ 长任务放大级联（斜率 -43.1 个百分点）→ 所以 Decision（单步判断）85% 而 Guidance/Planning（持续跟踪+重规划）只有 20-25%。静态版本对照实验是这一机制最硬的证据：同一批任务改成静态问答后分数普遍膨胀、「仅静态通过」远大于「仅动态通过」——静态评测高估的正是「级联纠错」这一闭环独有能力。这与 Verghese 等人「离线指标不反映在线表现」的真人小样本结论一致，只是本文把它变成了可复现的系统性证据。

6.2.2 根源二：能力均值不决定闭环成败，最弱环节才决定

因果链：助手的一切推理最终必须压缩成「人能落地执行的一句话」→ 沟通是所有能力通往结果的唯一通道 → GLM 5.3 Flash 与 Fable 5.1 均分几乎相同但沟通差 10 个点，任务即差 11.7 个百分点；即便 Fable 5.1 也有 13.6% 的首错是「把目标说成了人无法执行的指令」（R5 例：让用户径直走进桌子）。论文的表述极准确：闭环成功由链上最弱能力而非平均能力决定——这类「沟通带宽」在既有静态问答基准中从未被测量过。外部对照：PuzzleMate、EgoBlind 等自我中心基准测的是理解与描述，Watch-and-Help/Habitat 3.0 测协作但 AI 是执行者——「AI 只动嘴、人动手」的角色反转使得沟通第一次成为可量化的瓶颈变量。

6.2.3 根源三：为什么简单记忆外挂不够

挂上自管理记忆字段后 Prevention/Finding +5-15 个点但 Planning 反降——因为被动记录不等于「知道何时查、查什么、如何与新证据对账」；这与 EmbodiedLab 中「台面复原」失败（见 6.3）同构：长时程状态跟踪的难点不在存储而在持续对账。此项属论文实验已支持的机制解释；「原生记忆机制优于外挂」的更强主张则是论文自己标注的未来工作方向，此处标注为阅读者推测。

6.3 EmbodiedLab：为什么失败集中在物理交互而非推理

6.3.1 接口分级是天然的消融实验

T1 供给真深度感知 + 无碰撞规划（接管「感知」与「规划」），成功率仅 +1.7~+10.0 → 说明瓶颈不在「知道物体在哪、路径怎么走」；T2 供给操作技能（接管「怎么抓、怎么放」），弱智能体 +10.0~+26.7 → 说明瓶颈恰在最底层的接触控制：抓取滑脱、部件翻倒、按键按空这类「毫米级小事」。为什么规划帮助有限而技能帮助大？论文的机制解释：cuRobo 解决「手臂怎么无碰撞地到那儿」，但「抓哪个部位、以什么姿态放下」这类物体级决策仍留给智能体——而这正是蒸馏技能所编码的隐性知识。此为论文实验已支持的结论。

6.3.2 强智能体为何死在 L5/L6

L5（知道结果）通过率 0.73-0.82：精读实验的失败集中在「何时停止采数、如何从自己的数据拟合并判断够不够」——这是实验方法论认知而非物理操作；L6（复原台面）通过率 0.55-0.79：成功要求智能体在整个长时程剧集中追踪自己每一步对世界的改动并逐一撤消——这正与 InteractiveWorld 的记忆瓶颈、AUTOTAVERN 的状态跟踪教训同构。三篇论文从三个不相干的环境收敛到同一结论：长时程状态跟踪是当前前沿模型的共性短板，且它在开环评测中隐形、只在闭环评测中显形。

6.3.3 外部对照与适用边界

论文引用的机器人化学实验室压力测试（Guo 等，2026）同样观察到长时程实验在读数阶段大量流失；MeasureBench（Lin 等，2025）证明视觉语言模型读仪表本身就难，与本文「观察错误少而致命」一致。需标注的适用边界：T2 技能蒸馏自同一批实验的成功运行，+26.7 的增益部分复用已知解、不可外推为通用技能库收益；仿真中的接触动力学与真实硬件仍有差距（论文未跨 sim-real 验证，这与 AUTOTAVERN 有现实回路回锚形成对照）；30 个实验均为教科书级物理，「为知而行」在开放世界科学发现中的外推尚无证据。

6.4 综合判断与未决问题

多项证据共同支持的机制：（i）闭环评测系统性低于静态评测，且差距随任务时长放大——InteractiveWorld 的静态对照（8 模型普遍膨胀）与 EmbodiedLab 的过程分-成功率落差、AUTOTAVERN 的 TA-10 天梯打脸事件三处独立印证。（ii）误差在闭环中复合而非平均——AUTOTAVERN 的「一回合毁一计划」论证、InteractiveWorld 的首错级联统计、EmbodiedLab 的单误读定生死，三个环境一致。（iii）长时程状态跟踪是共性短板——InteractiveWorld 记忆类首错、EmbodiedLab 台面复原失败、AUTOTAVERN 双编码器漂移教训，同一机制三种表现。

仍属推测或证据不足的：（i）「沟通是最弱环节」在非助手场景（如智能体间协作）是否同样成立，本文未测；（ii）AUTOTAVERN 的自改进回路能否迁移到无明确「真实对局」可回锚的领域（如科研本身），论文单游戏单版本的局限作者自己承认；（iii）操作技能蒸馏收益的 sim-real 与跨任务泛化。

6.5 相关工作对照与证据边界说明

按本次精读约束，本节不做外部联网检索，对照对象限定为三篇论文正文与附录中真实出现的工作。以下为其中支撑/限定根源解释的关键项：

证据等级标注：本节因果链中，「误差复合」「最弱环节决定成败」「接口分级定位行动瓶颈」「静态评测高估」四条均有论文内的对照/消融实验直接支持；「原生记忆优于外挂」「自改进回路跨领域迁移」「技能蒸馏的 sim-real 泛化」三条为阅读者基于论文局限标注的推测，论文自身未提供证据。

七、必要知识反推

假设让一个没有任何背景的人重做这三项工作，最少需要掌握什么？

7.1 领域知识层

AUTOTAVERN 团队必须懂酒馆战棋的全部机制（978 个对象、经济与战斗的交互、模糊规则处的人为裁决点）与部分可观测随机博弈的形式化（终局名次效用、每局约 15 回合 450 个原子动作）；必须懂 PPO + Transformer 的实体化建模（为何每张卡是 token、指针头如何对 245 个动作打分）。InteractiveWorld 团队必须懂 SMPL+H 人体参数化、运动学驱动与碰撞检测的取舍（为什么不用布娃娃以防随机摔倒）、A* 与逆运动学（闭式循环坐标下降）这些经典机器人/图形学部件，以及 BEHAVIOR-1K 资产体系。EmbodiedLab 团队必须懂五学科的教科书实验与仪器原理（容差由仪器决定、参考解定容差的方法论）、改进节点分析/近轴光学/集 lumped 热容这些「引擎外物理」的计算与渲染回注，以及 cuRobo、SAM 3 等现代感知规划工具的边界。

7.2 方法论知识层

三者共同需要「可验证评测」的设计功力——如何定义一个自动判分且不可被语言操纵的成功条件（物体状态谓词、证据门、仪器读数绑定），如何用 Oracle/参考解锚定量尺两端，如何做因果对照排除「人不靠助手也能过」。AUTOTAVERN 额外需要实验设计的统计素养：多种子比较、选择种子与未见种子的区分（赢家诅咒）、双编码器位级比对这类「度量度量的度量」的元方法。

7.3 工程知识层

Rust 高性能仿真引擎（63k 行、每秒数百局）、Isaac Sim 场景管线与 USD 资产烘焙、机械臂逐物理步控制、MLLM API 的规模化评测（120 任务 × 12 模型的闭环编排、32 帧视觉预算管理）、以及三篇都重度依赖的「评测基础设施自身的可审计性」（append-only 日志、任务冻结哈希、有效性判定的 VOID/失败二分）。

7.4 知识融合的关键节点

最关键的化学反应都不在单点知识而在视角反转——AUTOTAVERN 把「研究流程本身」变成可版本化、可被门修正的对象（研究方法论 × 数据库思维）；InteractiveWorld 把「人」变成环境的可执行组件、把「沟通」变成可测量变量（机器人仿真 × 对话系统）；EmbodiedLab 把「科学方法」装进「机器人操作」、用参数重采样同时获得不可预知性与可评分性（实验设计 × 具身智能）。三者的融合点共同指向一个元认知：评测环境本身就是一个需要被工程化、被验证、被审计的系统。

八、论文中可以提取的通用性灵感

灵感 1：能力评估必须在有后果的闭环里做。 核心思想：开环评测测「知道」，闭环评测测「做成」，两者可以相差数十个百分点。论文证据：InteractiveWorld 静态版同一批任务分数普遍膨胀（Prevention 静态 45-75% vs 动态 10-55%）；EmbodiedLab 过程分与成功率之间的大落差；AUTOTAVERN TA-10 考试翻倍、天梯反跌。推广场景：代码生成（编译通过 vs 集成测试通过 vs 线上运行）、医疗问答（答对 vs 改变诊疗决策后的结局）、教育辅导（讲解正确 vs 学生后续做题正确率）、自动驾驶仿真（轨迹评分 vs 完整交通流闭环）。

灵感 2：误差在闭环中复合而非平均。 核心思想：串联决策链的可靠性近似各环乘积，单环 90% 十环只剩约 35%。论文证据：InteractiveWorld 任务长度斜率 -43.1 个百分点；AUTOTAVERN「一回合毁一计划」；EmbodiedLab 单个误读定全局。推广场景：多步工单处理系统的环节预算分配、RAG 流水线的错误传播分析、法务/审计多级复核的漏检率建模、微服务链路的可用性设计。

灵感 3：把「代理指标持续锚定回真实」做成制度，而不是一次性校准。 核心思想：任何代理（仿真器、评测集、模拟用户）都会漂移，必须内置固定节奏的回锚机制与「对照检验」。论文证据：AUTOTAVERN 的现实回路 20 天捕获 184 处修复、五个教训全部源于仿真 praised 而现实打脸的分歧。推广场景：推荐系统线下指标与线上 A/B 的定期对账、风控模型的人群漂移监控、招聘算法的效度回访、供应链需求预测的滚动复盘。

灵感 4：错误是流程改进的原料——「不为同一错误付两次代价」。 核心思想：把捕获的错误固化为规则、门或教训库，使组织记忆单调递增。论文证据：AUTOTAVERN 六个错误中两个变成验证门、两个变成长期规则，首名率 1.9%→41.5% 的爬升曲线即其复利。推广场景：软件团队的事故复盘入 CI 门禁、医院的并发症登记与流程修订、客服质检的案例库蒸馏、自动驾驶影子模式的 corner case 回流。

灵感 5：链条的成功由最弱环节决定，而非平均能力。 核心思想：端到端系统的产出受制于最窄的带宽通道，补平均无益、补短板有奇效。论文证据：GLM 5.3 Flash 与 Fable 5.1 九能力均分几乎相同，仅沟通差 10 点、任务即差 11.7 个百分点；EmbodiedLab 弱智能体补操作技能 +26.7 点、补感知规划至多 +10 点。推广场景：多智能体系统的角色配置诊断、产品体验的全链路短板分析（内容再好、注册流程卡死即零转化）、个人技能投资的最短板策略、体检式团队诊断。

灵感 6：让「被评对象」与「环境执行」分离，可以隔离出纯能力变量。 核心思想：固定执行者只评决策（InteractiveWorld 固定人代理）、逐级接管执行只评认知（EmbodiedLab 三级接口）、让人执行而 AI 只动嘴（角色反转），都是「控制执行变量、暴露目标变量」的实验设计。论文证据：真人验证显示更换执行者对助手评分影响 ≤8.3 个百分点；T0→T1→T2 的增量精确定位瓶颈在接触控制。推广场景：人机协作岗位的能力拆解评估、自动化工具的「带与不带工具」对照评测、管理咨询的流程 vs 人员归因、教育测评中分离知识掌握与应试技巧。

灵感 7：不可预知性与可评分性可以通过「参数重采样」同时获得。 核心思想：把答案绑定到每实例重新抽取的隐藏参数上，作弊（背答案）在原理上失效，而真值仍可精确计算。论文证据：EmbodiedLab 每个实验 θ 重采样、容差 0.2-5% 由仪器与参考解共同钉死；AUTOTAVERN 的考试固定构建 + 未见种子复核同属一族。推广场景：防题库泄漏的动态出题系统、面试/认证的实例化考题、红队评测的场景随机化、SRE 混沌工程的可判定故障注入。

灵感与论文证据的对应总表

附录：三篇论文关键数字速查

三篇论文的互补关系一览