论文链接:TARSphere: A Robot-Oriented Full-Stack Framework for Long-Horizon Embodied Agents 代码仓库:xuyicheng-zju/TARSphere 项目主页:TARSphere Project 发表时间:2026年10月 机构:浙江大学(第一作者 Yicheng Xu 等 7 人)+ 复旦大学(Ziyuan Chen),通讯作者 Jiangning Zhang(浙江大学)——两所高校合作,无企业参与 领域标签:cs.RO 具身智能 / 机器人评测基准
一、论文背景
1.1 具身智能体要解决什么问题
想象一个真实场景:你让家里的机器人把一本深色书从餐桌上拿给客厅里的 Marcus。听起来简单,但机器人要完成一长串动作:走到餐桌边、识别那本书、伸手抓住它(手指要真正闭合并保持握持)、穿过客厅、找到 Marcus、把书递过去并等他接住。如果这时 Marcus 正在打电话走开,机器人还得跟着他等时机;如果主人中途改主意说把书给 Elena,机器人要立刻改计划。
这就是长程具身任务(long-horizon embodied task):任务跨越几十步决策,执行时间以分钟计,且世界在执行过程中持续变化。它和聊天机器人回答问题有本质区别——每一步动作都会真实改变物理世界,而世界的变化又会反过来要求机器人修改决策。
1.2 关键概念:什么是物理接地与社会接地
- 物理接地(physically grounded):机器人的每个动作都要服从物理定律。移动靠接触与摩擦,抓取靠手指对物体施加力并保持握持,转弯太快会摔倒。一个"合法"的动作调用(比如调用抓取函数)不等于成功执行——物体可能滑落、机器人可能撞墙。
- 社会接地(socially grounded):机器人与人交互要遵守社会规则。问人问题要靠近且对方可见;人说话要在听觉范围内才能听到;对方"现在在忙"就可能拒绝回答。信息获取依赖当前的空间配置,而不是随叫随到的 API。
1.3 现有研究的缺口
论文指出两条主线都留有空白:
- 动作模型路线:VLA(视觉-语言-动作)模型(如 RT-2、OpenVLA、GR00T)和世界-动作模型(WAMs)把多模态输入直接映射为机器人控制,推进了底层控制能力,但面对动态不确定环境缺乏适应能力。
- 推理模型路线:LLM 提供广博知识与推理,但无法直接执行物理任务。于是大量工作(SayCan、Inner Monologue、Code as Policies 等)把两者连接起来。
但评测层面存在系统性缺口:
- Harness VLA、RoboClaw、HumanCLAW 等系统聚焦目标固定的任务——任务一旦下达就不变,世界里的人也不主动改变需求;
- EmbodiedBench、LoTa-Bench、ALFWorld、Embodied Agent Interface 等基准把物理执行抽象为离散符号动作——“抓起杯子"是一个保证成功的符号操作,接触、摩擦、平衡全被跳过;
- GRBench 结合了机器人执行与 NPC 对话,PARTNR 评测了具身人机协作,但两者都没有把"执行失败 + 世界变化"组合起来系统评测。
一句话总结缺口:没有一个基准能同时评测——机器人在物理执行可能失败、人的需求会中途改变、社交信息获取受空间约束的世界里,完成长程任务的能力。TARSphere 就是为填这个缺口而生的。
二、论文定位和关联工作
2.1 具身交互仿真环境谱系
| 工作 | 年份 | 核心思想 | 与 TARSphere 的关键区别 |
|---|---|---|---|
| VirtualHome | 2018 | 把家务活动表示为可执行程序 | 无物理执行、无人参与 |
| Habitat / RoboTHOR | 2019-2020 | 支持导航与室内交互 | 无任务演化、无社交约束 |
| Habitat 2.0 / BEHAVIOR-1K | 2021-2023 | 加入重排任务 / 1000 项日常活动与物体状态变化 | 人不主动、世界不变 |
| Habitat 3.0 | 2024 | 社会导航与协作重排 | 无任务更新、无策略驱动抓取评测 |
| RoboCasa / ManiSkill3 | 2024 | 多样厨房场景 / GPU 并行接触丰富操作 | 单一维度扩展 |
| PARTNR | 2024 | 时空与能力约束下的家务协作 | 物理执行保真度受限、无演化世界 |
| GRBench | 2024 | 机器人执行 + 虚拟 NPC 对话 | 无成对能力条件设计 |
2.2 具身基础模型谱系
SayCan 把技能选择接地到可执行行为;Code as Policies 生成组合感知、控制 API 与反馈循环的程序;Inner Monologue 用场景描述、成功反馈与人类交互修正决策;SayPlan 用分层 3D 场景图规划;VoxPoser 组合观测接地的 3D 价值地图做闭环操作。动作侧的 RT-2、OpenVLA、GR00T 连接多模态输入与机器人控制。TARSphere 的定位是评测者而非动作模型:冻结这些模型,用统一 harness 供出有界基元、高层技能、分层记忆与实测执行反馈,看模型决策如何响应演化的目标、访问与人类需求。
2.3 机器人智能体系统与接口谱系
ROS 提供 模块化基建;OK-Robot 集成开放词汇感知、导航与操作做家庭取放;RoboClaw 用 VLM 控制器编排学习到的基元;ASPIRE 修复控制程序并积累可复用技能;Zetta 围绕冻结策略开发运行时批评器与恢复技能。HumanCLAW 用模拟人体研究 VLM 决策、刻意排除执行侧干扰。TARSphere 反其道而行:保留机器人动力学,记录碰撞、跌倒、运动残差与任务结果,把执行侧扰动纳入评测。
2.4 定位结论
表 1 的逐特性对比(连续物理 / 具身人 / 动态人 / 演化世界 / 机器人运动学 / 策略驱动抓取 / 渐进评测 / 能力对照 / 事件驱动任务 FSM)显示:TARSphere-Bench 是目前唯一九项全绿的基准。它不是某个单维度更强的基准,而是第一个把"物理执行失败 + 世界持续演化 + 社交约束交互"三件事放进同一个事件驱动框架里做系统评测的工作。
三、问题定义
3.1 从具体场景到抽象问题
具体问题:机器人如何在世界持续变化、物理执行可能失败、人类需求中途改变的情况下完成长程任务?
论文的核心洞察是把它抽象为一个闭环决策-执行-世界更新问题。形式化(式 1):
- 在时刻 tk,策略 π 从观测 otk 与交互历史 htk 选择动作序列 Bk:Bk = π(otk, htk)
- 世界更新:⟨st+1, ft⟩ = W(st, Exec(at), et),其中 at ∈ Bk
- st 包含机器人、物体、人与活动任务四类状态;et 是人类或环境事件;Exec 调用执行后端;W 更新世界并返回实测反馈 ft
这个抽象的精妙之处有三点:
- 事件 et 是一等公民:世界变化(人改需求、路被堵、工具坏了)不是噪声,而是与动作并列的驱动世界更新的输入,强制 agent 必须处理"计划失效”。
- 反馈 ft 是实测而非符号:执行结果由物理引擎测量(接触、运动残差、碰撞方位),不是"动作成功/失败"的二值符号,agent 要用这些反馈修正决策。
- 评测绑定证据时刻:评估器检查证据是否满足"证据产生时刻生效的任务要求"——任务改了之后,旧证据不能抵新要求;授权的任务修订必须真实送达(对话送达)才生效。
3.2 三个挑战的映射
- 挑战一(执行非符号):有效动作调用不保证成功——接触、摩擦、平衡、人的反应都会让执行失败,agent 必须用物理执行反馈修正决策。
- 挑战二(世界执行中变化):物理条件、人类活动、任务要求都会在计划展开时改变,agent 必须重新解读局面、重新决策。
- 挑战三(评测多能力):聚合成功率会掩盖不同任务家族的不同能力缺口,评测必须分维度揭示。
四、问题解法
TARSphere 全栈框架分三层,逐层解耦"世界怎么跑"、“大脑怎么想”、“任务怎么评”。
4.1 TARSphere-Infra:执行基础设施(世界怎么跑)
类比:如果说 Harness 是大脑,Infra 就是包括身体和整个社交圈在内的一切外部世界。它管四件事:
(a)物理运行时。Isaac Sim + PhysX 驱动 G1 人形机器人(学习型运动策略 + 7 自由度手臂/灵巧手 PD 控制)在 GRScenes-100 的 30 个室内场景(10 住宅 + 20 商业空间)中执行。抓取不是"附着"而是策略驱动:需要规划臂部运动、手指真实闭合、接触反馈验证握持。NPC 的可见姿态与碰撞代理同步(运动学运动 + 骨骼动画),保证"看到的人"和"碰到的人"是同一个具身个体。
(b)NPC 运行时与受限对话。每个 NPC 有姿态、行为、可用性与授权知识。LLM 后端把自然语言问题路由到授权话题并返回剧集定义的回答——NPC 不会泄题。关键约束:机器人问人需要邻近 + 可见;NPC 说话只有在其听觉范围内才能到达机器人。信息可得性取决于空间配置,这让"社交"有了物理成本。
(c)事件驱动任务状态机(FSM)。类比工厂流水线的工单系统:NPC 动作走 Idle–Queued–Acting–Done 四态;事件只有在其因果 DAG 前提与实时物理/交互条件都成立时才被接纳;确认的动作完成与真实消息送达才提交任务状态变迁。举例:Elena 让机器人拿瓶子,中途授权事件把收件人改为 Marcus——这个修订只有在 NPC 真的对机器人说了"改给他"之后才生效,之后机器人的交付必须送到 Marcus 手里才算完成。
(d)评估器。对五个依赖检查的任务结果打分;任务更新事件本身不计分;固定语义裁判给计划与报告打分;交付要求物理执行 + 收件人接受。任务要求与评分规则对 agent 私有(防止泄题),但执行证据全部公开记录。
4.2 TARSphere-Harness:具身大脑线束(大脑怎么想)
类比:线束(harness)就像给一位从没开过车的老司机配一套完整的仪表台——他懂开车(冻结的 MLLM 推理能力不变),但看什么(观测)、记什么(记忆)、能踩哪些踏板(技能接口)、以及车身的抖动反馈(执行反馈)都由线束标准化供出。这样八家不同"司机"可以在同一台"车"上公平比拼。
四个组件:
(a)闭环 agent-世界交互。动作串行执行,可在工具边界返回控制、取消剩余动作。每次决策获得当前自视角 RGB、体坐标 LiDAR、公开事件与执行反馈。运动残差(实际移动量与期望之差)与碰撞方位(从哪个方向撞的)作为决策输入,供后续重规划。
(b)多模态上下文与分层记忆。三层记忆:
- 短期历史:最近动作、结果与视觉状态笔记(“桌面在视野中 +5° 已执行"“深色书已定位 −5° 有接触”);
- 长期记录:活动计划、对话历史、机器人状态;
- 语义空间记忆:把模型选定的人/物/地点锚定到同步 RGB-D 中,存储实测位置与支撑关键帧,与在线几何地图并存;自管理关键记忆让模型自行保留、修订或遗忘选定事实(例如"深色书在餐桌上"这一写回事实)。
(c)统一多级技能接口。三级:
- 有界运动基元:move_body(Δb)、move_end_effector(Δξ, g);
- 操作技能:定位并抓取可见目标(SAM3 分割 + GraspGen 抓取位姿 + cuRobo 轨迹优化的抓取栈);
- 导航技能:navigate_to_entity(e)、navigate_to_frontier(ℓ, d),基于在线地图(VLN + FrontierNet)。 社交动作(ask/speak)走同一接口但带空间前提条件。控制器后端可替换为其他 VLN/VLA 策略。
(d)冻结 MLLM 作为具身大脑。模型输出 JSON 动作(如 {“tool”: “grasp_object”, “args”: {“target”: “dark book”}}),可先在 think 标签中推理(“上次身体调整有接触,所以我保持底座不动……我会检查返回的执行反馈再把书记为已握持”)。
4.3 TARSphere-Bench:基准(任务怎么评)
任务设计:360 集、30 场景、两类任务家族(navigate-and-report 导航报告 / fetch-and-deliver 取送)。每个 Base 剧集派生五个成对条件(保留同一场景与任务家族):
| 条件 | 名称 | 测什么 | 实例 |
|---|---|---|---|
| PR | 感知鲁棒 | 传感退化下目标不变 | 低光 / 低分辨率 / 深度噪声 |
| DA | 扰动适应 | 临时阻塞/人忙/工具坏 | 路线被堵、NPC 忙碌、工具停用 |
| TU | 任务更新 | 授权事件修订任务 | 收件人从 Elena 改为 Marcus |
| HC | 人机协同 | 需要他人的信息或到场协作 | 信息共享、任务协作 |
| IU | 意图理解 | 澄清或上下文推断需求 | 偏好确认、需求澄清 |
成对设计的关键价值:Base 与变体只差一个能力维度,Base 对比能干净量化每个条件的效应。
agent-in-the-loop 策展(四步流水线):可执行任务构建的难点在于语义、因果依赖与场景几何必须一致——“把书拿给 Marcus"要求 Marcus 存在、可达、能接受交付,且事件依赖(先理解任务→观察目标→获取→变化→观察收件人→交付)在几何上可走通。
- (a) 资产输入:任务卡、NPC 档案、场景资产;
- (b) Code-as-Curator 综合与联合求解:编码 agent 按 SKILL.md 联合求解实体绑定、事件依赖与交互位置;
- (c) 多 agent 审查 + 人工审计:专项 agent 检查因果、对话、结果绑定、评分捷径、几何与多样性,人工审查含义、自然度与布局;
- (d) 仿真验证:检查事件送达与物理执行。
五、评估指标与实验证据
5.1 指标体系
- Progress(进度):五阶段证据检查(任务理解/现场目标观察/现场任务完成/收件人观察/最终完成)的加权和 Prog(e) = (1/5)Σ ge,i·qe,i,其中 ge,i 是阶段 i 在其事件依赖与实时条件下是否存在合格证据,qe,i 是该证据的质量分。规划、巡检与报告质量是连续分;观察、信息接收与物理结果是二值。
- Success(成功):Succ(e) = ce(1−ue)。ce 要求向正确收件人完成完整正确报告或被接受的正确物品交付且全部前提满足;ue 表示终端跌倒或物品丢失。终止性物理失败保留已获进度;普通碰撞不否决成功。
- Eff.(路径比):成功 Base 运行的骨盆 XY 移动积分 / 编写路线长度,越低越好。
- Cost:决策数/每次决策 token 数;Safety:碰撞/跌倒剧集占比。
- 均值对六个条件等权。8 个冻结 MLLM 共享提示、观测、动作、100 决策上限与终止规则。
5.2 主结果表(数据集 × 指标 × 本方法 × baseline)
评测对象本身是被测模型(框架是考场不是考生),下表为 8 模型主结果(进度/成功率,%):
| 模型 | 任务 | Base | TU | HC | IU | 平均 | 安全(碰撞/跌倒) |
|---|---|---|---|---|---|---|---|
| Gemini-3.8-Flash | 导航 | 78.5/60.0 | 52.7/16.7 | 69.5/33.3 | 45.2/16.7 | 67.2/40.6 | 84/14 |
| Claude Sonnet-5 | 导航 | 53.9/23.3 | 40.7/3.3 | 43.4/3.4 | 46.0/6.7 | 51.3/16.9 | 93/33 |
| GPT-5.6-Terra | 导航 | 56.7/23.3 | 39.1/0.0 | 55.9/26.7 | 45.1/10.0 | 50.4/15.0 | 87/16 |
| Gemma-4-31B | 导航 | 50.7/23.3 | 43.4/6.7 | 45.1/13.3 | 48.0/13.4 | 48.0/13.4 | 95/35 |
| Qwen3.7-Plus | 导航 | 62.0/23.3 | 38.7/0.0 | 39.5/10.0 | 38.0/3.4 | 47.6/11.1 | 97/34 |
| Qwen3.8-27B | 导航 | 37.3/0.0 | 38.7/0.0 | 32.2/0.0 | 36.2/0.0 | 36.8/0.0 | 88/9 |
| RoboBrain2.0-32B | 导航 | 23.2/0.0 | 31.4/0.0 | 22.4/0.0 | 23.7/0.0 | 26.6/0.0 | 98/46 |
| Hy-Embodied-VLM-1.0 | 导航 | 15.9/0.0 | 16.1/0.0 | 9.1/0.0 | 8.6/0.0 | 13.2/0.0 | 91/19 |
| Gemini-3.8-Flash | 取送 | 75.5/60.0 | 69.2/46.7 | 64.1/43.3 | 64.6/40.0 | 69.4/47.8 | 98/16 |
| Claude Sonnet-5 | 取送 | 51.7/23.3 | 46.5/16.7 | 50.2/24.1 | 49.4/23.3 | 51.4/24.6 | 100/29 |
| GPT-5.6-Terra | 取送 | 47.0/16.7 | 46.0/6.7 | 38.4/6.7 | 44.3/16.7 | 44.6/12.8 | 98/24 |
| Qwen3.7-Plus | 取送 | 39.6/10.0 | 39.7/6.7 | 27.1/0.0 | 36.3/6.7 | 35.9/5.0 | 100/34 |
| Gemma-4-31B | 取送 | 36.7/3.3 | 32.6/0.0 | 27.2/0.0 | 30.7/0.0 | 33.2/2.2 | 100/36 |
| Qwen3.8-27B | 取送 | 33.7/0.0 | 29.2/0.0 | 29.0/0.0 | 29.0/0.0 | 30.5/0.0 | 98/17 |
| RoboBrain2.0-32B | 取送 | 19.2/0.0 | 22.3/0.0 | 18.3/0.0 | 12.5/0.0 | 19.4/0.0 | 98/47 |
| Hy-Embodied-VLM-1.0 | 取送 | 10.8/0.0 | 9.9/0.0 | 11.3/0.0 | 9.1/0.0 | 10.6/0.0 | 88/13 |
(PR/DA 列省略;完整数据见论文表 2。)
5.3 三个核心发现
发现一:通用模型反超具身专精模型。导航任务 Gemini 平均成功 40.6%,第二名 Claude 仅 16.9%,差距 23.7 个百分点;取送任务 Gemini 47.8% vs Claude 24.6%。而两个具身专用开源模型(RoboBrain2.0-32B、Hy-Embodied-VLM-1.0)进度低且零完成——通用开源模型 Gemma-4-31B 反而两个任务家族都能完成一些剧集。这暗示宽泛的多模态通用能力可能比具身专精更关键。
发现二:同 Base 成功率掩盖不同能力短板。PR/DA 在两个任务家族都接近 Base 水平(感知退化与临时扰动不是主要难点);但导航任务最大缺口在 TU/IU(Gemini TU 成功仅 16.7%),取送任务最大缺口在 HC/IU。Gemini 在两个家族 Base 成功率同为 60.0%,可 PR/DA 成功率在导航更高(56.7-60.0% vs 46.7-50.0%),TU/HC/IU 在取送更高(40.0-46.7% vs 16.7-33.3%)——能力剖面随任务家族分化,单一聚合分会误导模型选型。
发现三:碰撞与跌倒高频存在。跨模型-任务组,碰撞发生在 84-100% 的剧集中,跌倒 9-47%。最强的 Gemini 也有 84%(导航)/98%(取送)的碰撞率与 14%/16% 的跌倒率。GPT-5.6-Terra 路径比最低(1.17)但成功并非最高——完成、效率与安全必须并评。
5.4 消融与校准证据
Harness 消融(Gemini,任务族与条件均衡子集):
| 设置 | 平均进度/成功 | 相对全量成功率变化 |
|---|---|---|
| 全量 harness | 70.5/45.8 | — |
| 去抓取技能 | 51.0/20.8 | −25.0pp(最大) |
| 去 LiDAR | 61.0/33.3 | −12.5pp |
| 去运动残差 | 63.3/34.7 | −11.1pp |
| 去语义空间记忆 | 67.7/41.7 | −4.1pp(但 PR/HC 成功率反升 41.7→58.3) |
值得注意的反常:去掉语义空间记忆平均分下降,但 PR 与 HC 条件的成功率反而上升——更简单的上下文在个别条件有利、整体削弱,说明组件贡献是条件特异的。
受控干预实验(30 个取送 Base 任务 × DA/TU/HC 变体,运动/附着/接地/几何四类援助):全援助把 Base 成功率提升 6.7pp,但 DA 缺口只收窄 3.3pp,TU/HC 缺口几乎不变(13.3/16.7pp)——执行援助能提高完成率却消除不了对任务更新与人类协同的敏感性,证明这些缺口是能力缺口而非执行问题。
技能校准(低层执行保真度):移动平移误差 1.3-4.9 cm、旋转 0.49-1.2°、复合运动 2.6 cm/0.15°;抓取 229/240 成功(四个距离档 93.3-96.7%);接地检测 285/300、10cm 内定位 260/300。识别正确不等于精确定位——这解释了为何 harness 必须回传实测反馈而非报告成功。
策展消融:完整管线 96.7% 剧集可用;去多 agent 审查只剩 45.0%(−51.7pp,最大跌幅);去人工审计 65.0%;去 SKILL.md 精调 72.5%;去仿真验证 83.3%。
人评一致性:计划 SRCC/PLCC 0.86/0.88,巡检/询问报告 0.91/0.92,HC/IU 任务因果健全性与可行性双 100%。
失败分析(2,535 个失败运行):工具接口错误占 Qwen3.7-Plus 失败的 52.9%;任务状态错误占 Qwen3.8-27B 与 Hy-Embodied 的 48.9%/46.1%。同一任务四个模型四种死法:Gemini 5/5 阶段完成;Claude 拿到答案后碰撞跌倒、27 次站起调用耗尽预算;Gemma 反复问错人(32 次 ask 无回复);HY 在无回复无报告时直接宣告计划完成。
六、效果优势的根源解释
6.1 根源机制与证据链
对比对象:符号化具身基准(EmbodiedBench/ALFWorld/EAI 类)与固定目标系统(Harness VLA/RoboClaw 类)。它们曾经有效的原因:符号化让评测可复现、规模可扩展;固定目标让归因简单。
baseline 的根本局限:符号抽象把"执行"从评测中结构性移除了——它不是"没测执行”,而是"执行成功在接口层被保证”,因此任何执行相关能力(利用接触反馈、从跌倒恢复、避免碰撞)在评分上不可观测。同理,固定目标世界里"任务更新"类能力不可观测。这不是工程疏漏而是接口决定的信息边界。
TARSphere 的根本性改变(因果链):
- 策略驱动抓取 + 接触/摩擦/平衡物理 → 有效动作调用不再保证成功 → 执行反馈成为决策必需输入 → 揭示"规划得分 ≠ 执行成功"(论文实验支持:阶段分解显示高规划分与低执行分的并存);
- 授权任务修订经对话真实送达才生效 + 事件 FSM 绑定证据时刻 → “知道任务变了"与"按新任务交付"被强制区分 → 揭示 TU 是导航最难条件(Gemini TU 成功 16.7%,论文实验支持);
- 受限对话(邻近/可见/可闻 + 可用性 + 授权知识路由)→ 信息获取有了空间与社交成本 → HC/IU 缺口被隔离(受控干预实验支持:执行援助不缩小 HC 缺口);
- 成对条件设计(同场景同家族只差一维)→ 能力缺口可归因(论文实验支持:同 60% Base 成功率下导航/取送呈现互补剖面)。
反事实推理:去掉多 agent 审查,剧集可用率从 96.7% 暴跌到 45.0%——若没有这道关卡,超过半数任务的语义/因果/几何不一致会直接污染评测结论;去掉抓取技能,成功率掉 25.0pp——若抓取被符号化(保证成功),这一差距将完全不可见,等于把最依赖物理执行的 25 个百分点的模型差异藏了起来。
一个诚实的注脚:语义空间记忆的消融显示去掉后 PR/HC 反升——并非所有组件在所有条件下单调有利,作者如实报告了这一反常,这是论文严谨性的体现。
6.2 相关工作检索与对照
本任务未执行外部检索,因果链基于论文自身实验与机制分析,以下对照来自深读提取清单中的谱系对比信息:
| 研究 | 相似尝试 | 相关结论 | 与本文的差异与边界 | 对根源解释的影响 |
|---|---|---|---|---|
| PARTNR(ICLR 2025) | 具身多智能体规划评测,含时空约束 | 也发现聚合分掩盖协作缺口 | 执行保真度受限,无任务更新评测 | 支持"能力剖面分化"结论,补充其执行侧 |
| GRBench(2024) | 机器人执行 + NPC 对话 | 证明对话+执行组合可行 | NPC 非具身约束对话,无成对条件 | 支持"社交接地"必要性,本文加强空间约束 |
| Habitat 3.0(2024) | 社会导航与协作重排 | 人形存在改变导航策略 | 无演化任务要求 | 支持"动态人类"维度价值 |
| HumanCLAW(2026) | 冻结 VLM 通过身体行动 | 决策与执行扰动分离研究 | 刻意排除执行侧干扰 | 反向印证:本文保留执行扰动才能测出安全缺口 |
| Harness VLA(2026) | 冻结模型 + 线束供能 | harness 显著影响冻结模型表现 | 目标固定操作任务 | 支持"统一 harness 公平比较"方法论 |
6.3 综合判断与未决问题
多项证据共同支持的机制:(1) 执行真实性揭示执行类差距(技能校准 + 干预实验 + 阶段分解三方印证);(2) 成对条件隔离能力缺口(同 Base 对照设计 + 剖面分化数据);(3) 策展管线的必要性(消融 −51.7pp)。
仍属推测的机制:“通用多模态能力比具身专精更关键"是基于 8 模型横截面观察的相关性结论——具身模型也可能因训练分布与 harness 接口不匹配而失利,需要更多模型与受控训练实验才能上升为因果。
适用条件与失效条件:结论限定于室内服务任务两类家族、单体机器人(G1)、仿真环境(Isaac Sim);真机迁移需面对传感差异、接触差异与真实人类行为差异(作者自陈,计划 Mobile-Franka 迁移)。若机器人身体或后端技能栈改变,Harness 消融的组件贡献排序可能变化。
七、必要知识反推
假设一个没有背景的人要完成这项工作,他最少需要掌握什么?
7.1 领域知识层
- 具身任务的结构:必须理解导航、抓取、交付在真实机器人上如何分解为感知-规划-执行的闭环——不理解就无法设计五阶段证据检查;
- 人机交互的社会规则:邻近性、可见性、听觉范围、可用性如何约束信息流——不理解就无法设计受限对话与 HC/IU 条件;
- 任务的时间依赖结构:因果 DAG、事件前提、授权修订——不理解就无法设计事件 FSM 与"证据时刻绑定"的评估规则。
7.2 方法论知识层
- 仿真与物理引擎:Isaac Sim/PhysX 的接触、摩擦求解,骨骼动画与碰撞代理同步——不理解则执行保真度无从谈起;
- 具身基础模型版图:VLA/WAM/MLLM 各自能力边界(SayCan 到 GR00T 谱系)——不理解就无法定位"冻结模型 + 统一线束"的评测设计;
- 基准构建方法学:成对控制变量设计、防评分捷径(shortcut 检查)、人评一致性(SRCC/PLCC)——不理解就无法产出可信基准。
7.3 工程知识层
- 机器人系统栈:PD 控制、关节目标、RGB-D/LiDAR 传感流水线、在线建图——不理解就无法实现多级技能接口;
- 感知/抓取/导航组件集成:SAM3 分割、GraspGen 抓取位姿、cuRobo 轨迹优化、FrontierNet 探索的接入方式;
- LLM 工具调用工程:JSON 动作 schema、think-act 结构、决策预算与终止规则设计。
7.4 知识融合的关键节点
- 节点一:物理仿真 × 事件 FSM——把"任务状态变迁"从代码里的标志位变成"物理确认 + 消息真实送达"的事件,这是演化世界可评测的基石;
- 节点二:冻结模型 × 可替换技能栈——评测模型决策而非技能本身,需要把两者接口标准化(统一技能接口),同时用技能校准实验单独验证执行保真度;
- 节点三:LLM 策展 × 仿真验证——用编码 agent 联合求解语义/因果/几何三元一致性,再让仿真做最终把关,96.7% 可用率证明这条"agent 造题、仿真验题"流水线的可行性。
八、论文中可以提取的通用性灵感
灵感一:评测绑定证据时刻——规则要绑定产生证据时的世界状态
- 核心思想:评估一条证据时,应以证据产生时刻生效的要求为准,而非最终要求或初始要求。
- 论文证据:任务更新事件真实送达后才改变评分依据;旧证据不能抵新要求。
- 推广场景:1) 代码评审中按提交时点的规范评审历史提交;2) 多轮对话系统中按用户当时意图评价历史回答;3) 法规合规系统按行为时点的法规版本判定;4) 游戏反作弊按规则更新时刻判定行为。
灵感二:成对条件设计——同底座只差一维
- 核心思想:要归因某项能力,就构造除该能力维度外完全一致的成对评测单元。
- 论文证据:Base 与 PR/DA/TU/HC/IU 共享场景与任务家族,缺口量化才干净。
- 推广场景:1) A/B 测试中单变量变体;2) 模型安全评测中的诱导变体;3) 教育测评的掌握度诊断;4) 药物临床试验的配对队列。
灵感三:执行援助 × 能力条件的交叉分析——区分"做不到"与"没想到”
- 核心思想:给被测系统提供执行援助再测:若援助提高总分但不缩小某条件缺口,则该缺口是决策/认知问题而非执行问题。
- 论文证据:全援助 +6.7pp 成功率,TU/HC 缺口纹丝不动(13.3/16.7pp)。
- 推广场景:1) 学生用计算器测数学——计算器提高算术分但概念缺口不变;2) 程序员用 IDE 补全测算法能力;3) agent 给工具代理后重测规划短板;4) 辅助驾驶开启后测驾驶员态势感知。
灵感四:信息获取的物理成本设计——让社交有空间约束
- 核心思想:在评测环境里给信息获取加上真实的空间/时间成本(要走近、要可见、对方要有空),才能测出主动获取信息的能力。
- 论文证据:受限对话使 32 次 ask 无效(Gemma 案例),错人绑定错误持续整个回合。
- 推广场景:1) RAG 系统中检索有代价;2) 多 agent 系统通信带宽受限;3) 军事情报模拟;4) 医疗问诊模拟。
灵感五:agent 造题、仿真验题的策展流水线
- 核心思想:高质量评测集可由 LLM 联合求解多维约束生成,再用可执行的验证器把关;多 agent 交叉审查是可用率的第一保障。
- 论文证据:去掉多 agent 审查可用率从 96.7% 掉到 45.0%。
- 推广场景:1) 教育题库自动生成;2) 软件测试用例合成;3) 对抗样本构造;4) 数据标注质检流水线。
灵感六:安全与完成并评
- 核心思想:只报成功率的评测会系统性忽略高频低害失败(碰撞、跌倒);安全指标必须进入主表。
- 论文证据:84-100% 碰撞率与最高 47% 跌倒率在最强模型上依然存在。
- 推广场景:1) 自动驾驶评测;2) 手术机器人验收;3) 化工过程控制;4) LLM agent 的副作用监控。
附录:三条最值得记住的数字
- 23.7pp:导航任务 Gemini(40.6%)与第二名 Claude(16.9%)的成功率差距——通用模型对具身专精的碾压幅度。
- −51.7pp:去掉多 agent 审查后基准剧集可用率的跌幅——LLM 策展时代质检环节的价值量化。
- 84-100%:所有模型-任务组的碰撞剧集占比——即便任务完成率提升,物理安全仍是具身智能的未解题。