手够不着时，身体要懂得补位：把世界动作模型推向人形全身协同操作

先说结论：这是机器之心直播间的一场技术分享（音频全长约 46 分钟），讲者李卓是香港中文大学三年级博士生（导师转写为「陈斐」教授），同时在一家机器人公司（转写疑似「费曼智合」）任算法研究员，研究方向从人形灵巧抓取、双臂操作一路推进到全身操作。这场分享的核心问题很克制：当预训练世界动作模型（World Action Model，WAM）已经具备很强的桌面操作先验、人形全身运控（whole body control）又已经强到能跳跃侧翻时，为什么泛化的人形全身协同操作（loco-manipulation）仍然无人做通？李卓给出的答案是一个四步配方——preserve（保留先验）、ground（理解身体）、coordinate（学会协同）、generalize（获得泛化）：复用预训练 WAM 的 DiT 骨干而非从零训练，用 56 维统一 WBC 接口把异质控制器的语义装进同一表示，再用基于可操作性（manipulability）门控的协同注意力，让身体只在「手的方向上操作性不足」时介入补位。据讲者报告，这套方法在约 15K 条示教数据后训练后，仿真六个任务拿到 91.9% 的最高成功率，真机八个任务较基线 DreamZero 提升 21 个百分点，还出现了示教里不存在的行为——抓不到毛巾时自己往前迈了一步。对行业的含义是：全身智能未必需要从零学起，少数据时代的杠杆在「接口标准化」和「学协调而不是重新学操作」。以下均为讲者观点与直播转述，未经独立核实。

矛盾：操作先验和运控能力都在变强，中间的缺口却没合上

李卓把出发点放在一个看似反常的现象上。一边，世界动作模型范式正在替代早期 VLA（vision-language-action）：VLA 是静态地学「图像观测—动作」的配对，而 WAM（讲者列举了 DreamZero、Cosmos Policy 以及转写疑似「LimboV」三个代表工作）联合预测未来的视频和动作会怎么改变世界，等于直接监督「手—物体—环境」的动态关系——模型不仅知道怎么做，还知道这个动作会带来什么世界状态变化。这类工作已经能解鞋带、包装糖果、叠衣服，提供了可跨场景复用的操作先验。另一边，人形全身控制早已摆脱「走路都费劲」的旧印象：讲者点名 ASAP 能敏捷跳跃，并列举了侧手翻、跑酷（parkour，转写疑似）、空翻等对人都不容易的动作——人形本体曾被诟病的运控能力已经不再是限制。

那为什么把两者拼起来仍然很难？李卓认为缺口来自三个挑战。其一，全身协调的复杂性：桌面 WAM 只需建模手和物体的交互，但人形的操作空间经常不覆盖物体所在位置——机器人即使知道怎么抓一个方块，身体撑不住这个动作时任务就是完不成的；模型必须知道身体「何时（when）、以什么方式（how）」协同操作。他特别强调这与 whole body control 是两个维度的问题：WBC 是垂域的运动执行（让身体更敏捷），而全身智能（whole body intelligence）是让机器人在非结构化任务中学会调用这种隐式运控能力来服务操作。其二，WBC 语义的异质性：同样一句「前进并调整姿态」，Sonic 控制器吃的是关节姿态/运动潜变量（motion latent）类指令，AMO（转写）偏向任务空间速度和躯干旋转，GEAR WBC（转写）又是另一套——每种控制器一套语义，导致模型既难定义统一的全身动力学表征，后训练得到的策略也难以换控制器复用（用 Sonic 后训练的 policy，微调阶段很难迁到 AMO 上）。其三，人形移动数据的稀缺：桌面操作已有 Open X-Embodiment（转写「OpenX Environment」）、RoboNet 等大规模数据积累，而人形侧最有代表性的数据集（转写「Humanoid Everyday」）量级可能只有桌面的十分之一到百分之一，且其中大部分还是以操作为主、并非全身协同的任务——数据稀缺反过来放大了前两个挑战：要在更少的数据上学更难的协调。

把这条链条摊开就是第一个「机制→影响→启发」：WAM 只建模手—物体交互（机制）→ 人形操作空间与物体环境错配、身体不会补位（影响）→ 对做机器人的团队而言，缺的那块不是更强的操作基座，而是「协调知识」；往操作模型里继续堆数据，堆不出身体配合（启发）。

两条旧路线为何都走不通

现有探索按讲者归纳分两路。第一路是直接动作空间扩展（direct action space expansion）：在预训练桌面 WAM 上把动作维度直接撑大——比如 DreamZero 是 32 维动作空间，扩到 64 维，多出的 32 维去承接全身控制指令，再用每任务约一百条数据微调。好处是较好保留了预训练 WAM 可迁移的动作规划，坏处是把语义一致性、全身协同复杂性两个难题全部塞进极少量微调数据里隐式学习——模型学不会。第二路是从零训练全身模型：直接从全身视角数据学，能学出很协同的行为，但预训练时必须把模型 ground 到某一个控制器上（讲者举例转写「Omega 零」、Motion WM 都把 WBC 控制指令绑到 Sonic 的 motion latent 上），后果是模型锁死在单一控制器：机器人本体若不支持 Sonic，整个模型就不可用；而且数据本来就少，从零学的泛化性很难匹敌拥有大量操作先验的桌面基座。

这里藏着全场最值得记住的一句工程判断（Q&A 里又呼应了一次）：**「模型真的要输出什么，不是由模型决定的，而是由下游 controller 决定的。」**桌面操作没这个问题，是因为机械臂控制器高度同质——给任务空间位姿或关节空间变化都能执行；人形则是各家有各家的 hardware controller，控制指令的语义直接决定模型该学什么。由此得到第二条「机制→影响→启发」：WBC 语义异质（机制）→ 模型 grounding 锁定单一控制器、换控制器即报废（影响）→ 谁能做出跨控制器的统一接口层，谁就占据人形模型的「指令 ABI」位置；对创业公司而言，接口与后训练层的价值可能不亚于基础模型本身（启发，推断成分）。

配方：preserve–ground–coordinate–generalize

既然全身示教数据在可预见的未来都有限，从零训练 humanoid WAM 面临高数据门槛，而预训练 WAM 又已携带丰富的世界动态与操作先验，李卓的核心 insight 是：从可复用的操作先验到泛化的全身操作，中间只差两件事——理解身体（ground），学会让身体配合操作（coordinate）。真正要用有限数据去学的不是 loco-manipulation 全部能力，而只是操作与全身行为之间的协调关系。

**Preserve：复用预训练 WAM 的 DiT 骨干。**大部分现有工作从面向通用视频领域的 video DiT（如 Wan2.2，转写「One 2.2」）出发建模型；讲者认为纯视频骨干不含任何操作知识，而预训练 WAM 的 DiT 骨干已经包含对世界状态和动作的联合建模，因此选择在后者之上构建，且在后训练中保留（retain）这份先验。（转写注：讲解此段时 ASR 出现幻觉循环，本段仅有开头几句有效内容，详见文末。）

**Ground：56 维统一 WBC 接口（Unified WBC Interface）。**核心是用同一个「语义契约」兼容不同 WBC 的指令：前 46 维为共享空间（Shared Space），覆盖任务空间（Task Space：位姿 Pose、速度〔转写「Tails」，疑为 Twist〕、基座 Base）与关节空间（Joint Position/Velocity）；后 10 维为残差空间（Residual Space），承接无法跨控制器对齐的私有指令——比如 AMO 的转身标志（Turning Flag）、Sonic 的运动模式（Moving Mode）。配套的是四阶段数据合成管线：以 Pico VR 头显作遥操设备在仿真环境采集示教 → 存成 SMPL 人体格式 → 重定向（retarget）到机器人本体（转写「Gym」，疑为 Unitree G1）获得完整运动参考 → 从参考中反算每个接口槽位的监督信号（如躯干旋转用正运动学求出，任务空间竖直速度由 xy 遥操速度与躯干高度差合成）。最终构建约 15K 条示教数据。训练用带掩码的 flow matching 损失（mask flow matching）：后训练阶段除残差外全部槽位不掩码、充分学习语义先验；微调阶段只按下游控制器实际具备的指令空间激活对应区域——对 Sonic 激活关节位置/速度槽，对 AMO、GEAR WBC 激活任务空间槽，把先验迁移到新语义下。

Coordinate：可操作性门控的协同注意力。关键观察是：全身协同并非贯穿 loco-manipulation 全程，而是状态依赖的——只有任务方向上操作性不足时才需要身体介入。实现上，在预训练模型原有的块内联合、块间因果（block-wise causal）自注意力之上加一个门控 logit bias，定向增强「操作动作 → 全身控制」的信息流。门 g_t 的计算分四步：对腕部位置做有限差分取速度方向，得任务方向；用当前关节角的雅可比矩阵构建三维速度椭球，取任务方向上的椭球半径作为方向可操作性度量；与离线算好的人形上肢可操作性图（manipulability map）在该方向上的最大值对比——若当前能力只有参考值的四分之一，门值就是 0.75，需要全身补偿；最后双臂聚合，任一臂超阈值即开启（补偿是全身行为，不归属单臂）。

第三条「机制→影响→启发」由此成立：把「何时该协调」这个经典机器人学量（雅可比椭球可操作性）显式写成注意力偏置（机制）→ 少量示教数据不必再隐式学习触发条件，模型把容量留给协调行为本身（影响）→ 在数据永远稀缺的物理 AI 里，把领域先验编译进结构（门控、接口）往往比指望数据分布覆盖更省样本——这与此前 Dyna 系列访谈中「结构化先验换数据效率」的判断同向（启发；后半句为与已有文章的交叉印证，属推断）。

数字与真机：20 个点的差距从哪来

评估覆盖六个仿真任务（三种扰动水平，Sonic 控制器）与八个真机任务。仿真上 Whole Body WM 拿到 91.9% 的最高成功率；最有信息量的对照是 DreamZero-PT——同一个 DreamZero 预训练基座，同样喂进这 15K 后训练数据，仍与完整方法有约 20 个百分点差距。讲者的解读：单纯增加后训练数据、而不去捕捉数据里最重要的特性（WBC 语义与全身协同），不会带来直接提升。与 Cosmos 基线（转写）相比，纯桌面任务差距不大，而在需要大量协同的任务（如 Pick Between Tables）上每个大约有 10 个点的优势；真机八个任务整体较 DreamZero 提升 21 个百分点。真机任务从操作为主（擦桌面污渍、浇花、倒茶）到协同密集（搬箱子、搬篮子、推车、开门）——开门被讲者当作代表：抓把手阶段以操作为主，转身拉门时能清楚看到全身行为补偿手部动作的过程。

消融与泛化实验同样值得记录。保留操作先验的收益在数据极少时最明显：仅 50 条数据时就显著优于只对动作头做扩维（resize action head）的方法——讲者解释后者在操作分支上直接改维度，等于部分破坏操作先验，而他的做法保留操作流、另开全身控制流。跨控制器测试中，该方法在三个不同控制器上取得最高平均成功率和最低的跨 WBC 方差，说明统一接口确实把异质语义装进了同一表示。移除协同注意力（保留普通自注意力）后，协同为主的任务掉点明显大于操作为主的任务。OOD 实验（改变物体配置与语言指令）性能基本保持；最动人的是两个涌现行为：毛巾任务里把毛巾架挪远十厘米、让目标超出机器人工作空间，机器人在第一次抓取失败后主动向前迈步、用全身协同扩展可达范围完成任务——这个恢复动作从未出现在示教里；倒茶任务示教只有单次指令，连续切换目标时机器人也能用身体适应手部动作。讲者将其归因于「保留强先验 + 定向提升对全身协同的感知」共同作用出的、面向新任务条件的全身泛化。Q&A 中被问及提升应归功于统一接口还是协同时，讲者坦承两者各消融都有增益，但二者内部没有更细的拆分。

第四条「机制→影响→启发」：预训练 WAM 成为公共起点、后训练吃掉增量（机制）→ 竞争焦点从「谁的基座大」移向「谁的接口与协调设计更能榨出先验」（影响）→ 对从业者，读这类工作的正确姿势不是盯成功率，而是盯它花了多少数据、动了基座的哪些部分——15K 条数据撬动 20 个点，远比从头再训一个 14B 有信息量（启发）。

问答区的工程现实：550 毫秒、算力去向与这道菜的边界

Q&A 部分把论文里不会写的工程现实补齐了。推理延迟：模型推理约 550 毫秒，而人形底层控制频率高得多，靠异步分块执行（参考 DreamZero 的机制）适配；讲者承认动态任务会有一定性能下降，并称这是所有 WAM 的通病。为什么复现 DreamZero 报告的一百多毫秒失败？硬件差异——他们用 H200（转写「H二百」），不如对方 GB 系列卡；推理侧的异步执行、CFG 双卡并行、Flash 机制都完整复刻过，属工程性质，不是文章贡献。算力结构：讲者认为具身在复刻语言模型范式，大头算力在预训练——这份工作基于 DreamZero 做后训练，用了约 8 块 H200、微调 2 块；若要从头用全身数据训一个 14B 模型，需要上百块卡。跨机器人差异：再次回到统一 WBC 接口的动机——人形各家有各家的 hardware controller，这是桌面操作不曾面对的问题。第五条「机制→影响→启发」也在这里：LM 式「预训练吃掉绝大多数算力」的成本结构被具身复刻（机制）→ 中小团队的最优解是站在公开/可用 WAM 上做后训练与接口创新，而非重复造基座（影响）→ 观察一家具身公司，先看它把算力花在预训练还是后训练，就能大致判断它自认的位置（启发，推断）。

收尾时讲者给出两条 takeaway：其一（他自认与社区共识略有出入）——可扩展的全身智能不一定非要从全身先验或人类先验从零学起，完全可以基于现有世界动作先验构建，前提是让模型理解身体、并学会协调身体；其二是他看好的下一步——用人类全身数据（human whole body data）进一步 scale 这套范式，本工作只验证了协同机制本身的收益，尚未探索人类数据下的泛化。对读者，接下来值得盯的观察指标也就清楚了：统一 WBC 类接口是否被更多控制器与本体采纳；人类第一视角/全身视频数据是否会像 Dyna 案例里那样成为人形 scaling 的来源；以及 WAM 推理延迟随新一代硬件（GB 系列及之后）改善的速度，能否追上运控闭环的要求。

讲者与来源备注

  • 来源：机器之心直播间技术分享（直播回放于其视频号与官网发布，本篇依据约 46 分钟音频转写整理）；讲者自我介绍为香港中文大学三年级博士生李卓，导师转写为「陈斐」，同时在转写疑似「费曼智合」的公司任算法研究员；曾开源从人/机器人视角学习人形操作的全流程 Python 包（转写「如放」，疑为 RoFunc）并开发双臂框架（转写「YOLO Pilot」，存疑）。
  • 本文所有成功率、数据量、算力数字均为讲者口述，未经独立核实；「涌现行为」「跨控制器方差最低」等结论亦为讲者自评。

术语与转写校正表（ASR 疑似错误标注）

  • WAM / world action model：转写多误作「what action model」「WM」「我来什么了」，均按上下文校正为世界动作模型。
  • DiT（Diffusion Transformer）：转写作「DIT」。
  • WBC（whole body control，全身控制）；loco-manipulation（全身协同操作／移动操作）。
  • manipulability：可操作性，基于雅可比矩阵的速度椭球度量。
  • DreamZero、Cosmos Policy：讲者提及的 WAM 代表工作（本篇未独立核实其内容）；转写「Cosmos 三」疑为 Cosmos 系列具体型号，保留存疑。
  • 转写「LimboV」「Omega 零」「Humanoid Everyday」「Omni Extreme」「Amo/AIM」：疑似模型/数据集/控制器专名识别错误，保留原转写并标注，未做核实。
  • Sonic、GEAR WBC：全身控制器名（转写）。motion latent：运动潜变量（转写误作「motion latency」）。
  • Wan2.2：阿里系通用视频生成 DiT，转写误作「One 2.2」，据上下文「面向通用视频领域的 DiT」校正，属推断。
  • Open X-Embodiment：转写作「OpenX Environment」。
  • 转写「Gym」：讲者将 SMPL 动作重定向到的机器人本体，疑为 Unitree G1（据「retarget 到机器人本体」上下文推断，未核实）。
  • H200：转写作「H 二百 / H R」；CFG（classifier-free guidance）：转写作「C F G」。
  • Pico：VR 遥操头显设备；SMPL：人体参数化模型；retarget：动作重定向；flow matching：流匹配训练目标。
  • 特别说明：转写文本 [18:00–20:00]（1080–1200 秒段）出现 ASR 幻觉循环——同一句话重复十余次，该段有效内容仅开头两句（「纯 video backbone 不含操作知识、应基于预训练 WAM 的 DiT 构建」），本文仅采用这部分；该段 4856 字中其余为重复噪声。