机器人的思维链是先想出未来画面:Dyna-2 世界动作模型、鼎泰丰的数千张餐巾与机器人版苦涩教训

先说结论:这期 Latent Space(2026-10-13 发布,约 81 分钟)把采访搬进了 Dyna Robotics 的湾区办公室,受访者是联合创始人兼首席科学家 Jason Ma——NVIDIA Eureka 论文作者、前 Google DeepMind 研究员。他的主张可以压缩成三句:机器人的根本问题是预测未来,所以基座应该是「世界动作模型」(上个月发布的 Dyna-2,号称首个用超过 100 万小时数据训练的世界动作模型),而不是只输出动作的 VLA;机器人没有互联网,数据战略决定了硬件形态(半人形、轮式底座、按真人比例设计),两者互为因果;行业的真瓶颈不是模型而是硬件与部署——最难的不是把机器人放进一个场地做 pilot,而是让客户验证价值后主动跨场地复制,鼎泰丰就是他们的证明。真正值得记录的还有他坦白的失败条件:如果传感器没捕捉到世界的关键维度,再多的视觉数据也无济于事。以下均为嘉宾观点与节目转述,未经独立核实。

Dyna-2:先在「脑内」放一遍未来,再决定动作

Jason Ma 给出的定义是:世界模型(world model)预测未来的视频或世界状态;世界动作模型(world action model)在此基础上同时输出机器人可执行的动作。输入侧有三类:过去若干秒的相机视频/图像、机器人自身的关节角度(编码器读数——这是与纯视频模型的关键差异)、语言指令。输出侧先给出未来视频或其表征、再用它引导动作——他把这类比为视觉与物理空间里的思维链:模型先「想象」抓起杯子会是什么样,再输出动作。据他陈述,这种架构让模型更灵巧、更鲁棒、更能泛化到从未见过的环境。

架构选择上,Dyna-2 底层是 diffusion transformer:transformer 负责「吞下尽可能多的数据」,diffusion 负责把输出细化成精确、平滑、能直接上机的动作——与图像生成要锐利边缘是同一种考虑。主持人追问训练细节时,他解释 flow matching 是 diffusion 的一个特例:把原本 40–100 步的迭代压到约 4 步、调参更少,图像/视频生成领域两三年前已整体转向。主持人补了一个观察:flow matching 尤其适合机器人,因为动作可以在执行中实时重估,而图像生成是一次性的。

新任务的上手成本被反复强调:切菜任务用了 45 分钟遥操作数据,有的任务只要几十分钟,一般「几小时」。主持人戏称这甚至是新工程师的入职任务——「给我提一个任务,我来办公室采点数据、训个模型、看看会怎样」。

数据:机器人没有互联网

Jason Ma 判断「数据是今天机器人领域最重要的事」,因为语言模型有互联网,机器人没有——每家公司都得自建数据战略,而任何一家公司自采的数据量都远远不够。他的比喻:只用 Reddit 和 Facebook 造不出互联网。

他的分层配方:人类第一视角(egocentric)数据是最好的预训练底料——覆盖几乎所有物理活动,给模型极强先验;但机器人长得还不像人,纯人类数据无法直接执行,需要少量机器人自有数据补上底层反射与灵巧度,而机器人数据更贵、更难采。他把「好数据」称为非平稳问题:模型一无所知时任何数据都有用;模型变强后,好数据的定义也随之改变。数据合作入口是 datapartnerships@dyna.co;主持人追问「你们需要自己的 Scale AI / Mercor 吗」(转写为 Micro,疑似指 Mercor),他确认定制数据会是高价值品类——比如让酒店给员工头上绑 GoPro 采真实工作流。

合成数据被他称为下一个 scaling 维度。这段有个人史作注脚:他博士阶段主攻仿真训练,在 NVIDIA 期间(与 Jim Fan、Yuke Zhu 共事,后者为转写疑似)做了 Eureka——第一个用当时的 GPT-4 自动生成仿真环境与强化学习奖励函数的工作,做出了机器人转笔 demo。但那时模型没有真正的视觉能力,只能写代码、靠文本反馈摸索;如今前沿模型能做 real-to-sim、CAD、3D 重建,「到了值得真正深挖的临界点」。更进一步的飞轮是:Dyna 的世界动作模型既然能生成视频,就能生成自己的训练数据。

硬件是被低估的瓶颈

延迟决定部署形态:机器人不能握着刀静止三秒,重力不等人,所以推理必须在本地/机端完成——部署模型必须够小,路径与语言模型相同:训大、再蒸馏。为此他们自研推理栈。

自研与外购的边界被他讲得很清楚:激光雷达、相机这类成熟组件直接买;执行器要自己造,因为执行器的可建模性决定了机器人能否被良好建模;机器人比例按真人测量,因为预训练数据来自人类——形态即数据迁移效率。

整机是半人形:上半身人形(肩、臂、腰 4 自由度),下半身轮式。选轮不选腿的理由:腿部能耗高、稳定性难保证、安全性极难验证——他把网上那些「平衡表演型」机器人一推就倒的视频与生产级需求明确区分。从早期只有升降轴的原型(转写作 Mew Two)到能侧倾的新机型,理由很生活化:人拿一瓶水都要用腰,洗衣场景必须把身体探进机器,而人类数据里躯干动作无处不在——形态不允许,迁移就打折。

供应链一段是全场少见的清醒:主持人提到磁体(稀土)只有两个国家生产,Jason Ma 确认美国不产,并说美国没有一家公司真正做到「从零到尾在美国造一切」——即便宣称美国组装,原材料仍来自全球。他的结论:「大家都在谈模型、数据,硬件有多难被严重低估」。这也是全栈路线的理由:他本人在 DeepMind、NVIDIA 只做模型,「看得到不控制硬件时系统的上限」——机器人的价值是交付物理服务,要优化就得整栈优化。

鼎泰丰的数千张餐巾:从试点到规模化

这是全场最能区分「demo 公司」与「部署公司」的部分。Dyna 已公开的客户包括 Best Western(酒店毛巾)与鼎泰丰(转写作 Dinty Farms / Dintai Phong / Chintayphone 等,据上下文校正,未经核实)——后者是其最大规模化客户:美国多家门店、每天折数千张餐巾,质量标准苛刻到餐巾折缝须在筷袋口下方约两厘米。Jason Ma 的关键区分是:难的不是进一个场地、做一个 pilot,而是客户验证价值后主动跨场地复制——据他所知,同类通用机器人公司还没有第二家做到。

商业推进也顺这条线:鼎泰丰已签下更大的合同,从折餐巾扩展到切菜(已达人类水平)与包小笼包(主持人戏称 final boss)。他给出的价值主张是一致性:连锁品牌在洛杉矶、纽约、西雅图的人工折法各有差异,而模型只是一套权重,可以 OTA 推给所有机器人,一次做对所有门店。反过来解释「为什么通用平台反而更快达到生产质量」:餐巾、毛巾这类可变形物体构型无限多,专用机器难做;通用模型加少量适配反而更早达到产线质量。主持人把这总结为机器人版苦涩教训,Jason Ma 自己给出两条:其一,机器人会像其他被机器学习解决的领域一样靠规模数据取胜,但「什么才是对的数据」远比语言/游戏难——没有互联网,传感器选择决定数据形态;其二,少放特定先验(比如给感知画框),算法保持简单、堆对的数据,泛化与好行为会涌现。

对「为什么不做全人形」,他的答案是迭代:Optimus 公开报道里已经多次推倒设计;用半人形真上场、拿真实客户反馈,比闷头造五到十年仓库人形更快逼近最终形态。顺带一个技术细节:主持人称这是他们见过最顺滑的机器人,因为单一模型同时控制全部电机——动作空间约 100 维连续量,以每秒 10–20 次的频率预测 50 维以上向量、向前看 1–2 秒;维度越大越难拟合,他们拟合住了。

Dyna 2.1:机器人第一次成为「完整员工」

节目后段是两条 Dyna 2.1 演示(新硬件+物理智能体 harness)。端到端洗衣工作流发生在真实酒店洗衣房:从洗衣机转移毛巾进烘干机(身体探入、避碰舱门,单模型控全身所以动作顺滑);演示者故意掉一条毛巾,机器人识别、捡起、并判断它已脏而放入脏衣篮;随后关烘干机门、拧旋钮(基于触觉推断烘干模式)、按键启动——LED 屏会闪烁,须靠多帧上下文确认机器确实已启动。整段工作以小时计(嘉宾称完整工作约一小时量级)。他的定性是:「历史上我们把机器人当机器,这是第一次机器人像一个职场里的完整员工——不需要人或其他机器在中间步骤喂料」。据称这是最长的闭环灵巧操作演示(转写为 low code,疑为 closed-loop 之误)。

饮料演示展示了双模型架构:屏幕上六种饮料任选(演示选了香草奶昔),语言指令先交给推理层做步骤规划,动作层执行抓取与递送——动作层需要「可驾驭」(steerable):能想象自己抓起正确饮料的样子,并把握时机,识别用户已拿稳才松手、避免误释放摔杯。

更上层的判断是层级化/agentic harness 的必要性:真实长任务需要高层认知(洗衣机运行时先去干别的),单靠低层模型理论上可行但效率极低——类比语言模型从自动补全进化到 agent 端到端扛任务。公司因此自定位为 research+product 公司(他类比 OpenAI:前沿研究最终都进 Codex/ChatGPT),并自称 AI 原生:GPT-6 发布当周全司 hackathon,多个产出已进生产;主持人自曝用 GPT-6 做了个 CAD demo 拿了奖。团队构成:硬件约占 30–40%(硬件更耗人),模型约 10 人,其余为软件/机器人工程与商务;工程师会自创 eval(比如给四支荧光笔套皮筋)来压力测试能力。

路线图、行业地图与「我可能错在哪」

时间表:已部署数十台机器人,6–12 个月的目标是规模化,明年做到数百台。没有「必须拿下」的单一任务——任务只是验证平台的楔子,主业是通用模型与通用平台。

行业地图上,他列出几种并存的路线:只做模型「部署在任何平台」的公司、赌机器人数据规模的公司、做中间态数据采集设备的公司、改造视频世界模型的(他提到 Runway 也在转向机器人世界模型)、以及 VLA(视觉-语言-动作)路线。他的第一性原理是:任何物理系统的本质都是「基于当下与历史信息决定下一步」,所以能预测多少世界就预测多少——VLA 只预测动作或抽象表征,而抽象表征会注入人类偏见;最彻底的做法是拿最原始的相机输入直接预测。

被主持人追问「如果你错了,第二名会是谁」时,他给出了诚实的败点:传感器可能没捕捉到世界的关键维度。纯视觉世界模型很强,但声音、触觉可能携带密度高得多的信息;如果有人做出视觉+触觉的世界模型、数据效率高一百倍(视觉高度冗余),这条路线就会被颠覆。不过他判断真到那一步,机器人公司比视频生成转型公司更有优势——因为感知工程的 know-how 需要长年积累。红外则「只是又一种颜色」,已有公司用它判断食物熟度。

个人史与公司名:他在日本与中国长大、从小下围棋,高中毕业那年 AlphaGo 击溃围棋,由此入坑强化学习;宾大 GRASP 实验室博士;NVIDIA 时期做 Eureka;DeepMind 时期用 Gemini 做机器人。离开的理由是「给自己打分的日子受够了」——想要能被数百万人真实使用的东西,2024 年底创立 Dyna(转写误作 Dino)。公司名双关:Richard Sutton 的 Dyna 论文(一个在世界模型中自我改进的智能体)+ 他出生当年播出的《戴拿·奥特曼》。收尾号召:行业仍太 demo 导向,需要更多以部署为使命的人;招聘目前仅限湾区。

机制链与读者启发

链条一(数据→形态→商业模式):预训练数据=人类第一视角 → 硬件必须贴近人体(比例、腰自由度)→ 新任务只需小时级适配 → 客户跨场地复制的边际成本骤降 → 商业模式从「卖试点」变成「卖一致性」。观察指标:部署场数与任务数之比、每个新任务的适配工时。

链条二(硬件上限=研究上限):灵巧手过热需冰袋降温 → 无法高频评估 → 模型迭代被拖慢 → 全栈自研执行器与推理栈的真实回报是缩短「收集-训练-评估」闭环。启发:评估任何具身智能团队时,先问它的 eval 周期多长,而不是 demo 多好看。

链条三(合成数据的临界点):前沿模型的 real-to-sim/CAD 能力跨过阈值 → 定制仿真环境成本塌方 → 世界模型自生成训练数据形成飞轮 → 机器人 scaling 多出一个与真机数据正交的维度。观察指标:各家机器人公司招聘里「仿真/合成数据」岗位的密度。

对个人的可迁移判断还有一条:Jason Ma 说机器人行业坟场里躺满了「机器人很炫」的公司——「做人们想要的东西」人人会说、极难执行。把这句话翻译到任何技术创业:验证信号不是发布会,而是第二个、第十个场地是谁付的钱。