无聊是最高赞美:Dyna被部署教训了300天,在一百万小时人类视频里找到机器人Scaling Law

先说结论:这期硅谷101视频播客(约121分钟,主持人带一位行业联袂主持——Blue River Technology 机器人工程师张军武,对谈 Dyna Robotics 联合创始人兼首席科学家 Jason Ma)两条主线互相咬合。一条是部署交的学费:Dyna One 十个月真实部署被 Jason 称作"bitter sweet lesson"——实验室 99.4% 的成功率,到了客户(鼎泰丰,转写注见文末)那里只有约 75% 能过验收标准,单任务成功不等于商业闭环,真正的度量衡是"整条工作流无人干预地跑完"。另一条是学费换来的回报:预训练数据全部换成第一人称人类视频后,节目所称的"一百万小时"里,从一百小时、一千小时、一万小时到十万小时每一档十倍扩容,模型不仅更会预测人的动作,对预训练里从未见过的机器人动作的预测也同步变好——Jason 将其称为跨本体迁移 scaling law(公司口径)。更冷的判断在他对行业的读法上:机器人大概率没有 GPT 时刻(正如无人车从来没有),模型层切换成本极低、物理世界切换成本极高,所以护城河不是模型而是部署网络与硬件平台。以下均为嘉宾观点与节目转述,未经独立核实。

99.4%为什么不够:部署是唯一的评估

《纽约邮报》最近给 Dyna 的标题是"全世界最无聊的机器人",创始人团队却当它是最高赞美——主持人开篇点题:机器人真的开始工作,本来就应该是无聊的。Jason 在这个框架下反复回到同一个判断:真实部署是衡量机器人的唯一评估,“不能落地的话,不是因为你没有腿或者没有手,是因为整个系统不足够好”。

这背后是一串用真金白银换来的数字。Dyna One 时期在鼎泰丰叠餐巾(节目称比叠毛巾难得多:餐巾折缝讲究到几毫米,内部评分 1–5 级,客户只接受 grade 4 和 5),实验室成功率做到了 99.4%,但按客户标准算 pass rate 只有约 75%——因为"折好了"和"达到能上架的整齐度"是两回事,第三张叠歪了,后面全部跟着歪,误差是复利式的。产能同理:Dyna One 每小时叠约 35 条、一天约 480 条,客户的要求是 18 小时班次 1500 条;Dyna Two 把数字推到每小时 95 条、每天 1590 条才算达标。Jason 特别强调最后一段的难:从一天 1400 条到 1500 条已经没有 low-hanging fruit,“越接近目标,难度越高”。

最难的部分不是折叠本身,而是叠错了怎么掰回来(intentional failure recovery)。问他怎么解决,他说"这个就不能透露了,RL 是一种,但我们有多种秘密的 recipe"。

联袂主持张军武补了一个行业墓碑注脚:他老东家 Vicarious 也做到过 90%+ 的成功率,还是没能活下来(后被收购)。99% 意味着一千次里有十次失败,在流水线上就足以把整线弄混。Jason 由此解释 Dyna 为什么一开始就拒绝从传送带类任务切入:成功率不到 100%,机器人做完下游还得有人或机器做 QA,等于机器人给 人加活而不是替代人力;反过来,如果一个机器人能把整条工作流全包、不需要任何 QA 和干预,哪怕慢一点,也有商业价值。

最能说明问题的是一个略带荒诞的悖论:固定工位的叠毛巾机器人,模型越好,人的干预率越高——叠得越快,桌面堆满得越快,人就得越勤快地把毛巾搬走;模型不好,则根本没人买。两头都不成立,逼着 Dyna 把产品定义从"任务"升级成 physical agent:像如今把整个任务一口气做完的 coding agent 之于当年的 auto-complete 一样,洗衣房里的洗、烘、叠、上架全部端到端包掉。

部署规模本身还是一种发现机制。“在一个 deployment 上发现的问题,跟同时部署十台、一百台、一千台发现的问题完全不一样,每次 scale 都会 flush out 新问题。“Jason 说有些团队没有这种必须把部署做下去的 DNA,长期看会是劣势。

一百万小时第一人称视频:跨本体迁移的Scaling Law

这期技术含量最高的部分,是 Jason 复盘 scaling law 实验怎么做出来的。他们把预训练数据换成第一人称(egocentric)人类视频,从一百小时、一千小时、一万小时到十万小时逐档扩容,每一档"数据 ten x,预测就变好”。不 surprising 的一半是:数据多了,模型更会预测人的动作——毕竟预训练只有人的数据。真正 surprising 的一半是:模型对机器人动作的预测也同步变好,而它在预训练里根本没见过这些机器人。这就是节目所称的 cross embodiment transfer scaling law。

为什么这件事重:遥操数据永远到不了一百万小时的量级,而越可规模化的数据源,离机器人本体形态就越远——这是一个 trade off。如果能在离机器人"最远"的数据上拿到对机器人有效的 scaling,具身模型的智力提升就不再被机器人数据这个瓶颈卡死。成本结构也顺带被改写:人类第一视角数据"有些贵”,但远低于遥操——不需要机器人、不需要教人操机,发一台相机让人录下每天的工作就能用。这一百万小时(节目称公开信息里机器人预训练的最大规模)大部分来自合作伙伴,一部分来自内部异构设备,视角五花八门(头戴相机等),这种多样性反而喂出了泛化。

两张暗处的账也值得记。其一,从十万到一百万小时这段曲线的斜率变低了,Jason 的解释不是规律失效,而是行业根本不存在一百万小时带标注的高质量视频——前几档全是精标数据,到百万小时级很多视频没有标注。他说如果有真正的一百万小时高质量数据,“我们非常 confident 不会被 slow down”。其二,他们发现纯视频预测的训练效果好于"视频+动作"联合训练,原因朴素:给人类视频标注手部关节的动作轨迹太费人力,去掉动作标注才能解锁更多数据。

Jason 同时坦白了这条路线的本质缺陷:视频学不到门是轻是重、透明杯子里有没有水——视觉是高度冗余的模态,触觉、声音的信息密度高得多,也许根本不需要一百万小时的触觉数据。触觉要不要加,行业争议很大,Dyna 的态度是"从实践里发现什么 work"。下一步计划:把 scaling law 往几百万、一千万小时验证;他还留了一个行业观察——目前所有机器人 scaling 结果几乎都只在单个轴上扩(数据或模型或算力),“三个轴同时做好,一定能发现不错的 scaling law,只是工程量大”。

从VLA到世界动作模型:越简单越能Scale

Dyna One 是 VLA(视觉-语言-动作模型)。Jason 的复盘直白:在 VLA 上可以打很多补丁,但"在一个不是特别 solid 的 foundation 上很难把东西做大",于是他们一边部署 VLA,一边做更可 scale 的架构研究,结果就是 Dyna Two 的世界动作模型(WAM):不只预测机器人的动作轨迹,把整个世界接下来会怎么演进也一起拿来训练,让模型学到更本质的特征去支持推理(泛化、语言跟随等,公司口径的"质的提升")。出发点很务实:预训练视频模型天然就会预测视频,而当时根本没有 JEPA 类的预训练 checkpoint 可用。

两个"克制"尤其能看出他的技术品味。第一,虽然模型已具备 110 毫秒生成未来 3 秒视频的能力,但 inference-time 视频生成很贵,“很多问题可以用更简单的方法解决,就用更简单的方法”——他反复讲 ML 的 big idea 都不复杂,简单、优雅的东西才能 scale,太复杂的多步管线一步出错就全盘皆输。第二,对 RL 的态度:RL 成立的前提是好模拟器加明确的奖励函数,机器人两条都不满足,“问题都没看清楚,就直接用一个 solution"是他反对的姿势——正确顺序是先把 world model 基座做好,再考虑 RL。节目里有个首尾呼应的彩蛋:Dyna 这个名字来自 Richard Sutton 的 Dyna 论文(用 world model 做 RL 的框架),绕了一圈,公司路线又回到了名字的出处。

Jason 的个人史是这些判断的注脚:在 Meta FAIR 做 VIP(2022,从人类视频的时间顺序里学奖励函数),在 NVIDIA 做 Eureka(2023,让 GPT-4 自动写 reward code、在仿真里跑 RL 再反馈给 GPT-4 迭代——他自己说这就是现在大家叫的 RSI,递归自我改进;转笔 demo 用的 Shadow Hand 要几万美金所以只做了仿真;Jim Fan 是 last author),在 Google 用 VLM 直接 in-context 写奖励函数。他自评其中一些工作"too early for its time”,所以创立 Dyna 时反而很少用自己的老方法,“把肯定能 work 的方法先 scale up”。预训练与后训练的分工也由此清晰:预训练要最大的 coverage(人类视频),后训练要极致的稳定与质量——而遥操是采集最高质量数据的唯一方法,只是用量大减:现在几十分钟数据就能学一个新任务,换一台洗衣机也只要十几到几十分钟的数据。

Jason 还特意把 infra 从幕后拉出来:百万小时级别的训练首先是 infrastructure 问题,“没有好的 infra,job 跑几次就挂”,Dyna 专门写了 infra 博客——在他看来这些不被看见的团队配得上被知道。

六根支柱一起Scale:护城河是分发,不是模型

节目给出了 Dyna 对"什么才是真正的 scaling"的公式化回答:model + hardware + deployment + data infra + teachability + physical agent,六根支柱一起 scale——机器人 stack 太长,木桶原理,缺一块就做不好。最新落点是 Dyna 2.1 和自研本体 Taku(取日文 Takumi,匠心):之所以要做自己的机器人,是因为部署多次之后发现商家要的不是一个会某个任务的机器人,而是把整个工作流全包的机器人。演示里的细节值得留意:毛巾掉了会捡起来、判断已脏、丢进脏衣筐;往洗衣机里探身不会撞头(全身运控);拧转盘会试好几次直到拧对模式。这些全部出自同一个 Dyna Two base model 加 post-training。

商业逻辑的核心词是 distribution。Jason 的类比:ChatGPT 再聪明,没有手机和电脑也没人用得上。如果手上有成千上万台在跑的机器人,别家做出更好、更便宜甚至开源的模型,对 Dyna 都是利好——直接换入就行;只做模型的公司则永远被动,要依赖 integrator 帮你分发,“如果你的 intelligence 不是最好的,人家为什么 distribute 你的而不是别人的?“这直接引出他对 Physical Intelligence(专注大脑层的代表公司)的评价:research 很强,但 physical intelligence layer 这个东西还没有被证明,没有真正落地的成功先例;预训练和后训练不在一起做,很难达到商业价值,下游客户拿不到 ROI,你也拿不到——两头受压,他用无人车类比:Waymo 可能跑不过特斯拉,因为没自己的车,成本下不来。他也公允地补了一句:PI 开源的数据和模型对行业贡献很大,只是"从开源模型到商业部署的 gap 很大”。

终局判断因此是结构性的:物理世界换一套系统的 switching cost 极高(客户用顺了很难换),模型层的 switching cost 极低(谁好用用谁),所以会有很多个 winner,越早分发越能复利,最终价值沉淀在 service。他顺带点评:大厂做机器人有天然缺陷——team 边界让沟通损耗大,硬件决策难回滚(这一代几百台先生产出来才能做下一代),迭代慢;OpenAI 正快速组建机器人团队,他说不担心,因为 Dyna 的飞轮在部署数据和质量洞察上。落地路线上他旗帜鲜明先 B 后 C:进工厂比进家容易得多(不用做完整消费产品、没有隐私和儿童问题),而家庭机器人"永远看不到 test set”——你租几间 Airbnb,跟美国家庭去 Best Buy 买回家用的场景完全是两回事;B2B 看得到 test set,先把 to B 做好,to C 反而可能更快。Dyna 目前没有做家庭机器人的打算,“to B 的机会 still too big”。

行业切片:World Labs卖给AMD、Figure的demo伦理与泡沫公式

节目后半段的行业快照信息密度不低。录制当天下午刚出的新闻:李飞飞的 World Labs 被 AMD 收购(节目口径,未核实)。Jason 的解读是世界模型找 use case 本身就难——video generation 已经很卷,world model 更 unproven,太烧算力、infra 要求高,“接下来会有很多公司陆续被收购”。对 Scale AI 的 S1(“any task any robot, one brain"的全本体泛用大脑),他敬而远之:最有价值的大脑是人的大脑,只控制自己的身体就已经足够好——做成那样某种程度上就是 feasible AGI;他更关心一个身体上一个大脑做任何任务。对 Figure,他先给尊重(硬件精致、运控丝滑,“这些是我们公司也在学习的点”),再接住行业的批评:demo 剪辑(十次里成功两三次拼在一起)会制造错位预期,“大家觉得通用机器人应该到了,但说实话现在还没有到”。

联创 York 的泡沫公式被主持人翻出来:bubble =(当前能力与公众预期的 gap)×(补上这个 gap 所需的时间)。Jason 认同,并给出现在泡沫"还好"的判断——hype 之下有真实 progress,已经能在某些场景落地。若一定要他排"离预期差距最大的前三原因”,答案是数据和硬件:“这两者永远都是瓶颈”,而模型架构几个月换一次热点,不是最本质的东西。

结尾的办公室巡礼把前面的论点全部落到实物上:传送分拣、餐厅装填、汽车工厂精密组装(他称之为当前最难任务之一)、冰箱冷媒管插接(会重试到成功)、切菜、药品分拣(药片滑、力度敏感)、开冰箱取饮料(视觉+语言+全身协调)——全部 demos 出自同一个 Dyna Two base model 加各自的 post-training。美国团队 70–80 人,3D 打印自己的夹爪。他的收尾一句是:just keep building。

对读者意味着什么

链条一:数据可得性决定架构,架构决定成本结构。 机制:遥操无法到百万小时 → 预训练转向最可规模化、但离机器人最远的人类第一视角视频 → 跨本体迁移 scaling law 若如公司口径成立,机器人智能的边际成本从"设备+操机员工时"降为"相机+合作分成" → 二阶影响是数据采购与标注(尤其动作标注的取舍)、训练 infra 成为新的军备竞赛 → 观察指标:几百万到一千万小时能否维持斜率、无标注视频在预训练中的占比。启发:判断任何具身智能团队,先问它的数据战略里"哪个数据源能指数增长",而不是 demo 里叠得多整齐。

链条二:度量衡决定产品形态。 机制:99.4% 单任务成功率在客户那里只值 75% 的验收率 → 度量单位从"任务成功率"换成"整条工作流无干预跑完" → 固定工位悖论(模型越好人工干预越多)逼出 physical agent 与自研本体 Taku → 二阶影响是客户从"试点"走向"主动要更多台"(节目称鼎泰丰与洗衣房客户都提出加机器)→ 观察指标:续约率、单客户部署台数、MTBI 类指标。启发:机器人公司的验证信号不是发布会,而是第二个、第十个场地是谁付的钱——这与 Dyna 上期访谈的结论完全一致,且这次有了产能数字背书。

链条三:切换成本的不对称决定谁拿走利润。 机制:物理世界 switching cost 高、模型层 switching cost 低 → 部署网络+硬件平台成为复利资产,别人更好的模型反而是利好 → 纯 intelligence layer 公司两头受压(下游无 ROI 则自己无 ROI,Waymo/特斯拉类比)→ 二阶影响:开源模型繁荣会先喂饱有分发的一方 → 观察指标:各家实际在跑的台数、大厂机器人团队的迭代速度。启发:在"模型终将商品化"的假设下,把注押在离客户最近、切换成本最高的那一层——这条原则对任何 AI 应用创业同样成立。

链条四(个人可迁移):先有问题,再选工具。 Jason 对 RL 的克制(没有模拟器和奖励函数就不硬上)、对 inference-time 视频生成的克制(贵的能力只在真需要的场景用)、对自己旧论文的克制(too early 的方法不因私心进产品线),是同一套决策纪律的三次投影。对研究者与工程师的可迁移版本:新问题(没有 baseline 的问题)比刷分更有价值;对创业者的版本:别被别人的 demo 带节奏,mission 之外都是 noise。

仍需保持怀疑的地方:百万小时规模、跨本体迁移 scaling law、75% pass rate 与产能数字,全部是公司/节目单方口径,博客与播客均非可独立复现的评测;“行业没有一个 intelligence layer 成功先例"是嘉宾立场,Physical Intelligence 支持者显然另有论证;World Labs 被 AMD 收购为节目中提及的当天新闻,本文未做独立核实;主持人名字及个别公司名转写存疑(见下注)。

转写注:本文依据本地 ASR 转写整理,专名按上下文校正,存疑处保留原样并标注:鼎泰丰(转写多处作"锦泰丰/顶泰丰/顶台风/云台风”,据上期节目与公开报道校正);Physical Intelligence(转写作"派",一次作"Facebook Intelligence Pie",疑为口误加转写误差);Intrinsic(转写作"Intrinsik");UMI(转写作"Woomi");Ego4D(转写作"Eagle4D");JEPA(转写作"JPAD");宇树(转写作"语数");Yuke Zhu(转写作"岳可");“bitter sweet lesson”(结尾转写作"Better Speed Lesson");主持人自称"陈倩"、联袂主持"张军武/Blue River Technology"均按转写保留。上一期硅谷101采访的受访者为联合创始人 York Yang,本期为 Jason Ma;张小珺商业访谈录第154期(见本博客前文)与 Latent Space 探访(亦见前文)分别覆盖了 CEO Lindon Gao 与同一位 Jason Ma 的另一侧面,可互为参照。