先说结论

Matt Wolfe 的频道平时追大厂周报,这一期专门捡「雷达之下」的发布:语音、数字人、世界模型、3D 重建里的中小团队进展。串起来能看到两条清晰的行业线索:其一,生成媒介正在从「输出一段内容」进化为「可控表演」——你不再挑情绪下拉菜单,而是像给演员说戏;其二,世界模型对「回头一看东西就变了」这个顽疾,正在分化成两条架构路线——让模型学会记忆世界,或者干脆不让模型管世界(确定性引擎管状态,生成模型只当渲染皮肤)。后者同时出现在 Skywork 和 NVIDIA 两家身上,是本期最值得记住的信号。

声音与形象:从选预设到写导演注释

Fish Audio 的 Drama 3 是本期语音侧的主角(经笔者检索官方文档核实)。它把 TTS 的控制方式从「选 happy/sad/angry 预设」改成在脚本里用方括号写自然语言导演指令——比如 [强忍着眼泪,努力微笑],指令甚至可以用与脚本不同的语言写;能对特定词施加效果(如只耳语最后一句)、在精确位置插入音效(轻笑、颤抖的呼吸)、多角色多音色混演。节目称其在 Artificial Analysis 的发音稳健性榜上排名第一、超过 ElevenLabs 和另一家厂商的模型(该厂商名转写不清),但盲听偏好的 Arena 榜上表现平平——「难词读得最准」和「大家最爱听」是两回事。工程细节:36B 参数开源权重,约需 46GB 显存(社区 4-bit 量化版 32GB);年营收 50 万美元以下免费商用;API 定价每百万字符 10 美元是上线折扣,11 月 12 日后涨到 50 美元。Matt 提醒一个实际使用暗坑:API 的 model 头写错时不报错、会静默回落到旧模型照常计费(此细节与官方文档的警告一致)。

形象侧,字节发布 OmniHuman 2.0:单张照片加音频生成说话/唱歌视频,最大改进是从上一代最长 60 秒拉到五分钟一镜到底,不用再拼接短片段;可用文字提示控制镜头运动、添加原照片没有的元素,也支持卡通角色和动物。代价是只有 720p、整段五分钟约 21 美元(单价从 12 美分/秒降到 7 美分/秒)。Matt 的态度保留了个人判断:口型同步模型「离能看还有很长的路」,且单图+任意音频的组合有显而易见的深伪风险——目前的效果还不至于骗过太多人。

世界模型的两种救法:记忆,或者分工

「你在世界模型里转过头再转回来,东西变了或没了」是这类产品的通病,本期出现了两种解法。

记忆派:Tencent World Crafter(经笔者检索论文摘要核实)。它学了一个「可按相机位置查询的隐式 3D 感知记忆」:镜头指向哪里,就把与该视角匹配的历史观测压缩后喂回生成器,所以回头看时餐厅还是原来那家。验证方法很聪明——把生成视频重建出 3D 点云,世界若不一致点云会糊成 mush,实际则是几何干净、重访路径对得上;运动物体(出画的马再入画)也能保持。在自家 145 个场景的基准上,节目称其在重访一致性和相机控制上超过对比模型——Matt 也提醒这是「他们自己的基准」。代码在 GitHub、Hugging Face 可玩,生成速度偏慢。

分工派:Skywork Matrix-Game 4.0 与 NVIDIA StreamRender-H3。 两家不约而同地放弃了让 AI 记忆世界:传统游戏引擎管一切状态(敌人位置、碰撞、你身后有什么),画出低多边形糙画面;视频模型的唯一工作是把糙画面「重绘」成成品。Skywork(昆仑万维,10 月 15 日开源,笔者检索补充)的 Matrix-Game 4.0 里引擎地图上的金字塔永远在,AI 只负责画得好看;玩家提出规则之外的要求时,由编码 agent 给引擎写新规则并更新给视频模型的提示词——世界可以中途变,不用 AI 临场发明物理。限制同样明确:每个场景一个专用模型(各约 5B 参数)、480×864 分辨率、单卡 RTX 5090 是目标但模型卡免责了帧率与显存、快速镜头移动仍会漂移;训练代码不开,权重和推理代码 Apache 2.0 可商用。NVIDIA 的 StreamRender-H3(经笔者检索核实)走得更极端:交给模型的连 3D 糙渲染都不是,而是一张语义色块图——每个像素是纯色,代表路面/草地/护栏/对手车,无光照无纹理,画面里的一切全靠视频模型画;好处是换一张参考图就能把同一场驾驶换成任意风格场景。色块图把所有对手车画成同色,模型得自己记住谁是谁——这是它最难的点。一个有趣的花絮:团队让 Claude Code 负责写一个更快的视频解码器,给了速度目标,约三小时后就在管线里跑起来了。代价是每步渲染约 218 毫秒、跑在 8 张 GB200 数据中心卡上,且目前只训练了赛车场景。Matt 把两者的取舍摆得很清楚:Matrix-Game 瞄准单张消费级显卡加低分辨率,NVIDIA 瞄准数据中心硬件上的照片级真实——同一架构思想,两种落地姿态。他个人判断「引擎+AI 皮肤」比让模型包办一切更接近 AI 游戏的现实路径,且「NVIDIA 也这么想」。

另一条世界模型动态:字节在北京活动上展示了一个未命名、无发布日期的世界模型(流传画面来自 Theoretically Media 的 Tim 的现场翻拍),最疯狂的演示是给周星驰《喜剧之王》的旧镜头生成全新运镜路径,还有文字描述生成世界、长出巨大勺子爬上去、从房间穿传送门进外太空——暂无任何公开渠道可用。

最赛博的一条:Odyssey 把果蝇大脑放进了自己的世界模型。果蝇脑模拟由 Eon Systems 用成体果蝇中枢神经连接组构建(约 14 万神经元、5000 万突触连接,笔者检索核实),Odyssey 把它接上在 Odyssey-3 世界里移动的摄像头,果蝇就在纯想象的世界里自主飞行。节目对此保持了恰当的怀疑:无论文、无代码、无技术说明,评论区还指出这只蝇从不试图降落(真蝇会)——但「这只蝇相不相信自己身处真实世界」的模拟理论讨论已经传开。想自己玩的话,experience.odyssey.systems 可以进 Odyssey 3 里操控一只狐狸。

3D 重建、动画与一个非 AI 的彩蛋

日本 Preferred Networks 发布 Telescope(节目介绍,笔者未独立核实):把一组照片变成精细 3D 网格,从单物体到城市街区。传统做法要为一个场景长时间拟合专用模型,Telescope 是生成式的——它学过表面「一般长什么样」,能填补照片稀疏的空隙、处理传统照片三维重建最怕的 shiny/玻璃表面。名字即方法:先低精度建全场,再像望远镜一样对需要细节的区域逐级放大精修。对比 Gaussian splatting(转写误作 Gaussian wrapping)细节提升肉眼可见;代价是照片量不小(示例用了 56–256 张)、且只能重建镜头扫过的范围。代码「即将发布」,目前无实际可用渠道。

动画侧的 Gaussian Animate(节目介绍)解决「外软内硬」角色——穿宽松衣服的人、动物、独立衣物:普通骨骼骨架给得了控制但管不了裙摆和肚皮的抖动,它在骨架之上叠加一堆浮动节点捕捉布料物理,先找形状、再定刚性骨架、最后算骨骼外的流动点;需要预先采集动作序列,代码在 GitHub 供研究使用。

结尾彩蛋 World Gacha(经笔者检索核实)严格说不是 AI:日本开发者做的免费浏览器工具,用随机数和数学凭空生成虚构地区——山川、河流、海岸、城镇、铁路、稻田(转写误作 race paddies),以漫画线稿风格呈现,可切线条/线稿+网点/黏土模式,能俯瞰、能进街漫游,导出 PNG、SVG 甚至 3D 对象文件拖进 Unreal Engine。Matt 的组合思路很有信息量:拿它生成原始城市,再用前面的 AI 视频/图像模型重新贴皮,低成本搭电影和动画场景——这恰好呼应了本期「引擎/骨架管结构、AI 管外观」的主线。

另外本期含一段 OpenAI 赞助内容(Matt 明确标注):其新产品 Dots 是可长期托付职责的常驻 agent,每个 Dot 有自己的云上电脑,可用 ChatGPT 工作版和 Codex,由 GPT-6 Astra 驱动;Matt 展示了用 Dot 自动拉取 YouTube 频道数据、在共享空间里生成周报和选题建议。注意这是付费推广段落,产品能力表述以官方为准。

三条值得带走的链条

  1. 生成媒介的交互范式从「选择」滑向「导演」。 Drama 3 的方括号指令、OmniHuman 的镜头提示词,都是把创作控制权交给自然语言导演注释 → 直接后果是配音/数字人内容的生产成本继续坍缩(五分钟数字人视频约 21 美元)→ 二阶影响是这类内容的真伪鉴别压力转移给平台 → 可观察指标是许可证门槛(年收 50 万美元线)与 API 静默降级这类商业暗坑如何被用户摸清。
  2. 世界模型的持久性问题催生架构分工,而分工派眼下更占上风。 确定性代码管状态、生成模型只管渲染,用可验证的引擎逻辑换走了最伤体验的幻觉;代价是每场景一个专用模型、分辨率和通用性受限 → 观察 Matrix-Game 的开源生态(Apache 2.0 权重、社区量化)与 StreamRender-H3 的数据中心路线谁先压低成本曲线 → 可迁移原则:把生成模型放在渲染层而不是状态层,是当前工程上更稳的杠杆。
  3. 「展示即传播」的时代,缺技术细节的 demo 要用社区怀疑来对冲。 果蝇脑接入世界模型无论文无代码,传播靠一段 X 视频;「苍蝇从不落地」这类评论区质疑就是事实上的质检。对读者而言,这类新闻的正确姿势是记住现象(连接组仿真+生成世界已经能闭环)、悬置结论(它是否真实闭环、如何接的,无第三方验证)。

不确定项:OmniHuman 2.0、Telescope、Gaussian Animate、字节未命名世界模型均出自节目单方介绍,笔者未逐一独立核实;Drama 3 的发音榜排名、Matrix-Game 自家基准的领先幅度也都是厂商口径。本期视频发布于 2026 年 10 月 21 日前后,价格与折扣(如 11 月 12 日 API 涨价)有时效性。