Ego2Act: Evaluating Goal-Directed Manipulation in Egocentric Video Generation 精读

论文链接：arxiv.org/abs/2610.01092 发表时间：2026年10月1日（arXiv v1，51 页 / 19 图 / 23 表） 领域：cs.CV——视频生成评估 × 具身世界模型 机构：MBZUAI（阿联酋）、南洋理工大学（新加坡）、UNC Chapel Hill（美国）+ 独立研究者，共 13 位作者 一句话概括：一个评估"给定初始场景图 + 高层目标，视频生成模型能否生成完整、物理合理的第一人称手部操作视频"的基准（110 任务 / 2640 视频），并附带无需参考视频的自动评估流水线 Ego2ActJudge。

一、论文背景

1.1 视频生成模型的"世界模拟器"叙事

从 Sora 开始，“视频生成模型即世界模拟器"成为领域最具野心的叙事：如果模型能生成物理合理的视频，它就可以为具身智能（embodied AI）提供规划与学习的模拟环境——机器人不必在真实世界试错，先在生成的视频里"排练”。NVIDIA 的 Cosmos、各家下一代视频模型都在朝这个方向走。

但这个叙事有一个前提条件常被含糊带过：世界模拟器生成的不能只是"好看"的视频，而必须是"按目标正确演化"的视频。一个给机器人看的"把牙膏装进洗漱包"的演示视频，如果牙膏凭空消失、手穿过闭合的盖子、最后一步从没发生——画面再逼真也是灾难。Physics-IQ 基准的研究已经给出警示：视觉真实感与物理理解几乎不相关，最逼真的模型物理理解得分也仅 24.1%。

1.2 目标导向操作：被现有基准跳过的"硬骨头"

Ego2Act 针对的是一个此前没有基准真正覆盖的设定——目标导向（goal-directed）的第一视角多步操作：模型只拿到一张初始场景图 f1 和一个高层目标 G（只描述期望的最终结果，不规定中间动作序列），必须自主推断所需的中间动作与物理状态转移，生成一段单手操作可见物体以达成目标的第一人称视频。

这个设定难在哪？论文开篇举了一个例子：把"盖好盖子的牙膏和折叠好的牙刷装进旅行收纳包"。牙膏可以先盖盖子也可以先折叠牙刷——顺序自由，但两件事都必须在收纳包合上之前完成。开放式执行（open-ended execution）意味着达成目标的路径不唯一，这直接击穿了现有评估的两条路径：

1. 参考视频对比失效：没有唯一正确的执行轨迹，FVD、CLIPSIM 这类与真值对齐的指标无从下手；
2. 逐步骤指令评估失效：现有的第一视角基准要么用保真度指标而非目标完成度来评生成质量，要么依赖逐步骤的显式 prompt 引导（step-by-step instructions）——后者等于把规划做好了喂给模型，根本没在测"自主规划"。

此外，第一视角本身加剧了难度：频繁的手部遮挡、动态视角变化，要求模型持续追踪细粒度物体状态——这正是第三视角演示所绕开的挑战。

1.3 两个研究问题

论文将动机凝练为两个研究问题：

• RQ1（能力测量）：SOTA 视频模型能否从初始场景生成物理有效的第一人称操作视频以达成目标？
• RQ2（评估方法）：如何在不依赖真值参考视频的情况下，让自动化评估与人类判断一致、可规模化？

RQ1 关于"模型多差"，RQ2 关于"怎么自动地知道模型多差"——后者在人工评审动辄数小时/视频的开放式操作视频上，是基准能否被社区持续使用的关键。

二、论文定位和关联工作

2.1 视频生成评估基准线的四个盲区

论文将 Ego2Act 与六类代表性评估工作对照（Table 1），我按"盲区"归纳：

WorldModelBench 值得多说一句：它是"视频模型当世界模型"评估的代表作——用 67K 人类标签微调 2B 判别器，检测五大物理规律违反（不可穿透性、重力、牛顿第一定律等）。它的贡献是证明了"视觉质量与世界建模能力脱节"，但其物理轴是单步动作上的定律检查，而非"多步状态依赖链上的因果推进"——盖子没开就把东西放进盒子，每一步单看都合规，链上看是灾难。这正是 Ego2Act 填补的空隙。

2.2 世界模型评估线的参照

更宏观地看，快手可灵与港科大（广州）的世界模型综述提出了评估应从"视觉保真度"转向"功能基准"的三条轴：质量（Quality）、持久性（Persistence）、因果性（Causality）。Ego2Act 的定位可以映射为：在第一视角操作场景下，把因果性轴做成了可操作的评测协议——Task 轴测"动作-状态因果链是否推进到目标"，Physics 轴测"状态转移是否物理自洽"。这与 Physics-IQ 的"视觉真实感≠物理理解"结论形成互补：Physics-IQ 用反事实诊断物理理解，Ego2Act 用目标达成压力测试物理生成。

2.3 与第一视角生成基准的差异

现有第一视角基准（如 EgoWM、EgoForge 一类）依赖参考轨迹做保真度评估——模型被要求复现给定轨迹。Ego2Act 反其道而行：只给目标不给轨迹，任何物理合理且达成目标的执行都算对。这是"复现能力"与"规划+执行能力"的分界线。

三、问题定义

3.1 形式化设定

• 输入：初始场景图 f1 + 高层目标 G（只描述终态，如"把牙膏和牙刷装进收纳包"）；
• 输出：视频 V = {f1, f2, …, fT}，单手操作、第一人称视角；
• 封闭世界约束（closed-world）：执行中只允许使用 f1 中可见的物体，不得出现新任务物体；
• 成功判据：在物理合理的前提下达成 G——任何有效路径都算成功。

3.2 评估的正交双维分解

论文的核心概念操作是把"生成物理合理且达成目标的操作视频"分解为两个正交维度：

• Task Completion（T）：任务完成度——模型是否启动了正确意图、实质执行了动作、达成了规定终态；
• Physical Plausibility（P）：物理合理性——物体是否连续存在、状态变化是否有因果触发、交互是否物理可能、结果是否稳定持久。

正交性的含义是：一维的高分不能补偿另一维的低分。一条视频可以人体运动完全物理自然但根本没去做任务（Task 低、Physics 高）；也可以努力做任务但物体凭空复制、手穿模（Task 中、Physics 低）。两类失败需要不同的诊断与修复路径，混在一个分数里就会互相遮蔽。

3.3 负对照设计的必要性

双维分解要成立，必须先解决一个评估器层面的隐患：评估器能否把"任务失败"与"物理不合理"区分开？ 一个只会打感知分的评估器，看到流畅自然但南辕北辙的视频，可能打出高分。

为此，Ego2Act 为每个任务配置了3 条"目标未达成但人体运动物理自然"的人类失败录制作为负对照（negative controls）。它们是天然的探针：好的评估器应对其打出"Task 低 + Physics 高"，混淆型评估器则会两头都高。后文将看到，这个设计精准命中了 VideoScore 的命门——它对人类正负对照的打分几乎无区分（87.5 vs 88.2）。

3.4 评估器对齐的形式化

RQ2 的对齐标准：在人类评分面板上，自动评估器与人类共识的 Pearson r、Kendall τ、CCC、MAE、signed bias 等指标。人类-人类参考上界为 r=0.76 / MAE=15.5——这是任何自动评估器的理论天花板参照。

四、问题解法

4.1 基准构建：110 任务、5 域、2640 视频

任务池：110 个真实任务案例，来自 9 名标注者的真实室内第一人称录制。入选 rubric 严格：日常任务（无需专业工具）、有明确终态、至少 3 种有效执行顺序（保证开放式设定成立）、难度合理、目标描述无歧义、属于 5 大域之一。

域分布：家务收纳 28（25%）、办公文具 25（23%）、厨房 24（22%）、个人护理 21（19%）、其他 12（11%）。

动作族taxonomy（A1-A9）：每个任务按所涉动作打标——

复杂度统计：成功人类录制平均 >5 步（均值 5.20 个操作）、平均涉及 5.16 个固体物体、2.71 个动作族；成功录制时长中位数 20.4 秒（最长 68.24 秒）——多步骤、多物体、长时程，正是现有短动作基准覆盖不到的区域。

视频构成：每案例 6 条人类录制（3 成功 + 3 失败负对照）+ 18 条模型生成（6 模型 × 3 seeds），合计 110 × 24 = 2640 条。

生成设置统一化：6 模型统一 480p、16:9（MiniMax H3 原生 4:3 除外）、最长 15 秒（Wan 2.7 仅支持 10 秒）、统一 prompt 模板（约束单手/只用可见物体/物理真实）、seeds = 101/202/303。统一的 prompt 至关重要——论文的诊断实验显示，若让厂商侧自由扩写 prompt，Wan 2.7 的分数会从 70.4 虚涨到 84.9（15 组中 13 组提升），不扩写的 Cosmos 则纹丝不动，统一模板是公平比较的底线。

标注纪律：录制元数据（轨迹描述、子动作数、物体、动作类型）由 VLM 起草、人工核校，第二名标注者独立复查每个案例。关键纪律：这些标注绝不作为评估时的真值子目标分解——评估器必须自己从 (G, f1) 推导子目标，否则就成了变相的参考轨迹依赖。

4.2 Ego2ActJudge：无参考门控式评估流水线

Ego2ActJudge 是一个免训练、免参考轨迹的多阶段 VQA 流水线，backbone 为 Gemini-3.7-Flash（low reasoning effort，单视频实际成本约 US$0.04）。输入 (V, G, f1)，输出 (T, P, S) 三元组。四阶段设计：

阶段一：子目标分解（看视频之前）

仅用 G 与 f1，推导最小可观测子目标集合 {g1…gN}——每个子目标 = 1 个源物体 + ≤1 个目标 + 1 个动作（如"牙膏→盖子→盖上"）。计划稳定性很高：91% 的 Task 计划 / 92% 的 Physics 计划保持该案例最常见子目标数，重规划仅导致 88%/86% 案例的子目标数波动 ≤1。先分解再看视频避免了视频内容污染计划——评估器不会被模型"跳步"的执行带偏自己的清单。

阶段二：任务完成度门（T1→T2→T3，按序二元检查、首错早停）

• T1 意图启动：对正确物体有无任务导向行为？
• T2 过程：高层动作是否实质执行？
• T3 终态：是否达成规定状态？

每个子目标得 ti∈{0,1,2,3}（过几关得几分），T = mean(ti)。

阶段三：物理合理性门（P1→P4，按序早停）

• P1 连续性：物体身份/数量/外观/路径是否连续？
• P2 因果：状态响应前有无可见接触触发？
• P3 交互：交互中物理是否可能？
• P4 持久性：结果状态是否稳定？

pi∈{0,1,2,3,4}。未尝试的子目标（ti=0）记 unattempted 而非 0 分——P 只在可评估集合上取均值，避免"没做"被错判为"做得不物理"。

阶段四：聚合

S = √(T·P) 几何平均：对称处理两轴、任一轴为 0 则 S=0。这防住了一种投机——“跳过所有困难交互、生成一段几乎静止但物理无懈可击的视频”：跳过的子目标拉低 T，几何平均下无法靠单轴高分补偿。

分阶段证据采集：Task 轴初始均匀采样 8 帧、Physics 轴 24 帧；每门可调用 Inspect 工具按时间窗/ROI 追加 12 帧；回答为 yes/no/unresolved——unresolved 则扣留该轴分数而非硬转 0（诚实的不确定性处理，不把证据缺失当成功或失败）。全部 2563 个被评视频中 98.7% 可得 Final 分。

4.3 人类评估协议

600 视频面板（25 案例 × 24 视频），3 名标注者（2 博士生 + 1 在职专业人士），匿名、对模型盲测，评分前校准会 + 5 个样本视频试评。标注者间一致性：ICC（Final/Task/Physics）= 0.863/0.831/0.834，Krippendorff’s α = 0.745/0.691/0.697——人类自身对这套 rubric 的一致性足够高，为评估器对齐提供了可靠参考。

五、评估指标与实验证据

5.1 主结果：巨大的 human-AI 差距

Table 2 核心数字（0-100 分，Human | Ego2ActJudge Final）：

三个关键读数：

1. 最强模型 Seedance 2.0 仅 64.0 分——人类成功对照 100、失败对照 73.4，意味着最强视频模型生成的"操作演示"比人类的失败尝试还不如；
2. 首尾跨度约 16 倍（64.0 vs 3.9）：同为 SOTA 阵营的模型在此任务上分化剧烈，Cosmos 3 作为物理 AI 专用世界模型在此设定下崩塌，提示"世界模型训练"与"第一视角目标导向生成"之间存在明显鸿沟；
3. 开源最强 MiniMax H3（55.3）保持竞争力，论文归因于更大参数规模与厂商侧 prompt 扩写——后者恰是统一 prompt 协议要剔除的变量。

注意人类负对照行的读法：Task 59.6 vs Physics 94.1——人类"做错了事"但"动得物理自然"，这正是负对照设计的意图，Judge 对其给出 70.1（低于成功对照 95.4），说明门控结构正确继承了这一区分。

5.2 评估器对齐：Judge 显著超过 6 个基线

与人类共识的一致性（600 视频面板，Final 轴）：

分轴：Judge Task r=0.63、Physics r=0.55，均高于所有基线。

排名一致性：人类与 Judge 对 6 个生成器的排名 Spearman ρ=0.94、Kendall τ=0.87（仅交换相邻的 Grok-1.5 与 MiniMax-H3）。对"哪个模型更好"这个基准最常被问的问题，Judge 几乎完美复现人类判断。

感知型打分器的失效细节值得单独说：VideoScore 给人类成功对照 87.5、失败对照 88.2——几乎零区分；给 Cosmos 的 Task/Physics 打 84.1/93.1，人类只给 16.9/5.2。这不是 VideoScore 的 bug，而是其设计空间的边界：它被训练来衡量"视频好不好看"，而本基准要问的是"任务做没做成、物理对不对"——两个问题在负对照上被证明是可以完全脱钩的。

5.3 消融实验：每个设计组件的证据

门控消融（表 5.3-a，按论文数字）：

• 去掉 P1（连续性门）：Physics MAE 0.432 → 0.922（翻倍）；
• 去掉 T1（意图门）：Task MAE 0.292 → 0.497；
• 全部门独立打分（不做按序早停）：Judge Final 虚高 6.8 分、r 0.69→0.65、CCC 0.62→0.51。

结论：按序早停门控是与人类对齐的核心机制——它阻止"已失败的尝试在后续较易检查上得分"。

Backbone 消融：Gemini-3.7-Flash（r=0.694/MAE 22.10）优于 GPT-5.6-Terra（0.609/24.70）；5 折交叉验证 5 次全选 Flash。

物理负对照压力测试（30 条真实录像 + 人工损坏注入）：

• ghost 重影注入：检出 55.2%（主要败在 P1，平均拉低 Physics 29.8 分）；
• teleport（删除 1.5 秒造成瞬移）：仅检出 6.9%；
• swap（子目标换序）：仅检出 10.3%。

帧间短时序违规是漏检主因——论文据此诚实声明 Physics 分应视为乐观上界，未来需要更密的时序证据采集。

可重复性：同一 354 视频两次独立运行，Task 轴 test-retest r=0.93；单视频 Final 运行间波动约 10 分，但模型均值基于约 330 视频/模型——适用于模型级比较，不适用于单条视频裁决。

5.4 失败定位：问题出在哪一步

子目标级失败定位（294 案例-seed 公共子集）：

• 连接/装配（A4）最难：Task 完成率 38.6% vs 位置移动（A1）51.1%；Physics 有效率 66.7% vs 75.5%，置信区间不重叠；
• 跳过操作（T0，未启动意图）占各模型失败的 35-43%；T0+T2（跳过+过程未实质执行）合计占失败判断的 85.4-91.6%（合并 88.7%）——绝大多数失败是"没做"或"做一半"，而非"做得不物理"；
• 域层面：Seedance 五域全领先（78.4-93.6），Cosmos 全域垫底（7.6-21.9）。

典型失败模式（定性分析）：跳过依赖步骤导致后续步骤缺失前置状态、物体复制/身份突变、穿越闭合盖子、铰链轴错误——细粒度物理接触建模与持久世界状态维护是所有 6 个模型的共同短板，而非单一模型的个体行为。

六、效果优势的根源解释

6.1 因果链总览

Ego2ActJudge 超越 6 个基线（r=0.69 vs 次优 0.42）不是单点技巧的胜利，而是四个机制环环相扣的因果链：

负对照迫使评估区分两类失败 → 门控按序裁决对齐人类因果判断 → 子目标定位让失败可解释 → 几何平均封死投机路径。

6.2 负对照：评估器的"对照实验"

传统评估器验证方式是"与人类评分算相关"——但这有个隐蔽缺陷：如果测试集上大部分视频是"任务成功且物理合理"或"任务失败且物理崩坏"的对角线样本，一个只会打感知分的评估器也能拟合出不错的相关性。负对照制造了反对角线样本（Task 低 × Physics 高），把评估器推到必须分辨的境地。VideoScore 的 r=-0.10 不是它退步了，而是这个基准第一次让它暴露——对人类正负对照打分 87.5 vs 88.2 的零区分，在普通基准上根本显示不出来。这本质上是把自然科学的对照实验方法论引入了评估器验证：要证明评估器测的是 X，就给它一个"除 X 外全部相同"的样本对。

6.3 早停门控：模拟人类的因果裁决顺序

为什么 T1→T2→T3、P1→P4 必须按序且早停？消融给出了直接证据（独立打分全面劣化：r 0.69→0.65、CCC 0.62→0.51、Final 虚高 6.8 分）。机制层面的解释：

人类评审看一段失败视频时的认知过程是因果归因而非特征加权——发现"手根本没伸向牙膏"后，人类不会再去检查终态；发现"物体瞬移"后，不会再去评估交互物理。早停门控把这套"找到第一因即止"的裁决顺序编码进了评估协议：先因后果、一票否决。独立打分则允许"意图没启动（T1 挂了）但终态碰巧达标（T3 过了）“拿 2/3 分——这正是虚高 6.8 分的来源，也是与人类因果直觉背离的来源。

6.4 子目标定位：从"多少分"到"坏在哪一步”

传统评分器输出一个标量，失败视频之间无法比较。Ego2ActJudge 输出的是子目标级的通过/失败剖面——“T0 跳过占 35-43%"、“连接/装配 Task 完成率仅 38.6%“这类结论，直接指认了模型的能力空洞（细粒度接触建模、持久状态维护），而不是笼统宣布"模型不行”。评估的可解释性不是锦上添花：对模型开发者，它就是下一步优化的路标；对基准的长期价值，它使"基准结论"可以反哺"模型设计”。

6.5 几何平均：一个公式堵死一条投机路

若用算术平均 S=(T+P)/2，则 T=20、P=100 的"啥也不干但画面稳定"视频与 T=60、P=60 的"认真做事但物理粗糙"视频同分——前者对下游应用（机器人排练）毫无价值。S=√(T·P) 让任一轴为 0 则总分为 0，且两轴均衡优于单轴极端。配合"未尝试子目标不拖累 Physics 分"的设计，整个聚合方案精确实现了双维分解的初衷：两类失败分开计量、互不补偿。

6.6 与基线失效的对照解释

• 感知型打分器（VideoScore）：训练信号来自"视觉质量"人类标注，其表示空间中不存在"目标达成度"维度——负对照实验证明这不是打分精度问题，而是维度缺失；
• 定律检查型（WorldModelBench）：单步定律检查无法捕捉跨步骤状态依赖——“没开盖就放东西"每步单查都合规；
• 竞技场偏好型（WR-Arena）：成对偏好信号在"两个都失败的视频"上信息量极低，而失败恰恰是当前模型分布的主体；
• 单 prompt VQA：缺乏分阶段证据采集，模型在一次前向中要同时注意 20 秒视频里的意图、过程、终态、连续性、因果——注意力预算根本不够。Ego2ActJudge 的 Inspect 工具（按时间窗/ROI 追加采帧）本质是给了评估器"回头看"的能力。

七、必要知识反推

如果要在读这篇论文之前就具备"读懂它所需的全部背景”，清单如下：

1. 视频生成模型谱系：知道 Sora/Veo/可灵/Seedance/Wan 等是 text/image-to-video 的扩散模型，理解"世界模拟器"主张及其争议（Physics-IQ 的"视觉真实感≠物理理解"结论是直接前置）；
2. 评估指标两大家族：参考型（FVD、CLIPSIM——需要真值对齐）与无参考型（VQA 打分、偏好模型）——理解为什么开放式执行只能走后者；
3. 第一视角视觉的特点：手-物交互、频繁遮挡、动态视角——Ego4D 等数据集建立的基本认知；
4. 世界模型评估的功能基准转向：质量/持久性/因果性三轴的提法（可灵综述），以及 WorldModelBench 的定律检查范式；
5. 统计工具：ICC（组内相关系数）、Krippendorff’s α（多标注者一致性）、Pearson r / Kendall τ / Spearman ρ / CCC（对齐度量）——论文用这一整套来论证"人类参考可靠"与"评估器对齐程度"两层合法性；
6. VLM 的工具调用范式：Ego2ActJudge 的 Inspect 机制建立在"VLM 可以多轮调用工具追加观察"的能力之上，这是 2025 年后 agentic VLM 的标准配置；
7. 实验设计方法论：负对照、消融、test-retest、盲测——本文的实验纪律是教科书级的，理解这些概念才能体会每个表格在回答什么问题。

八、通用性灵感

8.1 评估器设计的负对照范式

Ego2Act 最可迁移的方法论不是基准本身，而是验证评估器的方式：为每个被测能力维度构造"其余维度全对、唯独此维度错"的对照样本。推广场景：

• 代码评审评估器：构造"风格优雅但逻辑错误” vs “风格混乱但逻辑正确"的样本对，检验评审器是否混淆可读性与正确性；
• Agent 评估器：构造"话术流畅但未完成任务” vs “表述笨拙但任务完成"的轨迹对——当前很多 agent 评估恰是被前者欺骗的；
• 摘要/写作评估器：事实性 vs 流畅度的反对角线样本。

心法：评估器在普通数据上的高相关可能是维度耦合的假象；只有反对角线样本能证明它真的在测你声称的维度。构造负对照的成本（每个任务多录 3 条失败视频）远低于评估器带偏后的隐性成本。

8.2 开放式任务的无参考评估流水线模式

“只给目标不给路径"的任务（开放式写作、自主 agent、设计生成）都面临同一个评估难题：无参考可比。Ego2ActJudge 的模式可以抽象为四步流水线，逐域移植：

1. 评估前先分解：从 (目标, 初始状态) 推导最小可观测子目标集合——且必须在看输出之前做，避免被输出内容污染标准；
2. 按因果序门控：把每个子目标的评估拆成有序原子检查（启动→过程→终态），首错早停；
3. 分阶段证据采集：按需深入局部（时间窗/ROI/代码片段），而非一次性全局打分；
4. 防补偿聚合：几何平均或 min 聚合，堵死"单轴极端换总分"的投机。

这个模式的成本结构也值得注意：免训练（无需标注数据微调评估器）、约 US$0.04/视频——用协议设计换训练成本，对资源有限的研究者尤其友好。

8.3 其他可摘取的设计细节

• “先分解再看输出"的顺序纪律：任何"先立标准再验收"的评估场景都适用——评审员先写下自己期望的检查清单，再看提交物，避免事后合理化；
• unresolved 的诚实处理：证据不足时扣留分数而非默认值，这在自动评估普遍"硬给分"的惯例下是少见的克制；
• 评估器自检三件套：负对照区分度 + 与人类共识对齐 + 注入式压力测试（ghost/teleport/swap）——任何自动评估器发布前都该过这三关；
• 对自身局限的量化声明（“Physics 分是乐观上界，因为 teleport 检出率仅 6.9%"）：比含糊的 limitations 段落有用得多，它告诉使用者分数的置信区间在哪里。

8.4 对领域的预判

这篇基准揭示的 16 倍模型间跨度与"跳步占失败 88.7%“的定位，指向一个清晰的下一步：视频生成模型需要的可能不是更多数据，而是显式的世界状态维护机制——持久状态表示、子目标级规划、接触因果建模。这与世界模型综述所预判的"持久性与因果性是两大关隘"完全汇流。Ego2Act 的价值在于为这条路线提供了第一个可量化的第一视角路标：什么时候某个模型能在这个榜上超过人类的失败对照（73.4），才算真正踏进了"可用世界模拟器"的门槛。

参考文献

1. Irawan, P. A. et al. Ego2Act: Evaluating Goal-Directed Manipulation in Egocentric Video Generation. arXiv:2610.01092, 2026.
2. Li, Y. et al. WorldModelBench: Judging Video Generation Models As World Models. arXiv:2502.20694, 2025.
3. He, X. et al. VideoScore: Building Automatic Metrics to Simulate Fine-grained Human Feedback for Video Generation. arXiv:2406.15252, 2024.
4. Conwell, C. & Ullman, T. Testing Relational Understanding in Video-Grounded Models（Physics-IQ）. NeurIPS, 2022 / 后续 2025 研究.
5. 可灵团队 & HKUST(GZ). A Mechanistic View on Video Generation as World Models: State and Dynamics. arXiv:2601.17067, 2026.
6. Brooks, T. et al. Video Generation Models as World Simulators（Sora 技术报告）. OpenAI, 2024.