PAWBench: How Far Are We from Probabilistically Aligned World Modeling? —— 精读

论文链接：arXiv:2608.27345 发表时间：2026年8月 机构：上海交通大学、上海人工智能实验室、Krea AI、Hugging Face、上海创新研究院、通义实验室、香港大学 领域标签：cs.CV（计算机视觉）/ 视频世界模型评测

一、论文背景

视频生成模型正被越来越多人当作"世界模型"看待：给一张图加一段提示或类动作控制信号，它能生成场景的合理延续，视觉质量、指令遵循、时间连贯性都在快速进步。

但"世界模型"这个名字隐含着一个更高的要求。一次观测只揭示世界状态的一部分，一个动作也不指定它的全部后果——当底层过程是随机的，同一初始观测和动作可以通向多个物理上有效的未来，而不是唯一正确的延续。一个真正的世界模型应当捕捉这些未来的条件分布：哪些未来可能发生、各自发生的概率是多少。这对交互与规划至关重要，因为决策依赖的既是行动的可能后果，也是它们的相对可能性。

现有评测全部只看单条视频：视觉质量、时间连贯、指令对齐、物理合理性——逐条都合理的 rollout，完全可以来自一个把概率质量全押在窄子集上的模型。这就是本文要测量的盲区。

二、论文定位和关联工作

论文与两类已有工作划清界限。单视频评测基准（视觉质量/物理合理性类）逐条打分，无法回答"重复生成是否恢复正确分布"；视频预测的分布建模研究（ stochastic video prediction 一脉）提出过分布级目标，但没有把它变成可操作的视频生成器评测协议。PAWBench 的定位是诊断性基准：把"概率对齐"这个概念性要求落成可计算的指标，并用它对 11 个当前系统做首次系统性测量。与同批世界模型评测工作相比，它的独特处在于把评测单位从"一条视频"换成"一个经验分布"。

三、问题定义

论文形式化概率对齐（probabilistic alignment）：固定初始观测 x 和动作 a，模型 M 诱导的轨迹分布 P_M(τ|x,a) 应同时满足两个层级——

  • 支持对齐（support alignment）（较弱）：诱导分布的支撑覆盖全部物理有效结果集合 Y，而不是坍缩到某个子集；
  • 概率质量对齐（probability-mass alignment）（更强）：每个结果的概率与参考分布 q 一致，p_M(·|x,a) = q。

关键概念澄清：一条合理的未来是不够的。模型可以"多样但不对齐"（覆盖了所有结果但比例全错），也可以"单条惊艳但分布坍缩"（每条都物理合理，可永远只出那一种结局）。这两类失败在单样本评估下都不可见。

操作化：把每条轨迹 τ 映射到它实现的终局结果 g(τ)∈Y，轨迹分布诱导出结果分布 p_M(y|x,a)——抽象掉"殊途同归"的轨迹差异，只看终局。

四、问题解法

PAWBench 结构：50 场景 × 8 个物理机制组，拆成互补的两套件——

  • PAW-Calibration（25 场景）：终局有解析指定或对称性推导的参考分布——掷币、转盘、路由球、抽球这类"随机装置"，用总变差距离 TVD（两分布间 ℓ1 距离的一半）测概率质量对齐。它专测概率错配：每次掷骰子都像模像样，但某个点数出现得太频繁。
  • PAW-Coverage（25 场景）：有效终局可枚举但概率无法可靠指定——保龄球、抽积木、碰猫、掰巧克力，测支持恢复率。它专测缺失结局：单条都合理，但某些有效未来从不出现。

两套件分开报告而不合并为单一分数——因为它们测的是两种不可互换的失败。

场景筛选三原则：随机性必须来自可见的物理机制（不来自动作歧义或隐藏初始条件）；动作提示必须是可判定完成的原子干预；终局必须是有限、视觉可辨的集合。每场景固定一张源图 + 一条动作提示，重复 K=50 次 rollout。

PAWEval 协议：Gemini 3.5 Flash 按 rubric 把每次 rollout 映射为终局标签或"读出失败"（单独统计为 SPR 场景通过率，不计入分布）——因为读出失败不代表物理结果，不能算作额外的可能未来。归一化标签即得经验分布。

五、评估指标与实验证据

11 个视频模型（Veo3.1 Fast、Kling 3、Seedance 2、Wan2.7/2.2、LTX-2.3/2.5、Cosmos 3、MiniMax H3 等）的结果：无一模型同时满足概率准确、覆盖广泛、场景可靠。Calibration 最好是 Cosmos 3 Super I2V（TVD×100 = 20.5，SPR 80%）；Coverage 最好是 LTX-2.3（71.7%，但 SPR 仅 72%）——两类冠军不重合：找回支持 ≠ 分配对概率。

有限采样对照：匹配样本量的参考分布蒙特卡洛模拟，99 分位 TVD 仅 9.22，远低于实测均值 31.2——差距不是采样噪声造成的，是模型的真实偏差。PAWEval 与 7 人人工裁决在 888 条视频上一致率 81.3%，读出协议基本可信。

三干预层级实验（从外到内）：

  1. 提示干预（PE）：Oracle PE（直接按参考分布指定目标结果）把 TVD 压到 10.8–18.0、Coverage 抬到 73.9–87.3——但生成器只能实现被请求结果的 37.6–58.1%；GPT-5.5 自主 PE 反而升高 TVD。
  2. 噪声干预：C2C 耦合噪声采样让三模型 TVD 均降、Coverage 均升（LTX-2.3 71.7→74.8）。
  3. 训练干预：LoRA 调整训练集左倾铅笔比例，生成频率单调跟随但非线性，且同一调整让两个场景同向移动——无法同时校准两个场景。

预算实验：K 从 1 加到 100 只提高 Coverage、不改善 Calibration——多采样能发现更多有效结果，纠正不了相对频率的错配。

六、效果优势的根源解释

这篇基准论文的"效果"是揭示力，其因果链如下：

方法差异：现有评估对每条视频独立打合理性分；PAWBench 在固定 (x,a) 下采 K 次、把分布当作评测单位，并配以"概率指定 vs 支持枚举"两套互补场景。

机制变化：单样本评估下，“支持覆盖不足"与"概率质量分配错误"在数学上不可区分——每条 rollout 各自合理，你无从知道整体分布坍缩到了窄子集；分布级评估把这两类失败分离到两个套件（Coverage 测前者、Calibration 测后者），TVD 对照蒙特卡洛 99 分位进一步排除了采样噪声的解释。因果干预对（铅笔倾斜是因果性变量 vs 画板文字是非因果线索）则揭示更深的机制：模型对物理过渡的改变反应不足、对无关线索过度反应——其分布变化不追踪物理因果，所以 LoRA 调一个场景会连带移动另一个场景，提示干预也无法精确指定结果。

指标提升（揭示力的体现）：单视频评估下"看起来都挺好"的 11 个模型，在分布级标准下暴露出 TVD 31.2 vs 噪声底线 9.22 的系统性偏差，以及"覆盖冠军与校准冠军不重合"这一结构性缺陷——这为世界模型方向确立了新的进步坐标。

七、必要知识反推

  1. 条件分布：给定条件下随机变量的分布——世界模型的正确输出对象，P_M(τ|x,a)。
  2. 总变差距离 TVD：两个分布差异的度量（半个 ℓ1 距离），0 为完全一致——Calibration 套件的核心指标。
  3. 支撑（support）：分布赋予正概率的取值集合——支持对齐要求覆盖全部有效结局。
  4. 蒙特卡洛估计：用重复采样逼近分布——区分"模型偏差"与"采样噪声"的对照工具（99 分位 9.22 的含义）。
  5. I2V（image-to-video）：图生视频——源图即初始观测的生成设定。
  6. LoRA 微调：低秩适配的轻量微调——训练干预的实现手段。
  7. rollout：模型从给定起点推演出的整条轨迹——本文的采样单位。
  8. 因果干预：改变一个变量看输出是否相应变化，以区分因果与相关——铅笔/画板对照实验的设计逻辑。

八、论文中可以提取的通用性灵感

  1. 换评测单位可以发现新失败模式：从"一条视频"到"一个分布”，暴露出单样本永远看不见的坍缩与错配。任何生成式系统（推荐多样性、方案生成、采样规划）都可以问：我的多次输出构成的分布对吗？
  2. “合理"与"正确分布"是两个层级的要求：支持对齐（可能性都覆盖）弱于概率质量对齐（比例也对）。评估任何随机系统时应先问自己在测哪一层。
  3. 对照组要隔离最平凡的解释：用匹配样本量的蒙特卡洛模拟证明差距不是采样噪声——设计评估实验时，先排除无聊的解释，剩下的才是真发现。
  4. 多采样救不了系统性偏差：K=1→100 只涨 Coverage 不改 Calibration——“多试几次取平均/取多样"对分布错配无效，必须改模型本身。
  5. 干预分层定位问题根源：提示层（改输入）→噪声层（改采样）→训练层（改权重），三层干预的效果差异构成诊断树——排查任何 ML 系统问题都可借用这个由外到内的顺序。
  6. 指标分开报告优于合并单一分：Calibration 与 Coverage 测的是不可互换的失败，合并成总分会让两类冠军的互补性消失。多维评测不要急着造综合分。
  7. 自动裁判需自带质量门：PAWEval 把读出失败单列为 SPR 而不硬塞进分布，并验证 81.3% 人机一致率——自动化评估协议的健壮性本身要被验证。