World in World 精读：免训练控制视频世界模型
题目：World in World: Explore the World with World Models 链接：https://arxiv.org/abs/2609.11548；项目页 https://chenxi-song.github.io/worldinworld 团队：西湖大学 AGI Lab（Chenxi Song*, Yanming Yang*, Chi Zhang†） 数据日：2026-09-12（HF 日榜第 13 名，18 赞）
一、题目与背景
自回归视频世界模型（GPT 类视频生成）能交互式长时程探索，但灵活控制是短板：从新视点探索一段已录视频，要求生成内容（1）与录制事件时间同步、（2）把已见内容放到请求视角、（3）合理补全新暴露区域、（4）回访时恢复先前生成的外观。四项要求同时满足，现有方法只能各上各的任务专用模块或重训——控制一种视角变化就要一次训练，控制自由度被训练预算锁死。
论文的洞察：世界模型的原生 self-attention 本来就擅长"读上下文"——问题不是模型不会利用证据，而是异构证据（视频帧/深度渲染/投影图）没有统一格式喂给它。
二、研究定位
与 ReCamMaster/TrajectoryCrafter/WorldForge（相机控制视频重渲染，均需训练）直接同赛道竞争；与 Rolling/Streaming 长视频生成（rolling cache 机制）共享"缓存先前生成"的需求。差异定位：training-free + 统一接口——把 N 种控制需求归一为"同一格式的证据注入"，一次方案覆盖三任务。
三、问题定义
抽象问题：如何在不改动预训练生成模型参数的前提下，把异构控制信号转化为该模型原生计算（self-attention）可直接消费的输入格式，并解决多证据源之间的相互干扰？
两个子问题：（1）证据表示——什么格式对注意力机制是"干净"的？（2）证据调度——多个辅助通道同时注入时如何按需调节各自贡献？
四、解法
统一证据接口：四类证据全部转为"干净视觉状态"——带相机位姿标注、时间戳、空间有效性的图像 token 块：
- 源视频观测（已录事件的原始帧）；
- 目标视角场景投影（把源内容投影到请求视角的低置信草图）；
- 几何渲染（深度/网格渲染，引导新暴露区域的补全）;
- 检索生成态（超出 rolling cache 的先前生成内容按需检索回来）。
每类证据携带 token 级 support（哪些 token 可信）与自己的可用性调度表。
对应路由器（correspondence router）：用持久点身份（point tracks）+ 几何关系建立查询 token 与源视频 token 的对应关系，把受支持的查询导向匹配的源 token——注意力不用猜"该看哪"，路由器直接指路。
证据级 attention CFG（EWA）：标准 CFG 对所有条件统一引导强度；EWA 用同一次去噪前向的注意力响应，按证据通道独立估计并调节各自的额外贡献——哪个通道此刻重要由注意力自己报告，无需人工调权。
五、实验结果
| 项 | 结果 |
|---|---|
| 相机控制重渲染（CLIP-Sim 等感知/时序/相机跟随全指标） | 领先 ReCamMaster/TrajectoryCrafter/WorldForge（如 CLIP-Sim 92.5 vs 83.8/83.0/82.4） |
| 训练成本 | 零训练（三个对比方法均需训练） |
| 任务覆盖 | 重渲染 + 长时程回访 + 人体动作迁移，同一冻结骨干 |
实验设计的证明力：对比方法都是专门为相机控制训练的模型，World in World 在它们的主场（重渲染指标）以零训练胜出——证明增益来自"证据注入方式"而非模型容量；三任务共享同一接口则验证了接口的通用性主张。
六、知识反推
作者必须掌握：（1）自回归视频世界模型的注意力行为（哪些 token 被关注、上下文如何被利用——这是设计证据格式的依据）；（2）CFG 机制（引导强度的来源，才能将其推广到按通道独立化）；（3）点跟踪/对应关系估计；（4）相机几何与投影（目标视角投影、几何渲染的生成）。
融合节点：把"控制"重新定义为"翻译"——不改模型，把控制信号翻译成模型认识的上下文格式。这与 prompt 工程的深层哲学一致，但发生在视觉 token 层。
七、通用灵感
- 先问"模型已会什么"，再设计接口而非训练（论文证据：零训练胜过三个训练方法）：预训练模型的原生能力（attention 读上下文）常被低估，控制问题很多可归约为"输入格式翻译"问题。推广：LLM 的工具使用约束（结构化注入 vs 微调）、推荐系统的用户约束注入。
- 注意力响应是免费的模型内信号（论文证据：EWA 用去噪前向的注意力响应做通道调权）：模型内部信号可用于自适应权重/路由/早停，无需额外前向。推广：Agent 的多源证据融合、多 LoRA 路由、多模态融合门控。
- 每个证据源带 support 标注（token 级可信度+可用性调度）：异构输入统一注入时，“哪些部分可信"的元信息与内容本身同等重要。推广：RAG 的检索片段置信度标注、多传感器融合、众包数据聚合。