视觉生成模型发展到现在，纯粹堆算力堆数据的收益正在放缓，而两类更精细的问题浮出水面：其一，模型缺某些特定的知识或约束（比如一个物体被相机绕到背面时长什么样），如何把这类先验有效注入生成器？其二，模型要同时学两三种性质迥异的能力（既懂语义又懂渲染），单一训练目标是否还是最优解？本期双篇精读围绕这两问展开。

题目区

论文一：OmniShowcase: Omnidirectional Subject-Consistent Video Generation from Multi-View Images 论文链接：arXiv:2610.35684 项目页：justin4ai.github.io/OmniShowcase（承诺发布 SHOWCASE-4K/BENCH 与代码） 发表时间：2026年10月 机构：KAIST AI（主导，Jaegul Choo 组）、仁荷大学（Inha University）、FLIPTION（公司，参与数据与工程） 领域标签：cs.CV / 视频生成 / 主体驱动生成（S2V）

论文二：Know, then Draw: A New Learning Paradigm for Visual Generation 论文链接：arXiv:2610.37626 发表时间：2026年10月 机构：UC San Diego（一作 Yucheng Mao，Zhuowen Tu 组）+ Adobe Research（提供算力与研究员 Hao Tan、Hanwen Jiang 等） 领域标签：cs.CV / 文生图 / 自回归与扩散混合建模

一、论文背景（两篇共用）

先补齐两篇论文共同的领域底色。

视频扩散模型与主体驱动生成（S2V）。扩散模型从 U-Net 走向 Diffusion Transformer（DiT）并配合 rectified flow 训练后，可扩展性和画质大幅提升，视频领域出现了 Sora、可灵、Wan 这样的大规模视频 DiT。在其上生长出主体驱动视频生成（Subject-to-Video, S2V）：给定若干参考图，生成保持该主体外观的视频，典型工作有 Phantom、MAGREF。但多数 S2V 方法只条件于单张参考图——单张图只约束了可见表面的外观，物体背面完全 unconstrained。一旦相机轨迹要求转到未见过的侧面，模型只能靠骨干网络的先验脑补，轮廓、结构、表面细节都可能崩坏。OmniShowcase 把这个问题称为几何问题而非纯光度问题：模型必须推断输入中不存在的 3D 结构。

自回归与扩散的范式之争。图像生成领域长期存在两条路线：自回归模型（AR）在离散视觉 token 上做下一 token 预测（VQGAN、LlamaGen、VAR、RandAR），扩散模型（Diffusion）在连续信号上去噪（DDPM、LDM、SD3、FLUX）。社区习惯于把两者当作竞争范式反复比较谁出图更好。Know, then Draw 指出这种比较问错了问题——它要求同一个范式同时解决两个本质上不同的学习问题：获取高层视觉知识（什么该被画出来）和把它渲染成高保真像素（怎么画出来）。这恰好类比于大语言模型的预训练-后训练分工：先广泛获取知识，再针对期望行为做适配。

两篇论文的共同关键词是先验注入：OmniShowcase 注入的是外部几何先验（3D 结构），Know, then Draw 注入的是结构性分工先验（谁负责学什么）。前者解决空间一致性，后者解决学习效率。

上篇：OmniShowcase——3D 几何条件化保主体一致

二、论文定位和关联工作

OmniShowcase 处于四条研究线的交汇处。

谱系一：单视图 S2V。Phantom、MAGREF 等通过参考编码器把单张参考图的 2D 外观特征注入视频 DiT，身份能保持，但外观信息只覆盖可见表面，未见视角全部交给生成先验。论文将其扩展为多参考模式（Phantom-MV / MAGREF-MV）作对比。

谱系二：多视图 S2V。MV-S2V 把 4 张参考视图喂进视频 DiT，用移位位置编码区分同主体不同视图；但其物体中心训练视频由相机可控视频生成器产出，视角变化并不绑定共享的 3D 资产。3DreamBooth 用 30 张静态多视图图做逐主体优化，保住预训练模型的时序行为但每个新主体都要重新优化。

谱系三：3D 生成与新视图合成。Zero-1-to-3、MVDream、SV3D 等把 2D 扩散先验蒸馏成多视图一致的生成器，但大多限于干净背景的孤立物体。另一侧，DUSt3R、VGGT、Depth Anything 3、π3 等前馈几何估计器已能从少量未标定图像一次前向恢复稠密 3D 结构——这让从推理时的稀疏参考图直接导出显式几何成为可能。

谱系四：相机可控视频生成。Uni3C 等模型可由相机路径驱动生成，但未见表面仍是生成出来的（论文图 3 展示了 Uni3C 生成训练数据时物体消失、凭空出现两只熊等崩坏）。

定位结论：OmniShowcase 是第一个把「几何一致的 360° 训练数据」与「显式几何条件」两件事同时做齐、且推理时免逐主体优化的 S2V 方法。

三、问题定义

具体问题：给定同一物体的 4 张参考视图 R = {I₁..I₄}（互相间隔 90° yaw）与一段文本提示（含相机轨迹指令，如 Orbit 360°），生成一段跟随轨迹的视频 V = {Vₜ}，要求在整个环绕过程中保持主体外观（identity）与 3D 结构一致。

抽象洞察：这不是「生成质量不够好」的问题，而是约束缺口——参考图携带的观测是局部的，目标视角要求的表面是全局的，缺的那部分信息若不由外部提供，就会被生成先验用「平均物体」填补。更深一层的结构相似性是：训练时的监督信号与推理时的条件信号必须同源同分布。若训练时几何条件来自 mesh 渲染（完美干净），推理时却来自参考图重建（带噪声），条件分布错位会让模型学不会利用条件。

形式化：给定 R、文本 c 与相机轨迹，求 V 使 identity 相似度（DINO/CLIP 对参考图）与 3D 一致性（对 ground-truth 几何的倒角距离）同时最大化；同时构造几何条件序列 G = f(R)（从参考图可计算），使训练数据 (R, G, V) 满足 V 与 R 共享同一底层 3D 形状。约束：推理时不允许逐主体优化、不允许访问 mesh。

这个定义的精妙处在于把「360° 一致性」转化为一个可构造的数据问题：只要训练数据的参考与目标来自同一 mesh 的渲染，几何一致性就由构造保证，无需模型自己发明。

四、问题解法

方法由三大件组成：自动数据合成管线、几何感知条件化机制、LoRA 微调训练。

4.1 自动 3D 一致数据合成（SHOWCASE-4K）

为什么不用现成数据：相机可控生成器（如 Uni3C）生成的训练视频自身不保证同一 3D 主体；真实多视图采集保证一致性但没有显式几何。3D 资产渲染一举满足全部三个要求：主体身份保持、几何一致的视角变化、显式几何条件——同一 mesh 在已知相机下渲染每一帧。

视频生成分支：从 Objaverse、Digital Twin Catalog、Google Scanned Objects 取 3D mesh，Blender 渲染 81 帧目标轨道视频 + 4 张 90° 间隔参考图；用 alpha 通道得到主体掩码，驱动视频修复模型 VACE 在保持主体像素不变的前提下合成提示驱动的真实感背景（场景来自 LLM 写的 2000 地点场景库）；VLM 质量门控丢弃主体漂浮/变形/脱离参考的样本。相机轨迹词汇表共 88 种配置：Orbit/Helix 四族 × 4 档旋转量（16 种）+ arc/truck/dolly/zoom 八种运动 × 9 种构图过渡（72 种）。

几何生成分支：关键决策是从 4 张参考图重建几何，而非直接用源 mesh。流程：主体白底掩码 → 前馈多视图估计器预测逐视图对齐 pointmap → 融合成 3D 高斯 → 沿 15° 仰角 yaw 轨道渲染 T_c=25 个均匀位姿 → 深度图转表面法线，得到法线转台 {Nₜ}。这保证了训练与推理时条件信号同源。

多模态样本构造：Tarsier2-7B 分别为法线转台与目标视频写 caption，配 [CONDITION] 与 [VIDEO] 标记。

数据经济学：四道门控（G0 启发式拒 17%；G1 资产门控 60% 通过；G2 目标视频门控通过率 44%；G3 重建门控 63%），全程无人值守，由 Gemini 2.5 Flash 执行约 29,000 次调用、成本约 120 美元（约 25 美元/千条保留 clip）。最终 4,829 条通过，发布 4,000 条覆盖 2,593 资产、620 类。论文直言「过量生成再丢弃，比让坏样本混进训练便宜」——一个会变形的主体教的正是方法要消除的失败模式。

4.2 几何感知上下文条件化

条件序列 = 4 张参考图（各自独立 VAE 编码）+ 25 帧法线转台（独立视频 VAE 编码为 7 个 latent 帧），目标段 80 帧编码为 20 个 latent 帧，沿时间轴拼接成 L = 4 + 7 + 20 = 31 的序列。DiT 的自注意力在整段上全局交互。

为什么沿时间轴而非通道轴拼接：法线转台是固定的 yaw 扫掠，目标视频跟随提示指定的任意轨迹，25 帧法线与 80 帧目标之间不存在帧帧对应。通道拼接会强迫逐帧对齐一个不存在的对应关系；时间轴拼接让注意力自己学会「从转台的哪个角度取哪个表面的信息」，免帧对齐。

三流输入共 36 通道：噪声流（条件位保持干净、仅目标段插噪）、掩码流 M（4 通道标记哪些位置已给定）、干净条件流（目标段置零）。rectified-flow 损失只施加在目标段。

4.3 训练与推理

LoRA（rank 128, α=128）微调 Wan2.1 I2V-14B-480P，骨干冻结，480×832 分辨率，33,000 步、batch 2/设备 × 4 张 B200、约 50 小时，学习率 2×10⁻⁵。推理：对新主体执行同样的「重建→法线转台」流程，50 步采样、三路 CFG（参考流 s_ref=5.0、文本流 s_text=5.0），27 个 latent 帧联合解码为 105 帧（25 帧法线 + 80 帧目标）。

五、评估指标与实验证据

指标体系

• 身份保持：DINO（DINOv2-L）与 CLIP 相似度——每个参考图取生成帧上的最大相似度再平均，衡量生成轨道覆盖参考外观的程度，越高越好。
• 3D 一致性：MEt3R（参考与生成视图间的多视图一致性差异，越低越好）；GT-CD——把生成轨道用 π3 提升为点云，与 ground-truth 网格点云做中心化/归一化/刚性对齐后的对称倒角距离，越低越好；RotCoverage 为视角覆盖诊断指标。
• 文本对齐：ViCLIP 余弦相似度；视频质量：VBench 成像/美学/动态度。

所有身份与 3D 指标都在 GroundingDINO+SAM 分割出的主体掩码上计算，排除背景干扰。

主结果（SHOWCASEBENCH 50 个 held-out 主体 / NAVI 35 个真实扫描主体）

OmniShowcase 在两个基准的 DINO、CLIP、MEt3R、GT-CD 四项核心指标全部第一；相对次优 3DreamBooth，held-out 集上 DINO 高出 0.092，GT-CD 从 0.1717 降到 0.0824（约 52% 降幅），文本对齐与视频质量保持竞争力（ViCLIP 0.259、Imaging 74.29 均为最高）。

用户研究：44 人、24 个未见视频，四项标准（身份 79.4%、3D 一致 73.8%、提示对齐 72.7%、总体质量 70.9%）OmniShowcase 全部大幅领先，无任何基线超过 12.7%。

消融实验

几何条件消融（同数据同骨干独立训练 33,000 步）：去掉几何条件（None）后 DINO 0.799→0.752、MEt3R 0.190→0.265、GT-CD 0.0824→0.2092；换成带纹理的彩色渲染（Textured）DINO 仅 0.755 且文本对齐跌得最多——带色纹理与参考图在外观上竞争，干扰模型对参考图的使用；转台从 25 帧稀疏到 9 帧（Sparse）GT-CD 劣化到 0.1777——保留模态但丢了覆盖。

参考数消融：n=1 时 DINO 0.702 / GT-CD 0.1704，逐级加到 n=4 的 0.799 / 0.0824；NAVI 上身份分数几乎不动（小而凸的物体一张图就定了外观），但跨视图一致性随参考数单调改善。

训练数据对比：同主体同相机路径配对评分，3D 资产渲染数据 DINO 0.8030 / GT-CD 0.1323，全面优于相机可控生成器 Uni3C 的 0.7167 / 0.1409——证明训练信号本身的几何一致性是前提。

六、效果优势的根源解释

6.1 根源机制与证据链

因果链一（数据端）：baseline 的训练视频来自相机可控生成器或真实单目视频 → 视角变化与底层 3D 形状无构造性绑定 → 模型学到的是「外观特征的时序插值」而非「同一刚体的多视角观测」 → 相机转出参考覆盖后几何崩坏。OmniShowcase 用同一 mesh 渲染参考与目标 → 几何一致性由构造保证 → 训练信号不再教模型「脑补背面」。此链由训练数据对比实验直接支持（论文实验已支持）。

因果链二（条件端）：仅靠参考图（None 消融）时模型对未见表面零约束 → GT-CD 恶化 2.5 倍。法线转台提供了一个轨迹无关的全表面几何摘要：无论提示要求什么轨迹，转台 25 个视角已把整个表面遍历一遍 → 模型在任何目标视角下都能通过注意力检索到对应表面法线 → 未见侧面的形状不再由先验决定。消融表中 None 与 Normals 的 GT-CD 差（0.2092 vs 0.0824）即该机制的证据（论文实验已支持）。

因果链三（免对齐设计）：若以通道拼接方式注入法线，会强制 25 帧法线与 80 帧目标逐帧对齐 → 引入错误对齐先验。时间轴拼接把法线转台作为独立上下文段 → 注意力学到的对应关系是数据驱动的。论文未做「通道拼接 vs 时间轴拼接」的直接消融，此条为机制推断（阅读者推测，依据是公式推导中作者明确指出的对齐不存在性）。

反事实：Textured 消融是关键反证——同样的几何信息、换成带色外观，身份几乎不升、文本对齐反而最差。说明几何信息要以不与参考图竞争外观解释权的形态注入（法线是无外观属性的纯几何信号），这是「模态分工」的必要性证据。

6.2 相关工作检索与对照

本节基于论文引用列表与撰写时已有知识整理（本环境未执行实时联网检索，对照文献信息以论文引用为准，标注为基于已有知识的对照）：

6.3 综合判断与未决问题

多项证据共同支持的机制：(1) 训练监督的几何一致性（训练数据对比 + 因果链一）；(2) 推理时显式几何条件的价值（None 消融，GT-CD 差 2.5 倍 + 因果链二）。仍属推测的机制：免帧对齐的时间轴拼接优于通道拼接（无直接消融）；法线优于深度等其他几何模态（论文只测了法线 vs 纹理化）。

适用边界：方法假设主体是跨参考视图的刚体——四张参考图姿态不同（非刚性）时，重建会把多个姿态融合成一个不存在的刚体，输出坍缩为平均姿态或在姿态过渡处缠结（论文附录 H 亲承）；背景偶有合成感，因为背景由修复模型后绘、与渲染主体的光传输从未一致过。可能的失效条件：非刚性主体（动物实拍、可变形物体）、参考图质量差导致重建失败（此时几何条件本身是错的）、极端材质（透明/镜面）下法线信息不足以约束外观。

七、必要知识反推

假设让一个无背景的人复现这项工作，最少必须掌握：

领域知识层：视频 DiT 与 rectified flow 的训练目标（否则无法理解 LoRA 微调与三流掩码设计）；3D 高斯泼溅与前馈多视图重建管线（pointmap → 高斯 → 任意位姿渲染，这是把参考图变成几何条件的核心工具链）；因果视频 VAE 的时间压缩特性（4× 压缩决定了 25 帧法线变 7 个 latent、解码出 105 帧的换算）。

方法论知识层：S2V 前序工作的失败模式（单视图条件的未见面崩坏）——不读透这些工作就不知道约束缺口在哪；训练-推理条件分布一致性原则——这是「从参考图重建而非用 mesh」这一反直觉决策的全部理由。

工程知识层：VLM 门控流水线设计（四道门控的 rubric 设计、过量生成再丢弃的成本核算）；视频修复模型（VACE）作为背景合成器的用法；LoRA rank/α 选择与三路 CFG 采样。

知识融合的关键节点：最有创造性的融合点是「把 3D 资产的两个用途分开」——资产渲染解决训练监督（分支 a），资产的四视图重建解决推理条件（分支 b），两者刻意不用同一来源，以换取分布一致。第二节点是把法线转台设计成轨迹无关的固定 yaw 扫掠——用「内容无关、只依赖主体」的条件规避了与任意目标轨迹的对齐问题。

八、上篇可提取的通用性灵感

1. 构造性保证优于学习性保证：与其训练模型学会保持 3D 一致（难、不可控），不如让训练数据由构造保证一致（同一 mesh 渲染）。推广：代码生成中用可执行验证构造训练数据、对话系统中用规则引擎生成受控蒸馏数据。
2. 训练与推理的条件必须同源：条件信号在训练时有多干净不重要，重要的是推理时能拿到多干净的版本——设计条件时应从推理端可用信号反推训练端表示。推广：检索增强系统中训练时用真实检索器而非黄金文档；agent 训练时工具模拟器要与线上工具同分布。
3. 先验注入要避免与既有输入竞争解释权：法线（纯几何）成功、带色纹理（几何+外观）失败——新注入的信息应与已有条件模态正交。推广：给 LLM 注入工具描述时避免与系统提示词语义重叠；多传感器融合中的特征解耦。
4. 免对齐的条件拼接：当条件与目标之间不存在逐元素对应时，宁可让注意力学对应，也不要人为强加对齐结构。推广：多文档问答中文档沿序列轴拼接优于强制槽位对齐；时序模型中变长上下文的处理。
5. 过量生成+机器门控的数据经济学：29,000 次 VLM 调用 120 美元替代人工标注，筛选瓶颈（G2 44% 通过率）刻意不放松。推广：合成数据管线中「便宜生成、严格过滤」优于「昂贵生成、宽松接受」。

下篇：Know, then Draw——AR 学知识、扩散学渲染

二、论文定位和关联工作

谱系一：扩散视觉生成主线。从像素扩散（DDPM）到潜空间（LDM）、Transformer 骨干（DiT）、流匹配目标（SD3），再到 FLUX.2、Z-Image 等现代系统。近年一个重要支线发现「表示质量比重建保真更重要」：REPA 用 DINOv2 表示对齐加速扩散训练、Improving the Diffusability of Autoencoders 等工作让 autoencoder 更可扩散——这些仍把语义学习耦合在扩散/重建内部。

谱系二：自回归视觉生成。VQGAN 开创离散 token + AR 的路线，LlamaGen（「AR beats diffusion」）、VAR（下一尺度预测）、RandAR（随机顺序预测）接力。Yu et al. 2023 的「Language model beats diffusion—tokenizer is key」早已指出 tokenizer 是 AR 生成的关键瓶颈。本文直接继承 RandAR 作为预训练目标。

谱系三：AR 与扩散组合。MAR 用扩散作为连续 token AR 内部的条件分布；Transfusion 在单一模型内对不同模态分别施加 AR 与扩散目标；并发工作 VoT（Vision-of-Thought）同样先预测语义视觉 token 再扩散渲染，用于把预训练 VLM 扩展为统一模型。本文与它们的区别不在「怎么组合两个目标」，而在「让各自学什么」——AR 专职知识获取、扩散专职渲染，两阶段先后解耦、可分别优化与 scaling。

谱系四：语义 tokenizer 潮流。UniTok、Vision-Foundation-Models-as-Tokenizers、SeFi-Image、AlignTok 等都在把基础模型语义注入 tokenizer，但语义学习仍与重建或扩散耦合。Semantic-LM 走得更绝：彻底抛弃图像解码器与重建损失，只用语言建模损失训练码本。

谱系五：scaling 律。Kaplan/Chinchilla 奠定 LLM 的 compute-optimal 方法论；Ge et al. 2026 扩展到视觉扩散。本文首次研究跨目标函数的算力分配（预训练 vs 后训练两阶段之间）。

定位结论：这是一篇「重定义问题 + 受控实验 + scaling 律」三合一的范式论文，系统性强于单点新颖性——评审视角下与 VoT、语义 tokenizer 潮同频，属强工程+分析型贡献。

三、问题定义

具体问题：AR 和扩散，哪个是更好的视觉生成范式？

核心洞察（问题重定义）：这个「范式之争」混淆了两个学习问题——(1) 知识获取：理解文本指称的对象、属性、空间关系该是什么样；(2) 高保真渲染：把已确定的语义落实为像素细节。两个问题没有任何理由偏好同一个目标函数。于是问题变成：每个学习问题该分配什么目标、什么表示、多少算力？

形式化：两阶段优化。阶段一（AR 预训练）：冻结 tokenizer，训练 AR 参数 θ 最小化随机顺序下一 token 交叉熵 L_AR(θ)；阶段二（扩散后训练）：冻结 θ，只训练渲染模块 φ（复用骨干注意力投影）最小化像素 flow matching 速度损失 L_Diff(φ|θ)。资源维度引入分配比 r = C_post/(C_pre+C_post)，不同 r 定义不同范式。推理时 AR 从文本 rollout 出离散视觉 token 作为扩散的结构化条件。

类比我：AR 预训练 ≈ LLM 的预训练（广泛知识压缩）；扩散后训练 ≈ LLM 的后训练（面向最终行为的适配）；AR rollout 的视觉 token ≈ 思维链——先想清楚画什么，再动笔。

四、问题解法

4.1 AR 预训练：RandAR 目标

冻结视觉 tokenizer 把图像映射为离散 token v=(v₁..v_L)，冻结文本编码器给条件特征 c。按 RandAR 采样空间位置排列 π，用位置指令 token o 指定每个预测位置，训练 L_AR = −Σ log p(v_π(i) | v_π(<i), o, c)。随机顺序预测的好处是天然支持任意方向的条件生成与并行采样。

4.2 三种 tokenizer：预测目标决定了学到什么

tokenizer 定义 AR 的预测目标，因此是「该学什么知识」的直接控制器。论文对比三种：

Semantic-LM 的激进设计：冻结 Qwen2.5-VL-32B-Instruct 全部（视觉编码器+语言模型），只训练 IBQ 码本（131,072 条目、维度 256、温度 0.25、熵正则 0.05）。量化后的视觉特征作为前缀条件冻结语言模型，用监督文本目标上的下一 token 交叉熵反传训练码本——且该语言建模目标不限于图像 caption。在 DataComp-VLM 200B 版上训 40,000 步。整个 tokenizer 没有图像解码器、没有重建损失，rFID 为无穷大、无法独立生成任何图像。

4.3 像素扩散后训练：冻结骨干 + 轻量渲染模块

冻结 AR 骨干 θ，新增可训练渲染模块 φ：噪声图像 patch 输入投影、时间步嵌入、扩散专用 FFN 与 AdaLN 层、线性像素 readout——注意力 Q/K/V/O 投影全部复用冻结骨干。像素空间 flow matching：x_t=(1−t)x₀+tε，网络直接预测干净图像 x̂₀ 再数值稳定地换算为速度，最小化速度 MSE。timestep 从 logit-normal 分布采样并带分辨率相关偏移。

训练/推理的条件来源切换：后训练时条件 token 从 ground-truth 图像提取（与构造 x_t 的图一致，类似 teacher forcing）；推理时换成 AR 从文本 rollout 的 token。两阶段的连接点仅是「离散 token 序列」这个接口。

4.4 双阶段 scaling 律与 3:2 配比（重点）

对每个阶段分别拟合 L̂(N,D) = E + A(N/N₀)^−α + B(D/D₀)^−β（N 为可训练参数、D 为累计训练 token、C=6ND 作算力代理），并用训练曲线包络、IsoFLOP、参数化拟合三种方法交叉验证。

AR 预训练律（18 个模型，55.71M–2.43B 可训练参数）：

L̂_pre = 5.72 + 0.32·(N/10⁸)^−0.47 + 1.73·(D/10⁹)^−0.44

包络最优 N* = 296.96M·(C/10²⁰)^0.5268、D* = 56.12B·(C/10²⁰)^0.4732——Nopt ∝ C^0.47–0.53，模型与数据应同速增长，与 Chinchilla 精神一致。

扩散后训练律（14 个渲染器，25.1M–2.03B，各自配对相应规模的冻结 AR 骨干）：

L̂_post = 0.070 + 0.022·(N/10⁸)^−0.25 + 0.013·(D/10¹⁰)^−0.60

参数化拟合偏向快速增大模型（三种方法的 Nopt 指数散布在 C^0.45–0.70），且数据指数 −0.60 显示渲染对数据量更敏感——与预训练的平衡增长形成反差。

从零训练 PDM 律（8 个模型，23.83M–1.76B，独立调参保证公平）：

L̂_scratch = 0.0788 + 0.0133·(N/10⁸)^−0.345 + 0.0079·(D/10¹⁰)^−0.8627

关键发现：渐近损失下限被压低。后训练的 E_post ≈ 0.0701 < 从零训练的 E_scratch ≈ 0.0788。scaling 律中的 E 是模型与数据趋于无穷时的损失下限——这意味着 AR 预训练的好处不只是收敛更快，而是提升了扩散渲染可达性能的天花板：AR rollout 提供的结构化条件等价于把「画什么」的不确定性预先消解，渲染任务的条件熵更低。

3:2 配比的推导：对每个配对的（AR 骨干，渲染器），分别把两阶段置于各自的包络最优算力点，得 C*_pre(N_AR) 与 C*_post(N_diff)，r = C*_post/(C*_pre+C*_post)。对 9 个 N_AR≥261M 的模型，r 从 0.383 缓慢爬到 0.403，总计 C_pre:C_post = 1.50:1——约 60% 算力给知识获取、40% 给渲染，且近尺度不变。

4.5 3B 终模型配方

按 3:2 分配 6,600 H100 GPU 时（名义上 3,960 给 AR、2,640 给扩散）。AR 骨干宽 2304、27 层，文本条件用冻结 Qwen3-4B 第 9/18/27 层特征拼接；150k 步 AR + 100k 步扩散。推理：AR CFG 3，50 步 Euler，AR 条件 CFG 3、文本 CFG 4。

五、评估指标与实验证据

指标

• GenEval：组合准确性基准，六个子项（单对象/双对象/计数/颜色/位置/颜色属性）平均，0–1，越高越好——测「画对了没有」。
• DPG-Bench：1,065 条长复杂 prompt 的文图对齐，越高越好——测「复杂指令跟住了没有」。
• 训练侧用 AR 交叉熵与扩散速度 MSE 作 scaling 拟合目标。

受控对比一：哪个目标适合知识获取（400M 总参数、同数据同序同预算）

三个信息量巨大的点：AR→PDM 仅 100k 后训练更新就达 GenEval 64.8，超过训了 400k 迭代的 PDM（61.2）——预训练带来了效率；LDM→PDM（56.61）反而低于直接 LDM（57.34）——单纯拆两阶段没用，目标函数选错还会帮倒忙；AR 预训练的优势在其语义子项上最明显。

受控对比二：tokenizer 排名反转（见 4.2 表）

Recon 在重建（rFID 1.04）与 AR-only 生成（57.49）两项上都最好，后训练后却最差（54.67）；Sem-LM 两项中间指标全部垫底（rFID 无穷、AR-only 零分），后训练却达 64.84。重建质量与 AR-only 生成质量都不预测最终生成质量——语义质量才预测。ΔGenEval 列更直观：Sem-LM 后训练提升 +64.84 分（从零开始），Recon 反而 −2.82 分。

终模型与各系统对比（约 3B、6,600 H100 小时）

GenEval 子项：单对象 1.00、颜色 0.99、位置 0.79、颜色属性 0.81、双对象 0.82、计数 0.75。在对比列表中仅 Qwen-Image 与 Seedream 3.0 的 DPG 更高，而本文算力约为 Z-Image-Base 估计训练算力的 1/48（图 1 标注 ~48× less compute、+10% performance，DPG 84.86→87.78）。

必须记录的评测注意事项（作者自陈）：跨系统比较因文本编码器、训练数据、评测设置不同而只是近似的；本文评测协议包含 LLM 改写 prompt 与固定 seed 上的评测分数选择——这会相对抬高分数，与完全原始 prompt 的报告不可直接横比。

六、效果优势的根源解释

6.1 根源机制与证据链

机制一：AR 下一 token 预测是更高效的知识压缩目标。语义 token 上的 AR 训练对序列每个位置都施加监督（交叉熵），信号密度高；扩散预训练的噪声预测目标把容量花在学习去噪动力学上，其知识与渲染耦合、迁移性差。证据：AR→PDM 100k 更新超 PDM 400k 更新（61.2）；LDM→PDM 甚至劣于直接 LDM——换错目标的「预训练」负迁移（论文实验已支持）。

机制二：渲染职责外包后，AR 表示不再需要保真。Recon 码本被迫编码低层外观以服务重建，占据码本容量、稀释语义分辨率；Sem-Recon/Sem-LM 的码本建立在 Qwen2.5-VL 语义特征上，token 本身就是语义摘要。扩散渲染器在后训练时直接从 GT 图像取条件 token，渲染能力不依赖 AR 的可解码性——所以 rFID=∞ 的 Sem-LM 依然有效。证据：tokenizer 三元组的排名反转（论文实验已支持）。

机制三：AR 条件压低渲染的条件熵（渐近损失之差）。E_post 0.0701 vs E_scratch 0.0788：AR rollout 已把「画什么」（布局、属性绑定、空间关系）确定成离散 token，渲染器只剩「怎么画」的不确定性。这与 LLM 生成前先写规划的机制同构（论文实验支持渐近差本身；「条件熵」表述为阅读者的机制化解释）。

机制四：近尺度不变的 3:2 配比源于两阶段律的指数结构。AR 律 α≈β（0.47 vs 0.44）给出平衡增长，后训练律偏向大模型小数据；两者的包络算力换算在不同规模下给出近乎常数 r≈0.40（9 个模型 0.383–0.403），这是指数结构的数学后果而非巧合（论文实验已支持；尺度不变性的外推到更大规模是推测，拟合范围止于 2.4B/2×10²¹ FLOPs）。

反事实：若去掉机制一（用 LDM 预训练），GenEval 从 65.5 掉到 56.6（低于所有直接训练基线）——分工不是充分条件，选对知识获取目标才是；若去掉机制二（用 Recon token），掉到 54.67——表示必须与职责匹配。

6.2 相关工作检索与对照

（本环境未执行实时联网检索，以下对照基于论文引用列表与撰写时已有知识，文献信息以论文引用为准）

6.3 综合判断与未决问题

多研究共同支持：AR 是有效的下游知识载体（VoT 并发佐证）；语义表示利于扩散（REPA 线佐证）；tokenizer 定义 AR 学什么（Yu et al. 2023 佐证）。仍属推测/单源证据：渐近损失差的条件熵解释（仅本文拟合支持）；3:2 配比在远超拟合范围（>2.4B、>2×10²¹ FLOPs）的外推有效性。适用边界与未决：(1) Sem-Recon（保留视觉细节）与 Sem-LM（纯语言对齐）哪个接口在「生成器已具备丰富语言/agent 上下文」时更优，论文 A.10 明确承认实验未解决；(2) 跨系统对比是近似的，且评测含 LLM 改写+固定 seed 选择，绝对分数解释需谨慎；(3) 从零 PDM 基线已独立调参，但超参搜索空间再大也无法完全排除基线劣势的残余贡献。

七、必要知识反推

领域知识层：AR / LDM / PDM 三种目标的数学形式与差异（否则无法设计受控对比）；VQ tokenizer 与 IBQ（索引反向传播量化）机制——Semantic-LM 的码本训练完全建立在 IBQ 之上；flow matching 的速度预测形式与数值稳定换算（分母 max(1−u, 0.05) 这类工程细节决定训练稳定性）；CFG 的多路扩展（AR 条件与文本条件分别引导）。

方法论知识层：受控变量实验设计——同数据、同样本顺序、同 token 预算、同分辨率课程，只动 tokenizer 或目标函数，这是「排名反转」结论可信的全部基础；scaling 律拟合三件套（训练曲线包络 / IsoFLOP / 参数化 Huber 拟合）及其交叉验证习惯；跨尺度超参迁移（CompleteP 式深度缩放、µP 思想）——18 个 AR 模型共用一套可迁移配方，否则拟合的损失差异会被优化噪声淹没。

工程知识层：FLOPs 会计学（C=6ND 的口径选择、冻结 AR 前向的排除、full-sequence token 计数 D_seq = D_text+2D_tgt）；两阶段预算→训练步数的换算（3:2 配比落地为 150k:100k 步、扩散 batch 缩 4 倍以平衡视觉目标 token 吞吐）。

知识融合的关键节点：节点一，「范式之争 → 职责之分」的问题重定义——这是全文的支点，来自把 LLM 预训练-后训练的分工直觉迁移到视觉；节点二，「AR-only 与 rFID 都不预测最终质量」的反直觉发现催生了 Semantic-LM——敢于训练一个不会生成图像的 tokenizer，需要理解「表示的价值由下游定义」；节点三，把两阶段各自的 scaling 律反演成跨阶段算力配比——需要同时掌握 Chinchilla 方法论与两阶段训练的成本结构。

八、下篇可提取的通用性灵感

1. 能力分工先于范式站队：当两个能力（知识 vs 渲染、理解 vs 执行）被同一目标耦合训练时，问一句「它们本质上是不是同一个学习问题」。推广：代码模型的「规划-生成」分工、语音的「内容-音色」分工、agent 的「策略-工具调用」分工。
2. 中间表示的价值由下游定义，不必自给自足：Semantic-LM 不能重建图像（rFID=∞）却是优秀的预训练目标——一个表示只要对消费者（渲染器）信息充足即可，为它配备解码能力可能是纯开销。推广：检索文档的中间摘要无需人读得懂，只要下游 LLM 用得好；agent 的记忆格式无需还原历史，只要支持决策。
3. 警惕代理指标的排名反转：AR-only 生成质量与重建质量都和最终性能负相关或无关——评测中间产物会系统性误导设计。推广：只评最终任务的端到端指标；对预训练模型慎用 benchmark 分数当「知识量」代理。
4. Scaling 律是预算分配器：为每个训练阶段独立拟合律、再反演跨阶段配比，得到可外推的资源配置规则（3:2 近尺度不变）。推广：多任务训练的损失权重随规模的重配、混合数据配比的律驱动选择、推理时「思考长度 vs 采样次数」的算力分配。
5. 预训练可以抬高下游的天花板而非只加速收敛：渐近损失 E 的下降（0.0788→0.0701）说明好的预训练改变的是可达性能极限。推广：检查迁移学习收益时应拟合渐近项而非只看早期曲线斜率——只有早期加速的预训练在极限下会被从零训练追平，压低 E 的不会。

结语：两种先验注入的对照

把两篇并置看，它们在同一根问题轴上给出互补答案：

共同的方法论内核：生成器缺什么，就显式地、以正确的接口补什么——几何缺失用法线转台补，能力错配用目标分工补。两者也都示范了同一条工程哲学：与其在端到端训练里祈祷模型自己学会，不如把结构先验做进数据与训练目标的构造里。