Encoder-Free Scaling Laws × UMM-Reflection：统一多模态模型的架构与反思双问
「统一多模态模型」这个路线最动人的承诺是：一个 decoder-only Transformer 处理一切模态——没有为视觉单独搭的塔，理解与生成共享同一副参数。但这个承诺悬着两个根本问题。第一个是结构问题：视觉编码器（ViT）到底是不是必需品？它带来的先验是永远的优势，还是一笔可以在算力增长中被摊薄的一次性成本？第二个是能力问题：一个既能看又能画的统一模型，能不能反思自己——发现刚画的图哪里错了、改一版、再检查？本精读的两篇论文恰好各接一问：
论文一：How Far Are We from Removing the Visual Encoder? Scaling Laws for Encoder-Free Multimodal Pretraining (arXiv 2609.35457) 机构：腾讯基础模型部（主导，Bolin Ni 为项目负责人与通讯）+ 中科院自动化所 CASIA（Kun Ding、Ying Wang、Shiming Xiang）+ 国科大 UCAS（Lin Chen 一作，实习期间完成）。典型的企业主导 + 科研院所合作：腾讯提供算力并训练 11 级 MoE 阶梯，CASIA/UCAS 参与研究。这条「11 级受控阶梯」意味着同一套数据混合、优化设置、视觉 token 粒度下成对训练两个架构家族共 22 个模型——是 scaling law 研究里相当重的算力投入。
论文二：Learning Native Reflection in Unified Models with Interleaved Reinforcement Learning (arXiv 2609.35767) 机构：南洋理工大学 NTU（第一单位，Ziwei Liu 组通讯）+ 上海交通大学 + 东京大学。纯高校跨国合作。一作 Yijia Fan 在 NTU 实习期间完成。代码、模型与数据全开（GitHub / HuggingFace），骨干用的是字节开源的 BAGEL——开源模型上做出开源研究的范例。
两篇的互补关系可以一句话锚定：第一篇说「去掉编码器，算力会替你买单」，第二篇说「反思能力，RL 替你选出来」。 前者是预训练尺度上的定量预测，后者是后训练机制上的因果解剖；两者共同勾勒「统一模型」路线的纵切面——结构上从专用组件走向纯粹，行为上从单次生成走向自我修正。
一、背景：从「是什么」讲起
多模态大语言模型（MLLM）与视觉编码器。让语言模型「看见」图像的主流做法是 encoder-based 架构：一个预训练视觉编码器（通常是 ViT，如 SigLIP）把图像切块成 patch 并输出一串语义丰富的视觉 token，经投影层（本文用的是 ConvPool 适配器）送进语言模型。ViT 在大规模图文对上预训练过，第一天就能提供「猫在这个位置、红色按钮在左上角」级别的表征——这叫视觉先验。encoder-free 架构则干脆删掉这个编码器：图像 patch 经一个线性 patch 投影直接进解码器，模型必须从原始像素自己学会看。代价与收益都很直白——架构更简单统一、天然支持任意分辨率、不需要维护编码器与解码器的对齐，但视觉表征要从零自举。
统一模型（Unified Multimodal Model）。指理解与生成放在同一个网络里的模型：既能看图回答问题，又能按指令画图。BAGEL（字节跳动 Seed 开源，MoT 架构：理解专家 + 生成专家共享注意力，7B 激活/14B 总参）是当前最广泛使用的开源统一骨干。统一模型的独特之处在于画图的那双手和看图的那双眼睛共用参数——这开启了「自己检查自己作品」的可能性，也正是论文二的立足点。
Scaling Law 与 IsoFLOP 剖面。神经网络的验证损失随模型规模、数据量、训练算力按幂律下降——这条「缩放定律」让 Chinchilla 式的算力分配优化成为可能。方法论工具是 IsoFLOP 剖面：固定训练算力 C，改变模型规模 M（数据量 D=C/M 随之确定），把验证损失拟合为 log M 的二次函数，最小值给出该算力下的最优规模 M_opt(C)；跨多个算力点重复，就得到分配律 M_opt ∝ C^a 与损失-算力前沿 L*(C) = E + K·C^(−γ)（E 是数据分布的熵下界，γ 越大损失随算力下降越快）。本文对文本和多模态两个目标分别做这套拟合——分离两个损失源是它比以往多模态 scaling 研究精细的地方。
流匹配头（Flow Head）。统一模型画图不用离散 token，而是用流匹配（flow matching）：图像生成被建模为从噪声到图像的连续去噪轨迹，模型的「流头」在每个去噪步输出速度场。论文二的 RL 需要对「画图」这个动作算策略梯度——流转移（flow transitions）就是被优化的随机决策单元（用 Flow-GRPO 的 SDE 采样器实现），与文本 token 一起接受同一轨迹级优势的更新。
自反思（Self-Reflection / Self-Correction）。让模型生成初稿、自我评估、修订再试。文本域的反思研究很多（Self-Refine、Reflexion、SCoRe），但在统一多模态模型上，反思有个独特的形态：模型检查的对象是自己刚生成的图像，而修订手段是重新画——检查、诊断、修改三个动作全部由同一个模型的不同头完成。论文二称之为原生反思（native reflection）。
为什么要研究这两个问题？因为它们各自卡住了统一模型路线的咽喉：没有受控的 scaling 对比，「去不去编码器」就只能靠信仰站队（Fuyu/Chameleon 给了可行性证明，但没人在同数据同阶梯下量过差距怎么随算力演化）；没有轨迹级 RL，「统一模型自我修正」就停留在 SFT 模仿——模仿能学会反思的语法，学不会反思的价值。
二、定位与关联工作
论文一：encoder-free 谱系从「可行性」走向「定量预测」
| 相关工作 | 做法 | 与本文差异 |
|---|---|---|
| Fuyu-8B（Adept, 2023） | 最早的 encoder-free 尝试：patch 线性投影直进 decoder，无视觉位置编码，支持任意分辨率 | 单点可行性证明，无受控对比、无 scaling 拟合 |
| Chameleon（Meta, 2024） | 早期融合纯 token 多模态（VQ tokenizer），34B 训练稳定性是主要贡献 | 输出侧离散化；同样无 encoder-free vs encoder-based 的受控 scaling 对比 |
| Jeju（Scaling Laws for Native Multimodal Models, arXiv 2504.07951） | 457 个模型的原生多模态 scaling 研究，结论「早期融合无内在劣势、小参数下更强」 | 专注原生模型内部的架构/数据混合比较；本文是直接把「有无预训练视觉编码器」作为唯一变量放进 11 级阶梯 |
| Chinchilla（Hoffmann et al., 2022） | IsoFLOP 方法学源头 | 单模态文本；本文把分配律/前沿拟合推广到双目标分离的多模态设定 |
| GPT-4o / Gemini（闭源原生多模态） | 生产级 natively multimodal 的存在证明 | 架构与训练细节不公开，无法回答「编码器先验何时被追平」的定量问题 |
一句话定位：本文是第一个把「要不要视觉编码器」从架构信仰问题变成可外推定量预测的工作——受控 11 级 MoE 阶梯、双目标分离拟合、过训练修正、分主题分析四件套齐上。
论文二：统一模型反思的三个「没做到」
| 相关工作 | 做法 | 与 UMM-Reflection 差异 |
|---|---|---|
| T2I-R1 / ReasonGen-R1（2025） | 对文本计划与单次渲染做 GRPO | 只优化单轮生成，「画完不回头」 |
| UniRL（arXiv 2505.23380） | 把模型对完成图像的理解变成生成奖励，自提升 | 仍是单轮；奖励来自理解能力而非修复行为 |
| 多轮推理-编辑 SFT 谱系（如智能体式 pipeline） | 用外部 critic 流水线（看图→写诊断→执行编辑）模仿多轮轨迹 | 模仿不保证诊断导致有效修正；论文量化了 SFT 单轨迹修复率仅 20.59%；推理时依赖外部组件 |
| SCoRe（Google DeepMind, 2024） | 多轮在线 RL 教文本 LLM 自我纠正（MATH +15.6%） | 文本域、单通道动作；本文是图像域、文本头+流头双通道 |
| 外部 critic 框架（如 LLM-as-judge 编辑管线） | 专门的裁判模型审图 | 推理时需额外模型；本文推理只跑统一模型自己 |
一句话定位：首个对统一模型完整多轮「检查-诊断-修改」反思轨迹做 RL 的工作，核心机制（共享根采样 + 整轨迹单一优势双头更新）直指多轮分支爆炸这个结构性难题。
三、问题定义
两篇论文都在把一个工程选择抽象成更本质的问题。
论文一：视觉编码器的先验 = 一笔可摊薄的一次性自举成本？
具体问题：encoder-free MLLM 相对 encoder-based MLLM，损失差距随算力如何演化？会不会交叉、在哪交叉？
抽象问题：预训练 ViT 提供的视觉先验，本质上是「从第一步就有用」的固定尺寸自举模块。而 decoder 的能力随算力增长。如果编码器的价值是一次性的自举成本（bootstrapping cost），那么当解码器算力大到能自己完成这份自举时，编码器就从资产变成天花板。 形式化地：给定同数据、同优化设置、同 token 粒度的两条架构阶梯，分别拟合分配律 M_opt(C) ∝ C^a 与前沿 L*(C) − E ∝ C^(−γ)，求两条多模态前沿的交点，以及该交点对过训练因子 k（同一模型重复用 k 倍数据）的敏感度。
这个抽象的精妙之处在于把「ViT 好还是不用 ViT 好」这种二极管争论，替换成一个可测量、可外推、可证伪的量：交叉点算力。如果交叉点在 10⁵⁰ FLOPs，encoder-free 就是死路；如果在 10²²，它就是必然。
论文二：反思能力是「产生」问题还是「选择」问题？
具体问题：怎么让统一模型学会多轮修复自己的图像？
抽象问题：模型（SFT 之后）能不能产生正确的修复指令，与它会不会选择这些指令，是两件事。如果修复路径已经存在于模型的 rollout 分布中，只是单轨迹采样不出来，那么 RL 的职责就不是「创造能力」而是「集中概率」——问题从生成建模退化为策略选择。形式化：给定反思轨迹 τ =（反思文本，图像修订）交替序列，奖励 R(τ) 评估最终图像质量，求策略 π_θ 使 E[R(τ)] 最大，约束是文本头与流头共享参数、且不能对每轮分支单独估优势（K^N 组合爆炸）。
两篇共享同一个深层结构：把一个看似需要「新机制」的问题，化归为「既有能力在更大坐标系里被重新分配」的问题——编码器先验被算力增长摊薄，SFT 修复分布被 RL 重新加权。
四、解法
论文一：受控阶梯 + 双目标分离拟合 + 三层机制探针
① 受控实验设计（一切结论的地基）。两个架构家族共享：11 级稀疏 MoE 解码器阶梯（1.1B–44B 总参 / 71M–2.4B 激活非嵌入参数）、同一数据混合（多模态与文本比例固定）、同一优化设置、同一视觉 token 粒度。唯一变量是视觉入口：encoder-based 用跨规模固定的 SigLIP 2 ViT（+ConvPool 适配器），encoder-free 用 patch 投影 + 图内双向注意力（视觉 token 之间可互相看，文本部分仍因果）。编码器跨规模固定这个细节很关键——它对应现实中「ViT 尺寸不随 LLM 算力增长」的现状，也是外推假设的一部分。
② 双目标分离的 scaling 拟合。对文本目标与多模态目标分别做 IsoFLOP 剖面：每个算力点用二次函数拟合损失-log M 曲线得 M_opt，再跨算力点拟合分配律与前沿。文本目标上两架构互为对照（应几乎重合——这是实验有效性的内置检验）；多模态目标上的差异才能归因于视觉入口。效率量化用两个增益比：EG^C（等损失下所需训练算力比）与 EG^M（等损失下模型 FLOPs/token 比），>1 表示 encoder-free 更省。过训练修正：实际训练常固定模型重复喂 k 倍数据（本文拟合 k=1–5 的 prefactor 修正），交叉点在过训练下会推迟——这让预测贴近真实预算决策。
③ 三层机制探针（解码器如何「接管」编码器）：
- 注意力质量：文本 token 对视觉 token 的注意力权重——视觉信息有没有被用起来；
- 表征余弦：各层视觉 token 表征与输入的偏离度——视觉处理发生在浅层还是深层；
- 专家路由（MaxVio）：最重负载专家相对完美均衡的超额比——有没有专家「专门干视觉」。
论文二：共享根采样 + 整轨迹单一优势 + 五项奖励
① 轨迹结构。每条轨迹最多三轮：模型看当前图像 → 输出结构化反思（[THINKING]/[ACTION]/[EDIT] 字段；ACTION 为 edit 或 done）→ 流头按编辑指令重画 → 下一轮。验证器分数永不进入策略的观测——模型必须靠自己的眼睛判断。BAGEL 不原生支持单次前向的图文交替生成，多轮循环由外部控制器把每轮的反思与图像回灌成新对话轮实现。
② 共享根采样（解决「比错对象」）。每次更新采 2 个根、每根 K=16 条兄弟轨迹，全部从同一张 detach 的初始图 x₀ 出发。组相对优势比较的就是反思策略本身，而不是「首抽运气好」——不共享根的话，组内差异会混入初始图像质量的方差。这个设计与论文一的 IsoFLOP 精神同源：控制变量，让差异只反映你想研究的因素。
③ 整轨迹单一优势 + 双头共享（解决 K^N 爆炸）。若每轮都建组估优势，三轮就是 K³=4096 条分支。本文的做法：每条轨迹算一个奖励 R(τ)，组内归一化得单一优势 Aᵢ（clip 到 [−1,1]），同一个 Aᵢ 同时更新文本头的反思 token 与流头的流转移（各自的 clipped surrogate + 通道专属 KL 惩罚）。奖励设计五项：
$$R(\tau) = q_T + \alpha\sum_t[\Delta q_t]^+ + \beta S_{multi}(\tau) - \lambda\sum_t[-\Delta q_t]^+ - p\cdot\mathbb{1}[\text{premature done}]$$终端分 q_T（终图质量）+ 进度项（每轮改进的奖励）+ 多轮改进项 S_multi（奖励「持续改进」而非一次走运）− 回退惩罚 − 提前停止罚（α=β=0.3，λ=p=0.5）。验证器只在训练期使用，推理时零额外组件。
④ SFT 冷启动（29,529 条外部轨迹）。目标模型自己还不会产出反思轨迹时，用外部模型构造：GPT-5.5 当批评者（把请求转成可验证约束、审图、写结构化反思、给原子编辑指令），Qwen-Image 画初始图、Qwen-Image-Edit 执行编辑。BAGEL 全程不参与构造——避免把自身的失败模式蒸馏回监督信号。三类轨迹：one-shot（9,000，初始图已合格）、natural-repair（8,645，真实失败 1–2 轮修复）、planned-progression（11,884，注入损坏后规划式修复）。RL 从 SFT 检查点起步，3,000 prompt 池、1,000 次更新。
五、评估指标与实验证据
论文一：三个层级的证据
主指标：前沿指数 γ 与效率增益 EG（γ 衡量损失随算力下降多快，EG 衡量等损失下的算力/模型效率比）。
| 量 | encoder-based | encoder-free | 含义 |
|---|---|---|---|
| 文本分配指数 a | 0.422 | 0.427 | 文本目标几乎不动 ✓（内置对照） |
| 多模态分配指数 a | 0.464 | 0.570 [0.546, 0.595] | 去编码器后最优分配偏向更大解码器 |
| 文本前沿 γ | 0.0979 | 0.0973 | 文本前沿几乎重叠（EG^C 均值 0.985 / EG^M 0.997） |
| 多模态前沿 γ | 0.2998 | 0.3778 | encoder-free 当前更差但下降更快 |
| 多模态 EG^C（测量范围） | 参照 | 0.470 | 等损失需约 2 倍训练算力 |
| 多模态 EG^M（测量范围） | 参照 | ≈0.80 | 等损失需 1.25× FLOPs/token 的更大解码器 |
交叉点预测：外推多模态前沿相交于 6.1×10²¹ FLOPs（条件 bootstrap 80% 区间 [4.2×10²¹, 1.0×10²²]）；5× 过训练下推迟到 1.2×10²² [8.4×10²¹, 2.0×10²²]。参照系：旗舰模型预训练算力约 10²⁵ FLOPs（Kimi K2.5）——交叉点比它低约三个数量级，在实用预算之内。
分主题交叉顺序（k=1 的 EG 起点→终点外推）：STEM 0.71→0.95（最大拟合算力下已近持平，最早）、Charts 0.28→0.57（次之）、GUI 0.51→0.69、Caption 0.34→0.50、OCR 0.18→0.34（最晚）。排序与「该主题多依赖预训练视觉先验」一致：STEM 题面主要是文字与符号，图表常可化约为符号内容；而 caption 要丰富的自然图像表征，GUI/OCR 要精细空间与文字感知——正是预训练 ViT 的强项。
机制探针（8B 模型）：encoder-free 的多模态损失呈「先慢后骤降」——骤降前后，第 12 层文本对视觉 token 的注意力质量从 0.217 升至 0.645，逼近 encoder-based 水平；视觉 token 表征在浅层就大幅偏离输入（encoder-based 则深层才偏离）——浅层等于隐式的视觉编码阶段；文本 token 在两架构中轨迹几乎一致（视觉特异，不是全局扰动）。专家路由上，4 个最大规模的 encoder-free 模型视觉 token 路由 MaxVio 更高更宽、与文本路由特征趋同——部分专家在承担视觉职能。
消融：视觉 token 用 causal 而非双向注意力，文本侧省 ~1% 算力，但多模态侧双向更好且优势随算力增大——与「解码器逐步接管 ViT 的双向上下文化功能」的机制解释互洽。
论文二：增益、迁移与「选择 vs 产生」的解剖
主指标：GenEval（553 prompt，六族宏平均，0–1 原生分）+ 条件修复率（初始失败图像被修复的比例——衡量反思的直接指标）。
| 方法（同 BAGEL 骨干） | GenEval | Δ | 修复率 |
|---|---|---|---|
| BAGEL-Base（单次生成） | 0.71 | 0 | – |
| + 直接渲染器 RL（T2I-RL） | 0.76 | +5 | 0（画得更好但无反思） |
| + 未调优 Base 强制三轮检查编辑（Self-Agentic） | 0.77 | +5 | 27.6 |
| + 反思 SFT | 0.72 | +2 | 20.6 |
| + 反思 SFT + 轨迹 RL（UMM-Reflection） | 0.84 | +11 | 64.9 |
分族增益：position 0.47→0.89（+42pp）、binding +14pp、counting +10pp。修复率从 SFT 的 20.59% 升至 64.94%（翻三倍）。初始图准确率 R0 各组持平（70–73）——增益全部来自多轮修正，不是首图变好。
迁移（训练全未见过）：WISE 0.55→0.74（+10.97 点，SFT 仅 0.63）、OneIG-Bench +3.48、T2I-CompBench++ +4.63。对比鲜明：T2I-RL 在 GenEval +5 但 WISE 不涨（54 vs Base 55）——单轮 RL 过拟合到训练分布，反思能力则可迁移。
头消融与预算对照：
| 设定 | GenEval | 修复率 |
|---|---|---|
| 仅流头 RL（冻结文本头） | 73 | 22.8% |
| 仅文本头 RL（冻结流头） | 78 | 49.4% |
| 联合 RL | 84 | 64.9% |
| 同 4 图预算 Best-of-4（Base UND 选择） | 80 | – |
| 同 4 图预算 Best-of-4（UMM-Reflection UND 选择） | 80 | – |
两个关键读数：双头联合 > 单头之和的简单叠加（73/78→84），且同算力下「反思着画」（84）胜过「多画几张挑好的」（80，McNemar p≤0.04）——序列化的定向修正比并行抽签更省算力。配对胜负 109 胜 38 负（p<10⁻⁸）而初始图 48–32 无显著差异（p=0.09），再次隔离出增益来自修正行为。
「选择 vs 产生」的解剖实验（第六部分详述）：RL 起点（≈SFT 策略）16 条 rollout 中 78% 的失败根已含正确修复但单轨迹成功率仅 23%；换指令实验中 RL 指令修复 48.4% vs 原始请求 20.5% vs 规则穷举 27.6%；线性探针 AUC 0.804→0.815 几乎不动而失败图落入 pass 区占比 34%→62%（SFT 仅 36%→42%）。
合并速览
| Encoder-Free Scaling Laws | UMM-Reflection | |
|---|---|---|
| 问题类型 | 预训练结构（要不要编码器） | 后训练能力（会不会反思） |
| 核心方法 | 受控 11 级阶梯 + 双目标分离拟合 | 共享根采样 + 整轨迹单一优势 |
| 证据形态 | 可外推的定量预测（交叉点 6.1×10²¹） | 因果解剖（选择而非产生） |
| 代表数字 | γ 0.3778 vs 0.2998；注意力 0.217→0.645 | GenEval 0.84（+12.05）；修复率 3× |
| 对统一模型路线的意义 | 编码器先验是一次性成本 | 反思可由 RL 从骨干中选出 |
六、效果优势的根源解释
论文一：为什么交叉是结构必然
因果链（各步标注证据等级）：
- 多模态损失只施加在文本 token 上，视觉 token 仅在文本注意它时才获得学习信号（论文实验支持的机制假设：注意力探针显示初期视觉 token 被忽略）→ encoder-free 的视觉 token 初期无信息、学习缓慢，直到足够有用吸引注意力后骤降——「先慢后骤降」的损失曲线与 0.217→0.645 的注意力跃升直接对应；
- 预训练 ViT 从第一步就提供有用表征，没有这个慢启动 → 测量范围内 encoder-free 需要 ~2 倍算力（EG^C 0.470）——ViT 先验的本质是预付的自举成本（论文数据支持）；
- 自举是一次性固定成本，而编码器被固定尺寸（外推假设：SigLIP 跨 11 级不变，对应业界现状）、算力持续增长 → decoder 完成自举后损失继续以更陡的斜率下降（γ 0.3778>0.2998，拟合支持）→ 交叉在 10²¹⁻²² FLOPs 处必然出现（外推结论，非直接测量）；
- 解码器通过三重视觉特异适应接管编码器职能：浅层重写视觉表征（隐式编码阶段）、图内双向注意力恢复 patch 级上下文化（且收益随算力增大——causal 消融交叉验证）、部分专家专门化（MaxVio 升高）（三层探针支持）；
- 多模态最优分配偏向更大解码器（a 0.570>0.464）与分主题排序（STEM 早、OCR 晚）互为印证——感知越密集的主题越依赖先验，交叉越晚（论文数据支持）。
外部检索交叉验证：
| 研究 | 相似尝试 | 相关结论 | 与本文差异 | 对根源解释的影响 |
|---|---|---|---|---|
| Scaling Laws for Native Multimodal Models（Jeju, arXiv 2504.07951） | 457 模型的原生多模态 scaling | 早期融合（无编码器/tokenizer）无内在劣势，小参数下更强、更易训、更易部署 | 训练规模较小、无「同阶梯双架构 + 双目标分离」的受控对照，也未给出编码器先验的交叉点预测 | 支持：独立得出「编码器非必需」结论；本文给出该论断的定量边界（何时追平） |
| Fuyu-8B / Chameleon（可行性先例） | 工程上跑通 encoder-free / 早期融合 | 无 scaling 对比数据 | 无受控阶梯 | 补充：证明终点可达，本文测出票价 |
| GPT-4o / Gemini（原生多模态生产模型，架构未公开） | 工业级部署原生多模态 | 闭源无细节 | 无法检验内部结构 | 间接支持：业界用脚投票走向统一架构，本文解释了为什么这条路在算力增长下可行 |
| Chinchilla（arXiv 2203.15556） | IsoFLOP 方法学 | 单模态分配律 | 未涉多模态与双架构 | 方法支持：本文结论建立在被广泛复现的方法学上 |
综合判断与未决问题：得到多点支持的核心机制是「固定尺寸先验 vs 增长算力 → 交叉必然」；仍属推测的是外推假设本身——若未来编码器随 LLM 同步放大（打破固定尺寸假设）、或数据分布改变（熵下界 E 移动）、或拟合的幂律在大算力下弯曲，交叉点都会移动。作者也如实标注了这一点。另外「视觉 token 学习信号依赖文本注意」的机制解释配有探针证据但仍属机制假设层——它与「先慢后骤降」曲线的一致性是强的，但不是干预性实验。
论文二：为什么 RL 是「在骨干修复分布中选对的切片」
因果链：
- SFT 已学会产生修复：16 次 rollout 中 78% 的失败根含正确修复、95% 遵循协议，但单轨迹只修复 20.59%——问题在选择而非产生（论文 Appendix I 数据支持）；
- 共享根的组优势把「哪个反思导致哪张更好的图」的信用同时送到诊断 token 与流转移——换指令实验是最干净的因果隔离：固定渲染器与采样噪声只换编辑指令，RL 策略写的指令修复 48.4%、原始请求 20.5%、把每条 GenEval 约束写全的规则指令也只有 27.6%——RL 学到的不是「写更多约束」而是「写更可执行的指令」（论文实验支持，且优于规则穷举这一强对照）；
- 线性探针显示骨干的正确性读出几乎不变（AUC 0.804→0.815；冻结 DINO/CLIP 仅 0.55）——「这张图对不对」的判断能力是骨干预训练就有的、RL 没有重塑它；变的是图像落点：失败图落入读出 pass 密集区的比例 34%→62%（SFT 仅 36%→42%）→ RL 是重新加权已有修复分布、把策略质量移向正确区域，不是创造新表征能力（论文 Appendix F 支持性证据）；
- 因此 3,000 prompt / 1,000 更新就足够——选择比生成便宜；也因此 pass@16 从 78% 只升到 97% 而 pass@1 从 23% 升到 70%（分布集中化的直接体现）；
- 双头联合为什么必要：仅流头 RL（73）只学会「按给定指令画好」，仅文本头 RL（78）只学会「写对指令但渲染器跟不上」——反思是诊断与执行的耦合行为，信用必须同时流到两个头（头消融支持）。
外部检索交叉验证：
| 研究 | 相似尝试 | 相关结论 | 与本文差异 | 对根源解释的影响 |
|---|---|---|---|---|
| SCoRe（Google DeepMind, arXiv 2409.12917） | 多轮在线 RL 教 LLM 自我纠正 | SFT 在纠正轨迹上分布失配/行为坍缩、RL 在自身分布上训练才有效（MATH +15.6%） | 文本域、单动作通道 | 结论相近（不同方法/模态得出一致结论）：SFT 不足以建立自我纠正，RL 是正确工具——对本文「SFT 冷启动 + RL 集中」的两阶段设计是独立佐证 |
| RLC（南京大学, JAIR） | 无外部监督的 RL 自省 | 评价比生成容易（<1B 模型也如此），利用评估-生成差距做自提升 | 文本、自评分为奖励 | 支持：与「骨干已有正确性读出、RL 只是选择」的机制图景一致 |
| UniRL（arXiv 2505.23380） | 统一模型自提升（理解当奖励） | 单轮设定下也有效 | 不做多轮修复 | 限定：单轮 RL 的增益不过拟合于训练分布需反思式多轮才成立（本文 T2I-RL 的 WISE 不迁移 vs UMM-Reflection +10.97 的对照） |
| ICRL（港科大等，内化批评 RL） | 联合训练求解器与批评者 | 批评者奖励取决于采纳后提升幅度 | 双模型（求解器+批评者分开） | 补充：与本文「同一模型双头」构成两种内化路径；ICRL 证明独立批评者也可内化，本文证明共享参数时单一优势即可 |
综合判断与未决问题：多点共同支持的机制是「RL 重新加权已有分布」（换指令实验 + 探针实验 + pass@k 动态三线证据互相咬合，这是本文最扎实的部分）。仍有保留的是「选择而非产生」结论的适用边界：它在「骨干分布已含高概率质量正确修复」的前提下成立——若骨干彻底不会修（如全新领域），RL 无从选择，届时能否「产生」超出本文证据。Verifier-based 奖励对基准族的依赖（GenEval 检测器）也意味着修复率的定义内嵌于特定评分器。
七、必要知识反推
假设一个零知识的人要完成这两篇工作，最少需要知道什么？
领域知识层：
- MLLM 两种范式的现状与代价（编码器提供什么、去掉损失什么）——不知道这个就提不出「先验是否随规模消失」的问题；
- 统一模型的架构细节（BAGEL 的 MoT 双专家、流匹配生成的 SDE 公式）——不知道流转移是什么就没有 RL 的动作单元；
- 多模态数据混合的实践（图文比例、交错数据）——阶梯训练的数据前提。
方法论知识层：
- Chinchilla 式 IsoFLOP 拟合全套（分配律、前沿、prefactor、bootstrap 区间）——论文一的骨架；
- GRPO 组相对优势的原理与缺陷（组内方差来源、每轮建组的组合爆炸）——不知道 K^N 问题就理解不了「整轨迹单一优势」的动机；
- SFT 冷启动 + RL 精化的两阶段范式及其失效模式（分布失配、行为坍缩）——论文二训练流程的直接前置。
工程知识层：
- 大规模 MoE 训练（11 级阶梯的算力规划、稀疏路由稳定性）；
- 双头（文本 + 流）的联合策略梯度实现（通道专属 KL、Flow-GRPO SDE 采样器）；
- 内部探针技术（注意力分析、线性探针、MaxVio 路由统计）——两篇的机制解释全靠它。
知识融合的关键节点：
- 论文一的创造性节点是**「双目标分离」与「编码器固定尺寸」两个设定的合流**——前者让多模态差异不被文本噪声淹没，后者把「先验 vs 算力」的赛跑变成可外推的几何问题。缺任何一个，交叉点预测都不成立；
- 论文二的创造性节点是把「组比较」的对象从轨迹换成了根——GRPO 的常规用法是比较同一 prompt 的不同回答；共享根 + 单一优势的组合同时解决了「比错对象」（首抽运气）与「分支爆炸」（K^N）两个问题，这需要同时吃透 GRPO 的方差结构与多轮 MDP 的信用分配；
- 两篇共享的融合点：用受控变量设计把工程问题变成测量问题——一个在预训练尺度上控制架构变量，一个在轨迹空间里控制初始图像变量。
八、论文中可以提取的通用性灵感
先验是一次性成本，算力是复利——评估任何「外挂知识」都该问它的固定尺寸假设。论文证据：固定 ViT 的先验优势在 γ 0.3778 vs 0.2998 的斜率差下被外推追平于 6.1×10²¹ FLOPs。推广场景：编译器优化 vs 通用 JIT（先验优化被通用算力追平）、规则系统 vs 学习系统、专家特征工程 vs 端到端学习、导航中预装地图 vs 实时建图。
把架构争论转化为「交叉点在哪」的可证伪预测。「A 好还是 B 好」是无解的信仰题；「A 与 B 的差距随哪个变量、以什么斜率演化、何时交叉」是可测量科学题。论文证据：分主题交叉顺序（STEM→Charts→GUI/OCR/Caption）把「感知密集度」变成排序变量。推广场景：小模型+检索 vs 大模型的交叉点分析、专用芯片 vs 通用芯片的制程交叉、人审 vs 机审的成本交叉。
能力迁移前先做「产生 vs 选择」的诊断。改善一个系统前，先测「正确行为是否已在 rollout 分布中」（pass@k 高而 pass@1 低）。若是，优化选择机制（RL/重排序）远比教新能力便宜。论文证据：78% 失败根含正确修复 → 1,000 次更新的 RL 即把修复率三倍化；探针 AUC 不变而落点改变。推广场景：代码模型的修复率诊断、医生误诊是知识缺失还是检索失败、组织决策是信息不足还是整合失败。
共享根的对照设计：让比较只反映你想研究的因素。把组内差异的方差源（首抽运气）显式固定，信用才能归到策略。论文证据：K=16 兄弟轨迹共用 detach 初始图。推广场景：A/B 测试中固定用户群体、教育评估中固定题目难度、算法评测中固定随机种子族。
层级信用分配可以用「整轨迹单一信号」避开组合爆炸。不精确分解每步贡献，而用一个终端信号同时更新所有参与方——代价是信号粗糙，收益是 K^N 变 K。论文证据：单一优势 Aᵢ 双头更新达 84，超过单头 73/78。推广场景：多部门协作项目的整体 OKR 结算、交响乐团的合练反馈、多智能体系统的团队奖励。
监督信号的构造者要排除被监督者自身。BAGEL 不参与构造 SFT 轨迹，防止蒸馏自己的失败模式。论文证据：外部模型（GPT-5.5 + Qwen-Image）构造 29,529 条轨迹。推广场景：教师培训不能用本校老教师自编教材闭环、模型自蒸馏的分布塌缩预防、审计独立性设计。
规则穷举是「学到的策略」的必要对照。证明学到的东西「超过把规则写全」才能排除「只是背下了约束清单」。论文证据：RL 指令 48.4% vs 规则穷举指令 27.6%——RL 写的是更可执行的指令而非更完整的指令。推广场景：任何「AI 学会了 X」的声明都该配一个「规则引擎也写了 X」的 baseline。
内外双层对照是因果声明的最低配置。论文一用「文本目标两架构重合」做内置阴性对照，论文二用「初始图无差异 + 探针不动」排除能力增强假象。推广场景：药物试验的安慰剂组、教育干预的前测匹配、性能优化的 profiling 基线。
一句话总结：Encoder-Free Scaling Laws 把「要不要视觉编码器」的回答推进到「10²¹⁻²² FLOPs 处不需要」——因为固定尺寸的先验跑不赢增长的算力，解码器会用浅层重写、双向注意力与专家专门化三步接管编码器；UMM-Reflection 把「统一模型会不会反思」的回答推进到「会，因为反思的原料（修复分布与正确性读出）骨干里早就有，RL 只是把策略集中到对的切片上」——共享根采样让信用干净，双头单一优势让信用完整。一个在预训练的尺度轴上证明统一架构的必然，一个在后训练的机制轴上证明自我修正的可得——统一模型路线的两块拼图，在这两篇论文里各自就位。