Encoder-Free Scaling Laws × UMM-Reflection:统一多模态模型的架构与反思双问 精读
本精读合并解读两篇直指「统一多模态模型」根本问题的论文:腾讯 + CASIA + UCAS 的 Encoder-Free Scaling Laws 用两条架构共享同一 11 级稀疏 MoE 解码器阶梯(1.1B–44B 总参)与同数据同优化设置的受控对比,首次给出 encoder-free 与 encoder-based MLLM 的双向 scaling law——文本目标两架构前沿几乎重叠(γ 0.0973 vs 0.0979),多模态目标 encoder-free 当前更差但下降更快(γ 0.3778 vs 0.2998),外推交叉点 6.1×10²¹ FLOPs(比旗舰模型预训练算力低约三个数量级),分主题 STEM 最早追平、OCR/Caption 最晚,配注意力质量(0.217→0.645)+ 表征余弦 + 专家路由三层机制探针解释「视觉 token 先慢后骤降」的学习动力学;NTU + 上海交大 + 东京大学的 UMM-Reflection 则是首个对统一模型完整多轮反思轨迹做 RL 的工作——共享根采样(K=16 兄弟轨迹共用一张 detach 初始图,组优势只比反思策略不比首抽运气)+ 整轨迹单一优势同时更新文本头与流头,GenEval 从 0.71 升至 0.84(超 SFT +12.05 点)、条件修复率 20.59%→64.94% 翻三倍,换指令实验(48.4% vs 20.5%)与线性探针(AUC 0.804→0.815 几乎不动、失败图落入 pass 区 34%→62%)证明 RL 是在骨干已有修复分布中「选对的切片」而非创造新能力。一篇回答预训练的结构问题(要不要视觉编码器),一篇回答后训练的能力问题(会不会自我反思),合成统一模型路线的完整纵切面。