论文链接：Subquadratic Attention with a Hierarchical Tree-Structured Indexer (arXiv:2610.42112) | Latent Reasoning in Continuous Space for Unified Multimodal Models (arXiv:2610.42149) 发表时间：2026 年 10 月 30 日（两篇同日提交） 机构：论文一——Zyphra Research（企业研究实验室）；论文二——KAIST + POSTECH + RLWRLD（韩国高校+企业，NeurIPS 2026 格式） 领域标签：cs.CL / cs.CV / cs.LG / 高效注意力架构 / 多模态生成与隐空间推理

引言

2026 年 10 月 30 日，两篇分别来自 Zyphra Research 与 KAIST 的论文出现在 arXiv 上，都指向同一个敌人：模型计算预算被浪费在信息并不真正所在的地方。

第一篇的战场是注意力检索结构。稠密注意力对每个查询把整个 KV cache 从头扫到尾，哪怕这个查询真正需要的只是极小的一个子集；线性注意力与滑动窗口反过来把状态压成固定大小，长上下文性能又随之饱和。Zyphra 的 ZHA（Zyphra Hierarchical Attention）给出的答案是树：对 KV cache 递归构造块摘要，查询自顶向下沿树路由，摘要命中就下钻、不命中就整块剪掉。因为实测注意力 top-p 集的大小随长度呈亚线性幂律增长，匹配这种层级自相似结构的检索成本天然亚线性，注意力整体遂成为次二次——据作者所知，这也是首个实证深层级（深度大于 1）注意力保持稠密平价的工作。

第二篇的战场是推理所在的空间。统一多模态模型（UMM）里的思维链推理发生在离散 token 空间，而图像生成发生在连续隐空间——离散链难以编码图像合成所需的稠密空间信息，于是推理退化为表面的提示词改写，测试时扩展也随之失灵。LARC（Latent Reasoning in Continuous space）给出的答案是搬家：把推理步直接放进生成所在的连续隐空间，隐步无显式监督、经梯度隐式学习，再用信息增益奖励做免 critic 的自进化强化学习。GenEval 0.88、测试时隐步加倍单调增益，是首个展现清晰测试时扩展的推理增强 UMM。

两篇论文一篇改检索的结构、一篇改推理的空间，看似分属注意力架构与多模态生成两个领域，实际上共享同一个设计哲学：别让计算均匀地铺满整个空间，让计算发生在信息所在的结构或空间里。ZHA 让检索匹配语言的层级自相似性——top-p 幂律增长说明相关信息在树上可高效定位；LARC 让推理发生在生成所在的连续空间——离散化必然坍缩掉的稠密信息在隐步里得以保留。合起来读，会看到架构效率研究的两条新通路：结构上树化，空间上连续化。

下面按论文一、论文二各自完整走一遍题目、背景、定位、问题定义、解法、知识反推与通用灵感，最后做两篇的对比与交汇。

论文一：Subquadratic Attention with a Hierarchical Tree-Structured Indexer（ZHA）

1.1 题目与基本信息

• 作者：Leon Lufkin*、Cutter Dawes*、Alexander Speicher、Kamesh Krishnamurthy†、Tomás Figliolia†、Beren Millidge†（Zyphra Research；* 共同一作，† 资深作者）
• 链接：arXiv:2610.42112
• 一句话：对 KV cache 递归构造块摘要树，查询自顶向下 top-p 路由取叶并集做精确注意力，使注意力总成本（含索引与路由）渐近次二次，且仅靠训练参考查询、数十亿 token KL 蒸馏即可转换既有预训练模型。

题目三个关键词值得拆开：Subquadratic（渐近次二次——超越常数因子加速，这是与既往 chunk-sparse 方法的分界线）；Hierarchical Tree-Structured Indexer（层级树结构索引器——索引器本身被层级化压缩，解决稀疏索引器自身的二次成本）；Zyphra Hierarchical Attention（方法命名，正文简称 ZHA）。

标题里没有出现的第四个关键词是 convert：论文的一半篇幅在论证既有稠密模型可以被便宜地转换为 ZHA——转换而非重训，是这个工作区别于大多数注意力架构论文的实践姿态。

1.2 背景

注意力是现代 transformer 的序列混合原语，每个 token 与其余所有 token 比较以识别相关者——高度表达、无结构、GPU 友好，但 all-to-all 的本质导致成本随长度平方增长：prefill 中二次计算成本主导，decode 中逐 token 重读整个 KV cache 带来线性增长的带宽与存储成本。这阻止了超长上下文的普及。

已有突围路线各有天花板：

• 固定状态路线（状态空间模型、滑动窗口注意力）：线性 prefill、常数 decode，但固定大小状态在长上下文饱和、性能下降；实用的 hybrid 方法把固定状态混合器与全注意力交错，可足够长时那几层全注意力仍然主导。
• 压缩路线（在线序列压缩如 CSA/NSA/HNet、KV 逐出、头压缩如 GQA/MLA）：GQA/MLA 已无处不在，但压缩率受头数根本限制；序列压缩与逐出理论压缩率大，实证却脆、规模化差——根本原因是几乎不可能预先知道一个 token 是否有用。
• 细粒度稀疏路线（DSA、MSA）：轻量索引器为每个查询对全部 KV 打相关分，只在 top-K 上做全注意力。查询各自选键，检索精度高，但成本被搬进了索引器——在接近 1M token 的上下文，这些层 60-90% 的时间花在索引上。
• chunk-sparse 子族（含 DashAttention 的自适应稀疏 α-entmax、Hu 等的注意力加权和块摘要）：思想与 ZHA 相近，但只在单一层级做 chunking，仍只有常数因子加速，且实证脆。值得一提的是，DashAttention 的 α-entmax 自适应稀疏函数与 ZHA 的 top-p 路由精神相通，Hu 等的注意力加权和块摘要与 ZHA 的压缩键构造同源——ZHA 把这两个好想法接过来，配上递归多层与实测深层鲁棒性，才让它们从常数因子工具升格为渐近次二次工具。

由此论文给出判定：一个真正超越常数因加速的注意力替代品必须同时满足两条性质——查询依赖的稀疏性（不同查询需要的 KV 子集大不相同），以及增长但亚线性的活跃状态大小（新 token 持续带来预测信息，固定状态必然到达容量上限；全注意力是随长度线性增长的非参数状态，最大表达但高度冗余——第一百万个 token 仍有信息，但大概率少于第一个）。挑战由此被精确表述为：设计一个能动态增长、但按预测信息在序列中累积的速率（亚线性）增长的状态。

1.3 定位

这篇论文的落位在四个层面：

与已有工作的边界：与 MSA 等 top-K 稀疏方法的区别在固定预算 vs 自适应 top-p、单层 vs 深层；与既往层级 chunk-sparse 的区别在递归多层树与实测深层鲁棒性——据作者所知这是首个令人信服地扩展到深度大于 1 并保持与稠密注意力接近平价的层级注意力变体。

1.4 问题定义

隐含的形式化目标：为每个查询 q 找到其 top-p 集——注意力概率累积至少 p 的最小键子集（把注意力输出分解为 top-p 项与剩余项，top-p 项视为信号、剩余项视为噪声）。要在渐近快于二次的时间内做到这一点，识别相关工作量的增长必须亚线性于上下文长度。

两个关键实证约束刻画了问题空间：

• 单查询稀疏不等于可永久逐出：在 T=261,548 token 的小说序列上，随着考察的未来查询窗口 W 增大，top-p 子集的并集对前缀的覆盖率趋于 1——此刻无关的键对后来的查询可能至关重要。这决定了必须保留完整 KV cache、逐查询检索子集，而非永久驱逐。这一点直接否决了 KV 逐出类方法在高质量检索场景的可行性，也把问题收敛为：完整存储之上，如何便宜地找到子集。
• 稀疏结构本身呈幂律：Qwen3.6-35B-A3B 在六本长篇小说上，各显著注意力层的 top-p 集大小随因果上下文长度呈亚线性幂律增长（指数依 p 而定）。幂律通常关联尺度不变性——把几何递增大小的 token 组反复摘要，其统计保持相似——这提示树状递归检索的可行性。

值得注意的边界条件：该幂律结构依赖于位置编码——用 partial RoPE 的 Qwen 呈现鲁棒幂律，用 NoPE 的 Nemotron-3.5-Lightning-30B-A3B 则不那么鲁棒（但 ZHA 在其上仍可转换并保持可比性能）。RoPE 模型的注意力分数呈现特殊结构——多数头强近因偏置、少数头敏感于最低频率而近乎均匀；NoPE 则更弥散，其渐近标度行为对 ZHA 的影响仍是开放问题。这说明可压缩性不是架构的常数，而是数据与位置编码交互的产物。

问题定义由此完备：在完整 KV cache 上，以亚线性于长度的检索成本，逐查询近似其 top-p 集，且近似误差可控。

1.5 解法

树构造：凸函数的分段仿射下界

ZHA 近似的是什么？注意力的块级质量。一个查询对某个键块的注意力贡献总量，其未归一化对数（log-sum-exp，LSE）是查询的凸函数——凸函数有一个经典性质：任意一点的切平面都是全局下界，取多个切平面的最大值便得到分段仿射的下界包络。ZHA 把这个纯数学事实变成了检索结构。

对键块 K_C，取 R 个参考查询 q̂_r 作为切点，每个切面 t_r(q) = q^T k̂_r / √d + b̂_r，其中压缩键 k̂_r 是参考查询对块内键的注意力加权和，偏置 b̂_r 由该点的熵式质量与线性项之差给出。块对未来查询的 LSE 用 max_r t_r(q) 近似——即取所有切面的最大值，构成分段仿射下界。参考查询越多，包络越贴、摘要越忠实；R 是表达力与计算量的直接旋钮。

树逐层生长：叶节点是原始键，每 C 个连续节点（自身可能是摘要）合并为一个上层摘要节点，对第 ℓ>1 层（代表 C^ℓ 个原始键）用同样的构造作用于 C 个子摘要（把子偏置计入注意力分数，注意力的熵式合并权重连子偏置一起加权求和）。压缩率按 C^L 缩放，于是深度与宽度可以在给定压缩率下互换——这是后文几何扫描的设计空间。GQA 等分组的模型每个 KV 头建一棵树，供组内查询头共享。decode 期间每当攒满一个完整 chunk 就即时构造摘要——每 C 步加一个一层压缩键、每 C² 步加一个二层压缩键，依此类推；摊销后树构造延迟可忽略（roofline 模型中约 1% 或更少）。

训练模块：只学参考查询的 KL 蒸馏

整套机制唯一的可学习组件是每棵树共享的一组 R 个参考查询（所有序列节点、所有树层级、GQA 组内查询头共享；RoPE 模型将其旋转到各节点跨度的最后一个 token 位置，层级间用压缩键在父子参考查询处的分数差做校正）。

转换流程：冻结基模型全部原生注意力组件，让参考查询去匹配每层树层级上真实注意力分布按块池化的块概率——对查询 q，目标是稠密注意力权重按块求和的块概率，预测是摘要分数经 softmax 归一化的块概率，目标是最小化各层稠密块概率与预测块概率的 KL 散度，求和贯穿所有树层级（当前未完成块用其精确对数注意力质量替代近似值）。监督信号完全来自模型自己的注意力分布——不需要任何外部标注。

实操层面：开源 4B 到 35B、预训练上下文 256K 到 512K 的模型上，4B token、32K 上下文长度、峰值学习率 3.2e-2 的 WSD 调度即可完成转换——训练长度远短于主干的完整上下文。R=16、每 KV 头一棵树时，参数量增加约 0.00024%（81,920 / 34.66B）。作者还报告了开发过程中的负结果：参考查询 LoRA 与跨层级注意力概率显式分解（源自 Hu 等的思路）在初步消融中不增反复杂，被果断舍弃——最简版本胜出。

树上路由：top-p 自适应选择

查询从树顶出发，在每层对候选节点按分数排序后取 top-p——估计注意力质量累积达 p 的最小前缀。选中节点的子节点与无父孤儿块一起进入下一层，逐层递归直至叶块，叶并集（加上始终保留的注意力汇聚首 token——许多模型的首 token 无论内容都吃掉大份额注意力质量，ZHA 直接绕过树始终注意它——以及当前未完成 chunk）即最终精确注意力的稀疏 KV 子集。共享 KV 头的查询头在叶层联合加载其选择的并集，但上层路由选择与注意力掩码互不合并。

top-p 是与固定 top-K 的本质分野：分布集中时不必为凑满 K 而选边缘节点，分布弥散时又可以选走大比例节点。层级剪枝还让 top-p 的排序开销可控——每层剪枝限制了下一层候选数，实测各层 top-p 选择均可行。作者正是把这性质归因为 ZHA 能在其他方法之上做长度外推的原因：选择集大小随分布与序列长度自适应，而不是被预算钉死。

值得一提的是块预填（block prefill）下的共享细节：同一 head 的 tile 内各查询位置共享叶块加载、但保留逐查询掩码——工程上的诚实处理，避免了为省带宽而牺牲掩码正确性。

主结果四组数字

• 平价：Qwen3.6-35B-A3B 转换后，深几何（C4 L6）与宽几何（C256 L1）在推理、agent 编码、长上下文检索上均处于 dense 噪声带内：AIME 2026 上 93.1 vs dense 的 91.2（论文同时报告 91.7-93.1 的噪声区间表述）、SWE-bench Verified 67.4~68.4、MMLU-Pro 约 85；RULER-13(256K) 深几何 93.3 vs dense 96.0——注意 1-6% 的 KV 即只掉 3 个点。宽几何在 RULER-13 上 96.2、LongBench v2 上 63.4，与 dense 的 77.1 相比 ZHA 两种几何均显著优于 MSA。
• 同预算碾压 MSA：MSA（top-16 个 128-token 块、40B token 训练）在 LongBench v2 得 49.3，ZHA 深几何以相近的约 1% decode 键预算得 63.4，高 14 个点，且 MSA 训练 token 预算是 ZHA 的 10 倍。
• 几何鲁棒与可预测：28 个几何配置 × p ∈ {0.7~0.99} × 三种长度（64K/128K/256K）的 RULER 扫描中，注意 10-30% 键时性能对几何选择鲁棒；固定压缩 C^L=4096 下增加深度反而更能维持稀疏下的检索（深不是限制因素——更高压缩率下深层几何在同稀疏度上更优）；4 参数模型 d_ℓ(R,C)=log(1+C^ℓ/R^r) 逐层难度 × (1-p)^b 稀疏惩罚的乘积式，对留出长度的预测 RMSE 仅 1.44 个百分点（256K 子集 1.65pp）——精度随稀疏度与几何的变化平滑得出人意料。参考查询数 R 的作用也被隔离：固定 C=8、L=2 下 R 从 1 到 16 单调改善精度，表达力旋钮独立起效。
• 跨架构可转换：Nemotron-3.5-Lightning-30B-A3B（NoPE 架构）亦可转换，agent 编码基准与基线可比、RULER 中度受损——方法不绑死特定位置编码。

渐近分析：roofline 与幂律指数外推

次二次的声明若只在纸面上成立并无意义，作者用两层建模把它落到 GPU 现实。第一层是 roofline 延迟模型：ZHA 注意力子系统延迟 = 树构造（prefill 建树或 decode 摊销维护）+ 各层串行的路由打分、top-p 节点选择、叶层精确注意力 + 启动开销，其中每个 kernel 的耗时取三项上限——FLOPs 除以有效算力、HBM 字节除以有效带宽、以及 worker-wave 项（顺序波数，刻画高层树节点少导致 SM 空闲的并行度瓶颈；这一项对 ZHA 尤其重要，因为一层剪枝减少了下一层的工作量，可能让单个阶段并行度不足）。

第二层是选择计数的幂律外推：对每个树层拟合选中节点数 S_ℓ(T) = c_ℓ T^(α_ℓ)，实测（AIME 生成、响应长 16K-64K、C=4、R=16、深度 2-6）指数在顶层最高、逐层向下递减；再用累积乘积模型把逐层指数与顶层指数 β 关联，并对顶指数随深度的演化给出常数顶与线性顶两个界（数据仅 20 个测量点，宁可给界不硬拟合）。由此外推：轻量几何 R=1、C=8、p=0.75 下，48K token 起 ZHA 快于 dense，0.48M 起快于 MSA，1e9 token 时分别达约 373-417× 与 52-58× 加速（1e9 处选中深度 L=5；p=0.7/0.75/0.8 的对比见附录）。C8 深至 6 层在几何扫描中稳健。

作者对这段外推的诚实标注值得注意：超长上下文上没有可运行的 LLM 来实测，延迟是次二次的、但所需深度下推理与检索性能退化到什么程度未知——性能模型的曲线因此读作边界声明而非实验结论。这为后文知识反推的第三条（索引成本要和检索成本一起渐近分析）提供了范本。

两个深入分析

动态稀疏性：约 64K 上下文、p=0.9 下，稠密注意力 90% 质量集中的 16-key 块占比中位数——RULER 2.3%、SWE-bench Verified 11.7%、小说 15.0%（合成填料的检索最集中，代码工具输出次之，小说最弥散）；代表几何（R16 C16 L3）的 ZHA 相应保留 0.44%、5.0%、7.4% 的块，其中含稠密质量的中位数为 80%、78%、78%（各 RULER 子任务区间 74-82%）。路由器比稠密 top-p 更稀疏（三层迭代剪枝的累积效果），但跨任务的稀疏模式与稠密一致。RULER 内部也分层：单目标重复填料任务（variable_tracking、niah_single_1）读取键数约为典型任务一半，散文针与文档 QA 居中（0.82-1.26 倍），多键多针与聚合类任务（cwe、fwe、niah_multikey_2/3）约 1.6 倍——单针任务的树遍历剪枝远比多针任务激进，但两者最终都命中含正确答案的块。这种自适应稀疏对固定预算 top-K 是不可能的——它必须在大预算浪费与小预算漏检之间二选一。

参考查询结构：各层内参考查询的选择率呈渐进衰减，高层更集中于少数参考查询、叶层更均衡；层间 Spearman 相关显示高层使用模式高度一致而叶层分化（相距越远的层一致性越弱，叶层与上层差异最大）——不同压缩率的层级有不同的选择动力学。几何上 16 个参考查询两两余弦相似度均值 0.44——张成一个锥而非坍缩成同一向量；不同几何（C4 L6 / C8 L4 / C16 L3 / C64 L2）独立训练的路由器学到高度匹配的参考查询（最常被选中者最明显），且选择偏好更小范数的参考查询（更平滑的键加权在高层可能更有利——越均匀的键平均在摘要层越占优）。树越浅、块越大，参考查询越相似、范数越集中。

综合起来：KL 目标里的 max 池化并不显式强制参考查询均衡使用或彼此区分，理论上可能坍缩成纯浪费算力的重复向量；实测却形成了连贯的非坍缩几何结构，且这种结构跨几何可复现——参考查询学到的不是随机模式，而是对查询分布中心倾向的真实覆盖。

1.6 知识反推：从结果倒推洞见

从 ZHA 的结果可以反推出三条可迁移的知识：

其一，注意力天然信息不均匀，且不均匀得很有规律。 top-p 集随长度亚线性幂律增长不是架构性质而是数据性质（对抗性均匀检索序列就需要全二次注意力）——是自然语言的统计结构给了压缩空间。这提示：对任何序列建模瓶颈，先测量其有效感受野的标度行为，再按标度行为设计状态结构，比预设固定状态或线性状态都更尊重数据。

其二，蒸馏可以把检索结构从模型里搬出来而不动模型。 参考查询只学约 0.0002% 的参数就能在 4B token 内复刻 35B 模型的注意力质量分布——说明稠密模型已经知道哪些块重要，缺的只是一个便宜的索引器把这个知识显式化。转换范式（冻结主干 + 结构蒸馏）意味着高效架构的收益也许不必付预训练的代价。

其三，自适应阈值优于固定预算，且层级剪枝能驯服自适应阈值的开销。 top-K 的预算对所有查询一视同仁，top-p 的预算随分布浮动——代价是排序开销，而树恰好把排序的候选集逐层压小。两个组件互相成全：没有树，top-p 全局排序是 O(T)；没有 top-p，树的深层路由退化为死板的固定分支数。

1.7 通用灵感

• 给增长状态设计幂律结构：信息随长度亚线性累积的系统（不止语言：日志、代码库、对话历史），其检索结构应该按数据的自相似标度来建——树只是幂律的一种显式化，Chunk 边界动态学习、向树加入近因偏置（越近越细）都是论文自己列出的改进方向。
• 索引成本要和检索成本一起渐近分析：常数因子加速的方法在 1M 上下文都会撞墙（索引占 60-90% 时间），评价任何检索加速器都要看总成本的渐近阶，而非单核 kernel 的加速比。
• 小模型上的失败可能预示大模型的可行性：作者发现 1B 以下小模型转换 ZHA 时因被蒸馏的注意力分数本身噪声大而挣扎，4B 起成功率大增——蒸馏源的质量随规模提升，方法会随模型规模继续变好。
• 承认外推的边界：1e9 token 的 373-417× 是模型预测而非实测（作者明言没有能在此长度运行的模型）；p 固定时有效 p_eff = p^L 随深度趋零、按 p^(1/L) 重标度又会把高层全部选中而退回二次——次二次与高性能之间的窄通道需要 p 随深度按数据的幂律缓降。这种对自身假设边界的坦率定量，是 roofline 类论文的示范写法。
• 稠密基线自身可能是病理的：论文引用了 softmax 分散性（dispersive）的既往发现——稠密注意力会给上下文噪声加权、注意力分数趋于均匀而最终阻碍检索。稀疏剪枝可能不只省算力，还是对过去的去噪——top-p 幂律提示真正与预测下一个 token 相关的信息子集，其标度行为与稠密检索整个上下文根本不同。这为稀疏化提供了一个超出效率的辩护词。

论文二：Latent Reasoning in Continuous Space for Unified Multimodal Models（LARC）

2.1 题目与基本信息

• 作者：Byungwoo Jeon、Yoonwoo Jeong、Hyunseok Lee、Minsu Cho*、Jinwoo Shin*（KAIST + POSTECH + RLWRLD；* 共同指导）
• 链接：arXiv:2610.42149，NeurIPS 2026 格式，项目主页 rootyjeon.github.io/larc-umm
• 一句话：把统一多模态模型的推理步从离散 token 空间搬进图像生成所在的连续隐空间，课程 SFT 渐进注入隐步、信息增益奖励免 critic 自进化 RL，GenEval 0.88 超 BAGEL 7 个百分点，并首次在推理增强 UMM 上展现出清晰的测试时扩展。

题目拆解：Latent Reasoning in Continuous Space（推理在连续空间进行——明确与离散 token 推理对立）；for Unified Multimodal Models（对象是 UMM——理解与生成共用一个主干的多模态模型）。副标题式的问题意识藏在摘要第一句：现有推理增强 UMM 无法继承 LLM 的测试时扩展与细粒度可控性。

作者阵容值得一提：一作团队此前已有视觉对齐隐推理的前置工作（论文参考文献 27 即作者自引），LARC 是该脉络推进到生成任务与 RL 精修的成熟形态。

2.2 背景

UMM 把图像生成模块集成进富文本语义的 LLM，在理解与生成两类任务上都很成功。但生成侧有个尴尬：需要语言级规划的复杂语义（属性绑定、世界建模）恰恰是纯生成模型的弱项，于是出现了推理增强的尝试——先写思维链再生成。问题在于这些思维链是离散 token。论文把失败归因于一个根本的模态失配：推理在离散 token 空间进行，而图像生成在连续隐空间进行。离散链难以编码图像合成所需的稠密、空间锚定的信息，推理于是坍缩成表面的提示词改写——而这正是现有方法能提供增益的狭窄区间。既有 UMM 无论离散（Janus-Pro、Emu3）还是连续（Show-o2、BAGEL），推理增强尝试（Uni-CoT）都逃不出这个区间，测试时加大推理预算得不到 LLM 式的平滑增益。

另一条技术脉络是 LLM 侧的隐空间推理：Coconut 等工作让语言模型在不发出显式 token 的连续隐状态中推理，证明了隐推理在纯文本上可行；后续工作（含作者团队自己的视觉对齐隐推理）进一步把范式拓宽。但把它搬到多模态生成要过两道坎：其一，Coconut 式推理是确定性的，而策略梯度法需要随机 rollout；其二，隐推理轨迹没有显式评估器，难以判断它对生成是否有用。LARC 的两阶段配方正是为这两道坎设计的：第一阶段的课程注入受控随机性，第二阶段的信息增益奖励充当内在评估器。

2.3 定位

与已有工作的边界：与 Uni-CoT 等 token 推理 UMM 的区别在推理空间（离散 vs 连续）；与 Coconut 的区别在有 RL 阶段、并且为 RL 重新设计了轨迹格式（交错而非纯隐——纯隐确定性无随机性，策略梯度无从下手）；与架构类 UMM 工作（Janus 解耦编码器、BAGEL 解耦 transformer）正交——LARC 是叠加在既有主干上的推理能力，BAGEL 只是恰好被选为底座。论文自己也强调这种正交性：MoE 式主干、修正流图像头等架构进步都可以与 LARC 的推理层自由组合。

2.4 问题定义

输入上下文 c = (c_1 ⋯ c_T)（文本提示，可选源图像），模型产出推理轨迹后生成目标图像 x。轨迹设计为语言模式与隐模式交替：

• 语言模式：随机采样发射文本 token——暴露给策略优化梯度信号的部位；
• 隐模式：模型在 t 位发出特殊 token 后，下一位置的输入嵌入取最后一层隐状态 h_t（绕过文本解码，保留内部表示的丰富语义），固定步数后回到语言模式。

具体机制：UMM 主干先处理输入嵌入序列得到最后一层隐状态；一旦模型在 t 位产出 ，模式转隐，t+1 位的输入嵌入就是 t 位的最后层隐状态 h_t；隐步数固定后模式回到语言。推理时模式交替持续到模型发出 ，每个 标记一次从语言段到隐步的切换；轨迹终止后，完整隐状态序列 h(τ) 经交叉注意被图像模块读取以生成 x。

由此轨迹形如 τ = (s_1, l_1, s_2, l_2, ⋯, s_N, l_N)：语言段与隐步交错，段长与轨迹长度由模型自己何时发 与 决定，而非外部日程——这个自主性保证了轨迹格式本身就是学出来的策略的一部分。

两个待解的子问题随之确定：(a) 如何让模型学会这种格式——隐步没有真值标注；(b) 如何评估与优化隐轨迹——不存在图像推理的真值链，也没有现成的外部评估器。分别交给两个阶段。

2.5 解法

Stage 1：课程监督微调——渐进注入隐步

数据：从 FLUX-Reason、WEAVE、ScaleEdit 三个开源数据集取 1M 交错思维链样本（上下文 + 分步推理链 + 目标图像），在推理链的步骤边界插入 标记隐步注入位置。

课程：从全文本轨迹 τ^(0) = (s_1, ⋯, s_N) 开始（只学标准 next-token 的推理格式），第 k 阶段仅激活前 k 个隐步，让每个新隐步建立在已训练稳定的前缀之上，最终阶段激活全部隐步，每次阶段切换降低学习率。分阶段暴露交错深度的做法遵循 Coconut 的观察——从头注入全部隐步不稳定，因为隐流没有任何直接监督而模型还没学会基本推理格式。

损失：next-token 预测损失（对文本段）+ 流匹配损失（对目标图像），在第 k 阶段对第 n 个文本段的预测以 min(n, k+1) 为界的已激活隐步为条件。关键是梯度穿过隐步传播且无显式监督目标——隐步学什么完全由下游损失反传决定，隐式监督让隐步自动编码有用的表示，不引入外部偏置。

Stage 2：自进化强化学习——信息增益奖励

SFT 受数据质量制约且无法精修隐步（推理链本就没有隐步真值），于是第二阶段用来自模型自身的内在奖励做 RL。

信息增益奖励：以 Stage 1 结束后的冻结参考模型 π_ref 为评估者，轨迹 τ 的奖励为参考模型对目标图像的预测密度在有/无轨迹条件下的对数差：

r_IG(τ; x, c) ≜ log p_πref(x | c, h(τ)) − log p_πref(x | c)

轨迹让目标图像似然升高则得正奖励，轨迹不携带上下文之外的信息则为零。其期望恰是条件互信息 I_πref(x; h(τ) | c) ≥ 0 的逐样本形式——最大化 r_IG 等价于最大化隐轨迹与目标图像的互信息，裸上下文 c 扮演边缘基线的角色。由于图像模块不直接给对数似然，实际用共享噪声样本下的条件流匹配损失配对差估计（样本级常数项消去）。不需要外部 critic、不需要真值链，评估者是模型自己的一个冻结副本。

防塌缩奖励：隐步可能全部收敛成同一向量——轨迹内 N 个隐步互相坍缩，推理退化成复读。加显式多样性正则 r_div = 所有隐步对 (1 − cos) 的均值，总奖励 R = r_IG + λ_div · r_div。消融显示 λ_div = 0 时隐步余弦相似度飙到 0.97——没有这个正则，信息增益奖励自己无法维持轨迹多样性。

优化：GRPO 从组 rollout 估计优势、免价值模型，简单稳定到单组超参可跨全部基准迁移。

一个容易被忽略的细节是奖励评估的独立性设计：π_ref 是 Stage 1 后冻结的副本，策略更新不会反过来污染奖励信号——这等价于在自奖励系统里内置了一个免漂移的锚。配对差估计中两次评估共享同一噪声样本，则把流匹配损失的方差压到样本级常数项消去后所剩无几。整个 Stage 2 没有任何外部组件：数据是 Stage 1 用过的分布，评估者是自己的冻结副本，优化器是现成的 GRPO——自进化三个字落到实处就是这三件套。

主结果四组数字

• 文生图三基准全 SOTA：GenEval 总分 0.88（BAGEL 0.81，+7pp；Attr Binding +15pp 至 0.78；GPT-4o 为 0.84，SD3-medium 0.74，FLUX.1-dev 0.67；单对象 1.00、双对象 0.98、计数 0.86、颜色 0.93、位置 0.77 全面领先）；DPG-Bench 90.04（BAGEL 85.07，+5.8；五个子类全部第一）；OneIG-Bench 0.866（BAGEL 0.764，+10.2pp；自然语言提示 0.892、标签短语 0.840、长提示 0.840 均最优；较推理增强对手 Uni-CoT 0.790 也是全面领先，论文摘要另给出 +7.6 绝对分）。
• 图像编辑：CompBench LC-T 22.509（BAGEL 20.434，+10.2%）；LC-I 0.880、SSIM 0.953 同步领先；像素级质量改善明显，PSNR 24.3→25.7、LPIPS 0.069→0.049——连续隐推理能规划空间锚定的编辑，对局部属性修改尤其有效。
• 理解侧不降反升：MME 1725.3、MMB 88.1、MMMU 56.2、MIRA 11.7（BAGEL 7.5，Uni-CoT 10.6）。最陡增益在需要显式多步中间推理的 MIRA——隐推理提供的中间表示比离散推理更丰富，且附加监督没有损伤主干原有感知能力。
• 测试时扩展：图像生成、编辑、视觉推理三任务上，隐预算加倍带来单调性能增长——此前推理增强 UMM 从未出现；同计算预算下持续超过 best-of-N 采样（并行扩展策略）。开销对比悬殊：L=10 仅 +1.2 秒，N=10 需 469 秒——序列式隐步扩展比并行采样便宜两个数量级以上，原因是额外计算注入在精修同一条轨迹的表示上，而非重复整条生成管线。

消融四连

• 推理空间（同基模型对照）：token 推理 GenEval 0.82 / OneIG 0.79 / CompBench 20.81 / MIRA 7.1，隐推理 0.83 / 0.81 / 21.46 / 9.7——token 推理在 MIRA 上反而低于基线 7.5，离散推理确有模态代价；隐推理在视觉推理上 +2.6、编辑 +0.65 LC-T。
• 轨迹格式：纯隐（naive，Coconut 式）GenEval 0.83 / OneIG 0.79 / CompBench 21.02 / MIRA 9.9，交错隐 0.83 / 0.81 / 21.46 / 9.7——交错在组合生成（+0.02）与编辑（+0.44 LC-T）上更好，因为文本段维持了策略梯度所需的 rollout 多样性，隐步负责编码生成所需的连续表示。
• 训练阶段：Stage 1（课程 SFT）把基线 0.81/0.76/20.43/7.5 提到 0.83/0.81/21.46/9.7，Stage 2（RL）再提至 0.88/0.87/22.51/11.7——RL 确实精修出了 SFT 数据质量之外的东西，也验证了免真值链、免外部 critic 的自进化设计。
• 防塌缩：λ_div = 0 时隐步坍缩（cos 达 0.97）——多样性奖励是隐步不退化为复读的必要约束。

消融的结构本身值得一提：四组消融分别对应四个设计决策（推理空间选连续、轨迹格式选交错、训练分两阶段、奖励加正则），每组都拿掉了被拿掉的部分单独归因——正是这套干净的归因链让模态失配的诊断从口号升级为可检验的机制声明。

2.6 知识反推：从结果倒推洞见

其一，模态失配是可以定位到推理空间的病，也可以用搬家来治。 UMM 测试时扩展失灵不是规模问题、不是架构问题，而是推理发生的空间与生成所在的空间不一致。证据链干净：token 推理在 MIRA 上低于基线（离散化有净负作用），隐推理 SFT 即 9.7，RL 后 11.7——收益全部来自空间对齐。这条诊断路径本身可复用：当某个能力增强模块失效时，先检查它的信息形态与消费者的信息形态是否同构，而不是先怀疑数据量或模型容量。

其二，无标注能力可以用模型自身分布差来奖励。 r_IG 的本质是问一句：这条轨迹让模型对目标的预测变好了多少？流匹配损失的配对差恰好能回答，且免 critic、免真值链。凡是有内部可评估性的系统（生成模型的似然、检索模型的召回），都可以把这种自参照奖励当作免标注精修的杠杆。

其三，确定性模块与随机性优化器之间可以架课程之桥。 隐推理本征确定，策略梯度需要随机；LARC 不是放弃其一，而是把随机性放进语言段、确定性放进隐步，再用课程控制两者的比例逐步过渡。这个交错设计对一切想给连续计算模块上 RL 的工作都有参考价值——先注入可控随机性，再上策略梯度，最后用 RL 精修。

其四，测试时扩展的正确形态是加粗有用的表示，而不是多采样几条。 best-of-N 用 469 秒换来的增益不如隐步加倍用 1.2 秒换来的——因为后者把计算花在精修同一条轨迹的表示上，前者把计算花在重复生成与事后挑选上。测试时扩展的效率取决于额外计算注入的位置：注入表示层比注入采样层便宜两个数量级。

2.7 通用灵感

• 让计算发生在信息所在的空间：当两个模块（推理与生成、检索与存储、规划与执行）共享信息的形态不同时，检查失配在哪一侧，把可移动的一侧搬过去——LARC 搬推理不搬生成，因为生成模块依赖整个视觉 token 化体系，而推理步是自由的。
• 隐式监督比显式标注更适合中间表示：给隐步规定内容（比如强制它编码某些属性）会把外部偏置注入表示；只给梯度通路、让下游损失决定内容，反而学到真正有用的东西。这对一切无解释性的中间瓶颈（软 prompt、适配器隐状态）都适用。
• 互信息是免评估器训练的通用货币：条件互信息的逐样本形式可以用同一模型两个条件下的损失差估计——这个技巧的适用面远超图像生成（对话系统对回复质量的自我评估、agent 对动作序列的价值自评都是同构问题）。
• 新能力的诚实标定：论文反复用首个（first）标定贡献——首个 UMM 连续隐推理框架、首个清晰测试时扩展——同时用消融把每个组件的贡献剥开。评审预判为高（NeurIPS/CVPR 口径强），风险声明部分也坦承提升提示遵循会把对抗性提示的有害输出能力一并放大。

两篇对比与交汇

表层对比

深层交汇：让计算发生在信息所在的结构或空间里

两篇论文最深的共同点，是把计算预算的分配权交给信息的实际分布：

• ZHA 发现信息在语言里按幂律层级分布——top-p 集亚线性幂律增长意味着相关信息可以被树状摘要索引到。于是检索不再均匀扫全 cache，而是沿信息密度爬树：密度高的枝下钻，密度低的枝整块剪掉。固定 top-K 之所以不如 top-p，是因为预算没有跟着信息分布走；扁平索引之所以不如树，是因为信息本身是分形的——用均匀结构检索分形信息，注定浪费。
• LARC 发现图像生成的信息在连续空间——离散 token 是对内部表示的有损离散化，凡是要喂给连续生成模块的推理中间件，其信息瓶颈就该开在连续侧。推理不再输出给人读的 token 链，而是输出给生成模块读的隐状态：消费者是谁，表示就长成谁要的样子。信息论的说法是：固定词表的离散化必然坍缩掉一部分稠密空间信息，而这一部分恰是图像合成最需要的。

一个在结构维度上让计算匹配信息（树 vs 平铺），一个在空间维度上让计算匹配信息（连续 vs 离散）——两者合起来是一个更普遍的原则：效率不是把计算压便宜，而是把计算放对地方。

次要的呼应还有三处：

其一，两者都以极小的接口改动撬动既有大模型。ZHA 冻结主干只训参考查询（0.0002% 参数），LARC 在 BAGEL 上叠加训练而不动其架构——都不需要从零预训练，这降低了验证效率假设的门槛，也是 2026 年效率研究的共同姿态：改结构不如改接口。

其二，两者都依赖某种自监督信号绕开外部标注。ZHA 蒸馏的是模型自己的注意力分布（块概率 KL），LARC 奖励的是模型自己的预测密度差（流匹配配对差）——模型内部状态本身就是最便宜的教师与评委。当标注成本或标注不可得成为瓶颈时，这两个案例共同示范了内部信号的三种可用形态：分布匹配（蒸馏）、分布差分（奖励）、分布结构（幂律测量）。

其三，两者都把测试时行为作为设计变量而非事后副产品。ZHA 的 top-p 让推理时每个查询的检索预算随任务分布自适应（RULER 单针任务读一半的键、多针聚合任务读 1.6 倍）；LARC 的隐步数让推理时计算量可平滑缩放（加倍单调增益）。固定预算的设计（top-K、固定隐步数）都被刻意避开了。

其四，两者对极端情况的自我批判也如出一辙：ZHA 担心幂律在数十亿 token 尺度失效、次二次通道收窄；LARC 担心隐空间推理不可解释、可控性增益被滥用。高效架构论文愿意正面讨论自己的失效边界，这在三年前的同类工作中并不多见。

局限与展望的互鉴

ZHA 的自认限制是超长程未实证——1e9 token 的加速是 roofline 预测，且次二次与高性能之间需要 p 随深度按数据幂律缓降的窄通道，自然语言在数百 token 亿尺度是否仍保持自相似幂律是开放问题。论文还留下若干自列的改进方向：chunk 边界可以动态学习而非任意设定；可以给树加近因偏置使其越靠近当前 token 越细；可以在激进几何上放开主干微调让模型学会补偿稀疏损失；甚至可以给树补充压缩 value 摘要，让被剪枝的子树以摘要粒度贡献粗注意力输出——保住对全 cache 跨度的近似可见性。

LARC 的开放问题有两面：隐步内容不可读（无解释性，难以审计模型在隐空间里究竟规划了什么）；且提升提示遵循会同步放大对抗性提示的执行能力——论文自己在风险声明中点出，输出越忠实反映恶意提示，针对性有害内容的生产能力也越强，建议下游部署配套内容审核、水印与提示级安全过滤。计算成本上，RL 阶段在数十亿参数主干上的碳足迹也不可忽视，作者以预训练 checkpoint 初始化与更快收敛的课程来部分缓解。

有趣的是两篇可以互相补位：ZHA 的次二次注意力若成立，数十亿 token 的上下文成为可能，那种尺度上注意力的 top-p 幂律若仍然成立，等于为 LARC 式连续隐推理提供了更大的工作内存；而 LARC 的隐推理把中间状态留在连续空间，某种意义上减少了必须写入 KV cache 的离散 token 量——两条效率通路在极限处会合：一个负责让内存装得下，一个负责让计算用得省。

结语

这两篇论文放在一起读，最值得带走的不是 373 倍加速或 GenEval 0.88 这些数字，而是它们背后同一种研究方法：先测量信息在哪里、长什么形状，再把计算的结构对上去。ZHA 测出 top-p 幂律才敢建树，LARC 定位模态失配才敢搬空间；两者都把自适应预算（top-p 路由、隐步加倍）作为测试时的第一杠杆，都把模型自身分布当作最便宜的监督源，都以冻结主干的方式把验证成本压到最低。当算力堆叠的边际收益递减，这类把计算精准对齐信息结构的工作，会越来越成为架构创新的主旋律。

对后续研究的具体期待也有迹可循：ZHA 需要在真实超长上下文（1M 以上）上实证性能不退化，并验证自然语言的自相似幂律在数十亿 token 尺度是否依然成立——这决定了次二次通道是否真的走得通；LARC 则需要回答隐推理的可解释性问题（隐步里到底编码了什么，能否可视化或探测），以及自奖励配方在更大规模主干上的稳定性。两条通路若各自走通，一个在结构上消化超长上下文、一个在空间上消化深度推理的下一代架构图景，会比今天任何单一的效率技巧都更接近量变到质变的临界点。