论文链接：

• Look Only When Needed: Certificate-Guided Visual Routing for Efficient Diffusion VLMs (arXiv:2610.36671)
• CoSTA: Compressed Speech Token Adaptation for Efficient Spoken Dialogue Models (arXiv:2610.21143) 代码：LOWN 项目页；CoSTA (GitHub) 发表时间：均于 2026 年 10 月提交 arXiv（LOWN v1 于 10 月 27 日、CoSTA v1 于 10 月 15 日） 机构：
• LOWN：KAIST + AITRICS（高校 + 企业合作）
• CoSTA：中科院自动化所 + 国科大人工智能学院 + 武汉人工智能研究院（纯学术） 领域标签：cs.CV / cs.CL / 高效推理（多模态解码加速、语音对话效率）

一、引言：多模态模型的「账单」都出在哪

大模型落地的核心矛盾之一，是推理成本。而多模态模型的账单格外刺眼，原因很简单：模态数据被统一编码成 token 后，占据了输入序列的绝对大头，并且在生成过程中被反复处理。

本篇精读的两篇论文，恰好从两个模态切进了同一张账单：

• 视觉侧。扩散视觉语言模型（DVLM）如 LLaDA-V，因为双向注意力无法直接用自回归模型的 KV cache，每一步去噪都要把「图像 token + 提示 + 部分掩码响应」整个重新前向一遍。LOWN 团队测量发现：视觉 token 占输入的 89–97%，一次不含图的前向只花 3–10% 的成本——DVLM 的大部分算力花在反复重读一张不变图上。
• 语音侧。语音对话模型（SDM）如 Step-Audio 2 mini，把语音离散成 25 Hz 的 token 流，由 LLM 自回归逐个生成、再交给语音解码器合成波形。一句话动辄几百上千个语音 token，生成长度直接决定用户等待时间。

两篇论文的解法在机制上完全正交：LOWN 动的是「每一步要不要读图」（时间轴上的按需计算），CoSTA 动的是「生成时用多短的序列（表示轴上的无损压缩）。但读完全文会发现它们共享同一套方法论：先用干净的测量实验把冗余钉死，再设计一个零信息损失的跳过/压缩机制，最后用与现有方法的正交复合证明自己是可以叠加的新效率轴。

第一篇：LOWN——需要读图的时候才读

二、论文一：题目与背景

2.1 题目拆解

论文标题「Look Only When Needed: Certificate-Guided Visual Routing for Efficient Diffusion VLMs」三个关键词各有分量：

• Look Only When Needed：直译「需要看的时候才看」。方法名 LOWN 即缩写，同时暗合英文短语「low and」——低成本开路。
• Certificate-Guided：核心机制是「证书」——用一个便宜的前向为昂贵前向的预测背书。证书是整套方法的决策货币。
• Visual Routing：作者把「图像访问调度」（image-access scheduling）确立为一条独立于剪枝、缓存、解码调度的新效率轴：不问「这一步读多少图」，而问「这一步要不要读图」。

2.2 背景：DVLM 的算力都花在哪了

扩散语言模型（DLM）与自回归模型不同：从一段全掩码的响应出发，每个去噪步并行恢复若干 token，经 T 步迭代收敛。扩散视觉语言模型（LLaDA-V、LaViDa、MMaDA 等）把图像 token 一起放进双向注意力里，代价是：双向注意力阻断了精确 KV cache 的直接使用，标准推理必须在每一步对完整多模态序列做一次前向。

论文 Figure 1b 的账单触目惊心：在十个基准上平均，视觉 token 占输入的 94.4%，文本提示只占 3.9%，输出占 1.7%。也就是说，每一步去噪的绝大部分矩阵乘，都在反复编码同一张不变的图。

2.3 既有路线与它们的公共盲区

论文把已有加速方法分成三类：

1. 视觉 token 剪枝（RedVTP、ZOO-Prune、D3ToM）：删掉一部分视觉 token。问题：被删的信息永久丢失——论文后面用案例证明，RedVTP 剪掉的恰恰可能是答题所需的坐标轴刻度。
2. 中间状态缓存（Fast-dLLM、dLLM-Cache 等）：跨步复用中间计算。
3. 每步多解 token（KLASS、Prophet 等）：减少解码步数。

三类方法共同的盲区是：没有任何一类方法问过「当前这一步到底需不需要图像」。它们都在让含图前向更便宜、更少或更可复用，却默认每一步都需要它。LOWN 的问题意识正是从这个空白处长出来的。

三、论文一：定位与问题定义

3.1 定位：训练无关、阈值无关的即插即用解码方法

LOWN 的定位非常克制：不改模型参数、不改注意力模式、不需要任何训练，也不需要任务相关的阈值调参——只改「解码时每一步跑哪种前向」这一个决策。这个定位使它可以叠加在任何 DVLM 上，也可以与剪枝、缓存自由组合。

3.2 动机测量：读不读图，预测差别有多大

这是全文最漂亮的一节（论文 Section 3.2）。作者在 LLaDA-V 的标准解码轨迹上，每一步同时跑两种前向：

• FULL 前向：正常含图前向，决定解码轨迹；
• TEXT-ONLY 前向：移除视觉 token、保留位置编码的纯文本前向，只记录输出不干预轨迹。

三个测量结果（十基准平均）：

第一个数字说明：大多数解码位置上，图在不在预测结果一样。第二个数字更尖锐：基线明明早就知道答案了，却还是每一步带着图重新算一遍，直到把它揭开。

更关键的是分布：图像依赖步骤的占比随任务剧烈变化——从 MMBench 的 7.9% 到 DocVQA 的 43.8%；在八个基准上依赖集中在早期去噪步，但 DeCapBench（详细描述）是反例；受影响的位置前中后段因任务而异。结论：固定调度（每 n 步读一次图）在原理上就无法匹配真实轨迹，必须按输入、按步骤自适应。

而那个暴露冗余的 TEXT-ONLY 前向，成本只有 FULL 的 3–10%——它天然就是「要不要读图」这个测试的廉价探针。

3.3 问题形式化

给定视觉 token v、提示 c、部分掩码响应 x_t，标准解码每步跑 FULL 前向取 top-1 预测与置信度，unmask 置信度最高的 k 个位置（k = 响应长度 / T）。要解的问题是：在每一步，用尽可能便宜的方式判断（a）当前响应状态需不需要图像；（b）解码可以安全推进多远——标准解码把这两个决策捆绑在一次 FULL 前向里，LOWN 要把它们拆开。

四、论文一：解法（Method）

4.1 锚点与证书

锚点（anchor）：每次运行 FULL 前向时，保留它在仍掩码位置上的 top-1 预测 ȳ 与置信度 s̄。这对 (ȳ, s̄) 就是锚点——最近一次「认真看过图」的判断。

证书（certificate）：每一步先跑 TEXT-ONLY 前向，把掩码位置按锚点置信度降序排列，从高到低扫描：若某位置的 TEXT-ONLY 预测与锚点一致（ŷ_text = ȳ），该位置被「认证」，可以不看图直接采用锚点预测；第一个分歧处终止扫描，形成置信度有序的认证前缀 U_text，其长度 |U_text| 由当前输入与步骤状态共同决定——这就是「阈值无关」的来源：没有任何超参数，接受多长完全由模型自己的预测一致性说了算。

两个预测一个见过图、一个没见过图，且来自不同的响应状态——它们的同时一致近似保证了两个条件：这一步不需要图，且锚点在状态变化后依然有效。作者进一步用重复词防护（repetition guard）堵住一个工程漏洞：同一 TEXT-ONLY 步接受的位置彼此独立预测，可能出现相邻位置拿到同一个 token，防护在扫描时切断这种配对。

证书可靠吗？ 论文用数据回答：对一步新的锚点，fresh FULL 前向只推翻 4.1–11.0% 的被认证 token；在 LOWN 自己的运行轨迹上，TEXT-ONLY 步 unmask 的 token 被推翻率仅 2.2–4.7%。且锚点很少变陈：94.8% 被接受 token 用的锚点来自上一步，最老不超过五步。

4.2 证书引导解码

每步的完整决策：

• 若认证前缀 |U_text| ≥ k（够走一步的量）：跳过 FULL 前向，接受整个前缀——注意是全部认证位置而不只 k 个，这就是「一步解多个 token」的来源；
• 若 |U_text| < k（证书不够用了）：跑 FULL 前向，整体替换锚点，并按「分歧优先」顺序 unmask k 个位置——TEXT-ONLY 与 FULL 预测不同的位置优先被揭开，保证被图改变的判断不被拖延。

两个分支都至少 unmask k 个 token，所以 LOWN 永不比基线多走步数，只可能更少。成本模型也很干净：R = f + σρ，其中 f 是 FULL 前向频率（证书压低它）、σ 是相对步数（整前缀接受压低它）、ρ 是 TEXT-ONLY 的单位成本比（输入构成决定，3–10%）。剪枝方法则只作用于 FULL 项的系数 π，两者在公式上是相乘的关系——这就是「正交可复合」的代数根源。

五、论文一：实验证据

5.1 主结果：0.35× FLOPs 保留 99.6% 分数

LLaDA-V 上十个基准（MathVista、ScienceQA、ChartQA、MME、MMBench、DocVQA、GQA、LLaVA-Bench、CapArena、DeCapBench）：

对比协议相当严格：竞争方法跑在离散超参网格上，每个格子取 FLOPs 至少不低于 LOWN 的最便宜设置——所有输给 LOWN 的方法花的算力都不比它少。LOWN 在十个基准中的八个上得分最高；99.6% 的平均里有四个基准反超基线（把每项封顶在 100% 重算也仍有 98.6%）。时间匹配版本（Table 10）结论不变：99.6% 对竞争方法至多 94.6%。墙钟层面，独立 LOWN 平均缩短生成时间 57.4%、最高 73.2%。

5.2 复合实验：新效率轴的自我证明

• + 视觉剪枝：与 RedVTP（50% 保留）组合达 98.3% @ 0.223× FLOPs，十个基准全部最高；为 RedVTP 再砍 57.6% FLOPs、为 ZOO-Prune 再砍 60.6%。一个精彩的对偶案例：MathVista 上「RedVTP-50% + LOWN」用 0.195× FLOPs 得 54.9 分，胜过「RedVTP-30% 单独」用 0.354× FLOPs 得的 51.7——少删一点图、多跳几步读，比多删图更好。
• + KV 缓存：与 Fast-dLLM 组合，在三项任务上再降生成时间 38.1–50.1%（再加速 1.61–2.01×）、FLOPs 再降 44.1–58.9%；组合后比模型单独解码快 5.6–7.0×。
• 跨骨干迁移：LaViDa 上以 0.174× FLOPs 保留 99.7%；VidLaDA-8B 视频基准 EgoSchema 60.2 vs 60.6 @ 0.255× FLOPs、MLVU 43.3 vs 41.8（反超）@ 0.272×——同一条规则不改一字迁移。

5.3 消融：钱是从哪两个口袋省出来的

Table 5 把 LOWN 拆成两个决策：

主要节省来自跳过 FULL 前向，自适应接受是任务依赖的加成——且它不等价于「少走几步」：直接把步数减半或减四，三个开放生成基准全面崩（Table 12），LOWN 在相近 FLOPs 下全部更高。

固定调度对照（Table 4）：Period 4 在 MathVista 上用与 LOWN 相近的算力低 4.0 分；与 LOWN 等频的随机调度被 LOWN 以 4.9–13.0% 的任务归一化质量优势压制——自适应的价值可以被随机对照直接量化。

证书逼近极限了吗：oracle 调度（只在图像真的改变决策的步骤读图）成本 0.33×，LOWN 实测 0.35×——距离理论上界只剩 0.02。且 oracle 仍每步跑一次前向，并非下界，真实空间还有余量。

5.4 机制验证：不丢信息是硬优势

与剪枝的对照案例（Figure 6、10）极具说服力：问图表峰值出现在哪个 Episode ID，RedVTP 剪掉了含答案的 x 轴刻度 4.0，回答流畅但错误（2.5）；LOWN 读图步骤少，但每次 FULL 前向看的是完整图，答对。LOWN 的 FULL 步集中在视觉接地的内容上，语言衔接交给 TEXT-ONLY——这就是「按需读图」的定性画像。局限也诚实写在文中：DocVQA 这类高视觉依赖任务收益小（全文 0.45×，最差样本只到 0.90×，15 步里 14 步需要读图）。

六、论文一：知识反推——复现它你需要知道什么

领域层：

• DVLM 的掩码去噪解码循环：全掩码起点、每步 unmask k 个、置信度排序、低置信度重掩码——不知道这些就无法定义「锚点」和「认证前缀」；
• 双向注意力为何阻断精确 KV cache（因果掩码不存在，每个位置的键值随序列状态全部变化）——这是问题存在的物理前提；
• 位置编码保持的窍门：TEXT-ONLY 前向删 token 但保留位置 ID，避免分布漂移——一个不起眼但关键的工程细节；
• FLOPs 解析式与二次注意力项：C(n) = L·(8nd² + 4n²d + 6ndm) + 2nd|V|——理解 ρ 为何远小于长度比（n 缩 9–33×，二次项缩平方倍）全靠这一项。

方法论层：

• 「验证-复核」结构：便宜计算为昂贵计算背书。它与投机解码的 draft-verify 同构，但证书的语义更强——它验证的是「输入条件可省略」而非「token 可接受」，且接受长度自适应而非固定块；
• 测量协议设计：TEXT-ONLY 只记录不干预，保证轨迹是基线的——对照实验「只测不动」的纪律；
• 等预算对比协议：竞争者在离散网格上取「不低于 LOWN 预算的最便宜设置」，把「赢了但花得更多」的口子焊死。

融合关键节点：把「两个前向的 top-1 一致」这个免费可观测的信号升级为决策货币——一致性同时近似了「图不需要」与「锚点仍有效」两个本来不可测的条件。方法没有发明任何新数学，只是把一次测量实验里的对照量直接变成了运行时的控制量。

七、论文一：通用灵感

1. 按需计算的前提是冗余可测量。LOWN 的第一步不是设计方法，而是测量「拿掉输入 X 预测变不变」。任何昂贵输入（长上下文、检索文档、工具观测）都可以先做这个对照实验——如果一致率高，一条新的效率轴就出现了。
2. 一致性证书：用便宜验证换昂贵计算。无参数、无阈值、免训练的「减法式」机制。凡是「昂贵计算 + 便宜近似」并存的系统（物理仿真、大规模检索、编译器优化 pass），都可以问：便宜近似与上次正式结果一致时，能否跳过正式计算？
3. 接受长度让数据自己决定。第一个分歧处截断，比任何固定阈值都更贴合任务异质性——把超参数换成内生信号，是方法泛化的捷径。
4. 不丢信息的省 vs 有损的省要分开记账。剪枝是永久信息损失，LOWN 只是推迟访问。在需要细粒度证据的任务（文档、图表）上这个差别是决定性的——选效率方案先问：错误模式是「不会答」还是「答得流畅但错」。
5. 正交复合是新方法最有力的自我介绍。LOWN 同时与剪枝、缓存相乘获益，证明自己站在既有方法够不着的新轴上。评估自己的方法时，也可以做「与最强同类复合」的实验：能复合说明补位，不能复合说明同位竞争。

第二篇：CoSTA——用短序列生成，用长序列合成

八、论文二：题目与背景

8.1 题目拆解

「CoSTA: Compressed Speech Token Adaptation for Efficient Spoken Dialogue Models」：

• Compressed Speech Token：用 BPE 把语音 token 序列压短作为生成单位；
• Adaptation：不是训练新模型，而是对既有 SDM 做「后置适配」（post-hoc adaptation）；
• 名字本身是个双关——CoSTA 读起来像 cost-a，而它做的事恰好是把语音生成的 cost 降下来。

8.2 背景：生成与合成的耦合枷锁

语音对话模型让 LLM 直接「说」出语音：输入用户语音，输出交错的文本 token 与语音 token，后者交给语音解码器合成波形。问题在于：现有 SDM 几乎都用同一个 token 空间既做自回归生成、又做语音合成。25 Hz 的 tokenizer 意味着一分钟语音约 1500 个 token——自回归步数、文本-语音对齐难度、长上下文建模成本全部随之膨胀，实际体验上就是响应慢、预算消耗快、持续交互轮数少。

8.3 既有路线的三个坑

低码率 tokenizer（12.5 Hz、语义压缩等）能缩短序列，但：一是激进降码率引入压缩-质量折衷；二是更换 tokenizer 需要把 tokenizer、配对语音解码器、SDM 一起重训或适配，成本高昂；三是本质问题——这条路依然让生成与合成共用同一空间，耦合没有解开。CoSTA 的问题因此被表述为：能否解耦「自回归生成用的 token 空间」与「语音合成所需的空间」，同时原封不动地保留原 tokenizer 与解码器？

九、论文二：定位与核心发现

9.1 定位：兼容保留式后置框架

CoSTA 定位为「compatibility-preserving post-hoc framework」：动 LLM 的生成空间，不动语音侧任何组件。这与 LOWN 的「不改参数」精神同源——都选择做现有资产上的叠加层而非替换层。

9.2 发现一：语音 token 的 BPE 压缩有 scaling 规律

语音 token 序列里充满重复局部模式，天然适合 BPE 无损压缩（「无损」指可逆的 token 切分：压缩序列可被确定性展开 π(z) 精确还原）。作者在八种 tokenizer 配置（GLM-4-Voice、S3Tokenizer V1/V2/V3、Mimi、Qwen3-TTS、mHuBERT 等）上把新增 BPE 词表从 10K 一路翻倍到 320K，发现压缩率 ρ 随 log₂ 词表大小近似线性下降，拟合 R² ≥ 0.98；跨数据源与语言同样成立（R² ≥ 0.994）。

这条 log-linear 规律是方法的地基：语音 token 的可压缩性是持久、跨配置、可预期的——加词表就能按对数规律换压缩率，这让「用压缩表示做生成」从巧合变成了可规划的工程。

9.3 发现二：解耦的钥匙是确定性展开

BPE 的展开映射 π 是确定性的——这把钥匙同时打开两把锁：生成端可以用短序列省自回归步数，合成端可以在解码器之前无损还原原始 token 流。生成-合成 token 空间解耦（generation–synthesis token-space decoupling）由此成立：LLM 在扩展空间 V’ = V ∪ (Z\S) 里生成，语音解码器看到的仍是它认识的 S。

十、论文二：解法（Method）

三步适配 + 一个推理期插入件：

10.1 第一步：均值初始化的词表扩展

为每个新增 BPE 单元 z（其展开 π(z) = (s₁,…,s_k) 已知）初始化 embedding 与 LM head 行——直接取其 k 个组成 token 对应行的平均。直觉：一个 BPE 单元的语义约等于其成分的平均；这比随机初始化稳定得多（训练损失曲线实证：收敛更快、梯度范数更平稳，在大学习率下优势尤其明显）。原始词表参数一律冻结不动。80K 新增单元只占原模型参数的约 6%。

10.2 第二步：发音适应（渐进式两阶段）

在压缩 TTS 数据上（中英文各 300 小时 Emilia 语音，经 Seed-VC 统一音色）训练 LLM 自回归预测压缩目标序列——只压语音 token，文本 token 原样保留交错排布。训练分两阶段：

• 阶段一（50% 数据）：只训 embedding 与 LM head，学习率 1.6e-4——先校准新词表参数；
• 阶段二（50% 数据）：解冻中间层，学习率 2.0e-5——完成全模型发音适配。

10.3 第三步：对话适应（决定性一步）

发音适应只教会模型「在文本提示下用压缩 token 念话」，还没教会「在语音对话里用」。第三步在约 5 万条压缩语音到语音对话数据上（InstructS2S-200K 中英指令、Qwen3-32B 生成回复文本、CosyVoice 2 用一致音色合成）继续训练，更新全部 LLM 参数，冻结语音编码器、适配器与语音解码器。

这一步有多关键，消融给出了全文最戏剧性的数字：去掉它，G-Eval 从 72.27 暴跌到 24.35——模型退化成只会复述问题、不会对话，压缩率也从 66.73% 退到 81.05%。机制分析显示：没有对话适应的模型既更少用 BPE 单元（覆盖率 51.64% → 36.71%）、用的单元也更短（平均展开 2.608 → 2.175）——压缩发音能力必须被迁移到对话分布上才算数。

10.4 推理：确定性展开插在解码器之前

适配后的 SDM 生成交错的文本与压缩语音 token；只对语音 token 流做 BPE 展开（原 token 不动、BPE 单元还原为组成序列），送入原封不动的语音解码器。训练总成本约 79.5 A100 GPU 小时（8 卡不足十小时墙钟），作为一次性投入摊销在后续所有推理节省上。

十一、论文二：实验证据

11.1 模型侧效率：1.736× 生成加速

URO-Bench 12 个中英文数据集、vLLM 流式推理：

Vanilla-FT 一列是关键对照：同样的数据、同样的训练，只是不压缩——速度纹丝不动。效率增益干净地归因于 BPE 压缩本身。

11.2 系统侧：延迟与吞吐的兑现

单张 A100 80GB、并发 1/4/8（AlpacaEval-zh / AlpacaEval）：

• 中文全响应延迟相对基线降 32.8–39.0%（并发 1：10.73s → 7.14s），吞吐升 51.6–59.2%（0.103 → 0.160 req/s）；
• 英文延迟降 22.4–26.0%（12.50s → 9.25s），吞吐升 25.8–38.6%；
• 峰值显存至多多 0.68 GiB（80K 新词表的存储代价）。

首包延迟分解（附录）同样诚实：LLM 解码分量从 164.42 ms 降到 122.98 ms（中文，−25.2%），端到端首包只降 9.4%——因为 prefill 与语音解码器不变。省的是自回归段，长响应里复利累积。

11.3 质量：不降反升的对齐

最反直觉的是 ASR-CER/WER 的大幅下降：压缩生成不但没伤文本-语音对齐，反而改善了它——一次解码一个 BPE 单元，天然保证了成分 token 的一致性。人评（六位评审、1080 份响应级评分）同向：对基线与 Vanilla-FT，流畅度 win-or-tie 86.1–96.1%，语义质量 83.3–87.7%。与 Qwen2.5-Omni、Kimi-Audio、GLM-4-Voice 等外部参照比，CoSTA 质量相当或更好。

11.4 有限预算下的持续交互

把每 10 个查询打包为一个压力测试会话（限生成预算）：CoSTA 中文撑住 7.21 轮、英文 5.79 轮，Vanilla-FT 只有 3.71 / 1.84 轮——同样预算下多出一倍交互轮数，且生成的语音总时长更长（150.67s vs 97.62s，中文）。对按 token 计费的部署场景，这是最直接的商业价值。

11.5 词表规模的三方权衡与跨架构迁移

词表扫描（AlpacaEval-zh）：10K → 80K 压缩率 76.66% → 67.50%、速度 78.67 → 103.03 tokens/s、质量爬升；160K 再压到 63.62% 但速度只再涨 1.1%、G-Eval 反从 81.36 掉到 78.87。附录的输出层解剖给出了「为什么」：LM head 投影延迟从 0.6902 ms 涨到 1.3598 ms（+97.01%），归一化输出层成本从 0.925 升到 1.152——压缩收益终将跑不赢每步开销，80K 是三方平衡点。

跨架构：迁移到架构、tokenizer（12.5 Hz GLM-4-Voice）、解码器都不同的 OpenS2S，语音 token 步数中文再减 21.17%、英文减 18.64%，G-Eval 与对齐仍优于同数据微调——在原生低码率 tokenizer 上还能再压，证明与低速率 tokenization 正交互补。

十二、论文二：知识反推——复现它你需要知道什么

领域层：

• 交错生成式 SDM 的运行方式：文本与语音 token 按固定比例交错、语音解码器消费原始 token 流——不懂这个耦合就看不懂「解耦」解在哪里；
• BPE 的编码-展开机制与「无损可逆」的准确含义；把整数 token ID 映射到 Unicode 字符再训 BPE 的工程桥接；
• 嵌入与 LM head 的结构对称性：新增词表 = 同时插 embedding 行与输出投影行，均值初始化对两者同构适用；
• URO-Bench 三维评估（G-Eval 用 GPT-4o mini 给转写打分、UTMOS 预测语音 MOS、WER/CER 度量文语对齐）——三把尺子分别量内容、音质、一致性，缺一不可。

方法论层：

• 渐进式解冻适配：先训新参数再放开主干，对应「新参数先校准再融入」的普适训练纪律；
• scaling 实验设计：10K–320K 六档、训练集学词表/测试集固定评估、训练-测试一致性单独验证（斜率差 0.25–1.46 pp）——把一个经验规律做扎实的标准姿势；
• 成本-收益边际分析：输出层延迟随词表线性涨、压缩率按对数线性降，交叉点即实用上限——会画这张交叉图，才能回答「为什么不加到 320K」。

融合关键节点：把 BPE 从「压缩算法」重新理解为「可逆的生成接口」——它恰好同时满足「生成端更短」与「消费端零改动」两个约束。再乘上 log-linear 压缩规律（保证这条路可规模化），一个文本处理领域的古典工具就这样在语音对话模型上复活。

十三、论文二：通用灵感

1. 解耦接口优于替换组件。换 tokenizer 要连坐重训三个组件；CoSTA 在两个接口之间插一层可逆映射，两边都不动。系统设计里，凡「A 的输出格式 = B 的输入格式」被当成理所当然的强耦合，都值得问一句：中间能否加一个无损翻译层？
2. 先找到 scaling 规律，再做工程决策。R² ≥ 0.98 的 log-linear 规律把「加多少词表换多少压缩」变成可查表的规划问题。任何资源换性能的设计（缓存容量、索引粒度、专家数量）都值得先扫一遍规模曲线。
3. 新参数的初始化应继承旧语义。BPE 单元的 embedding 取成分均值，本质是「新符号的意义 = 成分的组合」——词表扩展、检索索引、分类体系新增节点，都可以用「组合语义初始化」降低适配成本。
4. 能力迁移要过分布关。发音适应学到的东西不等于对话里会用——G-Eval 从 72 到 24 的悬崖提醒我们：在 proxy 分布上学到的能力，必须在目标分布上补一课，微调管线里的「最后一公里」阶段往往不可省略。
5. 命名即产品。CoSTA 谐音 cost-a、LOWN 谐音 low-end 开销——好名字让方法的卖点可以被念出来。

十四、两篇对比与交汇：多模态推理效率的两种正交解法

14.1 一张表看清正交性

两条轴在概念图上互相垂直：LOWN 不改变每次前向处理什么，只改变前向发生的频率与条件；CoSTA 不改变解码循环结构，只改变循环步数的计量单位。一个 DVM 类系统理论上可以同时拥有「按需读图」与「压缩表示」，就像 LOWN 与剪枝、CoSTA 与 12.5 Hz tokenizer 各自的复合实验所示。

14.2 交汇点一：冗余先测量，方法后设计

两篇论文的第一节都不是方法，而是测量。LOWN 用 83.4% 的预测一致率钉死「大多数步骤不需要图」；CoSTA 用跨八种配置的 log-linear 规律钉死「语音 token 持续可压缩」。测量先行意味着效率主张有物理基础，方法只是把测量结论机械化——这比「先有方法再找解释」的工作更难被推翻。

14.3 交汇点二：无损是底线，信号是免费的

两者都拒绝了有损捷径：LOWN 不删任何视觉 token（对比 RedVTP 在图表题上剪掉答案刻度的失败案例），CoSTA 不碰原 tokenizer 与解码器（BPE 展开精确还原）。支撑无损可行的，是两个系统内部免费可观测的信号：预测一致性不需要任何标注，BPE 展开规则不需要任何模型。好信号的标准在这两篇里高度一致——可靠、免费、内生。

14.4 交汇点三：复合实验是新效率轴的资格认证

LOWN 与 RedVTP/ZOO-Prune/Fast-dLLM 的相乘获益、CoSTA 在原生 12.5 Hz tokenizer 上的再压缩，都在说同一句话：我不在你的轴上跟你内卷，我开了一条新轴，并且你的成果在我的轴上依然成立。评估自己的效率方法时，「与最强同类复合后是否仍获益」是一个比排行榜更硬的指标。

14.5 差异的启发：训练成本该花在哪

LOWN 选择零训练（决策信号足够强，无需学习），CoSTA 选择花约 80 GPU 小时（压缩 token 的用法必须学）。两篇合起来给出一个决策框架：当冗余可以用系统内信号免费检测时选免训练；当效率方案改变生成分布、需要模型重新适应时，把训练花在「最后一公里的分布迁移」上（CoSTA 的对话适应占三步中最关键的一步，同理可推）。

十五、结语

推理效率研究正在从「把模型变小」走向「把计算花对」。本篇精读的两篇论文是这句话的两种具体写法：LOWN 让扩散视觉语言模型在每一步去噪前先自问「这步还需要看图吗」，用一张一致性证书把 65% 的解码算力退了回去；CoSTA 让语音对话模型用压缩 token 说话、用原始 token 发声，在解码器毫不知情的情况下快了 1.7 倍。

它们共同指向的范式可以概括为三句话：

1. 昂贵输入的必要性是可以测量的——83.4% 的预测一致率与 log-linear 压缩规律，都是方法动手前就摆上台面的证据；
2. 无损的跳过与压缩优于有损的删减——图可以晚点看，但要看就看全的；话可以用短序列说，但合成必须一字不差；
3. 新效率轴以「可复合」立身——两条正交的轴各自与既有方法相乘获益，说明多模态推理的效率空间还远未填满。

对从业者而言，两篇论文的可迁移清单也很具体：任何含「昂贵条件输入」的生成系统都值得做一次 LOWN 式的对照测量；任何「生成端-消费端格式耦合」的管线都值得做一次 CoSTA 式的可逆解耦。下一个 99.6% 和 1.736×，大概率就藏在你手头系统里那个从未被质疑过的默认均匀分配里。

（完）