论文链接：

• A Broader Look into MLLM’s Retrieval Heads (arXiv:2610.32411)
• Multi-Token Prediction Done Right (arXiv:2610.38331) 代码：Soft-MTP 开源于 github.com/JaydenTeoh/Soft-MTP；论文一未提供代码链接 发表时间：论文一 2026 年 10 月 23 日提交（cs.CL）；论文二 2026 年 10 月 28 日提交（cs.LG） 机构：
• 论文一：中科院信息工程研究所 + 中国科学院大学网络空间安全学院 + 腾讯（企业-高校合作）
• 论文二：MIT，单人作者 Jayden Teoh（实验 mostly funded by Jayden，自费在 Vast.ai 租 8× RTX PRO 6000） 领域标签：cs.CL / 多模态可解释性与长上下文检索；cs.LG / LLM 预训练目标与优化

一、引言：两种「先看清机制，再动手术」的研究

机制研究长期面临一个尴尬的质疑：把模型内部画成一张张热力图，然后呢？2026 年 10 月下旬的这两篇论文，恰好给出了机制研究「然后呢」的两个标准答案——分析出的机制不但能解释模型，还能直接变成模型的改进点，而且改进的方式小得惊人。

第一篇来自中科院信安所、中科大与腾讯的合作团队，题目是 A Broader Look into MLLM’s Retrieval Heads。所谓检索头（retrieval head），是语言模型里一小撮把上下文中的证据信息搬运到输出位置的注意力头，此前已被证明稀疏存在、且对长上下文检索至关重要。这篇论文问的是两个递进的问题：当模型的输入模态从文本、图像扩展到音视频时，这套检索机制是重新长出来的，还是沿用下来的？以及，如果看清楚了这套机制，能不能反过来拿它当优化目标？答案令人满意：配对实验下音频证据与视觉证据招募的检索头重合 69%–83%；消融 top-5% 检索头让 Qwen2.5-Omni-7B 的音频检索 EM 从 98.3% 直接归零；而把检索头注意力当排序分做 LoRA 排序训练后，MMDocIR 页面 Micro R@1 从 56.45 升到 62.48，超过 ColPali 的 54.58。

第二篇是 MIT 的单人作者工作 Multi-Token Prediction Done Right。多 token 预测（MTP）已是 DeepSeek-V3/4、Nemotron 3、GLM-5、Kimi K3 等前沿模型的标配，但作者发现标准 MTP 交叉熵梯度可以被精确分解成两部分：一个恰好是 KL 自蒸馏梯度（把 MTP 头拉向模型自己的下一 token 分布，正是投机解码想要的），另一个是低信噪比残差——它约占流向共享主干的 MTP 梯度的 80%，SNR 却比 KL 项低 4.1–4.6 倍，而且规模越大越吵。解法不是设计新损失，而是一行代码的直通梯度路由：h0[:, k:] += hk.detach() - hk，把残差从反向传播里精确减掉。结果是在 167M 到 1.2B 的每个规模上，NTP 困惑度、零样本精度、投机解码速度、数学与代码微调全都不输甚至超过标准 MTP，且零参数、零开销。

两篇论文一篇看注意力（空间上的「在哪里」），一篇看梯度（动力学上的「往哪走」），表面上分属多模态可解释性与预训练优化两个领域。但逐段读完全文后会发现它们共享一条方法论主线：先定义一个可精确测量的机制量，用严格的对照实验确立其因果角色，然后把干预收束到一个极小的作用点——论文一是 LoRA 级（只训练选定头上的排序损失），论文二是一行级（只改一行张量运算）。这正是「机制研究如何变现」这一问题的两个互为镜像的范本。

本篇按惯例先逐篇深读（题目/背景/定位/问题定义/解法/知识反推/通用灵感），最后回到两篇对比与交汇。

第一篇：A Broader Look into MLLM’s Retrieval Heads——检索头机制的全景与变现

二、论文一：题目与背景

2.1 题目拆解

题目里的 Broader 是全文的纲领，它同时在三个维度上拓宽了检索头研究的边界。其一是模态更宽：此前对检索头的分析局限于文本与图文，本文把音频-视觉输入作为新增模态纳入考察；其二是模型更宽：横跨语言、视觉语言、统一、全模态（omni）四组共 18 个 checkpoint，其中多条骨干→omni 的适配链路让「机制是否被保留」可以被直接度量；其三是用途更宽：从「分析检索头」走到「优化检索头」，把可解释性透镜变成优化目标。MLLM’s Retrieval Heads 则把对象钉死在多模态大模型的语言解码器内部的那些注意力头上。

2.2 背景：从文本检索头到「机制能否随模态扩展」

检索头的概念来自长上下文语言模型研究：Wu 等人在 ICLR 2025 的工作发现，一小撮注意力头负责把上下文中的相关信息搬运到输出位置，消融它们会 sharply 降低长上下文检索精度。此后 QRHead 把检测方法扩展到查询-证据注意力（可在真实问答任务上定位检索头），MMRetHead 进一步把分析推进到视觉语言模型，发现视觉证据的检索同样依赖稀疏的头集合。

但这条研究线留下两个悬而未决的问题，正是本文的出发点。第一，模型每新增一种输入模态，检索机制是重新学一套，还是复用旧的一套？这不只是好奇心的追问——如果模态扩展会破坏既有的证据定位机制，长上下文能力就会成为多模态化的隐性代价。第二，此前的工作几乎都停在分析层面，机制理解如何转化为模型改进，探索很少。论文的摘要给了剧透式的回答：功能性注意力头既可以是理解多模态模型的透镜，也可以是改进它们的目标（both an interpretability lens and an optimization target）。

三、论文一：定位与问题定义

3.1 定位：一篇「分析 + 方法」的双章论文

这篇论文的定位在结构上就很清楚：第 3–4 节是机制分析（统一检测框架 + 四个发现），第 5 节是方法落地（检索头引导的文档排序）。它不是纯粹的可解释性论文——四个发现最终都要为第 5 节的优化服务；也不是纯粹的方法论文——排序训练的合法性建立在第 4 节的因果证据之上。这种「分析为方法铺路、方法为分析收账」的结构，是它区别于多数机制研究的关键。

3.2 两个研究问题

论文明确提出两个问题。问题一：随着输入模态扩展，同一套检索机制是否随之扩展？这包含两个子问题——不同模态的证据是否共享同一批检索头（跨模态共享），以及模态适配后的模型是否保留了骨干的检索头（继承性）。问题二：这套机制能否作为改进多模态模型的基础？论文选择多模态文档检索（MMDocIR）作为试金石，因为证据定位天然提供排序信号。

回答问题一的关键实验设计是配对输入：同一段背景视频、同一个问题、同一个六位数答案，唯一的差别是答案要么被合成语音念出来（音频条件，视频轨不变），要么以居中横幅的形式在屏幕上显示一秒（视觉条件，音频轨不变）。证据内容完全固定、只有证据模态在变——这样测出来的头的差异才能干净地归因给模态本身。

四、论文一：解法（Method）

4.1 统一的检索头检测：校准分数

检测框架的核心是一个校准的注意力分数。对每个样本 i，记问题 token 位置集合 Q_i、证据 token 位置集合 G_i，头 (l,h) 的证据注意力为

u_lh^(i) = (1/|Q_i|) Σ_{q∈Q_i} Σ_{t∈G_i} a_lh^(i)(q,t)，

即问题 token 对证据 token 的注意力总和。但其中一部分注意力反映的是与问题无关的位置或内容偏好，于是参照 MMRetHead 的做法，在同一上下文上换一个无信息问题重算一遍得到 u_lh^(i,∅)，定义校准检索分数

s_lh = (1/N) Σ_i ( u_lh^(i) − u_lh^(i,∅) )。

除非另有说明，检索头即按 s_lh 排序的 top 5%。这个「减基线」的校准思想会贯穿全文——不仅用于检测，还用于第 5 节排序推理时的打分。

4.2 检测数据与 18 个 checkpoint

检测用到三类带证据标注的基准：文本侧用 LongMemEval 与 QRHead 处理过的 Natural Questions 的证据标注子集；图文交错侧用 MM-NIAH；音视频侧则是自建的配对 AV-NIAH——六位数 needle 插入 MLVU 背景视频，语音或横幅的时间跨度映射到对应的音频/视频 token 形成证据 span，问题固定为 What is the secret number?，背景长度 100 秒（约 8K token）与 300 秒（约 24K token）两档。

被分析的 18 个 checkpoint 分四组：语言组 Qwen2.5-3B/7B、Qwen3-4B/8B；视觉语言组 Qwen2.5-VL-3B/7B、Qwen3-VL-4B/8B、MiniCPM-V-4.5；统一组 BAGEL-7B；全模态组 Qwen2.5-Omni-3B/7B、MiniCPM-o-2.6/4.5、SALMONN 2+ 3B/7B、SALMONN Pro 4B/8B。多条 omni 模型恰好由同集合内的语言或视觉语言骨干适配而来，继承性分析因此成为可能。所有测量都落在产出文本响应的语言解码器上（如 Qwen2.5-Omni 的 Thinker）。

4.3 干预协议：层匹配随机消融与超额下降

注意力分数只能提供相关性，因果性靠消融检验。 Protocol 相当讲究：把头集合 S 中每个头的输出在注意力输出投影前置零；对照组不是随便消融同样数量的头，而是每一层等量抽取、且从检索头之外抽取的随机头（三个种子）。定义 E(S) = r̄ − t（匹配随机消融的平均分减去消融 S 后的分数），E 大才说明移除 S 远比移除同样分布的其他头更有破坏性。所有消融都用与头选择不相交的留出样本，显著性用配对簇 bootstrap 检验加 Holm 校正。这一套「层匹配 + 超额下降 + 多重比较校正」的纪律，是全文四个发现可信度的基石。

4.4 检索头引导的文档排序：从机制到优化

第 5 节把检索头变成优化目标。任务定义在 MMDocIR 上：给定一个问题和同一文档的 m 个候选（页面粒度的整页截图，或布局粒度的段落/表格/图片区域），按相关度排序。对固定的检索头集合 H_k，候选 d_j 的得分为

r_j(θ) = Σ_{(l,h)∈H_k} (1/|Q|) Σ_{q∈Q} Σ_{t∈T_j} a_lh^θ(q,t)，

即把检测用的证据注意力公式直接对选定头求和、把候选当作证据 span——检测度量和排序度量是同一个量，这是「机制即方法」的直接体现。

训练分三步。第一步头选择：在基础模型上检测一次（按 MMRetHead 的做法合并四个多模态检测条件下的检索头、保留得分最高的 k 个，默认 k=16），训练与推理期间保持固定。第二步分数归一化：原始注意力分数范围小且波动，在每个样本内做 z_j = γ(r_j − b)/Δ，其中 b 与 Δ 是 stop-gradient 的最小值与极差，γ 设定 logit 尺度——端点 detach 把 logit 范围固定在 [0, γ]，梯度仍能流过每个 r_j。第三步排序损失：每个训练样本含一个相关页与一个来自同一文档的难负例，最小化 L_rank = −log( exp(z_{j+}) / Σ_j exp(z_j) )。损失只定义在选定头上，但其梯度更新注意力投影上的 LoRA 适配器。推理时候选按 r_j 减去无信息问题下的得分排序——校准思想再次出现。

五、论文一：实验证据

5.1 发现一：稀疏性——语音证据也走老路

对八个 omni 模型、两种证据模态，校准分数都高度集中：少于十分之一的头贡献了每个模型总正分数的一半，高分坐标集中在中间层与中后层。文本与图文上报告过的稀疏性，在语音证据上同样成立。这为后续所有分析提供了前提：检索机制不是弥漫在全网的，而是可定位的。

5.2 发现二：跨模态共享——念出来与显示出来用的是同一批头

配对比较的结果非常整齐：top-5% 头在音频与视觉两个条件下的重合率为 69%–83%（具体如 Qwen2.5-Omni-7B 为 32/39、SALMONN Pro 8B 为 41/58），而独立随机集合的重合期望少于 3 个头。全排序的 Spearman ρ 在八个模型上为 0.88–0.92，且留出任何一个检测视频、或换用 300 秒背景，结论都保持。更有意思的反向证据是：当语音数字与 MM-NIAH 的自然图像证据相比时，相关性明显下降——头的招募取决于检索目标的内容，甚于证据的模态。同一个数字串无论被念出还是被显示都走同一批头；换了检索目标，头集才部分换血。

5.3 发现三：继承性——omni 化不推翻骨干的检索头

固定文本检索任务，沿骨干→适配模型的链路比较头分数：所有配对都保持强相关，阴影区标出 ρ≥0.95。其中 SALMONN 系与其视觉语言骨干几乎相同（ρ≥0.97），Qwen2.5-Omni 也与它的语言骨干保持接近。结合发现二，这说明音视频适配大体上是复用骨干的检索头、并把它们扩展到新证据模态上，而不是另起炉灶。

5.4 发现四：因果角色——2% 的头撑起一片天

消融实验给出全文最戏剧性的数字。在 Qwen2.5-Omni-7B 上，消融 top-5% 检索头使音频检索 EM 从 98.3% 跌到 0，而层匹配随机消融后仍保留 96.9%；四个测试模型全部如此，视觉检索在两种背景长度下也被大幅削弱（例如 Omni-7B 视觉 100 秒 98→1、300 秒 99→0）。效果对头集选择不敏感：top-20 头已能移除大部分音频检索；跨模态共享的 AV-shared 头（同时出现在音频与视觉 top-20 集中，约 9–14 个，不到全部头的 2%）同样使音频检索远超随机地下降，且在 Qwen2.5-Omni-7B 上也压低视觉检索、效应随上下文变长而增大。

AV-shared 这个小子集的角色远不止 AV-NIAH。在八个下游基准上（文档问答 MMLongBench-Doc、视觉感知 CV-Bench、CountBenchQA、综合推理 MMStar/MMMU/MMMU-Pro、视觉数学 MathVista/MathVision），消融 AV-shared 头在所有任务上都造成超出随机消融的额外下降，最强的是视觉数学与空间感知：Qwen2.5-Omni-7B 上 MathVista 额外降 22.3 个点、CV-Bench 降 16.3 个点、MathVision 降 8.2 个点；SALMONN Pro 4B 上 MathVision 降 18.8、CV-Bench 降 14.8、MMLongBench-Doc 降 10.0。与等量的自然图像检索头对照相比，AV-shared 头的效应在 16 个模型-任务对中 15 个更强（Holm 校正后 AV-shared 在每个模型 4/8 任务上显著，图像检索头至多 1/8）。跨模态共享由此筛出了一个对广泛多模态推理至关重要的紧凑头集。

5.5 排序训练：MMDocIR 上的主结果

机制分析的合法性直接转化为排序训练的效果。共享同一配置下的对比（Qwen3-VL-8B，k=16）：

三个层次的读法。第一，训练前检索头已远超随机头（页面 56.45 对 38.00），印证其在证据定位中的角色。第二，排序训练把页面 Micro R@1 再提 6.03 个点至 62.48，且十个文档域全部改善；布局检索在完全没有布局监督（训练数据只有页级标签）的情况下也提升 1.46 个点——页级训练迁移到了更细粒度。第三，62.48 超过了已发表检索器中最强的 Col-Phi3-MMDocIR（57.10）与 ColPali（54.58），但论文诚实地注明各家评估设定不同，受控对比是同设定下相对未训练检索头的增益。

5.6 跨家族泛化与稳健性

同一配方在三个模型家族上全部有效：Qwen2.5-VL-7B 页面 R@1 52.41→58.10（+5.69）、Gemma3-12B 44.75→46.92（+2.17），布局粒度三者均升。域外方面，MMMU、MMMU-Pro、MathVista、MMLongBench-Doc 四个基准训练前后变化都在一个点以内（部分组合还略有提升）——排序训练没有伤害通用能力。头数消融显示 k 从 4 到 64 的每一档、每个 recall 截止上训练都带来提升（页面 R@1 增益 +5.31/+5.80/+6.03/+5.31/+4.89），随机头也能从训练中受益但始终远低于检索头：功能性头的选择在排序训练之后依然重要。

六、论文一：知识反推——复现它你需要知道什么

领域层：

• 检索头谱系：Wu et al.（ICLR 2025）以答案复制行为定义检索头 → QRHead（EMNLP 2025）改为查询-证据注意力、可在真实 QA 上检测 → MMRetHead 把校准分数与因果消融搬到视觉语言模型；本文的检测公式直接继承 MMRetHead，创新在配对设计与优化转化；
• 基准地图：长上下文文本检索用 LongMemEval 与 QRHead 处理的 Natural Questions；图文用 MM-NIAH；长视频背景来自 MLVU；文档检索评测 MMDocIR 有页面/布局两个粒度、Micro（按问题平均）与 Macro（按十个文档域平均）两种口径，基线从 DPR、ColBERT、DSE 到 ColPali、Col-Phi3；
• 模型谱系：Qwen2.5/Qwen3 语言与 VL 系列、Qwen2.5-Omni（测量其 Thinker）、MiniCPM-V/o 系列、BAGEL（测量其理解专家）、SALMONN 2+/Pro 系列——选择它们的关键理由是存在骨干→适配模型的成对链路；
• 工具件：LoRA 适配器（梯度只进注意力投影的 LoRA）、层匹配随机消融、簇 bootstrap 与 Holm 校正。

方法论层：

• 校准分数三件套：证据注意力求和、无信息问题基线、逐样本作差取均值——「减基线」同时服务检测与推理打分，一个思想两处复用；
• 配对实验设计：固定证据内容、只动证据模态，是「机制共享 vs 内容共享」归因的唯一干净解法；对照地，换检索目标（自然图像证据）会显著降低相关，构成机制边界的三点定位；
• 消融的对照纪律：层匹配、数量匹配、检索头之外抽取、三个种子、留出样本、E(S) 超额下降指标、Holm 多重比较校正——缺任何一环，2% 头集的因果主张都会被质疑；
• 排序训练的工程细节：头集训练期冻结、min-max 归一化端点 stop-gradient、γ 设定 logit 上限、每样本一正一难负、LoRA 承接梯度、推理减无信息问题分数；
• 敏感性检查：留一检测视频、300 秒长背景、top-20/top-5%/AV-shared 三种头集口径互相印证。

融合关键节点：识别出被分析出的机制量本身就是可训练的评分函数。第 3 节的检测公式与第 5 节的排序公式是同一个量——一旦意识到这一点，「分析→优化」的转化几乎是自由的，剩下的只是归一化与排序损失的常规工程。反之，如果没有第 4 节的因果证据（消融归零、2% 头集的下游效应），直接端到端微调整个模型也能涨点，但那就不是机制研究而是普通方法论文了。

七、论文一：通用灵感

1. 模态扩展时的能力保值是可以审计的。omni 化大体继承骨干检索头这一事实，给「加模态不丢能力」提供了一种可操作的验收方式：对比适配前后的机制相关系数（如 Spearman ρ），而不是只看下游分数。
2. 配对设计是归因的黄金标准。只变模态、不动内容，才能把头的共享归因给机制而非内容；这个原则适用于一切「同一信息、多种表面形式」的机制比较。
3. 因果主张需要 matched control。「消融后掉分」不构成因果证据，「比层匹配随机消融多掉的分数」（E(S)）才是；超额下降 + 多重比较校正应该是注意力干预类工作的默认配置。
4. 小子集是大杠杆。不到 2% 的头集同时支撑音视频检索与广泛的下游推理——无论对模型压缩（这些头不能动）、定向修复（只动这些头）还是推理加速（只缓存这些头的 KV），这都是高价值地图。
5. 可解释性度量的最高境界是变成损失函数。检测分数即排序分数的设计提醒我们：如果机制量是可微的，分析与优化之间只隔一层归一化。
6. 校准（减基线）是贯穿性的小技巧。同一个「减去无信息问题」的操作既提升了检测信噪比，又改善了推理排序，一鱼两吃。

第二篇：Multi-Token Prediction Done Right——把好梯度从噪声里捞出来

八、论文二：题目与背景

8.1 题目拆解

题目的态度藏在 Done Right 两个字里：MTP 已经被广泛采用（adopted），但训练它的方式并不对（not done right）。论文要证明的是：标准 MTP 的交叉熵梯度里，真正有用的自蒸馏信号被一个大嗓门的噪声项淹没了；把它捞出来的正确姿势，不是换目标函数，而是从已经算出的梯度里做精确的减法。副标题式的关键词 Soft 指的是 soft gradients——类比知识蒸馏里的 soft targets，即用分布（NTP 分布）而非 one-hot 样本作为梯度来源。

8.2 背景：MTP 的标配化与一个被忽视的事实

MTP 从 2018 年的块级并行解码与 ProphetNet 起步，经 Meta 的并行多头方案（Gloeckle et al. 2024，在代码任务上尤其有效）与 DeepSeek-V3 的串行模块化方案，已经成为前沿预训练的常备件——Nemotron 3、GLM-5、Kimi K3 等皆在列。它带来两重收益：作为学习目标缓解下一 token 监管的短视（myopia），作为推理引擎为投机解码提供 drafter。

但一个尴尬的事实摆在面前：投机解码里 MTP 起草的 token 只有在与模型自己的下一 token 预测一致时才会被接受——既然如此，为什么不直接训练 MTP 头去匹配自己的 NTP 分布（自蒸馏）？近期工作确实这么做了，但显式最小化 KL 需要同时物化教师与学生在整个词表上的 logit 张量，内存昂贵、且与现代预训练标配的融合交叉熵核（fused CE kernel）不兼容——融合核的设计初衷恰恰是避免物化整个 logit 矩阵。于是前沿模型实际上仍在用标准交叉熵训练 MTP 头。本文的贡献是证明：标准 MTP 梯度里本来就含有这个自蒸馏信号，只是被埋住了；取出它不需要任何新核、新参数、新前向。

九、论文二：定位与问题定义

9.1 定位：一篇单人完成的「理论一小步、工程一大步」论文

论文的定位是预训练目标函数的微创新，但切口极小、穿透极深：梯度层面的精确代数分解（数学）+ 直通梯度路由的一行实现（工程）+ 从 167M 到 1.2B 的系统验证（实验）。作者 Jayden Teoh 是 MIT 的单人作者，实验主要靠自费在 Vast.ai 租用的 8× RTX PRO 6000 完成——论文致谢里甚至感谢朋友分享了 Claude Max 20× 订阅来支撑项目推进。这份「个人算力 + 精准选题」的对照，本身就是对「什么问题适合小团队」的一个注脚。

9.2 问题定义

给定共享主干与共享线性输出头 W_θ（LM head），NTP 头在位置 t 产生 h_t^(0)、预测 x_{t+1}；第 k 个 MTP 头产生 h_t^(k)、预测 x_{t+k+1}。标准 MTP 的总损失为 L = L_NTP + (λ_MTP/K) Σ_k L_MTP^(k)。要回答的问题有三个：(1) MTP 交叉熵梯度内部到底由什么构成？(2) 各成分对 NTP 与 MTP 学习分别起什么作用？(3) 若有用信号可以分离，能否以零开销的方式只保留它？

十、论文二：解法（Method）

10.1 MTP 梯度的精确分解

关键是引入位置对齐 NTP 分布：q_t^(k) := p_{t+k}^(0) = softmax(W_θ h_{t+k}^(0))——它预测的恰好也是 x_{t+k+1}，与第 k 个 MTP 头的目标 token 相同。对 MTP 隐状态求梯度（硬 MTP 梯度）：

g_hard = ∇{h_t^(k)} CE(x{t+k+1}, p_t^(k)) = W_θ^⊤ (p_t^(k) − x_{t+k+1})。

在中途加减一次 q_t^(k)，得到恒等分解：

g_hard = W_θ^⊤(p_t^(k) − q_t^(k)) + W_θ^⊤(q_t^(k) − x_{t+k+1}) = g_KL + g_res。

第一项 g_KL 恰好是把 q_t^(k) 当 stop-gradient 教师时，前向 KL 散度 D_KL(sg(q^(k)) ∥ p^(k)) 对 MTP 隐状态的梯度——即 KL 自蒸馏梯度：它把 MTP 头拉向模型自己的 NTP 分布。第二项 g_res 是残差：对齐位置上 NTP 交叉熵对数据的梯度。因为 MTP 与 NTP 监督的是同一份底层数据分布（只是位置偏移）、又共享同一个线性输出头，标准 MTP 的一部分梯度天然就在做隐式自蒸馏。该分解对并行式（Meta 式）与串行式（DeepSeek 式）MTP 架构均成立。

10.2 KL 梯度恢复技巧：用直通路由做精确减法

问题变成：如何只把 g_KL 送进 MTP 头与共享主干？显式算 KL 要物化 T×V 的 logit 矩阵，不可行。作者的答案是 KL 梯度恢复技巧（KL gradient–recovery trick）：当两个分布共享线性输出头时，其 KL 梯度可以从两者的交叉熵梯度中精确恢复。

做法是给 NTP 隐状态加一个数值为零的直通项：

h̃_t = h_t^(0) + Σ_{k: t−k≥1} [ sg(h_{t−k}^(k)) − h_{t−k}^(k) ]，

方括号内前向为零、反向的雅可比为 −I。于是增广 NTP 损失对 MTP 隐状态的梯度恰为 −g_res，叠加原本 MTP 损失的 g_hard，得到

∇_{h_t^(k)} ( L̃_NTP + L_MTP^(k) ) = g_hard − g_res = g_KL。

工程上就是一行：h0[:, k:] += hk.detach() - hk（完整实现里再乘一个对齐损失加权的缩放 s_k = λ·T/(K(T−k))，以匹配各头不同的目标数归一化）。前向数值不变、NTP 损失及其对 NTP 通路的梯度不变、不物化任何 logit、与融合交叉熵核完全兼容。

10.3 Soft-MTP 的梯度路由：一处刻意的混合

Soft-MTP 的路由是刻意的「混搭」：输出头 W_θ 仍接收 MTP 的交叉熵梯度，而 MTP 头与共享主干只接收恢复出的 KL 梯度。与两种极端对比——标准 MTP 两处都是 CE 梯度、KL-MTP（显式自蒸馏）两处都是 KL 梯度——Soft-MTP 各取一半。为什么输出头要保留 CE？见 10.5。

10.4 偏差-方差视角：为什么这个交换随规模越来越划算

残差还能进一步拆：g_res = W^⊤(q^(k) − π^(k)) + W^⊤(π^(k) − x_{t+k+1})。第一项是 NTP 教师自身的预测误差（偏差），随模型规模扩大与训练推进不断缩小；第二项是 one-hot 采样的零均值噪声（方差），无论多大规模、训多久都不会消失。去掉 g_res 的 Soft-MTP 用一个逐渐缩小的偏差，换掉了一个永不消减的方差——交易随规模单调变好。何况 MTP 的主业是加速推理：把 MTP 头偏向 NTP 分布，本来就正中投机解码接受率的下怀。

10.5 为什么输出头必须保留交叉熵：警惕 KL 的自指捷径

输出头是 NTP 与 MTP 共享的——任何来自 MTP 损失的梯度都会同时塑造 NTP 读出。若输出头也收 KL 梯度（KL-MTP），就出现一条捷径：KL 既可以通过改进 MTP 隐状态来降低，也可以通过让共享读出对 MTP 与 NTP 隐状态的差异方向变得不敏感来降低——教师本身也是 W_θ 算出来的，自我指涉。交叉熵的目标与 W_θ 无关，天然没有这条捷径。后果体现在读出几何上：logit 映射（unembedding × 最终 RMSNorm 增益 γ）的有效秩，NTP 基线 496，标准 MTP 塌到 131，KL-MTP 塌到 321，而 Soft-MTP 保持 437——最接近 NTP 读出。两处对照（Soft-MTP vs KL-MTP 只差输出头的梯度、Soft-MTP vs 标准 MTP 只差主干的梯度）把「残差之害」与「捷径之害」干净解耦。

十一、论文二：实验证据

11.1 残差如何干扰学习：低 SNR、占八成、方向相反

实验设置：LLaMA 式架构（36 层定深、变宽），167M/332M/689M/1.2B 四档（NTP 通路参数 167.2M–1173.9M，每档 MTP 头合计占主干非嵌入参数约 3.2%），DeepSeek 式串行 MTP、K=3、λ_MTP=1.0，FineWeb-Edu 训 60,000 步、批 0.5M token、序列长 2048，合计约 31.5B token（对最大模型约为 1.3× Chinchilla 最优），优化器用 Muon（带 update-RMS 重缩放），嵌入/输出头/范数层用 AdamW。

SNR 的测量以 256 个独立批（每批 4 条 2048 长序列）估计信号（期望方向的平方范数）与噪声（协方差迹），并做偏差校正。三个结论层层递进：

• 残差 SNR 全程比 KL 项低约 4 倍，且差距随规模拉大：从 167M 的 4.1× 到 1.2B 的 4.6×（对数轴）——与偏差-方差分析严丝合缝；
• 残差却占流向共享主干的 MTP 梯度约 80%（每个规模都是）——高 SNR 的自蒸馏信号被高方差更新掩埋，导致整体硬 MTP 梯度的 SNR 反而低于单独的 KL 分量；
• 方向性检验：在主干隐状态上沿各分量梯度走单位步长再看 NTP 损失——沿 g_KL 走 NTP 损失一致下降（自蒸馏在支援 NTP），沿 g_res 走 NTP 损失一致上升，全程如此、跨规模如此。残差不只是噪声，它与 NTP 的更新方向是反的。

宏观后果：去掉残差后 Soft-MTP 的 NTP 损失更低、差距随规模拉大；从 689M 起 MTP 损失也更低。

11.2 投机解码：每一规模、每一领域全胜

在 FineWeb-Edu、Wikipedia、Books、Science、Math 五个域上各采 256 条 512 token 提示、生成 512 token 延续（Leviathan 投机采样、K=3 头起草、自验证）。Soft-MTP 在每个规模、每个域的接受长度与加速比上全胜：五域平均接受长度提升 1.8–2.2%、加速比提升 1.4–1.5%；MTP 分布与自身 NTP 验证器的 KL 与 TV 距离在每个规模上都更低（如 1.2B：KL 0.364 对 0.384、TV 0.253 对 0.260）。这正呼应 10.4 的论证：偏向 NTP 分布的偏差在这里就是收益本身。

11.3 零样本下游：规模越大、优势越大

困惑度与零样本精度（LM Evaluation Harness，含 LAMBADA/PIQA/HellaSwag/WinoGrande/ARC-e/ARC-c/OBQA/SciQ）上，Soft-MTP 在每个规模的平均零样本精度都超过标准 MTP，且增益随规模变大：167M/332M 约 +0.1 点，689M/1.2B 约 +0.5 点——在最大两档上同时反超 NTP 基线。1.2B 上的关键数字：FW-Edu ppl 10.741 对标准 MTP 的 10.891（NTP 单训为 10.572），WikiText 17.489 与 LAMBADA 14.073 均为三者最佳，平均零样本精度 57.31（MTP 56.80、NTP 56.75）。一句诚实的话：NTP 通路自身的困惑度仍是纯 NTP 最低，MTP 辅助损失对 NTP ppl 有轻微代价，Soft-MTP 把这笔代价收窄了大半，并在 Wiki/LAMBADA 与平均精度上完成反超。

11.4 数学与代码微调：丢弃 MTP 头后的底盘对比

更能说明预训练表征质量的是丢掉 MTP 头、只用 NTP 损失微调后的迁移：数学侧 4.2B token 的 OpenMathInstruct-2，代码侧 21.0B token 的 Stack-Edu Python 子集。1.2B 结果：GSM8K 49.66（MTP 48.60，+1.1）、MATH-500 25.00（23.20，+1.8）；HumanEval pass@64 43.90（40.85，+3.1 个百分点）、pass@32 37.26、MBPP pass@64 61.00（+1.2）。八个格子 Soft-MTP 赢七个，且是唯一从不低于 NTP 基线的目标——代码上的边际随采样预算 k 增大而扩大。

11.5 与 KL-MTP 对比：免费的午餐确实免费

成本核算（单张 H200，1.2B，K=3）：Soft-MTP 与标准 MTP 完全同成本——同为 10.28 GFLOP/token、MFU 同为 51.7%、融合 CE 峰值显存同为 107.0 GB、吞吐 49,748 对 49,783 tok/s（差距 0.07% 以内）。显式 KL-MTP 则每一项都最差：多 1.5% FLOPs、吞吐低 5.6%、峰值显存多 21 GB，且几乎享受不到融合核的红利。效果上（1.2B）：Soft-MTP 困惑度全部持平或更优、平均零样本 57.31 对 57.22、六项代码微调全胜；KL-MTP 只在数学微调（GSM8K 50.34、MATH-500 26.00）与投机解码的毫厘之间（KL 0.363 对 0.364）占先。结合有效秩 437 对 321，结论清晰：直接算 KL 又贵又未必更好；在输出头保住 CE、只在主干送 KL，两全其美。

11.6 稳健性与工程兼容性

超参扫描（332M、7.3B token）：λ_MTP ∈ {0.25, 0.5, 0.75, 1.0} 与 K ∈ {3,…,8} 的每一档上，Soft-MTP 的 NTP 损失-MTP 损失、NTP 损失-对验证器 KL 两个平面上都 Pareto 支配标准 MTP。附录还验证了 Meta 式并行 MTP 头同样受益。并行策略兼容性：数据并行/ZeRO/专家并行不受影响；流水线并行只要求 MTP 模块与输出头同 stage（DeepSeek-V3 本来就这么放）；唯一需要额外通信的是序列切分类策略（context/ring attention、序列并行），代价是每个分片边界反向交换至多 K 个隐状态梯度、与序列长度无关。作者还指出该技巧的适用面更宽：凡是师生共享线性输出头的 KL 目标（Nemotron 3 Ultra 的 MTP Boosting、on-policy 自蒸馏、off-policy RL 的分数中心化）都可套用；对已冻结输出头的方法（如 Next-Latent Prediction）更是即插即用。

十二、论文二：知识反推——复现它你需要知道什么

领域层：

• MTP 谱系：Stern et al. 2018 块级并行解码 → ProphetNet → Gloeckle et al. 2024（Meta 式并行头，代码增益）→ DeepSeek-V3 串行模块（被 Nemotron 3、GLM-5、Kimi K3、LongCat、MiniMax 等广泛沿用）；后训练 drafter 生态（Medusa、EAGLE 系、DFlash、DSpark）与 DeepSeek-V4.1-Flash 弃 MTP 转 DSpark 的动向，构成论文讨论部分「MTP 寿命」的背景；
• 投机解码原理：draft-then-verify、接受率由 TV 距离决定（KL 经 Pinsker 不等式给出间接上界）；Nemotron 3 Ultra 的 MTP Boosting 用温度缩放前向 KL 对齐 MTP 头，是 Soft-MTP 的「后训练版亲戚」；
• 自蒸馏 MTP 近邻：显式 KL（NextLat/Teoh et al.）、top-k logits 近似（Zhao et al.）、argmax 蒸馏（Kirchenbauer et al.）、KL cache 技巧（Chang）——本文的差异点是「不显式算 KL，从已有 CE 梯度里恢复」；
• 工程栈：融合交叉熵核（Liger-Kernel、Cut Your Losses）为何排斥全词表 logit 物化、Muon 优化器与 update-RMS 重缩放、有效秩（Roy & Vetterli 2007）、梯度噪声尺度（McCandlish et al. 2018）、直通估计器（Bengio 2013；van den Oord 2017）。

方法论层：

• 梯度代数三板斧：写出 CE 对 logits 的标准梯度 (p − y)、在中途加减共享头上的另一分布拆项、用 stop-gradient 直通项在反向图里注入负向量——三者合起来把「想要的目标」翻译成「已有的梯度之差」；
• 缩放纪律：损失按各自目标数取均值时，路由项必须乘 s_k = λ·T/(K(T−k)) 才能落在 MTP 头自身 CE 梯度的尺度上——复现时最容易漏的一步；
• 诊断三件套：SNR 的无偏估计（256 批、偏差校正）、单位步长方向测试（走一步看另一损失的响应）、有效秩监测读出几何——分别回答「有多吵」「往哪拉」「塌没塌」；
• 成本核算口径：吞吐取各目标能塞下的最大微批、峰值显存取匹配微批（19）下测——不同口径的对比会误导结论；
• 对照设计：KL-MTP 是关键对照，它把「输出头收什么梯度」这一个变量隔离出来。

融合关键节点：识别出好梯度其实已经被算出来了，只是和噪声项加在一起送进了优化器。这一步的认知跳跃不在于发明新目标，而在于先做精确分解、发现 g_hard 的两个成分角色悬殊（SNR 差 4 倍以上、方向还相反），然后才谈得上「在反向传播里做减法」。没有分解就没有干预的合法性——这与论文一「没有因果消融就没有排序训练」是同一条纪律。

十三、论文二：通用灵感

1. 改目标函数之前，先分解它的梯度。信号与噪声可能早已共存于同一份梯度，问题不是缺信号，而是信号被埋没；代数分解（加减一个中间量）常常是免费的显微镜。
2. 工程约束可以反推算法。「不物化 logit、兼容融合核」这条约束直接否决了显式 KL，逼出了隐状态空间里的直通路由——好的限制条件是设计的加速器。
3. 用偏差-方差视角预测规模趋势。偏差随规模缩小、方差不灭的项，越大的模型越应该剔除；「随规模变好」的论证比单点数字更有说服力。
4. 共享部件上的训练信号要提防自指捷径。教师由学生自己的读出头计算时，KL 可以靠让读出变「钝」来下降——有效秩 131 对 437 的塌缩就是警报；任何自蒸馏设计都值得画一张梯度路由表（本文 Table 1）审一遍。
5. 零开销在预训练语境被指数放大。31.5B token 乘以训练规模，一行代码的改动等同于省下一座算力仓库；「免费午餐」的价值要放在总账里算。
6. 小团队的最优策略是选「理论一小步、实现一行级」的问题。单人 + 租用 8 张卡能完成的工作，必然是切口锋利、验证矩阵紧凑的——本文四档规模 × 若干维度的验证矩阵，就是个人算力能支撑的上限形态。

十四、两篇对比与交汇：机制研究的共同方法论

14.1 一张表看清两篇

14.2 交汇点一：先定义一个可精确测量的机制量

两篇的第一步都不是提出方法，而是把模糊的疑问翻译成精确的量。论文一的 s_lh 是「问题对证据的注意力，减去无信息问题的基线」——一个把位置偏好、内容偏好都扣掉后的净检索信号；论文二的 g_KL/g_res 是「在共享输出头上加减位置对齐 NTP 分布」得到的恒等分解——把混合梯度拆成语义清晰的两份。机制量的定义决定了后面一切：可微、可分解、可与对照作差的量，才能既支撑分析又承接干预。反过来说，凡是只能画热力图、不能进入计算图的机制量，很难走到「然后呢」那一步。

14.3 交汇点二：因果证据先于干预

两篇都在动手改模型之前用严格的对照确立了干预的合法性。论文一的层匹配随机消融（E(S) 超额下降 + 簇 bootstrap + Holm 校正）证明 top-5% 头是检索的必要条件——否则在第 5 节只训练这些头上的排序损失就无从谈起。论文二的单位步长测试与 SNR 测量证明 g_res 与 NTP 优化方向反相关、且随规模变噪——否则「从梯度里删掉它」就只是拍脑袋。两个对照设计的共同精髓是配对：论文一配对的是「同样数量、同样层分布的随机头」，论文二配对的是「只差输出头梯度的 KL-MTP」与「只差主干梯度的标准 MTP」。干预的效果只有在配对对照下才可归因。

14.4 交汇点三：定位最小干预点，然后只动那里

机制研究变现的最大陷阱是「分析了 A、干预了整个模型」。两篇都反其道而行：论文一锁定同时出现在音频与视觉 top-20 集中的那 9–14 个 AV-shared 头（<2%），排序损失只定义在 k=16 个选定头上、梯度只经 LoRA 进入注意力投影；论文二锁定梯度流里的单个噪声项 g_res，用一行直通路由把它精确抵消。干预的粒度与分析的结论严格对齐——分析说重要的是小子集，干预就只碰小子集；分析说有害的是一个项，干预就只删那一个项。这种「手术刀式的克制」是两篇可信度的另一来源：如果改动这么大、效果还好，你很难知道功劳该记给机制洞察还是记给微调本身。

14.5 交汇点四：LoRA 级与一行级——精准干预的两种形态

两篇的干预成本一Structural一 Computational，恰好互补。论文一的 LoRA 级干预是结构局部化：作用点在模型的空间结构里（哪些头），改动量以参数计（低秩适配器），适合「机制对应于一组部件」的情形。论文二的一行级干预是计算局部化：作用点在计算图的梯度流里（哪一项梯度），改动量以代码行计（零参数、吞吐差 <0.07%），适合「机制对应于一个数学项」的情形。一个用空间坐标定位干预点，一个用代数恒等式定位干预点——机制量长什么样，干预的最小形态就长什么样。

14.6 交汇点五：稀疏性是两组结论共同的底色

数字上的呼应耐人寻味：论文一发现不足 2% 的头承载跨模态证据检索并广泛影响下游；论文二发现约 20% 的梯度分量（KL 项）承载高 SNR 信号、其余 80% 是低 SNR 残差。一边是空间稀疏（少数注意力头有用），一边是方向稀疏（梯度空间里少数方向有信号）。两者共同指向同一个工程直觉：大模型里有用的东西分布极不均匀，找到高密度区域比整体加压更划算——无论是缓存、剪枝、定向训练还是梯度整形，先做稀疏性定位都是第一性的一步。

14.7 交汇点六：干预后的副作用都要单独审计

精准干预的卖点不只是「有效的部分涨分」，还有「其余部分不动」。论文一用四个域外基准（变化 <1 点）证明排序训练没有外溢伤害；论文二用有效秩（437，最接近 NTP 的 496）与六项代码微调证明不存在 KL-MTP 式的读出塌缩。「不伤及无辜」与「治好病灶」同为主要终点——这一点在机制干预类工作里常被省略，却是把研究推上生产线的必要条件。

14.8 差异与互补：两种研究形态的各自边界

两篇的局限也互为镜子。论文一的排序训练目前只在文档检索一个任务族上验证，与 ColPali 等检索器的比较存在评估设定差异（论文自己也以此为由强调受控对比），且 AV-shared 头的因果角色止于消融证据、尚无「增强这些头会怎样」的正向干预；论文二的规模止于 1.2B，「随规模变好」的趋势（4.1×→4.6× 的 SNR 差距、+0.1→+0.5 点的零样本增益）需要在 frontier 尺度确认，且 MTP 本身的存续（DeepSeek-V4.1-Flash 已转向后训练 drafter）给应用前景加了时间窗。团队形态的差异同样值得品味：18 个 checkpoint 的横断面分析需要机构间的模型与算力协作；一行代码的梯度手术需要的是把一个问题啃到底的专注——机制研究的前沿，两种形态都还缺不了。

十五、结语

这两篇论文，一篇盯住多模态模型里不到 2% 的注意力头，一篇盯住预训练梯度里那 80% 的噪声，读完留在脑子里的却是同一件事：对大模型的最好干预，来自先把它看清、再只动看清的那一处。

检索头论文用配对设计与 18 个 checkpoint 证明了检索机制的跨模态共享与骨干继承，用层匹配消融把因果钉死（98.3%→0 的干净利落，与 56.45→62.48、超过 ColPali 54.58 的落地成绩首尾呼应）；Soft-MTP 论文用一次精确的梯度分解证明标准 MTP 一直在用八成的梯度预算搬运噪声，再用一行直通路由把高 SNR 的自蒸馏信号原样捞出（10.741 对 10.891 的困惑度、+3.1 个百分点的 HumanEval、437 对 131 的有效秩，以及分文不花的开销账单）。

归纳成三句话：

1. 机制量要可测量、可分解、可对照，才有资格变成干预——校准注意力分数与梯度恒等分解是两个范本；
2. 因果证据先于干预、干预粒度对齐分析结论——LoRA 级与一行级不是妥协，而是精准本身的两种形态；
3. 干预的完整性包括「不伤及无辜」——域外基准不动、读出几何不塌，与主指标的上涨同样构成结论。

对从业者，两篇的可迁移问题清单很具体：你的模型里有没有一个可以用配对实验审计的机制（加模态前后它还在吗）？你的损失函数拆开梯度看，信号和噪声各占几成、方向是否打架？如果答案指向一个小子集或单个项，下一步就不再是加数据、加参数，而是把手术刀递给那个已经看清的位置。机制研究的「然后呢」，大概就藏在这里。