上下文、隐变量、嵌入与激活：不动权重的模型能力改造四重奏 精读

论文一：FOCUS: Training-Free Decision-Preserving Context Compression for LLM Agents 发表时间：2026年9月　机构：Microsoft M365 Research（纯企业研究，单一机构，五位作者 Shantanu Dixit、Anson Bastos、Xuchao Zhang、Chetan Bansal、Saravan Rajmohan 全部署名 M365 Research）

论文二：E-MoE: Enhanced Mixture-of-Experts for Non-Factorized Diffusion Language Models 发表时间：2026年9月　机构：匿名机构 + Applied AI Institute（莫斯科）；Paper under review 状态，代码在补充材料提供

论文三：Scaling and Distilling Text Embeddings for Better Diffusibility 发表时间：2026年10月　机构：University of Michigan（单一高校，Zekai Zhang 通讯，Qing Qu、Di Fu 参与；代码基于开源 ELF-pytorch 修改）

论文四：PersonaDose: Calibrated Activation Steering for Graded Trait Control 发表时间：2026年9月　机构：Georgia Institute of Technology + 浙江大学 + University of British Columbia（三校高校合作，无企业；Zehao Jin@Gatech 通讯）

这四篇论文表面上分属四个领域——agent 上下文压缩、扩散语言模型、文本嵌入空间、激活引导——但放在一起读会发现它们回答的是同一个问题的四个侧面：当一个大模型已经训练好、不方便或不可能重训时，我们还能在哪些层面上改造它的能力？

四篇论文给出的答案恰好由外向内、层层深入：

下面按九部分展开，每部分内先分篇细读、再回到四篇合读的共同线索。

一、论文背景

1.1 FOCUS：agent 的上下文为什么会「撑爆」

LLM Agent 的工作方式是一个「感知—推理—行动—观察」的循环：每一轮交互都会在上下文里追加一段推理（reasoning）、一个动作（action，比如一次工具调用）和一段观察（observation，比如 API 返回的 JSON、网页正文、执行日志）。问题出在 observation 上——它们往往非常长，而且任务越长轮数越多，上下文随任务长度线性增长，而 Transformer 的注意力计算随长度二次方增长。

更隐蔽的代价是「注意力稀释」（attention dilution）：大量无关历史把真正关键的信息淹没在中间位置，也就是常说的 lost-in-the-middle 现象。FOCUS 的论文里有一个很直观的案例：一个 20K 上下文的 agent 在更新 RSVP 文件时漏掉了一个人，而把上下文压到 6K 之后反而做对了——更少的信息反而带来更好的决策。

现有的压缩方法基本都把这件事当作「冗余消除」：用一个小语言模型按困惑度打分删掉「可预测」的 token（LLMLingua 系列），或者让模型把历史摘要改写一遍。这对问答任务也许够用，但对 agent 有一个致命错位：agent 的历史是一个状态机——未来决策依赖的是特定的因果链（一个认证 token、一次失败的调用、某个文件的当前状态），这些东西在语言上可能高度可预测（小模型觉得「信息量低」），却是决策的关键。外部资料也印证了这一点：有工程实践分析指出，token 级剪枝会切断指代链（丢掉先行词、留下代词）、会在高压缩比下最先删掉早期的约束语句——这些失效模式在干净基准上测不出来，却正是 agent 生产环境中最常见的失败点。FOCUS 把这个矛盾推向极致：压缩的正确目标不是「保留信息量」，而是「保留对未来决策有因果影响的东西」。

1.2 E-MoE：扩散语言模型的「少步崩坏」

自回归模型（AR）从左到右逐 token 生成，天然串行。扩散语言模型（Diffusion LM）想复用图像领域的成功：从噪声出发，迭代去噪，所有位置并行生成，还支持任意位置填充（infilling）。其中掩码扩散模型（MDM，代表工作 MDLM、SEDD）的前向过程把 token 逐步替换成 [MASK]，反向过程逐步「揭幕」。

MDM 的效率优势来自一个假设：反向过程按位置因子化——每一步每个位置的揭幕决策只依赖当前含噪序列，位置之间相互独立。这样一步可以同时揭开很多 token。但这个假设在少步生成（few-step，即 NFE——函数评估次数——很小）时反噬：同一步揭开的 token 是独立采样的，各自的边际分布都对，组合起来却可能是联合分布里几乎不存在的「假模式」。打个比方：让 128 个人各自掷骰子决定自己的穿着，每个人单独看都穿得体，合起来却是一场灾难。外部检索到的理论工作（Latent Discrete Diffusion Models，arXiv 2510.18114）把这个直觉变成了定理：任何因子化反向模型的 ELBO 都有一个不可消除的下界，下界恰好等于真实反向条件分布偏离乘积形式的程度。也就是说这不是工程问题，是结构问题。

已有的修补方案各有代价：remasking（LLaDA 的重掩码技巧）可以部分纠错但步数回升；VADD 引入连续高斯隐变量配 VAE 识别网络，但实验中发现其 KL 只有约 0.14 nats/token，接近 posterior collapse（隐变量几乎不携带信息）；BD3-LM 改块结构则牺牲并行度。E-MoE 的出发点是：能不能找到一种离散、免费、已经存在的共享隐变量？答案藏在 MoE 里。

1.3 蒸馏嵌入：连续扩散「住在哪个空间」

扩散语言模型的另一条路线是连续扩散：把 token 序列映射成连续向量序列（嵌入），在嵌入空间做高斯扩散，生成后再解码回词表。这条路线的核心问题于是变成：选哪个嵌入空间当潜变量？

用 one-hot 或单纯形上的点：无语义结构，扩散模型要自己从零学起，不稳定。用预训练编码器（如 T5 家族）的输出：有丰富的上下文语义，但带来一个此前未被系统研究的缺陷——判别式训练把嵌入推开了。T5Gemma-2 的编码器是以 one-hot 重构为目标训练的：同一个位置上，模型必须把「正确词」和「错误词」的嵌入区分开才能降低损失。于是同位置的可替换候选词在嵌入空间里彼此远离。而连续扩散的最优去噪器是对可能的干净样本取条件期望——候选嵌入彼此远离时，均值点落在它们的「中间」，形成一个不属于任何候选的模糊方向，解码器面对这种「invalid embedding」只能低置信度地吐出错误词。论文测得：teacher 编码器在 64 个生成序列上平均每个序列有 142 个不确定位置、其中 109 个是 invalid；NFE 降到 16–32 时生成困惑度塌缩到 77–335。「判别力」与「可生成性」在这个意义上是一对矛盾——这是本文要量化和解决的问题。

1.4 PersonaDose：激活引导「拧多大的旋钮」

激活引导（activation steering）是可解释性社区的热门方向：LLM 的内部残差流中线性地「存放」着概念，往激活上加一个方向向量就能诱导相应行为。CAA（Contrastive Activation Addition，ACL 2024）用正负对比 prompt 的激活均值差提取方向，RepE 则更系统地做表示工程。这类方法训练成本几乎为零、即插即用。

但它们共享一个被长期忽视的工程缺陷：引导强度系数没有内在的行为含义。系数 α=5 在「谄媚」和「幽默」上诱导的表达强度不同，在 Llama 和 Qwen 上更不同。做实验的人只能盲目扫参数，无法声明「我要 40% 强度的谄媚」。这在需要分级控制的场景（人格化应用、安全评估中按梯度注入特质、红队测试）是硬伤。PersonaDose 的洞察是把这件事建模成经典的「剂量-响应校准」问题——药理学里「给药剂量」和「疗效评分」之间的关系曲线，正是「引导强度」和「行为分数」之间缺的那层翻译。

二、论文定位和关联工作

2.1 FOCUS：agent 上下文压缩的三代方法

第一代：token 级剪枝。LLMLingua（用小模型困惑度删 token）、SelectiveContext 等。特点：保序、输出是输入的子序列；缺陷：对结构化内容（工具调用参数、代码、日志）会切断语法可预测但语义关键的元素。LLMLingua-2 改用双向编码器做二分类，速度更快，但按信息量打分的范式没变。

第二代：摘要/改写式压缩。让模型把历史改写成更短的版本。特点：压缩比高；缺陷：会丢失或幻觉细节（尤其 needle 类信息），且改写粒度粗。

第三代：agent 专用压缩。ACON（ICML'26，离线优化压缩 guideline 并蒸馏进模型）、PAACE（对抗性学习压缩策略）。特点：针对 agent 场景调优；缺陷：策略是离线学好的固定策略，测试时无法适应当前轨迹上涌现的任务特异性依赖。

FOCUS 的定位：测试时、免训练、逐轨迹自适应。它不学任何压缩策略，而是每次压缩时现场估计「这段历史对未来的决策有没有用」，并且理论上把这个估计与信息瓶颈目标挂钩。

2.2 E-MoE：打破扩散 LM 因子化的三条路线

路线一：采样侧修补。remasking（LLaDA）、predictor-corrector 采样器、定制揭幕调度。不解决结构问题，只是缓解。

路线二：连续隐变量。VADD 用 VAE 式连续隐变量承载跨 token 依赖。E-MoE 的实验显示 VADD 的 KL 仅约 0.14 nats/token——隐变量通道近乎失效，且需要额外的识别网络与固定高斯先验。外部同期工作 LDDM（arXiv 2510.18114）走类似思路（token 扩散+连续潜变量扩散耦合），并给出因子化 ELBO 下界的理论；MultiMDM（arXiv 2607.19686）则从多掩码状态+一致性蒸馏切入少步生成。

路线三（E-MoE）：离散结构隐变量。把反向过程写成因子化分布的混合：p(x_ts|x_ti)=Σ_z p_θ(z|x_ti)·Π_l q(x_s^l|x_ti,x_θ^l)。混合分量一旦选定，各位置独立；但边缘化后同一步的 token 就被 z 耦合起来了。关键巧思：z 不需要新造——MoE 的路由决策本身就是每个 token 每层的离散变量，同一 router 在噪声序列上输出先验、在拼接干净序列后输出后验，无需 VAE 识别网络，也无需固定高斯先验。

2.3 蒸馏嵌入：连续文本扩散的潜空间演进

第一代：无语义坐标。one-hot、概率单纯形上的点。无上下文语义，联合优化不稳定（外部综述指出需要正则避免坍缩或范数爆炸）。

第二代：学习式嵌入。与扩散模型联合训练嵌入矩阵。仍是局部表示。

第三代：预训练编码器潜空间。PLANNER、LD4LG 用低维瓶颈压缩，COSMOS 用掩码+噪声注入改善平滑性，LDLM（arXiv 2605.07933）进一步让潜编码器与扩散目标联合训练。这一代工作的共识是：潜空间几何对文本扩散性能至关重要。外部检索还发现 vec2vec（arXiv 2505.12540）证明了不同模型的文本嵌入空间存在可无监督对齐的通用几何（Platonic Representation Hypothesis 的文本版）——侧面说明嵌入空间的几何形状是一个真实、可迁移的研究对象。

本文的定位：与「改扩散模型」的路线正交——它只改潜空间本身，问的是「什么 embedding 最可扩散」，并用 scaling（换更强编码器）+ distillation（软标签蒸馏）两板斧系统回答。本文首次把「判别式训练伤害可生成性」量化为可测的候选间距与 invalid embedding 统计。

2.4 PersonaDose：激活引导的谱系

方向类：ActAdd、CAA、RepE、线性分隔方向。从对比激活统计中提取方向向量，推理时加到激活上。机制上是「固定方向平移」——系数调大调小只是沿这条线走得远近，方向本身不变，高表达与高连贯的权衡曲线很差。

变换类：FLAS（flow-based activation steering）用流模型学激活空间的连续变换，流时间连续可调。但通用 FLAS 没有在人格表达数据上特化，表达力度不足（本文测得其表达仅 13.3–46.2 分）。

校准层（PersonaDose 的新贡献）：即便有了可调强度的干预，「强度」仍以模型内部的任意单位（流时间）计。PersonaDose 引入剂量-响应曲线+保序回归+反演，把接口从「系数」升级为「请求分数」——这一步在激活引导文献里此前基本空白。

三、问题定义

3.1 FOCUS：从「冗余消除」到「因果决策保持」

具体问题：给定任务 g、当前交互历史 H_t（一串 span）和预算 K，选一个子集 Z_t ⊆ H_t 喂给模型，使得未来的任务表现尽量不掉。

FOCUS 的核心洞察是重新定义「什么该留」：能改变未来轨迹分布的历史才有保留价值。形式化地，对每个候选 span s_i 定义反事实未来效用：

U(s_i) = D_KL( P(Y|H_t, g) ‖ P(Y|H_{−i}, g) )

即「删掉这个 span 后，未来轨迹/答案 Y 的分布变化了多少」。论文证明其期望等于留一法条件互信息 E[U(s_i)] = I(s_i; Y | H_{−i}, g)，并进一步证明在预算约束下按效用选 span 等价于求解信息瓶颈目标 min I(H_t; Z_t|g) − β·I(Z_t; τ|g)（τ 为未来轨迹），误差有界（长视野下相对误差 O(m(fh+ρ)/K)）。

这个抽象的精妙之处：它把「压缩后模型表现好不好」这个不可直接优化的量，替换成「未来分布变不变」这个可估计的量，并且理论保证了二者的等价性。

3.2 E-MoE：因子化是联合分布的秩一近似

具体问题：MDM 少步生成时同一步揭开的 token 互相不知道对方，质量崩坏。

抽象问题：反向转移核按位置因子化，等价于对真实联合反向分布做秩一近似——独立采样的边际正确组合不出联合正确。数学解法是标准且深刻的：引入共享隐变量 z，把联合分布写成混合 p(x_s|x_ti) = Σ_z p(z|x_ti)·Π_l p(x_s^l|x_ti,z)。给定 z 时各位置独立，边缘化 z 后位置间有了相关性。问题从「怎么修补采样」变成「去哪找一个离散、信息丰富、又不用额外网络的 z」。

3.3 蒸馏嵌入：「可扩散性」的定义

具体问题：连续文本扩散生成质量差、解码出 invalid 词。

抽象问题：定义并优化嵌入空间的「可扩散性（diffusibility）」。论文的操作化定义隐含在机制分析里：一个嵌入空间可扩散，当且仅当（1）同位置的可替换候选词嵌入彼此靠近、形成连通区域；（2）最优去噪器（候选的条件均值）仍落在有效区域内，解码器能以高置信度还原为候选之一。判别式训练的目标恰好与（1）相反——这就是矛盾的根源，也是本文要逆转的对象。

3.4 PersonaDose：把系数翻译成行为分数

具体问题：激活引导强度系数在不同 trait/模型上含义不同，无法做分级控制。

抽象问题：这是一个测量学问题——存在两个空间：干预空间（流时间 T，模型内部任意单位）与行为空间（PV 表达评分 0–100，人类可理解单位）。需要一个校准映射 ŝ_c: T → 分数，使得「请求分数 r」能反解出干预强度 u*_c(r) = inf{u: ŝ_c(u) ≥ r}。约束：映射必须按（模型，特质）逐个标定——论文用一个数字点破了必要性：同样请求 sycophancy=40，Llama 需要 T=0.3834、Qwen 需要 1.1116、Gemma 需要 0.2952，「同分数≠同实现行为」，没有跨模型通用的系数。

四、问题解法

4.1 FOCUS：四阶段流水线

类比：FOCUS 像一次「打包前的安检」——不是按行李重量（信息量）决定扔什么，而是问「哪些东西接下来要用」，并且打包前再做一次人工复核（防御性验证）。

1. Span 级表示：历史被切成 (reasoning, action, observation) 三元组作为原子单元，不做 token 级切分。作用：保证「意图—执行—反馈」的局部因果结构不被碎片化。输入是原始历史，输出是 span 列表。

2. 反事实未来效用：对每个 span 计算 U(s_i)（上面第三节的定义）。

3. Draft 模型蒙特卡洛估计：直接算 KL 需要对每个候选 span 做留一重采样、再做指数级子集搜索，完全不可行。FOCUS 的替代方案：让一个轻量 draft 模型（如 Qwen3-8B，温度 0.7）采样 N 个随机 plan sketch（未来计划草稿），要求每个计划步骤显式声明依赖的历史 span（格式形如「Step: … | Depends on: [s_i, s_j]」）。引用频率 û_i = (1/N)ΣX_i^(k) 作为效用估计，超过阈值 τ（默认 0.3）的保留。理论保证：Hoeffding 界 P(max|û−u|>γ) ≤ 2m·exp(−2Nγ²)，即估计无偏且指数收敛；丢弃集的决策损失上界为 m_max·u_S。

4. 防御性验证（FOCUS-D）：draft 再审查一遍未被引用的 span，救回那些删除会导致重复犯错、死循环、丢失关键状态（认证 token、失败调用）的 span。理论定位（Proposition 5）：总决策损失 ≤ δ_res + Σ_missed U(s_i)，验证集只增不减。它针对的失效模式是「小 u 大 m」的 span——平时不被引用，一旦需要却代价巨大。

全景：零训练、架构无关（主模型可以是闭源 API）、逐轨迹在线。Draft 开销仅约 3% 的 API 成本。

4.2 E-MoE：路由即隐变量

类比：如果每个 token 是一位乐手，因子化反向过程就是让所有人戴着耳机各演各的；E-MoE 让每层每 token 的「选哪个专家」变成公开的指挥决定——乐手们看一眼指挥（路由），再各自演奏，合奏就协调了。

1. 混合形式化：p(x_ts|x_ti) = Σ_z p_θ(z|x_ti)·Π_l q(x_s^l|x_ti, x_θ^l)，z = 每个 token × 每层的专家路由决策（离散）。

2. 先验与后验出自同一网络：router 先在噪声序列 x_ti 上输出先验 p_θ(z|x_ti)；再把去噪预测 x_θ 拼接回干净序列，同一 router 输出后验。无需 VAE 识别网络，无需固定高斯先验——先验是数据相关的（router 看着当前噪声状态决定混合权重）。

3. 训练目标：重构项 + T·KL_route（逐层逐 token 的类别 KL）。路由用 top-2 Gumbel-Softmax straight-through 采样，保证可微且推理时是真正的离散混合。

4. 边缘化耦合：生成时对路由采样，同一揭幕步的 token 共享路由的不确定性——这就是打破因子化的全部机制。

代价控制：相对 MDLM，E-MoE 总参数 536.1M，路由只增加 0.07M；每 token 活跃参数 139.4M ≈ MDLM 的 139.3M——公平性严格到活跃参数级。

4.3 蒸馏嵌入：两板斧——Scaling 与 Distillation

类比：teacher 像一位严格的双语词典编纂者，把每个词条的近义词都标记得清清楚楚（判别式）；student 是被重新教育的接班人，学会的是「这些词都能用在这里」（生成式）——不是背下每个词的精确位置，而是让同义词聚成一片可以落脚的区域。

1. Scaling（换更强的编码器）：同家族从 T5-small → T5Gemma-1 → T5Gemma-2-270M，同等熵下生成困惑度约降 40%。结论：编码器家族的进步直接兑现为可扩散性——潜空间质量是扩散模型性能的上游瓶颈。

2. Distillation（软标签蒸馏）：以 T5Gemma-2 冻结解码器的输出概率为软标签（取 top-256 重归一化），蒸馏一个 9 层 student 编码器；初始化从 18 层 teacher 均匀取层；OWT 全量 50k 步，8×H100 训练 38.6 小时。软标签的作用机制：student 被要求复现 teacher 对同位置全部候选词的概率分布，而非 one-hot 的单点——于是同位置候选词的嵌入互相靠近，形成连通区域。消融给足了证据：MSE 蒸馏（直接复制嵌入）熵上限只有 5.26，one-hot CE 上限 4.18，随机初始化不收敛——软标签分布是唯一可行的监督形式。

3. 附赠的效率红利：student（50M）把 T5Gemma-2（100M）的编码 FLOPs 减半（0.10T vs 0.21T）——蒸馏不仅没付容量代价，还更快。

4.4 PersonaDose：特化 + 校准的两段式

类比：第一段像把一把通用瑞士军刀换成专用手术刀（特化）；第二段像给手术刀配上刻度盘——拧到「40」就是 40 分的效果，不用再试错（校准）。

1. 学习行为（人格化特化）：取 FLAS 的共享速度场 v_θ(h, t, c)，在人格表达响应（PV 评分 ≥50 的回复）上特化。特质描述 c（如「谄媚的」）经冻结的早期层编码，以交叉注意力条件化速度场；推理时 3 步 Euler 沿流时间 T 输运残差流激活。两个关键设计：

   • 训练不配对目标强度：流时间均匀采自 [0.5, 2.0]，同一响应在不同时间共享监督（配 concept-diversity 正则 0.1）。这把「学到的行为范围」与「范围内的请求精度」两个问题解耦——先学会整个谱段，精度交给校准层。

   • 一个控制器管全部特质：语料仅 1250 行（7 特质 × 150 行 + 200 行通用回放），切换特质不用换 adapter。7 个特质覆盖 evil/sycophantic/hallucinating/optimistic/impolite/humorous/apathetic。

2. 校准强度（剂量-响应标定）：在校准问题上扫描强度网格，测剂量-响应曲线，用保序回归 + 分段线性插值得到单调映射 ŝ_c(u)（保序回归容忍有限样本的局部倒置）。运行时请求分数 r 经反演 u*_c(r) = inf{u: ŝ_c(u) ≥ r} 转为流时间。每个（模型，特质）对标定一次。

3. 部署形态：每模型一个控制器，decoder 第 20 层（0 起）注入，主 LLM 全程冻结。控制器还能持续更新：Qwen 续训后留出表达从 78.7 升到 93.7（+15.0 点），重校准后 12 个请求格中 11 个可达且全部连贯。

五、评估指标与实验证据

5.1 FOCUS：准确率不降反升的压缩

主指标：任务成功率（AppWorld/OfficeBench/WebVoyager/τ²-Bench 的原生指标）、EM/F1（8 目标 QA）；效率指标：Peak（峰值上下文 token，×10³）、Dep（依赖量，×10⁶）。Peak 衡量「最贵那一刻」的成本（注意力二次方成本的代理），Dep 衡量累积计算量。

与最强基线 ACON（ICML'26）的正面对比：AppWorld 上 FOCUS-D 64.9 vs ACON UTCO 56.5 / ACON UT 51.2 / LLMLingua 39.3 / FIFO 45.8 / Retrieval 27.4 / Prompting 43.5；OfficeBench 上 78.9 vs ACON UT 74.74。异构 draft 设置（主模型 gpt-4.1）：FOCUS 用 Qwen3-8B 做 draft 得 65.5，ACON 用 Qwen3-14B 只得 50.0；同为 Qwen3-14B 时 61.3 vs 50.0（+11.3 点）——draft 不需要很强。

实验设计的说服力在于「既省又准」的组合：摘要级总括为峰值上下文最多降 48%、依赖最多降 73%、成功率最多升 8.9 个百分点、总 token 最多省 31%。成本侧：OfficeBench 95 子任务总 API 成本 $9.47→$5.96（−37%，draft 开销仅约 3%），单任务延迟 47.2s→40.2s（并行化后 36.5s）。估计器本身的验证：draft 误差在 N=1/10/300 时为 0.25→0.089→0.025；keep-set 与 KL 反事实解的重叠系数 0.85（OfficeBench）/0.90（AppWorld）；直接 KL 估计需要约 100 倍样本且噪声大 7–15 倍。消融：N=1/3/5/10 得 71.6/77.9/74.7/74.7——N=3 即饱和。

诚实披露：多数设置下 FOCUS-D 比 FOCUS-O 低约 1 点（论文称在 ±1.4% 方差内非系统性退化）；集合泛化类计划（「对每个联系人……」）会低估枚举 span 的效用——论文自己给出了漏加第 5 个 Venmo 好友的失败案例。

5.2 E-MoE：少步生成的数量级改善

主指标：Gen-PPL（生成困惑度，用独立评估器给生成样本打分，越低越好）、MAUVE（与真实分布的分布距离，越高越好）、BPD（比特每维，二值 MNIST）、Validity（8 模态玩具数据的模式覆盖率）。

（LM1B：128 token，1M 步，65B token 训练；参数量 E-MoE 2.49M vs MDLM 2.07M/VADD 2.50M——MNIST 配置。）

实验设计的说服力在两处控制：(1) LM1B 上活跃参数严格对齐（139.4M vs 139.3M，路由仅 +0.07M），排除「参数更多」的解释；(2) 关键消融——把采样路由换成 greedy（温度 τs→0，混合坍缩为单专家），权重完全不变，Gen-PPL 从 626.1 恶化到 1079.5（1.72 倍）。增益确实来自混合（对路由的边缘化），不是来自参数或架构容量。同样本熵 4.34–4.35 也排除了「只会生成低熵安全文本」的质疑。隐变量健康度：E-MoE 的 routing KL 稳定在 0.65 nats/token（隐变量全程被实际使用、无需 warmup），对比 VADD 的 KL≈0.14（接近 posterior collapse）。

5.3 蒸馏嵌入：全面超越 teacher 与 AR 基线

主指标：Gen.PPL（生成困惑度，同熵下越低越好）、MAUVE、invalid embedding 统计、编码 FLOPs。

其他基线：AURORA-LM 98.4、LDLM 34.3、CoBit-S/M 37.3/31.3、T5-small+ELF-B/M 52.1/32.8。这个结果有两层含义：student 不仅大幅超越自己的 teacher（38.5→31.2，−19%），还超过了参数量更大的自回归模型 GPT-2-M（17.8 vs 20.8，同熵）——连续扩散路线第一次在这个口径下拿到与 AR 可比甚至更好的数字。机制证据直接测量了假说：10% 上下文替换扰动下，teacher 的候选嵌入间距 1.19（以最近邻距离归一）vs student 0.97——蒸馏确实把候选拉近了。teacher 在 NFE 16–32 时 Gen.PPL 塌缩到 77–335，student 保持稳定——可扩散性直接决定少步鲁棒性。代价的量化：SST-2 线性探测从 89.4 降到 78.1——判别力确实被换掉了，换来的是生成力。容量对照消融：18 层 student（比 teacher 还深）仍胜 teacher，证明增益来自软标签监督形式而非容量。

5.4 PersonaDose：表达、连贯与分级精度三线作战

指标体系：PV 表达分（GPT-4.1-mini 打分 0–100）为主指标，连贯性分做地板约束（τ=75，低于地板的设置视为不可用——这防止「高表达但胡言乱语」的作弊解）；分级控制精度用目标误差 MAE 与可达格数。

核心对比（三特质均值，连贯地板 τ=75 下）：

对 CAA 的领先为 +33.2 / +18.3 / +17.8 点。单特质样本：Llama sycophantic 9.7→90.5、impolite 1.6→72.3；Qwen evil 3.3→71.5；Gemma evil 21.2→68.9——方向类方法在「高连贯区几乎无表达」的特质上被拉开最大差距。

留出题（校准阶段只用来选强度、不参与训练）：表达 75.6/80.3/84.8 vs CAA 43.5/63.3/68.0，配对增益 32.1 [26.4, 37.8] / 17.0 [10.4, 23.7] / 16.8 [12.4, 21.5]（95% CI）；连贯性 75.5/83.2/79.4。

分级控制（七特质 × 目标 r∈{20,40,60,80}，28 格/模型）：MAE 6.1 / 6.2 / 4.7 点；可达格 22/28、20/28、14/28（同时保持连贯的 19/28、20/28、13/28）。最细颗粒的例子：Qwen sycophancy 请求 20/40/60/80，留出实现均值 12.9/37.1/56.3/80.5（连贯 88.9–92.9）。「请求 60 分、实际 56.3 分」——这就是行为化接口承诺的精度。

诚实边界：可达范围因特质而异——optimistic 在每个模型上只有 1 个可达目标，Gemma 的 hallucinating 一个都不可达；三模型的 T 值差异（0.3834/1.1116/0.2952）证明不存在跨模型通用系数。

六、效果优势的根源解释

6.1 FOCUS：保留信号的差异是根因

因果链（标注：〔论文实验已支持〕/〔阅读者推测〕）：

1. 方法差异：token 级方法按语言模型似然删 token；摘要类方法用离线固定策略改写；FOCUS 的保留信号是「未来计划是否引用此 span」——一个前向的、决策导向的信号。〔论文实验已支持：引用频率估计与 KL 反事实解的重叠系数 0.85–0.90〕
2. 机制变化：决策相关的历史（工具调用参数、执行日志、错误信息）被逐字保留而非摘要转述；无关历史被整段移除 → 上下文更干净 → 注意力稀释与 lost-in-the-middle 缓解。〔论文实验已支持：20K→6K 压缩后 RSVP 更新任务反而做对的案例；「去噪=正则化」的解释为论文自述〕
3. 指标提升：Peak −35%−47%、Dep −60%−73% 的同时准确率反升（+8.9 点）。〔论文实验已支持〕
4. Span 完整性的贡献：因果三元组不可分割，保证状态转移可被干净评估——对比 token 级方法会切碎结构化内容。〔论文实验已支持（LLMLingua 在 AppWorld 仅 39.3 的直接对照）；机制细节为论文自述〕
5. 蒙特卡洛 vs 直接 KL 的效率根源：反事实 KL 需指数级子集搜索；引用频率估计是 O(N·m) 且无偏（Hoeffding 界）→ 实测 100 倍样本效率优势（N=3 即够）→ 这就是「免训练+总成本反降 37%」在机制上可行的原因。〔论文实验已支持〕
6. 防御性验证的环境依赖：失效模式是「小 u 大 m」span，在有状态随机环境（AppWorld，+15.9% 相对提升）收益大，在确定性环境（OfficeBench）收益趋平——机制预测与实测一致。〔论文实验已支持〕

外部检索对照：

综合判断：「保留信号应导向未来决策而非语言统计」这一机制得到论文自身实验（重叠系数、LLMLingua 崩溃对照）与外部独立工程观察的双重支持，可信度高；「去噪即正则化」目前主要是论文自述的合理机制假设（有 RSVP 案例但非受控验证）。优势的适用条件：多轮有状态环境（有明确因果依赖可估计）；可能在纯静态单轮任务上收益趋平（此时未来计划草稿的信息量有限）。

6.2 E-MoE：混合对秩一近似的修复是结构性的

因果链：

1. 方法差异：MDLM 反向过程因子化；E-MoE 把它写成离散混合并对路由边缘化。〔论文实验已支持〕
2. 机制变化：边缘化路由把同一步揭开的 token 耦合——共同的不确定性由共享 z 承载，联合分布不再被强制为乘积形式。〔论文实验已支持：8-modes 玩具数据上 Validity 94.4 vs MDLM 37.7，正是「假模式」的直接度量〕
3. 指标提升：Gen-PPL@NFE=1 从 1433.8 降到 643.8（2.2 倍），MAUVE@NFE=2 提升 8 倍。〔论文实验已支持〕
4. 与 VADD 的差异根源：连续隐变量+VAE 有 posterior collapse 风险（VADD KL≈0.14 nats/token，信息通道近乎失效），且固定高斯先验与数据无关；E-MoE 的路由隐变量离散、先验数据相关（router 看噪声序列输出）、后验出自同一网络，routing KL 稳定 0.65 nats/token——隐变量全程被使用。〔论文实验已支持〕
5. 反事实检验：greedy 路由（混合坍缩为单专家）下 PPL 626.1→1079.5，权重不变——增益确属混合机制而非参数量。〔论文实验已支持，这是全文最硬的一条因果证据〕

外部检索对照：

综合判断：「因子化是秩一近似、混合修复它」得到理论（LDDM 下界）、玩具实验（8-modes）、消融（greedy 路由）三重支持，是四篇中机制证据最闭环的一条。适用边界：E-MoE 的证据集中在无条件生成（LM1B/MNIST/玩具）；在条件生成（指令跟随）与大尺度上的表现论文未覆盖，推广需谨慎（此为阅读者标注的边界，非论文已证）。另一个未决问题：routing KL=0.65 nats/token 是否是「健康区间」的一般标准，尚缺跨任务证据。

6.3 蒸馏嵌入：判别-生成权衡的几何根源

因果链：

1. 方法差异：teacher 以 one-hot 重构训练；student 以 teacher 的候选概率分布（软标签）训练。〔论文实验已支持〕
2. 机制变化：one-hot 训练把同位置候选词嵌入推开（判别需要）；软标签要求 student 复现分布 → 候选嵌入靠近、形成连通区域（候选间距 1.19→0.97）。〔论文实验已支持：间距被直接测量〕
3. 后果传导：最优去噪器输出候选的条件均值——teacher 空间里均值落在候选之间的「模糊区」（invalid embedding，142/109 统计），解码失败；student 空间里均值落在连通区域内，解码为候选之一。〔论文实验已支持：invalid 统计 109→12；teacher 在 NFE16–32 塌缩而 student 稳定〕
4. 指标提升：Gen.PPL 38.5→31.2（−19%）、LM1B 60.6→50.5、超过 GPT-2-M。〔论文实验已支持〕
5. 代价的机制解释：拉近候选必然压缩类间信息 → SST-2 线性探测 89.4→78.1。这不是实现瑕疵，而是权衡的另一面。〔论文实验已支持；「权衡必然性」的普适表述为阅读者归纳〕

外部检索对照：

综合判断：「判别式训练推开候选、软标签蒸馏恢复连通」这条机制链的每一环都被论文直接测量（间距、invalid 数、塌缩行为），且与 LDLM 的独立结论交叉印证，可信度高。适用边界：结论在 OWT-1024/LM1B 两个语料、T5 家族编码器上成立；「scaling 带来可扩散性」的因果（而非家族相关）解释尚未完全闭环——更强编码器同时改变了容量与训练数据，论文未逐一剥离（诚实标注为部分推测）。SST-2 下降 11.3 点提示：如果下游既要生成又要判别，需要权衡或混合方案。

6.4 PersonaDose：监督信号形式与接口校准的双重根源

因果链：

1. 方法差异：方向类方法只总结对比激活的方向（一阶统计摘要）；PersonaDose 在人格表达响应上以 LM 目标训练一个变换（流场），且流时间连续可调。〔论文实验已支持〕
2. 机制变化：干预从「固定方向平移」变为「条件化、强度连续的表示传输」——特质描述 c 进入速度场，不同强度走不同深度的流。通用 FLAS 表达仅 13.3–46.2 而特化后达 75.1–86.0，证明**特化（而非流架构本身）**带来行为库的扩展。〔论文实验已支持：这组对照精确隔离了「特化」的贡献〕
3. 表达-连贯权衡曲线的移动：同一连贯地板（τ=75）下可达表达大幅上移（Llama +33.2 点）；方向类在高连贯区几乎无表达的特质（Qwen evil 3.3→71.5）被拉开最大差距。〔论文实验已支持〕
4. 校准层的贡献：剂量-响应曲线把流时间翻译为行为分数单位，保序回归容忍有限样本局部倒置 → 接口从「系数」变为「请求分数」，支撑 4.7–6.2 点的中间强度命中。〔论文实验已支持：请求 20/40/60/80 实现 12.9/37.1/56.3/80.5〕
5. 解耦设计的作用：训练不配对目标强度，使「行为范围」与「范围内精度」分离——前者由特化负责，后者由校准负责。〔论文实验已支持：续训+重校准后 11/12 可达、MAE 6.2 vs CAA 的 8.2〕

外部检索对照：

综合判断：「变换+特化优于方向摘要」与「校准层提供行为化接口」两条机制都有论文内受控对照支持（通用流 vs 特化流、校准前后的可达格对比），外部检索未见反例。「可达范围因特质而异」的边界（optimistic 仅 1 个可达目标）提示局限在行为空间的几何而非校准方法——某些特质可能本身与连贯性强耦合，扩大范围需要更根本的干预形式（此为阅读者推测，论文未下此结论）。

七、必要知识反推

7.1 FOCUS 需要的最少知识

• 领域知识层：agent 交互的结构（reasoning-action-observation 三元组是自然的因果单元）；上下文增长的成本结构（注意力二次方、lost-in-the-middle）。不理解这些，就不会想到「span 而非 token」这个粒度。
• 方法论知识层：信息论（KL 散度、条件互信息、信息瓶颈）——把「决策保持」形式化的唯一途径；蒙特卡洛估计与集中不等式（Hoeffding 界）——引用频率估计的无偏性与样本复杂度证明；已有压缩谱系（LLMLingua/ACON）的失效模式——避免重走「冗余消除」。
• 工程知识层：prompt 一个 draft 模型输出结构化依赖声明（「Depends on」格式）；API 成本核算（draft 开销 3% 的实测）。
• 融合关键节点：把「反事实效用」从不可计算的真值转化为「让 draft 在计划草稿里引用它」的可测代理——这一步需要同时理解信息论目标（要估什么）与 LLM 的指令遵循能力（怎么估），是全文的创造性核心。

7.2 E-MoE 需要的最少知识

• 领域知识层：MDM 的前向/反向过程与因子化结构；MoE 的路由机制（Gumbel-Softmax、top-k 选择、straight-through）。
• 方法论知识层：混合分布与边缘化（Σ_z 分解）；ELBO 与 KL 正则的权衡（T·KL_route 的系数）；VADD 的 posterior collapse 教训（为什么连续隐变量会失效）。
• 工程知识层：活跃参数对齐的公平实验设计（139.4M vs 139.3M）；greedy vs 采样的受控消融。
• 融合关键节点：识别出「MoE 路由决策本身就是每 token 每层的离散随机变量」——需要同时深入两个领域（扩散 LM 的结构缺陷 + MoE 的内部机制），并在「同一个 router 两种输入（噪声/拼干净）」的设计里完成先验-后验配对。这是典型的跨域嫁接：A 领域的病，用 B 领域的器官治。

7.3 蒸馏嵌入需要的最少知识

• 领域知识层：编码器-解码器架构与 T5 家族的训练目标（one-hot 重构）；连续扩散的去噪器最优解形式（条件期望）。
• 方法论知识层：知识蒸馏（软标签 vs 硬标签 vs MSE 的差异）；表征几何分析（最近邻距离、线性探测）。
• 工程知识层：层均匀初始化（18→9 层取层）；大规模训练运维（8×H100 38.6 小时）。
• 融合关键节点：「最优去噪器=候选均值」这一扩散理论事实 × 「判别式训练推开候选」这一表征几何事实，两者相乘得出「均值落在模糊区」的失效预测——随后软标签蒸馏是顺理成章的逆操作。没有这两个领域事实的相乘，就只能看到「质量差」的现象。

7.4 PersonaDose需要的最少知识

• 领域知识层：残差流与激活引导的线性表示假设；流模型（速度场、Euler 积分）。
• 方法论知识层：CAA/RepE 的方向提取法及其统计本质（一阶摘要）；保序回归与剂量-响应校准（从药理学借来的工具）；表达-连贯权衡的实验设计（连贯地板作为约束）。
• 工程知识层：小型语料的高效特化（1250 行）；双评分协议（GPT-4.1-mini 打表达分与连贯分）。
• 融合关键节点：「训练时不配对目标强度」这个反直觉设计——它要求同时理解流模型的训练动力学（配对不同时间的监督会怎样）与校准的职责边界（精度可以后置），从而把两个问题解耦。

八、论文中可以提取的通用性灵感

灵感一：信号的「方向」比信号的「形式」更重要（FOCUS） 核心思想：做任何信息筛选时，「按什么标准留」比「用什么工具留」更根本——面向未来决策的因果信号优于面向语言统计的冗余信号。 论文证据：同一环境下，按似然删 token 的 LLMLingua 得 39.3（低于不压缩的 56.0），按因果效用保留的 FOCUS 得 64.9。 推广场景：检索系统的重排（按「对回答有用」而非「相似度」）；日志监控的告警分级（按「影响后续决策」而非「异常程度」）；课程设计的材料选择（按「后续课程依赖」而非「信息密度」）；RAG 的 chunk 选择；个人笔记整理。

灵感二：让被筛选对象「自我申报」依赖，是估计重要性的百倍杠杆（FOCUS） 核心思想：直接测量因果影响（留一重采样）指数昂贵；让一个廉价模型在草稿计划中显式引用依赖，是无偏且指数收敛的代理测量。 论文证据：draft 估计与 KL 反事实解重叠 0.85–0.90，样本需求少约 100 倍，N=3 即饱和。 推广场景：特征重要性估计（让模型在推理草稿中引用特征）；依赖追踪（让 agent 声明数据血缘）；软件影响分析（让 LLM 在修改计划中列出将改动的模块）；文献综述的引用筛选。

灵感三：已有的内部机制常常是免费的隐变量（E-MoE） 核心思想：解决一个结构缺陷时，先盘点系统里已经存在的随机/离散机制——把它变成显式隐变量可能近零成本。 论文证据：MoE 路由只加 0.07M 参数就打破因子化；greedy 化后增益消失（626.1→1079.5）证明用的确实是它。 推广场景：多智能体通信（把路由消息当协调信号）；推荐系统的多样性（把聚类分配当隐变量）；集成学习（把基模型选择显式边缘化）；神经网络的结构搜索（把现有 gate 的采样温度作为探索旋钮）。

灵感四：判别力与生成力是表征空间的对抗属性，可以用监督形式调控（蒸馏嵌入） 核心思想：同一个表征空间，one-hot 监督把它推向判别（类间分开），分布监督把它推向生成（类内连通）——训练标签的「软硬」直接改写空间几何。 论文证据：软标签蒸馏使候选间距 1.19→0.97、invalid 嵌入 109→12、Gen.PPL 降 19%；代价是 SST-2 探测降 11.3 分。 推广场景：检索向量的生成式改造（检索嵌入用于生成任务前先蒸馏）；语音表征（ASR 特征做语音合成前的连通性处理）；蛋白质表征（判别式折叠特征 vs 生成式设计特征）；对比学习产物的下游生成任务适配。

灵感五：接口的单位决定实验的科学性（PersonaDose） 核心思想：当控制参数没有行为含义时，「扫参数出结论」的实验在测量学上不成立——先校准单位，再做科学。 论文证据：同为请求 40 分，三个模型需要 T=0.3834/1.1116/0.2952；校准后 MAE 低至 4.7 点，而基线只能盲目扫参。 推广场景：LoRA 的强度系数校准（请求「50% 风格迁移」）；数据增强的强度（请求「保真度 80%」）；温度/_top-p 的行为化语义；药物剂量实验设计；任何「内部旋钮→外部指标」的系统标定。

灵感六：把「能力范围」与「范围内精度」分两个模块解决（PersonaDose） 核心思想：一个模块负责覆盖整个谱段（训练时不锁定目标强度），另一个模块负责命中目标点（事后校准）——比让一个模块同时干两件事更稳。 论文证据：训练不配对强度+保序回归校准，分级控制 11/12 可达；续训+重校准还能持续升级（78.7→93.7）。 推广场景：可控生成的强度控制（情绪浓度、正式度）；强化学习的奖励塑形（先学全谱段行为再校准触发阈值）；教育测评的难度标定；机器人力的分级控制。

灵感七：严格对齐「活跃资源」的对照，是归因的黄金标准（E-MoE/FOCUS 共同） 核心思想：证明增益来自机制而非资源，必须把对照做到了活跃参数级/同 draft 级——「公平」要公平到血流级别。 论文证据：E-MoE 活跃参数 139.4M vs 139.3M+greedy 消融；FOCUS 用同为 Qwen3-14B 的 draft 与 ACON 对比（61.3 vs 50.0）。 推广场景：任何系统对比实验（缓存命中下的真实算力）；A/B 测试的资源对齐；算法论文的审稿清单。

附录：四篇合读的一条主线

回到开头的表格，四篇论文其实在同一个坐标系里：从外到内改造一个冻结的大模型——改它看到的上下文（FOCUS）、改它内部数据流的隐变量结构（E-MoE）、改它输入的表示空间几何（蒸馏嵌入）、改它推理时的激活轨迹（PersonaDose）。它们共同暗示的路线是：大模型作为「不可重训的固定资产」，其能力边界不是终点，而是可以通过外围工程持续外推的起点。四篇论文各自留下的诚实边界——FOCUS 的集合泛化失败、E-MoE 未覆盖条件生成、蒸馏的判别力损失、PersonaDose 的特质可达范围——则标出了这条路线上下一段要修的路段。