论文链接：

• Inherited, Not Invented: Tracing the Provenance of Wait in Reasoning Models (arXiv:2610.30882)
• Cola2: Co-Adaptive Hierarchical Language Modeling with Continuous Semantic Compression and Balanced Discrete Generation (arXiv:2610.31305)
• What Makes a Good Unmasking Policy? A Controlled Study of Learned Unmasking in Diffusion Language Models (arXiv:2610.31576)

代码仓库：

• Wait 溯源：https://anonymous.4open.science/r/wait-provenance/ （provenance map、结果键、label-free 指标套件、三份专家共识盲审，CC-BY-4.0）
• Cola2：项目页 https://hongcanguo.github.io/Cola2
• OnTrack：论文标注 § Code 链接（txt 中为占位符）；实现基于 Jazbec et al. 2026 公开代码库修改

发表时间：2026年10月 机构：

• Wait 溯源：香港科技大学（HKUST）、北京大学、华为诺亚方舟实验室（高校主导 + 企业实验室参与）
• Cola2：香港大学、ByteDance Seed（字节跳动 Seedance 团队，项目负责 Yan Zeng）、北京大学、中国人民大学（企业主导 + 多高校合作）
• OnTrack：NTU Singapore（一作与通讯）、新加坡科技研究局 A*STAR（IAIC 与 CFAR）（纯科研机构合作）

领域标签：cs.CL / cs.LG / cs.AI——LLM 可解释性与训练动态、扩散/分层语言模型架构、扩散语言模型高效解码

一、论文背景

这三篇论文各自切入语言模型的一个机理问题：一个词从哪里来（Wait 溯源）、潜空间该存什么（Cola2）、哪些 token 可以提前提交（OnTrack）。它们共同的底色是：这些问题此前主要靠直觉、轶事或单点实验争论，而三篇工作都用受控、系统化的测量给出了可检验的回答。

1.1 推理标记词与「aha moment」叙事（Wait 溯源）

推理模型（reasoning model）指在给出答案前生成较长思维链（chain-of-thought）的大语言模型。R1-Zero 式训练（纯强化学习、无监督微调）的著名叙事是：训练中模型突然学会写「Wait, is that correct?」这类修订标记词（revision marker），被解读为「aha moment」——模型在 RL 中自己学会了反思。因此大量下游工具把这些词当作信号：不确定性启发式把 wait 计为疑 doubt 的证据，思维链监控器扫描这些词，技术报告用关键词计数衡量「反思行为」。

但这个叙事有一个未经验证的前提：wait 是 RL 铸造的。如果基座模型（或中间训练）早就写这个词，RL 只是放大了它，那么「RL 教会模型反思」与「RL 放大了继承来的习惯」就是两个完全不同的归因——对训练配方设计、对监控器校准、对蒸馏 vs zero-RL 的选择都有实际影响。此前的工作或者只统计关键词频率，或者只看最终模型，没有人沿一条完整的开源训练史（预训练 → 中间训练 → SFT → RL，逐 checkpoint）对这个具体词形做断代。

1.2 分层语言生成与连续语义压缩（Cola2）

自回归（AR）语言模型逐 token 生成，推理天然串行。扩散语言模型（DLM）通过迭代去噪支持并行生成，但仍在 token 空间直接建模。另一条路线是分层建模：先把文本压缩进连续潜空间（latent space），在潜空间建模高层语义，再用离散解码器把潜变量还原成 token——Cola DLM 是代表。这条路线遇到三个纠缠的问题：

• 潜空间该压缩什么？把序列变短不等于得到紧凑语义表示，纯重建目标不保证潜变量能预测缺失或未来的文本。
• 离散解码器该怎么用潜变量？既要忠实实现潜语义，又要在潜条件不完整时靠上下文自主补全。
• 二者该怎样共同学习？提前冻结编码器会把信息分配定死在解码器学好之前；让先验拟合损失直接改写编码器，又可能把潜空间推向「容易拟合」而非「更有用」。

1.3 扩散语言模型的 unmasking 策略（OnTrack）

掩码扩散语言模型（dLLM）每步把部分掩码位置填上预测 token（提交，commit）。提交越多步数越少，但多个 token 是在同一状态下独立预测的，互相可能不一致，而提交不可撤销——错误的提前提交会污染后续所有输入。所以效率取决于 unmasking 策略：每步提交哪些位置。training-free 方法（置信度阈值、熵预算）和已学习的策略（RL 的 LUP、监督式的 Learn2PD/TraceLock）都存在，但它们在监督信号、训练状态、策略输入、策略容量上同时不同——例如 LUP-hidden 用约 1000 倍于 LUP-conf 的参数反而更差，没法判断是隐藏状态没用还是容量配置问题。此外，每步都跑策略本身有开销，NFE（函数评估次数）降低了多少才够回本，此前无人量化。

二、论文定位和关联工作

2.1 Wait 溯源：在「反思行为谱系」中定位

相关研究分三支：

• 反思的前 RL 存在性：Essential AI、Gandhi et al. 等工作表明基座模型在 RL 前已有反思行为；Yue/Shao 等指出可验证奖励主要锐化既有能力；Hu et al. 发现蒸馏模型的犹豫词远多于 zero-RL 模型。这些工作定位了行为在 RL 之前，但没有断代词形本身的来源。
• 标记词的功能解释：Kang et al. 发现答案后反思多为确认性；Zhao et al. 称很多推理步骤是装饰性的；Wang et al. 抑制标记 token 代价很小；Boppana et al. 在信念转变处找到拐点。这些只研究最终模型，没有训练时间轴。
• 语法化理论（grammaticalization）：历史语言学的这一框架指出，一个词要成为语法标记需要源结构已在用，过程表现为频率上升、位置固定、形式磨损（attrition）、与邻接成分结合。这为「RL 能否凭空铸造标记词」提供了可测预测——语法化的第一课就是标记需要源。

本论文的定位：首次沿单一开放谱系（OLMo-3 全阶段 + 18 个 zero-RL 运行 + 谱系后代）对标记词做历时语言学式断代，区分「源效应」（数据提供词）与「配方效应」（RL 塑造词），并配预注册假设与盲审人审。

2.2 Cola2：分层语言建模范式中的定位

• 语义压缩：固定粒度方法（Megabyte、层级 Transformer）按块缩短序列；自适应方法（Byte Latent Transformer、Dynamic Chunking、DLCM）按内容聚合；概念级方法（LCM、NCP）在句子/概念表示上组织生成。Cola2 的差异：用无辅助损失的负反馈控制维持压缩率（对比 DLCM 的率损失），并叠加生成监督。
• token 空间模型：AR 串行生成；离散扩散（LLaDA、Dream）迭代去噪；块扩散（Block Diffusion）插值两者。Cola2 的块因果 MDM 解码器属于这一支。
• 连续潜空间模型：Cosmos、TextLDM、ELF 等在连续表示上做扩散/流；Planner/Latent-LLM 类自编码器分离潜生成与文本解码；Cola DLM 与联合训练方法（Meshchaninov et al.）开始共优化潜空间与生成器。Cola2 的差异：把「哪个目标该联合塑形表征、哪个学习过程该解耦」显式化为梯度路由——token 预测梯度回传编码器，DiT 先验拟合用 stop-gradient 隔离。

2.3 OnTrack：unmasking 策略研究中的定位

• Training-free：Fast-dLLM（置信度阈值并行解码）、EB-Sampler（熵预算）、DAPD 等——在推理时规定提交规则。
• 学习式：LUP（RL，轻量 Transformer 策略）；Learn2PD（oracle token 正确性监督的轻量过滤器，teacher-induced 轨迹）；TraceLock（从完整解码轨迹回溯提交标签，隐藏状态输入，reference 轨迹）；dUltra 等 RL 方法在线学习。
• 本论文定位：蒸馏视角的受控研究——把监督式策略统一看作「蒸馏一个解码过程」，然后一次只变一个设计轴（教师标注什么 × 训练状态 × 策略输入 × 开销），2×2 联动评估，最后合成 856K 参数的 OnTrack 策略。

三、问题定义

3.1 Wait 溯源：从「一个词的流行」到历时断代

• 具体问题：推理模型里 wait 的频率上升，是 RL 学会的还是继承的？
• 抽象问题（历史语言学式）：把每个 checkpoint 的采样输出当作历时语料，对词形 wait 做频率（FREQ，每 1k token）、位置（句首占比 SI、位置熵 Hpos）、形式（规范形 Wait, 占比 ORTH）、链式（CHAIN，Wait, wait 重复）的测量，回答两个正交问题——源（词从哪个训练阶段进入）与配方（RL 对已存在的词做了什么）。
• 形式化：给定模型谱系（基座 → 各训练阶段 checkpoint 序列），构造注入错误实验的前缀对（正确 vs 注入一个算术错误），由击中率 HR=P(marker|error) 与虚警率 FA=P(marker|no error) 计算信号检测量 d′=z(HR)−z(FA)（敏感性）与 c=−½[z(HR)+z(FA)]（判据宽松度），从而把「这个词意味着什么」变成可测量。
• 精妙之处：用「词形的发生学」替代「行为的发生学」——行为难以无标签测量，而词形的语法化参数恰好都能从出现次数直接计算，无需人工或 LLM 判断。

3.2 Cola2：从「分层生成」到信息分解下的联合优化

• 具体问题：潜空间该压缩什么、解码器该怎么用它、二者如何共适应。
• 抽象问题（信息论）：把生成写成 p(Y|C)=∫pθ(Z|C)pψ(Y|C,Z)dZ，在压缩约束 K=ρT 下，目标文本的不确定性分解为语义信息 I(S;Z|C)、局部残余 I(Y;Z|S,C) 与离散生成残余 H(Y|C,Z)。定义语义信息密度 D_sem=I(S;Z|C)/K——问题的本质是在有限潜位置上最大化 D_sem，而非仅仅缩短序列。
• 形式化：联合优化 (φ*,ψ*)=argmin E[−log pψ(Y|C,Z)] s.t. K/T≈ρ*，同时保持 token 预测对编码器的直接梯度（∇φL_tok≠0）。重建-生成平衡由潜条件退化信道刻画：clean/noisy/drop 三态覆盖从强条件重建到弱条件自主生成的谱。
• 精妙之处：把「两个模块怎么配合」翻译成「哪些损失允许改写潜空间」的梯度路由问题，并证明（Lemma 4.2）先验拟合梯度与表征目标梯度不必对齐——这直接推出 stop-gradient 解耦的必要性。

3.3 OnTrack：从「提交哪些 token」到蒸馏设计的解耦

• 具体问题：学习式 unmasking 策略里，哪个设计选择真正起作用？
• 抽象问题（蒸馏视角）：监督式策略 = 蒸馏一个固定解码过程。设计空间三个正交轴——教师标注什么（terminal agreement vs trajectory contraction）、在哪些状态上模仿（reference 轨迹全部状态 vs teacher-induced 访问状态）、策略观察什么（置信度 c /隐藏状态 h /间隔 m 及组合）。
• 形式化：轨迹收缩判据：从状态 s_t 一步提交集合 A_{t→u} 有效当且仅当 C(s_t, A_{t→u})=s_u（直接落到参考轨迹的后续状态），取最远 u* 为目标 y_tc=1[i∈A_{t→u*}]。策略为 856K 参数 DiT 单块，输入 z=W_c·c+W_h·h（d=128 相加融合），每步提交 {i: q_{t,i}>γ}。
• 精妙之处：收缩判据把「此刻预测正确」与「此刻提交安全」区分开——正确的 token 若排在误预测之后被提前提交，会改变后续输入，把解码带到参考轨迹从未访问的状态。这一判据构造无需任何额外骨干评估（有效性对 u 单调）。

四、问题解法

4.1 Wait 溯源：label-free 历史语言学流水线

类比：像历史语言学家读一个词的演变史——只凭它在各时代文本中的出现，推断它何时进入语言、形式如何磨损、语义如何漂移。这里「各时代文本」= 各 checkpoint 的采样输出。

流水线（Figure 2 四阶段）：

1. 谱系与采样：三类模型史——(i) 全开放谱系 OLMo-3-7B（预训练→中间训练→base→RL-Zero 或 Think 路线，32B 复刻）；(ii) 无标记基座上的 zero-RL 运行（自研 GRPO on Qwen2.5-Math、DAPO、Open-Reasoner-Zero 等）；(iii) 推理轨迹微调的后代（R1-Distill、QwQ、Phi-4、Qwen3、MiMo 等）。共 120 个模型端点、96 个 checkpoint，每个在 MATH-500 上以系列固定解码采样 2–8 个响应/题。
2. 出现匹配：在去 token 化文本上正则匹配所有拼写变体（Wait, / wait / Wait. 等），绝不按 token id 匹配（分词器会拆分不同形式）。
3. label-free 指标：FREQ（每 1k token）、SI（句首占比）、ORTH（规范形占比）、CHAIN（链式重复占比）、EROS（到下一数学动作的距离）、用法漂移（JSD 对噪声地板）。全程确定性规则，无人审或 LLM 判断。
4. 注入错误警报实验：构造正确前缀与注入一个算术错误的平行副本，继续生成，记录两句话内是否出现修订标记（范式 F 的任何形式），计算 d′ 与 c。
5. 统计与预注册：Poisson 精确区间处理稀有事件，cluster bootstrap 处理比率，Spearman+Holm 校正趋势；预注册假设 H1–H6 与证伪条件；三份专家共识盲审（10 位博士级标注者）校验 LLM 评审的有效性。
6. 移植实验（关键因果步骤）：预注册设计——把不写 wait 的 Qwen2.5-Math-1.5B 先 SFT 到 512/64 条句首为 Wait, 的正确轨迹上（对照组把开头词换成中性 Next, 或删除），再用与 zero-RL 相同的 GRPO 配方训练 400 步。SFT 种入的频率与 RL 之后的频率之差，就是「RL 对已存在标记做了什么」的因果测量；Next, 臂把「形式」与「功能」分开；8,192 token 上限的长度控制臂排除「RL 只是缩短响应」的混淆。

4.2 Cola2：三模块共适应框架

类比：像压缩机与解码器的成对设计——压缩什么取决于解码端能补全什么，而压缩机指标（压缩率）由一个不参与学习的恒定控制器维持，避免「为好压而压」。

模块（式 3.13 的三通路）：

• 压缩 VAE 编码器 E_φ：动态分段器按相邻 token 表示的语义不连续度 δ_t=1−cos(LN(h_t),LN(h_{t+1})) 给出边界概率，硬阈值切分；span 内双向池化、潜轴因果建模，输出对角高斯后验。压缩率由偏置 b 的负反馈更新维持：b←clip(b−η_b(ρ̂−ρ*),±c_b)，b 不参与反向传播（Lemma G.1 证明局部收敛为压缩映射）。
• 块因果 MDM 解码器 D_ψ：duration 头预测每个潜变量覆盖的 token 数并展开为 token 对齐条件；块间因果、块内双向去噪，掩码查询不可读本块干净副本（防泄漏）。训练时每个潜块互斥采样三态条件：clean（直接用 Z）/ noisy（(1−u)Z+uε 小扰动）/ drop（去本块潜条件、保留 token 上下文），默认比例 0.2/0.4/0.4。生成监督 L_gen=encoder-mask：固定 span 布局、屏蔽部分编码器输入 token、第二遍前向、只监督被屏蔽 span 的 token 预测——由数据处理不等式，该目标不可能靠复制当前目标满足（Lemma 4.1），只能靠潜变量携带预测性信息。
• 潜生成器 G_θ（块因果 DiT）：只读 stop-gradient 的潜变量 sg(Z)，用 Flow Matching 学 pθ(Z|C)；块间因果、块内双向，块内共享同一噪声水平。

两阶段训练：Stage 1 联合训练 E_φ 与 D_ψ（L=L_bal+λ_gen·L_gen+β_KL·L_KL+λ_dur·L_dur）；Stage 2 保留全部 Stage 1 通路、只追加 DiT 的先验拟合（L+λ_FM·L_FM）。关键梯度关系：∇φL_DGD≠0（token 预测持续塑形编码器），∇φL_FM=0（先验拟合被隔离）。

推理（propose–decode–re-encode–commit 事务）：DiT 提出本块潜变量 → duration 展开 → MDM 解码成 token 块 → 固定 span 布局重新编码实际生成的 token 得到 Z_corr → 原子提交 Z_corr（而非提案潜变量）。这保证潜历史始终与实际文本一致（K_Z≤j≡E_φ(K_Y≤j)，训练-推理一致性不变量），消除跨空间的累积上下文偏置。两级 CFG：DiT 在速度空间调制历史潜条件（γ_gen），MDM 在 logit 空间做 prefix×latent 双轴调制（γ_p, γ_z）。

4.3 OnTrack：三发现合成的轻量策略

类比：像驾校教练带出学员——教练（教师轨迹）标注的不是「学员此刻方向打得对不对」，而是「这一把方向之后，车是否仍在既定路线上」。

受控研究三步：

1. 监督构造 2×2：提交判据（terminal agreement：预测与参考轨迹终 token 一致即正例 vs trajectory contraction：一步提交必须直接到达参考轨迹某后续状态，取最远者）× 训练状态（reference 轨迹全部 686,052 个状态 vs teacher-induced 仅教师访问的子集）。构造收缩目标无需额外骨干评估：对 u 单调，从 T 向 t+1 回扫首个满足者即为 u*（Algorithm 1）。
2. 策略输入四选一：置信度 c（331K 参数）/ 隐藏状态 h（4096 维，855K）/ [c,m] 间隔 / [c,h]（856K）。全部线性投影到 d=128 后进入同一个 DiT 单块策略网络（RoPE 位置编码，条件于掩码状态与步数），隔离输入效应与容量效应。
3. 延迟剖析：H200 单卡、batch 1、L=256、块长 32，合成提示 128–2048 token，对 331K/856K/7.5M/300M 四档策略测每步延迟（7.5M/300M 为随机初始化，只测开销）。

OnTrack 合成：轨迹收缩目标 + reference 轨迹训练 + [c,h] 输入 → 856K 参数（骨干的 0.01%）。参考轨迹由 Fast-dLLM（阈值 0.9）在 GSM8K+MATH 训练集上生成，只保留最终答案正确的 9,169 条；BCE 损失端到端训练策略（含两个投影头），约 3 小时 15 分钟单 H200。解码按块进行：本块中策略分超过阈值 γ 的掩码位置全部提交；若无位置超阈值，提交得分最高者。

五、评估指标与实验证据

5.1 Wait 溯源：断代证据链

指标体系：主指标为 wait 每 1k token 频率（Poisson 95% 区间）；辅助指标为 SI/ORTH/CHAIN/EROS 形式指标与用法 JSD；机制指标为警报实验的 d′ 与 c；校验指标为盲审人审与 LLM 评审的一致性 κ。

核心数字：

• zero-RL 不铸造：18 个运行（9 个 Qwen2.5/Mistral/Qwen3 基座，0.5B–32B）中 17 个的 wait 频率 95% 上界 <0.06/1k，同时 MATH-500 精度中位提升 42.9 分。Open-Reasoner-Zero 32B 精度 10.8%→91.4% 而 wait 仅 4 次/237.9 万 token。唯一例外 General-Reasoner-Qwen3-4B（0.29/1k）。其它反思开头词也未顶替。五个基准（AIME24/25、AMC23、GSM8K、MMLU-Pro）复现同一模式。
• 训练数据供词：OLMo-3 预训练期 ≤0.04/1k，中间训练后跳到 4.03（88.6% 句首），与官方报告的 thinking traces 加入中间训练的时间吻合；MiMo/SmolLM3 等含推理数据的基座本身就写该词；全部四个 Qwen3.5 基座都写（0.93–1.96/1k）。
• 配方效应：同基座同评估下，released OLMo-3 RL-Zero 把 4.9 放大到峰值 17.0（step 1900）、最终 12.68±1.55（MiMo-7B RL-Zero 4.95→6.62）；自研 KL-free GRPO 400 步仅为基座的 0.81–0.93 倍（与 released 的 1.58 倍区间不重叠）。OLMo-3 配方同时磨损形式：Wait, 占比 88.9%→37.5%，链式 117.6→213.0/1k 出现，标记句长 11.8→6.1 词——教科书式 attrition。SFT 后的 RL（Think 路线）频率几乎不动（3.9→4.5）且逗号形式恢复（55.0%→78.2%，p=0.029）。
• 移植实验（因果）：SFT 种入 7.52/1k 后 GRPO 400 步清零（0 次/306.7 万 token），精度 41.0%→77.6%；长度控制臂（8,192 上限）同样归零（A=0.0003，95% CI [0.0001,0.0006]），排除长度混淆；Next, 对照臂被保留 0.12——抹除针对的是标记形式而非「任何开头词」。
• 警报实验：RL-Zero 后任意修订标记 d′ 0.57→1.09（更敏感）但判据 c 0.11→−0.24（更宽松）；wait 单独 d′ 0.77→1.29、c 0.46→0.01，击中率 47.1%→73.7% 但虚警 19.9%→25.4%——词没有脱色，而是变得更容易触发。
• LLM 评审风险：60 句盲审（专家共识标签）中，主 LLM 评审逐项一致 κ=0.64，但其修订率趋势（26.0%→12.9% 下降）反转了人类共识方向（1.3%→15.9% 上升）；第二评审 κ=0.71 且方向正确。

5.2 Cola2：17 个观察点 + 两级扩展实验

指标：LAMBADA 准确率（组件分析）、五任务准确率（受控扩展）、八任务平均（后训练对比）。

关键消融（LAMBADA）：

受控扩展（约 210B token，五任务）：Cola-MDM（ρ=1）任务均值约 34.5% 高于 AR 约 33%，LAMBADA 约 64% 领先 Cola DLM 约 15 分——证明 Cola DLM 的短板在解码器而非分层框架；Cola2-MDM 压缩后收敛更慢但 150B token 后与 LLaDA 差距缩至约 1.5 分且未饱和。

大规模后训练（346.03B 源 token，三阶段 52.43B+125.83B+167.77B，Qwen3-4B 初始化解码器）：八任务平均 60.10，其中 RACE 69.91、HellaSwag 41.75、StoryCloze 80.42、ARC-Easy 87.62、MMLU 51.32——HellaSwag 与 StoryCloze 超过 15T+ token（43 倍数据量）的 Llama-3-8B（39.21/79.49），八任务均值落后 6.15 分；与 Qwen2.5-7B（75.08）、Qwen3-8B-Base（75.87）、LLaDA-8B-Base（72.11）仍有差距，作者明确此对比是语境化而非计算匹配。

5.3 OnTrack：受控发现与端到端验证

指标：accuracy–NFE 前沿（主）、TPS 吞吐（端到端）、每步延迟（开销）；参考精度为 one-by-one 置信解码（GSM8K 78.0% / MATH-500 38.8% / HumanEval 45.1% / MBPP 52.9%），目标档取 98%/95%/90%。

三个 Finding 的证据：

1. 判据：terminal agreement 正例中 28.7% 违反轨迹收缩（56.0% 参考状态含此类违例）——这些是排在误预测之后的正确 token。换成收缩判据在 GSM8K 与 MBPP 前沿均提升；MBPP 98% 档 reference+收缩 48.6 NFE vs teacher+收缩 64.8（teacher-induced 轨迹只保留 34.0%/25.4% 的参考状态，域外损失覆盖度）。收益集中于低 NFE 区；最高精度档 terminal agreement 有时反超（MATH-500 上其至超过参考精度）。
2. 输入：隐藏状态单独最弱（GSM8K 98% 档比纯置信多耗约 165 NFE：227.6 vs …）；[c,h] 在 GSM8K 98% 档 42.1 vs 纯置信 52.9 NFE，但 90% 档无优势；[c,m] 无稳定增益（MATH-500 高档反而更好）。4096 维隐藏态难以被轻量策略单独利用，但与置信互补。
3. 开销：≤7.5M 参数策略每步约 +1.5ms（≤10%），NFE 降约 10% 即盈亏平衡；300M 策略开销至 39%（prefix cache 下），需约 28% NFE 降幅回本；prefix 缓存 2048 token 提示时骨干延迟降 73%，但盈亏平衡阈值不变。

端到端（LLaDA-8B-Instruct）：GSM8K 全精度档 NFE 最少且 TPS 最高（98% 档 zero-shot 331 TPS vs Fast-dLLM 232 / Learn2PD 242 / EB-Sampler 221；four-shot 98% 档 121 vs 98/92/120）；MATH-500/HumanEval 中档目标最快、最高档被 training-free 反超（MATH-500 上 OnTrack 饱和于 98% 档之下）；MBPP 95%/98% 档 NFE 最少。配对 bootstrap 显示 GSM8K 上 NFE 优势对除 EB-Sampler@98% 外全部基线超出评测噪声（如对 Fast-dLLM 98% 档加速 1.56×）。跨骨干迁移：Dream-7B 上 790K 参数策略在 HumanEval 以最少 NFE 超参考精度、MATH-500 98% 档最快。长度迁移：L=256 训练可迁移 L=128/512（数学任务），但长度+代码双迁移同时失效。缓存敏感性：prefix 缓存使 OnTrack 精度降约 2 点（策略消费的骨干隐藏态被缓存扰动），置信类基线基本不受影响。

六、效果优势的根源解释

6.1 根源机制与证据链

Wait 溯源：「源结构 + 结果奖励」决定标记词命运

对比对象：流行叙事「RL 的 aha moment 铸造了 wait」。它为何曾经有效：R1-Zero 运行中 wait 频率确实数倍上升，且与精度提升同现，关键词计数是最容易拿到的代理指标。

baseline 的根本局限：只看频率曲线，无法区分「词进入模型的时刻」与「词被放大的时刻」——观测性混淆（起点状态未测量）。

因果链：

1. 方法差异（zero-RL 从无标记基座出发；released RL-Zero 从已含标记的基座出发）→
2. 机制变化：outcome-only RL 中整条轨迹共享优势——被强化的是「标记→动作」偶联（marker→re-check），不是「错误→标记」偶联。若基座从不用 wait，成功轨迹里没有该词的实例，梯度无从放大一个零频率行为（频率对梯度的支撑为零）【论文实验已支持：17/18 运行】；若基座已用，成功轨迹中它出现在有用动作之前的位置都会被加强——无论错误是否在场【论文实验已支持：RL-Zero 4.9→12.68】。
3. 因此标记词的命运由源（中间训练/轨迹 SFT/富推理预训练提供词的初始分布）与配方（released RL-Zero 的放大与形式磨损；KL-free GRPO 对标记的抹除）两个正交因子决定【移植实验给出因果证据：种入 7.52 后清零，长度受控 A=0.0003】。
4. 指标体现：频率（放大/抹除）、ORTH/CHAIN（attrition）、d′/c（更敏感但更宽松的警报）。「频率上升 ≠ 反思被学会」——警报实验显示虚警率同步上升（19.9%→25.4%），词的证据权重是 checkpoint 特定的【论文实验已支持】。
5. 反事实：若去掉「源」这个条件（基座无词），zero-RL 仍得 42.9 分精度增益而标记保持缺席——证明反思收益不必经过这个词；若去掉「配方」差异（同基座同评估），released 与 KL-free GRPO 的放大比区间不重叠（1.58× vs 0.81–0.93×），配方差异不是噪声【论文实验已支持】。

（标注：以上各步均为论文实验直接支持；「频率对梯度的支撑为零」的表述是对 GRPO 优势共享机制的原理性解读，属阅读者推断，与论文 §D.1 的理论讨论一致。）

Cola2：信息分配必须由下游任务共同决定，先验拟合必须解耦

对比对象：冻结编码器路线（先压缩后生成）与全联合训练路线。

因果链：

1. 生成监督（Lemma 4.1）：encoder-mask 使目标无法靠复制满足（数据处理不等式），可训练编码器必须让潜变量携带「预测缺失/未来 token」的信息 → 15.7%→26.7%（+11 点）【论文实验已支持】。
2. 共进化：潜空间该保留什么，由解码器实际能补全什么决定（式 3.10 的信息重分配）→ 冻结 47.6% → 共进化+生成损失 58.2%（+10.6 点）【论文实验已支持】。
3. 梯度解耦（Lemma 4.2）：FM 损失可以通过两条路下降——DiT 更好地逼近条件均值，或编码器把潜几何改得「更易拟合」（条件方差本身下降），后者会压平语义上有意义的模态（附录 C.3 给出双峰分布坍缩的反例）→ DiT 梯度注入早期 +2.2 领先但 140k 步落后 1.0，stop-gradient 阻断「潜空间 hacking」【论文实验已支持】。
4. 三态训练（Lemma 4.4）：clean/noisy/drop 覆盖条件可靠性的谱，使同一解码器在各级残余不确定性下都降低建模误差 → 0.4/0.4/0.2 配比 44.7%，且推理期 CFG 无法弥补训练失衡（clean-heavy 最多 40.3%）【论文实验已支持】。
5. 指标对应：受控扩展中压缩变体在语义任务（LAMBADA 约 61%、RACE 约 10.5% vs AR 4.5%）保持/领先，代价集中在逐字复现任务（SQuAD、StoryCloze）——与信息分解的预测一致：压缩保语义、牺牲局部残余。346B 检查点超越 43 倍数据的 Llama-3-8B 于两个语义任务，根源是 Qwen3-4B 初始化的因果解码器能力迁移 + 语义信息密度 D_sem 的优化（推测成分：tokenizer 与数据配方的差异未被完全控制，作者自己也声明该对比非计算匹配）。

OnTrack：提交安全性 = 轨迹一致性，而非终端正确性

对比对象：terminal agreement 监督（Learn2PD/TraceLock 共享）与纯置信 training-free（Fast-dLLM）。

因果链：

1. 判据差异：terminal agreement 把「此刻预测正确」当作「可安全提前提交」；但 dLLM 的提交改变后续输入——排在误预测之后的正确 token 若被提前提交，解码离开参考轨迹，后续所有条件分布漂移 → 28.7% 正例违反收缩、56.0% 状态含违例【论文实验已支持】。
2. 机制变化：收缩判据只允许「落在参考轨迹上」的一步提交，策略学到的是「保持未来解码状态可行」，而非「局部 token 正确」→ 低 NFE 区（激进并行）收益最大，因为此时每步提交量大、离轨风险最高【论文实验已支持】。
3. 输入互补：置信度是强低维信号；隐藏态单独弱（4096 维难被轻量策略利用）但携带置信度不含的上下文信息 → [c,h] 在高档目标省 10.8 NFE（GSM8K 98% 档）【论文实验已支持；互补内容的精确刻画属作者假设】。
4. 体量-开销平衡：856K（骨干 0.01%）使每步开销 ≤10%，NFE 优势得以转化为 TPS 优势（GSM8K 98% 档 331 vs 232 TPS）【论文实验已支持】。
5. 失效边界：最高精度档策略饱和于参考精度之下（收缩目标从未覆盖「比参考更保守」的提交行为）；prefix 缓存扰动隐藏态输入致约 2 点精度损失；长度+域双迁移失效【论文实验已支持】——这些边界与机制解释自洽：策略蒸馏的是参考轨迹上的安全性，参考之外与输入分布之外都是外推。

6.2 相关工作检索与对照

（检索说明：以上为 2026-10-26 经 web 检索核验的条目；Cola2 正文引用的 DLCM、TextLDM、ELF 等已在 §2.2 按论文原文归纳，未逐一外部核验。）

6.3 综合判断与未决问题

多项研究共同支持的机制：

• 「标记词/表面行为的存在先于 RL」（Wait 溯源 17/18 运行 + R1 批评文献 + NoWait 的蒸馏模型脆性）——训练数据是源，这是跨研究一致的结论。
• 「重建目标不足以产生可生成的潜空间」（Cola2 Lemma 4.1+消融 + Cosmos 的重建 vs 扰动增强对照）——两个独立团队、两个规模上汇合。
• 「并行提交的安全性取决于对依赖结构的尊重」（Fast-dLLM 的根因分析 + OnTrack 的 28.7% 违例测量与低 NFE 收益）。

仍属推测或单源支持的机制：

• General-Reasoner 唯一例外被归因于「Qwen3 预训练可能含推理轨迹」（源潜伏），论文自认是假说；英文数学域、0.5B–32B、outcome 奖励之外未测。
• Cola2 中「Qwen3-4B 初始化迁移」对 346B 检查点跨 Llama-3-8B 的贡献占比无法从现有对照中分离（作者声明对比非计算匹配）。
• OnTrack 隐藏态与置信度「互补内容」的精确刻画是作者假设；缓存敏感性的因果（隐藏态被扰动）也是 plausible cause。

优势成立的条件与可能的失效条件：

• Wait 溯源结论适用于 outcome-only 奖励；过程奖励（PRM）下「错误→标记」偶联可能被直接强化，源结构约束或被绕过——论文未测。
• Cola2 的压缩收益在语义任务上成立、在逐字任务上付费；推理成本上理论 O(ρ)/O(ρ²) 缩减尚未转化为实测加速（作者承认需基础设施协同设计）。
• OnTrack 在中低精度目标、训练长度内、单域迁移时最优；最高精度档、缓存开启、双迁移时退化——用户需按部署场景选择策略类型。

七、必要知识反推

假设让一个没有背景的人重做这三项工作，最少需要哪些知识？

7.1 领域知识层

• LLM 训练流水线的阶段结构（预训练/中间训练/SFT/DPO/RL 的顺序与各阶段数据性质）——不知道阶段就无法定义「断代」的坐标轴；不知道各阶段数据类型，就无法提出「thinking traces 进入中间训练」这一源假设。
• GRPO/PPO 的优势分配机制——不理解「整条轨迹共享优势」，就推不出「RL 强化的是标记→动作偶联而非错误→标记偶联」这一核心机制解释。
• 扩散语言模型的掩码去噪动力学（提交不可撤销、并行预测条件独立）——这是 OnTrack 一切问题的来源。
• 变分自编码器与 ELBO 分解、互信息链式法则——Cola2 的整个问题定义（I(S;Z|C)+I(Y;Z|S,C)+H(Y|C,Z)）建立在其上。

7.2 方法论知识层

• 历史语言学/语法化理论（源结构、频率驱动、attrition、Lehmann 参数）——Wait 溯源的分析词汇表全部来自这里；没有它，「形式磨损」只是轶事，有了它才成为可测预测。
• 信号检测论（d′/c 的计算与解释）——警报实验的核心工具，区分「更敏感」与「更宽松」必须用它。
• 受控实验设计（单变量操纵、2×2 联动、预注册与证伪条件）——三篇共用的骨架；特别是 OnTrack 对「现有方法多变量混杂」的诊断能力。
• 蒸馏/模仿学习的形式化——把监督式策略统一看作蒸馏解码过程，是 OnTrack 分解设计空间的前提。
• 信息论工具（数据处理不等式、条件互信息）——Lemma 4.1 的证明与潜容量分析（KL 上界 I(Y;Z|C)）的基础。

7.3 工程知识层

• 大规模 checkpoint 评测编排（vLLM 采样、每系列固定模板与温度、per-series 统计不跨池）——120 端点 × 多解码种子的可比性全靠这些纪律。
• 梯度路由的工程实现（stop-gradient、EMA、两阶段全状态交接而非冻结）——Cola2 的 ∇φL_FM=0 靠一行 sg() 实现，但「Stage 2 保留 Stage 1 全部通路」的工程决策决定共适应是否持续。
• 延迟剖析与吞吐测量协议（torch.cuda.synchronize 计时、token 加权平均、batch 1 单进程）——OnTrack 的 10% 盈亏平衡结论的可信度来源。

7.4 知识融合的关键节点

• 节点一（Wait 溯源）：把「语法化需要源结构」翻译成「zero-RL 基座的词频为零则梯度无从放大」——语言学理论 × RL 优化机制的化学反应，产出了 18 运行的预注册检验设计。
• 节点二（Cola2）：把「先验拟合梯度不含语义目标」的链式法则观察，翻译成「stop-gradient 隔离 + token 损失保留」的非对称路由——概率图模型的梯度分析 × 实际训练稳定性的直觉。
• 节点三（OnTrack）：把「提交改变后续输入」的动力学事实，翻译成「有效提交 = 落在参考轨迹上」的等式判据——对 dLLM 解码动力学的机理理解 × 蒸馏标注设计的结合，且构造零额外评估成本。

八、论文中可以提取的通用性灵感

灵感一：先问行为是「继承的」还是「发明的」，再归因于当前干预

• 核心思想：任何「训练阶段 X 引入了行为 Y」的主张，都必须先测量 X 之前 Y 是否已存在；否则归因混淆。
• 论文证据：17/18 zero-RL 运行精度大增而 wait 缺席；移植实验证明 SFT 种入的词可被后续 RL 抹除——起点状态决定命运。
• 推广场景：①Agent 框架升级后声称「新能力来自框架」，应先检查底座模型是否已有该能力；②教育领域评估教学方法时先测量学生前测水平；③组织变革归因：新流程上线后的绩效变化可能只是既有趋势的延续；④代码重构后性能变化先建立 baseline 断代。

灵感二：表面代理指标（词频/计数）必须逐点校准，不能跨版本外推

• 核心思想：一个可观测代理的含义随系统状态漂移，其证据权重是「checkpoint 特定」的。
• 论文证据：wait 的 d′ 上升同时 c 下降（更敏感也更宽松）；LLM 评审甚至反转人类标注趋势（26.0→12.9 vs 1.3→15.9）。
• 推广场景：①安全监控器依赖的告警关键词需随模型版本重校准；②代码评审中的 comment 数量不代表质量随版本漂移；③医学诊断的 biomarker 阈值随人群/设备校准；④任何「指标 dashboard」跨时期对比前的可比性审计。

灵感三：表征该保留什么，由下游使用者能补全什么决定（共适应优于先定型）

• 核心思想：信息压缩系统的设计不能在消费端定型之前完成；压缩端必须持续接收消费端的梯度。
• 论文证据：编码器-解码器共进化 47.6%→58.2% 对比冻结编码器；DLCM 的率损失与表征学习竞争（18.4% vs 25.0%）。
• 推广场景：①特征工程 vs 端到端学习的经典对立的又一证据；②文档摘要系统应被下游检索任务共同训练；③API 设计（接口契约）应随调用方演化而非一次冻结；④课程设计由考核方式反向塑形内容。

灵感四：区分「优化目标可被两条路径满足」，堵住捷径路径

• 核心思想：当一个损失可以通过「真正做好任务」或「改变问题使任务变容易」两条路径下降时，必须显式阻断后者。
• 论文证据：FM 损失可经 DiT 逼近或编码器压平潜分布下降——stop-gradient 阻断后 140k 步反超 1.0 点；Goodhart 式「潜空间 hacking」的形式化。
• 推广场景：①评测系统防 benchmark 污染（模型不能改测试集）；②代理指标对齐（防止代理被优化而真实目标受损）；③RL 奖励设计中的 reward hacking 防御；④组织 KPI 系统中区分「达成目标」与「改写度量口径」。

灵感五：「此刻正确」不等于「此刻安全可提交」——决策要看它对后续状态空间的影响

• 核心思想：不可撤销决策的安全性取决于决策后系统是否仍在可行轨迹上，而非决策内容本身的局部正确性。
• 论文证据：28.7% terminal-agreement 正例在提前提交后离开参考轨迹；收缩判据在低 NFE 区带来最大收益。
• 推广场景：①并行任务系统的乐观并发控制（提交前验证全局一致性）；②代码生成中的提前提交/部分应用（类型检查局部通过≠全局一致）；③机器人并行执行多个动作前的可达性检查；④项目管理中并行推进多个决策前的依赖分析。

灵感六：小体量专家 + 明确的开销盈亏点，优于大体量通才

• 核心思想：辅助决策器的价值 = 主系统节省 − 自身开销；把决策器做小到开销可忽略，节省才净得。
• 论文证据：856K 参数（骨干 0.01%）策略以 ≤10% 每步开销换取最大 NFE 削减，TPS 反超全部基线；300M 策略需 28% NFE 降幅才回本。
• 推广场景：①路由/门控小模型 vs 大模型自审；②数据库查询计划器与执行器的预算分配；③边缘设备上的轻量调度器；④任何「meta-决策系统」的成本核算框架。

灵感七：受控单变量 + 联动 2×2 是解开「方法混杂比较」僵局的通用钥匙

• 核心思想：当现有方法在多个维度同时不同时，先做减法研究（一次只变一个轴），再做合成。
• 论文证据：三篇共通——Wait 溯源的源×配方分解、Cola2 的 17 个观察点逐一验证、OnTrack 的判据×状态 2×2 与输入对照；每篇都先「研究」后「提出方法」。
• 推广场景：①消融研究文化薄弱的领域（如 prompt 工程的系统化）；②产品 A/B 测试的多因子分离；③医疗方案的复合干预拆解；④任何「最佳实践清单」背后的因子贡献审计。

附录

A. 三篇论文的一句话核心结论

• Wait 溯源（2610.30882）：wait 几乎从不由 zero-RL 铸造——训练数据（中间训练/轨迹 SFT/富推理预训练）供词，RL 配方决定放大（OLMo-3/MiMo 的 RL-Zero）还是抹除（KL-free GRPO），且标记频率不等于推理诱导。
• Cola2（2610.31305）：分层语言生成中，潜空间保留什么必须由解码器可补全什么共同决定（生成监督 + 共进化 +10.6 点），先验拟合必须与表征学习梯度解耦（stop-gradient），346B token 的未收敛检查点已在两个语义任务上超过 43 倍数据的 Llama-3-8B。
• OnTrack（2610.31576）：好的 unmasking 监督是轨迹收缩（一步提交须落在参考轨迹上）而非终端一致，隐藏态须与置信互补而非单独使用，≤7.5M 参数的策略降约 10% NFE 即可回本——856K 的 OnTrack 在低 NFE 区取得最优精度-算力-吞吐前沿。

B. 名词速查

• zero-RL：跳过监督微调、直接从基座做强化学习的训练路线。
• terminal agreement vs trajectory contraction：前者标注「与最终输出一致的预测为可提交」，后者只允许「一步提交后直接到达参考轨迹后续状态」。
• D_sem：单位潜位置携带的语义信息量 I(S;Z|C)/K，Cola2 的设计目标量。
• 语法化/attrition：历史语言学中词演变为语法标记的过程/其形式磨损阶段。
• d′ 与 c：信号检测论的敏感性与判据，前者区分信号/噪声能力，后者衡量触发宽松度。