论文链接：arxiv.org/abs/2608.20290 代码仓库：github.com/chengxuphd/phantom-gains 发表时间：2026 年 8 月（Under review） 机构：University College Dublin + Georgia Institute of Technology + 大连理工大学（DLUT）

一、论文背景

1.1 自训练的谱系：从 STaR 到 TTRL 与自奖励

“让大模型自我改进”（self-improvement）是后训练领域最有吸引力的研究方向之一。它的吸引力很好理解：如果模型能通过自身生成的数据变强，改进的成本曲线就不再依赖昂贵的人类标注或更强的外部教师。沿着这条线，社区发展出了一个绵延数年的方法谱系：

  • STaR（Self-Taught Reasoner，2022）：让模型自己生成带推理过程的答案，只保留最终答案正确的样本，再用这些"自己教会自己"的样本做监督微调。答不出来的题，可以给一点提示（rationalization）再试一次。这是"自生成 + 正确性过滤 + 再训练"范式的开山之作。
  • 自奖励（Self-Rewarding，2024 前后）：把"给回答打分"本身也交给模型自己，让模型在指令微调中同时学习"生成"与"评估"两种能力，期望评估能力的提升反哺生成质量。
  • TTRL（Test-Time RL，2025 前后）：更进一步，在没有任何标注的测试集上，用多数投票（majority voting）的答案当作伪奖励信号跑强化学习，声称仅凭测试时的自我一致性就能涨分。
  • 各类拒绝采样微调（RFT / ReST / ReST-EM 等）：反复采样、按某种奖励或正确性筛选、再微调，循环往复。

这些方法的共同结构是：训练信号最终都来自被训练模型自身的输出分布。这也正是它们最脆弱的地方——你用来筛选"正确"的信号，和你试图改进的对象，是同一个东西。任何测量上的偏差，都可能被这个闭环放大而不是消除。

1.2 从平均分到逐题转移：社区分析范式的悄然转变

过去判断一个方法有没有效，主要看平均准确率：微调前 62.3 分，微调后 64.1 分，涨了 1.8 分。但平均分太粗糙了，它把"多学会了 30 道新题"和"搞砸了 25 道原来会的题"合并成一个数字。于是近年来越来越多的论文（包括不少自训练方向的后续分析工作）转向一种更精细的语言：逐题增益/损失转移分析（per-question gain/loss transfer analysis）。

具体做法是构建一本"转移分类账"（transfer ledger）：对评测集中每一道题，比较训练前后模型的对错状态，标记为四类——保持正确（persist）、保持错误（remain）、获取（acquired / gain，错变对）、损失（lost，对变错）。在这个框架下，“自我改进"不再是平均分上涨，而是一组更具体的断言：

  • “模型新学会了 N 道原来不会的题”（acquisition）；
  • “模型锐化了原本就隐约会的能力”（sharpening，即边缘题稳定做对）；
  • “模型没有遗忘多少已会内容”（损失计数很小）。

这套语言显然更接近"能力"的直觉，也更利于讲故事。但它引入了一个被几乎所有使用者忽视的统计前提：转移统计是两个各自含噪的测量的差分。训练前后的每一次评测都不是对模型真实能力的完美观测，而是真实能力加上一份测量噪声。当你做差时，噪声不会消失，而是以特定方式重新组合——这正是本文标题"Phantom Gains（幻影增益）“的来源。

1.3 差分伪影的统计原理：两次称重的类比

这个原理用一台体重秤就能讲清楚。

假设你家体重秤有 ±0.4 kg 的随机误差。你今天早上称重 70.2 kg，晚上称重 70.6 kg，你会得出"我重了 0.4 kg"吗？不会——你知道这 0.4 kg 完全在秤的误差范围内。更糟的是，如果秤的误差每次独立，那么两次称重差值的方差是单次误差方差的两倍（独立随机变量之差的方差相加），也就是说差值的噪声标准差是单次的 √2 倍。你想测的那个"真实变化"越小，这个被放大的噪声就越容易冒充信号。体检前后的体重差、两次考试成绩的差、训练前后逐题对错的差——在统计结构上是同一件事。

LLM 评测里的"秤"其实相当不准：解码的随机性、批处理的数值非确定性、解析器的边缘行为、有限题目的抽样方差……每一次评测都是一次有噪声的称重。当社区只用平均分时，噪声在一定程度上被"对几百道题取平均"稀释了（中心极限定理站在你这边）；而当分析粒度细化到单道题的对错翻转时，没有任何平均化来救你——每一条转移记录都是赤裸裸的两次二值噪声观测的差分。

于是问题变成：在这套逐题转移的账本上，“自我改进"的主张要怎样才能被证伪？ 一个声称"模型新获取了 X% 的题"的分析，它的噪声地板在哪里？如果一台从未被训练过的体重秤走完同样的"称重流程"也能记下类似的账，我们又凭什么相信训练组的账是真的？

这篇论文就是对这整套范式的测量学审计。

二、论文定位和关联工作

2.1 与评测噪声研究的区别：从"分数级"到"转移级”

评测噪声并不是新话题。此前已有一批工作指出 LLM 基准分数的不稳定性：同一模型多次评测分数会波动（DecodingTrust、Helmandani 等的研究）、贪心解码并非真正确定性、数值精度与批处理会影响输出。这些工作的结论大多停留在分数级：平均分有 ±x 分的置信区间，小于这个区间的提升不足为凭。

本文的定位明显不同：它关心的是转移级（transfer-level）噪声——当你不再看平均分、而是看逐题翻转时，噪声如何重新组织成貌似可信的"能力获取"叙事。分数级噪声研究给出的建议（“报个置信区间”）对转移统计根本不够用：逐题账本里的每一行都来自两次独立含噪观测的差分，而人们惯常报告的那些统计量——获取率、损失率、expansion、sharpening 比例——各自的噪声结构完全不同。你不能用一把尺子（分数置信区间）去校准另一把尺子（转移账本）刻出来的数。

2.2 与自训练方法论文的区别：审计"证据"而非提出"方法”

更重要的定位差异在于：本文不提出任何新的自训练方法。STaR、TTRL、自奖励这些论文的贡献是"方法 + 有效性证据”；本文审读的是它们的证据形态本身——当这些工作（及其大量后续者）用逐题转移语言宣称自我改进时，这些宣称在测量学上是否成立。

这是一种在 LLM 领域还比较少见的工作类型：方法学的否定性审计（negative methodological audit）。它的攻击面非常具体——不是"自训练没用"，而是"你们用来证明自训练有用的那类统计量，在没有对照的情况下无法区分真实学习与测量伪影"。相应地，它的建设性贡献也不是新方法，而是一套可复用的审计协议：冻结控制 + 逐题精确检验 + FDR 控制 + 复制稳定性。论文以 Qwen3-8B 上的三轮 rank-32 LoRA 自训练为对象做完整示范，并开源了全部审计代码。

一句话概括定位：别人造灯，这篇论文问的是"你确定屋里亮了吗，还是只是灯在闪？"

三、问题定义

3.1 自改进主张的可检验性：增益必须大于噪声地板

论文把问题定义得非常干净。一个自改进主张要成为科学断言而非营销话术，必须通过一个最小的可检验性检验：

报告的转移增益，必须显著大于"什么都没发生时转移统计量本来就会取到的值"。

这个"什么都没发生时的值"就是 null（零假设分布）。关键在于：在转移级分析里，null 几乎从来不是零。原因正是 1.3 节的差分伪影——即使模型完全没变，两次评测也会因为纯测量噪声记下一堆翻转。所以"获取率 = 0.28"这类数字本身毫无意义，有意义的是"获取率 0.28 相对于 null 的 0.25 高出多少、是否超出 null 的波动范围"。

3.2 Null 的操作化定义：冻结模型穿过相同管线

那怎么测量 null？论文给出的操作化定义朴素得近乎优雅：

把一个冻结（frozen，参数完全不变）的模型，放进与自训练实验完全相同的数据流水线和评估流水线里走一遍。它身上记下的任何"转移"，都是纯测量伪影。

注意这个设计的三个"相同"：相同的数据流（同样的采样、过滤、构造过程）、相同的评估配置（同样的解码参数、批处理调度、解析器）、相同的时间结构（同样的前后两次评测间距）。冻结保证了它身上记下的账只能来自管线本身——批处理怎么切、解码怎么跑、题目顺序怎么排，这些纯工程因素统统被原封不动地暴露出来。

这就是论文标题里 “a measured null” 的含义：null 不是从公式里推导的理论值，而是用一台没有发动的机器实地量出来的。

3.3 形式化：逐题转移统计

把账本写形式化一点。设评测集为 Q，对每道题 q ∈ Q，模型在训练前后的对错指示分别为 Y₀(q), Y₁(q) ∈ {0, 1}。转移账本就是二元组 (Y₀, Y₁) 的四格计数：

Y₁ = 1（后对）Y₁ = 0（后错）
Y₀ = 1（前对）persist（保持）loss（损失）
Y₀ = 0（前错）gain（获取）remain（保持）

社区报告的各种派生统计量都是这四格的函数：获取率 = gain / |{Y₀=0}|、损失率 = loss / |{Y₀=1}|、净转移 = gain − loss、以及更精细的 expansion / sharpening 分解（区分"新获取的能力"与"原有边缘能力的稳定化"）。

问题在于：Y₀ 和 Y₁ 各自都是含噪的单次观测 Ŷ，而非真实的潜在状态。于是每一格都混入了"真实转移 + 差分噪声"，而差分噪声的大小取决于基线正确率 p——一个基线正确率 60% 的模型，即使完全没变，纯靠噪声每次翻转也有可观的期望翻转计数（每道题以 2p(1−p) 的概率在两次独立评测中给出不同答案，p=0.6 时这个概率是 0.48！）。四格计数在未训练模型上大面积非零，是这套统计与生俱来的性质，而不是任何方法的功劳或罪过。

四、问题解法

论文的方案可以概括为四件套：一个控制、一份失效编目、一套替代统计、一组匹配实验。

4.1 冻结控制设计

主体实验是 Qwen3-8B 上的三轮 rank-32 LoRA 自训练：每轮采样、按正确性/奖励过滤、构造训练集、微调、评估——标准得不能再标准的自训练流水线。创新不在训练侧，而在审计侧：一个冻结的 Qwen3-8B（参数不更新）作为控制组，从第一轮起就走完全相同的路——“训练"数据同样从它身上采、同样过滤、同样构造（当然不用于更新参数）、评估时用完全相同的配置跑完全相同的题。

任何在控制组身上出现的转移统计量，就是该管线在该统计量上的实测 null。实验组统计量必须与这个 null 显著区分，自改进主张才算过线。

4.2 七类测量失效的逐一拆解

用这个控制设计，论文系统编目了七类测量失效。它们的共同特征是：每一个在缺少冻结控制时都会反转你对结论的判断。我们逐一拆解：

失效一：单次贪心解码的批处理伪影（batching artifacts）。 大家默认"贪心解码 = 确定性”，所以一次评测的对错是可靠的。论文证明这个默认是错的：推理引擎的批处理（batching）会改变数值行为——batch 的组成、padding 长度、请求调度顺序都会影响浮点归约的顺序和 kernel 的选择，同一道题单独跑和跟别的题一起跑，可能得到不同答案。结果是：用单次贪心解码构建的转移账本，在从未训练过的模型上也记录出大量的"能力变化"——而论文进一步诊断出，其中大部分是推理批处理伪影。换句话说，账本上一条"获取"记录，可能只是这道题恰好换了个批次邻居。

失效二：expansion 统计的假获取（phantom acquisition）。 社区里区分"acquisition（新获取）“与"sharpening（锐化）“的 expansion 统计听起来很有洞察力：它试图把"模型学到了新东西"和"模型把边缘能力变稳定"分开。但论文测得：这套统计会给一个未训练的冻结模型分配 0.28 的"获取率”。机制在 3.3 节已经埋下了：基线答错的题里有一批"边缘题”（模型真实能力接近通过阈值），单次评测错了纯属噪声，下一次评测自然答对——纯噪声翻转在 expansion 统计里被系统性地记作"新获取"。一个从未学习的模型"获取"了超过四分之一的错题，任何真实的 acquisition 信号都必须先盖过这个地板才配谈存在。

失效三：阈值修复的隐性 null（threshold fixes leak the null）。 一个"自然的修复"是加阈值：只把超过某个幅度/置信度阈值的翻转记作转移，小的抖动忽略掉。听起来合理——直到你在冻结控制上跑一遍：这种内嵌了冻结比较的阈值修复，其 null 依然非零。原因是阈值本身在两次噪声观测上操作，过滤掉的只是噪声的一部分形态，而不是噪声的全部；阈值之上的差分照样携带系统性伪影。论文的措辞很干脆：这类修复通不过复制检验（replication check）——同一冻结模型走两遍管线，阈值化后的账本两次记的账对不上。

失效四：运行间方差被误读为学习。 同一个检查点、同样的评测集，仅因运行环境差异（批调度、随机种子、服务负载）重复评估一次，逐题就有翻转。自训练论文常见的"训练前评测一次、训练后评测一次"设计，把这些翻转全部记进了学习账本。冻结控制让这种运行间方差直接现形：机器没动，账本却动了。

失效五：小子集上的抽样方差。 转移分析常在条件子集上做（比如"base 答错的那批题"），而条件化会把样本量切小。在几十上百道题的子集上，比例统计量的置信区间宽得惊人，正常波动足以制造"获取率提升 10 个点"的假象。缺少对子集方差的显式估计，这类数字没有意义。

失效六：多重比较的假阳性堆积。 逐题转移分析天然是数千次并行比较（每道题问一次"你变了吗"）。不加校正的话，纯靠偶然也会有大量题目"显著"翻转；再对正负翻转分别计数，噪声在四格表里的分布天然不对称（取决于基线正确率），于是期望上就能凭空产生净"增益"或净"损失"的方向性幻觉。

失效七：条件子集的选择效应与回归均值。 在"base 已解/未解"子集上做条件统计，还继承了选择效应：被选进"base 未解"子集的题，正是那些（含噪声的）第一次观测碰巧错了的题，其中一部分真实状态接近通过阈值——第二次观测时它们向真实状态回归，看起来像"获取"。这与失效二是一体两面：expansion 统计的 0.28 假获取率，正是选择效应 + 回归均值的合力。

七类失效合起来构成一个完整论断：从解码层、聚合层到检验设计层，逐题转移统计的每一层都有各自的伪影通道，而且各有各的 null——这就是为什么论文坚持"为每个报告的统计量单独测量 null"，而不是测量一个全局噪声常数然后到处套用。

4.3 替代方案：逐问题精确检验 + 合并基线池 + FDR 控制

拆完之后要立。论文给出的替代统计协议分三步：

  1. 逐问题精确检验：不再对四格计数做描述性比较，而是对每道题构造适当的精确检验（如 Fisher 精确检验处理 2×2 转移表），把"这道题的翻转是否超出噪声"变成一个有 p 值的断言。
  2. 合并基线池：用多份基线评估副本（同一基线模型在不同运行/不同批处理条件下反复评估）合并出一个经验噪声分布，让每个检验的 null 都来自实测而非假设。
  3. FDR（错误发现率）控制：在数千次逐题检验之上做 Benjamini–Hochberg 一类的多重检验校正，控制"被发现"的转移中假阳性的期望比例。

这套协议的杀伤力在结果部分会看到：在任何 held-out 副本上，它检测不到任何真实转移——而且这个"全灭"结论对多重检验规则的选择、对目标错误率、对基线池大小都稳健。一个稳健的零结果，比一个脆弱的正结果可信得多。

4.4 多臂匹配的梯队实验

审计的最后一层回答一个更宏观的问题：是不是自训练这条路本身有问题？为此论文设计了在训练流、数据体积、评估配置上都匹配的多臂（multi-arm）梯队实验——把三种代表性自训练方法（STaR 式自生成过滤、TTRL 式测试时 RL、以及另一类自训练变体）与外部蒸馏（用更强的教师模型提供训练信号）放进同一条流水线，控制数据量与评估协议一致，让它们在同等条件下竞争。

这个设计的聪明之处在于"匹配"二字：自训练与蒸馏的对比最怕"苹果比橘子"——数据量不同、评估不同、超参精调程度不同。把这一切对齐之后，剩余的差异才能归因于"训练信号来自模型自身还是外部教师"这一个变量。

五、评估指标与实验证据

这一部分按"控制设计如何逐个证伪"的线索，梳理论文的关键实验证据。

5.1 未训练模型上的虚假转移：账本自己会记账

第一个也是最核心的实验：冻结模型走完三轮"自训练"管线后，翻开它的转移账本——非零，而且规模可观。在从未发生任何参数更新的模型上，账本记满了"获取"与"损失"，其中大部分被诊断为推理批处理伪影（失效一）与运行间方差（失效四）。这一条直接击穿了"逐题转移 = 能力变化"的默认假设：账本记账这件事本身，不需要训练发生。

5.2 0.28 的假获取率：expansion 统计的测量地板

第二个证据针对听起来最有洞察力的 expansion 统计：给冻结模型记的账里，“获取率"达到 0.28。也就是说，一个没有学习的模型，在 base 答错的题里有 28% 被 expansion 统计判为"新获取”。这个数字就是该统计量在这条管线上的实测噪声地板——任何自训练方法报告的 acquisition，若不显著高于（在自己管线里量出的）这个量级的地板，就无从谈起。社区里实际流通的获取率数字，有多少能过这条线？论文的审计协议给出了检验办法，而答案并不乐观。

5.3 复制检验全灭：替代统计量下什么都检测不到

第三个证据是替代协议的"全灭"结果：把逐问题精确检验 + 合并基线池 + FDR 控制应用到三轮自训练数据上，在任何 held-out 副本上检测不到任何统计上可辩护的转移信号。更重要的是稳健性：换多重检验规则、改错误率水平、变基线池大小——结论不变。这是一个教科书级的否定性结果：不是"信号弱"，而是"在你声称的粒度上，信号与噪声不可区分"。

5.4 蒸馏 vs 自训练的不对称：p<10⁻⁸ 的结构性差异

但论文没有止步于"一切皆伪影"。第四个证据来自多臂梯队实验，它揭示了一个超出测量地板的真实结构差异：

  • 外部蒸馏能够改善 base 模型"少触及"的问题——即 base 自己难以生成正确答案的那部分题，教师模型直接提供了新信息，训练后真的有获取；
  • 三种自训练（STaR 式、TTRL 式及另一变体）都不能——在匹配的流、体积与评估下，自训练臂在这部分题上没有可检测的真实获取；
  • 最大的疑点是：会不会这个不对称只是"蒸馏总体增益更大"的副产物？论文用回归分析明确拒绝了这一解释（p<10⁻⁸）——控制总体增益水平后，“能否触及 base 未解问题"与"训练信号来源"之间的关联仍然显著存在。这不是规模差异，是结构差异。
  • 论文同样诚实地标注了边界：在 base 从未触及的小问题集上，证据不明确——样本太小，现有统计力不足以裁决；
  • 与此同时，还有一个超出噪声地板的真实负面信号：自训练以远高于测量地板的速率损坏 base 已解问题。换句话说，在所有被幻影污染的统计量中间，“自训练带来遗忘/退化"这一条反而是最接近真实的。

六、效果优势的根源解释

6.1 为什么贪心解码会有批处理伪影？

直觉上，argmax 解码每步都取概率最高的 token，应该完全确定。伪影来自一个更底层的地方：概率本身就不是确定的。现代推理引擎为了吞吐，把多个请求拼成 batch 做 padded 计算；不同的 batch 组合意味着不同的张量形状、不同的 kernel 路径、不同的浮点归约顺序。浮点加法不满足结合律，归约顺序变了，logits 的低位比特就变；两个 token 的概率接近时，argmax 的结果就会翻转。于是"贪心"确实是相对于 logits 确定的，但 logits 相对于批处理上下文并不确定。题目的批次邻居，成了答案的隐藏变量。 这也解释了为什么失效一被诊断为"大部分是推理批处理伪影”——它不是玄学，是数值线性代数的必然。

6.2 为什么阈值修复内嵌非零 null？

“加阈值"的问题在于它只处理了噪声的幅度维度，没有处理噪声的结构维度。阈值假设噪声是小抖动、信号是大变化，但批处理伪影与回归均值效应产生的"假翻转"并不遵守这个假设：一道边缘题被批次邻居翻转两次，可以在阈值两端都留下记录；选择效应制造的假获取，其幅度分布与真获取重叠。更微妙的是，阈值化是在已经含噪的观测上做的——你无法用一个含噪观测去滤除另一个含噪观测的噪声，只会造出一个形状不同、但依然带偏的统计量。冻结控制把这个事实直接量了出来：阈值化之后，冻结模型的 null 依然是显著的非零账目。在噪声的结构没有改变之前，任何在观测层面打的补丁都只是换一种方式把噪声记账。

6.3 自训练损坏已解问题的机制推测与诚实边界

为什么自训练会以超地板速率损坏 base 已解的问题？论文在这里保持了克制，给出的是机制推测而非定论。合理的解释路径有几条：其一，正确性过滤的自训练数据天然偏向 base 的采样分布，那些 base 会做但采样频率低的解法在训练数据中欠表示，微调后让位给高频模式——长尾正确性被"平均掉"了；其二，自举信号存在确认偏误回路：筛选标准是"答案对”，不是"推理过程好”，于是错误但恰好猜对的推理被强化，逐步侵蚀已解题目的解的稳健性；其三，小秩 LoRA 的容量有限，新模式的注入以旧模式为代价——但这不能解释蒸馏臂为何相对更少损伤，所以关键差异更可能在前两条：外部教师提供的信号不经过 base 的采样瓶颈。

论文的诚实边界同样值得称道：对 base 从未触及的小问题集，它明确说"证据不明确"而不是硬给一个方向性结论；对损坏机制，它标注为推测并给出可检验的后续路径。在一个习惯把一切结果都讲成正面的领域里，这种克制本身就是方法论示范。

七、必要知识反推

如果要把这篇论文做出来说明作者需要什么知识，可以反推出三层结构。

领域层（LLM 后训练与评测）：需要深入掌握自训练谱系（STaR/RFT/自奖励/TTRL）的具体机制——不是引用层面，而是能亲手搭出三轮 LoRA 自训练流水线的实操层面；需要熟悉主流推理引擎（vLLM 一类）的批处理行为与评测协议的工程细节——正是这些细节构成了伪影的物理载体；还需要对基准题目难度分布与 base 模型能力剖面有经验性把握。

方法论层（统计学）：这是本文最区别于一般 LLM 论文的一层。需要假设检验与零假设思维（为统计量构造并测量 null）、2×2 列联表的精确检验（Fisher）、多重检验校正（FDR / Benjamini–Hochberg）、差分量的方差传播（两个独立噪声估计之差的方差相加）、选择效应与回归均值——最后这条在评测场景里几乎是反直觉的：越是"针对错题做改进"，越要小心你看到的提升里有多少是回归均值。

工程层（可复现实验系统）：多臂匹配实验要求训练流、数据体积、评估配置三重对齐，这需要相当成熟的实验编排能力——基线副本管理、固定批处理协议、held-out 划分、以及把审计本身代码化（论文开源了全部审计代码）。

融合节点：这篇论文真正的护城河在于三层的交叉处——用统计学家的怀疑眼光去看工程师的流水线细节。批处理伪影谁都可能碰到过，expansion 统计谁都可能用过，但只有同时精通方差传播与推理引擎行为的人，才会想到"用冻结模型实地量出每个统计量的 null"。可迁移的教训是：在系统与统计的交界处做审计，往往能发现两个社区各自都看不见的盲区。

八、通用性灵感

8.1 每个统计量都需要自己的 null

核心思想：不存在全局通用的"噪声常数"。获取率、损失率、expansion、净转移——每个统计量都以不同方式组合噪声，因此各有各的零假设分布，必须分别测量。

论文证据：阈值化修复后的 null 依然非零（失效三）、expansion 统计的 0.28 假获取率（失效二）——两个统计量在同一条管线上量出的 null 截然不同。

推广场景：A/B 测试的每个北极星指标都应有自己的噪声地板（用空转实验测量）；AI agent 评测中"任务成功率提升"与"步骤效率提升"应各自建立 null；甚至科研实验中"处理效应"与"交互效应"的噪声结构也互不相同，混用同一个误差项是常见错误。

8.2 冻结控制是最便宜的反伪影工具

核心思想：判断一套测量管线会不会产生幻影，最直接的办法是让一个"什么都没做"的对象走完整个管线。它身上出现的一切，就是管线本身的签名。

论文证据：冻结的 Qwen3-8B 穿过完整自训练管线，账本上记满转移——机器没动，账动了。而且构造这个控制几乎零额外成本：不需要新方法、不需要新数据，只需要多评几个副本。

推广场景：RAG 系统上线前，先用空检索（随机片段）跑一遍管线，看看答案质量"自然"波动多大；评测 agent 框架时，让一个只会输出固定占位符的 dummy agent 走完所有工具调用流程，量出框架级噪声；数据增强管线审计中，让恒等变换（不增强）走完全流程，检验增强收益是否超过流程本身的方差。

8.3 FDR 控制应当进入 LLM 评测的标准配置

核心思想：只要分析粒度细化到成百上千次并行比较（逐题、逐能力维度、逐子群体），不加多重检验校正的"显著"结果就会大量是假阳性。错误发现率（FDR）控制是比逐次 p<0.05 更诚实的显著性语言。

论文证据：逐题精确检验 + FDR 控制的组合在所有 held-out 副本上稳健地检测不到任何转移——把此前账本上"看起来有"的信号全部收归噪声。

推广场景：按 benchmark 子类逐项报告提升时；模型对比中逐题赢率分析时；可解释性研究里对数千个特征逐一检验与行为的关联时；red-teaming 中对大量攻击变体逐一检验成功率差异时——任何"多次比较后挑出显著的来讲"的分析形态，都该先过 FDR 这一关。

8.4 负面结果与失败模式分类的社区价值

核心思想：把一个流行范式的失效模式系统编目（本文的七类失效），其长期价值可能超过又提出一个涨点方法。失败模式分类给整个社区提供了"证据分级"的公共语言——此后任何逐题转移类的论文都可以对照这份编目自检。

论文证据：七类失效每一类都附有"缺少控制时如何反转结论"的具体演示；配合开源的审计代码，任何团队都能在自己的管线上复跑这套审计。

推广场景：agent 基准的热度远超其测量学审查，一份"agent 评测失效模式编目"会被大量引用；长上下文评测、多模态评测同样缺少系统的测量学审计；甚至更广的科研领域——预注册的否定性结果期刊、AI 安全评估的失效模式库，都是这个方向的推广形态。

九、总结

这篇论文做了一件 LLM 社区欠了很久的事：当分析的显微镜从平均分细化到逐题转移时，没有人重新校准过显微镜的噪声。Phantom Gains 用一个朴素到近乎优雅的设计——让冻结模型走过同一条流水线——量出了这套流行范式的噪声地板，并证明：在此前流通的转移统计语言里，相当一部分"自我改进"证据与测量伪影不可区分；而在诚实的统计协议（精确检验 + 基线池 + FDR）下，三轮自训练的可检测真实转移为零。

但论文的格局不止于否定。梯队实验揭示了一个更深的结构事实：蒸馏能触及 base 自身够不到的问题，自训练不能（p<10⁻⁸ 的稳健不对称），且自训练对已解题目的损坏是真实的——这为"自举信号受限于自身采样分布"这一长期猜想提供了目前最严格的测量学证据。

对实践者，这篇论文留下的操作清单很短但很硬：报告任何转移级统计量之前，先用你手里已有的基线副本量出它自己的 null；不要相信单次贪心解码的逐题账本；对逐题断言做多重检验校正；对条件子集上的"获取"保持回归均值的警惕。测量的诚实是结论可信的前提——在自我改进这个特别容易被叙事带跑的领域，这份审计来得正是时候。