RLVR 的价格与自学习的出路
引言：一个争论的两面，两条互补的路线
围绕强化学习可验证奖励（RLVR, Reinforcement Learning with Verifiable Rewards）最大的争论，始于一个实验现象：RL 训练让模型第一次尝试就解出更多题（pass@1 上升），但在大采样预算 k 下，基座模型（base model）反而反超（pass@k 交叉反转）。
Yue 等人（arXiv:2504.13837）据此主张 RL 只是在重加权既有能力，并没有新增推理；ProRL 一派（arXiv:2505.24864）以更长训练曲线回应，认为训练足够久边界终会扩展；Zhou（arXiv:2607.20543）则诊断反转现象并提出多样性干预。三方都在用曲线说话，谁也说服不了谁。
本周精读的两篇论文，恰好构成这场争论的「理论裁决」与「实践出路」：
- There Is No Free Lunch in RLVR: Every pass@1 Gain Has a pass@k Price（arXiv:2610.39295，单作者 Yinuo Liu）：把 RLVR 建模为跨 prompt 共享策略上的指数倾斜（exponential tilt），用一条定理链证明——在策略特化下，任何提升 pass@1 的更新必然降低某些 prompt 的成功率；这个「价格」有精确的充要条件（Stiemke 对偶）、精确的交叉次数上界（全正核变差缩减）、以及 pass@1 与 pass@k 之间的精确交换前沿（线性规划）。结论一句话：RL 无法拓宽推理前沿，只能沿前沿移动，且每一步都有价。
- Incentivizing Self-Learning in Large Language Models via Reinforcement Learning（arXiv:2610.39671，上海 AI Laboratory + 上海交大 + 港中文 MMLab + 中科大 + 复旦）：既然「免费拓宽」不可能，那就在能力获取方式上做文章——让模型在解题过程中自主研读教科书（自学习，self-learning），用精心设计的激励（余弦退火探索奖金 + 轮级工具信用重分配）让 RL 习得「如何学习」这一可迁移能力。Intern-S2-Preview-35B 的总证明准确率从 51.5% 提升到 79.5%，换教材、换学科、甚至换任务类型都保持增益。
一篇告诉我们什么做不到，一篇展示什么做得到。合在一起读，比单独读任何一篇都更有信息量：理论篇解释了为什么在既有能力空间内的优化必然有价，实践篇则示范了如何通过激励模型获取新知识来突破这一空间——两者的关系不是对立，而是同一枚硬币的两面。
以下按「背景 → 定位 → 问题定义 → 解法 → 实验证据 → 根源解释 → 知识反推 → 通用灵感」的结构逐篇展开，最后合评。
论文一：There Is No Free Lunch in RLVR
背景：从曲线之争到定理之争
pass@k 反转现象自提出后，社区分裂成两派。「仅重加权」派认为 RL 只是锐化基座已有能力，证据是小 k 优势随 k 增大而萎缩直至转负；「扩边界」派认为反转只是训练不足的暂态，更长训练会让训练模型重新全面领先。还有第三条线的工作诊断反转并提出多样性干预，试图修补这一「缺陷」。
但这些工作全是实证性质——用曲线解释曲线，用数据反驳数据。本文作者 Yinuo Liu 的立场是：这个问题应该用定理解决，而不是用更多曲线。
论文的定位非常自觉：它属于「为 LLM 命名现象提供纯理论解释」的传统（如幻觉必然性、涌现质疑、grokking 机制等），但比多数同类工作更进一步——不仅解释现象，还给出现象的精确数学价格（exchange rate），并附带一个从任何评测日志即可读出的诊断工具。作者对主张范围的克制也写在明面上：「我们不 claims 任何特定语言模型超出已发表曲线所示的内容」。
问题定义：把 RLVR 压缩成一个可分析的对象
模型的建模极其克制，只有四个要素：
- 策略空间：M 个解法策略（strategies）构成单纯形上的一个分布 w ∈ Δ_{M−1}；策略跨 prompt 共享——这是关键设定，后面会看到共享性本身就是反转的必要条件。
- 环境：N 个有限 prompt 上的分布 D；策略 j 解出 prompt x 的概率为 q^x_j ∈ [0,1]，构成矩阵 Q ∈ [0,1]^{N×M}。
- 指标：per-prompt 成功率 p_x(w) = ⟨w, q_x⟩；pass@1(w) = E_x p_x(w) = ⟨w, f⟩，其中 f_j = E_x q^x_j 是策略的边际适应度（marginal fitness）；pass@k(x; w) = 1 − (1 − p_x(w))^k。记 s_x = −log(1 − p_x)：难 prompt 的 s_x 小，而 Pass@k 的大 k 行为由最小 s（最难 prompt）通过 (1−p)^k = e^{−ks} 主导。
- RLVR 更新：定理 1（倾斜恒等式，tilt identity）证明，在总体极限下（mirror descent / 自然策略梯度 + 强度 β 的 KL 锚 + 二值可验证奖励），训练后的策略是基座策略的指数倾斜：
命题 1 进一步给出 GRPO 与最优倾斜的偏离界：GRPO 的组标准化优势是对 f 的仿射、τ 依赖的重参数化乘有界因子，策略与最优拟合倾斜的总变差为 O(δ)（δ 为组标准差重标度沿轨迹的变差），验证包实测该总变差小于 3×10⁻⁴。
由倾斜形式可读出一个关键事实：策略 j 失重当且仅当 f_j < Λ(τ)/τ（其中 Λ(τ) = log E_{w₀} e^{τf}），而 Jensen 不等式保证 Λ(τ)/τ ≥ R₀ = pass@1(w₀) 对所有 τ > 0 成立。作者特意警告一个易错点：用更松的阈值 f_j < R(τ)（倾斜后的均值）判断失重是错的——反例中 f_j = 0.75 < R(τ) = 0.814 的策略实际增重 ×1.16（因为 Λ/τ = 0.720 < 0.75）。
「无免费午餐」（free lunch）的定义：一个切向扰动 dw（概率守恒 1ᵀdw = 0）使得 Qdw ≥ 0 且 Qdw ≠ 0——由于 ⟨f, dw⟩ = (1/N)1ᵀQdw，这正是「提升 pass@1 且没有任何 prompt 退化」的方向，且其存在性与所处的 w 无关。
两条核心假设：
- 假设 1（专属特化，exclusive specialization）：每个策略 j 是某正测度 prompt 集 X^excl_j 的唯一解法者——q^x_j > 0 且 q^x_{j’} = 0（∀j’ ≠ j, x ∈ X^excl_j）。排他性（而非「最好」）使概率成为稀缺资源。现实版本是优势特化（dominant specialization）：q^x_j ≥ d 且 q^x_{j’} ≤ ε，(M−1)ε < d/2。
- 假设 2（细覆盖，fine coverage）：基座成功率最低的 prompt x* 只被低于基座平均适应度的策略覆盖——q^{x*}_j > 0 ⟹ f_j < R₀。它把假设 1 造成的损失「路由」到最难 prompt，从而强制聚合交叉。两条假设不可混淆：per-prompt 损失在假设 1 下无条件成立，聚合交叉则以假设 2 为条件（定理 3(e) 给出假设 2 失败且无交叉的反例 regime）。
解法：一条定理链，从微观价格到宏观交叉
定理 2（无免费午餐） 是头条结果：
(a) 精确条件（Stiemke）：不存在免费午餐，当且仅当存在严格正的 prompt 价格 y ∈ R^N_{>0} 与 μ ∈ R，使得对所有策略 j 有 Σ_x y_x q^x_j = μ——即存在一个严格正的 prompt 重加权，使所有策略的加权适应度相等。这是「择一定理」（theorem of the alternative）给出的充要条件，把「价格」从隐喻变成了线性代数对象。等价的非齐次形式：存在 y′ ≥ 0 使 f_j + Σ_x y′_x q^x_j = μ′；严格正性是本质要求。
(b) 专属特化充分：任何 dw ≠ 0 必有某分量 dw_j < 0，而 X^excl_j 上的 prompt 只有 j 能解，故这些 prompt 严格受损——不存在无退化方向。
(b′) 优势特化充分：通过 Neumann 级数构造（子矩阵 S = D(I + D⁻¹E)，‖D⁻¹E‖∞ < 1/2），可显式解出代表 prompt 上的正价格。
(c) 必要性：若存在全面占优策略（q^x_{j*} ≥ q^x_j 对所有 x, j），集中到它就是免费午餐——特化条件是必要的，不是摆设。
命题 2（唯一最优不充分）：一个 3×3 反例矩阵——
每个策略都是某 prompt 上的唯一最优，但 dw = (−0.6, −0.4, 1) 给出 Qdw = (0, 0.02, 0.5) ≥ 0、⟨f, dw⟩ = +0.173 的免费午餐：第三个策略是近通才（前两个 prompt 上 0.96），吸收从专家撤出的质量而不伤任何 prompt。结论：排他性才是价格的必要土壤，「最好」不够。
定理 3（pass@k 价格） 把微观损失升级为宏观现象。记 G = F_τ − F₀ 为 per-prompt 成功值 CDF 之差，Δ_k 为 pass@k 之差，分部积分得核心恒等式：
$$\Delta_k = -k \int_0^1 (1-p)^{k-1} G(p)\, dp = -k \int_0^\infty e^{-(k-1)s}\, \tilde{G}(s)\, ds$$- (a) 交叉次数界：核 e^{−(k−1)s} 在 (k, s) 上严格全正（strictly totally positive，广义 Vandermonde 行列式为正），由 Karlin 变差缩减性质（variation-diminishing property），Δ_k 作为 k 的函数其符号变化次数不超过 G 的符号变差 S⁻(G)。这是并发工作 Yang & Chen（arXiv:2609.22547）在其备注 1 中留给核情形的公开问题的一般解答。
- (b) 紧性：对每个 m ≥ 0 都存在恰好 m 次交叉的构造——几何间隔分布的成功水平 s₀ < … < s_m、交错符号且质量守恒的位移 ν = Σc_iδ_{s_i}，使 Δ_k 成为广义 Dirichlet 多项式，其正根数等于系数变号数（Descartes 符号法则的指数和版本），每个交叉统治自己的 k 的十进制量级。界是可达的。
- (c) 强制交叉：假设 1 + 假设 2 下，任何提升 pass@1 的倾斜必然使最难 prompt 的成功率严格下降（覆盖它的策略全部 f_j < R₀ ≤ Λ/τ 而失重），G 在 p = 0 附近为正，Watson 引理使大 k 积分 Δ_k < 0——交叉被迫出现，次数服从 (a) 的界。
- (d) 唯一性：若训练保持 prompt 难度序（p_x(w_τ) = φ(p_x(w₀))，φ 递增），则 G 至多变号一次，至多一次交叉——Yang-Chen 单交叉定理成为本定理的序保持推论。
- (e) 反例：若假设 2 失败（难 prompt 保有高适应度备胎覆盖），损失到不了硬尾部，交叉不出现——尽管 per-prompt 损失仍然存在。这划定了 (c) 的适用范围，也使整个理论可证伪。
定理 4（价格前沿，price frontier）：对 γ ∈ [0,1]，解线性规划
$$\max_{w \in \Delta_{M-1}} \langle w, f\rangle \quad \text{s.t.} \quad p_x(w) \ge \gamma\, p_x(w_0)\ \ \forall x$$即「在不容任何 prompt 跌破其基座成功率 γ 倍的约束下最大化 pass@1」。γ ↦ (pass@1 增益, 最坏 pass@k 损失) 单调：γ = 0 是无约束 GRPO（最大增益、最早交叉）；γ = 1 强制一阶随机占优 F_τ ≤ F₀（零交叉），但在假设 1 下 pass@1 增益被迫为零——不付价格的唯一方式是一无所获。前沿就是两个指标的精确汇率，M = 2 时有闭式解（约束是 u 的区间，最优取区间端点）。
定理 5（倾斜律，tilt law） 与两条引理把同一倾斜恒等式接到熵文献：若基座均匀、适应度缺口密度在最优值 b 附近按 cg^{κ−1} 行为，则中间尺度区间有
$$b - R = a_\kappa \exp(H/\kappa)(1 + o(1))$$指数 κ（近优策略拥挤度）可从 log(b−R) 对 H 的斜率直接读出；κ = 1 恢复 Cui 等人（arXiv:2505.22617）的指数律 R = −ae^H + b。作者诚实标注边界：精确熵-质量曲线与终端律的非指数性属于并发工作（Winner-Take-All），本文只主张可辨识指数 κ。引理 1 给出熵速率 dH/dτ = −Cov_{w_τ}(f, log w₀) − τVar_{w_τ}(f)：均匀基座下熵单调不增，非均匀基座下熵先升（bump）当且仅当 Cov_{w₀}(f, log w₀) < 0（高适应度策略初始被低估）。引理 2 证明共享性是反转的必要条件：每个 prompt 配独立 tabular 策略时全梯度流下 p_x 单调不减，无反转——反转要求参数/策略跨 prompt 共享。
实验证据：验证包的构造性数值
这篇理论论文的「实验」是一个数值验证包（作者声明每个数字由包产出并复核），覆盖每个定理的成立条件与尖锐性：
| 验证项 | 规模与结果 |
|---|---|
| Stiemke 原始-对偶一致性 | 六类生成器（专属/唯一最优/准通才/重叠/近通才/优势）100% 一致 |
| 定理 2(b) 专属特化无免费午餐 | 1000/1000 |
| 定理 2(b′) 优势特化无免费午餐 | 2000/2000 |
| 唯一最优反例（命题 2） | 免费午餐 +0.173，对偶不可行 |
| 对抗性近通才生成器产生免费午餐 | 500/500（假设尖锐性） |
| 定理 3(a) 交叉界零违反 | 3000 个随机实例 |
| 定理 3(b) 紧性构造 | 恰好 1–6 次交叉全部实现 |
| 定理 3(d) 序保持唯一性 | 1035/1035 |
| 定理 3(c) 细覆盖成立 → 聚合交叉 | 400/400 |
| 细覆盖失败（regime B）→ 无交叉 | 0/400（但 96% 实例仍有 per-prompt 损失，15% 才有聚合交叉） |
| 定理 4 γ=1 零交叉 + 一阶占优 + 零增益 | 400/400，最坏 per-prompt 损失为机器零 |
| 引理 1 熵恒等式误差 | 2×10⁻⁶（均匀基座） |
| 定理 5 斜率拟合 | κ ∈ {0.5, 1, 2} 拟合 2.006 / 0.986 / 0.487，预测 2 / 1 / 0.5，误差 < 2.6% |
对公开曲线的诊断是理论落地的关键一环：论文不训练任何模型，只把已发表的 pass@k 曲线过一遍诊断工具。Qwen2.5-7B GRPO（Zhou, arXiv:2607.20543, Table 2，转录值）在 Omni-MATH 上对基座的优势为：
| k | 1 | 4 | 16 | 64 | 256 |
|---|---|---|---|---|---|
| GRPO − base | +0.149 | +0.144 | +0.104 | +0.030 | −0.008 |
优势在 k = 64–256 间变号一次——单次交叉，正是定理 3(d) 的序保持 regime。更有意思的是多样性干预 GRPO+PBA：它在所有已测 k 上优于原始 GRPO。前沿（定理 4）解释了为什么这不构成反例：原始 GRPO 过度集中、位于前沿内侧（不在最优交换曲线上），多样性奖励把它推向前沿，同时买到更高 pass@1 与更晚的交叉——对基座的价格未被消除，只是推迟到已测预算之外。MATH500 上 k ≤ 256 无交叉，论文明确声明不主张 256 以外的行为。
作者对证据边界的自律值得称道：「这是五个预算点上一个数据集的旁证，不是证明」。同时给出两条明确的证伪路径：序保持位移下发现两个统计显著的符号变化将违反定理 3(d)；在已验证特化下发现无 per-prompt 损失的 pass@1 增益将违反定理 2。诊断工具以包与托管应用形式发布——「粘贴两列数据，得到界、检验与价格」，任何 RLVR 使用者的评测日志里都躺着输入。
根源解释：概率守恒如何变成普遍价格
整条定理链的根源只有一个：策略单纯形上概率守恒 × 策略跨 prompt 共享。
- 概率守恒意味着集中买 pass@1 必须花掉某些策略的质量；
- 共享意味着策略质量的变化会传导到 prompt 层面（引理 2 的逆否：不共享则无反转）；
- 排他特化保证传导中必有 prompt 受损（定理 2）——价格在 prompt 层面结算；
- 细覆盖把受损路由到最难 prompt，而 pass@k 的大 k 行为由最难 prompt 主导，于是聚合交叉被迫出现（定理 3c）；
- 前沿（定理 4）说明这不是 bug：想消除交叉，就要付出全部 pass@1 增益，「修正」不是免费的补丁，而是前沿本身。
这也一举裁决了曲线之争：Yue 的「仅重加权」与 ProRL 的「扩边界」是同一个条件命题的两面——细覆盖成立则交叉被迫（看到 Yue 的曲线），失败则无交叉（看到 ProRL 的曲线）。争论双方观察到的都是真实现象，分歧只在于各自数据落在条件命题的哪一侧。推论 1（No reasoning for free）给出极限表述：没有更新能同时提升 pass@1 且在所有 k 上支配基座的 pass@k 曲线——这就是「RLVR 不超越基座新增推理」的精确数学含义。
知识反推：从定理反读 RLVR 训练日志
如果接受本文的模型，可以反推出几条实践准则：
- 报告价格而非只报告增益：论文提议在 pass@1/pass@k 之外增加两个标准报告量——最坏 pass@k 损失 max_k(base − RL) 与交叉计数。两者都从已有评测日志读出，零额外训练成本，把 pass@k 反转从轶事变成带界的测量量。
- 多样性干预的正确定位：它不是价格的豁免，而是前沿内侧向前沿的移动。只有当无约束更新本就不在前沿上时，多样性加成才「两头都赚」——这解释了为什么有些多样性工作有效、有些无效，也让「该不该加多样性奖励」变成「当前更新是否在前沿内侧」的可检验问题。
- 判读基座质量与反转信号：引理 2 说反转需要策略共享；若观察到反转，说明训练在共享策略空间内重加权。若想真正扩边界，需改变 Q 本身（引入新知识或新能力源），而非在固定 Q 上倾斜。
- 熵曲线携带可辨识信息：训练日志里 log(b−R) 对 H 的斜率直接测出 κ（近优策略拥挤度）；测到斜率偏离 1 不是定律失效，而是拥挤度的测量。另需注意策略熵与 token 熵的区分——验证包含一个策略熵从 2.77 降到 2.14 而 token 熵从 6.85 升到 7.27 的案例，任何熵-性能陈述都应标明层级。
通用灵感：超出 RLVR 的三条启发
- 守恒量思维：任何在固定资源（概率、容量、注意力预算）上的优化，都存在类似的「无免费午餐价格」。识别系统中的守恒量，就能预言哪些改进必然有隐性代价、代价在哪个维度结算。
- 择一定理做审计工具：Stiemke/Farkas 类对偶把「是否存在双赢方向」变成可解的线性系统。任何「既要 A 又不牺牲 B」的设计主张，都可以对偶化成一个存在性检验——双赢方向存在与否，解一下就知道。
- 条件化结论优于站队：把对立实证主张（重加权 vs 扩边界）统一为一个条件命题的两个 regime，是理论工作最优雅的裁决方式——不是宣布谁对，而是给出「谁在什么条件下对」。
论文二：Incentivizing Self-Learning via RL
背景：从「知道更多」到「学得更快」
LLM 的知识路线长期分两条：预训练注入参数知识，RAG（检索增强生成）与搜索工具在推理时外挂信息。但陌生领域的问题求解需要两者的紧密耦合——理解新原理、判断适用性、并把它们织进正在展开的推导。
一次失败的推导会暴露缺失的前置知识，一个新遇到的定理会重塑整个解题策略。这种「知识获取与推理相互喂养」的能力，论文称为自学习（self-learning）：在任务展开过程中自主地从长参考材料中检索、研读并应用知识。
它与三条相邻研究线都不同：检索代理（Search-R1、R1-Searcher、KARL 等）也交替搜索与推理，但目标是答案生成而非学习材料中的原理；上下文学习与 CL-bench 检验从预拼材料中学习，但材料非自主选择；meta-RL 与测试时适应（Reflexion、MCTR、LaMer、SEAL）依赖跨 attempt 反馈或参数更新，本文则是单 episode 内、静态参考材料、无重复尝试反馈的设定。
论文的定位：不扩展模型知道什么，而是改进模型如何学习应对陌生任务——并且用 RL 把这种能力激励出来。目标是可迁移的研读策略，而非对训练教材的记忆。
问题定义：教科书证明任务
任务设计极具巧思，核心是把「学习材料」与「考核标准」彻底分离：
- 任务：给定数学证明题 q 与配套结构化教科书 B = (s₁, …, s_K)（每节 s_k = (节号 ι_k, 标题 ℓ_k, 保留文本 x_k)），模型在第 t 个非终止轮先生成推理 z_t、再执行教科书访问动作 a_t 并获得观测 o_t；终止轮输出最终证明 ŷ。参考解答 y* 对策略不可见。
- 判分：LLM-as-judge（GLM-5.2）对照被扣留的参考解答打分，r(τ) ∈ {−1, 1}；采用 8 次独立复审的悲观验证（pessimistic verification）——8 次全部判对才记对，每步包裹 step 标签、引用需陈述足够细节、含反注入指令的判分提示词。
- 数据规模：158 本本科与研究生水平数学教材，覆盖八个方向：
| 学科 | 教材数 | 题目数 | 平均节/书 | 平均 token/书 |
|---|---|---|---|---|
| 分析 | 34 | 1,345 | 45.3 | 187,452 |
| 代数与数论 | 33 | 987 | 42.3 | 177,288 |
| 几何与拓扑 | 26 | 938 | 49.3 | 205,916 |
| 图论 | 12 | 891 | 63.8 | 199,137 |
| 微分方程 | 13 | 257 | 72.3 | 302,316 |
| 数值计算与优化 | 13 | 209 | 81.1 | 269,234 |
| 竞赛数学 | 8 | 290 | 23.0 | 149,696 |
| 概率统计 | 19 | 266 | 87.1 | 226,772 |
| 合计 | 158 | 5,183 | 55.8 | 208,252 |
- 评测三分：训练集 4,557 题（132 本）；ID-Book（训练教材保留题 205 道）、OOD-Book（未见教材 7 本 155 题，学科在训练集内）、OOD-Subject（完全保留学科——概率统计——19 本 266 题）。构建时剥离习题解答、剔除引用节号的习题，保证任务需要真正的自主学习而非答案检索。外加 OOD-Task（BrowseComp-Plus、CL-bench）检验跨任务类型迁移。
- 对照协议：No-Book（仅题目）、Top-k Sections（检索前置拼接至多 8 节）、Long-Context（按原书顺序拼接）、Oracle Section（拼接题目出处源节）。所有基线单次生成、64k token 上限；Self-Learning 至多 8 轮交互、轨迹总长 64k。
解法：BookNavigator + 双激励 GRPO
BookNavigator 交互接口：模型与教科书之间唯一的通道，三个动作：
get_toc：返回完整目录树（节号-标题对），全局定向；search_index：关键词检索，返回节号与真实匹配片段（加权词覆盖、词近邻、精确短语、标题相关度打分）；read_section：读取指定节的完整保留文本（含定义、定理、证明、例题）。
模型可在推理中任意穿插三种操作，检索策略随推导进展自适应。附录的轨迹示例展示了「研读」的微观形态——拟阵（matroid）限制与收缩可交换性一题的四轮交互：第一轮模型被记号困惑（左右两边 ground set 不同？），调 get_toc 定位到 8.2 节；第二轮发现该节 25031 token 太大，改搜 “8.2.41”，搜到的却是同编号命题（对偶操作公式）而非解答——这条「搜索到干扰项」的路径本身就是自主研读的证明；第三轮 read_section 读出定义 8.2.40 与定理 8.2.43（秩函数公式）；第四轮用秩函数把两个恒等式都证完。三次调用各司其职：定向 → 精确锚点 → 精读定义，没有任何一次是盲目检索。
RL 训练的两处改造（基线为 GRPO，50 个 rollout 步，Intern-S2-Preview-35B 初始化）：
- 余弦退火探索奖金（annealed exploration bonus）：对正确且至少成功调用过一次工具的轨迹，轨迹级奖励加 β_n·b(τ)，b(τ) = 1，β_n 从 1 余弦退火到 0.25（保留正下限）：
动机是双重萎缩：训练早期模型不熟悉交互协议、不敢用工具；训练后期解题变强，用工具的激励进一步萎缩。奖金全程托底探索。
- 轮级工具信用重分配（round-level tool credit）：冻结的初始策略副本做工具裁判（tool judge），对每个非终止轮给出三档标签——useful（获得相关新信息 / 澄清未决条件 / 提供有意义的导航线索）、neutral（合理探索或验证但无已证明收益）、harmful（明显冗余或无关检索、无理由重复失败请求、可证明的协议违规）。裁判看到问题、截至当前观测的交互史与下一轮推理（回溯性证据），但参考解答与最终对错不可见；「下一轮没用上」本身不构成扣分。分数映射 useful/neutral = 1、harmful = 0.5，轨迹级 GRPO 优势 A 按中心化分数重分配到各轮：
中心化保证 token 加权平均优势仍为 A——轨迹级结果信号完整保留，轮间相对质量调节轮内信号。工具观测（环境返回的文本）排除在策略损失之外；重分配强度 α = 1。
实验证据：从反转到全面领先
主结果（表 1）的反转结构值得细看——训练前 Self-Learning 是五种协议中最差的，训练后全面第一：
| 协议 | ID-Book Base→+RL | OOD-Book Base→+RL | OOD-Subject Base→+RL | Overall Base→+RL |
|---|---|---|---|---|
| No-Book | 39.0 → 53.8 | 68.9 → 78.4 | 60.8 → 74.1 | 55.7 → 68.5 |
| Top-k Sections | 43.7 → 56.6 | 73.1 → 81.0 | 70.2 → 81.3 | 62.2 → 73.1 |
| Long-Context | 39.6 → 57.1 | 69.4 → 80.8 | 62.1 → 77.5 | 56.7 → 72.2 |
| Oracle Section | 43.2 → 54.4 | 70.7 → 77.6 | 69.0 → 79.9 | 60.9 → 71.0 |
| Self-Learning | 33.9 → 65.5 | 65.2 → 85.2 | 56.8 → 86.7 | 51.5 → 79.5 |
（数字为证明准确率 %，每题四次独立采样取平均。）
三个层次的解读：
- RL 解锁了交互式研读的潜能：训练前 Self-Learning（51.5%）低于 No-Book（55.7%）与所有固定检索基线——交互协议初始是负担；训练后 79.5% 全场最高、+28.0 点最大增幅。协议没变，能力变了。
- 自适应研读胜过固定拼接：训练后对最强基线 Top-k Sections 领先 6.4 点（79.5 vs 73.1），对 No-Book RL 领先 11.0 点。且固定检索基线对 No-Book 的总体优势从训练前的 4.3 点缩到训练后的 3.6 点——固定上下文的边际价值随训练递减，而自适应研读的价值在放大。
- 泛化到未见教材与学科：OOD-Book 85.2%、OOD-Subject 86.7% 均为最高，分别超 Top-k Sections 4.2 与 5.4 点——增益不限于训练教材与训练学科。
归因实验（表 2）是全文最精彩的设计，五种参考条件拆解增益来源：
| 策略 | 配对教材 | 无书 | 换同主题教材 | 删源节±4节 | 删随机非源节 |
|---|---|---|---|---|---|
| Base | 51.5 | 55.7 | 49.6 | 49.0 | 53.0 |
| +RL | 79.5 | 71.7 | 75.2 | 74.6 | 79.8 |
（数字为三份数学分割上的总体证明准确率 %。）
- 超越纯推理增强：无书条件下 RL 仍从 55.7% 提到 71.7%（+16.0）——纯推理能力也在涨；但配对教材下 79.5% 比无书高 7.8 点——知识获取与应用的贡献独立存在。
- 超越教材记忆：换同主题教材 75.2%、删源节 74.6%，均高于无书 71.7%——收益不是背下了训练教材，而是学到了可迁移的研读策略：换一本同科目的书照样能学，源节没了也能在书里其他位置找到前置知识。
- 删除位置确实重要：随机删九节 79.8% ≈ 完整书 79.5%，删源节邻域九节 74.6%——5.2 点的差距说明模型研读的确实是相关内容，排除了「随便删九节都掉分」的混淆解释。
跨任务迁移（表 3）：不依赖 BookNavigator、按各基准原生协议评测（BrowseComp-Plus 用 BM25 检索 + Qwen3-32B 判分；CL-bench 直接从给定上下文生成 + GPT-5.1 判分）：
| RL 协议 | BrowseComp-Plus | CL-bench 总体 | CL-DKR | CL-RSA | CL-PTE | CL-EDS |
|---|---|---|---|---|---|---|
| Base | 50.2 | 14.8 | 14.5 | 16.3 | 16.6 | 7.5 |
| No-Book RL | 48.6（▼1.6） | 16.2（▲1.4） | 18.4 | 15.6 | 15.5 | 12.6 |
| Top-k Sections RL | 49.9（▼0.3） | 15.5（▲0.7） | 16.1 | 16.1 | 16.4 | 9.6 |
| Long-Context RL | 49.4（▼0.8） | 14.9（▲0.1） | 16.9 | 13.4 | 15.3 | 11.6 |
| Oracle Section RL | 48.2（▼2.1） | 14.4（▼0.4） | 16.1 | 13.1 | 14.9 | 11.1 |
| Self-Learning RL | 51.9（▲1.7） | 17.1（▲2.3） | 19.0（▲4.5） | 17.5（▲1.2） | 15.9（▼0.6） | 12.6（▲5.0） |
Self-Learning 是唯一在两个基准上都超过 Base 的策略；所有固定检索 RL 在 BrowseComp-Plus 上反而低于 Base。迁移是有选择性的：Domain Knowledge Reasoning +4.5、Rule System Application +1.2、Empirical Discovery 并列第一，但 Procedural Task Execution 全体 RL 策略低于 Base——论文诚实给出解释：证明式训练奖励构造有效数学推导，与忠实执行规定流程、满足细致操作约束的任务存在错配。
消融（表 4）揭示激励设计的必要性：
| 设置 | ID-Book | OOD-Book | OOD-Subject | Overall | 工具轨迹占比 | 每轨迹调用 |
|---|---|---|---|---|---|---|
| Base | 33.9 | 65.2 | 56.8 | 51.5 | 36.9% | 1.5 |
| 仅正确性 RL | 60.7 | 81.9 | 81.5 | 74.9 | 6.7% | 0.3 |
| + 工具信用 | 64.0（▲3.3） | 81.1（▼0.8） | 82.5（▲1.0） | 76.2（▲1.3） | 7.0% | 0.3 |
| + 探索奖金 | 61.8（▲1.1） | 83.9（▲2.0） | 84.4（▲2.9） | 77.0（▲2.1） | 79.9% | 5.9 |
| 完整方法 | 65.5（▲4.8） | 85.2（▲3.3） | 86.7（▲5.2） | 79.5（▲4.6） | 58.4% | 3.0 |
（▲▼ 相对仅正确性 RL。）
- 准确性增益不保证探索：仅正确性 RL 把准确率从 51.5% 拉到 74.9%，但工具使用率从 36.9% 崩到 6.7%、每轨迹调用 1.5 → 0.3——模型变强就不用书，这一退化模式若不干预，将限制对需要主动知识获取的陌生问题的迁移。工具信用单独加回也不逆转（7.0%）。
- 探索激励改善跨域迁移：探索奖金把工具使用率拉回 79.9%，OOD-Book / OOD-Subject 再 +2.0 / +2.9。
- 双激励互补且不冗余：完整方法全分割最高，且工具使用率 58.4%、每轨迹 3.0 次——更强泛化不以最大化调用频率为代价，两个激励一个管「用不用」、一个管「用得好不好」。
- 监督粒度本身就是收益来源：工具信用带来 ID-Book +3.3，而裁判只是冻结的初始模型——不需要更强的裁判模型，中间决策的反馈就能补充最终对错信号。
实现细节的克制也值得注意：学习率 10⁻⁶ 恒定、AdamW（β₁=0.9, β₂=0.95，权重衰减 0.1，梯度裁剪 1.0）、KL 正则关闭、leave-one-out 组优势、重要性权重裁剪 [0.8, 1.28]、每批 128 个问题组 × 8 轨迹、仅 50 个 rollout 步——35B 模型 + 克制预算完成 28 点跨越，没有依赖任何夸张的训练规模。
根源解释：为什么激励设计能买到迁移
增益的根源可以从三个层面理解：
- 知识获取与推理的交替结构：固定预拼上下文（Top-k / Long-Context / Oracle Section）在生成开始前就锁定了信息集，无法响应推导中暴露的缺口；Self-Learning 允许「推导暴露缺口 → 查书 → 新知识改变推导路线」的循环。这个结构差异在 RL 前是负担（协议不熟、检索干扰），RL 后是杠杆（学会何时查、查什么、如何用）——同一结构的成本与收益随能力翻转。
- 双激励防「变强就不用书」的退化均衡：纯正确性奖励下，工具使用是与结果无直接因果的代理行为，使用率必然萎缩（36.9% → 6.7%）；探索奖金把工具使用重新拉回激励范围，退火防止后期过激励，工具信用剔除有害调用——三者合起来把策略锁定在「研读有益」的行为模式上，而不是「调用最多」或「从不调用」两个极端。
- 域无关策略的涌现：归因实验证明收益不依赖特定教材内容（换书 75.2 > 无书 71.7），跨任务迁移证明策略超出数学证明域——迭代信息检索与知识获取应用对 BrowseComp-Plus 与 CL-bench 的 DKR/RSA 类别直接可用。RL 激励的对象是「如何学」，而「如何学」本身是域无关的：定向、锚点搜索、精读、织入推导，这组操作不绑定任何学科。
知识反推：从本文反读激励设计手册
- 代理行为衰减是普遍规律：凡是对最终结果无直接因果的工具/行为，纯结果奖励下使用率必然萎缩。对策是「正确性门控 + 退火奖金」：只在正确轨迹上奖励工具使用（防止奖励 hacking 出「乱调用也加分」），且强度随训练衰减并保留正下限（防止后期激励与能力错配）。
- 冻结裁判够用：轮级信用的裁判是冻结的初始模型，35B 判 35B——监督粒度（per-round vs per-trajectory）比裁判能力更重要。这大幅降低了过程奖励的门槛：不需要先造更强的裁判模型，当前模型的相对判断已携带可用信号。
- 中心化重分配保序：轮级信用改造不破坏轨迹级优势语义（token 加权均值不变），是往 GRPO 里插入过程信号的低侵入模式——轨迹级结果信号与轮级过程信号可以叠加而非替换。
- 归因实验的模板价值：换教材 / 删源节 / 删非源节三件套把「迁移 vs 记忆」的二分问题变成可测的数字差距（75.2 / 74.6 vs 71.7），加上 ID → OOD-Book → OOD-Subject → OOD-Task 四级迁移阶梯，每级换一个泛化维度——任何声称「学会了学习」的工作都应效仿这条证据链。
- 诚实报告选择性迁移：PTE 类别全体 RL 低于 Base 被直接写进主文，这种「迁移增益在哪、不在哪」的对称报告，比只报涨点的论文可信度高得多。
通用灵感：超出本文的三条启发
- 长篇语料是自监督金矿：教材、规范、代码库文档等结构化长文本天然具备「材料可见、答案不可见」的性质，可低成本规模化造出自学习任务——本文 158 本书 → 5,183 题全程无人工标注。凡是「正文讲原理、习题考应用」的语料都适用这一范式。
- 激励塑造能力而非行为：奖励「用了工具的正确轨迹」而非「工具调用次数」，模型学到的是判断何时需要外部知识——激励结构决定学到的是策略还是动作。设计奖励时先问：我在激励「做某事」还是「具备某种判断力」？
- RL 之后的协议反转是能力信号：训练前更差的协议（交互式研读 51.5% < 无书 55.7%）训练后大幅领先——如果一个更丰富的动作空间初始拖累性能，说明模型还没学会用它；这类「先亏后赚」的结构恰恰是 RL 能挖出增量能力的地方。
双篇合评：理论极限与激励出路的合流
把两篇并排读，最有价值的张力在于它们对同一个问题——「RL 能否让模型获得新能力」——给出了看似相反、实则完全兼容的答案。
理论篇划定的是「固定能力空间内」的极限。倾斜恒等式 w_τ ∝ w₀·exp(τf) 作用在固定的策略-适应度结构 Q 上：无论怎么训练，都是在 Q 张成的单纯形上重新分配概率。在这个空间里，pass@1 与 pass@k 的交换不可逃避——加强即有所失，前沿不可拓宽，只能沿其移动。推论 1 的表述是精确的：「没有更新能同时提升 pass@1 且在所有 k 上支配基座的 pass@k 曲线」。
实践篇展示的是「改变空间本身」的路径。Self-Learning RL 的增益不来自在固定 Q 上倾斜，而来自让模型接入了一个外部信息源（教科书），并习得了接入的操作策略（何时定向、何时检索、何时精读、如何织入推导）。归因实验中「换教材 75.2 > 无书 71.7」的差距正是「Q 之外」的收益：知识从环境流入，而非从基座分布中重加权而来。这恰是理论篇引理 2 的镜像——共享策略空间内的倾斜导致反转，而引入新的知识获取通道改变的是可达策略的结构本身。
由此拼出一个完整的实践图景：
- 用诊断工具定价：任何 RLVR 训练后，跑一遍价格诊断（交叉计数、S⁻(G) 界、最坏 pass@k 损失），知道自己当前在前沿的哪个位置、付了多少价。两个新报告量（价格与交叉计数）应当成为标配。
- 用前沿选择约束：若下游场景以小 k 为主，放松 γ 买增益；若大 k 鲁棒性关键，收紧 γ 换零交叉——至少知道代价几何，不再把反转当 bug 修。
- 用激励设计扩空间：真正想突破前沿，就设计让模型接触并习得新知识源的训练任务——自学习是这个方向的教科书级示范：结构化长文本 + 答案扣留 + 双激励，28 点增益且四级迁移阶梯全保持。
方法论层面两篇也互为镜鉴。理论篇示范了「把实证争论转化为条件命题」的裁决艺术，以及对自己假设边界的极端诚实——反例 regime（定理 3e）、可证伪路径、与两篇并发工作的贡献边界逐一标注，甚至主动指出「用 R(τ) 当阈值是错的」这类同行易犯的错误。实践篇示范了「归因阶梯 + 激励消融」的实验设计纪律，增益的每一个来源（推理增强 / 知识获取 / 激励组件）都有独立的测量与对照。
两者共同提醒：RL 不是万能锤，但它既是可以精确定价的交换机器（理论篇），也可以是能力获取策略的训练场（实践篇）——关键在于你把哪一面当作设计对象。价格不可避免，但出路也存在，只是出路不在价格表上。
结语
一篇论文证明：在既有能力空间内，RLVR 的每一分 pass@1 都标着 pass@k 的价签，交换率可以精确计算，「修正」就是前沿本身而非逃离它。另一篇论文示范：让 RL 激励模型去研读教科书、在推导中自主获取知识，习得的能力能跨教材、跨学科、跨任务迁移——这是在能力空间之外做文章。
对于关注 RL for LLM 的读者，建议的阅读顺序是：先读 2610.39295 的定理 1–4 与第 5 节诊断工具（数学密度高但结构清晰，附录证明完整，验证包可复跑），再读 2610.39671 的第 2.4 节激励设计与第 3.3 节归因实验（方法朴素但实验设计精彩）。前者告诉你付了多少价，后者告诉你如何买到价格表之外的东西。
在「RL 到底给 LLM 带来了什么」这场持久争论里，这两篇论文分别提供了理论的最严形式与实践的最亮样本。它们合起来的答案是：交换律支配既有空间内的每一次移动，但空间本身的边界，仍然可以通过教会模型「如何学习」来推进。