论文链接:Does Scaling Toward AGI Depend on What System-1 Lets System-2 Execute? (arXiv:2610.39497) 发表时间:2026 年 10 月 29 日提交(论文落款 2026 年 10 月 27 日) 机构:清华大学自动化系 + 计算机系(Qi Wang、Yun Qu、Lizhou Cai、Heming Zou 等 13 人,通讯 Xiangyang Ji) 类型:Perspective / 立场论文(scaling 理论),附项目主页与 THU-IDM 组页面 领域标签:cs.AI / cs.LG / scaling 理论 / 高效训练与推理

引言

Scaling 的十年给了一个默认答案:通往 AGI 的路,就是更大的模型、更多的数据、更长的推理、更多的 agent。这篇来自清华自动化系与计算机系的立场文把这个答案倒过来问了一遍:当每一步生成都变得昂贵,谁来决定哪些交互值得执行? 论文的回答是一个有条件的肯定——下一阶段的进展,可能来自把资源密集的 System-2(执行器)与一个轻量、语义感知的 System-1(预测器)作为同一个系统来设计:System-1 在执行前估计每个候选交互的效用,System-2 只执行那些通过自适应阈值门控的交互,而执行结果反过来更新 System-1。作者把这个闭环称为条件交互(conditional interaction):预测-门控-执行-更新。

值得先说清楚这篇文章的文体。它不是提出新方法、刷出新数字的论文,而是一篇 Perspective:核心交付物是一个统一框架、一组在显式假设下证明的定理、一个可测量的效率坐标 $\rho_u$,以及——这一点在同类立场文中相当罕见——一份把哪些主张已被证明、哪些只有间接证据、哪些纯属待测假设逐条分层的诚实声明。论文自己写道:测试时效率的主张"连间接支持都没有"(lack even indirect support),并且为每一条关键假设配了证伪实验的协议。读这篇文章,一半是读一个 scaling 理论纲领,一半是读一篇关于立场文应该怎样写作的范文。

下面按题目、背景、定位、问题定义、解法、知识反推、通用灵感七部分完整走一遍,再单独讨论它作为立场文的定理-假设-证伪三层声明范式与开放问题。

一、题目与基本信息

  • 标题:Does Scaling Toward AGI Depend on What System-1 Lets System-2 Execute?(通往 AGI 的扩展之路取决于 System-1 允许 System-2 执行什么吗?)
  • 作者与机构:清华大学自动化系(第一单位)与计算机系,13 位作者,通讯作者为 Xiangyang Ji 教授(季向阳)。
  • 链接:arXiv:2610.39497v1,2026 年 10 月 29 日;论文附有项目博客页与 THU-IDM 主页。
  • 一句话:把"哪些交互值得执行"形式化为一个预测-门控-执行-更新环,论证轻量 System-1 与昂贵 System-2 的协同设计是 scaling 的下一个坐标轴,并给出效用密度 $\rho_u$ 作为可测量的效率坐标与配套的证伪实验设计。

题目里的措辞很讲究。“What System-1 lets System-2 execute”——不是 System-1 帮 System-2 做什么,而是 System-1 允许 System-2 执行什么:主语是门控权。题目本身是一个问句,论文结尾的答案是一个有保留的 yes(qualified yes):在交互成本高、价值不均、且可提前预测的场景下成立,且这个前提本身是要被测量检验的。

几个基本信息的速览:

  • 文体:Perspective/立场文,无新实验;全部形式结果在显式假设下证明,效率主张多数标注为待测假设。
  • 核心交付物:条件交互环的形式化(定义 1)、效用密度 $\rho_u$(式 14)、IIE 指标(定义 6)、主目标(定义 10,分数背包)、算子分解(定义 11)、七组定理/命题、一组证伪实验设计。
  • 覆盖面:训练(数字 RLVR + 物理具身)、测试时缩放、自适应决策、agent 工具使用四个场景,一张表(表 1)统一。
  • 引用锚点:AlphaZero(双向训练的先例)、DAPO/MoPPS/GRESO/GPS(数字线)、MPTS/PDTS(物理线)、Chinchilla(compute-optimal 配比的类比)、Gittins 指标(阈值形式的启发)。
  • 自评:作者团队(清华 THU-IDM 相关组)的多项工作(MoPPS、MPTS、PDTS、GPS、TRACE 等)被纳入框架实例,论文同时明确这些只是"说明"而非"验证"。

二、背景:三条收敛的瓶颈叙事

论文第一节用三条线索论证"为什么现在需要关心交互效率",并用一张路线图(图 1)把它们放进时代坐标:Era 1(2012–2020)的进展主要来自扩展模型容量,Era 2(2020–2025)来自扩展数据与计算;对 Era 3(2026+),本文给出一个新的观察透镜——协同设计一个按期望效用给交互排序的成本敏感 System-1,与一个处理复杂任务的资源密集 System-2。图景是:泛化能力像一座山峰,系统逐渐逼近,却可能因数据、算力与参数的约束遭遇收益递减;而生成、计算、工具使用与环境交互越是成为基础模型与具身 agent 的命脉,每次交互的成本就越重要。

其一,积累边界的关闭。 预训练已经把人类记录的文本大量收进单一模型,公开文本库存可能在本十年内耗尽(论文引用 Villalobos 等 2024 年的估计),高质量数据更是其中一小部分。合成数据把问题从数量转向覆盖:可合成的交互空间组合爆炸——仅机器人数据就要覆盖场景、物体、动力学、光照与传感,于是问题变成"哪些合成交互值得其成本"。更根本的是,某些交互天然昂贵:科学发现、机器人、临床与工业场景中,数据以每次实验、每次动作、每次测量的节奏产生,再多的算力也快不过一个化学反应。论文在此点出关键一句:自进化不是缓解而是收紧了这个瓶颈——一个无差别交互的 agent 会把有限预算耗在低学习信号的经验上。

其二,无差别交互的边际收益递减。 设累计算力为 $C$,损失 $L(C) \propto C^{-\alpha}$,性能 $P = 1 - L$,则每多一次无条件交互的边际增益 $\eta_{unc} \propto \alpha C^{-\alpha-1}$,随算力增长趋于零。这是经典 scaling law 描述的"在固定地形上被无差别交互遍历"的收益递减;论文要探索的自由度是改变曲线本身——改变执行哪些交互。

其三,两个具体制度下的浪费。 数字制度(RLVR 训练)里,GRPO 对每个 prompt 采样 $G$ 个回答、以组相对优势加权梯度;当全组同分时每个优势为零,prompt 退化——消耗了 $G$ 次 rollout 却不产生任何相对策略梯度信号,而相当一部分 prompt 池是退化的(论文引用 Yu 等 2026 与 Qu 等 2026a)。只有中等难度的 prompt 产生混合结果;条件交互在此的用武之地是预测哪些 prompt 会产生非零优势,从而优化生成预算。物理制度(具身训练)里,rollout 昂贵且不可并行,消耗与物理动力学绑定的真实时间;经域随机化训练的通才 agent 在仿真参数空间 $\Xi \subseteq \mathbb{R}^d$ 上训练,泛化所需 rollout 随 $\Xi$ 的有效维数与部署场景复杂度增长——在高维空间里,评估哪些任务与评估多少任务同等重要。两个制度合起来给出论文的动机结构:交互成本高、价值不均、且(关键地)可预测——三个条件成立之处,门控才有意义。

论文还给出了一个有趣的叙事图景——“超级鹦鹉假设”(super parrot hypothesis):从模仿人类文本的随机鹦鹉(约 2020–2022),到 CoT 与 RLVR 带来的可解释推理(2022–2025),再到假设中的第三阶段(2026+)——用自编码表示自我进化、超出人类可解释性的 AI。作者把它明确标注为"示意性的假设轨迹而非确立的年表"。这条线索的作用是指出 AI for AI 趋势的效率侧面:每个自生成交互都由系统自己的算力支付,而其中许多(退化的 RLVR prompt、不改变答案的推理 token、早已掌握的自提任务)几乎不教给模型任何东西。养一只超级鹦鹉,需要在执行前有内部的价值观判官——这正是论文分配给 System-1 的角色。

由此引出全文的研究问题:System-2 如何在执行前知道一个交互的价值?

三、定位:立场文的光谱与边界

论文的自我定位层次分明,其声明层级(claim hierarchy)在引言末尾直接给出四层:(i) 前提——未来数字与机器人系统可能更多受限于交互效率而非参数或数据;(ii) 立场——通往通用智能的进展应将廉价 System-1 与昂贵 System-2 协同设计,以一个"执行前估值、抑制预测为无信息交互"的策略耦合;(iii) 假设——效用相关交互密度 $\rho_u$ 是资源转化为能力效率的重要决定因素;(iv) 预测——$\rho_u$ 随系统改进而衰减,这一衰减可能解释部分收益递减与 scaling 指数,因此 scaling law 用信息性算力(informative compute)描述比用总算力更好。

与两类最近文献的边界划得很清楚:

与静态级联的边界。 商用产品里已有"System One"型快速模型(论文点名 TypeSafe AI 的 Jev,称其为开发者自述的首个 System One 模型,返回预先定义答案上的校准概率),但静态级联训练一次、只在推理层路由、不接收 System-2 的结果。这在预测分布平稳时够用,但在协同设计里失效——一个交互对当前 System-2 是否有信息量,随每次更新而变。论文强调区别不在于是否有两个模型,而在于反馈与联合优化:在线用结果重训的级联向协同设计靠拢。协同设计中 System-1 预测的是相对于当前 System-2 的效用(难度、学习价值);它既在训练中也在推理中起作用,调度的是 rollout 预算、重放缓冲、批、KV 缓存、上下文窗口这类计算与存储,而非单条调用路径。

与先执行后过滤文献的边界。 RLVR 里的动态采样(DAPO 丢弃全对或全错的组)与在线难度过滤(保留中等通过率的 prompt)都是"先执行、后过滤",为揭示一个 prompt 无信息而全额付费——这正是论文定理里 execute-then-filter 的基线。后来的预测式方法(GRESO 跳过奖励历史标记为零方差的 prompt;MoPPS 用在线贝叶斯后验追踪每个 prompt 的成功率,用远少于 rollout 的预算逼近评估密集的动态采样基线;DPS/BOTS/PCL 分别用隐马尔可夫过程、Thompson 采样与 on-policy 价值模型刻画 prompt 难度;GPS 训练一个小型生成式预测器为大得多的推理模型选 prompt)则是"先预测、后执行"。论文明确说这些结果"说明而非验证"(illustrate rather than validate)本框架。

与相邻方法学的边界。 论文还与三类经典方法划了界:不同于事后数据估值(影响函数、Data Shapley)——那些在静态池上给已执行交互定价;不同于经典主动学习、实验设计与 bandit 指标策略——那些也先估值后执行,但面向静态池、不追踪移动的学习器;也不同于世界模型——世界模型学 $p_\psi$ 是为了模拟结果(重新招回被避免的成本),而 System-1 只学一个标量泛函。与早期 fast-slow 配对(专家迭代、AlphaZero、投机解码)的关系则是推广:从一局棋、一步解码扩展到训练与部署的全账本。

四、问题定义:条件交互环的形式化

4.1 核心对象:交互与两个系统

交互(interaction)是分析的单元:智能系统与其数据、计算或环境之间的任何信息交换——LLM 的一次生成(一段 CoT)、具身 agent 的一条轨迹(状态、动作、奖励序列)、工具 agent 的一次调用(调外部资源并整合结果)。论文承认这些操作在物理或统计意义上并不等价;它们共享的是一个经济结构:先付出资源承诺,后才实现效用。System-1 与 System-2 按执行角色而非模型家族定义:System-1 是轻量、语义感知的模块,输入候选交互(prompt、任务配置、查询或工具调用)及其上下文,输出一个分数而非解,以成本 $c_{pred} \ll c_{exec}$ 对每个候选被咨询;System-2 是资源密集的执行者(模型或 agent),只被 System-1 认证的候选调用。闭环是双向的,这正是"协同设计"区别于"给成品执行器外挂过滤器"的地方:System-1 塑造 System-2 收到的数据与投入,System-2 的结果成为 System-1 的监督。论文用 AlphaZero 作喻:其棋力不只来自更深的搜索,而来自互相训练的策略-价值网络与树搜索——更有能力的 System-2 提高完成任务的能力,校准良好的 System-1 决定每单位成本与延迟能兑现其中多少。设计目标被画成一张 Pareto 前沿图(图 3):协同设计对(假设中)在成本、延迟与任务成功三维上同时占优——同样的成功以更低成本与延迟达成,或同样的预算买到更多成功;无条件缩放触不到的"零成本、零延迟、确定成功"的理想角,正是前沿想要逼近的方向。门控之外的三个规模化决策也随之而来:哪些 prompt、任务或请求值得 rollout、试验或长思考链(算力);哪些样本、缓冲、缓存与上下文条目应当保留(存储);昂贵的结果应当如何调整分配它们的廉价判断(反馈)。

定义 1(条件交互策略):设 $\mathcal{I}$ 为可行交互空间,$H_t$ 为交互-结果对的历史,$\hat{u}: \mathcal{I} \times \mathcal{H}^* \to \mathbb{R}$ 为预测效用。选择规则为

$$\pi_{CI}(i_t \mid H_{0:t}) = \frac{1}{Z_t} \exp\big(\beta \hat{u}(i_t \mid H_{0:t})\big) \cdot \mathbb{1}\big[\hat{u}(i_t \mid H_{0:t}) \geq \kappa_t\big]$$

其中 $\beta > 0$ 控制选择锐度(在可行候选中探索多少),$\kappa_t$ 是效用阈值;可行集为空时策略以概率一选择显式弃权动作 $\emptyset$。命题 2 给出两个极限:$\beta \to \infty$ 时退化为贪心 argmax(唯一最大值者以差距 $\Delta_t$ 被选中的失误率不超过 $(|I^{adm}|-1)e^{-\beta\Delta_t}$);$\beta \to 0$ 时退化为纯过滤器——只过滤、不排序。阈值 $\kappa_t$ 是关于效用的陈述而非预算;预算通过价格进入——主目标中成本乘子 $\lambda$ 把阈值变成成本依赖规则 $\hat{u}(i) \geq \lambda C(i)$。

4.2 效用:一个槽位,多种填法

定义 3 以期望贝叶斯惊喜(expected Bayesian surprise)为运行示例:交互 $i$ 在执行器状态 $\theta_t$ 的效用是它引起的期望后验-先验散度 $u(i;\theta_t) = \mathbb{E}[D_{KL}(p(\theta|H_{0:t},i,o) \| p(\theta|H_{0:t}))]$,等于条件互信息 $I(\theta; o \mid i, H_{0:t})$。它回答的是"执行这个交互、观察其结果,我的信念会改变多少"。结果可预测的交互得分接近零;效用度量信念更新的幅度,而非难度或新颖性。两条约定保持各场景的一致性:其一,每个 $u$ 都是毛效用(gross utility)——成本从不进入 $u$,只通过账本 $C(i)$ 与价格 $\lambda$ 收取一次,于是信息价值只在计入价格后才变净;其二,第四行的适应风险是获取分数而非训练目标(鲁棒学习者最小化的是式 64 的尾部风险 CVaR,为做到这一点而优先执行预测适应风险最大的任务)。注 4 补上表示不变性:KL 散度对 $\theta$ 的可逆重参数化不变,$u$ 对 $o$ 的可逆变换也不变——效用不依赖所选坐标。注 5 随即补上边界:信念改变不等于任务成功、不等于下降方向、不等于鲁棒性——信息增益、学习进度、决策价值与任务改进是不同的量,条件交互总是相对于声明的那个效用。不同的填法包括:信息增益(探索/实验设计)、期望改进 $\mathbb{E}[\Delta J|i]$(课程学习)、信息价值 VoI(决策)、适应风险 $R_{adapt}$(鲁棒域随机化)。框架不合并这些效用;它们共享的只是预测-门控架构,且筛选增益、遗憾界、缩放结果对其中任何一个都成立——只要预测器排序质量与成本不对称成立。反过来,一个几乎不动后验的交互仍可能有价值:确认信念、测试鲁棒性、改进校准、避免罕见失败、告知另一个 agent——这些都不被信息增益捕捉。

4.3 效率坐标:ρ_u 与 IIE

$\rho_u$ 的定义(式 14):对事先固定的效用下限 $u_{min} > 0$,$\rho_u(\theta_t) = \Pr_{i \sim D}[u(i;\theta_t) \geq u_{min}]$,即候选分布中真效用(用执行过的交互估计,而非预测器的 $\hat{u}_\phi$)越过下限的比例;低于下限的候选称为死的(dead)。当效用取信息增益时记作 $\rho_{info}$。论文特别强调 $\rho_u$ 不是外部供给的资源,而是学习动力学产生的效率坐标:$P = f(N, D, C; \rho_u)$ 描述三者转化为能力的好坏。同时区分两种解读:池分数 $\rho_u(\theta_t)$ 是当前状态下候选分布的性质,任何门都改不了它;执行分数是被支付交互中有信息的占比——无条件训练两者重合,完美门把执行分数推到一。

定义 6(交互信息效率 IIE):$T$ 个候选流的 IIE = 获得效用 / 系统级成本,分母对每个候选计 $c_{pred}$、对被执行者再加执行成本 $C$。因为比值可以用"极低成本获得极少效用"来抬高,IIE 必须与产出(yield)(每个被筛候选获得的效用)一起报告。命题 7 给出闭式:

  1. 完美免费预测器下,$\mathrm{IIE}^{CI}/\mathrm{IIE}^{unc} = \frac{1}{\rho_u} \cdot \frac{\bar{C}}{\bar{C}_{rel}} = 1 + \frac{1-\rho_u}{\rho_u} \cdot \frac{\bar{C}_{dead}}{\bar{C}_{rel}}$——等成本时恰为 $1/\rho_u$,且当死交互更贵时超过 $1/\rho_u$。
  2. 有噪预测器下,增益被假阳率 fp、假阴率 fn 与 $c_{pred}$ 逐项削减;假阴性不直接稀释 IIE(被抑制的交互不必付费),而是把筛分成本摊到更少的相关执行上、并把产出砍掉 $1 - fn$ 因子——激进门可以提高 IIE 同时饿死学习信号,所以效率与产出必须成对报告。

注 9(ρ_u 的可识别性)是全文方法论上很重要的一笔:把 $\rho_u$ 拟合到损失曲线是循环论证——$L = a(\rho(C)C)^{-\alpha'}$ 配 $\rho(C) = C^s$ 能拟合任何指数。因此必须独立测量:对声明的效用与先验固定的阈值,在与门无关的审计池(audit pool)上估计,配多次 rollout、置信区间,且随 $\theta_t$ 变化重新估计——因为门会删改所能观察到的(第 7.2 节),审计池必须独立于门从 $D$ 抽取。RLVR 里自然的声明效用是混合结果概率 $u_{adv}(\tau;\theta_t) = 1 - p_\tau^G - (1-p_\tau)^G$($p_\tau$ 为当前通过率),$u_{min} \to 0^+$ 时 $\rho_u$ 变成 $\rho_{adv}$——能产生非零 GRPO 优势的 prompt 占比。论文明确说 $\rho_{adv}$ 是策略梯度信号有用的代理而非信息增益:全错组仍能告知 prompt 难度的后验,混合组也可以给出带噪更新。物理制度里 $\rho_u$ 是适应风险越过 $u_{min}$ 的任务占比。不同效用的密度不可互换,有意义的是相对衰减 $\rho_u(\theta_t)/\rho_u(\theta_0)$,其跨阈值、跨代理(期望梯度范数、可学习性分数 $\partial_t \mathbb{E}[r|\tau, \theta_t]$)的一致性被提议为鲁棒性诊断——论文特意注明这是诊断而非理论不变性:不同阈值的尾部概率不必成比例衰减,梯度范数与学习进度也不等价。注 8 还补了一刀:式 (13) 假设误差率与成本无关,若错误集中在昂贵交互上,假阳性成本变为 $\int f_p(C) C\, dF_{dead}(C) > f_p \bar{C}_{dead}$——验证时应报告按成本分层的错误率。

4.4 主目标:分数背包与三种选择规则

定义 10(主条件交互目标):在预算 $\Gamma$ 下最大化期望执行效用 $\max_x \sum_i x(i)\hat{u}(i)$ s.t. $\sum_i x(i)C(i) \leq \Gamma$。这是分数背包:拉格朗日乘子 $\lambda$ 下的解是阈值规则 $x^\star(i) = \mathbb{1}[\hat{u}(i) \geq \lambda C(i)]$,即按单位成本价值 $\hat{u}(i)/C(i)$ 排序准入(最优处至多一个候选被分数化);加熵正则 $\beta^{-1}\sum_i H_b(x(i))$ 则把门软化成 sigmoid $\sigma(\beta(\hat{u} - \lambda C))$,式 (3) 是其对成本调整分数的归一化采样类似物;加基数约束 $\sum_i x(i) = B$ 取整数解则是 top-$B$ 批问题,它与独立阈值的差别只在效用相互作用的场景(共同被选候选间的冗余),由式 (47) 的多样性项捕捉。论文区分了成本不同时必须分开的三种规则:(a) 预算批规则(准入一切净分为正者);(b) 单抽净值规则(argmax 净分);(c) 作用于原始分数的策略(贪心极限是 argmax $\hat{u}$)。等成本时三者排序一致;成本不同时可互相矛盾——原始效用最大者未必净值最大、也未必单位成本价值最大。把式 (3) 作用于净分 $\tilde{u}$ 且 $\kappa_t = 0$ 则冲突消失:其可行集恰为 (a) 的解(至多差一个分数项),贪心极限为 (b)。因此等成本用原始分、否则用净分 $\tilde{u} = \hat{u} - \lambda C$。这一主目标的实例化能力是框架统一性的来源:agent 的交互选择($\mathcal{I}$ 是任务池、可用推理增量或工具菜单)、System-2 编排($\mathcal{I}$ 是可用执行器连同其算力预算池,于是式 (15) 成为联合路由与预算分配规则——token 级 MoE 与动态深度是同一决策在更细粒度上的形态)都是它的特例。

4.5 适用范围:门控何时不该用

第 2.4 节给出的边界值得完整转述。门控仅在如下情形有优势:交互单独计费、信息量异质、且可被一个比执行便宜得多的模型在执行前预测。稠密预训练、iid 小批 SGD、静态监督学习常接近"同质 + 便宜执行"而不适用。更重要的五种应当放松门控的情形:(1) 预测器校准差或分布外——盲点正是它错误抑制的地方;(2) 交互带有一步效用没捕捉的期权/探索价值;(3) 预测成本接近执行成本;(4) 假阴性是灾难性的(安全攸关控制、不可逆动作);(5) 效用被误设——预测器会系统性压制恰好能揭示误设的那些交互。情形 (1) 与 (5) 最阴险:预测器的错误恰好集中在它没数据的地方,而能揭示错误的交互永远不被执行。补救是探索性的信息价值(如 $\hat{u} + c\sigma_\phi$ 的 UCB 型准则)与对被抑制候选的审计采样。论文的定性很诚实:条件交互是关于如何花费一个可信任的信息量信号的陈述,不是声称这样的信号总存在。

五、解法:架构、定理与两个补充视角

5.1 算子分解与共缩放

第 3 节把两个系统写成一个算子分解(定义 11):$T_{exec}$ 沿经门控采样的梯度改进步策略参数 $\theta$,$T_{pred}$ 用严格适当评分规则把预测器 $\phi$ 拟合到实现效用,复合更新 $(\theta_{t+1}, \phi_{t+1}) = T_{exec} \circ T_{pred}(\theta_t, \phi_t)$。两个算子跑在不同的时钟上:System-1 快速适应实现效用,System-2 沿门控梯度缓慢改进;双时间尺度随机逼近(Borkar)给出此类耦合更新收敛的条件,MPTS 在实践中以这种方式联合训练两系统,但一般架构的收敛保证仍是公开问题。预测器误差随历史的基准缩放 $\varepsilon_\phi(t) \lesssim c(\theta_t)/\sqrt{|H_{0:t}|}$ 被明确标注为启发式——自适应、被删改(censored)的收集下该速率不必成立,且更强的 System-2 可能让效用更难而非更易预测。

命题 13(共缩放定理)是这一节的正式结果:固定误差曲线 $f_p(s), f_n(s)$ 与打分成本 $c_{pred}(s)$,把 System-2 的所有执行成本乘以 $k \geq 1$,则在温和单调性假设下:(i) 最优 System-1 尺寸集合 $S^\star(k)$ 在强集合序下随 $k$ 非减——对某一 System-2 最优的 System-1,在 System-2 变贵后要么仍最优、要么偏小,绝不会变得过大;(ii) 最大 IIE 增益对 $k$ 非减。机制是:放大 System-2 稀释了预测器自身的成本($c_{pred}/k$),却稀释不了它的失误成本(随 System-2 增长),于是准确性变得相对更便宜。论文对这条定理的自我限制也很到位:它是固定误差曲线下的比较静态学,不表明"长大的 System-1 对演化中的执行器有帮助"、不给出增长率,且当放大 System-2 改变预测问题本身时不适用;测量 $f_p(s), f_n(s), c_{pred}(s)$、给出两系统间 compute-optimal 配比(类比 Chinchilla 的参数-数据比)被列为协同设计版的 scaling law。

架构层面是四个动词(图 6):表示(候选嵌入 $e: \mathcal{I} \to \mathbb{R}^{d_e}$,数字域用冻结语言模型编码器、物理域用任务 MDP 结构上的图或 transformer 编码器)、预测(轻量 $f_\phi: \mathbb{R}^{d_e} \times \mathcal{H}^* \to \mathbb{R} \times \mathbb{R}^+$ 输出 $(\hat{\mu}_k, \hat{\sigma}_k)$,在线训练于执行结果,$d_\phi \ll d_\theta$ 保证 $c_{pred} \ll c_{exec}$;需要语义理解时 System-1 自身可以是小语言模型,但定义性质是计算角色而非模型家族)、门控(选择策略产生执行掩码;阈值控制器 $\kappa_{t+1} = \kappa_t + \alpha_\kappa(n_t^{adm}/n - \rho^\star)$ 用随机逼近追踪目标准入率,把阈值当作执行该率的对偶变量;成本不同时用 $\tilde{u}_\phi$ 替换)、学习(执行交互被验证、记入 $H_t$、做一步 $T_{pred}$,对旧历史加衰减因子在稳定性与追踪非平稳性之间交换)。被抑制的候选只付 $c_{pred}$,另有一小部分审计样本被执行,让预测器的漏检能被发现。

**命题 12(按后验均值排序)**回答"给定一个预测器怎么用":等成本、预算 $B$、每个候选的效用只经自己的预测输出依赖预测($\mathbb{E}[U(i)|\hat{U}] = \mathbb{E}[U(i)|\hat{U}(i)]$)时,在一切只看预测输出的选择规则中,执行后验均值 $\mathbb{E}[U|\hat{U}]$ 最大的 $B$ 个候选最大化期望执行效用;把 $\kappa_t$ 设为第 $B$ 大后验均值即可让可行集恰为该 top-$B$ 集。实用内容:校准的均值,而非未校准的分数,才是正确的排序信号。至于该学哪个 $\hat{U}$,信息瓶颈目标 (21) 在预测器复杂度 $I(\hat{U};H)$ 与预测信息量 $I(\hat{U};U)$ 之间交换;但附录的注记指出平稳点不蕴含最优特征,更高的 $I(\hat{U};U)$也不保证更好的 top-$B$ 选择。

三个协同设计接口:知识接口(把 System-2 的解而非只把价值蒸馏进 System-1,如专家迭代,让 System-1 直接回答常规案例、其余上交)、表示接口(用 System-2 自己的特征买准确性但共享盲点 vs 独立编码保持误差不相关;以上下文为条件则不重训 System-2 即可适配新任务)、反馈接口(哪些结果监督 System-1——实现奖励、梯度、验证器判决或被抑制候选的审计样本——决定了它能看到自己的哪些错误)。此外还有层级门(式 23)——运动、技能、计划各层带自己的预测器与阈值,逐层把守下一层;其联合动力学留作公开问题。协同设计因此不只是尺寸匹配问题;同一立场也让 System-1 成为天然的监督位置——因为它在 System-2 行动前看到每个候选,成本、不可逆性与安全约束可以在一个有能力的执行器承诺之前施加。

5.2 核心定理:筛选、内存与遗憾

第 4.1 节是全文的形式核心,三个结果一组。

命题 14(筛选增益):$n$ 个候选中含比例 $\rho_u$ 的相关者,筛选成本比 $r = c_{screen}/c_{exec}$($c_{screen} = c_{embed} + c_{score}$),完美筛选下获取相关子集的成本是穷举 execute-then-filter 的

$$C_{CI}/C_{react} = \rho_u + r$$

加速随 $r \to 0$ 逼近 $1/\rho_u$。具体到稠密 transformer:无条件评估 $n$ 个候选要 $\Theta(nGLd_{model}^2)$($G$ 次 rollout、长度 $L$),预测式筛选用 $\Theta(n \cdot c_{embed}) + \Theta(nd_\phi^2) + \Theta(BGLd_{model}^2)$。论文不放过编码成本这个细节:冻结编码器对长度 $L_x$ 的 prompt 花 $\Theta(L_x d_{enc}^2 + L_x^2 d_{enc})$,静态池跨轮缓存时每候选只付一次,但短 rollout 或每轮重编码时编码项可以主导 $r$。审计比例 $a$ 的被抑制候选再加 $a(1-\rho_u)$;式 (24) 是完美筛选的上限而非已实现的加速。

命题 15 + 推论 16(内存缩放):同步评估要在内存中保有全部在飞 rollout,峰值 $\Theta(nGLd_{model})$;预测式打分以微批流式处理,峰值 $\Theta(BGLd_{model} + bd_e + B)$,与 $n$ 无关——候选池只受筛分时间限制。推论 16 顺势给出:池中最佳真效用对 $n$ 非减(重尾下按 $n^\xi$ 增长),而这一增益在预测采样下不花额外 rollout 内存。内存优势是有条件的:会流式执行、只留分数的反应式过滤器同样有与 $n$ 无关的内存,但付 $\Theta(nc_{exec})$ 时间——此时优势缩回筛选增益。

定理 18(遗憾界):设每轮保留预测效用 top-$B$ 集,预测器时间一致误差 $\varepsilon_\phi = \sup_{t,i}|\hat{u}_t(i) - u_t(i)|$,真实效用下 oracle 集合与其余候选的最小间隙 $\mathrm{gap}_{min} > 0$,则总遗憾

$$R_T \leq 2TB\varepsilon_\phi \cdot \mathbb{1}[2\varepsilon_\phi \geq \mathrm{gap}_{min}]$$

特别地,当 $2\varepsilon_\phi < \mathrm{gap}_{min}$ 时选择恰为 oracle 的(零遗憾)。$\mathrm{gap}_{min}$ 不做分母,而是决定"误排序是否可能发生"的开关;一旦越过,界以 $\varepsilon_\phi$ 与 $B$ 线性优雅退化。推论 19 是面向现实预测器的版本:误差零均值 $\sigma_\phi$-次高斯、留出基数不超过 $n_{ood}$ 的盲点集 $O_t$,则概率 $1-\delta$ 下 $R_T \leq 2TB\varepsilon_\phi^{eff}\mathbb{1}[\cdot] + T\min(B, n_{ood})u_{max}$——第二项把论文反复强调的教训写成公式:预测器足够准之后,主导误差的是盲点而非平均误差。定理不蕴含自我改进环:更强的 System-2 可以让自己的效用更难预测。

5.3 三个解释性视角

第 4.2–4.4 节自陈为"解释性而非独立贡献",为"为什么便宜的 System-1 能预测昂贵交互"提供三个互补视角。

主动推断视角:条件交互是资源受限下的不确定性分配。期望自由能分解为实用项与认知项;命题 20 指出在均匀结果偏好、成本另计的条件下,最小化期望自由能等价于最大化期望信息增益——条件交互是认知型动作选择的"成本门控、预测摊销"特例,适用于信息增益可比交互本身更便宜估计的任何场合;偏好非均匀时两个准则分道扬镳。作者对这条对应关系的措辞很克制:“这是标准主动推断理论,我们不主张新颖性”,且期望自由能分解在该文献内部本就存在多种写法,作者采用实用加认知的形式并把结果解读为对应关系而非基础性推导。变分自由能 (34) 只负责让预测器保持校准,不是选择目标本身(选择目标是式 33);全文承认预测器瓶颈——完整贝叶斯后验不可得,$\hat{u}_\phi$ 至多是摊销估计,这个差距正是所有协同设计收益的承重点,定理 18 量化了它如何传导到决策。还有一个值得记下的观测:当结果从同一个预测模型抽取时,已执行交互上的实现惊喜是执行前估计的无偏目标——这为第 3 节的自举循环提供了合法性。此外,标量价格把延迟、金钱、上下文占用与安全约束压进一种货币会丢失要紧的约束;框架直接支持向量价格——$\lambda$ 成为价格向量、$\kappa_t$ 成为向量阈值、门成为带约束而非标量比较,式 (53) 的 agent 账本正是这种形态。

决策视角:每个交互经生成式转移核 $o \sim p_\psi(o|i,s_t)$ 耦合世界。数字制度下必须区分交互(生成序列 $y$,$L$ 次串行前向、$\Theta(Ld_{model}^2)$)与结果(验证器判决 $o = V(y)$)——核是生成分布推过验证器:成本付在全部 $L$ 个 token 上,信息却常在 $o$ 里,往往只有一比特。System-1 的任务是在 $y$ 还不存在时预预报 $o$ 将引起的信念改变。与学习完整世界模型去模拟结果不同(那会重新招回门控避免的成本),预测器只学这个标量泛函——瓶颈是估值(valuation)而非模拟(simulation)。

控制视角:闭环结构类比模型预测控制(MPC)——被控对象状态是策略参数 $\theta_t$,预测器预报交互批如何移动它,滚动时域规划选批、只执行第一批、结果回流更新模型。与教科书 MPC 的不同:对象与控制器共演化——控制器操纵的状态正是其模型还在学的那件东西。闭环四步为拟合(条件对数似然)、预测(均值+不确定性)、规划(预算化子集选择;当聚合单调次模时贪心有 $1 - 1/e$ 近似——论文不忘指出成对距离多样性项是超模的,不在保证范围内)、反馈(式 48;不对称更新只把执行过的交互记入历史,预测器在自己选择的偏样本上训练)。折扣独立臂 bandit 近似下最优策略是 Gittins 指标规则,但条件交互一般非平稳且交互相依,指标规则只启发了式 (3) 的阈值形式而非认证它。

5.4 两个训练制度下的文献收敛

第 5.1 节梳理的两条文献线值得细看,因为它们是框架"统一性"主张的证据。

数字线(RLVR prompt 选择)的演化路径:

  • 先执行后过滤:DAPO 的动态采样丢弃全对/全错的组(Yu 等 2026);在线难度过滤保留中等通过率的 prompt(Bae 等 2026)——两者都为揭示 prompt 无信息而全额支付 rollout。
  • 先预测后执行:GRESO 跳过奖励历史标记为可能零方差的 prompt(Zheng 等 2026);MoPPS 用在线贝叶斯后验追踪每个 prompt 的成功率,以远少于 rollout 的预算逼近评估密集的动态采样基线(Qu 等 2026a);DPS、BOTS、PCL 分别用隐马尔可夫过程、Thompson 采样与 on-policy 价值模型刻画 prompt 难度;GPS 训练一个小型生成式预测器,为更大的推理模型选 prompt,同时改进训练效率与测试时算力分配。
  • 扩展到 prompt 之外:监督微调的在线批选择、上下文学习的示范选择(小模型对检索到的示范做单次编辑,替代迭代打分或搜索)、agent RL 的 rollout 分配与树感知的免 critic credit assignment。

物理线(具身任务采样)的对应路径:

  • 先执行后打分:域随机化及其迁移性评估、主动/自动域随机化、由遗憾或学习潜力驱动的环境设计与关卡回放——仍靠执行配置来打分。
  • 先预测后执行:MPTS 从优化历史学风险预测模型、免掉评估;后继者加入后验采样与多样性(PDTS)以及上下文风险预测,在 校准预测器下得到课程式采样。鲁棒性维度上,目标被定为适应后风险的尾部(条件风险值 CVaR),MPTS 乐观打分 $\hat{R}_{adapt} + \gamma\sigma_\phi$,PDTS 每候选抽一个后验样本并整批选择、以多样性换总风险。

论文的判语是:“这些结果说明而非验证本框架。“附录 B 进一步把两族获取函数写成同一个成本归一化形式 $A^\star(i|H_{0:t}) = \frac{1}{C(i)}\mathbb{E}_{q_\phi}[u(i;\theta_t)]$——数字制度下是混合结果带上的权重期望(局部近似为 Fisher 加权梯度范数),物理制度下是预测的尾部适应风险;多样性项捕捉相似交互的收益递减。共享的是形式,不是标量。

5.5 四张账本:训练之外的三个实例化

第 5、6 节把同一个决策模式装进四种成本账本(论文表 1):

账本交互效用成本效率结果
数字训练prompt → CoT 生成混合结果代理 $u_{adv}$训练算力 $Ld_{model}^2$式 (12)
物理训练任务配置 → 环境 rollout预测适应风险物理保真度/动作定理 14
测试时推理步/采样信念变化或精度增益推理算力定理 22
agent工具/思考/提问动作净成本信息价值延迟+金钱+token+风险定理 23

测试时一面(6.1):部署时 $\theta$ 固定,变化且昂贵的是每个输出花的计算与真实动作。执行器状态变成答案信念 $b_t = p(a|q, H_{0:t})$(作者注明这只是权宜称呼、不要求字面贝叶斯后验),增量效用是它引起的期望信念移动;门控变成最优停时——预测的下一增量价值低于 $\kappa_t$ 就停:

$$t^\star = \min\{t: \hat{u}_\phi(c_t | H_{0:t}) < \kappa_t\}$$

统一测试时缩放的常见技术都是增量与预测器的不同选择:自适应长度推理与早退门控"再多解码一步”、自适应自洽"再多一个样本”、预算感知树搜索"再多一个节点扩展"。论文细致区分了三种效用:

  • 下一步效用(式 49):下一增量引起的期望信念移动;
  • 续行效用(式 51):从第一个增量到满预算 $C$ 的期望信念变化;
  • 精度增益效用:满预算比单增量更准的查询集合。

下一步效用只在"无延迟收益"条件下才合规——一个中间思考可以几步之后才兑现价值,逐下一步停时的门会在延迟收益前停掉。式 (49) 度量的是认知移动而非改进:答案变了不等于变好了,$b_t$ 的移动应读作计算敏感性,精度须另行校验——测试时假设就是这种敏感性预测额外计算有用的地方。整个测试时主张的替换只有两处:参数信念变化换成答案信念变化、训练算力换成推理算力。引理 21(边际条件)把分数误差转成误分类率:所有被错分的候选都落在阈值附近的 $\varepsilon$ 带内,$\delta_{FP} + \delta_{FN} \leq \Pr(B_\varepsilon) \leq m\varepsilon$;但测试时大量查询的续行效用恰为零(原子),$\kappa = u_{min}$ 的边际条件失效,把门限放在误差之上($\kappa > \varepsilon_\phi$)才能把零效用原子整体排除。小而非零效用的质量是否够小是任务分布的性质,要在审计池上测、不能想当然。命题 22:单探针门(花一个增量、预测续行效用、然后停或跑满)至多损失 $\delta_{FN}$ 精度,花费至多 $\rho_u^{tt} + (1+c_{pred})/C + \delta_{FP}$ 比例的无条件计算,乘子随 $C \to \infty$、$\delta_{FP} \to 0$ 逼近 $1/\rho_u^{tt}$。逐停时策略(每步重决策)应由当前状态的续行效用打分,其精度损失按联合界至多每步假阴性质量之和,代价是每步都要付预测——论文明说不进一步展开该保证。

agent 一面(6.3):复合成本 $C(i_t) = \lambda^\top c(i_t) + \lambda_{risk}\Pr[\text{irreversible} \mid i_t]$——延迟、计费、token 与不可逆副作用分别定价。命题 23:可分离动作(省略决策无关动作不改变答案)下,条件 agent 精度在 $Nm\varepsilon_\phi$ 内,期望成本 $\leq (\rho_u^C + r + m\varepsilon_\phi R_c)\mathbb{E}[\text{Call}]$。论文立刻自我拆解:可分离假设在长界面轨迹上失效——十几个单独无信息但联合必需的点击、导航/登录这类有用动作的前置,此时效用属于子轨迹,且精度损失随 $N$ 线性增长、逐动作误差必须随视野收缩。

5.5 可扩展假设:信息性算力

第 7 节把纲领压成一个可检验假设。定义信息性算力 $C_{info}(C) = \int_0^C \rho_u^{exec}(c)\,dc$(沿训练轨迹吸收的相关算力积分;成本异质时用成本加权密度 $\rho_u^C$)。

命题 24(水平缩放):若无条件训练遵损失曲线 $L_{base}(C)$、池密度恒为 $\rho_u$、死交互不改变学习器、进度只依赖相关交互的分布与顺序、门完美且预测免费等成本,则 $L_{CI}(C) = L_{base}(C/\rho_u)$——对数算力轴上左移 $\ln(1/\rho_u)$。这是缩放恒等式,对任何曲线形状成立,是全文反复使用的 $1/\rho_u$ 乘子的精确内容。

假设 25(信息交互衰减):初始瞬态之后,$\rho_u(\theta_t)$ 随系统改进非增——被掌握的交互离开相关集,$\rho_u$ 追踪"可达而未掌握"交互的收缩测度。论文对它的处理堪称立场文写作的教科书:先说它是经验假设、可以失败(新能力可以暴露新信息任务、改进的预测器改变选择);再补上定义本身不供给的假设——相关交互并非同等有用,需假设恒定条件进度(单位相关算力减少等量期望损失 $\eta$);然后自己完成一致性构造:$\rho_u = kL^{1+1/\alpha}$ 与观测幂律一致,但这只建立一致性而非推导——梯度噪声、本征维度、损失曲率同样生成幂律曲线,$\rho_u$ 之所以最值得动手,只因门控能直接干预它。判别实验也随之给出:零假设(命题 24)预测两条曲线在信息性算力坐标下重合;备择预测门控曲线重缩放后仍更陡。而严格改进本身不足以确立假设 25——优化器动力学差异、梯度方差降低、选择诱导的课程、冗余减少都能产生它;要把改进归因于 $\rho_u$,须沿两条轨迹测量 $\rho_u$ 并检验指数差是否被轨迹差解释。第 5.1 节引用的节省与零假设一致。

六、知识反推:从这篇立场文能学到的领域事实

即便不接受的它的结论,论文整理出的领域事实也值得留存。

门控审查自己的训练数据。 第 7.2 节指出的结构性限制是全文最重要的技术洞见之一:一旦 System-1 决定哪些交互被执行,它也决定了自己在哪些交互上被训练——$p_{train}(i) \propto p_{cand}(i)e(i) \neq p_{cand}(i)$,标签非随机缺失。最坏情形自指:被评低分的候选被抑制、结果永不被观察、分数永不被纠正。这正是算法决策里的选择性标签问题(Lakkaraju 等 2017)、因果推断的正定性问题、主动自训练的标签查询问题。三个特征使它可处理而非无望:

  1. 正定性可以被设计进来,但不能靠温度——式 (3) 的指示函数使一切 $\hat{u} < \kappa_t$ 的候选在任何有限 $\beta$ 下概率为零,软门只在可行集内随机化;正定性需要显式探索混合 $\pi_\epsilon = (1-\epsilon)\pi_{CI} + \epsilon\pi_0$($\pi_0$ 全池为正,于是每次抽取 $e(i) \geq \epsilon\pi_0(i)$)或以已知速率 $a$ 对被抑制候选的独立审计($e(i) \geq a$),总之 $e(i) \geq e_{min} > 0$。
  2. 倾向已知(门自己分配的),故 Horvitz-Thompson 逆概率加权 (1952)、或与预测器自身回归结合的双重稳健估计 (Dudík 等 2011),给出全候选分布上误差的无偏估计。
  3. 审计流就是正定性保持的探索流——前提是审计速率独立于预测器分数地固定。

仍未解决的是定量问题:$e_{min}$ 必须多大、逆概率权重的方差如何与筛选增益交换、式 (20) 那样的速率在自适应删改收集下是否存活。作者直说:这是框架提出的问题中最需要理论的一个。

一个门控,两族文献,共享闭环。 RLVR 的 prompt 选择与具身的任务采样表面毫不相干,论文把两者写成同一环的两个实例:数字制度的困境是"判断一个任务值不值得训练,成本几乎等于训练它"(生成昂贵、验证便宜);物理制度的困境同构而反转(动作昂贵、以物理节奏发生)。两族文献都从"先执行后打分"(DAPO 动态采样、在线难度过滤 vs 域随机化、主动 DR、关卡回放)演化到"先预测后执行"(MoPPS/DPS/BOTS/PCL/GRESO/GPS vs MPTS/PDTS/上下文风险预测),收敛到同一闭环:System-1 用便宜特征与历史打分、System-2 只执行过阈者、结果回流重拟合。

Fast-slow 配对的历史脉络。 专家迭代与 AlphaZero(策略-价值网络与树搜索互相训练)、投机解码(小模型起草、大模型验证),都是把条件交互的"预测-门控"用在单点上的先例;本框架的增量是把这一配对从一局棋、一步解码推广到训练、部署、测试时的全账本,并把"System-2 的对局是 System-1 的监督"这一 AlphaZero 式结构显式化为算子分解。

效用槽位的不可通约性。 全文反复敲打的一点:信息增益、GRPO 优势混合率、适应风险尾部、精度增益——每个场景声明自己的效用,密度之间不可比较、不可互换。$\rho_{info}$、$\rho_{adv}$、$\rho^{tt}$ 是三个不同的量;任何把"$\rho_u$ 是 scaling 坐标"读成普适常数的人都会被式 (14) 的 $(u, u_{min})$ 依赖性纠正。

七、通用灵感:带出这篇文章的工程与写作准则

1. 先问单位成本买了多少信息,再问总量。 无差别交互的边际收益按 $C^{-\alpha-1}$ 衰减是 scaling law 的代数事实;改变曲线的自由度在于选择执行什么。这个思维对任何昂贵操作(长上下文推理、真实机器人动作、科学实验、agent 工具调用)都成立:先把"交互"定义为单元,再问它的效用密度。

2. 效率指标必须与产出成对报告。 IIE 单独可以靠"几乎不花也几乎不得"来抬高;一个砍掉 $fn$ 比例相关样本的门 IIE 更高、学习者却更饿。任何效率优化的评估都应同时报告每单位成本的效用与每个候选的绝对产出。

3. 防止指标被拟合污染:独立测量协议。 $\rho_u$ 拟合损失曲线是循环论证(任何指数都能被配出);正确做法是先验固定 $(u, u_{min})$、在与门独立的审计池上、多次 rollout 带置信区间地测。这个"指标与其所声称解释的现象必须在独立数据上测量"的原则适用于一切自定义效率坐标。

4. 零遗憾的条件是一种设计目标。 定理 18 说 $2\varepsilon_\phi < \mathrm{gap}_{min}$ 时选择零遗憾:预测误差相对效用间隙足够小,误排序不可能发生。工程上这是可操作的——要么压误差(更好预测器),要么拉开间隙(任务难度分层,让 top-$B$ 与其余之间有明确间隙),且推论 19 提醒:真正要防的是盲点集($n_{ood}$ 有界),不是平均误差。连续交互空间里全局间隙可以为零,此时 $\mathrm{gap}_{min}$ 应读作第 $B$ 顺序统计量处的边际。

5. 廉价判断器要独立编码,除非你故意共享盲点。 表示接口的权衡——用 System-2 的特征买准确性但继承其盲点 vs 独立编码保持误差不相关——是所有验证器/路由器/奖励模型设计的通用权衡。以 System-2 的上下文为条件则让 System-1 不重训 System-2 就能适配新任务、场景或用户。

6. 门控与安全天然同址。 System-1 在 System-2 行动前看到每个候选,于是成本、不可逆性与安全约束(式 53 的 $\lambda_{risk}$ 项)可以在一个有能力的执行器承诺之前施加。监督恰好住在便宜的环节上;纯探索与被强制要求的动作(如安全日志)则应放在门之外。

7. 探索不能靠调温度,要靠显式混合。 式 (3) 的指示函数使任何被预测为低于阈值的候选在任何有限 $\beta$ 下执行概率为零——软门只在可行集内部随机化,够不到被抑制区域。正定性必须靠独立于预测器分数的探索混合或固定速率审计来设计进来。这对一切"用分数截断数据流"的系统(推荐、审批、自动化筛选)都适用:被截断的尾部既需要已知的执行概率,也需要逆概率加权或双重稳健的校正,才能对全分布说真话。

8. 把你的立场写成可证伪的。 这是下一节的主题。

八、作为立场文:定理-假设-证伪三层声明的写作范式

这篇论文最值得单独学习的,是它处理"立场与证据之间距离"的方式。第 7 节开篇把全部声明分成三层,逐项点名:

已证(在显式假设下),共七组:

  • IIE 会计(命题 7):完美/有噪预测器下的效率增益闭式与单调性;
  • 筛选结果(命题 14):$\rho_u + r$ 成本比与 $1/\rho_u$ 极限加速;
  • 内存结果(命题 15、推论 16):峰值内存与 $n$ 解耦、大池免费增益;
  • 遗憾界(定理 18、推论 19):$2\varepsilon_\phi < \mathrm{gap}_{min}$ 零遗憾、盲点主导的高概率版本;
  • 测试时与 agent 成本界(命题 22、23):单探针门与可分离动作的乘子界;
  • 共缩放(命题 13):固定误差曲线下最优 System-1 尺寸随 System-2 非减;
  • 水平缩放(命题 24):$L_{CI}(C) = L_{base}(C/\rho_u)$ 的恒等式。

注意每一项都被限定在假设内——命题 13 是比较静态学、命题 24 要求死交互不动学习器与完美免费预测。

有应用侧证据支持:第 5.1 节引用的预测式 prompt/任务采样的数倍 rollout 节省(MoPPS 等)。但论文只说这些结果"说明"框架——它们是在各自场景里分别实现的,不是框架效率主张的直接检验。

纯假设,共三项:

  • 协同设计对在成本、服务质量与任务成功三维同时占优的 Pareto 前沿(图 3 的绿色曲面被明确标为 hypothesized);
  • $\rho_u$ 随系统改进的衰减(假设 25);
  • scaling 指数的改变(门控改变的不止常数因子)。

特别是测试时那一面,作者写下全文最赤裸的一句:与训练侧不同,测试侧的两个前提(小的信息分数、准确的停时预测器)一个都没被测量过,“这是我们效率主张连间接支持都没有的唯一地方”——然后紧接着给出证伪协议:

  1. 把预算从短默认提到满,测答案由错变对的查询占比,得 $\rho_{acc}^{tt}$;
  2. 跑满预算无条件缩放,取参考精度;
  3. 跑单探针门,记录精度与平均算力;
  4. 判据:若精度损失超过审计样本上测得的假阴性质量 $\delta_{FN}$,或节省未兑现,测试时主张被驳倒。

对比常见的立场文写法——用大量引用营造已成事实的氛围——这套三层声明加逐项证伪协议的范式把立场文从修辞体裁拉回科学体裁。它的可复用模板大致是:(a) 把每个主张钉在"已证/有据/假设"的某一层,层的划分标准事先声明;(b) 每条假设配一个预注册式的判别实验,写明哪个观测结果驳倒它;(c) 对自己最强的主张,主动指出最薄弱的支撑点(这里是测试时主张的无证据状态);(d) 警惕归因捷径——即便实验显示严格改进,也列出竞争解释(优化器差异、梯度方差、课程效应、冗余减少)并要求额外测量来分离。第 7.1 节最后一段就是这么做的:门控曲线更陡不足以为 $\rho_u$ 背书,必须沿两条轨迹独立测 $\rho_u$。

九、开放问题:论文自己划出的边界

第 7.2 与 7.3 节列出的开放问题本身就是纲领的路线图,可以逐条清点:

最紧迫的单一实验:$\rho_u(\theta_t)$ 的衰减剖面从未被测量,测它是对框架最干净的单一检验;它还顺带检验一个涌现的机制解释——一个子技能的 $\rho_u$ 突然跨过可用阈值,应该表现为突然出现。作者称这是全文"最可操作的贡献"(most actionable contribution)。

删改监督的理论(7.2):正定性下界 $e_{min}$ 与预测器误差收缩、逆概率权重方差与筛选增益的交换、自适应收集下 $\sqrt{|H|}$ 速率是否存活——被作者标为最需要理论的问题。

内点准入率:激进门丢相关交互、宽松门放回死交互,效率在内部准入率 $\rho^\star(\varepsilon_\phi)$ 处最大,其刻画坐在一个非平稳 bandit 问题里(Auer 等的有限时间分析框架);推理时的对应问题是停时预测器能否在不被自身前向传播吃掉节省的前提下达到命题 22 所需的精度。

compute-optimal 配比:在多个 System-2 尺寸下扫描 System-1 尺寸、测量 $f_p, f_n, c_{pred}$,给出两系统间的最优配比——协同设计版的 Chinchilla 定律。

收敛保证:算子分解(定义 11)的联合动力学一般收敛性仍是公开问题;双时间尺度条件只是实践合理性(MPTS 确实这么训),不是定理。

多级门的联合动力学:式 (23) 的层级门(运动/技能/计划各带预测器与阈值)只给了形式,联合行为未分析。

最深远的外推:框架是单学习者的。在 agent 社会、自博弈与辩论中,信息量是联合信念的性质——一次对发起者无信息的交互可能告知一个观察者。这提示定义在交互图上的关系效用与信息分数。作者称之为框架"最后果重大的边界"(most consequential boundary)。结尾处还与经验时代(Silver & Sutton 2025)和生成式认知(Rafiee & Sutton 2026,承 Varela 等)的叙事对齐又划界:效用仍向外部给定的任务与成本账本负责,而非 agent 的自我维持,所以只形式化了选择性参与这一个侧面。而若假设 25 与共缩放同时成立,论证随能力增强而变强:超越人类水平之后(论文引 Mulgan 2016),人类数据与课程不再说明什么值得学习,系统必须自选实验——那时 System-1 将决定一个超人的 System-2 学什么、做什么,门控成为效率的主要来源。

十、结语

这篇立场文的答案是"有保留的肯定":在交互昂贵、价值不均、可提前预测之处,协同设计是通往 AGI 的有希望路径;三个前提本身是要被测量检验的对象。它交付的不是一个新的 SOTA,而是一套可以被反驳的语言:

  • 条件交互环把散落在 RLVR prompt 选择、域随机化、测试时缩放与 agent 工具选择里的同一决策模式命名为一个对象;
  • $\rho_u$ 把"哪些交互值得执行"变成一个有测量协议的坐标;
  • $2\varepsilon_\phi < \mathrm{gap}_{min}$ 把"预测器要多准"变成一个有答案的问题;
  • 三层声明与证伪协议把一个 scaling 立场变成一组可以被实验杀死的命题。

论文结尾把决定性的下一步交给测量:量化 $\rho_u$、在匹配的信息性算力下比较 scaling 曲线、检验协同设计是否改变的不止常数因子。

对读者而言,这篇论文有两重用法。研究上,它是一张施工图:$\rho_u$ 衰减剖面、删改监督理论、两系统 compute-optimal 配比都是边界清晰、成败标准明确的坑。写作上,它是一个范式样本:当你下一次忍不住写"我们相信 X 将改变 Y"时,这篇论文示范了如何接着写完——X 的哪部分已证、哪部分有据、哪部分只是假设、以及什么样的实验结果会证明你错了。

一个诚实的框架最动人之处在于:它把"我相信"翻译成了"你可以这样证明我错"。当 scaling 研究的下一篇立场文出现时,我们至少有权要求同样的纪律。