论文链接：Proving and Improving the Platonic Representation Hypothesis with JEPAs (arXiv:2610.39302) | Training Foundation Models with a Single Algorithm (arXiv:2610.40564) 发表时间：2026 年 10 月 29 日（两篇同日提交） 机构：论文一——Brown University + New York University + AMI Labs（Randall Balestriero & Yann LeCun，纯学术）；论文二——Carnegie Mellon University + Johns Hopkins University + Aurora Innovation（CMU 主导） 领域标签：cs.AI / cs.LG / 表示学习理论 / 基础模型训练科学

引言

2026 年 10 月 29 日，两篇指向同一哲学的论文出现在 arXiv 上。一篇来自 Balestriero 与 LeCun，把 2024 年提出的「柏拉图表示假设」（Platonic Representation Hypothesis, PRH）从经验观察变成定理，并顺手证明了一个令人不安的结论：当今最大规模模型所依赖的 next-token 预测，恰恰是通往柏拉图表示的一条效率极低的弯路。另一篇来自 CMU 领衔的九人团队，宣布基础模型训练的 pretraining、midtraining、SFT、RL 四阶段算法分离「并非本质」——整个生命周期可以压进同一个最大似然算法，剩下的设计问题只有数据：用什么数据、按什么比例、在什么时机。

两篇论文一个从表示论切入、一个从优化目标切入，看似分属两个领域，实际上做的是同一件事：把被当作算法问题对待的训练难题，还原为数据分布设计问题。论文一说的是「视图（正样本对）决定你学到世界的哪一部分」；论文二说的是「阶段边界只是混合权重的突变，算法本身从头到尾可以不变」。合起来读，会看到一种正在成形的研究纲领：训练科学的核心变量不是 loss 函数的动物园，而是喂给同一个简单目标的那些数据（以及数据之间的关系）所张成的空间。

下面按论文一、论文二各自完整走一遍题目、背景、定位、问题定义、解法、知识反推与通用灵感，最后做两篇的对比与交汇。

论文一：Proving and Improving the Platonic Representation Hypothesis with JEPAs

1.1 题目与基本信息

  • 作者：Randall Balestriero（Brown University / AMI Labs）、Yann LeCun（New York University / AMI Labs）
  • 链接：arXiv:2610.39302，附代码与在线演示
  • 一句话：当 JEPA 的正样本对是同一场景的两次观测时，「不同模态的模型收敛到同一世界表示」从假设变为定理；而 next-token 预测被证明是一种视图质量很差的 JEPA——正样本是同一篇文档的前缀与后继——这从理论上解释了为什么语言模型只能靠规模与视觉对齐。

题目的三个动词值得注意：Proving（把 PRH 证明为定理）、Improving（给出比堆规模更高效的对齐配方）、with JEPAs（全部结论限定在联合嵌入预测架构这个目标族上，而不是任意网络）。

1.2 背景

「不同观察者是否会对同一个世界形成同一幅图景」是一个千年老问题，从柏拉图的洞穴影子到「感知即无意识推理」再到感觉信息冗余约简。深度学习让它重新变得可测量：分别在不同语言上训练的词嵌入竟然能被一个线性映射（甚至一个无需任何平行词对的旋转）对齐，足以完成无平行数据的机器翻译。跨到模态层面，Huh 等人 2024 年观察到视觉模型与语言模型的表示随规模增大而越来越相似，并将其命名为柏拉图表示假设——模型们在收敛到「同一个共享的现实统计模型」。

但 PRH 一直只是观察。最接近证明的已有结果包括：理想化对比学习器的核收敛到共现事件的点互信息（PRH 原文自己的论证）；嵌入深度线性网络经 SGD 训练可证明完全对齐；以及多语种语言模型内部翻译共享表示的层级结构解释。对实践中真正使用的自监督目标——尤其是 JEPA——既没有证明、也没有「假设何时成立」的预测，更没有改进对齐的配方。结果是：扩大模型与数据规模成了唯一可用的杠杆。这篇论文的动机就是把第二个杠杆造出来。

1.3 定位

这篇论文在四个层面各落一子，构成完整闭环：

层面贡献对应结果
理论PRH → 柏拉图表示定理定理 1 + 命题 1：共享正样本分布 + 旋转唯一的最小化解 ⇒ 任意数量模态各自训练学到同一嵌入（至多差一个旋转）
理论对不齐时给出上界与机制定理 2（核失配界定失配）、定理 3（模态私有噪声消耗对齐）、命题 3（good view 免疫噪声 / bad view 捕获噪声）
理论next-token 预测 = bad-view JEPA命题 4：其损失精确分解为「预测项 + softmax log-partition 反坍塌项」，正样本是文档内前缀-后继
实证42× 样本效率、.184 对齐度、对齐缩放律、零配对对齐、旋转式 captioner109M 文本 JEPA 在 PRH 基准上超过全部受测语言模型（至 72B）与 CLIP 文本编码器

与已有工作的边界也很清晰：此前一系列「对齐给定编码器」的工作（从词翻译 Procrustes、无监督匹配，到最近完全零配对的共享几何对齐）问的是「怎么把两个已训练好的空间对上」；这篇论文问的是**「什么训练目标让编码器天生可对齐」**——把对齐性从后处理变成了训练时的设计变量。

1.4 问题定义

形式化世界与模态：

  • 世界是有限状态集 $\mathcal{Z}$，状态 $z$ 以概率 $p(z) > 0$ 出现；
  • $M \geq 2$ 个模态通过单射渲染 $x = g_m(z)$ 观察世界（一张照片的像素、一段描述的 token）；
  • 模态 $m$ 的 JEPA 在正样本对 $(g_m(z), g_m(z'))$ 上训练，$(z, z') \sim \pi_m$（对称正样本分布，边缘为 $p$），编码器 $f: \mathcal{X}_m \to \mathbb{R}^k$ 最小化
$$\mathcal{L}_m(f) = \mathbb{E}_{(z,z')\sim\pi_m}\ \ell\big(f(g_m(z)), f(g_m(z'))\big) + \Omega(f)$$

其中 $\ell$ 是预测项（实验中预测器取恒等，直接比较两个嵌入），$\Omega$ 是只依赖嵌入分布的反坍塌项；二者都对旋转 $Q \in O(k)$ 不变。

核心问题是：分别在不同模态上训练的模型，何时可证明地学到同一表示？ 关键观察极其简单：单射渲染只改坐标——$\mathcal{L}_m(f) = \mathcal{L}_{\pi_m}(f \circ g_m)$，即每个模态的训练问题都是同一个定义在世界状态上的问题，只是写在不同坐标系里。

由此引出全文最重要的概念区分：

  • good view（好视图）：正样本对是同一场景的两次观测——两张照片、同图的两条 caption。它们只共享场景本身。
  • bad view（坏视图）：正样本对是同一次观测的两个损坏——一张图的两个裁剪、一句话的两次掩码、一篇文档的前缀与后继。它们共享的是这次观测的「模态私有噪声」（nuisance）：caption 的措辞、照片的视角与光照、文档的文风。

1.5 解法

理论：四条定理 + 两个命题

定理 1（柏拉图表示定理）：若 $M$ 个模态共享同一正样本分布 $\pi_1 = \cdots = \pi_M = \pi$，且 $\mathcal{L}_\pi$ 的最小化解在旋转意义下唯一，则存在一个世界嵌入 $h^\star$，使每个模态的最优编码器都满足 $f_m^{\star} \circ g_m = Q_m h^\star$——任意两个模态至多差一个旋转 $Q_m Q_{m'}^\top$。证明是直接的：每个 $f_m^\star \circ g_m$ 都最小化同一个 $\mathcal{L}_\pi$。

命题 1（谱 JEPA 旋转唯一）：取 $\ell(a,b) = \|a-b\|^2$、$\Omega$ 做二阶白化（零均值、单位协方差），则 $\min \mathcal{L}_\pi = 2\sum_{i=1}^k (1-\mu_i)$，且当谱隙存在（$\mu_k > \mu_{k+1}$）时最小化解恰为 $Q\Phi_\pi$——正样本对在世界状态上画出的图（归一化邻接矩阵 $K_\pi = D^{-1/2}\Pi D^{-1/2}$）的 top-$k$ 谱嵌入，即总体版 Laplacian eigenmaps。JEPA 学到的就是它的正样本所连成的图的谱结构——这是全文一切结论的枢纽。

定理 2（核失配界定失配）：当两个模态的正样本分布不同时，最优旋转后的均方根失配被 $\frac{2\sqrt{2}}{\delta}\min(\sqrt{k}\|K_{\pi_1}-K_{\pi_2}\|_2, \|K_{\pi_1}-K_{\pi_2}\|_F)$ 约束（$\delta$ 为第二个核的特征隙）。只有两件事重要：两个模态的正样本连出的图差多少、谱顶部离得多开。在 300 个随机生成的有限世界上验证，实际失配全部低于上界，最多只到上界的 18%。分块版本进一步提示：对齐住在谱的大隙方向上，谱尾部的方向根本不必对齐。

命题 2（k 个配对确定旋转）：白化嵌入的任何旋转仍是白化嵌入，所以两个模态各自未配对数据的前两阶矩不可能识别旋转；但 $k$ 个一般位置的配对状态即可通过正交 Procrustes 唯一确定。配对信息只通过一个 $k\times k$ 正交矩阵进入系统——这是后文 captioner 只在配对数据上拟合一个旋转的理论依据。

定理 3 + 命题 3（噪声税）：把每次观测建模为 $x = g_m(z, \nu)$（$\nu$ 为模态私有噪声），定义 $\rho(f)$ 为嵌入方差中能被世界状态解释的比例。定理 3：任何旋转后的对齐误差 $\geq 2k(1 - \min_m \rho(f_m))$——花在自己模态噪声上的每一个维度都永久损失于对齐。命题 3：good-view JEPA 在谱隙条件下 $\rho = 1$（对噪声免疫，因为两次独立观测只共享场景）；bad-view JEPA 只要损坏保留噪声的程度超过保留世界第 $k$ 方向的程度（$\beta_1 > \alpha_k$），就至少花一个维度在噪声上。作者坦率承认：按此定义，DINOv2 以及几乎所有用裁剪做视图的图像编码器（包括他们自己的）都是 bad-view JEPA。

命题 4（next-token 预测是 bad-view JEPA）：全文最漂亮的一步。带线性 softmax 头的 next-token 损失可精确分解为

$$-\log\frac{e^{\langle h(c), w_y\rangle}}{\sum_v e^{\langle h(c), w_v\rangle}} = \underbrace{-\langle h(c), w_y\rangle}_{\text{预测项}} + \underbrace{\log\sum_v e^{\langle h(c), w_v\rangle}}_{\text{反坍塌项 } A(h(c))}$$

这与 JEPA 的结构（预测项 + 反坍塌项）完全同构：上下文编码器 $h$ 与目标编码器 $y \mapsto w_y$ 双编码器、内积预测、正样本 $(c, y)$ 取自同一序列内部。三个推论：(i) 温度趋零时 $tA(h/t) \to \max_v \langle h, w_v\rangle$，损失退化为 margin；(ii) 最优解满足 $\langle h(c), w_v\rangle = \log p(v|c) + b(c)$，在 GL(k) 下不变——next-token 的表示至多在可逆线性变换意义下被识别，连旋转唯一性都没有；(iii) 前缀与其后继共享文档的「 nuisance」（作者文风与措辞），因此 next-token 应当把维度花在文档噪声上、与视觉对齐得更差。此外，最优解处共享同一后继 token 的上下文互为隐式正样本（neural collapse 效应）——这是极弱的视图：一个 token 很少覆盖一个场景，要把同一场景的所有描述连起来需要「共享后继」的长链条，即极密集的数据，而高频 token（虚词、文风）还会把不同场景连起来。这就是「语言模型只能靠规模与视觉对齐」的机制解释。

定理 4（视图与数据共同决定世界核）：谱 JEPA 学到的是「其视图与数据共同诱导的世界核」的谱嵌入（误差 $\tau_m$ 随正样本混合状态与噪声的程度增长、不混合时为零）。good view 把核固定为世界自己的核；bad view 的核由数据覆盖方式决定——合成世界实验给出精确的相变：弱坏视图需要的数据量沿 $\Delta \propto \log N/N$ 下降（$N$ 为每状态样本数），触达跨场景的坏视图在任何数据量下都把对齐封顶在 .95，而 good view 从每状态一个样本起就精确对齐。

定理 4 的直觉最好用论文图 3 的四种连接模式来记。把同一场景的多条 caption 画成点、把每个目标的正样本连成边：

正样本类型连接方式诱导的世界核
good view（两条同场景 caption）连接一个场景的所有描述、绝不连到别的场景世界自己的核，设计即固定
弱 bad view（一条 caption 的两次轻掩码）基本把 caption 连给它自己（保留措辞），其它 caption 只在损坏恰好重叠时才被连上核由数据密度决定，需要密集数据才能链通场景
强 bad view（重掩码跨场景重合）不同场景的损坏结果重合，核混合场景任何数据量下都被污染，对齐被结构性封顶
next-token（前缀-后继）文档内窄连接 + 共享 token 的隐式跨场景溢出依赖极密集数据 + 高频 token 造成场景泄漏

这张表也解释了两组对照实验：LLaVA recaption 是「对可见内容的字面描述」、alt-text 常含品牌等非场景信息，同用 bad view 时前者对齐更好（数据改变核）；而混合了重叠类别的数据会把每个 bad-view JEPA 的对齐都压得更低。

实验：从 145k caption 到 940M 网图

受控设定（Flickr30k）：29k 训练图、每图 5 条 caption；图像侧 ViT-S/16（2 全局 224² + 6 局部 96² 裁剪），文本侧 12 层 BERT（宽 384，33M 参数；另有 11M/109M/335M 档），统一 LeJEPA 目标（SIGReg，$\lambda = 0.02$），200 epochs、batch 256、AdamW。三个文本变体只在正样本上不同：masked spans（bad view：一条 caption 的 8 个裁剪掩码视图）、caption views（good view：同图不同 caption 的 8 个视图，同样裁剪掩码）、next-token（因果化 BERT + 绑定 softmax 头）。无任何编码器见过对方模态。

文本编码器mutual 10-NNR@1（单旋转）R@5
good-view JEPA.062 ± .003.044 ± .002.133 ± .004
bad-view JEPA.047 ± .001.027 ± .002.095 ± .003
next-token.042 ± .001.021 ± .002.077 ± .005
next-token（喂 caption 对）.043 ± .001.023 ± .003.083 ± .008
随机初始化 / 机会.010 / .010.001 / .001.011 / .005

四个关键观察：(1) 所有编码器（含随机初始化起步）的对齐都从机会水平随训练上升——跨模态对齐是自监督目标的涌现性质，无需任何跨模态信号；(2) good-view 在每个种子、每个指标上以数倍于种子间差异的幅度领先，而 bad-view 与 next-token 几乎重合——正是定理 2 + 命题 4 的预测；(3) 把同样「两条 caption 描述同一张图」的信息喂给 next-token（拼成 [CLS] a [SEP] b [SEP] 训练）几乎不动（mutual .042→.043）——同样的数据，作为 JEPA 视图与作为语言建模语料，价值天差地别；(4) 旋转后图文相关在文本第一主方向上 0.70、到第 60 方向衰减到约 0.1——对齐集中在谱的大隙方向，与定理 2 的分块论证一致。

机制直接可测：Flickr 每图 5 条 caption 恰好提供每状态 5 个噪声样本。$k=32$ 时场景解释方差占比 $\rho$：good-view .804、bad-view .655、next-token .608（跨种子 ±.005），由定理 3 给出的对齐误差下界（12.6 / 22.1 / 25.1）被实测误差（33.5 / 39.4 / 40.3）满足且保序。消融发现裁剪（trimming）是唯一要紧的旋钮：整条 caption 作视图损失四分之一对齐（.185 vs .246），而掩码率、视图数、batch、宽度、schedule 至多移动 .016；无梯度裁剪时 36 个默认配置 run 中 3 个崩塌，加裁剪后 2+2 视图配置三种子全稳（.262）。视频侧（MSR-VTT）双向验证：双侧 good view 对齐最高（.067 > .059 > .043 > .039），而 DINOv2 自己的视图是裁剪，于是它更认可裁剪训练的图像 JEPA（.144 vs .132）——对齐跟随正样本的一致性，定理 2 的又一实证。

规模实验（Recap-DataComp 网图文本）：每图配一条 alt-text 与两条 LLaVA（LLaMA-3-8B 底座）重写的 recaption 作为视图。33M 编码器的 WIT-1024（PRH 原协议）对齐度：Flickr caption 上 .034 → 网图文本 2.16M/10M/50M 图上 .108 / .111 / .125（100M 时维持 .125）——一个从不用 next-token、从不见像素的 33M 文本编码器，与 Qwen2.5-3B（.125）、-7B（.118）打平。同数据同编码器同步数下视图的差距在两个尺度上一致：2.16M 图时 good .108 vs next-token .071 vs bad .053；50M 图时 .125 vs .079 vs .063。

42× 样本效率：同用 109M 编码器与同语料文本，good-view JEPA 用 21.6M 训练样本（2.16M 图的文本）达到 WIT 对齐 .109，而 next-token 需要 900M 样本（940M 图）才到 .111——42 倍样本、14 倍文本 token、435 倍唯一图像；同 21.6M 样本直接对比则是 .108 对 .071。值得注意的是 next-token 在 21.6M 到 900M 之间没有任何更早的 checkpoint 被评分（作者如实注明），42× 是保守表述的整数倍数；而两条 log 线性趋势的巨大斜率差（图 1 右）让任何插值口径下「数量级级别的样本效率差距」都成立。

Flickr 检索的补偿性观察：宽度（33M→109M）在 Flickr R@1 上持续帮助（.283→.300→.309，1k 对旋转），但 WIT 对齐反而持平或略降（.125→.116）——宽度提升域内检索多于跨域对齐；而把旋转拟合从 1k 对扩到 30k Flickr 训练+验证对（仍是唯一用配对拟合的部件），940M 文本模型检索从 .349 升到 .464，逐步逼近 CLIP 文本编码器的 .489——旋转估计质量本身是检索的瓶颈之一，这为「配对数据只用在一个 k×k 矩阵上」的框架划出了实用的用量-收益曲线。

109M 超越 72B：109M（BERT-B）good-view JEPA 以 900M 样本训练于 940M 图的文本（共读 116B 文本 token）：

文本编码器WIT 10-NNWIT CKACLIP-H 10-NNCOCO 10-NNFlickr R@1
good-view JEPA（109M）.184.507.230.161.478
next-token（同文本）.111–.146–.335
bad-view JEPA（同文本）.088–.116–.318
Qwen2.5-72B.154.418.210.108–
Llama-3-70B.151.380.206.113–
CLIP B/32 文本编码器.124.339.159.132.489
all-mpnet-base-v2.118.390.159.156.481

以 600 倍少的参数、100 倍少的训练 token，在 PRH 论文自家基准上超过所有受测语言模型（Qwen2.5 全系 0.5B–72B、Llama-3-8B/70B、Mistral-7B）与 CLIP 的文本编码器；对 MAE、I-JEPA、DINOv2 各尺寸、线性 CKA、5 倍大的 COCO 基准全部保序。作者列出三条诚实警示：第四个种子（SIGReg 权重翻倍）只到 .121，四种子均值 .168 仍胜全部语言模型；recaptioner 经 CLIP ViT-L/14 看图，部分对齐信息间接来自图文训练；WIT 有 43/1024 条 caption 泄漏于 Recap alt-text（移除后九个模型变化 ≤ .002）。更根本的边界：不用 recaptioner、只在 alt-text 与其纯文本改写上做 good view，对齐只有 .060（vs .107）——good view 的来源本身依赖「知道哪些文本描述同一场景」这一配对信息，它通过视图定义进入，而非跨模态损失。

对齐缩放律：以概率 $q$ 为每个训练项抽 good view、否则 bad view，拟合

$$R@1 = a + d\log M + b\log\Big(1 + \frac{q^\alpha M^\beta N^\gamma}{c}\Big)$$

（$M$ 为样本数、$N$ 为唯一图像数）。45 格网格拟合 RMSE .007；对 85 个随机 $(q, M)$ 组合（3M–133M 样本）在训练前预测其 R@1，RMSE .0093——而同一配置换个种子的差异是 .0096。这条律预测一个从未训练的 run，与重跑一遍一样准。等对齐线上样本对 good view 的替代是次线性的（$q \propto M^{-0.30}$），唯一图像进入很弱（$\gamma = .19$）：没有 good view 时 WIT 对齐从 0.41M 到 50.9M 图都困在 .054–.057，有则 .090→.115。律在 4 倍外推（320M 样本、31 遍数据）时高估 good-view 组——它没有重复数据项。

应用一：旋转式 captioner。在纯文本上训练一个因果解码器，从冻结 good-view JEPA 的 caption 嵌入（加高斯噪声）重建 caption；给图时用冻结 DINOv2 编码、乘上旋转、解码。旋转是唯一在图文对上拟合的部件，没有任何网络在图文对上训练。噪声水平不是调出来的：旋转后图文平均余弦 $c \approx .3$（验证 .29 / 测试 .33），取 $\sigma = (c^{-2}-1)^{1/2} \approx 3$ 使噪声匹配对齐误差，迁移恰在 $\sigma = 3$ 达峰。Flickr CIDEr .396（随机旋转的 9 倍、检索式 captioning 的 2.5 倍）；COCO 上 CIDEr .668 / BLEU-4 .199（beam 3）；换 Qwen2.5-1.5B 解码器 + 100M 网图文本 + DINOv3 ViT-L + 32 样本共识解码后达 COCO CIDEr .838 / Flickr .519——接近在 400M 图文对上联合训练的 CapDec/DeCap（.918/.912）。旋转的正交性正是跨集迁移的关键：无约束线性映射在 Flickr 略胜（.531 vs .504）却在 COCO 掉五分之一（.635 vs .802），两层 MLP 两边都输。同一个 captioner 零改动迁移到视频（8 帧均值嵌入）：MSR-VTT CIDEr .246，超过所有 CLIP 系零样本 captioner（ZeroCap .058、MAGIC .074、DeCap .150–.186）；帧均值把 clip-caption mutual 10-NN 从 .148 提到 .167——帧是同一场景的多次观测，均值消掉每帧私有噪声，定理 3 的直接应用。

应用二：零配对对齐。用 Schnaus 等的无配对方法（匹配两朵云的簇 + 最优传输精化正交映射），方法、代码、超参、五个种子全部不变：109M good-view JEPA 达 FOSCTTM .018、CIFAR-10 86.0%、CIFAR-100 top-5 67.2%、ImageNet-100 top-5 64.4%——超过其论文全部 21 对视觉-语言模型、五种设定下的最好成绩（至多 82/62/56）；同条件重跑其最强文本编码器 Qwen3-8B（47.6% IN-100），被这个 70 倍小的 JEPA 反超 16.8 个点。同文本的 next-token 一半 run 直接失败（FOSCTTM .287、CIFAR-10 25.5%）。在无配对池更小的 Flickr 上，只有 good-view JEPA 能离开机会水平（16.4% ± 10.4% R@1，其他全部 ≤ 0.3%）——good view 让两个模态仅凭几何就能对上，next-token 不能。

1.6 知识反推

若让一个没有背景的人复现这篇论文，至少需要：

  • JEPA 家族与自监督全景：对比学习（InfoNCE）、非对比学习（VICReg、Barlow Twins 的方差-协方差正则）、I-JEPA/LeJEPA 的 SIGReg（把嵌入推向各向同性高斯）；不理解反坍塌项就无从理解命题 1 的白化条件。
  • 谱图理论：归一化邻接矩阵、特征隙、谱嵌入、Laplacian eigenmaps——命题 1 说 JEPA 就是谱方法，这是全部定理的语言。
  • 核方法与 Davis-Kahan 型扰动分析：定理 2 的界是特征向量块对矩阵扰动的经典技术的直接应用。
  • 正交 Procrustes 与词翻译文献：命题 2 与应用层的旋转拟合全部建立其上。
  • 评测协议细节：PRH 的 WIT-1024 + mutual 10-NN（机会水平 10/N = .01）、无偏线性 CKA、单旋转检索 R@1/R@5——换协议数字不可比。
  • 关键基础设施：DINOv2/DINOv3（768 维）、Recap-DataComp（alt-text + LLaVA recaption）、LLaVA、COCO/Flickr Karpathy split、MSR-VTT；以及为什么图像侧默认全是 bad-view（裁剪视图）。
  • 训练工程：stable-pretraining、梯度裁剪防 SIGReg 崩塌、多视图 batch 组织。

1.7 通用灵感

  • 「你的正样本定义了你的世界核」：任何带正样本对的自监督目标，其学到的结构等价于正样本连成的图的谱。设计目标前先问：我的正样本把哪些状态连在了一起、把什么当成了噪声？这是比「换 loss」更根本的设计轴。
  • 「信息以何种身份进入决定其价值」：同样的「两条 caption 同图」信息，作为 JEPA 视图带来数倍对齐，作为 next-token 语料几乎为零。数据的价值依赖目标函数读取它的方式。
  • 「预算应花在共享结构而非私有噪声上」：bad view 让编码器把容量花在措辞、视角、文风这类不可跨模态对齐的量上。任何表征学习任务都可问：我的增广保留了更多共享语义还是更多私有实现细节？
  • 「旋转是最窄、最可迁移的接口」：两个独立训练的系统若共享底层结构，一个正交映射即可互操作，且正交性本身就是跨域迁移的保险（线性映射会过拟合源域）。这对模块化系统设计有直接启发。
  • 「噪声匹配残余误差」：captioner 把解码器训练噪声定在旋转后残余余弦对应的 $\sigma$，不调参、恰在峰值——「为已知的接口误差做鲁棒化」可推广到任何级联系统。
  • 「缩放律可以在训练前替你跑实验」：先在网格上拟合律、再外推预测未跑配置（85 个 run，与种子噪声同准），是数据驱动实验规划的可复制模板。
  • 「证明目标的最优条件，再据此造配方」：从定理直接读出可操作配方（视图取不同观测 + 裁剪 + 轻掩码 + 梯度裁剪），理论与工程零距离。

论文二：Training Foundation Models with a Single Algorithm

2.1 题目与基本信息

  • 作者：Yuda Song（CMU，项目负责）、Alvin Zhang（JHU）、Fahim Tajwar（CMU）、Daman Arora、Jeff Schneider、Daniel Khashabi（JHU）、Ruslan Salakhutdinov、J. Andrew Bagnell（CMU / Aurora Innovation）、Aarti Singh、Andrea Zanette（CMU）
  • 链接：arXiv:2610.40564，附网站、GitHub、Hugging Face
  • 一句话：pretraining、midtraining、SFT 与（合适的）RL 都能写成同一个最大似然目标，基础模型训练的整个生命周期因此归约为「单一算法 + 演化的数据分布」，分阶段训练只是混合权重逐一突变的特例。

2.2 背景

现代基础模型按接力赛训练：pretraining（通用语料）、midtraining（精选语料）、SFT（示范数据）、RL（可验证奖励下的自生成数据）。每个阶段有自己的数据、学习算法与基础设施，被当作独立的学习问题对待，沉淀为一整套专用 recipe。对训练过程的理解也因此是碎片化的：pretraining 有 scaling law，RL 后训练有自己的 scaling 文献，跨阶段迁移（预训练决策如何影响后续学习）刚刚起步——没有人拥有关于「全生命周期决策如何联合决定最终模型」的科学。

2.3 定位

论文建立在 MaxRL（Tajwar et al., 2026）的似然解释之上，并做了两步实质推广：(1) 把似然解释从当前策略扩展到任意固定生成策略 $\nu$，使生成与优化可以解耦异步；(2) 把 REINFORCE、TailRL、连续奖励等目标统一为「不同目标分布 + 不同有效提示分布」的选择。定位上是概念统一 + 训练系统 + 受控/真实双层实验的「训练科学」框架论文——它不发明新优化器，而是论证优化器本就不该换。与 InstructGPT 式「在 RL 损失上加一个带系数的预训练项」的区别是结构性的：统一训练中两个源共享同一个损失，相对权重由数据混合直接给出，无需另调系数。

2.4 问题定义

预训练/SFT 本就是 MLE：$\mathcal{L}(\theta; \rho \circ \mu) = -\mathbb{E}_{x \sim \rho}\mathbb{E}_{y \sim \mu(\cdot|x)}[\log \pi_\theta(y|x)]$，与 forward KL 只差一个与 $\theta$ 无关的常数。RL 乍看是异类（策略优化）。论文的核心提问：能否把 RL 也写成同一形式，使整个训练生命周期成为单一学习目标驱动、数据分布演化的问题？ 若能，设计空间就从「每阶段一套算法」迁移到「哪个数据源、什么比例、什么时机」——分阶段训练退化为「某时刻全部混合权重压在一个源上」的特例。

2.5 解法

理论：RL 即对生成分布的最大似然拟合

MaxRL 的似然形式：二值奖励下记成功条件分布 $\pi_\theta^+(y|x) = \pi_\theta(y|x, r=1)$，MaxRL 梯度恒等式 $\nabla_\theta \log p_\theta(x) = \mathbb{E}_{y \sim \pi_\theta^+}\left[\nabla_\theta \log \pi_\theta(y|x)\right]$ 说明：一步 MaxRL 更新 = 把模型最大似然拟合到当前策略的成功条件分布上（更新期间分布固定）。

统一框架：每个数据源 $s$ 在第 $t$ 轮由提示分布 $\rho_{s,t}$ 与目标分布 $\mu_{s,t}$ 表示——pretraining（空提示，$\mu_\text{pre}$）、midtraining（空提示，$\mu_\text{mid}$）、SFT（$\rho_\text{sft}$，$\mu_\text{sft}$）、RL（$\rho_\text{rl}$，$\pi_{\theta_t}^+$ 或生成策略的 $\nu^+$）。以权重 $\lambda_{s,t}$（$\sum_s \lambda_{s,t} = 1$）混合成单一联合分布 $q_t = \sum_s \lambda_{s,t}(\rho_{s,t} \circ \mu_{s,t})$，统一训练就是同一个损失 $\mathcal{L}(\theta; q_t) = -\mathbb{E}_{(x,y)\sim q_t}[\log \pi_\theta(y|x)]$。求导时源分布与权重固定；二者可随训练演化，学习规则不变。

任意生成器与其它 RL 目标：目标分布取生成策略 $\nu$ 的 $\nu^+$ 时，生成与优化可完全异步（$\nu = \pi_{\theta_t}$ 退化为 on-policy MaxRL）。不同 RL 目标只是「目标 × 有效提示分布」的不同取值：REINFORCE 与 MaxRL 拟合同一 $\pi_{\theta_t}^+$ 但提示重加权 $\rho_\text{RF}(x) \propto \rho(x)p_{\theta_t}(x)$；TailRL 目标为 $\int_0^1 \pi_{\theta_t}(\cdot|x, r>\tau)d\tau$、提示不变；连续奖励 REINFORCE 目标为 $\pi_{\theta_t}(y|x)r(x,y)/\mathbb{E}[r]$、提示按期望奖励加权。

系统：共享数据格式 + 加权似然 + 单一 trainer

每个样本是 $(z, w)$：token 序列 + 非负权重向量，损失为 token 级加权交叉熵（对 batch 内非提示 token 取均值）：

$$\hat{\mathcal{L}}(\theta; B) = -\frac{1}{T_B}\sum_{(z,w)\in B}\sum_{\ell=1}^{L} w_\ell \log \pi_\theta(z_\ell \mid z_{<\ell})$$

各阶段只是权重模式不同：pretraining/midtraining 语料 token 全 1；SFT 提示 token 0、示范 token 1；RL 提示掩码、每个完成一个响应权重 $A$。生成器每提示采 $N$ 个完成、以 $\hat{p}$ 估通过率，正确完成权重 $A = 1/\hat{p}$、错误为 0——这恰是 MaxRL 的有限样本形式。逐步推导即可看清：对 $N$ 个样本按 $r/\hat{p}$ 加权平均 score 函数，

$$\frac{1}{N}\sum_{i=1}^{N}\frac{r(x, y_i)}{\hat{p}}\nabla_\theta\log\pi_\theta(y_i|x) = \frac{1}{N\hat{p}}\sum_{i:\,r(x,y_i)=1}\nabla_\theta\log\pi_\theta(y_i|x)$$

正好等于只对正确完成的 score 取平均，全错则零更新。有限 $N$ 不改变目标 $\nu^+$，只把提示按 $1-(1-p_\nu(x))^N$（至少一个正确的概率）降权：$N=1$ 权重为 $p_\nu(x)$ 恰还原 REINFORCE，$N \to \infty$ 权重趋一。生成器与优化器异步：生成器把带权数据追加进同时容纳静态数据的共享缓冲区，trainer 按目标 token 比例 $f_s/T_s$ 采样、每 $k$ 步发布一次权重。

这个 token 级权重的数据格式是全系统最实用的抽象：四个阶段在同一种张量上训练、同一个 dataloader 里混合、同一条代码路径反传。「阶段」在数据格式里坍缩为权重模式（论文图 2 右的示意：pretraining 全 1、SFT 前缀 0 后缀 1、RL 前缀 0 响应 A），剩下的区别只在「哪些 $(z,w)$ 以什么比例进缓冲区」。

实验：受控 + 真实双层

受控设定：124M 模型从零训练，固定 20B token 预训练语料 + 510M token midtraining 语料（Reasoning Gym 风格、答案可验证、难度可控的自然语言推理谜题；midtraining 含 oracle 解法示范底层推理操作，RL 引入新组合）。统一组把 midtraining 混入预训练尾部与 RL 全程；分阶段组顺序使用。三设定：Base（谜题尺寸在 midtraining 范围内）、Extended（RL 加入更大谜题）、Extended generalization（评测比训练所见更大的谜题）。RL 用 MaxRL（Base 6000 步 / Extended 12000 步），报告 pass@1 精度与 pass@16 覆盖率（双种子）。

  • 性能与泛化：三设定的最优统一配置 pass@1 全超分阶段。预训练期混入更多 midtraining token（133M/267M/534M/1.07B/2.14B）一致更好；2.14B 时 Base 最优出现在 RL 期中等混合，Extended 及其泛化则随 RL 期混合单调向好。分阶段对 midtraining 预算敏感（超出最优预算精度下降），统一组两个最优配置分别对 midtraining 语料做了 2 和 4 个 epoch 的复用仍更好——数据复用 + 混合比顺序堆叠更稳健。
  • 计算最优性：同总预算（含 pre/mid/RL 全部开销）下，分阶段只在中等预算的精度上计算最优；预算最大与最小时统一训练精度更高；覆盖率分阶段占优；而在最重要的泛化设定，统一训练几乎在所有预算下精度 + 覆盖双优。
  • 保留性：RL 前评测，五个统一初始化（混入 133M–2.14B midtraining token）的 held-out 预训练损失与五基准均值都与纯预训练模型相当；保留最好的分阶段配置（1 epoch、峰值 lr 5e-5）两项都明显更差，而 RL 精度最好的分阶段配置保留更差——把 midtraining 混进预训练，几乎不付遗忘代价地学会推理技能。
  • 辅助分析：RL 前分阶段参照的 Base 精度高于任何统一初始化，RL 后最优统一反超——midtraining 的价值要用它对后续学习的支撑来评判，而非即时精度；共享损失 vs 分别归一化 + 固定系数的组合：共享损失在 Base 与 Extended 泛化上最终精度/覆盖最高，且免于系数调参；RL 期混入预训练文本降低 held-out 损失但多数配置下推理精度/覆盖下降、通用基准小涨——保留与推理在此设定下有张力。

真实设定：0.76B 模型从零预训练 + midtraining，然后 Math12K 上做数学 RL，统一组把 240M token 异构语料（网络文本、数学、代码、推理轨迹，与 midtraining 同构成）按常量比例混入。Math 取 MATH-500 与 GSM8K 均值，Coding 取 HumanEval+ 与 MBPP+ 均值。

  • 比例扫描（0–5%）：数学精度几乎持平（24.0–24.5% 区间，随比例微降），最大比例的数学 pass@16 覆盖最高；所有非零混合都把 held-out midtraining 损失压到 base 模型之下（比例越大越低），分阶段反而升高；SciQ 随混合总体上升；Coding 精度随混合下降但覆盖仍高于 base 与分阶段——保留收益明确，任务性能在精度与覆盖之间权衡。
  • 调度实验（平均 0.5%）：常量 / 线性衰减到零（全程退火 1%）/ 线性增长（1%）/ 训练中点衰减到零（半程退火 2%）。中点结束混合：Coding 精度改善、SciQ 收益保留，但语料损失回升；四调度的数学精度/覆盖相近。没有普适最优调度，取决于任务间如何平衡。
  • 持续学习：数学 RL 后接 4000 步编码 RL（统一无 midtraining 数据）。尽管初始编码精度更低，所有统一模型的最终双基准精度都超过分阶段，MBPP+ 覆盖也更高；5% 模型四项指标全部最佳；较小混合的 HumanEval+ 覆盖与分阶段相当或更低。WebInstruct 通用推理域复现同一结论。
  • 目标与正则对照：同 2% 混合下，REINFORCE 数学精度更高、held-out 损失更低、SciQ/ARC-Challenge 更高，MaxRL 覆盖更高——换 RL 目标等于换目标分布与提示加权，效果可在此框架内直接对比；加大 KL 惩罚能减缓 held-out 损失恶化，但最强惩罚显著伤数学精度与覆盖，没有任何测试惩罚能复现统一训练「数学性能 + 低语料损失 + 高 SciQ/MMLU」的组合；语料层面去掉代码源在常量混合下改善 Coding、退火下几乎无影响，换入验证过的代码样本只在退火下提升覆盖——语料构成与调度交互。

2.6 知识反推

复现这篇论文至少需要：

  • 极大似然与 KL 的等价梯度：MLE 与 forward KL 只差常数——统一框架的地基。
  • 策略梯度家族：REINFORCE、PPO、GRPO 的差异只在优势估计/奖励归一化/更新约束；MaxRL/TailRL 的似然解释是本文直接前置。
  • 加权似然视角下的自训练谱系：STaR/ReST-EM/RAFT 即「在选中的自生成响应上做 MLE」；期望-最大化、加权回归与受限策略拟合的 RL-SL 桥接传统。
  • 异步 RL 系统设计：actor-learner 分离、replay buffer、策略滞后控制（AReaL/StaleFlow 限版本数、PipelineRL 生成中更新）——本文生成器-缓冲区-trainer 拓扑的直接参照。
  • 数据混合与课程文献：域配比优化、暴露时机、后期重放的价值——统一框架把它们全部变成 $\lambda_{s,t}$ 的轨迹设计。
  • 实验方法学：计算匹配对比（含全部阶段开销）、pass@k 双指标（精度 vs 覆盖）、held-out 损失 + 多基准的保留度量、双种子平均。
  • 工程细节：token 级权重的数据格式、按 $f_s/T_s$ 的比例采样、每 $k$ 步权重发布与滞后监控。

2.7 通用灵感

  • 「算法分离常常是假象」：当一个新阶段看起来需要新目标函数时，先试试把它写成现有目标 + 不同目标分布。统一之后，设计空间从算法超参搬到数据调度，而后者更好测量、更好复用。
  • 「混合是比正则更好的锚」：想让模型不忘旧能力，与其加 KL 惩罚（伤新能力），不如把旧数据持续混进损失——正则约束的是参数路径，混合约束的是梯度方向本身。
  • 「用下游支撑而非即时表现评判中间阶段」：midtraining 后精度最高的配置，RL 后未必最好；评测中间 checkpoint 的正确方式是看它让后续学习有多快。
  • 「把系数交给数据」：两个损失源的组合系数是出了名的调参地狱；统一到 token 级加权后，系数就是数据占比——可测量、可调度、可复用。
  • 「异步源于形式解耦」：既然生成与优化在数学上可分离（拟合任意 $\nu^+$），工程上就值得做全异步——形式化统一直接解锁系统简化的典型案例。
  • 「精度与覆盖是两个轴」：pass@1 与 pass@16 在几乎所有实验中独立移动（REINFORCE vs MaxRL、混合比例、调度）；只看单一指标的结论都会漏掉一半故事。

两篇对比与交汇

表层的对称

维度论文一（PRH 定理化）论文二（统一训练）
统一的对象跨模态自监督目标族（JEPA、对比学习、next-token）基础模型训练全阶段（pretrain/mid/SFT/RL）
统一的形式一切都是「预测项 + 反坍塌项」的 JEPA一切都是「对某目标分布的最大似然」
差异被归约到正样本对（视图）的选择数据源混合权重 $\lambda_{s,t}$ 的轨迹
由此诞生的杠杆good view vs bad view（42× 样本效率）混合比例与调度（保留 + 持续学习优势）
缩放的角色被证明可被视图质量替代（.184 @109M > .154 @72B）被证明可被数据调度替代（大预算下统一占优）
理论风格有限世界总体最优的定理与界梯度恒等式与目标分布等价类
缩放律有：对齐随 $(q, M, N)$ 的可预测律（85 run 预测 ≈ 种子噪声）无：作者明确承认未建立有预测力的计算律
实验规模上限109M 编码器 / 940M 图文本0.76B 模型 / 240M token 混合语料

深层的同构

两篇论文其实是同一个论断的两次独立证明：训练中真正起决定作用的是「你把什么当作正样本/数据」，算法形式与规模是次要变量。 论文一证明 next-token 预测与 good-view JEPA 共享同一算法骨架，全部差异来自正样本是「文档内前缀-后继」还是「同场景两次观测」——这个差异被证明值 42 倍样本效率。论文二证明 RL 与 MLE 共享同一算法骨架，全部差异来自目标分布是「自生成的成功条件分布」还是「静态语料」——这个差异被证明可以靠混合权重连续插值，而分阶段的硬边界只是浪费。

把两篇的「差异变量」放在同一张图上看会更清楚。论文一的横轴是视图质量：从 next-token（前缀-后继，文档 nuisance）到 bad view（单观测损坏）到 good view（双观测），对齐度从 .111/.088 跳到 .184，样本需求从 900M 跌到 21.6M。论文二的横轴是数据混合：从纯 RL（0%）到 5% midtraining 混入，held-out 损失从上升到压低 base 之下，持续学习终点从分阶段水平提到四项全优。两条横轴都是数据属性，都不触碰算法本身；两个「纵轴收益」都以数量级计。

更有趣的是两篇论文在 next-token 预测上的互补注视：论文二把 next-token 似然当作万能底座，让 RL 向它归约；论文一则解剖了 next-token 的表示代价——它的正样本天然携带文档 nuisance，学到的表示连旋转唯一性都没有（只有 GL(k) 等价）。合起来的启示是：统一训练管住了「何时、以何比例喂什么数据」，good-view 理论管住了「数据内部以何种关系组织成视图」——前者是宏观调度自由度，后者是微观结构自由度，一个完整的训练科学需要两者。可以想象一个直接的组合实验：在论文二的统一训练框架里，把其中某个静态源换成论文一的 good-view 文本 JEPA 目标（同一数据、不同正样本关系），观察对齐度随 $\lambda_{s,t}$ 的演化是否也服从某种缩放律。

边界与诚实的限制

两篇都明确划界。论文一：定理是有限世界、单射渲染、总体最优、旋转唯一条件下的陈述；good view 的来源依赖「知道哪些文本同场景」（Flickr/COCO 的人工分组，或 Recap 的 captioner 蒸馏——后者间接携带 CLIP 的图文对齐信息）；图像侧自己仍是 bad-view。论文二：实验规模 ≤ 0.76B、以单 RL 任务为主；没有建立有预测力的缩放律；混合与调度的系统选择法仍是开放问题；下游适配终究还要「阶段」。两者的结论都应读作「can」而非「always」——论文二自始至终展示的是精度/覆盖/保留的权衡，论文一的 scaling law 在 4 倍外推处失效。

结语

这两篇论文代表了一种正在获得动能的研究取向：不再向目标函数动物园里添加新成员，而是证明现有成员本是同根生，然后把研究重心移到那个真正高维的设计空间——数据的选择、组织、比例与时机。论文一用定理把这个空间里最重要的一维（正样本的世界核）照亮，并给出 42× 样本效率与 109M 胜 72B 的实证冲击；论文二把四段训练流水线压成一条似然损失加一条混合权重曲线，展示遗忘可以靠混合而非正则来对抗、持续学习的起点可以靠调度来改善。

对从业者，论文一的可立即落地的建议是：视图取同一底层状态的多次观测、各自裁剪轻掩码、配梯度裁剪；对齐接口优先用正交映射、为残余误差匹配噪声。论文二的建议是：把 midtraining 数据混进预训练尾部与 RL 全程（而非单独成段），用 token 占比而非损失系数控制源权重，用下游学习速度而非即时精度评判中间数据。对研究者，两篇论文共同打开的问题也许可以这么表述：如果视图决定了学什么、混合决定了何时学，那么是否存在一个同时覆盖两者的「数据调度 + 视图结构」联合理论——柏拉图表示定理告诉你不同模态终将汇合于一个旋转之内，统一训练告诉你通往那里的整条路可以只踩一个油门。

附录：快速对比卡

论文一（arXiv:2610.39302）论文二（arXiv:2610.40564）
一句话good view 让 PRH 成为定理，next-token 是低效弯路四阶段训练是单一似然算法 + 数据分布演化
核心理论定理 1（旋转等价）+ 命题 4（next-token = bad-view JEPA）MaxRL 梯度恒等式 → 全阶段统一似然形式
关键配方同场景双观测视图 + 裁剪 + 轻掩码 + 梯度裁剪token 级权重数据格式 + 共享缓冲区 + 异步生成
标志性数字.184 对齐度、42× 样本效率、CIDEr .838双种子全设定 pass@1 超分阶段、5% 混合四项持续学习全优
击败的对手Qwen2.5-72B、Llama-3-70B、CLIP 文本编码器、Qwen3-8B（零配对）分阶段 MaxRL、分离系数组合、KL 正则化
主要局限good view 依赖场景分组信息；图像侧仍是 bad view≤0.76B 规模、单任务 RL、无预测性缩放律