Spectral Allocation: Why Muon Outperforms Adam, and How to Improve Muon 精读

论文链接：arxiv.org/abs/2608.25990 发表时间：2026年8月 机构：University of Cambridge（工程系）+ 清华大学（电子工程系）——中英高校合作（剑桥主导谱探测分析与算法设计，清华参与理论验证） 领域标签：cs.LG / 优化器 / LLM 预训练

一、论文背景

1.1 优化器：LLM 预训练的隐形引擎

预训练一个 LLM 要做数万亿次参数更新，优化器决定每次更新走多远、往哪走。Adam（2015）是十年霸主：为每个坐标维护自适应学习率。2024 年起，Muon 崛起——对二维权重矩阵的（动量化）梯度做正交化（白化）：把矩阵的奇异值全部拉平成 1 再作为更新方向，在 LLM 预训练（尤其暂态阶段）显著快于 Adam，已被 Kimi K2、Moonlight 等大规模训练采用。

1.2 “为什么快"是个开放问题

主流解释把 Muon 视为谱范数最速下降：正交化是谱范数约束下线性化损失的最速下降步——解释了稳定性与学习率迁移，但正如 Lau et al. 指出，白化"事实上抹掉了全部曲率信息”，这个视角本身推不出收敛加速。更新的解释转向曲率：Su (2025) 证明在各向异性曲率模型下正交化是损失最优的——但其"各向同性白化后方向等价"的假设被本文测量证伪；并发工作 Wang et al. (2026) 用聚合的 in-sample Hessian 诊断（只在梯度批次上算一个标量）——把整个谱几何压缩成单点，丢失谱内的曲率信息。

关键空白：真实 Transformer 训练中，动量缓冲的每个谱方向上曲率行为如何？这对优化器设计意味着什么？——此前无人逐秩测量过。

1.3 测量先于设计

本文的方法论立场：先在真实训练轨迹上做逐秩粒度、out-of-sample（留出批次而非梯度批次）的谱剖面测量，再看优化器设计能从中榨出什么。这个顺序（测量→理解→设计）是全文的灵魂。

二、论文定位和关联工作

2.1 Muon 理论解释谱系

• 范数几何视角：Bernstein & Newhouse 等的正交化=谱范数球内最速下降——稳定性与 LR 迁移的解释，不含加速机制。
• 各向异性曲率视角：Su (2025) 的最优性证明依赖"白化后各方向同等易下降"假设——本文测量显示该假设被违反。
• 方向锐度视角：Wang et al. (2026) 的聚合 in-sample 诊断——本文是其逐秩、out-of-sample 扩展。

2.2 深度网络谱分析谱系

Hessian 谱的经典结论：体集中近零 + 少数离群特征值大若干数量级。Zhang et al. (2024) 把 SGD 失败归因于跨参数块的曲率异质性；本文补上块内沿更新奇异方向的谱行为这一互补维度。梯度谱各向异性的研究（Refael et al.、Cao et al.）为"能量集中在前几秩"提供佐证。

2.3 实用 Muon 变体谱系

AdaMuon/Newton-Muon/Mousse 追加自适应机制但失去 Muon 的单缓冲内存优势（SOAP 尤其重）；COSMOS 在头子空间用 SOAP 式预处理；NorMuon 加每神经元二阶矩；LiMuon 用随机 SVD 做内存压缩（同 SAMuon 的计算原语、不同目的）。SAMuon 的差异化：单缓冲、近零额外 FLOPs、单超参 γ、γ=1 严格退化为 Muon（天然消融）。

定位结论：本文 = 首个逐秩 out-of-sample 谱剖面测量 + SGD/Adam/Muon 的统一谱分配解释 + 测量蒸馏为静态先验的轻量改进——“分析驱动设计"的完整示范。

三、问题定义

具体问题：解释 Muon 相对 Adam/SGD 的加速机制，并据此改进 Muon。

抽象洞察：把所有优化器统一为谱分配策略——更新作用于动量缓冲的各奇异方向时，隐式地给每个方向分配了一个步长系数。问题变为：真实损失景观允许的最优谱分配是什么形状？各优化器的分配离它多远？

形式化（谱探测）：在训练轨迹检查点 θ_t，对每个二维权重矩阵 j 的动量缓冲 M_j 做 SVD：M_j = Σ_d σ_{j,d} u_{j,d} v_{j,d}^T。取第 d 秩探针 Δθ^(d) = vec{−κ_j u_{j,d} v_{j,d}^T}（与 Muon 实际施加的第 d 秩分量同向同尺度，可直接对比）。在留出批次 B_o 上用局部二次近似估计损失最优步长：η*_d = −g^TΔθ / (Δθ^T H Δθ)，其中方向曲率由一次额外前向的有限差分得到。{η*_d} 即谱剖面。

精妙之处：(1) out-of-sample——在未见数据上测最优步长，对齐"我们关心的是泛化下降"而非"拟合当前批次”；(2) 探针与 Muon 同尺度——测出的最优步长可直接与 Muon 实际全局学习率比较；(3) 每矩阵恰贡献一个 rank-1 分量——防止不同矩阵的分量数不均污染聚合。

四、问题解法

4.1 谱探测的三个发现（64M modded-nanogpt，Muon/Scion 轨迹，迭代 200–3500）

发现一：剖面高度各向异性但极其稳定。最优步长跨近一个数量级；形状为"主体平坦 + 头部骤降"；约 200 迭代 burn-in 后形状持续整个训练，跨批次误差条极窄；同形状也出现在 AdamW 轨迹与更大模型上——这是景观的属性而非优化器的属性。稳定性是后续"静态先验"可行的前提。

发现二：易变头（Volatile Head）处于稳定性边缘（Edge-of-Stability）。第一奇异方向承载动量缓冲的主要谱能量（携带大部分梯度信号），但允许的最优步长比主体小近一个数量级；Muon 实际的全局步长（0.01221）恰与头的最优步长重合——整条谱的步长被这一个最脆弱的方向钉死。

发现三：宽容主体（Tolerant Bulk）被严重欠利用。头之下最优步长在最初几秩急剧爬升（rank-1 与 rank-2 之间是最大单跳），随后在主体上保持平坦、数倍于头；近头衰减近似 log-rank 线性（可用"平台高度+斜率"两参数刻画）；若各秩按自己的最优步长走，理想化的每迭代损失下降远超 Muon 均匀分配实现的份额。头部间隙在初始化时不存在，前几百迭代缓慢发育（从近各向同性 ≈2 到稳定 ≈5）——这正是 SAMuon 需要 warmup 的原因。

4.2 统一解释：SGD→Adam→Muon 的一条轴

4.3 SAMuon：把测量蒸馏为静态先验

设计哲学：不在线学习剖面（SOAP 式自适应的内存/算力代价），而是把稳定剖面固化为静态形状。

• 完整版 SAMuon：每步对动量缓冲做 rank-k 随机 SVD，按实测的 log-rank 线性形状给前 k 秩分配渐变尺度、其余主体放大到 γ 倍；rank-k 遵循 k=√d 的宽度规则（非调参）。slow warmup 让头间隙先发育再利用。
• SAMuon-lite：两级粗粒度剖面——幂迭代钉住头、整个主体统一放大到 γ；实现更高效。
• 代价清单：无持久额外状态（仍是单缓冲）；额外 FLOPs 可忽略（lite 仅 +0.5% 迭代时间）；唯一新超参 γ；γ=1 严格退化为 Muon——内置消融。
• 理论保证：理想精确白化版本保持 Muon 的 O(T^{-1/4})/O(T^{-1/2}) 渐近收敛率。

五、评估指标与实验证据

5.1 指标与设置

• 主指标：最终验证损失 + token 效率（达到同等验证损失所需 token 的节省百分比）。
• 基准：modded-nanogpt，124M/300M/1B × batch 1024–4096，FineWeb 10B/20B token，A100。
• 调参协议：严格对齐 Pethick et al. (2025)——按 batch size 在 124M 调参后跨尺度迁移；124M 预算约 4 倍 Chinchilla 最优（过训练区间，优化器增益最难保留的设定）。
• 基线：调优 AdamW 与 Muon（Scion 实现，文中称 Muon）。

5.2 主结果

• 全组合最优：SAMuon 在所有 模型×批次 组合上验证损失全面低于 AdamW 与调优 Muon。例：124M@4096，SAMuon 3.1658 < Muon 3.1953 < AdamW 3.3050。
• token 效率：SAMuon 比 Muon 少 13.3–24.0% token 达到同等损失；lite 版保留 13.3–22.1%。
• 增益随批次增大而增大（124M：20.3%→24.0% 从 batch 1024→4096）；SAMuon 与 lite 差 0–2.3pp 且随批次增大——形状越贴近实测剖面越优（SAMuon>lite>Muon 的排序本身验证机制）。

5.3 为什么实验设计能证明论点

主张有二：解释（谱分配统一账户）与改进（SAMuon 有效）。证据闭环：(1) 剖面的跨优化器/跨尺度稳定性证明它是景观属性（解释的对象存在）；(2) Muon 实际步长与头最优步长重合（EoS 机制的直接证据）；(3) 机制→设计的因果链由"profile 贴合度排序=性能排序"验证——这不是"新优化器恰好更快"，而是"越接近测量剖面越快"；(4) γ=1 退化提供无成本的内部对照；(5) 过训练区间 + 调参协议对齐排除"调参红利"解释。

六、效果优势的根源解释

（1）为什么 SGD 在 Transformer 上失败？ 谱分配反向：更新沿 σ_d 比例分配 → 能量集中在前几秩 → 而前几秩恰是景观最不稳的方向（最优步长最小）。SGD 等于把绝大多数预算押在最陡的悬崖上，每步都濒临发散，只能用极小学习率爬行。

（2）为什么 Adam 是"workaround"而非解法？ 逐坐标缩放隐式压低了头部的相对权重（相对 SGD 把主体尺度提升一个量级），所以比 SGD 好；但它是谱盲的——逐坐标操作不知道哪些坐标组合成哪个奇异方向，无法系统性地把步长质量从头部重分配到主体。头依然主导更新谱。

（3）为什么 Muon 快但仍保守？ 白化做对了方向性的事：把步长质量均匀化，等于相对 SGD 把 rank-d 方向放大 σ_1/σ_d 倍——恰好朝景观要求的方向（最优步长与 σ_d 反相关）重分配。这解释加速。但均匀分配的尺度被头钉死：头在 EoS 上允许的步长最小，Muon 用同一个全局步长伺候所有秩——主体方向本可走数倍步长却被拖着慢走。形状对了、尺度错了。

（4）SAMuon 的增益从哪来？ 头锚定+主体放大：头保持 Muon 已验证安全的尺度（不动 EoS 上的脆弱平衡），主体方向朝各自容忍度放大 γ 倍——释放被头限制的每迭代损失下降空间。增益随 batch 增大而增大与"大 batch 下每步质量更重要"的直觉一致。头间隙需 warmup 后才存在——设计（slow warmup）与机制（间隙发育）严丝合缝。

（5）诚实边界：单种子运行、最大 1B 规模——作者自陈的局限；理想化损失下降上界的"乐观解释"也被明确标注（假设各探针 Hessian 共轭）。

七、必要知识反推

7.1 领域知识层

• 优化器机制细节：Adam 的双矩、Muon 的动量+Newton-Schulz 正交化、Scion 的重归一化与 κ 缩放——不理解"更新在谱上长什么样"就无从定义谱分配。
• Transformer 预训练动力学：暂态 vs 渐近阶段、EoS 现象（Cohen et al. 2021）、Chinchilla 最优与过训练区间——剖面解读的背景板。
• Hessian 谱经验知识：体+离群结构、块间异质性——把本文的"块内"发现放到正确位置。

7.2 方法论知识层

• SVD/随机 SVD/幂迭代：谱分解的精确与近似计算——探测与两个 SAMuon 变体的数学工具箱。
• 方向探测与局部二次近似：有限差分方向曲率（每次探测仅 1 次额外前向）——测量的核心技术。
• in-sample vs out-of-sample 的方法论区分：梯度批次上的曲率会奖励"拟合当前批"而非泛化——测量设计的科学判断。
• 收敛性分析：O(T^{-1/4}) 阶证明的假设与技巧。

7.3 工程知识层

• modded-nanogpt 训练协议与 Pethick 调参规则的复现；内存/算力预算约束下的优化器实现（单缓冲、+0.5% 迭代时间的 lite 设计）；跨尺度的超参迁移实验纪律。

7.4 知识融合的关键节点

• 节点一（视角统一）：发现"任何优化器=动量谱上的分配策略"这个公共坐标系——SGD/Adam/Muon 从三个孤立算法变成一条轴上的三点。
• 节点二（out-of-sample 判断）：坚持在留出批次上测曲率——in-sample 测出的宽松尾部主要反映对梯度批的重拟合，这一区分改变了结论。
• 节点三（静态先验蒸馏）：剖面稳定性 → 不需要在线学习 → 静态形状即可——把 SOAP 式自适应的代价整个砍掉的工程洞察。
• 节点四（γ=1 退化设计）：让新方法严格包含旧方法——消融免费、回归安全。

八、论文中可以提取的通用性灵感

灵感一：先测量系统的真实约束剖面，再设计分配策略

• 核心思想：资源分配问题（步长、预算、带宽）的最优解取决于系统对各方向的真实容忍度；逐维度测量容忍剖面比拍脑袋分配或在线学习更高效。
• 论文证据：实测剖面（头紧主体宽）直接给出"头钉住、主体放大"的设计；贴合度排序=性能排序（SAMuon>lite>Muon）。
• 推广场景：服务器负载的资源配额画像；交通信号灯的路口流量剖面；投资组合的风险容忍度分层；带宽调度的 QoS 分级。

灵感二：最脆弱的环节决定全局步调——但可以只对它保守

• 核心思想：系统中常存在单一最脆弱组件把整体速度拖到它的水平；识别它、单独对待，其余部分可安全提速。
• 论文证据：Muon 的全局步长被处于 EoS 的易变头钉死；SAMuon 只对头保守、主体放大 γ 倍即解锁 13.3–24.0% token 效率。
• 推广场景：流水线的瓶颈工位单独处理；项目管理的关键路径资源独占；网络传输的慢启动只对首包保守；团队里新成员的专属 onboarding 节奏。

灵感三：稳定结构值得固化为静态先验，动态适应并非总是必要

• 核心思想：如果环境的结构性质跨时间/样本稳定，就应蒸馏为静态规则而非付出在线学习的持续代价。
• 论文证据：谱剖面跨批次/阶段/尺度稳定 → 静态先验的 SAMuon 以近零代价逼近 SOAP 式自适应的效果。
• 推广场景：数据库的静态索引 vs 自适应索引；编译器的预热 profile 固化；组织规章的稳定部分成文化；缓存策略的命中模式固化。

灵感四：在同一坐标系下重述竞争方案，差异自明

• 核心思想：看似无关的多种方案往往能在某个公共维度上排成一条线；找到该坐标系，优劣与改进空间立即显形。
• 论文证据：谱分配坐标把 SGD（∝σ_d）、Adam（缓和但头主导）、Muon（均匀但保守）、SAMuon（贴合剖面）排成单调序列。
• 推广场景：编程范式的抽象成本轴；商业策略的资本密度轴；教育法的师生主导权轴；把竞争产品放到同一价值曲线上的市场分析。

灵感五：让新设计严格包含旧设计，消融免费且风险可控

• 核心思想：改进型方案应设计成参数退化时精确还原旧方案——既提供无成本对照，又保证最坏情况不劣于基线。
• 论文证据：γ=1 时 SAMuon/lite 严格等于 Muon；所有增益在 γ>1 处度量，排除"实现差异"混淆。
• 推广场景：新流程的向后兼容开关；算法的特征开关设计；配方改良的"原味档"；渐进式系统迁移的回退保障。