论文链接:
- Read, Allocate, Route: Role-Coupled Tokenization for Pixel-Space Generative Transformers (SpecSlot, arXiv:2610.40647)
- Youtu-Parsing-Omni: One Encoder, One Schema, All Modalities (arXiv:2610.39301) 代码:
- SpecSlot:github.com/JiongfanYang/SpecSlot(模型在 HuggingFace Gokottaw434/SpecSlot)
- Youtu-Parsing-Omni:github.com/TencentCloudADP/youtu-parsing(模型在 HuggingFace tencent/Youtu-Parsing-Omni) 发表时间:均于 2026 年 10 月 29 日提交 arXiv 机构:
- SpecSlot:北京大学 + 南洋理工大学 + 商汤(SenseTime)
- Youtu-Parsing-Omni:腾讯优图(Youtu Team) 领域标签:cs.CV(生成模型架构 / 多模态文档与内容解析)
一、引言:Transformer 的 token,到底该长什么样
2026 年的视觉模型研究里,有一个问题正在被反复重新审视:一个 token 到底该承担什么职责?
在经典的 ViT 范式里,这个问题不存在答案分歧——图像切成 patch,一个 patch 一个 token,所有 token 进同一个注意力序列,端到端一视同仁。这个设计简单、可扩展,统治了视觉领域五年。但它有一个隐含的强耦合:你看到的(输入粒度)、你产出的(输出粒度)、你通信的(注意力序列长度)被同一个 patch 网格绑定。想要更细的输出?缩小 patch。但 patch 一小,token 数就多,二次方注意力成本随之暴涨。256×256 图像上把 patch 从 16×16 缩到 8×8,token 从 256 涨到 1024,dense attention 的二次项直接放大 16 倍。
本篇精读的两篇论文,从两个截然不同的战场对准了这同一个耦合。
- 第一篇是 SpecSlot(北大 + 南洋理工 + 商汤),做像素空间图像生成。它的观察是:更细的输出细节并不需要成比例更多的全局通信——低频结构受益于长程交换,高频细节大体是局部的。于是它把 token 化重构为一个显式的「分配」问题:空间锚点密度 W 与谱细分 K 是两个独立变量,每个 slot 持有固定的频段输出权,而只有最低频 slot 有资格进全局注意力。输出细节从此与全局序列长度解耦。
- 第二篇是 Youtu-Parsing-Omni(腾讯优图),做全模态解析。它面对的是另一个方向的浪费:文档、图像、音频、视频四类输入,惯例是每个模态一座预训练塔(视觉一座 ViT、音频一座 AuT),参数不共享、时间轴各自为政、跨模态关系全靠语言模型在下游猜。它的回答是激进的一元化:一个编码器(Youtu-Omni-Encoder)、一个输出模式(OmniSchema),视觉 token 和音频 token 写进同一套 (t,h,w) 旋转位置编码,在同一些融合层里完成跨模态对齐。
两篇论文一个生成、一个理解,一个学术联合、一个工业自研,看似毫无交集。但把它们并排放读会发现一条共同的主线:token 不再是均质的补丁,而是带角色的单元;通信不再是全员广播,而是按角色路由。SpecSlot 的路由依据是频率角色(谁持有最低频段谁当载波),Youtu 的路由依据是时空窗口(帧与同时刻音频在融合层互看);SpecSlot 用角色分化换取注意力的可负担性,Youtu 用角色统一换取感知的共享与对齐。一个做减法(把全局通信砍到只剩载波),一个做加法(把两座塔合成一座)——但都是在回答引言里那个问题:token 的职责划分,应当成为架构设计的显式变量,而不是 patch 网格的隐式副产品。
下面依次深入两篇论文,最后回到这条共同主线上做对比。
第一篇:SpecSlot——读、分配、路由
二、论文一:题目与背景
2.1 题目拆解
论文标题「Read, Allocate, Route: Role-Coupled Tokenization for Pixel-Space Generative Transformers」三个动词正是方法的三个阶段:Read(空间锚点读入证据)、Allocate(锚点扩展为 slot 并分配频段)、Route(按角色决定通信)。副标题里的「Role-Coupled」(角色耦合)点出核心机制:token 的输出角色(持有哪个频段)与通信角色(进不进全局注意力)被绑在一起定义——这正是引言里那个耦合的镜像反转:原来三个量耦合在 patch 网格上,现在输出与通信耦合在角色上,且这个耦合是设计出来的、有物理依据的。
2.2 背景:像素空间生成的成本困境
扩散与整流模型本就计算昂贵,像素空间生成更是雪上加霜——它绕开了单独训练的自编码器及其压缩瓶颈,直接从噪声学像素,代价是全分辨率图像必须表示为 Transformer token。现有方法从不同方向压缩成本,但论文指出它们大都保留了输出细节与 token 通信之间的耦合:
- JiT 把每个 patch token 都送进全局序列;
- 多尺度系统把细节挪到额外阶段或 detailer 头(PixelDiT、DiP、HyperDiT、PixNerd);
- 高效注意力方法用通用模式缩短序列(窗口、少量全局 token、可学习稀疏);
- Spectral Forcing 引入频率结构,但只用于过滤噪声输入,token 仍是空间 patch。
这些设计的共同前提:token 是一块空间补丁,更细的细节与更宽的通信绑在同一个网格上。DeCo 把低频高频分给 DiT 与像素解码器两个组件、DiMSUM 交替空间与小波子带处理,是最近的邻近工作,但论文强调它们没有「在单一像素空间骨干内,用固定谱分组同时作为每个 token 的输出所有权与通信资格」。
2.3 核心洞察:细节不需要成比例的全局通信
转机来自频域的一个朴素观察:低频结构承载图像的全局组织,受益于长程交换;高频细节大体局部。一个承载全局结构的 token 值得与整张图交换信息,一个承载细节的 token 多半不需要。然而在现有设计里,token 通信什么由它坐在哪决定,不由它生产什么决定。论文提出的反问是全文的支点:一个 token 的输出角色,能否也决定它该怎么通信?
三、论文一:定位与问题定义
SpecSlot 把自己定位为像素空间 rectified-flow Transformer 的 token 化重设计,目标函数完全沿用 JiT 的像素空间整流目标:噪声与图像在线性路径 z_t = t·x + (1−t)·ε 上混合,网络输出图像形预测 r_θ 后经钳制转换为速度,训练最小化速度 MSE。生成状态、目标、损失全部留在像素空间——这是与 DCTdiff 等变换域生成方法的分界线:频率结构进入架构,但不进入目标。
问题定义的核心是引入两个独立的分配变量:
- W(锚点密度):输入侧以 s×s 的 cell 划分,W = (H/s)²,控制「读」的密度;
- K(谱细分):每个锚点扩展出 K 个 slot,每个 slot 持有 L×L 输出窗口里互不重叠的一组径向 DCT 系数(E = L²/K 个每通道),控制「写」的精度;
- 总 token 预算 N = W·K,但全局注意力序列只含 W 个载波。
这把 token 化从「选一个 patch size」的单变量决策,变成「锚点密度 vs 谱细分」的显式质量-算力分配问题:固定 N 时,W 与 K 可以互相取舍,输出细节可以随 K 增长而全局序列钉死在 W。注意力二次项的量级对比一目了然:patch 网格 ∝ (WK+C)²,SpecSlot ∝ (W+C)² + WK²。
四、论文一:解法——Read / Allocate / Route 三部曲
4.1 Read:空间锚点与 slot 扩展
输入证据由锚点网格收集,与输出如何划分无关。每个 s×s cell 经共享投影 P₁ 映射为锚点向量 u_i(宽度 B 自由可选,因为输出数量不再依赖它——这是与 patch 嵌合的本质区别);一个零初始化的残差深度 3×3 卷积让相邻 cell 在分裂为角色前交换证据;再经共享 1×1 投影 P₂ 扩展为 K 个隐藏态 q_{i,k},附上二维锚点位置与可学习 slot 位置。关键设计:一个锚点向量播种全部 K 个 slot,角色来自 slot 位置、输出头与路由,不来自输入。所有 W·K 个 slot 在每个流时间步都被求值。
4.2 Allocate:径向系数分配与双基输出
「谁生产什么」由 DCT 域的径向分配回答。输出窗口(边长 L = 2s)的 DCT-II 系数按 √(u²+v²) 排序切成 K 个等分组,slot k 持有第 k 组——低径向频率承载宽结构、高频率承载细节,自然图像谱沿此序平滑衰减,径向分裂无需任何可学习的分配就把角色从全局排到局部。不相交的组覆盖整个网格:每个系数恰好被预测一次。共享仿射头从 slot 终态预测持有的系数——共享是刻意的:定义所有权的是 slot 索引,不是逐带参数。
解码端有两个精细处理:
- 重叠合成(lapped synthesis):窗口独立解码会让邻居在共享边缘上自由分歧、出现块缝。SpecSlot 用 50% 重叠 DCT 框架的合成半:逆 DCT、平方根周期 Hann 窗、归一化 overlap-add。相邻窗口共享一半像素,匹配的分析-合成框架保证完美重构(浮点误差以内)。消融显示 50% 重叠比不重叠改善 FID 6.78 → 6.59,几乎不加前向成本。
- 锚点对齐空间修正头:同一批 slot 状态还直接读出到像素空间——slot k 写入其锚点 cell 确定性行主序 tiling 的第 k 块(K=4 时为四个 8×8 象限)。投影逐 slot 特化、零初始化,训练从纯谱模型出发。最终预测 r_θ = r_spec + r_sp:两个基表达同一预测,空间修正只增输出参数,不增 token 状态或注意力边。
4.3 Route:载波与局部注意力
「谁需要全局通信」由角色路由回答。若所有 slot 都进全局注意力,二次成本随 K 增长——恰好重新引入 slot 分配想要移除的耦合。SpecSlot 的方案:最低径向组的持有者 slot-0 是载波(carrier),是唯一进入全局阶段的 slot;全部 K 个 slot 在锚点内局部混合。具体调度为 GGLL(全局-全局-局部-局部)×3:两个连续块处理全局集(32 个类别上下文状态 + 各锚点的 slot-0),两个块处理各锚点的局部集,重复三轮,共六个全局块与六个局部块。载波把全局信息带回锚点、再把局部细节带进下一个全局阶段——它是锚点与世界之间的唯一信使。
ImageNet-256(s=16, K=4)下,全局序列只有 W + C = 288 个 token,而非 W·K + C = 1056。这就是「输出细节与全局序列解耦」的具象数字。
五、论文一:实验证据
5.1 主结果:两个非支配操作点
ImageNet-256 上(120 epoch、有效 batch 512、五种子平均):SpecSlot-K2 FID 7.27 @ 219.49 GFLOPs、SpecSlot-K4 FID 6.59 @ 215.20 GFLOPs(IS 215.20)。与同算力 JiT-CM(124.24 GFLOPs,FID 6.68)相比,K4 在五种子 95% 区间内打平且前中段 checkpoint 下降更快(Figure 4:可比算力处 FID-10K 6.83 对 13.59);JiT-B/8 仍以 4.34 领先,但成本 225.72 GFLOPs。
真正的分水岭在 ImageNet-512:每个锚点覆盖四倍像素而全局序列钉在 288,更大的谱窗口与空间修正可以吸收锚点内细节而无需全局通信。SpecSlot-K4 拿到 FID 9.14、IS 208.24(panel 最高 IS)@ 135.64 GFLOPs:
- 较 FLOPs 匹配的 JiT-CM(141.21 GFLOPs,FID 11.98)FID 低 2.84 且算力少 3.9%;
- 距 JiT-B/16(219.56 GFLOPs,FID 8.45)仅 0.69 FID,但成本低 38.2%、吞吐高 1.6 倍(12.69 vs 7.93 img/s);
- 低成本点 K2(FID 10.94 @ 94.52 GFLOPs)距控制仅 1.04 FID 而算力省 33.1%。
文本生成图(256²,BLIP3o + JourneyDB 混合训练 400 epoch):SpecSlot-W256/K4 在 DPG-Bench 拿到 62.21,超 JiT-B/8(61.15)1.06 分且前向成本低 40.6%(129.86 vs 218.77 GFLOPs);GenEval 26.99 超 JiT-B/16 的 24.89。值得强调:这次迁移没有对架构或训练目标做任何 T2I 专属改动——文本上下文通过 32 查询适配器进入载波状态,局部块继续处理图像 slot。
5.2 通信调度消融:GGLL 为什么是对的
Table 3 在固定 W256/K4/B1536 下比较四种路由(效率列来自一次剖析):
| 路由 | 跨锚点图像状态 | FID ↓ | GFLOPs ↓ | img/s ↑ |
|---|---|---|---|---|
| GGLL | 每锚点一个载波 | 6.59 | 215.20 | 129.20 之外(9.06 吞吐列) |
| GLGL | 每锚点一个载波 | 6.95 | 218.95 | 9.00 |
| Dense-global-CM | 全部图像 slot | 6.81 | 210.20 | 5.80 |
| Full-global | 全部图像 slot | 5.84 | 237.54 | 5.11 |
三个读数:GGLL 在等算力下同时比 Dense-global-CM 更好且更快;Full-global 能到更低 FID 但成本高 74.8%、吞吐更低——载波设计瞄准的是注意力受限的中间档,较 Full-global 省 42.8% 成本;GLGL 证明块顺序也重要(同载波集、同预算下 FID 差 0.36)。采样效率在 20/30/50 Heun 步长下一致:GGLL 吞吐是 Dense-global-CM 的 1.47–1.49 倍。
5.3 载波身份:slot-0 不是随便选的
Table 7 只改「哪个 slot 获得跨锚点访问权」,其余全部冻结:slot-0(最低径向)FID 6.59,换成 slot-1/2/3 分别 6.91/7.21/6.97——换任何一个都变差。这个分配有流时间维度的解释:论文测量每个径向组的数据噪声比(DNR)穿越时间 t*(信号首次超过噪声的流时刻),W256/K4 配置下四组依次为 {0.468, 0.891, 0.928, 0.951}——最低组远早于其余组可用(W256/K8 下首组 0.382,其后 0.836 起)。把最早可恢复的角色放在最早的全局路径上,是 Route 设计的物理依据。
配套的路由干预实验(Figure 6c):在共享 Transformer 内只删路由边——删跨锚点载波边主要伤害早期与低频,删锚点内跨带边主要伤害后期与高频。频组恢复曲线与路由干预互相印证了角色分配的正确性。
5.4 分配轴与输出基的解剖
- W 改善读、K 精化写,二者不可互换(Table 4a):固定 N=2048,W1024/K2(5.66)优于 W256/K8(6.28)优于 W64/K32(7.28);固定 W=256,K 从 2 到 8 单调改善但收益递减(7.39 → 6.59 → 6.28,最后一次翻倍只买 0.31)。熵有效 slot 占比从 K=2 的 0.803 降到 K=8 的 0.495——token 数量本身不度量有效容量,这解释了递减收益,也解释了为什么选 K2/K4 作双操作点。
- 双基输出互补(Table 4b):单基四组合里最好的「空间入/空间出」FID 6.99,双基(空间入/频率+空间出)6.59——再降 0.40 而不加 token 与跨锚点注意力边。机理分析(Figure 7):谱项自能更大、空间项份额沿流从 0.07 涨到 0.23、归一化交叉项恒正(两项相互强化而非抵消);在匹配 lapped-DCT 分析帧下投影,空间份额在最低径向组最小、流的后期主导高组。反事实缩放实验里去掉任一支都会抬升速度 MSE(t=0.90 时空间项 32.1 倍、谱项 64.1 倍)——谱基底是全程的脚手架,空间分支是后期、高频的补充修正。
- 组件层面:证据宽度 B=1536 最优(6.59,优于 1024 的 6.77 与 2048 的 6.64);残差深度输入 mixer 改善 6.83 → 6.59。
5.5 训练契约与统计严谨性
附录给出的实现契约相当完整:768 隐藏宽、12 头 12 块、pre-RMSNorm + SwiGLU、AdaLN 条件化、logit-normal 时间采样;ImageNet-512 版本 160.86M 可训练参数、Heun-50 吞吐 12.69 img/s。主表数字全部是五个独立训练种子的均值(K4 五种子 FID 均值 6.5921、95% CI [6.386, 6.798]),消融三种子、配对 checkpoint 共享类序与噪声抽样;CFG 经粗到细扫描(JiT 用 2.9 匹配 SF 协议,SpecSlot-K4 用 4.0);FLOPs 在单张 H800 BF16 全网络 TorchInductor 下剖析。这种「控制变量 + 多种子 + 配对评估」的实验卫生在架构论文里属于示范级。
六、论文一:知识反推——复现它你需要知道什么
领域层:
- 像素空间生成的家谱:Simple Diffusion / Hourglass DiT 在内部降状态、级联与 PixelFlow 跨分辨率分配生成、JiT 证明大 patch 直连 Transformer 即强基线、PixelDiT/DiP/HyperDiT/PixNerd 把细节恢复外包给额外组件——不知道这条线,就不知道 SpecSlot「单骨干内分配」的定位价值;
- 变换域生成脉络:逆热耗散、小波模型、稀疏变换码、DCTdiff 改的是表示或过程;VAR/NFIG 按尺度或频率组织生成顺序;Spectral Forcing 用频率过滤噪声输入——SpecSlot 与它们的分界是「固定谱分组 = 输出所有权 + 通信资格」且状态留在像素空间;
- 全局-局部通信文献:Swin 移位窗口、Longformer 少量全局 token、Perceiver 潜在瓶颈、RIN 接口状态、可训练稀疏注意力——这些拓扑都不把通信资格绑到固定谱输出角色上;
- lapped 正交变换(平方根 Hann 窗 + 归一化 overlap-add 的完美重构条件 Λ 归一化、QP = I)——重叠合成的信号学基础。
方法论层:
- 把耦合变量拆成独立分配轴:N = W·K 的因式分解让「读密度」与「写精度」第一次可以独立消融——任何被单一超参(patch size、序列长度)绑架的设计都值得做这种因式分解;
- 用可测物理量给路由背书:DNR 穿越时间 t* 是纯描述性测量(非学习门控),但它预言了 slot-0 应为载波,消融证实——先测「哪个信号最早可用」,再决定「谁先通信」;
- 冻结式机理探针:载波身份消融只改图不改训练;路由干预在共享 Transformer 内删边而非重训对照——把「训练出来的差异」与「机制本身的差异」分开归因;
- FLOPs 匹配控制的构造:JiT-CM 用 128 维输入瓶颈 + 32 上下文 token 插在第 4 块,把对照钉在等前向成本上——架构对比若不匹配算力,结论不可信;
- 熵有效秩诊断 slot 利用率:解释为什么 K 有甜点区、为什么 token 数≠容量。
融合关键节点:Read(锚点+扩展投影,角色由 slot 位置赋予而非输入)→ Allocate(径向 DCT 分组 + lapped 合成 + 零初始化空间修正头)→ Route(GGLL、载波唯一跨锚点、上下文只进全局组)→ 双基输出(谱脚手架 + 空间后期修正)。四个部件互相成就:没有径向分配就没有载波的物理依据;没有零初始化修正头,训练初期就无法从纯谱模型平滑启动;没有 lapped 合成,块缝会在早期训练毁掉谱基底的信噪。
七、论文一:通用灵感
- 通信预算应按信息需求分配,而非按空间位置分配。「细细节不需要成比例的全局通信」这个观察可以迁移到很多地方:视频生成的时空 token、长文档理解的段 token、多智能体的消息路由——先问「这个 token 生产的信息需要多宽的交换」,再决定它进不进贵的通信。
- 把一个超参拆成两个,就多出一条帕累托前沿。patch size 是单变量,W×K 是双变量——后者允许「细节涨、全局不涨」的操作点。设计里凡有「一个旋钮同时拧两件事」的地方,都藏着一次这样的解放。
- 用可测的物理量(如 DNR 穿越时刻)为架构决策背书,比纯消融更有解释力:消融告诉你「什么好」,物理量告诉你「为什么注定好」。
- 同一状态、双基读出是免费的多样性。谱基底与空间修正共享 slot 状态,互相强化而非冗余——当单一输出表示存在系统性盲区(如谱基底的早期块缝),补一个零初始化的异构读出头,比加 token 便宜得多。
- 等算力对照 + 多种子 + 配对采样是架构论文的信誉基础设施。SpecSlot 的 0.69 FID 差距之所以可信,是因为它钉在 38.2% 成本差、五种子区间与共享噪声抽样上。
第二篇:Youtu-Parsing-Omni——一个编码器、一个模式、所有模态
八、论文二:题目与背景
8.1 题目拆解
标题三个短语对应三重承诺:「One Encoder」——像素与声学 token 由同一个文本 LLM 初始化的 Transformer 编码,共享权重与位置编码;「One Schema」——十类解析任务的输出统一为一个 JSON 模式(OmniSchema),每个单元被空间 box 或时间戳锚定;「All Modalities」——文档、自然图像、音频、视频(含音轨)一次前向全解析。论文把它定位为Agent 的感知层:把非文本输入一次性转成结构化文本记录,任何 LLM(包括纯文本模型)都能读取并在其上行动,声明可以顺着锚点回溯到源区域或时间间隔。
8.2 背景:为什么解析需要全模态统一
LLM Agent 越来越多地在自己参数之外行动:检索证据、调工具、操作电脑屏幕。这些信息大量以文档、图像、音频、视频形态到达。让驱动 Agent 的模型直接消费原始输入有两个问题:每次重访材料都要重新编码长序列的视觉与声学 token(昂贵),且从像素或波形得出的答案无法指明哪个区域或区间支持它(难审计)。全模态解析同时解决两者。但现状是碎片化的:文档解析器在标准页面上很强,化学结构与乐谱仍留给领域模型;图像之外的解析刚刚起步;不同输入类型由不同模型以不同格式服务——而目标输出其实是同构的:一个单元被锚定在空间或时间上、配着从对应区域/区间抽取的内容。
8.3 两大挑战
- C1 跨模态联合感知:惯例的双塔设计(视觉塔 + 音频塔)有三重后果——各模态孤立编码、跨模态融合被推迟给语言模型;两塔时间索引独立、同一瞬间的帧与声音在感知内没有共同时间位置;每塔需要自己的架构/目标/预训练,参数不共享。前两条对解析尤其致命,因为结构化解析必须显式陈述哪些内容跨模态共现、何时共现。
- C2 跨任务联合优化:同一个模型要在十个输出字段各异的任务上,同时对内容准确性、时空锚定、模式有效性做优化。SFT 只在参考前缀上训练、永远见不到自己推理时产生的前缀;RLVR(GRPO 等)在自己的输出上训练但需要难以跨异质准则定义的标量奖励、且只有序列级反馈。
九、论文二:定位与问题定义
Youtu-Parsing-Omni 是一个由单一感知编码器供料的 decoder-only 语言模型:接受文本、图像、音频、视频,只输出文本。两条设计原则塑造编码器:每个模态被相同权重以相同时空位置编码读取;这些权重从一个已经会「把上下文映射到符号」的模型(预训练文本 LLM)出发。第一条把感知容量跨模态摊销而不是每模态复制一座塔;第二条瞄准解析的根本能力——读出符号。
问题定义因此可以概括为两个「统一」的构造问题:感知侧如何用一个 Transformer、一套位置编码、一种注意力窗口组织混合模态序列(第 2 节);输出与训练侧如何用一个模式统一十个任务的监督信号并让蒸馏按 token 角色分化(第 3、4 节)。
十、论文二:解法——编码器、模式与自进化蒸馏
10.1 Youtu-Omni-Encoder:三段式管线
管线中段共享、两端轻量模态特化:stem 把原始输入变成 d 维 token,共享 Transformer 上下文化,merger + projector 降采样并投影到解码器宽度。stem 与 projector 合计不足编码器参数的 3%——加一个模态只需要一个新 stem 和投影头,而不是一座带独立预训练谱系的第二塔。
- Stem:视觉侧是单个线性映射(16×16 patch、原生分辨率、token 预算内),无卷积、无绝对位置表、无 class token——全部空间信息走 RoPE;音频侧 log-mel 谱经三层步长 2 卷积降采样,固定 13 token/秒 的音频 token 率。
- 共享块:28 层、宽 1024、GQA + QK-Norm + SwiGLU 的标准 pre-norm 块,注意力双向;任意图像/音频块/视频的混合打包进一条变长序列,注意力窗口由累积长度向量 c 给出,一次编码器前向处理整包、无 padding。编码器从 Qwen3-0.6B-Base 初始化(去掉嵌入层与 LM 头),stems 与 projectors 随机初始化。
- Merger/Projector:共享块后,帧内相邻 2×2 视觉 token 沿特征轴拼接、相邻音频 token 沿时间拼接(4 倍 token 缩减,如 448×448 图给解码器 196 token),再各自过 RMSNorm + 两层 MLP 投到解码器宽度。降采样放在共享块之后——注意力全程全分辨率,解码器拿到的是精简 token。
10.2 统一位置编码与音视频融合
共享一个 Transformer 让位置编码成为中心设计问题:一个 d_rot=64 的旋转频率预算要同时表达 2D 版面、1D 时间、以及两者的对应关系。解法是分块轴分解 RoPE:预算切成 T/H/W 三段近等宽连续段(21/21/22),每段有自己的逆频表并按自身宽度归一化——每个轴无论分到几个槽都覆盖全频率范围。视觉 token 的 t 取帧索引、(h,w) 取 patch 位置;音频 token 的 t 取时间偏移、h=w=0。两种模态写进同一个 T 段,时间位置在同一时间尺上可比。模态身份留给特征——两个 stem 产出的特征分布天然可分(显式模态轴与交错布局两个变体都被试过且最终弃用,前者无增益、后者在 64 帧视频内逊于分块布局)。
共享时间线让位置可比,但不让 token 互动;互动由融合层提供。视频有两条共享全部权重的路线:独立路线(每帧、每音频块各自成窗,如一批无关图像)与融合路线(按时间序打包,融合层里把「一或多个帧 + 其后直到下帧的音频块」切成 (I+A*) 组,每组一个注意力窗口)。窗口内视觉与音频在绑定于音频 token 率的公共时间尺上推进(Δt_audio = 1/token,Δt_vision = r_a/fps 每帧)。28 层中的第 13、14、27、28 层是融合层;训练从 Stage 2 起以 p_fus=0.8 随机路由,两条路线在推理时都可用。哪一帧讲什么话、哪页幻灯片配哪段解说——这种对应关系在感知内计算,而不是由解码器重建。
10.3 OmniSchema:十个任务一个 JSON
模式的结构骨架:每个输出是 JSON 对象,必含 modality、锚定单元列表(图像为 elements:box 归一化到 0–1000;音视频为 segments:HH:MM:SS 秒级时间戳 + 一致的说话人标识)、global_description。十个任务各取所需子集:文档解析(布局类别 + 阅读顺序 + 按类别转录:文本/LaTeX/OTSL 表格)、化学结构(SMILES)、乐谱(ABC 记谱)、图表(Markdown 表 + Mermaid + caption)、几何(基元与关系串)、自然图像(实体 box + tag + 框内 OCR + 区域 caption + 全局 caption/narrative/scene)、音频(vocal/nonvocal 分段、ASR、音色/演播/场景 caption、声学事件)、自然视频与富文本视频(对象、屏幕文本及 OCR 类型、原子动作、交互、两级镜头运动、事件描述、伴随音频全套 + 富文本视频额外的 Markdown structured_report)。
统一模式带来一个此前不可能的能力:每个输出 token 可以被指派为 content(字段值,可有多个合法延续)或 structure(JSON 键与标点,受约束文法)两种角色——这个角色划分正是 OSAD 的监督分叉点。
10.4 训练:四阶段预训练 + 三阶段后训练
预训练沿分阶课程逐步展开四个轴:可训练参数(仅编码器 → 全参)、输入规模(4k/每图 256 token → 128k/512 帧)、跨模态交互(0 → 4 融合层)、输入扰动(无 → 随机路由与增广):
- Stage 0 感知对齐(320B token):只训编码器、解码器冻结——既保护语言模型免受随机投影器噪声梯度扰动,又强迫编码器产出固定语言模型可解释的特征;监督用密集 caption/转录(每区域、每秒都贡献损失),输入刻意小。
- Stage 1 全模态预训练(1.28T token):解冻全参、最大阶段;图像预算 256 → 20k token(原生分辨率)、视频 64 帧 × 512 token、序列 8k–32k;四层融合在此开启;混入纯文本数据防灾难遗忘。
- Stage 2 退火(512B token):学习率 10⁻⁴ 余弦衰减到 10⁻⁵;分层学习率衰减 γ=0.9 保护底层通用特征、projector 不衰减;随机融合路由 p_fus=0.8。
- Stage 3 长上下文扩展(128B token):序列到 128k、单图/视频最多 102,400 token、视频最多 512 帧。
后训练三阶段:
- SFT(16B token、全参):解析数据(十任务 + OmniSchema 参考解析)+ 通用数据(Youtu-LLM/VL、Long-VITA、VITA-1.5、VITA-Audio),建立「任务提示 → 完整合规 JSON 对象」的默认响应。它同时为后续两个 on-policy 阶段铺路:RLVR 对不可解码输出给零奖励(组内全失败则无梯度)、OSAD 只蒸馏过闸 rollout——不常产出合法解析的策略给两者都供不上学习信号。
- Schema-Routed RLVR(0.6B token、LoRA):GRPO 优化;奖励 = 可解码门 × 有载荷门 × clip[Ω·core_v]:Ω 合并模式有效性 Fmt 与重复/欠覆盖惩罚(系数 0.6/0.7),core_v 按任务取图表 RMS-F1/Mermaid-F1、文档四类序列相似度、自然图像实体相似度×0.7+box IoU×0.3 等。
- OSAD(OmniSchema-Aware On-Policy Distillation):详见下节。
10.5 OSAD:token 角色分化的自进化蒸馏
OSAD 是论文后训练的核心创新,机制在「token 级监督」与「教师自进化」两点上同时发力:
token 级 on-policy 监督。轮内:冻结教师 θ̄_r 与学生 θ 从同 checkpoint 出发;学生训 LoRA、对每个查询采样一条 rollout;只有通过 JSON 合法性、模式一致性、box 语法、重复检查的 rollout 进入蒸馏(被拒的掩蔽)。学生与教师对同一个生成前缀 y_<t 打分,但教师额外接收参考解析(x̃ = [y★; x],参考作为特权信息)。损失按 token 角色分化:content 位置用对称有界的 JS 散度(温度 τ_c)——内容可有多个合法延续,JS 不强迫学生复刻教师的单一选择;structure 位置用前向 KL(更高温度 τ_s)——键与标点受约束文法,前向 KL 鼓励覆盖教师的结构预测。总损失 = 全 token JS 项 + α_c·content 项 + α_s·structure 项归一化,α 逐轮上调内容权重((0.50,0.10) → (0.60,0.10) → (0.80,0.08))。
教师刷新自进化。若教师一直固定,监督永远绑定在出发 checkpoint 上。每轮边界:学到的 adapter 合并进学生基权重得到 θ_r,下一轮教师与学生都从它初始化(教师再冻结、学生换新 adapter)。解析器与其监督共同进化——六轮下来,OSAD 既不需要人工设计的奖励,也不需要单独训练的教师。
十一、论文二:实验证据
11.1 文档解析:单模型不输专家
OmniDocBench v1.6 Overall 96.96,压过 TeleOCR 96.91、OvisOCR2 96.47、PaddleOCR-VL-1.6 96.34、MinerU2.5-Pro 95.75,以及一众 API 与通用大模型——Gemini-3-Pro 92.91、GPT-5.2 86.59、Qwen3-VL-235B 89.78、InternVL3.5-241B 83.76 全部被甩开。分量在于:达到 96+ 的其他模型全部是 0.8–1.2B 的文档专用模型,而 Youtu-Parsing-Omni 是同一个还要解析图像、音频、视频十类任务的 5B 模型。分项上 Text Edit 0.0271、CDM 96.80、TEDS 96.79、阅读顺序 0.1104 均为最佳;相对前代 Youtu-Parsing 的增益集中在表格 TEDS +4.77 与公式 CDM +3.17——恰恰是需要恢复结构并正确序列化的内容类型。PureDocBench 上端到端模型最高 Avg3 76.29,三个轨道(干净 82.61/数字退化 78.13/物理重拍 68.13)全面领先端到端专家,较前代每轨约 +8。
11.2 全模态解析:开源最强,时序侧大胜
OmniParsingBench 平均 75.08:开源最强(Logics-Parsing-Omni 72.26、Qwen3-Omni-30B-A3B 66.44),仅低于 Gemini-3-Pro 77.44。结构性的图景在分项里:
- chart 95.02 全场最高(超 Gemini-3-Pro 92.79、Logics 94.65),统计图表提取是明确优势区;
- 三个时序分项全部领先开源:音频 78.08(+2.5)、自然视频 74.18(+6.8)、富文本视频 75.62(+10.3);相对 Gemini-3-Pro,时序分项平均 75.96 vs 76.12 基本持平;
- 静态侧落后:自然图像 62.84(−4.7)、几何 74.33(−2.0,不过 Perception 63.14 反超 Logics 的 60.32,弱在几何关系的 Cognition)。
论文的诊断直截了当:时序优势与共享时间线编码一致——解析必须在时间上、跨模态对齐事件的地方,正是统一编码器收益最大的地方。细节佐证:音频侧领先来自时间定位(+9.1)与事件关键词(+13.1),ASR 转写本身反而最低(77.94);自然视频时间定位 63.68,超 Gemini-3-Pro 4.21、超 Logics 29.06,ASR 同样偏低(67.80)但 Overall 74.18 仍把 Logics 甩开 6.84、距 Gemini 仅 0.64;富文本视频时间定位 50.70 vs Logics 23.05、语音转写 76.52 vs 34.28——精确的时间结构解析有效补偿了转写弱点。Cognition 平均(纯读解析作答)在两个视频分项都是最高(93.69/94.60),验证统一时间建模保住了下游语义。
11.3 符号转录与视频理解:精确形式语言及溢出效应
- ChemOCR:精确指纹匹配率 Tani@1.0 = 54.2,压过 DeepSeek-OCR 2 的 49.6(平均相似度 74.6 微低于 74.9,但「多少预测指纹完全正确」在实践中更有意义);GPT-4o 仅 3.4、Qwen2.5-VL-7B 仅 0.4——通用模型在此近乎失能。
- PDMX-Synth 乐谱:CER 22.73,优于专用模型 LEGATO 的 23.30;SER/LER(26.73/33.20)微逊于 LEGATO(25.80/31.70);其他通用系统最强也只到 45–54 CER(GPT-5.6、Gemini-3-Pro),其余解析器在 72–94。一个通用解析器在字符级转录上追平专用光学乐谱模型,是「精确形式语言输出」能力的硬证据。
- Video-MME-v2(无字幕):组分 11.5,与 4B 思考模型仅差 0.1、全面超过总参数六倍于己的 Qwen3-Omni-30B-A3B-Instruct;L1(跨帧信息聚合)20.0,超所有非思考基线至少 5 分——这个 neither 参数量 nor 思考模式能买到的余量,论文归功于解析目标本身(穷尽式定位并转录每帧内容,直接锻炼跨帧聚合)。L2/L3 无可比优势,缺口(1.9/1.8)与思考模式给 Qwen3-Omni 自己带来的提升(各 2.1)相当——剩余短板在抽取证据之上的多步推理,而非感知。
11.4 消融:两个原则各自值多少分
编码器研究在 Qwen3-4B 解码器 + 0.4B 编码器、纯通用多模态数据(无解析数据)的受控设定下进行:
- 统一 vs 双塔:随机初始化的统一编码器(三分之二感知参数、无第二塔)在 300B token 时 Avg-6 落后预训练 SigLIP-2 + SenseVoice 双塔 1.3 分、OCRBench 落后 53.4 分——但 LibriSpeech WER 反而更低(2.14 vs 2.43)。
- 文本 LLM 初始化:把差距几乎抹平——同预算下 Avg-6 差距缩到 0.4、OCRBench 反超 77.2 分;300B 时初始化编码器 767.0 vs 从零训 636.4(+130.6),且在两分支共同评估的每个 checkpoint 上都领先;Avg-6 上它用一半 Stage 1 token 达到从零版可比分数(样本效率),300B 时领先 0.9 分。有趣的分解:从零版在 16 个视觉基准中 8 个领先(最明显是测空间与关系感知的 BLINK +9.5)——文本 LLM 权重带来的优势集中在「读出符号」,不在「推理空间」;解析恰恰依赖前者,这是与任务最相关的结果。
- OSAD 贡献:后训练总增益 1.99 分(95.21 → 96.96)里 OSAD 占 1.75(88%)、RLVR 仅 0.24;六轮逐轮 +0.58/+0.41/+0.31/+0.24/+0.13/+0.08——每轮为正、逐轮递减,与「监督随解析器进化」的自进化设计一致。增益指向结构化输出内的内容准确性:模式合法的解析仍可能读错词、公式符号、表格单元值——OSAD 在这些内容位置提供参考条件化反馈,同时单独监督 JSON 键与分隔符,这是序列级奖励只能间接捕捉的局部错误的直接监督。
十二、论文二:知识反推——复现它你需要知道什么
领域层:
- 解析模型的感知前端版图:Donut 确立 OCR-free 编码-解码、MinerU2.5 分离低清布局与高清识别、dots.ocr/MonkeyOCR 集成布局与内容、Youtu-Parsing 并行区域解码、MinerU2.5-Pro/PaddleOCR-VL-1.6 数据与训练精化、DeepSeek-OCR 2 的 Qwen2 初始化视觉编码器——Tab.18 里除本文外所有代表性解析器都是每模态一塔;
- 全模态模型与结构化解析:Qwen2.5-Omni 的 TMRoPE、Logics-Parsing-Omni 的证据接地框架与 OmniParsingBench 基准——本文的直接对标;
- 共享表示谱系:ImageBind 的嵌入对齐、VATT/Omnivore/TVLT 的共享计算、Meta-Transformer/OneLLM 的跨模态参数共享——本文首次把共享编码器用于接地解析(原生分辨率页面 + 音视频时间对齐);
- LM 初始化感知的先例:FPT、冻结 LM 块增强视觉、TrOCR、encoder-free 的 Fuyu/EVE/Mono-InternVL——本文的差异是「独立感知骨干 + 视音频共享 + 对照从零训练的受控评估」;
- 后训练谱系:GRPO/RLVR 在文档解析的应用(olmOCR-2 单元测试奖励等)、on-policy 蒸馏(GKD、MiniLLM)、特权信息与情境蒸馏、OPSD 的参考条件自蒸馏——OSAD = OPSD 构造 + 模式感知的 token 角色分化 + 周期教师刷新。
方法论层:
- 分块轴分解 RoPE + 每轴独立归一化逆频表:让 64 个槽位同时表达 2D 版面与 1D 时间且各轴全覆盖频率——任何需要多语义轴共享旋转预算的模型(时空、图表、3D)可直接套用;
- 融合即逐层窗口选择:同一批打包特征携带两套分割(融合 c_fus 与非融合 c_nof),每层选用其一——融合是逐层可插拔的选择而非结构改动;RoPE 注意力只依赖偏移 t_q − t_k 且查询永不见他窗 key,两套分割给同一 token 不同时间原点是无害的;
- 解码器冻结的对齐阶段:Stage 0 的两个理由(挡噪声梯度、强迫编码器适应固定语言模型的输入空间)+ 密集监督(caption/转录覆盖全部区域而非单区域短答案)——多模态对齐阶段的通用配方;
- token 角色分化的蒸馏损失:内容用 JS(多合法延续→对称有界)、结构用前向 KL(约束文法→覆盖)——监督的几何形状应匹配被监督 token 的不确定性形状,这对一切结构化输出(代码、函数调用、工具协议)的蒸馏通用;
- rollout 准入门 + 全局均值归约:被拒 rollout 掩蔽而非修复、跨数据并行 rank 池化后按准入数取均值(空批跳过)——on-policy 蒸馏的工程细节决定训练稳定性;
- 评测工具链自建并统一重打分:OmniParsingBench 无完整工具链,作者按指标定义自实现、先修复模式违例再打分(格式错误不计为内容错误)、剔除标注问题子集——跨系统可比性优先于与原榜单对齐。
融合关键节点:统一编码器(stem<3% 参数 + 共享块 + 时空 RoPE + 融合层窗口)→ OmniSchema(锚定单元 + 任务子集 + content/structure 角色)→ 四阶段预训练(对齐→全模态→退火→长上下文,四轴渐进展开)→ 三阶段后训练(SFT 建格式 → RLVR 序列级 → OSAD token 级自进化)。链条环环相扣:没有共享时间线,融合层无从对齐;没有 OmniSchema 的角色划分,OSAD 无从分化监督;没有 SFT 铺路的合法 rollout 率,两个 on-policy 阶段都断粮。
十三、论文二:通用灵感
- 统一前先问输出是否同构。十类任务输出统一为一个模式的前提是「锚定单元 + 区域内容」这个共同形——输出同构,模型与训练才可能统一。反过来,若各任务输出本质上异构,强行统一只会造出缝合怪。
- 位置编码是跨模态共享的地基,不是附件。把时间写成两种模态共同写入的 T 段,帧-音对齐才能在感知内发生。「先设计坐标系,再设计交互」——多数跨模态融合失败,根源在坐标系就没对齐。
- 预训练权重携带的是能力偏向,不是全能。文本 LLM 初始化带来 OCR 级读符优势但不含空间推理(BLINK 落后 9.5)——选初始化源就是选能力先验,与下游任务的能力构成对照着选。
- 监督信号应该按 token 的不确定性形状分化。内容 token 多解、结构 token 唯解,JS 与前向 KL 各得其所——这个原则适用于所有结构化生成:何处该容许多样性、何处该严格覆盖,损失函数应当显式表达。
- 让教师跟着学生进化,监督才不会过期。固定教师的蒸馏把学生拴在出发点的水平上;每轮刷新教师,「老师能教的上限」随「学生已学会的」一起上涨。OSAD 六轮每轮为正的曲线是最直接的证据。
- 单模型多面手的价值要用「专家最强处不打折」来论证。Youtu 的说服力不在 96.96 本身,而在「同一个 5B 模型在十类任务上都能打」——多面手的正确论证格式是列举「没有牺牲掉的专项性能」。
十四、两篇对比与交汇:token 的角色化与通信路由
14.1 一张表看清两篇的坐标系
| 维度 | SpecSlot(arXiv:2610.40647) | Youtu-Parsing-Omni(arXiv:2610.39301) |
|---|---|---|
| 战场 | 像素空间图像生成(类条件 + 文生图) | 全模态解析(文档/图像/音频/视频十任务) |
| 核心命题 | 输出细节与全局注意力序列长度解耦 | 一个编码器 + 一个模式覆盖所有模态与任务 |
| token 角色 | K 个 slot 持有互不重叠的径向 DCT 频段 | 视觉/音频 token 共享 (t,h,w) 坐标与权重 |
| 通信路由 | 仅最低频载波 slot-0 进全局(GGLL,全局 288 token) | 融合层内 (I+A*) 音视频时间窗、其余逐事件窗口 |
| 关键机制 | lapped-DCT 谱基底 + 零初始化空间修正双基输出 | OmniSchema content/structure 角色 + OSAD 六轮自进化蒸馏 |
| 头条数字 | ImageNet-512 FID 9.14 @ 135.64 GFLOPs(超 JiT-CM 2.84);DPG 62.21 @ −40.6% 成本 | OmniDocBench 96.96 SOTA;OmniParsingBench 75.08 开源最强 |
| 机理证据 | 载波消融(换 slot 全变差)、DNR t*=0.468 最早可用、路由干预分流早晚频误差 | OSAD 占后训练增益 88%、文本初始化 +130.6 OCRBench、时序分项 +6.8/+10.3 |
| 团队风格 | 北大 + 南洋理工 + 商汤(学术联合,代码/模型全开源) | 腾讯优图(工业技术报告,代码/权重开源) |
14.2 交汇点一:token 从均质补丁变成带角色的单元
两篇论文的第一个共同动作,都是打破「一个 patch 一个 token、全员同权」的默认设定,给 token 赋予显式角色:
- SpecSlot 的角色是谱学的:slot-0 持有最低径向频段因此是载波,slot-1/2/3 持有更高频段因此只在锚点内活动。角色决定它生产什么(哪段系数)、也决定它怎么通信(进不进全局)——输出权与通信资格被同一个索引绑定。
- Youtu 的角色是坐标学的:视觉 token 写 (t,h,w)、音频 token 写 (t,0,0),同一 T 段让两者时间可比;在融合层,帧与同时刻音频被切进同一个窗口获得互看的资格,在非融合层各自为窗。位置编码与注意力窗口共同构成了角色化的通信拓扑。
一个把角色做「异」(K 种 slot 各司其频段),一个把角色做「同」(全模态一种坐标一套权重)——方向相反,但都取代了「位置即命运」的 patch 网格逻辑:SpecSlot 里坐在同一个锚点的 K 个 slot 通信命运截然不同;Youtu 里来自两种模态的 token 因为坐标系统一而获得了前所未有的交互资格。
14.3 交汇点二:通信是被设计、被路由的稀缺资源
角色化的直接后果是通信成为显式分配对象:
- SpecSlot 把全局注意力砍到每锚点一条边:全局二次项从 (WK+C)² 变成 (W+C)² + WK²,ImageNet-512 上锚点覆盖四倍像素而全局序列纹丝不动——跨锚点通信只花在「也承载低频脚手架」的那个角色上,DNR 时序分析证明它恰好是最早可用的(t*=0.468 对后续组的 0.89+),路由干预证明删全局边伤早期低频、删局部边伤后期高频——通信结构与信息的时间结构是对齐的。
- Youtu 把跨模态通信限制在四层融合层的短音视频窗口内:「哪句话配哪页幻灯片」在感知内算好,窗口之间的长程依赖留给解码器——跨模态通信被限制在时间上真正共现的地方,而不是让全序列两两互看。两条路线(融合/独立)共享权重、随机路由训练、推理皆可用——通信拓扑本身成了可配置项。
两篇合起来的启示:注意力不是均质的「全连或全断」,而是可以按信息的频段(SpecSlot)或时间共现性(Youtu)做结构化裁剪——裁剪的依据不是通用的稀疏模式(窗口、全局 token),而是任务本身的物理结构。
14.4 交汇点三:解耦的两个方向——输出细节 vs 感知参数
两篇都在做「解耦」,但解开的耦合不同,这恰好构成一对镜像:
- SpecSlot 解开「输出细节 ↔ 全局通信」:细节随 K 增长、全局序列钉在 W。它证明「细」与「全局」可以不是同一条成本曲线——512 分辨率下优势放大(+2.84 FID)正是因为锚点内细节的消化空间变大了。
- Youtu 解开「模态数量 ↔ 感知参数」:加模态只加 stem 与投影头(<3% 参数),不加塔。它证明「广」与「深」可以不互相征税——同一个 5B 模型在文档上不逊 0.8–1.2B 专用模型,在音视频上大幅领先双塔方案。
更深一层,两者都拒绝了一条常见的「外包」路线:SpecSlot 拒绝把细节外包给额外组件(detailer 头、第二阶段),坚持单骨干内分配;Youtu 拒绝把融合外包给语言模型(双塔 + 下游融合),坚持感知内对齐。共同信念:与其在模块边界上搬运信息,不如在模块内部重新划分职责——模块边界上的信息搬运正是耦合与瓶颈的藏身之处。
14.5 交汇点四:机理实验作为架构论证的必修课
两篇论文都不满足于端到端数字,都为核心机制做了隔离变量的归因实验:
- SpecSlot:载波身份消融(只改哪个 slot 进全局)、GLGL 顺序消融(只改块序)、等算力 Dense-global 对照(只改通信图)、DNR 前沿(纯描述性物理量预言设计)、冻结式路由干预(删边不重训)、分支能量与反事实缩放(双基互补的机理定位)。
- Youtu:双塔 vs 统一(随机初始化受控)、文本初始化 vs 从零(同日程对照)、OSAD 逐轮增益曲线(自进化的直接证据)、时序 vs 静态分项的差分(共享时间线假设的预测)、Video-MME L1 的解析目标溢出效应。
方法论上的共性:每个设计决策配一个能把它单独拎出来的实验。架构论文的可信度不是靠榜单堆出来的,是靠「如果我这个机制不对,这个实验应该翻车」的反事实结构撑起来的。
14.6 交汇点五:开源与可复现的工程完成度
两篇都选择了全开源:SpecSlot 给出 GitHub + HuggingFace + 项目页,且训练契约(超参、种子列表、剖析协议、CFG 扫描)细到可复算 GFLOPs;Youtu 给出 GitHub + HuggingFace 权重,附录里连弃用的两个 RoPE 变体(显式模态轴、交错布局)都如实交代。工业技术报告与学术论文在这个维度上做得同样诚实——弃用变体与负面结果的披露,比正面的 SOTA 数字更能说明一支团队的设计是「测出来的」而非「信出来的」。
14.7 差异的启发:两篇互相欠对方什么
放在一起读也能看到互补的缺口。SpecSlot 的角色分化发生在空间-频率维度,天然适配图像这种频域结构清晰的信号;但生成侧的 token 角色化还没有触及时间维(视频生成的时间-频率分配是显然的下一问)。Youtu 的统一发生在模态-时间维度,但静态分项(自然图像 −4.7、几何关系)暴露了统一编码器在空间关系推理上的残留短板——从零初始化版在 BLINK 上反超 9.5 分的对照提示,文本 LLM 初始化带来的符号偏向可能挤占了空间几何的容量。更远的互喂:Youtu 式的 content/structure 角色分化监督能否用于生成模型的 token(比如谱系数 token 与结构 token 分治)?SpecSlot 式的频段-通信对齐能否用于音视频编码(低频语义全局、高频细节局部)?两篇各持一半拼图。
十五、结语
这两篇论文,一篇来自学术联合体,一篇来自工业实验室;一篇做生成,一篇做理解;一篇把 token 拆成 K 个频段角色,一篇把四种模态焊进一套坐标。它们在同一周出现在 arXiv 上,共同宣告别处同一件事:ViT 时代那个「patch 即 token、token 即一切」的默认设定,正在从两个方向被拆掉。
SpecSlot 的拆法是承认 token 不平等:最低频的 slot 最早从噪声里显影(t*=0.468),就该由它背负全局通信;高频 slot 管好自己的细节就好。输出细节与全局序列从此是两条独立的旋钮,512 分辨率上 2.84 的 FID 差距与 38.2% 的成本节省是这个解耦的第一份红利。
Youtu 的拆法是承认模态不特殊:文档里的字、图里的实体、音频里的一句话、视频里的一页幻灯片,在「被锚定的单元 + 从锚定区域抽取的内容」这个抽象下完全同构;视觉与声学 token 既然共享一条时间轴,就没有理由各占一座塔。一个文本 LLM 初始化的 0.4B 编码器 + 一个 4.5B 解码器,十类任务一个 checkpoint,96.96 的文档 SOTA 与 +10.3 的富文本视频领先是这条路的注脚。
如果要用一句话概括两篇合起来的启示,大概是:注意力时代的架构设计,正在从「多大的模型看多大的上下文」转向「什么角色的 token、在什么坐标系里、按什么规则通信」。角色、坐标、路由——这三个曾被 patch 网格一键代管的变量,如今都要设计师亲手拨动。SpecSlot 与 Youtu-Parsing-Omni 各自拨动了其中两三个,都拿到了超出比例的回报。这两个方向的视频生成扩展、角色分化监督、以及频率-通信对齐在感知模型里的迁移,是接下来值得盯住的线。
(完)