论文 1 链接：DoSA: Dots Sparse Attention 论文 1 代码：github.com/llm-sys/flash-indexer 论文 2 链接：Vela: User Behavior as Supervision Sparks LLM Intelligence 论文 2 代码：github.com/AllSpark-Research/Vela 发表时间：2026 年 9-10 月 机构：论文 1 为小红书 Dots Studio（两位共同一作，抛硬币定署名顺序）；论文 2 为小红书 AllSpark Team（20 人团队，项目负责人 Chengyue Jiang，联系邮箱为港理工域名） 领域标签：cs.LG（机器学习系统）/ cs.CL（计算语言学）

合读导言：同一家公司的两把效率之刀

2026 年的长上下文 LLM 服务是一台吞金兽：一端是推理成本——百万 token 的 prompt 让首 token 延迟（TTFT）以百秒计；另一端是训练数据成本——公开人类文本逼近 scaling 瓶颈，合成数据又有模型坍缩风险。小红书——一家坐拥海量真实用户行为、又每天在为长上下文推理付钱的公司——在同一个月从两端各交出一篇论文：

DoSA 说：稀疏注意力号称只看少数 key，但选出这些 key 的过程本身是密集的——Indexer 要对每个 key 用全部 head 打分。DoSA 用『证书』（certificate）证明：拒绝一个候选不需要知道它的完整分数，只需要足够的证据。1M token 时端到端 TTFT 近乎减半，且零精度损失（数学上保证返回与全打分完全相同的 Top-K）。

Vela 说：平台的用户行为日志——看了什么、搜了什么、买了什么、关注了谁——是免费且持续增长的监督信号。把它切成『可见历史 + 隐藏未来』，未来行为就是预测任务的天然真值。35B 模型微调后在用户理解任务上超过 2.4T 参数的旗舰模型。

两篇表面无关，深层同构：都在利用数据自带的结构消除浪费——DoSA 利用分数几何结构省掉注定落选的打分，Vela 利用时间结构把已发生的未来变成免费的标签。这是『结构换算力』的同一枚硬币两面。

一、论文背景

1.1 长上下文的代价：稀疏注意力里的密集幽灵

什么是稀疏注意力（sparse attention）？ Transformer 的注意力要让每个 query 与所有 key 交互，长上下文下计算量平方增长。稀疏注意力只让每个 query 关注少量最相关的 token（Top-K），大幅降低计算。DeepSeek-V3.2 引入的 DSA（DeepSeek Sparse Attention）是当前主流方案之一：一个轻量多 head Indexer 先给每个 token 打分，Top-K=2048 的 token 才进入真正的注意力。

瓶颈藏在哪？ DSA 的 Indexer 分数是带符号的加权 ReLU 和：sᵢ = Σₕ wₕ[qₕᵀkᵢ]₊。要选出 Top-K，标准做法是对每个 key 用全部 head（GLM-5.2 是 32 个，DeepSeek-V3.2 是 64 个）打分再做选择。这就形成一个悖论：为了稀疏，先付出密集。DoSA 的测量（Figure 1）：约 1M token 时，Indexer 占 GLM-5.2 prefill GPU 时间的 73.0%、占 DeepSeek-V3.2 的 90.8%——『选 token 去哪看』比『看』本身贵得多。

已有加速方案为何不够？ 三条路线各留一角：GVR/DeepSelect/LiteTopK 优化选择与写回但仍需全 head 打分每个 key；MISA 用少量 head 先筛再全 Indexer 重排——但重排救不回被筛掉的赢家（有损）；Qwen3.8-Flash-Next 干脆只用 4 个 query head（改架构）。缺口是：能不能证明被跳过的打分一定不影响选择结果？ 这正是 DoSA 的『无损』主张。

1.2 训练数据的饥渴：行为日志这座未开采的矿

用户维度智能是什么？ 论文 2 的定义：从数周到数年的真实用户行为历史中推断一个人的偏好、意图与未来行为。三类应用共同要求它：个性化（针对个人而非平均用户）、长视野（跨周/年）、证据约束（每个判断必须落在行为历史上）。个人助理（OpenClaw、WorkBuddy）、推荐系统、广告系统全都卡在这里——现有评测反复证明：通用能力强的模型在用户任务上不一定强，甚至会随历史变长而漂向平均用户画像。

现有训练源为什么不行？ 网页/教科书/代码里的用户相关内容是静态快照，不记录个体行为如何随时间演化；合成数据缺少真实的行为动态。而内容平台上，用户行为的时序记录（系统展示了什么→用户如何反应→行为如何演化）已经规模化存在。当公开人类文本成为 scaling 瓶颈、递归合成数据有坍缩风险（Shumailov et al., Nature 2024）时，行为数据是被低估的增量燃料。

前人停在哪？ P5 把推荐任务统一进语言建模、RLPF 用预测反馈训练用户摘要、User-LLM 编码用户嵌入——都是单一任务的转换。Vela 要回答的是范式级问题：行为监督能否规模化地提升广泛的用户任务，乃至通用智能。

二、论文定位和关联工作

2.1 稀疏注意力加速谱系与 DoSA 的位置

DoSA 的学术血统值得注意：MaxScore/WAND 是 1995-2003 年搜索引擎的经典——『一个文档若各项贡献上界之和低于当前第 K 名阈值，无需完整打分即可跳过』。DoSA 把这个三十年的老原则移植到 2026 年的 GPU 稀疏注意力上，难点在于 DSA 分数是带符号的 ReLU 加权和（正 head 加、负 head 减），不能直接套非负的词项界。

2.2 用户行为学习谱系与 Vela 的位置

Vela 的增量：不是又一个单任务转换器，而是范式提议+完整流水线+三组评测（域内/用户 OOD/通用 OOD）+scaling 曲线+RL 迁移的全套证据链。

2.3 定位总结

• DoSA：推理系统谱系里第一篇对 DSA Indexer 做精确条件计算的工作（定理保证选择不变），定位在『无损』与『有损少 head 筛选』（MISA）之间的空白带；
• Vela：数据范式谱系里第一篇把行为监督作为通用 LLM 训练范式研究的工作（此前都是应用特定），并首次给出『用户能力增益不牺牲通用能力』的正向证据。

三、问题定义

3.1 DoSA：用上界证书做精确 Top-K

具体场景：DSA Indexer 要对每个可见 key 算全 head 分数再选 Top-K，长上下文下这个密集步骤成为瓶颈。 抽象问题：固定一个 query（H 个 head、权重 wₕ、key kᵢ），在 |Ω|≥K 个可见 key 中恢复分数最高的 K 个，同时避免对不可能入选的 key 做全 head 打分。

核心原理一句话：若一个 token 的分数上界 Uᵢ 低于真实 Top-K 阈值的下界 τ，则它必不在 Top-K 内，可安全跳过。

• τ 的来源：任取 ≥K 个 key 组成种子集 S，其第 K 大全分 τ_K(S) ≤ 真实第 K 大——种子给出保守阈值；
• Uᵢ 的来源：只算少量保留 head，其余 head 的贡献用界包住（见第四节）。

精妙之处：这个框架把『减少计算』从启发式变成可证明的推理——剪枝的正确性不再依赖实验观察，而依赖不等式。且它尊重证据的不对称性：额外的精确分数只会抬高阈值下界（更紧），所以证书记录只会越来越好。

3.2 Vela：行为历史作为监督生成器

形式化：用户行为历史 = 时间戳事件序列 H=(e₁,…,e_T)，切点 t 分出可见历史 H<t 与隐藏未来 H≥t。任务 Q=(q₁,…,q_k) 是关于该用户的 k 个问题，模型输入 (Q, H<t) 生成答案，每答得分 s(aᵢ)∈[0,1]，任务分 = 均值。

监督的双通道：

• Predictive 族（Objective 28 模板 + Open-prediction 22 模板）：真值从隐藏未来 H≥t 用确定性规则抽取——用户实际做了什么，就是标准答案；
• Rubric 族（Open 29 模板 + Attribution 12 模板）：开放式总结/行为归因，用任务专属 rubric 评分——评分锚定在可见历史上。

防作弊设计：同一未来事件只出 Predictive 或 Attribution 之一——两者同时出会把预测目标泄露给归因问题，让模型无需推理即可作答。细节见功力。

精妙之处：时间切分把『已经发生但模型看不见』的未来变成免费的 ground truth——不需要人工标注，不需要合成，监督信号随平台运营自动增长。这是把因果时间结构直接货币化为监督。

四、问题解法

4.1 DoSA：三件套构造分数证书

DSA 分数的麻烦在带符号：正 head 贡献要上界（丢掉会低估），负 head 扣减要下界（忽略会高估）。DoSA 的证书 Uᵢ = 保留项 + 正残差允许 − 负聚合下界：

❶ 种子阈值：可见 key 的子集 S（|S|≥K）算全分，第 K 大为 τ。扫描期间固定——每个 query 只付一次种子成本。

❷ 保留 head 集合 R：直接算难界紧的 head。|H⁺|≤r 时全保留正 head；否则保留 r 个最强的（按 wₕ‖qₕ‖₂）。负 head 候选按 |wₕ|‖qₕ‖₂·min(pₕ,1−pₕ) 排序——pₕ 是种子 key 上的激活频率，优先保留『强且激活难预测』的。

❸ 正头投影上界：对每个被省略的正 head h，找保留集里最相似的 anchor j*，做非负投影分解 qₕ = βₕq_j* + dₕ。ReLU 次可加性 + Cauchy-Schwarz 给出 [qₕᵀk]₊ ≤ βₕ[q_j*ᵀk]₊ + ‖dₕ‖‖k‖。投影部分复用已算的 dot product，残差用范数允许量 E_P‖k‖ 兜底。再进一步：联合残差界利用被省略 head 残差共享同一 key 的事实，E_joint ≤ E_P（式 7），不额外读 key 就能收紧。

❹ 负头聚合下界（消融证明是关键件）：负 head 是减分项，上界需要知道『最少减多少』。把子集 A 的负 head 聚合成单一方向 a_A = Σ|wₕ|qₕ，则 [a_Aᵀk]₊ ≤ Σ|wₕ|[qₕᵀk]₊（ReLU 次可加）——聚合值是被扣总量 的下界。A 的选择用种子激活的多数派支持（pₕ≥1/2）：新 key 激活模式恰为 A 时聚合精确；其他模式安全但可能松。为什么不全包含？不激活的负 head 自己的 ReLU 后是零贡献，但其负 dot product 会在聚合 ReLU 前抵消激活 head 的正贡献——包含它们反而削弱下界、放松上界。这个细节是全文最精巧的工程判断。

执行四阶段（Figure 2）：❶ Tensor Core 算保留+辅助行的筛选 dot product → ❷ SIMT 线程从 TMEM 累加器组装 U=p+R，U<τ 剪掉，warp ballot 压缩幸存者掩码 → ❸ 幸存者（约 2.65%）全 H head 精算 → ❹ 原始分数 ReLU+加权约减，s≥τ 才写回（紧凑单调分数码）。解码期则改用时间连贯性：最近几步选过的 key 的当前分数作阈值下界，压缩选择输入。

数值与 FP8：证书必须保守于原始 scorer（数值条件见附录 C），保证实数域的 Theorem 1 在浮点下仍成立。

4.2 Vela：从行为日志到训练轨迹的流水线

数据层：大型社交媒体平台 10 万匿名用户的行为史（数周至数年），去除画像与直接标识符，含 PII 的记录整条剔除。六类行为：浏览、搜索、购买、发帖、关注、不感兴趣（负反馈——稀缺且珍贵）。

任务层：每人取 72K-120K token 段（Qwen3.6-35B-A3B 分词器计量，行为记录保持完整），前 2/3 可见、后 1/3 隐藏。91 模板按段内出现的类别实例化，LLM 作曲家（Qwen3.8-2.4T-A95B，xhigh 档）生成 Open/Attribution 的具体问题与 rubric。合计 10 万候选任务。

过滤与轨迹层：

• 难度过滤：底座模型关 thinking 生成 4 个回答，均分落在 [0.2, 0.8] 的任务保留——太简单的学不到东西，太难的信号噪声大；
• 轨迹生成与接纳：每个保留任务，生成模型出 4 条轨迹，取最高分；仅当该分超过难度过滤时的均分才接纳——保证训练轨迹优于模型当前水平（比拒绝采样更宽松，但保住了方向性）。Vela-Instruct（2.4T 生成）留 ~7.5 万任务；Vela-RFT（35B 自生成）9,375 条。

训练层：Swift 框架，packed 序列长 131,072，2 epochs，lr 1e-5。产出 Vela-35B-A3B（Instruct 版）与 Vela-35B-A3B-RFT。

评测三层：VelaBench（982 留出任务，用户与训练集不重叠）；用户 OOD 四件套（PurchaseIntent recall@20 / ProfileSummary rubric / PersonaBench macro-F1 / AdRecommendation）；通用 OOD 五件套（AIME 2026 / GPQA / IFBench / CL-bench / CL-bench Life）。语义匹配与 rubric 评分由 2.4T scorer 完成。

五、评估指标与实验证据

5.1 DoSA 的指标体系与主结果

四层指标：Indexer 微基准延迟（60 配置：5 上下文长 × 4 chunk × 3 域）、端到端 TTFT（TP8）、解码延迟、剪枝率（p = 1 − N_keep/N_screen）。判分标准是精确性由定理保证，无需另测精度指标——这是无损方法在评测上的特权。

微基准（60/60 全胜）：vs SGLang v0.5.18 提升 1.12-2.74×，≥512K 全部 >2×，1M 达 2.47-2.74×；vs LiteTopK（融合派最强）1.17-1.69×。上下文长度是主导变量：英文 16K chunk 下 128K→1M 加速从 1.19× 涨到 2.58×；而 chunk 8 倍化只带来 2.47→2.69。原因：query 的证书准备成本被更长的 key 维度摊薄——DoSA 优化的是长 key 轴。

端到端 TTFT（Figure 8）：1M token 时 GLM-5.2 达 1.86×（vs SGLang）/1.26×（vs LiteTopK），DeepSeek-V3.2 达 1.94×/1.50×。Amdahl 解释很干净：Indexer 占比 f 从 128K 的 23.6% 涨到 1M 的 73.0%，Indexer 加速 s=2.7 时整体加速 (1−f+f/s)⁻¹ 随 f 增长——上下文越长，DoSA 越值钱。

剪枝率：21 个产 Indexer 层中 20 层 >95%（三域平均 97.2-97.5%），最低的第 1 层也有 89-93%。三域（英/中/代码）剖面几乎一致——层依赖的分数几何比输入域更能决定剪枝率，意味着方法跨域稳健，也暗示大多数 key 离 Top-K 边界足够远、证书的松弛量够用。

消融（Figure 7 + 附录）：仅筛查 -37.4%、仅稀疏写回 -23.4%、完整 DoSA -47.3%（1.90×）——两个组件部分重叠但显著互补。最关键的单件消融：去掉负头聚合，幸存率从 2.65% 暴涨到 95.06%（加速缩水 9.51 倍）——带符号分数的上界若不控制负项贡献，界会松到剪不动任何人。这验证了 4.1 ❹ 的设计是证书紧致性的命门。

诚实的局限声明：DoSA 仍要扫描每个 key（省的是 head 维度不是 key 维度）；短上下文或界松时筛查成本可能盖过收益；并列 Top-K 集合的合法置换不保证生成文本一致。未来方向包括训练期正则化证书松弛度、块级界跳过 key 读取。

5.2 Vela 的指标体系与主结果

主表（Table 1，八模型横评）：

三个层次的读数：

1. 以小博大：35B 的 Vela 在 VelaBench 上 63.0，超过 284B 的 DeepSeek-V4-Flash（58.6）和 2.4T 的 Qwen3.8-2.4T（62.3），距 2.8T 的 Kimi-K3 仅 1 分——用户维度的能力可以用数据范式而非参数量买到；
2. OOD 双向增益：用户 OOD 四项全涨（AdRecommendation +11.2、ProfileSummary +10.1、PersonaBench +3.2、PurchaseIntent +0.2），通用 OOD 五项也全涨（IFBench +6.7、CL-bench Life +5.6、GPQA +4.6、CL-bench +2.4、AIME +0.8）——通用能力不降反升，推翻『窄域微调伤通用』的默认担忧；
3. 量级对比：Vela-RFT（自蒸馏 9,375 条）只有 +2.0/+1.6/0.0——监督质量（2.4T 轨迹 vs 自产轨迹）的贡献远大于单纯的任务暴露。

Scaling 曲线（Figure 5）：4.7K→75K，VelaBench 59.2→63.0、用户 OOD 43.5→47.5、通用 OOD 55.8→58.2，三组全部单调上升且 37.5K→75K 仍在涨——行为数据作为 scaling 燃料远未见顶。仅 4.7K 样本就拿到 +7.7 域内增益，说明任务分布与底座能力高度互补。

RL 迁移（Figure 6，最有后训练价值的发现）：同样 GSPO 配置，从 Vela-SFT 初始化 RL 达 66.2（VelaBench）/37.6（ProfileSummary），从底座初始化只有 58.5/29.9——+7.7 的起点差。且从底座 RL 的结果（58.5）低于 Vela-SFT 本身（61.9）——行为监督 SFT 给了 RL 一个无法靠 RL 自己达到的起跳台。

评测体系的分层设计：VelaBench 的 982 个留出任务与训练任务同模板但用户零重叠——域内增益（+11.5）衡量的是范式在分布内的上限；用户 OOD 四件套由独立团队按各自协议构建（recall@20、macro-F1 等异构指标），衡量范式向真实场景的外推；通用 OOD 五件套则回答『伤没伤通用能力』这一微调实践最怕的问题。三层各自的分数来源不同（规则判分 vs LLM scorer），结论的稳健性建立在多层一致的正向增益上——单一层面的偏差不足以翻转整体图景。这套分层评测的设计本身，比任何单一数字都更有参考价值。

六、效果优势的根源解释

6.1 DoSA：为什么证书剪枝能无损且大幅加速

Baseline 的根本局限：SGLang/LiteTopK 们的优化空间是『把同样的全 head 计算做得更快/搬运更少』——它们没有质疑计算本身是否必要。而 MISA 这类少 head 筛选质疑了必要性却付出了有损代价。死结在于：没有额外信息时，『这个 key 会不会入选』与『它的全分数』在信息上似乎是同一件事。

DoSA 的破局：利用 head 间的几何与激活结构，用远低于全分数的成本构造分数上界。因果链：

种子给出阈值下界 τ → 正 head 投影复用 anchor 的 dot product（残差 ‖dₕ‖ 小因为 head 方向相关）+ 联合界利用残差共 key → 负 head 多数派聚合给出扣减下界 → Uᵢ 包住真分数 → 97%+ 的 key 满足 Uᵢ<τ 被证伪 → 全 head 打分只落在 ~2.65% 幸存者 → Amdahl 定律下 73-90% 的时间份额被 s≈2.7 的局部加速撬动 → 端到端 1.86-1.94×。

每一步都可验证：剪枝率实测 97.2-97.5%（机制生效）、负头聚合移除后幸存率崩到 95%（命门定位）、层间剖面一致而域间一致（分数几何是层属性不是域属性）。Theorem 1 保证幸存者集合与全打分 Top-K 完全一致——加速不需要任何精度折扣来换。

交叉验证：

• 方法相似：MaxScore/WAND 在搜索引擎三十年的成功是同一原理在非负分数域的先例（论文自引）；GVR 的解码阈值复用与之互补；
• 结论相近：LiteTopK 证明融合减少写回有效，DoSA 在其上再拿 1.17-1.69×，说明『计算维度』确有独立冗余可挤——两组件消融（-37.4% vs -23.4%）给出分解证据；
• 相反结论/边界：论文自认短上下文不划算（界成本占比高）；块级上界在检索文献中会因『块内最大值覆盖全块』而松弛——这正是 DoSA 选逐 key 界的原因（Related Work 明确讨论）。本次检索范围内未发现『WAND 式剪枝在 GPU 注意力上失效』的相反结论，但 DoSA 的收益依赖 DSA 分数的 head 相关性结构——若未来训练出的 Indexer head 完全正交，投影界会松弛、收益收窄。论文提出的『训练期正则化证书松弛』正是对该风险的预案（目前属推测性方向）。

6.2 Vela：为什么行为监督能同时提升用户能力与通用能力

Baseline 的根本局限：静态文本/合成数据缺少个体行为的时间演化结构——模型学到『人们通常怎么做』却没学过『从这个人过去的行为推出他接下去会做什么』。这个能力缺口无法靠参数量填补（Table 1：2.4T 旗舰在用户 OOD 上也只有 49.5）。

因果链：

任务设计同时训练三个子能力——①从噪声上下文找证据（可见历史里 95% 的事件与当前问题无关）、②跨时间整合（偏好分散在数周的记录里）、③跟踪偏好漂移（隐藏未来可能偏离早期模式）→ 这些是长上下文证据推理的一般技能而非用户专属技巧 → 体现为用户 OOD +6.2 的同时 IFBench（指令遵循）+6.7、CL-bench（上下文学习）+2.4/+5.6——能力外溢方向与子能力清单精确对应。

RL 迁移的机理：SFT 把『从历史找证据』变成默认行为模式 → RL 在此之上优化时无需重新发现这个表征 → +7.7 的起跳差。这与『课程学习给 RL 提供更好初始化』的文献结论同构。

值得注意的对照：Vela-RFT（35B 自生成轨迹，9,375 条）只有 +2.0 域内增益，而 2.4T 生成的 Vela-Instruct 达 +11.5——监督质量的天花板由轨迹生成者决定。这与 ARBITER 的『证据门控』（本合读系列同期论文）从两端说明同一件事：训练信号的可信度决定能力的成色。

交叉验证：

• 结论相近：RLPF（Google）证明预测反馈能训用户摘要——单任务版本的同方向证据；FineRob/OM-CoT 证明社交媒体行为可教——Vela 把两者推广到 91 模板并首次测通用外溢；
• 警示对照：Shumailov et al.（Nature 2024）的递归数据坍缩——Vela 的监督来自真实人类行为而非模型生成，天然免疫该风险，这正是论文把行为数据定位为『scaling 瓶颈出路』的理论依据（引用 [22]）；
• 边界条件：PurchaseIntent 仅 +0.2——购买预测可能主要被平台协同过滤信号支配，语言模型的历史推理增量有限；Vela-RFT 增益微弱说明上限受生成者质量约束；隐私与授权是范式的前提成本（论文有 ethics 声明但范式推广到无平台授权场景时是硬约束）。本次检索范围内未发现『行为数据训练损害通用能力』的相反结论，但注意到所有 OOD 评测的 scorer 是 Qwen3.8-2.4T（与 Instruct 轨迹生成器同源），rubric 类分数存在同源偏差的可能（论文未做异源 scorer 校验，属证据缺口）。

同源偏差的证据缺口（阅读者推测）：所有 OOD 评测的 scorer 是 Qwen3.8-2.4T（与 Instruct 轨迹生成器同源），rubric 类分数存在同源偏好的可能；论文未做异源 scorer 校验。对照 EvoWeb 基准的异厂商判官复核实践（三个厂商判官只翻转 2-3 对排名），Vela 的判分链若换异源 scorer，rubric 类分数（ProfileSummary +10.1、AdRecommendation +11.2）的量级可能有小幅缩水，但 set-F1 类（PurchaseIntent）与规则类（AIME/GPQA/IFBench）分数不受影响——通用 OOD +4.0 的结论建立在规则判分上，是最硬的一块。此为阅读者标注的推测，论文实验未直接检验。

6.3 合读综合：结构换算力的两种汇率

多研究共同支持：两类『结构换算力』各自有外部佐证（WAND 三十年先例 / RLPF 单任务先例）。仍属推测：DoSA 对未来更正交的 Indexer 是否保持收益；Vela 的通用增益是否随任务模板多样化继续增长（当前 91 模板偏消费域）。失效条件：DoSA 在短上下文/松界场景入不敷出（论文自认）；Vela 在无行为日志的领域（B2B、离线场景）无原料可用。

七、必要知识反推

7.1 领域知识层

• DSA 类稀疏注意力的解剖（Indexer 分数公式、head 语义、Top-K 选择、与 MoE 的条件计算类比）——不知道瓶颈在哪就无从优化；DoSA 作者此前的 MISA/HISA 论文（作者列表可见）说明这是持续深耕的方向；
• 信息检索的打分剪枝传统（MaxScore/WAND/Block-Max 的文档跳过逻辑）——DoSA 的思想母体，没有这个谱系知识就不会想到『上界拒绝』这条路；
• 推荐系统与用户建模（P5/RLPF/协同过滤 vs 内容理解的分野）——Vela 定位增量的坐标系；
• 内容平台的行为埋点体系（六类行为的语义、负反馈的稀缺性）——任务模板设计的生活经验。

7.2 方法论知识层

• 凸几何与线性代数（投影分解、Cauchy-Schwarz、范数界、ReLU 次可加性/正齐次性）——证书三件套的全部数学工具；
• GPU 内核工程（Tensor Core MMA 与 SIMT 的分工、TMEM/Shared Memory/寄存器的层级、warp ballot、G2S/T2R 传输、FP8 数值边界）——把不等式变成纳秒级加速的桥；
• LLM 后训练流水线（SFT 超参、拒绝采样式轨迹接纳、GSPO 类 RL、自蒸馏 RFT 的差异）——Vela 的实验矩阵设计；
• 评测方法论（OOD 分层、rubric 评分的构造、LLM scorer 的同源偏差风险）——三组评测的自洽性来源。

7.3 工程知识层

• 推理引擎集成（SGLang 代码路径、chunk prefill、TP8 部署、prefix cache 控制）；
• 数据合规与匿名化（PII 剔除、伦理审查、平台授权）——Vela 的合法性前提；
• 长上下文评测工作负载（InfiniteBench/HELMET/LongBench v2 的选段方法、Gutenberg/SQLite 长文本来源）。

7.4 知识融合的关键节点

1. 检索理论 × GPU 架构（DoSA）：WAND 的『上界拒绝』在 CPU 搜索引擎里是省 CPU 周期，在 GPU 上必须重构成『Tensor Core 批量算少量行 + SIMT 逐 key 判界』的两级流水——数学不变，执行模型完全重生；
2. 符号分数 × 激活统计（DoSA）：教科书式的 ReLU 次可加界不够紧，必须注入种子 key 上测得的激活频率（pₕ）这个数据统计量才能让负头聚合紧致——纯数学与实测统计的杂交；
3. 时间切分 × 任务合成（Vela）：『留出未来』这个机器学习基本功（train/test split）被创造性地上移到任务构造层——每个用户自带一个 mini 的时间因果实验；
4. 难度过滤 × RL 起点（Vela）：课程学习直觉（[0.2,0.8] 中等难度）+ 实证验证其价值落在 OOD 泛化——教育心理学的 old idea 在 LLM 数据配方里的再验证。

八、论文中可以提取的通用性灵感

灵感 1：拒绝只需证据，不需全知——上界思维省掉注定失败的工作

• 核心思想：判断『某候选不可能胜出』不需要算出它的完整实力，只需要证明其实力上限低于当前门槛。这个逻辑可以外包给便宜的证据构造。
• 论文证据：DoSA 用投影+聚合界免掉 97%+ 的全 head 打分且选择结果与全打分完全一致（Theorem 1）；MaxScore/WAND 在搜索领域三十年先例。
• 推广场景：① 招聘初筛：用硬性门槛证书（学历/年限）先证伪而非全面评估；② 风控：黑名单规则的『上界分数』先拦掉大部分交易，复杂模型只跑幸存者；③ 编译器：区间分析证明某分支不可达即消除；③ 实验科学：power analysis 证明某假设无效应即提前终止。

灵感 2：减法项的下界与加法项的上界同样重要

• 核心思想：构造保守估计时，人们习惯给正贡献加上界，却常忽略负贡献的下界——而后者往往决定界的紧致度。
• 论文证据：移除负头聚合后幸存率 2.65%→95.06%，加速缩水 9.51 倍——整个方法几乎失效；且『不激活的负 head 反而要排除出聚合』的反直觉细节（预 ReLU 抵消）是紧致性的关键。
• 推广场景：① 项目排期：风险（负项）的最小影响量决定 buffer；② 谈判：对方让步空间的下界决定你的底线；③ 供应链：损耗率的下界决定安全库存；④ 任何『区间算术』场景——界的实用价值取决于最松的那一端。

灵感 3：把『已经发生但看不见的未来』变成免费的监督

• 核心思想：任何带时间戳的行为流，都可以在任意切点做『可见历史→隐藏未来』的划分，未来事件自动成为预测任务的 ground truth——监督零标注成本。
• 论文证据：Vela 的 10 万任务全部由该机制生成真值；scaling 曲线 4.7K→75K 单调上升表明该矿藏可采储量巨大。
• 推广场景：① 代码库：git 历史切点前后的提交即『预测下个 patch』任务；② 运维：告警流切分预测下一故障；③ 市场：历史行情切分训练预期建模；④ 个人健康：可穿戴设备流的行为预测。

灵感 4：中等难度的样本才有教学价值

• 核心思想：全量数据训练不如先按『当前学习者均分 0.2-0.8』过滤——太易无信息、太难噪声大，中间地带的样本才同时携带可学的结构与足够的信号。
• 论文证据：难度过滤在域内持平下使用户 OOD 平均 +1.1（四项全正）——过滤买的是泛化不是拟合。
• 推广场景：① 教育分层教学；② 体育训练负荷区间；③ 对抗样本筛选（中等扰动最提升鲁棒性）；④ RL 经验回放的优先级采样（PRI 的思想近亲）。

灵感 5：好的 SFT 起点是 RL 买不到的

• 核心思想：策略优化只能在已有表征上精修；如果基础阶段没建立『从证据找答案』的行为模式，RL 的探索预算填不平这个坑。
• 论文证据：同配置 GSPO，从 Vela 初始化 66.2 vs 从底座 58.5（+7.7）；且从底座 RL（58.5）追不上纯 Vela-SFT（61.9）。
• 推广场景：① 员工培养：岗前系统培训 vs 直接绩效迭代；② 体育：基本功训练期决定后期战术上限；③ fine-tuning 实践：领域 SFT 先于 RLHF 的顺序论据；④ 产品冷启动：先补贴建立用户行为模式再优化留存。

灵感 6：同一家公司应让系统创新与数据创新对话

• 核心思想：推理成本（每 token 多少钱）与数据效率（每分能力多少 token）是同一个商业问题的两个杠杆，两端同时撬动的复合收益是乘法关系。
• 论文证据：小红书同时产出 DoSA（TTFT 1.94×，直接折算服务成本近半）与 Vela（35B 达 2.4T 效果，训练/部署成本降一个量级）——开源模型生态里两篇都可直接复用。
• 推广场景：① 任何 AI 平台的 ROI 模型：算力优化 × 数据优化；② 云服务定价策略；③ 自动驾驶：感知算法（省算力）与数据闭环（提能力）双轮；④ 个人工作流：工具提效与方法改进的乘法。

附录：关键数字速查表

结语

DoSA 和 Vela 像同一场降本战役的两翼：DoSA 在 GPU 毫秒里找回被浪费的确定性——数学证明 97% 的计算可以不做，于是 TTFT 减半而答案一字不差；Vela 在数据仓库里唤醒沉睡的时间戳——用户上周买了什么，就是这周最好的教材，于是 35B 学会了 2.4T 都不擅长的读心术。前者告诉我们：很多『必要的计算』只是没被证明不必要；后者告诉我们：很多『缺失的数据』其实早已存在，只是没被任务化。当推理系统开始借力检索理论、后训练开始借用行为科学，效率创新的下一个矿脉，大概率藏在这些跨界的接缝里。