论文链接： HyScale: Scaling Long-Context Training for Learned Sparse Attention 4DMemory: Benchmarking Long-Horizon Spatiotemporal Memory with Harness-Augmented Agents UserArena: Benchmarking Interactive User Simulation for Long-Horizon Shopping Agents FORCA: A Force-Aware Coding Agent for Contact-Rich Robot Manipulation 发表时间：2026年10月 机构： HyScale——爱丁堡大学 + 腾讯混元（企业+高校合作，已部署于腾讯百万 token 生产训练） 4DMemory——NTU + 阿里 Token Foundry + 港中文 + 中科院神经所 UserArena——莱顿大学 + 中国人民大学 + 阿里巴巴 + 中科院计算所（企业数据/A-B 平台 + 多高校） FORCA——UIUC（4 人，Tan/Wang 共同一作）+ 清华（Wang 兼职） 领域标签：LLM 训练系统 / 多模态记忆基准 / 推荐系统×用户模拟 / 具身智能×力控

〇、总览：四篇论文与一条主线

这四篇论文表面分属四个领域，实则回答同一个问题的四个侧面：当智能体（Agent）要处理越来越长的时空与交互历史时，瓶颈在哪里，边界如何扩展？

• HyScale 回答训练侧：百万 token 上下文模型怎么训得起。学习型稀疏注意力解决了注意力本身的二次方开销，却让索引器的 selection（对每个 query 给全部前文 token 打分取 top-k）成为新瓶颈——1M token 时 selection 占 GLM-5.1 训练步的 47%，是稀疏注意力的 6.6 倍。HyScale 用两个技术把它打掉，端到端 2.07 倍加速。
• 4DMemory 回答感知记忆侧：模型看过几十小时视频后还记得多少。它把视频记忆基准的时间跨度从 1-2 小时拉到最长 97.98 小时（单题绑定最多 278 集电视剧），发现即便配齐工具与外部记忆，分布式计数仍是所有 13 个前沿模型共同的短板（最高 47.58%）。
• UserArena 回答环境与用户侧：智能体推荐系统的开发与评估需要忠实的世界模型（购物环境 + 用户行为响应）。它用亚洲头部电商平台的 11,010 名真实用户轨迹构建基准，并首次支持用生产 A/B 实验结果离线校准模拟器——最优方法 OPTD 将策略效果误差压到 0.287，而通用大模型 GPT-6 反而高估到 1.576-2.154 倍。
• FORCA 回答物理感知侧：编码 agent 只有视觉时，透明抽屉抓不准（成功率 40%）、反光门把手握不住（10%）。给它接上腕部力/力矩（F/T）传感器，让它写带力反馈控制逻辑的 Python 程序，五项真实机器人任务上成功率、接触保持率全面提升。

一条主线贯穿四者：扩展上下文的代价不是线性增长的，每一次扩展都会把瓶颈转移到新的环节——从注意力（HyScale 之前的 DSA/CSA/QSA）到选择（HyScale）、从上下文窗口到外部记忆与工具（4DMemory）、从离线指标到生产行为校准（UserArena）、从视觉到接触物理量（FORCA）。识别并打掉新瓶颈，是这四篇论文共同的方法论姿态。

一、论文背景

1.1 HyScale：稀疏注意力救了注意力，却造出新瓶颈

长上下文已成大模型核心能力，训练序列长度从 128K 走向 1M token（长文档、代码仓库、agent 轨迹）。全注意力计算随上下文二次方增长，训练成本不可承受。学习型稀疏注意力（learned sparse attention）是当前生产环境的主流解法，自 DeepSeek-V3.2 起被广泛采用：一个轻量索引器（indexer）对每个 query 给全部前文条目打分，保留 top-k（公式化：Tt = Top-k(It)，It 为分数向量）；稀疏注意力只对被选中的 k 个条目计算。条目可以是单 token（DSA，DeepSeek Sparse Attention）、4-token 压缩块（DeepSeek-V4 的 CSA）、4-token 均值池化块（Qwen3.8-Flash-Next 的 QSA）或 128-token 块内取最大（MiniMax-M3 的 MSA）。

问题在于：稀疏注意力只读 k 个条目（O(k)），selection 却要给全部前文打分（O(L)）。当注意力本身变便宜，selection 反而成了训练步的大头——Megatron-LM 训练 GLM-5.1 到 1M token 时，selection 占整个训练步（不含流水线等待）的 47%，是稀疏注意力耗时的 6.6 倍。更糟的是现有系统在两处放大这个成本：一是物化全分数表（n×L 的分数先全部写进显存再读回来做 top-k，1M token 单层分数表达 32 GiB，而最终保留的索引只有 64 MiB——top-k 只留 0.2%，99.8% 的写入与读取是浪费）；二是重计算时重复 selection（激活重计算策略在反向传播前把整个层前向重跑一遍，selection 被原样执行第二次）。

1.2 4DMemory：小时级视频记忆仍是空白

人类高效处理跨越数小时到数年的多模态信息流，形成持久的细粒度时空记忆以支持长程推理——看几十小时剧后仍记得某角色第一次出场的情境。现有视频基准（Video-MME、LongVideoBench、HourVideo、LVBench 等）的输入时长上限普遍在 1-2 小时；即便模型标称百万 token 上下文，稠密视频产生的视觉 token 也会迫使系统做稀疏采样或压缩，在任务尚未知晓前就丢弃细粒度证据。名义上下文窗口决定的是能输入多少，不是能用好多少分布式的证据——即使证据被完美检索，长上下文性能仍随任务复杂度下降。

现有补法分三层：系统层 agentic harness（迭代检索相关帧、维护结构化时序记忆、编排工具）；模型层长视频 MLLM（长上下文训练、紧凑 token 化、显式时间编码）；方法层自适应压缩与稀疏记忆。但这些改进在不同数据集、接口与访问条件下评估，难以区分增益来自基座模型、证据获取、记忆还是最终推理，且组件互不兼容。4DMemory 的动机就是造一个能同时回答以下问题的基准：跨百小时的多证据整合、问题无关的记忆存储与问题条件化的检索、以及工具增强下前沿模型的真实上限。

1.3 UserArena：模拟器好不好，谁来裁判

智能体推荐（agentic recommendation）让 agent 通过一串上下文依赖的决策追逐购物者目标。它的后训练与评估都需要忠实的推荐世界模型：可执行环境建模策略能观察与改变什么，用户模拟器建模购物者如何响应。两者合起来支持离线与反事实评估及 RL 优化，减少昂贵的在线实验。

现有资源存在两个关键缺口。数据层：很少有数据集提供对齐真实用户画像、视觉观察、商品上下文与动作的长程跨会话轨迹（OPeRA/USB 均为单会话，人均 11-13 个动作）。评估层：下一动作一致率只衡量孤立的步级选择，无法评估模拟轨迹是否保真用户的长期行为倾向；更没有基准检验模拟器得出的策略对比是否与生产 A/B 结果一致——模拟器之间互相比较证明不了什么，最终裁判只能是真实用户。此外模拟器训练本身有三大顽疾：行为失准（learned simulator 偏离真实行为）、稀疏监督（精确匹配目标惩罚合理替代行为）、暴露偏差（teacher forcing 只在真实前缀上训练，推理时却在自己的前缀上生成，失配导致误差累积）。

1.4 FORCA：视觉看不见的，力知道

基于基础模型的编码 agent（coding agent）能把语言指令翻译成机器人程序，但其决策主要基于视觉与本体感知。对接触富集操作（contact-rich manipulation）这远远不够：透明或反光表面的几何估计高度不确定（透明抽屉把手难以从视觉精确定位），质量与摩擦完全不可见（同一敲击动作在不同物体/表面组合下滑行距离迥异），维持接触需要响应表面变化与物体运动（擦拭移动中的花瓶、削手持黄瓜时表面起伏不定）。

力与接触测量是视觉的互补证据：它直接提供接触状态与力学响应信息。已有力觉利用路线各有局限——学习策略（FoAR、ForceVLA、TLA 等）需要示教或机器人数据；基础模型 agent 的力觉用法停留在柔顺/力阈值原语（GenCHiP）、知识库调用固定例程、或凭先验推断物理属性；有的在失败后修订力目标但程序本身不含力反馈闭环。没有工作让 agent 自己写出任务特定的力反馈控制逻辑，并根据真实执行记录修订这套逻辑本身。

二、论文定位和关联工作

2.1 HyScale：selection 加速的谱系

谱系一：两阶段 selection 加速。HPC-Ops Top-K、GVR、DeepSelect、Prof-K 加速 top-k 步骤本身，但 scoring 仍是独立核函数，分数表照写照读——没打掉根子上的内存流量。

谱系二：融合式采样选择（推理侧）。LiteTopK 开创：用相邻 query 已选的 key 估计阈值，融合 scoring 与 top-k，分数表不进显存；DoSA 进一步用便宜的分数界跳过部分打分。但两者为推理 prefill 设计：相邻 query 的选择在推理中触手可得（单 GPU 分 chunk 处理），在 CP（上下文并行）下各 GPU 同时打分，用邻居的选择意味着等待其他 GPU；且推理不要求位级确定性，训练要求（便于重放 debug loss spike）。

谱系三：减少 selection 工作量（正交方向）。PIVOT、IndexCache、HISA、MISA 通过跨 query/跨层复用选择或减少打分的块/头数来省计算——与 HyScale 正交可叠加。

HyScale 的定位：首个面向训练的 selection 系统性加速。与 LiteTopK/DoSA 的关键区别在于三点训练适配（CP 兼容的自采样阈值、GPU 上无主机同步的失败恢复、位级确定性），以及从 selection 延伸到重计算、CP 通信、稀疏核的端到端协同设计。

2.2 4DMemory：长视频与记忆基准的坐标系

长视频基准谱系：EgoSchema（内在证据跨度）→ Video-MME/LongVideoBench/MLVU（小时级输入、多模态）→ LVBench（多小时视频）/InfiniBench（长电影电视剧）→ EgoMonth（月级自我中心视频、301 小时语料）。共同上限：单题输入时长至多小时，语料千小时级但题目不绑定全语料时间线。

Agentic 长视频理解谱系：VideoAgent（查询驱动帧检索/结构化记忆）、检索与规划中心系统、记忆中心 agent（M3-Agent 实体中心情景记忆）、LongVT/VideoThinker（模型特定后训练内化工具使用）。局限：接口模型绑定（LongVU 需要内部 vision-token 管线访问权，LongVT 绑定 Qwen2.5-VL-7B 后训练），不可跨系统组合。

多模态长期记忆谱系：LoCoMo/LongMemEval（多会话对话记忆）、MemLens（比较长上下文 VLM 与记忆增强 agent）、Mem-Gallery、MemoryArena（记忆与动作耦合）。4DMemory 在 Table 1 中的定位：语料约 887 小时、单题最大时间跨度 97.98 小时、支持多历史范围问题与 harness 支持——是首个单题可绑定超过 100 小时有序源视频的多模态视频基准。

2.3 UserArena：交互式推荐基准与模拟器训练的谱系

基准谱系：MovieLens/Amazon Reviews（静态记录）→ Qilin（多模态 app 会话）/RL4RS（真实序列交互）→ RecBench+/AgentRecBench（自然语言交互）/OPeRA（视觉购物轨迹）→ A/B Agent（GUI 模拟但轨迹合成）。Table 1 对比显示：只有 UserArena 同时具备真实轨迹+视觉上下文+完整动作空间+长程跨会话+生产 A/B 验证五项。

模拟器训练谱系：配置式动力系统（RecSim/RecoGym）→ 日志驱动（Virtual-Taobao 对抗模仿）→ LLM 提示式（RecAgent/Agent4Rec/SimUSER）→ RL 后训练（Customer-R1/Shop-R1）。遗留问题正是 UserArena 点名的稀疏奖励与暴露偏差。

UserArena 的定位：基准层首个生产 A/B 校验闭环；方法层 OPTD 与 GKD/MiniLLM 一脉相承的 on-policy 蒸馏，创新点在轨迹级意图条件化 + 逐 token 信任域约束这两个为行为模拟定制的设计。

2.4 FORCA：力觉进编码 agent 的三条既有路径

路径一：学习策略（FoAR、Reactive Diffusion Policy、Force Policy 等力/触觉反馈策略；ForceVLA/TLA/Tactile-VLA 融合进 VLA）——需要示教数据或机器人数据，任务绑定。

路径二：基础模型原语。GenCHiP 向代码生成暴露柔顺/力阈值原语；Mon-Williams 等从知识库调力反馈例程——agent 只能选用预写好的力控行为，不能为任务定制。

路径三：物理属性推断。DeliGrasp 用 LLM 先验推断属性、LLMPhy 物理引擎匹配、CoRAL 在线系统辨识、Xie 等失败后修订力目标——力信息用于推断参数或事后调目标，不在程序内闭环。

FORCA 定位：首个联合生成任务特定力反馈控制逻辑、并在 rollout 之间用 F/T 记录+视觉结果修订该逻辑本身的编码 agent 框架。与 VLA 力觉路线（如 FM-VLA 的力记忆 token、FAVLA 的快慢频率解耦）互补：那些需要训练数据，FORCA 免训练免示教免仿真。

三、问题定义

3.1 HyScale：selection 的输出到底是不是激活？

具体问题：训练中每层每个 GPU 上，n 个本地 query 要对 L 个 key 打分取 top-k，怎么既不写 n×L 分数表、又不在重计算时重复打分，还要 CP 兼容、确定、精确？

核心洞察：selection 的输出不是连续激活，而是离散索引集合。top-k 不可微——索引器损失只对 k 个被选分数求梯度（LI = λΣt KL(pt‖Softmax(It,Tt))，且 pt 与索引器输入均 detach），稀疏注意力只读被选条目，反向传播既不需要分数表也不需要重跑 top-k 搜索。论文附录 A 给出严格推导：所有梯度求和都只跑 s∈Tt，即每 query k 个分数而非 L 个。

抽象问题（对照深度学习）：这等价于识别出一个算子的输出语义与它的计算图表示不匹配——计算上它是稠密算子（产出 n×L 表），语义上它是稀疏离散结构（产出 n×k 索引）。给定训练系统（CP、激活重计算、确定性约束），求：以最小内存与最短时间产出该离散结构、且在任何重算点只需 O(k) 恢复的执行策略。精妙之处在于它把两个低效统一归因到同一个错误表征（把索引当激活存取），从而两个技术共享一个洞察。

3.2 4DMemory：绑定时间的记忆评估

抽象问题：给定有序视频集合 Vi 与问题 qi，模型须在无参考答案、无证据指针、无可执行程序的前提下产出答案——难点不在单点感知而在证据在时间轴上的分布度与整合操作的类型（比较/排序/状态变化/跨模态绑定/分布式计数）。4DMemory 把它结构化为 (di, qi, τi, Vi; ai, Ei, pi, ci) 七元组，任务族三分类（视觉感知聚合/文本理解/时空推理），并用 compositional QA 构造强制 2-4 个片段的显式组合操作。

关键抽象决策：把时间跨度做成变量（单视频内远距时刻 → 集 → 季 → 全剧），把记忆做成问题无关存储+问题条件化检索两层，于是评估可以分离观察质量、检索、工具执行与最终推理——这是普通端到端视频 QA 基准做不到的。

3.3 UserArena：用户模拟器=行为世界模型

抽象问题：给定状态 xt（当前页面+交互历史），真实响应 y*t（简短理由+一个结构化动作），学策略 πθ(y|x) 使其长程 rollout 的轨迹结构、人群异质性与聚合结果都匹配真实用户——而非只在真实前缀上预测对下一动作。

OPTD 的核心洞察可以类比为学习理论中的经典问题：教师知道整条轨迹的答案摘要（特权信息），如何用它教出没有特权信息时也能对的学生？ 形式化：teacher 条件于 (xt, zu, yt,<k) 给出逐 token 目标 qI；student 只有 (xt, yt,<k)。约束：意图不得变成答案钥匙（抽取规则排除具体动作/商品/价格/未来内容），且意图对每个 token 分布的影响受 KL 预算 ε 约束（λ* 由二分求得）。求：使 student 在自身采样 rollout 上匹配信任域正则化目标 q^λ* 的最优参数。精妙处在于特权信息只通过 teacher 的 token 分布间接影响 student，student 推理时永远看不到 zu。

3.4 FORCA：程序即力控策略

抽象问题：给定语言指令与 RGB-D 观察，生成带力反馈控制逻辑的完整程序 π: (视觉, wrench(t)) → 动作序列，使程序在执行中读实测 wrench（100 Hz）实时响应，且失败诊断与修订可用力记录+视觉双证据。

核心洞察：力反馈控制逻辑本身可以是代码生成的对象，也可以是代码修订的对象。这把接触富集操作从「为每个任务训练一个力反馈策略」（数据饥渴）重构为「agent 在部署时写出一个可在执行中读传感器的程序，并按执行证据修订它」（免训练）。约束：30 N 硬限保护、每任务 20 rollouts / 4 小时上限、agent 声明收敛后冻结程序跑 10 试评估——评估与开发分离，防止过拟合单次运气。

四、问题解法

4.1 HyScale：HyTopK + selection replay + 系统协同

组件一：HyTopK 在线 top-k（打掉分数表）

类比：这相当于把 FlashAttention 不物化注意力矩阵的思想搬到 selection 上，但多一层离散结构的确定性要求。做法：scoring 核函数边打分边与阈值比较，过阈值者进小候选缓冲，彻底不写 n×L 表。

• 乐观跨步采样（解 C1，CP 兼容）：从每个 query 自身上下文的 Lt 个 key 中等距采 M = min(max(4096, Lt/128), 8192) 个，取第 ⌈3kM/Lt⌉ 好的样本作阈值（约对应全局第 3k 好，留 3 倍余量）。每几个相邻 query 共享一份合并上下文的采样以一次矩阵乘完成。不需要任何其他 query 的选择——CP 下无等待。
• 无主机同步恢复（解 C2，溢出廉价）：阈值乐观则偶有 query 候选不足或溢出。check 核函数标记失败者，三个恢复核函数最多取 64 个失败 query 在 GPU 上对全上下文重打分精确重选。每次 selection 后固定 grid 发射（无失败时空跑即刻返回），64 个以上失败（训练中从未超过 4 个）回退全量。
• 确定性选择（解 C3，位级可复现）：保留快的原子写，事后仅对影响输出的最小集合排序——并列分数用 radix select 按位置定胜负；k 个结果用 radix sort 按分数（并列按位置）排序，保证稀疏注意力求和顺序每次一致。

组件二：selection replay（打掉重计算重复）

类比：如果说 FlashAttention 的选择 性重计算教我们按算子粒度取舍存/算，selection replay 则把粒度下沉到条目级。洞察：重计算只需恢复 backward 要读的 k 个分数（式 3 与附录 A），不需要重跑产生它们的打分。前向保存每 query 的 k 个索引；重计算只对这 k 个索引 gather-and-score（O(L)→O(k)/query）；索引可 offload 到 pinned host 内存（前向后独立 stream 拷出与稀疏注意力重叠，重计算进入注意力层时拷回与投影重叠）。两个变体：index replay（只存索引，重打 k 个分，默认）与 score replay（连分数也存，零重算）；Table 1/Figure 4 显示所有算子级策略（全存/存分数/只存索引/存索引器输入）在内存-计算平面上至少差两个数量级，replay 两变体都在左下角。默认 index replay 因其重打分至多占训练步 1.6% 且比 score replay 每 GPU 省 5 GiB。

组件三：解耦 CP 重叠与局部性稀疏核（打掉剩余暴露）

• 解耦 CP：selection 只读索引器 key、稀疏注意力只读 KV 状态——两类 CP 数据不同步。HyScale 分开传输、各自与不消费它的计算重叠：indexer-key gather 与 query 投影重叠，KV gather 与投影+selection 重叠；反向两个 reduce-scatter 分别与索引器反向/投影反向重叠。Ring Attention 式传算重叠对稀疏注意力失效（计算太少藏不住传输），DeepSpeed-Ulysses 按头切分对 DSA 失效（所有头共享同一 KV latent，每个 GPU 还是得 gather 全量）——解耦重叠是利用输入不相交这一结构性质的新解。
• 局部性核：GLM-5.1 中相邻 query 平均共享 71% 的 top-2048 key（并集仅为单份的 1.29 倍）。一个轻量预处理按层构建所有相邻 query 对的并集（结构：仅 t 用 / 共享 / 仅 t+1 用），三个稀疏核（前向/稀疏反向/索引器反向）都用双 query 线程块对并集处理：共享 key 单次加载、两条梯度先求和再一次原子累加，用空闲的 tensor core 周期（掩码部分）换 L2 流量。此前 L2 只跑峰值的 53-65%、warp 40-44% 周期停在内存上、tensor core 忙碌仅 21-32%。

实现：基于 Megatron-LM 约 3.4K 行 Python + 14.7K 行 GPU 核（CUDA/Triton/CuTe DSL），另含 CP layout 缓存、序列边界缓存、核融合、免置换 KV gather 四项工程优化。

4.2 4DMemory：数据集 + Harness + 分层评估

LongVideo 数据集：1,025 个独立网络视频（19.93 分钟至 3.86 小时，手工/DIY/旅行/科技等 24 类内容）+ 2 部多季电视剧（爱情公寓 402 集 + 生活大爆炸，共 402 集、193.299 小时），合计 887.480 小时。构造管线五步：音频-文本筛查 → 片段构造（场景边界切分+片段字幕）→ 证据精炼（关键帧+视觉/文本质量过滤）→ 时间戳对齐与证据链（全部对齐到源时间线）→ 证据链 QA（2-4 条证据链组合，验证答案正确性、片段必要性——逐个移除片段检验答案是否仍可导出——与捷径筛查）。独立视频每条留 3-5 问得 4,388 对；电视剧线用确定性程序在对话/ASR/视觉统计上算参考答案，LLM 改写为自包含问题并独立验证，得 826 问（覆盖集/季/全剧三级），排除 15 条零时长无效问题后共 5,214 对。单题最多绑定 278 集，全剧最长 97.98 小时。

4DMemory Harness（模型无关推理框架）：原则是任务无关存储 + 目标条件化回忆——先把长视频流构造成问题无关的可复用记忆，问题到来再做条件化检索与专用证据获取，从而把任务时间跨度与模型原生上下文窗口解耦。

评估指标四件套：Invocation（至少一次被接受工具调用的题占比）、Ordered（在这些题中按要求操作按序全部执行成功且答对）、Order-relaxed（去掉顺序约束）、Overall（全基准联合成功率）。双裁判协议（Opus-5 单裁判 + Kimi K3/GLM-5.3/Qwen3.8-Max 三模型多数票）降低单裁判依赖。工具调用与执行独立评估（技能裁判只见工具轨迹不见参考答案）。

4.3 UserArena：五级协议 + OPTD 三件套

基准：环境以预渲染全 feed 按视口裁剪更新，点任意曝光商品（含真实用户没点过的）打开预渲染详情页——环境可交互而非只回放。数据：11,010 用户 / 64,729 会话 / 577,670 动作 / 566,102 商品 / 13 动作类型（下滑 38.34%、点击 12.76%、结束 11.21%…加购仅 3.90%、购买 1.02%，故评估用宏平均与分布指标）；73,717 次点击覆盖 41 类目。跨会话子集：5,768 用户 59,378 会话按时间排序，人均 10.29 会话 / 86.36 动作（对照 OPeRA 人均 1.00 会话 11.11 动作）；相邻会话间隔从几分钟到 12 小时以上，57.8% 重访上一会话出现过的类目。

五级评估（Replay 定状态测 L1，Rollout 自由跑测 L2-L4）：L0 环境合规（RVA/OVA 可解析可执行动作率）；L1 局部保真（宏 F1 动作类型一致率；Acc 进一步要求目标商品/评论匹配，剔除四种滚动导航）；L2 序列保真（DM-JSD：商品页访问后首决策分布{return,cart,buy,end,open}的 JSD；TE 会话动作数均值误差）；L3 个性化人群保真（PF：按历史活跃/购买倾向/类目广度分组，八块行为签名逐组对比真实 vs 模拟）；L4 结果保真（ΔCTR/ΔACR 计数比率误差；T-JSD 终态四分类分布 JSD）。

OPTD 训练（三件套）：

1. 轨迹级意图抽取：Qwen3.5-397B 作抽取器 E 把完整轨迹 τu 映射为结构化锚点记录 zu（偏好/关注点/信息需求/比较标准/条件决策倾向/承诺信号等类型化锚点）。抽取与验证规则排除具体动作、具体商品与标识、精确价格、轨迹结果、未来页面内容、支撑摘要的步骤索引——意图上下文化当前状态但不指定记录的下一步动作。student 永远不直接看到 zu。
2. 意图条件化在策略监督：冻结 SFT teacher（φ 固定，梯度不到 teacher）条件于 (xt, zu, yt,<k) 给出 qI；student 在自身单步 rollout 的每个 token 上学习。训练目标 L = Ldist + γ·LGT：蒸馏项为广义 JSD（β=0.5 即标准 JSD，有界防单 token 无界损失）在 student 自采样响应的 token 上平均；grounding 项为对记录响应 y*t 的 teacher-forced NLL（γ=0.1），保住步级格式与行为锚点。
3. 逐 token 信任域：同一 teacher 不带意图查询得参考 q0；在对数概率空间几何插值 q^λ ∝ (q0)^(1-λ)(qI)^λ，沿路径 DKL 单调不减故可二分求满足预算 ε=0.02 的最大 λ*。意图影响被约束在每个 token 可从可观测状态支撑的范围内——训练时才有的信息不能把目标推到推理时可达分布之外。

消融五件套（w/o on-policy、w/o intent、w/o trust、w/o grounding、w/o SFT）验证每个组件都有贡献，其中去 SFT 初始化退化最剧（后续轨迹蒸馏需要先具备指令跟随与动作生成能力）。

4.4 FORCA：三回路框架

回路一：力感知程序合成。agent 可访问初始技能库（SAM 3 开放词表分割定位工具、GraspGen 抓取候选+VLM 选择、PyRoKi 轨迹优化、抓放执行）+ 实测 wrench 接口 + 早前任务保留的例程与笔记。输出是完整任务程序，其中力相关逻辑（何时停止接近、运动如何响应力误差）由 agent 现场编写——例如 guarded_touch(axis, f_c) 探测接触、force_stroke(f_ref, band, guards) 力调节行程。

回路二：接触响应执行。程序执行期间不查询基础模型。两种用法：(a) 接触探测更新几何——程序自定探测运动与接触判定条件，接触时的机器人位姿+工具几何给出表面高度/抓取位置的更新估计（视觉不确定的透明把手由此精定位），后续动作在同 rollout 内用新估计；(b) 实时力反馈调节运动——host 侧 100 Hz 环路经 RTDE 读 wrench 与机器人状态，按生成逻辑更新笛卡尔速度指令（力误差驱动或接触不足暂停/恢复前进）。

回路三：执行接地的修订。每次 rollout 后 agent 检查执行记录（视频、前后图像、F/T 与机器人状态轨迹、终止状态），可写分析代码检查相关时间窗，把力变化与运动及可见结果关联。诊断升级：从视觉-only 的「看结果猜原因」变为「力记录+视觉双证据定位」——黄瓜削皮案例中 agent 发现残留皮正好对应力记录 <1 N 的区段（53-62、92-101、138-148 mm 三处），修订为力 >4.5 N 才前进否则原地等待。修订可及运动参数、接触条件、控制逻辑与动作序列；执行前检查代码与可达性/工作空间违规；agent 声明收敛或预算（20 rollouts / 4 小时）耗尽即停，冻结程序跑 10 试评估。

开发成本（Table IV）：门把手 17 次迭代（每次 agent 推理 10 分钟 + 机器人运动 3 分钟）、抽屉 8 次、方块敲击从零 13 次/新条件复用仅 2 次、擦拭与削皮用满 20 次——agent 推理占大头。安全：30 N 硬限触发即停止计失败；人工仅限执行授权、场景操作与最终验收。

五、评估指标与实验证据

5.1 HyScale：从单算子到全模型

主实验：GLM-5.1 全模型，512 张 H20，1M token（每样本一条序列，全局批 4M token，BF16，全激活重计算）

加速随上下文增长（问题随 L 恶化得更快，解法收益也随 L 放大）；256K→1M HyScale 步时仅增 1.27× 而 Megatron 增 2.13×；峰值显存相当（不做索引 offload 也至多 +11%）。1M 时步分账：264 s→125 s，pipeline wait 从 106.6 s 减半到 51.7 s（注意力层变快连等待也减半）。HyTopK 把前向 selection 从 35.9 s 砍到 20.8 s，selection replay 把重计算 selection 从 37.0 s 砍到 1.0 s（37 倍）。

分解实验：

• 消融归因（1M 单层，Megatron 层时省 66%）：HyTopK 贡献 37%、replay 18%、实现优化 11%——两项核心技术占 84%；HyTopK 份额随上下文从 8%（256K）涨到 37%（1M），因它替换的稠密 selection 成本增长快于上下文。
• HyTopK 单算子：峰值内存 1.5-1.9 GiB 几乎随上下文持平 vs Megatron 默认 1 GiB 限制下 3.1 GiB（慢 1.22-1.71×）或全表 12-48 GiB（8-26 倍内存且仍慢 3-10%）；确定性排序只加 0.8%，恢复开销 1 失败 +1.8%、64 失败 +4.3%（实测从未超 4 失败）。
• 采样效率（1M 一步全部 81.8M query）：默认 16K 槽缓冲下比 LiteTopK/DoSA 固定阈值少失败 5000 倍以上；随机初始化（每个预训练的起点）下 HyTopK 全部装进 5.9K 槽，LiteTopK 需 10.5K、DoSA 需 12.3K——且两基线根本无法在 CP 下工作。
• 泛化（32 张 H800，1M，块级架构）：DeepSeek-V4-Flash CSA 层 2.01×、Qwen3.8-Flash-Next QSA 层 1.57×；块级每 query 打分数少 4 倍故 selection 占比小、HyTopK 增益相应较小——机制解释与数据一致。
• CP 扩展：强扩展至 256 GPU 每翻倍省 1.65-1.96×；16K query/GPU 从 128K 到 8M 上下文 HyScale 层时仅增 11×（Megatron 增 190×），8M 时加速 22.3×；Megatron 在 128 GPU 即停止改善甚至倒退（每层重建 CP layout 的主机同步随 GPU 数线性增长）。

指标如何证明论点：2.07× 直接对应打掉 47% selection 占比的预期上界；内存-时间曲线（Figure 11a）证明 HyTopK 移除了 Megatron 被迫在两者间取舍的权衡（分块小到喂不饱 GPU vs 全表爆内存）；泛化实验排除「只对 DSA 特调」的质疑。

5.2 4DMemory：13 模型全景

主表（Overall = (C+D)/N，三裁判）：13 个 API 模型全部经 4DMemory Harness 跑满 5,214 题（快照 2026-09-25）。最高 Muse Spark-1.1 77.79%（Opus 裁判 77.88/78.82 order-relaxed），其后 Grok-4.6 75.55%、Gemini 3.7-Flash 73.34%、Qwen3.8-Max 72.59%。12/13 系统 Invocation ≥98.70%（工具都肯调），但 Ordered 与 Order-relaxed 之间 Muse 差 7 个点（364 题答对且操作成功但顺序违规）——发起工具、按序执行、答对答案是三种可分离的能力，聚合分掩盖之。

跨基准对照（Figure 2）：同批模型在 Video-MME/LVBench 上的分数移植到 4DMemory 全线下降超 10%——更长时间跨度+组合式问题显著更难。

分布式计数是共同短板（六个独立视频时空子型，2,785 题）：所有系统计数分低于排序分——GPT-5.6 Sol 排序 72.49% vs 计数 44.35%（差 28.14 点，双裁判完整），Gemini 3.7-Flash 82.17% vs 45.43%，最高计数仅 Muse 47.58%。排序事件不等于能跨分离观测可靠累加计数。

细分剖面互补：Grok 排序 83.19% 与跨模态绑定 81.58% 领先、Muse 状态变化 73.80% 领先、Qwen3.8-Max 轨迹追踪 66.46% 领先——聚合冠军 Muse 的领先主要来自电视题（比 Grok 多对 125 题，其中集级视觉题 163/172 vs 47/172），独立视频时空题两者几乎同分（74.92% vs 74.97%）。

时间跨度无一致趋势且与任务构成纠缠：GPT-5.6 电视时空从集 87.86% → 季 38.98% → 全剧 12.50% 单调暴跌，Gemini 3.7-Flash 反而 72.86% → 84.75% → 100% 单调上升——两组的推理操作与证据要求本就不同，时长效应无法孤立解读（作者诚实地把这作为解释边界而非掩盖）。

局部比较 vs 全序列聚合剧烈分离：GPT-5.6 人-物计数差全部 64 题对、比 107/108 对，但高于均值单元计数仅 1/17、时间前后半比较 1/16、趋势反转 1/17；Grok 恰好相反（比率题 25.93% 但高于均值计数 82.35%、趋势反转 94.12%）——检索少量出现并比较数量，与沿有序序列聚合，是两种可分离的能力，联合准确率无法定位失败在检索、执行还是计算。

指标设计如何服务论点：Invocation/Ordered/Order-relaxed/Overall 四级把「会用工具」与「用对工具」与「答对」拆开；任务×范围交叉表让「时长」与「任务构成」两个变量显式呈现；双裁判+快照+provisional 标记（Qwen3.8-Flash/3.7-Plus 有未完成裁判）控制评估不确定性。局限（作者自述）：无 agent 微调实验、两部委情景剧覆盖、裁判不确定性、以及结果刻画的是 reasoner-observer-tool 整体系统而非因果归因于 harness。

5.3 UserArena：五级全扫 + 生产对账

主对比（全部统一 Qwen3.5-2B 底座排除规模混淆；文本组 RecAgent/Agent4Rec/SimUSER/Shop-R1/Customer-R1/AlignUSER，GUI 组 A/B Agent/STA）：

单会话 8 项 L1-L4 指标 OPTD 全部第一：F1 0.4178、Acc 0.3204、DM-JSD 0.0156、TE 1.72、PF 0.8692、ΔCTR 0.0026、ΔACR 0.0430、T-JSD 0.0387。跨会话 8 项中 5 项第一 2 项第二（STA 宏 F1 与 ΔCTR 领先，但其增益不跨层一致）。

生产 A/B 验证（最有说服力的实验）：同一排序策略对（control vs treatment）在各模拟器离线复跑（10,000 用户冻结池均分两臂、商品目录固定），以 ΔPV-CTR 效果比与线上对照：

三点结论：OPTD 误差比次低低 50.2%；所有任务专用 RL/SFT 模拟器把策略响应衰减到近乎为零（0.02-0.30 倍）；通用大模型容量≠行为校准——不调 GPT-6 反而高估 58%-115%。连 OPTD 也仍低估 28.7%，全部模拟器都有残余差距（作者不回避）。

图灵式人评：三名标注者盲比真实-模拟轨迹对（各 200 对，Fleiss κ=0.528）。OPTD Human win 率最低（38.7%）且 Model win 率最高（26.3%）——标注者最难把 OPTD 轨迹与真实记录区分开。（注：此前提取稿中的 24.5% 为误读，正确值为 38.7%。）

行为构成支撑指标设计：动作高度不均衡（下滑 38.34% vs 购买 1.02%）→ 必须宏平均+分布指标；92.0% 商品只被点一次、最热 1% 商品仅占 3.23% 点击 → 交互远超小热门集，长尾覆盖真实。

消融：去任一组件至少一项指标退化；w/o SFT 退化最剧。效率上 OPTD 总 token 少于 STA 且延迟曲线贴合——保真增益不需系统性增加每步延迟。

5.4 FORCA：五任务三场景

场景一：精确操作（抽屉+门把手，10 试冻结程序）

方差也大幅收窄（5.4→1.6、3.2→0.3）——力探测不仅降均值误差，还把行为变成确定性的。

场景二：物理自适应（方块/圆柱 × 白板/木板，61.9 g vs 663.6 g、摩擦不同）：白板立方体上从零开发的程序（13 次迭代），迁移到三个新条件各只需约 2 次附加修订即进目标带——经验保存在可执行代码里，条件变了可续改，不必重训。

场景三：在线接触调节（擦拭+削皮，各 10 试）

关键对照在手持花瓶：两种方法都在静态上调优后不做任何修订直接迁移——视觉-only 的静态轨迹偏移调优（对固定表面反复调偏移量）在花 vase 移动时全面失效（去除率 73%→21%），FORCA 的程序内力反馈闭环实时跟上移动表面（99%→93% 仅降 6 点）。静态调优的轨迹在动态场景失效、力反馈天然适配——这是全文最干净的证据。

迭代过程证据（门把手开发史，Table V）：FORCA 主要败在压杆（把手转了但锁舌没开），它从压杆力记录中发现阻力陡升=终点挡块的信号，逐步加入「过 65° 才认终点」「力降后才拉」等接触证据驱动的状态转移条件；视觉-only 主要败在抓取与拉（把手反复从夹爪滑出），只能反复调抓取与指令角度，20 轮未解决。两类失败模式的对比直接展示力记录的诊断价值。

指标如何证明论点：成功率/误差证场景一、迁移迭代数证场景二、接触损失率（擦拭 <1.5 N 超 0.2 s、削皮 <0.8 N 超 0.2 s 的活跃时间占比）与过力率（>10 N 占比）证场景三——分别对应力觉的三种价值（几何精化、物理属性适应、在线调节），且全程 30 N 硬限保护。

六、效果优势的根源解释

6.1 根源机制与证据链

HyScale：表征纠正 → 内存流量坍缩 → 时间坍缩

baseline（Megatron-LM）为什么曾经有效：把 selection 当标准激活处理，兼容既有算子框架（scoring 写表、top-k 读表）、兼容既有重计算策略（算子粒度全留或全跑）、实现简单。在 128K 以下 selection 占比小，这笔浪费可忽略。

根本局限（机制层）：错误表征导致两条不可逾越的障碍——(a) 分数表随上下文线性增长（n×L），32 GiB 的表迫使 query 分块到喂不饱 GPU，且 top-k 只留 0.2%，99.8% 的显存流量是纯浪费；(b) 算子粒度的重计算只能全留（内存爆）或全跑（selection 第二遍全量重打分）。

因果链（每步标注证据等级）：

1. 洞察「selection 输出是索引不是激活」→ 反向只需 k 个被选分数 [论文附录 A 推导，已支持]
2. → HyTopK 边打分边按乐观阈值取舍，分数表从未存在于显存 [实测：峰值内存 1.5-1.9 GiB 持平 vs 全表 12-48 GiB，已支持]
3. → 无分块全 query 并行 + 内存流量消除 → 前向 selection 35.9→20.8 s [已支持]
4. → replay 按条目粒度只重打 k 个 → 重计算 selection 37.0→1.0 s（两个数量级）[已支持]
5. → 乐观阈值可行的前提是失败罕见且恢复廉价 [实测从未超 4 失败、64 失败也只 +4.3%，已支持；「3 倍余量在任意分布下足够」属工程经验，推广到极端尖峰分布未证——阅读者推测]
6. → 相邻 query 局部性（71% 共享）来自语言注意力的固有结构 [论文实测 21/78 层；跨架构普遍性未穷尽——推测]
7. → 端到端 2.07×、消融归因 84% 来自两项核心技术 [已支持]

反事实：去掉 HyTopK 只留 replay+工程优化 ≈ 剩 29% 层时节省；去掉确定性排序只损 0.8%；去掉恢复机制则任何溢出都要主机同步或全量回退——每项设计的必要性都有数字。

4DMemory：为什么分布式计数是共同短板

因果链：

1. 计数需要「枚举→时间接地→去重→聚合」四步串联，任何一步漏检/重复/错位都直接改变总数 [EC-Bench 外部证据：枚举 F1 与计数准确性强相关 ρ=0.692、证据越分散计数越差、时间接地质量与计数误差负相关——方法不同（证据标注诊断 vs harness 基准）结论一致]
2. harness 的词法检索（TF-IDF+时序邻居）按查询相似性召回，分布式证据的每次出现措辞可能迥异 → 种子漏检无补 [推测——论文未做检索失败归因，联合准确率无法区分检索/执行/计算失败，作者明示此局限]
3. 排序只需相对少量检索到的出现，计数需全覆盖 → 28 点差距 [已支持]
4. 高于均值/趋势反转类需先沿全序列聚合再应用阈值，GPT-5.6 全对差值比较但 1/17 高于均值题——「计算阈值再跨单元应用」是与「直接比较」可分离的操作 [已支持]

UserArena：为什么 OPTD 最接近生产而通用模型高估

baseline 为什么曾经有效：SFT 简单直接；GRPO 用标量奖励优化终态；提示式模拟器零训练即用。

根本局限：SFT 的 teacher forcing 只见真实前缀+精确匹配惩罚合理替代行为；GRPO 的标量奖励对会话意图盲且信用分配粗——它们优化的目标（下一动作一致）与要评价的东西（长程行为+策略响应保真）结构性错位。

因果链：

1. 意图给 teacher 全局行为先验但不泄单步答案（抽取规则排除具体动作/商品/价格）→ 长程结构保真 [DM-JSD 0.0156 单会话/0.0284 跨会话，已支持；消融 w/o intent 退化]
2. 蒸馏在 student 自身 rollout 上 → 消除暴露偏差 → rollout 指标（L2-L4）受益 [OPD 文献共识：误差累积从 O(εT²) 降 O(εT)——GKD/MiniLLM 及后续 AC-OPD/UOPD 等多方验证，属多项研究共同支持的机制]
3. 信任域把意图影响限制在 ε=0.02 KL 预算内 → 防止学「抄答案」、保住与可观测状态一致的行为 → 效果比不过度偏离 [消融 w/o trust 退化；推测成分：ε 的具体值如何影响外推未见扫描实验]
4. 策略效果保真的根源在于人群异质性保持（PF 0.8692 最高）+ 决策分布保真 → 不同策略臂下的响应差被正确模拟 [A/B 误差 0.287，已支持]
5. 通用模型高估的机制：GPT-6 未见该环境行为分布，把排序变化放大成过强行为响应 [论文观察；机理层面属推测——单一策略对上验证，多策略对泛化未证]

FORCA：力觉的三重证据价值

baseline（视觉-only 同 agent）为什么曾经有效：静态、不透明、几何清晰的物体上视觉估计足够；静态表面上轨迹偏移调优有效（擦拭静态 73% 去除率证明它并非不能工作）。

根本局限：视觉对透明/反光表面几何不确定（抽屉把手、门把手），质量与摩擦不可见（方块敲击无法预测滑距），表面移动时静态调优的偏移全部错位（手持花瓶 21%）。

因果链：

1. 接触探测提供视觉无法提供的几何证据（接触位姿+工具几何→表面高度/抓取位置更新）→ 平移/旋转误差与方差双降 [抽屉 8.3→5.3 mm、9.6→1.0°；门把手 65.3→20.0 mm、55.5→0.6°，已支持]
2. 程序内 100 Hz 力反馈闭环实时响应表面变化 → 静态调优失效处它仍有效 [零样本迁移对照：视觉 73%→21% vs FORCA 99%→93%，已支持——这是力反馈优于离线调优的最直接证据]
3. 失败诊断从「看结果猜原因」升级为「力记录+视觉双证据定位」→ 修订有的放矢 [削皮案例：残留区段与力 <1 N 区段精确对齐后修订一次即连条；门把手开发史，已支持]
4. 经验以可执行代码+笔记形式保留 → 新条件少量修订即恢复 [场景二迁移 2 次迭代，已支持；但「代码经验」跨更远任务族的泛化未证——推测]

6.2 相关工作检索与对照

6.3 综合判断与未决问题

多项研究共同支持的机制：(1) 消除中间大表物化（FlashAttention→HyTopK 谱系一致）；(2) student-rollout 上的密集监督消暴露偏差（GKD/MiniLLM/UOPD/OPTD）；(3) 力觉补足视觉在接触任务的信息缺口（FM-VLA/FAVLA/GenCHiP/FORCA 跨训练与免训练范式一致）；(4) 长视频计数瓶颈在证据而非算术（EC-Bench/4DMemory 独立同结论）。

仍属推测或单点证据的：HyScale 乐观阈值的 3 倍余量在任意分数分布下的普适性（未理论刻画）；4DMemory 词法检索的漏检是否为计数失败主因（无检索归因实验）；OPTD 信任域 ε 的敏感性（无扫描）；GPT-6 高估策略响应的深层机理（单一策略对）；FORCA 代码经验跨任务族的泛化（仅同任务族内验证）。

适用条件与可能失效：HyScale 在极尖峰分数分布（top-k 集中在极窄 token 段）下失败率可能上升、恢复成本变大；4DMemory 结论绑定两部委情景剧+网络视频与该 harness 配置，换检索器/观察器结论需重测；OPTD 的 A/B 校准绑定单一平台单一策略对，跨平台外推未证；FORCA 依赖腕部 F/T（不感知接触位置与指内分布，作者自述），长序列紧力约束任务可能超出修订能力。

七、必要知识反推

7.1 领域知识层

• HyScale：学习型稀疏注意力的两步结构（selection O(L) + 稀疏注意力 O(k)）与索引器损失的梯度路径（哪些量 detach、梯度只过 k 个被选分数）——不懂这个就无法发现「输出是索引」；DSA/CSA/QSA/MSA 的条目差异——泛化实验的设计前提；CP 的 all-gather/reduce-scatter 数据流——解耦重叠的前提；激活重计算与选择性重计算的算子粒度传统——才知道粒度可以下沉。
• 4DMemory：认知心理学的编码特异性与情景记忆重构（Tulving 1973/Hupbach 2007）——任务无关存储+目标条件化回忆的设计原型；视频 token 化的稠密性代价——理解为什么名义窗口≠有效视频上下文。
• UserArena：推荐系统世界模型概念（环境+用户模拟器二分）；暴露偏差与 teacher forcing 失配（序列预测经典问题）；电商转化漏斗（feed→点击→加购→购买）——L4 指标的领域语义。
• FORCA：柔顺控制/守护运动经典（Hogan 阻抗控制 1985、Whitney 1982）——生成的力控逻辑本质是这些原理的代码化；腕部 F/T 传感与 wrench 语义；VLA 与编码 agent 两条具身路线的边界。

7.2 方法论知识层

• HyScale：FlashAttention 的 IO 感知设计范式（不物化中间大表）；top-k 采样估计与基数选择/排序算法（radix select 1984-2012 谱系）；「乐观算法+罕见失败+廉价恢复」的算法设计模式（类比乐观并发控制）；GPU kernel 融合与原子操作确定性陷阱。
• 4DMemory：compositional QA 构造方法论（证据链组合+必要性验证+捷径筛查）；基准对比表设计（语料时长 vs 单题时间跨度 vs 多历史范围 vs harness 支持四个正交维度）；LLM 裁判协议设计（多数票、双协议、provisional 标记）。
• UserArena：on-policy 蒸馏（GKD）与广义 JSD；特权信息学习范式（teacher 有 student 无——LUPI 谱系）；信任域方法（对数空间几何插值+二分搜索的可行性来自 DKL 单调性）；A/B 实验的效应量口径（ΔPV-CTR、效果比、效果误差）。
• FORCA：程序合成+执行反馈修订的 agent 范式（Code as Policies 谱系）；物理属性在线辨识思路（知道哪些量不可观才能设计探测）；实验设计中的开发/评估分离（冻结程序+10 试）。

7.3 工程知识层

• HyScale：Megatron-LM 训练栈（CP/PP/DP/EP 组合、分布式优化器）；CUDA/Triton/CuTe 核编程；pinned host 内存 offload 与 stream 重叠；主机同步的隐性成本（CP layout 重建）；位级可复现训练的工程要求。
• 4DMemory：FFmpeg 转码与递归二分、Faster-Whisper ASR、SAM 3.1 多路追踪、嵌入检索与 provenance 缓存策略（cold/warm/hybrid）——harness 的真实工程底座。
• UserArena：生产日志脱敏与不可链接标识符；预渲染+视口裁剪的环境重建（比实时渲染便宜且可控）；ROLL 分布式训练+vLLM 生成+Megatron-Core 优化的组合。
• FORCA：UR5e+WSG-50+RealSense D455 的接口栈；RTDE 100 Hz 环路的实时性预算；30 N 硬限的安全工程。

7.4 知识融合的关键节点

• 节点一（HyScale）：「附录 A 的梯度推导（数学）」×「Megatron profile 中 47% 的实测占比（系统）」×「radix select 算法储备（算法）」三者相遇才有 HyTopK——只懂其中一样都只能停在表层优化。
• 节点二（4DMemory）：「情景记忆的心理模型」×「证据链 QA 构造法」×「工具化 harness 工程」融合出问题无关记忆+问题条件化检索的分层设计。
• 节点三（UserArena）「特权信息学习×on-policy 蒸馏×KL 几何」在「轨迹而非动作才是行为保真的正确粒度」这一洞察上融合——意图是特权信息、信任域是控制泄漏的阀门、student rollout 是正确的训练分布，三者缺一即退化为已有方法。
• 节点四（FORCA）：「经典力控原理」×「代码生成能力」×「执行记录分析」融合——力控逻辑从预写库变成生成对象，诊断从单证据变双证据，这是把控制论知识装进 agent 程序合成范式的化学反应。

八、论文中可以提取的通用性灵感

灵感一：审查中间产物的语义身份——它是数据还是结构？

核心思想：系统中大量低效源于把结构性输出当作数据性激活来存取。论文证据：selection 的 n×L 分数表 32 GiB 只为产出 64 MiB 索引（500 倍差距），识别后前向+重计算双双坍缩两个数量级。推广场景：(1) 数据管线中对超宽表做的 top-K 筛选可改为流式阈值过滤；(2) 推理框架中 MoE 路由的 expert 分配矩阵同样只消费索引；(3) 搜索引擎的候选打分层、向量检索的粗排层同构；(4) agent 轨迹缓存中只重放决策点而非全历史。

灵感二：乐观算法 + 罕见失败 + 廉价恢复 > 保证界 + 昂贵兜底

核心思想：把「必须保证正确」放宽为「几乎总是正确、错了就地廉价重做」，常常整体更快。论文证据：乐观阈值比 LiteTopK/DoSA 的保证下界少失败 5000 倍（因为保证界基于邻居的 top-k，对本 query 可以很差），恢复 64 失败也只 +4.3%。推广场景：(1) 分布式事务的乐观并发控制；(2) 缓存预取的激进预测+失效重取；(3) 编译器投机优化+运行时检查回退；(4) agent 工具调用先信结果、异常时重验。

灵感三：粒度是重计算策略的本质自由度——从算子级下沉到条目级

核心思想：存/算权衡不必在算子粒度两极选择，按输出的消费结构决定每个条目存不存。论文证据：所有算子级策略至少差两个数量级，条目级 replay 落在左下角（4nk 内存、2nkHIdI 计算 vs 全重算 2nLHIdI）。推广场景：(1) 推理 KV 缓存按注意力实耗分层保留；(2) agent 记忆按被引用频率条目化存算；(3) 特征工程管线按下游模型实际使用的特征子集重算；(4) 数据库物化视图的条目级增量刷新。

灵感四：特权信息只通过目标分布间接渗透，且带预算阀门

核心思想：训练时可用的额外信息（完整轨迹摘要）不应直接喂给执行者，而应塑造 teacher 的目标分布、并用散度预算限制其影响幅度——信息增益进来了，分布外泄漏被挡住。论文证据：OPTD 意图条件化+ε=0.02 信任域下 A/B 效果误差 0.287，去掉任一件都退化；对照直接可用的 GPT-6 高估 1.6-2.2 倍。推广场景：(1) 用 hindsight 信息训策略但不许泄漏给执行网络；(2) 教育中教师用全局视角设计练习但不给答案；(3) 合成数据生成中用真实标签控制分布但不暴露标签；(4) RL 的专家示范作为 shaped target 而非直接监督。

灵感五：评模拟器/世界模型的终极裁判是它要替代的实验

核心思想：任何模拟层的离线指标（下一动作一致率、困惑度）都可能与真实干预响应脱钩，必须周期性用被替代的真实实验（A/B）对账。论文证据：单会话八项指标第一的 OPTD 与各项 RL 模拟器的 A/B 效果比从 0.004× 到 2.154× 天差地别——离线指标完全不预测干预响应；模型容量与行为校准脱钩。推广场景：(1) 数字孪生工厂用真实产线实验校准；(2) 经济模拟器用历史政策冲击验证；(3) 交通仿真用真实管控事件回放对账；(4) 用户研究用小流量真实验证大模拟。

灵感六：接触/物理证据是视觉证据的正交维度，双证据诊断优于单证据猜测

核心思想：当主导模态（视觉）对某类信息系统性盲时，接入一个正交物理量并让 agent 学会把它编进程序与诊断回路，能解锁数量级的提升。论文证据：透明抽屉 40%→100%、反光把手 10%→100%、手持擦拭接触损失 55.9%→1.6%；力记录与可见结果对齐后修订一次即连条削皮。FM-VLA/FAVLA 从学习路线独立得出同向结论。推广场景：(1) 硬件运维接入振动/温度频谱诊断故障；(2) 医疗影像叠加生化指标；(3) Web agent 接入网络延迟/错误码作为页面状态证据；(4) 材料检测叠加声发射信号。

灵感七：经验以可执行、可检查、可续改的形式沉淀（代码+笔记）而非参数

核心思想：免训练系统的持续学习可以把物理/交互经验写成程序与注释，迁移时续改而非重学。论文证据：方块程序迁到新物体/表面仅需约 2 次修订 vs 从零 13 次；门把手例程与笔记跨任务保留复用。推广场景：(1) 运维 runbook 从事故记录自动沉淀为可执行剧本；(2) 数据分析 agent 把验证过的清洗逻辑存为函数库；(3) 销售 agent 把有效的谈判话术结构化为策略代码；(4) 实验科学中 protocol 的机器可执行化。

灵感八：分层评估协议——把「会用」「用对」「答对」「答得像真的」拆开量

核心思想：复合能力必须拆成可分离层级分别测量，聚合分会掩盖互补剖面与短板。论文证据：4DMemory 的 Invocation≥98.7% vs Overall≤77.8%（会调工具≠答对），GPT-5.6 排序 72% vs 计数 44%（能力剖面互补）；UserArena 的 L0-L4 把格式合规→局部→序列→人群→结果分层。推广场景：(1) 编程 agent 评测拆「会写/可运行/通过测试/高效」；(2) 客服机器人拆「格式合规/意图识别/任务完成/满意度」；(3) 自动驾驶拆「感知/预测/规划/舒适度」分层验收。

附录：速览对照表

本精读基于四篇论文的 arXiv v1 全文（2610.32057 / 2610.32332 / 2610.30932 / 2610.31841）撰写，所有关键数字均经原文核对；第六部分外部对照均给出可核验链接，推测处已明确标注。