Agent 效率三连精读：HarnessMM、SPECMEM 与 NgramRL

论文 1：HarnessMM: Recursive Self-Improvement for Harness Token Efficiency 发表时间：2026 年 10 月 机构：清华大学 + 微软亚洲研究院（MSRA，两位作者）——高校与企业实验室合作 领域标签：cs.AI，Agent 效率 / Harness 优化

论文 2：SPECMEM: Accelerating Agentic Tool Calling via Live Memory Management 发表时间：2026 年 10 月 机构：University of Illinois Chicago + Salesforce Research——高校与企业研究院合作 领域标签：cs.CL，推理系统 / 投机解码 / Agent 工具调用

论文 3：NgramRL: Accelerating RL Post-Training for Structured Generation via Rollout-Aware N-gram Speculative Decoding 发表时间：2026 年 10 月 机构：UC San Diego（前两位共同一作）+ West Virginia University——纯学术（NSF / PRISM / CoCoSys 资助） 领域标签：cs.AI，RL 后训练系统 / CPU-GPU 协同设计

为什么把这三篇放在一起读？因为它们恰好卡住了 Agent 技术栈的三个花钱如流水的关口：推理回调（HarnessMM）、工具调用解码（SPECMEM）、训练循环里的 rollout 生成（NgramRL），而且三篇的解法共享同一个底层洞察——Agent 的工作负载里到处都是结构性重复，问题只在于你有没有把重复变成可复用的资产。

一、论文背景

1.1 先搞清楚：什么是 Agent Harness

如果 LLM 是大脑，harness 就是大脑之外的一整圈身体：系统提示词、上下文管理、工具注册表、执行循环、失败重试。模型只负责每一次的思考，harness 决定什么时候思考、什么时候动手、把什么塞进模型的视野。OpenAI 的 Codex CLI、DeepSeek 的 DeepSeek Harness，都是这类骨架的具体实现——论文里直接拿这两个工业级 harness 做了实验。

harness 的典型运转方式是 ReAct 循环：推理一步，执行一个动作（写文件、跑命令、调 API），拿到观测结果，再推理一步。每一次推理都是一次完整的模型调用：输入要把历史上下文重新付一遍钱，输出要为生成的每个 token 付一遍钱。

1.2 疼点一：工具反馈后的重复推理

一个被忽视的浪费：很多时候工具反馈回来之后，下一个动作其实早就定了。写完一个程序之后，下一条编译命令的参数已经完全确定；编译成功返回码为 0 之后，下一条测试命令也已经呼之欲出。但传统 harness 不管这些——每次观测一到，照例把全部上下文塞给模型，让模型重新把已经推演过的决策再推演一遍。语义上这次调用是零信息量的，账单上却是全额的。

1.3 疼点二：工具调用的解码延迟

部署侧的真话是：准确性优化得再多，交互场景里等不起也是白搭。每一次工具调用都是自回归解码，一个 token 一个 token 地蹦。好在工具调用高度模板化——查股价的人明天还会查股价，只是股票代码换了。这天然适合投机解码（speculative decoding）：让一个便宜的草稿源先猜一段，目标模型一次前向验证，接受最长正确前缀，输出分布严格不变。可以类比成：实习生先把表格填好，经理只需要盖章或者改一处，而不是从头自己填。

但现有系统有一个致命的习惯：草稿库建好一次就冻结（如 ToolSpec），或者干脆不留跨会话记忆。用户第二天带着新行为回来了，你的草稿库还在重放昨天的快照。

1.4 疼点三：RL 后训练的 rollout 墙

RL 后训练（尤其是 GRPO）是当下提升推理能力的主流路线，但每一步训练都要为每个 prompt 自回归采样一组完整回复（rollout），仅这一段就能吃掉 70% 以上的训练步时。投机解码理论上能救，但有两个坑：模型草稿器要占 GPU 显存——训练时显存已经被策略、优化器状态、KV cache 挤满；策略每步都在变，固定草稿器会越来越不合拍，接受率持续衰减。

1.5 三篇论文的共同洞察

把三个疼点摆在一起，会看到一个统一的模式：

• HarnessMM 看到的重复：同一任务内，跨工具反馈边界的已解析决策；
• SPECMEM 看到的重复：跨会话、跨请求的用户工具调用模式；
• NgramRL 看到的重复：跨 epoch、同一 prompt 的策略自身输出（相邻 epoch 同题 rollout 重叠 48% 至 96%）。

三篇论文分别把这三类重复持久化为可复用的资产——守卫决策图、活的工具调用记忆、per-prompt n-gram 表——并用远比神经网络便宜的确定性结构（CPU 谓词判定、余弦检索、哈希表查找）去激活它们。Agent 效率工程的主战场，正在从推理时省 token，推进到训练循环内部与工具调用生命周期。

二、论文定位和关联工作

2.1 谱系一：压缩与路由（让每次调用更便宜）

• 提示与上下文压缩：LLMLingua 系列压输入 prompt，AgentDiet、观测掩蔽压回放轨迹，思考预算控制生成推理长度。它们缩小每一次调用的体积。
• 快慢架构与路由：Talker-Reasoner 分离响应与规划，RouteLLM 按难度路由模型。它们改变谁来推理、推理多深。
• 与本文关系：这些方法都默认调用本身应该发生。HarnessMM 的差异在于追问这次调用还需不需要发生——用存储的已解析决策直接替换掉它。论文借 Jev 的类型化概率接口做紧凑候选选择，但指出关键区分：加一个选择器并不自动移除原始回调，由此引出它命名的 Substitution Paradox（替代悖论）。

2.2 谱系二：技能与可复用程序（记住怎么做）

Voyager 沉淀可执行技能，SkillLens 检索程序性上下文，ActionEngine 对可复用应用记忆执行任务程序。这些工作让过去的计算指导未来推理。HarnessMM 的 EDG 则更进一步：存储的是 episode 内已完全解析的语义承诺（动作+字面参数），执行时替代推理调用而非辅助它——这是指导与替代的分界线。

2.3 谱系三：投机解码与 agent 推测（猜得快还要猜得对）

• 经典投机解码：Leviathan et al. 与 Chen et al. 2023 奠定 draft-then-verify 范式，输出分布无损。
• 检索式草稿：REST 从静态数据库检索续写；PLD 只从当前 prompt 抄 n-gram；SuffixDecoding（NeurIPS 2025 Spotlight）用后缀树缓存历史输出，在 agent 工作负载上最高 5.3 倍加速。
• agentic 推测浪潮（2024-2026）：ToolSpec 用 schema 感知 FSM + 检索历史调用，报告 3.5-4.2 倍加速，但其评估用的数据库建好即冻结、全局共享、无驱逐、无副作用门控；SpecHop 推测多跳检索，Speculative Interaction Agents 做异步 I/O 重叠。这批工作全部不保留跨会话记忆——这正是 SPECMEM 的切入点：它把 ToolSpec 留给 future work 的存储管理问题（liveness、范围、驱逐、门控）当成正题。
• 在线投机解码：OSD（ICML 2024）用在线蒸馏训练草稿器追分布漂移，证明活性必要但代价是训练循环；SPECMEM 证明对检索式存储而言，保持活性只是一次写回。
• 投机执行安全：ToolEmu、R-Judge 等记录了工具风险的真实性，但现有推测引擎一律假设工具可以安全投机执行。SPECMEM 指出关键属性不是幂等性（删文件两次与一次结果相同，但错误删一次照样是损失），而是执行是否可能提交不可恢复的外部可见效果。

2.4 谱系四：RL 训练内的加速（在训练循环里动手）

• 模型草稿器：Medusa、EAGLE 系列训练额外草稿头——在 RL 场景双重失效：占显存 + 策略漂移导致接受率衰减（OSD 已实证）。
• 同期工作：EfficientRollout 从目标模型诱导量化自草稿器；DAS 独立观察到 rollout 的近因相似性与策略漂移，维护增量后缀树投机器——与 NgramRL 的前提判断一致，属于结论相近的并行工作。
• NgramRL 的定位：不训练、不占 GPU、per-prompt 键控。与 SuffixDecoding 的设置差异是本质性的：SuffixDecoding 服务固定模型、重复来自 agent 管线；NgramRL 在训练内部、策略非平稳、重复来自 GRPO 重访同一 prompt，接受率随训练推进上升而非衰减。

2.5 定位总结表

三、问题定义

三篇论文面对的具体场景不同，但抽象之后是同一类问题：在保证输出质量不变的硬约束下，把工作负载中的结构性重复从成本项变成加速项。

3.1 HarnessMM：能力约束下的计算替代

把任务 x 在 harness 下的执行展开为计算图，节点 v 带模型 token 成本 c_v，策略 π 的成本为 C(π) = E[Σ 1{v 在 π 下被调用} · c_v]。相对原 harness h0 定义能力遗憾 R_b = Q_b(h0) − Q_b(h_π)，问题形式化为：

min C(π) s.t. R_b(π) ≤ ε_b（对每个声明的质量端点）

其核心洞察是把不确定性切成两半：语义不确定性（动作和参数是什么——可由先前的推理一次性解决）与执行不确定性（现在能不能执行——由未知的工具回执决定）。已解析的决策 = 语义已定 + 执行待激活，于是反馈有了新角色：不再是重新推理的触发器，而是激活存储承诺的信号。

配套的是它命名的替代悖论：只有当 C_removed > C_introduced（移除的计算严格大于引入的计算——作者权、选择、回退、恢复都算上）时，替代才净赚。这个不等式是全篇的记账纪律。

3.2 SPECMEM：草稿存储的生命周期问题

给定固定服务模型与多用户多会话查询流，最大化草稿平均接受 token 数（MAT）。其问题化的方式是把存储从名词变成动词——一个被管理的生命周期对象，由四个变量定义：活性（warmup 后是否继续摄入）、范围（全局共享还是 per-user）、有界性（是否驱逐）、执行门控（投机执行前是否检查副作用声明）。

3.3 NgramRL：rollout 自带 drafter

在 rollout 输出分布与目标策略严格一致（无损）的约束下，最大化每步前向提交的 token 数（TPS）。核心抽象是prompt 条件时间局部性：GRPO 跨 epoch 重访同一 prompt 且策略增量变化，因此同题历史 rollout 是一个免费、自更新、天然跟踪策略的草稿源——满足训练场景的全部三个苛刻条件 C1（不占 GPU 显存）、C2（跟随非平稳目标）、C3（跨步重复而非单代内重复）。

3.4 三者的结构对应

这个表的精妙之处在于：三篇论文都把质量保证做成了构造性属性（原生接口执行 / 无损验证），而把节省做成了需要完整核算的经验量。

四、问题解法

4.1 HarnessMM：三件套 + 一个循环

EDG（可执行决策图）：慢推理在决策点 i 发出当前动作的同时，顺手授权一张有界延续图 G_i。图中未来决策节点 d_j = (a_j, arg_j, pred_j, g_j)：原生动作、完整字面参数、前驱依赖、公共执行守卫 g_j: S_public → {true, false}。守卫由作者随节点固定，由 adapter 对照后续观测回执求值——守卫只消费观测到的回执，从不消费预测的结果。

GDR（守卫决策复用）：图跨工具转移被保留。每个回执更新前驱完成度与守卫真值。节点合格当且仅当：

eligible(d_j, s_t) = 1{pred_j completed} · 1{g_j(s_t) = true} · 1{arg_j closed}

参数闭包由 schema 与候选成员检查强制。合格的唯一节点可确定性执行；空集或选择器弃权则交还慢推理。守卫判定是纯 CPU 谓词，不走 LLM。

CCS（认证回调替换）：把被接纳的 GDR 决策变成对下一次慢回调的可执行替换——用原生工具接口执行存储的动作，并生成替换证书 κ_t = (图哈希, 决策 ID, 前驱回执, 精确参数, 工具回执, 被绕过的回调 ID)。审计要求被绕过的慢回调数严格增加（N_slow 差 ≥ 1），保证记账不虚报。

完整任务核算：账本计入图作者权、选择器输入输出、额外上下文、剩余慢调用、回退、恢复、定稿与失败的付费执行——缓存输入也照算。开发成本 C_dev 单列并按 N 摊销。

RSI 外循环：当前 harness 产出训练反馈 → 候选编辑 → 不相交验证集选出保留配置 → 冻结后测试。MiniWoB++ 上八代迭代，成功率 34.38% 爬到 90.63%。

4.2 SPECMEM：一个活的、被门控的记忆

检索式草稿：每用户一个有序映射，存 (query 嵌入, 规范化调用) 对。草稿时取余弦最近邻，过阈值 τ=0.35 即返回并提升 MRU。冷启动逐级回退：个人库 → 小型共享库 → schema 骨架（工具名 + 参数占位符——任何对该 schema 的正确调用都必须共享这个前缀，所以骨架是天然的下界草稿）。

在线写回与有界驱逐：每次验证后无条件写回已确认调用（无论草稿被接受多少，目标输出总是完整的，而确认调用是用户当前行为的最新证据）。容量 C=48，LRU 驱逐。容量扫描显示 48 的容量相对无界只损失 0.04-0.05 MAT，低于约 32 才实质退化。

副作用声明门：每个工具的 schema 里带 safe_to_speculate 标志——true 给只读、无副作用、事务缓冲或可补偿的调用；false 给不可逆副作用调用（无论是否幂等）。只有标安全的草稿可以投机执行，其余照常草稿与验证，但执行推迟到验证确认之后。门只推迟执行不推迟投机，安全调用的收益分毫不动。

4.3 NgramRL：CPU 上的 drafter + GPU 侧的预取

per-prompt n-gram 缓存：每个 prompt 一张查找表 C_p，把该题近期 rollout 的所有 n-gram（阶数 n_min 到 n_max，实验定 n_max=6 在拐点）插入表，映射 (n−1)-token 上下文 → 观测延续及频次。每步增量构建，窗口 W 淘汰过期项（step < t−W+1）——表随策略自更新，无需训练 drafter、不占 GPU 显存，全部驻留 CPU 宿主内存。

草稿-验证：查最长匹配 n-gram，其存储延续作为草稿 token；无匹配则退回标准解码。验证用标准投机采样修正：接受概率 min(1, π_θ(x|c)/q(x|c))，拒绝时从归一化残差重采样——接受 token 的分布严格等于 π_θ，因此 rollout、奖励、优势、梯度在分布上与非投机训练完全一致，训练动态零改变。

自适应 fan-out 预取器：难点在 CPU 缓存的宿主往返——GPU 每步解码要等 CPU 查完下一草稿、调度完才能继续，实测 GPU 空闲约 29%。预取器的做法：第 t 步前向期间，为第 t+1 步的验证结果空间 (j, b)（接受长度 j ∈ {0..k}，目标发出的 bonus token b）建草稿表。j 已知于 CPU，b 未知——于是预测它：对每个被资助的 j 分支取缓存中频次前 f_j 的 bonus 候选，各做一次查找。预算分配最大化期望覆盖 max Σ P̂(j)·ĉ_j(f_j) s.t. Σ f_j = N，贪心求解。全接受分支的 bonus 是已缓存轨迹的下一 token，约 90% 的时间就是第一名候选，只需 f_j=1。验证结果 (j*, b*) 落地后 O(1) 键探测命中即零宿主时间，未命中退回串行查找——最坏不过同步基线，分布始终无损。加速比表达式：speedup(c) = (T_gpu+T_cpu)/(T_gpu+(1−c)T_cpu)。

4.4 三篇方法全景对比

五、评估指标与实验证据

5.1 HarnessMM：完整核算下的质量-成本曲线

指标体系：主指标是完整任务 token 成本（Tokens/task，含输入+输出+作者权+回退+失败执行）与官方成功率；机制指标是付费模型调用数与认证绕过数；统计上用 McNemar 检验与任务配对区间。数据划分 HumanEval 33/33/98、MBPP 85/85/257，验证选型后冻结再测。

工业 harness 主实验（HumanEval，98 题）：

Codex 侧省 29.54% 且成功率持平；DeepSeek 侧省 87.93% 且成功率反升 14.28pp（配对 McNemar p=0.0161）。MBPP 上 DeepSeek 对从 53.98 降到 10.61（省 80.35%），472 次认证替换，成功率 90.27%→91.83%。

MBPP 机制消融（257 题，同骨干）——这是归因最干净的一组：

GDR 持久复用省 26.91%，CCS 回调移除省 19.52%（配对区间 [4.01, 45.57]% 与全图 407 次替换、201 张图中的重复绕过），直接验证两大组件的独立贡献。

伴随配置研究（不同基准各自冻选拔的配置）：ALFWorld 全量 2,133 任务上 66.20% 成功 @31.12k，比 SkillOpt（63.29% @101.33k）省 69.29% token 且高 2.91pp；SearchQA 76.76% EM @0.99k，比 No Skill 省 19.08%、比 SkillOpt 省 38.57%；GAIA2 省 12.41-17.17%。

诚实的反例：AIME 560 题上 HarnessMM 成本比 No Skill 高 28.34%（5.90 vs 4.59 k）。成本分解揭示了原因：0.54 输入 + 4.28 输出 + 1.08 作者权——生成推理主导的数学负载里可复用的已解析动作太少，作者权与额外输入吃掉了节省。这个反例恰恰替替代悖论背书：复用不是免费午餐，其适用条件是决策密集而非生成长推理。

5.2 SPECMEM：接受率动态与归因消融

指标：MAT（草稿与目标 greedy 输出的 token 最长公共前缀均值）、接受比例、精确匹配率；wall-clock 用真实外部投机解码循环计时。

BFCL 多会话流（40 用户 × 12 会话 × 3 种子，每臂 6,814 条计分查询）：

+4.26 MAT（+27%，种子 0 配对 bootstrap 区间 [3.37, 4.10]），且差距对每个用户、每个会话都为正。会话动态才是重点：第 1 会话两者打平（约 21 MAT），冻结库随后衰减进 13.5-14.9 带，SPECMEM 靠持续摄入稳在 18.9-21.5，末会话差距拉到 +46%。Seal-Tools 上更强（+34%，末会话 +54%）；真实多轮 τ²-bench（全 278 任务、GPT-4.1 用户模拟器、1,753 个决策点）上 +22%，且域差距精确追踪新调用占比：airline/retail（82%/56% 独特调用）+27%，telecom（14% 独特）+11%——新工作来得少时冻结库其实够用。

归因消融（四臂同流回放）：

活性占了全部增益（live global 20.06 已覆盖整个 gap），per-user 与驱逐分别只动 −0.15 与 −0.05——五组随机化数据构造中 liveness 承担 100-104% 的差距。但完整配置才是可部署的：回放全局库发现 14-68% 的用户草稿来自其他用户的历史（随任务重叠上升），per-user 分区以约 0.15 MAT 的代价构造性关掉这条跨用户草稿泄漏通道。

副作用门（400 调用流 × 5 种子，14 个不安全工具按严重度 σ∈[1,10] 加权）：

置信度门失败的原理性证据是实测的：错误草稿的检索相似度高达 0.9995，与正确草稿在分布顶端不可区分，0.9 的阈值仍放行 33-60% 的错误草稿。声明门的零代价是构造性的（拒绝执行不安全工具显然无害），其代价只是把每流约 41 个正确的不安全草稿推迟到验证后执行。跨三个模型（gpt-oss-120b / gemma-4-31B / Nemotron-3-Super-120B，跨 MoE/稠密/hybrid-SSM 三架构）复现 +27-29% 差距；wall-clock 在 ToolSpec 自己的四个基准上（同栈重实现对比）全面不回归：API-Bank 1.62× vs 1.21×、ToolAlpaca 1.74× vs 1.66×、BFCLv4 1.18× vs 1.06×、ToolBench 1.69× vs 1.58×，持久化开销仅 9.4/9.5 ms/查询且计入计时循环。

5.3 NgramRL：TPS、重尾与预取覆盖

指标：TPS（每次目标前向提交的 token 数，无损加速的硬件无关代理）；实验用 verl + GRPO，2×A100，vLLM rollout，每步 64 prompt × 5 采样 × 15 epoch，比较 PLD / REST / SuffixDecoding（均 k=16 匹配预算）。

主表（整体均值 / 末 30% 稳态）：

稳态 3.60-7.77 TPS，比 SuffixDecoding 高 1.2-1.99 倍、比 PLD 高至 7 倍；REST 基本无效（约 1.0）。优势追踪输出规律性：prompt 特异性最强的 Spider 最大，跨 prompt 共享 boilerplate 的 CodeContests 上全局缓存早期领先、per-prompt 历史积累后才反超——这个交叉本身就说明增益来自 prompt 条件化而非数据结构。

设计归因：把 per-prompt 键换成全局桶，接受率从 3.05 掉到 2.41（≈SuffixDecoding 的 2.43），而把 SuffixDecoding 缓存扩 4 倍只涨到 2.65——瓶颈是缺 prompt 条件查找，不是缓存大小。窗口扫描：w=4 以零头内存捕获 79-91% 全量接受率，w=16 后更老的历史开始发陈（GSM8K 上 w=∞ 反而略降）——与 Spider 中期见顶回落的动态互相印证：策略输出多样化后老 rollout 过期。

重尾是关键：Spider 上 14.1% 的步接受 ≥12 个草稿 token，10.1% 全接受 16 个——这是对上一 epoch 解法的逐字重放，一次验证全收。小草稿预算会白白放弃这条尾巴，k=16 正是把重尾变成加速的配置。

预取器实测（Qwen3-8B 专用 rig：RTX PRO 6000 96GB + 32 核 Threadripper）：Spider 覆盖率 c=0.966 @N=16（DeepSeek 0.995），实测 rollout 吞吐 1.38×，几乎贴住 1.40× 的重叠理论上限；DeepSeek 直接打满 1.21× 上限。解码迭代从 26.1ms（GPU 忙 18.6 + 闲 7.5）坍缩到 19.2ms。高熵任务 GSM8K/CodeContests 只有 1.05-1.06×（上限也只有 1.10/1.14）——覆盖率与接受率服从同一条规律：高接受任务才有高覆盖，残差 miss 质量是熵限的而非数据限的。

六、效果优势的根源解释

6.1 根源机制与证据链

HarnessMM 的因果链：

1. baseline 的根本局限不是没压缩，而是每次工具反馈后无差别重新调用推理——对语义已被先前推理固定的动作，重复支付完整的输入+输出（DeepSeek 基线 9.73 次调用/任务）。
2. 机制改变：已解析决策持久化为 (动作, 字面参数, 前驱, 守卫) → 守卫只消费观测回执、CPU 判定 → 回执满足即由原生接口执行 → 整次模型调用被移除。【论文实验已支持：147/472 次认证绕过与调用数下降直接对应】
3. 节省大于引入的前提是决策密集：MBPP 消融中 GDR+CCS 两项合计节省 26.91%+19.52%，而完整核算连作者权与失败执行都计入。【论文实验已支持】
4. 反事实：AIME 上生成推理主导（输出 4.28k vs 输入 0.54k），复用机会稀少，作者权+额外输入反超移除量，成本 +28.34%——替代悖论的实证边界。【论文实验已支持】
5. 【读者推测】守卫谓词的表达能力（能声明哪些公共条件）决定了方法在更开放域的泛化上限；论文在编码/具身域展示了守卫样例，但未系统评测守卫语言表达力与成功率的关系。

SPECMEM 的因果链：

1. 冻结库只能重放 warmup 快照，而后续会话的扰动恰好打在它草稿的参数 token 上 → 接受率衰减是结构性的，不是统计噪声。【论文实验已支持：13.5-14.9 带的逐会话曲线】
2. 在线写回让草稿分布随用户行为漂移而共漂移 → 差距随 post-freeze 新调用占比缩放（telecom 14% 独特 → +11%；airline 82% → +27%）。【论文实验已支持】
3. 归因消融把增益钉死在活性上（live global 已覆盖全 gap），且 warmup 覆盖所有任务时差距缩到约 2%——证明衰减源是 warmup 后新颖性而非 warmup 不足。【论文实验已支持】
4. 置信度门的失败是原理性的：检索相似度与副作用安全正交，错误草稿相似度可达 0.9995；声明门按构造归零。【论文实验已支持，实测非模拟】
5. 【证据缺口，作者自认】用户与会话是合成的（基准任务分区+数值扰动），真实有机多会话遥测的重复结构可能不同——方向稳健、量级待验。

NgramRL 的因果链：

1. 模型 drafter 在 RL 场景双重失效：占 GPU 显存（C1）+ 固定 drafter 对漂移策略接受率衰减（C2，OSD 已实证）；单代 model-free drafter 的证据只限单次生成（C3）。【论文引用+论证支持】
2. 缓存内容 = 策略自身输出 → 表天然跟踪非平稳策略、越训越准（Figure 4 接受率随训练上升；Spider 中期回落对应输出多样化）。【论文实验已支持】
3. per-prompt 键控把检索分布收窄到同题 rollout（3.05 vs 全局 2.41），SuffixDecoding 扩容无效证明增益来自条件化。【论文实验已支持】
4. 接受长度重尾（14.1% 步 ≥12）+ 大 k=16 → 长重复坍缩为单步验证收益。【论文实验已支持】
5. 宿主往返（GPU 闲约 29%）由 (j,b) 预测式预取隐藏 → 迭代时间坍到 GPU busy，1.38× 贴住 1.40× 上限。【论文实验已支持】

6.2 相关工作检索与对照

以下为本次检索核验的外部工作（检索范围：投机解码 agent 加速、RL rollout 加速、草稿器漂移，中英文关键词）：

在本次检索范围内未发现与副作用声明门直接对标的工作（Ghost Tool Calls 门控的是隐私轴，属互补），SPECMEM 的门在投机工具执行语境下是新的问题化。

6.3 综合判断与未决问题

多研究共同支持的机制：(1) agent/结构化负载的重复可被检索式草稿系统性利用（SuffixDecoding、ToolSpec、SPECMEM、NgramRL 四组独立证据）；(2) 非平稳目标要求草稿源自身适应（OSD、DVI、EfficientRollout、DAS 与 SPECMEM/NgramRL 的免训练适应殊途同归）；(3) 无损验证（投机采样/LCP）是把重复利用与质量解耦的关键构造。

仍属合理猜测的部分：HarnessMM 守卫语言在开放域的表达上限；SPECMEM 在真实有机遥测上的差距量级（作者明示为决定性测试）；NgramRL 高熵任务覆盖率的熵限是否可被更聪明的预算分配推高。

优势成立的条件：结构化/决策密集负载、重复率显著高于新颖率、且验证便宜。可能的失效条件：AIME 型生成长推理（HarnessMM +28.34% 成本）；novelty 极低的共享工作流（telecom 域冻结库只差 11%）；策略输出持续多样化且历史迅速过期（Spider 后期、GSM8K w=∞ 的轻微回落）。

七、必要知识反推

假设让一个没有背景的人重做这三件事，最少需要知道什么？

领域知识层：Agent harness 的执行循环长什么样（否则看不到反馈后回调这一浪费点）；工具调用的 schema 与序列化格式（否则设计不出 schema 骨架草稿与 safe_to_speculate 声明）；GRPO 每步采样一组回复、跨 epoch 重访 prompt 的训练动态（否则识别不出 prompt 条件时间局部性）；投机解码 draft-verify 的无损语义（否则三篇的质量保证都无从谈起）。

方法论知识层：完整成本核算与替代悖论——优化必须同时计引入成本（否则会把 AIME 型场景也当成可省的）；缓存生命周期理论（LRU/容量/新鲜度的经典权衡）；投机采样修正公式及其分布不变性证明；消融的归因纪律——SPECMEM 四臂 toggle 与 NgramRL 的全局桶/扩容对照是教科书级的单因子归因设计。

工程知识层：sglang/vLLM/verl 服务与训练栈的真实约束（显存争用、宿主往返 29% 空闲）；CPU-GPU 重叠与预取的时序推理；统计检验工具（McNemar、配对 bootstrap、floorplan-cluster 区间）在非独立样本上的正确使用。

知识融合的关键节点：真正的化学反应不在知识叠加，而在三个跨界移植上——HarnessMM 把程序分析的谓词守卫思想搬进 LLM 执行循环，得到语义/执行不确定性的分离；SPECMEM 把操作系统与数据库的 buffer 管理和声明式事务安全观搬进投机解码，得到记忆生命周期问题化；NgramRL 把体系结构的预取与覆盖优化搬进训练循环，把一个统计观察（rollout 重叠 48-96%）兑换成贴住理论上限的 wall-clock。三者的共同融合点是：用确定性结构承载重复、用无损机制兜底质量、用完整核算裁决净值。

八、论文中可以提取的通用性灵感

灵感一：替代悖论——净收益必须完整核算。 核心思想：任何优化的净收益 = 移除的成本 − 引入的成本（作者权、路由、回退、恢复全算），不等式不成立就是负优化。 论文证据：HarnessMB 的 AIME 反例（+28.34% 成本）与 MBPP 消融（GDR 26.91%、CCS 19.52% 的分离贡献）。 推广场景：编译器 pass 组合的构建时间核算、微服务拆分（拆掉的计算 vs 新增的网络序列化）、RPA 流程自动化的开发维护成本、模型蒸馏（训练蒸馏的成本 vs 推理节省）。

灵感二：把不确定性切成语义与执行两半，已定的部分冻结成承诺。 核心思想：很多反复重新决策的场景里，决策内容早已确定、只是执行时机未到——把决策冻结为带守卫的承诺，用事件（观测回执）而非预测触发。 论文证据：GDR 合格公式三条件（前驱完成 ∧ 守卫真 ∧ 参数闭包），守卫从不消费预测结果。 推广场景：工作流引擎的预编译步骤、数据库事务的条件执行、UI 自动化的预定位、供应链的预备货指令。

灵感三：记忆是生命周期，不是静态资产。 核心思想：任何服务于演化分布的检索资产，冻结即开始贬值；活性的实现可以廉价到只是一次写回。 论文证据：liveness 承担 100-104% 的增益；冻结库逐会话衰减而活库稳住；warmup 全覆盖时差距缩到 2%（贬值源是新颖性）。 推广场景：RAG 知识库的新鲜度管理、推荐系统用户画像的在线更新、构建缓存（Bazel/Gradle）的失效策略、CDN 的内容老化。

灵感四：不可逆风险上，声明式门优于概率门。 核心思想：当错误不可逆时，置信度只降低风险频率不消除风险——因为相似度与正确性可以正交（0.9995 相似度的错误草稿）；只有基于声明的硬门能按构造归零。 论文证据：三策略加权代价 800/255/0；置信度门最坏严重度仍是 10。 推广场景：数据库高危操作的审批流、邮件/付款的二次确认、LLM agent 的工具沙箱、自动驾驶的接管判定。

灵感五：非平稳系统的最好预测器是它自己的近期输出。 核心思想：与其训练一个模型去追一个漂移的分布，不如直接把分布自己的近期样本当作预测器——零参数、自更新、天然对齐。 论文证据：NgramRL 接受率随训练上升（Fig 4）；per-prompt 3.05 vs 全局 2.41；SPECMEM 的活库共漂移同理。 推广场景：在线学习的特征服务、A/B 实验流量的自适应路由、输入法的个人化词库、机器人 demo 学习中的轨迹回放。

灵感六：把宿主-设备的同步从关键路径上预测掉。 核心思想：当下一步依赖一个有限结果空间（如 (j,b)）时，按历史统计预算化预取高概率结果，未覆盖者退回同步路径——最坏等于基线，最好抹掉全部同步开销。 论文证据：覆盖率 96.6%/99.5%，迭代 26.1→19.2ms，1.38× 贴住 1.40× 理论上限；speedup(c) 公式给出覆盖与收益的解析关系。 推广场景：分布式训练的梯度预取、GPU kernel launch 流水化、数据库的预读与物化、网络 RDMA 的多路径预取。

附录：三篇速查卡

三篇合起来的元结论：Agent 的效率红利藏在它自己的行为轨迹里——决策重复、调用重复、rollout 重复。谁能把这些重复以零质量风险的方式资产化，谁就把成本曲线弯下来。