上下文的长度成本与精度税——频繁压缩与对抗投机推理两篇论文精读

论文链接：

• You don’t need long context（arXiv:2611.05306）
• Adversarial Speculative Reasoning Improves Long Horizon Agents（arXiv:2611.05345）

代码仓库：两篇论文均未提供开源代码（2611.05306 正文仅留 Lab | Project Moonshot 占位链接；2611.05345 未提及发布计划）

发表时间：均于 2026 年 11 月 3 日提交 arXiv（v1） 机构：

• You don’t need long context：NVIDIA（全部 12 位作者均来自 NVIDIA，© 2026 NVIDIA）
• Adversarial Speculative Reasoning：Subconscious Systems Technologies, Inc.（第一单位）+ MIT + Princeton University + Northeastern University 领域标签：cs.AI——LLM 推理系统、上下文管理、投机解码、长程 Agent 评测

〇、为什么把这两篇放在一起读

这两篇论文一篇主张把上下文砍短、一篇主张把关键 token 写得更准，看似方向相反，实际在回答同一个母问题：当 agent 的推理质量、服务成本、解码速度全部押在上下文（KV cache）这块物理载体上时，上下文到底该如何分配？

两篇论文共享三个前提：

1. 长程 agent 的工作记忆就是 KV cache。agent 每生成一个 token，都被编码进 KV cache 并被之后的所有步骤读回——上下文既是账单（论文一：后期 token 生成成本最多贵 7 倍），也是记忆（论文二：写入精度不均会污染后续几十轮推理）。
2. 推理系统的默认选择并非中性。什么时候压缩历史、投机块在哪里断开，这些过去被视为与任务精度无关的工程细节，两篇分别证明它们显著影响 agent 的准确率与成本。
3. 评测都落在 mini-swe-agent 系的长程软件工程任务上，都把端到端任务成功率（而非中间指标）作为最终裁判。

一个有趣的边注：论文二引用的 AgentBaton（arXiv:2610.35959，长程任务关键推理路由给更强模型）作者名单与论文一的 NVIDIA 作者高度重合（Jiang、Fu、Ye、Byeon、Belcak、Molchanov），说明 NVIDIA 内部在围绕上下文经济学做系统性布局——把关键推理路由到更强模型、把历史压成语义状态、把精度分配给决策点，是同一条研究线的三种切法【阅读者推测】。

一、题目在说什么

1.1 You don’t need long context：标题即论点

标题是一个直接的否定句，对应论文的总研究问题 RQ0：Are long contexts necessary?（长上下文是否必要？）作者的回答是否定的，并把它拆成三个可实证的子问题：

• RQ1：长程任务（long-horizon）不靠长上下文能否完成？
• RQ2：长输入任务（long-input）不靠长上下文能否完成？
• RQ3：每个上下文里至多执行一个动作，长程任务还能完成吗？

三个子问题的答案都是 yes。值得注意的是论文的文体：这是一篇 position paper 加大规模实证研究的混合体——观点激进（question the need for long-context language models），但每个观点都配了基准数据。副标题式的立场是：与其训练能塞进《战争与和平》的窗口，不如教模型维护一个小的语义状态。

1.2 Adversarial Speculative Reasoning：每个词都在反转一个共识

标题三个关键词各有所指：

• Adversarial（对抗）：draft 模型的训练方向反转——不是学会同意目标模型以最大化接受率，而是学会在关键决策点上提出目标模型必然会拒绝的续写。
• Speculative Reasoning（投机推理）：把投机解码（speculative decoding）从纯粹的解码加速器，重新定义为影响推理质量的机制。
• Improves Long Horizon Agents：提升的不是每秒 token 数，而是长程 agent 的端到端成功率——这在投机解码十余年的文献里是第一次。

一句话概括两篇标题的合奏：上下文的长度可以被砍掉（论文一），上下文的精度可以被经营（论文二）。

二、论文背景

2.1 长上下文的账单：token 生成成本随深度线性增长

论文一开篇引用计算复杂度结论：生成一个 token 的计算成本与其在上下文中的深度呈线性关系（On the computational complexity of self-attention 一脉）。这在服务端被翻译成三笔账：

• 云成本：把上下文窗口从 256K 降到 16K，同一硬件上每秒可解码的 token 数提升 3.6×（GLM 5.2）、5.6×（Kimi K2.6）、7×（Qwen 3 Coder Next）；折算成 1M 输出 token 的美元成本（H100 按每小时 3.85 美元的按需价，2026 年 9 月 Nebius 报价），256K 窗口比 16K 窗口贵同样倍数。这个节省幅度与激进取量化、结构化稀疏化等正交优化相当甚至更大【论文实验已支持】。
• 本地延迟：在 NVIDIA DGX Spark（128GB 统一内存）上实测多款本地编码模型，若干模型的后期 token 生成延迟约为早期 token 的 2 倍，显存占用同步上升【论文实验已支持】。
• 窗口军备竞赛：论文用一张意味深长的对照表收尾——GPT 5.6 Sol 的 1.05M token 窗口已经超过《战争与和平》（约 753K token）与《魔戒》（约 640K token），模型在为可能的最大输入演化，而不是为效率演化。

2.2 投机解码的无损神话：分布无损，精度不均

论文二的出发点是投机解码的标准叙事：小 draft 模型提议一个 token 块，大目标模型一次前向验证整块，拒绝采样规则保证输出分布与目标模型完全一致（Leviathan et al. 2023；Chen et al. 2023）。因此所有改进 draft 的工作（Medusa、EAGLE、DFlash、DistillSpec）都只看一个指标：接受率。

但无损保证是写给理想化目标函数的。真实部署中的前沿模型跑在 NVFP4 权重、FP8 KV cache、稀疏注意力上，输出并非位级可复现。已有工作证实：bfloat16 下不同系统配置能让推理模型精度波动数个点、回复长度波动数千 token（Yuan et al. 2025）；服务引擎中大量 run-to-run 方差来自非批不变内核（He & Lab 2025）。论文二的问题是：这些数值噪声在投机验证块内部如何分布？

2.3 长程 agent 的误差累积：每个 token 都在塑造后续

两篇共同的第三个背景是长程 agent 的脆弱性。SWE-bench 类任务动辄几十到上百轮、上下文膨胀过 200K token，每一步的小误差会复利。Sinha et al.（ICLR 2026）证明所谓 self-conditioning：一旦上下文里包含模型自己早先的错误，它更可能继续错，且更大的模型也不能幸免。另有工作（Lin et al. 2025；Wang et al. 2025）发现少数关键 token 决定推理走向——约 20% 的思维链 token 是高熵分岔口。论文二正是把这两个事实接在一起：关键 token 决定走向，走向又被写入上下文的编码精度所影响。

三、论文定位和关联工作

3.1 论文一的谱系：上下文压缩与状态空间模型

论文一自我定位为对长上下文必要性的系统性质疑，与两类工作对话：

• 长上下文基准：LongBench v2、LOONG、RULER、BABILong 等默认把长输入一次性塞进上下文来评测；论文一反过来证明这些任务用 16K 窗口加文件系统选择性阅读反而做得更好（如 RULER recall 62.5%→95.7%），并直接批评大海捞针基准的立论前提——它们预设存在一类本质上需要长上下文的任务，而论文一声称没有找到任何证据【论文实验已支持】。
• 状态空间模型（SSM/Mamba 谱系）：SSM 在 token 生成间维护黑盒神经状态；论文一提出的 SSSM 把状态提升到自然语言层面——可解释、可跨推理实例传递。这是对 Mamba 一脉（arXiv:2312.00752）概念层面的挪用而非实现层面的继承【阅读者推测】。

需要指出：工业界 agent 产品（如各类 CLI agent 的 auto-compaction）早已实践压缩，论文一的增量在于把压缩频率推到极限（每动作一压）并首次给出跨 13 个基准的系统测量；原文未与这些产品做正式对比。

3.2 论文二的谱系：draft 训练与关键 token

论文二站在三条线的交叉点：

• draft 训练谱系：Medusa（arXiv:2401.10774）、EAGLE（arXiv:2401.15077）、DistillSpec（arXiv:2310.08461）全部训练 draft 去同意目标；Judge Decoding（ICLR 2025）为提速干脆放弃精确验证。本文反其道：验证规则与精确性保证原封不动，只反转训练方向——用 DPO 让 draft 偏好目标应当拒绝的一侧。
• 关键 token 谱系：Lin et al. 与 Wang et al. 都改动大目标模型本身；本文只训 draft（0.06%–0.28% 的系统参数），目标模型权重一个字节不动。
• 数值非确定性谱系：前人把精度当作要消除的系统属性；本文测量它在验证块内的结构化分布，并第一次把这种分布当作可利用的资源。

3.3 两篇的互补定位

一个干净的对称：论文一管信息的取舍（哪些信息值得留在上下文里），论文二管信息的编码（留下的 token 以什么精度写进 KV cache）。论文一把状态推到符号层（语言化的语义状态），论文二在亚符号层修补编码质量。二者合起来覆盖了 agent 记忆管理的完整垂直切面。

四、问题定义

4.1 论文一：长上下文工作负载的二分与规约

论文一把产生长上下文的工作负载分为两类：

• LCW1 长程任务：完成需要大量顺序动作，历史随动作累积（SWE-bench、Terminal-Bench 等）；
• LCW2 长输入任务：任务本身伴随大输入（LongBench v2、LOONG 等）。

关键的概念操作是：LCW2 恒可规约为 LCW1——把长输入存进文件系统，给模型一个选择性阅读工具（Bash 里的 grep/sed/head），长输入就变成了一系列读取动作组成的长程任务。于是两个 RQ 共享同一套解法框架：只要证明长程任务不需要长历史（RQ1、RQ3），长输入问题随之消解（RQ2）。论文还给出操作性定义：长上下文约指接近 256K 的量级，短上下文指 16K–50K——并提醒 16K 已装得下《老人与海》（约 37K token 的一半）级别的复杂文本。

4.2 论文二：把块终止位置变成控制信道

论文二的问题可以形式化为：设目标分布为 p、draft 分布为 q，投机采样以 min(1, p(v)/q(v)) 接受 draft token v，拒绝时从残差分布 r(v) ∝ max(0, p(v)−q(v)) 重采样。对任意 q，提交 token 的分布严格等于 p——draft 无法改变输出什么。但 draft 控制着另一个量：

Pr[reject] = 1 − Σ min(p(v), q(v)) = TV(p, q)

即块在此处终止的概率。被拒的 token 由目标模型亲自重采样、写入新验证块的 0 号槽（最精确条件），其后 token 的验证从头重启。于是问题变成：**能否训练 draft，使其恰在 agent 轨迹的关键决策点（思考中敲定方向的句子）必然被拒，从而强制关键推理以最高精度写入上下文？**约束是：常规 token 处 draft 仍需保持高接受率，解码速度不能明显下降。

五、解法

5.1 论文一：三种上下文管理机制

论文在 mini-swe-agent v2.4（SWE/终端任务）与其泛化版 mini-agent（其余任务）上实现三种机制，唯一变量是呈现给模型的历史：

• FHA（全历史累积）：基线。所有动作与观察追加进单一会话，不删除任何东西。
• EoCC（会话末压缩）：常规 ReAct 循环跑到预设压缩阈值（写法为总上下文上限/压缩阈值，如 48K/36K、16K/12K），此时注入压缩提示，让模型产出有界的任务相关状态摘要，然后开启只含原始任务与压缩状态的新会话，循环往复。
• SAC（单动作压缩）：每个会话只执行一个环境动作，观察结果后立即更新语义状态，丢弃整个会话。这是 RQ3 的操作化——压缩频率的极限。

5.2 选择性输入阅读：长输入的第一道防线

长输入任务里，文档以 input01.txt 等文件形式放进 agent 的文件系统环境，任务消息只告知文件清单。agent 用标准 Bash 工具按需读取：grep -n 定位实体 → doc-read 读周围窗口（默认 6000 字符、硬上限 8000）→ 必要时用 doc-syn 扩展同义词再搜。系统提示写明纪律：只读需要的，不要倾倒整个文档。论文的实测显示，对多数长输入任务，选择性阅读单独就完成了几乎全部的上下文缩减——NIAH、RULER、Counting-Stars 上两个模型的压缩次数中位数都是零【论文实验已支持】。

5.3 好压缩的解剖：不是叙述，是简报

附录 A 给出了论文最有工程价值的一手发现：把压缩当摘要做是次优的——摘要会对所有事实均匀加权、过度强调轨迹中重复出现的片段。最保精度的压缩不是忠实的历史叙述，而是为后续执行精心挑选的简报，固定包含：

1. 输入任务的逐字或近逐字拷贝；
2. agent 当前的处境、意图与计划的下一步；
3. 与未来执行直接相关的全部制品——含 (3a) 从任务分解出的计划、(3b) 判定任务完成的要求清单，以及指向相关信息的指针。

mini-swe-agent 的压缩提示词据此结构化为六字段：Objective / Established facts / Applied changes / Verification / Dead ends / Remaining plan——其中 Dead ends（不该重复的失败路径）是 agent 工作流特有的增量。

5.4 实验设置的规模感

两篇的实验矩阵值得单独记录，因为数字本身就是说服力的一部分：

长程六基准的构成为：SWE-bench Verified（500 题）、SWE-bench Multilingual（300 题、9 语言）、Terminal-Bench 2.1（89 题）、FRAMES（824 题）、τ2-bench（184 题金标集）、BFCLv3（200 个长上下文回合）。长输入七基准为：LongBench v2（503 题、8K–2M 词）、LOONG（1,600 题）、AA-LCR（100 题、平均约 100K token）、NIAH（125 实例网格、16K–500K）、RULER（13 任务、256K/500K 档）、Counting-Stars（192 题）、BABILong（550 题、64K–1M）。这个覆盖面刻意兼顾了真实工作流（软件工程、信息检索、工具编排）与受控诊断（多针、变量追踪、计数）。

5.6 SSSM：把压缩推到模型设计层

RQ3 的肯定答案（见 6.1）引出论文的概念贡献：语义状态空间模型（Semantic State Space Model）——一个以后训练方式学会五件事的模型：(1) 理解对话状态的语言描述；(2) 推理下一步动作；(3) 执行动作；(4) 登记结果；(5) 用推理结论与动作结果更新状态描述，使另一个独立推理实例能接续完成任务。与 SSM 的黑盒神经状态相对，SSSM 的状态是自然语言的，因而可解释、可跨实例传递。作者推测 SSSM 的训练更数据高效（无需教会模型注意历史中散落的补丁）——此为论文原文明示的猜想【阅读者推测】。

5.7 论文二：先量化精度，再经营精度

测量一（块内噪声）：固定前缀与 KV cache，只重复前向传播（每位置 4 次），对比 top-k 对数概率。GLM-5.3（NVFP4 权重 + FP8 KV cache + DeepSeek 稀疏注意力，SGLang，4×B200）配 8 槽 DFlash2 块，测 1631 个位置：0 号槽噪声与单 token 解码持平（0.473 vs 0.478 nats），此后每槽 +0.0195 nats（95% CI [+0.0174, +0.0214]，约为 0 号槽水平的 4%），末槽比首槽噪 34%；>2 nats 的偏移从 3.2% 升至 6.2%，>3 nats 从 1.1% 翻倍到 2.1%。DeepSeek-V4.1-Flash 配 6 槽 DSPARK，绝对噪声约为 GLM 的一半，但相对增速同样是每槽约 4%（+0.0094 nats）。机理：槽 s 注意力所依赖的 0..s−1 槽 KV 项在同一次 launch 里重算，每次重复有自己的舍入，槽 s 继承全部累积波动；0 号槽只读缓存项，故与解码一致。

测量二（长程后果）：把同一思维段（源回合，中位 9K token、前缀中位 45K）分别经投机验证路径与单 token 解码路径写入 KV，再教师强制评分真实轨迹后续最多 128K token（96 个任务，每次构建评分 638 万 token）。结果：30 回合以内两条路径读回无差别；超过约 30 回合后，验证写入的上下文产生 >4 nats 极端偏差的概率高出 10%–20%（比值 0.98→1.09→1.16，71–90 回合回落到 0.99）。在 temperature 1、top-p 0.95 的采样下，1–2 nats 的偏移就足以让 token 在 12% 的情形里进出采样核，>3 nats 时达 84%——噪声不是纸面数字，而是真实的分布扰动【论文实验已支持】。

5.8 对抗投机：让 draft 学会说错话

解法分四步：

1. 定位决策点：agent 推理中敲定方向的句子（committing sentence，至多 35 词），由 judge 逐字返回——judge 就是目标模型自己，不引入更强外部模型。
2. 定义偏好：GLM-5.3 的思考较长，用决策框架偏好——审计发现 principle/evidence 框架（从规范或仓库证据推导）的决策正确率约 70%，likely/risk/simpler 框架（猜测保守求稳）仅约 36%，故前者为优选侧、后者为对抗侧。DeepSeek-V4.1-Flash 思考更简（2/3 的 likely 句子无词汇标记），失败集中于不经验证就拍板，故用行为偏好——思考后实际跑了测试/脚本的续写为优选侧，只发其他命令的为对抗侧。
3. 构造 fork 对：在真实轨迹的每个决策点，取决策句开始前的前缀为分叉点，从目标模型采样 n 个续写（temperature 1、top-p 0.95），judge 标注后把同一 fork 下的优选与对抗续写配对——两段共享前缀，梯度只来自分叉之后。只保留两侧都出现的 fork（教框架而非教对错），并按任务粒度切分训练/留出集防泄漏。GLM-5.3：29 任务、1,668 个 fork、每个 16 个续写（28,356 样本）、2,843 对（6 任务 619 对留出）；DeepSeek-V4.1-Flash：2,203 个 fork、每个 12 续写（26,418 样本）、6,391 对（留出 719 对，训练 5,100 对）。
4. 反向 DPO：窗口化奖励为训练 draft 与冻结原 draft 的加权对数比值，损失为 −log σ(β[r(yw)−r(yl)])（β=10）加可选 NLL 锚定项；选中的是目标应当回避的一侧。推理时 draft 恰在决策点偏离目标 → 被拒 → 目标模型从残差分布亲自采样决策 token、写入新块 0 号槽 → 关键推理获得最高精度编码。

5.9 训练落点：不到 1% 的参数

• GLM-5.3 DFlash2：draft 从目标第 5/19/33/47/61/75 层隐状态取特征，训 6 层 transformer 与末层 norm（bf16），共 2.15B 参数——draft 的 87%、约 753B 目标系统的 0.28%；冻结特征投影、候选选择器与目标 embedding/LM 头。
• DeepSeek-V4.1-Flash DSPARK：draft 14.2B（13.6B 在 FP4 路由专家中），先把推理专用内核移植成可微 PyTorch（每专家误差匹配到 1e-7），只训注意力投影、norm、超连接、attention sink 与 bigram head 共 449M（draft 的 3.2%、系统的 0.06%）；FP8 权重走量化感知训练（32×32 块、二次幂 scale），导出后重新量化回部署格式——部署的 draft 计算的正是训练时评估的那个函数。

六、知识反推：从数字倒推回去知道了什么

6.1 主结果

论文一（主实验用 Claude Opus 4.5 与 GPT 5.6 Sol）：

• RQ1（长程，6 基准）：Opus 4.5 相对 FHA 基线精度 −3.7~+5.6pp，GPT 5.6 Sol −3.3~+4.4pp；22 个阈值配置中每模型至多 5 个损失超过 2pp。亮点：SWE-bench Verified 上 Opus 最佳 EoCC 74.8%（24K/18K，基线 70.0，+4.8）、GPT 全部配置持平或更好（最佳 88.8%，+4.4）；Terminal-Bench 上 Opus 每档都提升（最佳 52.8%，+5.6）。估算优化零售成本节省 2.2×–8.8×（Opus）与 2.4×–5.0×（GPT）。
• RQ2（长输入，7 基准）：Opus −0.4~+40.0pp，GPT +1.0~+30.9pp——两个模型在全部 7 个基准上持平或更好。LOONG 平均分 +9.2~+10.1pp（Opus 70.1→80.2，完美率 38.9%→53.7%）；AA-LCR Opus 65.0%→84.0%；NIAH 两个模型直接 100%（基线 60.0/80.0）；RULER recall 62.5%→95.7%、65.5%→96.4%；BABILong +24.9/+23.3pp。成本节省 6.5×–54.6×（Opus）、4.4×–233.3×（GPT；NIAH 基线 56 美元 → 0.24 美元）。
• RQ3（SAC）：Opus 在 SWE-bench Verified 持平（70.0→70.2）、Terminal-Bench +4.6（47.2→51.8）；GPT 小跌 −2.0/−3.3（84.4→82.4、87.6→84.3）。两模型峰值活跃上下文中位数仅 7–9K，最大值从 130–200K 压到 15–37K。

SAC 的完整对照（精度 % / 峰值上下文中位/最大 K）：

• 对话长度不随文档长度增长：LOONG 1600 题上文档跨四个数量级（10K 到 >200K），会话总长集中在相近的带宽内。

长程基准的逐基准明细（相对各自 FHA 基线的最佳/最差变化，pp）：

长输入基准的代表性数字（Opus 4.5 / GPT 5.6 Sol，均为相对全量输入基线）：

两个耐人寻味的细节：其一，NIAH 与 RULER 的巨大提升部分来自全量输入基线本身在超长文档上会迷路（lost in the middle 一脉的老问题），选择性 grep 反而把大海捞针变成字典查找；其二，LOONG 这类证据分散在多份承重文档里的最难任务，16K/12K 配置仍然 +9 以上，说明选择性阅读不依赖 lexical overlap 也能支撑多跳整合——这比 NIAH 的提升更能支持论文的主张【阅读者推测】。

论文二（GLM-5.3-NVFP4 与 DeepSeek-V4.1-Flash，各 5 次独立端到端运行）：

• DeepSWE（113 任务）：GLM 60.6%→67.6%（+7.0，95% CI 2.6–11.4）；DeepSeek 67.8%→71.8%（+4.0，CI −1.3–7.3）。
• NL2Repo-Bench（104 仓库，上游 pytest 打分）：GLM 49.1%→55.0%（+5.8）；DeepSeek 65.0%→66.4%（+1.4，CI 0.4–2.4，p=0.011）。
• 方向反证：同样数据正向训练的 desirable draft 反而降分——GLM 60.6→55.7（−4.9）、DeepSeek 67.8→66.4（−1.4）；且正向 draft 偏好学得更好（held-out 0.80 vs 0.70），排除学得差的因素。

方向反证值得展开：如果增益真来自关键 token 的编码位置，那么在同一批 fork 对上把选中/拒绝互换（desirable draft 在决策点同意目标 → 决策被接受进块内、从噪声槽位写入），就应该观测到镜像的损伤。实验精确复现了这个预测——这是整篇论文因果链上最有力的一环，因为它排除了训练数据、偏好可学性等一切与方向无关的混淆变量【论文实验已支持】。

• 无关偏好反证：27 个用无关偏好（决策对错、思考长度、决策框架）训练的 draft 合并 67.5% vs 无偏 draft 67.8%（p=0.83）；在 DeepSeek 上学得很好的决策框架 draft（held-out 0.64–0.69）也不改变成绩——增益只跟着瞄准真实失败模式的偏好走。
• draft 可学性边界：run-tests 偏好双向可学（0.85/0.83）、决策框架对抗向 0.635；而决策对错接近不可学（最佳 0.61/0.57，中位数 0.52/0.46，在机遇区间内）——draft 不需要知道哪边对，只需要提出目标会拒绝的一侧。
• 代价：逐槽 top-1 一致率变化至多 −1.2pp，每块期望接受长度 2.28→2.28（GLM）、2.5→2.46（DeepSeek，−1.8%）——约 2% 解码速度换取上述精度增益。

6.2 三条被实验支撑的因果链

1. 成本链：token 生成成本随深度线性增长 → 活跃上下文压到 16–48K 规避长 KV cache 代价 → 吞吐升、成本降（3.6×–7×），而任务信息经压缩状态与文件系统外置保留 → 精度不降【论文实验已支持】。
2. 精度链（论文二）：验证块槽位噪声 +4%/槽 → 被接受 token 按所在槽精度写入 KV，被拒 token 由目标残差采样写入新块 0 槽 → 反向偏好训练使决策点必被拒 → 关键推理始终走最精确路径写入 → 长程成功率上升而速度几乎不变。方向反证（desirable draft 降分、无关偏好无效）排除了训练本身的混淆【论文实验已支持】。
3. 信息需求链（论文一）：长输入任务的压缩次数中位数近零、会话长度不随文档增长 → 任务实际所需信息远小于输入规模 → 输入大不构成需要长上下文的理由【论文实验已支持】。

6.3 相反证据与失效案例（两篇都值得盯紧的部分）

• 模型间稳健性差异大：论文一的开源权重补充实验里，Qwen 3 Coder Next 在 SWE-bench Verified 上从 53.0% 崩塌到 3.6%（16K/12K）——冗长轨迹让两次压缩之间几乎没有做有效进展的余地；Qwen 3.6 27B 与 MiniMax M2.7 则相对稳健（Terminal-Bench 16K 档甚至保持基线）。压缩稳健性目前更像模型的涌现属性而非免费午餐【论文实验已支持】。

五个开源权重模型在 SWE-bench Verified 上的完整扫描（本地量化部署，精度 %）：

注意这组实验的架构多样性：混合线性/softmax 注意力（Qwen 系）、滑窗+全局交错（Gemma/Step）、全 softmax GQA（MiniMax）都有覆盖，说明压缩稳健性与注意力机制类型没有简单的对应关系——论文一选中这五个模型本意是证明短上下文主张跨注意力机制成立，但 16K 档的分化同时暴露了主张的边界【论文实验已支持】。论文也强调：即便收紧到最紧档位，所有模型仍能完成相当比例的工作流，中小型编码模型未经压缩后训练也保有实质可用性。

• 并非所有任务无伤：FRAMES 上 Opus 全档下滑（−1.3~−3.7pp）；GPT 在 Terminal-Bench 收紧阈值后 −1.1~−2.2pp；SAC 下 GPT −2.0/−3.3pp。论文自己构造了必输反例：工具不断报告掷硬币结果而预算固定的任务，压缩必然抹掉部分记录——但这类需求可用历史选择性读取工具补救。
• 统计显著性不齐：论文二 DeepSeek 的 DeepSWE +4.0 其 95% CI 含 −1.3；论文二作者也坦承三个均值增益中只有两个分别达到显著。
• 成本节省部分依赖外推模型：零售价优化估算把三个开源模型实测的 16K/256K 成本比（0.2772/0.1777/0.1439，取均值 r=0.20）套用到闭源模型，且按官方牌价计的名义成本节省远小于优化估算（如 LOONG 基线名义 1367.50 美元 → 优化估算 181.11 美元，但名义口径下多数配置反而更贵）。短上下文省钱的前提是服务方按上下文深度定价——这正是论文想推动的方向【阅读者推测】。
• SSSM 目前只是概念：没有任何 SSSM 训练实验；数据高效性是明示的猜想。

6.4 适用边界

• 论文一：结论建立在前沿闭源模型（Opus 4.5、GPT 5.6 Sol）与两个较稳健开源模型上；小模型或轨迹冗长的模型在激进压缩下会崩；需要逐字回忆完整历史的任务必须配选择性读取工具；成本数字换算到你的账单前需确认计价结构。
• 论文二：需要可训练 draft 的投机解码基础设施（本文两类 draft 共约 2.5B–14B 参数，需读目标隐状态、需 QAT/可微化工程）；偏好必须对准目标模型的真实失败模式（决策框架偏好对 GLM 有效、对 DeepSeek 无效）；效应量在 750B 级前沿模型上验证，未测更小目标；slot 精度机制绑定具体 draft 架构（DFlash/DSPARK）与量化配置（NVFP4/FP8 KV）。

补充一个容易被忽略的边界：论文二的 DeepSWE 评测里 GLM 用决策框架偏好、DeepSeek 用跑测试偏好，这是先审计各模型失败模式再选偏好的定制路线——想要复刻到第三个模型，需要重做轨迹审计与偏好定义，没有即插即用的通用 draft。同时论文二自己也承认，增益更大的 GLM-5.3 恰是思考更长更多样的模型（决策句更丰富、可干预面更大），对思考极简的模型，这条机制的杠杆可能天然更小【阅读者推测】。

6.5 两篇互读：张力与统一

表面张力：论文一证明把历史几乎全扔掉（SAC）也不怎么掉分——似乎说明 KV cache 里单个 token 的精度无关紧要；论文二却证明决策 token 的写入精度在 30 回合后仍可测。深层的统一在于状态被携带的层级：论文一把决策蒸馏成语言化的语义状态向前传（此时原始 KV 精度确实无关紧要）；论文二保留全历史时，决策以 KV 编码存在，精度就成为长程一致性的守护者。换言之，论文二为论文一的论点补上了一个机制级论据——原始 KV 历史连均匀精确都做不到，把它当可靠记忆本身就是错的；要么压缩成语义状态，要么为关键 token 争取最高精度编码【阅读者推测】。

七、通用灵感

1. 上下文是预算，不是窗口。把上下文管理从模型参数问题重述为资源分配问题：长度分配（压缩/外置到文件系统）与精度分配（写入条件）是两个新的自由度，两篇分别证明各自能带来数量级成本节省或个位数精度提升。

2. 无损不等于无影响。分布层面无损的优化（投机解码）在数值精度层面可能系统性地偏置长程行为。评估任何系统优化时，应检查其二阶效应：它改变了什么被写进上下文、以什么精度写进、被谁读回。

3. 拒绝是一种控制信道。论文二把被拒绝（通常是失败信号）转化为资源：TV(p,q) 是 draft 可以自由调节的量，拒绝位置决定精度分配。反向 DPO——训练模型故意犯错以触发系统的纠偏路径——是一个可迁移的元模式。

4. 给基准卸下隐形假设。NIAH 类基准预设存在本质上需要长上下文的任务；论文一用文件系统 + grep 把前提拆掉后基准反而更容易。设计评测前先问：这个任务真的需要模型一次性看全，还是只是没人给它递工具？

5. 压缩是简报不是摘要。为未来执行挑事实（任务原文、当前意图、计划、完成判据、死胡同）优于忠实复述历史。这套六字段模板可以直接搬进任何 agent 的 compaction 提示词。

6. 小于 1% 的参数可以重定义系统行为。论文二训 0.06%–0.28% 的参数就把投机解码从加速器变成精度分配器；识别系统中杠杆率最高的参数子集，比全量微调更经济。

7. 给 agent 工程师的操作清单：部署侧可立即落地 EoCC 式压缩（16K–48K 阈值）+ 文件系统外置输入；用投机解码的服务商可以尝试决策点对抗 draft；选型时把压缩稳健性当评测维度（用论文一的阈值扫描协议）；预算敏感的团队应向供应商索要按上下文深度定价的选项。

8. 审计失败模式先于定义偏好。论文二在两个模型上分别定义了不同偏好（决策框架 vs 跑测试），依据是各自轨迹审计发现的失败集中区——principle/evidence 框架 70% 正确率 vs 猜测框架 36% 的对比，正是偏好设计的证据基础。任何想对 agent 行为做偏好干预的团队，都应先做这样的审计。

9. 图灵的有限心灵。论文一在结论里援引图灵 1937 年的可计算性奠基假设——任何可计算的东西都可以在每次只理解有界输入、只维护有限状态的前提下算出来。今天的 agent 实验（压缩到每动作一压仍能完成任务）是这个九十年前思想在 LLM 时代的经验注脚：无限上下文从来不是计算的必需品，只是工程懒惰的借口。

10. 把两篇叠起来用。最激进的组合方案：SAC 式单动作压缩管理长度 + 对抗 draft 管理语义状态内关键 token 的写入精度——前者省下的钱（数倍到数十倍）远大于后者花掉的速度（2%）。两篇机制正交、互不冲突，分别作用于上下文生命周期的不同端点【阅读者推测】。

（完）