上下文的长度成本与精度税——频繁压缩与对抗投机推理两篇论文精读
长上下文的隐性代价正在从两个方向被拆解。NVIDIA 的 You don’t need long context 用 13 个基准与三种上下文管理机制证明：频繁压缩加选择性阅读能让前沿模型在 16K 上下的短上下文里保持长程与长输入任务精度，估算成本节省 2.2 至 233 倍，并据此提出语义状态空间模型 SSSM 的构想。Subconscious 与 MIT 等机构的 Adversarial Speculative Reasoning 则发现投机验证块内数值噪声随槽位以约 4% 递增，用反向 DPO 训练 draft 模型在关键决策点故意被拒，让目标模型以最高精度写入关键推理，DeepSWE 成功率提升 4 至 7 个百分点而解码速度几乎不变。两篇合读指向同一句话：上下文不是窗口，是待分配的稀缺资源。