https://inkeast.github.io/MessageDaily/tags/llm%E6%8E%A8%E7%90%86%E7%B3%BB%E7%BB%9F/Recent content in LLM推理系统 on MessageDailyHugozh-cnThu, 05 Nov 2026 00:00:00 +0000https://inkeast.github.io/MessageDaily/posts/2026-11-05-context-compaction-speculative-duo-paper-reading/Thu, 05 Nov 2026 00:00:00 +0000https://inkeast.github.io/MessageDaily/posts/2026-11-05-context-compaction-speculative-duo-paper-reading/长上下文的隐性代价正在从两个方向被拆解。NVIDIA 的 You don’t need long context 用 13 个基准与三种上下文管理机制证明：频繁压缩加选择性阅读能让前沿模型在 16K 上下的短上下文里保持长程与长输入任务精度，估算成本节省 2.2 至 233 倍，并据此提出语义状态空间模型 SSSM 的构想。Subconscious 与 MIT 等机构的 Adversarial Speculative Reasoning 则发现投机验证块内数值噪声随槽位以约 4% 递增，用反向 DPO 训练 draft 模型在关键决策点故意被拒，让目标模型以最高精度写入关键推理，DeepSWE 成功率提升 4 至 7 个百分点而解码速度几乎不变。两篇合读指向同一句话：上下文不是窗口，是待分配的稀缺资源。