AsymSpec: Context-Asymmetric Speculative Decoding for Agentic LLMs 精读
Agent 流水线的推理成本随上下文累积而飙升,压缩输入省钱却伤精度,而投机解码(SD)受制于「drafter 与 verifier 必须读同一份上下文」的对称性约束,无法破解这个两难。华为与中国科大的 AsymSpec 打破对称:小 drafter 读全文、大 verifier 只读压缩视图,通过同模型跨上下文的对比 δ-fusion 把被压缩丢弃的信息在 logit 空间回注,再用免调参的 JSD 散度门保持接受率稳定。结果:以 0.23 倍计算拿到 LongBench 59.7 F1(恢复压缩损失差距的 72%)、1.45 倍吞吐;恢复量随压缩严重度单调增长,近无损压缩处自动失活;还能让读原图的视觉 drafter 操纵只读文字的 verifier。