Do Language Models Need Sleep? Offline Recurrence for Improved Online Inference 精读
深度精读马里兰大学与卡内基梅隆大学合著的「语言模型需要睡眠吗?」论文——受人类睡眠记忆巩固机制启发,提出离线循环(Offline Recurrence)机制:模型在’睡眠’阶段对累积上下文执行 N 轮离线反复遍历,将信息蒸馏为持久化快速权重(Fast Weights),然后清空 KV 缓存。在不增加在线推理延迟的前提下,成功解决常规 Transformer 和 SSM-Attention 混合模型均失败的多跳推理和数学推理任务。增加睡眠轮数 N 可以持续提升性能,且推理越深的样本获益越大(相关系数 r=0.92)。