Continual Learning Mechanisms Compose for Long-Horizon Memorization 精读
让模型依次学 100 个知识任务且不留旧例、不给任务 ID——‘长程记忆化’设定下,任何单一持续学习机制都崩盘(保留率普遍个位数)。Johns Hopkins 的系统学研究证明机制要’组合’:锚点类型(data 复演/function 蒸馏/权重正则——保留什么)×低秩分配(merged LoRA——保留在哪)两维设计,任务级逐次减半搜索组合空间+因子实验量化交互。最优组合(三锚点+merged LoRA)把最终保留率从 1.2% 拉到 34.9%(28 倍),且 data 锚点×merged LoRA 在三个数据集上一致超可加——遗忘来源互补,组合解决结构问题。HF 日榜 281 赞当日第一。