Kronecker Delta Rule for Long Context Linear Attention 精读
JKU Linz 与 NXAI（Hochreiter 团队）提出 KronLSTM：以全新 Kronecker Delta Rule 更新线性注意力的矩阵记忆——用标量残差替代 Delta Rule 的向量残差，修正方向只由当前输入对决定，使一次写入对已存内容的干扰从「仅由 key 重叠控制」收紧为「key 与 value 双重重叠才发生」，任一正交即受保护。论文严格证明记忆动力学收敛到唯一平稳分布、期望范数全程有界，无需 mLSTM 的 normalizer/stabilizer 状态。1.5B 实验中 KronLSTM 在常识推理与真实检索套件全面领先 GDN、KDA、Mamba-3、GDN-2，16k-32k 长上下文检索优势随长度扩大，且训练吞吐比 GDN-2 高 11-18%。本精读按九部分结构拆解其标量残差机制、稳定性理论、实验证据链与可迁移灵感。