https://inkeast.github.io/MessageDaily/tags/%E6%A8%A1%E5%9E%8B%E6%9E%B6%E6%9E%84/Recent content in 模型架构 on MessageDailyHugozh-cnWed, 21 Oct 2026 00:00:00 +0000https://inkeast.github.io/MessageDaily/posts/2026-10-21-kronecker-delta-linear-attention-paper-reading/Wed, 21 Oct 2026 00:00:00 +0000https://inkeast.github.io/MessageDaily/posts/2026-10-21-kronecker-delta-linear-attention-paper-reading/JKU Linz 与 NXAI（Hochreiter 团队）提出 KronLSTM：以全新 Kronecker Delta Rule 更新线性注意力的矩阵记忆——用标量残差替代 Delta Rule 的向量残差，修正方向只由当前输入对决定，使一次写入对已存内容的干扰从「仅由 key 重叠控制」收紧为「key 与 value 双重重叠才发生」，任一正交即受保护。论文严格证明记忆动力学收敛到唯一平稳分布、期望范数全程有界，无需 mLSTM 的 normalizer/stabilizer 状态。1.5B 实验中 KronLSTM 在常识推理与真实检索套件全面领先 GDN、KDA、Mamba-3、GDN-2，16k-32k 长上下文检索优势随长度扩大，且训练吞吐比 GDN-2 高 11-18%。本精读按九部分结构拆解其标量残差机制、稳定性理论、实验证据链与可迁移灵感。