The Mask Is Not the Model: Auditing Prefix Invariance in Attention, State-Space, and Hybrid Sequence Models 精读
这篇来自 VIDRAFT AI Research(韩国)的论文证明:‘看 mask’这个全行业默认的因果性检查,在混合架构时代完全失效——192 次注入故障中 mask 检查 0/192 发现,而两次前向传播的前缀不变性审计 192/192 精确定位到泄漏层。更重磅的是实际战果:在两个已发布模型(Zamba2-1.2B 与 Nemotron-H-8B)中挖出真实因果泄漏——chunk 边界处未来信息泄漏进当前表示,缺陷源于同一段三行代码(inter-chunk 递归 reduce 求和轴错误),两行修复后泄漏精确归零。方法只需两次前向、无梯度,135M 模型 CPU 上半秒。