https://inkeast.github.io/MessageDaily/tags/%E6%A8%A1%E5%9E%8B%E9%87%8F%E5%8C%96/Recent content in 模型量化 on MessageDailyHugozh-cnMon, 07 Sep 2026 00:00:00 +0000https://inkeast.github.io/MessageDaily/posts/2026-09-07-minima-gdn-4bit-quantization-paper-reading/Mon, 07 Sep 2026 00:00:00 +0000https://inkeast.github.io/MessageDaily/posts/2026-09-07-minima-gdn-4bit-quantization-paper-reading/社区量化混合架构 LLM 时一致保留循环半区（Gated DeltaNet）的高精度，理由是’循环误差会累积’。Minima 直接把 NVFP4 W4A4 打满全部 496 个线性层：五任务平均仅 -0.52（种子噪声内），显存 17.5 GiB 最小、prefill 提速 14-19%。四重机制研究（块缩放局域化离群值→门控非线性压缩误差→delta-rule 主动遗忘→逐 token 代价被冲刷）解释了为什么直觉是错的。