https://inkeast.github.io/MessageDaily/tags/%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B/Recent content in 语言模型 on MessageDailyHugozh-cnWed, 05 Aug 2026 00:00:00 +0000https://inkeast.github.io/MessageDaily/posts/2026-08-05-aurora-lm-paper-reading/Wed, 05 Aug 2026 00:00:00 +0000https://inkeast.github.io/MessageDaily/posts/2026-08-05-aurora-lm-paper-reading/深度精读南京大学联合 HKUST 等校的 AURORA-LM：把文本生成从离散 token 推向连续潜在空间。它用 Query-based 编解码器构建高容量可解码潜在序列，用块因果扩散 Transformer 左到右生成块、块内并行去噪，靠噪声输入瓶颈、自轨迹一致性等创新，在 OpenWebText 和 XSum 上拿下所有连续/扩散语言模型最优，1B 参数版本超越更大的 Cola-DLM（1.8B），全程在昇腾 NPU 上完成。