Why Supervised Fine-Tuning Fails to Learn: A Systematic Study of Incomplete Learning in Large Language Models 精读

这篇 ACL 2026 Main 论文首次系统性地揭示了「不完全学习现象」(ILP):即使训练损失收敛,LLM 仍有约15%的训练样本无法被正确复现。论文将这一现象归因为五个可诊断的来源,并提出了一个「先诊断、再对症下药」的框架,证明了SFT失败的异质性——不同原因需要不同解法。

July 13, 2026 · 4 min