LongZero: Enhancing Long-Context Reasoning in LLMs from Zero Data 精读
清华大学陈健飞组提出 LongZero：不依赖任何外部语料、人工标注或教师模型，让 LLM 自己合成可验证的长上下文 RL 训练数据。核心是颠倒生成顺序——模型先写「问题-证据-答案」的紧凑结构化规格，再将其扩写成 8 篇文档组成的长上下文，使答案在任何长文本存在之前就已构造性固定；配合自造 MRCR 检索任务与「时对时错」难度过滤，用 GRPO 自我提升。在两个基座模型、五个长上下文基准上，LongZero 平均分反超用 397B 教师模型合成数据训练的基线。本精读深挖生成顺序颠倒的验证机制、检索/推理双任务互补、难度过滤与 GRPO 组归一化的耦合，以及「胜过 397B 教师」的根源。