SPADE: Self-Play in Adaptive Synthetic Executable Environments 精读
当高质量人类文本接近耗尽,LLM 训练的瓶颈正转移到『训练环境的供给』上。SPADE 让一个 LLM 同时扮演环境设计者与推理智能体两个角色:设计者把完整的长程可执行环境写成带 reset()/step() 接口的 Python MDP 代码,并用『有提示与无提示奖励差』这一 hint-based regret 信号被 RL 训练,从而持续瞄准学习者能力边界出题。在 30B 规模上,SPADE 在八个 held-out 基准上平均超过最强固定环境基线 +5.3,工具使用场景 BFCL v4 多轮 +5.7、ACEBench-Agent +13.9。这篇精读拆解它的双角色自博弈机制、regret 信号设计、语料接地与环境记忆两大组件,以及为什么『把环境设计变成可学习组件』可能改写 agentic RL 的 scaling 逻辑。