When Synthetic Data Hurts 精读:Agent 技能检索器的合成数据灾难遗忘
Manulife(加拿大金融集团)实证研究:Agent 技能检索器用合成任务微调后,最激进配置下 OOD recall 从 0.850 跌至 0.650(−20pp);合成数据使 Hit@10 持平但 Recall@10 −0.021——部分重排把额外正确技能挤出 top-10。同时证明 0.6B 紧凑检索器可追平更大混合系统:监督质量>模型规模。skill 数据飞轮假设的第一份系统性反例。
Manulife(加拿大金融集团)实证研究:Agent 技能检索器用合成任务微调后,最激进配置下 OOD recall 从 0.850 跌至 0.650(−20pp);合成数据使 Hit@10 持平但 Recall@10 −0.021——部分重排把额外正确技能挤出 top-10。同时证明 0.6B 紧凑检索器可追平更大混合系统:监督质量>模型规模。skill 数据飞轮假设的第一份系统性反例。