VibeMemBench：在真实仓库任务上用可执行测试受控评测 Coding Agent 记忆系统
VibeMemBench 是首个把「真实仓库编程任务 + 可执行测试」与「持久记忆系统」接起来的受控评测基准：它不考记忆系统能否答对回忆题，而考注入的历史经验能否真正提升可执行的仓库修复结果。论文用 SIEVE 四阶段流水线（来源校验、补丁模式筛选、历史执行与经验蒸馏、验证 uplift 并冻结）从 90 个仓库筛出 111 个目标与 3634 条历史轨迹，并提出「只改记忆开关」的匹配干预协议。核心结论有反差感：冻结的、已被执行验证过有用的经验，迁移到 5 个预留 solver 时让 4 个的解决率提升 1.1~4.5 个百分点、且步数全面下降；但当 Mem0 / SimpleMem / MemoryOS / A-MEM 这四个现有记忆系统必须从同一段历史里自己写、自己检索经验时，12 组 solver×系统配对中有 11 组没能超过「不开记忆」的配对基线。失败归因显示主因不是「没检索到」（ranking miss 仅 1.3%），而是「记录形态崩坏」（form degradation 占 69.3%）——strip 消融进一步证明危害来自原始 transcript 的体积而非指令语义。本文按九部分结构拆解其背景、定位、问题定义、构建方法、评估协议、外部交叉验证、核心结果、根因分析与启示。