论文链接:What Should an Agent Forget? Separating What Is Stored from What Is Used 发表时间:2026年9月10日 机构:原文未提及完整机构列表(作者含高校与企业研究者) 领域标签:cs.CL / Agent Memory / Selective Forgetting
一、论文背景
持久语言 agent(个人助理、长期项目 agent)需要跨会话记忆:用户的雇主变了、偏好变了、计划变了。主流记忆方案(Reflection、MemoryBank、ACE、ReasoningBank 等)聚焦"存什么、怎么检索",但对"旧信息怎么办"只有两个极端:全留(过期信息污染回答——用户已换工作你还答前雇主)或删除(信息不可逆丢失——万一问历史事件呢)。
本文指出问题的根源是存储与使用的纠缠:把"记忆里有没有"直接等价于"回答用不用"。一旦解耦,“遗忘"就不再需要删除——它变成查询时的使用策略。
二、论文定位和关联工作
| 方案 | 过期信息处理 | 可恢复性 | 状态-使用耦合 |
|---|---|---|---|
| 全保留检索(RAG 式) | 无处理,靠检索排序 | 完全 | 耦合 |
| 删除/衰减(MemoryBank 类) | 物理删除/降权 | 无 | 耦合 |
| ACE / ReasoningBank | 冲突消解/推理时处理 | 部分 | 部分 |
| RD-Forget | 视图层抑制 | 完全(档案不动) | 解耦 |
定位结论:本文把"选择性遗忘"重新定义为查询条件化使用策略而非存储操作,与欧盟"被遗忘权"的技术讨论(存储≠使用)形成有趣呼应。
三、问题定义
具体问题:世界在变(用户换雇主、计划取消),持久 agent 如何在不物理删除记忆的情况下,让当前回答反映世界最新状态、必要时又能回溯历史?
形式化:档案 A(全部源观察,只增不删)+ 视图 V(q) = curate(A | q, now, intent)——按查询、当前时间与意图构建使用集;回答 = LM(V(q))。挑战在 curate 的三条规则:替换识别(同槽新值取代旧值)、独立性保留(不同槽互不影响)、可逆性(被取代条目在历史查询下重新可用)。
四、问题解法
1. 三阶段管线:查询条件化整理(curator 拿到问题+源证据)→ 选择性遗忘(构造视图:替换关系建模——“Mira 雇主从 Acme 变 Beryl"使 Acme 条目被取代,但"Beryl 在 Lyon"不受影响)→ 预算化检索与回答(共享选择器+贪心打包器组装上下文,frozen LM 作答)。
2. 槽位与范围控制:替换的传播范围限制在被更新的命题内——拒绝某课程不推翻"想学技能"的偏好;矛盾消解类问题保留双方主张、演化类保留转折点、推荐类组合偏好与后到约束。
3. 历史意图+救援开关:被取代条目默认不可用;当查询意图是历史(“她曾经在哪工作”)或救援条件触发(新信息存疑)时重新激活——双重门控保证可逆性。
五、评估指标与实验证据
- 事实固化(当前状态问答):较四骨干上最优基线(ACE/ReasoningBank)提升 11.00–26.00 个百分点——Luna +26.00、Qwen +17.00、MiniMax +11.00(57.00% vs 42.00/46.00)、Kimi +14.00(59.00% vs 41.00/45.00)。
- AMB-Text:相对各设置最优基线 +1.16
19.77 分;LME-KU:+6.4125.64 分;BEAM:Qwen 50.21% vs 32.84/34.75(+15.46 分)。 - 基线 ACE 与 ReasoningBank 在多数设置下互换最优,说明"推理时处理"路线的上限被存储-使用耦合锁死。
六、效果优势的根源解释
双位数提升的机制在信息流的结构性分离:
- 替换的正确性:删除式方案在"旧雇主"消失时容易连带伤害相关记忆(共现检索污染);视图替换只抑制被取代槽位、保留独立关系,信息损失最小化;
- 可逆性免费获得:档案不动意味着历史查询只需切换视图构建条件——删除方案永远做不到;
- 冲突的双重表达:矛盾类问题需要"保留双方主张"的语义,这在删除范式中不可表达(旧信息已没了);
- frozen LM + 纯上下文策略:所有智能在视图构造层,骨干模型不需微调——改进对任意 LM 即插即用。
因果链:解耦存储与使用 → 替换可精确到槽位 → 当前状态准确性(固化提升)与历史可回溯性(双重门控)同时成立。
七、必要知识反推
- 持久语言 agent:跨会话服务的 agent,记忆是核心资产。
- ACE / ReasoningBank:agent 记忆的冲突消解与推理增强代表方案,本文最强对照。
- 槽位-值记忆观:把事实表示为(实体, 槽位, 值, 时间),源自知识图谱的传统。
- LME-KU/AMB-Text/BEAM:长程记忆评测基准,含状态演化与多跳问答。
八、论文中可以提取的通用性灵感
- “有没有"与"用不用"是两个系统:任何信息管理(记忆、知识库、权限)都值得做存储层/使用层解耦——删除是数据操作里最贵的不可逆动作,能用使用策略替代就别删;
- 替换的传播范围要显式建模:更新一条信息时,明确"哪些结论受影响、哪些独立”——防止连带失效是所有增量更新系统的命门;
- 双重门控的可逆设计:默认关闭+两类例外(意图匹配、新信息存疑)——比简单开关多一层鲁棒;
- 把智能放在外围层:frozen LM+外围策略的架构让改进可移植——模型无关的增强层比微调更易工程化;
- 遗忘的合规友好定义:“不再使用"而非"物理删除"同时满足当前正确性与历史可审计——对受监管行业的 AI 系统设计有直接参考价值。