MemoWM / Memory Type Varies / Curating Always-Loaded Context 三重奏精读：智能体记忆与上下文管理的信息论、认知科学与运筹学视角 精读

论文一：MemoWM: How World Models Change What Agents Need to Remember 代码仓库：github.com/Feld-maxiu/MemoWM 发表时间：2026年10月（arXiv:2610.10778，ICLR 格式预印本） 机构：华南理工大学、中国科学院大学、北京邮电大学、中国科学技术大学、清华大学、北京大学、复旦大学、上海交通大学——8 所中国高校联合（纯高校合作，无企业；前三位作者共同一作，曾帆、郑智晟、桑晨波为 equal contribution） 领域标签：cs.AI / cs.LG（智能体记忆、世界模型、率失真压缩）

论文二：Memory Type Varies: Empowering LLM Agents for Long-Term Memory with Diverse Strategies 代码仓库：github.com/wenyiwy99/MemoType 发表时间：2026年10月（arXiv:2610.11573，NeurIPS 格式预印本） 机构：香港城市大学（第一单位，主导方法与 TriMEM 数据集）+ 华为诺亚方舟实验室（企业合作方，Yichao Wang、Yong Liu 为合作研究者）——高校学生+企业研究人员合著 领域标签：cs.CL / cs.AI（长期对话记忆、RAG 检索、认知心理学启发的记忆分类）

论文三：Curating Always-Loaded Context for LLM Agents: A Capacitated Assortment Model with Censored Feedback 代码仓库：原文未提及（Lean 4 形式化证明作为补充材料发布） 发表时间：2026年10月（arXiv:2610.11007，ICLR 格式预印本） 机构：伊利诺伊大学厄巴纳-香槟分校（UIUC）+ 佐治亚理工学院 + 圣路易斯大学——三所美国高校合作（纯高校，无企业） 领域标签：cs.AI / cs.LG（LLM 上下文策展、运筹学 assortment 理论、在线学习）

为什么把这三篇放在一起读？它们讨论的是同一个问题的三个侧面：一个长期运行的智能体，其有限上下文（和持久存储）究竟应该装什么。MemoWM 回答「经验该存多少比特」（信息论视角）；Memory Type Varies 回答「记忆该按什么维度组织检索」（认知科学视角）；Curating Always-Loaded Context 回答「常驻指令文件该保留哪几条」（运筹学视角）。三篇互为镜像：前者做压缩、中者做路由、后者做选择，但都直面「资源有限时记忆的价值排序」这一根本问题。以下按九部分结构展开。

一、论文背景

要让初学者理解这三篇论文，需要先弄清几个概念。

**长期智能体（long-term agent）**是什么？过去我们用 LLM 回答孤立问题——问一句答一句。而长期智能体像一名员工：它持续工作数小时、数天甚至更久，反复观察环境、执行动作、修正计划，并把之前发生的事带入下一次决策（网页/GUI 智能体是最典型的场景：它们在网站和电脑界面上执行长序列操作，界面状态跨步骤持续存在）。对这类智能体而言，记忆不是额外的上下文装饰，而是行为连续性的来源——没有记忆，每次决策都是失忆后的从头开始。

**世界模型（world model）**是什么？它是智能体内部「环境通常如何运转」的预测机器：给定当前状态和动作，预测下一个状态。人类就有世界模型——你不用真的碰杯子也知道松手它会掉。近年世界模型研究（如 Genie、V-JEPA 2 等）主要用它做规划和模拟。

RAG 记忆是什么？当对话历史超出上下文窗口，一种主流做法是把历史存进外部库，按查询语义相似度检索相关片段再回答——这就是检索增强生成（RAG）。对话记忆是 RAG 的重要应用场景。

AGENTS.md / CLAUDE.md 是什么？这是 Coding Agent 的事实标准配置：仓库根目录放一个常驻指令文件，写明「每次编辑后跑 pytest」「永远不要 commit 到 main」等规则，智能体每次会话开始时全文加载。它每轮都占 token、摊薄注意力，且实践中只增不减——跨 1,867 个仓库的实证研究（Chakrabarti 2026）发现这类文件生命周期内规模翻倍以上，且越老越少被删。

三个概念对应三篇论文要解决的痛点：

1. MemoWM 的痛点：长期智能体逐字保存所有观测，持久存储随生命周期线性膨胀；而现有记忆系统用新颖性/惊喜/预测误差/下游效用来筛选保留什么，但「预测误差大」不等于「任务要紧」——一条几乎不变的事实可能对任务至关重要，一个不可预测的界面抖动可能是无关噪声。
2. Memory Type Varies 的痛点：现有 RAG 记忆系统用统一检索策略处理所有记忆。但事件类记忆包含人物/时间/地点等碎片化要素，整体嵌入会把细粒度线索稀释进主导事件语义；而纯概念类记忆反而会被强行加入的时空细节引入噪声。
3. Curating Always-Loaded Context 的痛点：常驻文件靠「追加」增长——每场会话被总结成新候选指令，候选池无界增长而注意力不增长；直觉上「凡单独测试有正价值就装进去」（增积，accretion）看似安全，实则双输：多付 token 又降低合规率。

为什么此刻重要：模型能力提升后，瓶颈从「会不会做」转向「能不能长期做」——记忆与上下文管理成为智能体规模化的核心约束，三篇论文恰好代表三条正交的解题路线。

二、论文定位和关联工作

谱系一：智能体记忆系统（三篇共享的土壤）

• 操作系统隐喻一系：MemGPT（arXiv:2310.08560）把 LLM 当操作系统，在有限上下文与外部存储间分页；MemoryOS 延续三级存储隐喻。MemoWM 论文中 MemGPT 是最强基线（平均准确率 39.80%）。
• 结构化抽取一系：A-Mem（Zettelkasten 笔记网络）、SimpleMem、MIRIX（多类型存储）把记忆抽取为结构化记录。MIRIX 是此前最省存储的基线（平均 13.1 kbit/obs），MemoWM 相对它再降 53.9% 存储。
• RAG 记忆一系（Memory Type Varies 的直接对手）：非结构化路线有 MemoryBank、SeCom（分段去噪）；结构化路线有 HippoRAG2（海马体启发的图索引+个性化 PageRank）、RAPTOR（递归摘要树）。九个基线中 LightMem、HippoRAG2、SeCom 是最强对手。与本文关键区别：它们都假设「一套检索策略通吃所有记忆类型」。
• 常驻文件策展一系（Curating Always-Loaded Context 的直接对手）：AutoRefine（轨迹编译为指令）、RRSI（编辑预算+token 成本剪枝）、SEPO（证据接地的结构化编辑）、预算约束的记忆提升（Annapureddy & Thamatani 2026）、背包式提示压缩（PC-SubMax）等。关键区别：这些系统全部采用可加或次模价值函数——在此假设下追加正边际价值的指令是安全的；而本文证明一旦合规随文件增大被稀释（共享注意力），追加就可能灾难性错误。

谱系二：预测与世界模型（MemoWM 的独特站位）

现有「世界模型+记忆」工作（R2I、R-WoM、MemWM、WorldEvolver）用记忆改进世界模型的预测与规划；MemoWM 研究互补方向：已有世界模型的预测如何减少经验需要保存的信息量。最接近的预测引导记忆工作 NEMORI（蒸馏知识未能预料的信息）与 D-MEM（奖励预测误差路由）只把预测当作保留决策的信号；MemoWM 进一步让预测分布参与解码——它同时决定保留信息的条件编码成本和省略内容的重建方式。理论根脉是率失真编码与 Wyner-Ziv 带边信息编码，但 MemoWM 的失真度量不是信号重构误差，而是「省略对未来答案的影响」。

谱系三：认知心理学记忆分类（Memory Type Varies 的理论源头）

Tulving 1972 年的经典二分法：情景记忆（episodic，绑定具体时空和参与者的events）vs 语义记忆（semantic，事实与稳定知识）。前序工作 PerLTQA 提供了初步分类法但有三大缺陷：每条记忆单标签（忽视多主题性）、语义类只覆盖用户相关内容、把所有对话一律当情景记忆（混淆对话形式与内容类型）。本文的推进：用 t-SNE 实证发现语义记忆内部「个人内容/通用知识」呈双簇分离，据此把二分法细化为三分法，并建了首个 6,000 样本的三分类基准 TriMEM。

谱系四：运筹学与在线学习（Curating Always-Loaded Context 的方法来源）

固定成本品类组合（assortment）优化（Kunnumkal & Martínez-de Albéniz 2019）+ 容量约束（Rusmevichientong et al. 2010）；学习侧继承 apple tasting（Helmbold 2000，单侧反馈）与部分监测（Bartók 2014）。新颖组合点：经典模型中商品不互相争夺资源，而本文中指令共享有限注意力、互相稀释合规率，且候选池随时间无界增长——这两点在既有 assortment 文献中均未出现过。

定位总结

三、问题定义

三篇论文各自把具体场景提炼为一个干净的抽象问题，这是它们共同的思维亮点。

MemoWM：以世界模型为条件的存储分配问题

具体场景：智能体在 WebArena 类环境中长时间工作，积累成千上万条观测，逐字存储不可持续。 核心洞察：把持久信息分为两种摊销方式——世界模型内化可跨经验复用的规律（参数成本一次付清），情景记忆为每个实际发生的事件支付新存储成本。当读取端（decoder）也能访问同一世界模型时，「能从共享知识恢复的内容」就不必在每个回合重复存储。 类比：你不需要记住「每个红灯亮多久」（世界模型管），但需要记住「今天路口出了事故绕行了」（情景记忆管）。更进一步：不是所有预测不准的都要存——省略的代价要同时看「预测会不会错」和「错了影响不影响任务」。前者是世界模型的属性，后者是信息的任务价值属性。 形式化：给定轨迹 τ=(o₀,u₀,…,u_{T-1},o_T)，编码为离散状态序列 Z，在保留策略 π 下重建为 Z̃π。答案损失 ℓ(q,y;Z) 为负对数概率，省略造成的失真 Dπ(τ,q,y)=|ℓ(q,y;Z̃π)−ℓ(q,y;Z)|。求解：

min_π E[Rπ_epi(τ)] s.t. E[Dπ] ≤ ε，π ∈ Π_shared

其中 Π_shared 限定策略只能使用写读双方共享的信息（这就排除了传输逐状态掩码的作弊解）。精妙之处：约束在「答案损失变化」而非「信号重构误差」上——直接对齐下游任务。

Memory Type Varies：多类语料下的检索策略分配问题

具体场景：长期对话助手的记忆库混合着事件、个人事实、世界常识，查询五花八门。 核心洞察：记忆语料在嵌入空间天然分簇（t-SNE 实证：LongMemEval-S 中情景记忆仅占 12.35%，语义记忆内部个人/通用内容双簇分离），而任何单一检索策略（无论查询侧扩展还是记忆侧扩展）在多类语料上必然顾此失彼。 形式化：语料 D 的文档来自 C 个潜在分布，类别质心方向间存在角分离 δ>0（Assumption 3.1）。定理 3.3 证明：对任意检索编码器 φ，期望查询-文档对齐满足

E[⟨e_query, e_doc⟩] ≤ 1 − (C−1)δ/(2C)

直觉解读：类别数 C 越多、类间分离 δ 越大，单一嵌入方向的对齐天花板越低；提升一类对齐必然压低其他类——单一检索策略不可能在所有类别上同时最优，这是路由设计的理论必然性。

Curating Always-Loaded Context：注意力容量下的品类组合问题

具体场景：常驻指令文件随会话总结无界增长，人工或自动策展人要决定加哪条、删哪条。 核心洞察：指令是共享一种有限资源（注意力）的竞争性商品。类比：货架长度有限、顾客注意力有限的零售商选品问题——多进一个 SKU 不只会占货架，还会让每个 SKU 被注意到的概率下降。 形式化：候选池 [N]，指令 i 有 token 成本 c_i≥c_min、相关概率 p_i、被遵循时的期望增益 r_i（可为负）。写 w_i=p_i·r_i。文件 S 的合规率 q_i(S) 满足单调稀释公理（Assumption 1：加指令不会提高已有指令的合规率）。每会话装载成本 κC(S)。策展人求解：

max R(S) = Σ_{i∈S} w_i·q_i(S) − κC(S) s.t. C(S) ≤ B

共享稀释子类 q_i(S)=θ_i·g(A(S)) 把「内在易遵循度 θ」与「总注意力负载 A(S) 的稀释曲线 g」分离。精妙之处：把「文件多大才划算」从经验问题变成可证明的定理。

四、问题解法

4.1 MemoWM：世界模型作为共享预测先验

总体架构（写作-读取双方共享同一套组件）：

1. 查询无关状态编码：每条观测 o_t 经 Q-Former（32 个 learned query、4 层交叉注意力、隐宽 1024）编码为 32×512 的连续状态，再经 OPQ 量化（每 slot 分 32 个 16 维子空间、每子空间 64 个码字）得 1,024 个离散坐标，固定参考宽度 6,144 bit/观测。查询无关意味着同一份记忆可服务未知的未来问题。

2. 动作条件世界模型：12 层 Transformer（29M 参数），读最近 16 个历史状态+结构化动作编码（17 种动作类型、位置 64 bin、相对位移 signed-log、payload GRU），对下一状态的全部 1,024 个坐标并行输出分布 p_θ(z_{t,j}|h_t)。类比视频编解码的运动补偿预测：预测得准的宏块只需极短的残差码。

3. 任务相关可恢复性保留规则（核心创新）：对每个坐标 j，离线估计两个因子——

   • 误差概率 g_j(H)：预测熵 H 到误差频率的校准查找表（0.25 bit 分箱，池化统计）；
   • 任务影响 V̂_j：单坐标反事实测量——把该坐标换成模型众数预测，测答案 NLL 变化，只对预测错误的样本平均。

   在线写入时估计省略风险 d̂_{t,j} = g_j(H_{t,j})·V̂_j，与期望编码成本 λ·H_{t,j} 比较决策：d̂ ≥ λH 则存真值码（用预测分布做熵编码，短码），否则由模型填充。直觉：预测越准的坐标存得越便宜；预测不准但错了也无关任务痛痒的坐标干脆不存。

4. 共享历史重建（免掩码同步）：初始状态全量存储，此后写读双方用相同的重建历史 h_t=(z̃_{<t},u_{<t}) 递归计算相同的预测分布、熵、掩码——解码端自己重算出哪些位置被省略，无需传输逐状态掩码（这节省本身就是存储收益的一部分）。归纳法可证两侧重建历史严格同步。

5. 离线校准：任务影响统计、熵校准、检索头训练（对齐完整视图与重建视图的双视角对比学习）、阈值 λ 全回合校准（在完整回合上闭环重建并按约束选最小存储的 λ）。

组件输入输出一览：

4.2 MemoType：类型路由 + 定制检索 + 剪枝

第一步：TriMEM 数据集（分类的地基）。6,000 样本，来源：LongMemEval-S 采样 1,000（防过拟合做了改写：替换实体名/话题表述/关键细节）、LoCoMo 750、PersonaMem 750、人工构造 500。GPT-5.2 初标注（每类独立 prompt）+ 三位 NLP 博士人工复核 20% 抽样（Fleiss’ κ=0.87，总体标注准确率 94.6%）。三分类标准（附 None 类）：

第二步：双端路由。

• 记忆路由：Qwen3-1.7B+LoRA 微调为多标签分类器（对话天然多主题），在 TriMEM 上训练。关键实证：BERT/RoBERTa 等轻量编码器也能达到接近的端到端检索效果（RoBERTa 在 LME-S 上 Recall@1 58.09 vs Qwen3-1.7B 59.15）——路由能力来自数据集质量而非模型规模。
• 查询路由：查询短且欠指定，直接分类不可靠。解法是「查询→记忆空间变换」：让 LLM 为查询生成 K=5 条假设记忆，用记忆路由器分类这 5 条，取众数类型。
• 类型感知过滤：只在与预测类别对应的记忆子空间检索——约砍掉 50% 无关记忆，且语料越大收益越大（LME-M 上 Recall@1 +4.68）。

第三步：三类定制检索策略（与三类信息结构逐一对应）：

第四步：查询条件剪枝。检索出的多轮对话段常跨主题，段内无关内容误导生成。用 LLM 对每段做二元相关性判断（Memory Pruning Prompt），只留与查询相关的内容再生成。类比：检索找到对的档案柜后，先撕掉无关页再递给阅读者。

4.3 Curating Always-Loaded Context：定理驱动的策展理论

这篇论文的「解法」不是系统而是一组结构定理+学习定理（Lean 4 形式化，除一处光滑性假设）：

结构定理（文件该多大）：

• 命题 1（规模上界）：注意力容量 Q̄（智能体每会话平均最多遵循 Q̄ 条指令）下，任何非负价值文件的装载成本 κC(S)≤w̄Q̄、条数 |S|≤Q̄/ρ（ρ=κc_min/w̄ 为盈亏平衡合规率）。上界与候选池 N 和预算 B 无关——无论总结器产出多少候选，值得保留的文件规模有硬顶。数值例子：最好指令值 w̄/κ=10,000 token、容量 χḠ=3 条，则任何值得保留的文件不超过 30,000 token、不超过 3/ρ 条。
• 推论 1（增积损失无界）：增积策略（凡单独测试 v_i^solo>0 就追加）的次优性 R(S⋆)−R(S_acc)≥κc_min|S_acc|−w̄χḠ，随 |S_acc|→∞ 线性发散。直觉：毛价值封顶 w̄χḠ 而装载成本线性涨。
• 命题 2（反事实隔离）：若无稀释（q_i(S)=q_i），增积恰是最优——这把「稀释」单独钉死为增积损失的根源。

学习定理（怎么从截断反馈中学）：

• 截断反馈结构（Assumption 4）：已装载指令可观察「相关？遵循？伤害标记？」；缺席指令只在「缺失造成危害」时产生目击（gap sighting）。已装载的增益 r_i 不进入任何观察（除非幅度反馈）。
• 命题 3（删除的价值盲区）：仅用合规数据的删除策略无法区分「常被忽略但有用」与「常被遵循但低值/有害」——构造两指令实例：指令 1 有用但合规率 1/2，指令 2 常被遵循（8/9）但值仅 ±0.05，「删最常被忽略者」会以趋于 1 的概率删掉指令 1。
• 定理 1（两次目击准入）：在误纳入代价与延迟代价的权衡下，k=2（窗口内两次目击才准入）是期望损失的唯一最小化条件（当延迟成本介于二/三次目击所能阻止的误纳入成本之间）。
• 定理 2+3（编辑上限遗憾匹配）：策展人每周期只能审 m 次编辑时，ETC-m 探索-承诺策略的遗憾上界与任意策略的遗憾下界均为 Θ((N/m)LΔ) 量级——理论极限被常数因子夹住。

五、评估指标与实验证据

5.1 MemoWM：准确率与存储率的双目标证明

指标体系：

• 主指标 1：答案准确率（各基准原生协议，4 随机种子均值±标准差）——衡量「压缩后还记得住吗」。
• 主指标 2：经验特定存储率（kbit/observation，只计保留内容与逐观测元数据，摊销的共享模型权重与可再生的检索索引不计入；统一记账规则见附录 C）——衡量「为此付了多少存储」。这个指标的设计本身就是贡献：公平比较 12 个基线的逻辑持久负载。
• 消融指标：熵校准误差概率、任务影响先验的跨轨迹迁移性、闭环失真累积。

基准：5 个长期智能体记忆基准——WorldMemArena（多模态交互记忆，Web 子集）、AMA-Bench（长程记忆，Web 任务执行子集）、LongMemEval-V2（环境知识积累，Small 设置）、WebQuest（网页序列多模态推理，TraceQA）、MemEye（视觉中心多模态记忆）。读者/裁判按基准协议分别为 Qwen3.5-9B / Qwen3-32B。

主结果（Table 1，准确率% / 存储 kbit/obs）：

关键读数：平均准确率超最强基线 2.62pp 的同时，每个基准存储率都最低；相对最省的 MIRIX 存储再降 53.9%、准确率反升 7.24pp；在 AMA/LME-V2/MemEye 上即使存在更高准确率的方案，MemoWM 用 58.9–99.7% 更少存储只换来 1.29–2.06pp 准确率差。

实验设计如何证明论点：

• 「存储收益不止来自量化」：消融表分离三层——No quantizer→Quantizer only→WM all-send（预测编码）→MemoWM（再加任务感知省略）。固定量化器后，世界模型编码+任务感知省略在三个基准再降 30.6–67.6% 存储而准确率变化 ≤0.31pp。这证明收益来自「预测先验+省略决策」而非表征压缩。
• 「风险分解两因子缺一不可」：匹配失真（|ΔNLL|=1.536）下对比四种门控——Static-e（误差估计不随状态变）多耗 17.0%、Uniform-V（任务影响不分坐标）多耗 25.5%、Random 多耗 33.1%、Uncertainty（只用熵）多耗 42.0%。两因子各自贡献被干净隔离。
• 「闭环重建不发散」：40 步 rollout 内闭环 vs 教师 forcing 神谕仅多 0.006–0.021 bit 失真、4.4–23.1 bit/状态存储。
• 「共享重建语义保真」：省略坐标仅 14.2% 精确恢复，但语义一致率 97.0%——任务级保真不需要坐标级精确，这是对率失真直觉最漂亮的实证。
• 「物理可实现性」：用 range coder 实际熵编码，实测 4,388.70 bit/状态 vs 理想码 4,323.84，开销仅 1.50%，且解码端 100.00% 精确复现写端重建状态——排除「理想码记账+未计掩码」的质疑。
• 「容量-存储权衡」：AMA-Bench 上扫描模型容量，更大世界模型降低每转移编码率（4,510→4,070 bit/transition）；把 FP16 权重计入总存储后出现有限最优容量（约 5–7M 参数），且记忆视界越长最优容量越大（10K 转移时约 0.54M→长视界 29M）——寿命越长的智能体越值得投资大的世界模型。

5.2 Memory Type Varies：检索与生成的全面对照

指标体系：检索任务用 Recall@k / NDCG@k（越高越好）；生成任务用 GPT4Judge（GPT-5.2 裁判）+F1/BLEU/Rouge 系列/BERTScore。所有方法统一 Contriever 检索器、gpt-4o-mini 生成、温度 0——控制变量严格。

基准：4 个长期记忆数据集——LongMemEval-S（500 问答会话、平均 115K token）、LoCoMo（10 段长对话、平均 300 轮）、LongMemEval-M（每问题 500 会话、平均 1.5M token）、PerLTQA（32 个 persona、2,838 问答）。覆盖 user-user 与 user-assistant 两种交互。

主结果：

亮点数字：LME-M 上超 SeCom 16.18pp（摘要的「up to 16.18%」出处）；PerLTQA 上超第二名 14.73pp；QA 侧 LME-S GPT4Judge 超 LightMem 13+ pp 且 F1 近乎翻倍（20.13 vs 14.45）。

实验设计如何证明论点：

• 「类型感知 vs 任何单一策略」：把三类策略各自统一应用到全部记忆（KeyExpansion/HypotheticalQuery/HypotheticalMemory 三种单一基线），类型感知组合在三个数据集 Recall@1 分别 +5.24/+5.14/+5.68——定制组合胜过任何单一策略直接验证了定理 3.3 的动机。
• 「路由本身的贡献」：不带任何检索增强、仅做类型过滤（w/Classify vs w/o Classify），四数据集 Recall@1 全面提升（如 LME-S 43.40→50.21）——切空间单独就是收益。
• 「分类质量是关键使能」：微调路由器 92.10% 准确率 vs GPT-4o-Mini prompt 分类的 83.55%；BERT 也能做合格路由——数据标注精度而非模型规模驱动路由能力。
• 「成本可行」：A-Mem 每轮两次 LLM 调用、HippoRAG2 逐 chunk 抽取，MemoType 只对 EM 路由的轮次调 LLM；LME-M 上 API 费用 $3.77 vs HippoRAG2 $548.98（146 倍）vs A-Mem $936.90（248 倍）。
• 「防泄漏」：改写后文本与原文的 Contriever 相似度集中于 0.6–0.8、无 >0.9 峰；路由器在从未参与训练的 PerLTQA 上 OOD 准确率 96–100%——路由学的是类型级特征而非数据集指纹。

5.3 Curating Always-Loaded Context：理论与实验的互证

实验 1（规模扫描）——证明「池大≠文件大」：3,200 条真实仓库上下文文件指令（Claude Sonnet 5.5 改写 2,560 条为可验证指令、640 条保持原文为零价值候选），60 个 ManyIFEval 写作任务×2 模型（Claude Haiku 4.5 / Sonnet 5.5）×3 池规模（200/800/3200）×10 档文件大小，每模型 2,880 次运行。结果：池从 200 涨到 3200，实测最优文件保持小（Haiku 最优 10/5/10、Sonnet 40/20/40@ρ=0.1）；整池装载时合规崩塌（N=3200 时 Haiku 5.0→0.6、Sonnet 23.8→4.0 条相关指令被遵循）；增积损失从 N=200 的 15.8/6.0 涨到 N=3200 的 316.7/320.4；边际相关合规在 1600→3200 步为负（Haiku −0.007、Sonnet −0.037）。逐指令验证单调稀释：b=40 文件的相关指令合规率从 0.27/0.91 跌到整池的 0.05。 实验 2（公开基准重评分）——证明稀释是普遍现象：重评分 5,993 条 IFScale（Jaroslawicz et al. 2025）生成，24 个模型配置：10 条要求时合规 0.92–1.00，500 条要求时跌到 0.067–0.689，24/24 配置 q(n) 单调不增。 实验 3（模拟）——证明遗憾界是紧的：60 组设置跑 ETC-m，编辑上限遗憾项对 N/m 的 log-log 斜率 1.06 [1.03,1.09]（匹配理论斜率 1），上下界比值 4.1–5.4（常数因子内匹配 Θ((N/m)L)）。

设计为何能证明论点：实验 1 用嵌套池/嵌套文件控制变量（更大池包含小池、更大文件包含小文件），使「池增长」的边际效应可单独测量；实验 2 借公开数据避免自证循环；实验 3 直接跑定理 3 的实例族验证上下界——三者分别覆盖「结构定理」「公理的外部效度」「学习定理」。

六、效果优势的根源解释

6.1 根源机制与证据链

MemoWM 的因果链：

现有记忆系统的根本局限：保留决策只看预测误差/新颖性（信息「意外」与否），且预测分布不参与解码——于是只有两极选择：要么全量存储，要么丢弃「可预测但任务关键」的信息。机制后果：存储随经验线性增长，或任务关键信息丢失。

MemoWM 的根本性改变有三处，每处对应可验证的指标提升：

1. 预测分布成为编码分布（机制变化：可预测坐标获得极短的条件熵编码）→ 证据：WM all-send 相对 Quantizer only 在 WMA 上 6.2→5.6 kbit/obs（准确率不变）；
2. 省略决策分解为「误差概率×任务影响」（机制变化：省略只发生在「预测错也不影响答案」的坐标上）→ 证据：匹配失真下任务感知门控比 Uncertainty-only 省 42.0% 的额外存储；低 V_j 坐标的反事实伤害仅为同规模随机坐标的 1/166–1/176；
3. 闭环共享重建取代掩码传输（机制变化：同步性由归纳法保证而非旁路信息）→ 证据：物理熵码实验中解码端 100.00% 复现、闭环 40 步失真仅增 0.006–0.021 bit。

综合：方法差异（预测先验参与编码+任务感知省略+免掩码同步）→ 机制变化（可预测信息短码化、无害信息可省略化、同步零成本化）→ 指标提升（存储 −53.9% 同时准确率 +7.24pp vs MIRIX）。其中「任务影响先验跨轨迹可迁移」由 held-out 检验支持（未见查询变体上伤害保持 0.323–0.565 bit，远低于随机省略）；「容量权衡的存在性」由容量扫描支持。标注：以上链条中「预测分布参与解码降低条件码长」是论文实验已支持的机制解释；「检索头对重建视图的鲁棒性缓解了省略的检索扰动」部分依赖附录 A.5 的充分条件分析，含推测成分。

MemoType 的因果链：

统一检索策略的根本局限不是工程不精而是几何必然：多类语料质心方向分离时，任何单一嵌入方向的对齐期望被定理 3.3 封顶——提升一类必然压低其他类（机制层面：共享编码器无法同时与多个分离的簇方向高对齐）。t-SNE 双簇/三簇分离（LME-S 与 PerLTQA 上均验证）说明该前提在真实对话语料成立。

MemoType 的三重改变：

1. 类型路由切分检索空间（机制变化：查询不再与约 50% 无关类别的记忆竞争嵌入相似度）→ 证据：仅过滤（无任何增强）就使 LME-S Recall@1 +6.81（43.40→50.21）；LME-M（类竞争最激烈）上增益最大；
2. 策略与信息结构逐一匹配（机制变化：EM 的要素级匹配绕过整体嵌入稀释、PM 的记忆侧反向扩展绕过查询欠指定、GM 的查询侧扩展利用标准化表达）→ 证据：逐类型消融中 EM 策略贡献最大（LoCoMo +3.12），与「EM 是最难题型」的预期一致；三种策略组合互补而非冗余；
3. 剪枝移除段内噪声（机制变化：生成端不再被无关内容带偏）→ 证据：四数据集 F1 全面提升（LME-S 19.55→20.31），且词面指标（BLEU/Rouge）增益大于 BERTScore——与「移除干扰性内容」的机制预测一致。

综合：方法差异（分类先于检索+策略定制化）→ 机制变化（消除跨类嵌入竞争+匹配各类失配根源）→ 指标提升（四基准检索与生成全面第一）。标注：理论上界（定理 3.3）证明的是「单一策略存在天花板」，与「路由能突破天花板」之间还差一步（路由器分类准确率 92.10% 且三簇确实可分），这步由消融实验补全，链条完整。

Curating Always-Loaded Context 的因果链：

增积策略的根本局限：其安全性建立在 additive/submodular 价值假设上，而真实智能体的合规率随文件增大单调稀释（IFScale：0.92→0.067）——追加正价值指令会稀释所有已有指令。机制后果：毛价值封顶 w̄Q̄ 而装载成本线性增长，损失无界（推论 1）；且截断反馈下「按不合规删除」在信息上就不可能识别价值（命题 3：合规通道的观察律不区分 (p,q) 相同而 r 符号相反的参数）。

本模型的根本性改变：

1. 把合规建模为有限容量下的选择（机制变化：指令从独立商品变为竞争性商品）→ 证据：命题 2 反事实隔离——无稀释时增积恰最优，稀释单独成为损失根源；规模扫描实测最优文件 10–40 条 vs 池 3200；
2. 识别定理刻画学习边界（机制变化：明确合规/伤害可识别、增益符号仅类型化情形可识别、幅度不可识别）→ 证据：命题 3 的显式实例（删最被忽略者以概率→1 删掉有用指令）；幅度反馈必要性（无幅度反馈则任何策略线性遗憾，命题 C.6）；
3. 两次目击+编辑上限 ETC-m（机制变化：误纳入与延迟的损失函数在 k=2 处取得唯一最小；遗憾被上下界夹在 Θ((N/m)LΔ)）→ 证据：定理 1 条件带、定理 2/3 匹配、模拟斜率 1.06。

综合：方法差异（竞争性合规模型+截断反馈识别分析）→ 机制变化（最优规模的池无关上界+增积损失无界+删除策略价值盲）→ 与实证吻合（最优文件不随池增长、增积损失线性涨、IFScale 单调稀释、模拟匹配遗憾阶）。

6.2 相关工作检索与对照

6.3 综合判断与未决问题

多项研究共同支持的机制：

1. 「任务/决策定义失真」优于「描述保真定义失真」——MemoWM 的答案 NLL 失真、DeMem 的决策冲突失真、arXiv:2607.08032 的统一目标从三个独立方向汇聚。
2. 「生成先验可压缩情景记忆」——MemoWM（工程）与 arXiv:1806.07990（认知科学）互证。
3. 「指令密度稀释合规」——IFScale 原始评测+Curating 论文重评分+ManyIFEval，跨模型家族稳健（24/24 配置单调不增）。
4. 「异质语料下单策略有几何天花板」——定理 3.3+三类消融+t-SNE 簇结构三重印证。

仍属推测或条件成立的机制：

• MemoWM 的任务影响先验 V̂_j 假设跨任务分布稳定：论文只验证了未见查询变体（伤害保持低位），跨基准任务族迁移未系统验证——若任务分布漂移，V̂_j 可能过期（阅读者推测）。
• MemoType 的三分类在更细粒度（如程序性记忆）或跨语言语料上是否仍是最优分割，原文承认是未来方向。
• Curating 论文的单调稀释公理在 McMillan 2026 与 Zhang 2026a 的小文件范围内未被观测到（原文如实引用）——稀释效应可能在数十条以下不显著，最优规模上界在小文件场景不紧。

失效条件：MemoWM 在环境规律突变（世界模型系统性失效）时省略风险估计失真，闭环误差可能累积超出校准；MemoType 的路由在类别边界模糊的对话上有 7.9% 的剩余错误（92.10% 准确率），错分直接导致子空间检索错误；Curating 的 k=2 准入条件带依赖误纳入/延迟代价的相对量级，代价结构极端时最优 k 会移动。

七、必要知识反推

假设一个完全没有背景的人要做出这三篇论文，他最少需要掌握什么？

领域知识层

• 智能体记忆系统的运作机制（为什么必须）：不知道 MemGPT/A-Mem/MIRIX 等系统的存储-检索范式，就无法定位「保留决策与解码分离」这一空白（MemoWM）、无法选出九个代表性基线（MemoType）。
• 世界模型的预测机制：不知道「状态+动作→下一状态分布」的基本范式，就无法把预测分布复用为编码分布。
• 人类记忆的双系统理论（Tulving）：不掌握情景/语义区分，就不会想到检查语义记忆的内部结构、发现双簇分离。
• Coding Agent 的常驻文件实践：不知道 AGENTS.md 的加载机制（每会话装载、后续轮次命中缓存）与「只增不减」的增长规律（1,867 仓库实证），就提不出策展问题。

方法论知识层

• 率失真理论：条件编码、边信息编码（Wyner-Ziv）、失真约束下的率最小化——MemoWM 的整个目标函数由此而来。不理解它就看不出「失真定义在答案损失上」这一关键改造。
• 嵌入几何与检索理论：质心、角分离、Cauchy-Schwarz——定理 3.3 的证明只用了初等几何，但要知道用「期望对齐」刻画检索质量。
• 品类组合优化与在线学习：固定成本 assortment、regret 分析、explore-then-commit、部分监测的识别理论——Curating 的六条定理全部建立在这套运筹学语言上。
• 实验设计与测量理论：匹配失真对比（控制变量）、嵌套池设计、任务簇 bootstrap、防数据泄漏的改写-相似度检验——三篇的实验说服力都来自这些方法论工具。

工程知识层

• Q-Former/量化/熵编码的工程栈：32×512 状态、OPQ 量化、range coder 实现——从理论比率到可验证比特流的落地能力。
• LoRA 微调与轻量部署：1.7B 路由器+局部推理的成本控制（MemoType 的 146 倍成本优势的来源）。
• Lean 4 形式化证明：把概率性论证写成机器检查的定理（Curating 论文的可信度溢价）。
• 统一记账规则设计：跨 12 个异构记忆系统公平比较存储——本身是研究贡献。

知识融合的关键节点

1. 节点一（MemoWM）：「率失真 × 世界模型 × 任务影响」的化学反应——率失真给了『存多少比特』的语言，世界模型给了『谁能恢复』的机制，任务影响给了『错了疼不疼』的度量；三者在「共享预测先验」上融合，单拿出任何一个都不成立（只有率失真是标准压缩、只有世界模型是预测研究、只有任务影响是效用启发式）。
2. 节点二（MemoType）：「认知心理学分类 × 嵌入几何实证 × 检索增强」——Tulving 理论提供分类假设，t-SNE 提供几何证据，HyDE 式扩展提供策略工具箱；融合点在「先证实语料可分、再证明单策略有上界、最后按类配策略」的完整逻辑链。
3. 节点三（Curating）：「retail 选品理论 × 截断反馈识别 × LLM 实证」——运筹学提供模型骨架，apple tasting/部分监测提供观察模型，IFScale/ManyIFEval 提供公理的外部验证；融合点在「把『注意力』这个模糊概念参数化为容量 Q̄ 与稀释曲线 g」。
4. 跨论文节点：三篇都把「记忆/上下文管理」从工程调参问题重构为有定理的分配问题——信息分配（比特）、空间分配（检索子空间）、容量分配（token 预算）。

八、论文中可以提取的通用性灵感

灵感一：任务定义失真，而非描述定义失真

• 核心思想：评价「该不该保留一条信息」时，用「丢了它下游任务会差多少」做标尺，而不是「它和原文像不像」。
• 论文证据：MemoWM 用答案 NLL 变化定义失真（公式 1），省略坐标仅 14.2% 精确恢复但语义一致率 97.0%，准确率反升；DeMem（arXiv:2605.10870）独立得出同构结论。
• 推广场景：① 日志系统按「影响排障决策的程度」压缩而非时间截断；② 特征工程按下游模型损失消融保留特征；③ 个人知识管理按「未来会引用的频率×重要性」淘汰笔记；④ 视频监控按事件检测任务的敏感性决定码率分配。

灵感二：可预测性与价值是两个正交的保留轴

• 核心思想：「容易预测」和「错了要紧」是信息的两个独立属性，任何只看单一轴（新颖性、意外度）的保留策略都会系统性犯错。
• 论文证据：MemoWM 匹配失真下 Uncertainty-only 门控比双因子门控多耗 42.0% 存储；一条几乎不变的事实可能任务关键、一个不可预测的抖动可能无关——这是论文开篇的核心反例。
• 推广场景：① 告警系统区分「罕见但无害」与「常见但致命」；② 缓存策略同时考虑重取成本与访问概率；③ 安检资源按威胁度而非异常度分配；④ 教育内容筛选同时看「学生不会的」和「考纲要考的」。

灵感三：异质资源先分类，再配专用策略

• 核心思想：混合多种结构的数据用统一管道处理存在理论上界；先按内在结构分簇，再给每簇配与其失配根源对应的处理方式。
• 论文证据：定理 3.3 证明单一策略对齐上界 1−(C−1)δ/2C；类型感知组合比最佳单一策略在三个数据集 Recall@1 +5.24/+5.14/+5.68；EM 策略贡献最大正对应「要素稀释」是其特有失配根源。
• 推广场景：① 客服工单分类后路由不同 SLA 流程；② 医学影像按模态分组训练专用检测头；③ 编译器按代码模式分派优化 pass；④ 推荐系统按内容类型（短文本/长视频/图集）配不同召回通道。

灵感四：警惕「正边际价值就追加」在共享资源下的陷阱

• 核心思想：当项目共享一种会被摊薄的资源时，逐项测试有正价值就纳入的组合策略，损失可以随池无界增长；最优组合规模由容量决定、与候选多少无关。
• 论文证据：推论 1 增积损失 ≥κc_min|S_acc|−w̄χḠ；实测最优文件 10–40 条而池 3200；命题 2 反事实证明无稀释时增积恰最优——稀释是唯一根源。
• 推广场景：① 会议议程安排（每加一个议题稀释全场注意力）；② 功能开关/配置项治理（app 设置项膨胀的通病）；③ 团队职责边界（无节制扩岗稀释人均影响力）；④ 药物联用的相互作用管理。

灵感五：合规数据不含价值信息——信号通道要与决策假设对齐

• 核心思想：从一条观测通道学不出它本来就不区分的参数；「被遵循得多」与「有价值」是两回事，用前者做删除依据会以概率 1 犯错。
• 论文证据：命题 3 显式构造两指令实例，删除最被忽略者以趋于 1 的概率删掉高价值指令；识别定理（C.5）系统列出合规/伤害/增益各自可识别的边界。
• 推广场景：① 用点击率评估推荐质量时的幸存者偏差；② 代码评审按评论数量而非实际缺陷密度评估贡献；③ 按出席率砍掉「冷门但战略要紧」的例会；④ A/B 测试中只会暴露「做了的效果」而看不到「没做的反事实」。

灵感六：让写入端与读取端共享同一生成先验，可以省掉同步开销

• 核心思想：当压缩方和解压方共享同一个预测模型时，「哪些内容被省略」本身不需要传输——双方各自重算即可一致。
• 论文证据：MemoWM 免掩码同步由归纳法证明；物理熵码实验解码端 100.00% 精确复现写端重建；增量同步协议 rsync 的「只传差异」在「双方有共同历史」时才可行是同一原理。
• 推广场景：① 分布式系统的状态同步（共享确定性状态机免日志传输）；② 增量备份（共享基线只传差异块）；③ 多智能体通信协议压缩（共享世界模型的 agent 间只传意外）；④ 版本控制（共同祖先合并）。

灵感七：一次性资本投入 vs 经常性存储开支的摊销权衡

• 核心思想：更大的共享模型（一次性参数成本）降低每条经验的边际存储（经常性成本）；最优投资规模随使用规模增长。
• 论文证据：容量扫描显示编码率随模型增大从 4,510 降至 4,070 bit/transition；计入 FP16 权重后总存储呈 U 型，最优容量从 10K 转移时的 0.54M 增长到长视界的 29M 参数。
• 推广场景：① 企业自建 vs 租用的规模经济决策；② 编译器优化强度 vs 二进制 大小的权衡；③ 本地模型 vs API 调用的用量拐点；④ 仓储自持 vs 云仓的库存规模决策。

灵感八：把模糊概念参数化为可证定理的容量与曲线

• 核心思想：「注意力有限」这类直觉陈述，一旦参数化为容量常数+稀释曲线，就能推出可检验的定量结论（规模上界、损失下界、准入阈值）。
• 论文证据：注意力容量 Q̄=χḠ 参数化直接产出 |S|≤Q̄/ρ 上界；k=2 准入阈值由损失函数唯一最小化条件给出；60 组模拟的 log-log 斜率 1.06 验证理论斜率 1。
• 推广场景：① 把「团队带宽有限」参数化为评审吞吐量推导 WIP 上限；② 把「用户耐心有限」参数化为注意力预算推导功能数量上界；③ 把「环境承载力」参数化推导最优放养密度；④ 班级规模上限的师生互动稀释模型。

结语

三篇论文放在一起，勾勒出智能体记忆研究的一次静悄悄的范式转移：从堆料的工程学（存得越多越全越好）转向分配的科学（每个比特、每个 token、每条指令都要证明自己的席位）。MemoWM 证明了「世界模型能解释的就不用存」，MemoType 证明了「记忆先分型才能各得其所」，Curating 证明了「文件不是越大越保险、最优大小与池无关」。它们分别借来信息论、认知科学与运筹学的百年积累——这也提示我们：智能体领域的许多「新问题」，往往在更老的学科里早已备好了理论工具，缺的只是那个把两个世界接通的「共享先验」。