StateComp×PaMER：长程智能体的历史压缩时机与记忆控制信号 —— 精读
论文 A 链接：StateComp: Learning When to Compress History in Long Horizon Agents (arXiv 2609.27298)
论文 B 链接：Memory Control Signals Emerge Before Action in Long Horizon Agents / PaMER (arXiv 2609.27286)
发表时间：2026年9月
机构：TierFlow Team（企业团队）、中国人民大学高瓴人工智能学院、清华大学（企业+高校合作；通讯作者马彦彪来自中国人民大学高瓴人工智能学院，韩军功来自清华大学；两篇论文作者阵容高度重合，为同一团队的姐妹工作，第一作者均为王明轩）
领域标签：cs.AI / cs.CL —— 长程智能体上下文管理、可解释性
一、论文背景
1.1 长程智能体与不断膨胀的交互历史
要理解这两篇论文，先要从「长程智能体（Long Horizon Agent）」说起。随着大语言模型（LLM）能力提升，它们越来越多地以「智能体」形态工作：接到任务指令后，自主规划、调用工具、观察环境反馈、修正策略，循环往复直到任务完成。一次任务可能持续几十甚至上百个交互步（turn）——写代码、修 bug、安全分析、网页操作，都是典型场景。
问题随之而来：每一步交互都会累加进上下文。任务指令、中间推理、工具调用、环境观察、失败的尝试……全部塞进模型的输入窗口。上下文越长，带来三重代价：
- 计算与延迟成本：Transformer 的注意力计算随长度平方增长，且每一步都要重新处理全部历史；
- 信息利用效率下降：「迷失在中间」（Lost in the Middle，Liu et al., 2024）现象表明，长上下文中部的信息利用率显著低于首尾；
- 多轮对话退化：LLMs Get Lost in Multi-Turn Conversation（Laban et al., 2026）进一步发现，即便模型能处理长上下文，多轮交互中的性能也会系统性下降。
一个直观类比：开一场马拉松式会议，你带了一台录音机全程记录。会开到第 8 小时，你需要的其实不是回放前 7 小时的每一句话，而是一份纪要——「前面讨论了什么、定了什么、还悬而未决什么」。录音全文就是智能体的原始历史（raw history），会议纪要就是压缩后的摘要（summary）。
1.2 现有方案与被忽视的根本问题
学界并非没有意识到这个问题，主流方案分几类：
- 提示词压缩（Prompt Compression）：以 LLMLingua 系列（Jiang et al., 2023；Pan et al., 2024）为代表，把「哪些 token 该留」当作分类问题，从输入中删除可预测的冗余 token。但这类方法处理的是「静态输入怎么变短」，不回答「执行过程中什么时候可以动手」。
- 固定窗口/定期摘要：滑动窗口保留最近 K 步，或每 n 步触发一次摘要。规则简单，但完全无视任务状态——窗口外的关键约束可能被一刀切掉。
- 智能体上下文管理：SelfCompact 给智能体一个「自我压缩」工具让它自己决定何时用；ACON 优化长程执行的压缩策略；PACE 按下一步相关性选择历史信息；Sculptor 提供摘要/隐藏/恢复/搜索的显式工具箱。
这些工作回答了「怎么压」（压缩算法）和「谁来决定」（模型自身或外部控制器），但普遍留下一个更根本的问题没有解决：一条历史交互，到底什么时候才算「安全可压」？ 压早了，后续动作还需要的细节被永久抹掉；压晚了，上下文开销白白膨胀。这个问题之所以难，是因为答案不取决于交互本身的年龄或位置，而取决于智能体当前所处的状态——同一份错误日志，在「正在诊断故障」时是 indispensable 的救命信息，在「病因已查明、结论已记录」之后就成了可压缩的冗余。
1.3 两篇论文的问题分工
这对姐妹论文恰好拆开了这个问题的两个侧面：
- StateComp（论文 A）：正面攻坚「何时压缩」。它把压缩时机建模为「历史交互 × 当前状态」的联合判定，构建了首个「何时压缩」的显式监督数据集（KEEP/READY 标签），并训练了一个与压缩器完全解耦的「压缩时机判定器」（路由器）。
- PaMER（论文 B）：回答「凭什么能判定」。它从可解释性角度问了一个更基础的问题：模型自己在动作发生之前，内部是不是已经「知道」该压缩/该召回了？ 答案是肯定的——动作前隐状态中可以线性读出压缩与召回控制信号。这既为 StateComp 式的外部判定器提供了机制层面的合法性证明，也把「判定器输入从哪来」推进到「模型的内生信号」。
两篇合起来构成一条完整的故事线：记忆管理不该是被动反应（上下文快爆了才压），而是可以提前计划的主动操作——而且模型内部早已埋好了这个计划的可读信号。
二、论文定位和关联工作
2.1 谱系一：提示词压缩 → 智能体历史压缩
| 工作 | 核心思想 | 与本文差异 |
|---|---|---|
| LLMLingua（EMNLP 2023） | 用小模型困惑度做粗到细 token 删除 | 处理静态输入变短，不涉及执行中的时机决策 |
| LLMLingua-2（ACL 2024 Findings） | 蒸馏标注数据，把压缩当 token 分类 | 同上；StateComp 直接在 Eval40 对比并显著胜出 |
| LongLLMLingua（ACL 2024） | 长上下文提示词压缩 | 提示词级方法，目标仍是单次输入 |
| Gist Tokens（NeurIPS 2023）/ ACE（EMNLP 2023） | 学习压缩表示 | 需要训练/改造模型本身，StateComp 的判定器读冻结模型隐状态 |
这一谱系回答「输入怎么变短」。StateComp 的关键区别在于：它优化的是「时机」（when）而非「内容」（what）——路由器只判定哪些历史交互已可替换，摘要器单独决定替换成什么，两个决策完全解耦。
2.2 谱系二：长程智能体上下文管理
| 工作 | 核心思想 | 与本文差异 |
|---|---|---|
| SelfCompact（2026） | 给智能体压缩工具+使用指南，模型自己决定何时压 | 决策质量依赖 acting model 的自我感知能力；StateComp 用显式监督训练的独立路由器 |
| ACON（2025） | 优化长程执行的上下文压缩 | 聚焦压缩策略优化；Eval40 上 63.32 分 vs StateComp 71.54 |
| PACE（ACL 2026） | 按下一步相关性自适应选择历史 | 「相关性选择」≠「可替换性判定」：一条交互可能与任务持续相关但早已不需要原始细节 |
| SWE-Pruner（2026） | 编码智能体自适应上下文剪枝 | 领域特定（SWE 场景） |
| Sculptor（ICLR 2026） | 显式上下文管理工具箱（摘要/隐藏/恢复/搜索） | 工具丰富但触发时机靠模型自决 |
| CoMem / SAM / Self-GC / LRE（2026） | 解耦长上下文模型 / 状态自适应记忆 / 自治上下文 | 均在 Eval40 被对比，分数普遍低于 baseline 或 token 节省有限 |
2.3 谱系三：隐状态探测与可解释性（PaMER 的根基）
| 工作 | 核心思想 | 与 PaMER 的关系 |
|---|---|---|
| Alain & Bengio 2016 | 线性探针测中间层是否编码目标属性 | PaMER 探针方法论的直接源头 |
| Hewitt & Liang 2019；Belinkov 2022 | 探针需控制任务、探针≠因果机制 | PaMER 明确声明「预测性而非因果性主张」 |
| Kadavath et al. 2022（Anthropic） | 模型「知道自己知道什么」（置信度可读出） | 同类「模型内省信号」证据，PaMER 把它扩展到记忆操作 |
| Burns et al. 2022（CCS） | 无监督发现隐状态中的潜在知识 | 隐状态承载决策信息的又一证据 |
| Azaria & Mitchell 2023 | 隐状态知道模型何时在说谎 | 真实性信号先于输出存在 |
| Probing-RAG（NAACL 2025 Findings） | 用中间层隐状态决定是否需要额外检索 | 最接近的先行工作：目标不同（外部文档检索 vs 智能体内部记忆需求），交互结构不同 |
2.4 定位结论
把两篇论文放进这张大图：StateComp 是「智能体上下文管理」谱系中第一个把压缩时机本身作为一等公民、给出显式监督和独立判定器的工作；PaMER 则是「隐状态探测」谱系第一次进入智能体记忆管理领域，证明记忆控制信号先于动作存在。前者是工程系统贡献，后者是机制发现贡献，两者互为表里——PaMER 的发现为 StateComp 的路由器提供了「为什么冻结模型隐状态里有信号可学」的机制解释，StateComp 的在线系统则验证了 PaMER 的信号在实际部署中确实可用。
三、问题定义
3.1 从具体场景到抽象问题
具体场景：一个跑了 60 步的智能体，第 61 步时上下文已有 15 万 token。历史里混着：永远不能丢的早期任务约束、早已被结论覆盖的中间搜索结果、失败尝试的详细日志（病因查明后就没用了）、刚发生的关键观察。哪些可以压成摘要？
StateComp 的核心洞察：这个问题的深层结构是——一条交互的「可压缩性」不是它的内在属性，而是「交互 × 当前状态」的联合属性。同一条交互，状态演进后会从 KEEP 翻转为 READY。这就像会议纪要的类比：某段讨论「能不能写成纪要」，不取决于这段讨论本身讲得怎样，而取决于现在的会议进展是否已经把那段的结论消化吸收了。
PaMER 的核心洞察：要做出上述判定，不需要请一个「外部裁判」从零推理——模型的动作前隐状态已经整合了任务目标、近期证据与历史依赖，压缩需求和召回需求应当已经以某种形式编码其中。这类似于神经科学中的「准备电位」（readiness potential）：人在意识到自己要动手之前，大脑运动皮层的电位变化已经出现——动作是提前计划好的，而不是临场起意。PaMER 要验证的就是：智能体的「记忆操作」是不是也有这种「动作前信号」。
3.2 形式化定义
StateComp：以完整交互 $S_i = (R_i, A_i, O_i)$（推理、动作、观察三元组）为基本单元。在第 $k$ 步之前，已完成历史为 $P_k = (S_1, \ldots, S_{k-1})$。定义标签：
$$y_{i,k} = \begin{cases} 0 \text{ (KEEP)} & k < t_i^* \text{（需保留原始细节）} \\ 1 \text{ (READY)} & k \geq t_i^* \text{（可被准确摘要替换）} \end{cases}$$其中 $t_i^*$ 是交互 $S_i$ 的最早安全压缩检查点——从这个点起，前缀证据已足以证明删除原始细节是安全的。若无安全点则 $t_i^* = \infty$（全程保留）。
关键点：标签是「交互+状态」的联合属性，而非交互自身属性；且错误代价高度不对称——该压不压只是多花 token，不该压而压则可能永久丢失后续动作所需信息（因为被移除的原始内容不通过外部检索恢复）。这决定了整个方法必须「宁缺毋滥」。
PaMER：在决策步 $t$，动作前上下文为 $o_t$，提取冻结模型最后一层最后一个输入 token 的隐状态 $h_t \in \mathbb{R}^{4096}$。对两个二分类目标：
$$y_t^m = \mathbb{1}[t \in A^m(\tau)], \quad m \in \{c(\text{压缩}), r(\text{召回})\}$$训练线性探针 $p_t^m = \sigma((w^m)^\top h_t + b^m)$，检验 $h_t$ 中的信号能否超越「上下文长度/轮数/工具类型」等可观测元数据。
3.3 抽象的精妙之处
两个形式化共享同一个抽象骨架：把「记忆管理」从规则问题变成「状态条件的数据驱动判定」——StateComp 用显式监督数据把判定标准外化成数据集，PaMER 用探针把判定信号内化到模型表征。抽象的必要性在于：压缩机会在轨迹中的分布高度不均匀（StateComp 图 3 显示 READY 比例随进度上升但四个领域曲线形态各异），任何与状态无关的固定规则（按年龄、按位置、按窗口）在原理上就无法逼近最优判定。
四、问题解法
本节以 StateComp 为主线讲解系统设计，PaMER 的独有组件穿插其中并明确标注。
4.1 StateComp 三大组件
组件一：两阶段标注构建 KEEP/READY 监督（类比：法学中的「证据链审查」）
直接拿着完整轨迹让标注员（LLM 辅助）说「这段可以压」，会把「最终确实解决了」与「当时已有证据支持可删」混为一谈——事后诸葛亮谬误。StateComp 的两阶段设计直击这一点：
- Stage 1（逐检查点独立取证）：对每个检查点 $k$，独立标注每条历史交互：记录任务进度、观察复杂度、下一子任务预期需求、该交互的剩余效用、以及前缀中已存在的支持证据及其位置。每条记录包含理由、证据位置、初步 KEEP/READY 判断、以及任何否决正向判断的未来依赖（$b_{i,k}=1 \Rightarrow e_{i,k}=1 \wedge v_{i,k}=0$：正向判断必须有前缀证据支持，且无未来依赖否决）。不同检查点的判断互不继承。
- Stage 2（跨检查点边界复核）：对每条固定交互，汇总 Stage 1 的全部记录与原始证据，重新核查候选压缩点，确定最早安全边界 $t_i^*$。暴露不一致的初步判断，而不是把第一个 READY 一路传播到底。未解决的案例保持 KEEP。
最终数据集：300 条轨迹、244,526 个交互-状态对，其中 READY 仅 15,633 个（约 6.4%）——永远全 KEEP 的分类器可白拿 93.61% 准确率，这正是必须用排序/查准率指标而非准确率的原因。
组件二：冻结模型隐状态上的失衡感知路由器（类比：不再重新开庭，只读「卷宗摘要向量」）
在线执行时智能体看不到未来，也没有标注边界。StateComp 的方案是从冻结的语言模型中读表征：
- 全上下文参考实现：对 $P_k$ 一次前向传播，取每条历史交互末 token 的隐向量 $h_i$ 和当前状态向量 $q_k$，路由器以 $[h_i; q_k; r_{i,k}]$（含同前缀 Top-k 历史聚合特征）预测 $p_{i,k}$。
- 有界状态表征（关键工程创新）：全上下文提取太贵（实测轨迹最长 203,675 token，反复处理历史会让表征提取本身成为开销大头）。StateComp 为每个待评交互单独构造有界视图：目标交互 + 当前状态 + 有限的有效历史，输入预算至多 5,120 token。冻结模型读这个短视图，取末位置读出做判定。效果：最大输入从 203,675 降到 5,120（-97.49%），提取耗时从 76.40s 降到 6.03s（12.67 倍加速），峰值 GPU 显存 -36.72%，且分离测试 F1 反而从 0.7000 升到 0.7818——省成本的同时判定质量还更高（因为去掉了长输入中的噪声干扰）。
一个容易忽略的理论细节（命题 B.1「因果前缀不变性」）：因果 Transformer 中，追加新 token 不会改变已有前缀位置的隐状态——所以 $h_i$ 本身天然不携带状态依赖性，状态依赖必须由 $q_k$ 或重新构造的联合输入提供。这个命题保证了「同一条交互随状态变化获得不同路由分数」在架构上是成立且必要的。
- 失衡感知训练：READY 只占 6.4%，加权 BCE（$w_1=10$）把正类损失放大，配合按验证集选定的保守决策阈值。论文还给出命题 B.2/B.3，证明类加权如何改变分数后验解释、以及代价敏感选择的最优阈值形式——把「为什么这样定阈值」从工程直觉提升到了可分析层面。
组件三：预测与执行分离的在线压缩（类比：判定「可写纪要」≠ 马上动笔写）
路由器打分只是「预测」，真正执行压缩还要过三道门（公式 2）：
$$\min_{i \in B} p_{i,k} \geq \tau, \quad |B| > \kappa, \quad \text{Tokens}(B) \geq B_{\min}$$即：跨度内所有交互分数都超阈值（$\tau=0.60$）、相邻 READY 交互合并成的连续跨度 $B$ 至少含 4 条完整交互（$\kappa=3$）、源 token 至少 1,000。预测-执行分离的深层原因：压缩摘要本身有调用成本，压碎片化的短跨度可能「摘要花的 token 比省下的还多」；且重写历史会使首个变更位置之后的 KV 缓存全部失效，攒大批量再压能减少缓存反复失效重建。KEEP 交互会打断跨度（不会为连接两个 READY 区段而被裹挟压缩）。
提交后的摘要直接替换原始历史、成为后续一切动作与路由的「有效历史」——闭环、有状态，且不设外部检索恢复通道（原始轨迹仅留档审计，在线控制器不读）。这使得「压错」不可逆，进一步强化了保守设计的必要性。
4.2 PaMER：从「读出信号」到「用上信号」
PaMER 的分析部分（第 3 节）是机制验证，系统部分（第 4 节）是工程落地。
分析设计：72,912 个决策点、2,521 条轨迹、600 个问题（与评估任务不重叠），按问题分组划分 70/15/15 训练/验证/测试集（防止同题轨迹泄漏）。冻结 Qwen3.5-9B 提取动作前隐状态，每个目标独立训练线性探针。
PaMER 系统设计（遵循分析发现的三信息源设计模式）：
- 压缩门控：保留任务前缀 $P_t$ + 最近 2 个完整交互块（Recent2），当候选 ≥1,024 token 且 5 个独立训练的压缩头中 ≥3 个超过验证阈值时触发压缩（3/5 投票）。压缩头用「标注标签 + 全上下文教师预测」双重蒸馏训练（公式 9）。
- 摘要外置存储：触发压缩后，旧块被摘要、用 Qwen3-Embedding-8B 编码、连同溯源链接存入外部记忆；原始块仅在存储成功后才移除（命题 C.3：成功存储先于移除——失败永不丢信息）。当前请求立即缩减为 $P_t \oplus R_t$，且同一请求不插入新摘要也不做召回（防止召回立即抵消压缩）。
- 延迟召回：后续请求以任务+Recent2 构造嵌入查询，检索 Top3 摘要插入前缀与近期块之间。PaMER+ 进一步引入步骤级证据选择：摘要只用来「定位」相关记忆，选择器指定
raw_steps_needed，只恢复当前任务真正需要的原始步骤——「选中的摘要不授权恢复它覆盖的每一步」。
与 StateComp 的关键差异：StateComp 压缩后不可恢复（纯删换），PaMER 压缩后外置可检索（删+存+召回）。PaMER 的召回探针仅用于分析，在线检索不做门控（每轮都检索 Top3）——这是「分析信号」与「部署策略」的诚实分离。
4.3 全景对比表
| 维度 | StateComp | PaMER/PaMER+ |
|---|---|---|
| 核心问题 | 何时压缩（时机判定） | 记忆信号是否存在+如何用 |
| 监督来源 | 两阶段标注的 KEEP/READY 边界 | LLM 标注压缩/召回决策点 |
| 判定器输入 | 冻结模型有界视图隐状态 | 冻结模型 Recent2 隐状态 |
| 判定粒度 | 交互级 × 状态（逐对判定） | 决策点级（动作前状态） |
| 压缩后原始内容 | 不可恢复（留档但不在线读取） | 外置存储、可按需召回 |
| 信号验证 | 路由器 AUROC 0.7096 | 探针 AUROC 0.831（压缩）/ 0.765（召回） |
| 执行门槛 | 三重门（分数+跨度+token） | 3/5 投票 + 1,024 token 门槛 |
五、评估指标与实验证据
5.1 StateComp 的实验证据
指标体系：
- 主指标：任务平均 reward（WorkBuddyBench 基准的任务级得分）+ 总 token 消耗（agent 与摘要调用的输入输出总和）——效率与质量必须一起看，只报其一都会误导（论文特别强调「缩短可见历史≠降低总消耗」，因为执行路径改变和重复摘要操作可能抵消提示词层面的节省）。
- 路由器指标：AUROC / PR AUC（正类仅 6.4%，准确率无意义）+ 高精度工作点的查准率/查全率。
- 表征效率指标：最大输入 token、提取耗时、峰值显存、工作区显存。
基准：WorkBuddyBench，260 个任务（80 Code / 50 Office / 60 Security / 70 Web），主模型 DeepSeek-V4-Flash。
核心结果 1：Full260 主实验——token 从 698.17M 降到 333.24M（-52.27%），平均 reward 从 0.6987 微升到 0.7026。四个领域 token 全部下降（Code -38.89% ~ Office -55.75%），reward 三升一微降（Security 0.4776→0.4731）。
| 方法 | Code | Office | Sec. | Web | Avg. | Tokens (M) |
|---|---|---|---|---|---|---|
| Baseline | 76.99 | 81.84 | 47.76 | 72.14 | 69.87 | 698.17 |
| StateComp | 77.12 | 82.77 | 47.31 | 73.14 | 70.26 | 333.24 |
核心结果 2：Eval40 全家桶对比——在 40 个固定任务上对比 14 种上下文管理方法。StateComp 以 71.54 平均分 + 43.76M token 同时做到「最高分」和「接近最低 token」：
| 方法 | Avg. | Tokens (M) | 备注 |
|---|---|---|---|
| Periodic Summary (n=5) | 70.17 | 94.85 | 分数接近但 token 是 StateComp 的 2.2 倍 |
| Sliding Window (K=20) | 68.67 | 80.82 | 简单窗口两头不占 |
| LLMLingua-2 | 62.01 | 96.18 | token 压缩强但分数大跌且总 token 反超 baseline |
| PACE | 58.42 | 44.12 | token 相当但分数 -9.12 |
| CoMem | 44.20 | 30.64 | 极端省 token 但分数崩塌 |
| ACM | 33.70 | 94.56 | 双输 |
| StateComp | 71.54 | 43.76 | 唯一「分数最高+token 减半」 |
这张表最能说明「时机判定」的价值：多数基线要么省 token 伤分数（激进压缩），要么保分数费 token（保守策略），StateComp 是唯一同时占住两端的。
核心结果 3：表征效率（有界视图）——12.67 倍提取加速、97.49% 输入缩减、F1 反升（详见 4.1 组件二）。
核心结果 4：跨模型迁移——同一压缩流程换 4 个 acting model（Hunyuan/Qwen3.8-Flash/GLM-5.3-Flash/MiMo-V2.5），token 全部下降（-23%~-69%），reward 多数上升或持平（Qwen3.8-Flash +5.35、Hunyuan +3.72、GLM +3.22、MiMo +0.56）——判定器学到的「时机」模式跨模型可迁移。
压缩机会的分布证据：图 3 显示四领域 READY 比例随任务进度普遍上升（前期几乎无、后期达 0.1-0.4），但曲线形态各异——证明压缩机会非均匀分布且与任务状态强相关，固定规则（按年龄/进度）原理上无法逼近。
5.2 PaMER 的实验证据
指标体系：AUROC（主指标）+ AUPRC/F1（辅指标）衡量信号可读性；reward + token + 峰值上下文衡量系统效果。
核心结果 1：隐状态信号超越可观测元数据（表 1）——这是全文最重要的实验：
| 信号 | 压缩 AUROC | 召回 AUROC |
|---|---|---|
| 长度/轮数 | 0.751 | 0.552 |
| 元数据（+工具类型） | 0.758 | 0.549 |
| 隐状态（线性探针） | 0.831 | 0.765 |
| 隐状态（MLP） | 0.827 | 0.763 |
三个关键读数：(1) 隐状态显著优于任何可观测控制变量——信号不是「上下文长了」的伪装；(2) MLP 相比线性探针几乎无增益——信号在隐状态中线性可读，这是「表征中已显式编码」的强证据；(3) 召回信号（0.765）远超长度/轮数（0.552，接近随机）——「需要什么信息」几乎无法从表面特征推断，只能从内部表征读出。
核心结果 2：信号随深度的形成模式（图 1）——压缩信号随深度单调增强（block 4 约 0.757 → 最终层 0.831）；召回信号在中层（block 16）就达到峰值 0.780，后略回落。两者形成模式不同，说明它们是两种不同的计算而非同一个「上下文太长」信号。此外末 token 表征一致优于均值池化（压缩 0.831 vs 0.712）——与「下一动作将从该位置产生」的直觉一致。
核心结果 3：26% 上下文保留大部分信号（表 2）——Recent2（26.0% token）保留压缩 AUROC 0.776 / 召回 0.761（全上下文为 0.829/0.780）；恢复选择性原始证据（Selective Raw Top5，66.2% token）可达 0.832/0.769 甚至反超全上下文。三信息源设计（前缀定相关性 + 近期块定工作状态 + 选择性证据补长程依赖）由此获得实证支撑。
核心结果 4：Full260 系统效果——
| 变体 | Avg. | Tokens | 变化 |
|---|---|---|---|
| DeepSeek-V4-Flash 基线 | 69.9 | 2.69M | — |
| + PaMER | 69.4 | 0.72M | token -73.2%，reward -0.4 |
| + PaMER+ | 71.6 | 0.76M | token -71.7%，reward +1.7 |
核心结果 5：组件消融（图 3b）——去掉召回：reward 从 0.7000 跌到 0.6370（-6.3，信息删了找不回真的伤任务）；去掉压缩：token 从 0.899M 涨回 3.180M。压缩管「省」，召回管「找回」，互补角色被干净地拆开验证。
核心结果 6：跨模型——5 个 acting model 上 token 全降（-27.6%-88.0%），reward 变化模型依赖（MiMo-V2.5 +15.8、Qwen3.8-Flash +6.8，GPT-5.6-Luna -2.1-2.3）。
5.3 两篇证据的互补关系
StateComp 证明「状态条件时机判定」在工程上可行且收益巨大；PaMER 证明「判定信号早已存在于模型内部」。合起来的证据链：压缩机会随状态非均匀演化（StateComp 图 3）→ 演化信息在冻结模型隐状态中线性可读（PaMER 表 1/图 1）→ 读出并保守使用该信号可同时优化效率与质量（两篇系统实验）。
六、效果优势的根源解释
6.1 根源机制与证据链
对比对象：现有上下文管理方法，其代表是三类：(a) 固定规则（滑动窗口/定期摘要）；(b) 模型自决（SelfCompact/Sculptor 类，靠提示词让 acting model 自己判断）；(c) 相关性选择（PACE/SWE-Pruner，按与当前/下一步的相关性挑内容）。
baseline 的根本局限：
- 固定规则的机制缺陷：压缩触发与任务状态统计解耦。一条交互是否可压取决于「前缀是否已提供替代证据」，这与年龄、位置、进度百分比只有弱相关。StateComp 图 3 中四领域 READY 曲线形态各异，直接证伪了任何全局共享的压缩日程表。
- 模型自决的机制缺陷：acting model 的判断力被同时用于「做事」和「管理记忆」，两項任务争抢同一个上下文与推理预算；且自决判断无显式监督校准，错误率不可控、不可分析。
- 相关性选择的机制缺陷：混淆了「相关」与「需保留原始细节」。一条早期的约束或错误日志可能与任务全程相关，但其中细节早在结论形成后就不必要——PACE 在 Eval40 上 Office 掉 25.89 分正是激进丢弃「低相关但必要」内容的代价。
本文方法的根本性改变（因果链）：
- 判定与执行解耦 + 判定器与压缩器解耦（设计）→ 时机判定成为可独立训练、独立分析、独立保守化的模块 → 错误率可控（StateComp 命题 E.2 给出跨度误差分解界）；
- 监督数据把「安全可压」的判据外化为前缀证据（数据）→ 学习目标从「什么重要」变为「什么已被充分吸收」→ 与任务状态的耦合从弱统计相关升级为定义性绑定；
- 读冻结模型隐状态而非重新推理（表征）→ 判定成本与 acting model 解耦（有界视图 12.67 倍加速）且可跨模型迁移（4-5 个 backbone 全部有效）→ 判定信号来自模型已完成的计算，近乎「免费」；
- 保守执行门（分数+跨度+token 三重门 / 3/5 投票）（执行）→ 宁可漏压不可错压 → 在错误代价不对称的设定下把不可逆损失的概率压到可接受水平 → reward 持平甚至上升。
逐步对应指标：1↔路由器可训练出高精度工作点；2↔Eval40 上唯一「分数最高+token 减半」；3↔表 1 表征效率与跨模型结果；4↔Full260 reward +0.39 / PaMER+ reward +1.7。
其中第 3 步「隐状态中确有信号可读」由 PaMER 的机制实验直接支撑（论文实验已支持）；「信号部分来自模型对记忆操作的计划性编码」目前是阅读者推测——PaMER 只证明了预测性（predictive）而非因果性（causal），论文自身也明确声明了这一点（并引用 Belinkov 2022 的探针方法论警示）。
6.2 相关工作检索与对照
围绕每条关键机制，检索外部文献交叉验证：
| 研究（可核验链接） | 相似尝试 | 相关结论 | 与本文的差异与适用边界 | 对根源解释的影响 |
|---|---|---|---|---|
| LLMLingua 系列（arXiv:2310.05736；LLMLingua-2 arXiv:2403.12968） | 用小模型困惑度/token 分类做提示词压缩 | 压缩可大幅省 token 但激进压缩伤能力（GSM8K 保持、BBH 明显退化） | 静态提示词 vs 执行中历史；LLMLingua-2 在 Eval40 上 62.01 分且总 token 反超 baseline，佐证「省了提示词≠省了总账」 | 支持「必须计入摘要调用成本、时机与内容需协同」的解释 |
| 长程压缩执行不稳定性实证研究（arXiv:2608.06503） | 系统对比 FIFO/LLMLingua-2/结构化摘要等压缩基线在长程智能体上的执行稳定性 | 发现压缩引发的执行不稳定是普遍失败模式，简单基线常优于复杂方法 | 独立第三方研究，任务设定相近 | 补充：外部证据表明压缩的执行风险真实存在，支持 StateComp 的保守三重门与 PaMER 的「存储成功才移除」事务设计 |
| Probing-RAG（arXiv:2410.13339） | 用中间层隐状态探针决定是否需要额外检索 | 内部表征可指导检索决策、减少冗余检索步 | 目标是外部文档 QA 检索，非智能体内部记忆操作；PaMER 论文自身也引用并区分 | 支持「隐状态承载操作决策信号」的机制假设，从不同场景得出一致结论 |
| 线性探针检测的是任务格式而非推理模式（arXiv:2606.02907） | 对探针高准确率做格式混淆残差化检验 | 100% 探针准确率可完全由格式混淆解释，残差化后降至随机 | 探针方法论批判；PaMER 做了长度/轮数/工具类型/TF-IDF/文本嵌入等多重控制，但「格式混淆完全排除」仍无法断言 | 限定：提醒 PaMER 的 AUROC 提升需谨慎解读为「记忆需求被编码」，而非证明模型存在记忆操作的「计划回路」 |
| 隐状态预测模型未来行为/不确定性（arXiv:2511.04527；Kadavath et al. arXiv:2207.05221；Azaria & Mitchell 2023） | 从生成中间态/答案前隐状态预测结果分布、置信度、真实性 | 模型内部状态先于输出携带决策信息是跨任务反复出现的现象 | 场景各不相同（CoT 中间态/QA 置信度/真实性），无一涉及记忆操作 | 支持（结论相近类）：「动作前信号」不是孤例，PaMER 将其扩展到记忆管理是同族发现 |
| 智能体记忆系统综述与 MemGPT/Mem0 等（arXiv:2601.14192；MemGPT arXiv:2310.08560） | 分层记忆、LLM 决定 ADD/UPDATE/DELETE 等记忆操作 | 记忆管理分「规则触发」与「LLM 决策」两大范式，各有成本与失效模式 | PaMER 的探针门控是第三条路：不靠规则也不靠额外 LLM 调用，读内生信号 | 补充：定位了探针门控在记忆管理设计空间中的独特位置 |
| FLARE / Self-RAG（arXiv:2305.13264 / 2310.11511） | 生成中信号决定何时检索 | 检索时机可由模型状态信号驱动 | 信号来自输出概率/反思 token，非隐状态探针 | 支持「检索/召回时机应状态驱动」的方向，PaMER 用更底层的信号源 |
检索说明：以上覆盖 context compression LLM agents、LLMLingua、selective memory agent、probing hidden states decision、linear probe interpretability 等关键词方向。未找到专门研究「压缩时机（when-to-compress）监督学习」的先行工作——在本次检索范围内，StateComp 的 KEEP/READY 数据集与解耦路由器是首个该方向工作（此表述限于检索范围，不排除遗漏）。
6.3 综合判断与未决问题
多项研究共同支持的机制：(1) 激进压缩伤任务质量、必须保守执行——LLMLingua 系列退化、2608.06503 的执行不稳定性、Eval40 上众多基线崩塌三方一致；(2) 隐状态承载可线性读出的操作决策信号——Probing-RAG（检索决策）、Kadavath（置信度）、PaMER（记忆操作）跨场景反复出现；(3) 检索/召回时机应当状态驱动——FLARE/Self-RAG/Probing-RAG 收敛于同一方向。
仍属推测的机制：「压缩/召回信号是模型对记忆操作的提前计划」——PaMER 证据止步于预测性；2606.02907 的格式混淆警示提示，即使做了元数据控制，也不能排除残余混淆因素。将其解读为「模型有记忆计划」目前是合理假设而非已证机制。
优势成立条件：错误代价不对称且原始内容（近似）不可恢复的场景；任务足够长使压缩收益摊销摘要成本（StateComp 命题 E.3 的收支平衡条件 $R\Delta > C_{sum}$）；有足够轨迹构建监督。
可能失效条件：短任务（摘要成本无法摊销）；标注分布与部署分布漂移严重的领域（StateComp 附录 D 显示不同轨迹长度组预测表现有差异）；跨 acting model 的 reward 增益不保证（GPT-5.6-Luna 在 PaMER 下 -2.1~-2.3，说明信号的可迁移性有边界）；Security 域在两篇中都是最不稳定领域（细节敏感型任务对压缩天然更脆弱）。
七、必要知识反推
假设让一个没有背景的人重做这两项工作，最少必须掌握什么？
7.1 领域知识层
- 长程智能体的运行机制：ReAct 式推理-行动-观察循环、工具调用协议、轨迹如何累积成上下文。不理解「交互是基本单元、工具调用与响应必须成对保留」就无法设计压缩边界。
- 上下文长度问题的完整图景：Lost in the Middle、多轮退化、KV 缓存与前缀缓存机制——尤其要懂重写历史会从首个变更位置起使 KV 缓存失效，这是跨度门（攒大批量再压）存在的工程理由。
- 长程记忆管理的已有范式：MemGPT 式分层、Mem0 式抽取管线、规则触发 vs LLM 决策的分野——否则无法定位「第三条路」（探针门控）的价值。
7.2 方法论知识层
- 线性探针方法论及其陷阱：Alain & Bengio 的探针传统、Hewitt & Liang 的控制任务、Belinkov 的批判性综述——必须知道「探针准确≠因果机制」，才能像 PaMER 那样把主张严格限定在预测性、并设计元数据控制实验。
- 类别失衡学习与代价敏感决策：6.4% 正类率下准确率失效、加权 BCE 的后验扭曲（两篇都推导了加权分数与真实后验的换算）、precision-recall 权衡——「72.22% 精度 @ 0.11% 召回」这类工作点的解读需要这套知识。
- 分组评估与泄漏防控：为什么必须按轨迹/按问题划分数据集（同轨迹状态高度相关），否则探针性能是记忆而非泛化。
- Transformer 因果注意力的不变性：StateComp 命题 B.1（追加 token 不改变前缀隐状态）决定了状态依赖必须显式注入——不懂这一点会设计出「静等 $h_i$ 自己变化」的无效方案。
7.3 工程知识层
- 基准与评估协议设计：WorkBuddyBench 的任务结构、reward×100 的约定、token 记账口径（缓存输入不重复计、本地表征成本单列）——评估口径不一致会让「省 token」变成数字游戏。
- 在线系统的失败安全设计：PaMER 的存储事务（成功存储才移除原始块）、失败回退（返回上一有效历史）、协议校验（替换后必须仍协议合法且更短）——生产级记忆控制器的核心是「失败永不丢信息」。
- 部署约束意识：API 模型不暴露隐状态 → 探针必须搭在独立冻结模型上（PaMER 的控制器与 acting model 完全解耦正是为此）。
7.4 知识融合的关键节点
- 融合节点一（标注 ↔ 证据法）：把「压缩安全性」翻译成「前缀证据是否充分」的法学式取证思维，产出两阶段标注——这是监督质量的生命线。缺少任何一侧（不懂智能体轨迹 or 不懂证据严谨性）都得不到干净标签。
- 融合节点二（探针方法论 ↔ 系统设计）：PaMER 的三层信息源设计（前缀+Recent2+选择性证据）不是拍脑袋，而是把「哪段历史支撑决策信息」的分析结论直接转译为系统架构——分析即设计。
- 融合节点三（失衡学习 ↔ 在线保守化）：把训练时的类加权、验证时的阈值选择、部署时的三重门/投票门串成一条「保守性流水线」——每一级都在为不可逆错误加保险，需要同时理解统计与工程两侧。
八、论文中可以提取的通用性灵感
灵感一：把「时机」从「操作」中拆出来单独学习
核心思想：一个复杂操作（压缩/重写/迁移）的「何时做」与「怎么做」是两个独立可优化变量，分开监督、分开训练、分开执行，各自都可保守化。
论文证据：StateComp 路由器只判时机、摘要器只管内容，预测与执行之间还有三重门；Eval40 上唯一同时做到分数最高+token 减半。PaMER 的「分析探针不等于在线门控」是同一分离精神。
推广场景：(1) 数据库迁移——「何时切换」与「如何迁移」解耦，时机判定器单独训练；(2) 自动驾驶变道——变道时机（安全边界判定）与变道轨迹规划分离；(3) 云服务扩缩容——触发扩容的条件判定器与扩容执行流程解耦；(4) 人类决策辅助——手术时机评估与手术操作方案分属两个独立评估体系。
灵感二：用「当前状态」重新评估历史资产的保留价值
核心思想：资产的保留决策应是动态的联合判定（资产 × 当前状态），而非资产入库时的静态标签。
论文证据：KEEP/READY 标签定义为 $y_{i,k}$（交互 $i$ 在状态 $k$ 的标签）而非 $y_i$；READY 比例随任务进度非均匀上升（图 3）；命题 B.1 从架构上论证了状态依赖必须显式注入。
推广场景：(1) 企业知识管理——文档「归档价值」随项目阶段动态重估；(2) 缓存系统——缓存条目的淘汰判定结合当前工作负载状态而非仅插入时间；(3) 法律证据保全——证据的保存必要性随案情进展重新评估；(4) 个人信息管理——笔记的存档/激活状态随当前项目上下文切换。
灵感三：读内生信号优于外挂判断器（探针先行）
核心思想：在改造系统之前，先探测系统内部是否已有可读出的决策信号——「模型/组织已知道什么」是设计干预的最便宜信息源。
论文证据：PaMER 先证明 AUROC 0.831/0.765 的信号存在、且线性可读、MLP 无增益，再据此设计系统；Recent2 仅 26% token 保留大部分信号，说明信号天然轻量。Probing-RAG 在检索场景得出同族结论。
推广场景：(1) 人机交互——用生理信号（眼动/皮电）读出用户意图先于显式操作，做预取与预渲染；(2) 工业设备——振动/温度信号中的「维护需求前兆」读出后再决定检修时机；(3) 组织管理——员工流失风险从内部行为表征中读出，先于离职面谈；(4) 数据库查询优化——从执行计划中间状态读出「需要重规划」信号。
灵感四：错误代价不对称时，用多重独立门做保守化
核心思想：当一类错误不可逆而另一类只是浪费时，决策系统应叠加多重廉价独立检查（分数门+规模门+经济门 / 多头投票），宁可漏掉机会也不犯不可逆错误。
论文证据：StateComp 三重门（τ=0.60 分数 + ≥4 交互跨度 + ≥1,000 token）与「KEEP 打断跨度」；PaMER 五头 3/5 投票 + 1,024 token 门槛 + 存储事务成功才删数据；两篇的 reward 都未因保守而受损。
推广场景：(1) 医疗手术检查单——多项独立指标全过才推进；(2) 金融风控——反欺诈多信号投票，误杀（拒交易）可逆、漏杀（被骗）不可逆；(3) 软件发布——多项质量门+回滚预案，坏发布不可逆时门要叠厚；(4) 数据删除操作——软删除缓冲+多重确认，删除不可逆时永远保守。
灵感五：「预测性主张」与「因果性主张」的诚实分层
核心思想：向读者/决策者呈现「内部信号能预测 X」时，严格区分「可预测」与「模型因 X 而计算」——前者已证，后者是假设，混淆两者会埋下系统性误判。
论文证据：PaMER 通篇强调 predictive rather than causal，引用 Belinkov 2022；外部检索发现的 2606.02907（格式混淆警示）证明这种谨慎并非多余。
推广场景：(1) 医学统计——生物标志物预测疾病 ≠ 因果通路，干预设计须区分；(2) 用户行为分析——点击率信号预测转化 ≠ 因果驱动，A/B 实验前不可混同；(3) 经济指标——先行指数预测衰退 ≠ 引起衰退；(4) 招聘测评——测评分数预测绩效 ≠ 决定绩效，公平性讨论须建立在此区分上。
灵感六：跨模型/跨主体的控制器解耦设计
核心思想：把「管理决策」从被管理对象的内部实现中抽出，放到独立冻结的第三方上，可获得跨对象可迁移性。
论文证据：两篇的判定器/探针都搭在冻结 Qwen3.5-9B（StateComp 另用 Qwen2.5-7B 做严格研究）上，acting model 换了 5-6 个（DeepSeek/GLM/Qwen/MiMo/Hunyuan/GPT）无需重训——信号读出与任务执行彻底解耦。
推广场景：(1) 多云管理——统一调度层不依赖任何单朵云的内部 API；(2) 团队管理——流程裁判（Scrum Master/PM）独立于执行成员，换人不换流程；(3) 编译器——中间表示（IR）独立于源语言与目标架构，前后端解耦；(4) 监管科技——合规检查引擎独立于被监管机构的业务系统。
附录：快速上手表
读这两篇论文时建议对照的「钥匙数字」：
| 数字 | 含义 | 出处 |
|---|---|---|
| 6.4% | READY 正类比例（15,633/244,526），失衡的根源 | StateComp §3.2 |
| 52.27% | StateComp Full260 token 减幅（698.17M→333.24M），reward 0.6987→0.7026 | StateComp §5.3 |
| 12.67× | 有界视图的表征提取加速（76.40s→6.03s） | StateComp 表 1 |
| 0.831 / 0.765 | 动作前隐状态线性探针的压缩/召回 AUROC | PaMER 表 1 |
| 0.758 / 0.549 | 可观测元数据的压缩/召回 AUROC（对照组） | PaMER 表 1 |
| 26.0% | Recent2 保留的 token 比例，保留大部分预测信号 | PaMER 表 2 |
| -71.7% / +1.7 | PaMER+ 的 token 降幅与 reward 变化（Full260） | PaMER 表 3 |
| 5 / 3 | PaMER 压缩头数量与投票门槛 | PaMER §4.1 |
| 0.60 / 3 / 1,000 | StateComp 分数阈值 / 跨度交互门槛 / 源 token 门槛 | StateComp §4.2 |