论文一:TiGanEval: Instructions Are Evidence, Not Objectives(arXiv:2610.17757) 论文二:AM-Bench: Understanding Agents under Task Underspecification across Models and Harnesses(arXiv:2610.18090) 论文三:MEchoBench: Memory Echo in Single-Agent Long-Term Memory(arXiv:2610.17763) 论文四:Decision Ledger: Fresh at Decision, Stale at Action(arXiv:2610.18126) 发表时间:均为 2026 年 10 月 机构:论文一为清华大学(AI 学院、AIR、计算机系);论文二为同济大学 + 香港中文大学(深圳)(学生与青年教师合著);论文三为华东师范大学 + 南加州大学 + 浙江大学 + 浙江工商大学(跨校合作,华东师大为通讯单位);论文四为独立研究者合作(预印本未标注机构) 代码:论文一 THUNLP-MT/TiGanEval;论文二 s4-lab-cuhksz/AM-Bench;论文三 OrcasSam/memory-echo-benchmark

这四篇论文来自同一周(2026 年 10 月 13 日)发布,视角互补,构成一个完整的『信息完整性四联』:指令端(用户说不清)、评测端(欠规范如何量化)、记忆端(旧信息赖着不走)、时间端(新信息来晚了)。合读它们能看清一条主线——Agent 的失败越来越多地不是『不会做』,而是『依据的信息不完整、被污染或已过期』。

一、论文背景:Agent 依赖的信息为什么总是不完整

早期 Agent 基准(SWE-Bench、WebArena、Terminal-Bench 等)有一个共同隐含假设:任务说明是完整的。模型拿到需求,写代码、调工具、交作业,评分看结果对不对。但真实世界里这个假设几乎从不成立。

用户说不清(论文一、二的出发点)。 TiGanEval 的作者分析了 100 条来自 SWE-chat 的真实用户-Agent 交互轨迹,发现 56% 的初始指令遗漏了后续被证明必要的需求;而在后续对话中用户补充的有用需求里,52% 其实可以从项目本身推断出来。换句话说:一半以上的『返工』不是用户故意挤牙膏,而是用户自己也不知道任务的全部要求——但这些要求就写在代码、日志和运行行为里。AM-Bench 进一步把『说不清』拆成系统性的类型学:目标(Goal)、上下文(Context)、约束(Constraint) 三个信息域,每个域又分 模糊(Ambiguous)与缺失(Missing) 两种形态,共 6 种欠规范变体。这个 3×2 的拆分不是书斋游戏——后文会看到,三种域的执行后果截然不同:目标不清导致做不完,上下文不清导致烧 token,约束不清导致『做完了但违规』。

旧信息赖着不走(论文三的出发点)。 长期记忆(A-MEM、Mem0、LangMem 等)让 Agent 跨会话携带信息,但记忆系统有一个被忽视的副作用:检索-回写反馈环。一次历史推荐(比如『买全脂牛奶』)被反复检索、总结、写回后,会产生多个措辞不同但同源的衍生记录。等到用户说『改买燕麦奶』时,修正记录要在检索列表里和一整族旧记录竞争席位。论文三借用社会认知与记忆心理学中『重复曝光』『再巩固』的研究动机,把这种现象命名为 Memory Echo(记忆回声):同一来源的历史信息在没有新增独立证据的情况下获得超额检索曝光。这本质上是信息完整性在记忆维度的损耗——存储的历史本身没错,错的是重复处理让一条证据伪装成了多条。

新信息来晚了(论文四的出发点)。 决策在 t_d 做出,行动在 t_a 执行,中间隔着一段执行间隙(execution gap)。论文四的开场例子:13:05 用户订 20:30 的餐厅,选了 Bellhaven 区评分最高的 Lovage Corner;18:40 电网公司公告 Gorran 变电站 19:50 起检修停电,而 Gorran 供给 Bellhaven。决策在 13:05 是对的,在 20:30 是错的——决定性信息发布在决策之后,而且只提到餐厅所在区域的上游变电站,通篇没有一个字提到餐厅本身。现有时效性研究(模型知识过时、搜索增强刷新等)都在保证『回答那一刻信息是新的』,但没有回答:做完决定之后才出现的信息,怎么送到这个决定面前?

四篇合起来,信息完整性问题被切成四个正交切片:

切片缺损形态代表论文核心问题
指令端用户认知不全,真需求在环境里TiGanEval指令该当目标还是当证据
评测端欠规范有类型差异,且随模型×harness 变化AM-Bench哪种缺损伤什么、澄清能救多少
记忆端重复回写让单源信息获得多票MEchoBench如何度量并切断回声
时间端决策后发布的信息到不了决策Decision Ledger时效保证的上界与路由机制

二、论文定位和关联工作

2.1 指令-对齐评测谱系(论文一的定位)

TiGanEval 的 Related Work 用一张 13 行的对比表(其 Table 1)系统梳理了交互式编码基准,提炼出六个判据:缺口是否超出用户认知、所述需求是否会误导、缺口是否可从项目解决、有无后果反馈、真需求是否可验证、有无全规范对照组。结论:现有基准各自满足一到四项,TiGanEval 是第一个六项全满足的。关键区分在于:

  • Ambig-SWE、HiL-Bench、SWE-Interact 一系:把缺口当作『用户没说出口的偏好』,假设用户脑子里有完整需求,Agent 问就能要来。TiGanEval 反对这个前提——用户 genuinely 缺乏这部分需求,问也问不出来,只能去环境里挖。
  • Senior SWE-bench、SWE-RPG 一系:指令里写了完整正确的目标,缺的只是实施惯例。这是表达性缺口而非认知性缺口。
  • DiscoverLLM、Interactive Task Alignment 一系:需求确实超出用户认知,但被锁在特权模拟器里,Agent 无从用证据验证。

2.2 欠规范与系统评测谱系(论文二的定位)

AM-Bench 站在两条线的交汇处:一条是 Harness-Bench 开创的 模型×harness 交叉评测(同一任务跑在不同执行框架上),另一条是 ToolEmu / UnderSpecBench / LHAW 的信息缺损评测。它的增量在于把两者合一:同一个欠规范变体在 5 模型 × 4 harness 的完整网格上跑,用各配置自己的 Full 成绩做参照——从而第一次能回答『完整信息下的优势在信息缺损时还剩多少』。与 ClarifyBench、AppWorld-UL 的澄清研究相比,AM-Bench 不模拟用户回复,而是用匹配的 Full 运行做共同参照来估计澄清收益,避免了把用户模拟器的回复策略差异混入系统比较。

2.3 记忆评测谱系(论文三的定位)

LoCoMo、LongMemEval、BEAM 测长程问答,MemoryAgentBench 测增量学习与选择性遗忘,MANBENCH 研究多 Agent 集体虚假记忆。MEchoBench 的独特位置是源级(source-level)生命周期视角:不问『答得对不对』,而问『一条历史信息如何从单一记录增殖为一个家族、修正后为何挤不掉、延迟窗口内曝光如何持续、最终如何污染答案』。它与 CRAG( corrective retrieval)一线的区别在于:CRAG-M、PairLR 这些方法给候选打分或重排,但不识别哪些候选 descended from 同一条声明——Echo 与 FPA 追踪的正是这种共同血统。

2.4 时效与主动性谱系(论文四的定位)

知识编辑的 ripple-effect 评测要求一个事实的更新传导到所有依赖它的结论;主动 Agent 研究(proactive agents、trigger conditions)研究何时介入。Decision Ledger 把两者接到『决策』上:一个新事实必须到达所有还开着口的、依赖它的决策,并在修订期限前被正确解读。它的 watch conditions 机制明确自认是文档扩展(document expansion)技术的『一次写下』变体——在决策时刻由最清楚『为什么选它』的组件预先写下 3-8 条触发条件。

2.5 定位总结

维度之前的路线本组的突破
指令缺口问用户要(可恢复缺口)缺口只在环境里(TiGanEval 六准则)
欠规范评测单模型、单 harness、单指标全交叉网格 + 完成/合规/一致性拆分(AM-Bench)
记忆风险检索质量、答案准确率源级生命周期四指标(MEchoBench)
时效保证决策时信息够新行动时仍正确:路由+判断分解(Decision Ledger)

值得强调的是四篇在『问用户』这一策略上的梯度立场:Ambig-SWE / HiL-Bench 一系把澄清当作主要解法;AM-Bench 用匹配 Full 估计量化了澄清的上界——目标与上下文域收益可观、约束域近乎无效;TiGanEval 则把『问不出来』做进任务设计(用户 genuinely 不知道),把解法从交互通道推向证据通道;Decision Ledger 更进一步——决定性信息的发布者根本不是用户(是电网公司),问题从『问谁要』变成『怎么送到』。这个梯度本身刻画了领域的移动方向:信息补全的重心正从用户交互转向环境监测与主动路由。

三、问题定义

四篇论文的共同抽象可以写成一句话:**把『信息完整』从静态属性改成生命周期属性,在每个环节单独度量、单独干预。**具体到各篇:

TiGanEval 的形式化。 环境 E=(X,A,T,F),任务带一组真需求 R={r_1..r_n}(每个是谓词 r_i: X→{0,1}),在回合开始前由项目固定。用户持有部分且可能出错的认知 R̃_k,初始指令陈述 R̃_0;Agent 持有推断需求 R̂_t,随交互更新。规范缺口 = R̃_0 与 R 的差集。到真需求有两条路:用户中介路径(交付违规 → 用户看到后果 → 下一条指令)与 Agent 驱动路径(探索环境、跑实验,在任何后果发生前推进 R̂→R)。Outcome alignment 的定义:在指令仍然不完整时,交付满足全部真需求的工作——这要求 Agent 驱动路径。精妙之处在于把『指令是目标还是证据』变成可测的行为差异:Literal 执行意味着 R̂_t 永不离开 R̃_k。

AM-Bench 的形式化。 任务 i 的预期规范 σ*_i=(g*_i, c*_i, k*_i)(目标/上下文/约束),七个条件 = Full + 3 域 × 2 形态。关键设计:无论哪个变体,评测参照始终是完整规范。完成度 E[T] 查输出,合规度 E[S] 查约束(包括未披露的),成功 E[J]=E[TS] 要求两者同时成立。澄清收益用匹配 Full 运行做反事实估计:J_clar = (1-C)J + CF,增益 g=E[J_clar - J]。这个估计的意义是在共同完整信息参照下比较系统,剥离用户回复策略的干扰。

MEchoBench 的操作定义。 Memory Echo = 一条历史声明及其衍生记录在没有独立证据时获得的超额检索曝光。注意两个克制:原声明不必是错的(失败在于任务变了或修正来了之后它仍占席位);记录数与来源数分开数(五条衍生记录是一条证据的五次露面,不是五条证据)。

Decision Ledger 的形式化。 六个时间戳定义一个决策:证据写入 t_w、验证 t_v、决策 t_d、修订期限 t_r、行动 t_a、结果观测 t_e。证据在行动时的年龄分解为新鲜度间隙 Δ_fresh = t_d - t_v(检索可压缩)与执行间隙 Δ_act = t_a - t_d(任务决定,检索无能为力)。Freshness ceiling 命题:事实在行动时仍成立的概率上界为 e^{-λΔ_act},与决策时多新鲜无关。最终准确率分解为 A = (1-π)K + π(ρS + (1-ρ)L):π 为应改变的比例,ρ 为路由召回,S 为送达后切换率,L 为未送达也乱切率,K 为应保持时保持率。准确率 = 路由问题 × 判断问题,两者第一次被干净拆开。

四、问题解法

4.1 TiGanTrans:把全规范任务改造成部分规范任务

要测 outcome alignment,先得有『用户真的不知道、但环境里真的查得到』的任务。TiGanTrans 是一个四角色多 Agent 流水线:

  • Planner:从源任务蒸馏出真需求集 R,然后设计一个『主人设』——其部分认知 R̃_0 只保留这类所有者 plausibly 知道的内容(还可能搞错原因),并为每条未陈述需求指定一条发现路径(哪些记录、可重放运行或实验能推出它)。
  • Builder:把设计落地为可执行任务包,含两版初始指令(partial 版从 R̃_0 写,full 版从完整规范写)。
  • Auditor:只读审查——评估器、观察、证据三者一致;每条未陈述需求仍可经发现路径到达;没有任何 Agent 可见的文件直接泄露真需求。
  • Calibrator:在 full / partial / literal 三种 rollout 下重放任务,失败归因到环境缺陷 / Agent 局限 / 早期部分成功,缺陷包打回修复。

人类专家终审四条标准(一致性、两版指令合理性、每条真需求可从证据推断且钉住唯一行为、无泄露)。产出 64 个任务(40 SWE + 24 研究),每个任务 5 条真需求,配 8 个工具(读写文件、跑项目重放、沙箱实验、问用户、提交)。提交后由私有评估器按固定需求打分,失败则从观察注册表里取『最高优先级被违反需求』对应的作者化观察(如『订单被扣了两次款』)喂给模拟用户,用户更新认知后下达下一条指令。

4.2 AM-Bench:336 个可执行实例与全交叉网格

AM-Bench 从 Terminal-Bench 2.0(28 个)与 Harness-Bench(20 个)改造 48 个任务,每个任务配 Full 参照 + 6 个欠规范变体,共 336 个实例。工程要点:

  • 每个任务一个 case-local MCP 服务器:核心工具完成任务操作,干扰工具提供替代目标/对象/源,受限工具能触达受保护信息或做出超约束行为——合规违规是可被执行日志捕获的。
  • 变体构造覆盖四个信息位置:请求、执行指导、工具描述、工具返回。域描述信息的作用而非位置。例如文件计数任务把精确行数请求改成『做个合适的摘要』(GA),或指定输入文件但不说明交付物(GM);调度任务 KA 描述清楚禁止明显敏感材料但把 profile 工具描述为提交资源;KM 直接删掉请求层的访问禁令。
  • 执行与记录:harness 通过公共接口连接各 case 的 MCP 服务器,每次运行产出规范化 trace、工件、MCP 动作日志与 token 统计,run ID 串联。
  • GPT-5.6-Sol 辅助起草变体、GPT-5.5 识别澄清请求,作者逐条人工审核。

4.3 MEchoBench 生命周期与 FPA 三段式

评测侧是五阶段配对生命周期:190 个固定问题(LoCoMo / LongMemEval / HotpotQA / BEAM 各 50,留 10 开发),每个问题构造三条共享种子、竞争记录、查询序列、修正与检索预算的历史——Once(只存一次种子)、Read(检索六次不写回)、Write(每次检索后写一条同族衍生记录)。更新阶段注入同一条已验证修正;随后 30 个只读探针测延迟持续性;最终检索供给答案。四个指标各司其职:

  • ED(Echo Density):排序加权的位置占用率,权重 w_r = 1/log₂(r+1),衡量旧家族在候选列表里的曝光强度;
  • RRI(再巩固抵抗指数):修正后旧家族存活度与其对新证据的挤压度各占一半;
  • WEP₃₀:30 个只读探针上 ED 的窗口平均,测的是继承的检索偏差而非持续强化;
  • DCE(决策污染效应):max(0,(E−G)/4),裁判给答案与历史回声/金答案的对齐分各 0-4,衡量答案被旧信息拉偏的程度。

缓解侧是 FPA(Family–Provenance–Authority)三段式,全部发生在检索与生成之间的服务层,不改存储:

  1. Family 级选择:按来源与父指针把候选分族,每族至多放行一个代表——重复写回只增加记录数,不增加席位。族随血统走:同一检索的两次不同措辞总结仍是同族,两个独立来源即使结论一致也是两族。
  2. Provenance 门控:检查来源、父记录、验证状态与有效性。被修正取代的旧族保留在存储里可审计,但不再有进入当前答案上下文的资格。
  3. Authority 引导作答:生成器看到的是合格证据而非原始 Top-k,被指示优先采信已验证的当前事实;终检把草稿与获准权威比对,必要时抽取被支撑的短答案。

4.4 决策账本与 watch conditions

决策账本是一个比会话活得久的持久状态。决策时写入条目:选定选项与备选、行动时间、修订期限、证据、背景知识档案(dossier,含依赖实体的别名与上游实体)。新闻流到达时,路由器把每条新闻打分送给最高分的 K=3 个开口决策;到修订期限时模型重读条目与送达新闻,决定保持或切换。未收到新闻的决策不调用模型——路由层完全不用模型调用。

四种索引决定路由能到达什么:决策文本(BM25/稠密,只达点名选项或已声明依赖的新闻);全 dossier(每条事实都成匹配点,召回全但曝光大);watch conditions(决策时由模型写下 3-8 条『什么事件会毁掉这次活动』的条件,点名所有依赖实体含别名与上游,不写活动不需要的东西——本质是文档扩展的一次性变体,由最清楚选择理由的组件在写时完成);时间过滤器(规则丢弃『变化开始时间晚于活动结束』的新闻,用规则替模型做 P4 的时间判断)。

五、评估指标与实验证据

5.1 TiGanEval:outcomes 对齐广泛缺失

12 个模型、64 任务、三配置(Literal / Partial / Full),Partial 下最多 4 次计分提交,预算 120 轮 / 360 次工具调用。核心数字:

模型Literal@1 SuccPartial@1 SuccPartial@4 SuccFull@1 Succ掉幅
GPT-5.6-Sol3.110.929.764.1−53.2
Kimi-K323.421.959.475.0−53.1
MiMo-v2.6-Pro37.528.162.581.3−53.2
DeepSeek-V4.1-Flash39.125.060.981.3−56.3
GLM-5.3-Flash28.110.931.378.1−67.2

(完整 12 模型表见论文 Table 4;四个小模型 Qwen3.6-35B-A3B / Gemma-4-31B / Qwen3.8-27B / Qwen3.5-9B 的 Full@1 Success 仅 0.6%-15.6%,18 个失败回合中 14 个以行为崩溃(重复调用循环、反复重读导致上下文耗尽)收场——它们测量的是能力地板而非规范缺口。)

四个关键发现及其实验设计证明力:

  1. Partial 掉 53-67 点——Full 对照组是同一任务同一工作区只换初始指令,掉幅干净地归因到规范缺口本身。
  2. 证据视角全面占优:Partial 轨迹在每个提交点上都高于 Literal,首提 15.7-34.1 Score 分,四次后仍 7.2-24.1 分。这证明『把指令当证据』这个提示层干预有一致收益,但也到不了 Full 水平——能力缺口仍在模型本身。
  3. 反馈补不上:第一次提交后,前沿模型能在本轮内解决 37.0%-58.7% 的被点名需求,但只有至多 17.6% 的需求超前解决(ahead,在任何报告之前);45% 的被报告需求下一次修好、15% 第二次、40% 始终不通过(其中 84% 在 Full 下同模型能过——不是做不到,是推不出来)。100 个失败 Partial 回合审计:72/100 是证据使用失败——25% 自创语义并跨提交坚持、21% 自己跑的重放打印了违规却四轮不改、11% 修实例不修规则、10% 用户错误信念压过相反记录、5% 从未生成决定性探针。
  4. Plan 模式买不来:Success@1 无一提升(Kimi-K3 68.8→55.3 Score 反降,DeepSeek 66.3→55.0 反降,GPT-5.6-Luna 41.6→45.9 微升)。轨迹分析显示 plan 阶段不推断完整真需求、过早停止探索。可靠性上,三重复制的种子间标准差 ≤4.3 分,所有报告的差距都数倍于噪声。

另外两个有信息量的细节:研究任务比 SWE 难得多(Full@1 成功率 49.0% vs 89.1%),且 Partial 下研究任务只达 Full 的 30%-66%(SWE 达 56%-81%)——因为 SWE 的未陈述需求会挂在可运行的东西上,重放能打印出违规,而研究需求(范围、对照、预算)不挂任何执行,只能从记录里读。

需求解决时点的拆解(其 Table 5)进一步刻画了『谁在推动进度』:in round(被观察点名后本轮解决)最高的是 DeepSeek-V4.1-Flash 的 58.7%,ahead(超前解决)最高的是 MiMo-v2.6-Pro 的 17.6%——没有一个前沿模型能把超前解决做到三成。案例研究(附录 K)给出同一任务的两张面孔:Kimi-K3 在任何反馈之前就从记录里读出两条未陈述需求、首提即 0.6 分;GPT-5.6-Luna 首提 0.2 分、靠三轮观察逐个转化、最终靠一条没有任何消息点名过的第四需求到达 1.0——观察只为能推断出违规规则背后的规则的模型付账。

测量可靠性方面,论文做了两组独立检验:种子噪声上,GPT-5.6-Luna 与 DeepSeek-V4.1-Flash 全量评测三次重复,关键量的种子间标准差最大 4.3 分(Literal@1 条件),其余条件 ≤3.5 分,论文报告的所有差距(15.7-34.1 的 Partial-Literal 差、28.6/40.5 的 outcome cost)都数倍于噪声;模拟用户噪声上,30 条录制消息在原始上下文里五次再生成,150 个样本中 96.0% 恰好传达观察所许可的信息、不夹带用户未曾观察的内容,30 个检查点里 28 个的五种措辞传达同一事件并要求同一修改。

5.2 AM-Bench:三类缺口、三种后果、20,160 次 run

48 任务 × 7 条件 × 5 模型 × 4 harness × 3 次 = 20,160 条记录。观测结果(%):

条件CompletionComplianceSuccessToken(k)
Full77.098.776.5106.9
GA / GM25.9 / 13.894.3 / 92.525.0 / 12.5126.7 / 119.5
CA / CM30.4 / 21.091.7 / 91.927.8 / 19.4181.1 / 166.0
KA / KM72.3 / 77.546.6 / 4.733.7 / 0.0125.9 / 138.1
  • 三域三后果:目标欠规范 Completion 平均低于 Full 57.2pp(做不完);上下文欠规范平均多花 66.6k token(满世界找/比对候选源);约束欠规范 Completion 只降 2.1pp 但 Compliance 降 73.0pp(做完了但违规)。KM 条件下所有 20 个配置 Success 全为 0。
  • 缺失比模糊更伤:三域内 missingness 的 Success 一律低于 ambiguity,即便 KM 的 Completion 反而比 KA 高 5.2pp、比 Full 还高 0.5pp——多做出来的那部分全是不合规的,多完成不等于多成功。
  • 排名翻转:GPT-Sol / GPT-Luna 的 Full Success 领先,欠规范均值跌到第 4、5;DS-Pro Full 垫底却在 GM 下第一。harness 同理:换 harness 对 DS-Pro 均值 +8.6pp、对 GPT-Sol 却 −8.1pp。Completion 排名也不等于 Success 排名(KA 下 DS-Flash 对 GLM-5.3 的 5.0pp Completion 领先变成 12.7pp Success 落后)。
  • 澄清估计:目标域澄清估计 +15.4 Completion / +15.3 Success(GM 的 −12.5pp 劣势反转为 +5.0pp 优势);上下文域 +8.0 / +8.1 且 token 反降 7.7k(模糊的消歧开销省回来了);约束域 Compliance 仅 +4.5pp(回升到 30.1%),Success 仅 +3.1-3.2pp,KM 的缺口 33.6pp 几乎不动——因为 Agent 在约束不清时根本不问(几乎不发起澄清),问了也未必照办。
  • 澄清行为主要随 harness 变:请求率与估计增益的 SD 在 harness 间为 7.4 / 4.3pp,在模型间只有 3.9 / 2.2pp;NullClaw 请求率 26.6%,其余 harness 8.5-10.7%。

重复一致性(pass³)提供了第三个维度:Mean Success 与 pass@3 领先的是 DS-Flash(24.8 / 39.9)与 Codex(22.2 / 36.1),而 pass³ 领先的是 GLM-5.3(12.3)与 NullClaw(12.1)——Codex 比 NullClaw 多 8.0pp 的『至少成功一次』,却少 2.4pp 的『三次全成功』,其优势包含更多间歇性成功。对部署而言这两者天差地别:间歇成功意味着不可托付。

5.3 MEchoBench:回声的形成、抵抗、持续与污染

四架构(A-MEM / Mem0 / CoM / LangMem)× 190 问题 × 2 历史 = 每生成器 1,520 个配对状态。主对比(四架构均值):

方法DeepSeek AccOldWEPDCEKimi AccDCE
Baseline0.8250.1060.4270.1060.7820.109
Budget0.8610.0590.2640.0560.8470.073
CRAG-M0.8550.0590.2450.0550.8420.064
PairLR0.8610.0580.3090.0540.8450.065
FPA0.9200.0280.0570.0300.9160.038

证明力链条:

  • 形成(RQ1):只读检索六次,修正前 ED 与单次编码基本不变;同样的检索每次写回一条衍生记录,旧族占用率在每一个架构里都陡升——跨架构一致性把根因指向检索-回写反馈环本身,而非某个排序器。修正注入后旧答案仍重新出现。
  • 抵抗(RQ2):所有历史收到同一条已验证修正,但写回让旧衍生物把修正挤出检索。DeepSeek 下修正后 ED 0.704-0.722,30 个只读探针后仍在 0.654-0.671、曲线几乎平——停止写回并不消除优势,WEP 捕捉的是继承的检索偏差;最终旧检索代理为 1.000,旧答案采纳率 0.195-0.232。
  • 机制归因(消融):wProvenance 单独把 Old 从 0.106 压到 0.010 但准确率不升(0.820)——压制过时证据 ≠ 给出可用答案;wFamily 单独反而掉到 0.651(误删有用上下文);双门联合 0.637 仍缺答案;wAuthority 恢复到 0.912,完整 FPA 0.920。供给证据与回答约束缺一不可。
  • 边界(反例):修正缺失或噪声时 FPA 跌到 0.212、比 Baseline 0.378 还差——门控没有可信替代证据时只会两败俱伤;travel 场景旧信息本来就不被采纳,过滤反而去掉生成器还需要的规划上下文。收益依赖真实的回声冲突与可用的替代证据。

架构间的分化也有信息量:A-MEM 与 Mem0 上 FPA 带来大幅准确率提升并近乎消除延迟曝光,CoM 与 LangMem 准确率提升温和但 WEP 同样下降——单次检索快照的拥挤不等于持续曝光,反过来也成立。能力维度上(LoCoMo/LongMemEval 的能力雷达),回声及其对答案的影响随题型(多跳、时序、更新、多会话等)明显变化——ED 单独不能代表决策污染,这正是四指标分立测量的意义。来源质量测试补齐最后一块:完整溯源与带噪家族 ID 下优势保留,旧事实不冲突时影响很小——过滤只在可靠当前证据实际取代旧源时有益,把有效性混同于新近性是错的。

5.4 Decision Ledger:四预测全部获证

三条件(DIRECT 110 / STRESS 75 / INDIRECT 128 个决策),五个 LLM(Qwen3-8B 到 GPT-6.1 Sol),受控流(虚构实体 + 时间戳精确标注金标签):

  • P1 天花板成立:不路由(None)时每个模型准确率都等于应保持比例——45.5% / 36.0% / 50.0%。该跑通了什么?它证明剩余风险精确落在决策后发布的信息上,而不是模型决策能力的缺失。
  • P2 送达即切换、索引定召回:INDIRECT 下决定性新闻一旦送达,各路由各模型切换率 90.6%-100%;应改变决策的准确率跟随路由召回。决策文本只能到 37.5% 的换名依赖新闻与 12.5% 的上游实体新闻(Claude 因此只有 78.9%);加 dossier 全达、升到 93.0%;watch conditions 92.2% 召回、91.4% 准确率。STRESS 下新闻都点名选项或已声明依赖,BM25 决策文本就 100% 召回,三模型从 name-match 的 72.0-73.3% 升到 85.3-98.7%。
  • P3 误导投递有代价:dossier 索引把 96 个 trap 送出 89 个(每条事实都是匹配点);watch conditions 只送 20 个(模型只写活动需要的条件)。trap 到位后无谓切换率:Claude 9.4%→14.0%、Qwen3-235B 69.7%→74.8%、Ministral 8B 71.5%→84.1%——判断弱的模型最需要低曝光,watch conditions 给了 Qwen-235B 与 Ministral 各自最佳准确率。广播(All items)recall 与曝光同最大,token 是 BM25 的 4.0 倍(STRESS)/3.1 倍(INDIRECT),只有判断强的模型消化得起。
  • P4 残差是时间判断:Oracle 决定性新闻下所有模型全对;加上不改变选项的相关新闻后 INDIRECT 三模型共丢 91 个决策(p<0.001)。错误集中在时间:Ministral 8B 与 Qwen3-235B 把『变化在活动开始前已结束』的决策全部放弃(keep 0.0%),Qwen3-8B 放弃 94% 的『变化在活动后才开始』,Claude 全保持。模型对『我的选项有变动』有反应,跳过『变动何时生效』的检查。用规则做这个检查(time filter)把 Qwen3-235B 从 85.3% 提到 92.0%。

DIRECT 条件(110 决策、开源 Qwen3-8B 本地推理并自写 watch conditions)补齐了理论的全项测量:None 准确率 45.5% 精确等于应保持比例;name match 单独把 Qwen3-8B 提到 70.0%(p<0.001);广播在该模型上反而从 71.8% 掉到 55.5%(p=0.003)——弱判断模型在 8.1k token/决策的曝光密度下崩掉,与 P3 的预测一致。

六、效果优势的根源解释

6.1 各篇的因果链

TiGanEval:为什么证据视角赢、反馈与 plan 补不上。 因果链:把指令从目标降级为证据 → Agent 被提示去探索项目并推断需求 → 环境中可发现的需求在提交前进入 R̂ → Partial 曲线全程高于 Literal(论文实验已支持)。反馈补不上的机制根源:观察只陈述后果(『订单扣了两次』),规范陈述规则(『每单只收一次费』),模型最常见失败是修掉被点名的后果而规则仍未满足(in round 37-58.7% vs ahead ≤17.6%,论文实验已支持)。Plan 模式失效的机制:规划阶段继承同一套不完整认知,过早停止探索后执行一个只覆盖部分任务的计划(轨迹分析,论文已支持;『plan 阶段若强制先做证据审计是否有效』属阅读者推测,论文未测)。

AM-Bench:为什么约束缺失几乎不可澄清修复。 因果链:约束违规不阻止完成 → 完成路径上没有任何信号提示违规发生(KM 下 Compliance 4.7% 而 Completion 77.5%)→ Agent 既无动机也无线索发起澄清(澄清请求集中于目标/上下文域)→ 澄清估计对约束域几乎无增益(+4.5pp Compliance,Success +3.2pp)(论文实验已支持)。深层机制:目标与上下文的缺损在执行中制造摩擦(做不动、找不到),约束的缺损不制造摩擦——不完整的规范对 Agent 而言是自洽的。这一条是四联里最重要的实践结论之一。

MEchoBench:为什么 FPA 赢而 Budget/CRAG-M/PairLR 赢一半。 三个对照方法都能提高准确率,但都不清除持续曝光(其 WEP 只从 0.427 降到 0.245-0.309,FPA 降到 0.057)。机制差异:Budget/CRAG-M/PairLR 在记录级打分排序,同族衍生记录只要各自质量高就各自占位;FPA 在族级改变资格——一条来源一条票,修正到达后旧族整体失去进入证据的资格。消融进一步把收益拆开:Provenance 门控负责压 Old(0.106→0.010),Authority 供给负责给答案(0.820→0.912),两者是『清除错误』与『供应正确』的互补机制(论文实验已支持)。

Decision Ledger:为什么 watch conditions 是甜点。 路由器要同时最大化召回与最小化曝光,全 dossier 解决召回(100%)但 trap 曝光 89/96;决策文本低曝光(17 trap)但召回 62%。watch conditions 的机制优势来自生成时机与生成者:在决策时刻由最清楚依赖结构的组件写下,只包含会毁掉活动的实体事件——等于把 dossier 中『活动相关』子集显式化。于是 92.2% 召回 + 20 trap,在召回-曝光平面上几乎占住 dossiir 与决策文本连线之外的优位置(论文实验已支持)。

6.2 四篇互为交叉验证

本组合的独特优势:四篇同期工作从不同方法与场景出发,根源解释高度互证(以下均为论文正文引用、可核验链接):

交叉印证证据 A证据 B关系
『反馈/澄清修复不了认知外缺口』TiGanEval:四次提交后仍差 Full 7.2-24.1 分AM-Bench:约束域澄清估计仅 +3.2pp Success同一结论,交互式反馈通道 vs 匹配 Full 反事实估计两种方法得出
『被动送达的信息会被误用』MEchoBench:trap/旧族曝光提高 DCEDecision Ledger P3:trap 使 Ministral 无谓切换 71.5→84.1%不同场景同结论:曝光本身是风险变量
『机制规则可替代部分模型判断』Decision Ledger:time filter 替模型做时间检查 +6.7ppTiGanEval:plan harness 补不了模型推断能力互补结论:能显式规则化的检查交给规则,需证据推断的仍靠模型
『系统优势不迁移』AM-Bench:Full 排名在欠规范下翻转TiGanEval:Full@1 领先的模型 outcome alignment 同样缺失单条件评测系统性高估部署表现

外部工作对照(各篇 Related Work 引用):Ambig-SWE(openreview)代表『缺口可从用户恢复』路线,与 TiGanEval 结论相反的前提假设正是后者要推翻的对象;ToolEmu(ICLR 2024)在 LM 模拟沙箱中研究欠规范风险,AM-Bench 用真实可执行环境复核了『约束缺失危险』的结论并将其细化到 Compliance 维度;CRAG(Yan et al., 2024)证明证据质量打分有益,MEchoBench 的 CRAG-M 对照确认了其收益边界——提升答案不等于清除污染;知识编辑 ripple-effect 评测(Zhong et al., 2023; Cohen et al., 2024)要求更新传导至依赖结论,Decision Ledger 把该要求从『静态事实』推广到『开口决策』并给出可达性上界(索引决定召回)。本次检索范围以四篇论文正文及其引用文献为准,未另行展开独立联网检索;四篇之外的更广交叉验证留作后续。

6.3 综合判断与未决问题

多研究共同支持的机制:(1) 信息缺损的后果按类型分化,不存在单一的『鲁棒性』;(2) 交互反馈通道对『用户不知道自己不知道』的缺口无效;(3) 信息的重复暴露本身是决策风险,最小暴露原则在弱判断模型上收益最大。

仍属推测或单源支持的机制:FPA 的收益中有多大比例来自答案后处理(终检抽取短 span)而非门控本身——论文自己在 Limitations 承认这部分无法完全分离;watch conditions 在真实(非虚构)新闻流上的召回上限——论文 Limitations 明确说量级属于受控流而机制结论可迁移;TiGanEval 的 64 任务规模下各模型间 5-10 分差距的排序稳定性。

适用条件与失效条件:FPA 在修正缺失/噪声时劣于 Baseline(0.212 vs 0.378);澄清在目标/上下文域高收益、约束域失效;广播路由只在强判断模型上可用;Literal→Partial 的提示干预收益(15.7-34.1 分)不改变能力上限。方法论边界同样要标注:AM-Bench 的澄清估计假设『信息完全恢复 + Full 式执行』,是上界而非预测;MEchoBench 把真实答案注入受控历史位,未估计自然交互中此类种子的频率;Decision Ledger 的量级属于受控流,迁移到真实新闻流的噪声与隐式依赖下会如何衰减未知;TiGanEval 的模拟用户由 GPT-5.6-Terra 扮演,其 96% 的信息保真度检验覆盖 30 个检查点而非全部回合。

七、必要知识反推

假设让一个零背景的人复现这四项工作,最少需要什么:

领域知识层。必须理解 LLM Agent 的实际执行形态:多轮工具循环、上下文组装、提交-评审-返工的交互节奏(TiGanEval 的 Score@k 设计直接来自它);harness 与模型的分工——模型解释信息、harness 组装上下文管理工具环(AM-Bench 的整个交叉设计依赖这个区分);外部记忆系统的检索-更新-服务三段管线与 A-MEM/Mem0 等架构的家族差异(MEchoBench);检索的匹配机制——BM25 的词面匹配与稠密向量语义匹配各能到达什么(Decision Ledger 的索引设计是它的直接推论)。

方法论知识层。对照实验的变量分离思想:Full 对照组(TiGanEval 换指令不换任务;AM-Bench 用各自 Full 作参照)是把『缺口代价』从能力差异中剥离的唯一手段;反事实估计(AM-Bench 的匹配 Full 替换);配对设计与问题级 bootstrap(MEchoBench 对相关状态重采样而非当作独立观测);从命题推导预测再受控验证的理论-实验闭环(Decision Ledger 的 P1-P4)。此外是记忆心理学的再巩固/重复暴露研究传统(MEchoBench 的动机来源)与需求工程的 GCK 框架(AM-Bench 的类型学来源)。

工程知识层。可执行评测环境的搭建:MCP 服务器、沙箱、私有评估器、观察注册表;多 Agent 流水线的角色分工与人工审核关卡(TiGanTrans 四角色);大规模网格运行的成本控制与记录规范化(20,160 run 的日志串联);判分器的校准(GPT-5.6 判 DCE 的两遍协议与 96% 再生成一致性检验)。

知识融合的关键节点。真正的化学反应发生在三处:一是把『指令完整性』从语义问题改写成『证据可发现性』问题(计算机系统思维 + 用户认知建模的融合,TiGanEval 的核心洞察);二是把『记忆污染』从答案错误率反推为占用-抵抗-持续-污染的四级漏斗(评测设计与记忆心理学传统的融合,MEchoBench);三是把『时效』从证据属性分解为路由可达性与时间判断力(信息检索 + 随机过程 hazard rate 建模的融合,Decision Ledger 的 freshness ceiling)。

八、论文中可以提取的通用性灵感

灵感一:把输入当证据,不当目标。 核心思想:任何委托方给出的说明都反映其部分认知,完成质量应以环境的真实约束为准。论文证据:TiGanEval 中证据视角全程领先 Literal 15.7-34.1 分;SWE-chat 真实数据 52% 的后补需求本可推断。推广场景:法务合同审查(客户的口头诉求 vs 法条硬约束)、需求工程(用户故事 vs 系统真实依赖)、医疗问诊(患者主诉 vs 检查指标)、审计(管理层声明 vs 凭证)。

灵感二:信息缺损的代价按『缺损类型 × 使用环节』分化,没有单一鲁棒性。 论文证据:目标缺损伤完成、上下文缺损伤成本、约束缺损伤合规且不伤完成(AM-Bench 三域三后果)。推广场景:供应链管理(缺目标=停工、缺上下文=溢价采购、缺约束=合规事故)、API 设计文档、应急指挥系统、数据库 schema 设计(哪些字段可空要看缺它伤哪个环节)。

灵感三:不产生执行摩擦的缺损最危险,因为没有任何信号报警。 论文证据:KM 条件 Compliance 4.7% 但 Completion 77.5%,Agent 几乎不问;澄清估计 +3.2pp。推广场景:安全工程(隐蔽失效 vs 显性失效)、金融合规(违规交易顺利结算)、代码审查(能跑但违反规范的实现)、医学(无症状的指标异常)。

灵感四:重复不等于独立证据——计数前先做血统去重。 论文证据:同族衍生记录占据多个检索席位;FPA 族级一票制把 DCE 从 0.106 降到 0.030。推广场景:舆情分析(转载链不是独立信源)、学术引用分析(互引圈子)、风控反欺诈(同一设备的多个账号)、群决策(信息级联下的『共识』)。

灵感五:清除错误与供应正确是两个独立机制,缺一不可。 论文证据:wProvenance 把 Old 压到 0.010 但准确率不升,加 Authority 才到 0.912;消融矩阵完整分离两轴。推广场景:内容审核(下架 + 置顶权威辟谣)、知识库治理(失效标记 + 替代文档)、组织纠错(废除旧流程 + 发布新流程要同步)、药物替代疗法(停旧药 + 开新方案)。

灵感六:需要在事后送达的信息,应在决策时刻预写它的地址。 论文证据:watch conditions 在决策时由最懂依赖的组件写下,92.2% 召回 + 20 trap,优于事后全量广播(89 trap、4 倍 token)。推广场景:订阅系统(下单时预注册关注条件而非事后全量推送)、项目管理(立项时登记风险触发器)、临床随访(手术时定义复查指征)、金融风控(建仓时写下平仓触发条件)。

灵感七:理论命题先行,把能力分解成可分别度量的乘积项。 论文证据:freshness ceiling 用 hazard rate 推出上界,准确率分解为 A=(1-π)K+π(ρS+(1-ρ)L),P1-P4 逐项受控验证;错误残差被定位到时间判断并用规则修复(time filter +6.7pp)。推广场景:任何复杂系统的诊断(先把总指标分解为可达率 × 使用率)、教育测量(把成绩分解为知识 × 表达)、SRE(可用性 = 部署成功率 × 路由正确率 × 降级策略)。

灵感八:评估『重复做同一件事』的稳定性,而不只看平均表现。 论文证据:AM-Bench 引入 pass@3 / pass³ 区分『至少成功一次』与『三次全成』,发现 Mean 领先的 Codex 在 pass³ 上反而落后 NullClaw 2.4pp——间歇性成功藏在平均值里。推广场景:自动驾驶验收(百万公里零接管 vs 平均接管率)、医疗诊断系统(偶然正确的模型不可用)、生产线质检、法务文书自动生成(一致性即可信度的基础)。

尾评

这四篇论文放在一起读,最大的冲击不是任何单篇的数字,而是它们合力拆掉了 Agent 评测的一个隐含公理:信息在任务开始时给定、在执行中不变、在判断时可信。指令是用户部分认知的投影(TiGanEval),欠规范有类型学且系统排名随条件洗牌(AM-Bench),记忆会把一条旧闻放大成一个合唱团(MEchoBench),而世界会在你做完决定之后继续发货新信息(Decision Ledger)。

方法论上四篇共享一个朴素而罕见的品质:先定义缺损的结构,再设计度量,最后才谈缓解。TiGanEval 的六准则、AM-Bench 的 3×2 类型学、MEchoBench 的四指标生命周期、Decision Ledger 的六时间戳与分解公式,都是把模糊的『不可靠』拆成可命名、可测量、可干预的变量。这个顺序值得任何做复杂系统评测的人抄作业。

数字层面也有一个值得玩味的对仗:TiGanEval 测出最好的提示干预(证据视角)只能收回约三分之一到二分之一的缺口,AM-Bench 测出澄清只能救目标与上下文域而救不了约束域,MEchoBench 的对照方法(Budget/CRAG-M/PairLR)能提准确率却清不掉持续曝光,Decision Ledger 的广播路由把召回拉满反而拖垮弱模型。四组数字说的是同一件事:浅层修复各有效果也各有天花板,天花板的形状由缺损的类型决定。这正是四联合读相对于单篇阅读的增值——单独看任何一篇都容易把它的局部结论当成一般规律。

留下的开放问题同样清晰:真实新闻流与真实记忆历史(而非受控流与种子注入)上的量级验证;约束缺损如何在没有执行摩擦信号时被主动探测(TiGanEval 的证据审计思路或许可迁移);watch conditions 与 Memory Echo 的治理在同一个长寿命 Agent 里如何共存——毕竟一个管『该来的信息来不来』,一个管『不该起作用的信息走不走』,它们迟早要在同一个记忆系统里相遇。

对从业者的直接行动项,四篇各自给出了可以今天就做的检查:写任务说明时先写约束和目标、再给上下文(AM-Bench 的用户建议:约束不清时 Agent 根本不问);给 Agent 加一句『把指令当证据,去环境里找真需求』的提示(TiGanEval 实测 15.7-34.1 分收益);给记忆系统加族级去重与修正门控(FPA 的 DCE 0.106→0.030);给会跨时间执行的决策落一本账本、写下 watch conditions(91.4% vs 不路由 50.0%)。没有一条依赖下一代模型——它们依赖的是承认信息完整性是工程问题,然后用工程手段修。