Δτ-Bench × AgentProofBench × iPrefBench × CLE：Agent 评测的四个新维度 精读

论文 1 链接：Δτ-Bench: Pushing Agents Toward a Moving Capability Frontier 论文 2 链接：AgentProofBench: Benchmarking Reusable Verifiers for Web Agents 论文 3 链接：iPrefBench: A User-Centric Benchmark for Personalized Mobile Use Agents 论文 4 链接：Continual Learning Exam: Benchmarking Long-Horizon RSI and Experiential Learning in LLM Agents 发表时间：均为 2026 年 10 月（10 月 25–27 日先后挂出） 机构：

• Δτ-Bench：浙江大学 + 伦敦大学学院（UCL），跨国高校合作，共同一作，通讯作者为浙江大学邓淑敏与 UCL 的 Emine Yilmaz
• AgentProofBench：卡内基梅隆大学（CMU）计算机学院，纯高校
• iPrefBench：俄亥俄州立大学（OSU）+ Apple——一作 Yuting Ning 在 Apple 实习期间完成本工作，典型的企业+高校合作基准（Apple 方面含 Jeffrey Nichols、Eldon Schoop 等多位研究员），反映了产业界对个性化助理评测的切身需求
• CLE：CLE Team，通讯作者为 UCL 的 Jun Wang，团队横跨 UCL、利物浦大学、帝国理工、北大等，50+ 位领域专家参与任务编写 领域标签：cs.CL / cs.MA / cs.LG，Agent 评测基准

一、论文背景

如果你关注 Agent 领域，会发现排行榜上的数字越来越高：各种基准的任务成功率不断被新一代模型刷新。但这四篇论文不约而同地指出同一件事——现有基准测出来的能力，和 Agent 真实部署所需要的能力，之间有一个系统性缺口。这个缺口不在「任务能不能做成」，而在四个更细的维度上。

第一个维度：环境会变，Agent 跟不跟得上（Δτ-Bench）。 现实中的工具生态像一家大公司的内部服务：各部门独立维护自己的工具，旧工具会退役，新工具会上线，功能重叠、文档过时是常态。Δτ-Bench 的作者把它称为「移动的能力前沿」（moving capability frontier）——生态每演化一次，完成同一任务的最优路径就变一次。静态基准把工具集固定死，等于假设世界不变；于是 Agent 即使「会做任务」，也可能是用一条已经过时、低效的路径在做。任务成功这个信号会掩盖「错过更优解」的事实。

第二个维度：验证器可不可复用（AgentProofBench）。 让 Web Agent 走向生产，需要一个验收程序（verifier）来判断「这单活干完没有」。理想情况下，写一次验收程序，之后每次执行都能复用，又快又便宜。但这里藏着一个软件测试领域的老问题（论文引用了 2015 年的 Oracle Problem 综述）：公开指令没变，而每次执行时「正确」的具体含义会变——任务里提到的名字这次指向另一条记录、要保留的初始值这次不同。一个把旧答案写死在代码里的验证器，会在旧状态下全对、在新状态下自信地放行错误结果。验证器能不能从「当前状态」动态解析出需求，此前没有基准能测。

第三个维度：Agent 懂不懂用户（iPrefBench）。 现实用户说话是欠指定的：「帮我订我常去的那家餐厅」。这句话里缺三个信息：哪家餐厅、几点、几个人。其中餐厅可以从历史推断，时间和人数只有用户知道。一个真正有用的个人助理必须该推断的推断、该问的问：默默瞎猜会偏离用户意图，事事都问又失去了「助理」的意义。既有基准要么任务全指定（无可推断）、要么只有历史没有可交互的用户（无人可问）、要么只有模拟用户没有历史（无法判断问题是否必要）——三种设置都测不出「推断与询问的边界感」。

第四个维度：Agent 会不会从经验中变强（CLE）。 持续学习（continual learning）是 Agent 长期部署的核心能力：跨任务获取、精炼、复用经验，同时保留既有能力。但绝大多数基准是「一题一评」：任务独立计分，分数刻画的是解题能力，而不是「随着经验积累而变强」的能力。CLE 的团队指出，要测经验驱动的改进，必须让后面的任务在结构上依赖前面的经验——这需要全新的任务组织方式。

这四篇论文恰好覆盖了四个正交的盲区。把它们放在一起读，能看到一个清晰的行业趋势：Agent 评测正在从「快照式」（一次执行、一个分数）走向「过程式」（演化环境、复用验证、人机交互、经验累积）。下文第二到六部分将逐一展开四个基准的问题定义、解法与实验证据。

二、论文定位和关联工作

四个基准各自处在不同的研究谱系中，但它们与既有工作的分界方式高度相似：都抓住了「前人只测了一半」的那个维度。

谱系一：工具使用基准 → 演化生态评测（Δτ-Bench）。 工具使用基准经历了三个阶段：早期工作（API-Bank、ToolAlpaca、Gorilla 等）测 API 选择与参数生成；有状态后继者（AppWorld、τ-bench、ToolSandbox、τ²-bench）测多轮交互与持久环境效应；近期工作（ToolGen、大规模工具检索评测）测从大仓库中检索工具。另有效率导向基准（PlanBench、TravelPlanner、CostBench 等）测成本约束与重规划，还有 MCPEvol-Bench 等用 API 扰动测鲁棒性。Δτ-Bench 的定位是第一个统一大规模工具检索、多轮有状态执行与效率感知适应的演化生态基准——前人分别测过这些能力，但从未在「生态持续演化」的单一框架下一起测。

谱系二：评测与验证 → 可复用验证器评测（AgentProofBench）。 可执行环境（WebArena、OSWorld、τ-bench、AppWorld）确立了「执行式评测」；VerifierBench 测生成式验证器的静态正确率（含合法替代、错误与攻击）；SpecGuardBench、WebGrader 测从自然语言规格生成的验证代码；Agent-as-a-Judge、AgentRewardBench 测基于轨迹证据的评判。AgentProofBench 自我定位在 VerifierBench 之上再进一层：不只测验证器判得对不对，还测它换一个初始状态还判不判得对（复用），以及它的判断失误会在下游执行中造成什么后果（执行有效性）。其企业服务副本直接采用 Agent-Diff 的环境。

谱系三：个性化与交互基准 → 来源标注评测（iPrefBench）。 三条线在此汇合：（1）通用 CUA 基准（OSWorld、AndroidWorld、WebArena 等）任务全指定、冷启动；（2）个性化基准（PersonalWAB、Persona2Web、PersonalAlign、Fingertip 等）有用户历史但无人可问；（3）交互基准（τ-bench、UserBench、IN3、Ask-before-Plan 等）有模拟用户但无历史，无法判定问题必要性。KnowU-Bench 与 VitaBench 2.0 同时提供两者，但不区分哪些信息可推断、哪些只能问。iPrefBench 的增量正是逐项标注解析来源，使「问得准」变得可测。其环境基于 iOSWorld 扩展。

谱系四：经验累积基准 → 阶梯式职业工作流（CLE）。 通用能力基准（GAIA、Agents’ Last Exam 等）测单次解题；记忆基准（LoCoMo、LongMemEval）测对历史的问答而非知识对后续执行的改进；自动化助理基准（WildClawBench、ClawMark）有有状态环境但同样不测「因经验而变强」。同期经验复用基准中，LifelongAgentBench 做技能接续任务、MemoryArena 做记忆-行动耦合、SkillFlow 做技能族演化。CLE 的差异化在于真人专家编写的职业阶梯：120 个任务由 50+ 领域专家围绕自己的真实工作撰写，五类可迁移知识（工具技能/数据依赖/策略/用户上下文/领域知识）显式设计在级间依赖里。

定位结论：四个基准共同把「过程性变量」引入评测——演化（Δτ-Bench）、复用（AgentProofBench）、交互（iPrefBench）、累积（CLE）。它们不是在旧基准上加难度，而是各自定义了一个此前无法度量的能力维度。

三、问题定义

四个基准都做了一件漂亮的抽象工作：把一个模糊的「Agent 应该更聪明」的诉求，转写为可形式化、可度量的定义。

Δτ-Bench：把「适应演化」定义为对移动前沿的跟踪。 基础是部分可观测序贯决策过程 M = (U, S, A, O, P, R)：用户意图 u 对 Agent 不可直接观测，状态分环境状态与交互状态，动作分工具调用与自然语言回复。关键增量是外生的生态版本 v：每个 episode 的动作空间 A(v) 被版本决定——同一意图 u 在不同版本下可行路径不同。于是评测问题变成：给定跨版本变化的动作空间，Agent 能否（a）恢复被破坏的工作流、（b）利用新出现的更优路径？这个抽象的精妙之处在于用「能力保持变换」保证每个版本下任务仍然可解——生态在变，但能力前沿始终存在且有已知最优解（DP 搜出的参考路径），于是「离前沿多远」变得严格可量化。

AgentProofBench：把「验证器可复用」拆成两个可分离的义务。 验证器 V 接收（指令 q、初始状态 API 视图、终态 API 视图），输出 Pass/Fail/Unknown。复用契约固定公开指令与代码，只变初始业务数据。抽象后的定义：一个合格的验收规则必须（1）识别允许的终态（包括合法替代方案），（2）从当前 before 状态恢复变化后的需求绑定（实体指向、保留值、集合成员），（3）支撑续跑与交付决策。第二条是全文最锋利的设计——「源决策重放见证」：把旧状态下一次有效的决策在新状态重放，它必须被判无效；如果仍被判有效，说明程序记住了旧答案而非解析当前状态。这把「依赖状态 vs 依赖记忆」从不可见变成了可执行的判别测试。

iPrefBench：把「懂用户」分解为信息来源判断。 每个欠指定任务 t 的未解析用户相关细节集合 Ut 中，每个细节 u 被构造性地赋予唯一解析来源：可推断（历史 H 中有主导模式或稳定事实支撑）或仅可问（只存在于模拟用户的隐藏上下文）。这个二分镜像了真实个人助理的认知边界：稳定偏好会在历史留痕，当前情境 specifics 不会。由此，个性化 = 推断正确 ∧ 该问的问到了；交互质量 = Recall（ask-only 覆盖率）∧ Precision（问题必要性）。定义的精妙在于来源标注是构造性保证的（人工审核每个遗漏细节的证据强度），因此指标测的是 Agent 的认知边界感，而不是数据噪声。

CLE：把「持续学习」写成更新算子。 沿用 (θn+1, sn+1) = Un(θn, sn, en) 的统一形式：模型参数 θ、持久 harness 状态 s（记忆/技能）、经验 e，更新算子 U 可改参数、改状态或两者。冻结模型时学习只发生在 sn。评测目标是最大化期望通关级数。关键抽象是任务阶梯与学习阶段的解耦：级别 i 由基准定义（门控解锁），学习更新 n 由 Agent 自主决定，一级内可含多次更新。配套的五层能力分层（T1 规则引导 → T2 自主学习决策 → T3 跨域适应 → T4 发现驱动 → T5 自定课题）给「持续学习」标出了行业目前所处的位置（T1–T2 之间）。

四个定义的共同点：都把「过程能力」而非「单次结果」作为被测量，并且都为它构造了可控的对照条件（已知最优路径、已知需求变化、已知信息来源、已知级间依赖）——这正是「快照评测」做不到的。用一张表对照四个形式化的骨架：

四、问题解法

4.1 Δτ-Bench：能力保持变换 + DP 参考路径

Δτ-Bench 的构造流水线分四步（本文从评测方法论切入，配套的 STEWARD 管理器仅作结果参照，不展开）。

第一步：有状态环境与任务构造。 从种子域扩展出 42 个角色化场景；每个域构建实体-关系图与服务蓝图，函数被确定性转成带自然语言描述与 JSON Schema 的 MCP 工具接口，实体记录载入 mock 数据库。在工具依赖图上采样路径、拼接共享节点的路径、重复中间子路径以增加难度，再由独立评估器筛选任务模板，最终逐条重放验证——只有每步都成功且产生预期状态迁移的实例才保留，得到 1,588 个任务（1,191 训练 / 397 测试）。用户侧由带私有手册的 LLM 模拟：完整意图、披露规则都在手册里，Agent 问到才说。

第二步：能力保持变换（Composable Capability Transformations）。 这是整篇论文的方法论核心。每个变换 φ: P ↦ R 把源块 P 映射到目标实现 R，两者可含一个或多个同域函数，且必须在等价输入下保持源能力、任务相关状态变更与外部消费的输出。按函数数量分三种形态：

• 一对一：改名、加参数、改格式；
• 一对多：一个函数拆成多个需协调调用的接口；
• 多对一：多个函数合并为一个统一接口（要求源块是已验证任务轨迹的连续子序列，保证合并落在真实工作流上）。

每个候选变换都在有状态环境里实例化并自动验证，只有通过一致性测试（相同状态效果、相同输入输出）才保留，并记录显式谱系（lineage）。

第三步：生态采样。 从 v1 的全部基础接口出发，每个新版本对上一版本施加有限个已验证变换：或引入 R 同时保留 P（新旧重叠，考验选择），或停用 P（强制走新实现）。每一步都通过谱系递归验证「所有基础能力仍可达」，并可选地对函数描述注入噪声模拟陈旧文档。最终得到 6 个连续生态状态，共 9,528 个任务-生态实例。

第四步：DP 参考路径搜索。 对每个任务抽取已验证轨迹的有序基础函数序列，在每个版本下把它划分为连续源块、为每块选一个活跃实现——这是序列覆盖问题，用动态规划分别按「调用步数」与「执行成本」（LLM 按工具定义给每次调用打 1–10 分）两个准则求最小权重路径，得到步数最小与成本最小两条参考路径，且逐条重放验证可执行。参考路径不要求被评测 Agent 复现，而是作为效率标尺。

4.2 AgentProofBench：三联测试设计

AgentProofBench 由三个互锁的研究组成。

研究 P0：验收资源。 97 个任务来自 79 个族、4 个 Web 服务（Linear/Slack/Box/Calendar 的企业副本）。每个任务提供公开指令、API 文档、只读鉴定沙箱（1 CPU / 1GB 内存 / 60 秒 / 80 次业务操作），接口为 verify(task, before, after)，返回 Pass/Fail/Unknown（异常与超限记 Error）。结果面板分四类：自然结局（556 态，452 成 / 104 败）、原生前缀对（把完整执行接回更早的不完整状态）、类型化故障（在成功锚点上按故障配方改坏，可定位被违反的具体需求）、合法替代（指令允许范围内的行为差异）。参考谓词覆盖身份、值、集合、关系四类，版本化选择器从每个 before 状态动态恢复所需对象。

研究 P1：匹配初始状态复用。 从 48 个族各选一个任务，构造三种初始条件：源（构造态）、背景（改动任务无关数据，对照用）、相关（改动一个必需的需求绑定——实体指向、初始值、集合或保留条件）。每种条件配一个完整结果、（可用的）合法替代与两个匹配的失败态。资格预检要求四条，其中最关键的是源决策重放见证：把旧的有效决策在新条件重放必须失效。DeepSeek Flash/Pro 各生成 2 个源程序与 2 个目标重建程序，共 576 个冻结产物，在 558 个终态上评测。

研究 P2：执行有效性。 22 个族、每族一 Flash 一 Pro 两个 Actor 生成 44 条轨迹，每条保存两个开局（自然结局 + 首个含变更请求的完整工具轮后的 checkpoint），共 88 个开局。四个策略分支：Actor 直停、固定续跑两轮、程序门控（Pro 源程序，按固定奇偶规则分配）、在线门控（每次用新 API 判断）。门控通过才交付，否则最多允许两轮修改。交付/扣留/回归分开记录——被扣留的写入已持久化，状态回归（成功改坏）与正确扣留是不同的失败。全程带 1 万次族自助重采样做区间估计。

4.3 iPrefBench：单一 persona 的来源标注环境

iPrefBench 建在 iOSWorld 的可执行 iOS 模拟器上，包含三件配套。

活动历史 H。 26 个 mock 应用的种子数据被转写为按时间排序的自然语言事件流（共 3,051 条），如「[2026-02-19] 在 QuickChat 收到 Camille Hart 的消息……」。跨应用合并让推断可以跨域联动：支付流水、外卖订单与餐厅评分共同构成餐饮偏好的证据。H 是 Agent 获得的唯一用户先验知识。

结构化画像 P 与模拟用户。 从种子数据提炼 13 维、92 条的结构化画像（每条带指向 H 的证据字段），对 Agent 隐藏，作为模拟用户与评测的真值底座。模拟用户（Claude Sonnet 5 扮演）只答所问、绝不主动补充——这条指令设计直接保证了「问没问」测的是 Agent 自己的识别能力。

任务与扰动。 三阶段管线：编码 Agent 生成 188 个候选 → 8 位人工专家逐项审核每个遗漏需求的来源（可推断项必须在 H 有主导模式，证据弱就改种子数据；仅可问项必须 H 不可恢复，且真值尽量不同于应用预填默认值，堵死「默认值蒙对」）→ 2 位验证者在模拟器里实跑校验。最终保留 130 个任务，平均每任务 2.09 个动作完成标准与 2.87 个个性化标准（1.98 可推断 + 0.89 仅可问）。另有三类扰动：指令扰动（当前指令压倒历史模式）、偏好扰动（近期行为偏离长期众数）、环境扰动（偏好选项不可用）。

4.4 CLE：专家编写 + 门控阶梯 + 评审 Agent

CLE 的解法有三个工程支柱。

阶梯任务。 120 个任务各为一个五级阶梯，同一职业角色下五个连续委派，过级解锁、未达级记失败。级间依赖围绕五类可迁移知识设计（例如 Ibex RISC-V 内核维护任务：L1 做新旧版本接口对比与 bug 修复清单，L2 复用该清单在模拟器上诊断计数器 bug，L3 复用 L1 发现适配补丁，L4 复用 L1/L3 做安全签核，L5 重跑 L2/L4 测试出客户勘误）。有状态服务让一级内的记录延续到后续级——L2 引用 L1 文件、L3 复用 L2 测试。块式评测支持从任意级起测（人工备好前置产物）。

真实材料与 rubric。 23,981 个真实输入文件（77 种扩展名，保留重复与冲突噪声）、19 个有状态 mock 应用暴露 1,024 个 API、16,125 条人工评分标准（平均每级 26.9 条，L1 均值 18.74 条单调升到 L5 的 36.83 条）。每条标准规定唯一无歧义的预期结果与验证证据；多轮评审 Agent 用工具从提交产物与环境状态中取证比对。评审在隔离 Docker 中进行，判项一致率与人类对齐到 96.86%。

专家双门审流程。 领域专家（PhD、软硬件工程师、会计师、分析师等）围绕自身工作撰写任务；评审 Agent 按人工打磨的评审技能做自动审查（格式合规、输入真实性、答案泄漏、rubric 可验证性、持续学习设计）并实跑全流程；通过者再交两位随机人类评审独立全审，双通过才收录。

五、评估指标与实验证据

本部分是全文重点：四个基准各自给出了精心设计的指标体系与实验证据链。

5.1 Δτ-Bench：SR 之外的效率与前沿跟踪指标

指标体系。 主指标是任务成功率 SR（按数据库变更覆盖判定，Agent 产生的变更必须覆盖金牌执行的全部变更）。真正的创新在三个辅助指标：

• SPE（成功加权路径效率）：SPE(v) = mean[S_i · min(W_ref/W_agent, 1)]，即只有成功的任务才计分、按参考路径权重与 Agent 实际权重之比取 min——成功但不高效的执行拿不到满分。分别按步数与成本算 Step-SPE / Cost-SPE。
• IDR（改进发现率）：只在「参考路径跨版本变短/变便宜」的任务子集上计算的同式得分，测 Agent 能否发现新出现的更优路径。
• DAR（退化适应率）：只在「参考路径变长/变贵」的子集上计算，测旧路被断后能否有效改道。

核心数值（8 个模型横评）：

三个结论直接可读：（1）最强者 SR 也只有 42.27%，SPE 无一超过 30%；（2）检索呈现「高召回低精确」的失衡——Codex-GPT-5.5 召回 90.36% 但精确率仅 19.90%，说明模型能捞到相关工具却排不掉无关候选；（3）SR 与 SPE 不等价——DeepSeek-V4-Pro 的 SR 略高于 GLM-5.2，两项 SPE 却全面落后：成功不等于高效。

生态本身的统计也值得一读：六个版本的工具规模保持在 799–892 个（平均 19–21 个/域），但界面变更持续发生——v2 到 v6 每次有 110–196 个新增、120–200 个退役、147–176 个修改。参考路径权重的迁移呈非单调分布（以函数调用数计，v2→v3 迁移中 56.5% 任务不变、18.6% 变贵、其余变便宜），且步数维度与成本维度的分布明显不同——交互长度与执行开销是互补的两个效率维度，这也是 SPE 要分两列报告的原因。

关键消融：瓶颈在「选工具」不在「做规划」。 论文设计了五档递增信息的诊断条件：标准 → 域内工具 → 任务历史全部工具 → 仅当前版本相关工具（Oracle Tools）→ 附带参考路径（Oracle Path）。SR 与 SPE 从标准到 Oracle Tools 稳步上升，其中 Task Tools → Oracle Tools 的 SPE/SR 跃升最大；而 Oracle Path 相对 Oracle Tools 几乎无增益。这说明剩余瓶颈在于从重叠与不可用的候选中分辨当前高效实现，而非高层规划。

技能方法与 STEWARD 数值（评测维度视角）：四种技能方法（EvoSkill/AutoSkill/Trace2Skill/SkillOpt）在 v1 都优于无技能基线，但增益不随演化保持——v3 时 EvoSkill 与 AutoSkill 的 Step/Cost-DAR 双双跌到 0（无技能基线仍有 11.11% / 10.25%）；SkillOpt 的 SR 领先但维护成本约 3,000K token/任务（他法的 2–3 倍）且 IDR/DAR 无稳定优势。与之对照，STEWARD 六版本 SR 均值 39.04%（vs SkillOpt 36.36%），v2 起基线维护 token 是它的 1.2–5.5 倍，IDR/DAR 平均 +4.04/+3.69 与 +5.28/+4.76 个百分点。消融显示增量维护（36.83%）优于全量重建（34.61%）与冻结（33.90%），且 token 还少 39.5%——保留并定向更新优于反复重建。

5.2 AgentProofBench：复用区间与面板-交付关联

指标体系。 主指标是平衡准确率 BA（对有效接受与失败拒绝等权，Unknown/Error 零分）；配对量 Δ = BA(复用) − BA(重建)；执行侧用正确/错误/扣留交付与状态回归。统计上用族自助 95% 区间 + Holm 校正，预登记假设检验。

P1 复用数值（48 族 × 每模型 96 程序）：

解读：两个模型的复用−重建区间都含 0（Holm p = 0.4350 / 0.1254），即冻结复用与重写的平均判别力统计上打平——复用本身不吃亏；但重放见证在源程序上额外揪出 3–4 个主面板全对的「记忆型」程序（如 linear_44 记住旧 Elena 的 ID、linear_52 记住源常量 Active），它们拒绝正确的新结果、放行错误的旧行为。联合计数从 83 降到 82（Flash）、81 降到 79（Pro）正是这一层的价值。

P2 面板-交付关联（核心实证结果）：44 个程序分配按「相关面板是否零错」分组——

正确交付差 87.9 个百分点（族聚类区间 [68.8, 100.0]）。全部 17 次程序门控扣留与全部 3 次参考定义的状态回归都落在有错组；13 个被扣留终态其实满足参考——扣留与真失败是两种不同的代价，而面板错误同时推高两者。

策略基线与成本剖面：中性续跑（不做验证、只让 Actor 再跑两轮并要求保留已完成工作）在 checkpoint 上修复 14/16（Flash）与 16/16（Pro）的失败开局，正确交付 20/22 与 22/22，超过程序门控的 17/22 与 16/22——对程序门控的净优势 Flash +13.64pp、Pro +27.27pp。这为「验证器到底增值多少」钉了一条诚实的基线。成本侧：程序 B12 的误收率 3.5% 对在线 API12 的 31.7%（配对差 −28.2pp [−40.7, −16.7]），代价是有效锚接受率 77.8% 对 98.6%；单次鉴定 0.58 秒对 20.69 秒；构造费 $0.0173–0.0765，约 10–12 次复用回本（区间 2–36）。

5.3 iPrefBench：执行-个性化鸿沟与 Recall/Precision

指标体系。 个性化任务完成：SR（全部标准满足）、动作完成分（与用户选择无关的操作正确性）、个性化分（按来源再分可推断/仅可问两列）。用户交互：Recall（问到的 ask-only 占比）与 Precision（问题覆盖新 ask-only 的占比，惩罚问可推断项、无关项与重复问）——设计灵感来自 Grice 合作原则。LLM 评委经人工校验：rubric 判项一致率 95.7%（κ=0.89）、任务级 97.0%（κ=0.94）、交互判定 95.2%/93.9%（κ=0.90/0.82）；模拟用户经 89 对问答人工核验，96.6% 同时满足「有据」（回答有画像或隐藏上下文支撑）与「守界」（只答所问、不主动补充）。

主表数值（7 个前沿模型）：

核心发现一：执行-个性化鸿沟。 动作完成普遍 77.5–91.6%，全任务成功却只有 26.2–47.7%——最好者做对 91.6% 的动作却只满足 69.4% 的用户相关决策。核心发现二：ask-only 是重灾区。 每任务平均只有 0.89 个 ask-only 需求，Agent 平均只发 0.08–0.35 次 ask_user；ask-only 个性化全线低于可推断（Gemini 3.7 Flash 差距最大：21.1% 对 67.5%，46 个百分点）；Recall 最高仅 44.3%，而问出来的也不都是必要的（Precision 60.4–77.1%）。核心发现三：扰动揭示「显性 vs 隐性」。 环境扰动（偏好选项不可用，显性障碍）让提问量升至 2.3 倍、ask-only 个性化全员提升；而指令与偏好扰动（与历史冲突，需自发识别的隐性不确定性）则拉低个性化分——Agent 对看得见的障碍有反应，对「自己不知道自己不知道什么」无感。

两项干预实验：（1）预执行澄清阶段让 Sonnet 5 的 SR 从 39.2 升至 53.8、Recall 从 25.7 升至 85.0，但 Precision 从 60.4 掉到 42.5、提问量 0.24 → 1.37——多问能救召回，救不了「问得准」；（2）历史曝光量实验中，top-50 相关事件就让 Qwen3.8-27B 的可推断个性化从 35% 升到 63%（再喂满全量无增益），但 ask-only 几乎不动、Recall 反而从 33.6 降到 21.2——更多信息帮助推断、无助于识别未知。

错误解剖（Sonnet 5 / Qwen3.8-27B 失败轨迹人工标注）：ask-only 失败中「沉默猜测」（知道缺信息却自己猜）占 43% / 40%，「沉默默认」（根本没意识到这是个决策，应用预填值直接通过）占 24% / 22%；可推断失败中「漏推断」与「错推断」约各占三分之一强与四分之一。四类错误指向同一根因：识别「哪些决策仍然开放」的能力缺失。

5.4 CLE：门控通过率与反馈增益

指标体系。 总完成率 = 通过级数 / 600；各级累计通过率 Lk（L5 即全五级通关率）；Trial 1（K=1，一次提交无反馈）对 Trial 2（K=2，失败后给 rubric 类别级诊断反馈并可修订重交一次）；资源三轴（token / 活跃运行时长 / 美元成本）。评测 Agent 判项与人工一致率 96.86%，三次重评稳定率 99.46%。

主表核心数值（17 个配置择要，Trial 1 → Trial 2）：

四个关键观察：（1）天花板低：最好系统即便拿到诊断反馈与修订机会也只过 47.67% 的级、仅 23.3% 的任务通关全部五级；17 配置 Trial 2 的 L1 中位数 62.50% 掉到 L5 的 8.33%。（2）反馈增益有限且不均：中位增益 +5.33pp；16/17 配置为正，但 OpenClaw/DeepSeek V4 Pro 反降 1.33pp——反馈用得好本身是能力；两个 Qwen3.8-Max 配置的 L1–L3 提升却止步于 L4–L5 原地踏步。（3）harness 影响显著：六个共享 backbone 上 Hermes-Agent 全面高于 OpenClaw（Trial 2 均值差 11.42pp；同是 Gemini 3.7 Flash，33.67% 对 24.00%；同是 DeepSeek V4 Pro，+5.50pp 对 −1.33pp）——经验管理机制的差距被同一基准放大。（4）早退普遍：Trial 1 每个配置都有超过半数任务止步于 0–1 级（中位 87/120 个，OpenClaw/GLM 5.3 达 95.83%）；L1 通过率与 L5 通过率的 Spearman 相关只有 ρ=0.42——第一关过得好不代表能一路学下去。条件通过率中位数沿级上升（Trial 2 从 L1→L2 的 55.17% 到 L4→L5 的 80.00%），但这是幸存者偏差下的有利子集，且末段样本极薄（中位分母仅 14 个任务）。

六、效果优势的根源解释

6.1 Δτ-Bench：为什么静态分数掩盖了适应缺陷

因果链（论文实验已支持）：静态基准的成功判定只检查终态 → Agent 用任何可行路径成功都计 1 分 → 低效但可用的旧路径持续得分 → 「离当前前沿的距离」这一信息在指标中不可见。Δτ-Bench 的 SPE 把参考路径权重放进分母、DAR 只在「参考路径变贵」的子集上计分，等于把「路径效率的相对退化」变成一等信息。证据：DeepSeek-V4-Pro 的 SR 高于 GLM-5.2 但 SPE 更低；技能方法 SR 领先（SkillOpt）而 DAR 在 v3 归零——两类倒挂都说明单看成功会系统性误判能力。检索消融（Oracle Path 无增益）进一步把责任定位在候选甄别而非规划，这是「重叠工具 + 噪声文档」的信息结构直接导致的瓶颈。技能方法失效的机制也由此可解：技能把「工具-过程」绑定固化，生态变化后旧绑定不仅无用还会挤占检索与上下文（阅读者推测成分：论文未直接测量上下文污染，但 DAR 归零与维护成本 3 倍并存与此一致）。

6.2 AgentProofBench：为什么重放见证能预测部署价值

因果链：验收程序若把需求解析为构造期常量（旧 ID、旧状态字面量）→ 源面板全部通过（旧状态下常量恰好正确）→ 初始状态改变后同一常量给出系统性错误判定 → 错误判定进入门控策略 → 或者扣留正确结果（13 个满足参考的终态被扣）、或者放行后 Actor 按错误反馈把正确状态改坏（3 次状态回归）。重放见证之所以有效，是因为它精确复现了这条链的第二环——旧决策在新状态下必须失效，任何仍判 Pass 的程序必然依赖记忆而非状态。面板-交付的 87.9pp 关联（区间下界仍有 68.8pp）证明这层测试对部署后果有预测力：门控的净贡献必须相对中性续跑基线（+13.64/+27.27pp）计算，否则「继续执行」的收益会被误记给验证器。程序与在线评审的权衡（误收 3.5% 对 31.7%、时延 0.58s 对 20.69s、约 10–12 次回本）则说明可复用程序的价值在高频重复检查场景最大——这正是企业流水线的形态。仍属推测的部分：87.9pp 关联是探索性分析（论文自陈 post hoc），且仅覆盖 DeepSeek 双模型，外推到其他家族需谨慎。

6.3 iPrefBench：为什么「问得少」不是谨慎而是盲区

因果链：ask-only 信息在历史 H 中零证据 → Agent 的上下文里它与其他缺失信息没有可感知的差别 → 「这是一个需要用户输入的开放决策」的元认知从未触发 → 应用预填默认值静默通过（Silent default 24%）或模型自我说服后猜测（Silent guess 43%，Qwen 推理中反复出现「要不要问」然后被自己说服的痕迹）。两个干预实验构成交叉验证：预执行澄清只提升「问的量」（Recall 25.7→85.0）却压低「问的准」（Precision 60.4→42.5），说明欠问不是性格而是识别缺失；历史曝光提升可推断项（35%→63% 饱和于 top-50）但对 Recall 无助甚至有害（33.6→21.2），说明信息不足与元认知缺失是两个独立的瓶颈——喂更多信息只解决前者。环境扰动下提问 ×2.3 且个性化全员提升，与指令/偏好扰动的无人应对形成对照：显性障碍触发反应、隐性不确定性不触发。适用边界：结论建立在单一 persona（Jordan Avery）上，跨 persona 的泛化未经检验（论文未测，属推测性保留）。

6.4 CLE：为什么单题分数测不出经验复用

因果链：独立计分的基准里，任务 t+1 的得分与任务 t 的经验在统计上无耦合 → 「从经验中变强」这一能力对指标不可见 → 模型排名只反映单次解题力。CLE 让耦合成为结构必然：后级 rubric 显式引用前级产物（88/120 个任务含跨级文件引用，L5 达 84 个），有状态应用把前级记录带进后级——不过前级就没有后级的素材，过了前级不积累也用不上。低完成率的分解支持「经验复用是独立瓶颈」：L1 与 L5 通过率相关仅 ρ=0.42（Qwen3.8-Max 两个配置 L1 分别 74.17%/65.00% 高于中位、L5 却 2.50%/1.67% 低于中位），说明解题力不能兑换成持续通关力。K=2 的中位增益只有 +5.33pp 且有配置为负，说明一次类别级诊断反馈远不足以弥补经验管理的欠缺；harness 间的稳定差距（Hermes 对 OpenClaw 六 backbone 全胜、DeepSeek V4 Pro 上 +5.50pp 对 −1.33pp 的反馈利用分化）则把这一瓶颈定位在 harness 的记忆/技能机制而非 backbone 本身。Gemini 3.6→3.7→3.8 世代对比（Trial 2：33.67% > 30.67% > 23.50%）提示模型更新并不自动转化为持续学习力（单次执行证据，样本为 1 个 harness×3 模型）。

6.5 综合判断与未决问题

四篇论文中多项证据共同支持的机制有两条：（1）过程性指标揭示单次指标看不见的缺陷——SPE/SR 倒挂、面板-交付关联、执行-个性化鸿沟、L1/L5 解耦，四者同构；（2）元认知（识别什么是未知的/开放的能力）是当前独立瓶颈——iPrefBench 的 Silent 默认/猜测分布、Δτ-Bench 的 Oracle Path 零增益、CLE 的反馈增益分化都指向它。仍属合理推测的：STEWARD 优势中「上下文污染减轻」的成分、AgentProofBench 面板-交付关联向其他模型族的泛化、iPrefBench 单 persona 结论的多样性外推。四者的适用条件也需注明：Δτ-Bench 的演化由变换生成（真实性或被质疑）、AgentProofBench 仅两模型、iPrefBench 单 persona、CLE 单次串行流未报告重复方差——在这些边界之外，上述结论应视为待验证。

七、必要知识反推

假设让一个没有背景的人从零做出这四个基准，最少需要哪些知识？

领域知识层。 做 Δτ-Bench 必须理解「工具生态的生命周期」——API 会以改接口、拆分、合并三种方式演化，且演化后能力必须等价（这来自对真实企业服务的观察，也是能力保持变换三分法的依据）。做 AgentProofBench 必须懂企业工作流中「公开指令不变而绑定漂移」的实态（名字换人、状态翻转），以及软件测试的 Oracle Problem 传统。做 iPrefBench 必须知道真实用户请求的欠指定结构与稳定偏好/即时情境的二分——这实际是 HCI 领域混合主动性界面（Horvitz 1999）与 Grice 会话准则的老问题在新载体的复活。做 CLE 必须理解目标职业的真实工作形态（这解释了为何必须请 50+ 专家而不是生成任务）。

方法论知识层。 四篇都需要「评测即受控实验」的设计素养：Δτ-Bench 的 DP 参考路径需要把任务实现搜索形式化为序列覆盖问题并知道用动态规划求解；AgentProofBench 需要统计推断功底——族自助、Holm 校正、预登记假设、配对对照（复用 vs 重建、门控 vs 中性续跑），这是随机对照试验的方法论迁移；iPrefBench 需要 Recall/Precision 的信息抽取式度量设计与构造性标注的质量保证流程（三阶段管线、每条证据人工核）；CLE 需要持续学习的形式化传统（灾难性遗忘 1989、EWC 2017、L2 生态 2017 的谱系）把 harness 学习纳入 (θ, s) 统一框架，以及 LLM-as-a-judge 的信度校验方法（96.86% 一致率、99.46% 重评稳定）。

工程知识层。 可执行环境的搭建是共同底座：MCP 服务化 + mock 数据库（Δτ-Bench）、只读沙箱与资源限额（AgentProofBench 的 1 CPU/1GB/60s/80 操作）、iOS 模拟器与逐任务环境覆写（iPrefBench）、隔离 Docker 评审与 API 凭据隔离（CLE）。没有这层，「过程」根本无法被机器度量。

知识融合的关键节点。 三个化学反应值得注意：Δτ-Bench 把「软件工程的等价性测试」与「运筹学的最短路径 DP」融合，让演化可控且效率可量化——单独哪一个都不够；AgentProofBench 把「测试oracle 问题」与「策略评估」融合，用共享开局把验证器测试与执行后果焊接成一条可追溯链；iPrefBench 把「信息来源标注」这个数据构造决策，转化为「Recall/Precision」这对度量——构造即度量；CLE 把「课程学习/门控」的游戏化结构与「专家评审」的学术流程融合成规模化数据生产。

八、论文中可以提取的通用性灵感

灵感一：想测什么能力，就把它变成结构性依赖，而不是指望它自然出现。 CLE 的级间引用、iPrefBench 的来源标注、Δτ-Bench 的演化版本都是同一手法：让目标能力成为「不做就过不了」的结构要件。推广场景：RAG 评测可以标注「每题必经的检索步」；代码 Agent 评测可以让后续工单依赖前序修复；教育测评可以用累积制任务替代独立题；组织人才评估可以用连续项目替代单场面试。

灵感二：单一成功指标必然掩盖一类缺陷，给它配一个条件子集指标。 SR 掩盖低效 → SPE/DAR；面板正确率掩盖部署风险 → 面板-交付关联；动作完成掩盖个性化失败 → 来源分列的个性化分；L1 通过率掩盖持续学习欠缺 → L5 与各级条件通过率。推广场景：推荐系统在「冷启动用户子集」上报 CTR；编译器在「变更后重编译子集」上报正确性；医疗 AI 在「转诊子集」上报敏感度。

灵感三：复用前先测「依赖状态还是依赖记忆」。 AgentProofBench 的重放见证（旧有效决策在新条件下必须失效）是一个极简 yet 锋利的探针，适用于一切「从数据中学到的判定规则」：风控规则换一版客户画像后还判得对吗？缓存失效逻辑换一版后端后还触发吗？编译器缓存的正确性判定换一版依赖后还可靠吗？任何「训练期常量」都是潜在的陈旧绑定。

灵感四：给任何主动询问行为同时测 Recall 和 Precision。 问多了扰民、问少了臆测——这对张力在所有「AI 向人索取信息」的场景同构：数据清洗 Agent 该问哪些字段？低代码工具该问哪些需求澄清？运维 Agent 告警该升级给人吗？医学问诊 AI 的追问呢？iPrefBench 证明这两个指标可以且应当分开优化——且「鼓励多问」只救 Recall 不救 Precision。

灵感五：为「继续执行」钉一条基线，再谈验证/门控的净价值。 AgentProofBench 用中性续跑基线揭示了程序门控可能为负；CLE 的 Trial 2 揭示反馈可能被浪费甚至倒挂。任何引入「检查/评审/门控」环节的系统都应自问：不做这个环节、把同样的预算拿去重试，会不会更好？推广场景：代码评审机器人 vs 直接再跑一遍测试；文档校对 AI vs 让作者再读一遍；安全扫描门禁 vs 灰度发布观察。

灵感六：过程性资产的维护成本必须与效果同表报告。 Δτ-Bench 报维护 token（基线 1.2–5.5 倍）、CLE 报 token/时长/美元、AgentProofBench 报构造费与回本次数。效果赢而成本输的方法（SkillOpt 的 3 倍维护费）在该场景下不可持续。推广场景：特征库/规则库/知识库的运维预算评估、持续集成流水线的缓存重建策略、组织流程的流程性开销核算。

附录：四基准速览

四篇论文分别以预印本形式于 2026 年 10 月 25–27 日公开，数据与代码均随文发布，可作为 Agent 过程性评测的第一批标准件使用。