评测与治理三重奏精读：多智能体协作、搜索后综合与执行控制

今天这三篇论文有一个共同的底色：它们都不问「Agent 能不能做」，而问「Agent 做得有多好、做到最后没有、该停的时候停了没有」。AgentWorld 量的是多智能体协作中有多大比例的动作真正产生了因果贡献；KNOWS 量的是信息找齐之后，Agent 能不能把它组织成人能用的文档、表格与幻灯片；GEC 量的是目标已达成之后，Agent 还会不会无休止地「精益求精」。三篇论文分别来自开源社区与多所美国高校、犹他大学、昆士兰大学领导的跨国团队，评测对象覆盖 Gemini 3 Flash、Claude Haiku 4.5、GPT-5 Mini、Perplexity Comet 等前沿系统。下面逐篇精读。

论文一：AgentWorld——多智能体 LLM 长程协作基准

论文链接：AgentWorld: Benchmarking Long-Horizon Collaboration of Multi-agent LLMs 项目网站：agentworld.io（代码与数据开源在 GitHub） 发表时间：2026 年 9 月（COLM 2026 会议论文） 机构：OpenAgents 开源社区、Columbia University、University of Pennsylvania、Penn State University、Seoul National University——开源社区 + 多高校合作，志愿者参与标注与评估 领域标签：cs.MA（多智能体系统）、cs.CL、cs.AI

一、论文背景

先说「多智能体协作（Multi-Agent Collaboration, MAC）」是什么：让多个各有分工的 LLM 智能体在同一个环境里，通过自然语言互相沟通，为一个共同目标干活。就像一个项目组里有产品、前端、后端、测试，谁也不能单干完成整个产品，必须开会、对齐、交接。

LLM 的自然语言能力让这种沟通第一次变得「可编程」：智能体之间可以直接用聊天来协商谁采木头、谁打铁、谁送信。于是各种多智能体平台涌现：社会模拟类的 Generative Agents（小镇居民的日常互动）、游戏类的 Overcooked（合作做菜）、Minecraft 类的 MineLand/TeamCraft，还有 AutoGen、CAMEL、AgentVerse 这些编排框架。

但作者指出现有评测有三个系统性缺陷：

1. 任务太短。绝大多数基准的任务在 10-20 步以内就结束了，考察的是「一次配合」，不是「持续协作」。真实项目里，团队要在几十轮交互中维持共享计划、处理队友状态变化，短任务测不出这种能力。
2. 低级操作污染分数。像 Minecraft 这样的环境要求智能体花大量精力在精确 3D 导航、方块放置上。如果任务失败，你分不清是「不会协作」还是「不会走位」——协作能力无法从分数中被分离出来。
3. 规模模拟没有可测目标。Project Sid 这类上千智能体的文明模拟很壮观，但观察的是涌现的社会行为，没有「任务成功/失败」的明确判据，无法做定量评测。

还有一个评测方法层面的坑：多智能体系统的成功率高，不代表「协作」好——可能是一个智能体包办了所有活，其他人全程围观。要度量协作质量，过去的做法是让 LLM 当裁判给协作打 1-5 分，但这种主观打分随裁判模型版本漂移，不可复现。

这就是 AgentWorld 的出发点：造一个「够复杂但不考微操」的世界，设计「够长且必须多人协作」的任务，并发明「可复现的协作质量度量」。

二、论文定位和关联工作

AgentWorld 处在多智能体 LLM 基准谱系的最右端——长程、黑盒、非对称角色三者同时满足的工作此前是空白。

多智能体 LLM 基准谱系：

• MultiAgentBench（ACL 2025）：在研究、编程、数据库等六种场景评测协作与竞争，贡献了里程碑式 KPI 与多种协调拓扑（星型、链式、图结构）。任务偏短，且不强制黑盒设定。
• Collab-Overcooked（EMNLP 2025）：基于 Overcooked-AI 的 LLM 协作基准，提出过程导向的细粒度协作指标，发现 LLM「目标理解强、主动协作与持续适应弱」。但最多 4 个智能体、任务短、角色对称、非黑盒。
• MINDAGENT / TeamCraft / MineLand：Minecraft 系多智能体任务，世界丰富但低级控制负担重，horizon 短。
• TheAgentCompany：模拟职场的专业任务，但同样是短程、少智能体。
• 单智能体系（AgentBench、AgentBoard、VOYAGER、BALROG 等）：奠定了 LLM Agent 评测方法论，但不涉及多智能体。

模拟器与平台侧：Generative Agents/SmallVille 做社会模拟、CAMEL/AutoGen/AgentVerse 提供编排框架、PettingZoo/SMAC/Melting Pot/Hanabi 面向 RL 智能体。AgentWorld 的沙盒直接基于开源 MMORPG 引擎 Kaetram 改造，支持最多 1000 个并发智能体。

与本文的关键区别，用论文 Table 1 的话总结：

定位结论：AgentWorld 是第一个把「25-55 轮长程 + 3-20 个非对称角色智能体 + 黑盒通信」组合起来的协作基准，同时用 CCE 填补了「协作质量可复现度量」的方法空白。

三、问题定义

具体问题：如何评测多智能体 LLM 在长程、信息不全条件下通过自然语言通信完成复杂任务的能力？

论文的核心洞察是把「协作能力评测」抽象为两个正交问题：

1. 任务达成了吗（结果问题）——用程序化校验器判定，任何基准都会做；
2. 团队的力气花对地方了吗（过程问题）——这是被忽视的半边天。

对第 2 个问题，论文的抽象极其漂亮：把整个轨迹中所有智能体的所有动作视为一个集合 T，问其中有多少动作位于通往成功的因果链上。用表格呈现这个类比：

形式化：构建因果动作图（Causal Action Graph）G=(T, E)，边 (x,y) 表示动作 x 因果地促成了动作 y；从成功动作集合 S 出发反向回溯，得到贡献集 C = S ∪ ancestors(S)；CCE = |C|/|T|。

这个抽象的精妙之处：它把「协作质量」从主观印象变成了图上的可达性问题，而 LLM 只需要回答二元因果问题（「钓鱼这个动作是否使后来的转交鱼成为可能？」），不需要打质量分。二元判断比序数打分稳定得多——这是整个度量可复现性的根基。

四、问题解法

AgentWorld 的解法分四层。

4.1 沙盒环境：复杂世界 + 低阶抽象

类比：自动挡赛车。赛道（世界）足够复杂多变，但离合换挡（低级操作）被自动化掉了，车手的决策预算全部花在路线与战术上。

做法：基于开源 MMORPG 引擎 Kaetram 改造。世界是 1056×768 tiles 的 2D 持久地图，含 9 种生物群系、380+ 物品、144 种怪物（等级 1 到 250+）、70+ NPC、1531 个可采集资源点、8 种技能（伐木、采矿、钓鱼、采集、制作、锻造、制弓、烹饪）。在此之上构建抽象层：13 个高层 API 工具（move、attack、harvest、craft、transfer、chat 等），每个工具把多步游戏机制封装成单次调用——比如 attack entity 一步完成寻路、开打、结算、拾取掉落。每轮每个智能体收到结构化文本观察 + 任务专属文档（配方、怪物属性、资源位置）。

环境被改造成回合制以保证可复现：每轮智能体轮流行动，一次一个 API 调用。黑盒设定是关键约束：智能体看不到其他智能体的内部状态、观察和动作历史，协调只能靠环境转发的聊天消息。

4.2 任务设计：必须协作、必须够长

每个任务包含：多智能体协作才能完成的主目标；带非对称角色/技能/出生点/初始物品的智能体配置；轮次预算（25-55 轮）；每个角色的任务文档；Python 成功判定函数。设计原则是没有任何单个智能体掌握全部技能或资源——比如 8 智能体的 Resource Caravan 任务，Leader 要协调森林伐木队、山区矿工队和一个从两组收材料锻造镐子的工匠。

5 名标注者按 8 类（战斗/合成/采集/交易/探索/生存/建造/协调）标注 100 个主任务；用 Claude Opus 4.5 生成 100 个增强变体（改变目标、出生点、初始物品），人工抽检 10% 确认 100% 保留了协作需求与角色非对称性。轮次预算由试点实验校准：先估一个值，观察成功完成用了多少轮，再调成「有挑战但可行」。

4.3 CCE 度量：反向因果回溯

算法是 BFS 式的逐轮回溯：先让 LLM 判官（GPT-4.1，温度 0）识别直接达成目标的成功动作；然后从最后一轮向第一轮扫描，每轮问判官「该轮的每个动作是否因果地启用了已识别的贡献动作」，是则加入贡献集并进入下一层回溯。工程优化：按资源类型/位置/通信通道剪枝、批量因果查询、时间窗口限制，避免 O(|T|²) 的全对查询。

两个关键设计决策：聊天消息被当作一等公民动作纳入图中（因为协调本身就是协作机制）；采用宽容标注策略——「哪怕有一点帮助」就算贡献，因此 CCE 应读作真实有用动作比例的上界。

4.4 校准基线组

为把「LLM 协作能力」从「多智能体编排收益」中分离出来，构建五个基线：随机动作（无 LLM）、单智能体（把所有角色物品塞给一个 Agent）、无通信、共享人工计划但无通信、oracle 通信（一个智能体看见全部消息并协调全队）。

五、评估指标与实验证据

指标体系：

• SR（任务成功率）：主指标，任务自带 Python 校验器检查最终游戏状态（清点库存、击杀数、存活状态），全部条件满足才算成功。
• PSR（部分成功率）：校验器 checkpoint 的完成比例（如「原木 3/5、击杀 0/3、全员存活 True」），衡量「能开局但收不了尾」的程度。
• CCE（因果协作效能）：协作质量主指标，衡量团队力气真正花在因果链上的比例。失败任务记 0，故 CCE 排序部分跟随 SR；但条件在成功任务上时，CCE 揭示不同的效率故事。

主实验：四个前沿模型跑全部 200 个任务，统一系统提示词与工具定义：

附加模型：Muse-Glimmer-30B（SR 38.0%）、Gemma 4 26B（暂定 SR 34.7%）。

关键发现与支撑证据：

1. 天花板很低：最好的 Gemini 3 Flash 也只有 52.0% SR；27% 的任务所有模型全部失败。类别差异巨大：survival 最易（50-100% SR），coordination 最难（0-50%）、construction（0-60%）、trading（8-46%）——需要紧密同步与谈判的任务最难。
2. 增强集全员大跌：Gemini 52→24%、Claude 45→26%、GPT-5 36→21%、DeepSeek 20→10%，证明增强任务真的更难（更重目标、更远出生点、更少初始物品）。
3. 大部分动作是无效功：CCE 最高才 0.320——最好的模型也有近七成动作不在通往成功的因果链上；DeepSeek 的 CCE 0.125 意味着近 88% 的动作被浪费。条件在成功任务上时，Claude 的单任务协作效率最高（0.653 vs Gemini 0.609），GPT-5 Mini 最低（0.571）。
4. 通信量与成功非线性：GPT-5 Mini 聊天最多（44.1 条）SR 却只排第三，失败任务上它把 26% 的动作花在聊天上；DeepSeek 聊天最少（7.5 条）垫底，且平均到第 5 轮才开口，错过了早期协调窗口；Gemini 适度沟通（11 条）却最成功——存在「够用即可、过度有害」的最优通信区间。
5. CCE 可信且稳健：人类标注员与 GPT-4.1 判官在 84 个动作级判断上 82% 原始一致、Cohen’s kappa = 0.64（Landis-Koch 量表「substantial」）；换 Claude Sonnet 4 / Llama-4 Maverick 重算 CCE，四个被测模型的排序完全不变，绝对值漂移不超过约 0.05。人类与判官的一致程度（kappa 0.64）几乎等于两个不同判官之间的一致程度（kappa 0.66），说明二元因果判断本身是良定义的。
6. 基线校准：随机动作 5.7% ——任务不是白送的；单智能体 28.6%——任务真需要多智能体；无通信 22.9%；共享计划但无通信 17.6%——固定计划反而有害（-5.3pp），因为没有通信就无法在计划假设失效时修正，死守分工不如见机行事；oracle 通信 60.0%（比 vanilla 高 8pp）——更好的通信有帮助，但 oracle 下仍有 40% 失败，说明大部分难度内在于长程规划与资源分配本身。
7. 设计消融（35 任务子集，Gemini）：完整版 54.3%；去任务文档跌到 29.4%（-24.9pp，最大降幅）；缩短 horizon 到 10 轮跌到 37.1%（-17.2pp）；去非对称角色 45.7%（-8.6pp）；随机出生点 51.4%（-2.9pp，最小）——文档与长程预算是承重设计。

六、效果优势的根源解释

6.1 根源机制与证据链

本文不是「方法打败 baseline」型论文，而是「诊断型」论文，其核心主张是：当前基础模型的协作能力存在系统性缺口，且缺口主要在「对队友状态的建模与共享计划维护」，而非个体能力。因果链拆解：

1. 失败模式解剖（论文实验已支持）：对 Gemini 100 个任务的通信错误聚类，61 个错误中 37.7% 是 stale & redundant（引用已完成的任务、重复已知状态、问已解决的问题——根因是对队友状态的误解或误预测）、16.4% 角色误认（说自己是矿工实际是冶炼工、找错人要资源）、14.8% 事实错误（物品名/坐标/就绪状态报错）、11.5% 过早宣布完成、11.5% 无实质内容的寒暄、8.2% 逻辑矛盾。
2. 机制解释：黑盒设定下，智能体对队友的了解只能来自聊天记录。队友状态每轮都在变，而聊天是异步、稀疏、可能过时的——智能体维护的「队友心智模型」持续过时，于是发出基于过时模型的消息（问已经交过货的人要货），接收方又被误导，误差滚雪球。（阅读者推测，但与 37.7% 的 stale & redundant 占比直接吻合）
3. 共享计划维护失败的证据（论文实验已支持）：PSR 普遍高于 SR 约 12-20pp（Gemini 71.5 vs 52.0）——智能体能完成大部分 checkpoint 但在后期协调上崩掉；固定共享计划反而比无计划更差（17.6% vs 22.9%）——计划的价值取决于执行中能否修正它，而这依赖通信。
4. 反事实推理：若无通信，SR 从 52.0 掉到 22.9（-29pp）——通信是承重的；若给 oracle 通信只回升到 60.0（+8pp）——通信质量不是唯一瓶颈，长程规划与资源分配的内在难度占了剩余失败的大头。

6.2 相关工作检索与对照

6.3 综合判断与未决问题

多研究共同支持的机制：(1) LLM 智能体在目标理解/个体执行上明显强于持续协调与适应——Collab-Overcooked 与 AgentWorld 独立同向；(2) 协作质量与通信结构强相关且非线性——MultiAgentBench 的拓扑实验与 AgentWorld 的通信量分析互证。

仍属推测的部分：「队友心智模型过时→stale 消息→误差传播」的具体认知机制是论文作者给出的定性归因（「likely due to」），本文未做干预实验验证（例如注入队友状态同步机制看错误率是否下降）。

适用条件与可能失效场景：结论基于 RPG 沙盒与文本观察，若环境提供部分状态共享（灰盒）或任务天然可分解为独立子任务（弱协调需求），通信失败模式与占比可能显著不同；27% 全模型失败任务中可能混有任务设计问题（尽管作者做了试点校准）。CCE 的宽容标注使它是有用动作比例的上界，横向比较模型时没问题，但绝对值应保守解读。

七、必要知识反推

假设一个零基础的人要做出这项工作，最少必须掌握：

领域知识层：

• MMORPG 游戏机制（技能树、配方链、生物群系、经济系统）——不知道「造一根法杖需要 5 木棍 + 1 珠子、木棍又需要原木」这种依赖链，就设计不出「必须多人接力」的任务；
• 多智能体系统的经典问题（部分可观察、通信代价、信用分配）——识别出「黑盒设定 + 自然语言通信」正是把经典 MARL 难题搬到 LLM 语境。

方法论知识层：

• 现有多智能体 LLM 基准的谱系与缺口（Table 1 的对比不是文献堆砌，是定位论证）；
• LLM-as-judge 的已知缺陷（主观打分随模型版本漂移）——这是 CCE 改用二元因果判断的直接动因；
• 测量学基础：Cohen’s kappa、Landis-Koch 量表、跨判官一致性检验——否则无法论证度量可信。

工程知识层：

• 把实时游戏引擎改造成确定性回合制的工程能力（Kaetram 改造）；
• 高层 API 抽象层设计（13 个工具的粒度选择：太细则考微操，太粗则没有决策多样性）；
• 用 LLM 辅助标注 + 人工验证的混合数据管线（Claude Opus 生成变体、人验 10%）。

知识融合的关键节点：最有化学反应的一步是把「因果图可达性」从程序分析领域借来度量协作——深度地看，团队协作效率本质上是个因果贡献分配问题，而二元因果判断恰好落在 LLM 可靠能力的甜区。第二个融合节点是基线组设计：用「共享计划反而有害」这一反直觉对照，把「计划的价值在于可修正性」这一洞察从实验里逼出来。

八、论文中可以提取的通用性灵感

灵感 1：把主观评价降维成二元客观判断，可复现性大幅提升

• 证据：CCE 不让 LLM 打 1-5 分，只做二元因果判断，跨三个判官家族排序完全稳定（漂移 ≤0.05）、与人类一致 kappa=0.64。
• 推广场景：代码评审质量评估（「这行代码是否被最终功能使用」）、团队绩效归因（「这项工作是否进入交付物因果链」）、科研评估（「这篇引文是否被论点实际依赖」）、RAG 评估（「这段检索是否支撑最终答案」）。

灵感 2：过程指标与结果指标要正交设计

• 证据：SR 相同的任务 CCE 可差数倍；Claude 成功率低于 Gemini 但成功任务上的效率（0.653）反超（0.609）；PSR-SR 缺口定位「晚期协调失败」。
• 推广场景：任何「结果对但过程臃肿」的领域——软件工程（功能对但代码冗余度）、组织管理（KPI 达成但人效比低）、模型推理（答案对但推理链冗余）。

灵感 3：通信存在最优区间，更多沟通≠更好协作

• 证据：聊天最多的 GPT-5 Mini 只排第三（44.1 条 vs 36.0%），最沉默的 DeepSeek 垫底（7.5 条 vs 20.0%），适度的 Gemini 最优（11.0 条 vs 52.0%）。
• 推广场景：分布式系统心跳频率设计（太频占带宽、太疏失同步）、团队会议制度（站会频次的权衡）、多智能体系统消息预算控制、人机协作的信息推送节奏。

灵感 4：固定计划在动态环境里可能不如没有计划

• 证据：共享人工计划但无通信 17.6% < 无计划无通信 22.9%——计划的价值取决于执行中能否修正它。
• 推广场景：项目管理方法论之争（瀑布 vs 敏捷的实证注脚）、机器人编队控制的容错重规划、供应链契约刚性设计、政策执行中的反馈修正机制。

灵感 5：增强变体是检验「记忆 vs 泛化」的低成本探针

• 证据：同一结构、换目标/出生点/物品的增强任务让所有模型大幅掉分（Gemini 52→24），说明模型对原任务的表现部分依赖表面记忆而非协作能力本身。
• 推广场景：任何考试的 B 卷设计、模型基准污染检测、面试题库轮换、A/B 测试的防过拟合对照。

论文二：KNOWS——搜索之后：Web Agent 的知识综合、组织与展示基准

论文链接：The Hard Part Comes After Search: Benchmarking Web Agents on Synthesizing, Organizing, and Displaying Knowledge 项目页面：alexgill321.github.io/KNOWS-benchmark；数据（HuggingFace）；代码（GitHub） 发表时间：2026 年 9 月 机构：University of Utah（单一高校）；Google 资助基准构建，Anthropic/OpenAI 捐赠 API 额度——学术主导、企业赞助 领域标签：cs.CL、computer-use agent / web agent benchmark

一、论文背景

设想一个真实场景：老板说「帮我准备一份七年级『电子游戏史』的入门教学 PPT，每个章节要配一张来自可靠来源的图，引用放在左下角」。这要求助手：上网查资料（跨多个网站找 5 条以上信息）、筛选综合（不能照抄）、打开幻灯片工具、排版面（标题大号加粗深橙色、图片靠右、图注在下）、插引用、做总结页。

现有 Agent 基准对这种任务的覆盖是断裂的：

1. Web agent 基准（WebShop、WebArena、Mind2Web）：测「导航到页面、找到某条信息」这类短程可验证任务，不产出复杂制品；
2. 深度研究基准（DeepResearchBench、Mind2Web 2、DEER）：要求跨站检索并综合成长篇报告——但纯文本报告在真实工作场所很少是最终交付物。真实交付物是幻灯片、表格、文档，其有效性取决于视觉、空间与结构选择：内容放哪、配什么图、什么颜色、表格怎么组织；
3. 办公套件基准（OSWorld 的 LibreOffice 子任务、OfficeBench、SpreadsheetBench、OdysseyBench）：测程序操作能力，但不要求大量真实信息检索与综合。

一句话：「找信息」有人测，「做 PPT」有人测，「找完信息做出能用的 PPT」没人测。而 Agent 作为端到端助手的价值恰恰卡在这最后一公里。

还有个更深的评测学难题：这类开放式任务的评估存在 richness-reliability-automation 三角权衡——纯 LLM 裁判可扩展但不可靠；纯程序检查可靠但评不了「图片是否符合主题」这种语义维度。KNOWS 必须同时发明任务和评估方法。

二、论文定位和关联工作

谱系一：Web agent 基准（从静态到 live）

• Mind2Web（NeurIPS 2023）：137 个真实网站的 2350 个任务，但用预录页面序列做离线动作匹配；
• WebArena（ICLR 2024）：812 个任务，4 个自托管真实网站，DOM 动作，程序化校验；VisualWebArena 加 910 个多模态任务；共同确立了「功能性正确而非动作序列匹配」范式；
• Online-Mind2Web / WebVoyager / BrowseComp：走向 live web。

社区共识（见 2026 年多篇基准综述）：这族基准的任务「相对简单、易验证」，通常少量动作即可完成，不涉及复杂制品创建。同时harness 敏感性是该族已知的严重问题——同一模型在不同脚手架下 WebArena 分差可达 20-30 个百分点。

谱系二：深度研究基准。DeepResearchBench、Mind2Web 2、DEER、ResearchRubrics 都要求跨站检索综合，但输出是文本报告（或 agent-as-a-judge 评分），不涉及生产力工具操作与视觉空间约束。

谱系三：办公/生产力基准。OSWorld（NeurIPS 2024，369 个真实桌面任务，含 LibreOffice 简单操作，发布时最佳模型仅 12.24% vs 人类 72.36%）；OSWorld-MCP、OfficeBench、SpreadsheetBench、OdysseyBench（最复杂的办公工作流基准，但多为多步工作流操作而非信息检索综合）。最接近的 PresentBench（2026）专注开放式幻灯片生成，但检索限于精选学术源、无 live web、无本文这种结构性约束（如图片位置）。

定位对比表：

定位结论：KNOWS 是第一个联合 live web 检索 + 生产力工具操作 + 视觉空间约束的基准，其「checkpoint→评估步」混合评估方法论本身就是独立贡献。

三、问题定义

具体问题：如何评测（以及如何可靠地自动评测）web/computer-use Agent 作为「端到端助手」的能力——检索、综合、组织并展示成结构化制品？

论文的两层抽象：

第一层（任务侧）：把「有用的助手工作」操作化为五条 rubric——现实性（真实用户想做、自动化省时间）、显著信息检索（live web、≥5 条信息、≥2 个网站）、制品综合（用 Google Docs/Sheets/Slides 产出连贯制品，必须有意义地综合而非照搬）、视觉/空间成分（识别/编辑特定元素、空间关系、颜色修改）、复杂度（≥4 步检索、多步建制品、≥10 步综合）。加一条工程要求：每个任务可分解为离散 checkpoint。

第二层（评估侧）：把开放式输出的评估问题抽象为「分解 + 混合裁决」：

形式化：任务 i 有 Ci 个 checkpoint，checkpoint j 有 Sij 个评估步，其中 kij 个正确。四级指标从严格到宽松：SR（全对才算成功）、ASC（checkpoint 全对的比例）、ACF（checkpoint 内步骤完成比例的平均）、SF（全部步骤的完成比例）。

这个抽象的精妙之处：「成功」被展开成一棵可逐步裁决的树，失败可以精确定位到「哪一步、什么类型的检查、什么机制判的」——这使诊断性分析（为什么失败）成为可能，而单一分数做不到。

四、问题解法

4.1 任务构造：rubric 驱动的人机协作流水线

类比：ISO 质量体系认证。先定标准（rubric），再按标准生产（写任务），再按标准审查（同行评审），最后模拟运行验收（真实 Agent 跑一遍看评估器是否误判）。

流程：Google Colab 引导式笔记本（展示 Workspace 模板类目帮助头脑风暴→逐条自查 rubric→写 checkpoint 与评估步描述）；每任务由另一标注者独立对照 rubric 评审、修订；从种子任务扩展变体（「电子游戏史 PPT for 7th grade」→「CRISPR-Cas9 基因编辑 for 10th grade」）；共 110 个任务（25 docs / 40 slides / 45 sheets）。每任务平均耗时 9-18 小时专家工作量。

4.2 混合评估器：七类检查 × 两种机制

每任务一个评估器脚本，调用共享工具库，覆盖七类检查（占比按全部 2716 个评估步计）：

关键细节：Web Visit 检查防「预训练记忆作弊」——不要求访问特定 URL，但验证制品中的信息确实可从访问过的页面集合中提取；确定性检查失败时可用 LLM/VLM 作后备。

4.3 评估器验证流水线

人先做金标准制品→Claude Code 依据任务提示 + 工具库生成初版评估器（总有错漏）→人对照金制品调试→第二人评审至全对→再用真实 Agent（Comet）的产出跑一遍，检查每步裁决的假阳/假阴并修复。最终可靠性：与专家判断 kappa = 0.64、82% 两两一致（100 个判断）；纯 LLM 步骤子集 kappa = 0.69、89%。

4.4 基线覆盖

专有模型（Claude Opus 4.7、GPT-5.5）+ 开源（DeepSeek V4 Pro），统一用开源 BrowserGym-AgentLab harness 的两种模式（纯 accessibility tree 文本 / AXT+截图多模态）；再加两个闭源 AI 浏览器 harness（ChatGPT Atlas、Perplexity Comet——Comet 内部用 Claude Opus 4.7）。刻意排除 Google 自家模型以消除 Workspace 训练混淆，并用 Microsoft 365 交叉验证（5 任务：2 好 2 坏 1 平）排除平台优化解释。

五、评估指标与实验证据

指标：SR / ASC / ACF / SF 四级（定义见第三部分）。方向均为越高越好；SR 是「真能用」的判据，ACF/SF 是「走了多远」的描述。

主结果表（Overall，%）：

关键发现与支撑证据：

1. 端到端成功率趋近于零：最佳 Comet Overall SR 仅 2.7%；Docs SR=12.0% 是全表唯一非零——文档任务最接近 LLM 最擅长的纯文本输出形态。Slides/Sheets 全军覆没。
2. 部分分高 ≠ 制品可用：Comet 一个 slides 任务的制品 ACF 0.54 / SF 0.59 看着「及格」，但版面视觉混乱，ASC 仅 0.14——里程碑级别（结构完整）的完成度才是可用性的表征。
3. 步级机制解剖（Comet，2508 个可判步骤）：确定性 EXACT MATCH 通过率 83.2% 最高；MODEL JUDGMENT 68.9%；GEOMETRIC 65.2%；TREE QUERY 60.8% 最弱（124 个失败中 84 个来自单个种子任务——Comet 产出的 deck 缺失要求的幻灯片结构）。按检查类型分：Visual 82.6% 最高、Structure 63.3%、Spatial 60.3%、Content 59.6%、Format 37.5% 最弱。结论清晰：「找得到信息（精确匹配强）但排不好版面、组不好结构（几何/树查询弱）」——失败集中在末端交付。
4. 视觉模态重要：同一 Opus 4.7 加截图输入比纯 AXT 提升 +10.3 ASC / +25.5 ACF / +25.5 SF——许多视觉/空间任务纯文本树根本不可解。
5. harness 影响与模型本身相当甚至更大：同 backbone（Opus 4.7）跨 harness 对比，Comet vs BrowserGym = SR +2.7、ASC +18.7、ACF +27.5、SF +25.6——闭源 harness 在 live web（复杂网页、弹窗广告处理）上优势明显。这直接呼应社区已知的 20-30 分 harness 敏感性。
6. 任务本身可解：每个任务都由作者本人完成且通过全部评估器；人类完成单个任务平均约 2-3 小时（受控人类基线成本约 5000 美元，故未做）。

六、效果优势的根源解释

6.1 根源机制与证据链

本文的核心诊断：当前 Agent 的能力断层不在检索而在「搜索之后」的综合组织与视觉空间交付。因果链：

1. 步级证据（论文实验已支持）：Comet 在确定性精确匹配上 83.2% 通过率——信息找得回来；但在 GEOMETRIC（65.2%，版面几何）、TREE QUERY（60.8%，结构树）上显著更弱；Format 类检查仅 37.5%。失败分布系统性偏向「末端交付型」步骤。
2. 机制解释：检索-综合与排版-交付需要的能力正交——前者是语言与推理能力（LLM 的甜区），后者需要 VLM 的空间 grounding + 对生产力工具操作模型的精确知识（API/菜单/拖拽坐标）。纯 AXT 输入下空间信息根本不在观察里（+25.5 ACF 的模态增益是直接证据）；即使有截图，把「图片应放在右侧且不与文字重叠」这种约束翻译成工具操作仍是最弱环节。（机制前半段有论文直接证据，后半段为阅读者推测——论文只给了失败占比没给认知归因）
3. harness 证据（论文实验已支持）：同一 backbone 换 harness 差 +27.5 ACF，说明相当一部分「末端交付失败」不是模型不知道怎么做，而是脚手架的动作空间/工具接口把它卡住了——闭源 harness 预包了更好的浏览器与 Workspace 操作原语。
4. 反事实推理：若无视觉输入，Opus 4.7 的 ACF 从 42.5 掉到 17.0——视觉空间任务确实需要视觉观察，模型并没有从 AXT 中推理出布局的替代通路。

6.2 相关工作检索与对照

6.3 综合判断与未决问题

多研究共同支持的机制：长程 computer-use + 视觉空间理解是当前 Agent 的公认短板（WebArena 剩余缺口、OSWorld 早期近零 SR、KNOWS GEOMETRIC/TREE QUERY 最弱，三方互证）；harness/脚手架的影响与模型本身相当（KNOWS 同 backbone 对照 +27.5 ACF；WebArena 社区已知 20-30 分摆动）。

仍属推测的部分：「视觉 grounding→工具操作翻译」这一具体断裂环节是机制推测，本文未做逐步骤的干预实验（如把几何约束显式翻译成坐标指令看是否解决）。

适用条件与失效条件：110 个任务深度换规模，类别覆盖不均（slides 偏重）；live web 时效风险（论文承诺维护与弃用政策）；结论基于 Google Workspace，对其他平台的外推靠 5 任务交叉验证支撑，力度有限。若未来 harness 普遍预包生产力操作原语，「harness 与模型相当」这一发现的重要性会上升——因为它指明进步杠杆在基础设施而非仅模型。

七、必要知识反推

领域知识层：

• 真实知识工作的交付形态（谁会要什么 docs/sheets/slides、什么样的制品算「能用」）——rubric 里「现实性」不是拍脑袋，是对 Workspace 用例分类体系的把握；
• Google Workspace API 的能力边界（哪些样式/位置信息 API 可查、Docs 为何不暴露坐标）——这决定了七类检查的机制分配与 SIFT 渲染匹配的兜底设计。

方法论知识层：

• 评估学三权衡（richness-reliability-automation）与 LLM-as-judge 的可靠性文献——混合评估器是对此的直接回应；
• 基准构造方法论：rubric→同行评审→金制品→LLM 生成初版→人机调试→真实产出验证—— KNOWS 的评估器管线本身可复用；
• 精确匹配/模糊匹配/容差数值比较、感知哈希、SIFT、包围盒几何——每类检查背后的经典工具箱。

工程知识层：

• BrowserGym/AgentLab 生态与 AXT/截图两种观察模式的意义；
• live web 基准的维护与弃用政策设计（23 个 URL、20 个任务的定期人工核查、版本化归档）；
• 成本核算：每任务 9-18 小时构建、单次基线跑 10+ 小时、受控人类基线 5000 美元——深度换规模的代价要算清。

知识融合的关键节点：一是把「开放式任务」分解为「checkpoint × 评估步」树，让每步落在确定性或语义二选一的裁决机制上——这需要同时理解程序验证与 LLM 裁判的可靠性边界；二是用「机制类型 × 检查类型」双维失败归因，把「Agent 不行」细化为「Agent 在哪类操作的哪类裁决上不行」。

八、论文中可以提取的通用性灵感

灵感 1：开放式产出的可靠评估 = 分解到二元步骤 + 机制匹配

• 证据：kappa 0.64 的评估器由 2716 个细粒度步骤构成，每步被分配给最可靠的机制（API/几何/哈希 vs LLM）。
• 推广场景：设计作品评审（把「美观」分解为可判步骤）、代码质量门禁、法律合同合规审查、学术论文评分 rubric 自动化、UI 验收测试。

灵感 2：部分分具有欺骗性——里程碑级完成度才是可用性判据

• 证据：ACF 0.54/SF 0.59 的制品视觉混乱不可用，ASC 仅 0.14。
• 推广场景：软件交付验收（60% 模块完成的系统可能完全不可用）、学生 grading（步骤分 vs 结论分）、自动驾驶安全评估（99% 场景覆盖不等于安全）、模型评估指标设计。

灵感 3：诊断失败要看「检查机制类型」分布，不只看总分

• 证据：EXACT MATCH 83.2% vs GEOMETRIC 65.2% 的对比把问题定位到空间交付而非信息检索。
• 推广场景：医疗诊断的检验分类学、生产质检的缺陷分类、模型错误分析（按能力维度而非按样本）、学生错因分析。

灵感 4：基础设施（harness）是与模型同量级的进步杠杆

• 证据：同 backbone 跨 harness 差 +27.5 ACF，与最好模型间差距同量级。
• 推广场景：工具链投资决策（编译器 vs 算法）、机器人本体与控制栈的关系、企业流程再造 vs 员工培训、API 设计对下游生态能力的影响。

灵感 5：深度换规模的基准 + 维护政策，是对抗基准通胀的一种诚实

• 证据：每任务 9-18 小时、作者全做通过、承诺定期核查与版本化弃用。
• 推广场景：面试题库（少而精 + 轮换维护 vs 海量污染题）、数据集长期运营、内部评估体系建设、学术 benchmark 治理。

论文三：GEC v0.2——LLM Parkinsonism 与全局执行控制架构

论文链接：LLM Parkinsonism: Executive-Control Failure, Token-Inefficient Persistence, and an Uncertainty-Aware Global Executive Control Architecture for Autonomous Language-Model Agents 代码仓库：github.com/DongshengXiao/LLM-Parkinsonism-Solutions 发表时间：2026 年 9 月 机构：昆士兰大学脑研究所（澳）、西北工业大学、英属哥伦比亚大学 UBC（加）、蒙特利尔银行 BMO 应用 AI 与量子研究所（加）——高校 + 银行企业跨国合作 领域标签：AI agents / executive control / metareasoning / 评测

一、论文背景

用过长程 Agent 的人多半见过这种模式：一个两节点的灾备监控脚本，需求其实四行话说完了；Agent 做完之后「顺手」加了站点级告警聚合（A、B 同时挂时合并成一条 SITE DOWN 告警），这个「聪明的改进」带来关联状态、时间窗、抑制规则、合成测试、部署门禁，然后 Agent 花大量 token 调试这个原始目标从未要求过的子系统。核心系统早已功能完备，全局上「该不该继续」的决策却一直是错的。

作者给这个模式起了个刻意的名字——LLM Parkinsonism（LLM 帕金森主义），并立刻划清边界：这只是现象学类比（帕金森运动减退中的「序列效应」——重复动作幅度递减、步态慌张），不主张 LLM 有基底节功能障碍或任何生物学同源。其操作化定义是轨迹级四联征：

1. Goal drift（目标漂移）：执行的工作失去与未满足硬需求的受治因果连接；
2. Complexity accretion（复杂度堆积）：引入额外状态/组件/依赖/抽象，其维护又制造新工作；
3. Termination failure（终止失败）：硬目标已外部验证达标后仍在继续；
4. Token-inefficient persistence（token 低效持续）：越来越大比例的算力不产生任何外部可验证的进展。

为什么会出现？论文的论证是：自回归只是背景，权力集中才是要害。EOS（生成结束符）≠ PROJECT DONE（项目结束）；「下一步做什么？」这类提示语用 pragmatics 预设了「存在下一步」，一个 helpful 的模型总能找到「某个合理的下一步」——但在复杂系统里，「找到一个可能的动作」远比「证明存在一个值得做的动作」容易。更糟的是自我条件化循环：一个可选建议（「我们可以加站点级聚合」）经过几轮历史会被当成已承诺的项目事实，长出测试、监控、修复——作者称之为自我需求晋升（optional suggestion → history → assumed fact → dependency → test → hard gate）。再叠加循环评估器问题（同一个模型提议、执行、评判，活动≠进展），就构成了执行控制失败的完整病理。

这是经典元推理（metareasoning）问题在 Agent 时代的回响：Russell & Wefald 1991 年就问过「额外计算是否值得其机会成本」。

二、论文定位和关联工作

GEC 站在四条研究线的交点上：

谱系一：Agent 循环与自我改进。ReAct（推理-行动交织）与 Reflexion（语言反思改进行为）奠定了迭代范式，但循环的威力同时也是控制问题：下一步局部合理不等于全局可取。

谱系二：成本、预算与有界计算。AI Agents That Matter 主张精度-成本联合评估；Token-budget-aware reasoning、CostBench、BAGEN、DeepPlanning 揭示能力-成本-算力分配错配。GEC 与之互补：聚焦项目级 scope/证据/停止，而非 token 压缩。

谱系三：验证与终止。Verification-aware planning 把验收标准编入规划；progress-mirage 工作证明自评估会把零进展循环当进展；Evidence-Carrying Termination（2026）让终止以带类型的证据为前提。GEC 的推进是把证据做成状态版本化——后来变更会使旧证据失效，防止「过期成功证书」。

谱系四：overthinking（想太多）。2025-2026 年大量工作证实推理模型在答对之后继续修改答案（负面翻转），EAT 等早停信号、统计早停方法涌现。这些是单轮推理尺度的停止问题；GEC 处理的是项目尺度的停止问题——粒度差两个数量级。

定位对比：

定位结论：GEC 的独特主张是系统层假设——执行控制失败源于「提案生成、范围解释、进展评估、停止权」四权集中于同一个自我条件化循环；治理之道是权力分立，不是更多提示词。

三、问题定义

具体问题：一个能做很多事的 Agent，在长程项目中如何决定「哪些事还不该做」以及「什么时候该停」？

论文的抽象把「问题解决智能」与「执行控制智能」分开：

形式化：项目 G=(g, RH, RS, N, C, M)——主目标 g、硬需求集 RH、显式授权软目标集 RS、非目标集 N、安全约束 C、修订政策 M。硬目标效用 UH 由外部 oracle/验证器裁决（非执行者自述）。每个动作候选经独立 scope 评估得到七类链接之一：DIRECT / PREREQUISITE / VERIFICATION / RISK_MITIGATION / SOFT / NONE / FORBIDDEN。

两个关键的逻辑精妙处：

1. LLM proposal ≠ Goal Contract：模型说的话不构成需求，合同修订是外部授权的显式事件——这一条直接切断「自我需求晋升」通路；
2. V(a|s) ≤ τ ⇒ REJECT(a)，不是 STOP_PROJECT：拒绝单个动作≠停止项目。经济停机是状态级判断：iff RH 完备 且 受治候选集中 max V(a|s) ≤ τ。硬需求未满足且无可行路径时正确终态是 BLOCKED 而非 GOOD ENOUGH——把「放弃」与「完成」从终态语义上分开。

四、问题解法

GEC v0.2 的五组件架构，类比「 proposal 生成是员工，治理层是董事会」：

4.1 Governed Goal Contract（受治目标合同）

硬需求/软目标/非目标/约束/修订政策五要素。硬需求带权重 wi，效用 UH=Σwi·vi/Σwi 由外部裁决。非目标是可执行合同元素：候选动作匹配到非目标直接拒绝。执行者可提议修订但不能自我授权。

4.2 独立 scope 裁决（scope gate）

每个候选动作单独做 ScopeAssessment，不信生成器自报的 target_criterion。七类链接中 DIRECT/PREREQUISITE/VERIFICATION/RISK_MITIGATION/SOFT 可入选（置信度过阈值），NONE/FORBIDDEN 拒绝。v0.2 的关键修正是承认先决工作合法性：一个 prerequisite 动作当前 ΔUH=0 但因果必要，应放行——修正了早期「必须直接关闭某标准」过于僵硬的规则。

4.3 状态版本化证据

每个硬标准存类型化证据 Ei=(status, verifier, state version, confidence, dependencies)。完成要求证据存在、通过、过置信阈、且仍有效——后来的状态变更会使旧证据失效，防止第 k 版通过的测试成为第 k+m 版的永久证书。

4.4 候选集价值选择

每轮三个候选，GEC 独立裁决 scope、计算合同对齐的期望值（E[ΔUH]=p_success·wi/Σwj；prerequisite/risk 链接打折；软目标按 β 单独加权不得偷偷变成功用），选净值最高者。

4.5 状态级经济停机 + 进程断路器

见第三部分。另有 DELETE→SIMPLIFY→FIX→ADD 的删除优先搜索原则（设计假设，见局限）。

五、评估指标与实验证据

实验设计（LPB v0.2 合成 matched-candidate 基准）：6 个任务族（灾备 watchdog、API 发布、数据库迁移、CI 流水线、备份恢复验证、可复现研究流水线）× 4 策略 × 1000 episodes = 24,000 episodes，统一 40k token 硬上限。核心设计是匹配外生候选流：每 episode 预生成候选集与随机数，四策略看到完全相同的三候选机会与随机结果——治理只能决定执行/拒绝哪个，不能改变提案流。这使策略间比较成为因果隔离的。

四策略：baseline local loop（选第一个候选，概率式停止）；budget-only（保序+预算可行性门）；candidate-set local control（关键对照：同看三候选，按生成器自报链接选择，无独立 scope/价值门/复杂度惩罚）；GEC v0.2。候选流含 28% 可选提案（部分故意对硬标准做误导性自报链接）、10% 昂贵低收益验证分支；硬动作成功率 0.90。

主指标：硬目标成功率（外部 oracle 裁决）+ RMTTC_B（预算受限平均完成 token——未完成 episode 记 B 而非剔除，避免条件化选择偏差）。辅助：TE、TOR（终止过冲比）、GDR_pre（完成前目标漂移率）、gross 复杂度堆积指数、直接/过程有用 token 比。

主结果：

论文最诚实的一段结论：相对 baseline，GEC 成功率 +29.15pp、token 降 60.8%；但 candidate-set local control 也达到 96.53%——成功率的增益主要来自「能看到多候选」而非治理本身。相对这个关键对照，GEC 的独立贡献是：token 再降 36.4%（19,782→12,574）、RMTTC 降 18.7%、TE 1.63 倍、GDR_pre 0.129→0、gross 复杂度 0.822→0.123——即效率、范围纪律与复杂度控制，而非成功率。

其他证据：

• 预算敏感性：GEC vs budget-only 的成功率 AUC_B = 0.467 vs 0.167（2.79 倍）；预算越紧治理越重要（8k 时 22.44% vs 1.67%）——「预算是会计约束，治理是决策规则」。
• 消融：去独立 scope 裁决 → GDR_pre 从 0 升到 0.0716、gross 复杂度翻倍以上（0.124→0.314）——权力分立是防漂移的关键件；去价值门 → 成功率保持但 token +1.77k；去无进展断路器反而略微提升效率——因为匹配外生流下重规划无法改变未来候选，论文坦承该组件在当前基准无独立收益证据，保留是为 live 场景。
• 噪声鲁棒：scope/验证器注入 0-10% 随机噪声，成功率保持 96.33-96.00%，优雅降级。
• 治理开销敏感性：每周期额外收 500 合成治理 token 时成功率仍有 89.88%（vs baseline 67.42%）；1000 token 时优势基本消失（67.08%）——界定了治理自身的成本容忍度。
• 有益软工作探针：硬目标完成后，GEC 批准低成本有益软动作（净值 +0.232）、拒绝昂贵低收益软动作（-0.161）、返回 CONTINUE 而非 STOP——证明「拒绝一个候选≠停止项目」的逻辑真的实现了。

六、效果优势的根源解释

6.1 根源机制与证据链

主张 1：成功率增益来自候选集访问（论文已诚实归因）。candidate-set control 达 96.53% ≈ GEC 96.57%。机制：外生候选流中 28% 是可选提案且部分带误导自报链接，first-candidate baseline 被「先到先得」拖垮——多候选给了纠错冗余。

主张 2：GEC 的独立贡献（效率/纪律）来自权力分立切断自我需求晋升通路（消融直接验证）。因果链：

1. 提案-解释-评估-停止权集中于同一自条件循环 → 可选建议经历史晋升为事实 → 依赖 → 测试 → 硬门（论文动机分析，机制论证）；
2. scope gate 不信自报链接 → 误导性自报无法绕过治理 → NONE/FORBIDDEN 动作被拒（消融证据：信任自报时 GDR_pre 0→0.0716、复杂度翻倍——该通路的存在被反事实验证）；
3. 候选集治理使经济停机成为状态级结论 → 不因单个坏提案误停项目（有益软工作探针直接验证）、也不在硬目标完成后继续（TOR=0）；
4. 状态版本化证据防过期证书 → token 双降。

主张 3（诚实声明的边界）：TOR=0 与 GDR_pre=0 部分是控制器不变量的「重言式」结果——确定性有效证据终止必然 TOR=0。论文明说这些验证的是「实现遵守了规则」，更有信息量的是规则在外部裁决的成功/成本上是否更优。

6.2 相关工作检索与对照

6.3 综合判断与未决问题（含诚实的局限）

多研究共同支持：Agent 停止不可依赖模型自发（IAL 静态证据 + progress-mirage + overthinking 三线互证）；显式治理/证据化终止优于隐式信任。

仍属推测/未决：

• 全部结果来自合成机制模拟——论文自身在 Threats to Validity 中逐条承认：可选动作概率、成功率、token 分布是压力测试参数而非对任何具名 LLM 的拟合；数值是「该构造下的演示」而非商业 Agent 行为预测。live-model 验证未做，论文第 12 节给出了预注册式验证协议（配对实验、外部裁决主终点、全成本记账、scope 裁决双人盲审、P90/P95 尾部报告）作为必要下一步。
• 治理开销敏感性用的是合成 token 计价，未校准真实 adjudicator 推理成本。
• 无进展断路器在当前基准无独立收益证据（去掉反而略好），论文明确要求不得引用为已验证组件。
• 删除优先搜索未隔离验证（无 add-delete-thrash 任务族）。
• scope 裁决器是 oracle 级合成组件，真实语义歧义、系统性偏差、策略性自我辩护未测。
• 「LLM Parkinsonism」命名有被误解为临床主张的风险，论文已主动降级（EPI 不再叫 Parkinsonism Index），并提出中性替代名。

适用条件：结论适用于「提案流可治理」的场景；若真实 Agent 的候选生成与其状态强耦合（自适应生成），matched-candidate 抽象的外推需谨慎。

七、必要知识反推

领域知识层：

• 帕金森运动障碍的现象学（序列效应、步态慌张）——只为取一个精确限定的类比，还必须懂为什么类比只能到现象层（否则命名会反噬论文可信度）；
• 软件工程的项目治理实践（验收标准、非目标、变更控制、回归测试后失效）——Goal Contract 与证据版本化的每个设计都有工程对应物；
• Agent 循环范式的实况（ReAct/Reflexion、无限循环事故）——知道权力集中在哪里出过事。

方法论知识层：

• 经典元推理与有界理性（Russell & Wefald 1991、Simon 1955）——V(a|s) 的边际价值框架直接承自这里；
• 因果推断的对照设计思想——matched-candidate + candidate-set local control 是把「混淆变量隔离」做进模拟器设计，这是全文方法学上最讲究的一步；
• 生存分析概念（RMTTC 类似 RMST、删失处理）——避免「条件在成功上」的选择偏差要有统计功底。

工程知识层：

• 可复现模拟器实现（固定种子 20260911、逐 cell 配平、Wilson 置信区间报告）；
• 单元测试覆盖架构不变量（13 个测试含证据依赖完成、非目标拒绝、状态级停机等）；
• 预注册式 live 验证协议的写法（主终点、盲审、尾部报告）。

知识融合的关键节点：一是把「谁有权说什么算完成」从隐式提示词问题升维成显式合同问题（LLM proposal ≠ Goal Contract）；二是把统计学对照思维注入模拟器设计——candidate-set local control 这一对照的存在，使论文能诚实地把成功率增益归因给候选访问而非自己的架构，这种「设计对照来限制自己的功劳」的做法本身是方法论级的示范。

八、论文中可以提取的通用性灵感

灵感 1：提案权与裁决权分立，是治理自指系统的通用解

• 证据：信任生成器自报链接（消融）使漂移率 0→0.0716、复杂度翻倍；独立裁决后归零。
• 推广场景：代码评审（作者不能自批 PR）、金融风控（交易台与风控分离）、内容审核（创作者与审核者分离）、立法-司法分权、AI 安全的对齐评估独立性。

灵感 2：拒绝一个选项≠终止整个搜索——决策层级要分清

• 证据：V(a|s)≤τ 只 REJECT(a)；经济停机要求 RH 完备且候选集 max V≤τ；有益软工作探针验证两者不混。
• 推广场景：招聘（拒一个候选人≠关闭岗位）、投资（否一个项目≠清仓该赛道）、科研（一个假设被拒≠换方向）、产品（砍一个需求≠停迭代。

灵感 3：证据是有有效期的——状态变更应触发证据失效

• 证据：Ei 含 state version，后来变更使旧证据作废；防「过期成功证书」。
• 推广场景：合规审计（组织变更后旧认证失效）、医疗（新用药史使旧检查作废）、安全工程（依赖升级后回归重跑）、简历/信用核查时效。

灵感 4：预算是会计约束，不是决策规则

• 证据：同 40k 上限下四策略结果天差地别；AUC_B 2.79 倍；8k 预算下治理把 1.67% 变成 22.44%。
• 推广场景：团队 headcount 不等于资源配置策略、GPU 配额不等于训练效率、时间管理（deadline 不代替优先级）、碳排放配额与减排决策。

灵感 5：设计对照来限制自己的功劳——诚实归因本身就是贡献

• 证据：candidate-set local control 的存在使论文承认「成功率增益主要来自多候选访问」，把 GEC 的独立贡献收窄为效率与纪律。
• 推广场景：消融实验文化、A/B 测试的对照设计、政策评估的自然实验方法、任何「新方法 vs 新资源」可分离的评估场景。

合并结语：评测×治理——协作、末端交付与执行控制的三块拼图

把三篇论文并排放好，会看到一条完整的问题链：

AgentWorld 负责测量「协作」：它发现即使最强的模型，在 50+ 轮黑盒协作中也只有 52% 成功率、不到三分之一的动作真正产生因果贡献，而失败的头号来源（37.7%）是「过时冗余的通信」——智能体对队友状态的建模持续失效。这为 GEC 的「对内治理」提供了「对外协作」的镜像：队友间状态同步与自身执行控制，本质是同一个「维持准确世界模型」问题的两个投影。

KNOWS 负责测量「末端交付」：它证明信息检索已基本不是瓶颈（精确匹配 83.2% 通过率），真正的断层在搜索之后——把信息组织、排版、呈现成能用的制品（几何 65.2%、结构树 60.8%、格式 37.5%）。它与 AgentWorld 共享同一个发现范式：都是「诊断型基准」，用精心设计的度量把「Agent 不行」细化为「Agent 在哪一类操作的哪一种裁决上不行」。它还贡献了一个对三篇都成立的教训：harness/基础设施与模型本身同量级重要（KNOWS 同 backbone 差 +27.5 ACF）。

GEC 负责治理「执行控制」：它把「能做下一步≠该做下一步」形式化为权力分立问题，并诚实地用 matched-candidate 对照证明治理架构的独立贡献是 token -36.4%、漂移归零、复杂度 -85%，而非成功率。它与前两篇互补地指向同一终局：可靠的 Agent 系统需要「测量协作的尺子 + 逼近真实交付的考卷 + 管住自己的治理层」三件套。

三篇合读还有三个元层面的启发：

1. 评测基准正在从「有没有做对」走向「过程好不好」：CCE 量动作的因果贡献率，KNOWS 量里程碑级完成度，GEC 量 token 的过程有用比——都是把单一的成败数字展开成过程质量的剖面。这呼应了「AI Agents That Matter」以来精度-成本联合评估的潮流，但走得更深。
2. 诚实是这三篇共同的隐性方法论：AgentWorld 公布 CCE 是「上界」的标注政策与判官一致性细节；KNOWS 承认部分分欺骗性并给出维护弃用政策；GEC 逐条列出 tautological invariant、未验证组件、合成局限。这种「限制自己功劳」的写法正在成为高质量 Agent 研究的标配。
3. 三篇共同的空白恰是下一波的接口：AgentWorld 的通信失败（队友状态建模）可以用 GEC 式的独立裁决来治理；KNOWS 的末端交付失败部分是 harness 问题（基础设施杠杆）；GEC 等待的 live 验证需要 AgentWorld/KNOWS 这样的真实任务基准。评测与治理，终将在同一条跑道上会合。

三篇论文的代码与数据全部开源（agentworld.io、KNOWS 的 GitHub+HuggingFace、LLM-Parkinsonism-Solutions 仓库），可以预见围绕它们的后续工作会很快出现——尤其是 GEC 的预注册 live 验证协议，值得持续跟踪。