论文 1 链接：Scaling Inference-Time Compute with Teams of Coding Agents 论文 2 链接：EvoWeb: A Benchmark for Coding Agents on Evolving Web Applications（代码与数据集见论文首页链接） 论文 3 链接：ExeWorldBench: Benchmarking Code-Based Executable 3D World Modeling（项目页：helen1p.github.io/ExeWorldBench） 发表时间：2026 年 10 月 机构：论文 1 为 Cohere Labs / Cohere；论文 2 为以色列隐身创业公司（Stealth Startup, Tel Aviv）+ 特拉维夫大学；论文 3 为中国科学技术大学（Feng Zhao 组）+ 香港中文大学 领域标签：cs.MA（多智能体）/ cs.AI / cs.CV

合读导言：编排的经济学与评测的盲区

2026 年的 coding agent 研究正在同时向两个方向纵深：编排侧问『多个 agent 怎么组织才值回成本』，评测侧问『现有基准到底漏测了什么』。三篇论文恰好构成一场三方对话：

• Cohere（编排侧）：多 agent 不是免费的午餐——团队比 solo 强但贵 3-7 倍。他们把团队设计变成预算分配问题，逐维扫描出一张『算力往哪投』的经济学地图；
• EvoWeb（评测侧·软件工程）：现有 web 基准都测『一次生成』或『对齐固定规格』，没人测真实产品的常态——累积请求下的持续演化。它发现跨请求整合是所有模型的系统性短板；
• ExeWorldBench（评测侧·世界模型）：现有基准测『看起来像』（视觉保真）或『动得对』（单物体行为），没人测可执行世界建模——从观察/意图构造行为从物理交互中涌现的 3D 世界。它发现 API 模型在因果链组装上几乎全军覆没。

三篇的共同底色：agent 能力的下一个瓶颈不在单步生成质量，而在组合（composition）——多 agent 间的算力组合（论文 1）、跨请求的功能组合（论文 2）、多机构的因果组合（论文 3）。三份证据从三个不相干的领域指向同一个结论，这是本篇合读最有价值的交叉验证。

一、论文背景

1.1 推理时扩展的第三根轴：团队

已有的两根轴：序列扩展（让一个 agent 想更久——o1 式长推理）与并行扩展（采样多个独立尝试再聚合——self-consistency 式）。两者都受限于单 agent 轨迹：更长推理撞上下文窗口，独立采样重复劳动而非分工。团队是第三根轴：把一次尝试拆给多个 agent 并行工作再整合。

但加人不等于加产出：更多 agent 带来重复劳动、冲突编辑、整合开销。CAID、Agensh（曾把单一任务扩到 1024 个 agent）等先行工作展示了可能性，但没人系统回答：从 solo 出发，下一美元推理算力投在哪最值？ 投更强的 lead？更多 worker？更强的 worker？还是投给工作流的特定阶段？这是 Cohere 论文的形式化起点。

1.2 Web 开发评测的盲区：演化

Bolt.new、Lovable 等产品让非程序员用自然语言建应用，而真实使用是持续的：用户回头加功能、改行为、扩展早期功能。后续请求可能依赖几个请求之前建立的状态、接口、行为——新功能单独能跑，接上旧功能就崩；也可能弄坏之前能用的东西。既有基准全落在这条线之外：WebGen-Bench/WebCoderBench/Vibe Code Bench 测单次从零生成；Asuka-Bench/WebGen-Agent 的多轮是向固定意图收敛的精修；SWE 系（SlopCodeBench、EvoCode-Bench、StaminaBench）测软件工程但非用户侧 web 应用。EvoWeb 补的就是『持续扩展自己的应用 + 跨请求整合 + 保持旧行为』这个三角。

1.3 世界建模评测的盲区：可执行性

coding agent 正从『复现世界长什么样』走向『构造世界怎么运转』。这需要两种紧耦合的能力：世界理解（推理潜在的结构/机械/因果原理）与可执行实现（把它翻译成行为从物理交互中涌现的代码系统）。既有基准三足鼎立却都只测一角：推理系（PhysBench 等）用 QA 测理解但不测实现；构造系（3DCodeBench、BenchCAD）测几何/外观保真；行为系（PhysCodeBench、WorldCoderBench）测单物体简单行为（下落、滑动）——轨迹对了不等于机制对了（插值或预定义动画也能拟合轨迹）。且多数运行在 2D/浏览器抽象环境，回避了 3D 特有的空间排布、深度接触、碰撞几何、机械装配难题。ExeWorldBench 是第一个系统评测『理解↔实现整合』的 3D 基准。

二、论文定位和关联工作

2.1 多 agent 编排谱系与 Cohere 的位置

定位精髓：单一 lead-worker 拓扑固定、200 个 ProgramBench 任务全量、一次只动一个设计变量（阶段/模型/人数/调度/通信），沿 reward-cost 平面追踪 Pareto 前沿。

2.2 演化式 web 基准谱系与 EvoWeb 的位置

两个第一：显式功能依赖 DAG（边=后续功能依赖早期功能，用于构造整合测试）；用户容差积分指标——不停靠任意单一止损规则（失败即停=假设用户零容忍，全部继续=假设无限容忍），而是扫过所有容忍阈值取积分，把『止损规则』从实验者的任意选择变成被积分掉的自由变量。

2.3 世界建模基准谱系与 ExeWorldBench 的位置

三级任务的递进设计同时增加世界复杂度与模型自主性（观察接地 → 组件接地 → 纯意图），这是把『自主性梯度』做进基准结构的少见设计。

三、问题定义

3.1 Cohere：团队设计 = 预算约束下的配置优化

形式化：层级团队配置 c = (s, w, n, ℓ)——委派阶段 s∈{P, I, V, PIV}（规划/实现/验证/全部）、worker 模型 w、worker 数 n、lead 模型 ℓ。配置 c 在任务分布 T 上达均值奖励 R(c;T) 与推理成本 C(c;T)。理想问题是 max R(c) s.t. C(c)≤B，其解在预算上扫出 Pareto 前沿。

实际解法：精确求解不可行（每配置需全基准评测），退而求边际问题——定义效率 η_c = (R_c−R_solo)/(C_c−C_solo)（每 100 美元增量买多少奖励分），逐维坐标搜索：先定阶段、再定模型搭配、再定人数，每步固定此前最优。明确声明结果是『经验操作点而非保证最优』——诚实的实验经济学。

3.2 EvoWeb：累积请求开发 + 容差积分

数据结构：32 个应用 × 10 个累积请求 = 320 请求。每个请求序列配一个功能依赖 DAG（节点=请求的特性，边 i→j 表示 j 的正确实现依赖 i 引入的功能），要求依赖链深 ≥3 且 ≥3 个后续请求依赖早期功能——保证长程依赖不是装饰。DAG 只用于构造测试与分析，agent 看不见。

评分的抽象：每请求 r 得分级精度 a_r（5 个浏览器测试的均值），引入容差阈值 t∈[0,1]——用户只在前序所有请求都 ≥t 时才继续。门控分 g_r(t)、交付功能 Q(t)、请求存活 S(t) 都定义为 t 的函数，最终 Grade = ∫₀¹ Q(t)dt。这个积分把『用户会在什么质量水平放弃』这一未知分布整个积分掉——评测指标的鲁棒性设计。

3.3 ExeWorldBench：可执行世界建模的三级能力

• T1 机构执行性：单张参考图（无运动帧！）→ Blender 程序构造机构并执行完整运动。难点：运动从耦合组件交互中涌现，且必须从结构证据推断运动而非跟踪观测序列；
• T2 组合执行性：4-13 级多机构因果链（斜坡→多米诺→跷跷板→…），既要懂每个机构又要懛建立空间排布让级间物理衔接；
• T3 意图驱动合成：无视觉参考。T3-1 给组件清单（自主决定排布与因果连接）；T3-2 只给高层目标+物理要求（连机构实现都要自己想）。

核心指标 ECM（可执行因果机制）：把执行分解为因果段，判官（Opus 5.5）对每段评组件行为与段间因果交接的正确性——直接度量『行为从物理交互涌现』而非『轨迹像不像』。

3.4 三个定义的合流

四、问题解法

4.1 Cohere：白盒 harness 与逐维扫描

Harness 设计（mini-SWE-agent 极简风）：lead 通过 delegate_agent(task, agent_id=None) 派生/复用 worker；worker 只见自己的子任务（不见全任务描述与他人对话）；blocking（lead 等待）与 async push（lead 继续干、结果送达时整合）两种调度；提示分 minimal（只教工具）与 PIV 三阶段引导（指定 lead 只在某阶段委派）。

四步扫描：

1. 团队 vs solo：团队在两种引导下都赢，重引导（PIV）赢最多；但 blocking 慢 3.5-3.8×、async 快但 minimal 下丢约 6 分（lead 在 partial 结果上行动或提前收工——重引导要求先收齐报告可堵住）；
2. 阶段扫描：P/I/V/PIV 四种委派方向。用『首次/末次源码编辑』把 rollout 切成真实的三阶段，验证引导确实改变了委派时机（P 引导的 674 次调用 100% 落在编辑前）；
3. 模型搭配：Sol lead + Luna worker 的异质组合 × 四阶段方向；
4. 人数扫描：固定 2/4/8/16 个 Luna worker × 三阶段，对照动态定人数的全 Sol 队。

模型梯队：GPT-5.6 家族三档（Sol/Terra/Luna，medium 推理档）为主，Claude/Gemini 复核于附录。

4.2 EvoWeb：接地构造 + 三类测试 + 容差积分

构造流水线：40 个 WebGen-Bench 种子（验证修复+人工筛选后留 32 个，16/20 领域）。接地三步：检索 agent（Sonnet 4.6+联网）为每个种子找 2 个同类真实网站、各提取 3-4 个进阶特性（可单页实现、渐进增强、用户看到初版后合理会要的）→ 生成器（Fable 5）把特性改编成请求并先构造依赖 DAG（要求实质性依赖——同数据不算边）→ LLM 验证器查 DAG 约束，不过则一次自动修复，再不过弃用，最后人工终审。全库 101 种子共产 202 站点 801 特性，防退化成千篇一律的通用加法。

请求风格的关键选择：用户级语言（『我想把最好的内容置顶，加个 pin 开关……』），与 Web-Bench 的开发者规格（『创建 BlogList 组件、className 为 list-item、宽度 300px』）形成刻意对照——固定行为不固定实现。

每请求 5 个浏览器测试：3 个新功能 + 1 个整合测试（沿 DAG 边走跨请求组合，如『管理器里的移动要反映到 Preview』）+ 1 个回溯测试（重跑早期请求的测试，抽查而非全量审计回归）。前提状态作为种子数据直接写进请求，测试只测目标功能。评测由 WebVoyager agent（Sonnet 4.6 骨干，Set-of-Marks 观测 + Selenium 执行）在活浏览器跑，YES/PARTIAL/NO 三档。

鲁棒性双保险：三个异厂商判官复评只翻转 28 对中的 2-3 对（且都在 0.015 分内的胶着对），Sonnet 4.6 在自家判官下排名反而更低——排名不是判官身份的伪影。六语言翻译测试请求（应用保持英文）暴露语言敏感性：Sonnet 4.6 唯一不敏感（±0.03），GLM 5.2 希伯来语 0.602 vs 德语 0.445。

4.3 ExeWorldBench：三级数据管线与四维指标

T1 管线的精髓——运动可推断性验证（generate-infer-validate-verify）：不能只挑『好看的机构动画』，必须证明静态图里真的藏着推断运动的证据。GPT-6 Astra 看图+完整运动帧提取 3 条静态证据（不得直接描述运动）→ 同档的 Opus 5 只看图+证据盲推运动描述 → 交叉一致性检查 → 5 人人工复审。这是用双模型交叉盲推来验证『题目可解性』的方法学，值得所有看图推断类基准借鉴。

T2：先建原子组件代码库（运动明确、反映物理原理非装饰动画），GPT-6 Astra 生成 4-13 级有序序列+级间转接，人工审核物理连贯性，Codex CLI 组装库组件调空间布局产出参考动画。

T3：T3-1 从 T2 组件库采样 4-12 个组件，GPT-6 Astra 可行性检查（存在连贯排序且无孤立级）；T3-2 按难度三级生成完整规格（目标/必需对象/状态事件定义/初始态/物理规则依赖/终态），Opus 5 三查（内部一致/机械可行/可构造解）+ 人工终审。

评测协议：默认报 penalized 指标（执行失败计 0 分计入总分），另报 conditioned 指标（只在可执行样本上）作对照；下标 1/2 区分修复前/后——用 Codex CLI 只修技术执行错误不改场景结构，从而把『低层实现失败』与『世界建模失败』剥离。四维指标：V（视觉结构 0-10）、M（机械运动，T1）、ECM（因果段交接，T2/T3）、G（目标满足，I/B/F 二元条件，T3-2）。

五、评估指标与实验证据

5.1 Cohere 的主结果：一张算力投放地图

阶段扫描（ProgramBench，Sol 同质队）：

三个层层递进的发现：

1. 规划统治效率：η_P=3.8，每美元买 1.6 倍于其他阶段的回报；仅委派规划的团队以一半成本追平全程委派的奖励（在奖励-成本平面上支配 PIV）。机制解释：ProgramBench 只给黑盒可执行文件，行为靠试探发掘——规划 worker 并行化这个发现过程，『写代码之前』的算力最值钱。调用分析证实：P 引导 674 次调用 100% 在首次编辑前的一波爆发；PIV 多花的 830 次编辑后调用零增益，规划每调用的回报是 PIV 的 2.4 倍；
2. 便宜模型的正确岗位：Luna 当 planner，每美元回报 51.0（Sol planner 的 13 倍）；Luna 当 implementer，η=−12.0（负数——每加一美元奖励反降）。强 lead+便宜规划员以 13.9% 的增量成本回收全强队 47.5% 的奖励增益。信息收集岗便宜者可为，产出整合岗不行；
3. 人数的阶段性天花板：规划 worker 每加一个都有收益（2 人已 +3.2%、16 人 +7.1%），实现/验证 worker 超过 4 人平台化（16 人时 −0.015/−0.011）。原因不是协调失败（实现者很少写同一文件），而是信息增量枯竭：多一个规划员多一份黑盒目标的信息，多一个实现员只是把 lead 本可自己协调的活切碎。压轴结论：Sol lead + 16 个 Luna 规划员 = 距全 Sol 队 1.4 分、成本低 70%、效率约 4×。

Lead 定上限：固定 Luna worker，lead 从 Luna→Terra→Sol，团队奖励 +20.9%/+15.4%，但 Terra lead+Luna worker 仍落后 Sol solo 10.3%——便宜 worker 填不平弱 lead 的坑；能力投资在 lead 而非全队复制。

通信的祛魅：给所有人 send_message 工具后，84% 的消息流向 lead（worker 间不足 1 条/任务）；通信量随模型能力涨（Sol 文字量 3.4 倍于 Luna）但奖励不涨——Sol/Terra 无变化，Luna 反掉 4.4-7.1 分。信道承载的主要是 lead 本来就会收到的状态报告。消息自由不是团队智能的开关。

边界证据（Commit0-Lite 附录）：仓库骨架已给定时，实现反而成为最有效委派阶段——最优投放跟着任务瓶颈走，规划优势是 ProgramBench 的属性而非普适定律。

5.2 EvoWeb 的主结果：整合是阿喀琉斯之踵

总榜（14 模型）：Fable 5 (0.694) 与 Kimi K3 (0.684) 并驾（0.010 在 run 间波动内），GPT 5.6 Sol 0.622 第三，最弱 0.162；最好的存活约 7.3/10 请求——没有一个模型能全程维持高质量功能。

三类测试的分离（核心发现）：所有模型无一例外——回溯（旧功能）0.580 > 新功能 0.550 > 整合 0.510。Fable 5 三项 0.706/0.678/0.630。跨请求组合比新功能或旧功能单独实现都难，这是系统性的短板而非个别模型的弱项。

难度沿 DAG 复利：取第 8-10 个请求（覆盖最宽的深度/入度范围），每个模型的线性拟合都向下——依赖深度与入度越大精度越低，弱模型斜率更陡。

运行时错误的累积：build 错误罕见（多数 <1%），但运行时错误随请求序号单调增加（内嵌小图），且与 Grade 的 Spearman 相关更强（−0.72 vs −0.52）——Qwen3.5-35B 极端案例：build 2.5% 但运行时错 36.6%。模型更能保住可构建的代码库而非可靠执行的应用。工具调用错误与 Grade 无关（−0.06）——agent 看到失败调用下一步就修，损耗的是步数不是质量。

努力与得分的解耦：Fable 5 用最少的回合（4.7/请求）与不到 Sonnet 4.6 一半的输出 token 拿到最高分；所有模型一半 token 花在前三回合。高分来自 token/回合效率而非蛮力——但 Fable 5 每样本成本最高（$14.40）。

失败模式分层（Sonnet 5 分类失败测试）：最弱的 Haiku 4.5 失败之首是缺数据/UI（31.2%）——每页各存一份数据，一个请求加的数据到不了后面加的页（整合失败的微观机理）；最强的 Fable 5 应用几乎不崩（2.2% 运行时/build 错误 vs 他者 13.7-17.3%），失败偏向数值与样式细节——能跑起来但小地方错。

5.3 ExeWorldBench 的主结果：能跑 ≠ 世界是对的

harness 断崖：GPT-6 Astra（Codex CLI）与 Fable 5.1（Claude Code）在 T1 达 V/M=7.16/6.32 与 6.44/5.68；API 版同模型修复执行错误后 V₂ 多在 1.3-5.8、M₂≤5.08——同一个模型，换个调用方式就是两个世界。

执行性修复的祛魅（核心发现）：修复后 Doubao/DeepSeek/Qwen/Kimi/GLM 的 E₂ 都到 62-95%，但 ECM 几乎不动（多数 ≤0.4，DeepSeek T2 的 ECM₂=0.09）。可执行性的增益远大于世界建模指标的增益——产出能跑的 Blender 代码是必要但远不充分的。

T2 API 组的因果溃败：除 GPT-6 Astra（API 版 ECM₂=2.47）与 Fable 5.1（1.84）外，其余 API 模型全部 ≈0。T3-1 组件全给的情况下 API 组最高 3.34（GPT-6 Astra），其余 ≤0.40。

T3-2 意图合成：Codex CLI 一骑绝尘——Goal Sat. 90.14%，Claude Code 版 75.19%，API 版 Fable 5.1 只有 31.31%，其余 ≤41%。

I 易 B/F 难：初态条件满足率普遍高于行为/终态——摆好初始世界不难，让因果过程跑通并抵达终态才是挑战（与 EvoWeb『回溯测试最好、整合最差』形成跨域呼应）。

长程衰减：T2 上 13 级时性能跌至短程约 1/5（Fable 5.1 在 5 步附近跳水；Codex CLI 衰减最缓）。运动参考帧的增益有限——给了动态证据模型也未必能翻译成机构结构，理解瓶颈甚于感知瓶颈。

六、效果优势的根源解释

6.1 Cohere：为什么规划的边际回报最高

Baseline 的局限：PIV 全程委派把算力均匀撒在三个阶段——但三阶段的信息产出结构不同。因果链：

ProgramBench 的信息瓶颈在行为发现（黑盒可执行）→ 规划 worker 并行试探不同接口/边角/输出，每个 worker 产出关于目标的增量信息（可加和）→ lead 汇总后单线程实现+验证即够 → 实现 worker 的产出是代码碎片（lead 要整合，文件越碎整合越贵），验证 worker 的产出是冗余判定（对同一程序多一份意见的信息量递减）→ 规划的边际信息不衰减（16 人仍在涨）、实现/验证在 4 人后平台。

Commit0 反例恰好完成反事实检验：骨架在手→信息瓶颈移到实现→实现委派变最优。根因是委派价值=该阶段信息瓶颈的并行可分解度，不是『规划』这个名词。

交叉验证：ManagerWorker（强弱搭配）与 AgentCARD（角色安放任务依赖）从不同侧面支持『岗位比人数重要』；LoopArena 固定 coding worker 隔离控制器能力的做法与本文『lead 定上限』一致。相反方向的证据：论文自承坐标搜索非全局最优、16 worker 上限外推未知（Agensh 的 1024 agent 实验提示超大规模下自组织可能是另一形态）。async minimal 丢 6 分的发现与 CAID 对异步协调风险的强调一致。本次检索范围内未发现『实现委派普遍优于规划』的相反结论，但注意所有主实验基于 GPT-5.6 家族（Claude/Gemini 在附录），家族特异性未完全排除。

6.2 EvoWeb：为什么整合测试最难

Baseline 的局限：独立评分（每请求各评各的）假设功能正交——但演化开发的定义就是功能不正交。因果链：

后续功能依赖早期功能的状态/接口/行为（DAG 边）→ 整合测试沿边走（如『管理器的移动反映到 Preview』）→ 要求模型同时正确（a）早期功能的内部实现、（b）后期功能对它的调用、（c）两者间的数据流——三者合取 → 任一环断裂即失败 → 依赖深度/入度增大时合取链变长，精度必然下降（每模型拟合线全向下）。

微观机理（失败模式分类）：弱模型的缺数据失败源于每页私藏数据副本——跨请求整合在代码层面就是共享状态管理，agent 倾向于局部复制而非建立全局数据流。运行时错误随请求累积而 build 错误不累积：构建错误显式且即时反馈（agent 能修），运行时错误潜伏到特定交互路径才暴露（agent 修不到）。

交叉验证：StaminaBench/SlopCodeBench（SWE 域）同样报告长程交互下的退化——跨域同向；SpecForge（本合读系列前篇）的 output coupling 理论（caller 依赖 callee、改一处牵全身）是同一现象在代码生成侧的形式化，其 callee-before-caller 约束正是对『整合难』的搜索侧对策——两篇互为印证。边界条件：每请求只有 1 个回溯测试（抽样而非全量回归审计），回归率可能被低估；20 回合/请求的预算上限可能压低了长请求表现。本次检索范围内未发现『累积请求不比独立请求难』的相反结论。

6.3 ExeWorldBench：为什么 ECM 与执行性脱钩

Baseline 的局限：行为系基准可用轨迹拟合作弊（插值/预定义动画），构造系只看静态——都不要求『行为从物理交互中涌现』。因果链：

ECM 按因果段交接评分 → 通过判分的唯一途径是真正的机构间因果传递（A 的运动真的触发 B）→ 这要求模型理解约束、接触、运动传播并落到代码 → 执行性修复只修技术错误（import、语法）不碰结构 → 所以 E₂ 涨而 ECM 不动 → 差值就是『低层实现能力』与『世界建模能力』的分离度。

harness 断崖的机理：Codex CLI/Claude Code 能在环境里迭代试错（跑 Blender、看报错、改），API 单轮只能盲写——长程序的一次通过率天然低。这解释了 T2 API 组 ECM≈0：因果链组装需要执行反馈闭环，与前篇 ARBITER 的证据接地、CRBugBench 的『执行代码仅 8%』发现形成三角呼应。

交叉验证：PhysCodeBench 等前序工作已示『文本→可执行』的落差，ExeWorldBench 把它推进到 3D 多机构；『I 易 B/F 难』与具身文献中『初始态易、动力学难』的普遍观察一致。边界条件：VLM 判官（Opus 5.5）存在评分天花板（论文自己标注依赖判官的局限）；修复协议只允许修执行错误，若允许结构级修复结论会不同（但那也改变了被测对象）。本次检索范围内未发现『3D 因果组装与 2D 行为生成同样容易』的相反证据。

6.4 三篇合读的根源综合

三篇从三个域撞见同一堵墙：组合的边际难度递增。

• Cohere：组合算力（agent 数）的回报在实现/验证段递减，只在信息段（规划）持续；
• EvoWeb：组合功能（请求依赖）的精度随深度/入度递减；
• ExeWorldBench：组合机构（因果级数）的 ECM 随步数递减（13 级=1/5）。

多研究共同支持：组合瓶颈是结构性的（信息衰减/合取链/状态共享），不是模型规模的瞬时问题——三篇的衰减曲线在各自域里都平滑向下。仍属推测：三者的衰减率是否可互相预测（跨域标定）；Cohere 的『规划最值钱』在信息瓶颈不同的任务里反转（Commit0 已证），通用投放律不存在。失效条件：模型开始内化跨请求状态管理（EvoWeb 的整合差距收窄）、执行反馈闭环进入 API 调用（ExeWorldBench 断崖消失）、任务瓶颈迁移（Cohere 投放律重排）。

七、必要知识反推

7.1 领域知识层

• 软件工程工作流的经典抽象（Royce 1987 瀑布模型的 P/I/V 划分）——Cohere 的阶段变量直接借自它；
• web 开发栈（React 构建/路由/状态管理、Playwright/Selenium、Set-of-Marks）——EvoWeb 诊断缺数据/状态同步等失败模式的行业语感；
• 3D 建模与物理仿真概念（Blender Python API、约束/接触/关节对齐、机构运动传递）——ExeWorldBench 判分维度的领域地基；
• 多 agent 系统的组织形态学（层级 vs 扁平、blocking vs async、消息拓扑）——Cohere 相关工作对话的坐标系。

7.2 方法论知识层

• 受控变量实验设计 + 边际分析（一次动一个变量、η 效率定义、Pareto 支配语言）——Cohere 的实验经济学素养；
• 基准构造的验证闭环（EvoWeb 的自动验证→修复→人工终审；ExeWorldBench 的 generate-infer-validate-verify 盲推交叉验证）——『出题人先证明题可解』的方法论；
• 评测指标的鲁棒性设计（容差积分把止损规则积分掉、penalized vs conditioned 双口径、异厂商判官复核、run 间方差报告）——三篇共同体现的评测卫生学；
• LLM 判官的偏差文献（自我偏好、同族偏好）——EvoWeb 与 ExeWorldBench 判官选型的动机。

7.3 工程知识层

• 可配置 agent harness 的实现（delegate/resume 语义、共享沙箱、会话持久化）；
• 并行评测基础设施（EvoWeb 致谢里专门感谢了并行评测基建的搭建者——320 请求 × 14 模型 × 3 run 的浏览器评测是重工程）；
• 成本核算（每 100 美元效率、$ / sample、token 计量）——把算力当预算的工程纪律。

7.4 知识融合的关键节点

1. 软件工程经典 × 微观经济学（Cohere）：把瀑布模型的阶段变成预算分配的科目，η 就是边际效用——1970 年的流程图与 2026 年的 API 账单结合；
2. 图论 × 产品演化（EvoWeb）：DAG 把『功能依赖』变成可构造测试、可回归分析的显式对象——产品路线图的结构化；
3. 因果推理 × 评测设计（ExeWorldBench）：ECM 的『因果段交接』评分把『世界怎么运转』翻译成判官可操作的检查点——抽象哲学问题（涌现）落到 0-10 分；
4. 跨域同构识别（本合读）：三篇各自发现『组合难度递增』，合并阅读才显出这是同一条定律在三个域的投影——单篇读会当作领域现象，三篇读才是领域定律。

八、论文中可以提取的通用性灵感

灵感 1：预算投放要跟着信息瓶颈走，而不是平均分配

• 核心思想：多资源系统的增量投入应流向『信息产出可加和』的环节（并行探索各有增量），而非『产出需整合或冗余』的环节（边际递减甚至为负）。
• 论文证据：规划 η=3.8 vs 实现 2.4/验证 1.7；实现 worker 4 人后平台（−0.015@16 人）而规划 16 人仍在涨（+7.1%）；Commit0 上瓶颈移到实现、最优阶段随之反转。
• 推广场景：① 咨询项目：预算优先给调研（信息）而非初稿撰写（整合）；② 投资组合：加仓产生独立信息源的仓位；③ 科研团队：人手先投文献扫描/实验设计，写作扩容收益低；④ 产品研发：需求洞察阶段并行投人、开发阶段保持精干。

灵感 2：便宜资源放在信息采集岗，贵资源放在整合决策岗

• 核心思想：异质团队的成本优化原则——低能力单元做信息收集（错误可被上层过滤），高能力单元做综合决策与产出（错误直接成为最终结果）。
• 论文证据：Luna planner η=51.0（Sol 的 13 倍）、Luna implementer η=−12.0；强 lead+便宜规划员 13.9% 成本回收 47.5% 增益；lead 定上限（Terra lead+Luna worker 仍输 Sol solo 10.3%）。
• 推广场景：① 医疗：实习生采集病史、主治诊断决策；② 新闻编辑部：助理搜集素材、主笔成稿；③ 法务：paralegal 检索、律师主张；④ 任何『采集-决策』两段式流程的人力配置。

灵感 3：评测累积系统要测『组合』，不能只测『单元』

• 核心思想：对任何持续演化的系统（软件/组织/知识库），单元正确的合取概率随依赖深度衰减——评测必须直接测跨单元组合，否则会系统性高估可靠性。
• 论文证据：EvoWeb 整合 0.51 < 新功能 0.55 < 回溯 0.58（所有模型同序）；精度随 DAG 深度/入度全线下降；ExeWorldBench ECM 随级数跌至 1/5。
• 推广场景：① 供应链审计：单件合格≠整链可靠；② 组织流程：每个部门达标≠端到端顺畅；③ 模型管线评测：逐模块 benchmark 之外要测模块交接面；④ 教育测评：单知识点测试之外要考综合题。

灵感 4：把『用户会在哪放弃』当作积分变量而非固定假设

• 核心思想：对顺序交付的产品/服务，不同用户的容忍度构成分布——对容忍阈值积分（而非拍一个止损规则）能得到对用户群体更鲁棒的质量度量。
• 论文证据：EvoWeb 的 Grade=∫Q(t)dt 统一了『失败即停』（t=1）与『永远继续』（t=0）两个极端，模型排名在全阈值范围稳定；
• 推广场景：① 产品留存分析：按流失敏感度分层积分而非单点留存率；② 客服质检：扫过不同挑剔度的评分员；③ 自动驾驶接管研究：不同安全阈值下的里程积分；④ 内容平台：不同弃剧阈值下的完播度量。

灵感 5：用『盲推交叉验证』证明题目本身可解

• 核心思想：构造推断类任务（从证据推结论）时，出题方必须先证明：证据确实足以推出答案——用另一个不知答案的模型盲推、再与真值对照，是最强的可解性证明。
• 论文证据：ExeWorldBench T1 的四步管线：GPT-6 Astra 提证据 → Opus 5 只看图+证据盲推运动 → 交叉一致性 → 人工复审——防住了『题目其实不可解』的基准级 bug。
• 推广场景：① 出题（考卷区分度预检）；② 招聘笔试（题目先让在职者盲做验证）；③ 数据标注规范（标注指南先让新手盲标验证可操作性）；④ 司法鉴定（证据链充分性的独立复核）。

灵感 6：执行反馈闭环是长程构造任务的生命线

• 核心思想：长链条构造（长程序、多机构系统、多轮开发）中，一次性盲写的错误率随链长复利；能跑-看错-再改的闭环把失败从复利变迭代——能力差距会在『有无闭环』处断崖式放大。
• 论文证据：ExeWorldBench 同模型 harness 版 vs API 版断崖（7.16/6.32 vs 5.84/5.08）；T2 API 组 ECM≈0 而 Codex CLI 5.25；Cohere 的团队（44-140 工具调用 vs solo 19-22）本质是给 solo 加执行闭环；ARBITER（前篇）的反例接地同理。
• 推广场景：① 组织设计：一线要有试错反馈权而非层层盲报；② 教练式学习：练习即时反馈优于批量交作业；③ 硬件开发：仿真闭环前移；④ 政策试点：小范围闭环再推广。

结语

三篇论文像三面镜子对着同一个对象——组合中的 agent。Cohere 的镜子照出算力组合的经济学：规划的信息复利、实现的整合税、lead 的天花板；EvoWeb 的镜子照出功能组合的病理学：整合测试那 4 分的差距（0.51 vs 0.58）是所有模型共享的软肋，每页私藏的数据副本是它的显微镜图像；ExeWorldBench 的镜子照出因果组合的物理学：能跑的代码和会运转的世界之间隔着一条 API 模型还过不去的因果链。当单点智能越来越便宜，价值的重心正在移向组合——把多个 agent、多个请求、多个机构的产出黏合成一个可靠整体的能力。三篇论文各自的下一步（自组织网络、闭环修复、执行反馈内化）其实指向同一句话：谁先学会组合，谁就拿到下一时代的规模红利。