评测的经济学与可信性——路由、能耗、仪器错误、能力形成与技能演化五篇精读

论文链接：

• Route Anything: A Study of Model and Policy Routing for General-Purpose AI Systems
• Joules-to-GDP: How Much Economic Value Do AI Systems Produce per Unit of Energy?
• Silent Instrument Errors Reorder Agent Leaderboards
• Artifact-to-Capability: Diagnosing Breaks in Capability Formation of Self-Evolving Agents in a Controlled Environment
• How Agent Skills Evolve: A Large-Scale Empirical Study of Skills on GitHub

代码仓库：

• Joules-to-GDP：https://github.com/HazyResearch/joules_to_gdp ；数据 https://huggingface.co/datasets/ScalingIntelligence/joules-to-gdp
• Silent Instrument Errors 复现脚本：https://github.com/YangzeLiu/eval-instrument-disclosure
• How Agent Skills Evolve 数据集：https://github.com/ZJU-CTAG/SkillEMP
• Route Anything：原文标注 Project Page / GitHub / Hugging Face 链接存在（txt 未含明文 URL）
• Artifact-to-Capability：开源代码原文未提及

发表时间：2026 年 10-11 月（arXiv 2611.05275 / 2610.30858 / 2611.04399 / 2611.04952 / 2611.04456） 机构：

• Route Anything：NUS HPC-AI Lab（Yang You 组）+ InfRec Cardinal AI Lab + UC Berkeley + HKUST——学界-实验室合作
• Joules-to-GDP：Stanford（含 John Hennessy、Chris Ré、Azalia Mirhoseini）+ UC Berkeley + UT Austin——三校共同一作
• Silent Instrument Errors：山东大学单作者（Yangze Liu）
• Artifact-to-Capability：天津大学 + 独立研究者 + IDEA 研究院
• How Agent Skills Evolve：浙江大学 + HKUST + 杭州城市大学——纯高校合作 领域标签：cs.LG / cs.AI / cs.SE / cs.CL——Agent 评测方法学、模型路由、AI 经济-能效测量、软件工程实证研究

〇、为什么把这五篇放在一起读

这五篇论文分属系统、经济、元科学、AI 方法论、软件工程五个社区，却在回答同一个母问题的两个面：当 Agent 系统的评估从单一 accuracy 走向多维权衡时，我们用什么单位度量「值得」，又凭什么相信度量本身？

前两篇回答「用什么单位度量值得」——一篇用钱和延迟（路由的质量-成本权衡），一篇用焦耳（每单位能量的经济价值）。后三篇回答「凭什么相信度量」——一篇审计排行榜的仪器错误，一篇诊断自演化系统的能力形成断裂，一篇用 75 万条 commit 揭示技能制品的真实维护状态。

一条贯穿五篇的主线是：评测正在从「模型能力测验」变成「系统经济学 + 测量仪器审计」的双重学科。Route Anything 的信息阶梯理论把「路由器能看到什么信息」形式化为性能上界；Joules-to-GDP 把能量立为稳定物理单位并让「最强模型默认」不再最优；Silent Instrument Errors 证明排行榜的运行时仪器本身会静默失败；Artifact-to-Capability 证明制品累积+行为改变+指标上升三信号不足以判定能力形成；How Agent Skills Evolve 则在真实仓库尺度上验证了「可靠性组件被忽视」这一系统性缺口。读在一起，才能看到 2026 年底 Agent 评测研究的完整切面。

一、论文背景

1.1 路由研究困在语言模型，且从不问「该学什么」

通用 AI 系统正在变成异构候选池的编排问题：语言模型、图像/视频/语音生成器、机器人策略各有擅长。路由（routing）研究此前几乎只针对 LLM——FrugalGPT 的级联、RouteLLM 的偏好学习、Dekoninck 等人的质量-成本统一框架。三个问题没人回答过：路由跨模态还有效吗？学习型路由器该学什么目标？更便宜的路线什么时候够用？Route Anything（NUS Yang You 组等）用 25 个 benchmark、374,401 次打分运行、452 个候选配置的全模态轨迹矩阵系统回答这三问。

1.2 AI 经济价值评估困在代理指标

现有 AI 经济评估用输出质量、估算的工时节省、API 成本、完成时间做代理。Joules-to-GDP（Stanford 三校，作者含体系结构宗师 John Hennessy）指出这三个代理各有缺陷：API 价格随厂商变动、完成时间忽略等待与重试、质量分数不含资源代价。他们选择能量作资源度量的理由有三：焦耳是稳定物理单位；端到端能耗把模型、硬件、工具调用、等待、重试合成一个数；能量能揭示成本与时间都看不到的差异。该工作建立在 GDPval（220 个真实职业任务、44 职业、专家参考交付物与记录工时）之上。

1.3 排行榜的可信性危机：仪器也是测量的一部分

HAL（Holistic Agent Leaderboard）是回应 Kapoor 等人「AI agents that matter」呼吁的基础设施——共享 harness、公开全轨迹、成本-精度双轴。但正是这个由最严谨的评测议程设定者维护的排行榜上，Generalist scaffold 在 TAU-bench Airline 上落后 Tool-Calling 13 分——这 13 分不是能力差距，是评分器触发机制的产物。Silent Instrument Errors（山东大学单作者）从公开工件重推两大排行榜的运行时仪器，发现四类静默错误，全部「无异常、数值在预期范围内」。

1.4 自演化系统的评估困在信号式证明

自演化 agent（把交互经验写入制品并在后续任务中复用）的有效性论证几乎全靠三个信号：制品在累积、加载制品后行为改变了、指标上升了。Artifact-to-Capability（天津大学等）指出这三个信号从未被定义过指向什么——「有效」的判定标准缺失。开放任务里状态不可精确重放、动作正确性无独立判据，因此该工作选择自由五子棋作「显微镜」：状态可重放、规则可判效、对局与版本全记录。

1.5 技能制品的真实维护状态无人测量

Agent 技能（SKILL.md 及配套脚本资源）2025 年 10 月由 Anthropic 正式引入后迅速成为实践，但既有实证研究只做静态视角——内容分类、采用模式、安全漏洞。技能作为「一类新的软件制品」如何随时间演化、开发者为什么改它、改哪里，此前无人测量。How Agent Skills Evolve（浙大等）构建 84,200 个技能、750,898 条相关 commit 的 GitHub 数据集（2025-09-01 至 2026-04-23）做首个大规模纵向实证。

二、论文定位和关联工作

2.1 谱系一：从 LLM 级联到全模态路由理论（Route Anything）

LLM 路由线：FrugalGPT（级联升级）、RouteLLM（偏好数据学路由器）、Hybrid LLM/GraphRouter/EmbedLLM（查询特征选模型）、Dekoninck 等 ICML 2025（Lagrangian 价格下的路由与级联统一）。Route Anything 的差异有三：(1) 把候选池从语言模型扩展到图像/视频/语音生成器与机器人策略，在同一矩阵上共享输入打分；(2) 信息阶梯（Proposition 3）把「路由器可观测状态的粗细」与可达性能上界联系起来——最佳固定候选与逐输入 oracle 是阶梯两端可测的横档；(3) 命题 4 证明回归结果优于分类赢家标签，并给出有限样本质量下界认证（Proposition 5，固定序列检验 + Hoeffding/empirical-Bernstein p 值）。算法组合学（Rice 1976 的算法选择、Gomes & Selman 的算法组合）中的 virtual best solver 即本文的 per-input oracle。

2.2 谱系二：从代理指标到能量计价（Joules-to-GDP）

AI 经济测量线：GDPval 建立职业任务-专家参考-盲评范式；Patwardhan 等 2025 用 win-rate×工时×时薪计价。能耗基准线（Chung 等、Tripathy 等）只测消耗不计产出。Joules-to-GDP 把两条线焊接：产出价值沿用 GDPval 盲评 win-or-tie×(专家工时×OEWS 职业中位时薪)，能耗用 IPW（Intelligence per Watt）端到端计量并以活跃请求分摊，合成 NVJ/TSJ 两个比值指标。其位置类似微观经济学的生产函数估计——但以焦耳为投入单位，且同时报告效率前沿（总价值-总能耗）与单位回报两个互补视图。

2.3 谱系三：从基准设计审计到运行时仪器审计（Silent Instrument Errors）

基准审计线：Agentic Benchmark Checklist（Zhu 等）审计任务设置与奖励规则——如 TAU-bench 把空响应计为成功；UTBoost 补测试用例揭 SWE-bench 漏判。Rollout Cards 把 rollout 记录当可复现性单元，发现 50 个审计仓库无一报告失败/跳过的运行。Kirgis 等论证日志分析是可信评测的必要条件。本文的增量在于：拿基准规则为给定，审计「已发布排行榜的运行时管线是否正确应用、记录、计价、存储了该规则」——评分触发、日志分层、重放写入、版本漂移四个此前无人系统审计的面。HAL 组自己的 2026 年 10 月综述已把 harness/自动评分器列为「需要审视的新表面」，本文提供的是风险已实现的实证。

2.4 谱系四：从结果分析到转化链诊断（Artifact-to-Capability）

自演化评估线：EvoPathBench 冻结 checkpoint 做有/无制品配对评测；Agent Plasticity 区分「未复用制品」与「复用后仍失败」两个瓶颈；Misevolution/SkillApt/Counterfactual Memory Audit 做同输入配对比较。本文的方法论推进：不把 episode、版本或工具当对象，而把「制品到能力的转化本身」当对象——五性质依赖链（1→2→(3∧4)→5）配三尺度（状态/对局/谱系）独立证据。Agent Plasticity 的两个瓶颈分别对应本文的性质 2（行为激活）与性质 3（任务关系实现），而本文三个反例断裂点各不相同，证明任何单一性质都不能替代完整链。

2.5 谱系五：从静态技能分析到纵向演化实证（How Agent Skills Evolve）

技能实证线：Ling 等大规模分析公开 Claude 技能的类别/长度/冗余；Liu 等测技能安全风险（提示注入/外泄/提权/供应链）；另有行为验证的恶意技能数据集。本文补上时间维度：从 GH Archive 挖掘 commit 历史重建技能演化谱系，人工构建组件分类学（metadata/workflow/knowledge/resources）与变更模式-动机分类学（借经典软件维护分类 Corrective/Adaptive/Perfective/Preventive 改造），LLM 辅助流水线规模化打标（组件 0.881/0.913、模式 0.816、动机 0.840 准确率对人工标注）。

2.6 五篇合起来的定位

三、问题定义

3.1 Route Anything：质量-价格权衡下的最优路由与信息阶梯

形式化：输入 x 带有限候选菜单 U(x)（模型/生成器/策略/执行计划），运行候选 u 产出价值 V_u∈[0,1]（benchmark 指标）并消耗 D_u>0 资源（美元或秒）；路由器观测状态 s=σ(x)（benchmark、能力类型或输入本身）选 g(s)。在资源价格 λ 下路由器收益 J_λ(g)=E[V_g]−λE[D_g]。

三个理论支柱：

• Theorem 2（最优路由）：每状态选 v(s,u)−λc(s,u) 最大者即最优；效率最优点 η* 是凸函数 Φ(λ)=Σπ(s)max_u[v−λc] 的唯一根（Dinkelbach 分数规划 + LP 对偶证明）；带质量下界 Q≥−ε 的效率最优路由器仍是某个价格 λ_ε 下的最优路由器——「带下界的效率优化不产生新型路由器，只是价格由参照与容差决定」。
• Proposition 3（信息阶梯）：状态划分越细可达性能越高，V*(σ1)≤V*(σ2)≤V*(x)≤E[max_u W_u]；最右端的缺口是任何可观测状态都无法预测的结果噪声。
• Proposition 4（学结果不学赢家）：对每个候选回归 E[V_u|x] 并取 argmax 可达 V*(x)；而分类赢家标签可损失近一半价值区间——构造反例：候选 B 以概率 b∈(1/2,a) 得 1 分，p_B=b>p_A 使赢家分类器选 B，但 E[V_B]=b<a。

这个框架的精妙之处在把「参照政策 + 质量容差」变成价格的生成器：不是手工设预算，而是参照与容差固定价格、价格决定路由器。

3.2 Joules-to-GDP：每焦耳净价值与工时节省

两个核心指标：

• NVJ^b_o = (G^b_o − C_o)/E_o（美元/MJ）：职业 o 上 credited 产出价值（盲评 win-or-tie 才计入 G）减 AI 执行成本，除以测得能耗；
• TSJ^b_o = ΣY^b_i(H^b_i − L_i)/E_o（小时/MJ）：win-or-tie 任务的专家工时减 AI 完成时间，除以能耗。

关键设计选择：产出价值 G^b_i = H^b_i × W_median（专家记录工时×职业中位时薪，OEWS 权威来源）；二元 win-or-tie/loss 记分对部分信用保守（败者贡献零净值）；能耗计量用活跃请求分摊式 E_i = ∫[P_batch(t)/N_running(t)]dt + E_b,0/K_b——运行更久的请求分摊更多；两级 GDP 加权（职业类内归一 + 类权重）且工资不进权重（工资已进价值）。双参照设计：expert-only（主，产出与特定辅助模型无关）与 expert-with-AI（副，更接近真实工作方式且质量门槛更高）。

3.3 Silent Instrument Errors：仪器是测量的一部分

核心概念：agent 评测的「仪器」（instrument）= 评分（grading）、日志（logging）、重放（replay）、版本化代码（versioning）的运行时管线。论题：仪器是测量的一部分，会静默失败——无异常、数值在预期范围内、分数本身不携带任何「如何被生产」的痕迹。

四个暴露面（每处都给错误留了藏身之地）：

1. 评分由 agent 行为触发——交互式基准在 episode 正式结束时才算奖励，scaffold 结束对话的方式不同，评分可能根本不发生，缺评分通常被存为失败；
2. 日志有多层——单次模型调用穿过 scaffold/wrapper/provider client，tracing 库每层都插桩，成本聚合选哪层求和是不可见的选择；
3. 重放会写进记录——有状态评分器把 gold 动作重放进 agent 用过的同一环境对象，重放动作与 agent 动作进同一个列表；
4. 评分器与档案异步演进——重评旧轨迹等于一次新测量，其正确性取决于新代码理解旧文件。

3.4 Artifact-to-Capability：能力形成的五性质依赖链

能力形成定义为制品依次通过的五个性质：

1. 制品形成（artifact formation）：持久结构形成并接入后续决策；
2. 行为激活（behavioral activation）：同状态同接口下，有/无制品的动作差异超过采样噪声；
3. 任务关系实现（task-relation realization）：制品产生正向效果——结果动作更好地满足相关任务关系，而非仅仅不同；
4. 边界安全复用（boundary-safe reuse）：不破坏已建立的效果——实际决策中已确立的正向关系不被系统其他部分推翻；
5. 能力扩展（capability extension）：后续版本在保留既有效果的同时新增正向效果。

依赖结构 1→2→(3∧4)→5；性质 3∧4 构成能力形成 checkpoint。诊断单元是冻结系统（参与决策的全部制品整体）而非单组件——组件单独正确但组合后被推翻，是系统级失效。三尺度对应：性质 2/3 在固定状态上判（状态级）、性质 4 在完整对局中判（对局级）、性质 5 在版本谱系上判（谱系级）。诊断顺序即依赖顺序：第一个失败的性质就是断裂点。

一个重要的概念澄清：任务关系由任务目标定义（占取自己的制胜点/堵对手/做活四），环境规则（不下在占用点）不是任务关系——减少违规本身不算正向效果。这直接否定了「合法率提升=能力提升」的混淆。

3.5 How Agent Skills Evolve：技能作为演化软件制品的实证问题

四个研究问题：RQ1 技能由什么组件构成、演化多频繁（现状）；RQ2 演化时改哪些组件（位置）；RQ3 变更以什么模式发生（方式）；RQ4 什么动机驱动变更（原因）。

方法学要点：组件分类学五顶层（metadata/workflow/knowledge/resources/others，细粒度 12 子类）；变更-动机二维分类学（how 维度 22 类操作、why 维度四类维护意图 Corrective/Adaptive/Perfective/Preventive 细分多子类）；分析单元是「变更组件」⟨commit, file scope, component⟩ 而非 commit 或行（避免粒度过粗/过碎）；383 技能与 384 commit 双人独立标注 + 共识复核构建分类学（95% 置信 ±5% 误差的最小样本），另抽 20 commit 验证分类学稳定性（无改动）。

3.6 五个形式化的共同结构

方法论同构性：五篇都在把一个被混用的评价概念拆成可独立测量的分量——价格与质量、价值与能耗、模型与仪器、改变与有效、方式与动机。这是评测走向成熟的标志：概念不拆分，测量就无法归因。

四、问题解法

4.1 Route Anything：矩阵构建 + 三类路由器 + 认证协议

全模态轨迹矩阵：25 个 benchmark 七组（文本 QA 7、图文 QA 3、图像生成 5、视频生成 1、语音生成 2、代码与办公 agent 5、机器人 1），每池 3-7 个候选（语言模型 Opus 5.5/GPT-6.1 Sol/DeepSeek V4.1 Flash/+GPT-6 Astra；图像生成器 6；视频 3；语音 3；机器人策略 7），452 个候选配置在相同输入上运行得 374,401 次打分。切分 70/10/20 按来源组分，同源输入不跨 split；RoboTwin 的 2000 测试场景来自训练未见过的 10 个任务。

三类学习路由器（均微调 Qwen3.5-4B）：结果路由器（outcome router）对每对（输入，候选档案）打 sigmoid 分、以交叉熵对候选归一化结果训练、取最高分——直接实现命题 4(a)；类型路由器（type router）分类输入到能力类型、查训练集拟合的表选该类型最佳候选；赢家标签路由器训练直接指名最佳候选。

场景阅读路由器（机器人）：读指令+三帧 240×320 相机图+机器人状态，七个性价比头各预测一个 VLA 策略的成功率，在全部 49,000 个训练结果上训练；无任务身份输入。

认证协议（Proposition 5 实操）：价格路径上的路由器按序做固定序列检验——对每个路由器算 Q≥−ε 的 p 值（Hoeffding 或 empirical-Bernstein），停在第一个不能认证的，无多重校正需要；全不能认证则回退参照。半数据拟合的零损失下界在测试上只在 12.5% 的 200 次切分中成立，认证后 200/200 成立——「拟合的下界不是保证，认证的下界才是」。

4.2 Joules-to-GDP：测量-计价-聚合的完整会计学

盲评：Gemini 3.1 Flash-Lite 作 judge（与人一致率 71.9%，三 judge 两两一致 72.3-77.2%），收到任务+rubric+源证据+身份遮蔽的双交付物，位置平衡，选胜/平/负。共享管线提取净化语义内容与渲染视觉证据，覆盖文档/表格/演示/代码/媒体五类交付物。

端到端能耗：IPW 从每批运行启动前计量到该批最后完成；批处理（20 请求并发）代表真实服务条件而非串行隔离请求；每个请求（含失败与超时）都计能耗。

执行成本：按记录的资源分配与公开 GPU/CPU/RAM 价格计算，共享节点时间按活跃请求分摊，窗口内共享空闲时间只计一次，存储与传输另加。

归因敏感性检验：附录 F 测试分摊敏感性；四次独立重复运行测重复尝试敏感性（附录 K）。

两级聚合：职业类内权重归一做类间比较；类权重加权得 GDP 加权 benchmark 级均值做系统间比较；先聚合分量再算 NVJ/TSJ 比值。

4.3 Silent Instrument Errors：纯工件审计方法

不运行任何 agent、不调用任何模型，只用公开工件重推运行时仪器：HAL 在 Hugging Face 的 380 个加密 trace 档案（官网脚本+固定口令解密，用了其中 138 个）+ τ2-bench 排行榜与轨迹仓库。HAL 数字用独立编写的代码重算第二遍，全部数字可从发布脚本复现。

仪器考古的具体手法（值得方法论借鉴）：

• 成本案例：对每次运行，把档案报告的 token 用量与「全部调用求和」「仅根调用求和」分别比对——133/134 次运行报告值等于全调用和，直接识别出聚合规则；
• 评分案例：从原始日志解析 agent 自己的工具调用，按工具名与参数序贯对齐记录的动作列表，无匹配者即评分器动作；进而判定哪些 episode 被评过；
• 重评案例：并排安装四个 τ2-bench 版本（0.2.0/1.0.0/1.0.1 前一 commit/1.0.1），交叉评测器代码与任务数据；保真检查精确——1.0.1 重评 claude-opus-4-5 银行得 0.2474 对官方 24.74%。

作者的自我纠错也是方法学示范：首版审计用「gold 动作在记录末尾」的简单规则判 episode 是否被评，漏掉 73 个注入副本在记录中间的 Generalist episodes；作者在原讨论页发布更正并声明本文数字取代首报。

4.4 Artifact-to-Capability：受控显微镜与三尺度诊断

环境：15×15 自由五子棋（无禁手），三性质支撑三尺度——状态可精确重放（旋转/镜像扩展集合 A）、规则程序独立枚举每个状态的可接受动作集 G(s)（与被诊断系统及任何模型无关）、每步/调用路径/版本全记录。对手全部程序化（rule-based/threat-aware/search_2，最强者向前搜索两层）。

状态集：A 集 120 个战术状态（手工构造+旋转镜像）；B 集 1,756 个来自 DGM 演化真实对局。对照条件=移除被测制品：Reflexion 空记忆、Voyager round1（只留第一轮流战术技能、调用脚本不变）、DGM 初始策略 P0——即测试「演化新增的东西」的效果。Reflexion 因采样式落子，用两次空记忆运行的差异做噪声基线（46.7%）。

对局级诊断：冻结系统与 search_2 下 20 局不同随机种子；每步后重建棋盘、识别所有一步胜利状态、记录是否连五；未连五的局保留逐步调用迹做解释。

谱系级诊断：DGM 主线 P0→OB-1→OB-2→OB-3→OB-5→OB-6→OB-7 相邻版本在 B 集逐状态对比，数新增通过与丢失状态；另建 7,234 状态的差异池比较最后两版。

三机制覆盖三制品形态：Reflexion 文本记忆（六格×七条）、Voyager 可执行技能库+自写调用脚本 auto_player、DGM 直接改策略代码的版本谱系。

4.5 How Agent Skills Evolve：从 GH Archive 到分类学打标的流水线

数据集构建三阶段：GH Archive 筛 >3 star 且 >3 push 的仓库（2025-09-01 至 2026-04-23）得 196,970 仓库；模式搜索候选技能文件（skill.md、.codex/skills、.claude/skills、skills/ 目录下 Markdown）+ 启发式过滤（非空 name/description、>100 字节）得 296,051 候选；演化历史过滤（排除 typo/spelling/grammar 类非实质 commit、验证 patch 有非空白增删行、>3 commit、去重）得 84,200 技能 / 7,776 仓库 / 750,898 commit。

组件级变更定位三步：主指令文件按 Markdown 格式解析成块（frontmatter/段落/列表/表格/代码栅栏，各带行号/类型/标题路径）；LLM（DeepSeek-V4-Flash，成本与规模平衡之选）在全文件上下文中把每块映射到恰好一个组件；commit diff 的增删行映射回对应版本的块，同事件同组件合并。辅助资源文件按文件级 diff 处理。

自动标注验证：组件（RQ1.1 样本）0.881、组件（RQ2-4 样本）0.913、how 0.816、why 0.840——对 404 commit 人工标注交叉验证。

4.6 五篇解法的全景对照

五、评估指标与实验证据

5.1 Route Anything：增益在哪里、学什么、何时便宜路线够用

发现 1（潜在增益大且在类型内）：19,814 测试输入上逐输入 oracle 87.98 vs 最佳固定候选 82.60（+5.38）。分组看：语音生成仅 +0.68（生成器都近满分）、视频生成 +18.93、机器人 +18.40（无候选占优）。事后按 benchmark 择优只把 82.60 提到 82.62（0.4% 的差距被类型间恢复）；107 能力叶的事后最优查表恢复 8%；RoboTwin 任务×场景条件级恢复 23%。类型内的逐输入波动部分是噪声：AA-LCR 每题答三次时，oracle 对固定候选的 2.4 分优势在按三次均值计分后消失。

发现 2（学习路由器小幅胜出）：16 benchmark 一个路由器 79.98 vs 固定 79.68 vs oracle 84.80（+0.30，占差距 6%）；分组增益来自代码与办公 agent +0.77、视频生成 +2.12；10 个 benchmark 上与固定候选差距 <0.01。叶分类器 86-89% 准确，但 83-86% 的输入仍发给固定候选——benchmark 内单一候选几乎赢下所有类型。图像生成上 31 种设计 124 配置无一显著胜过固定生成器、44 个显著更差；未训练 Qwen3.5-4B 直接选候选比固定候选低 1.15 分。

发现 3（机器人读场景省时间）：结果路由器把 1,000 干净场景中的 929 个发给 PatchWAM、1,000 随机化场景中的 842 个发给 ME-Dex，追踪两种条件下最优策略的翻转：干净场景 81.6%（PatchWAM 81.7 / ME-Dex 78.4），随机化 61.5%（ME-Dex 62.5 / PatchWAM 45.6）；总体 71.55% vs 70.45%（+1.10 [−0.40,+2.55]），策略时间 11.05 vs 14.51 秒/场景省 24%，每策略秒成功率 1.33×。仅条件级选择（Proposition 3 的粗档）就能得 72.1%——已超过固定候选。

发现 4（学结果不学赢家）：同输入同骨干同训练场景下，结果回归 71.6% vs 赢家标签分类 42.8%（机器人）。标签解释一切：多个策略在多数训练场景成功、延迟 tie-break 决定 94% 的标签、31,408 个成功结果中 24,556 个变成错误类目标——分类器学会选快策略（1.9 秒/场景）但常失败。16 benchmark 上最好的 12 种赢家配方 78.87 vs 固定 79.44；11 benchmark 上 68 类型分类器虽 75% 准确，93% 的预测映射到与真类型相同的候选，低于固定候选 1.32 分。

发现 5（匹配比较）：要求每个训练输入都有分数的固定基线会把 Opus 5.5 挡在门外（HLE 1,122 训练输入缺 11 个分）——HLE 掉到 52.90（Opus 在时 58.24）、AA-Omniscience 70.00（vs 77.50），汇总 68.30→65.52，结果路由器的 −0.40 缺口翻转成 +2.38 增益。组合比较同理：同任务比两组合在 CodeRouterBench 96.4-97.1% 选对新增模型 vs 冻结均值 86.3-94.3%。

发现 6（便宜路线常常够用）：四测试床平均效率提升 8.82×（25.5/7.1/1.35/1.33 的均值）。CodeRouterBench 上 Opus 4.6 的准入价 λ_B=2.9η_B 低于零损失下界价 4.2η_B 更远低于 η*=1022η_B——零损失路由器从不调用 Opus，25.5× 效率、−0.44 分损失（CI 含 0）；直接全发最便宜的 Qwen3-Max 已 20.1×（−4.2 分），按状态路由恢复损失再加 27% 效率；认证版 200 次切分全部保住下界、中位 19.4×。RouterBench 上避开参照的最优路由器低 9.7 分，故零损失路由器用级联到参照、7.1×。图像生成 ε=0.5 容差下把 Qwen-Image-Bench 换 Grok Imagine 2.0、OneIG 换 Qwen-Image 3，省 26% 成本、−0.47 分。路由器开销小：4B 路由器单次决策 0.13 秒（H20 GPU），而生成一张图 27-158 秒、视频 211-314 秒。

发现 7（更富候选与更细状态须胜过被替换者）：重试——42 个有序模型对中第二模型在第一模型失败后成功率全部更低（中位比率 0.49），失败留下更难的任务。验证器——Qwen3-Max at θ=0.5：免费编译器门给 4.09× 美元效率（−2.4 分），LLM judge 免费时 2.63×、按标价 0.30×；按秒计 always-Opus 打败所有验证级联（Opus 比初级模型答得还快）。更细状态——预测最多省掉它替换的那次尝试：DeepSeek-v4-pro 预测花 2.4 次尝试的价钱，prompt-only TF-IDF 路由器只花 0.06%。

5.2 Joules-to-GDP：能量视角改变所有排序

Q1 职业差异（GLM 5.2，expert-only 参照）：能量归一重排职业榜——Personal Care & Service 盲评 win-tie 率最高（95.8%），计入能量后 Protective Service 的 win-tie/MJ 最高（267.0）；Architecture & Engineering 每任务净价值比 Computer & Math 高约 10%（204.8 vs 186.2 USD，如 CAD 设计 vs 建网站），但 Computer & Math 的 NVJ 高 27%（523.8 vs 413.9 USD/MJ）；Production 每任务工时节省第二（3.36 h）但 TSJ 掉到第六。三指标各有所指：Computer & Math 的 NVJ 近 Personal Care 的 4 倍（成功交付物值更多钱）；Production 的 NVJ 比 Protective Service 低 20% 但 TSJ 高 23%（每次成功省更多专家时）。跨 13 职业类 NVJ 最高最低差 13.08 倍、TSJ 差 5.26 倍。

expert-with-AI 参照压低一切：用 AI 的专家平均少花 23% 时间、GLM 5.2 对其交付物的 win-tie 率约为对 expert-only 的一半；GLM 5.2 的 NVJ 从 168.1 降到 50.0（−70%）、TSJ 从 3.82 降到 1.34 h/MJ（−65%）——自动化须达到更高质量门槛同时替换的专家时间更少。但在 GLM 5.2 赢或平的 assisted 任务上，其完成时间比 assisted 专家平均短 84%——时间节省潜力仍在。

Q2 模型权衡（五模型本地部署）：GLM 5.2 产出最高（$74.19/任务、省 1.64 专家时）但能耗 0.430 MJ（≈4 小时笔记本用电或 H200 满载 10.2 分钟）；Gemma 4 31B 产出低 44% 但能耗少 77%——NVJ 约 2.5×（417.5 vs 168.1 USD/MJ）、TSJ 约 2.8×（10.86 vs 3.82 h/MJ）且 TSJ 五模型最高。效率前沿双视图：Gemma 4 31B 锚低能端、GLM 5.2 锚高收益端（无权重总产出与总工时节省对总能耗）；两视图回答互补问题——单位回报高可能总产出不够。

能量揭示成本与时间看不到的差异：GLM 5.2 与 GPT-OSS 120B 执行成本几乎相同（后者贵 3.1%）、完成时间几乎相同（后者快 2.1%），但 GPT-OSS 120B 能耗少 68%——NVJ 275.7 vs 168.1；而按每美元成本（37.69 vs 19.09）与每 AI 小时（191.3 vs 102.1）计 GLM 5.2 反超。原因是执行成本反映分摊资源与耗时、能耗积分的是计算/访存/等待期间的 GPU+CPU+DRAM 功率——相似的成本与时长可以掩盖不同的焦耳总量。

Q3 加速器：Qwen3.6-27B 单卡部署中 B200 的 NVJ（535.5）与 TSJ（11.684）最高，AMD MI350X 垫底（124.1 / 1.260）。1×H100 → 8×H100：完成时间降 22%、能耗 3.24×、产出几乎不变（$64.8 vs $67.8）——8 卡每 AI 小时净价值更高、1 卡 NVJ/TSJ 更高（402.2 vs 123.4）。机制：张量并行缩短推理但通信同步与串行工具调用限制端到端收益、八卡全程都在耗电。

5.3 Silent Instrument Errors：四案例的定量冲击

案例 1（成本重复计费）：134 次有日志运行中 70 次恰好 2×（44/94 可匹配排行榜行的成本在档案自身结果字段里就是翻倍的）；133 次运行报告用量=全 span 之和（直接锁定聚合规则）；SciCode 十次 zero-shot 运行全部干净而另两个 scaffold 多数约 2×——同一基准的成本轴混合翻倍与未翻倍行。不均匀的因子移动点与点相对位置、改变 HAL 存在的意义（成本-精度前沿）的形状。例：Tool-Calling+Opus 4.1 高推理列出 $149.98，根 span 实际 $74.99——两个都是 50 个航空任务可信的价格。133 次运行报告成本平均超根 span 成本 36.5%。

案例 2（Generalist 半数被评分）：Tool-Calling 98% episodes 被评分 vs Generalist 51%；未评分 episodes 无结束事件、以给用户的消息结束、中位 9 个动作远低于步数上限。离线补评（agent 自身动作重放+基准自身奖励函数）：Generalist 池化精度 0.30→0.43、9 模型 13 分差距闭合为平局、8/9 模型差距缩到几分、gemini-2.0-flash 顺序反转；351 次成对排序中 48 次反转。写类任务上 Generalist 也从 0.28→0.33——23 个补评通过的未评分 episode 里含有要求的数据库写操作：已解决的任务被记成失败。Tool-Calling 几乎不动（其 episodes 本来就被评过）。

案例 3（轨迹混入评分器动作）：2,334 条航空记录中 68% 含评分器动作；Generalist 转人工的 episode 里注入在中间（harness 在评分器跑完后追加收尾消息）；58 条记录 agent 零工具调用却展示完整 gold 工具序列。污染改变记录的语义：逐字重放存储动作在 gold 含≥2 个非终止动作的记录上复现奖励 70%，先剥离评分器动作升到 92%——「任何数动作或在轨迹上微调的人读到的是部分评分器行为，且污染最重的地方恰是 agent 做得最少的地方」。

案例 4（重评的版本不稳定性）：银行重评（1.0.1，有公告）仍是排名事件——官方榜 136 次成对排序反转 4 次、gemini-3-flash 从第 9 到并列第 5；航空重评（1.0.0，实质改 14/50 任务判据、changelog 只列不改警告）在四个旧文件上双向翻转 77/800 次模拟、per-model −7 到 +2.5 分、gpt-4.1-mini 与 claude-3-7-sonnet 顺序反转；电信重评（solo 模式检查只匹配一个 agent 名、四个近似 solo 的文件落入非 solo 路径、环境缺用户侧工具、宽松重放下逐调用警告继续）四个文件掉 59-82 分且无任何报错——如 0.72→0.10。同伴文件用被识别的 solo agent 记录则重评回原分，把病因隔离到模式检查。

披露后：HAL 维护者 2026-10-07 确认三项全部在自己档案上复现、10-05 加披露——成本页说明嵌套 span 双计且不均匀、Generalist 行标注为下界不可直接比较、trace 通知要求剥离 gold 动作并提醒部分在记录内部；但档案数字保持原样。截至 11-03 τ-bench/τ2-bench issue 无维护者回复、solo 检查社区修复 PR 未合并。

5.4 Artifact-to-Capability：三信号全真、三断裂各异

共同前提：三机制演化后全部呈现三信号（制品累积/行为改变/指标上升），性质 1 全部从调用记录确认。但——

Reflexion 断裂在性质 3（合法化增益）：加载记忆后 B 集上动作变化 59.8-78.2%（噪声 46.7%）、整体通过率上升（B 8.0→9.2-10.3%、A 21.7→22.5-27.5%）。但恒等式 P(pass)=P(legal)×P(pass|legal) 分解后：整体通过率的上升全部来自合法率上升——合法通过率 12 种组合无一改善、低噪声的 B 集上反而降 1.6-4.4 个百分点；六个记忆全部同时提升整体通过率与合法率、全部降低合法通过率。状态级配对一致：新通过状态多来自非法变合法，双方都合法的状态上净变化为负。记忆压制了违规但不产生选择增益。空记忆重跑三率变化仅 +2.5/+2.4/+0.6%（噪声小）。

Voyager 断裂在性质 4（组合性推翻）：round1→full 有 459 个 B 状态新通过、73 个丢失（性质 3 成立）；对局中活四从 0/20 升到 20/20。但对局级诊断：20 局全部到达一步胜利状态、0/20 完成连五——全部是冲突状态（对手也有一步胜利点），auto_player 在第一分支（防御优先早返回）堵对手的点提前返回，自己的 immediate-win 检查与 evaluate_threats 里的「win if possible」逻辑永远到不了。20 局不同种子收敛到四条相同走子序列（G1-G4）——每条都是形成活四、两个制胜点空着、move 19 去堵对手、move 20 被对手连五。每个组件单独正确：evaluate_threats 的赢棋逻辑对、auto_player 防御优先在只有对手有制胜点时合理、create_open_three 驱动的攻击制造活四——但这些攻击让冲突状态频繁出现，组合起来推翻了已建立的效果。

DGM 断裂在性质 5（仅损失漂移）：OB-3 通过 checkpoint——vs P0 有 522 新通过/139 丢失（净+383，性质 2/3 成立）、20 局中 19/19 完成所有一步胜利（性质 4 成立）、胜 19 局仅比 P0 少 1——OB-3 已形成能力。但谱系级：OB-5、OB-6 零新增只丢失（−103/−29）且胜局跌到 0；OB-7 在 7,234 状态差异池上与 OB-6 只差 1 个状态——修改几乎到不了实际决策；与此同时演化分数还在从 OB-3 向 OB-5 上升。信号说演化在进步、谱系说能力在流失。

三个断裂落在三个不同性质上这一事实本身是论文最强的论证：任何单一性质或信号都不能替代完整链诊断。

5.5 How Agent Skills Evolve：八项发现的量化图景

RQ1.1 组件分布：metadata/workflow/knowledge 出现于 99.9%/98.2%/97.8% 的技能，resources 仅 50.6%、代码脚本仅 14.6%——技能目前主要用于结构化提示/流程指导/领域知识，多数不带自定义可执行逻辑。细粒度：92.5% 有功能描述，但仅 35.2% 含验证步骤、49.6% 含恢复指令；28.9% 缺触发条件、36.4% 元数据不完整——检索与可靠执行双双欠缺。

RQ1.2 演化频率：58.5% 技能演化事件少于 5 次、4% 超过 20 次；高频演化技能中 86.9% 是含辅助文档/脚本/项目特定资源的包——复杂与项目耦合技能更易被反复修订。83.1% 连续演化间隔 <1 周、仅 6.0% 超一个月——早期使用反馈驱动的快速调整，之后趋于稳定。

RQ2 修改位置（5,628 个高活跃技能，>40 star 仓库且 >10 commit）：workflow/knowledge/metadata 合计占组件级变更 86.0%，workflow 单独 40.0%；细粒度 workflow execution 18.6% 与 knowledge internal guidance 14.7% 最多；验证仅 4.7%、恢复仅 7.1%——可靠性导向组件在构造与变更中都被忽视。

RQ3 变更模式：知识丰富 9.00%、流程精炼 8.50%、可追溯元数据变更 7.59%、知识修改 7.34%、流程扩展 6.14% 居前五（合计 38.57%）；结构性变更稀少——知识重构 1.74%、流程整合 0.07%、制品重构 0.63% 合计仅 2.44%。简化类合计 13.13%（不必要制品清理 3.99%+表达简化 3.63%+去重 3.44%+流程简化 2.07%），例：deep-research 技能移除任务完成后反复运行的更新检查流程以减少冗余步骤与工具开销——上下文长度压力的真实信号。

RQ4 动机：Perfective 占 50.37%（超过其余三类之和）；细粒度完整性改进 15.61%、知识改进 9.76%、检索改进 9.38% 居前。安全增强类动机稀少且收效有限：1,156 个安全动机 commit 人工筛得 876 个有效案例，Cisco 扫描器仅 15.2% 高危/严重风险下降（72.3% 不变、12.5% 反升）、Snyk 仅 10.8% 下降（81.8% 不变、7.3% 反升），平均下降率 13.01%——安全意图与安全效果之间存在系统性鸿沟。

5.6 指标如何支撑各自的核心主张

• Route Anything 的主张「路由最可靠的收益是够用的便宜路线」——8.82× 平均效率 + 认证 200/200 vs 拟合 12.5% 的对照就是证据；学习路由器的 +0.30 小但每组分解（视频 +2.12、机器人 +1.10 且省 24% 时间）说明增益集中在候选互补处；
• Joules-to-GDP 的主张「最强模型默认不再最优」——Gemma 4 31B 的 2.5×/2.8× NVJ/TSJ 与 GPT-OSS 120B 同成本同时间却省 68% 能量的两组对照；
• Silent Instrument Errors 的主张「仪器是测量的一部分」——四个案例全部「无异常但数值错」，且每个都能从管线已有的一个数字暴露（被评分比例、全 span/根 span 倍率、动作来源标签、评分器版本+重评 diff）；
• Artifact-to-Capability 的主张「信号式评估不能判定能力形成」——三个反例三信号全真却分别断裂在性质 3/4/5；
• How Agent Skills Evolve 的主张「可靠性是系统性缺口」——构造端（35.2% 验证）与演化端（4.7% 验证变更）双重数据，加上安全变更 13.01% 平均风险下降率的意图-效果鸿沟。

六、效果优势的根源解释

6.1 机制 A：候选互补性决定路由上限，信息粒度决定可达 fraction（Route Anything）

因果链：候选池中逐输入最优者随输入变化（oracle gap 5.4 分证明上界存在）→ 路由器的可达性能被其可观测状态的粗细卡住（Proposition 3 信息阶梯）→ 类型级状态只恢复 8% 差距、benchmark 级仅 0.4%——增益埋在类型内部的逐输入波动里 → 学习路由器只能在候选互补的组（视频 +2.12、机器人 +1.10、agent +0.77）拿到提升，在单一候选占优的组持平（10/16 benchmark 差距 <0.01）→ 结果回归学每个候选的条件期望（命题 4a 保证达到 V*(x)），赢家标签被延迟 tie-break 污染（94% 标签非能力决定）→ 42.8% vs 71.6% 的机器人成功率差距。【论文实验已支持】

更深一层：为什么成本端收益远大于质量端？候选间质量差 4-14 分（均值）但价格差可达数倍——CodeRouterBench 上 Opus 4.6 的准入价 2.9η_B 远低于零损失下界价 4.2η_B，故零损失最优路由器根本不调用参照（Corollary 6），25.5× 效率来自「质量近flat、成本陡峭」的市场结构。【论文实验已支持】这一结构是否随模型市场演化而持续，论文未测——若未来候选质量-价格前沿变平，路由收益将萎缩。【阅读者推测】

6.2 机制 B：能量是比成本与时间更诚实的分母（Joules-to-GDP）

因果链：执行成本按分摊资源×公开价格计价、完成时间只记流逝分钟 → 两者都看不到计算/访存/等待期间的实际功率积分 → GLM 5.2 与 GPT-OSS 120B 成本差 3.1%、时间差 2.1%，能耗差 68% → 能量把模型效率、硬件效率、批处理策略、工具等待、失败重试全部卷进一个稳定物理量 → 单位回报排序（Gemma 4 31B 第一）与前沿位置（GLM 5.2 高端锚点）分离，「选哪个」变成能量预算约束下的显式选择。【论文实验已支持】

参照系效应值得单独强调：expert-with-AI 参照下 NVJ −70%/TSJ −65% 不是模型变弱了，是质量门槛抬高（assisted 交付物更强）且可替换工时压缩（assisted 专家本就快 23%）——「评测参照系决定结论」的方法论警示。【论文实验已支持】

适用边界：220 个 benchmark 任务、OEWS 中位时薪计价、win-or-tie 二元记分（保守但粗）——真实劳动力市场的替代效应、部分信用、跨任务组合都未覆盖；作者自陈「这些回报是否超出本 benchmark 成立有待检验」。

6.3 机制 C：局部合理决策的组合静默失效（Silent Instrument Errors）

因果链：交互式基准把评分挂在终止事件上（局部合理的 episode 定义）× 新 scaffold 自带结束方式（Generalist 发消息退出）→ 评分不触发、缺评分存为零分（合理默认）→ 半数 episodes 的失败是仪器制造的 → 日志分层（wrapper/provider 各自插桩）× 全 span 求和（「不漏掉任何调用」的合理聚合）→ 嵌套双计且随 client 路径不均匀 → 评分器重放 gold × 共享列表 append（最忠实的参考态构建方式）→ agent 记录被污染且污染随 agent 行为少而加重 → 评分器版本演进 × 档案冻结 → 重评即新测量，模式检查读错文件时宽松重放「警告继续」地算出 0.72→0.10 的数字。【论文实验已支持——每个案例的机制链都有隔离证据：同伴文件重评回原分隔离 solo 检查病因；空重跑三率变化 +2.5% 隔离噪声；133/134 运行报告值=全 span 和锁定聚合规则】

作者的机制推广论证（Section 4）值得完整转述：每个交互式基准都把评分挂在终止上、每个经 wrapper 库记录的排行榜都可能嵌套 span、每个有状态评分器重放 gold 都可能写进 agent 记录、每个改评分器又留旧结果的基准都有版本问题——没有一条是 HAL 或 τ2-bench 特有的。「发现它们很便宜、排行榜很少被重推，这是未发现案例预计多于已发现案例的情形。」【论文论证已支持，但属机制外推而非直接测量——作者也承认「期望更多错误在别处」是基于机制的论证而非普查】

6.4 机制 D：压缩丢条件，组合埋冲突，选择压漂移（Artifact-to-Capability）

三条子机制分别解释三个断裂：

Reflexion 合法化增益：反思记忆压缩的是「规则教训」（别下在占用点）而非「战术选择知识」（哪个合法点更好）→ 合法率升、合法通过率降（在双方都合法的状态上净变化为负）→ 整体通过率的上升是合法率乘积效应的假象。P(pass)=P(legal)×P(pass|legal) 这个恒等式分解是整个诊断最锋利的一刀。【论文实验已支持】

Voyager 组合性推翻：攻击技能制造活四（正向效果）→ 活四+对手威胁=冲突状态频繁出现 → 调用脚本固定顺序查询+首次命中即返回（防御分支在前）→ 冲突状态下自己的赢棋检查永远不执行 → 单组件全部正确、系统整体 0/20。这暴露了「按组件评估技能库」的根本缺陷——单元必须是冻结系统。【论文实验已支持】

DGM 仅损失漂移：演化分数（选择的信号）与谱系真实效果（新增/丢失状态计数）脱钩——OB-5/OB-6 分数上升却零新增只丢失、OB-7 的修改几乎到不了行为（7,234 状态差 1 个）。当选择信号是代理指标时，演化可以在「分数进步」的同时系统性地流失已形成的能力。【论文实验已支持】

论文自陈的边界：三种机制三种制品形态（文本记忆/技能库/代码谱系），未覆盖多 agent 共演化与直接参数更新；结论限于自由五子棋的局部可枚举任务关系——开放任务上如何操作化五性质链是开放问题；不同基座/更长演化/多次运行是否移动断裂点未测。

6.5 机制 E：自然语言制品的维护经济学（How Agent Skills Evolve）

因果链：技能是自然语言制品、正确性边界模糊 + LLM 执行的随机性 → 开发者被迫持续 Perfective 精炼（50.37%）而非一次性写对 → 验证/恢复组件写时缺（35.2%/49.6%）、改时少（4.7%/7.1%）——因为效果不可直接观测、维护激励偏向可感知的完整性与检索性 → 项目耦合技能随依赖演进而高频变更（86.9% 高频演化者带脚本/资源）→ 手工维护成本集中在少数复杂技能 → 简化类变更占 13.13% 反映上下文压力真实存在 → 安全意图-效果鸿沟（平均 13.01% 风险下降率）：开发者以为改了就安全了、扫描器看不懂意图只看模式 → 需要可执行的技能回归测试。【论文实验已支持；「激励偏向可感知属性」的因果解读含阅读者推测成分——论文给出了分布事实与可能解释，未做干预实验】

6.6 相关工作检索与对照

围绕上述机制，本次检索覆盖的关键外部工作如下（检索工具：WebSearch；时间：2026-11-05；未找到直接对某机制做因果检验的工作时如实标注）：

检索范围说明：覆盖模型路由、AI 经济测量、排行榜审计、自演化评估、技能生态五个方向的检索词变体。未发现：(1) 对「能量 vs 成本 vs 时间作为 AI 效率分母的差异」做更早系统比较的工作（Joules-to-GDP 自称首例）；(2) 在开放任务上操作化五性质能力链的先例；(3) 对「评分器触发机制×scaffold 结束行为」交互做形式分析的工作（Silent Errors 的四个暴露面分类为首个）。

6.7 综合判断与未决问题

多研究共同支持的机制：

• 「代理指标与真实效果系统性脱钩」——Route Anything 的赢家标签（94% 由延迟决定）、Artifact-to-Capability 的演化分数（OB-5 分数升能力降）、Skills Evolve 的安全意图（13.01% 转化率）、Silent Errors 的排行榜分数（仪器制造的一半失败）四项独立收敛。这是本组五篇最稳固的结论。
• 「测量点应下沉到可执行/可重放的物理层」——Route Anything 认证协议用独立输入检验、Joules-to-GDP 用 IPW 硬件计量、Silent Errors 用低层记录重推、Artifact-to-Capability 用规则程序独立判效。

仍属推测或证据不足：

• 路由收益的市场结构依赖性（若质量-价格前沿变平 8.82× 是否持续）——无人测过【阅读者推测】；
• Silent Errors 的「别处预计更多」是机制外推，作者明示非普查；
• Skills Evolve 的 LLM 打标 0.816-0.913 准确率意味着约一成标签噪声，分布结论稳健但尾部类别（如 0.07% 的流程整合）精度有限。

优势成立的条件与失效条件：

• Route Anything 的学习路由增益需要候选互补（图像生成 124 配置无一胜出证明单候选占优时无效）；认证协议需部署分布可采样 i.i.d.；
• Joules-to-GDP 的 NVJ 排序依赖 judge 质量（71.9% 人一致率是可接受而非优异）与 OEWS 时薪计价的外部效度；
• Silent Errors 的四项检查暴露四类错误但不构成完备集——作者自己列举的四暴露面之外（如沙箱逃逸、网络拦截）未覆盖；
• Artifact-to-Capability 限于规则可判效的任务关系；
• Skills Evolve 的 RQ2-4 基于 >40 star 且 >10 commit 的活跃子集，向低活跃技能的外推有限。

七、必要知识反推

假设让一个没有背景的人重做这五篇工作，最少必须知道什么？

7.1 领域知识层

• 候选池生态：当前语言模型/图像/视频/语音生成器与机器人策略的市场格局与价格量级（一张图 $0.04-0.21、一个视频数百秒推理）——不知道价格结构就理解不了 25.5× 从哪来。
• 职业经济计价：OEWS 职业中位时薪、GDP 部门份额、就业份额——产出价值的计价原料；expert-only 与 expert-with-AI 双参照的劳动经济学含义。
• 交互式基准的评分机制：TAU-bench/τ2-bench 的终止事件（转人工工具/用户 stop token）、状态对比奖励、gold 重放——四个仪器错误的解剖学基础。
• 自演化机制的制品形态：Reflexion 文本记忆、Voyager 技能库+调用脚本、DGM 代码谱系——三种代表性压缩-复用结构。
• 软件维护分类学：Corrective/Adaptive/Perfective/Preventive 的经典划分——技能演化分类学的母体。

7.2 方法论知识层

• 分数规划与 Dinkelbach 方法：比值目标 max E[V]/E[D] 的经典求解；LP 对偶给带约束版本的多子。
• 统计检验工具箱：Hoeffding/empirical-Bernstein 界、固定序列检验（无需多重校正的条件）、成对 bootstrap 置信区间、配对比较设计。
• 测量学：效率 vs 前沿两个视图的互补性、参照系选择对结论的塑造（NVJ −70% 案例）、活跃请求分摊式这类会计规则。
• 审计方法论：从低层记录重推高层指标并比对的「重推-对照」法；隔离变量的同伴对照（同伴文件重评回原分）；独立双实现复现。
• 受控诊断设计：恒等式分解（P(pass)=P(legal)×P(pass|legal)）拆乘积效应；冻结系统作为分析单元；噪声基线（两次空运行差异 46.7%）。
• 大规模实证标注：95% 置信 ±5% 误差的最小样本量计算、双人独立标注+共识复核、分类学稳定性追加检查、LLM 打标对人工的验证协议。

7.3 工程知识层

• vLLM/OpenHands 部署与 IPW 功率计：批量服务、张量并行的通信开销、GPU/CPU/DRAM 功率读数与积分。
• tracing 库的 span 结构：wrapper 调用与 provider 调用形成父子 span、同一 response 与 usage 块出现两次——成本双计的机制；根 span 聚合或按 response ID 去重的修法。
• τ-bench 环境对象与重放机制：step 函数 append 到共享列表、gold 重放污染 agent 记录——分离环境或分离列表的修法。
• GH Archive 挖掘：push 事件流、pattern 搜索、commit patch 的非空白行过滤——技能演化数据集的工程。

7.4 知识融合的关键节点

1. 分数规划 × 模型市场结构（Route Anything）：η* 作为 Φ(λ) 的根这个抽象结果，落到 CodeRouterBench 上就是「零损失路由器从不调用 Opus」——理论物件（准入价 λ_B）变成工程决策（要不要留参照在菜单里）。
2. 国民核算 × 硬件计量（Joules-to-GDP）：OEWS 时薪×专家工时（劳动经济学）对 IPW 焦耳积分（计算机体系结构）——两个不相邻领域的量纲焊接出 NVJ。
3. 分布式系统追踪 × 评测审计（Silent Instrument Errors）：成本列错误的根源在 observability 领域早有定论（span 去重），把它带进 agent 排行榜审计是跨域移植。
4. 软件测试哲学 × 自演化系统（Artifact-to-Capability）：「覆盖率分解」思想（把一个指标拆成条件概率链）迁移到能力判定上。
5. 软件工程实证 × 提示工程制品（Skills Evolve）：把 commit 挖掘与维护分类学这套 40 年老手艺对准 SKILL.md 这一新制品类型。

八、论文中可以提取的通用性灵感

灵感一：把「值得」表达成参照生成的价格，而不是手拍预算。

核心思想：优化目标里的价格 λ 不该人工设定——固定参照政策与质量容差 ε 之后，价格是被定理决定的输出（λ_ε=η*_ε/(1+κ)），且带下界的最优解仍是该价格下的最优解。

论文证据：Route Anything Theorem 2(ii) 与认证价格；CodeRouterBench 上零损失路由器从不调用 Opus（25.5× 效率）。

推广场景：(1) 云成本优化中以当前方案为参照、容差生成影子价格决定是否切换；(2) 特征工程中以现有特征集为参照决定新特征的准入价；(3) 供应链中以上一代物料为参照的替代决策。

灵感二：换一个不会被操纵的分母，排序会整个翻转。

核心思想：当现有分母（成本、时间）与被测量的投入脱钩时，找一个物理上稳定、端到端覆盖的分母（焦耳）——同一批系统在新分母下重排，暴露旧分母看不见的差异。

论文证据：GPT-OSS 120B 与 GLM 5.2 成本差 3.1%、时间差 2.1%、能耗差 68%；Gemma 4 31B 以 23% 能耗产 56% 价值。

推广场景：(1) 招聘中以「产出/薪资带宽」替代绝对薪资评估性价比；(2) 算法工程中以「吞吐/瓦特」替代「吞吐/美元」评估推理服务；(3) 农业以「卡路里/立方米水」替代「卡路里/公顷」评估作物。

灵感三：审计任何数字时，从低层记录重推一遍。

核心思想：高层指标（排行榜分数、成本列）不携带生产过程信息，静默错误只能靠「从更低层的记录独立重算再比对」暴露——重推-对照是审计的黄金准则。

论文证据：Silent Instrument Errors 全部四案例的发现手法；133/134 运行报告用量=全 span 和直接锁定聚合规则。

推广场景：(1) 财务审计从原始凭证重算报表科目；(2) A/B 测试平台从原始事件日志重算指标口径；(3) 科研复现从原始数据重跑统计代码。

灵感四：把复合指标拆成条件概率/依赖链，逐级判定。

核心思想：一个上升的总体指标可能是多个分量乘积的假象——用恒等式分解或依赖链逐级检查，找到第一个不成立的环节，后续环节不必再判。

论文证据：Reflexion 的 P(pass)=P(legal)×P(pass|legal) 分解；五性质链的顺序诊断原则。

推广场景：(1) 转化率漏斗分解（展示→点击→加购→支付）；(2) 模型推理延迟分解（排队→prefill→decode）；(3) 教育成效分解（入学→出勤→达标）。

灵感五：代理信号的制造者会适应信号，链条本身不会说谎。

核心思想：当选择压力作用在代理指标上（演化分数、扫描器通过、排行榜名次），被优化对象与真实目标的脱钩是结构性的——须直接测真实目标（能力谱系、风险下降率、重放一致性）。

论文证据：DGM 演化分数升而能力仅损失漂移；安全 commit 仅 13.01% 带来扫描器可见的风险下降；Generalist 排名是评分触发机制的产物。

推广场景：(1) Goodhart 定律的 everywhere 检查清单；(2) 推荐系统离线指标对在线体验的回归测试；(3) 合规审计从「通过检查项」转向「重放真实场景」。

灵感六：为你的测量仪器发布「仪器面板」。

核心思想：每个分数旁附上管线自检数字——被评分比例、聚合倍率、动作来源标签、评分器版本——四行代码的成本换「下一个静默错误被排行榜自己抓住」。

论文证据：四项检查全部来自管线已有的数字；graded fraction 一列（0.30，graded 51%）就能拦住错误结论。

推广场景：(1) 数据管道的数据质量仪表盘（行数比、schema 漂移）；(2) 实验平台的样本比例与分配一致性看板；(3) CI 的覆盖率与 flaky 测试率随构建发布。

灵感七：可靠性组件要在制品模式里显式建模，不能靠事后补。

核心思想：自然语言制品的验证/恢复逻辑在构造时最容易被省略（写的人关注流程）、在维护时最少被触及（改的人看不到失效）——把执行契约（预期输出、校验判据、恢复动作）做进制品 schema 本身。

论文证据：35.2% 技能含验证、4.7% 的变更是验证；Artifact-to-Capability 的性质 3 断裂显示缺了校验判据连「变好还是 merely 变了」都无法判定。

推广场景：(1) API 文档强制含错误码与重试语义；(2) 运维 runbook 必须有验证步骤与回滚段；(3) 提示模板库带输出 schema 与失败示例。

附录：五篇论文的审稿视角快评

• Route Anything：矩阵工程量（374,401 次打分）与理论完备性（五命题+证明）俱佳，信息阶梯与「学结果不学赢家」是可迁移的概念贡献；学习路由器 +0.30 的绝对量小、图像生成负结果如实报告加分；受限之处是多数 benchmark 无记录成本（λ=0 为主）。NeurIPS/ICLR 口径的扎实系统+理论工作。
• Joules-to-GDP：NVJ/TSJ 指标定义清晰、双参照设计与三组对照实验（职业/模型/加速器）完整，作者阵容（Hennessy/Ré/Mirhoseini）背书体系结构视角；judge 单点依赖（71.9% 人一致）与 220 任务规模是主要边界；经济学与 ML 两个社区都会引用它。
• Silent Instrument Errors：单作者、纯工件审计、四个案例全部定量且三个获维护者五周内确认——测量研究范文级别的严谨（含自我纠错的透明记录）；「仪器是测量的一部分」这一论题的实证化是概念贡献；外部效度靠机制论证而非普查，作者诚实标注。
• Artifact-to-Capability：五性质链+三尺度诊断的形式贡献大于实证规模（三机制一环境），但三个反例的设计（每个断裂在不同性质上）论证密度极高；自由五子棋的选择聪明但外推路径未铺完——开放任务的操作化是它留给社区的作业。
• How Agent Skills Evolve：84,200 技能/750,898 commit 的数据集本身是社区资产，分类学构建规范（双人标注+稳定性检查+LLM 打标验证）、八项发现全部量化；RQ2-4 的活跃子集选择带来外推限制已如实声明；ICSE/FSE/ASE 口径的扎实实证。

五篇合起来的启示可以压缩成一句话：Agent 评测的下一步，是把「值得」算清楚（价格、焦耳）、把「分数」审到底（仪器、性质链、commit 历史）——前者是经济学，后者是可信性，两者共同构成评测作为一门科学的地基。