Skill∞ × Δτ-Bench × Skill Adaptation：技能自演化的三道关卡 精读

论文 1：Skill∞: Recursive Self-Improvement for Agent Skill Optimization 代码仓库：github.com/taowangcheng/Skill-Infinity（论文声明将开源） 发表时间：2026年10月 机构：新加坡国立大学 + 香港城市大学（高校间合作，通讯作者在城大） 领域标签：cs.AI

论文 2：Δτ-Bench: Pushing Agents Toward a Moving Capability Frontier 代码/数据：zjunlp/delta-tau-bench 发表时间：2026年10月 机构：浙江大学 + 伦敦大学学院（UCL，跨国高校合作，共同一作与共同通讯分布两校） 领域标签：cs.CL

论文 3：Evolving to Match Capabilities: Improving Harness Self-Evolution via Skill Adaptation 项目主页：zhihaoyang30.github.io/skill-adaptation 发表时间：2026年10月 机构：中国科学院大学、中科院软件所、清华大学、UC Santa Cruz、新加坡国立大学联合，含 1 名独立研究者（无企业参与） 领域标签：cs.LG

三篇论文同日前后亮相，恰好拼出「技能自演化」完整的攻防图景：优化器自己能不能被优化（Skill∞）、演化生态里技能库怎么不腐坏（Δτ-Bench/STEWARD）、技能收益如何匹配执行者的能力（Skill Adaptation）。本文把它们当作一个整体来精读。

一、论文背景

从「会干活」到「会攒经验」的 Agent。 早期的 LLM Agent 是「一锤子买卖」：模型接到任务、调用工具、交付结果，下次遇到同类任务还得从零摸索。为了让经验沉淀下来，社区逐渐形成了 Skill（技能） 这一载体——它像一个「岗位操作手册」的文件夹：一个 SKILL.md 声明技能的名字、描述与正文指令，还可以捆绑可执行脚本、参考文件等资源。Anthropic 的 Agent Skills 规范把这一格式变成开放标准，Claude Code、Codex、OpenCode 等主流 harness（脚手架/执行框架）都能加载同一份技能包。Harness 自进化（harness self-evolution）则指不动模型参数、只靠改写这些外部脚手架（提示词、技能、工具配置）来让 Agent 变强。

原生技能发现（native skill discovery）与渐进披露。 技能不是硬塞进上下文的，而是 Agent 先只看到每个技能的「名字 + 描述」，判断当前任务用得上才加载完整指令，需要时再打开捆绑的脚本与参考文件。这个机制意味着：一个技能再好，如果描述写得不吸引人、或者 Agent 判断失误没加载它，就等于不存在。Skill∞ 特别强调评估要在这种「与部署一致」的条件下进行，而不是把技能强行注入提示词。

递归自改进（RSI）的旧梦。 RSI 指系统不仅改进任务表现，还改进「产生这些改进的程序」——从 Good 1966 年的智能爆炸猜想，到 Schmidhuber 的 Gödel 机（程序重写自身代码且重写需被证明有益），一直是 AGI 愿景的核心。STOP 等工作在 LLM 上实现了「代码脚手架改进自身」，但作者也承认这不是完整 RSI，因为底层语言模型没变。技能格式的妙处在于：优化程序本身也可以写成一个技能——改进的目标和改进的工具成了同一种东西，RSI 因此有了直接、可解释、跨 harness 的落点。

但三道关卡横在面前。 第一道：现有技能优化器（SkillOpt、CoEvoSkills、SkillEvolver 等）遵循手工设计的固定流程，在一个技能上学到的优化经验传不到下一个；连演化 meta-skill 的 MetaSkill-Evolve 也把 meta-skill 锁在固定五角色管线里、且与单个任务技能绑定。优化器本身不能被优化，迟早停滞——这是 Skill∞ 要闯的关。第二道：现实里公司的工具生态是几十个部门独立维护、不断退役替换的，学到的技能随时可能失效；而现有基准要么固定服务结构、要么只测单维能力，「任务成功」还会掩盖「错过更优路径」——这是 Δτ-Bench 要闯的关。第三道：技能写对了不等于用得动——同一个技能，强模型如虎添翼，弱模型可能纹丝不动甚至被拖累；技能的收益到底是谁的属性——这是 Skill Adaptation 要闯的关。

同日的两件工作可以作为背景板：Trustworthy RSI 综述（arXiv:2610.35193）把 RSI 过程拆成「诊断—提案—评估—实施」四步加一个递归作用于更新机制的环节，并系统警告「自修改不保证可信改进」；CLE 基准（arXiv:2610.33956）用 120 个任务×5 级阶梯测持续学习，最强系统 K=2 也只过 47.7% 的级别、全五级通关率仅 23.3%。它们共同说明：技能自演化远未解决，且需要可信与持续性的双重视角。

二、论文定位和关联工作

按研究谱系组织三篇论文各自的学术坐标。以下相邻工作均出自三篇论文自身的 Related Work，本文不做外部扩展。

2.1 谱系一：递归自改进 / 自进化 Agent（Skill∞ 的战场）

• Gödel 机传统：Schmidhuber 2003 年形式化「重写自身且重写可证明有益」；Huxley-Gödel 机、Darwin Gödel 机、Gödel Agent 把它落到 LLM 编码 Agent 上——但它们的优化器是一段程序，改它要改代码。
• STOP（2024）：代码改进脚手架运行于自身代码，作者自己承认「不是完整 RSI」。
• 技能优化线：SkillOpt、CoEvoSkills、SkillEvolver 从执行反馈优化技能，但流程手工设计、经验不跨任务迁移；SkillEvolver 把优化流程写成一个固定的 meta-skill。MetaSkill-Evolve 更进一步让 meta-skill 可演化，可是五智能体管线的角色与接线写死，且每个 meta-skill 与它共同演化的任务技能绑定、每个任务重学一次。
• Skill∞ 的差异化：优化器（meta-skill）本身是优化目标，且同一个 agent 主导的过程既作用于任务技能也作用于 meta-skill 自身；meta-skill 与任务技能解耦，在多域「技能优化任务」上精炼一次、处处复用；两级技能都走原生技能发现加载。

2.2 谱系二：工具使用基准与技能演化生态（Δτ-Bench 的战场）

• 静态工具基准：早期测 API 选择、参数生成、多工具组合（ToolBench 系）；τ-bench/τ2-bench 引入有状态多轮交互；大规模工具检索基准测从上千工具里找对工具。
• 鲁棒性基准：对 API 做扰动或对 MCP 服务器做受控突变，测 Agent 对工具变更的稳健性——但通常限制工具发现。
• 效率导向基准：测成本感知重规划、执行条件变化下的开销。
• 技能演化线：Trace2Skill、SkillRevise、SkillDAG 等从轨迹蒸馏技能、做生命周期治理，但都在稳定的操作底座上演化、只看最终任务成功。Δτ-Bench 指出这些能力此前「各自为战地被评测」——大规模检索、有状态执行、效率感知适应从未在同一个受控演化生态里联合考察。Δτ-Bench 是第一个统一三者的基准，STEWARD 则把技能演化重新定义为「生态级适应」。

2.3 谱系三：Harness 进化与技能收益（Skill Adaptation 的战场）

• Harness 进化：ADAS（搜索 agent 设计）、Darwin Gödel Machine、Agentic Context Engineering（演化上下文）、Hyperagents（让「元级修改程序本身可编辑」）、Self-Harness（自挖失败轨迹做有界编辑）、Meta-Harness（用更强外部优化器调弱模型的 harness）。
• 技能收益评测：SkillsBench（配对人工技能测增益）、SWE-Skills-Bench、Tessl（规模化技能评测）、DocOps（可验证文档操作）。
• 先兆证据：Yu et al. 2026 发现「技能写一次、原样发给所有模型」是脆弱的，但「固定技能的收益如何随模型能力变化」无人系统研究。Skill Adaptation 补上这块：技能增益按能力分层的量化 + 失败归因 + 干预实验三步走。两个最近亲：Meta-Harness 对应它的「强模型一次性改写」设定，Self-Harness 对应它的「弱模型自进化」设定。

2.4 三篇论文的定位总览

定位结论：三篇论文分别占据技能自演化的「生产侧」（怎么优化）、「环境侧」（在什么生态里演化）、「消费侧」（谁来用技能），合起来构成一个闭环的审视。

三、问题定义

三篇论文把各自的具体场景抽象成了三个互补的形式化问题。

3.1 Skill∞：让优化目标与优化程序同构

• 具体场景：给定种子任务技能与训练任务，自动优化出更好的技能。
• 核心洞察：技能包既能装「怎么干活」（任务技能），也能装「怎么优化技能」（meta-skill）——改进的目标与改进的工具是同一种数据结构。
• 形式化：任务 τ =（指令，环境，验证器），技能 s 在任务集 T 上的得分 S(s;T) 为多次试验奖励的任务宏平均。任务技能优化：给定 s₀ 与 T，找 s⋆ 最大化测试得分。关键一步在元层：定义技能优化任务 q = (s₀^q, T_q, B_q)——在预算 B_q 内把种子技能 s₀^q 优化好。meta-skill m 的奖励是「优化后技能相对种子的增益」g(m,q)=S(s⋆_q(m);T_q)−S(s₀^q;T_q)，在优化任务集 Q 上取均值得元得分 S(m;Q)。于是同一套优化算子可以无差别地作用于 s 或 m——递归就此闭合。
• 精妙之处：元得分用「内层优化的增益」来给 meta-skill 打分，把「优化器好不好」翻译成了「被它优化出来的技能好不好」，完全建立在可自动计算的任务奖励之上，无需人工评判优化器质量。论文同时刻意把打分环节排除在自我改进范围之外——收益只能来自更好的优化，不能来自篡改奖励。

3.2 Δτ-Bench：能力前沿移动下的持续适应

• 具体场景：大公司统一入口后面的工具生态由各部门独立维护：旧工具退役、新工具上线、功能重叠、文档有噪。
• 核心洞察：任务成功可以掩盖错失的机会——熟悉的老流程还能跑通，不代表你没错过一条新增的更短路径。评估必须比较「Agent 实际行为」与「当前生态让同一任务所能达到的最优」。
• 形式化：Agent 交互建模为 POMDP M=(U,S,A,O,P,R)，用户意图不可观测，动作=工具调用∪自然语言回复。关键扩展是给每个回合一个外生的生态版本 v：动作空间 A^(v)_tool 随版本变化，同一意图 u 的可行路径与最优路径随之改变。任务成功仍看数据库状态差分的覆盖；新增 SPE（成功加权路径效率，相对参考路径的步数/成本比）与 IDR/DAR（相邻版本间参考路径变短/变长子集上的表现）。
• 精妙之处：「能力保持变换」保证每个版本下所有基础能力仍可达（经血缘递归验证），于是同一任务在不同版本下的最优路径可比——「前沿在移动」第一次成了可执行的、可量化的实验条件。

3.3 Skill Adaptation：技能增益是二元交互属性

• 具体场景：同一个技能随任务注入不同模型的上下文，观察增益差异。
• 核心洞察：技能增益 Δ_m(T_i)=s_m(T_i,S_i)−s_m(T_i,∅) 不是技能的固有属性，而是**「技能 × 执行者」的交互属性**——问题从「技能写得好不好」变成「技能的表述是否匹配执行者的能力」。
• 形式化：按无技能表现把模型分为前沿/中等/弱三层；用阈值规则（本层增益 ≥0.10 且比弱层多 ≥0.10）筛选「技能敏感」任务-技能对；在敏感对上观察层间增益差；再对弱模型失败轨迹做首个可观察失败的归因标注。
• 精妙之处：归因单位选得极准——「首个失败」决定了标签的因果位置（更深的修复无济于事，只要更浅的断点还在）；而「86% 违反的是技能已写明的要求」这一统计，把问题从「信息缺失」重定义为「表述与执行能力的失配」，直接导出「改写技能而非补充信息」的解法。

四、问题解法

4.1 Skill∞：双循环递归的技能优化器

类比：如果说任务技能优化像「训练一个学生」，Skill∞ 相当于同时开了一门「教学法课程」——教「怎么教学生」的教材本身也在被同一套教学法不断修订。

（1）Agent 主导的优化迭代（六步）。 与「分数驱动的手工启发式」不同，Skill∞ 把搜索的方向盘交给 meta agent 的推理。每轮迭代按 meta-skill 中定义的六步走：①检查档案（archive，完整优化历史）；②请求父本技能的 rollout 并诊断执行轨迹；③据诊断创建 1–2 个候选（每个附提案 proposal：观察、改动、预期效果、可证伪结果）；④评估候选并归档；⑤提交独立评审；⑥决定继续/停止并选择下一父本。诊断能发现「分数尚未反映但确有进展的改动」（如打平的候选恰好修复了目标失败），从而像进化搜索保留低适应度个体一样逃出局部最优；也可回溯到早期版本。

（2）独立评审。 评审员在隔离上下文中运行，看不到 meta agent 的 deliberation，只依据父本/候选包、提案与证据裁决。三类候选必拒：无实质改动、从未被激活、按原文不可用——这些候选的增益只能来自运气，拒绝它们防止把噪声当进步。对 meta-skill 候选，还额外验证「meta-skill 的核心职责（包括评审本身）保持完好」。

（3）自适应预算分配。 每轮生成几个候选（广度探索 vs 深度追索）、何时停（失败持续就继续，诊断发现没得改就停）都由 meta agent 自己决定，跨目标技能不再用同一张固定时刻表。

（4）递归环与解耦。 meta-skill 既是 meta agent 遵循的程序又是被优化的对象——agent 一边照着它做、一边修订它。修订后的 meta-skill 在技能优化任务上评测（元得分=内层优化增益均值）。meta-skill 先在多域优化任务上从 m₀ 精炼到 m⋆，再统一服务后续所有任务技能——元得分在 Q 上平均天然偏好「跨域通用」的修订，自改进成本也被摊薄。

（5）两级原生技能发现。 任务技能与 meta-skill 都装进 harness 标准技能目录，Agent 只见名字与描述、自行决定加载——描述本身因此进入优化范围。不注入、不提示，测出的增益才等于部署增益。

4.2 Δτ-Bench + STEWARD：移动前沿的构造器与生态管理员

类比：Δτ-Bench 像一台「地壳运动模拟器」——保证每块大陆（能力）都在，但不断改变海峡与桥梁（接口）；STEWARD 则是随行的「地图养护员」，地形变了就修地图，还负责把你可能需要的那几页递到手上。

（1）基准构造四步。 ①任务地基：42 个域展开为角色化场景，实体-关系图→服务蓝图→带策略的有状态 MCP 服务；从接口与策略采样工具依赖路径，回放验证每个动作都成功，得到 1,588 个多轮任务（1,191 训练/397 测试）与黄金轨迹。②能力保持变换：三种形态——一对一（改名/加参/改格式）、一对多（拆分成需协调调用的多个接口）、多对一（把任务轨迹中的连续步骤合并成一个接口）——每种候选都经一致性测试（等价输入下状态效果与外部消费输出相同）才保留。③生态采样：从基线工具集出发，每版本施加有界数量的变换；引入新实现时或保留源工具（制造重叠）或退役之（强迫走新路）；血缘递归验证所有基础能力仍可达；可选地对部分函数描述加噪，模拟过期/压缩文档。共得 6 个连续生态状态、9,528 个任务-生态实例。④参考路径搜索：把每个任务的黄金函数序列按「源块划分+每块选一个活跃实现」的组合写成动态规划，分别以步数与成本（LLM 按 1–10 分给每个工具的执行开销）为权重，求出每个版本下的步数最优与成本最优参考路径，且回放验证可行。

（2）指标体系。 SR（状态差分覆盖）；工具检索 P/R/F1；SPE=成功 × min(参考权重/实际权重, 1)（步数与成本两种）；IDR/DAR：只在「参考路径变短/变长」的相邻版本子集上计算的同类效率分——分别度量「发现新机会」与「从退化中恢复」。

（3）STEWARD 双引擎。 作为「生态管理员」，STEWARD 维护共享资源状态 B^(v)=(A^(v)_tool, K^(v))：

• 知识维护（跨版本）：技能库三层层级——planning 技能（任务级工作流）、atomic 技能（可复用操作）、tool 技能（单个工具的调用要求，链接到使用它的 atomic 技能）。版本切换时，把上一版库 K^(v−1)、当前工具目录、经环境状态验证的成功轨迹 D+^(v) 作为输入，蒸馏为对既有层级的局部编辑（增删改合适层的技能+更新链接）；再按工具依赖是否仍活跃把技能标记为 active/inactive——inactive 技能不删除，依赖恢复时可再激活；检索索引与技能图只在活跃子集上重建。
• 能力供给（任务执行中）：开局按初始用户请求检索 planning 技能构造临时计划，逐步取 atomic 技能并汇拢其引用的工具，形成任务视图（工具+程序性指导）；执行中新信息或反馈暴露「能力缺口」时，做轻量检索或跨生态的 agentic 搜索/检查，动态补进视图。工具与技能联合供给。

4.3 Skill Adaptation：失败模式驱动的技能改写协议

类比：给新员工的不是更厚的操作手册，而是按他「在哪一步卡住」重写的版本——卡在开头的给他「哪些名字是能点的按钮」，卡在结尾的给他「交卷前必须重算一遍」。

（1）诊断先行。 在 103 个技能敏感对上读三个弱模型的完整轨迹，对每条轨迹标注首个可观察失败，共得 131 个标签、四类失败模式：工具执行（一两次调用后停摆、把 xlsx 之类文件格式当工具、错误不恢复）；上下文管理（把技能里的示例/参考文件当成当前任务、产物存错路径）；指令遵循（干了一堆活但漏掉技能已写明的要求，尤其多段要求只做一部分）；验证（产出齐全但数值与验证器重算不符，过程中无任何有效检查）。

（2）meta-skill：固定的任务无关改写协议。 把四类模式翻译成改写规则：工具执行→开头区分「可调用工具 vs 文档」、加环境预检、给首个可能失败的 fallback、给出可逐字执行的命令；上下文→开头声明用户任务、修改范围、交付路径，一句话说明「其余内容是参考资料不是新请求」，需要的内容直接内联；指令遵循→每条要求改写成「动作—目标—完成条件」一行（含负分支），「多写」无济于事因为文本本来就在；验证→结尾加强制独立检查：从磁盘重读产物、换方法重算、与显式阈值比较、循环直到通过。「写了文件」「没报错」不算证据。协议总则：只改证据牵连的段落、不整体重构；保留任务可能需要的能力，只砍执行器用不了的部分；不得发明不存在的函数/路径；不得粘贴期望输出（否则拒绝）；证据不支持就返回 NO_CHANGE。

（3）两种用法。 一次性技能适配：强改写器只看任务+原技能+执行器工具列表（无执行证据）改写；自进化循环：执行器即改写器，每轮拿到上一轮的分数、轨迹摘要、验证器输出，按协议改写自己的技能，跑五轮（线性链、不选优、不回滚）。两臂仅系统提示不同（有/无 meta-skill），并有严格的有效性门：可加载性（frontmatter 之名不变、64k 字符预算）与防答案泄漏（出现隐藏测试中的特定 token 即拒绝，被拒则回落原技能并照常计分）。

五、评估指标与实验证据

5.1 Skill∞：自动技能首次全面超过人工技能

指标体系：主指标为 SkillsBench 83 任务上的 avg@5 通过率（5 次试验，任一次奖励为正即该次通过；所有结果均为 5 次独立运行平均）；KernelBench 上用正确性加权加速比（错误实现记 0）。辅助指标含按技能效用分类的分组通过率、预算扩展曲线、token 成本。

主实验（全部方法统一 Codex CLI + GPT-6 Luna 高推理档）：

• KernelBench（3 个 level-3 问题共享一个任务技能）：平均加速 1.62× vs SkillEvolver 1.18× vs 无技能 1.02×；其中 ShuffleNet 1.97 vs 1.39、深窄 MLP 1.87 vs 1.12——在无界连续奖励下增益同样显著（Skill∞ 对无技能的增益近 SkillEvolver 的四倍）。
• 自改进消融：换回种子 meta-skill 后 60.7→55.9。自改进增益按域排序：数学 +24.0、媒体 +22.2、SWE +11.4 个百分点——作者归因于精炼后的 meta-skill 写入了更严的证据标准。值得注意的是消融版（55.9）已高于 SkillEvolver（54.5），说明 agent 主导过程本身就有独立贡献，自改进再叠加。
• 增益集中在能力之外：按技能效用分类，D 类（裸 Agent 与人工技能都解不了）任务上 Skill∞ 30.5% vs SkillEvolver 22.1%；C1 类（仅人工技能能解且 ≥40%）29.2% vs 15.4%——自动优化补上了「人和基座都给不了」的程序性知识。
• 跨模型/跨 harness：换 GPT-5.6 Luna 为 66.5% vs 人工 61.2%；换 OpenCode 为 56.9% vs 53.3%——优势随环境迁移。
• 预算扩展：候选预算 1→2→4→8，子集通过率 47.5%→82.5% 单调上升（裸 Agent 仅 12.5%），且无需重调流程（预算本就由 meta agent 自行分配）。
• 成本：单任务技能优化平均 8.7M 输入/66k 输出 token，与 SkillEvolver（8.1M/76k）相当；自改进一次性总耗约 97.65M 输入 token ≈ 11 次任务技能优化，摊到 83 个任务每项 +15%，复用越多份额越小。
• 机制证据（案例研究）：自改进把 meta 得分从 0.55 提到 0.83 的那次关键修订，是给「打平候选的选择」加了证据规则；精炼后 meta-skill 在 83 次优化中只选 54% 的打平候选（种子为 83%）——自改进改变的是行为，不是指令措辞。

5.2 Δτ-Bench：42.3% 的天花板与 STEWARD 的答卷

指标体系：SR（状态差分）；工具检索 P/R/F1；Step/Cost-SPE（成功加权路径效率，越高越好）；Step/Cost-IDR（改进发现率）/DAR（退化适应率）——后两者是本文首创的「前沿跟踪」指标。

模型横评（8 个配置）：

• 最强也只有 42.27%；且检索呈「高召回低精确」畸形：Codex-GPT-5.5 召回 90.36% 相关工具、精确率却只有 19.90%——找得全但排不掉生态里的重叠/无关候选。成功也不等于高效：DeepSeek-V4-Pro 的 SR 略高于 GLM-5.2，两类 SPE 却全面落后。
• 工具供给诊断（五档信息量递增）：Standard→Domain Tools→Task Tools→Oracle Tools，SR 与 SPE 稳步上升；而 Oracle Path（直接给参考路径）无进一步增益——瓶颈不在高层规划，而在「正确且高效地使用可用工具」。
• 技能方法横评（DeepSeek-V3.2 任务模型，跨 6 版本）：EvoSkill/AutoSkill/Trace2Skill/SkillOpt 在 v1 都优于 No Skill，但优势不持久：AutoSkill 的 SR 在 v3、v5 跌破 No Skill；v3 时 EvoSkill 与 AutoSkill 的 Step-/Cost-DAR 双双归零，而 No Skill 尚有 11.11%/10.25%；No Skill 还在 v2 拿到最高 Cost-IDR、v5 拿到最高双 DAR——积累的技能反而拖累适应。SkillOpt 虽在 SR/SPE 上领先，但每任务约 3,000K token 的维护开销是其他方法的 2–3 倍，且领先不延伸到 IDR/DAR。
• STEWARD 主结果：六个版本 SR 全部最高，均值 39.04% vs SkillOpt 36.36%；v2 起基线的维护 token 是 STEWARD 的 1.2–5.5 倍；对最强基线的平均增益：Step-/Cost-IDR +4.04/+3.69，Step-/Cost-DAR +5.28/+4.76，Step-/Cost-SPE +2.68/+4.21，工具检索三项指标一致为正——更高成功率是低开销换来的，且优势延伸到前沿跟踪。
• 维护策略消融（DeepSeek-V3.2 / GPT-5.5 两模型）：增量维护 SR 36.83%/40.81% 均为最高，全量重建 34.61%/38.99%，冻结 33.90%/39.60%；增量比全量重建 SR +2.22/+1.82 个百分点的同时 token 省 39.5%/30.4%。GPT-5.5 上全量重建甚至不如冻结——重建既贵又可能丢掉可复用知识。
• 供给消融：仅动态技能搜索几乎无效（技能落地需要工具同时在场）；仅动态工具搜索 SR +8.65、Tool F1 +4.14 但 Step-DAR −2.76（找到工具≠高效用好）；二者结合相对仅工具搜索再提 Step-/Cost-DAR 11.41/9.30 个百分点、Tool F1 +4.90——工具与技能互为补充条件。

5.3 Skill Adaptation：31.1 分与 −8.8 分的同一份技能

指标体系：三个基准各自的原生裁判归一化到 [0,1]（SkillsBench 确定性验证器/DocOps 文档状态检查/Tessl LLM rubric 评分）；核心量是技能增益 Δ 与敏感对上的均值；三条结论均要求在三套独立构造的基准上复现。

发现层：

• 607 个任务全平均时各模型增益都小而无分层规律（+0.9 到 +8.1 个百分点）；但按规则筛出 103 个技能敏感对（SkillsBench 32/DocOps 32/Tessl 39）后图景剧变：GPT-5.6-luna +31.1、Claude-Opus-5 +27.3、Claude-Sonnet-4.6 +24.3、GPT-5.4-mini +23.8 个百分点；弱层几乎不动：Qwen3.6-flash +10.5、Qwen3.5-9B +2.0，Gemma-4-E4B −8.8——同一批技能，前沿层平均 +27 点、弱层 +1 点。
• 86% 的弱模型失败违反的要求，技能文本里已经写明——缺口不在信息，在执行。
• 失败标签分布（n 为对数，可重叠）：工具执行 51（最常见）、指令遵循 35、上下文管理 28、验证 17（最少）。

干预层一：一次性技能适配（103 对均值，无执行证据）：

• Kimi-K3 把三个弱执行器提升 +5.1~+14.1 个百分点（Gemma-4-E4B 从 0.029 到 0.170，接近六倍）；弱模型自己改反而低于原技能（0.271 < 0.294）。
• meta-skill vs 一句话指令（同为 Kimi-K3）：一句话版 0.565/0.115/0.314 vs meta-skill 版 0.616/0.170/0.374——meta-skill 稳定多贡献 +5.1~+6.0 个百分点，占总增益一半以上；且一句话版对 Qwen3.5-9B 甚至低于原技能。强改写器有能力，但失败模式知识让它改得准。

干预层二：五轮自进化（执行器=改写器，有轨迹与验证器反馈）：

• 七个执行器（从 Gemma-4-E4B 到 Kimi-K2.5）第 5 轮全部以 meta-skill 臂胜出：+3.0（Qwen3.6-flash）、+5.1（Gemma-4-E4B）、+4.9（Qwen3.5-9B）、+4.6（Qwen3.5-27B）、+2.0（Gemma-4-26B）、+2.5（Qwen3.5-plus）、+3.5（Kimi-K2.5）个百分点。无 meta-skill 臂不稳定：Qwen3.5-9B 第 3 轮见顶后回落近基线，Gemma-4-E4B 每轮都在基线之下。
• 与一次性改写的反转：无证据时弱模型自改有害，有证据后弱模型也能用好 meta-skill——失败证据是关键变量。
• 按失败模式分解增益（meta-skill 相对无 meta-skill）：一次性改写在验证类上平均仅 +0.003，自进化中达 +0.104（差 0.101）——因为「是否真的执行了检查」只有轨迹能暴露；而上下文类恰相反（一次性 +0.103 > 自进化 +0.007），因为任务范围/交付路径这类问题看技能文本就能判断。
• 边界：技能改写救不了执行器本身——剩余失败的典型形态是「改了脚本但不重跑」「重复同一失败调用」「停笔不写产物」；技能能告诉弱模型该做什么，做不做得到仍取决于模型。

六、效果优势的根源解释

按约束，本节不做外部联网检索，而是用三篇论文互为对照证据的方式做交叉验证——它们同处一个研究领域、互为彼此的「外部视角」，并用各自 Related Work 中的相邻工作做补充。

6.1 Skill∞：为什么「优化器可优化」结构性占优

对比对象：手工流程（SkillOpt/SkillEvolver）与固定管线（MetaSkill-Evolve）。它们曾经有效，因为技能优化的大框架（提案-评估-选择）本身是健全的。

根本局限：固定优化器的搜索由分数启发式驱动，而分数只回答「有没有变好」、不回答「为什么」。当失败模式复杂（数学推导错一步、媒体导出坐标错位）时，启发式无法把归因信息纳入父选择与预算决策——信息流在「评分」环节就断了。固定管线的问题更隐蔽：MetaSkill-Evolve 里连「评审与选择」这些环节都永不可改进，弱步骤在哪就永远弱在哪。

因果链（各环节证据等级标注）：

1. 优化程序被写成 meta-skill → 修订可作用于任何环节含评审与选择〔设计事实〕；
2. 自改进把「证据标准」写严——确认修复需在目标失败的 rollout 上见进展，而非技能文本提及〔论文案例研究支持：tied 候选选择率 83%→54%，meta 得分 0.55→0.83〕；
3. 更严的证据标准 → 噪声候选更难被选中 → 增益集中在可验证失败模式的域〔论文实验支持：数学 +24.0、媒体 +22.2 与这两类任务失败可由验证器明确归因的属性一致；此对应关系部分为阅读者推测〕；
4. 解耦+元得分跨域平均 → 修订偏向通用规则而非单域过拟合〔设计事实+间接支持：跨 harness/模型保持优势 56.9/66.5〕；
5. 成本结构 → 摊薄后与基线持平（+15% token）〔论文实验支持〕。

交叉对照：Δτ-Bench 的发现从反面印证「固定优化器的脆弱」——SkillOpt 等在生态变化后 DAR 归零，说明其优化产物（与流程）绑定于静态生态；Skill Adaptation 的 meta-skill 则表明「蒸馏出的改写规则」能以固定文档形式稳定传播增益（+5.1~6.0pp），这与 Skill∞ 把规则写进 meta-skill 的做法同构——程序性知识显式化后即可被复用与精炼。反向证据也存在：Skill Adaptation 证明技能的执行效果依赖执行者能力，而 Skill∞ 的 meta agent 用与任务 agent 相同的骨干模型——递归自改进的天花板因此由「同款模型的指令遵循能力」决定，这正是论文 Limitations 承认的「无工具强制执行，依赖 meta-skill 与独立评审」。这构成对 Skill∞ 适用边界的限定而非否定。

6.2 Δτ-Bench/STEWARD：为什么「成功」与「孤立优化」都不够

对比对象：静态基准与孤立技能方法（在固定底座上生成/优化技能、以最终成功为目标）。

根本局限一（评测侧）：静态基准把「能用」当「用得好」。SPE 指标显示 Codex-GPT-5.5 成功率 42.27% 的同时 Step-SPE 仅 26.93%——即便成功的任务也大量走了次优路径；工具供给五档消融进一步定位：Oracle Path 无增益说明规划不是瓶颈，正确高效地用工具才是。这种「成功掩盖低效」的盲区是结构性缺失，非模型能力问题。

根本局限二（方法侧）：孤立优化的技能与生态没有依赖追踪。生态一变，旧技能引用的接口退役→技能失效甚至误导→DAR 归零（v3 时 EvoSkill/AutoSkill 双 0 vs No Skill 11.11%）；而重建式维护丢掉了跨版本可复用的经验（GPT-5.5 上全量重建 38.99% 反低于冻结 39.60%，且 token 贵 44%）。

因果链：

1. 三层技能库+显式技能-工具依赖 → 生态变化时可判定哪些技能受影响〔设计事实〕；
2. 增量编辑而非重建 → 保留可复用经验、只改失效部分 → SR 提升同时 token −39.5%/−30.4%〔消融实验直接支持〕；
3. inactive 保留待再激活 → 应对「重叠工具并存→旧工具退役→又回来」的生态摆动〔设计事实；论文未单独消融此机制，为合理推测〕；
4. 执行中联合供给 → 工具在场（+SR 8.65）×技能供给用法（相对仅工具 DAR +11.41）互补 → 前沿跟踪指标全面提升〔供给消融直接支持〕；
5. IDR/DAR 上的持续正增益（+4.04/+5.28）→ 不是靠更多维护开销买的（token 反而是基线的 1/1.2~1/5.5）〔实验支持〕。

交叉对照：Skill∞ 证明了「优化程序可进化」的价值，但 SkillsBench 是静态任务集——Δτ-Bench 恰好补上「进化发生在移动底座上」的场景，二者共同界定：技能自演化=优化能力×生态稳定性的乘积。Skill Adaptation 的 86% 发现也在此有回声：技能失效不总是生态变了，也可能是表述失配。三篇共同支持一个更强的命题：技能库的状态 = f(优化器质量, 生态版本, 执行器能力)，任何只优化单一变量的方案都会被另两个变量拖垮。适用边界：Δτ-Bench 的演化由变换采样生成，与真实企业生态的变更分布可能不同（论文自己承认）；STEWARD 的任务模型为 DeepSeek-V3.2，更强模型下管理增益是否保持未验证。

6.3 Skill Adaptation：为什么「写明了还不照做」以及改写为何有效

对比对象：默认范式——技能写一次、原样分发所有模型；以及「更强改写器自由发挥」（一句话指令）。

根本局限：默认范式假设指令遵循能力是均匀的。86% 统计直接证伪：弱模型不缺信息，缺的是把密集参考文档转化为可执行动作序列的能力。一句话指令消融则表明「强模型本身」只能兑现部分增益（Qwen3.5-9B 甚至受损）——无失败模式知识的改写会引入新隐患（如案例中未设门的连锁安装命令挂死终端、字面照抄 python 命令撞上环境缺失）。

因果链：

1. 四类失败模式来自「首个可观察失败」标注——按卡住的位置分类而非按内容分类〔诊断方法事实〕；
2. meta-skill 把每类模式映射为针对该位置的改写规则（预检/开头声明范围/动作-目标-完成条件/强制重算循环）→ 改写落在执行器实际断裂的环节 → Execution/Instruction/Context 类一次性增益 +0.056/+0.055/+0.103〔Table 2 实验支持〕；
3. 验证类失败的本质是「执行了但没有发生检查动作」——文本可指定检查，只有轨迹能证明检查未发生 → 此类增益集中在自进化（+0.104 vs 一次性 +0.003）〔实验支持，机制解释清晰〕；
4. 反事实：去掉 meta-skill 只留同款强改写器 → 增益缩水近半且不稳定〔一句话指令对照支持〕；去掉失败证据只留 meta-skill → 弱模型自改反而有害（0.271 < 0.294）〔弱自改对照支持〕——协议与证据缺一不可；
5. 边界：技能改不了执行器——「改了不重跑」「重复失败调用」类失败在正确指令在场时依然发生〔案例研究支持〕。

交叉对照：Skill∞ 的独立评审与「可证伪提案」机制，本质上是把 Skill Adaptation 的四类失败模式在优化器内部做了制度化——拒绝「未被激活」「不可用」的候选，正对应工具执行/指令遵循类失败的前置拦截；这说明强执行器侧的解决方案（评审拦截）与弱执行器侧的解决方案（表述适配）是同一问题的两种投影。Δτ-Bench 的 noisy documentation 发现（描述噪声阻碍发现）也与本文「区分可调用工具与文档」的改写规则呼应。

6.4 综合判断与未决问题

多项证据共同支持的机制：(1) 诊断信息（为什么失败）纳入决策回路优于纯分数驱动——Skill∞ 的 agent 主导搜索、STEWARD 的轨迹蒸馏 D+、Skill Adaptation 的失败归因三处独立成立；(2) 程序性知识的显式协议化（meta-skill/改写规则/评审政策）使优化经验可复用、可审计——三篇各自的 meta 层文档均带来可量化增益。

仍属推测或单点证据的机制：Skill∞ 自改进增益的域分布归因（证据标准假说）主要基于案例研究；STEWARD 的 inactive 再激活价值未经单独消融；Skill Adaptation 的 131 个标签由作者团队标注，标注者间一致性未报告。

可能失效的条件：验证器不可靠的域（Skill∞ 自认适用前提是自动奖励可算）；生态变更幅度/模式超出变换族的真实世界（Δτ-Bench）；执行器弱到连「逐字命令」都无法完成的区间（Skill Adaptation 的边界）；以及 Trustworthy RSI 综述警示的共同风险——自改进回路可能被污染的验证信号劫持（如 Hyperagents 的基准投毒案例：被诱导的 meta-agent 持久写入绕过 HTTPS 验证的指令并被后继继承），三篇论文的评审/验证门机制对此有部分防御但均未系统测试。CLE 的 23.3% 全五级通关率则提醒：把三道关卡串成持续学习的长链，比各自闯关难得多。

七、必要知识反推

假设一个完全没有背景的人要复现这组工作，最少需要掌握什么？

7.1 领域知识层

• Agent Skills 规范与渐进披露：不理解「名字+描述→按需加载」的机制，就无法理解为什么描述要进优化范围（Skill∞）、为什么技能供给要动态补（STEWARD）、为什么实验要区分注入与原生加载。
• Harness 生态：Codex CLI、Claude Code、OpenHands 等执行框架的差异与共通点——Skill Adaptation 三个基准分别跑在不同 harness 里，结论的稳健性正来自这种多样性。
• 工具生态生命周期：MCP 服务、状态化执行、API 退役/替换的现实节奏——这是 Δτ-Bench 场景建模的原型。

7.2 方法论知识层

• RSI/Gödel 机思想史：知道「改进改进者」的经典形式化，才能看出「把优化器写成技能」这一步为什么干净——它把 Gödel 机的「重写需可证明有益」降级为可执行的「独立评审+增益验证」，规避了不可判定性。
• 进化搜索与元学习：父本选择、保留打平个体逃局部最优、跨任务元得分的平均化——Skill∞ 的搜索行为是这些经典思想的 LLM 化。
• POMDP 建模与最优路径搜索：把交互形式化为部分可观测决策过程、把「最优实现选择」化为加权 DAG 上的动态规划——Δτ-Bench 参考路径的可信度完全建立在这两个工具上。
• 失败归因方法学：「首个可观察失败」标注法、四分类学、按归因分组对比增益——Skill Adaptation 的全部说服力来自诊断的干净程度。
• 评测方法论：avg@5 多次运行平均、成功加权效率、能力分层筛选规则（阈值 0.10/0.80/0.95）、跨三套独立基准的结论复现要求——这些协议设计决定了结论可信度。

7.3 工程知识层

• 基准构建流水线：实体-关系建模→MCP 服务实现→任务采样→回放验证→用户模拟器（私有手册+披露规则）——1588 个「每个动作都验证过」的任务不是生成的就完事，验证才是成本所在。
• 一致性测试与血缘追踪：能力保持变换的自动验证（状态效果等价、输入输出相同）与递归覆盖检查——没有它，演化生态就是不可信的沙堡。
• 有效性门与防泄漏：Skill Adaptation 的可加载性检查、答案泄漏 token 检测、NO_CHANGE 回落——改写实验的公平性全靠这些工程细节。
• token 记账：维护开销、摊销分析（97.65M 摊到 83 任务）——成本结论与方法结论同等重要。

7.4 知识融合的关键节点

• 节点一（Skill∞）：「技能可打包任何程序性知识」+「优化程序也是程序性知识」→ 优化器自我改写，RSI 从哲学命题变成工程问题。融合点在于识别出二者是同构的。
• 节点二（Δτ-Bench）：「能力保持」+「动态规划」的融合：因为能力在变换下不变，跨版本的最优路径才可比；因为最优路径可比，「前沿移动」才可测。前者是领域知识，后者是算法知识，缺一不可。
• 节点三（Skill Adaptation）：「分层统计」+「轨迹归因」的融合：单看分层（+31.1 vs −8.8）只知道有问题，单看轨迹只知道失败细节；「86% 已写明」这条统计必须在两层之间搭桥才能得出——它是把「表现差异」翻译成「表述失配」的支点。

八、论文中可以提取的通用性灵感

灵感 1：优化器本身应当是优化域的一等公民。 核心思想：任何持续优化的系统，其优化流程不应豁免于优化——把流程表示为目标域的原生对象（这里是技能包），递归改进就无需新机制。 论文证据：Skill∞ 自改进 60.7 vs 消融 55.9；精炼 meta-skill 把打平候选选择率从 83% 修到 54%（行为级改变）。 推广场景：数据库的查询优化器自身用查询计划表示并可被优化；CI/CD 流水线的配置以流水线自身可处理的格式存放并自动调优；教育中「学习方法课」与「正课」共用同一套课程体系；编译器的 pass 管线以 IR 形式表达并由同一编译器改写；法务合规体系中「修法程序」本身成文可修。

灵感 2：增量维护优于全量重建——但前提是维护依赖图。 核心思想：知识资产的老化应通过「依赖追踪+局部编辑+休眠保留」处理，而非重建或冻结；删除是最激进的选项，休眠是可逆的。 论文证据：增量维护 SR 36.83/40.81 全面领先且 token 省 30–40%；全量重建在 GPT-5.5 上甚至不如冻结；STEWARD 基线开销 1.2–5.5 倍。 推广场景：微服务 API 升级时下游调用文档的同步维护；企业 Wiki 的责任区依赖告警；代码库废弃 API 的 shim 保留策略（deprecate 而非 delete）；个人知识管理中对过期笔记的「归档不删除」；产品文档随版本发布的增量 changelog 治理。

灵感 3：信息的价值 = 信息 × 接收者的执行能力。 核心思想：同一份指令对不同能力接收者的收益可以反转；沟通制品的设计必须以接收者为参数，而非以内容完整度为标准。 论文证据：+31.1（前沿）与 −8.8（最弱）同源；86% 失败违反已写明要求；meta-skill 按四类卡点改写后 +5.1~+14.1。 推广场景：新人 onboarding 手册按「首次岗位经验」分层改写；医疗知情同意书为不同健康素养人群提供同义不同形版本；API 文档区分「专家速查版」与「新手跟做版」；无障碍设计（同一内容的认知负荷适配）；跨国团队的跨语言协作规范。

灵感 4：成功率会掩盖退化——为「本可以更好」设计显式指标。 核心思想：只测结果不测路径的系统会在「还能跑通」中悄悄落后；应当相对「当前环境下的最优可达」持续对表。 论文证据：SR 42.27% 的最强配置 Step-SPE 仅 26.93%；技能方法 DAR 归零时 SR 不一定立刻崩；IDR/DAR 把「错过机会」变成可测量。 推广场景：工程团队的「技术债速率」指标（功能照发但最优实现距离拉大）；个人职业发展中的市场薪酬分位数对表；供应链的「备选路线库存」审计；搜索引擎的召回满意度之外的效率分；学术复现工作中「相同数据可达到的 SOTA 距离」。

灵感 5：失败模式分类学是可蒸馏、可复用的组织资产。 核心思想：把零散失败归因到少数几类「卡住位置」，再为每类写一条处置规则，就把诊断经验变成了可执行的协议——协议在无证据时也能发挥一半作用，有证据时发挥全部。 论文证据：131 标签→四模式→固定 meta-skill；一次性 +0.056~+0.103（文本可见类）、自进化 +0.104（验证类，需轨迹证据）。 推广场景：客服中心把投诉归因为五类卡点并给话术协议；医院急救的分诊-处置流程卡；代码 review 的 checklist 按缺陷类别组织；航空业的检查单文化（首错归因+对应动作）；教学中的错题归因卡片。

灵感 6：把「防作弊」内建为回路的不可优化部分。 核心思想：自改进系统中，评分与验证环节必须被显式排除在自我改写范围之外，否则增益与舞弊不可区分。 论文证据：Skill∞ 规定 scoring 超出自我改进范围；评审员拒绝「无实质改动/未激活/不可用」候选以阻断噪声冒充进步；Skill Adaptation 的防答案泄漏门。 推广场景：财务系统里预算编制权与审批权分离；带自修改能力的软件（编辑器插件市场）的签名校验根不可写；竞技游戏中玩家不可修改的服务端判定；模型自进化训练中冻结的评测集与裁判模型。

三篇论文合起来给出一个清醒的判断：技能自演化不是单一技术问题，而是「优化器—生态—执行者」三方耦合的系统问题。Skill∞ 证明了递归的可行性（优化器可以被优化），Δτ-Bench 证明了生态的残酷性（前沿在移动，孤立优化会腐坏），Skill Adaptation 证明了收益的相对性（技能好不好，要看谁在用）。把任何一环的结论外推到全系统，都会撞上另外两环竖起的墙——这或许正是这个领域接下来最值得做的事：在三方同时变化的设定下，重新跑一遍这三道关卡。