SkillAdaptor: Self-Adapting Skills for LLM Agents from Trajectories 精读

论文链接：arxiv.org/abs/2606.01311 代码仓库：github.com/zjunlp/SkillAdaptor 发表时间：2026年5月31日 机构：浙江大学自然语言处理实验室（ZJUNLP） 状态：Work in Progress

一、论文背景

1.1 什么是 Agent Skill？

当大语言模型（LLM）从单纯的"问答机器"进化为"行动主体"——即 AI Agent（智能体）——它们开始面对一个新问题：如何在不重新训练模型的前提下，让 Agent 在特定任务上持续变强？

答案之一是 Skill（技能）。Skill 是一段结构化的自然语言策略文档，被注入到 Agent 的上下文中，为其提供特定领域的程序性知识。可以把它类比为一位通才型员工收到的"岗位操作手册"——员工本身聪明能干，但面对特定领域任务时，一份好的操作手册能让其表现产生质的飞跃。

在 OpenClaw 类 Agent 框架中，每个 Skill 通常以一个 SKILL.md 文件的形式存在，包含：

• 标题（Title）：技能的名称和适用场景
• 适用条件（Trigger/Condition）：什么情况下应该激活这个技能
• 行为原则（Principle）：具体该怎么做、先做什么后做什么、遇到异常怎么处理

例如，一个"Web 购物比价"的 Skill 可能包含：先搜索商品关键词，再按价格排序，然后检查商品描述是否匹配需求，最后选择最优项加入购物车。

1.2 什么是 Harness？

Harness（执行线束） 是围绕 Agent 构建的运行时基础设施，相当于 Agent 的"操作系统"。LLM 本身只是一个文本输入/输出的"大脑"，但要让 Agent 真正执行任务，还需要大量的支撑组件：

• 系统提示（System Prompt）：定义 Agent 的角色和行为边界
• 工具系统（Tools）：让 Agent 能够读写文件、执行命令、搜索网络
• 执行环境（Sandbox）：提供文件系统、浏览器、沙盒等运行时基础设施
• 技能系统（Skills）：为 Agent 提供可检索、可复用的领域知识
• 任务编排逻辑：子 Agent 调度、路由等

Claude Code、OpenClaw、Codex CLI 等都是典型的 Harness 实现。Harness 为 Agent 提供了"手脚"和"工作台"，让模型从"能对话"进化为"能干活"。而 Skill 则是 Harness 中最灵活、最可迭代的组件——不需要改代码、不需要训练模型，只要改一段文字，就能让 Agent 在某个方向上变强或变弱。

1.3 当前 Skill 适应方法的困境

现有的 Skill 适应方法（如记忆蒸馏、工作流细化、回顾性反馈、迭代技能进化等）虽然各有特色，但它们都面临一个共同的根本问题：信用分配（Credit Assignment）过于粗糙。

什么是信用分配问题？ 在强化学习中，信用分配指的是：当结果不好时，如何准确找出"谁的责任"？在一个多步决策的 Agent 任务中，Agent 可能执行了 20 步操作，其中 18 步都是正确的，只有第 5 步犯了一个关键错误，导致后续全部偏离。那么，这 18 个正确操作和第 5 步的错误操作之间，“功劳"和"责任"该如何分配？

现有的 Skill 适应方法通常从完整轨迹的最终结果或会话级摘要来更新技能。这就好比：

一个学生做了一整套数学试卷，最后总分不及格。老师看完总分后，直接告诉他"你的代数不好”——但实际上，他的代数完全没问题，只是在第 3 题犯了一个符号错误，而后面所有题都依赖于第 3 题的答案。

这种轨迹级（trajectory-level） 的失败归因会导致：

1. 信号扩散：失败信号被错误地传播到不相关的步骤和技能上
2. 过度修正：连正确的技能也被修改，导致"越改越差"
3. 不稳定更新：每次更新可能引入新的错误，形成"改了 A 坏了 B"的恶性循环

1.4 为什么这个问题很重要？

在实际部署中，Agent 面对的任务往往是长时序交互任务——需要与外部环境进行多轮交互（如在网页上浏览商品、填写表单、执行代码等）。随着任务步骤增多，轨迹级归因的不精确性会指数级放大。如果 Skill 适应方法不能精确定位"哪一步出了问题、是哪个技能导致了问题"，那么 Skill 的持续进化就只能靠运气。

这正是 SkillAdaptor 要解决的核心问题：把失败归因从轨迹级精确到步骤级。

二、论文定位和关联工作

2.1 研究方向的演进脉络

Skill 自适应研究大致经历了以下发展阶段：

第一阶段：经验学习

• ExpeL（AAAI 2024）：开创性地提出让 Agent 从成功和失败的经验中学习。它收集高奖励和低奖励的轨迹，从中提取定性"教训"（insights），再在未来任务中检索这些教训。但 ExPeL 的教训是粗粒度的、基于整体轨迹的，无法精确定位具体故障步骤。

第二阶段：工作流与技能蒸馏

• AWM（Agent Workflow Memory）：从轨迹中蒸馏出可复用的工作流模式，构建 Agent 的"记忆库"。但工作流的抽象层次较高，缺乏对具体技能缺陷的细粒度诊断。
• A-Mem（Agentic Memory）：让 Agent 自主决定何时存储、检索和修订记忆。灵活但缺乏系统性的适应机制。

第三阶段：技能进化与优化

• EvoSkill：在分布偏移下迭代发现新技能，是目前最强的 Skill 进化基线之一。但它同样在轨迹级操作，缺乏步骤级归因。
• Ctx2Skill（arXiv 2604.27660）：提出自主上下文感知技能发现框架，能根据上下文检索和匹配技能，但适应粒度仍较粗。
• SkillForge：从执行轨迹进行故障分析和最小技能修订，与 SkillAdaptor 思路最接近，但缺乏显式的步骤级归因和资格验证机制。
• SkillOpt（微软，arXiv 2605.23904）：将技能编辑制定为可控制的进化过程，借用深度学习优化纪律来管理文本空间的技能优化。SkillOpt 更侧重于"如何安全地优化"，而 SkillAdaptor 更侧重于"如何精确地归因"。

第四阶段：步骤级归因（本工作）

• SkillAdaptor：首次提出将技能适应从轨迹级反思转变为步骤级归因，通过"定位-链接-验证"三阶段流水线实现精确的故障定位和针对性技能更新。

2.2 本工作的定位

2.3 Harness 与评估生态

论文在三个不同类型的基准上进行评估，覆盖了当前 Agent 评估的主要方向：

• WebShop：经典的交互式 Web 导航基准，Agent 需要在模拟电商网站上完成多步购物任务
• PinchBench：OpenClaw 生态的综合性基准，涵盖编码/DevOps、电子表格、日志分析、会议管理、邮件/日历、Web 研究等 6 大类任务
• Claw-Eval：开放域 Agent 评估基准，覆盖办公/运维、金融/工单分诊、多轮对话等场景

三、问题定义

3.1 直觉理解

假设你是一个工厂质检员，负责检查一条有 20 道工序的生产线。产品最终不合格时，你需要找出"哪道工序出了问题"。

• 轨迹级方法：看到最终产品不合格，就去检查所有 20 道工序——这样既费时，又可能误判（有些工序其实没问题，但也被"连坐"了）。
• 步骤级方法（SkillAdaptor 的思路）：从最终产品逆推，找到第一个出问题的工序，然后只针对这个工序进行修复。

3.2 形式化定义

SkillAdaptor 将问题形式化为以下框架：

环境交互：给定从任务分布 $\mathcal{Q}$ 中采样的任务 $q$，Agent 产生执行轨迹 $\tau = \{(a_t, o_t)\}_{t=1}^{T}$，其中 $a_t$ 是第 $t$ 步的动作，$o_t$ 是观察到的环境反馈。

技能集合：维护一个技能集合 $K = \{s_1, s_2, \ldots, s_n\}$，每个技能 $s_i$ 包含标题、原则和适用条件。骨干模型始终冻结，只有 $K$ 在迭代中被修订或追加。

优化目标：设计更新过程，使得仅通过改进 $K$ 就能提升任务分布 $\mathcal{Q}$ 上的期望成功率：

其中 $\operatorname{Run}(q,K)$ 表示在技能集合 $K$ 的检索子集条件下执行 Agent，$\operatorname{success}(\cdot)$ 是基准定义的成功指标。

关键约束：

1. 免训练（Training-free）：骨干 LLM 的参数始终不变，所有改进完全归因于技能集合 $K$ 的更新
2. 仅依赖轨迹：只能从执行轨迹中获取信息，不能访问模型的内部状态或梯度
3. 单 Agent 框架：不需要多 Agent 协作，直接在单个 Agent 上完成适应

3.3 核心抽象

SkillAdaptor 将"如何改进技能"这个复杂问题，抽象为三个子问题：

1. 归因（Attribution）：给定一条失败的轨迹，第一步出错的步骤是哪一步？是由哪个技能导致的？
2. 修改（Modification）：针对定位到的故障，应该修改已有技能还是生成新技能？如何修改？
3. 验证（Qualification）：修改后的技能真的比原来更好吗？ 是否存在"改了 A 坏了 B"的情况？

这三个子问题构成了 SkillAdaptor 的核心流水线。

四、问题解法

4.1 整体流程概览

SkillAdaptor 的工作流程可以用一个生活中的类比来理解：

想象一位厨师学徒，在做菜失败后不需要重新学一遍所有菜谱，而是：（1）定位：哪一步做错了？是火候不对还是调料放错了？（2）修改：针对性地修正这一步的做法，或补充一个之前没有的技巧**（3）验证**：用修正后的方法再做一次，确认比以前好才采纳

具体来说，SkillAdaptor 分为四个阶段：

技能初始化 → 技能注入（执行任务）→ 技能适应（三阶段流水线）→ 迭代

4.2 阶段零：技能初始化

SkillAdaptor 的一个独特之处在于：它不需要任何预先准备的技能集合。

1. 让骨干 LLM 在不使用任何技能的情况下执行任务集 $\mathcal{Q}$ 中的一批任务
2. 从成功的轨迹中蒸馏出初始技能，构建初始集合 $K_0$
3. 之后所有执行都在 $K$ 上进行技能检索

这意味着 SkillAdaptor 可以从零开始，完全自主学习技能。

4.3 技能注入：让 Agent 使用技能

每个任务开始时，SkillAdaptor 通过以下流程将相关技能注入 Agent 的上下文：

1. 编码：使用 Qwen3-Embedding-8B 编码器将任务描述和所有技能分别编码为向量
2. 检索：通过余弦相似度找出与当前任务最相关的 top-10 个候选技能
3. 重排序：由骨干 LLM 对候选技能进行精排，选出最相关的技能子集 $S_q$
4. 注入：将选中的技能注入 Agent 的上下文，Agent 基于这些技能与环境交互

这一步确保了 Agent 每次执行任务时，都能获得与当前任务最相关的"操作指南"。

4.4 核心三阶段流水线

阶段一：归因（Attribution）

归因阶段包含两个关键步骤：定位（Localize） 和 链接（Link）。

（1）定位——找到第一个出错的步骤

给定一条失败的轨迹 $\tau$ 和注入的技能集 $S_q$，定位模块需要回答：最早的可问责故障步骤是哪一步？

其中 $t^*$ 是故障步骤编号，$\pi$ 是对失败行为和改进建议的自然语言描述。

定位模块会：

• 提取 2-4 个候选故障步骤，按证据强度排名
• 选择一个主要步骤 $t^*$
• 区分两种故障类型：
  • skill_wrong：现有技能误导了 Agent（例如，技能说"按价格排序"，但场景需要按评价排序）
  • skill_missing：没有现有技能覆盖当前场景（例如，遇到全新的任务类型，没有任何技能指导）

生活中的类比：就像医生给病人诊断——不是看所有症状然后笼统地说"你不健康"，而是精确找到"是哪个器官、哪个部位出了问题"。

（2）链接——找到"嫌疑人"技能

找到故障步骤后，链接模块需要回答：是哪个技能导致了这个故障？

输出是一个加权嫌疑人集——每个被检索到的技能都有一个责任权重 $w_j$：

• $w_j \in [0.8, 1.0]$：完全负责（直接导致了错误）
• $w_j \in [0.5, 0.7]$：部分负责（间接相关）
• $w_j \in [0.2, 0.4]$：弱相关
• $w_j \in [0.0, 0.1]$：无关

同时，链接模块还会预测适应动作 $\hat{a}$：

• REVISE（修订）：失败是因为现有技能有缺陷 → 修改这个技能
• GENERATE（生成）：失败是因为缺少技能覆盖 → 生成新技能

阶段二：修改（Modification）

根据适应动作，修改阶段执行不同的操作：

当 $\hat{a} = \text{REVISE}$（修订现有技能）：

• 最小化编辑原则：只修改有问题的部分，保留有效的部分
• 重写责任权重最高的技能，并在技能集合中替换
• 修改中包含显式的反循环和安全防护（例如，禁止对根目录执行危险操作）

当 $\hat{a} = \text{GENERATE}$（生成新技能）：

• 从故障步骤 $t^*$ 的上下文中提取可复用原则
• 定义精确的触发条件（什么观察模式 + 什么状态条件时激活）
• 生成新技能并追加到技能集合中

冗余控制：使用同一编码器计算新技能与已有技能的语义相似度，超过阈值（$\theta_{\text{dup}} = 0.95$）的候选技能会被丢弃，防止技能集合中出现重复或高度相似的技能。

阶段三：资格验证（Qualification）

这是 SkillAdaptor 的一个关键创新——不是所有修改都应该被接受。

在将候选更新提交到技能集合之前，验证模块会在整个任务分布上评估修改前后的效果差异：

• 只有当 $\Delta \geq 0$（修改后不比修改前差）时，才接受候选更新
• 否则丢弃修改，保留原始技能集合

为什么这一步很重要？ 因为技能之间可能存在复杂的交互效应——修改技能 A 可能让任务 X 变好，但同时让任务 Y 变差。没有验证门控，技能集合可能"越改越差"，陷入"改了 A 坏了 B"的恶性循环。

4.5 迭代与终止

从初始技能集合 $K^{(0)}$ 开始，SkillAdaptor 最多迭代 10 轮。终止条件有二：

1. 达到最大迭代轮数（10 轮）
2. 技能集合连续 3 轮没有变化（收敛）

实验发现，大多数有效的技能更新集中在前 2 轮：

• WebShop：约 75% 的有效更新发生在前 2 轮
• Claw-Eval 和 PinchBench：分别为 64% 和 65%

轮次 5 之后，接受率几乎降至零，表明一旦主要的程序性缺陷被修复，剩余的限制主要由骨干模型本身的内在能力决定。

4.6 关键设计细节

五、实验结果

5.1 主要结果

SkillAdaptor 在三个基准上使用三个不同的骨干模型（Kimi-K2.5、GLM-5、GPT-5.2）进行了评估，并与多个基线方法进行了对比：

WebShop（在线购物任务）：

SkillAdaptor 相比最强基线 EvoSkill，在 WebShop Score 上提升了 +1.2，成功率提升了 +1.7 个百分点。

PinchBench 和 Claw-Eval（OpenClaw 任务）：

在所有三个骨干模型上，SkillAdaptor 均优于基线方法。最大单指标提升为：

• PinchBench Avg Score%: +1.5
• Claw-Eval Avg Score: +1.8

5.2 消融实验——每个组件都有用

消融实验清楚地展示了每个组件的贡献：

关键发现：

• 步骤级归因至关重要：去除定位器和链接器后，成功率从 33.0% 降至 28.6%，下降 4.4 个百分点
• 验证门控提升稳定性：去除验证后，PinchBench 的标准差从 ±5.2 增大到 ±8.1，说明不稳定更新增加了性能波动
• 初始技能远不够：仅使用从成功轨迹蒸馏的初始技能，收益接近消失（25.3% vs 基线 24.6%）

5.3 不同任务类型的效果差异

SkillAdaptor 在不同类型任务上的效果不均衡：

• 最有效：数据和代码任务（失败可本地化到明确的中间决策）
• 中等收益：生产力任务（本地化修订改善执行排序和模式使用）
• 较小改进：研究、记忆和安全任务（依赖持久状态、外部知识或跨会话上下文）

这一发现提示：步骤级归因的有效性取决于失败信号是否可观察——当错误可以被精确定位到某个具体决策点时，SkillAdaptor 的效果最好。

5.4 交互效率分析

一个有趣的发现是，SkillAdaptor 不仅提高了任务成功率，还减少了交互步数：

这意味着好的技能不仅帮助 Agent 做对决策，还帮助它更快地做对决策——减少无效的试探和循环。当然，每一步的输入 Token 有所增加（因为注入了技能文本），但总体效率仍然更高。

六、必要知识反推

假设让一个完全不了解这个领域的人从头完成 SkillAdaptor 这项工作，他必须掌握哪些知识和信息？以下是从"发现问题到解决问题"的完整知识链：

6.1 基础领域知识

1. LLM Agent 的运行机制：理解 Agent 如何通过"感知环境→推理决策→执行动作→获得反馈"的循环来完成任务。必须知道 Agent 的每一步决策都受到上下文中信息的影响。

2. Skill/Harness 的概念和架构：理解 Skill 是注入到 Agent 上下文中的自然语言策略文档，Harness 是围绕 Agent 的运行时基础设施。必须理解 Skill 是如何被检索、注入和使用的。

3. 信用分配问题：理解在多步决策中，如何将最终结果（成功或失败）的"责任"准确分配到具体的中间步骤。这是强化学习中的经典问题，也是 SkillAdaptor 的核心动机。

6.2 问题分析能力

4. 轨迹级 vs 步骤级的区别：能够区分"基于完整轨迹的整体反思"和"精确定位到某一步的故障归因"，并理解为什么后者在长时序任务中更有效。

5. 失败模式分析：理解 Agent 的失败可以分为"技能有缺陷"（skill_wrong）和"缺少技能覆盖"（skill_missing）两种类型，不同类型需要不同的修复策略。

6. 技能间的交互效应：理解修改一个技能可能影响其他技能的效果，必须设计验证机制来防止"改了 A 坏了 B"的情况。

6.3 技术实现知识

7. 语义检索技术：知道如何使用嵌入模型（如 Qwen3-Embedding-8B）将文本编码为向量，并通过余弦相似度进行语义匹配和检索。

8. LLM Prompt 工程：能够设计结构化的 Prompt 模板，让 LLM 执行定位、链接、修订、生成等复杂任务，并确保输出格式可控。

9. 迭代优化框架设计：理解如何设计迭代优化循环——包括初始化、执行、评估、更新的循环结构，以及收敛判定和早停条件。

6.4 知识融合

将上述知识融合为 SkillAdaptor 的关键洞察是：

将强化学习中的"信用分配"思想，应用到免训练的 Agent 技能适应场景中。不是在参数空间做梯度归因，而是在文本空间做步骤归因——通过 LLM 的推理能力来定位故障步骤、归因到具体技能、针对性修改、并验证修改效果。

这种融合需要同时理解：RL 中的信用分配为什么要精确（步骤级），以及 LLM 的推理能力如何实现这种精确归因（通过精心设计的 Prompt 模板）。

七、论文中可以提取的通用性灵感

灵感 1：精确归因是持续改进的基石

论文发现：从轨迹级归因到步骤级归因的转变，是 SkillAdaptor 性能提升的核心来源。消融实验证明，去除步骤级归因后性能下降最为显著。

通用启发：在任何需要"从失败中学习"的场景中，归因的粒度直接决定了学习的效果。无论是软件系统的故障排查、医疗诊断的错误分析、还是管理决策的事后复盘，越精确的归因，带来越有效的改进。笼统的"系统不稳定"远不如"第 3 步的缓存超时导致了级联失败"有价值。

灵感 2：验证门控——不要盲目采纳每一个"看起来合理"的改进

论文发现：资格验证阶段虽然不直接提升最优性能，但显著降低了性能方差，防止了有害更新。去除验证后标准差从 ±5.2 增大到 ±8.1。

通用启发：在迭代优化中，不是所有"看起来合理的改进"都是真正的改进。修改可能在局部（单个任务）上有效，但在全局（任务分布）上有害。建立系统性的验证机制（在更广泛的分布上测试），是确保持续改进不退化的关键。

灵感 3：区分"做错了"和"没做过"——两种不同的修复策略

论文发现：SkillAdaptor 通过故障类型分类（skill_wrong vs. skill_missing）来路由不同的修复策略——修订现有技能或生成新技能。这种区分避免了"用错误的方法修复正确的问题"或"用正确的方法修复错误的问题"。

通用启发：在面对任何问题时，首先要区分是现有方案有缺陷，还是根本没有方案。前者需要"修复"，后者需要"创造"。混淆这两种情况往往导致无效的迭代——就像在一条不存在的路上反复修补坑洞。

灵感 4：收敛的边际递减——知道何时停止

论文发现：75% 的有效更新集中在迭代的前 2 轮，5 轮之后几乎没有新的有效更新。这表明技能适应存在"容易摘到的果子"——一旦主要缺陷被修复，剩余问题受限于模型本身的能力。

通用启发：在迭代优化中，早期迭代通常带来最大的收益，后期迭代收益迅速递减。设计系统时应该考虑早停机制，而不是无限制地迭代。同时，知道何时"停下来"和知道何时"继续"同样重要——当瓶颈从"外部知识不足"转变为"内在能力不足"时，继续优化外部知识意义不大。

灵感 5：免训练的持续学习范式

论文发现：SkillAdaptor 在完全不修改模型参数的情况下，仅通过更新自然语言形式的技能集合，就能在多个基准上实现持续的性能提升。

通用启发：将"可学习状态"与"固定能力"分离是一种强大的设计模式。在 LLM Agent 场景中，模型参数是"固定能力"，技能文档是"可学习状态"。这种分离带来了三个好处：（1）适应成本低——不需要昂贵的训练；（2）可解释性强——技能是人类可读的自然语言；（3）可审计性好——每次修改都有迹可循。这一设计模式可以推广到任何需要"在不改变核心系统的前提下持续适配"的场景。

灵感 6：从成功中初始化，从失败中进化

论文发现：SkillAdaptor 从成功轨迹蒸馏初始技能（“做对了什么”），然后从失败轨迹中进行步骤级归因和技能修改（“做错了什么”），两种信息源互补使用。

通用启发：正向经验和负向经验都是学习的重要来源，但它们应该被用在不同的阶段。正向经验（成功）适合建立初始知识库——“好的做法是什么”；负向经验（失败）适合精细化改进——“哪里可以做得更好”。两者缺一不可：没有正向经验就没有起点，没有负向经验就无法进化。

灵感 7：最小化修改原则

论文发现：技能修订遵循"最小化编辑原则"——只修改有问题的部分，保留有效的部分。这避免了"全盘重写"带来的风险——可能引入新的错误或丢失已有的有效知识。

通用启发：在迭代优化中，增量修改通常比全盘重写更安全、更可控。每次只改变一小部分，验证其效果后再继续。这种"小步快跑"的策略虽然看起来保守，但在复杂系统中往往比"大刀阔斧"的改革更有效——因为复杂系统中的因果关系往往是隐性的、非线性的，大面积修改的副作用难以预测。

八、总结

SkillAdaptor 是一个设计精巧、实验扎实的免训练步骤级技能适应框架。它的核心贡献不在于提出了一个全新的范式，而在于将一个被忽视的关键问题——归因粒度——放在了聚光灯下，并用简洁而有效的方法解决了它。

论文的三个核心创新——步骤级故障归因、REVISE/GENERATE 双路由修复策略、资格验证门控——相互配合，形成了一个自洽的适应流水线。消融实验清晰地证明了每个组件的必要性。

从更宏观的视角来看，SkillAdaptor 代表了 Agent 技能进化研究的一个重要方向：从粗粒度到细粒度，从黑箱到白箱，从不可控到可控。它提醒我们，在追求更强大的 Agent 时，不仅要关注"如何生成更好的技能"，还要关注"如何更精确地诊断和修复技能的缺陷"——这或许是通往可靠、可持续进化的 Agent 系统的关键一步。