Role-Agent: 通过双角色自举实现 LLM 智能体-环境协同进化 精读

论文链接：arxiv.org/abs/2606.10917 代码仓库：github.com/AMAP-ML/roleagent 发表时间：2026年6月 机构：中国科学技术大学（Xucong Wang, Pengkun Wang†）× 阿里巴巴高德AMAP团队（Ziyu Ma, Shidong Yang, Tongwen Huang, Yong Wang†, Xiangxiang Chu） 🔑 重点标注：典型的高校学生（中科大学生 Xucong Wang 在阿里AMAP实习期间完成）+ 企业合著模式，学术前沿探索与工业场景落地紧密结合。

一、论文背景

1.1 从聊天机器人到自主智能体

大语言模型（LLM）正在经历一个根本性的角色转变——从"对话工具"进化为"行动主体"。2025-2026年间，AI Agent（智能体） 已经不再只是实验室中的概念，而是深入到了软件工程（如 Claude Code、OpenAI Codex）、深度研究（如 Gemini Deep Research）、电子商务、具身导航等实际应用场景中。

一个 Agent 不同于简单的聊天机器人。它需要：

• 感知环境：读取当前状态，理解自己在什么处境中
• 自主规划：决定下一步应该采取什么行动
• 调用工具：通过搜索、执行代码、浏览网页等方式与外部世界交互
• 多步推理：在数十甚至数百步交互中持续保持目标导向

这个过程可以用一个简洁的循环来描述：观察（Observe）→ 思考（Think）→ 行动（Act）→ 观察…，直到任务完成或达到最大步数。这条由交互产生的"行动序列"，被称为轨迹（Trajectory）。

1.2 智能体强化学习（Agent RL）

那么，如何让 Agent 变得越来越强？最主流的答案是强化学习（Reinforcement Learning, RL）。

在 Agent 的语境中，强化学习的思路非常直觉：让 Agent 大量尝试各种任务，根据最终结果给予奖励（成功了得 1 分，失败了得 0 分），然后通过算法调整 Agent 的策略，让它在未来更倾向于选择能获得高奖励的行动。

目前 Agent RL 的主流算法是 GRPO（组相对策略优化），由 DeepSeek 团队在 DeepSeek-R1 中提出。GRPO 的核心思想是：

1. 对于同一个任务，让 Agent 尝试多次（比如 8 次），产生 8 条轨迹
2. 用最终结果对每条轨迹打分
3. 在这 8 条轨迹之间进行相对比较——比平均水平好的轨迹被强化，比平均水平差的轨迹被弱化
4. 通过这种方式更新 Agent 的策略

这就像一个学生做同一套题 8 次，老师不告诉他对错，只告诉他"你这次做得比平均水平好/差"，让学生自己摸索更好的解题思路。

1.3 当前方法的瓶颈：静态环境与稀疏反馈

然而，当前 Agent RL 方法面临两个根本性瓶颈：

瓶颈一：环境是静态的，不会"对症下药"

在传统的 Agent RL 中，环境（即任务的集合）是固定的。Agent 无论在哪些方面薄弱，环境都不会针对性地调整。这就好比一个学生数学几何特别差，但老师从来不给他布置额外的几何练习题——每次考试还是随机出题，学生很难有针对性地提高。

瓶颈二：反馈是稀疏且非特异的

大多数 Agent 任务只在最终一步给出一个二值反馈（成功或失败），不会告诉 Agent “你第 3 步的决策有问题”。这就像考试只给一个总分，不告诉你哪道题做错了、错在哪里。Agent 难以从这种粗粒度的反馈中学到细粒度的改进策略。

理想的训练范式应该是：Agent 通过交互改进的同时，环境也适应 Agent 的弱点，有针对性地提出更多挑战——这就是智能体-环境协同进化的核心思想。

1.4 协同进化的构建难题

构建这种协同进化的环境并非易事。传统方法需要额外的环境模型、任务生成器或调度机制——这些组件需要专门训练和维护，大大增加了部署的复杂性。

于是，一个关键问题浮出水面：

能否通过使用单一 LLM 同时充当智能体和环境角色来实现协同进化？

这就是 Role-Agent 的核心出发点。

二、论文定位和关联工作

Role-Agent 不是凭空出现的。理解它的贡献，需要先看清它所处的研究脉络。

2.1 Agent 自我进化的研究谱系

“让 Agent 自己变得更强"是 2025-2026 年最火热的研究方向之一，已经形成了多条技术路线：

Role-Agent 的独特定位：它是第一个实现智能体-环境双向协同进化且仅需单一 LLM 的方法。不同于上述所有工作（都只在"智能体侧"或"环境侧"单向优化），Role-Agent 让同一个 LLM 在两个角色之间切换，形成闭环的自举系统。

2.2 世界模型与过程奖励

Role-Agent 的 WIA 模块从世界模型（World Model） 的思想中汲取灵感。世界模型的核心思想是：如果 Agent 能够在"心中"模拟环境的状态变化（即预测未来会发生什么），就能做出更好的决策。

这与强化学习中的过程奖励模型（Process Reward Model, PRM） 有相似之处——都试图为每一步（而非仅最终结果）提供细粒度的反馈信号。但关键区别在于：PRM 通常需要训练一个独立的奖励模型，而 Role-Agent 利用 Agent 自身的状态预测能力来生成过程奖励，无需额外模型。

2.3 数据分布自适应

Role-Agent 的 AIW 模块与课程学习（Curriculum Learning） 的思想密切相关。课程学习强调按照从易到难的顺序组织训练数据，让学习者循序渐进。

AIW 更进一步：它不是简单地按照"难度"排列，而是根据 Agent 的特定失败模式来检索相似任务。这就像一个优秀的家教，不仅知道学生哪些题做错了，还能识别出"这个学生总是混淆’苹果1号’和’苹果2号’“这种具体的认知弱点，然后专门找包含相似混淆陷阱的题目给学生练。

三、问题定义

3.1 从现象到本质的问题抽象

Role-Agent 面对的具体场景是：在文本交互环境中，Agent 通过多步行动完成任务，但受到静态训练环境和稀疏反馈的限制，难以持续提升。

为了找到问题的本质，让我们一步步剥离外部因素：

第一层剥离：去掉"特定领域"的限定

Agent 在家庭导航（ALFWorld）、在线购物（WebShop）、搜索问答等不同场景中表现不佳，表面看起来是"不同领域的问题”。但本质上是同一个问题：Agent 在与环境交互的过程中，环境和 Agent 之间没有形成有效的双向适应。

第二层剥离：去掉"多组件"的假设

一种直觉是：要实现协同进化，需要一个 Agent 模型 + 一个环境模型 + 一个调度器。但如果我们能找到一种方式，让单一组件同时承担两个角色，就能极大地简化系统。

第三层剥离：去掉"外部奖励信号"的依赖

过程奖励通常需要额外的奖励模型来提供细粒度反馈。但如果 Agent 自身能预测未来状态，那么"预测"与"现实"之间的差异本身就是一种天然的奖励信号。

最终的问题抽象：

在仅有一个 LLM 可用的条件下，如何设计一种机制，使该 LLM 同时承担"执行任务的智能体"和"提供适应性反馈的环境"两个角色，从而在无额外组件的情况下实现智能体能力的持续提升？

3.2 问题的形式化描述

更精确地说，给定：

• 一个参数化的 LLM 策略 π_θ
• 一个任务池 D 及其分布 p_D
• 一个展开产生轨迹 τ = {(s_t, a_t, r_t)} 的交互框架

目标是找到一种训练框架，使得：

1. World-In-Agent：Agent 在执行动作 a_t 后，能预测未来的环境状态 ŝ_{t,h}，并将"预测准确度"内化为过程奖励信号，从而在不确定的状态中做出更可靠的决策
2. Agent-In-World：Agent 分析自身失败轨迹，提取失败模式，并通过检索相似失败模式来重塑训练数据分布 p_D，使训练聚焦于自身薄弱环节
3. 自举闭环：上述两个过程使用同一个 LLM 完成，无需引入额外的模型或外部组件

四、问题解法

Role-Agent 通过两个精心设计的模块——WIA（World-In-Agent） 和 AIW（Agent-In-World）——来解决上述问题。

4.1 整体架构：一个模型，两个角色

Role-Agent 的核心设计理念可以用一句话概括：让同一个 LLM 在不同的提示下切换角色，既当"选手"又当"裁判”。

这不是简单的角色扮演。关键在于两个角色之间的闭环反馈：

• 当 LLM 扮演"智能体"时，它不仅要完成任务，还要预测自己行动的后果（WIA）
• 当 LLM 扮演"环境"时，它分析智能体的失败并设计针对性的训练计划（AIW）
• 这两个过程相互促进：更好的环境感知（WIA）产生更高质量的轨迹 → 更高质量的失败分析（AIW）产生更有针对性的训练 → 进而又提升了环境感知能力

4.2 WIA：将世界内化于智能体

4.2.1 核心思想

WIA 的设计哲学来自一个简单的观察：真正理解环境的智能体应该能预测自己行动的后果。

想象你走进一个陌生的厨房想找个杯子。如果你对厨房的布局一无所知，你只能盲目地一个柜子一个柜子打开。但如果你能"预测"——“如果打开左边的柜子，应该能看到餐具”——你的搜索就会更高效。这种预测能力意味着你对环境有更好的理解。

WIA 将这种预测能力转化为一种奖励信号：

如果 Agent 准确预测了未来状态 → 说明它对环境理解深刻 → 放大它的奖励
如果 Agent 的预测偏离实际 → 说明它对环境理解不足 → 削弱它的奖励

4.2.2 具体实现

Step 1：预测未来状态

在 Agent 执行每一步动作 a_t 后，使用同一个 LLM（但通过不同的提示 x_pre 激活"预测模式"），让它预测未来 H 步的环境状态：

ŝ_{t,h} ~ π(· | a_t, x_pre)

其中 h ∈ {1, 2, …, H} 是预测的步数范围。比如，Agent 在第 3 步做了"打开冰箱"这个动作后，被要求预测"第 4、5、6 步的环境状态会是什么样"。

Step 2：衡量预测准确度

展开完成后，Agent 有了真实的交互历史。对于每一个预测 ŝ_{t,h}，用最长匹配子序列（LMS, Longest Matching Subsequence） 来衡量预测状态和真实状态之间的相似度：

r̃_{t,h} = LMS(ŝ_{t,h}, s_{t+h})

LMS 是一种衡量文本序列相似度的方法，它找出两个序列中最长的公共子序列，然后计算其占比。每个 r̃_{t,h} ∈ [0,1]，值越高代表预测越准确。

Step 3：将预测准确度整合为过程奖励

关键的设计在于如何将"预测奖励"整合到"任务奖励"中。Role-Agent 选择了乘法组合而非加法：

R_t = R_task(a_t) × (1 + R_pre(a_t))

为什么用乘法而非加法？这里有深刻的设计考量：

• 乘法意味着：预测奖励只能在任务本身成功的基础上调节信用。如果任务完全失败（R_task = 0），那么无论预测多么准确，总奖励仍然是 0。这避免了"任务失败但预测合理"也获得奖励的问题
• 加法会引入虚假信用：一个完全失败的轨迹仅因"预测得还不错"就获得正奖励，会误导学习方向

Step 4：状态分组优势估计

在 GRPO 的基础上，Role-Agent 引入了 GiGPO 的状态分组机制。核心观察是：同一批轨迹中，很多步骤可能处于非常相似的状态。通过对"相同状态"下发生的动作进行分组（使用哈希映射识别相同状态），然后在每个状态组内部计算优势，可以更精确地将奖励归因到具体的决策上。

最终的优势函数结合了轨迹级和状态级两个粒度：

A(a_t) = A^S(状态级优势) + α × A^E(轨迹级优势)

4.3 AIW：将智能体内化于世界

4.3.1 核心思想

如果说 WIA 是让智能体更好地"理解世界"，那么 AIW 就是让世界更好地"理解智能体"。

AIW 的设计哲学来自另一个观察：真正了解学生的老师应该能看到学生的具体弱点并因材施教。

在传统训练中，任务分布是固定的——Agent 擅长什么、不擅长什么，训练数据都不会改变。这就像一个老师对所有学生用同一套题，不管每个学生的薄弱点在哪里。

AIW 打破了这个限制：让 LLM 分析 Agent 的失败轨迹，提取出具体的"失败模式"，然后在任务池中检索那些"容易触发相同失败模式"的任务，提高这些任务在下次训练中的出现概率。

4.3.2 具体实现

Step 1：失败模式分析

对于每条失败轨迹，AIW 将完整的交互序列（包括任务描述、每步动作和环境反馈）输入 LLM，通过一个三步提示模板：

1. 根因识别：识别导致失败的主要模式（如"重复探索"、“错误目标位置”、“实体混淆"等）
2. 关键步骤定位：确定不可逆转的错误发生在哪一步
3. 核心教训提取：陈述一个可泛化的教训

输出一个结构化的反思报告，包含：

• DOMINANT_TYPE：失败的主导类型（如 REPETITIVE_EXPLORATION）
• DETAIL：失败的具体描述
• CORE_LESSON：从失败中可以学到什么
• RETRIEVAL_QUERY：用于检索相似任务的查询

Step 2：构建失败记忆库

所有失败模式及其对应的轨迹和任务信息被存储在一个离线的失败记忆库 M 中。随着训练的进行，这个记忆库不断积累。

例如，在 ALFWorld 实验中，到训练结束时，记忆库积累了 11 种独特的失败模式类型和 3931 条失败记录。最主要的失败类型包括：

• 重复探索（Repetitive Exploration）：Agent 在同一个位置反复搜索
• 错误目标位置（Wrong Target Location）：Agent 找错了物品的位置
• 错误容器（Wrong Receptacle）：Agent 把物品放错了容器

Step 3：相似任务检索

将当前批次的失败模式与记忆库中的历史模式对比，检索出那些"容易触发相似失败"的任务。这种检索不是基于任务文本的相似度（那只是表面匹配），而是基于底层失败模式的相似度。

这意味着：两个表面上完全不同的任务（比如"把苹果放进冰箱"和"把毛巾放进洗衣机”），如果它们都容易触发"实体混淆"这个失败模式，就会被检索到一起。这种跨任务的错误模式关联是 AIW 最强大的能力之一。

Step 4：重塑数据分布

最后，将检索到的任务的采样概率提高。这样，在下一轮训练中，Agent 将更多地面对自己薄弱环节相关的任务，实现有针对性的"补课"。

4.4 整体训练流程

将 WIA 和 AIW 整合后的完整训练流程如下：

初始化：任务分布 p_D，失败记忆库 M = ∅

每一轮训练：
  1. 从 p_D 中采样一批任务
  2. 对每个任务：
     a. LLM 扮演 Agent，展开交互获得轨迹
     b. 在每步之后，用同一 LLM 预测未来 H 步状态
     c. 计算预测奖励 r̃，整合为过程奖励 R_t = R_task × (1 + R_pre)
  3. 用哈希映射对相同状态分组，计算状态级优势
  4. 组合优势函数 A = A^S + α·A^E
  5. 用 GRPO 风格的裁剪目标更新策略 π_θ
  6. 对每条失败轨迹：
     a. LLM 分析失败原因，提取失败模式
     b. 将失败模式存入记忆库 M
  7. 从 M 中检索相似失败模式，调整 p_D

4.5 一个具体案例

以 ALFWorld 中的一个真实案例来说明 AIW 的工作过程：

任务：将干净的肥皂放在卫生纸架上

Agent 的失败过程：

1. Agent 拿起了肥皂（正确）
2. Agent 尝试将肥皂放在卫生纸架上（失败，因为肥皂不是"干净的"）
3. Agent 陷入重复尝试，最终超时

AIW 的分析：

• 失败类型：MISSING_PRECONDITION（缺失前提条件）
• 核心教训：在放置物品前，需要先检查物品是否满足"干净"这个前提条件
• 检索到的相似任务：“将干净的布放在马桶中”、“将干净的海绵放在浴缸中”、“将干净的洗碗海绵放在柜子中”

效果：下一轮训练中，这些需要先"检查干净条件"的任务出现概率提高，Agent 被迫反复练习"在放置物品前检查前提条件"这个技能。

4.6 实验验证

Role-Agent 在三个场景、七个基准测试上进行了全面评估：

特别值得注意的是，在 1.5B 小模型上，Role-Agent 的 ALFWorld 得分（90.9%）甚至超过了 7B 大模型上某些基线方法的表现。这暗示着：通过智能体-环境协同进化，小模型也能获得超越其参数量预期的能力。

消融实验还揭示了两个重要发现：

• WIA 和 AIW 各自提供独立的增益，它们是互补而非冗余的
• 额外的计算开销仅约 5.2%，性价比极高

五、必要知识反推

从 Role-Agent 发现问题到解决问题的全过程，我们可以反推出研究者必须掌握的以下知识和信息，以及它们是如何被融合在一起的：

5.1 知识清单

5.2 知识融合路径

这些知识并非简单地罗列在一起，而是通过以下路径被有机融合：

第一层融合：RL + Agent（K1 + K2 + K10）

研究者首先需要理解"如何用强化学习训练 Agent"这一基础框架。这涉及 GRPO 算法的具体实现、轨迹展开和奖励计算等。没有这个基础，后续的一切都无法展开。

第二层融合：世界模型 + 过程奖励（K3 + K4 + K5）

在理解了基础框架后，研究者需要知道如何为 Agent 提供更细粒度的反馈。世界模型提供了"预测未来状态"的思路，过程奖励提供了"将预测作为奖励信号"的框架，而文本相似度度量提供了"量化预测准确度"的工具。三者的融合产生了 WIA 的核心设计。

第三层融合：课程学习 + 错误分析（K6 + K7 + K9）

另一方面，研究者需要理解如何让环境适应 Agent。课程学习提供了"自适应调整训练数据"的框架，错误分析提供了"从失败中提取模式"的方法，而 LLM 提示工程提供了"让 LLM 扮演分析者角色"的工具。三者的融合产生了 AIW 的核心设计。

第四层融合：信用分配 + 双模块整合（K8 + K1 + K5）

最后，研究者需要将 WIA 和 AIW 整合到一个统一的训练框架中。信用分配理论（特别是 GiGPO 的状态分组思想）提供了将预测奖励精确归因到每一步决策的方法，而 RL 框架提供了统一的策略优化目标。

5.3 关键洞察的诞生

最关键的知识融合发生在"为什么用乘法而非加法"这个设计决策上。这个决策需要同时理解：

• 强化学习中奖励设计的风险（虚假奖励可能误导学习）——来自 K1
• Agent 可能"钻空子"（让预测很准但任务失败也获得奖励）——来自 K2
• 乘法结构天然防止这种作弊（只要任务失败，总奖励就是 0）——来自 K8

这种跨领域的知识融合是 Role-Agent 设计中最精妙的部分。

六、通用性灵感

Role-Agent 中蕴含了多条不仅适用于 Agent 领域，还可以推广到其他研究和工程场景的普适性洞察：

灵感 1：单组件双角色——用同一资源扮演两个对立面

洞察：在很多系统中，存在两个天然对立的角色（如选手 vs 裁判、生产者 vs 消费者、学生 vs 老师）。通常的做法是为每个角色配备独立组件，但 Role-Agent 证明了通过精心设计的提示和机制，单一资源可以同时承担两个角色，形成闭环的自举系统。

推广方向：

• 在代码审查中，让同一个 AI 既写代码又审查代码，通过"自我审查"提升代码质量
• 在创意生成中，让同一个系统既产生方案又批判方案，通过"自我博弈"提升创意水平
• 在教育系统中，让同一个学习者既做学生又做老师（费曼学习法），通过"以教促学"加深理解

灵感 2：预测能力作为理解程度的度量

洞察：如果一个智能体真正理解了环境，它应该能预测自己行动的后果。预测准确度因此成为理解深度的天然度量。这一思想可以推广到任何需要评估"理解程度"的场景。

推广方向：

• 评估 LLM 对某个领域的理解程度时，不只问它"你懂了吗"，而让它预测下一步会发生什么
• 评估学生对知识的掌握程度时，不只考他"记忆"，而考他"预测"——“如果改变条件 X，结果会怎样”
• 在系统监控中，用"预测偏差"来检测系统是否正常运行

灵感 3：乘法组合防止奖励作弊

洞察：当组合两种奖励信号时，乘法组合（R = A × (1 + B)）天然防止 B 独立引入虚假信用——只有当 A 非零时，B 才能发挥作用。这比加法组合（R = A + B）更安全。

推广方向：

• 在绩效评估中，“努力程度"应该只在"目标达成"的基础上调节绩效，而不是独立加分
• 在风险评估中，“概率"和"影响"应该通过乘法组合，而非简单相加
• 在产品评分中，“功能完整度"应该是基础，“用户体验"只在此基础上加分

灵感 4：基于失败模式而非表面相似度的检索

洞察：AIW 不通过任务文本的表面相似度来检索训练数据，而是通过底层失败模式的相似度。这使得表面上不同但根因相同的任务能被关联起来。

推广方向：

• 在 Bug 修复中，不按"功能模块"分类 Bug，而按"根因模式”（如空指针、并发竞争、类型混淆）分类
• 在医疗诊断中，不按"症状表现"归类疾病，而按"病因机制"归类——表面不同的症状可能源于相同病因
• 在团队管理中，不按"任务类型"安排培训，而按"犯错模式"安排——不同任务中相同类型的错误值得集中攻克

灵感 5：细粒度错误分类的价值

洞察：Role-Agent 在 ALFWorld 中定义了 10 种失败模式、在 WebShop 中定义了 11 种、在搜索 QA 中定义了 9 种。这种细粒度的错误分类是实现"对症下药"的前提。

推广方向：

• 在任何优化系统中，“粗粒度评价"只能告诉你"好不好”，“细粒度分类"才能告诉你"哪里不好、怎么改”
• 在项目管理中，不满足于"项目延期了"这个结论，而要追问"是需求不清？技术风险？资源不足？沟通不畅？”
• 在个人成长中，不满足于"这次考试没考好”，而要分析"是概念不理解？计算失误？时间分配不合理？”

灵感 6：渐进式自举——先积累再利用

洞察：Role-Agent 的失败记忆库是渐进积累的——从训练初期的大量快速积累，到后期逐渐饱和。这说明自举系统不需要一开始就有完美的知识库，而是可以通过"边做边积累"逐步完善。

推广方向：

• 在构建知识管理系统时，不追求一次性搭建完美结构，而是从实际使用中逐步积累
• 在培养团队能力时，不追求一步到位的全员培训，而是从实战中积累经验教训，形成知识沉淀
• 在产品设计时，不追求第一版就完美，而是从用户反馈中持续迭代

结语

Role-Agent 的工作为我们展示了一种优雅的范式：不需要更多组件，只需要更巧妙地使用现有资源。通过让同一个 LLM 在智能体和环境之间切换角色，Role-Agent 实现了一个闭环的自举系统——智能体通过预测未来状态来更好地理解环境（WIA），环境通过分析失败模式来更好地训练智能体（AIW）。

这种"双角色自举"的思想不仅适用于 Agent 训练，更是一种通用的系统设计范式——当资源有限时，与其增加新组件，不如思考如何让现有组件承担更多角色、形成更紧密的反馈闭环。

更重要的是，Role-Agent 证明了小模型 + 聪明的训练策略可以超越大模型 + 简单的训练策略。在 1.5B 参数的小模型上，Role-Agent（90.9%）甚至超过了 7B 模型上某些基线方法的表现。这为在资源受限场景下部署高性能 Agent 提供了切实可行的路径。

最后，Role-Agent 的失败模式分析（在 ALFWorld 中识别出 10 种细粒度失败类型）为我们理解 Agent 的"认知弱点"提供了一个宝贵的分类框架——这些失败模式（重复探索、实体混淆、缺失前提条件等）在不同 Agent 和不同任务中普遍存在，值得我们深入研究和攻克。