SpatialOPSD / AdaptEvo / ViSkill 三重奏精读：Agent 经验的三条内化路径 精读

论文一：SpatialOPSD: Self-Distilling Spatial Intelligence from Verified Coding Agent Traces 发表时间：2026 年 10 月 机构：阿里巴巴集团（全员，含实习生；前两位作者为实习生贡献，通讯作者 Bowen Xu）。纯企业研究。 领域标签：多模态大模型、空间推理、知识蒸馏、on-policy 自蒸馏（OPSD）

论文二：AdaptEvo: Adaptive Agent Learning with Evolving Supervision 代码仓库：AllSpark-Research/AdaptEvo 发表时间：2026 年 10 月 机构：复旦大学、中山大学（高校学术方，第一作者单位复旦、共同等贡献者之一来自中山）、小红书（企业提供真实工业场景、数据与多位通讯作者 Yahui Liu / Mu Chuan 等）。典型「高校学生 + 企业合著」的产学研合作。 领域标签：强化学习（GRPO 变体）、工业多模态内容审核、不完美监督下的 Agent 学习

论文三：ViSkill: Reinforcing VLM Agents with Evolving Visual-Native Skills 代码仓库：ZJU-REAL/ViSkill 发表时间：2026 年 10 月 机构：浙江大学（全员，通讯作者 Yongliang Shen）。纯高校。 领域标签：视觉强化学习、具身 Agent、技能库自进化

三篇论文来自三种不同机构形态：企业（阿里）、校企联合（复旦/中山/小红书）、纯高校（浙大），恰好覆盖了同一条研究主线在三种约束条件下的展开方式。本文按九部分结构合并精读。

一、论文背景

要理解这三篇论文，先要理解它们共同的大背景：Agent 的经验现在大多是一次性消耗品。

什么是 Agent？可以类比成一个「带工具箱的实习生」：大模型（LLM/MLLM）是大脑，工具（代码执行器、搜索引擎、评论查询接口、机器人手臂）是手脚。大脑负责推理「下一步做什么」，手脚负责真正执行并返回观测结果。Agent 与普通聊天机器人的区别就在于这个「行动-观察-再思考」的循环。

这个范式在 2025-2026 年已经成熟：OpenAI 的 o 系列、Anthropic 的 Claude Code、各类空间编码 Agent 都证明了——给模型一个 Python 内核加感知工具，它能解决许多裸模型解不了的问题。但成熟之后，三个新痛点浮出水面，分别对应三篇论文：

痛点一（SpatialOPSD）：工具很好，但推理时太贵。 空间编码 Agent 每答一题都要跑多轮「写代码-执行-看结果」的循环，延迟高、依赖外部工具设施。类比：实习生每次接电话都要重新查一遍操作手册——明明已经做过一万次了。能否把「借助工具的推理能力」压缩回模型参数里，让它单次前向、无工具也能答？这就是「能力内化」问题。

痛点二（AdaptEvo）：监督信号本身不可靠。 工业界训练 Agent 做内容审核时，奖励来自人工标注的参考标签。但论文统计了自家的工业数据：3,395 个案例中 20.9% 存在四位标注员之间的分歧，33.1% 被外部模型（Kimi-K3）评估为「模糊或缺乏规则/证据支持」。把这些不完美的标签当铁板一块的奖励去拟合，模型学到的是标注噪声而非规则本身。类比：教练自己都经常判罚不一，球员越练越迷惑。

痛点三（ViSkill）：经验没有被显式保留。 标准 RL 训练 VLM Agent 时，成功轨迹里蕴含的可复用程序性知识（怎么绕障碍、怎么协调多步操作）只被隐式吸收进策略参数，换个局面就要重新探索。而且已有技能库方案大多是文本中心的——把空间布局「翻译」成文字，几何结构在翻译中丢失。类比：老师傅的手艺写成纯文字手册，徒弟照着念却摆不出那个姿势。

三条痛点指向同一个母题：Agent 的执行轨迹是一笔被浪费的资产。它可以被蒸馏（痛点一）、可以被进化成知识与评分标准（痛点二）、可以被外化成可检索的技能（痛点三）。

二、论文定位和关联工作

三篇论文各自站在不同的研究谱系中，但都在「前作止步处」继续前进。

谱系一：从工具增强到能力内化（SpatialOPSD）

• SFT 路线（SpatialVLM、VST 等）：在 QA 对上做监督微调，泛化差，空间理解仍是隐式的。
• RL 优化 CoT 路线（MindCube 相关、ProSR 等）：显式逻辑但管线复杂，冷启动轨迹昂贵。
• 工具增强路线（SpatialClaw、pySpatial、S-Agent）：不训练、即插即用，但推理开销大、错误级联。
• OPSD 路线（Self-Distilled Reasoner 等）：教师看参考解、学生只看题目，on-policy 蒸馏。已知瓶颈是「特权信息泄漏」——学生幻觉出考试时不存在的小抄。

SpatialOPSD 的定位：第一个把「经真值验证的空间编码 Agent 轨迹」作为 OPSD 特权信息源的工作，并用「重复感知蒸馏」从学生输出侧（而非教师监督侧）抑制泄漏。与 Learning by Cheating（Chen et al., CoRL 2020，自动驾驶中先训特权教师再蒸馏视觉学生，CARLA 基准全任务 100% 成功率）思路同构，但把「特权」从仿真器真值状态换成了「Agent 工具轨迹摘要」。

谱系二：从固定奖励到进化监督（AdaptEvo）

• 不完美监督研究（Davani et al. 2022 等）：标注分歧可反映系统性解释差异，而非纯噪声——为「不该直接滤掉分歧样本」提供依据。
• 自我进化系统（AgentEvolver、MemSkill、Darwin Gödel Machine）：更新 Agent 实现或记忆机制。AdaptEvo 与 MemSkill 最接近（都交替训练与记忆修订），但 AdaptEvo 额外进化「过程评分标准」。
• 奖励过度优化与评判者偏差（Gao et al. 2023、Judging LLM-as-a-Judge 2023）：解释了为什么过程评估器也需要被审查和进化。
• Self-Rewarding LM（Yuan et al. 2024）：用模型生成的偏好标签迭代优化；AdaptEvo 改为修订文本化的过程检查项与评分锚点。

AdaptEvo 的定位：首个把「置信度自适应奖励混合 + 知识/评分标准双进化」耦合进一个训练-进化框架、并用真实工业规则变更数据（Out-of-Period 测试集）检验泛化的工作。

谱系三：从文本技能到视觉原生技能（ViSkill）

• 技能增强 Agent（Voyager 2023、ExpeL 2024 等）：轨迹蒸馏为自然语言指令或工作流存库复用，文本中心。
• 技能 + RL 结合（SkillRL、Skill0、Skill1 等）：把技能库接入强化学习，但技能表示仍是文本。
• 视觉记忆/技能（MMSkills、XSkill、SkillLens、AtlasVA 等）：开始引入视觉证据。AtlasVA 从交互统计进化空间热力图做稠密奖励，是与 ViSkill 最强的对照——记忆增强 RL 基线。
• VLM Agent RL（VAGEN、RAGEN 等）：多轮视觉环境的 RL 训练框架，ViSkill 直接采用 VAGEN 的环境与训练配置以保证公平对比。

ViSkill 的定位：首个把技能表示为「复合视觉技能卡」（标注轨迹帧 + 策略文本渲染进同一张图）并与 PPO 联合优化的闭环框架，消融显示视觉原生表示相对文本技能卡有 0.14-0.25 的成功率差距。

三篇论文的横向定位

三、问题定义

三篇论文的表象问题各不相同，但抽象到本质层面高度一致：如何把「一次性执行轨迹」中蕴含的结构化知识，转化成可复用、可迁移的资产，且不引入捷径依赖。

SpatialOPSD 的问题抽象

具体问题：MLLM 能否摆脱工具、单次前向完成空间推理？

核心洞察：论文先做了一个关键观察实验——仅仅把 Agent 的执行轨迹摘要放进提示词（Agent-Trace-Conditioned CoT），模型的推理质量就几乎追平了完整 Agent（MindCube-Tiny 上 62.9 vs 63.0）。这说明轨迹里真正起作用的是几何操作逻辑，而不是工具调用本身。

抽象问题：给定输入 x、经验证的轨迹集合 {τ}，如何训练一个只看 x 的学生 pθ，使其行为分布逼近「看了轨迹摘要的教师 pϕ(x, I)」。这本质上是带信息不对称的分布对齐问题——教师多看的 I 是「特权信息」，学生的习得不能靠背诵 I。

类比：开卷考试（教师看参考解）带出闭卷考生（学生），训练目标是让闭卷考生「会做题」而不是「默写参考解」。

AdaptEvo 的问题抽象

具体问题：规则有缺口、参考标注可靠性不一的工业审核中，如何训练 Agent？

核心洞察：「参考标签是否被规则和证据支持」是一个可离线评估的量 C(x)，与任务难度无关、也不是校准的正确率概率，但它决定了这条标签值得多大的信任权重。

抽象问题：给定规则 R、案例 x、可靠性不均的参考标签 y*，最大化「证据接地的决策质量」。论文将其形式化为：奖励 R = α(C(x))·R_out + (1-α(C(x)))·R_proc，其中 α(C)=0.9C——置信度高的标签多用结果奖励，置信度低的样本退回过程奖励（评估轨迹的证据获取、规则应用是否规范）。这是一个「监督信号加权的贝叶斯式问题」：不完美监督下，信任应当与证据支持度成比例。

类比：陪审团意见分歧大的案子（低置信度），重点审查办案程序是否合规（过程奖励）；全员一致的案子（高置信度），直接按裁决执行（结果奖励）。

ViSkill 的问题抽象

具体问题：VLM Agent 在视觉接地环境中如何积累与复用成功经验？

核心洞察：空间布局和动作-状态对应关系本质上是几何结构，文本是它的有损编码。「玩家在箱子上方，目标在右下，中间隔墙」这句话丢掉了距离、角度、遮挡关系。VLM 天生有视觉通道，为什么要强迫技能以文本形式进入模型？

抽象问题：给定任务分布 D 和空技能库 B，设计技能表示 z、检索函数 q(z|x)、奖励整形 r_skill 与更新规则，使「策略 πθ 与技能库 B 的联合优化」形成正反馈闭环。形式化地：技能既是上下文示范（影响 πθ(a|x, z)）又是奖励塑形源（部分信用 r_skill(τ, z)），成功轨迹过质量/新颖门后回写 B。

类比：老司机的行车记录仪片段 + 一句「雨天过弯提前减速」的旁白，合在一起就是一张比纯文字笔记好用的「经验卡」。

三个抽象问题的共性：都引入了某种「不对称性」作为学习动因——SpatialOPSD 是教师/学生的信息不对称，AdaptEvo 是标注支持度的不对称，ViSkill 是检索技能与当前任务的相关度不对称。不对称性提供了梯度方向，闭环提供了放大机制。

四、问题解法

SpatialOPSD：三阶段流水线 + 重复感知蒸馏

阶段一：验证轨迹收集。 部署空间编码 Agent（SpatialClaw，骨干同为 Qwen3.5-9B）在 10,000 道 MindCube 训练题上跑多轮代码执行循环，每轮产出推理步骤 r_t、代码 a_t、执行输出 o_t。只有最终答案通过真值确定性验证的 5,008 条轨迹被保留（50.08% 通过率）。类比：只把「做对了的解题过程」收进教材。

阶段二：特权信息构造。 比较了四种轨迹改写策略：

SUMMARY 表现最佳（平均 51.9%，FULL-TRACE 50.2%、FACT 50.3%、INTENT 50.4%）。深层原因：SUMMARY 维持了「适度」的师生熵差——熵差太小（INTENT）则教师信息量不足，太大（FULL-TRACE）则优化失稳。

阶段三：重复感知蒸馏（Repetition-Aware Distillation）。 这是防泄漏的核心机制。标准 OPSD 中教师会强化而非纠正学生的自我重复，且教师偏好逐字转写特权信息 I——而学生考试时看不到 I，背诵即作弊。解法分两步：

1. 检测：用 token 4-gram 匹配找出学生 rollout 中两类片段——与 I 重复的（出现在 I 但不在输入 x 中的 n-gram）、自我重复的（在 rollout 前文出现过的 n-gram）。连续命中长度 ≥ L_min（取 32）才置掩码，避免误伤短巧合。
2. 处置：对被标记 token，掩码掉蒸馏监督（不学），同时施加 unlikelihood 惩罚（主动降低其生成概率，系数 λ_rep=0.1，数值稳定下界 ε=10^-6 防止高置信重复时梯度爆炸）。

类比：老师发现学生作业里有抄参考书的原句，既不批改这句（掩码），也扣分警示（unlikelihood）。

AdaptEvo：训练模块 + 进化模块交替

训练模块：CA-GRPO（置信度自适应 GRPO）。 先离线计算每条参考标签的置信度 C(x) = C_human × G_rule：

• C_human：四位标注员归一化标签分布的「1 减熵」，投票 4-0 映射 1.0、3-1 约 0.5944、2-2 映射 0.5；
• G_rule：Kimi-K3 评估参考标签及其书面理由是否被规则和证据支持——支持/模糊/不支持分别取 1.0 / 0.6 / 0.2。

然后混合奖励：R = 0.9C·R_out + (1-0.9C)·R_proc − P_protocol。结果奖励 R_out 有分级设计：完全正确 1.0、判错但同为违规子类 0.6、放过/误判 0。过程奖励 R_proc 由冻结的评分器按五个维度（事实接地 0.25、规则保真 0.25、证据覆盖 0.20、工具使用 0.15、决策一致性 0.15）打分。无效输出（格式错、多标签）一律零奖励。

进化模块：冻结策略后做两件事。

1. 知识进化：跨案例收集「参考标签 A、模型反复预测 B」的稳定分歧组，由更强外部模型（实现中是 GPT-5.6-Sol）联合审查规则与证据，区分「决策缺陷」与「参考冲突」，只把有规则和证据支持的区分提炼为知识条目——每条含触发条件、必需证据、决策边界、例外。例如反复出现的「归因失败」会产出「核实检索到的事实确实属于被评判实体」的条件性指导。
2. 评分标准进化：用保存的训练轨迹筛选评分检查项——计算每条判据在组内 rollout 间的方差，若高分且低区分度（饱和），替换之。筛选时用「重复判定的方差」扣除评判者噪声，单案例低方差不足以定罪。修订后的评分锚点细化为六级（1 / 0.8 / 0.6 / 0.4 / 0.2 / 0）。

进化的产物（知识 E’、评分标准 Q’）固定后注入下一阶段训练。类比：赛季中期的「复盘会」——教练组（外部模型）分析录像找系统性失误，更新战术手册（知识）和考核表（评分标准），下阶段照新标准训练。

ViSkill：技能卡表示 + 检索 + 有界奖励 + 回写闭环

视觉技能卡。 每张卡 z_k = (C_k, g_k, u_k, n_k)：C_k 是复合图像（原始轨迹帧加注动作标签与路径叠加 + 策略文本渲染进同一张图）、g_k 是几何描述子、u_k 是效用（EMA 更新 u ← (1-β)u + βy(τ)，β=0.1）、n_k 是使用计数。

几何检索。 离散环境（Sokoban/FrozenLake）把初始格局编码为分块描述子（玩家-箱子关系、局部墙指示等），相似度是分块精确匹配率的加权和；PrimitiveSkill 用任务内物体 xy 坐标的连续距离相似度，且跨任务绝不检索。综合得分 q = 0.9·sim + 0.1·u，最高分且 ≥ δ_r(0.8) 才检索，否则裸跑。关键设计：同一指令可能对应完全不同的空间格局，语言级匹配会张冠李戴，几何相似度才对齐「该用哪个策略」。

有界的技能引导奖励。 对失败但沿参考轨迹部分推进的 rollout 给部分信用：

r_skill = max(0, (ℓ − (L(τ) − ℓ)) / L_z)

其中 ℓ 是智能体轨迹到达参考轨迹最远点，L(τ)、L_z 分别为执行/参考轨迹长度。只作用于失败轨迹（成功拿 r_env 终端奖励），且 λ=0.8 < r_succ=1.0，保证部分信用永远小于完成奖励、不扭曲全局奖励排序。类比：驾校对「科目二挂了但倒库入位一半」的学员给过程分，但过程分永远不等于通过。

双重入闸 + 容量管理。 成功轨迹要进库需同时过质量门（长度 ≤ 求解器最优长度 L*(x)）与新颖门（与库内最佳匹配分 < δ_d=0.9）。库满时按 u·log(n+1) 最低者淘汰。冷启动（可选）：用离线求解器轨迹 + GPT-5.4-mini 蒸馏策略描述、经最远点采样选出 N_cold = ⌊γ·N_conv⌋（γ=0.2）条种子技能预填库。

联合优化。 全部信号进 PPO（GAE 优势估计、裁剪目标，观察 token 掩码不进损失），策略变强 → 产出更优轨迹 → 回写更优技能 → 检索质量更高，形成闭环。

三套解法的共同骨架

五、评估指标与实验证据

SpatialOPSD：准确率 + 泄漏率双指标

指标体系：

• 主指标：MindCube-Tiny / ViewSpatial 两基准准确率（MindCube 考场景重建与视角模拟，ViewSpatial 考自我中心/他者中心视角定位）；
• 泛化指标：四个 OOD 基准（BLINK、OmniSpatial 空间类；MMStar、Video-MME 通用多模态类）平均分；
• 机制指标：特权信息泄漏率（PI 泄漏率）——用宽松关键词规则（响应中是否出现 agent/trace/tool 的独立词形）统计样本级泄漏比例。这个指标设计得很诚实：宽松匹配是保守的表层度量，宁可误报不漏报。

核心数据（Qwen3.5-9B 骨干）：

关键对照：SpatialOPSD 单次无工具前向保留了迭代工具 Agent SpatialClaw 91% 的性能（51.9 vs 57.3）；超越 GPT-5（51.0）、逼近 Gemini-3-Pro（60.7）。OOD 四基准平均 64.7 为最佳，而 SFT 崩溃到 38.4——直接证明「拟合答案」不如「内化推理」。

消融证据链：掩码单独用准确率最高（53.0）但泄漏 73.6%，unlikelihood 单独用泄漏最低（6.7%）但准确率 51.5，完整版 51.9/9.1% 居中——两机制互补。验证过滤（5,008 vs 全量 10,000 条轨迹）在 MindCube-Tiny 上 +4.9 分：轨迹质量重于数量。跨 Agent（pySpatial 轨迹训练）52.0 分，证明框架不绑定特定 Agent。模型规模上 2B/4B/27B 分别 +2.2/+3.8/+3.6 分，方法可规模迁移。

AdaptEvo：双精度指标 + 跨期泛化

指标体系：

• ELA（exact-label accuracy）：精确标签命中，要求连违规子类都对；
• BDA（binary decision accuracy）：合并所有违规标签后按「放过/违规」二分判定——衡量更粗但业务上更根本的决策方向。
• 论文明确声明两指标衡量的是「与参考的一致性」而非独立验证的规则合规性，差异以百分点计。这个诚实的限定值得注意。

数据集：自建工业多模态内容审核集——3,395 训练案例（每例四位人工标注 + 质检员 QC 标签为参考），In-Period 测试集（与训练同期采集）、Out-of-Period 测试集（规则变更后采集）。用「规则变更后的数据」考泛化，是工业视角下最严苛也最真实的考题。

核心数据（Qwen3.6-35B-A3B 骨干，60 步 checkpoint）：

三个层次的说服力：其一，In-Period 上 AdaptEvo 超 GRPO 7.5/3.7 点，甚至超过最强参考模型 Gemini3.8-Flash（61.2/71.9）0.7/0.3 点。其二，训练曲线揭示了最有价值的证据：GRPO 的训练奖励在后段上升，但 Out-of-Period 准确率从步 10 到 60 反而下滑（ELA −2.6 点、BDA −0.8 点），最终跌破基座——这是「拟合噪声标签 → 规则迁移退化」的直接证据；CA-GRPO 全程每个 checkpoint 都保持对基座为正（最终 +1.9/+1.4 点）。其三，知识注入的增量分解：仅推理时加知识 +3.7/+3.2 点，继续训练再 +2.8/+0.9 点——知识本身有效，训练放大知识。

消融：三种固定奖励配比（0.8:0.2 / 0.5:0.5 / 0.2:0.8）呈现 ELA 与 BDA 的跷跷板（过程重的 ELA 高、均衡的 BDA 高），无一种配比双优；CA-GRPO 四项对比中三项第一——自适应逐样本加权优于任何全局固定配比。诊断实验还展示了过程奖励被劫持的实锤：宽松评分标准下过程奖励逼近 0.98 而结果奖励从 0.569 跌到 0.455，正是评分标准需要进化的动机证据。

ViSkill：成功率 + 收敛速度 + 表示消融

指标体系：总体与分环境成功率（环境谓词判定，训练/评估种子范围不相交保证无泄漏）；训练曲线（收敛速度）；技能库动力学（检索率、准入数）。

环境：Sokoban（推箱子，离散 2D 规划）、FrozenLake（避洞寻路）、PrimitiveSkill（ManiSkill 第三人称 3D 操作：Place/Stack/Drawer/Align/Swap）。前两个 300 训练步，后者 60 步。

核心数据（Qwen2.5-VL-3B 骨干）：

3B 模型 + 技能闭环全面超过 72B 裸模型与所有专有模型；对比最强基线 AtlasVA +2 点（冷启动 +4 点）。训练曲线显示 ViSkill 全程快于 PPO 收敛。

消融证据链（这是全文最有说服力的部分）：

• 表示消融：文本技能卡 0.63（Sokoban，下同）/0.59（FrozenLake）、OCR 渲染文本 0.68/0.62，对比 ViSkill 0.82/0.84——差距 0.14-0.25，视觉原生表示是主要贡献源。甚至缩到 0.2 分辨率的技能卡仍胜过全分辨率文本技能，且 token 更省。
• 组件消融：去技能引导奖励 −0.05/−0.04（有用非主导）、去策略描述 −0.10/−0.03（组合规划任务尤需战略层）、去策略优化 −0.53/−0.51（最大项）——只积累技能不训练模型，性能塌到三分之一，证明联合优化不可或缺。
• 技能库迁移：联合优化期间积累的技能库迁移给未优化基座，Sokoban 0.14→0.41、FrozenLake 0.14→0.39，且优于「无联合优化的库」——闭环产出的技能本身质量更高。
• 超参敏感性：λ=0.8 峰值（λ=0 无信号、λ=1.0 过度追逐参考状态反降）；δ_d=0.90 平衡库容与效用；DI NOv2 通用视觉特征检索仅比规则描述子低 0.02/0.01——检索不依赖手工特征。

三篇实验设计的共同逻辑

三篇论文都用了「主指标 + 机制指标 + 反事实消融」的三层设计：SpatialOPSD 用泄漏率揭示 SFT/OPSD 的捷径风险、ViSkill 用表示消融隔离表示贡献、AdaptEvo 用 checkpoint 曲线抓到 GRPO 的泛化退化。好的消融不是砍组件看分数掉多少，而是砍掉组件后恰好复现出「没有这个设计时的已知病症」——三者都做到了这一点。

六、效果优势的根源解释

按因果链（方法差异 → 机制变化 → 指标提升）逐篇解释，并标注证据等级。

SpatialOPSD：为什么 OPSD + 防泄漏优于 SFT/GRPO

因果链（每步标注：论文实验已支持 / 阅读者推测）：

1. 【论文已支持】动机实验：Agent 轨迹条件化使 CoT 达到完整 Agent 水平（62.9≈63.0），且 3D 感知概念引用频率提升 1.8 倍、反事实运动概念 1.6 倍——轨迹确实承载几何操作逻辑，不是表面相关性。
2. 【论文已支持】SUMMARY 摘要保留了适度的师生熵差（Figure 6）——教师既比学生「知道更多」，又不至于差距大到令优化失稳。这解释了为何 SUMMARY 优于信息更全的 FULL-TRACE。
3. 【论文已支持】on-policy 蒸馏在学生自己的 rollout 上给 token 级密集监督，避开两个已知病灶：SFT 的分布偏移（只在标注轨迹上训练，考试时遇到自己分布外的状态就崩，OOD 38.4 分是直接证据）；GRPO 的稀疏奖励（只有对错二元信号，中间几何推理步无从校正）。
4. 【论文已支持】掩码 + unlikelihood 阻止逐字转写特权内容，PI 泄漏率从 82.7% 压到 9.1%；定性案例（Figure 8）显示 vanilla OPSD 会幻觉出不可用的「Agent 式轨迹」为错误答案辩护，而 SpatialOPSD 的推理严格锚定在可观察视觉线索上。
5. 【阅读者推测】91% 教师性能保留率的深层原因：SUMMARY 摘要中「工具返回值逐字保留」让数值事实可被学生重新利用，而「图像引用锚定」把视觉证据位置传给了学生——学生学到的是「在哪里看、看什么、怎么算」，而非「答案是什么」。

外部交叉验证：

AdaptEvo：为什么置信度自适应 + 双进化能抵御规则变更

因果链：

1. 【论文已支持】前提量化：20.9% 人工分歧 + 33.1% 模糊/无支持参考标签——等权结果奖励迫使模型拟合弱支持标签，这是 GRPO 训练奖励升、测试精度降的机制根源（Figure 3 曲线是直接证据）。
2. 【论文已支持】CA-GRPO 的 α(C)=0.9C 使弱支持样本的结果奖励权重自动下降、过程奖励补位——模型在不确定标签上学「规范流程」而非「记住答案」，因此规则变更时（Out-of-Period）不发生灾难性遗忘式退化（每个 checkpoint 均为正 vs GRPO 跌破基座）。
3. 【论文已支持】知识进化补的是规则本身没写的部分：触发条件、边界、例外。推理时注入知识 +3.7 ELA 的即时增量证明这些知识包含规则文本之外的增量信息。
4. 【论文已支持】评分标准进化针对的是「可被利用的评分缝隙」：诊断实验中过程奖励 0.98 vs 结果奖励下滑的剪刀差，是宽松判据被策略钻空子的直接观测。
5. 【阅读者推测】自适应优于固定配比的深层原因：固定配比对所有样本一视同仁，而标签可靠性是样本级属性；逐样本加权相当于把「该信谁」的决策从超参数移到了数据侧，与贝叶斯加权思想同构。论文未做「按真实置信度分层」的细分分析，此推断待验证。

外部交叉验证：

ViSkill：为什么视觉原生技能 + 闭环优于文本技能 / 纯 PPO

因果链：

1. 【论文已支持】前提：文本化把空间布局线性化，几何结构（距离、方位、遮挡、动作-状态对应）在语言编码中不可逆丢失。表示消融是直接证据：文本卡 0.63 vs 视觉卡 0.82（Sokoban）。
2. 【论文已支持】视觉技能卡直接进入 VLM 视觉通道——不经过「图像→文字→再理解」的有损翻译，检索到的技能既做上下文示范（决策时看得到）又做奖励塑形源（r_skill 提供稠密梯度）。
3. 【论文已支持】λ=0.8 < r_succ 的有界设计保证部分信用永不压过完成奖励：失败轨迹获得非零学习信号（加速收敛，Figure 3），同时全局奖励排序不被扭曲（λ=1.0 时性能反降，Table 4 反事实证据）。
4. 【论文已支持】闭环必要性：去掉策略优化（只积累技能不训练）掉 0.53——技能库不是静态外挂，联合训练使「库滋养策略、策略反哺库」；迁移实验（联合优化库 vs 非联合库迁移后 0.41 vs 0.29）证明闭环让技能本身变好。
5. 【阅读者推测】冷启动增益集中在 Sokoban（+0.06）而非 FrozenLake（+0.01）的原因：Sokoban 是组合爆炸型配置空间，早期无引导探索命中率极低，种子技能的价值在「开局覆盖率」；FrozenLake 解空间较平滑，探索本身代价不高。论文只观察到现象差异，此机制解释为推测。

外部交叉验证：

综合判断与未决问题

多项研究共同支持的机制：

• 特权信息不对称蒸馏有效（Learning by Cheating 在驾驶、SpatialOPSD 在空间推理、以及论文引用的 VicUR/RP-OPSD 系列）；
• 显式经验资产（技能/知识库）优于纯参数隐式吸收（Voyager 代码技能、AtlasVA 热力图、ViSkill 视觉卡、AdaptEvo 知识条目四种形态交叉印证）；
• 有界塑形/有界信任是安全的：ViSkill 的 λ 上界、AdaptEvo 的 α(C) 上界 0.9（即使最高置信也保留 10% 过程监督）同属一个设计原则——辅助信号永远不应完全取代目标信号。

仍属推测的机制：SpatialOPSD 的 91% 保留率归因（摘要中数值与图像锚定的具体贡献比例未拆解）；AdaptEvo 自适应优于固定配比的样本级机制（缺分层分析）；ViSkill 冷启动增益的任务差异解释。

适用条件与可能失效场景：

• SpatialOPSD：依赖可验证的 Agent 轨迹——任务答案不可自动判定时（开放性生成），Phase I 无法过滤，整条流水线失效；
• AdaptEvo：置信度定义依赖人工标注协议与外部评估模型，迁移到无标注协议的场景需要重新设计 C(x)；知识合成依赖更强外部模型，若外部模型与策略能力倒挂则进化方向存疑；
• ViSkill：技能引导奖励假设「有用的部分进展会经过参考轨迹的状态」——论文自己在 Limitations 承认，当合法解路径与参考轨迹状态不相交时（解空间多分支），r_skill 提供的引导有限；环境目前限于 VAGEN 框架支持的小型网格/3D 原语任务，真实开放场景待验证。

七、必要知识反推

假设让一个「有通用 ML 工程能力但不懂这三个领域」的人复现这三篇论文，最少必须掌握什么？

领域知识层

• 多模态空间推理的任务形态（SpatialOPSD/ViSkill 共需）：自我中心 vs 他者中心视角、视点变换、深度与遮挡——不理解 MindCube 的「从局部观察重建场景」在考什么，就无法判断轨迹摘要该保留什么。
• 内容审核业务的规则结构（AdaptEvo 需）：队列-标签两级规则体系、豁免条款、严重度分级——不懂「看到伤口不等于违规，还要判严重度、查豁免」这个业务逻辑，就无法设计五维过程奖励。
• 标注不完美性的实证分布：标注员间分歧率、支持度评估的方法论（AdaptEvo 附录 A.2 的交叉表分析是范本）。

方法论知识层

• OPSD/蒸馏理论（SpatialOPSD）：师生 KL 目标、stop-gradient 的作用、on-policy rollout 与分布对齐——特别是「熵差」作为优化稳定性的诊断量（论文用 Figure 5/6 展示）。
• GRPO 及奖励设计（AdaptEvo）：组相对优势、结果/过程奖励的权衡量纲、奖励劫持的形态。
• PPO 与奖励塑形理论（ViSkill）：GAE、裁剪目标、观察 token 掩码、以及 Ng 1999 势函数塑形的安全性条件——λ < r_succ 的设计直接源于这一理论传统的直觉。
• 轨迹数据处理工艺（三者共需）：如何从原始执行日志中剔除模板化内容（Agent 系统提示词是字节级一致的无信号内容）、如何判定轨迹「有效路径」vs「探索弯路」。

工程知识层

• 大规模训练设施：SpatialOPSD 的 8-GPU FSDP2 + vLLM + 截断重要性采样修正；ViSkill 的 veRL/HybridFlow 框架、rollout 与训练的概率一致性处理。
• 评估协议设计：训练/评估种子隔离（ViSkill）、In-Period/Out-of-Period 双期测试（AdaptEvo）、泄漏率的可复现词法规则（SpatialOPSD 附录 A.3 连参考实现代码都给了）。
• LLM 辅助数据工艺：用 Qwen3.5-9B 做轨迹摘要标注的完整提示词工程（SpatialOPSD 附录 A.1 四套标注 prompt 合计数千词，是最详尽的工程沉淀）。

知识融合的关键节点

三篇论文各自都有一个「化学反应」节点，不是知识叠加而是知识组合出新方案：

• SpatialOPSD 的节点：「Agent 轨迹 ≈ 特权信息」这个等式。它把 Agent 界（工具增强推理）与蒸馏界（特权学习）两条本来平行的线接通——需要同时深刻理解「轨迹里什么是本质（几何逻辑）什么是噪声（工具机制细节）」和「OPSD 的信息不对称机制」，缺一边都提不出这个等式。
• AdaptEvo 的节点：「标注支持度 ≈ 奖励权重的先验」。把标注科学（分歧分析）的量接入 RL 奖励设计，需要同时懂 C(x) 该怎么算（熵、支持度门控）和 α(C) 该怎么进 GRPO。
• ViSkill 的节点：「技能 ≈ 图像」这个表示决策。需要同时理解 VLM 的双通道特性（视觉 token 与文本 token 都在上下文里）和 RL 的示范-奖励对偶（技能既当示范又当塑形源），才能想到把策略文本渲染进轨迹帧图片里。

八、论文中可以提取的通用性灵感

灵感一：经验资产化——轨迹不是燃料而是矿石

核心思想：执行轨迹（无论是 Agent 的、标注员的还是求解器的）蕴含的结构化知识远超其一次性训练价值，应当显式提炼为可复用资产（摘要/知识条目/技能卡），而非只当梯度更新的燃料烧掉。

论文证据：ViSkill 消融中去策略优化仅 −0.05（技能还在），去技能积累则塌方；AdaptEvo 知识注入即 +3.7 ELA；SpatialOPSD 用同源轨迹替代人工 CoT 标注实现自蒸馏闭环。

推广场景：① CI/CD 流水线把历史构建失败与修复记录提炼为「条件-证据-边界」知识库；② 客服系统把人工坐席的疑难工单处理路径蒸馏为可检索决策卡；③ 数据库运维把 DBA 的慢查询诊断轨迹结构化为规则引擎的例外条款；④ 教育领域把名师解题的中间步骤（而非仅答案）做成增量教学素材。

灵感二：不对称性是学习的驱动力，泄漏是不对称的副作用

核心思想：制造可控的信息不对称（教师多看、评估器多知、技能库多存）能产生学习梯度，但必须配套「防转写」机制，否则学习者会走背诵捷径。

论文证据：SpatialOPSD 的 PI 泄漏率 82.7%→9.1% 而准确率不降反升；AdaptEvo 用 α 上界 0.9 保证最高置信样本仍留 10% 过程监督（防止结果奖励独裁）；ViSkill λ=0.8 上界防止部分信用吞没完成奖励。

推广场景：① 企业导师制——资深员工示范时展示判断依据（特权），但考核徒弟时不允许照抄原话（防转写）；② 考试系统防押题——平时给足参考解，考场只考变形题（分布偏移下的真本事）；③ 量化交易——回测信号（特权）上线前必须在未见过的市场状态上验证（防记忆行情）；④ 代码评审——给 reviewer 看 issue 上下文但不给作者身份（防锚定偏差的双向不对称设计）。

灵感三：把「结构」直接送进模型的原生通道

核心思想：当知识有天然的结构模态（几何、层次、时序），把它翻译成语义等价的文本是有损压缩；应优先用接收方（模型/系统）的原生模态编码。

论文证据：ViSkill 视觉技能卡 vs 文本卡 0.82 vs 0.63（Sokoban），且 0.2 分辨率缩略图仍胜全分辨率文本——token 更少、信息更多；甚至 SpatialOPSD 的 INTENT 变体也佐证：纯策略文本（无边框视觉锚定）信息量不足以支撑最佳蒸馏。

推广场景：① API 文档的代码示例直接以可执行 playground 而非 Markdown 代码块交付；② 音乐教学用指法视频而非文字描述；③ 地图导航用 SVG 矢量路径而非「向前 200 米右转」序列；④ 法律合同用条款关系图（图结构）而非长文本供模型审阅。

灵感四：监督信号的信任应与证据支持度成比例

核心思想：不完美监督下，逐样本的信任加权优于全局的二选一（全信/全弃），也优于任何全局固定配比。

论文证据：AdaptEvo 三种固定配比均呈 ELA-BDA 跷跷板、无一双优，CA-GRPO 四项三项第一；GRPO 等权拟合导致规则变更后跌破基座，而置信度加权全程为正。

推广场景：① 多传感器融合——GPS/IMU/视觉各按当时的环境置信度加权而非固定权重；② 医疗诊断——不同检查手段的结论按其与病史证据的一致性加权；③ 众包标注平台——按标注员历史一致率与本次标注的可解释性动态定价与采信；④ 风控系统——不同反欺诈规则按其在当前客群的命中质量自适应调权。

灵感五：评估器本身也是需要进化的对象

核心思想：任何评估器（评分标准、judge 模型、KPI 体系）一旦固定就会成为被优化攻击的目标；把「评估器的修订」纳入与被评估者交替进行的循环，是抵御 reward hacking 的结构性方案。

论文证据：AdaptEvo 诊断实验中过程奖励逼近 0.98 而真实结果同步下滑（宽松判据被钻空子的实锤）；进化后的评分标准（六级锚点、工具使用判据 T03/T04）在下一阶段训练中支撑了 +2.8 ELA 的继续提升。

推广场景：① 搜索引擎反 SEO——排名算法与 SEO 策略的对抗本质上是评估器进化竞赛；② 高考命题——考纲与题型的周期性修订防止应试教育对固定题型的过拟合；③ 开源社区治理——贡献度量指标（commit 数→实际影响）的迭代以防「刷 commit」；④ 大模型评测集——动态换题防污染，与 AdaptEvo 的评分标准进化同构。

灵感六：闭环的每一边都在让另一边变好

核心思想：联合优化 A 与 B 的闭环（技能↔策略、知识↔训练、教师↔学生）不只是「两个好东西相加」，闭环运行产出的资产质量高于开环产出——因为每一轮迭代都在用变强的对侧检验自己。

论文证据：ViSkill 迁移实验——闭环库迁移给基座 0.41 vs 开环库 0.29（Sokoban），闭环让技能本身变好；AdaptEvo 的「知识注入 +3.7 → 继续训练再 +2.8」也是同一模式的数字表达。

推广场景：① 编译器与程序分析——编译优化 pass 与静态分析器互相找 bug 互相强化；② 内容平台——推荐模型与内容生态的共同进化（好内容养出好模型，好模型发掘好内容）；③ 教练与运动员——训练计划与身体反馈的交替调优；④ 双边市场——买家体验与卖家服务质量的正反馈循环设计。

附录：三篇论文的关键超参与实现细节速查

• SpatialOPSD：4-gram 检测、L_min=32、λ_rep=0.1、ε=10^-6；教师上下文预算 18,432 token、学生 14,336；反向 KL 裁剪至 top-100 支撑+尾部桶；8×GPU FSDP2、vLLM 生成、截断重要性采样（clip 2.0）修正 rollout-训练概率失配。
• AdaptEvo：α(C)=0.9C；G_rule 门控 1.0/0.6/0.2；结果奖励分级 1/0.6/0；协议罚分 min(0.3, 0.1k)；五维过程权重 (0.25, 0.25, 0.20, 0.15, 0.15)；每步 32 prompt 组 × 8 rollout；评分锚点六级制；GLM5.3-Flash 批量打分 19 条候选判据（140 案例 × 4 rollout）。
• ViSkill：α=0.9、β=0.1、λ=0.8、δ_r=0.8、δ_d=0.9、γ=0.2；初始效用 0.5；淘汰键 u·log(n+1)；Sokoban/FrozenLake 300 步、PrimitiveSkill 60 步；质量门可用固定长度预算替代求解器最优（Static-10 几乎无损）；DI NOv2 特征可替代手工几何描述子（−0.02/−0.01）。