编码智能体规划、信任原生 Agent OS 与开源后训练配方：三篇系统论文精读

第一篇：Coding Agents for Generalized Task and Motion Planning Problems

论文链接：arXiv:2609.30233 发表时间：2026年9月 机构：Princeton University（一作及通讯 Tom Silver）、Fondazione Bruno Kessler、Carnegie Mellon University、University of Cambridge——纯高校合作，无企业参与；资助来自 Princeton SEAS 创新基金、NVIDIA 学术基金与 Princeton AI Lab 基金 领域标签：cs.RO（机器人学 / 具身智能 / 任务与运动规划）

一、论文背景

什么是 TAMP？ 任务与运动规划（Task and Motion Planning）研究机器人如何把「搬哪个物体、用哪个工具、先做哪个子任务」这类离散决策，与「机械臂关节角、抓取位形、碰撞空间」这类连续几何-运动学-动力学约束耦合起来一起求解。它的难点可以概括为三句话：决策序列很长（horizon 长）、反馈极稀疏（只有到达目标才有奖励）、离散选择与连续可行性死死纠缠（选错要抓的物体，后面的运动可能全部不可行）。即便在全可观、对象中心状态的理想化设定下，TAMP 仍是形式上困难的问题。

广义 TAMP 的现有出路与代价。 为了摊薄逐实例求解的开销，广义 TAMP（Generalized TAMP）利用问题实例间的规律性产出可复用方案：学习采样器、可行性预测器、搜索启发式或状态-动作抽象。但这些方法都要付出大量 TAMP 专属工程——谓词、算子、采样器、技能，每一项都需要专家手写。

LLM 进场的矛盾证据。 编码智能体在软件工程基准上进步飞快，LLM 在经典符号规划域也有成功案例；可一旦让 LLM 直接做 TAMP 里的几何与物理决策，哪怕把相关几何信息写进 prompt，表现也很差。编码能力的进步能否迁移到 TAMP 这种物理推理上，此前没有系统答案。这正是本文要填的空白。

二、论文定位和关联工作

本文处于三条研究脉络的交汇处：

脉络一：LLM 替换 TAMP 组件。 Mendez-Mendez 的系统性研究（arXiv:2510.00182）是该文最直接的评估先例：它构造 16 种用 Gemini 2.5 Flash 替换 PDDLStream 关键组件的 LLM-Modulo 算法，在 13,750 次零样本评估中发现 LLM planner 成功率与规划时间均逊于工程化系统。关键区别：该研究在求解时查询 LLM，而本文在合成时用模拟器反馈开发程序，然后冻结程序、测试时零 LLM 参与——这是「LLM 作为决策者」与「LLM 作为程序合成者」的分水岭。

脉络二：LLM 程序合成自动化 TAMP 工程。 PRoC3S 生成程序后用约束满足求解连续参数；MOPS 在指定轨迹优化约束的程序空间搜索；OWL-TAMP 用视觉语言模型生成 TAMP 约束。这些方法仍锚定特定 TAMP 抽象，而本文让智能体自由决定内部结构——搜索、优化、采样或任务专属过程皆可。

脉络三：智能体化机器人程序合成。 从 Code-as-Policies 到 RHO（策略仓库上的反思式进化优化）、ASPIRE（技能发现-修复-复用）、MEMENTO（记忆引导进化搜索），再到 ARCHITECT（arXiv:2607.23784，把机器人策略获取当作交互式程序合成）。但这些工作的基准（Robosuite、LIBERO 等）聚焦通用操作而非 TAMP 特有的物理推理挑战；本文则系统性评估现成编码智能体在受限 TAMP 类环境上生成广义策略。

定位结论：本文是首个在广义 TAMP 上对现成编码智能体做大规模系统研究的工作——28 环境、7 种合成方法、每方法每环境 5 次运行、980 个程序 × 100 实例共 98,000 评估回合。

三、问题定义

论文面对的具体场景是：给编码智能体一份任务描述和一个模拟器访问接口，让它在固定预算内产出一个程序化策略类（reset/get_action），该程序冻结后在 100 个未见实例上评估。其核心洞察是把这个场景抽象为：

「广义 TAMP 程序合成 ≈ 把跨实例搜索蒸馏为测试时零搜索的程序」

形式化：给定任务描述 d、初始状态分布 ρ、模拟器访问（reset/step）与合成预算 B，合成方法产出程序 π(h_t)→a_t；评估时程序冻结，在 s_0∼ρ 的隐藏实例上最大化 horizon H（60 秒墙钟）内的成功率。精妙之处在于把「规划开销」从评估指标里显式分离——成功率与每实例计算时间并列为主指标，让「快」与「对」可以同时被衡量。

四、问题解法

AgenticGenPlan 的解法可以拆成五层机制：

1. 沙箱隔离（类比：给应聘者一间只有纸笔的考场）。 智能体（Claude Code + Opus 5；Codex + GPT-5.6 Sol / GPT-6 Astra）运行在无网络的 Docker 容器内，只有 Python + NumPy/SciPy，逼它写端到端程序而非调用现成库。模拟器以客户端-服务器隔离：智能体只见客户端接口，实现在容器外不可触碰。作者用红队测试验证隔离（尝试读源码、导禁用库、触网均失败）。

2. 自主实验（类比：科学家自选实验设计，而非按固定流程做测试）。 这是「智能体化」的关键：智能体可以写探测脚本反复 reset 采不同种子、构造边界用例测试套件、校准物理模型。日志中的典型案例：在 StickButton 中 Opus 写脚本专门收集「贴墙的棍子+高处的按钮」这类难例；在 Shelf 中一个 Opus 运行用抓着的方块当标记物（状态不含手部位置），移动机械臂拟合 Kinova Gen3 运动学模型 6 个参数，把预测 RMSE 从 38.9mm 降到 1.8mm，再用拟合模型解逆运动学。

3. 程序接口最小约束。 只要求实现 reset/get_action 的类，不限制内部表示——可以用解析 IK、预计算候选集+回退搜索或任何自创结构。程序提交 git 仓库，每次测试前 commit，可回放演化史。

4. 对照组设计的三档递进。 Baseline 依次为：手工工程 planner（KinDER/PDDLStream 官方实现，带全套手写组件，16/28 环境可用）、One-shot（LLMGenPlan 首程序）、LLMGenPlan（非智能体 LLM 广义规划：有源码+同预算，但只能收预定义反馈、不能自选实验）。第三档是分离「智能体化交互」贡献的关键对照。

5. 源码访问变体。 +source 设定下环境源码进入容器，智能体可读目标判定、复用 IK 求解器，甚至直接操纵模拟器设置任意状态。

五、评估指标与实验证据

指标体系：主指标为成功率（100 个 held-out 实例、60 秒限时、horizon 内到达目标的比例）；辅助指标为每动作规划计算时间与每实例计算时间（均不含合成开销）。

规模与关键数值：28 个模拟环境（KinDER 25 个：Kinematic2D/Dynamic2D/Kinematic3D/Dynamic3D 四族 + PDDLStream 3 域：Packing/Blocked/Rovers），对象数量超出原基准评估范围。

按族分解，Astra 在 Kinematic2D/Dynamic2D/Kinematic3D/Dynamic3D/PDDLStream 上分别取得 99%/97%/93%/65%/≈100%；Opus 为 96%/92%/90%/45%/78%。计算效率的差距更悬殊：Astra 程序平均 1.3ms/动作（Opus 11.7ms），每实例 Opus 2.1s、Astra 0.5s，而 planner 需 29s——低 1 到 2 个数量级。源码访问把 Opus 从 74% 提升到 84%、Astra 从 86% 提升到 95%；但源码本身不充分——同样有源码、同模型、同预算的 LLMGenPlan 只有 28%，Opus+source 在 27/28 环境更高，证明差距主要来自智能体化合成而非信息优势。

实验设计如何证明论点：(a) 同模型对照（LLMGenPlan vs AgenticGenPlan）隔离「自主实验」这一变量；(b) 冻结评估（隐藏种子+事后核验未用）排除记忆评估集的可能；(c) 对象数量扩展实验证明程序随规模增长的鲁棒性优于 planner；(d) 定性证据（未见策略）反驳「回忆训练数据」的替代解释——智能体发现了文献中未曾出现的策略：旋转重新抓取勺子一次性挖更多球、忽略清扫工具直接用机械臂扫、把整个托盘倾倒而非逐个舀取、过肩投掷等。失败仍存：Dynamic3D 中需扫/倒大量小物体的环境在主设定下基本未解（SweepSimple 3%、ScoopPour 14%）。

六、效果优势的根源解释

1. 根源机制与证据链

• 方法差异：planner 逐实例重新符号搜索+采样，其计算结构决定了「每个新实例都付全价」；LLMGenPlan 只能接收预定义反馈，无法设计针对性实验。【论文实验已支持】
• 机制变化：智能体在合成期把跨实例规律性蒸馏成自包含程序——Astra 倾向紧致闭环控制（如解析 IK），Opus 倾向预计算候选集+回退搜索。本质上是把搜索从测试时移到合成时，并针对环境分布做策略特化（如 Sol 在 Blocked 中加「备用远端块」回退，成功率 15%→56%→83%）。【论文实验已支持：日志+commit 回放】
• 指标提升：测试时零 LLM、毫秒级决策、成功率反超手工 planner；发现未见策略佐证非记忆数据可解释。【论文实验已支持；「非回忆」判断部分依赖定性证据，作者亦承认训练数据未公开、不能完全排除基准代码先验暴露】

2. 相关工作检索与对照

3. 综合判断与未决问题。 「把搜索移到合成时」这一机制已获多项研究共同支持（PRISM 的蒸馏、ARCHITECT 的程序合成都体现同一结构）；「智能体自主实验优于预定义反馈」在本文对照实验中成立，但外部独立复现尚少，属合理但待验证的机制。优势的适用条件：全可观、对象中心状态、合成期有模拟器访问；一旦引入感知不确定性或无模拟器的真实环境，该优势能否保持是未决问题。Dynamic3D 的失败案例提示：接触动力学丰富、需要体感反馈的任务仍是短板。

七、必要知识反推

假设让一个毫无背景的人完成这项工作，最少需要掌握：

领域知识层：TAMP 的离散-连续耦合结构（不理解就无法解释为什么这个问题难、planner 慢在哪）；MDP 形式化与 reset/step 模拟器接口；对象中心状态表示。

方法论知识层：广义规划的「实例分布规律性」思想（这是把程序合成与 TAMP 连起来的桥梁）；LLM 程序合成的能力边界（Code-as-Policies 以降的谱系）；实验对照设计——如何用「同模型同预算、只剥夺自主实验能力」的 LLMGenPlan 分离关键变量。

工程知识层：沙箱隔离与红队验证（防止智能体作弊：读源码、触网）；客户端-服务器模拟器接口设计；git commit 级程序演化追踪；运动学模型拟合与逆运动学基础（用于解读智能体的校准行为）。

知识融合的关键节点：最关键的化学反应在于把「广义规划的可复用解」思想从符号域（PDDL 程序）迁移到物理域，同时引入「智能体自选实验」这一来自软件工程 benchmark 的实践——前者决定了问题定义（合成一个程序而非逐实例规划），后者决定了方法形态（交互式合成而非一次性生成）。

八、论文中可以提取的通用性灵感

灵感一：把昂贵的搜索搬到便宜的时刻（范式迁移类）。 核心思想：如果同一类问题会被反复求解，就让智能体在合成期做一次深度搜索，把结果蒸馏成测试时零搜索的轻量程序。论文证据：planner 29s/实例 vs Astra 程序 1.3ms/动作，成功率反而更高。推广场景：编译器优化（离线学超参调度策略）、数据库查询计划（离线合成 workload 专属计划生成器）、自动化测试（离线合成模糊测试策略）、实时定价系统。

灵感二：自主实验权是被低估的智能体能力（机制类）。 核心思想：给执行者「自己设计实验」的权利（写自定义测试、构造边界用例、校准模型），比给它更多信息（源码访问）更能提升产出质量。论文证据：LLMGenPlan 有源码仍只有 28%，Opus 无源码达 74%；智能体主动拟合运动学模型 RMSE 38.9→1.8mm。推广场景：数据科学（让 agent 自造诊断性切片而非只看给定报表）、教育（自主设计实验的学习者）、机器人部署（现场自校准）、科研自动化。

灵感三：未见策略是比分数更强的证据（信号利用类）。 核心思想：判断一个系统的能力是否真实，看它是否产出了训练数据中不可能存在的新结构。论文证据：旋转重抓工具、过肩投掷等文献未见的策略，「难以归因于记忆」。推广场景：模型评估（生成式任务看新颖性）、招聘（看候选人解决前所未见的问题）、代码生成基准设计。

灵感四：黑盒环境下的系统辨识应成为 agent 的基本功（跨域迁移类）。 核心思想：在不能读源码的环境里，用最小实验集反推环境模型（如用抓取物当标记物测运动学）比盲目试错高效得多。论文证据：Shelf 环境的 6 参数拟合案例。推广场景：逆向工程遗留系统、API 行为探测、硬件调试、对手建模。

第二篇：AgentKernel: The Trust-Native Agentic Operating System

论文链接：arXiv:2609.29647 发表时间：2026年8月 机构：DeepKernel Lab（论文署名「A Paper from the DeepKernel Lab」，作者 Zhenhua Zou、Sheng Guo、Qiuyang Zhan、Lepeng Zhao、Shuo Li，通讯 Zhuotao Liu，tsinghua.edu.cn 邮箱显示清华大学背景）；机构标注不完整，产学研属性原文未明确 领域标签：cs.CR（AI 安全 / 系统安全 / 操作系统）

一、论文背景

智能体正在跨越信任边界。 现代 LLM 智能体早已不是聊天演示：它们摄入不可信的网页与仓库内容、把内容与特权系统指令融合、把中间信念持久化进长期记忆、再调用特权工具执行动作。商业编码智能体（Cursor、Claude Code、Copilot/Codex 类）已嵌入日常工程流程，开源 harness（OpenClaw 等）扩展到多消息通道与自进化技能。这条管线为恶意载荷打开宽阔攻击面：提示注入经输入渗入、经工具调用执行危害动作。

现有治理方案的共同天花板。 生态已填满四层局部补救——编排框架（LangChain/AutoGen/CrewAI）、智能体运行时（AIOS、OpenFang、SmythOS、Letta）、治理平台（Microsoft AGT、LangSmith、AgentOps）、执行沙箱（nono、E2B、Anthropic sandbox-runtime）。但即便最强的治理栈也仍是应用级中间件：与智能体共存于同一进程信任边界。论文将其归纳为三大结构性弱点：碎片化（各组件松耦合、来源标签不兼容）、信任边界模糊（如 AGT 自述「应用级治理而非 OS 内核级隔离」，策略引擎与智能体同进程）、非强制执行（防御是可选钩子，能检查工具参数却绑不住实际 syscall 布局——工具内 spawn 的子进程仍可提权）。

与经典 OS 的类比缺口。 传统应用生来就有 OS 级调解基础设施：进程隔离、虚拟内存、文件系统、强制访问控制；AI 智能体却运行在「基础设施真空」里——身份是自声明字符串、感知无中介、记忆无污点纪律、执行权限模糊。论文的判断是：缺的不是又一个安全策略或插件，而是一个提供强制性、不可绕过的身份/输入调解/记忆治理/执行控制服务的操作系统基座。

二、论文定位和关联工作

本文是立场/架构论文，其定位建立在对四层 harness 生态的系统梳理上：

智能体运行时谱系。 AIOS（arXiv:2403.16971，Rutgers）把 LLM 调度、上下文/内存/存储管理收进「AIOS 内核」，实验显示智能体服务加速至 2.1×——但其内核是 FastAPI/uvicorn HTTP 服务器，同进程线程池里的智能体可直接绕过 syscall 层，API 无认证中间件，访问控制是 stub。OpenFang 安全特性最全（WASM 双计量沙箱、Ed25519 manifests、Merkle 审计链、TaintSource/TaintLevel 污点标签、SSRF 白名单、提示注入扫描），但对 A2A 外部连接的智能体不生效。SmythOS「The Linux of AI Agents」实为进程内 Node.js 库，ACL 装饰器可被绕过。Letta（前 MemGPT）自管理上下文窗口但无信息流标签。

治理平台与沙箱。 Microsoft AGT 最全面（Agent OS 策略引擎+AgentMesh SPIFFE/SVID 工作负载身份+Agent Hypervisor 执行环），但核心策略引擎是进程内库——被攻破的智能体可变更策略状态、跳过评估钩子。沙箱（nono 的 Landlock/Seatbelt、E2B、Anthropic sandbox-runtime）提供执行层隔离，但隔离是二元的（沙箱内外），不覆盖感知过滤与记忆污点传播。

定位结论：AgentKernel 自我定位为「harness 生态之下缺失的 OS 层」——首个以安全为第一设计约束、把身份/感知/认知/执行组织为强制内核服务的智能体操作系统。Table 3 对 6 个代表系统 ×15 维度的定性对比中，它是唯一在语义到系统调用调解、多维溯源、记忆污点追踪、计划-轨迹对齐等维度全部为 • 的系统。

三、问题定义

论文面对的具体场景是一个多智能体 DevOps 管线：编排者把 PR 审查与条件部署委托给专家智能体，一条精心构造的 PR 评论携带间接提示注入载荷。其核心洞察是把这一连串失败抽象为：

「智能体安全 ≈ 经典 OS 安全在语义平面的重演」

形式化：给定跨越三个信任域（不可信输入世界 / 受保护智能体核心 / 可审计输出世界）的智能体生命周期，构造一个强制调解层，使每一次信任边界穿越都经过仲裁。问题定义的精妙之处在于倒置：传统思路问「如何保护智能体」，本文问「哪些组件必须被信任以约束一个可能对抗行事的智能体」——智能体本身（LLM、应用逻辑、编排结构）被显式排除出可信计算基（TCB）。

四、问题解法

AgentKernel 的架构是四支柱 + 两信任锚 + 三适配器：

支柱一：Identity（身份是内核管理的资源）。 Ed25519 私钥只存于本地 Agent Kernel（HSM 式托管，可选 TEE 层如 SGX/TrustZone/Nitro enclave），应用代码只见不透明签名句柄。内核签发绑定开发者-代码工件-运营者-部署上下文四维的 Agent Identity Card（AIC），由远端 Global Agent Registry（GAR，CA 级服务）签名。委托是内核系统调用：子能力集 S_child ⊆ S_parent 由密码学强制，撤销父 AIC 原子级联失效整棵委托树。类比：如同 OS 内核管理进程 UID，内核管理智能体的密码学身份。

支柱二：Perception（四级渐进输入防线）。 P1 来源标记（SYSTEM/USER/TOOL/EXTERNAL/UNTRUSTED 五级信任，来源是否持有效 AIC 影响初始信任）→ P2 规则过滤（亚毫秒级模式匹配：指令覆盖、角色冒充、Base64/Unicode 编码绕过）→ P3 语义防火墙（轻量 LLM 分类器判断内容是否试图操纵行为）→ P4 多轮越狱检测（分析会话史发现渐进角色重定义）。

支柱三：Cognition（记忆是安全边界）。 核心算法创新是条目级污点格传播：在完整性×保密性积格上，五步算法（切分来源段→提取候选记忆条目→确定支持段→搜索保持条目有效性的最小安全标签→输出最小反链）取代「整个会话继承最坏标签」。对比示例：一个会话含用户偏好（可信×公开）、私人邮件（可信×秘密）、网页摘录（不可信×公开），朴素取 join 会让全部记忆变成不可信×秘密而不可用；条目级则保留各自精度。记忆默认私有、显式共享；历史上下文检索时显式标记为不可执行数据。

支柱四：Execution（从意图到 syscall 的四层关卡）。 E1 策略规则（亚毫秒，deny-by-default）→ E2 LLM 校验（仅 E1 升级时触发，可转人工）→ E3 eBPF 内核钩子（最独特的创新：工具进程树 spawn 前预装 allowlist——允许哪些文件路径/网络端点/DNS 查询，子进程继承约束，违规即暂停；即使工具实现恶意也无法越出白名单）→ E4 计划-轨迹对齐（不可变签名轨迹对照声称计划，暴露幻觉动作）。

五原则贯穿：外部引用监视器、策略取交集（S_eff = S_dev ∩ S_ops ∩ S_ctx，绝不取并）、全生命周期纵深防御、语义-系统调用双层调解、三个窄适配器（LLM/工具/存储）为唯一通路。

五、评估指标与实验证据

本文为立场/架构论文，无量化实验。其「证据」是两种形式：

形式一：结构性安全性质（两条形式化性质）。Property 5.1 单调能力衰减：对任何委托链 A_0→A_1→…→A_n，S_max^{A_n} ⊆ … ⊆ S_max^{A_0}，由签名验证（非策略评估）强制——即使运营者误配策略也无法越出密码学封套。Property 5.2 语义-系统调用闭包：工具 t 及其后代进程发出的 syscall 受限于 Allow(t) = SemanticEval(t, S_max, M_t, taint)，与 t 的实现无关。

形式二：系统性定性对比（Table 3）。6 个代表系统（Microsoft AGT、AIOS、OpenFang、SmythOS、Letta、nono）×15 维度（密码学工作负载身份、多维溯源、跨组织 A2A 证明、输入溯源标记、渐进输入过滤、记忆污点追踪、溯源感知检索、语义到 syscall 强制、计划-轨迹对齐、跨生命周期整合等）。关键结论：AGT 的 SPIFFE/SVID 覆盖运行时维度身份但无四维绑定；AIOS 无认证+stub ACL；OpenFang 污点标签不流经感知管线不治理长期记忆检索；无任何系统提供语义→syscall 统一强制。评分标准明确声明（•/◦/—），并注明「截至 2026 年 5 月的定性作者评估，非独立审计认证」。

论证如何支撑主张：论文用「安全是能力倍增器」完成论证闭环——非绕过执行把运营者的问题从「能否信任智能体做 X」变为「能否阻止其越出 X」，后者只依赖内核正确性而非智能体未来行为。因此四支柱分别解锁对应能力：身份→跨组织 A2A 市场；感知→更丰富的输入通道；认知→可信长程记忆（溯源加权检索）；执行→更宽工具权限。

六、效果优势的根源解释

1. 根源机制与证据链

• 方法差异：现有方案是可选中间件/同进程库——一次成功注入可同时颠覆安全检查与被保护动作。【论文对 AGT/AIOS 的架构分析已支持】
• 机制变化：安全内核置于 LLM 上下文之外（引用监视器不可被注入操纵）；身份密钥不进应用空间（攻破智能体≠攻破身份）；策略只取交集（单一宽松方不能放大权限）；eBPF 在进程树生成前装白名单（对工具实现黑盒免疫）。【架构论证已支持，尚无攻防实验验证】
• 结果差异：定性上成为唯一全维度覆盖的系统；能力倍增器论断（安全→更宽授权）。【属架构论证；论文 §5.5 诚实承认无性能/攻防实验数据】

2. 相关工作检索与对照

3. 综合判断与未决问题。 得到外部研究支持的机制：「eBPF 可覆盖智能体进程树并在真实攻击下工作」（arXiv:2605.14932 的实证）；「智能体需要 OS 级服务」（AIOS 的实践）。仍属推测/待验证的：语义→syscall 闭包的端到端有效性（无攻防实验）；条目级污点在对抗性分段下的保真度（论文自认残留风险，NeuroTAINT 从侧面印证难度）；GAR 单点信任与跨 GAR 联邦化。适用条件：非绕过假设依赖部署（智能体不得保留适配器外的环境凭证/文件系统访问）；eBPF 仅 Linux 原生；形式化验证（Coq/TLA+）推迟到后续。TCB 内含 LLM 分类器（P3/E2）而其对抗鲁棒性未刻画、TCB 偏大未最小化，是最值得警惕的开放问题。

七、必要知识反推

领域知识层：经典 OS 安全概念群——引用监视器、Bell-LaPadula/Biba 强制访问控制、最小特权、纵深防御、TCB（不懂这些就无法理解论文的全部设计原则都是这些概念「抬升到语义平面」的实例化）；智能体生命周期（感知-认知-执行+身份贯穿）；提示注入/记忆投毒/工具提权等攻击面。

方法论知识层：信息流控制的格模型（条目级污点传播的数学基础）；Ed25519 签名/证书链/TEE 等密码学工程；eBPF 与内核钩子机制；能力模型（capability）与单调衰减的形式化表述。

工程知识层：对 6 个对比系统的源码级理解（论文逐一阅读其公开文档与仓库）；系统对比表的设计方法（如何定义 15 个维度并给出可辩护的评分标准）；威胁模型书写规范（攻击者能力/限制/TCB/显式排除范围）。

知识融合的关键节点：两个化学反应最关键。其一，「引用监视器不可绕过」与「LLM 上下文可被注入操纵」两条事实的碰撞——推出安全逻辑必须放在 LLM 上下文之外，这决定了整个内核的位置；其二，「语义层管意图、syscall 层管强制」的双层设计——单独任一层都不够（语义可绕过、syscall 语义盲），二者的桥接（白名单的动态计算+预装）是全文最独特的架构贡献。

八、论文中可以提取的通用性灵感

灵感一：把安全从「约束」重构为「能力倍增器」（范式迁移类）。 核心思想：非绕过的强制执行把信任问题从「预测对方未来行为」改写为「验证己方机制正确性」，后者远更可控，因此可以放心授予更宽权限。论文证据：四支柱各自对应一项解锁的能力（身份→跨组织 A2A、执行→更宽工具权限）。推广场景：零信任企业内网（强隔离换部门间数据流通）、API 生态设计（细粒度计量换开发者接入）、供应链金融（密码学溯源换融资额度）、自动驾驶责任边界。

灵感二：策略合成永远取交集（机制类）。 核心思想：多方治理下权限合成用交集而非并集/优先级，保证任一方的谨慎不被他方的宽松稀释。论文证据：S_eff = S_dev ∩ S_ops ∩ S_ctx 贯穿 AIC 链、技能组合、跨智能体会话令牌。推广场景：多租户云权限系统、微服务间授权、联合风控规则引擎、家庭 IoT 设备家长控制。

灵感三：粒度决定可用性——条目级 vs 会话级污点（机制类）。 核心思想：粗粒度安全标签（整容器继承最坏标签）理论上稳妥但实践上不可用；在条目粒度上搜索「保持有效性的最小标签」（最小反链）用有界可靠性换可用性。论文证据：五步算法与「单一网页摘录污染全会话」的反例。推广场景：数据分类分级（字段级而非表级脱敏）、文档协作权限（段落级溯源）、RAG 检索（条目级可信度加权）、多源情报融合。

灵感四：把「声称做了什么」与「实际做了什么」对齐（信号利用类）。 核心思想：让声明（计划）与不可变记录（签名轨迹）可交叉验证，幻觉动作自动暴露为失配。论文证据：E4 计划-轨迹对齐层。推广场景：合规审计（声明-日志对照）、科研诚信（预注册-结果对照）、自动化交易事后分析、AI 助手的可问责性设计。

灵感五：显式声明 TCB 并诚实列出残留风险（关注点分离类）。 核心思想：安全架构的可信度来自把「信任什么/不信任什么/还剩什么风险」写清楚，而非宣称万无一失。论文证据：§5.1 显式 TCB 清单+§5.5 六项残留风险+对比表评分方法声明。推广场景：任何安全/可靠性文档的写作范式、保险条款设计、医疗知情同意。

第三篇：Rufus-Air: An Open LLM Post-Training Recipe

论文链接：arXiv:2609.29421 发表时间：2026年9月 机构：Amazon（标题页单一署名，全部作者在 Amazon 期间贡献、按姓氏字母序；脚注注明两位 Zixuan Zhang 中一位现已赴 OpenAI、一位为 Georgia Tech 博士生/Anthropic Fellows——个体背景，非机构合作）；纯企业出品 领域标签：cs.CL（LLM 后训练 / RLHF / 智能体训练）

一、论文背景

开源底座与闭源配方的不对称。 公开权重的基座模型（如 GLM-4.5-Air-Base，106B 总参-A12B 激活的 MoE）大幅降低了后训练研究的门槛——许多团队可以从公开模型起步而不必从头预训练。但配方本身的披露仍然稀薄：除 Tülu 3 等少数例外，后训练章节读起来更像系统卡片而非可复现配方，团队真正需要的细节（数据构成、奖励设计、基础设施、阶段顺序）恰恰披露最少。前 50 名闭源模型没有一家公布训练数据。

为什么这层缺失昂贵。 后训练是「精调行为、解锁新技能」的关键阶段，同时是数据与配方最不透明的阶段。一个团队想复现或改进，无从得知：SFT 该多大、RL 阶段该排什么顺序、奖励该怎么设计、基础设施坑在哪里。Rufus-Air（Amazon 的 Amazon Rufus 购物助手命名传统）就是要给出一份「介于研究论文与工程经验报告之间」的完整配方文档。

底座选择的逻辑。 GLM-4.5-Air-Base 被选中出于四个务实理由：权重公开；适配开源训练栈（Slime 出自 GLM-4.5 发布组、SGLang 原生支持 GLM 家族）；106B 规模使 MoE 专属后训练问题以真实形态出现；12B 激活参数使 RL 阶段可在 8-32 节点运行——「前沿实验室之外的团队也跑得起」。

二、论文定位和关联工作

本文位于「开源后训练配方」这条年轻谱系的最新节点：

**Tülu 3（arXiv:2411.15124，AI2）**是该谱系的命名起点：基于 Llama 3.1 的四阶段全开源配方（数据构造→SFT→DPO→RLVR），首次命名 RLVR（可验证奖励强化学习），939,344 训练 prompt+评估框架+约 50 个 checkpoint 全部发布，证明开源配方可以追平甚至超过闭源 instruct 版。Rufus-Air 明确以 Tülu 3 为「少数例外」的先例，但在两个维度上推进：规模（8B/70B/405B 的 Tülu 谱系 vs 106B-A12B MoE 的 MoE 专属问题）与阶段复杂度（4 阶段 vs 8 阶段含三个智能体阶段）。

**INTELLECT-3（arXiv:2512.16144，Prime Intellect）**是同一底座上的直接先例与对照：同样基于 GLM-4.5-Air-Base 做 SFT+大规模 RL，AIME 2024 达 90.8%、LiveCodeBench v6 超官方 GLM-4.5-Air 后训 8 个点，并开源 prime-rl 框架与全部环境。Rufus-Air 把 INTELLECT-3 作为同 harness 实测的三大基线之一（同底座），差异在侧重：INTELLECT-3 主打推理与 RL 基础设施，Rufus-Air 主打指令遵循与智能体能力、且完全不用自建蒸馏教师。

GLM-4.5-Air 官方发布版是最核心的对照：同底座、厂商自产后训练、细节不公开——Rufus-Air 与它的差距恰好隔离出「配方」这一变量。

定位结论：Rufus-Air 的贡献不是新算法，而是把「配方在何处投入训练信号，能力就在何处移动」这一主线写成可复现文档——16+ 基准、8 阶段逐阶段记账（stagewise accounting）。

三、问题定义

论文面对的具体场景是：一个只有几十节点的团队，拿着公开基座和公开数据，想训出一个能与官方后训版及其他同规模开源模型竞争的模型。其核心抽象是：

「后训练配方 ≈ 一条串行流水线上的训练信号预算分配问题」

形式化地说：给定公开基座 θ_base、公开数据池 D、固定算力预算，构造串行流水线 SFT→Reasoning RL→Coding RL→IF RL→General Agent→Coding Agent→Search Agent→RLHF，每一阶段在上一阶段产出的 checkpoint 上训练，目标是在 16+ 基准的向量上最大化相对同底座基线的领先。问题定义的精妙之处在于诚实的不确定性记账：作者明确声明部分结论来自训练经验而非完整消融（§6 标注），「这是有效的配方而非最优的配方」。

四、问题解法

配方围绕四大机制结论组织，每个阶段是这些机制的实例：

1. SFT 是能力构建阶段而非热身（§3.1）。 9.01M 样本/27B 监督 token（44.5B 原始 token，66.7M 轮次中 23.5M 轮受监督；仅 assistant token 计损失），六类构成：General Agent 39.6% 样本（但仅 14.2% token）、Chat、STEM、Math（12.7% 样本却 29.4% token）、Code、Coding Agent（6.1% 样本/19.7% token）——Math+Coding Agent 合计 49.1% 训练 token，反映推理链与多轮编码轨迹的长尾。全部 17 个公开数据集按原始发布使用，Rufus 侧重生成率为零、无新人工标注、无自建蒸馏教师。3 epoch、64 节点 8×H200（512 GPU）、batch 4096、约 13 天（~832 节点天）。关键决策：held-out 分数在第一个 epoch 内即趋平，故取 plateau 内 checkpoint 3799（而非最终步）进入 RL。去污染：8-gram 链式筛查 10 基准+穷举 n-gram+Llama-NV-Embed 稠密检索人工复核，共移除 4,187 样本（含 58 个确认数学竞赛污染）。

2. 难度过滤=自动课程（§3.2-3.7）。 训前双重过滤：教师可解性过滤（GPT-OSS-120B 通过才保留，剔除病态任务）+ learnability 过滤（弃策略已解 >0.8 的与 0 通过的——前者无梯度，后者无信号）。训中在线过滤：DAPO 式动态采样，仅保留组均奖励 ∈(0,0.8] 的组。因为窗口固定而策略在进步，「死」prompt 会不断跨入可学带，难度前沿自动前移，无需手动分级。

3. 奖励可靠性决定阶段顺序（§2.1）。 硬可验证奖励（Math-Verify、单元测试、规则）在前，软裁判奖励（rubric judge、RM）在后——缩短可被 hack 的奖励的优化时延。关键细节：排序依据不是奖励的「形式」而是「可被博弈的程度」：IF RL 虽用 LLM judge 却排在智能体阶段之前，因为指令遵循贴近模型现有能力、裁判无空间被博弈；RLHF 的偏好奖励风险最高，故压轴。

4. 基础设施是配方的一部分（§4）。 token-in/token-out rollout（SGLang 直接传 token ID+逐 token logprob+路由专家分配，杜绝 retokenization 漂移/模板重复渲染/修复过的工具调用混入轨迹）；Rollout Routing Replay（R3）缓存 rollout 时的 MoE 专家路由在训练前向中重放，消除路由不一致带来的 log-prob 差距；FP8 rollout+BF16 训练；Firecracker microVM 自托管 E2B 沙箱（万级并发、~$10K/月，快照模板秒级恢复而非冷启动）；Strands Agents 构建的 Rufus-Gym 多轮智能体 RL 环境（ReAct 循环+类型化终止原因+Ray 分布式环境 actor）；基础设施噪声隔离（沙箱启动失败等标记为 aborted、不进 advantage 计算）。

五、评估指标与实验证据

指标体系：四大类 16+ 基准的 pass@1（Arena-Hard 为胜率）——指令遵循与对齐（IFEval/IFBench/Multi-challenge/AH-HP/AH-CW）、推理与知识（AIME25/26/GPQA/LiveCodeBench v6/FrontierScience）、通用智能体（Tau2 三域/MCP-Atlas）、搜索智能体（BrowseComp/Seal-0/HLE-Verified Gold）、编码智能体（Terminal-Bench 2.1/SWE-bench Verified）。方法学亮点：前四个模型同 harness 自测（隔离评估差异），后六个外部模型引用开发者报告值并逐格溯源（附录 D 警示 harness 差异：Tau2 用户模拟器一项可移动 23.7 分）。

主结果（同 harness 四模型对比）：

对同底座两模型除 Arena-Hard CW 外全行领先；对异底座最强的 Nemotron-3-Super 在指令遵循与智能体行领先（Tau2-Telecom +20.6、SWE-V +6.4），数学/科学基本持平（AIME25 88.3 vs 89.1），落后 CW 与 Tau2-Airline。

逐阶段记账（Table 2，每阶段对上一 checkpoint 的增量）：SFT（3799）即已在 IFEval/IFBench/AIME 超过官方发布版（IFBench 57.75 vs 33.60，+24.15；AIME25 90.83 vs 84.20）——但 GPQA −5.7 留下缺口，恰好被下一阶段 Reasoning RL +5.3（68.2→73.5，AIME −2.6~−2.8 作护栏、每题 30 道属噪声内）修复；Coding RL LCBv6 +7.3（68.6→75.9，响应预算 64K→128K 扩展后截断率从 11-28% 降到 <0.1%）；IF RL 是最大单阶段跃迁——IFEval +4.0、IFBench +14.0、Multi-challenge +24.7、AdvancedIF +17.4 且 GPQA +3.2/AIME −1.2（不伤推理）；General Agent：MCP-Atlas +7.8、Tau2-Retail +9.8（合成 MCP 环境的通用工具编排先验迁移到未见过的真实 MCP 服务器）；Coding Agent（未训满）：TB2.1 +1.4、SWE-V +2.2；Search Agent：BrowseComp +3.0、Seal-0 +5.4、HLE-V +3.4；RLHF：AH-HP +6.0、AH-CW +14.4。每个阶段动了自己的目标，分离点正在配方花最多阶段的维度。

实验设计如何证明论点：阶段级增量记账（每阶段只对自己起点读数）诚实处理了「串行流水线无法归因跨阶段移动」的方法学难题（SWE-V 阶段值 67.8 vs 终值 65.6，作者明示无法归因给 Search Agent 或 RLHF）；Search Agent 评估用训练从未用过的搜索后端，证明 RL 提升的是通用搜索行为而非利用训练后端。

六、效果优势的根源解释

1. 根源机制与证据链

• 方法差异：官方 GLM-4.5-Air 后训练细节不公开，从结果看其训练信号未系统性投向多轮指令遵循与智能体维度（Tau2-Telecom 32.7 vs Rufus 93.0 的悬殊即证据）；INTELLECT-3 的信号集中在推理与代码。【同 harness 对比已支持】
• 机制变化①：大规模多样 SFT 建能力地板并固定可解析格式——稀疏验证奖励需要足够初始成功才有强化素材。证据：SFT-only checkpoint 已超官方 RL 版（IFBench +24.15）。【论文实验已支持】
• 机制变化②：learnability 过滤把梯度集中于可学带并随策略进步自动前移。证据：Reasoning RL 的结论「增益追踪过滤质量甚于策略梯度目标细节」。【论文实验已支持】
• 机制变化③：序贯 RL 每阶段修复上一阶段遗留缺口。证据：SFT 后 GPQA −5.7 恰被 Reasoning RL +5.3 修复；多轮 IF 缺口 31.1 被 IF RL +24.7 修复；合成 MCP 环境先验迁移到 MCP-Atlas/Tau2 +7.8/+9.8。【论文实验已支持；「先验迁移」解释带一定推测成分】
• 机制变化④：Search Agent 用 Dr. GRPO 均值 advantage（去掉 std 归一化——归一化会把组内孤例的成功放大 3.9×，把判分噪声放大到真实解的量级）+ ≥2 工具调用门槛（防参数化捷径）+格式罚，把长搜索从失败特征变为可行策略。证据：成对消融（mean-only 55.8-64.8 vs 归一化 49.7-58.7）；赢家轨迹 90 分位从 40 次调用升到 54.5 次、>45 次调用的赢家份额 24%→43%。【论文实验已支持】

2. 相关工作检索与对照

3. 综合判断与未决问题。 得到多项研究共同支持的机制：「SFT 先建地板、RL 再精炼」（Tülu 3、DeReason、INTELLECT-3 均一致）；「难度过滤=自动课程」（DeReason 独立印证，DAPO 动态采样是公开先例）。仍属单源经验、待独立复现的：「奖励可靠性定序」原则（逻辑清晰但无跨配方消融）；「基础设施是配方一部分」（token-in/token-out、R3 等是本文独有披露，其反事实影响未量化）。适用条件：结论绑定 GLM-4.5-Air-Base 这一特定底座与 2026 年中的开源数据生态；串行顺序是「有效的」而非「最优的」（作者自认，且未探索多教师蒸馏合并路线——而 2026 年前沿已出现 MOPD 路线）；Coding Agent 未训满，智能体 RL 的上界未知。

七、必要知识反推

领域知识层：LLM 后训练范式谱系（SFT→DPO→RLVR→agentic RL 的演化，不懂就无法定位每个阶段在做什么）；MoE 架构与专家路由（R3 机制的前提：同一 token 在 rollout 与训练时可能路由到不同专家）；RLVR/GRPO/GSPO/Dr. GRPO/DAPO 等算法家族的差异；主流基准的考核内容与已知陷阱（harness 差异、去污染必要性）。

方法论知识层：数据工程三件套——去污染（8-gram/穷举/稠密检索三级）、难度过滤（可解性+可学性）、分布记账（样本数与 token 数两个视角）；奖励设计原理（二值低噪 vs 连续 judge 的可靠性谱系）；训练动态诊断（截断率监控、held-out 曲线 vs 训练损失的背离→选 checkpoint 3799 的依据）。

工程知识层：分布式训练栈（Slime/Megatron-LM/SGLang 的分工与 colocated FP8 rollout+BF16 训练的引擎卸载交替）；多轮智能体 RL 的 token 保真管线；Firecracker microVM 沙箱与快照模板化；Ray 分布式环境 actor；成本核算（SFT ~832 节点天 vs 智能体 RL 的沙箱 $10K/月与搜索 API 费用需单独预算）。

知识融合的关键节点：最关键的融合是「奖励可靠性→阶段顺序」的映射——把安全工程里「最小化脆弱组件暴露时长」的思想迁移到 RL 训练（可 hack 的奖励相当于可被利用的攻击面，排序=缩短暴露窗口）；其次是「可学带」思想与在线动态采样的结合，把课程学习从人工分级变成策略进步的自动副产品。

八、论文中可以提取的通用性灵感

灵感一：信号投向哪里，能力就在哪里移动（范式迁移类）。 核心思想：训练（或学习）资源是一种预算，产出分布精确反映投入分布——想在某维度领先就必须把专门的训练信号投在那里。论文证据：配方在 IF/智能体花最多阶段，恰在同维度对同底座基线差距最大（IFBench +43.3、Tau2-Telecom +60.3），而只花一个阶段的数学与竞品持平。推广场景：个人技能学习（投入结构与目标对齐）、企业能力建设（专项投入 vs 泛泛培训）、多目标优化的资源分配、城市基建规划。

灵感二：按脆弱性排序子系统（机制类）。 核心思想：当系统由多个环节组成、部分环节可被「博弈」（reward hacking 的本质），应让可靠环节先运行、脆弱环节晚运行，缩短脆弱环节承受优化压力的时长。论文证据：硬验证奖励在前、RM 压轴；IF RL 因「贴近现有能力、裁判无空间被博弈」而破格提前。推广场景：自动化流程设计（先跑确定性检查后跑启发式）、投资组合再平衡（先锁流动性差的资产）、软件测试（先跑单元测试后跑模糊测试）、谈判策略排序。

灵感三：把「已解决的」和「完全解不了的」都扔掉（信号利用类）。 核心思想：学习信号只存在于「能解但尚未稳定解出」的中间带；两端都是噪声，且这个带会随学习者进步自动移动。论文证据：learnability 过滤弃 >0.8 通过率与 0 通过的 prompt；动态采样让「死」prompt 随策略进步自动复活入带。推广场景：教育分层与自适应题库、错误驱动学习法、健身渐进超负荷、产品迭代（聚焦「差点就成」的转化用户）。

灵感四：诚实的不确定性记账提升可信度（关注点分离类）。 核心思想：明确区分「实验支持的结论」与「经验之谈」、标注每个数字的来源与不可比性，反而增强说服力。论文证据：§6 标注哪些结论非完整消融；附录 D 逐格溯源外部数字并警示 harness 差异；Table 2 承认跨阶段移动不可归因。推广场景：工程文档写作、新闻/研究引用规范、机器学习实验报告（ML 社区的 reproducibility checklist）、管理汇报。

灵感五：基础设施决策是配方的一部分，不是脚注（机制类）。 核心思想：当方法论趋同时，决定成败的往往是那些「报告里不写」的工程细节——保真、一致性、隔离。论文证据：token-in/token-out 杜绝三种静默失败；R3 消除 MoE 路由差距；沙箱 aborted 样本隔离防止基础设施噪声污染 advantage 基线；搜索智能体评估换后端证明泛化。推广场景：任何大规模分布式系统（细节魔鬼）、实验室管理（样品保真链）、金融数据管道（精度一致性）、厨房的 mise en place。