RTI × ARIA × Recurrent Harness：训练信号注入、分配与回流三重奏 精读

论文一（RTI）：Rollout-Time Intervention: Unlocking Agentic Reinforcement Learning Beyond Policy Limits ｜ 代码 论文二（ARIA）：Ask Your Advisor: Learning When to Consult Stronger Models in Agentic Systems ｜ 代码 论文三（ReHarness）：Recurrent Harness for Agentic Continual Learning（未附代码链接） 发表时间：均为 2026 年 10 月 机构：RTI = 阿里 Token Hub + 高德（阿里）+ 港科大广州（企业主导 + 高校参与，技术报告口径）；ARIA = ETH Zurich 纯高校（注：此前有说法称"亚马逊参与"，经核对论文作者栏与致谢均无亚马逊，按原文标注为 ETH Zurich）；ReHarness = MIT × Meta MRS Research × Yale（一作为 MIT 学生，于 Meta 实习期间完成，通讯作者 Bailin Wang@Meta） 领域标签：cs.AI / cs.MA / cs.LG

一、论文背景：三条路，一个问题

如果把一个 LLM Agent 系统的生命周期摊开看，它会经历两个阶段：训练时（用 RL 或 SFT 把能力"写进"权重）和运行时（部署后与环境持续交互）。两个阶段各有一个致命的资源约束：高质量训练信号极度稀缺、强模型推理成本极度昂贵。2026 年 10 月上旬同窗口出现的三篇论文，恰好各自攻克这条流水线上的一个环节：

RTI（Rollout-Time Intervention）攻击的是训练时的信号稀缺。 背景是 agentic RL 的探索瓶颈：标准 RL（如 GRPO）本质上是 on-policy 的——它只能放大策略自己已经"走得通"的行为模式，当任务超出模型能力边界时，一组 rollout（G 条轨迹）可能全部失败，奖励全零，策略没有任何可学习的正样本，训练直接停滞甚至崩溃（论文图 1(a)）。此前学界已经知道"RL 后训练放大的是预训练已有的行为"（RTI 引用 Echo Chamber 等工作），也就是说 on-policy RL 天花板就是模型自己。教师引导路线（LUFFY、OPD）试图用更强的教师模型补充轨迹，但增益受教师能力上限约束——教师不会的，学生永远学不到。RTI 的观察切入点很细：检查失败轨迹会发现，agent 往往具备完成任务的知识和工具，只是在某个任务关键步骤犯了一个早期小错（例如把"用户侧设备工具"当成自己可调用的工具反复调用；或在导航任务里把歧义 POI 的错误结果直接当目的地用），一步错导致整条轨迹进入失败循环。如果把这个早期错误纠正过来，剩下的轨迹往往能正常走完——这个"早期小错决定全局成败"的经验观察，是整篇论文动机的基石，也直接解释了为什么"最小修正"而非"重写整条轨迹"是正确的干预粒度。

ARIA（Ask Your Advisor）攻击的是运行时的成本分配。 背景是 executor-advisor 架构的兴起：低成本模型（executor）负责端到端执行，强模型（advisor）只在关键决策点被咨询、提供指导而不接管执行。这个架构本身是对传统"大模型编排 + 小模型干活"的反转——不是强的分解任务派活，而是弱的主动驱动、按需升级。Anthropic 的 advisor 工具（2026 年 4 月博客，随后进入 Claude 平台 API）把这一模式产品化：Haiku+Opus 顾问在 BrowseComp 上从 19.7% 翻倍到 41.2%，且只需 Sonnet 15% 的成本；官方博客还给出了典型画像——顾问每次只产 400-700 token 的短计划，绝大多数 token 仍按 executor 费率计费。但这条路线留下一个悬而未决的问题：何时咨询？ 现有做法把决定权交给 executor 自己（自我评估），而已有研究（Tyen et al. 2024、Xiong et al. 2024）反复证明 LLM 难以定位自身错误、置信度校准很差。模型自认为不确定的时刻，未必是咨询价值最高的时刻；模型显得笃定时，也可能正走在错误策略上。

ReHarness 攻击的是运行时经验积累的"单向性"。 背景是不更新参数的持续学习（continual learning）：agent 靠 harness——围绕固定 LLM 搭建的运行时脚手架（记忆、反思、提示）——在交互流中积累经验。Mem0 存取原子记忆、Reflexion/RBank/DoT 生成反思、ACE 维护 playbook、GEPA 优化提示。这条路线的现实背景是：前沿 API 模型（Claude/GPT/Gemini）不暴露参数，梯度更新无从谈起，“学习"只能发生在模型之外的文本状态里。但 ReHarness 指出这些方法共享一个结构性盲点：信息只往前流。每完成一个实例，系统提取经验写入 harness 状态，之后从状态中检索经验辅助未来决策——可一旦某条反思被写下，它几乎不会再根据"它在后续实例上实际表现如何"被修正。在持续分布漂移下，写过泛化（overgeneralized）或已过时的经验会驻留在 harness 状态里，被反复检索、反复误导未来决策。

三篇论文表面互不相干，底层却是同一个经济学问题——高质量能力信号（无论是教师轨迹、强模型咨询还是环境反馈）是稀缺资源，如何把它注入系统、分配到最需要的位置、并让它的失效信息回流修正系统。这正是本篇合读采用的统一叙事线：

顺着这条线读，三篇的"新贡献"可以各用一句话锚定：RTI 证明了注入的信号不必比策略更强、只需比策略更正确一步；ARIA 证明了分配的收益来自时机信息而非资源数量；ReHarness 证明了回流的闭环能让存量经验从负债变资产。下文先给背景与定位（第一、二部分），再统一拆解问题抽象与方法（第三、四部分），然后逐篇过实验证据（第五部分）、建因果链并交叉验证（第六部分），最后反推必要知识、提炼通用灵感（第七、八部分）。

二、论文定位和关联工作

三篇论文各自站在一条研究谱系的延长线上，定位清晰互补。

谱系一：教师引导 RL → RTI

RTI 的直接前序是两条线。（1）on-policy agentic RL：ReTool、Search-R1、ZeroSearch、ToolRL、AEPO 等工作用可验证奖励训练工具使用，稳定但受探索瓶颈限制。（2）教师引导训练：OPD（on-policy distillation，教师给学生轨迹打 token 级分数作密集奖励）、LUFFY（混合策略 GRPO，把教师轨迹混进学生 rollout 组，用正则化重要性采样做策略塑形）。RTI 的关键差异化在于：干预者不是教师，而是策略模型自己——Validator/Corrector/Verifier 三个角色全部由被训练的 8B/9B 策略模型自己扮演，利用的"特权信息"只是评测侧已有的 rubric（否则奖励函数本身就是特权信息持有者）。这带来了一个反直觉的实证结论：换 397B 大模型做干预者反而不如 9B 自干预，因为大模型产出的修正偏离策略分布更远、更难学。

谱系二：模型路由/级联 → executor-advisor 咨询 → ARIA

ARIA 把自己的位置精确卡在"分配粒度"这条演进线上。任务级分配（执行前从输入决定）：FrugalGPT 分数级联、RouteLLM 事前路由、AutoMix 验证后升级——这些方法在 ARIA 的实验里 ER（超额恢复）全部为负或远低于 ARIA（SWE 上分别为 -0.02 / -0.12 / -0.63 vs ARIA 0.37）。细粒度但需模型内部信号：STEER 用 logit 置信度在推理步间路由大小模型，需访问模型内部。提示式咨询：Anthropic advisor strategy（Heuristic 基线的来源）、SWE-Protégé（训练小模型学会求助）。ARIA 的差异化：在轨迹内的接触点（contact points）上做证据条件化的二值分配决策，学习信号来自下游终局结果而非自我评估置信度，且完全不动两个模型的权重。

谱系三：前向记忆/反思 harness → ReHarness

ReHarness 的对照组是整个"经验积累"家族：Mem0（原子记忆存取）、RBank（追加式反思库）、DoT（多样反思）、ACE（playbook 增量策展，add/update/delete/merge 维持一致性）、GEPA-Online（在线提示优化）、以及"暴力"基线 Top-K Raw / Full Raw（直接把原始轨迹塞进上下文）。这里有个反直觉的中间结论：raw-context 基线其实非常强——Top-K Raw 和 Full Raw 在 CL-Bench 与 MemoryArena 上打败了大多数结构化方法，说明"把原始经验直接给决策模型看"这个朴素做法被低估了。差异化的判据是反馈流向：ACE 的 curate 操作是为了维持记忆库"整洁”，不是吸收"这条经验在下游用起来效果如何"的反馈；GEPA 类提示优化需要验证集做候选选择，在严格在线流式协议（每个实例只看一次、无验证集、无重放）下不可用。ReHarness 补上的是 τ_t → R’_{t-1} → h’_t 这条后向通路。

定位对比表

机构视角的旁注

三篇的机构构成恰好覆盖了三种研发生态位，且与各自的选题气质吻合：RTI 出自阿里 Token Hub + 高德 + 港科大广州——企业主导的技术报告，基准直接对接真实地图 API 业务（Navigation 用高德开放平台），算力与模型（Qwen 家族、8×H20 + 16 块 PPU 服务教师）由企业方供给，体现"从业务痛点反推训练范式"的工业风格。ARIA 出自 ETH Zurich 纯高校（作者栏与致谢均无企业——此前流传的"亚马逊参与"说法与原文不符），风格是典型的学院派：方法刻意朴素（表格 MC）、实验刻意完备（11 条件 × 3 种子 × 全链路成本审计），把"证明一个机制"放在"刷一个 SOTA"之前。ReHarness 是 MIT 一作在 Meta MRS 实习期间完成、与 Yale 合作的产物——高校出思想（循环 harness 的抽象）、企业出场景与资源（三前沿模型 API、持续学习基准），通讯作者在 Meta。三种生态位共同说明：“训练信号经济学"这个方向同时被工业界（要省钱要能力）和学术界（要机制要因果）独立确认为真问题。

三、问题定义：三个抽象后的本质问题

三篇论文各自把工程场景提炼成一个干净的抽象问题，而且三者拼起来恰好是"稀缺信号分配"的完整形式化。

RTI 的抽象：给定只能零星产生正样本的策略 π_θ 和任务分布 D，如何构造一个"行为策略"π_cal，使得它产出的（离策略的）成功轨迹仍能为 π_θ 的优化提供有效梯度？两个硬约束：特权信息（rubric）不能泄漏进轨迹内容（否则学到的是作弊捷径）；离策略偏移必须可控（否则重要性比率冲出 PPO 裁剪区间、梯度高方差，学习信号被抑制）。精妙之处在于 RTI 不追求"生成最优轨迹”，只追求"最小修正"——修正后的轨迹要像策略自己"本来就会写出来"的样子。

这个抽象可以与经典的"课程/支架式教学"类比：老师不是替学生解题，而是盯着学生做题，在卡住的关键一步给一个"最小提示"，剩下的让学生自己走完。整条轨迹的"成功"归功于学生（策略能从中学到自己可以复现的行为），而不是老师（教师轨迹再漂亮，学生学不会就是零分）。

在形式化层面，RTI 的完整算法（附录 Algorithm 1）在每个训练迭代对每个 query 走两阶段：第一阶段正常采样 G 条 on-policy rollout，只要有一条成功就整组照常用于 GRPO 更新（此时 RTI 权重恒为 1，精确退化为 GRPO）；第二阶段仅在全组失败时启动干预 rollout——逐步通过 Validator→Corrector→Verifier 流水线、逐步过 PPL 门控，只有当被干预 rollout 最终拿到奖励 1 时，才用它替换组内一条失败轨迹进入更新，同时缓存 rollout 提示与校正提示的 logprob 供重加权使用。这个"只有全败才干预、只替换一条"的设计保证了干预信号是纯粹的能力扩张补充，而非替代 on-policy 学习。

ARIA 的抽象：把"是否咨询"形式化为一个序列资源分配问题。在每个接触点 t，状态 s_t = (p_t, e_t, h_t)——时序位置（FRAME/EXPLORE/REASON/DELIVER，取自 Pólya 1945 年《怎样解题》的四阶段）× 执行证据（NONE/CLEAN/ERROR）× 咨询历史（是否已咨询过），共 4×3×2 = 24 个状态；动作 a_t ∈ {SILENT, CONSULT}；回报 G(τ) = Y(τ) − λ·(c̄/Δ)·N_c(τ)——任务成败减去咨询的价格惩罚，其中 c̄ 是单次咨询平均成本、Δ 是"每个接触点都咨询"的每集开销，归一化后 λ 近似等于"以一个已解任务为单位"的咨询价格。这是一个固定乘子拉格朗日松弛：在咨询预算约束下最大化期望成功率。

这里有两个刻意为之的设计"负空间"。其一，状态里不用模型置信度——LLM 校准差已是定论，用自评置信度做状态等于把噪声写进决策依据；执行证据维度（NONE/CLEAN/ERROR）记录的是"环境报告了什么"而非"任务对不对"——干净的输出可能来自错误策略，报错也可能被自行修复，这正是把"观测"与"判断"分离。其二，剩余预算不进状态——预算耗尽时 CONSULT 被强制折叠为 SILENT，策略表本身保持简单。λ 作为"一次咨询价格几何"的单参数旋钮，离线重估（同一批训练轨迹重算回报与价值表）即可滑动工作点，两个模型都不用重训。

ReHarness 的抽象：harness 状态 h_t 的演化方程里缺一项。前向框架是 h_{t+1} = h_t ⊕ R_t（只追加新反思），ReHarness 补成 h_{t+1} = h’_t ⊕ R_t，其中 h’_t 是用当前轨迹 τ_t 作为反馈、对"本次实际被检索使用的那些反思"修订后的状态。用控制论的语言说，前向 harness 是一个开环系统（写入后不再看输出效果），ReHarness 加上负反馈回路闭环。核心约束是源轨迹扎根（source grounding）：修订反思 R’_i 的新内容必须能从它的源轨迹 τ_i 推出，τ_t 只用来评估和定位缺陷，防止把当前实例的信息泄漏进历史经验。论文用排序任务给了一个最小说明：反思"大数放前面"在升序查询上误导决策后，修正版加上适用条件"仅当要求降序时大数在前"——错误经验被显式改写而非仅仅追加。

值得对照的是三个抽象共同的"约束设计模式"：RTI 的 Verifier 防 rubric 泄漏、ARIA 的可观测信号原则防自评噪声、ReHarness 的源轨迹扎根防当前信息污染历史经验——三者都在回答同一个问题：“当监督/反馈信号比系统本身知道得更多时，如何让信息只以’评价’而非’内容’的形式进入系统”。

三个抽象放在一起看：RTI 处理的是"信号从特权侧注入时如何不污染分布"，ARIA 处理的是"信号何时买入收益最大"，ReHarness 处理的是"信号卖出后效果不好如何退货"。这就是"训练信号经济学"的完整闭环。

四、问题解法

RTI：三组件的自干预流水线

RTI 嵌在标准 GRPO 循环里，仅当某个 query 的整组 rollout 全部零奖励时触发。三个组件依次把关：

1. 奖励感知多智能体自干预（MAS）：Validator → Corrector → Verifier 三角色流水线，全部由策略模型自己扮演（不引入任何外部监督模型）。三者的输入输出形成闭环质检：

Validator 是 reward-oriented 而非过程规定式：不惩罚次优但可恢复的顺序、不惩罚风格差异，只标记可能让整条轨迹脱轨的硬规则违规（伪造参数、无意义重复、虚假声明、提前终止、目标漂移、telecom 场景把用户侧设备工具当自己工具调用）。论文附录给出一个完整案例：策略直接调用 check_network_status（用户侧工具）失败，Validator 诊断出 user_side_device_action 错误，Corrector 把它改写成"请您在手机上运行 check_network_status 并把结果发给我"——错误动作变成有效引导，轨迹起死回生。附录 D.2 的反例同样有教育意义：没有泄漏抑制时，Corrector 会在修正稿里说出客户姓名 John、内部线路号 L1002、数据用量 15.1GB 等后端信息——这种轨迹"任务成功了"但 Verifier 照样拒绝，因为它教策略去编造不可见信息。 2. 困惑度分布门控（PPL Gating）：通过 Verifier 的干预响应要去掉所有干预专属信息后，在原 rollout 提示下重新打分，PPL ≤ δ（δ=5 最优）才保留。作用是过滤"偏离策略太远"的修正：低概率样本的重要性比率会冲出 PPO 裁剪区间（学习信号被抑制），且产生病态的高方差梯度估计，动摇优化稳定。 3. 推理偏移感知 token 重加权：同一个 token 在"校正提示"（含 Validator 反馈）与"rollout 提示"两种条件下的似然比 ρ_t = exp(log π_cal − log π_roll)，双边裁断到 [1−ε, 1+ε]（ε=0.2，与 GRPO 裁剪一致）后作为 token 级优势权重——只有"属于纠正后推理路径特有"的关键 token 获得放大。附录 D.5 的热力图显示权重确实落在刀刃上：动作转向标记"Instead"、角色边界确认"cannot perform … for them"、重定向动作目标"guide the user to re-insert"。该系数做 stop-gradient 处理，只重加权优势、不引入额外梯度路径，这是收敛证明能把它的贡献压进一个有界常数的技术前提。对纯 on-policy 组该权重恒为 1，RTI 精确退化为 GRPO——“能做减法"是设计自洽性的标志。

理论上，附录 B 证明 RTI 保持 O(1/√K) 收敛速率，干预项只在收敛上界里贡献一个可精确刻画的加性常数（随混合比 λ 和裁剪宽度 ε_cal 增长，λ→0 时退化为 GRPO 界）。

ARIA：24 状态表上的蒙特卡洛控制

ARIA 刻意保持"朴素”：表格型 every-visit 蒙特卡洛控制，γ=1（打折会相对压低终局回报、把策略偏置到推迟咨询），样本均值更新（α = 1/N，无额外学习率超参），ε-greedy 从 0.40 线性退火到 0.10（前 110 集退火完毕），只有到达终局结果的集才更新表格。训练量极其轻量：每个基准约 150-162 集（50/27/20 个开发任务重复 3/6/8 遍），3 个种子。

执行框架是 Magentic-One，三类接触点：PRE-STEP（下发下一条执行指令前）、STALL（进度停滞触发重规划时）、PRE-DELIVERY（最终交付前）。咨询的语义契约固定：advisor 只读共享上下文（任务规格 + 完整轨迹，无摘要无截断）、给自然语言评估与建议，绝不执行工具、不提交答案；executor 可以采纳、改造或无视建议。咨询如何进入轨迹由接触点类型决定：PRE-STEP 的建议附进编排器的下一条指令、STALL 的建议插在重规划前、PRE-DELIVERY 的建议若判定跑偏则触发一次额外修订循环。

部署时冻结为贪心策略，未访问状态与平局一律解析为 SILENT。执行框架、两个模型（executor=gemini-3-flash-preview 低推理力度、advisor=gemini-3.1-pro-preview 高推理力度，同家族减少跨模型部署行为差异）全程不动。每集预算 B=4 次咨询，预算耗尽后 CONSULT 强制折叠为 SILENT。

设计的可检查性（inspectability）是刻意卖点：24 个格子的 Q 表可以直接打印出来看——例如"交付阶段+干净证据+已咨询过"这个状态，9 个冻结策略里有 8 个选择 CONSULT。 附录 C.5 还用训练期随机探索的倾向得分做了 each-state 内的 IPW 因果估计作为策略表的交叉验证。

ReHarness：前向读写 + 后向修正的循环回路

每个实例走三步：

1. 前向读（Forward Read）：给定查询 x_t，用 Qwen3-Embedding-8B 从 harness 状态 h_t 检索 top-k（k=5）最相关反思，连同任务一起交给决策 agent π_D；环境给出奖励 r_t，形成轨迹 τ_t = (x_t, y_t, r_t)。
2. 后向修正（Backward Revision）：修订 agent π_R 对本次被检索的每条反思 R_i 独立操作：输入 = R_i + 它的源轨迹 τ_i + 刚刚发生的 τ_t；输出 = 修订版 R’_i。修订的目标是"如果当初用的是 R’_i 就不会在 τ_t 上犯错"——通常是补上 τ_i 中被遗漏的证据、纠正 R_i 中缺乏支持的外推假设、或细化 R_i 的适用条件。硬约束写在提示词里：源轨迹是唯一内容来源，τ_t 仅用于细化匹配条件与发现 τ_i 支持的遗漏，不得把 τ_t 的内容或行为归因到目标反思。修订产生中间状态 h’_t（未检索的反思原样保留）。
3. 前向写（Forward Write）：记忆 agent π_M 反思 τ_t 生成新反思 R_t，提示词要求区分"操作性证据"（什么有效、什么失败、如何恢复）与"强支持的解读/策略"，且把 {R’i} 作为示范输入——修订过的经验直接指导新经验的写法，并被鼓励补充示范未覆盖的视角（消融显示去掉这个示范通道，CL-Bench+Claude 从 0.217 掉到 0.191）。最终 h{t+1} = h’_t ⊕ R_t。

整套流程不改参数、不重放实例、不需要验证集，满足严格流式协议。三个 agent（决策/记忆/修订）用同一个骨干 LLM（实验覆盖 Claude Opus 4.8 / GPT-5.5 / Gemini 3.7 Flash，默认生成配置、高思考力度、隐藏推理痕迹不进入 harness 操作）。检索用 query-to-query 比较且对所有方法一致，保证公平。

论文的两个定性案例值得精读（附录图 6/7 给了全文）：盲频谱监测中，记忆 agent 从一次成功外推出"应报告合理推断的额外信道填补静默间隙"，下次被检索后决策 agent 照做加了六个未观测信道、奖励从 0.297 掉到 0.219——修订 agent 把这条反思改写为" speculative/未被本扫描证据支持……优先保留已确认峰值而非添加未确认项"，再下次奖励回升到 0.367。数据库探索中，schema 漂移（新增 prc_v2 列）使旧反思"成绩值来自 prc"失效，修订版改为"不要假设哪列被评分，枚举所有 price-like 列"，奖励 0→0.867。

五、评估指标与实验证据

RTI：能力边界突破的完整证据链

五个基准的选择本身就有讲究：Navigation（自建，真实高德 API 多途经点导航，3-9 个途经点、坐标级精确匹配、无部分得分——一个"看似简单实则极难"的基准，难点在 POI 名歧义需结合行程上下文多轮重查）；τ2-Bench 三域（Telecom/Retail/Airline，多轮客服对话， Telecom 域的"双控制"设定——部分动作必须引导用户在自己设备上完成——正是 RTI 动机案例的来源；训练集来自 AReaL 数据集）；Claw-Eval-Hard20（从 160 个有效 T 系列任务中筛出基础策略 Pass@3 ≤ 1/3 的 20 个难任务，其中 17 个零成功——通过三阶段筛选保证"难但可解且可评"，并为每个任务族合成 8 条结构保持变体作训练集，测试/训练实例零重叠）。指标 Pass@k（k 次内至少一次成功）/ Pass_k（k 次全部成功），训练用与评测同一成功判据的二元奖励。

核心数字（Pass@1）：

两个值得注意的读表细节：其一，RTI 的增益与"基线薄弱程度"正相关——τ2-Retail 这种 GRPO 已达 67.54 的域增益最小，Hard20 这种探索瓶颈最尖锐的域增益最大，这正是"干预补充的是 on-policy 学习信号缺口"这一机制的定量指纹；其二，在 Hard20 上 RTI（50.00/85.00）大幅超过同代闭源旗舰（Qwen3-8B 代 GPT-4.1 为 30.00、Claude-4-Sonnet 为 40.00；Qwen3.5-9B 代 GPT-5.1 为 40.00、Claude-4.6 为 51.25），训练后的 8B/9B 在这批难任务上反超了推理它们原本解不出的更强模型——“超越策略极限"的主张有了最直观的参照系。

消融（Qwen3-8B，Navigation / τ2-Telecom）：去 Verifier → Navigation 26.00（低于 GRPO 的 35.33），τ2 增益几乎归零——泄漏污染的监督不是"没用"而是"有害”；去 PPL 门控 → τ2 pass@1 61.40→54.39，pass4 31.58→18.42；去重加权 → 十六项指标系统性小幅劣化（影响最温和但方向一致）。δ 扫描：δ=0 退化为 GRPO，δ=+∞ 收敛到明显更低水平，δ=5 最优。训练动态：干预步的平均 PPL 随训练持续下降——被干预行为逐渐接近策略原生分布，是"行为被内化"而非"rollout 时依赖干预"的直接证据；干预前 Pass@8 也随训练上升并超过 GRPO；交互轮次分布保持更宽的多峰形态（>3 轮的轨迹保有非平凡质量），说明策略保留了自我反思式重查能力而非塌缩成单一短交互模板。训练统计（τ2-Telecom）：干预触发率 15.0%（150/1000 组），Validator 标记 56.60% 的步，Verifier 接受率 59.11%，97.42% 的被干预轨迹至少含一条被接受修正。OOD：全 199 题 Claw-Eval 上 Rest-OOD（179 个训练合成从未覆盖的任务族）Pass@1 从基线 54.34 提到 62.92，全 suites 51.51→65.20，全_suite 结果被环境不可解任务封顶，属保守估计。

ARIA：placement-vs-volume 的教科书级分离实验

三基准覆盖三类工作流形态：SWE-bench Verified-Mini（50 测试题，同构长程编码）、Terminal-Bench 2.1（50 题，异构终端任务）、τ2-Telecom（40 题，交互对话），3 seeds，训练/测试零重叠（按任务 ID 核验）。开发集的构造还有一个容易忽略的诚实声明：Terminal-Bench 开发集剔除了两个模型都解不出的任务（测试集保留 15/50 个 never-solved），使开发分布偏易——这会推高而非压低部署时的咨询压力，方向上不利于 ARIA 的低成本结论，作者明确交代了这一不对称。11 个对照条件构成完整归因网格。

核心数字：

关键对照设计：同咨询量随机放置（Random 2.53 次/集 vs ARIA 2.78 次/集）在 SWE 上只有 28.0% 成功——ARIA 同样量级咨询多拿 20pp，这是"放置时机携带信息"的必要条件证据。任务级路由全线失守：RouteLLM 与 ARIA 花费相近（$25.03 vs $22.09）却只解 30.0% vs 48.0%。原生 LLM-Router（让编排 agent 自己选）平均每集只咨询 0.41–0.61 次，且 77%/64%/76% 的咨询集中在最后三分之一阶段——时机太晚、太稀。Always-B10（把咨询量加倍）在 τ2 上成功率反降 2.5pp、ER 转负。价格扫描：λ 从 0.10 升到 0.50，咨询 2.78→1.55 次、成功 48.0%→29.3%、ER 0.37→0.11——λ=0.10 是测试范围内最高效点。失效分析（MAST 分类）：ARIA 残余失败的 58% 是 FM-2.5"建议被忽视"（咨询放对了位置但 executor 不采纳），成为新瓶颈。

还要单独立功的是附录的成本核算（B.4）：作者用计费 artifact 重建了全部 33 个 headline 成本格，与报表最大差 $0.0049，计价公式复现 106,662 笔非失败调用——ARIA 的"成本主张"本身是可审计的，这在以"省钱"为卖点的论文里并不多见。种子级离散（C.1）：ARIA 成功率的种子标准差 3.5/5.0/2.9pp，与对照条件相当，作者明确提示相近工作点之间的差异应作描述性解读而非统计分离——这种克制也值得学习。

ReHarness：9 组合 × 8 基线的显著性优势

三基准覆盖三种持续学习形态：CL-Bench（6 任务：队列研究/代码库适配/数据库探索/销售预测/盲频谱监测/可利用扑克，12-120 个多轮实例、显式分布漂移）；MemoryBench（5 个长输入长输出生成任务，GPT-5.6-Sol 评分）；MemoryArena（5 域：旅行规划/网页购物/渐进式网络搜索/数学/物理，20-270 个任务、实例间相互依赖）。× 3 骨干 = 9 个组合、16 个任务流；每个实验在 3 个独立采样的流 rollout 上重复，rollout 内所有方法共享同一初始化与种子后各自演化。指标为归一化增益 (r_method − r_stateless)/(r_max − r_stateless)——量化"从流内经验学到的东西"。

平均 0.240 居首，9 组合中 8 个第一/并列第一；对全部基线双侧 Wilcoxon + Bonferroni 校正后仍显著（vs Top-K Raw p_adj=0.039、Full Raw p_adj=0.043）。token 经济性：CL-Bench+Claude 一轮全任务总耗 41.57M（输入 37.19M + 输出 4.38M），仅为 Full Raw（142.12M）的约 1/3（Top-K Raw 52.66M，1.3 倍）——尽管 ReHarness 多出反思调用与 k 次修订调用的输出开销，紧凑反思对决策时重复上下文成本的节省远超此开销；API 成本 $254 低于 Full Raw 的 $314 且增益更高（Top-K Raw 便宜但增益低）。机制验证三件套：反事实重放（违规把修订后 harness 重用于同一实例）0.335 vs 无修正 0.144 vs 在线 ReHarness 0.217——证明修订本身有信息量，在线协议下只欠"未来实例"兑现；扎根性审计（FActScore 式 claim 分解）：修订的源扎根率 >95%（GPT 0.987），泄漏率 0.8–2.1%，且每次修订对扎根率的边际影响 ≤0.3%——τ_t 确实被当作反馈而非内容来源；稳定性/可塑性分解双第一（平均 0.015/0.241，五个前向基线稳定性全为负，即 harness 状态在漂移下反而拖累骨干）。状态动态可视化：漂移前修订量（字符级编辑距离）随反思稳定而衰减、漂移后旧反思被大幅修订（h_10→h_11 显著改写 τ_0/τ_1 来源的反思）、随后修订逐渐集中到与漂移后分布相关的近期反思——一张图讲清"何时修、修什么"。k 扫描：k=1→5 急升，k=5~20 平台，更大 k 反降（过度修订引发反思漂移且成本上升），故全文固定 k=5。

六、效果优势的根源解释

按模板要求，分别建立三篇的"方法差异 → 机制变化 → 指标提升"因果链，并做外部交叉验证。

RTI：为什么"自干预"能突破教师法的上限

因果链：(1) 方法差异——用策略自身扮演干预者、且 Corrector 被约束做"风格对齐的最小修正"；(2) 机制变化——修正轨迹天然贴近策略自身的条件分布，重要性比率保持在裁剪区间内，梯度良态；同时 PPL 门控把残余的过度偏移样本过滤掉，token 重加权把信用分配集中在改变推理方向的少数 token 上；(3) 指标提升——Hard20 上 50.00/85.00 对 LUFFY 的 30.00/61.25。

链条的每一环都有实验直接支撑：全组失败时干预把大量失败组转化为成功轨迹（训练前 Pass@8 与干预后 Pass@8 的早期差距就是注入的学习信号）；“可学性"由干预步 PPL 随训练下降与干预前 Pass@8 上升共同证明；“学到的是关键决策"由重加权热力图与去重加权后 Pass_k（跨次一致性）降幅大于 Pass@k（探索广度）证明。

交叉验证（相近结论）：LUFFY 原文（arXiv:2504.14945）已给出方向一致的证据——off-policy 轨迹与 on-policy 轨迹的混合训练必须靠正则化重要性采样做"策略塑形”（policy shaping），否则学到的是表层僵硬模仿；RTI 把这个洞察推到极端：教师干脆换成自己，分布偏移问题从"重要性采样事后修正"变成"生成时就控制偏移量”，PPL 门控是新的执行机构。RTI 的"干预步 PPL 随训练下降"与 LUFFY 的"模仿与探索平衡"分析互为印证。OPD（on-policy distillation）从另一侧支持同一机制：它坚持在学生自己的轨迹上算教师信号（token 级教师分数加权优势），同样回避了"直接学教师轨迹"的分布鸿沟——三个工作从三条路径汇聚到"监督信号必须长在策略自己的分布上"这一结论。

相反结论（必须直视）：直觉上"更大的教师给更好的修正"，RTI 图 6 给出反例——397B 干预者的修正分布偏离 9B 策略更远，学习信号反而更差，自干预全面胜出。这与知识蒸馏文献中"教师学生能力差过大导致蒸馏失效"的经典现象同构。边界条件：该结论的前提是 Corrector 只需做"局部最小修正"而非"从头解题"——若任务需要策略完全不具备的知识（连 rubric 都无法指导改写），自干预会失效，RTI 论文未测这一极端（Claw-Eval-Hard20 的任务被刻意选为"难但可解"）。

ARIA 与 RTI 的互证：ARIA 发现原生 LLM-Router 的咨询集中在轨迹尾部（77% 在最后三分之一），与 RTI 发现的"早期关键小错导致整条轨迹失败"形成有趣对照——早期决策点的杠杆率最高，但模型自我评估恰恰发现不了早期错误。两篇从不同侧面支持同一结论：LLM 的自我诊断在"何时需要帮助"这个问题上系统性失灵，需要外部机制（学到的策略表 / rubric 驱动的干预）替代。

ARIA：为什么"学到的时机"碾压"更多的咨询"

因果链：(1) 方法差异——状态条件化（24 状态）+ 终局回报学习，而非任务级路由/固定规则/模型自评；(2) 机制变化——咨询价值 Q(s, CONSULT) 从下游成败估计，自动聚集到"杠杆率最高的执行状态"（SWE 上 53.5% 的咨询落在交付前——交付前一次纠偏可挽救整集，τ2 上 82.2% 在 REASON 中段——对话任务的中段决策决定后续走向）；(3) 指标提升——同咨询量下超 Random 20pp，ER 三场全胜。

关键归因实验的完整性值得单独表扬：Random 对照剥离"咨询量"、Always 对照剥离"咨询渠道"、Heuristic 对照剥离"通用规则"、LLM-Router 剥离"模型自评"、任务级三兄弟（FrugalGPT/RouteLLM/AutoMix）剥离"任务级信息"——每个混淆变量都有专属对照，且所有咨询条件共享同一 advisor 接口语义与 B=4 预算，差异只在"何时触发"。IPW 倾向得分分析进一步给出因果旁证：交付门控格 CONSULT 的 Hájek 估计 +0.54 [0.15, 0.85]，与学到的策略方向一致（11 个显著格里 8 个符号一致，5 个交付门控格全部一致）。

交叉验证（相近结论）：Anthropic advisor 的官方评测（Sonnet+Opus 在 SWE-bench Multilingual +2.7pp 且成本 -11.9%）与 ARIA 的 PGR 68.2% 同向，且互为补充——前者证明"有咨询"有价值，后者证明"何时咨询"还有巨大挖掘空间（Heuristic 基线正是 Anthropic 推荐规则，在 SWE 上落后 ARIA 6.7pp）。SWE-Protégé（训练小模型学求助）是同期平行工作，结论同向但路线不同（改模型 vs 学外挂策略）。

相反结论：ARIA 自己给出了最诚实的边界——Terminal-Bench 上 ARIA 与 Heuristic 打平（34.7%），作者的解释是异质性任务流里"相似的决策点跨任务重复出现"这一前提减弱，咨询策略"在相关工作流内学习最有用"；以及 Always-B10 在 τ2 上负收益说明"更多建议不是单调更好"。另一个新瓶颈：58% 残余失败是建议被 executor 忽视——分配问题解决后，吸收（uptake）问题浮出水面。

ReHarness：为什么"后向修正"胜过"更全的历史"

因果链：(1) 方法差异——对被检索经验做扎根约束的在线修订，而非追加/策展/全量历史；(2) 机制变化——写过泛化与过时经验从"驻留并反复误导"变为"在第一次误导后被显式改写"，且修订版作为示范提升新反思的写入质量；(3) 指标提升——平均 0.240 对 Full Raw 0.164，且 token 只用 1/3；schema 漂移案例中修正"枚举所有 price-like 列"使奖励 0→0.867。

Full Raw 是最有力的对照：它拥有全部信息（每条原始轨迹都在上下文里）却输给了 ReHarness——说明瓶颈不在信息量而在信息的可用形态：紧凑反思 + 明确适用条件比原始历史更可被决策 agent 消化。反事实重放（0.335 > 0.217）把"机制上限"与"流式协议约束"干净分离——修订能找回被浪费的信息，只是在线协议下这些信息只能惠及未来。稳定性/可塑性双第一 + 状态动态可视化（漂移前修订量收敛、漂移后旧反思被大幅修订）共同刻画了"何时修、修什么"的自适应行为。另一个易被忽略的机制细节：修订示范还提升了新经验的质量（去掉示范通道 0.217→0.191），即后向修正不只清理存量还会改善增量——回路的价值是复利的。

交叉验证（相近结论）：ACE（斯坦福 + SambaNova + UC Berkeley，2025 年 10 月）的增量 delta 更新与有用性计数（harmful≥2 删除）同样承认"经验需要被下游效果修正"，但 ACE 的策展目标是记忆库一致性、且依赖离线/验证信号；ReHarness 的修订目标直接就是"这次它误导了 τ_t，怎么改才能下不为例"，且严格在线。本次检索范围内未发现其他工作在严格流式协议下实现"基于下游失效的反思级后向修正"——ReHarness 的定位声称成立。GEPA-Online 在 MemoryBench+Gemini 上崩到 -0.134 则从反面支持：缺乏验证集的提示优化在分布漂移下脆弱。

相反结论/边界：exploitable poker 上 ReHarness 近乎无增益（0.009）——扑克的随机性使手牌奖励与策略质量弱耦合，“下游反馈可诊断"这一前提失效；论文自己承认仍需存储原始轨迹供未来修订（存储开销）且在噪声奖励场景受限。此外 Top-K Raw 在 MemoryArena 的 Search 子任务上出现 -0.514 的剧烈负增益，说明原始经验在特定检索条件下甚至有毒——这从反面强化了"反思+适用条件"作为经验存储形态的稳健性论证。

三篇的综合对照（方法差异→机制→提升）

外部检索与对照汇总

以下为本次调研围绕三条根源解释检索到的代表性工作（检索时间 2026-10-13，工具为通用网络检索）：

本次检索范围内未发现：(a) 其他在 rollout 时用奖励侧 rubric 做策略自干预改写的工作（RTI 的核心机制目前为单源证据，其消融链完整但无外部复现）；(b) 在严格流式协议下实现"反思级后向修正"的其他工作；(c) 对"咨询放置时机"与"咨询量"做同等严格分离实验的其他工作（ARIA 的 Random 校准对照设计目前看是独一份）。

综合判断与未决问题

得到多项研究共同支持的机制：信号的价值取决于放置与形态而非数量（ARIA 的 Random/Always 对照、ReHarness 的 Full Raw 对照、RTI 的"大教师更差"三面合围）；LLM 自我评估不能作为分配依据（ARIA 的 LLM-Router 对照 + Tyen/Xiong 校准研究 + RTI 的"策略自己发现不了早期错误"）。仍属单源证据的机制：RTI 的 token 重加权（消融影响最温和、无外部复现）；ReHarness 的"修订示范引导新反思写入"（单一消融支持）；ARIA 的 24 状态划分本身（状态粒度选择无消融）。适用条件：RTI 需要可验证奖励且任务"难但可解"（不可解任务上 rubric 也无从指导改写）；ARIA 需要决策点跨任务重复的结构（Terminal-Bench 异质任务上优势消失即为证据）；ReHarness 需要下游反馈可诊断（噪声奖励的扑克场景失效）。可能的失效条件：三者在"环境奖励本身被 reward hacking"时均无防护设计——泄漏掉的 Verifier、被 game 的咨询价值、被污染的修订反馈，都是尚未打开的黑箱。

七、必要知识反推

假设让一个毫无背景的人复现这三篇工作，最少需要哪些知识？

领域知识层：

• Agent 与工具调用循环（轨迹 = 交替的思考/工具调用/环境反馈）——不理解它就无法定义"步骤级干预"（RTI）或"接触点"（ARIA）。
• GRPO 的组相对优势机制与 PPO 裁剪——RTI 的全部设计（PPL 门控、比率保持、重加权）都是在给"离策略轨迹混入 GRPO 组"扫清优化障碍。
• 分布漂移下持续学习的稳定性-可塑性权衡——ReHarness 的评估框架（归一化增益分解）直接建立在这个概念上。
• LLM 置信度校准失效的实证文献——ARIA 状态设计的"负空间"（不用什么做状态）由此而来。
• 双控制（dual-control）环境语义——τ2-Telecom 的"部分动作必须由用户在自己设备上完成"是 RTI 动机案例与 ARIA 交互场景的共同土壤，不懂它读不懂两篇的案例研究。

方法论知识层：

• 教师引导 RL 谱系（SFT→蒸馏→LUFFY 混合策略）——RTI 的定位与"自干预"反直觉结论都要在对照中才成立。
• 模型路由/级联谱系（FrugalGPT→RouteLLM→AutoMix）与 PGR 指标——ARIA 的实验设计是在逐项排除这些前辈解释。
• 记忆/反思/prompt 优化谱系（Mem0/ACE/GEPA/Reflexion）——ReHarness 必须知道每个基线的反馈流向缺在哪。
• 蒙特卡洛控制与表格型 RL——ARIA 的方法内核（every-visit、γ=1 的理由、ε 退火）。
• 因果推断工具（倾向得分/IPW、Hájek 估计）——ARIA 附录 C.5 的 within-state 分析。

工程知识层：

• 多智能体编排框架（Magentic-One）与服务器端工具注入——ARIA 的接触点实现。
• 大规模 RL 训练栈（qqr 框架、8×H20、vLLM 服务教师、rollout 温度 0.8、组大小 G=8）与评测协议（LLM-judge、Pass@k/Pass_k）——RTI。
• 嵌入检索（Qwen3-Embedding）与 LLM-as-judge 的事实分解（FActScore 式 claim 级 grounded/leaked/unsupported 标注）——ReHarness 的扎根性审计。
• 成本核算与可复现账本（ARIA 附录 B.4 用计费 artifact 重建全部 33 个成本格、误差 ≤$0.0049；含缓存 token 与长上下文加价的计价公式）。
• 数据合成的质量控制——RTI 的 Hard20 训练变体走"程序化生成正确性关键元素 + LLM 只做措辞多样化 + 参考轨迹可执行性 ≥0.99 分三重质检"的流程，这是"用合成数据测能力边界"的工程前提。

知识融合的关键节点：

• RTI 的洞察融合点：把"奖励函数持有特权信息"这一 RL 常识转化为"用特权信息驱动的生成式干预器"，再用蒸馏文献的分布偏移知识驯化它——三个领域的交叉处站着一个反直觉结论（自干预 > 大教师）。融合顺序不可颠倒：如果先想到"用强教师"，就会落入 LUFFY 的能力上限框架；只有先确立"修正必须贴近策略分布"这个约束，“干预者=策略自己"才会成为自然解。
• ARIA 的融合点：把"LLM 不会自我评估”（实证文献）ד资源分配的拉格朗日形式化”（约束 MDP）דPólya 解题阶段”（1945 年的解题学）熔成一个 24 格子的小表——刻意的小即是设计：状态空间小到可以表格估计、可以逐格检查、可以离线重估，而 11 条件的归因网格才有可能在有限算力下跑完三种子。
• ReHarness 的融合点：把"反向传播"的隐喻移植到文本状态（τ_t 是损失、R’_i 是梯度、扎根约束是防泄漏正则），同时用持续学习的稳定性/可塑性语言定义评估。另一个隐藏融合是"检索即审计"：只有被检索使用过的反思才被修订——这把修订预算自动对齐到"实际影响过决策的经验"，与 ARIA 的"接触点即决策点"异曲同工。

八、论文中可以提取的通用性灵感

三篇合读的最大收益是它们共同指向一套可迁移的"能力信号经济学"原则——把高质量信号（无论教师轨迹、强模型咨询还是环境反馈）当作稀缺资源来经营：注入时防污染、分配时看杠杆、回流时改存量。

1. 信号的价值在放置，不在数量。 论文证据：ARIA 同咨询量超 Random +20pp；Always-B10 加倍咨询在 τ2 负收益；ReHarness 的 Full Raw 拥有全部信息却输给 1/3 token 的紧凑反思。 推广场景：RAG 检索（少而准的 chunk 优于多而全）；人机协作中的升级（escalation）策略设计；教育领域"何时给 hint"而非"给多少 hint"；缓存系统中的预取时机。

2. 分布贴近性是可学习性的前提：学生自己的"次优解"修正版，可能优于名师的标准答案。 论文证据：RTI 中 8B/9B 自干预 > 397B 教师干预，因为修正分布离策略太远则梯度有害；LUFFY 的策略塑形同理（方法相似的外部印证）。 推广场景：知识蒸馏的教师选择（能力差不宜过大）；推荐系统的探索噪声设计（离当前策略太远的候选无法提供有效反馈）；组织管理中的"够得着的目标"设定；课程学习的数据排序。

3. 让失效反馈回流到决策依据本身，而不是只堆叠新经验。 论文证据：ReHarness 修正过时反思使 schema 漂移场景奖励 0→0.867；五个前向基线稳定性全为负（经验在漂移下变毒药）；修订示范还提升新经验质量（0.217→0.191 的反向消融）。 推广场景：运维 runbook 的失效后修订流程；RAG 知识库的陈旧条目治理；A/B 测试结论的复检机制；个人知识管理中"定期修订旧笔记"优于"只加新笔记"。

4. 自我评估不可作为分配/升级依据，用外部可观测信号替代。 论文证据：ARIA 的 LLM-Router 咨询又稀又晚（77% 在尾部）；RTI 的策略自己发现不了早期关键错误，需要 rubric 驱动的 Validator 外部把关。 推广场景：单元测试失败信号优于开发者自查（自评盲区）；监控系统的告警阈值应基于下游影响而非组件自报健康；模型路由中的难度估计用执行反馈而非 logits。

5. 特权信息可用于"生成"监督，但必须防泄漏——泄漏的监督是负资产。 论文证据：RTI 去 Verifier 后 26.00 低于 GRPO 35.33，泄漏污染的监督主动伤害策略；Corrector 说出客户名/内部线路号的"成功"轨迹被拒；ReHarness 的源轨迹扎根约束把泄漏率压到 0.8–2.1%。 推广场景：评测集驱动的数据合成（防"背答案"）；LLM-as-judge 的提示设计（judge 不能看到参考答案的措辞痕迹）；教育测评中的提示词工程；合成数据训练时的"答案污染"检测。

6. 单参数价格旋钮 + 可检查的小策略，优于黑盒大模型。 论文证据：ARIA 的 λ 离线重估即可滑动成功-成本前沿（λ=0.10→0.50：咨询 2.78→1.55 次、ER 0.37→0.11）；24 格 Q 表 8/9 策略在关键格一致，可审计可解释。 推广场景：API 网关的升级策略；云成本工程的预算旋钮；任何"质量-成本"权衡系统的设计范式——先找一个能离线重估的价格参数，再谈端到端重训。

7. 反事实重放是验证"机制上限 vs 协议约束"的手术刀。 论文证据：ReHarness 用违规重放证明修订有信息量（0.335），在线协议只欠兑现（0.217）；RTI 用"干预前 Pass@8 上升"证明行为内化而非依赖。 推广场景：任何在线学习系统的离线评估设计；A/B 实验的 uplift 建模；强化学习中 on-policy 假设的诊断。

8. 每个混淆变量配一个专属对照，是因果归因的实验设计范式。 论文证据：ARIA 为"咨询量/渠道/规则/自评/任务级信息"五个混淆变量分别配了 Random/Always/Heuristic/LLM-Router/任务级三兄弟对照，全部共享同一 advisor 接口与预算；ReHarness 的反事实重放分离"会修"与"来得及修"。 推广场景：ablation study 的设计方法论（先列混淆变量清单再配对照）；策略评估的 synthetic control；数据科学中 uplift 归因实验。

9. 分配问题解决后，吸收问题会浮出水面——瓶颈是会移动的。 论文证据：ARIA 把咨询放对位置后，58% 的残余失败变成"建议被忽视"（FM-2.5），远高于 MAST 原始数据里的 1.9%；交付阶段的忽视率 36–40% 为全程最高。 推广场景：组织管理（信息送达 ≠ 信息被采纳）；RAG（检索准了还要重排与呈现）；人机协作 UI 的建议呈现时机与形式设计。这也提示了下一批研究机会：ARIA 管好了"何时问"，“如何让 executor 听进去"仍是空白——SWE-Protégé 的微调路线是一个起点。

附录：三篇的公共基准交集与组合展望

值得注意的是 τ2-Bench 同时出现在 RTI（作为 RL 训练/评测基准）和 ARIA（作为交互式客服咨询场景）中——一个在训练时把 Telecom 域 Pass@1 从 36.84 拉到 61.40，另一个在运行时用咨询策略把 Telecom 成功率从 72.5% 拉到 93.3%（模型与协议不同，数字不可直接比较）。这个交集暗示了一条自然的组合路径：RTI 式训练提升 executor 底座，ARIA 式策略管理运行时咨询，ReHarness 式回路维护长期经验——注入、分配、回流三重奏的完全体。

组合并非简单拼装，三篇的接口恰好互补：RTI 输出一个"能力边界外扩后的 executor”，它进入 ARIA 的世界后 PGR 的分母（executor-advisor 差距）会收窄、咨询策略需要按新底座重学（ARIA 论文已提示收益随 executor 增强而缩小）；ARIA 的失效分析指出"建议被忽视"是下一瓶颈，而 ReHarness 的修订机制恰好是一个"让外部指导被吸收进持久状态"的现成通道——advice 若进入 harness 并在失效时被修订，忽视率有望下降；ReHarness 的反思库反过来可以作为 RTI 式训练的数据源（修订过的成功经验比原始轨迹更贴近策略分布）。当然这些组合均属推测，三篇论文均未做交叉实验——这是留给后续工作的开放题。