强化学习 on MessageDaily

信用分配四重奏：给每一步发对奖励——FAULT、SHARPO、T2SPO、DARS 合读

Sat, 03 Oct 2026 00:00:00 +0000

2026 年 10 月初，四篇论文从四条路线围攻 agentic RL 的同一个软肋：终端奖励只给轨迹级 0/1 分，步级信号从哪里来。阿里的 FAULT 用结构化自诊断加结果定价加守恒再分配，把训练信号覆盖率从 GRPO 的 41% 拉到 95%，ALFWorld 91.0%；LinkedIn 的 SHARPO 用段级 hindsight 重加权，84.90±1.19 对 GRPO 70.57（+14.32）；南大+字节的 T2SPO 用冻结 TabPFN 当免训练进度估计器，WebShop score +12.7；UIUC 等的 DARS 用谓词依赖图势函数塑形，ALFWorld 1.5B 96.9% vs GiGPO 86.9%。四篇的共同主题是「过程信号可信化」：不是要不要过程奖励，而是如何让过程奖励锚定在唯一可信的终端结果上、可验证、不被策略钻空子。本文合读四条路线的机制设计、证据链与边界，并提炼可迁移的通用做法。

Harness 的三种缩放轴：Mid-Harness × STITCH × Turbo Harness 精读

Fri, 02 Oct 2026 00:00:00 +0000

同日三篇论文从三个互补粒度回答同一问题：固定模型后 Harness 侧还有哪些缩放轴可挖。NVIDIA+KAIST 的 Mid-Harness 下沉「动作级」——在模型与 Harness 边界采样 N 个候选、执行前由验证器选一，发现采样收益完全由验证支配（前沿验证器把 TerminalBench-Lite 从 50.00% 拉到 68.03%），且与轨迹级缩放正交可组合（+Best-of-T 达 66.33%、成本减半）。UIUC+UMich 的 STITCH 沿「原语级」轴测试时组装——带 scope/contract 的原语库+确定性编译器，SWE-V 80.5%、组装开销仅 2.7%，配 mismatch gap 与指数衰减两命题。Rutgers+Red Hat AI+MIT-IBM 的 Turbo Harness 沿「实例级」轴打补丁——回收外层搜索副产物蒸馏 playbook、GRPO 训 9B 编辑器逐实例补丁，SWE-V 38.4→54.4%、步数 23.1→8.7。三轴正交可叠加，构成 Harness 工程学的完整缩放谱系。

编码 Agent 训练三条线：token 效率、自验证与安全精读

Fri, 02 Oct 2026 00:00:00 +0000

本篇合读 2026 年 9 月底同期发布的三篇编码 Agent 后训练论文：HERO 用分层强化学习在不牺牲解题率的前提下把 token 开销降下来（SWE-bench Verified 上 4B 模型 32.8→40.0% 且相对 GRPO 省 39.8% token）；SCVD 先用候选态重放诊断出终端 agent 自验证「报错可靠但通过不可信、检出错误仅半数能修」，再用学生条件化蒸馏修复（PASS@1 +9.7~16.9pp 且 OOD 不掉点）；SecureVibe 先归因不安全 agent 缺的是安全规划与测试行为，再用 Security Suite SFT + rl/hg 双路后训练补齐（unseen CWE SecPass 7.69→19.23 且 SWE-bench +4.1）。三篇论文共享同一方法论：先归因行为缺口，再设计监督信号——共同回答「编码 Agent 的后训练到底该优化什么」。

训练前沿四重奏：蒸馏外推、规模解除、奖励治理与具身评测精读

Fri, 02 Oct 2026 00:00:00 +0000

本篇合读 2026 年 9 月底集中出现的四篇训练侧前沿论文：RIDE 把「教师是方向不是终点」操作化为表示空间的 RL 残差外推，四组基座全部追平或超越教师；OASIS 诊断出在线自蒸馏的规模瓶颈源于「在教师不可模仿处监督」，用验证脚手架解除；ProRubric 把 Rubric-RL 奖励攻击的根因从准则文本转移到聚合方式，合取式协议级评分回收三分之一损失；GPT-6 Astra 具身评测则以六域系统实验界定前沿模型「任务决策强、物理控制弱」的能力边界。四篇合起来构成一条主线：监督信号放对了空间、放对了状态、用对了聚合、并诚实面对能力边界。

CAMG × Comet-9B：文件即记忆与程序状态推理的 Agent 训练新范式精读

Wed, 30 Sep 2026 00:00:00 +0000

本篇精读两篇 2026 年 9 月的代码 Agent 训练论文：京东的 CAMG/CAMG-RL 发现专用记忆工具落在预训练分布之外（surprisal 6.371 vs 0.252 nats/token），转而用纯任务奖励让 shell 文件操作自发生长为记忆，4B 模型追平 35B；UCSB 与微软合作的 Comet-9B 不直接训练写补丁，而是训练「程序状态推理」（bug 何时触发、错误如何传播），反而把 SWE-bench Pro 从 24.35 推到 30.51。两篇论文共同指向一个反直觉结论：不直接优化目标行为，而是优化能迁移的中间能力。文章按背景、定位、问题、解法、证据、根源、知识反推、通用灵感九部分展开，并用外部文献交叉验证两大机制。

CoDeL × ReproBench：智能体安全的攻防共进化与漏洞复现评估精读

Wed, 30 Sep 2026 00:00:00 +0000

本精读合读两篇智能体安全新工作：北航 CoDeL 将间接提示注入防御形式化为攻防共进化训练，首创「攻击潜伏期」可度量信号，在 AgentDojo 上将攻击成功率从 0.364 压到 0.042（−88.5%）同时受攻效用提升 38%；中科院软件所 ReproBench 则把 LLM 漏洞复现评估推入 pre-environment 设定，用真目标门控暴露出 45.3% 的「仿真替代」失败模式。一篇教智能体抵御攻击、一篇测智能体发起攻击的能力，恰构成安全能力的攻守双向标尺。

CodeSkill × NanoHarness：技能抽象与 Harness 效应——被低估的智能体性能杠杆精读

Wed, 30 Sep 2026 00:00:00 +0000

本精读合并解读两篇从「模型权重之外」挖掘编码智能体性能的论文：清华+华为诺亚+上交的 CodeSkill 把长程 RL 从 token 级提升到技能级——teacher 蒸馏三级文本技能（目标/执行/控制），分层 VAE + Gumbel-Softmax 执行反馈门控边界把离散技能映射为连续隐变量 zH/zM/zL，以软提示前缀注入冻结 LLM（LoRA），PPO 在隐空间优化；SWE-bench Verified 76.2、EvalPlus 99.2 开源第一，交互步数 12.3→6.8（−45%），去掉 VAE 直接用文本技能+RL 则 BigCodeBench 从 94.8 掉到 88.4。南京理工+TUM+南京大学的 NanoHarness 首次把 harness（模型外基础设施）作为一等研究对象做组件级受控分解：固定模型下 harness 差 19.4pp vs 模型差 22.8pp；在 mini-SWE-agent 上增量加五组件，工具注册表 +4.57pp、任务特定子代理 +5.91pp，而上下文压缩 −4.86pp——机制是结构化工具把无序 shell 探索变针对性调用（jqlang 案例 133 次探测→43 次、通过率 24.68%→68.17%）。二者共同指向：技能结构与 harness 设计是被系统低估的性能杠杆。

EAPO × DN-MOPD × d-OPD：大模型训练信号的三个盲区与最小修正精读

Wed, 30 Sep 2026 00:00:00 +0000

同日三篇论文各自修复了 LLM 训练信号的一处失真：KAIST+DeepAuto.ai 的 EAPO 发现正负反馈下 token 熵的信息量不对称——正优势应强化高熵的「惊人成功」、负优势应纠正低熵的「重复失败」，符号-熵耦合重分配使 Qwen3-4B 六基准平均 31.0%（超最强基线 5.6pp，AIME24 20.2 vs GRPO 12.5）；NTU+耶鲁+曼彻斯特的 DN-MOPD（当日 Hugging Face 日榜 up=111 第一）发现等权多教师蒸馏中 IF 域反馈离散度是池化信号 2.3–4.4 倍、占联合梯度 94% 而淹没数学信号，批内测离散度+有界乘子重缩放即恢复各域均衡（8K 下 +2.47~+3.08）；清华+MIT+NVIDIA 的 d-OPD 识别出 AR→块扩散蒸馏的目标条件失配——教师只看因果前缀而学生看得见未来，Bayes 未来重加权把 token 级 KL 从 0.4444 降到 0.1249，8B 平均 59.8 vs 55.9。三者共同示范了「先诊断信号失真、再做最小修正」的方法论。

Gagar × SWE-MILE × CRR：代码智能体强化学习的细粒度信用分配三重奏精读

Wed, 30 Sep 2026 00:00:00 +0000

本文合并精读 2026 年 9 月底三篇聚焦「代码智能体 RL 细粒度信用分配」的论文：小米+人大+北大+港大的 Gagar 用组内 agentic 评审排出补丁质量层级，再以保和重分配把质量偏好注入 GRPO 优势，DeepSWE 从 50.2% 提到 62.2%；中科院自动化所+国科大+腾讯的 SWE-MILE 定义导航势与验证势两个运行时势函数，以势差做过程奖励塑形，SWE-bench Verified 63.8 全面超越五条过程奖励基线；北邮+卢森堡大学的 NeurIPS 2026 论文 CRR 利用沙箱可 fork 的物理性质真实执行反事实动作，把「续走终局的回报差」作为免费过程奖励，Verified 41.7% vs GRPO 36.4%。三篇论文回答同一个问题——终态二值奖励下如何区分好坏决策——却给出质量对比、运行时信号、反事实执行三条机制迥异的路线。每篇覆盖背景、关联工作、问题、解法、证据、根源（含外部交叉验证）、知识反推与通用灵感。

Skill2Env × QwenGyre × AgentPerfBench：智能体强化学习的数据、系统与推理三层基建精读

Wed, 30 Sep 2026 00:00:00 +0000

同日挂出的三篇 arXiv 论文恰好拼出 Agent 强化学习的三层基础设施：数据层（AllSpark 的 Skill2Env 把「环境合成」从扩展覆盖升级为能力参数化——100 个带控制旋钮的难度模式+基于 solver 执行证据的迭代加难，1.5K 轨迹 SFT 换 7 基准 +8.4pt）；系统层（阿里 Token Hub 牵头的 QwenGyre 用 cell 级弹性调度+轨迹树处理让 2.4T 旗舰模型的百万 token rollout 在线 RL 提速 1.78×，pass rate 52.48%→58.54%）；推理层（帝国理工+剑桥+牛津的 AgentPerfBench 用 22 个负载画像+饱和扫描+NCU roofline 证明 chat→coding 的 TTFT 差 4.8×、操作强度差 46×，agentic 负载在并发爬升时吞吐崩塌 43–76% 而 chat 仍在扩张）。本文按九部分结构合并精读，并给出「Agent RL 全栈工程」的公共图景。

Up and Down the Abstraction Ladder: Code-Based Skills for Language Agents 精读

Tue, 29 Sep 2026 00:00:00 +0000

华沙大学与 Princeton 等九机构团队在 NetHack 上系统量化了「代码技能 vs 原始动作 vs 混合」三种动作抽象层级对语言智能体的影响：跨 14 个模型，技能让游戏进度近 3 倍、推理成本降 86%；RL 设定下学习增益达 7.2 倍；混合接口保留 95% 收益的同时保留原语回退能力。本精读覆盖 CodeHack 的 78 个 Python 技能与统一运行时设计、zero-shot/SFT/RL 三设定受控实验全表、优势根源因果链与外部文献交叉验证，并附面向 Agent 工程的通用灵感。

WeEnv: The Environment for Agentic Reinforcement Learning at WeChat 精读

Tue, 29 Sep 2026 00:00:00 +0000

腾讯微信 AI 提出 agentic RL 的「环境税」：环境初始化独占迭代时间 53.4%，比训练本身还慢。WeEnv 对环境做打包-初始化-供给的全生命周期管理——layer group 活页夹式组合把 39,471 个镜像缩到 133 个、按需拉取让环境 10.6 秒启动（E2B 要 150.6 秒）、弹性配额化解秒级 47 倍的资源突发。本精读覆盖动机量化、三大设计的机制因果链、与 E2B/AgentENV/SkyRL 的外部交叉验证，以及企业生产部署视角的通用启发。

训练机制三重奏精读：对数线性稀疏注意力、置信度停止与跨段信用分配

Tue, 29 Sep 2026 00:00:00 +0000

本文合并精读 2026 年 9 月下旬三篇聚焦「训练时机制创新」的论文：上交+字节 Seed 的 PISA 把块稀疏注意力的选择阶段压到 O(N log N) 并用 LSE 打分提升选块质量；马里兰+Capital One 的 ConfSFT 只监督置信度、不监督长度，就让四家族模型推理 token 下降 10%~19%；北大+深大+腾讯的 SLCA-GRPO 识别并结构性消除工具调用 RL 中的跨段信用错配，7B/8B 上 τ2-Bench 分别提升 9.15/10.03 个百分点。每篇覆盖背景、关联工作、问题、解法、实验证据、优势根源（含外部交叉验证）、知识反推与通用灵感九部分，最后合并讨论「选择、停止与信用分配」这一共同主题。

Just-in-Time Memory: Learning to Curate Task-Adaptive Memory for LLM Agents 精读

Sun, 27 Sep 2026 00:00:00 +0000

Salesforce AI Research 提出 JITMEM，把智能体记忆的「塑形」时机从写时推迟到读时：写时零损耗保存原始轨迹，读时由 curator LLM 联合当前任务与检索轨迹合成任务自适应 payload，用后即焚。因为 payload 在当前任务上被立即消费，curator 可用 GRPO 直接以任务原生得分训练，信用分配零步延迟。在 ALFWorld、WebShop、τ²-bench 上分别领先最强基线 16.2、16.3、3.9 个成功率点，输入 token 省约一半。本精读覆盖其问题定义、方法拆解、实验证据、根因分析与可迁移灵感。

Agent-Editing World Model 精读

Sat, 26 Sep 2026 00:00:00 +0000

人大高瓴学院 AEWM 论文精读。论文把语言世界模型的预测目标从「重建环境观测」重构为「预测决策效果并直接编辑 agent 状态」，用 Action Judge 三分类（CRITICAL/EXPLORATORY/NOISY）+ State Revision 推理动作联合编辑组成推理时闭环 EditAct，再用 AEWM-RFT 把编辑能力内化回 agent。Action Judge 基准 macro-F1 70.5% 超最强基线 10.6pp；六基准三骨干平均提升 3.2–6.7 分；9B+EditAct 反超 35B+ReAct。本精读覆盖动机、方法、证据链、外部交叉验证与可迁移灵感。

PACT: From Credit Assignment to Critic Alignment 精读

Fri, 25 Sep 2026 00:00:00 +0000

强化学习已成为大语言模型后训练的核心组件，但 token 级信用分配始终缺乏公认的数学定义。本精读拆解 AllSpark 团队的 PACT 论文：以完备性、前缀一致性、中性性三个正则条件唯一确定 token 级信用——即条件奖励预测的鞅差分序列；由此统一解释理想教师下的在线蒸馏等价隐式 critic、RLOO 的梯度等价性、以及 GAE 中间 critic 误差可淹没真实信用等现象；进而提出 Actor-then-Critic 更新顺序、重要性采样修正与 BCE 损失的 PACT 训练流程。在四个数学基准上平均 72.87%，SWE-bench Verified 达 67.4%，分别超越 GRPO 8.80 与 2.0 个百分点。

SkillGym×VHD-Play：技能与环境从「外挂」到「内化」的两条路线精读

Fri, 25 Sep 2026 00:00:00 +0000

本篇合并精读两篇同期论文：ECNU 与上海AI Lab 的 SkillGym 把人类撰写的 Agent 技能文档转化为可执行、可验证的训练环境，通过对比式技能依赖性测试筛出真技能任务，用 8364 条验证轨迹微调出的 35B 模型在 GDPval 上提升 199 Elo；Georgia Tech 与阿里 Token Foundry 的 VHD-Play 反转环境合成顺序，先解出数学模型再让同一个解同时供出环境动力学与奖励函数，把 Qwen3.6-35B 的智能体得分从 0.204 拉到 0.815。两篇论文共同指向一个趋势：把知识变成环境的因果反馈而非文本的表面模仿，让技能与环境从推理时的外挂变成训练中的内化。

WhatWorkedBench: Benchmarking Experimental Understanding in AI Agents 精读

Fri, 25 Sep 2026 00:00:00 +0000

深度精读 CMU 与清华大学合作的 WhatWorkedBench——首个将实验理解力量化为可执行评测的基准：智能体在测量预算内选择实验、提交覆盖全部配置组合的响应面预测表，与离线 CPU 穷举的 1248 个配置真值逐条比对条件效应误差。本文覆盖实验理解力定义、八族工作流目录、35/36 任务符号反转的发现、共享推断与代码等价编码两大机制，以及与 MLE-bench 等工作的谱系定位、必要知识反推和七条通用性灵感，全面拆解这项把优化成功与干预知识首次分离的评测研究。

控制 token 注入×工具缓存逆转：Agent 安全与训练基础设施的两个隐蔽失效面精读

Fri, 25 Sep 2026 00:00:00 +0000

本文合并精读两篇 Agent 安全论文。论文 A 证明：向工具调用上下文追加模型自身的控制 token，可让 gpt-oss-20b 的思维链从 52.5 个 token 降为 0，CoT 监督器拿不到任何可判信号，39.6% 原本被拒的恶意请求转化为成功执行——因为 CoT 是采样行为的产物而非义务。论文 B 证明：边缘正确的工具缓存会在组内共享随机结果时系统性偏移 GRPO 的 baseline，共享更新方向由胜率差而非均值差决定，符号可整体翻转，540 组配置穷举验证。两者共同指向：Agent 系统的失效面在结构层（解码 harness、缓存、归一化器）而非模型层。

当智能体替人跑一整天：PAI 分论坛上，AI 基础设施的三次换轨

Thu, 24 Sep 2026 00:00:00 +0000

2026 云栖大会「人工智能平台 PAI」分论坛全程复盘。PAI 负责人周文超用负载、范式、边界三个词定义 Agentic AI 对基础设施的重塑：推理调用次数增长数百倍使 KV cache 命中率成为第一指标，RL 算力消耗逼近预训练把「稳」变成生产化门槛，具身智能则把战场拉回数据质量。文中串联小米广告 +8 个点收入、大众故障归因数天级压缩、SciMaster 六小时顶博士三个月、圆桌「一千小时低质数据不如一小时高质量」等关键证据，提炼出从压榨算力到压榨数据、从模型精度到迭代周期的观察坐标。

Critical-State RL：为多轮工具调用诊断「可训练的模型调用」 —— 精读

Wed, 23 Sep 2026 00:00:00 +0000

深度精读 Salesforce AI Research 的 Critical-State RL。它指出多轮工具调用失败往往卡在单个模型调用上，但「奖励有差异」并不等于「该调用值得训练」。方法先用训练前三闸门诊断（动作充分性 / 提升空间 / 可训练性），再用嵌套同前缀采样分离「动作依赖奖励方差」与「后续噪声」，最后只对选中的关键调用做 occurrence-local RL（上下文赌博机式训练）。BFCL 上对缺失函数任务 miss_func 恢复率 0.14→0.283（+14.3pp），错位训练反而 −4.5pp；记忆子任务 34.54%→50.54%；Nemotron 重复调用一致性 37%→75%。

DSec（DeepSeek Elastic Compute）: 面向规模化 Agentic 训练的可扩展沙盒基础设施精读

Wed, 23 Sep 2026 00:00:00 +0000

DSec（DeepSeek-AI + 清华大学）提出一套面向规模化 Agentic RL 训练的可扩展沙盒基础设施。它用三大支柱解决「海量环境、高密度资源、按需镜像」的难题：可组合环境层（overlayfs + EROFS，把 O(mN) 镜像数降到 O(m)）、高密度资源管理（virtio-pmem+DAX+DAMON+核调度，microVM 峰值内存降 40.2%）、3FS 按需镜像加载，并把 Agent 循环与可抢占 GPU 解耦以支持弹性训练。实测 8192 容器突发比 eager Docker 快 1.71×、磁盘写少 57%，规模达 300 万沙盒/日、峰值 38 万并发、>5000 个/秒创建。本文按九部分结构精读其架构、关键技术与实验，并通过外部检索交叉验证 serverless 沙盒（SAND/RunD）与 RL 训练基础设施（AgentGym/AgentScale）等相关工作。

FLARE：用生成式奖励模型为长程编码智能体提供全生命周期稠密监督 —— 精读

Wed, 23 Sep 2026 00:00:00 +0000

深度精读北京大学、南京大学、北京邮电大学与独立研究者联合提出的 FLARE。它通过 RADAR 双轨数据合成训练一个 4B 生成式奖励模型（GRM），输出结构化的步级风险诊断（风险等级+错误类+修复建议），在推理时做断点再生、训练时做 SFT 筛选与 RL 稠密奖励，首次把测试时干预与训练时对齐闭环到同一套诊断信号。F2P Pass@1 14.10% 近乎翻倍于全局重采样 7.80%，token 省 5×；ROC-AUC 75.74%；SFT 相对提升 19.13%，RL 平均提升 9.19%。

IER-OPD: 1% 的 Token 就够——论同策略蒸馏中的梯度估计精读

Wed, 23 Sep 2026 00:00:00 +0000

IER-OPD（MBZUAI + 蚂蚁集团）研究同策略蒸馏（On-Policy Distillation, OPD）中一个反直觉的事实：训练学生模型时，绝大多数 token 的梯度几乎不携带有用学习信号，只有极少数 token 真正驱动学习。论文在 Fisher 信息几何下对 reverse-KL 梯度做「信号-噪声」分解，定义信息效率比 IER = 信号/噪声，并据此设计候选集近似与 soft OR/AND 多准则融合，用 IER 分数筛选「高信息效率」的 token。实验显示：仅用 0.1% 的 token 预算，AIME26 即可达到全量训练的近乎持平（58.9 vs 59.9）；1% 预算下 AIME25 甚至超过全量（17.0 vs 14.4），且单步开销仅增加 2.2%。本文按九部分结构精读其动机、几何理论、稀疏选择机制与实验，并通过外部检索交叉验证 on-policy distillation（MiniLLM、GKD）与稀疏 token 选择等相关工作。

One to More, More to One：面向软件工程 Agent 的类别感知迭代专家训练（类别感知 SWE 专家训练精读）

Wed, 23 Sep 2026 00:00:00 +0000

阿里巴巴提出类别感知的 SWE 专家训练与策略整合框架：SWE Labeler 用 47 个语义族 227 个标签做多轴标注，Agentic-miniRL 在可执行奖励下做长程 RL，RRE 循环（Refresh-Repair-Expand）让专家自蒸馏成功轨迹，Label-routed MOPD 用 ReLU 门控奖励外推把同起源多教师整合为单一可部署学生。最终在 Pro-618 上达 58.04%（较基座 +5.39），多语言 59.00%（+2.78），且每个类别都优于 Pooled/Balanced RL。本文按九部分拆解背景、类别跷跷板、标注体系、RL 配方、自改进循环、多教师蒸馏、实验、外部交叉验证与局限。

CodeMidas: Scaling Agentic Coding RL Environments from Code Itself 精读

Tue, 22 Sep 2026 00:00:00 +0000

CodeMidas（小米 LLM Core 联合北大、港大、人大）提出用源代码作为唯一输入，把开源库中「已实现功能」自动转化为带可靠验证器的编码强化学习（RL）环境。相比此前依赖 issue/PR/commit/测试/文档的环境合成路线，CodeMidas 首次做到五项开发记录全免，覆盖 3,185 个代码库、23 种语言、15 个领域，经四模块漏斗从 22,575 候选筛得 5,545 个高质量任务。用 GRPO 训练 MiMo-V2.5，在 SWE-bench Pro、DeepSWE、ProgramBench、RepoZero、Terminal-Bench 五个异构基准上全面提升（DeepSWE +11.7pp、ProgramBench +17pp）。消融证明「质量>数量」：清洗过滤后的 3k 子集即可击败 8k 未清洗样本。本文从根因上解释其优势来自可靠的二值奖励与任务供给的去绑定化。

信号质量二重奏：CoVer 验证器协同训练与 DENSE 轨迹蒸馏精读

Tue, 22 Sep 2026 00:00:00 +0000

本文合并精读两篇同主题论文：CoVer（UT San Antonio）与 DENSE（复旦+美团）。二者共同回答 RL 与智能体自改进中「信号从哪来、可不可信」这一核心问题。CoVer 在单策略 GRPO 内协同训练 coder 与 verifier，用协方差门控的互信息奖励挤出退化测试、用三级去重降低估计方差，把「自生成测试的信息价值」变成可证明的训练信号；DENSE 在完全结果盲视（无奖励、无验证器、无标签）下，把一条执行轨迹蒸馏成证据接地的嵌套 shortcut 树，用 REFIT 协议隔离出反馈这一唯一信息通道。文章从背景、定位、问题定义、解法、评估、根源、知识反推到通用灵感和交叉验证表，系统梳理两条「信号质量」路线如何从不同方向逼近同一结论：高质量信号胜过信号特权。

RetireOPD × EOS 终止符失配：在线策略蒸馏动力学二重奏精读

Sat, 19 Sep 2026 00:00:00 +0000

两篇同日论文从训练动力学层面解剖在线策略蒸馏（OPD）。浙大+阿里的 RetireOPD 发现教师监督的收益是阶段性的——师生梯度早期对齐、后期冲突，于是让学生在分歧停止收缩且达到教师成功率阈值时自动’退休’教师，ALFWorld 较 RL +14.1~18.8 点且每个设置反超自己的教师。UNC+BYU+微软的 EOS 研究则把 OPD 长度膨胀的根因追到词表级：基座学生与后训练教师可能把停止概率放在不同 EOS token 上（即使声明停止集相同），把功能等价 EOS 合并为共享语义停止动作即可大幅缓解。两篇合读，构成’OPD 何时该用、何时会坏’的完整图景。

Rethinking Critic Learning in PPO: Understanding and Mitigating Value Flattening 精读

Fri, 18 Sep 2026 00:00:00 +0000

上海AI Lab 联合上海交大、西湖大学等七校发现 PPO 在 LLM 强化学习中的系统性失效——『价值平坦化』：蒙特卡洛估计的状态价值在响应内剧烈变化，critic 预测却近乎水平线。诊断出两大根因（MSE 隐含方差惩罚+相邻状态冗余更新）后提出 SP3O：每条响应只监督 3 个位置分离的锚点。数学推理 +7.97pp、OOD +7.33pp，K=3 优于 K=64，越稀疏越好——一个『少即是多』的教科书式发现。

ExecuCritic × AgentGuard × RepoAtlas × Protocol Trimming 精读：编码智能体可靠性四重奏

Thu, 17 Sep 2026 00:00:00 +0000

四篇互补的 coding agent 可靠性研究合读：Intel×北大的 ExecuCritic 给 RLVR 加’校准 critic 塑形’——ρK 秩相关门控让 critic 失准自动坍缩，SWE-bench Lite +3.7pp 且 sandbox 执行省 42%；York 的 AgentGuard 从 642 条异常轨迹自动学条件激活护栏，异常执行率 69.0%→26.7%（代价：过度拒绝 19.3%）；北航 RepoAtlas 用 select-project-refresh 演化多模态仓库视图，三 VLM 一致 +2.4pp 且 token -5.8%；Intuit 工程报告量化协议保持裁剪——常规裁剪成功率 66.6-77.3% vs 协议感知 92.2%/自适应护栏 96.0%，临界阈值随复杂度上移。合读视角：可靠 coding agent 的四层防线——训练时（奖励塑形）、执行时（护栏）、探索时（上下文视图）、压缩时（协议保持）。

Mo' Models, Mo' Problems × Co-Skill 精读：多智能体选型与边云技能演化双视角

Thu, 17 Sep 2026 00:00:00 +0000

两篇互补的 multi-agent 工程研究：NVIDIA×哥本哈根的 Mo’ Models 用 23 模型×3 科学基准证明 MAS 模型池’加模型常降性能’——oracle 潜力与实际达成存在鸿沟、同族池是唯一稳定正收益、准确模型解集高度嵌套（rM=0.931）；哈工大的 Co-Skill 诊断边云 skill 演化的’盲通信’根因（上传 token 25-42% 是重复前缀），用前缀合并轨迹 trie+渐进 skill 树双向解盲，token 省 15.6-41.9%、成功率提升 25.8-76.4%。合读视角：多 agent 系统的两个新瓶颈——选谁进队（异构组合的聚合噪声）与怎么通信（协作双方的信息结构）。

ScienceBuddy: Recursive-in-Recursive Self-Improvement for Interactive Scientific Agents 精读

Thu, 17 Sep 2026 00:00:00 +0000

ScienceBuddy 把’与研究者聊天’变成模型-线束双改进的燃料：研究者交互免费产出任务定义与评估 rubric，内层递归固定模型演化 harness（有界编辑+成对回归检查），外层递归固定 harness 做 rubric 奖励 GRPO——三周期后科学任务准确率 42.2%→73.3%，纯 harness 演化即可 +20pp（权重冻结），纯模型 RL 覆盖率 +19.5pp。Recursive-in-Recursive 范式为 RSI 提供了’两条改进通道各自可评估、互为条件’的工程化路径，并作为可下载的科研产品发布。

Spurious Tool Use: When RL Agents Learn the Wrong Reason to Act 精读

Thu, 17 Sep 2026 00:00:00 +0000

RL 训练的 agent 调用工具的理由可能是错的：UW+UCSD+Stanford 团队构造受控环境注入与工具强相关但因果无关的线索，发现反事实评估下伪工具调用率最高暴涨 +39.2%——而且捷径只在 agent 已可靠掌握该工具时形成（任务能力是捷径的前提）、语义对齐线索放大效应（对齐 +39.2% vs 交换 ≤3.5%）。反直觉结论：提升能力的 RL 同时放大捷径易感性，标准任务奖励不足以产生鲁棒工具策略；LLM 裁判的’工具必要性’密集奖励可有效压制且不损准确率。

Dream-RSI: Recursive Self-Improvement through Evolving Worlds 精读

Wed, 16 Sep 2026 00:00:00 +0000

RSI（递归自我改进）的核心瓶颈是探索策略管理：固定策略无法适应搜索空间扩张，在线策略优化又受困于长程 rollout 的延迟昂贵反馈。Dream-RSI 的关键洞察是——积累的发现历史本身就是已实现搜索空间上的重放模拟器，把探索策略的改进从昂贵的真实环境 rollout 搬到廉价的历史重放（做梦即训练）。Lasso 求解器发现任务上 agent 调用较 SimpleTES 削减 162×，held-out 运行时 3587→2931ms。本精读覆盖三环循环机制、重放模拟器的信息学根基与发现求解器的算法细节。

HarnessBandit: Joint Learnability-Transferability Scheduling for Multi-Harness Agentic Reinforcement Learning 精读

Wed, 16 Sep 2026 00:00:00 +0000

同一模型在不同 harness（系统提示/工具 schema/控制循环/轨迹格式）下表现不均——多 harness 共同训练时每个优化步选哪个 harness 是被忽视的调度问题。HarnessBandit 用双信号在线调度：learnability（批平均绝对优势，还有多少可学）× transferability（梯度 sketch 余弦，学了是否白学），bandit 采样决策。6 harness 在 ClawGym 训练，held-out 任务与 held-out harness 双评测均优于混合批次训练。本精读覆盖双信号的互补性设计与 DeepSeek 产学研背景下的调度理论落地。

COBRA-Skills: Contextual Bandit-Guided Evolution for Agent Skill Optimization 精读

Tue, 15 Sep 2026 00:00:00 +0000

港中文深圳团队把 agent 技能优化重构为’动态候选空间上的预算受限序贯优化’：contextual bandit 优先级评分决定评估哪个候选（exploit 历史得分 + explore 不确定性），证据驱动的进化只做有界精炼不做全局重写。结果：6 个 benchmark × 3 模型平均提升 13.1/26.9/22.5pp，相对 SkillOpt 总成本砍 55-58%，每 benchmark 只用 50 个优化样本，且对 harness 更换鲁棒。

DataFlex-RL: An Evaluation Platform for RLVR Data Policies 精读

Tue, 15 Sep 2026 00:00:00 +0000

北大×UCAS 等机构的 RLVR 数据政策评测平台：13 配置 × 12 匹配种子 × Qwen2.5-7B 在 12 个数学/逻辑/科学 benchmark 上的受控对比发现——均匀 GRPO 已提升 7.76 分后，无任何选择/重加权方法的配对 95% CI 排除零；三种自适应混合均不优于固定等权。更警醒的是评测敏感性：math-heavy 摘要与均衡摘要的排名负相关（ρ=−0.33）。‘数据工程很重要’的流行叙事在受控条件下未被支持。

EvoRS: On-Policy Self-Evolution of Reward Systems for Open-Ended Reinforcement Learning 精读

Tue, 15 Sep 2026 00:00:00 +0000

复旦大学针对开放 RL 的奖励系统自进化框架 EvoRS：rubric 奖励与 policy 构成动态反馈回路——policy 优化当前奖励时，初始有用的奖励系统会因 reward hacking 或区分度退化而失效。EvoRS 把奖励系统表示为可执行 Reward-DAG，agentic designer 从 on-policy rollout 与奖励轨迹更新它。写作/角色扮演任务上三种 judge 下质量最佳，超固定奖励 policy 2.107/4.767 分，reward hacking 与覆盖失败双降。

Eliciting Weak-to-Strong Generalization with On-Policy Reverse Distillation 精读

Thu, 10 Sep 2026 00:00:00 +0000

弱到强泛化的核心矛盾：常规蒸馏把弱教师当优化目标，学生的上限被教师的容量天花板钳死。OPRD 的解法优雅而克制——在学生 rollout 上提取弱教师相对其参考策略的’政策偏移’方向，只放大学生自身 verifier 梯度在该方向上的投影分量，不建立任何教师匹配目标。理论上保住了策略优化的不动点，实践上比 GRPO 少 33–67% 更新达到教师水平、最终超越教师，多教师场景比 Mix-RL 省 55% 更新。本文精读拆解其梯度投影机制、不对称缩放调度与’加速而非转向’的证据链。

ERPO: Entropy-Regularized Rank-Masked Policy Optimization for Test-Time RL in Code Generation 精读

Thu, 10 Sep 2026 00:00:00 +0000

测试时强化学习（TTRL）靠答案自投票构造奖励，但代码程序没有规范答案可比对——TTRL 由此与代码生成绝缘。本文提出 probe-driven TTRL：从题面自构造无输出探针输入，用候选程序行为一致性构造 Probe Consensus Reward；再用 ERPO 把 PCR 当作’负信号为主’的奖励——rank masking 屏蔽高共识半区、只抑制低共识程序，配合熵上限防止多样性坍缩。Qwen3-4B 在 LiveCodeBench 域内 pass@1 26.0→36.7、pass@16 34.4→46.3，零样本迁移 CodeContests 25.1→42.1，是唯一同时提升 pass@1 与 pass@k 的无标签方法。

ExecCritic: Learn to Test, Test to Improve for Coding Agents 精读

Thu, 10 Sep 2026 00:00:00 +0000

同一个 Agent 轨迹既写补丁又写测试时，一个共同的误解会让’错误的补丁通过错误的测试’——执行反馈不但没用反而有害。ExecCritic 用 test–verify–revise 脚手架把测试构造与源码修复彻底解耦：Test agent 独立生成仓库原生测试，fail-closed harness 资格审查后冻结，Repair agent 只改源码。SWE-bench Verified 上，Qwen 自产测试把解决率从 61.2% 拖到 57.3%，GPT-5.6 测试提到 65.3%——测试质量决定反馈价值；角色专用 RL 把 Base-to-Gold 判别成功率从 22.2% 拉到 62.2%，两角色组合达 72.6%（+11.4）。本文精读拆解其解耦机制、fail-closed 语义与反馈可靠性的因果链。

FlowBalance：验证器锚定的自改进——把符号门控装进轨迹平衡精读

Wed, 09 Sep 2026 00:00:00 +0000

腾讯 HY LLM Frontier×UPenn 推出 FlowBalance：冻结的特权后见视角对已采样轨迹打密集分，验证器组相对优势用符号门控决定引导方向（正保留/负反转/零关闭），profiled trajectory balance 拟合归一化目标分布。Qwen3-8B 五基准平均 67.61 超 GRPO/OPSD/RLSD/FlowRL，AIME24 达标 100 步 vs GRPO 143 步，四条目标级定理精确刻画反自确认机制。

TGOPD：在策略蒸馏前先验证教师——提示级可靠性门控精读

Wed, 09 Sep 2026 00:00:00 +0000

AllSpark 团队推出 TGOPD：对每个提示用少量验证器打分的教师探针估计可靠性，通过门控路由密集 OPD 信号或验证器锚定的 GRPO。4B/35B 两尺度三域 6/6 设置全部超过 Vanilla OPD，35B LiveCodeBench 64.0（其他蒸馏方法全部负迁移），探针填充教师空闲算力使 GPU 利用率 9.8%→78.9%。

Bilevel Coordinated Reflection: 多智能体 LLM 系统的博弈论统一理论精读

Tue, 08 Sep 2026 00:00:00 +0000

UCL×利物浦×华为的 BCR 把 orchestrator–worker 多智能体系统建模为双层协调博弈，证明 follower 子游戏是近似势博弈，并首次给出’只看文本的门控不可能可靠’的信息论不可能性定理。据此提出的 SRMA 仅在环境验证风险严格下降时接受候选记忆，SWE-bench 500 实例解决率 72.2%（免费反思仅 58.4%）。本文精读其双层博弈建模、漂移分析、不可能性定理与 SWE-bench 端到端验证的完整因果链。

CoSkill: 把元技能变成可学习智能体 — 分层技能库的联合强化学习精读

Tue, 08 Sep 2026 00:00:00 +0000

中科院自动化所×人大的 CoSkill 把静态元技能工作流重构为可学习的 Meta-Skill Agent，与 Reasoning Agent 共享单骨干联合 RL：推理智能体条件于检索到的任务技能与子技能，任务表现反向指导元技能精炼。ALFWorld 98.4%（+3.5pp）、WebShop 90.6%（+6.2pp），样本效率与墙钟效率全面占优。本文精读’技能从被动对象到主动协作者’的范式转变。

Extremely Sparse Supervision: 0.05% 的 token 监督就能激励推理精读

Tue, 08 Sep 2026 00:00:00 +0000

Amazon×Duke 在 on-policy 蒸馏设定下发现反直觉现象：每条推理轨迹仅监督 1–2 个关键 token（占全部生成 token 的 0.05%）即可匹配甚至超越全 token 训练的推理激励，跨 9 组师生配置、PPO-RLVR 与 Llama 模型一致成立。本文精读这一’有效学习不需要 token 密集’的证据链及其对后训练范式的改写意义。

Iris: Climbing to the Search Frontier — 开源搜索智能体的数据反构造与 SFT-RL 攀爬配方精读

Tue, 08 Sep 2026 00:00:00 +0000

AllSpark 团队发布 Iris-mini/pro 两个开源搜索智能体（35B-A3B 与 397B-A17B）：从网页超链接实体图反向构造多跳任务，把非答案实体改写为描述性引用以杜绝字符串匹配作弊；提出 SFT-RL climbing 交替训练——每轮 RL 把最难与最高效轨迹回流进下一轮 SFT。BrowseComp 88.6 / HLE 56.4，同参数段开源最强。本文精读其’不可作弊任务合成’与’爬坡式两阶段循环’的完整配方。

RISE: 自外推策略蒸馏把 on-policy 蒸馏变成递归自我改进精读

Tue, 08 Sep 2026 00:00:00 +0000

RISE 从模型自身 RLVR 训练轨迹外推合成教师：以当前检查点与滑动锚点的位移放大（β>1）构造未来教师，在 logit 或权重空间实现，教师随学生每轮刷新。OLMo3-7B AIME'24 从 30.2 提至 46.9（+16.7），ALFWorld +9.4、WebShop +10.9 vs GRPO，OOD 不降反升。本文精读’教师从哪来’这一 OPD 根本问题的第一性解法及其递归改进机制。

What Does Multi-Harness RL Learn? — 评测 Harness 是 Agent RL 的主导变量精读

Tue, 08 Sep 2026 00:00:00 +0000

本论文在同一 Qwen3-8B 热启动上回放相同任务-harness 记录（Aider/OpenHands/Qwen Code/SWE-agent），对比 GRPO 的 Within/Cross 两种分组规则，用 24,000 次密封 SWE-bench Verified 评估发现：评测 harness 使解决率从 2.14% 摆到 9.27%（4.3 倍），训练配方仅移动 1.16，分组规则不显著（+0.25pp，CI 含 0）。harness 工程对 Agent RL 的影响碾压算法选择。

Rethinking On-Policy Distillation II: One Training Example 精读

Mon, 07 Sep 2026 00:00:00 +0000

on-policy 蒸馏到底需要多少数据？本文把实验推到’一条训练样本’的极限：单条查询即可驱动 OPD 持续改进数百步，覆盖全数据 OPD 71.5% 的状态空间；16 个语义多样查询覆盖 98.9% 并匹配全数据训练。提出状态覆盖率度量解释现象——OPD 是’数据过饱、算法饥饿’，瓶颈在步数效率而非数据规模。

DRACO 精读：没有验证器时，如何给长程 Agent 训练信号分步定责

Sun, 06 Sep 2026 00:00:00 +0000

DRACO（IBM×CMU）形式化’outcome-blind’训练设定——长程 Agent 任务往往没有程序化验证器可依赖。方法用训练中动态生成的 rubric 逐轨迹打一次分，再按’步骤涉及哪些标准’闭式分摊到每步 GRPO advantage，不引入任何可学习归因模块。AppWorld TN 上 Qwen3.6-27B TGC/SGC 69.4/41.1→85.3/70.6，反超偷看真值奖励的 GRPO +5.3/+11.3，τ-bench 零样本迁移 SR 15.8→20.4。

Locked at the Entrance 精读：RLVR 的多样性坍缩发生在推理的门口

Sun, 06 Sep 2026 00:00:00 +0000

RLVR 提升 pass@1 却坍缩解空间已是共识，但坍缩发生在哪一步始终未知。上海大学×伯明翰大学在 Countdown 任务上穷举解空间、按首操作数+算子划分入口族，把求解分解为 access×execution：PPO 覆盖 0.337→0.111，首算术操作前的似然偏移是下游的 11–16 倍，塞一个入口前缀就能让低覆盖族完成率 0.018→0.212——能力还在，只是不再进门。后层参数插值恢复 37% 覆盖且 pass@1 零损失。

When Models Edit Too Much 精读：编码 Agent 的过度编辑病与保真度评测轴

Sun, 06 Sep 2026 00:00:00 +0000

NUS 团队在 400 个 BigCodeBench 任务上注入受控 AST 损坏、构造已知最小补丁的评测框架，系统刻画 over-editing：GPT-5.5 高 Pass@1 与大改动并存，一行 bug 修出 60 行代码；一条保存指令把超额编辑距离 0.195→0.131、认知复杂度降 26.6%、Pass@1 反升 2.3；SFT 过拟合已见损坏模式，RL 达 0.782 OOD Pass@1 + 0.050 超额距离且不伤通用编码能力。

Environment Evolution 精读：让训练环境的难度离线进化

Sat, 05 Sep 2026 00:00:00 +0000

腾讯混元×港科大（广州）的 Environment Evolution 把环境难度演化从 on-policy 共进化中解耦：从多轮学习目标推导三个演化方向，用多 Agent harness 离线逐代提升环境难度，再由谱系调度器持续供给学习信号。Qwen3.6-27B/35B-A3B 经简单长程 RL 在 Terminal-Bench 2.1 分别提升 14.4/18.0 个百分点。本文基于全文阅读拆解演化方向推导与调度器设计。

Cliff: Learning Process Rewards from the First Mistake 精读

Fri, 04 Sep 2026 00:00:00 +0000

RLVR 用最终答案的对错给整条推理链打分，粒度太粗；PRM 要训练专用奖励模型，OPD 要求师生推理同构。Amazon Web Services 联合 UIUC 的 Cliff 给出过程监督的最小充分形式：只用现成 LLM 定位每个错误 rollout 的’第一个错误步’（Pitfall Step），把轨迹切成正确前缀与错误后缀，前缀正优势、后缀负优势。12 个场景上一致超越：比 On-Policy Distillation 高约 15%、比标准 GRPO 高约 7%，且弱教师（27B）下依然有效。本精读拆解’错误前缀之后无信息’这一核心洞察、token 级优势的构造细节，以及教师定位能力与人类标注 80% 一致率的验证实验。

Post-Training Language Models for Gold-Medal Performance in Coding Competitions 精读

Fri, 04 Sep 2026 00:00:00 +0000

在 IOI 2026 上，一个 AI 系统在与人类选手完全相同的比赛时间、提交限制和网络封锁下拿到 535.4/600 分，超过金牌线 174.3 分、超过人类最高分选手 37.1 分——据作者所知这是 AI 首次在 IOI 题集上超越人类冠军。NVIDIA 的这份技术报告完整拆解了达成路径：22000 道竞赛题策展、120 万条合成推理轨迹、SFT+RL 的分工实证、以及 GenCorrect 迭代修正策略。本精读重点解析该论文罕见的组件归因实验——SFT 贡献大头、RL 只打磨边界、测试时计算放大差距，以及’纯 SFT 的 Ultra 反超 SFT+RL 的 Nano’背后的并行采样机制。

S3Gym: Can LLMs Turn Self-Testing and Self-Judging into Self-Improvement? 精读

Fri, 04 Sep 2026 00:00:00 +0000

Agent 每天与环境交互积累海量轨迹，但经验真的变成了能力吗？ByteDance Seed 姊篇基准 S3Gym 把’自改进’拆成自测试、自判断、自改进三个可测环节，在 7 个可执行验证的文本游戏上比较三种经验注入通路：原始历史 ICL、摘要记忆、参数训练。7 个前沿模型的核心发现：自改进既不自动也不均匀——GPT-5.5 在 PvZ 上 History ICL 的 AUC⁺ 高达 548.5，换摘要记忆暴跌到 33.2；同一模型同一环境换个通路结果天差地别。本精读拆解宽松探索/严格评测的分离设计、自评分与环境真值的对照记录，以及’经验压缩可行性决定通路优劣’的机制规律。

DiagEvo: Diagnosis-Guided Self-Evolution via Hierarchical Error Memory 精读

Thu, 03 Sep 2026 00:00:00 +0000

港中深联合美团 LongCat 团队提出 DiagEvo：自进化自博弈中 solver 常平台化甚至衰退，现有方法靠难度/多样性信号出题却不指明’该修哪个弱点’。DiagEvo 的答案是分层错误记忆——4B 诊断器分析失败轨迹、按’错误原因→主题→实体’三层组织、定向采样未解决错误因生成新题，辅以双置信度过滤与自由探索。三个 solver（Qwen3-4B/8B、OctoThinker-8B）在九个基准上全胜 R-Zero/DARC 等基线；消融显示去掉分层错误记忆数学均值掉 3.8 分（最大组件贡献）。与 HarnessEvolve 同日揭示同一趋势：显式诊断信号优于隐式统计信号。

WHALE: A Simple Recipe for Joint Harness–Weight Optimization 精读

Thu, 03 Sep 2026 00:00:00 +0000

KRAFTON 联合 KAIST/Stanford 提出 WHALE（Weight-Harness Alternating LEarning）：把 agent 性能看作模型权重 θ 与可执行 harness 代码 h 的联合函数 J(θ,h)，交替执行’当前 harness 下在线拒绝采样微调’与’更新后模型上 Meta-Harness 搜索’两阶段，用固定时长或自适应 patience 规则切换。在 Qwen3.5-2B/4B × 搜索问答/数学/国际象棋三域上，比 weight-only、harness-only 与 Fast-Slow Training 高 4.15–24.38 个百分点，且揭示 harness-limited 与 weight-limited 两种机制不同的瓶颈域。这是首个把优化空间从’权重+文本提示’扩展到’权重+完整可执行 harness’的交替优化配方。

CAST: Critique-Aware Supervision for Training Reliable Long-Horizon Tool-Calling Agents 精读

Wed, 02 Sep 2026 00:00:00 +0000

亚利桑那州立大学与思科研究的 CAST 解决长程工具调用 Agent 的可靠性死穴：在电商退款、医疗分诊这类有状态环境中，一个错误动作（退错订单）就造成不可逆失败。CAST 把稀疏任务结果转化为动作级监督——合成解释’该动作在部分可观测下为何有效/无效’的结构化批评理由训练批评模型，再用批评模型构造数据优化策略模型。微调后的 Qwen3 系小模型在 Retail 任务可靠性超 GPT-OSS-120B 逾 10 个百分点，域外 Telehealth 再 +9%。

Does On-Policy Distillation Really Distill? From Noisy Teacher to Self-Improvement 精读

Wed, 02 Sep 2026 00:00:00 +0000

Purdue 团队对当下最火的 On-Policy Distillation（OPD）发起了一次釜底抽薪式的追问：教师监督噪声率高达 30%–50% 且随教师规模上升，学生却对噪声无感——这暗示 OPD 的增益根本不来自蒸馏。通过梯度分析定位到’低 logp token + 负优势’才是真正驱动力后，论文提出零监督的 OPSA（熵自适应负优势自改进），在 AIME24 上实现 263% 相对提升并反超标准 OPD 16.77 分。本精读覆盖其噪声测量实验、机制归因链条、OPSA 方法设计与完整实验证据。

PaperGym: Rubric-Centered Evolution for Research-Plan Generation 精读

Wed, 02 Sep 2026 00:00:00 +0000

浙江大学与 Apple 联合团队的 PaperGym 把’每篇论文’变成一个完整的 RL 训练环境：问题从研究目标+背景合成、评分准则（rubric）从方法+实验部分导出，从源头把准则泄漏率压到 3.7%（现有数据集为 11.9%–34.1%）。用 rubric 先当 OPSD 自教师的特权上下文、再当 GRPO 的奖励，Qwen3-8B 训练后在 ResearchQA 达 73.48 分超越更大的 Kimi K2.6。这项工作解决的是 AI 科学家落地的核心卡点——研究计划这类’没有可验证答案’的开放任务如何获得可靠的 RL 奖励。

AdaThinking-E: One-Token Entropy Regulation for Adaptive Thinking 精读

Mon, 31 Aug 2026 00:00:00 +0000

美团联合上海交大、中科院自动化所提出 AdaThinking-E，用一个 token 的熵调节教会文档理解多模态大模型自主决定何时深度思考。该方法把模式切换 token 与回答 token 分开优化，前者用熵奖励驱动从高熵探索到低熵决策的课程式过渡，后者只关心答案质量，从而避免了 GRPO/DAPO 训练中模式坍缩为全不思考的通病。在 8 个文档基准上，7B 模型以 27% 的思考率追平 SOTA 自适应思考模型 82% 思考率的效果，OCR-Reasoning 相对基座提升 10.8 个百分点，实现了该想才想、不该想不想的效率与精度兼得。

ContextPilot: Teaching Agents for Proactive Context Management via Fine-grained RL 精读

Mon, 31 Aug 2026 00:00:00 +0000

深度精读清华大学、腾讯优图实验室与上海AI Lab 合作的 ContextPilot：一个主动上下文管理框架。针对现有方法工具集贫乏（只有搜索/删除/摘要）、探索低效（上下文编辑动作影响悬殊却被均匀采样）、信用分配粗粒度（轨迹级奖励平摊给所有编辑动作）三大缺陷，它扩展出规划、长期记忆、软卸载三类工具，并用上下文变化量+熵变化识别关键编辑决策做分支采样（context-aware partial rollout），再用所有后续分支的平均回报估计动作级优势（细粒度信用分配，方差降为 1/n）。8B-RL 在四基准平均 69.40 超 StateLM-8B-RL 的 65.85；深搜任务上每轮输入 token 稳定在 8-10K（基线线性涨到 30K）；消融证明细粒度信用分配贡献最大且在全部基准一致提升。

HARTS: Efficient Agentic Reinforcement Learning for Hybrid-Attention Models over Arbitrary Rollout Trees 精读

Mon, 31 Aug 2026 00:00:00 +0000

深度精读蚂蚁集团的 HARTS 训练系统。Agentic RL 的 rollout 呈不规则树状、轨迹共享长前缀，逐轨迹独立训练重复计算共享前缀（实测冗余约 5.63 倍）；而现有树结构训练系统只支持全注意力模型。HARTS 首次在真实混合注意力模型（MLA+KDA 的 Ling-3.0-tiny）上实现任意 rollout 树的前缀共享：联合微批规划、线性时间的最少调用执行规划、可微状态交接与语义多重性恢复 RL/MoE 目标。实测前向/反向/梯度加速 4.81–4.87 倍，logit 余弦相似度大于 0.9997，在线训练奖励趋势与基线一致。

Neuro-symbolic PRM: Enhancing Scientific Reasoning via Structured Traces and Symbolic Verification 精读

Mon, 31 Aug 2026 00:00:00 +0000

工具增强 LLM 已经能消灭绝大多数计算与语法错误，但一个隐蔽的失败模式仍在：公式用对了变量却用错了——推理步语法完好、数学可执行、量纲一致，却完全脱离题意。本文提出 NS-PRM，把『推理正确』解耦为符号有效性 V 与语义接地性 G 两个维度：确定性符号验证器（JSON Schema 语法检查+数学等价+Pint 量纲分析，覆盖 128 个计算原语与 15 个逻辑原语）作为硬过滤器保证 V；PRM 只在验证器接受的空间上对 G 条件评分。训练侧引入反事实符号扰动 CSP，算法化生成『完美通过验证器但逻辑错误』的硬负例；推理侧采用验证器优先的约束 beam 搜索。最终 ProcessBench 平均 F1 达 74.2、PRMBench 77.3，均超 9 个 PRM 基线；同等算力下 beam 宽度近翻倍，MATH 零额外成本提升 4.5 个百分点。

Not Just Reason, Not Just Scan: Reinforcement Learning for Proactive Scientific Error Verification over Academic Paper 精读

Mon, 31 Aug 2026 00:00:00 +0000

深度精读北邮、北大与腾讯微信AI合作的 VERA-RL。论文研究’无预设问题、无预设证据’的全文科学错误检测：构建 Reason–Verify–Scan 三阶段课程链数据集 VERA-13K（12,900 样本、6 类错误），用 DAPO 算法与三维奖励（推理完整度+证据对齐+错误精确度）训练 Qwen3-VL-8B，Scan 综合分从 2.0 升至 19.5，超过 235B-Thinking 模型；消融证明单奖励训练会让 Scan 崩溃、纯 Scan 训练反而更差，三维奖励与混合课程缺一不可。

REPLICANT: Learning Policies for Evading and Hardening Malware Detectors 精读

Mon, 31 Aug 2026 00:00:00 +0000

伦敦国王学院、Alan Turing研究所、UCL、鲁汶大学等多机构联合提出REPLICANT，把Android恶意软件的问题空间逃逸从『逐样本优化』重构为『策略学习』：在严格label-only黑盒威胁模型下，用分层PPO学习改什么（能力选择）与何时查（查询时机），产出的策略可跨样本、跨检测器架构、跨特征空间迁移——全部1764个代理/目标组合平均ASR 78.8%，比最强基线相对提升20.9%-39.2%；策略迁移（78.8%）远超样本迁移（43.3%，相对+82%）。反哺防御侧，AT-REPLICANT靠随机策略训练全程收集多样对抗样本，使白盒REPLICANT与APG残余ASR压到17%以下，而AT-APG对REPLICANT_WB仍暴露62.4%漏洞；针对时间漂移提出的RAL把主动学习与对抗训练交织，同时保住性能（49.0）与鲁棒性（0.6%）。总计379,680次攻击评估为该领域迄今最大规模。

VICT: Verifier-Instrumented Credit Tracing for Long-Horizon LLM Agent Reinforcement Learning 精读

Mon, 31 Aug 2026 00:00:00 +0000

长时程智能体 RL 的核心难题是信用分配：稀疏的终端奖励被广播给轨迹里每个动作，成败的原因被抹掉了。现有方法从 rollout 侧构造代理信号（重复状态、轨迹图、语义邻近、事后复盘、分支采样）估计动作重要性，却把判定成败的验证器当成一个标量奖励丢掉了内部结构。清华大学、西安交通大学与嘉兴南湖大学提出 VICT，把程序化验证器拆解为可执行原子，通过写入/揭示/提交/违例四类见证谓词把原子回溯到具体动作，仅沿这些证明边重分配组相对优势。ALFWorld 93.7%、WebShop 严格成功 83.6%，消融排除了稠密原子奖励、仅提交信用、时间邻近等简单解释，且可与 rollout 侧方法叠加。本文按九部分结构精读其机制与证据。

WeAgent-MMSearch: Native Text-Vision Interaction for Multimodal Search Agents 精读

Mon, 31 Aug 2026 00:00:00 +0000

多模态搜索智能体常被环境拖后腿：许多搜索环境只把网页转成文本喂给模型，工具返回的图片直接丢弃，号称多模态的轨迹实际退化成纯文本推理；长时程交互中的超时、超长输出、格式错误还会污染 RL 训练信号。腾讯微信 AI 与中山大学提出 WeAgent-Harness，把检索图像注册为可寻址的持久状态并跨轮回灌，配合失败感知的 FA-GSPO 训练算法与可诊断『检索失败还是感知失败』的 VisTarget-Bench，基于 30B 模型在 8 个基准上取得 55.97% 平均分，媲美约 10 倍参数量的前沿模型。本文按九部分结构精读其动机、机制、证据与可迁移灵感。

WM-R1: Training GUI Agents to Reason and Leverage World Models with Reinforcement Learning 精读

Mon, 31 Aug 2026 00:00:00 +0000

用强化学习训练手机 GUI 智能体，为什么必须忍受昂贵的真实环境交互？华东师范大学提出的 WM-R1 给出了第一个完全相反的答案：把世界模型从推理时的辅助工具升级为训练环境本身。冻结的 Code2World-8B 世界模型生成全部状态转移，Agent 通过 GRPO 在纯模拟环境中学习；更关键的是 <call_wm> 机制把世界模型嵌进思维链，让 Agent 学会『提出候选动作—模拟后果—评估修正—再提交』的推理策略。AndroidWorld 上 WM-R1-7B 达到 39.8 的 SOTA（超 UI-R1 达 9 个百分点），OOD 平均提升 +16.0，训练全程零真实环境交互、单卡 11.2 小时完成。本精读拆解其训练框架、奖励设计与效果根源。

J-Zero: Unified Challenger-Solver-Judge Co-Evolution from Zero Data 精读

Sat, 29 Aug 2026 00:00:00 +0000

自进化大模型在可验证领域已有成熟方案，但在没有标准答案的开放域，学习信号只能来自打分模型，而固定的Judge只能把Solver推到自己内化偏好的上限，饱和后奖励失去区分度。J-Zero让Challenger、Solver、Judge三者零数据共同进化：出题者与解题者通过GRPO对抗博弈，Judge依靠角色不对称与子任务放大两类结构性偏好对做Bradley-Terry更新，标签由构造方式先验决定而非Judge打分，避免自我强化偏差。Qwen3-4B上可验证域提升9.47分、不可验证域提升11.23分，超越R-Zero 4.74分，并持续改进十个迭代而baseline两迭代后退化。本文按九部分结构精读其动机、机制、实验证据与可迁移灵感。

SpeechGym: An Audio-Native Gym for Training Voice Agents via Reinforcement Learning 精读

Sat, 29 Aug 2026 00:00:00 +0000

语音 Agent 必须完全通过语音完成工具调用与多轮对话，主流范式却在文本中训练。SpeechGym 在未修改的 τ²-bench 之上构建首个音频原生、多轮工具调用、可端到端 RL 训练的语音 Agent 环境：两个 Qwen3-Omni-30B 全模态模型以原生语音直接对话，工具接口保持文本以分离感知与行为错误。诊断发现文本到语音的落差主要源于感知缺陷——槽值误听率 32%，为文本通道的 16 倍；per-turn 过程奖励把携带梯度的组比例从 16% 提至 99.6%，破解 outcome-only GRPO 的梯度饥饿。训练后零调参迁移到独立实现的 τ-Voice 基准，pass@1 从 24% 升至 53%，开源 30B 模型升至排行榜第二、超过 GPT-Realtime-2，且轮数与 token 同步下降。

Boosting LLM Exploration via Weak-Model Guidance in RLVR 精读

Fri, 28 Aug 2026 00:00:00 +0000

RLVR 训练有个广为人知的暗面：策略熵不断下降、模型越来越自信，大 K 值的 pass@k 甚至不如训练前的 base 模型。现有解法（熵正则、梯度校准、奖励设计）都在目标模型自身内部做文章。北京大学王选所这篇论文走了一条反直觉的路：让一个 2B 小模型先生成部分推理前缀，再让目标大模型接着写完——而且小模型的前缀大多质量堪忧（多数『无实质指导』甚至『误导』），收益恰恰来自这种『不熟悉』而非『正确』。方法极简：按熵最大落差点截断前缀、以 20% 概率混合进 GRPO 训练，pass@128 即从 67.76 恢复到 70.71（接近 base 的 72.15）。同源的 Qwen 小模型前缀质量更高却毫无增益——因为分布太像自己、扰动不足。『有用的前缀不必是最正确的前缀』，这是本文最干净的洞察。

Consolidating RLVR Capabilities Across Domains: A Deep Dive into Fusion Paradigms 精读

Fri, 28 Aug 2026 00:00:00 +0000

用 RLVR（可验证奖励的强化学习）训练出的领域专家各有绝活：数学专家、代码专家、指令跟随专家……但实际部署总不能带上五个模型。这篇复旦大学与腾讯 LLM 部门合作的论文，把三种把多域能力融合进单模型的范式放进同一实验框架对比：Merge（合并任务向量，零训练成本）、Mix RL（混合数据重训一遍）、MOPD（多师在线蒸馏，兼用两者）。结论出人意料地均衡：三范式平均分差不超过 1.4 分，但单个基准差距可达 8.6 分，且域级得失完全由「域之间的关系」决定——数学/科学/代码的任务向量方向相近、互相正迁移，指令跟随与 Agent 则与其它域近正交。更有意思的是，三种融合都只是『把已有的解重新加权』而非扩大解题覆盖：pass@32 时三者与 base 模型已不可区分。本文精读其实验设计、任务向量几何分析与范式选择指南。

TTPO: Test-Time Policy Optimization 精读

Fri, 28 Aug 2026 00:00:00 +0000

没有标签也能在测试题上直接训练模型？浙大与阿里的 TTPO 给出了一个干净的不对称方案：多数投票选出伪标签后，同意的 rollout 走蒸馏分支（OPSD 前向 KL + 降权已收敛 token），不同意的走 GRPO 惩罚分支（只罚高置信错误 token）。核心洞察是一个反直觉的数据事实——竞赛题上伪标签约 85% 是错的，但不同意它的 rollout 约 79% 本身也是错的，所以「惩罚不一致」不需要伪标签正确，而蒸馏会逐 token 放大标签错误。无标签 TTPO 在五个竞赛级基准上追平甚至超过用真标签的 OPSD，Qwen3-1.7B 从 38.0% 提到 45.2%，4B 版本达到 8B base 水平。本文精读其不对称目标设计与自进化机制。

Understanding Evolution Strategies for LLM Reasoning: Broader Reasoning Coverage than GRPO 精读

Fri, 28 Aug 2026 00:00:00 +0000

进化策略（ES）一直被视为 GRPO 的『省显存平替』——不用反向传播、显存开销低，但性能似乎差一截。这篇来自南方科技大学、华为诺亚方舟实验室等机构的论文系统性地推翻了这个刻板印象：理论上证明 ES 种群内 verifier 投影的 Jensen–Shannon 多样性直接利好 Pass@K；实证上发现 GRPO 在 18 组对比中 15 组 Pass@16/32 低于 base 模型，而 ES 全面高于 base。更有趣的是 ES→GRPO 顺序训练同时拿下最高 Pass@1 与最高 Pass@32。论文还发现 ES 参数漂移是 GRPO 的 40 多倍，但抹掉 93% 的小幅更新后性能几乎不变——大漂移不等于灾难性遗忘。本文精读其理论框架、实验证据与 ES 作为独立后训练范式的定位。

AWM: Answerable Working Memory for Long-Document VQA Agents 精读