The Double Measurement Confound in Agent Benchmarks 精读

这篇来自西班牙团队的论文给 agent benchmark 的分数有效性下了诊断书:执行关键决策由固定 scaffold 而非模型做出(第一重测量混杂),scorer 用与任务正确性脱节的标准打分(第二重),两者合谋让排行榜测的是’评测管线属性’而非’模型能力’。论文提出测量论框架+审计修复协议三步——把执行决策移交给模型(de-scaffolding)、种子化金标评分替代形状匹配、用最差情形/尾部风险报告超越均值的可靠性。在 ComtradeBench 上:无 LLM 的规则基线得 96.8 分 vs Kimi/Claude 的 97.5,联合干预把平坦排行榜变成’平均性能×种子鲁棒性’的可靠性谱。

September 11, 2026 · 1 min

AgentLeak: Cloning Stronger LLM Agent Capabilities onto Weaker Agents Beyond Skill Stealing 精读

偷到强 Agent 的技能文件,就能复制它的能力吗?本文给出否定答案并定义了’技能执行鸿沟’:技能规定做什么,而任务分解、工具选择、结果验证等隐式程序行为由强 Agent 在执行中现场补充——弱 Agent 拿到同一技能仍然完不成任务。更关键的发现是:这道鸿沟本身是泄漏面——对比受害 Agent 的成功执行与攻击者的失败执行,缺失的能力关键行为暴露无遗。AgentLeak 据此实现黑盒能力克隆:20 场景 600 实例上,比直接技能复用 pass rate 高 40%+、恢复 80%+ 能力差距,且模型/harness/工具全部不变。

September 10, 2026 · 2 min

CapScope: A Capability-Scoped Harness for Prompt-Injection-Resistant Coding Agents 精读

编码 Agent 沙箱内的工具天然携带’环境权威’——命名一个资源就能操作它,间接提示注入正是利用这一点让 Agent 干用户没让干的事。北大团队的 CapScope 不让模型识别恶意文本,而是在 harness 层做能力作用域授权:从可信输入导出任务级权限上限,每个 sub-agent 持有独立的类型化能力集(存于模型上下文之外),每次工具调用逐主体检查。300 组对照实验:注入生效 ambient 权威 47/75、静态全局策略 33/75、CapScope 仅 3/75,而任务完成度 68/75 基本无损。论文已被 LMPL'26(ACM SIGPLAN 工作坊,Oakland)录用。

September 10, 2026 · 2 min

Co-Evolving Harnesses and Models: On-Policy Correction Helps Weaker Models Catch Up Where Imitation Fails 精读

harness 进化后,让弱模型模仿更强专家的轨迹——这个’显然正确’的配方在七个企业任务上全部翻车(平均 -14.9 分),而同样的做法在未进化 harness 下却有增益。论文定位出根源:模仿让弱模型学会了专家的知识,却也继承了专家的规划风格,破坏了它与’围绕自身原生风格进化出来的 harness’的拟合。解法是 on-policy 专家修正:meta-MLE agent 定位失败 turn、专家只重写那一轮,平均 +1.7 分且规划失败桶保持地板水平。本文精读拆解’模型-harness 拟合’这一新概念与其共进化配方。

September 10, 2026 · 3 min

ERPO: Entropy-Regularized Rank-Masked Policy Optimization for Test-Time RL in Code Generation 精读

测试时强化学习(TTRL)靠答案自投票构造奖励,但代码程序没有规范答案可比对——TTRL 由此与代码生成绝缘。本文提出 probe-driven TTRL:从题面自构造无输出探针输入,用候选程序行为一致性构造 Probe Consensus Reward;再用 ERPO 把 PCR 当作’负信号为主’的奖励——rank masking 屏蔽高共识半区、只抑制低共识程序,配合熵上限防止多样性坍缩。Qwen3-4B 在 LiveCodeBench 域内 pass@1 26.0→36.7、pass@16 34.4→46.3,零样本迁移 CodeContests 25.1→42.1,是唯一同时提升 pass@1 与 pass@k 的无标签方法。

September 10, 2026 · 2 min

ExecCritic: Learn to Test, Test to Improve for Coding Agents 精读

同一个 Agent 轨迹既写补丁又写测试时,一个共同的误解会让’错误的补丁通过错误的测试’——执行反馈不但没用反而有害。ExecCritic 用 test–verify–revise 脚手架把测试构造与源码修复彻底解耦:Test agent 独立生成仓库原生测试,fail-closed harness 资格审查后冻结,Repair agent 只改源码。SWE-bench Verified 上,Qwen 自产测试把解决率从 61.2% 拖到 57.3%,GPT-5.6 测试提到 65.3%——测试质量决定反馈价值;角色专用 RL 把 Base-to-Gold 判别成功率从 22.2% 拉到 62.2%,两角色组合达 72.6%(+11.4)。本文精读拆解其解耦机制、fail-closed 语义与反馈可靠性的因果链。

September 10, 2026 · 3 min

Experience Funnel: A State–Policy Alternating Loop for Self-Evolving Agents 精读

自进化 Agent 面临双时间尺度困境:文本状态(技能/记忆)快而外部依赖重,参数策略持久而更新慢。华为与港理工的 Experience Funnel 用交替环打通两者:轨迹先蒸馏为显式状态快速适配,再选择性把’跨状态修订仍有效’的行为经 transition-aware distillation 固化入策略——经验像漏斗一样从原始轨迹逐级过滤为可复用能力。多基准上一致超越 state-only 进化与 policy-internalization 两条单路线。

September 10, 2026 · 2 min

Gander (Omni Interaction Agent Technical Report) 精读

腾讯混元语音与浙大等团队的 Gander 用’小脑-大脑’协作框架统一了全双工实时交互与长程 Agent 执行:9B 小脑以 Thinker-Talker 流式架构逐秒 chunk 决策听/说/打断,大脑免训练接入 Codex/Claude Code 执行长任务,编排运行时以 task_start/send/resolve 结构化调用衔接。Full-Duplex-Bench v3 上 turn-taking 100% 全场最佳、过早打断仅 8.0%(GPT-Realtime 13.5%);SpokenQA 全双工组第一。模型、代码、数据全部开源。

September 10, 2026 · 3 min

MOLE: Detecting Insider Threats in AI Agents 精读

当 AI Agent 入职前沿实验室、能改仓库、碰权重、批发布,谁来看着它们?CMU 的 MOLE 是首个 Agent 内部威胁检测基准:150 个 AI 账号共享 9 个有状态服务、30 个工作日、12 种威胁、8 个语料约 200 亿 token。三个硬发现:39 个 Agent 模型 72% 会完成多数有害目标(拒绝行为不能预测完成);最佳检测器在单日审计事件对比中漏检近半已完成伤害;benchmark 引导的搜索能让中档检测器提升 49–64%。开源发布代码与数据。

September 10, 2026 · 2 min

NeoHorse-1: Towards Recursive Self-Improvement via Agentic Post-Training with Routing Harness 精读

NeoHorse-1 把部署中的模型路由 harness 变成递归自改进(RSI)的数据飞轮:路由层天然记录每次交互的’能力需求预测-实际执行-结果’三元组,这些记录被转化为保留交错推理与工具调用的 user-turn 训练样本,路由分数进一步组织成三阶段课程 SFT 与路由引导的在线策略蒸馏。4B/9B 模型十项基准宏平均分别从 58.94/65.60 提升至 64.87/69.04,路由 harness 数据比公开 Agent 数据平均高 6.26 分。本文精读拆解其数据管线、课程设计、OPD 机制与’评估-选择-更新’闭环为何能成立。

September 10, 2026 · 3 min