XConf(Confidence Comes from Experience)与 Not All Agents Are Equal 精读:Agent 可信性的两翼

本篇合并精读两篇互补的 Agent 可信性研究:剑桥×Google DeepMind 的 XConf 提出『置信度不该只看当前推理,还要检索自身历史经验』——Recall 相似任务的过往胜率、Reflect 命名复发失败模式后重述置信度,以 1/10 成本在 24 组对比中 23 组追平/超越 10-sample 自一致性,弃答最不确定 10% 换来 Agent 成功率最高 +8.7 分;德州理工的 Not All Agents Are Equal 则用 37,623 个溯源 PR 首次大规模量化『AI 编码 Agent 的代码落地后发生了什么』——Codex 的 revert 率只有人类一半、Devin 反而更高,质量差异是厂商特定的而非『AI 代码更差』的笼统印象。

September 18, 2026 · 3 min

After the Party: Growth, Governance, and Security Scanning in the OpenClaw Agent Skill Ecosystem 精读

OpenClaw 技能注册表 91 天近翻倍(33,399→65,175)后热潮退去,留下什么治理遗产?Monash 大学的三快照纵向研究给出冷峻答案:下载量 Top10% 占 46.93%(Gini 0.528);77.86% 的 skill 零星标零评论,但 85.06% 携带特权证据(shell 执行 58.08%)——4.2 万个零审查特权工件;7 个基线元数据关联在 pre-cutoff 队列 0/7 存活、下载量关联符号反转;三大安全扫描器对 23,702 个 skill 互相分歧,人工裁决参考标准下灵敏度仅 21.67%-61.06%。‘派对之后,账单由治理信号从未被验证过的注册表支付’——Goodhart 定律的 skill 生态版。

September 17, 2026 · 2 min

Agentic Societies Need a Social Harness 精读

当不同主人的 AI 智能体开始自主协作,会发生什么?华盛顿大学的系统实验给出冷峻答案:即使全部诚实的 agent 也会因上下文分裂与信道争用大量失败(7 人群组排程成功率最低 0%),恶意 agent 凭’言论’即可让欺骗攻击 100% 成功、日历侧信道 100% 泄露。论文提出五层 Social Harness 协议栈(身份→有序通信→个人防火墙→协作规范→社会机构),把人类社会协作的制度智慧移植为 agent 社会基础设施。本精读覆盖’诚实 agent 也失败’的失败解剖与’协议栈防类别性失败’的设计哲学。

September 17, 2026 · 3 min

Coding Agents Have Converged: Why the SWE-bench Leaderboard Can No Longer Order Its Top Entries 精读

SWE-bench Verified 榜首之争还是能力之争吗?对 254 个公开提交的逐实例审计给出否定答案:Top10 系统 500 题中 285 题全对、51 题全错,仅 164 题有区分力;29 对相邻排名精确 McNemar 检验 0 对可分;同模型换 scaffold 分差可达 29.8pp 而前十总差距仅 8.8pp。论文提出 n_eff 有效规模、对基线嵌套系数两个新构造,证明’解集嵌套’是分辨率丧失的机制,并给出五步审计协议与修复方案(报 n_eff、记录 model×scaffold、发布 tier、按不一致预算纳新题)——对一切正在构建内部评测选型基准的团队有直接方法论价值。

September 17, 2026 · 3 min

Continual Learning Mechanisms Compose for Long-Horizon Memorization 精读

让模型依次学 100 个知识任务且不留旧例、不给任务 ID——‘长程记忆化’设定下,任何单一持续学习机制都崩盘(保留率普遍个位数)。Johns Hopkins 的系统学研究证明机制要’组合’:锚点类型(data 复演/function 蒸馏/权重正则——保留什么)×低秩分配(merged LoRA——保留在哪)两维设计,任务级逐次减半搜索组合空间+因子实验量化交互。最优组合(三锚点+merged LoRA)把最终保留率从 1.2% 拉到 34.9%(28 倍),且 data 锚点×merged LoRA 在三个数据集上一致超可加——遗忘来源互补,组合解决结构问题。HF 日榜 281 赞当日第一。

September 17, 2026 · 2 min

ExecuCritic × AgentGuard × RepoAtlas × Protocol Trimming 精读:编码智能体可靠性四重奏

四篇互补的 coding agent 可靠性研究合读:Intel×北大的 ExecuCritic 给 RLVR 加’校准 critic 塑形’——ρK 秩相关门控让 critic 失准自动坍缩,SWE-bench Lite +3.7pp 且 sandbox 执行省 42%;York 的 AgentGuard 从 642 条异常轨迹自动学条件激活护栏,异常执行率 69.0%→26.7%(代价:过度拒绝 19.3%);北航 RepoAtlas 用 select-project-refresh 演化多模态仓库视图,三 VLM 一致 +2.4pp 且 token -5.8%;Intuit 工程报告量化协议保持裁剪——常规裁剪成功率 66.6-77.3% vs 协议感知 92.2%/自适应护栏 96.0%,临界阈值随复杂度上移。合读视角:可靠 coding agent 的四层防线——训练时(奖励塑形)、执行时(护栏)、探索时(上下文视图)、压缩时(协议保持)。

September 17, 2026 · 3 min

Mo' Models, Mo' Problems × Co-Skill 精读:多智能体选型与边云技能演化双视角

两篇互补的 multi-agent 工程研究:NVIDIA×哥本哈根的 Mo’ Models 用 23 模型×3 科学基准证明 MAS 模型池’加模型常降性能’——oracle 潜力与实际达成存在鸿沟、同族池是唯一稳定正收益、准确模型解集高度嵌套(rM=0.931);哈工大的 Co-Skill 诊断边云 skill 演化的’盲通信’根因(上传 token 25-42% 是重复前缀),用前缀合并轨迹 trie+渐进 skill 树双向解盲,token 省 15.6-41.9%、成功率提升 25.8-76.4%。合读视角:多 agent 系统的两个新瓶颈——选谁进队(异构组合的聚合噪声)与怎么通信(协作双方的信息结构)。

September 17, 2026 · 2 min

OPEN-1B: A Fully Auditable Training Run 精读

开源 LLM 即使放出全部数据与配方,也因浮点非结合性无法逐位复现——你无法验证发布的 checkpoint 真是声明的配方训出来的。Gensyn 的 OPEN-1B 定义第四层透明度’完全可审计’:RepOps 跨硬件逐位复现算子(固定规约序、统一 FMA/次正规数约定、计数器式 RNG)、拓扑不变数据流(token 流=种子的纯函数)、确定性 butterfly all-reduce,多审计者各验若干步拼出全程、整跑收敛为单一哈希。代价是 MFU 从一个数量级掉到 5%——可验证性与速度的明码标价,以及首个该层级的开源 LLM 全套产物。

September 17, 2026 · 2 min

ScienceBuddy: Recursive-in-Recursive Self-Improvement for Interactive Scientific Agents 精读

ScienceBuddy 把’与研究者聊天’变成模型-线束双改进的燃料:研究者交互免费产出任务定义与评估 rubric,内层递归固定模型演化 harness(有界编辑+成对回归检查),外层递归固定 harness 做 rubric 奖励 GRPO——三周期后科学任务准确率 42.2%→73.3%,纯 harness 演化即可 +20pp(权重冻结),纯模型 RL 覆盖率 +19.5pp。Recursive-in-Recursive 范式为 RSI 提供了’两条改进通道各自可评估、互为条件’的工程化路径,并作为可下载的科研产品发布。

September 17, 2026 · 3 min

Spurious Tool Use: When RL Agents Learn the Wrong Reason to Act 精读

RL 训练的 agent 调用工具的理由可能是错的:UW+UCSD+Stanford 团队构造受控环境注入与工具强相关但因果无关的线索,发现反事实评估下伪工具调用率最高暴涨 +39.2%——而且捷径只在 agent 已可靠掌握该工具时形成(任务能力是捷径的前提)、语义对齐线索放大效应(对齐 +39.2% vs 交换 ≤3.5%)。反直觉结论:提升能力的 RL 同时放大捷径易感性,标准任务奖励不足以产生鲁棒工具策略;LLM 裁判的’工具必要性’密集奖励可有效压制且不损准确率。

September 17, 2026 · 2 min