Can Agent Memory Systems Track Evolving State? StateMemBench 精读

LLM Agent 走向跨会话长程任务后,记忆系统能否跟上不断被修订的世界状态?UIUC Jiawei Han 组把「状态追踪」从「事实回忆」中剥离:答案必须反映当前状态而非被取代的旧状态。论文先证明「状态漂移」在检索完美时仍是最大失败源,再发布 StateMemBench——234 个多会话场景、闭集三分评分,把漂移答案显式放入干扰池;随后提出显式追踪取代与依赖的 StateMem,在 DeepSeek-V4-Flash 上把准确率从 0.205 提到 0.363(1.8 倍),并以单次调用 Wrapper 给六个记忆后端带来 +32 到 +67 点提升。精读覆盖定义、构造、机制与根源解释。

August 23, 2026 · 7 min

Credit Without Ground Truth: 步级信用分配的执行回放审计 精读

USC 单作者论文用「执行回放」为 LLM Agent 的步级信用信号建立因果真值:在每个决策点重采样策略自身支持的动作并前滚,度量结局分布的实际改变。审计结论是全面否定——LLM judge 分数、结果条件化 logprob 比、策略自身置信度识别因果关键步骤均不优于随机;implicit 信用实为策略流畅度的回声(秩相关 +0.75),结果条件化不增加任何因果信息(偏相关 -0.004);七臂预注册训练实验中无一臂可靠超过未训练策略,表面差异全由训练剂量解释。本文精读其仪器设计、否定性证据链、剂量匹配协议与完整性分类学,并讨论它对整个步级信用分配赛道的冲击。

August 23, 2026 · 7 min

MidTool: 面向Agent工具使用的中期训练数据合成 精读

工具使用是 LLM Agent 的核心能力,但此前几乎全靠后训练习得。MidTool(华盛顿大学 + Snowflake + UNC,工作完成于 Snowflake 实习)提出首个面向通用工具使用的开放中期训练语料管线:从网页、PDF、代码、真实 API 与 MCP 技能四类源出发,经「上下文接地增广」与「原生 Agent 轨迹合成」两条分支构建 20.3B token 的 MidTool-Mix,中期训练 Qwen3-4B/8B-Base 后再统一 SFT+RL。在 BFCL、τ²-Bench、MCP Universe 三基准上,两种后训练配方下均一致超过 SFT-only 基线,RL 通常进一步放大增益,MCP-Universe 上 4B/8B 全面超过 Qwen3 官方同尺寸模型。本精读覆盖背景、定位、问题抽象、管线解法、实验证据、机制因果链、必要知识反推与可迁移灵感。

August 23, 2026 · 6 min

MileGPO: 里程碑推断的长程Agent过程级信用分配 精读

北交大团队提出 MileGPO,针对长程 LLM Agent 训练中最棘手的过程级信用分配问题:GraphGPO 等图方法按最短路径距离赋信用,只能刻画「可达性」而非「可靠进展」。MileGPO 从同一 rollout 图中挖出三类被忽视的信号——成功轨迹的候选里程碑、失败轨迹的反复陷阱、同状态兄弟分支对比——经可靠性加权塑形 RCS 与进度对比校准 PCC 两级校准后注入优势估计。ALFWorld 整体成功率 94.60,超 GraphGPO 3.13 点、超 GiGPO 4.43 点;ID–OOD 差距仅 1.69 点;WebShop 同状态平局率达 72.7%,图上 83.0% 的平局可被 RCS 纠正。全程零辅助模型、零额外环境交互,本精读重点拆解「共享状态覆盖率相同、歧义结构决定增益」的机制因果链。

August 23, 2026 · 5 min

One Success Isn't Reliability: Thinkingbox 沙盒与基准 精读

微软联合匹兹堡大学、西北大学、UC Irvine 发布 THINKINGBOX 沙盒与 THINKINGBOX-BENCH 基准:507 个政策条件化的有状态业务工作流,覆盖零售、酒店、车险、新银行 IT 与咨询 IT/HR 五域,用隔离的 MCP 工具会话、模拟用户与终端后端状态检查评测 Agent。最强模型 GPT-5.4 pass@1 仅 65.36%,pass@20 高达 91.12% 但 20 次全过的 pass^20 仅 25.25%,暴露「偶尔成功」与「可靠完成」之间的巨大鸿沟;79,853 次失败试验中 80.88% 干净终止且含写操作,证明响应级/调用级信号无法代理端到端完成。本精读覆盖其 POMDP 形式化、评测协议、失败归因与可靠性根源分析。

August 23, 2026 · 7 min

Optimal Skill Selection for LLM Agents with Provable Bicriteria Guarantees 精读

当 Agent 技能库膨胀到成千上万份文档,往上下文装哪几份技能直接决定任务成败与 token 账单。清华交叉信息研究院 Longbo Huang 组首次把「技能选择」形式化为硬 token 预算下最大化「单调次模收益减线性上下文惩罚」,并提出多项式算法 BPS,证明该问题首个双准则(1−1/e, 1)近似保证,收益系数多项式时间最优。目标函数从执行记录拟合,拟合误差可证转移到有界选择regret。在污染受控 BigCodeBench 变体上,BPS 达 0.73 实测成功率,对已发布路由器、检索器与执行器自选的 0.20–0.52 全面胜出,且比最强路由器省 28% token。本精读拆解其形式化、BPS 算法、预算对齐插值证明,以及「上下文价值是集合级而非单体可打分」的核心洞察。

August 23, 2026 · 6 min

Task-CoEvolve: Efficient Harness Optimization via Adaptive Validation Task Selection 精读

东京大学团队提出Task-CoEvolve,让验证任务集与harness共进化:用方差加权采样把评估预算聚焦在候选harness分歧最大的能力前沿任务上,再用Horvitz-Thompson/Hájek类估计器从采样子集无偏还原全量分数。在Terminal-Bench 2.1上仅用20%预算就逼近全量搜索(均值51.7 vs 52.8),整体搜索成本降67-80%;文本分类7%预算接近全量、20%预算反超。本精读覆盖背景、定位、方法机制、实验证据、效果根源因果链、必要知识反推与通用灵感九个部分。

August 23, 2026 · 6 min

AI4AI-Bench: Benchmarking LLM Agents in Algorithmic Design for Recursive Self-Improvement 精读

深度精读 Einsia.AI 与清华大学 2026 年 8 月提出的 AI4AI-Bench:首个隔离测量 LLM Agent 训练算法设计能力的基准。10 个冻结研究仓库、单块 B300 四小时改写、十二小时从零重跑、0/0.1/1.0 三锚点统一量表,29 个配置平均仅 0.166、最佳 0.250——最强系统连’已有算法到最优’距离的五分之一都没走完;而推理预算买到的主要是’敢去改’的意愿,参与率从 8% 提升到 64%。

August 22, 2026 · 3 min

SWE-bench Science: Can Coding Agents Resolve Engineering Tasks in Science? 精读

上海创新研究院与复旦大学联合发布 SWE-bench Science:覆盖 20 个科学领域、98 个真实仓库的 119 个任务,以 Issue 驱动、专家探索、工程集成三种范式考察 coding agent 在科学软件上的真实修复能力,并用隐藏预言机与反校准协议狙击伪修复。结果所有最强 agent 的 Pass@1 均不足 50%,四类失败机制归因与科学信息双向消融揭示了科学知识与代码推理交织处的深层瓶颈。

August 22, 2026 · 3 min

ASI-Bench: At the Dawn of Artificial Superintelligence 精读

清华联合MIT、哈佛、CMU等13机构40余位专家、投入31000+工时构建ASI-Bench——首个联合评估AI创新探索与自主科研能力的基准。核心设计是在同一研究项目内渐进撤除人类方法学指导:B1给完整方法、B2只给方法名、B3需自主定方法、B4加干扰。18个agent×模型配置的评估揭示了关键瓶颈:平均分从B1的50.91骤降至B2的29.10(-21.82),而B2到B3仅再降2.48——瓶颈不在选方法而在把方法变成完整可执行研究流程的方法操作化。

August 20, 2026 · 2 min