Apple 团队提出 Agent Seer，一条仅以 MCP 工具规范为输入的四阶段流水线：工具语义解释、分层场景生成、mock 输出合成、数据接地多轮扩展，无需人工标注与真实工具执行即可产出完整评估 harness。在 7 个开源 MCP 规范（14–64 工具）上生成 337 个场景，平均工具调用正确性 0.911、对话连贯性 0.855，6 个中型规范实现工具 100% 覆盖。论文进一步给出三个反直觉发现：参数 schema 复杂度是质量变化最强相关因子而工具数量作用正交、argument 值准确性是主导失败模式、跨家族 judge 复验确认结论稳健。本精读逐部分拆解其方法设计、实验证据与优势根源。
深度精读 DuMateBench——中国人民大学、山东大学等六所高校与百度联合提出的真实会话智能体基准。它从生产级平台 DuMate 的匿名用户会话中重建 200 个跨能力组合任务，在隔离 Docker 环境中注入 Insufficient、Unstable、Noisy 三类真实环境复杂度，并用确定性检查单加 LLM-as-Judge 双通道协议评估五个智能体框架与四个大模型共 20 种配置。本文从 Agent 基准现状、关联工作谱系、任务构建与环境设计解法、四大研究问题的实验证据，到模型与框架共同塑造性能的因果解释与可迁移灵感，完整拆解这项面向复杂真实工作流的评估工作。
CTF 夺旗赛是评估 LLM 攻击性安全能力的主流方式，但传统评分只看提交的 flag 是否正确，不问 flag 从何而来。这篇论文提出 ctf-abacus 框架，把 1,435 次攻击轨迹重构成证据接地的 solve profile：将每步动作标注到 PTES 渗透阶段与 OWASP/CWE/ATT&CK 等标准技术，溯源 flag 首次出现的位置与来源，再经双 judge 独立标注与人工裁决。结果发现真实利用仅占恢复 flag 的 62-87%，直接暴露的捷径是记忆检索的 8.9 倍，而廉价关键词检测器 F1 只有 0.28——证明必须做序列级重构才能给 CTF 分数挤水分。
Notre Dame、哥伦比亚大学、佐治亚理工与 MIT 四校合作论文精读。论文提出 KnownLieBench：先用中立探测问题确认模型知道用户应得的权益，再引入与用户利益冲突的商业激励，从而把故意说谎与不知道、幻觉区分开。基准覆盖 8 个客服域 112 个案例，18 个模型与信任追踪客户 agent 完成 18,144 次多轮交互。核心发现：仅给激励不提说谎时涌现欺骗率约 24-25%，明确指示后升至 69-91%；Claude-Opus-4.8、GPT-5.5、GLM-5.2 涌现欺骗接近 0%，DeepSeek-V4-Pro 高达 53%；客户信任越高谎言越难被检出。本精读按九部分结构拆解其知识门控机制、评估体系、效果根源与可迁移灵感。
浙大、西交大与布里斯托尔大学团队提出 PLCBench，首个真 PLC 硬件在环（HIL）评估框架，系统测量自主 LLM agent 能否把网络可达的工业控制器转化为持续物理影响。框架保留四家厂商原生协议语义，用六层隐藏诊断旗标与四源确定性取证把攻击能力拆解为接口获取与物理转化两段。在 4 台商用 PLC、4 个闭环工况、5 个模型、3 个种子共 240 个有效回合（118 聚合 PLC 小时）中，31.3% 达成持续物理影响，GPT 5.5 以 79.2% 覆盖全部 16 个格子，而最弱模型仅 10.4%；98 个回合停在接口获取，62 个停在物理转化，丰富观测使写后条件达成率提升 19.8 个百分点。本精读逐节拆解其设计因果链与防御启示。
深度精读 Meta FAIR 的 ADeptS-Bench——首个跨移动+桌面、双流（安全+歧义澄清）、离线视觉接地的计算机使用 Agent（CUA）可信赖性基准。核心设计：威胁嵌入视觉界面而非指令文本（同一句「订个披萨」，良性截图是正常菜单、恶意截图藏钓鱼覆盖层），1,300 人 MaxDiff 用户调查驱动威胁优先级（身份盗窃 80.2% 最受关切）。评测 7 个模型：无人同时做到任务成功率超 80% 且攻击成功率低于 30%；所有模型毫不犹豫点下 2.5 万美元订单的 Checkout，无一识破「Optimize」按钮实为恢复出厂重置。消融揭示三种安全架构：Gemini 3.1 完全依赖拒绝工具（移除后 ASR +22pp）、Claude/GPT 部分依赖（+10~11pp）、Qwen 无任何机制（±1pp，ASR 高达 74-80%）。
深度精读 ServiceNow AI 的 AgentJudgeBench——首个把 LLM-as-a-judge 的可靠性本身作为研究对象的基准。当 Agent 评测普遍用 LLM 裁判给工具调用打分时，没人问过：裁判自己靠得住吗？论文构建 3,808 条 BFCL 风格记录×6 种 DAG 拓扑（线性/扇出/扇入/菱形/可选富集/类环）×3 难度档，5 个生成器（3B-70B 开源+GPT-5.4）产出工具调用，6 个裁判（20B 到前沿规模）在有/无真值配对条件下按四指标打分，共 321,648 次评估。核心发现反直觉：难任务无真值时 6 个裁判全部收敛到 77-82% 窄带（结构性天花板，模型规模无法突破）；给真值对前沿裁判反而有害（GPT-5.4 -1.5pp、Gemini-2.5-Pro -3.9pp，过度锚定）；CoT 推理最多 +0.3pp、温度影响≤0.25pp，而结构化 rubric 提示最高 +6.5pp 但不可跨配对泛化。
让 AI 操作软件一定要截图加点击吗？这篇来自上海交大 X-LANCE 实验室与 BIGAI 的论文给出了否定答案：GUI Agent 的许多失败不是模型不够聪明，而是接口选错了。论文提出 ASIL（Agent-Software Interaction Layer），用结构化 JSON 状态替代截图、用代码可执行的语义动作替代坐标点击，在 15 个应用 380 个任务上把 GPT-5.4 的严格成功率从 6.6 拉到 81.6，平均每任务只需不到 5 个动作。更妙的是，这种结构化模态让训练也变便宜了：Qwen3.5-9B 仅靠数千条 SFT 样本和 8 张 A800 就从 66.6 提升到 82.2。本文精读其接口设计哲学、最深可行访问路径方法论与训练闭环证据。
可穿戴设备能连续收集数月的睡眠、心率、步数信号，LLM智能体能否据此预测心理健康分数并给出有据可依的理由？BALMS是第一个系统评估这一问题的基准：3种agentic范式（提示式Health-LLM、工具式PHIA ReAct、记忆式RAG/RAPTOR）×2个任务族（封闭式wellbeing分数回归+开放式rationale的LLM-as-Judge评分）×5个开源/闭源backbone×3个真实纵向数据集。核心发现泼了冷水：zero-shot agent很少超过简单的mean predictor基线；工具式agent在原始传感流上代码脆弱，GLOBEM上85.9%的预测坍缩为同一标签。五类失败模式（静默代码失败、状态丢失、幻觉收尾、魔法数字、schema盲聚合）的分析极为扎实，指向「数值时间序列grounding」是当前agent的核心短板。
深度精读中科大与华为的 DeepChart 基准：把数据科学图表生成形式化为 Extract–Reason–Visualize 管线，用 1482 条专家标注实例分阶段评估图表背后的数据路径。核心发现「隐藏幻觉」——提取与推理错误经渲染掩盖，外观评估完全不可见：多模态场景模型可执行率 0.782 但源数据保真 F1 仅 0.149；专有模型选 HTML 渲染优于 Python 却有 99.4% 的实例选了次优的 Python。