Benchmark

Texas A&M 与诺维萨德大学团队提出 FuzzingBrain-Bench：第四代 LLM 漏洞发现评测范式——不再要求模型复现预定义目标漏洞，而是在自包含 Docker 沙箱中经 fuzzing harness 触发尽可能多的不同 crash，按「去重后的不同 crash 签名数 × 难度系数」计分。基准含 77 道挑战（43 个开源项目，36 C/32 C++/9 Java），覆盖内存安全与 DoS 等 14 类缺陷；三跑复现门控防 flaky 虚增、每挑战 3 签名封顶防单一多产缺陷主导、答案剥离+无网络+oracle 不可达防作弊。三个 Claude 模型实测：Opus 4.8 以 196/579（34%）居首，触发 60/77 挑战的 crash；13 道 D5 挑战无一模型攻破。实验还证明模型常发现计划外缺陷——这正是放弃「目标复现式」评分的直接证据。附带成本/token/轮次的行为分析揭示输入 token 是输出的 84–188 倍。

对话式 LLM 的记忆系统一直用“直接问答“评测：问模型能否回忆先前对话里的事实 X。京都大学团队做了 4 个月真实部署（40 用户、1872 会话、7 种记忆条件）检验这个假设——Direct QA 准确率随容量从 19.7% 涨到 70.1%，用户满意度却纹丝不动。他们从中检出 72 个用户主动引用记忆的真实时刻，构建 MEMUSE 基准，用“自然整合“（回复是否真正织入被引用的记忆）替代召回评测：同一模型同一上下文，Direct QA 78.8% vs 自然整合仅 7.9%，71 分鸿沟；且只有自然整合与满意度相关（ρ=+0.29），Direct QA 完全不相关。Two-step 消融把瓶颈定位于对话生成层而非检索层——即使提取步骤已给出正确细节，生成仍有 77% 不使用。

深度精读 UC San Diego 的 SCALE-QA 与 TSIM 论文——针对真实助手使用形态「单线程多主题混杂的长对话」定义并测量 episode integrity failure：决定性证据明明在对话里，系统却检索到貌似合理的碎片而非让局部约束生效的完整 episode。SCALE-QA 用 3000 题反事实基准（防预训练泄漏）+ 确定性运行时打包（16k-1M）；TSIM 以语义漂移在线分段 + 三视图 episode 索引，在三个后端全部第一（比最强基线高 5.6-17.6 点），1M 诊断中用约 1.3k token 达 96.5% 而 Full Context 用 1.05M token 只有 87.2%。本文拆解「找回 episode 而非答对问题」才是瓶颈的完整证据链。

当多智能体系统（MAS）执行失败后，重跑一遍、自我反思、批评家反馈这些「修复」方法，究竟是真的修好了 bug，还是仅仅靠 LLM 采样的随机性碰巧撞对了答案？这篇来自华东师范大学等四所高校的论文用 SymTrace 回放框架与 536 条人工标注失败轨迹的 SymFail 数据集给出了冷峻的答案：无引导全量重跑的修复率仅 6.90%，自我反思 4.29%、批评家 3.73%，与随机重采样无异；而基于症状定位的选择性回放干预单次即修复 20.15%。本精读拆解其「冻结上游随机性」的受控评估方法论，并讨论它对整个 Agent 可靠性研究范式的冲击。

Agent 产品上线前，模拟器给的「绿色对勾」在真实物理部署中还能信几分？帝国理工学院的 SimVerity 给出了第一个系统化量化：判定保真度 VF 与假清关风险 FCR。在真实智能家居测试床上，先进模拟器通过了全部 240 个开灯试验，相机却抓到 42 个亚秒级物理失败——同一执行裂解为完成/上报/可观察/沉淀四种判决。更惊人的是，假清关可以被预测：评测前 SHA-256 冻结的风险画像在从未物理测量过的路径上 11/11 会话全胜盲基线；而第二台合格模拟器与第一台零分歧——共识只是换了种方式放弃覆盖。本精读拆解这套「先证明证人资格、缺证据一律弃权」的判定迁移审计方法论。

深度精读 A*STAR、Weizmann、MIT-IBM Watson AI Lab、Cambridge 与 EleutherAI 合作的跨语言技能不一致性测量论文——同一模型的两个实例在规则/状态/动作空间完全固定、仅语言界面不同的文字博弈中对战，共 51.84 万局自博弈，首次把「技能的语言条件化」从知识获取问题中正交分离出来。发现英语界面一致最强、希伯来语最弱；语言敏感度因博弈而异（Colonel Blotto 平均 1.07 最大、Kuhn Poker 0.13 最小）；Nim 博弈的最优策略在阿/希界面下「存在但不可达」，且多数策略提及来自中途自发切换拉丁字母推理的对局；把推理语言换成英语可恢复 Gemma 德语界面 TTT 损失的 89.4%。语言影响的是决策的多个阶段，不只是输入理解。

深度精读 CMU 数据集论文 SPECMINE（MSR 2027 Mining Challenge 数据集）：对 GitHub 上 47 万个 spec 文件、7.3 万仓库的全面普查，配合 5992 个 spec 触碰 PR 与 242 万条类型化引用索引，首次让「AI 时代的软件如何被规格化」从诞生之日起可大规模研究——99.7% 的 spec 首次提交于 2025 年之后。

深度精读 CMU 论文 TraceML：首个任务对齐的人机 ML 开发过程级配对语料，把 4465 条人类 Kaggle 轨迹与 207 条 agent 轨迹放进同一版本级标注体系，量化诊断出 agent 的「无记忆搜索」病症——不转向也不回访，一条约千 token 的规划提示能在 7 个竞赛中 5 个提分，但指令只能关闭「可命名」的那部分差距。

深度精读 UC San Diego 的评测方法论论文——当开放式输出（ToM 信念追踪、开放域 QA）遇上「有限参考集+匹配器」的评测管线时，未匹配的输出被记为假，会产生代理标签并直接反转 proper-score 校准排名。论文用固定内容、只换标签源的识别设计证明：同一批 259 条信念，参考标签下 EG 探针领先 0.227，盲评真值下反落后 0.152，六个场景全部反转；已发布的 NQ-open 真实管线同样反转。机制上 90% 以上失真来自被省略的真值，单参数 π 修正即可恢复符号。本文拆解这条「识别—分解—闭合判据—预算修复」的完整证据链。

NTU 牵头、20 个机构 50 余位研究者共建的 VBVR-Pro，为「原生视觉推理」——把视觉生成当推理介质本身——建立了可训练、可验证、可优化、可受控比较的闭环测试床：300 个程序生成任务（347 万图+130 万视频）、100 个任务的确定性奖励评分器（人类对齐超 GPT-5.5 且完全可复现）、30+ 生成器受控比较。训练使 9 个开源模型平均 +0.29 并在 7 个外部基准迁移 +28 分级别；RLVR 优于 RLVLM；三面证据链证明「视觉轨迹比语言 CoT 更关键」是范式级发现。