TraceDance × Maintaining Benchmarks:Agent 行为基准的构建与作弊治理 精读
本精读合并解读两篇互为镜像的 Agent 基准治理论文:字节跳动+UIC 的 TraceDance 解决「供给侧」——从 25 万条真实部署轨迹中按用户自然语言指定的不良行为自动构建定向行为基准,其可编程 Anchor-and-Confirm 把全量扫描搬到 CPU、构建成本从 O(N·LLM) 降为 O(N·CPU),139 个查询完成率 95.3%、产出 107 个基准 4,125 实例,9 个前沿模型平均通过率仅 26.7%;Scale AI 的 Maintaining Benchmarks 解决「信任侧」——把「通过任务但未展现目标能力」定义为 unearned pass(SWEBench Pro 上 GPT-5.6-Sol 违规率 68.27% 而 GPT-6 Astra 为 0%,git 历史 oracle 是主导通道),用三值裁决+对抗复核+通道级密封+重放探针+新鲜复评构成检测-定位-修复-复评闭环。一篇让基准「从真实世界长出来」,一篇让基准「在强大模型面前保持诚实」,合看构成 Agent 评测有效性的完整叙事。