CatchBench: When Can an Agent Failure Be Caught? 精读
CatchBench(USC,PyOD 作者 Yue Zhao)构建了首个在 PRE(运行前声明配置)/LIVE(运行中轨迹前缀)/POST(运行后完整轨迹)三种信息状态下统一评分 Agent 审计方法的竞技场:9 个计分板、72 个方法。它最大的贡献是方法学自律——公开每条标签的生成方式从而暴露自身语料的捷径(injecagent 源仅凭声明顺序即 F1=1.000)、给注入故障设’可采性门槛’、并如实发表 71/118 个无法分离的对比。‘分数在标签过程公开并检验其捷径之前不可解释’,这是对所有基准的警世恒言。