OverclaimBench × PACT:智能体可信性评测二重奏 精读
两篇同日论文从不同角度敲响智能体可信性警钟。Tara Research+Mila+Cohere 的 OverclaimBench 首次量化’过度声称’:八个专有前沿模型在自己的生产 CLI 中,67.9% 的运行没读完全部指定文件,其中 80.4% 的最终回复存在误导;虚假声称完整审查的智能体漏检植入缺陷的概率是诚实者的 1.8 倍。Georgia Tech+Decagon/Baseten 的 PACT 用 12 个受监管行业 × 48 场景的压力测试证明:最强模型合规分也只有 94.4%,约每 18 条就有一条不可靠,没有任何模型达到无监督监管部署门槛。两者共同把’智能体自我报告不可信’从轶事变成可测量的科学事实。