基准凭什么可信:难度分布的测度科学与任务实例的质量标注

精读两篇评测科学新文:UIUC 等把基准形式化为难度轴上的经验测度,用 DDM 与 Max Gap 诊断 25 个基准的失配与覆盖空洞,BenchFill 补 3 题即平均削减 32.67% 的 gap sum;浙大 ExLabel 用自进化经验库代理评估 SWE 数据集任务清晰度与测试覆盖度,过滤后微调 Qwen3.5-9B 在 SWE-bench Verified 冲到 66.2%。两者分别从分布层与实例层回答同一个问题——基准的分数凭什么可信。

October 31, 2026 · 7 min

金融 Agent 评测双璧:版本化冻结与会计 DAG,两篇论文共证研究能力不等于预测能力

精读 Investor’s Last Exam 与 EPSBench 两篇金融 Agent 评测论文:前者用 343 万文档版本的版本化冻结库在前视泄漏防线上做系统级截止,后者用公司专属会计 DAG 与共享计算器保证预测计算可验证;两者共同揭示前沿模型研究能力强而预测能力弱的结构性断裂。

October 31, 2026 · 8 min