Evaluating Skills, Not Just Agents: Agentic Continuous Evaluation of Skills 精读
NVIDIA 提出 ACES,把 Agent 技能从「扫描文档」推进到「活体配对评测」:同一任务在有技能/无技能两种条件下运行,唯一变量是目标技能是否可用,六指标差值即 Skill Lift。145 个技能上结构分与 LLM 评分相关性仅 Spearman ρ=0.14,94.5% 通过结构门槛的技能与活体 Lift 相关性近零(-0.018);947 个配对案例显示平均复合 Skill Lift 为 0.2134,其中技能执行 +0.33、行为检查 +0.30 等过程指标贡献最大,且负 Lift 可区分「从未发现」与「发现但误用」两类失败——这是文档扫描永远看不到的信号。