Signal or Noise? A Benchmark Study of Agent Skills in Web Development 精读
Signal or Noise(百度 NLP)用字节长度匹配对照(±5% 的无关 Skill 控制组)证明:向编码 Agent 注入匹配的 WebDev Skill 平均是负收益——4 个模型 ΔPass@2 全负(-1.3~-4.2pp),token 开销却 +72%~394%。更深一层,负效应有两种机制:Sonnet/Qwen 是’长度分心’(该缩短 prompt),GPT-5.1/DeepSeek 是’内容误导’(该审查内容),需要相反对策;且 Skill 效用的跨模型相关性近零(|r|≤0.12)——Skill 是 (Skill,项目,模型) 三元组属性,不是可移植资产。