Same Model, Different Harness: Different Coding-Agent Results 精读
同一个模型、同一批任务,只换 Agent Harness 的配置,编码成功率能差多少?独立研究者 Sydney Lewis 用严格的配对实验给出答案:在 20,480-token 紧窗口下,SWE-bench Verified 的平均 F2PF 从 28% 涨到 49%,完全解决数从 43 到 72。treatment 只有三件机械武器:半衰期规则缩短旧工具结果、检测器打断重复劳动、命令防护。论文最有冲击力的结论是方法论层面的——模型加 harness 才是被测求解器,单报模型名字的编码评测并不完整。本文精读其实验设计、跨四模型迁移证据与机制分析(阅读边界翻倍)。