Harness-IF: Evaluating Instruction Following Across Instruction Surfaces in Coding Agents 精读
ByteDance Seed 团队提出的 Harness-IF 把「编程 Agent 是否真的在遵守指令」这件事第一次变成了可量化、可归因的规则级测量问题。它构造了 642 条原子规则的库,实例化出 60 个多轮编程任务,在 5 个可配置的「指令表面」(系统提示/工具描述/技能描述/项目文件/用户指令)上分别打分;更重要的是,它用 Against-Prior Accuracy(AP-Acc)把「模型本来就是这么做」的巧合从「真正遵从指令」中剥离出来——12 个前沿模型无一例外都在反先验规则上表现更差,平均落差 5.81 分。配套的 E0 冲突实验还揭示了一个反直觉结论:表面优先级并不服从提示深度,SP/PF/UI 同居首位,而工具描述和技能描述垫底。这篇精读从背景、定位、问题、解法、证据、根源、知识反推到通用灵感,完整拆解这项与 Harness 评估方向高度相关的工作。