论文链接：MTAC-IFBench: Benchmarking Instruction-Following in Multi-Turn Agentic Coding 发表时间：2026年9月 机构：清华大学 × 智谱 AI（实习标注——GLM 系厂商参与评测自家模型短板，评测独立性值得注意） 领域标签：cs.SE / Benchmark
一、论文背景
什么是指令遵循（instruction-following）：用户对 Agent 的要求分两层——结果层（“修好这个 bug”）与过程层（“不要修改公共 API”、“测试用 pytest 写”、“每步先解释再动手”）。结果层由功能测试验证，过程层的遵守情况长期缺乏系统评测。
为什么过程合规在 Agentic Coding 中变得关键：Agent 自主干导多轮开发后，一次任务涉及数十个决策点，每个点都可能违反约束——修改了不该改的文件、引入了禁止的依赖、跳过了要求的测试。这些违反不会让测试变红，但会累积成维护性灾难与合规风险（企业场景中"怎么做"与"做没做成"同等重要）。
评测空白：现有指令遵循基准（IFEval 类）聚焦单轮通用对话；编码基准（SWE-bench 类）只看测试通过。多轮 × 编码 × 过程约束的交集是空白——本基准填补之。
二、论文定位和关联工作
| 研究脉络 | 代表工作 | 核心思想 | 与本文关键区别 |
|---|---|---|---|
| 指令遵循基准 | IFEval 及后续 | 单轮可验证指令 | 非编码、非多轮 |
| 编码基准 | SWE-bench / SWE-Bench Pro | 功能正确性 | 无过程约束维度 |
| Agent 基准 | Terminal-Bench 等 | 端到端任务 | 约束遵循不分离测量 |
| 多轮对话评测 | MT-Bench 类 | 多轮对话质量 | 对话非编码 |
| 评测方法学 | 评测测量学系列（本月多篇） | 分数与构念分离 | 方法论氛围 |
定位结论：MTAC-IFBench 是首个把"多轮 Agentic Coding 的过程指令遵循"作为独立构念的基准——与本月密集出现的评测测量学反思一脉相承：分数要测到声称测的东西。
三、问题定义
具体场景：编码 Agent 在多轮软件开发会话中被赋予渐进式指令与约束，需全程遵守。
抽象问题：如何把"过程合规"从"功能正确"中分离出来，变成可独立测量、可归因到约束类别的量。
形式化：给定任务 t 的指令序列 {I_1…I_T}（每轮指令可新增约束）、约束集 C_t（累计 91.33 条/实例平均）、checklist 函数 χ_c(轨迹)：{0,1} 每条约束 c 的遵守判定：合规率 = Σχ_c/|C|；约束分类 τ(c) ∈ 6 主类 × 18 子类支持按类别归因。
精妙之处：每约束一 checklist 的设计把模糊的"遵循得好不好"变成逐条二值判定的集合——评测粒度对齐到约束粒度，任何失守都可归因到具体约束类别（是"不许改 X"类失守多，还是"必须用 Y 格式"类失守多）。
四、问题解法
构造流程：
① 多轮渐进式指令设计：模拟真实开发——需求逐步澄清、约束逐步追加（第一轮"先做 A"，第三轮"后续改动不要碰 B"）。平均 7.04 轮/实例，逼出约束的记忆与持续遵守问题（第 1 轮的约束到第 7 轮还遵守吗）。
② 约束分类法：6 主类 / 18 子类覆盖编码过程约束的主要形态（如修改范围限制、工具/命令选择、输出格式、流程顺序、依赖管理、测试要求等）。分类法支撑失败归因分析。
③ 可验证 checklist：每条约束配程序化检查（如"未修改文件 X"→diff 检查；“使用 pytest”→测试命令追踪）——不依赖 LLM judge 的主观判定，评测本身可复现。
评测指标体系：turn 级（CSR：每轮约束遵守率，按轮次分桶看衰减）、实例级（C-ISR：全程合规）、功能正确性（并行测量但分离报告）。
五、评估指标与实验证据
| 模型 | 平均分 | 关键发现 |
|---|---|---|
| GLM-5.2（最强） | 领先 | 仍有约 20% 过程约束失守 |
| DeepSeek-V4-Pro | 74.7 | — |
| Kimi-K2.6 | 73.2 | — |
| Gemini-3.1-Pro | 71.0 | — |
| 多数 LLM | — | 完美合规轮次 <10% |
三个关键发现（论文）：① 即使最强模型也有约 20% 过程约束失守——功能强不等于过程守规；② 完美合规极其罕见——“全程无失守"是极低概率事件，说明约束遵守是持续负担而非一次理解；③ 分轮分析显示约束遵守率随轮次衰减（长会话中早期约束被遗忘）——与长程 Agent 的指令漂移研究（Asclepius 同日）互证。
证明力分析：checklist 化消除了 judge 偏差威胁；91.33 约束/实例的高密度使"碰巧合规"概率趋零（每轮新增约束持续测试记忆+遵守）；双轨报告（功能与合规分离）使"高功能低合规"的模型画像可见——这正是企业采购最需要知道的信息。
六、效果优势的根源解释
根源机制与证据链
本基准的价值不在"优于 baseline”（它是测量工具非竞赛方法），而在其发现的结构性解释：
- 约束遵循与功能正确的解耦（论文实验已支持）：功能 leaderboard 靠前的模型（GLM-5.2/DeepSeek-V4-Pro）在合规榜上仍有 20% 失守——两条能力的训练信号不同（功能=RLVR 类可验证奖励；合规=过程监督信号稀缺），优化压力长期偏向功能。
- 轮次衰减的注意力机制（论文实验已支持 + 机制推理）：多轮会话中早期约束在上下文里被后续内容稀释，注意力对远端指令的权重衰减 → 分桶 CSR 曲线下降；这与 Asclepius 的 instruction-adherence drift 同构——两个独立域（编码/临床）都观察到长程指令漂移，说明这是架构级现象而非领域特例。
- 多约束的干扰效应（论文分析）：91 约束/实例的密度下，约束间可能冲突或挤占——模型对每条约束的"注意力预算"被摊薄。
相关工作检索与对照
| 研究 | 相似尝试 | 相关结论 | 与本文差异 | 影响 |
|---|---|---|---|---|
| IFEval | 单轮可验证指令 | 指令遵循可程序化评测 | 单轮通用域 | 支持：checklist 方法有效 |
| Asclepius（同日） | 临床指令漂移 | 手册指令班次后段被忽略 | 医疗域 | 支持：长程漂移跨域 |
| SWE-bench 系 | 功能正确性评测 | patch 通过测试=好 | 无过程维度 | 对照：本文补另一维 |
| 评测测量学反思（9/15 日报双警报） | 分数与构念分离 | 单一分数掩盖结构 | 方法论 | 支持：分离测量的必要性 |
| Policy Loopholes（同日） | 政策模糊伪装成错误 | 政策文本质量设上限 | 评测侧 | 补充：约束表述质量影响测量 |
综合判断与未决问题
多研究共同支持：指令漂移是长程 Agent 的普遍现象（本文编码域 + Asclepius 临床域）；checklist 化评测可靠（IFEval 传统 + 本文）。仍属推测：18 子类分类法的互斥完备性——真实约束的长尾可能超出分类法。适用边界：约束需可程序化验证（“代码要优雅"类主观约束无法 checklist）；企业私有约束（合规红线）需定制化构造。可能的失效条件：模型学会"表面合规”（diff 绕过文件检查的变通写法）——checklist 的对抗鲁棒性会随模型进化被考验。
七、必要知识反推
领域知识层：真实软件开发的约束形态学（哪些约束真实存在、频率如何——需要工业经验或大量 PR 数据挖掘）；多轮 coding Agent 的会话结构（Claude Code 类工具的轮次组织）。
方法论知识层：可验证指令的构造学（IFEval 的 verifiable instruction 设计经验）；测量构念效度（合规与功能的分离测量）；约束分类法的构造（互斥完备的类目学）。
工程知识层：checklist 的程序化实现（diff 解析、命令追踪、文件系统监控）；轮次分桶统计（衰减曲线的绘制与解读）；数据污染防护（约束实例与训练数据的隔离）。
知识融合关键节点：“把软件工程的过程约束翻译为可程序化判定的 checklist”——需要同时看到工业约束的真实形态（SE 知识）与自动化判定的可行性边界（评测工程），两者的交集决定每条约束能否进入基准。
八、通用性灵感
- 怎么做与做没做成分开测：任何执行系统的评价都应分离"结果质量"与"过程合规"两个维度（论文证据：最强模型 20% 过程失守而功能领先）。推广：自动驾驶（到达率 vs 交通规则遵守）、员工绩效（业绩 vs 合规）、临床试验（疗效 vs 方案偏离）。
- 高密度连续测试暴露漂移：一次性大测试测不出衰减，连续小测试（每轮追加约束）才能画出漂移曲线（论文证据：CSR 分轮衰减）。推广：安全教育效果的周期性复测、安全培训的间隔强化。
- 逐条二值判定优于整体打分：把模糊质量拆成可判定的原子约束集合，评测才可归因可改进（论文证据：18 子类归因分析）。推广：供应商尽调的 checklist 化、代码评审的 rule 化。
- 评测厂商自曝短板的公信力设计：智谱参与构造让 GLM-5.2 的 20% 失守被公开测量——评测的公信力来自被测方的参与而非回避（论文证据：机构标注）。推广：企业透明度报告的自曝式设计。