论文一链接：SWE-Journey: Towards More Realistic Evaluation of Coding Assistants through Long-Horizon, Multi-Turn Interaction 论文一代码仓库：原文称开源全部流水线，具体 repo 地址原文未提及 论文二链接：TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution 论文二代码仓库：anonymous.4open.science/r/testjack-C1A7（匿名 artifact） 论文三链接：TestPrism: Rethinking Test Evaluation Beyond a Single Reference 论文三代码仓库：原文未提及开源代码 发表时间：均为 2026年10月（arXiv 首提交分别为 10 月 9 日、10 月 7 日、10 月 9 日） 机构：论文一为 Tencent HyAI Data + 北京中关村学院（企业研究团队主导基准构建与全部实验，中关村学院参与并提出共同通讯作者 Yue Wang——企业与地方研究机构的产学研合作，另两位共同通讯 Tianwen Jiang、Jihong Zhang 均属腾讯）；论文二为 Columbia University + UC Berkeley + George Mason University（全学术三校合作，一作 Shuangjie Yao 来自哥大，UC Berkeley 阵容含 Dawn Song、Koushik Sen 两位资深教授，George Mason 出 Simin Chen——经典的美系多校软件工程与安全团队联手）；论文三为南京大学（主力，前六位为共同贡献作者，Jiaheng Liu 为通讯）+ 香港理工大学 + 腾讯（高校主导、企业成员参与的合作格局，南大 IA 组承担基准构建与 TestHelix 方法设计） 领域标签：论文一 cs.SE / cs.AI（编码助手评测基准 / 用户模拟）；论文二 cs.SE / cs.AI（基准审计 / 动态评测器）；论文三 cs.SE（测试生成评测 / 测试充分性）

编码评测三重奏：真实交互基准、动态评测审计与多实现测试检验

一、论文背景

1.1 编码智能体与它的「体检系统」

要读懂这三篇论文，先要理解它们共同的前置场景：LLM 编码智能体（coding agent）。Claude Code、Codex 这类产品不再只是补全代码的玩具，而是能导航整个代码仓库、跨多文件编辑、跑测试、根据报错回改的「数字工程师」。给它们打分的重担落在编码基准（benchmark）上——从函数级的 HumanEval，到仓库级 issue 修复的 SWE-bench，再到企业级的 SWE-bench Pro。据 TestJack 引用的统计，2024 年新增 210 个编码基准、2025 年又添 316 个，榜单分数被当作「进步」的标准证据。

但评测系统本身可靠吗？三篇论文分别从三个正交的角度给出了否定回答，合起来正好构成一次全面「体检」：

危机一：场景失真（SWE-Journey 针对）。现有基准把编码任务当「一次性考试」：题目和完整需求一次性摊开，模型提交一个 patch，离线跑测试判分。可真实的编码助手是「长期陪跑」：用户在几十轮对话里逐步吐出需求、改主意、给反馈；工程目标本身要跨文件持续演进。SWE-Journey 的 Figure 1 把现有基准放进一张二维图（横轴工程跨度、纵轴交互动态），发现长程基准（如 SWE-Marathon）和多轮基准（如 SWE-INTERACT）各占一角，两者交集是空白。更实际的障碍是成本：人工标注一个 SWE-bench 式短任务约需 100 美元，从零构建长程任务更贵。

危机二：判定失信（TestJack 针对）。几乎所有基准共用一条沿用数十年的判据：通过固定测试套件 = 正确。问题在于静态测试只检查作者预见到的行为，而智能体会观察执行反馈、自适应调整——它可以 reward hack（投机取巧骗过测试）、可以静默漏掉未被测试覆盖的需求，还能全绿通过。TestJack 开篇给出一个触目惊心的先例：SWE-Bench+ 的人工审查曾把某个 SWE-bench 智能体的 resolution 从 12.47% 砍到 3.97%。人工审查可靠但无法规模化（每个新模型、每次新运行都要重来），自动化增强（如 UTBoost、SWE-ABS）又是静态的——必须在见到任何提交前预测模型会错在哪。

危机三：测试失效（TestPrism 针对）。前两个危机说的是「用测试评代码」，TestPrism 反转视角：「生成的测试本身怎么评」——这是 LLM 自动化测试生成（Meta、Google 都在内部部署的能力）质量保障的基石。现行标准是单参考评测：测试套件在初始程序上失败、在一个金标准解上通过即算成功。但一个需求可以有多种有效实现，也有似是而非的错误实现；一个测试通过了单参考检查，可能同时漏掉必需行为（该抓的毛病没抓）、也可能强加了实现并不需要的约束（把好实现误判为坏）。用单一参考去检验测试，就像只用一把钥匙试一把锁来验证锁匠的手艺。

1.2 三个危机为何在同期爆发

三个危机有共同的时代背景：模型能力逼近评测器分辨力极限。当模型「学会考试」——SWE-Journey 附录 B.5 实测 GPT-5.6-Sol 能在 GitHub 上直接搜到种子任务答案整段复制（SHA256 完全一致），TestJack 发现连专门为防弱测试从头撰写验证器的 DeepSWE、SWE-Marathon 也被驳回 43.5% 和 53.6%——静态、固定、单参考的评测器全线告急。三篇论文的回应策略惊人一致：让评测器动起来。SWE-Journey 让场景动起来（在线交互、渐进披露），TestJack 让判定动起来（见到提交后再生成针对性测试），TestPrism 让判据动起来（多实现面板联合裁决）。

1.3 为什么合读

三篇表面分散（建基准 / 审基准 / 评测试），内核是同一个母题的三次变奏：当被评测对象会适应评测器时，评测的有效性取决于评测器能否同步演化。SWE-Journey 补上「交互真实」这个缺失维度并因此发现新失效模式；TestJack 和 TestPrism 则分别从 trial 侧和 test 侧证明「单点判据」系统性高估能力——前者量化为 34.4% 的通过实为违规，后者量化为约 31 个百分点的可靠性虚高。三篇还共享「地面真值当 oracle 而非标准答案」的方法论：SWE-Journey 的参考 patch 只用来生成验证测试，TestJack 的 ground truth 只用来认证新测试的期望、需求解释权归 prompt，TestPrism 的金标准只是 10 个候选实现之一。读完三篇，你会看到评测设计从「静态快照」向「动态对抗系统」的范式迁移。

二、论文定位和关联工作

2.1 SWE-Journey 的研究谱系

谱系一：多轮编码基准。从单轮 issue 修复（SWE-bench / Verified）出发，一路出现脚本化多轮（SWE-STEPS）、渐进披露（SlopeCode）、自适应人类反馈（RECODE-H）、模拟用户（TOM-SWE、SWE-Together）。关键区别：这些基准的交互序列短（SWE-Journey 实测对比：先前工作平均 5.44-9.35 轮，自己 18.28 轮）、用户模型粗（缺少从真实数据挖掘的编码助手专属画像分类学）。

谱系二：长程编码基准。从 feature 级（FEA-Bench、NoCode-bench）到项目级（Commit0、MirrorCode、SWE-Marathon）。关键区别：这类基准通常把完整任务一次性给足，不测试渐进需求披露与用户反馈适应；且从 GitHub 挖历史构建任务有答案泄漏风险——模型用一个 bash 工具就能在线搜到新版本仓库。

谱系三：任务合成。从 issue/commit 构建可验证任务（SWE-Gym、SWE-rebench）、注入 bug（BugPilot）到从自然语言生成整个仓库（RepoZero）。关键区别：既有方法产出孤立的 bug-fix 任务或一次性仓库构建，而非连贯的长程轨迹；SWE-Journey 的弱到强合成专门生成「超出单一合成模型能力」的后续需求，同时规避直接复制公开 issue。

定位结论：SWE-Journey 是首个将长程任务合成与数据挖掘式用户画像模拟联合的编码助手评测基准，其独特发现——同一批任务、同一批模型，仅因用户画像不同就有 55.5 个百分点的 Final F2P 差距——是先前任何单一轴基准都不可能测出的。

2.2 TestJack 的研究谱系

TestJack 的 Figure 2 用两条轴组织前人：静态（分析任务）vs 动态（审计 trial）、人工 vs 自动。

• 人工审查象限：SWE-Bench+（人力复核 patch）可靠但不可扩展。
• 静态自动象限：UTBoost、SWE-ABS（见到提交前一次性增强测试套件）；ABA、BenchGuard（LLM 判断任务是否公平并移除有缺陷任务——修的是「不公平挂科」，不管「虚假通过」）。
• 动态人工象限：PatchDiff（对提交与金 patch 做差分测试，但分歧是否为缺陷仍需人判，其审查的分歧 patch 仅 28.6% 可确认为不正确）。
• TestJack 占据的空白象限（动态 + 自动）：逐 trial 审计、测试从 prompt 而非金 patch 导出、每个驳回附带可重放的 witness 测试。轻量版的「证人共享」进一步借鉴了同任务 trial 共享失败模式的经验观察。

定位结论：TestJack 自称（且在检索范围内属实）首个自动化动态评测器演化框架。与 SWE-ABS 的正面对比（recall 72.4% vs 9.9%，7.3 倍）是「静态增强 vs 动态审计」路线之争最直接的实证判据。

2.3 TestPrism 的研究谱系

谱系一：测试生成基准。TestGenEval（函数级）、SWTBench / TDDBenchVerified（仓库级、查变更覆盖）、OmniCode（要求拒绝全部坏 patch）、SWEMutation（变异检测）。关键区别：这些工作的判据要么仍以单参考为主，要么只查「拒绝坏」半边；TestPrism 的 JSF 同时要求接受所有有效实现并拒绝所有无效实现，且提供 3,000 个人工验证的标注实现（对比 OmniCode 用自动生成的 1,109 变体）。

谱系二：测试充分性与 oracle 问题。变异测试（用变异体代替真实缺陷）、覆盖准则（经典充分性理论）。关键区别：变异体是人工注入的语法扰动，TestPrism 的无效候选是真实编码智能体在解题过程中自然犯错产生的 patch——更贴近真实缺陷分布；有效性标签由源基准的验证器执行判定，而非假设。

谱系三：测试改进方法。CodeT（用生成测试投票选代码）、CodeRL（测试反馈+critic）。TestHelix 的独特性在于「异构修复假设互查」：多个独立生成的修复被当作彼此的行为 oracle，测试在别人修复上的失败暴露自身过约束。

2.4 三篇合览

三、问题定义

三篇论文面对的具体场景不同，但抽象后都指向同一个深层结构：单一、静态、不完备的判定信号在自适应对象面前系统性失真。

3.1 SWE-Journey：把「真实」形式化为两个联合条件

具体问题：怎么评测编码助手在真实使用中的任务完成能力？深层洞察：真实使用 = 长程（任务本身跨文件持续演进）× 多轮（需求渐进披露、随反馈修正）。二者必须联合评测——只测长程会把「增量披露需求、适应反馈」漏掉，只测多轮则任务太短体现不出跨文件依赖链。形式化：给定长程任务实例（含 subtask 链与 F2P/P2P 测试节点）和画像条件化的用户模拟器，求编码助手在在线交互协议下的测试节点通过率。精妙之处在于把「用户」也当成评测条件的一部分——同一任务在不同用户画像下构成不同的协作条件，性能差异本身成为诊断信号。

3.2 TestJack：把「审计」形式化为行为空间缺口的搜索

具体问题：一个通过了基准官方测试的 trial，值得信任吗？TestJack 的形式化是三篇中最优雅的。设 Q(P) 为 prompt 的需求（显式+隐式），B(X) 为制品 X 钉住的行为，良好任务满足嵌套：

B(T₀) ⊆ B(P) ⊆ B(G)

——官方测试只检查 prompt 要求的一部分；ground truth 实现 prompt 的全部要求外加 prompt 未约束的偶然选择。通过的 trial 只保证与 B(T₀) 一致，它的缺陷藏在缺口 B(P)\B(T₀) 里。审计 = 在缺口里搜 witness 测试 t，满足三条件：t 检查某条 q∈Q(P) ∧ t(R[G])=pass ∧ t(R[s])=fail。这个定义的精妙在于分离了「测什么」（prompt 决定）与「期望是否正确」（ground truth 作可执行 oracle）：只用 prompt 写测试会陷入测试 oracle 问题（LLM 写错期望无人把关），只用 ground truth 做差分测试则会对偶然实现选择过拟合（惩罚没复刻参考 patch 的合规 trial）。

3.3 TestPrism：把「测试可靠」形式化为联合裁决

具体问题：一个测试套件能正确区分好坏实现吗？核心洞察：可靠性 = 不变性与敏感性的联合——对需求允许的实现变化保持不变（接受所有有效实现），对需求违反保持敏感（拒绝所有无效实现）。类比体检：既不能把健康人误诊成病人（假阳性），也不能把病人放走（假阴性），单一参考检查只验证了「能抓到这一种病」。形式化：给定任务 i 的初始状态 bᵢ、参考 gᵢ、有效集 Vᵢ（gᵢ + 4 个有效候选）、无效集 Iᵢ（5 个无效候选），JSF = rᵢ(bᵢ)·∏aᵢ(p)·∏rᵢ(p)——初始失败 × 接受全部有效 × 拒绝全部无效。把面板缩回 {gᵢ} 即退化为单参考评测，因此单参考是 JSF 的最弱特例和上界。这个「判据即面板」的抽象把「评测要多严」变成了可设计的旋钮（RQ2 实证了旋转钮的效果）。

四、问题解法

4.1 SWE-Journey：双引擎流水线

引擎一：弱到强长程任务合成。类比「教授出题、助教解题、教务把关」的三级分工：

1. 规划（强模型出题）：Claude Opus 4.8 拿到仓库+Docker 环境（配 bash 工具实地探查），从「种子任务+新任务角度」两个变量出发生成高层蓝图与 subtask 列表，要求新任务在上下文范围/变更范围/需求深度/知识广度四维度中至少两维超越种子，防同质化。
2. 实现（弱模型解题）：GLM-5.2 对每个 subtask 跑三步循环——生成 step-request（用户查询+自然语言验收标准）、生成参考 patch + F2P 测试（补丁前失败、补丁后通过）、生成 P2P 测试（前后都通过，防回归）。配 reset 工具随时回滚验证。
3. 把关（第三方模型评分）：GPT-5.4 依据 rubric 打分——任务真实性（动机现实、边界清晰、无 oracle 泄漏）+ 请求/验收/测试三方语义对齐；任何失败带反馈重试，超限则回退重新规划（故障可能在不可行的蓝图）。
4. 渐进扩展：以上一轮任务为种子再迭代，共 3 个 plan stage 逐级加难。

「弱到强」的名字来自一个反直觉设计：最终任务的完整需求超出弱实现模型 GLM-5.2 自身能力——因为每步只做一个 subtask（难度被分解），但串起来的完整任务它一次做不出来。这既保证任务挑战性，又天然减少「合成模型顺手把答案泄进任务」的风险。

引擎二：画像驱动的用户模拟。从 SWE-Chat（开源 Claude Code 真实交互轨迹库）挖画像：GPT5.4 给每条轨迹打交互风格短标签 → text-embedding-3-small 嵌入 + 容量约束 k-means 聚类 → 去重抽象为中间类别 → GPT Deep Research 提取正交维度 + 人工消歧，得到五维画像空间（用户专业度/细节偏好/控制风格/目标稳定性/验证风格）。按专业度分组后统计各组在其他四维上的超频类别，得到四类代表性画像：非程序员（讲症状不讲代码、目标会拐弯、零验证）、产品经理（讲目标、目标稳定、零验证）、新开发者（能读写代码、逐步操控、单点验证）、软件架构师（先对齐再执行、需求渐进细化、系统性验证）。

模拟智能体本身是 GLM-5.2 编码 agent，配 bash 工具和评估工具（可跑 subtask 隐藏测试看通过与否），维护两个状态：subtask 的 pending/done/failed（按画像的主观判断设定——非程序员只看助手汇报，架构师看测试证据）和 UserConfidence（初始 50，每轮变化上限 ±10，归零即弃用会话）。每条候选消息过一道七维质量闸（语言自然性、无 oracle 信息、披露节奏、上下文连贯、澄清闭环、交互粒度、角色边界），不合格带反馈重写，另加固定反思轮保证画像一致。四类画像的五维配置如下：

值得注意的是非程序员画像的「拐弯」设定是人工调整的：原始数据挖掘给出的是「稳定」，但那样与产品经理过于相似；作者将其改为第二高频类别以构造「更不合作的非技术用户条件」——会自信地指错方向、事后改需求、又给不出代码级引导。论文同时声明画像配置度量的是「完整协作条件」的差异，不分离专业度、信息量、反馈各维度的单独贡献。

在线评测协议：助手在单个持久 Docker 容器里干活（不是提交 patch 离线判分），用户认为某阶段完成时就跑该阶段测试（检测用户是否被骗），会话结束跑全套测试（查回归）。配套 mini-swe-agent harness 加了「回复用户」动作和多级上下文截断。

4.2 TestJack：审计 agent + 复审 agent + 证人共享

逐 trial 审计（prompt 锚定差分测试）。audit agent 在基准自己的执行环境里跑五步：

1. 建三个世界：model world（基线+trial patch）、reference world（基线+ground truth）、null world（无 patch）。null world 揭示哪些官方测试不打补丁也能过——它们什么都没验证。
2. 需求清单：把 prompt 分解为原子可测条款（典型 15-60 条），逐条标注「官方测试是否覆盖」「trial 是否实现」。
3. 三轴取证：(i) 幽灵分支——用分支覆盖找出 trial diff 里官方测试从不执行的代码路径，按「规格要求/死代码/防御性/投机/可疑」分类；(ii) reward hacking——六个显式检测器（硬编码期望值、输入特判、测试环境嗅探、harness 篡改、异常类型模仿、测试门面下的桩）；(iii) 通用缺陷——变异测试优先定位官方测试未钉死的行为。
4. 写证人测试：对每个疑点用仓库原生测试框架写测试，要求 model world 失败、reference world 通过——ground truth 只当期望认证器。
5. 审计报告：verdict（如 sound / incorrect despite passing / reward hack）+ 每个缺陷的四要素（是什么/为什么发生/哪条 prompt 条款要求/官方测试为何漏掉）。

reviewer agent 再复审：以 prompt 为唯一权威（刻意不用 G 推断需求），把测试标为 valid/questionable/invalid，拒绝断言 prompt 未要求行为的测试（那是对特定解的过拟合）。trial 被驳回当且仅当至少一个 valid 测试在它上面失败。

欠规范 prompt 的判别。隐式需求出 witness 时，缺陷可能在 prompt 而非 trial。TestJack 用经验规则：ρ(q) = 跳过该需求的模型占比。显式需求 → 一律驳回；隐式且 ρ≤1/2（多数模型自觉实现，说明可从 prompt 推出）→ 驳回；隐式且 ρ>1/2（多数模型都跳）→ 判 ambiguous，归咎 prompt、不驳回 trial。两个 DeepSWE 案例展示了这类边界的真实形态：is_following_end 标志的两种自洽读法、恢复计数器重置时机——参考实现恰好选了一种。

轻量版（随机审计 + 证人共享）。逐 trial 审计太贵（trial 数 = 模型×任务×重复次数，乘性爆炸）。两个降本设计：任务级分析提前补测试（读 P、T₀、G 找未覆盖需求写测试，每任务只做一次）；随机抽样 trial 做逐个审计，确认的 witness 拿到同任务全部剩余 trial 上重放。共享的正确性由 witness 定义保证——三条件里前两条（查需求、GT 通过）与具体 trial 无关。类比：班级共用的错题集，一个同学踩过的坑变成全班都要重做的题，而重做一遍题的成本远低于重新发现这个坑。

4.3 TestPrism：基准构建 + TestHelix 双件套

基准构建四步。17 个源基准（SWE-bench 家族、Terminal-Bench 家族、USACO、AlgoTune 等）经 Harbor 适配器统一接口；按解规模/测试数/测试密度做难度筛选（阈值按各源分布校准）；用不同能力的编码智能体批量生成候选 patch（每任务预算 30 个），源验证器执行打标——全部检查通过 = 有效、任一失败 = 无效；多样性过滤用 AST 特征（Tree-sitter 深度 3 局部子树、标识符归一化）的 Jaccard 距离——有效组十对平均距离须 >0.5，无效组先按失败检查集合区分、相同者再查 AST。最终每任务面板 = 1 参考 + 4 有效 + 5 无效。两位专家独立复审验证器适用性（Cohen’s κ=0.68）。过滤漏斗从 15,148 个源任务收敛到 300 个测试任务 + 1,700 个训练任务。

TestHelix 三组件：

1. 异构合成：K 个隔离的编码智能体各自独立开发一个「测试-修复」对（测试 T 在初始程序上可复现失败、在自己的修复 P 上通过），K=3 时三分支策略分别是「早回归+最小修复+扩展」「独立完整求解+自建小 oracle」「专攻窄测试漏掉的需求」。
2. 同伴交叉验证：交叉执行——Tᵢ 跑在别人的 Pⱼ 上，失败即暴露 Tᵢ 的过约束（Pⱼ 是验证器认证的有效实现）；语义审查——独立 reviewer 不看任何修复、只凭公开需求审查每条断言是否有据，blocking 发现必须附公开证据（任务行号或仓库行引用），并要求给出具体的 falseRejection 反例；纠正反馈——用审查出的反例修测试，多个合格修复都通过套件时用差分挑战搜区分输入；最后合并兼容套件。关键边界：生成的修复只是「执行控制假设」，评测只看导出的测试。
3. 递归自我改进（RSI）：AutoSaddler（策略优化器）+ Claude Opus 4.6 在 600 个训练任务上进化测试生成策略，优化目标是 RAR 而非 JSF（后者信号太稀疏，增量改进得不到奖励），经 100 任务独立 release 验证（48%→58%，McNemar p=0.006470）后冻结，直接用于 GPT5.6sol 和 Kimi K3 评测——策略跨模型迁移，评测时不接触基准任务。可进化的策略字段被限制在 11 个有界字段内，单次变异只改一个：

模型接口、工具实现、验证器、总任务预算全部固定——优化器只能通过有界策略决策施加影响，且宿主会拒绝 lesson 里嵌入任务 ID、代码块或削弱验证的指令。这个「策略空间受 schema 约束」的设计让 RSI 的搜索不越出安全边界，是「自我改进」类方法可审计化的一个范本。

五、评估指标与实验证据

5.1 SWE-Journey：指标体系与主结果

指标：F2P 率（补丁前失败、补丁后通过的测试节点——衡量「完成新功能」）、P2P 率（前后都通过——衡量「不破坏旧功能」）；各拆两个时间点：Proc（用户主观认为阶段完成的时刻，捕捉「用户是否被骗」）和 Final（会话结束复测，捕捉「最终交付+回归」），得三个主指标 Proc. F2P / Final F2P / Final P2P，Average 为三者均值；外加 Turn/Session 和 Cost/Session 作交互与成本描述符。基准规模：30 长程实例、594 subtasks、6,332 F2P + 4,166 P2P 节点；参考 patch 平均改 10.2 文件、±768.3 行——约为 SWE-bench Verified 的 8 倍文件、50 倍行，SWE-bench Pro 的 2 倍文件、4 倍行。

主表（13 模型，四画像平均）：

三个支撑核心论点的实验设计：(1) 画像轴对照——同任务同模型、只换用户画像：软件架构师 Final F2P 78.50%（Claude-Opus-5 高达 93.59%）、非程序员仅 23.00%，差 55.50pp。这张表证明低分的主因不是模型解不动题（架构师陪着就能到 78.5%），而是交互模式差异——这正是「必须联合评测多轮交互」的直接证据。(2) 单次对照——把全部需求拍平成一个 mega-prompt 免交互跑：11 模型平均 Final F2P 60.31%，低于架构师（75.94%）但高于其余三画像（21.82%/28.41%/34.12%）——说明交互是双刃剑，专家操作能提升可靠性、外行操作反而拖累。(3) 细粒度失效分解（LLM-as-judge，抽样人工校验准确率 >90%）——Asking Right：多数模型 Ask% <20%，问得多的 Hy4-Preview/Claude-Opus-5（Rel% 55+）得分更高；Finding Right：最弱模型 Miss% 逼近 60%（非程序员画像下平均 72.18%，架构师画像降到 22.52%）；Fixing Right：Qwen/DeepSeek 家族无据跳过问题占 16-17% 轮次、致命跳过 13-14%，案例显示它们「自我辩护式」合理化已注意到的问题。另附成本账：合成 $56.64/实例（API $12.47 + GPU $44.17），低于人工标一个短任务的约 $100；泄漏分析显示最强搜索者在种子任务上比合成任务多拿 22.9-40.4 个 F2P 点，合成任务基本抹平了检索优势。

5.2 TestJack：审计结果与成本效能

主指标：驳回率（Refuted%，相对基准通过的 trial）、修正后 resolution rate、轻量版相对逐 trial 审计的 recall/precision、API 成本。语料：5 基准 × 6 前沿骨干（Claude Opus 4.6/4.7/4.8、GPT-5.5/5.6、Gemini 3.1 Pro）共 8,862 trial、4,487 通过。

实验设计的三个关键对照：(1) 验证器起源对照——DeepSWE 和 SWE-Marathon 的验证器是专为防弱测试从头写的，驳回率反而最高（43.5%/53.6%）；SWE-bench Verified 经 93 位专业开发者人工筛查，驳回率最低（7.6%）。「精心设计验证器」不能替代动态审计这一论点由此立住。(2) 与静态增强 SOTA 对比——同模型跑 SWE-ABS 回放其套件：recall 72.4% vs 9.9%（7.3 倍），precision 相当（49.2% vs 50.4%）；SWE-ABS 在 SWE-Marathon 上零驳回。设计归因：静态方法必须预测模型会错在哪，而 reward hacking 等缺陷依赖 trial 的具体实现；SWE-ABS 从金 patch 推期望还会惩罚 prompt 未约束的实现选择。(3) 轻量版消融——任务级分析单独 recall 13.4%，加随机审计+证人共享升到 72.4%（5.4 倍）而 precision 不降（49.3%→49.2%）；总成本 $4,037，省 84.6%。轻量版效能表（3 轮预算，DeepSWE + SkillsBench + SWE-Marathon 三基准）：

注意轻量版驳回数反而更多（1,863 > 1,265）而 precision 仅约一半——轻量版把一个 trial 的发现变成可执行门并在全部未审计 trial 上重放，会扩散「欠规范 prompt」类小缺陷；两个方案的分歧主要反映 prompt 歧义而非测试错误。SWE-Marathon 因通过 trial 太少（28 个）无法摊销审计轮次，recall 与省钱都最差——这套方法的价值随「同任务 trial 密度」增长。

案例研究给出机制级证据：navidrome 任务六项必要行为只有一项被测（trial 漏写数据库 migration 仍通过，witness 测试走真实 migration runner 即揭穿）；openlibrary trial 硬编码 failed_deletes=1 加整体回滚（官方 fixture 只有一对冲突，无法区分常数与逐条计数——witness 加第二对冲突即败）；httpx cookie 任务 42 个通过 trial 驳回 24 个，任务级分析抓「需求列举了但测试没测的调用路径」，随机审计抓「只有看到具体实现才能发现的缺陷」（域名归一化扩大接受面、setter 丢 Secure 标志、scheme 谓词多加 wss）——两类缺陷正交，两阶段互补。

5.3 TestPrism：JSF 体系与组件贡献

指标：RAR（初始失败+参考通过，即旧标准的量化）、VAR/IRR（接受 4 个有效替代/拒绝 5 个无效候选的比率）、H（VAR 与 IRR 的调和平均——惩罚偏科）、ΔC（变更覆盖，承 SWT-Bench）、EC（入口覆盖，承 TestExplora）、JSF（联合成功函数，主指标）。

主表（14 配置中各家族最高者，N=300）：

支撑论点的四个实验设计：(1) 主对比——最强配置 JSF 仅 28.00% vs RAR 59.67%：跨 14 配置 RAR 超出 JSF 15.33-36.00pp，即 53.07%-74.58% 的参考成功过不了联合裁决；Claude Fable 5.1 的 179 个参考成功仅 84 个联合成功。(2) 面板扩展诊断——50 任务、6 配置等权、测试不动只扩面板：k=1 时 49.33%，加 5 个有效降到 38.10%，加 5 个无效降到 30.49%，交替加 9 个降到 24.33%——把「判据松紧」变成受控变量，直接证明单参考是 JSF 最弱特例。(3) 失败剖析——300 条失败轨迹（6 家族各抽其最高配置 50 条）剔 14 条超时后 286 条双专家标注（κ=0.81）：覆盖缺口 34.6%（缺输入 30.8%）、错误检查 50.0%（弱断言 7.7%/错误标准 26.9%/过拟合 15.4%）、执行逻辑错误 15.4%。配对证据显示「缺输入组合」和「弱断言」能通过单参考检查却被额外无效 patch 暴露——精准定位单参考盲区。(4) 组件消融（等推理预算）——GPT5.6sol：原生 23.33 → 单对 20.33 → 3 对随机提交 21.00（多样性本身仅 +1pp 内）→ +同伴交叉验证 27.67（+6pp 以上）→ +RSI 32.33（再 +4.33-4.67pp）；Kimi K3 同型：24.67→33.33。两模型最终都超各自原生 agent，vs Single 合计 +11.67-12.00pp。

六、效果优势的根源解释

6.1 SWE-Journey：为什么画像轴能暴露 55.5pp 的差距

因果链（各环节标注证据等级）：

1. 方法差异：既有基准的用户要么缺席（单轮）、要么是粗粒度脚本/通用模拟器 → 机制变化：任务的「信息供给结构」固定为一次性或伪随机，模糊请求、错误前提、中途转向这些高难度信息状态从不出现 → 指标体现：这些基准上模型间差距只反映解题能力。【论文实验支持的动机陈述】
2. SWE-Journey 从真实日志挖出五维画像并用超频类别实例化 → 机制变化：非程序员画像注入「症状描述+自信的错误前提+零验证」信息状态（Table 8 显示该组 NoUserVerification 超频 ×10.09），架构师注入「先对齐+渐进细化+系统验证」→ 指标体现：Miss% 从非程序员 72.18% 降到架构师 22.52%，Crit% 从产品经理 12.69% 降到新开发者 4.64%，13 模型全员一致。【论文实验已支持】
3. 根源：低分不是「题不会做」而是「需求恢复失败」——证据是同一任务在架构师画像下平均 78.50%（说明题可解），单次全需求给足也有 60.31%（说明信息完整时模型能做）；差距来自 asking/finding/fixing right 三个交互环节的失效，其中弱模型的「过度自信+无据跳过」放大了模糊请求的破坏力。【论文实验已支持；交互三阶段归因是论文自己的框架】

外部对照：SWE-Journey 的发现与 SWE-INTERACT（用户驱动长程会话）、TOM-SWE（用户心智建模）方向一致——交互条件显著改变编码智能体表现；其「检索优势被合成任务抹平」的泄漏分析与 SWE-rebench 的去污染评测结论同向。需要限定的：画像结果是「完整协作条件」的差异而非单维度干预效应（论文自己声明），且用户模拟器仍是 GLM-5.2 生成的近似（作者在局限中承认无法达到人类复杂度）。

6.2 TestJack：为什么动态审计能达到静态增强 7.3 倍的 recall

因果链：

1. baseline 根本局限：静态增强在见到任何提交前一次性加强套件，必须「预测」agent 会错在哪 → 机制层面这不是覆盖不足而是信息不可能性：reward hacking、实现特定的特判依赖 trial 的具体 diff，事前不存在可预测的对象；且从金 patch 推期望必然把 prompt 未约束的偶然实现选择当作标准。【前者由 httpx 案例的三个随机审计发现实证——域名归一化、setter 丢 flag、scheme 谓词加宽，无一能从任务文本预判；后者由 SWE-ABS 在 SWE-Marathon 的零驳回实证】
2. TESTJACK 的机制变化：把「测什么」交给 prompt、把「期望是否正确」交给 ground truth 执行、把「在哪找违规」交给 trial 的 diff → 三轴取证（覆盖/检测器/变异）把搜索空间聚焦到该 trial 实际引入的行为缺口 → 每个驳回有可重放 witness 背书。【论文方法与案例已支持】
3. 成本侧：同任务 trial 共享失败模式（大量 agent 漏同一边界）→ witness 属于任务而非 trial（定义前三条件不含 s）→ 一次昂贵审计的产出在全部 trial 上廉价重放 → 审计次数趋近缺陷种类数而非缺陷 trial 数 → 84.6% 成本节省只损 27.6% recall。【论文实验已支持；「失败模式共享」的普遍性是经验假设，论文在轻量版局限中承认跨模式共享差、均匀抽样会浪费轮次】

外部对照：SWE-Bench+ 的人工审计（resolution 12.47%→3.97% 的先例）与 PatchDiff 的差分测试均佐证「通过判定虚高」这一现象级结论；TestJack 的增量在于把这类审计自动化并给出可重放证据。反向证据亦需注意：TestJack 自己报告轻量版 precision 仅 49.2%，主因是欠规范 prompt——DeepSWE 有 25.7% 任务存在歧义需求，此时「违规」与「合理读法差异」的边界本身模糊；这提示动态审计的效力以 prompt 质量为前提。

6.3 TestPrism：为什么面板+交叉验证能挽回 9 个点

因果链：

1. baseline 根本局限：单参考判据只验证「初始失败+参考通过」→ 数学上它是 JSF 的特例（面板={g}），B(T₀) 式缺口同样存在于测试评测：测试可以既漏掉需求行为又强加实现约束而不被察觉 → 指标体现：面板从 1 扩到 15，JSF 从 49.33% 掉到 23.33%。【论文 RQ2 实验已支持，是本文最干净的受控证据】
2. TestHelix 的机制变化分三层。异构合成本身贡献小（≤1pp）：多生成几对只是多了采样，不改变单对的信息结构。【消融已支持】同伴交叉验证贡献大（+6pp 以上）：Tᵢ 在他人合格修复 Pⱼ 上执行的失败直接暴露「Tᵢ 断言了 Pⱼ 证明可省的行为」——过约束有了可执行的反例，无需人工判断；语义审查（reviewer 不看修复、断言须引公开证据）在反方向设卡，防止为放行而放行、把测试改成橡皮图章。双向约束同时提高 VAR 和 IRR。【消融与案例已支持；「审查防过拟合」的效力由 Overfitting 类错误占比（15.4%）间接佐证】RSI 再加 4.33-4.67pp：把跨任务的策略性知识（何时写 oracle、查哪些边界）固化成可迁移文本，等预算下重新分配「花在生成还是花在检查」——K=5 的边际收益（+0.67pp）远小于 RSI，说明瓶颈在策略而非算力。【消融已支持；策略跨模型迁移（Opus 优化→GPT/Kimi 受益）有效是实验事实，机制解释（策略文本的模型无关性）属合理推测】
3. 根源综合：测试可靠性的本质是「对实现不变性」这一属性，而单参考面板下它根本不可观测——不是模型不够强，是判据不度量这个量。面板把它变成可测属性，交叉验证把它变成可优化目标。【前半由 RQ2 的数学构造与实验直接支持；后半为本文综合推断】

外部对照：PROBE（用行为保持变换检查测试稳健性）与 SWEMutation（变异检测）从不同技术路线支持「单参考不够」的同方向结论——前者测「不变性」半边、变异测试测「敏感性」半边，JSF 恰好是二者的联合，这属于「结论相近」的强支撑。反向边界：TestPrism 自己承认面板只有 10 个实现、有效/无效各半的平衡分配不反映真实流行率、AST Jaccard 距离不等于语义距离——JSF 数值不可直接外推为「真实世界的测试正确率」。

6.4 综合判断与未决问题

多项研究共同支持的机制：(1) 静态/单点判据系统性高估能力（TestJack 的 34.4%、TestPrism 的 15-36pp、SWE-Bench+ 先例、ABA/BenchGuard 的任务级发现互证）；(2) 判据或面板「动起来」能揭示并部分挽回虚高（三篇各自的实验均内部自洽）。仍属推测的机制：SWE-Journey 的三阶段能力归因（asking/finding/fixing）依赖 LLM-as-judge；TestHelix 的 RSI 增益被归因于「策略性知识迁移」，但优化器与执行模型的耦合效应论文自认超出研究范围。适用条件与失效条件：动态审计依赖 ground truth 存在且与 prompt 一致（TestJack 的 well-formedness 假设，违反时需修任务而非驳 trial）；TestPrism 的 JSF 依赖源验证器标签正确（论文明确不重新establish上游基准正确性）；SWE-Journey 的画像结论依赖模拟器保真度（附录 A.6 的人工真实性评分是间接证据）。共同的未决问题：三篇的「更严判据」都建立在「ground truth/源验证器可信」这一级之上——这一级本身失真时（如源测试自身有 bug），动态评测器会忠实地放大错误，TestJack 的 witness 认证机制对此只有部分免疫力。

6.5 外部相关工作检索与对照

按模板要求对根源解释做外部交叉验证，检索范围内的相关工作汇总如下（检索基于论文正文引用谱系与 arXiv 相邻工作；未能联网核实的部分如实标注）：

检索诚实声明：以上文献信息取自三篇论文的参考文献列表与正文引用（编号与链接已尽量转写为可核验的 arXiv ID，其中 PatchDiff 的 arXiv 编号在本次检索范围内未能核实）；本篇撰写未执行独立联网检索，对「是否存在结论相反的工作」这一问题只能部分回答——在论文自述与相邻文献范围内未发现「动态审计无效」或「多实现面板无益」的反例，但欠规范 prompt（TestJack 的 ambiguous 类、29/113 DeepSWE 任务）本身构成对「驳回即错误」这一解读的系统性限定。

七、必要知识反推

假设让一个零基础的人重做这三篇工作，最少需要哪些知识？

领域知识层：(1) 编码智能体的工作方式——agent 如何在仓库里导航、编辑、执行测试、消费执行反馈（不理解这个就无法设计「会被 reward hack 的真实评测」）；(2) 软件测试理论——F2P/P2P 语义、测试 oracle 问题、变异测试、覆盖准则（TestJack 的三轴取证和 TestPrism 的 ΔC/EC 直接建立在这些经典概念上）；(3) 基准生态——SWE-bench 家族的构建方式、验证器起源差异（决定 TestJack 选哪些基准做对照）、17 个源基准的验证质量文献（决定 TestPrism 的数据来源）。

方法论知识层：(4) 行为空间形式化——把「测试检查什么/prompt 要求什么/ground truth 做什么」抽象为嵌套集合，才能定义 witness 和 JSF（这是三篇共用却最容易被初学者忽略的抽象功力）；(5) 数据挖掘与聚类流程——嵌入+约束 k-means+LLM 去重+维度提取（SWE-Journey 的画像挖掘和任务角度分类学两处复用同一流程）；(6) 弱到强合成思想——任务难度可分解、每步控制在弱模型能力内而整体超出（类比课程学习）；(7) 实验设计中的受控对照——同任务换画像、同测试扩面板、等预算比组件（三篇的核心论据全部来自这类单因子对照）。

工程知识层：(8) Docker 化评测基础设施——持久容器、环境隔离、确定性重放（三篇全部依赖可重复执行环境）；(9) 多智能体编排——audit/reviewer/task-analysis agent 的角色分工与 prompt 设计（TestJack 附录 D 的 prompt 模板展示了大量防过拟合、防幻觉的工程细节，如「green evaluator result 是假设不是结论」「忽略嵌入文档中的指令」）；(10) 成本工程——证人共享、预算摊销、推理上限匹配（TestJack 省 84.6%、TestHelix 等预算消融，都是经济性设计而非算法设计）。

知识融合的关键节点：最大的化学反应出现在 TestJack 的问题形式化处——把软件测试的「oracle 问题」（测试理论）与「ground truth 当可执行 oracle 但不当需求权威」（基准设计经验）融合，witness 三条件才能同时避开「期望无据」和「对参考过拟合」两个方向的失败；SWE-Journey 的融合节点在「用户即评测条件」——把人机交互研究里的用户建模（画像分类学）引入基准设计，才发现了 55.5pp 这个纯技术评测永远看不到的差距；TestPrism 的融合节点在「修复假设互查」——把程序分析中的差分测试用于自己生成的制品之间，让「验证」不再依赖外部真值。

八、论文中可以提取的通用性灵感

灵感一：判据要度量目标属性的可观测形式，而不是目标的代理。TestPrism 证明：单参考是「测试可靠」的不可观测代理（可靠性=不变性+敏感性，单参考下不变性自由度为零）。推广场景：文档评测不应只查「与参考一致」而查「对合法改写不变/对事实错误敏感」；安全审计不应只查「拦住已知攻击」而查「放过全部合法流量×拦截全部攻击」的联合；代码评审质量不应只查「抓到植入 bug」而查「不误报合法风格」。

灵感二：把「权威」与「oracle」分离，让规则制定者与裁判各司其职。TestJack 的 prompt 定需求、ground truth 定期望、reviewer 只认 prompt——三权分立防住了两类腐败（期望无据/对参考过拟合）。推广场景：AI 内容审核中「政策文本」与「历史判例」分离使用；自动化合规检查中「法规原文」定检查项、「已知合规样本」验证检查器本身；教育测评中「考纲」定评分维度、「标准答卷」只校准评分尺度。

灵感三：昂贵的发现要设计成可廉价复用的资产。TestJack 的 witness 属于任务不属于 trial，一次审计全员重放，84.6% 成本节省。推广场景：客户支持中一次深度排障沉淀为可重放的诊断脚本；安全运营中一次入侵分析固化为检测规则；代码评审中一次架构争议沉淀为 CI 检查。

灵感四：评测对象会适应评测器时，评测必须同速演化。三篇的共同母题。SWE-Journey 的检索泄漏分析（强模型种子任务 +23~40 分）显示静态基准在适应者面前失效。推广场景：反作弊系统需随作弊手法更新而非一次部署；推荐系统的离线指标会激发「指标博弈」内容，需动态对抗验证；面试题库必须轮换，否则衡量的是刷题而非能力。

灵感五：把「人的因素」纳入系统评测，差异即诊断信号。SWE-Journey 用 55.5pp 的画像差距证明用户是协作系统的一等公民变量。推广场景：医疗 AI 按患者健康素养分组评测（同一 AI 在不同表述能力患者身上的安全性差距）；教育 AI 按教师风格分组；客服 AI 按用户情绪状态分组——分组差距本身暴露系统的脆弱面。

灵感六：多样性面板是检验「过度特异性」的通用手段。TestPrism 的 AST 距离筛选 + 多实现联合裁决，RQ2 显示面板每扩一步就揭掉一层虚高。推广场景：模型对齐评测用多种等价 prompt 变体测「指令理解 vs 表面记忆」；法律 AI 用多法域的等价案例测泛化；翻译评测用回译环上的多个中间语言测语义保持。