How Do LLM Agents Actually Get the Flag? Trace-Level Provenance for Agentic Offensive Security Evaluation 精读

论文链接：How Do LLM Agents Actually Get the Flag? Trace-Level Provenance for Agentic Offensive Security Evaluation 发表时间：2026年8月 机构：NYU Tandon School of Engineering、NYU Abu Dhabi、CISPA（德国亥姆霍兹信息安全中心）、IIIT Hyderabad（印度）、IIT Tirupati（印度）——跨国纯学术合作，无企业参与 领域标签：攻防安全评估、基准审计、LLM Agent

一、论文背景

要理解这篇论文，先要理解它审计的对象——CTF 夺旗赛。

**CTF（Capture-The-Flag，夺旗赛）**是网络安全领域最经典的竞技形式：主办方部署一系列带有故意漏洞的靶机或谜题，每个挑战藏着一个特定格式的字符串（flag，如 flag{...}），参赛者需要真正找到并利用漏洞才能读出这串字符。CTF 覆盖多个类别：Web 漏洞利用（web）、二进制漏洞利用（pwn）、逆向工程（rev）、密码学（crypto）、取证（forensics）和杂项（misc）。近年来，LLM Agent 已经能在 shell 环境里自主执行多步命令、调用工具、规划攻击路径，解出过去需要资深人类选手才能搞定的挑战，于是 CTF 基准（如 InterCode-CTF、CyBench、HTB、CTFTiny）成了衡量"AI 攻击能力"的核心试验场。

但这里藏着一个被普遍忽略的问题：flag 正确 ≠ 真的利用了漏洞。

现有评估把每次运行压缩成一个二元判断——提交的 flag 是否与 ground truth 匹配。可对现代大模型来说，同一个正确的 flag 可能来自完全不同的路径：

1. 真实利用：执行了预期中的漏洞利用，从目标环境读出 flag；
2. 直接暴露：flag 恰好写在环境某个文件里，strings、grep 一下就看到了；
3. 记忆检索：挑战或解法在训练数据里见过，直接背出答案；
4. 外部查询：去 GitHub 翻主办方的公开 write-up 抄答案；
5. 猜测与无证据断言：运气好猜中，或者推理链里"凭空"写出 flag。

传统评分把这一切折叠成同一个"解决"，系统性高估了模型的网络安全能力。污染与记忆研究（如 CTFusion 发现给 agent 加上网搜索后得分从 12.59% 涨到 24.07%，且部分提交的 flag 确实来自公开解法）已经从数据侧敲响警钟，但这些方法只在总体统计层面刻画污染，无法回答那个更根本的问题：当 agent 提交了一个正确的 flag，有什么证据表明它真的做了预期的利用？ 答案在执行轨迹（execution trace）里——而此前的评估体系从不看轨迹。这就是本文的出发点。

二、论文定位和关联工作

论文将自己放在三条研究脉络的交汇处。

谱系一：CTF 作为评估单元

• InterCode-CTF（2023）：首个面向语言 agent 的交互式 CTF 环境，100 个 picoCTF 任务跑在 Bash shell 里，GPT-4 解出 40 个但困于需要多步调查的挑战。
• NYU CTF 系列工作（Shao et al. 2024）：把评估推向竞赛级难度，对比全自动运行与人类辅助运行。
• Fang et al. 2024 / Happe & Cito 2023：从解题走向真实攻击——无需人类指导利用在线 Web 应用、同时产出攻击计划与执行命令的系统。
• CAIBench（2025）：超过 10,000 个实例的元基准，发现"模型掌握安全知识"不能转化为"攻防能力"。
• CTF-Dojo（2025）：从公开制品自动生成 658 个容器化挑战，用 486 条执行验证过的轨迹训练 agent，绝对提升 11.6%。

关键连接点在 CTF-Dojo：它的轨迹是靠产生的 flag 来"验证"的——也就是说，通往 flag 的路径在被采纳为训练信号之前从未被检查过。如果轨迹本身有水分，这个水分会被直接蒸进模型里。

谱系二：效度批评与污染证据

• Happe & Cito 2025 的系统综述指出：大多数 LLM 攻击安全原型只发布成功计数，测试台与实验设计差异太大无法比较，领域缺乏基线、更丰富的指标和行为的定性分析。
• Dong et al. 2024 的污染研究表明：记忆 benchmark 内容会抬高测量性能且极易被误认为推理，但已有检测器只读 benchmark 级输出统计，对单次求解不给出判决。
• CTFusion（2026）量化了 CTF 中的效应：复用的 NYU CTF Bench 上 14.4% 的得分远高于真实比赛挑战的 6.3%。

这些工作刻画了尝试的总体，但说不出哪一次求解是真实挣来的——而这正是执行轨迹能建立、总体统计不能建立的区分。

谱系三：执行轨迹的行为分析

最接近本文的是 CyBiasBench（2026）：记录 5 个 agent 对 3 个目标的 630 个会话，发现每个 agent 无论怎么提示都集中于 10 个攻击家族中的窄小子集。但它关心的是偏好（preference，agent 倾向用什么攻击）；本文关心的是凭证（warrant，轨迹中记录的动作是否支撑提交的 flag）。这个区分很关键：有偏好的 agent 仍可能诚实地解题，无偏好的 agent 也可能提交一个背出来的 flag。

定位总结：

据作者所知，此前没有任何工作提供"预期利用确实发生了"的单次尝试级证据，更没有把这种证据跨模型聚合去测量一个 benchmark 到底在测什么。

三、问题定义

论文的核心洞察是把"能力评估"问题重构为"凭证“问题。

具体问题：agent 提交了正确 flag，如何判断它是否真的执行了预期攻击？

深层结构：flag 的首次出现（where it first appeared）与来源（where it came from）才是决定性信息。“flag 是否出现"是平凡的；“flag 如何到达"才是关键。这在形式上等价于数据溯源（provenance）问题——数据库领域用血缘（lineage）追溯一条记录由哪些操作产生，这里用轨迹追溯一个 flag 由哪类行为产生。

形式化定义：

• 给定：执行轨迹 $T = (e_1, \ldots, e_n)$，其中每步 $e_i = (a_i, o_i)$ 是一次工具调用 $a_i$ 及其观察窗口 $o_i$；
• 判定：flag 溯源 $\pi$——首次出现 $f$、其来源 $\sigma \in \{\text{environment}, \text{external}, \text{reasoning}\}$，以及是否存在先于 $f$ 的利用行为 $\xi$（exploitation act，第一个真正利用目标靶机的步骤）；
• 求解：solve profile $P(T) = \{(e_i, z_i)\}_{i=1}^n, \xi, f, \sigma, s$，其中每步带标签 $z_i = (\phi_i, \tau_i)$（PTES 阶段 + 标准化技术），$s$ 为提交。

溯源规则（判定表）：

这个抽象的精妙之处有三点：第一，它不依赖参考解——$\xi$ 锚定在"已演示的深度"而非已知路径上，所以适用于没有标准答案的黑盒挑战；第二，它把"验证答案"与"验证产生答案的执行"分离，正中现有 benchmark 的盲区；第三，它是可审计的——每个判决都回链到轨迹里的具体动作和观察，而不是一个不可解释的模型输出。

四、问题解法

ctf-abacus 的流水线分五个阶段，每个组件的输入输出如下。

4.1 轨迹收集与线性化：把多 agent 运行摊平成时序证据

类比：就像把一家公司多部门并行的邮件流整理成一条按时间排序的台账。

被评估的 agent 是 D-CIPHER——一个规划器（planner）与多个执行子 agent 交错运行的系统。框架把它扁平化为时间有序的步骤序列 $T = (e_1, \ldots, e_n)$：每个执行子 agent 的步骤被拼接回派生它的规划器委派处。只作用于路由、不接触目标的控制操作被丢弃；推理消息不算步骤但保留供溯源用——因为 flag 可能最先在推理文本里冒头。每步产出"证据珠”（evidence bead）：动作、真实输出、来源、顺序。

4.2 步骤标注：PTES 阶段 × 标准化技术

每步打上标签 $z_i = (\phi_i, \tau_i)$：

• $\phi_i$——PTES 渗透阶段。PTES（Penetration Testing Execution Standard，渗透测试执行标准）是业内公认的渗透流程规范，本文使用其核心阶段序列：Pre-engagement（准备）→ Intelligence Gathering（情报收集/侦察）→ Threat Modeling（威胁建模）→ Vulnerability Analysis（漏洞分析）→ Exploitation（利用）→ Post-Exploitation（后利用）→ Reporting（报告）。阶段构成一条 1→5 的深度轴，agent 是否"爬"到了 Exploitation 深度，是能力的关键信号。
• $\tau_i$——类别专属标准化技术，取自安全行业知识库：Web 类用 OWASP WSTG 与 Top-10；二进制利用与逆向用 CWE（通用弱点枚举）、CAPEC（攻击模式枚举）与 MITRE ATT&CK；密码学与取证用 NIST SP 800-115/800-86。

关键设计是标签开放集（open-set registry）：无法匹配的动作会生成候选技术，经人工核验并与现有标准对齐后加入注册表。这保证框架不会把未见过的行为硬塞进错误类别。

4.3 flag 溯源与验证：只推断一个量，其余全部确定性读取

框架刻意把需要推断的量压到最少：$f$（首次出现）、$\sigma$（来源）、$s$（提交）都从轨迹确定性读取；只有 $\xi$（利用行为）需要推断，由一次推理感知（reasoning-aware）的扫描完成，同时丢弃测试 flag、脚手架读取与记忆读取等干扰。然后按第三部分的判定表得出 $\pi$。框架报告的是溯源 $\pi$ 而非 flag 存在性——这是与常规评估的根本区别。

4.4 三重验证：双 judge + 盲审审计 + 人工裁决

因为 $\xi$ 是推断出来的，论文选择"验证而非断言”：

1. 双 judge 独立标注：Claude 与 GPT 两个不同家族的 judge 各自从动作与观察（不给推理）独立标注。双家族的意义是防止偏袒——同时跑两个 judge，任何一个都无法包庇"自家"求解器。
2. 盲审家族匹配审计：对每个重构结果按轨迹打 0-100 的保真分（fidelity），衡量其阶段、技术、flag 事件标注与证据的契合度。平均 98.3/100。
3. 安全专家抽样复核：研究员对 10% 样本（N=92）重新判决，隐藏 $\pi$ 判决与所有枢纽事件——与流水线在 genuine-solve 上 93.5% 一致、undemonstrated 上 86.7% 一致。
4. 人工裁决：确定性方法解决不了的案例交人工。127 个推理来源的 flag 最终裁决为 derived（推得）115、recalled（记忆）9、leaked（上下文泄漏）1、guessed（猜中）1、unclear 1。

4.5 聚合：挑战签名

把同一挑战在多个模型上的 solve profile 聚合成挑战签名（challenge signature）：如果六家模型恢复同一个 flag 的方式各不相同——有人真实利用、有人直接读到——那么这个挑战的"效度"就不是挑战自身的固定属性，而是挑战与求解器的交互。这把基准审计从拍脑袋变成了可测量的实证问题。

五、评估指标与实验证据

实验规模

• 被评模型（6 个）：Claude Opus 4.8、GPT 5.5、Gemini 3.1 Pro、GLM 5.2、DeepSeek V4 Pro、Qwen3.7 Max——评估当时最强的一批，保证结论反映有能力的 agent 而非某一血统；
• judge（2 个）：Claude Opus 4.8 与 GPT 5.6 Sol，来自不同家族；
• 基准（4 个）：HTB、InterCode-CTF、CTFTiny、CyBench，共 240 个挑战，覆盖 web/pwn/crypto/rev/forensics/misc 六大类；
• 总计：1,435 次尝试，排除 47 次不可评估后得 1,056 次 flag 恢复、双 judge 视角下 2,870 个 solve profile；
• 每次尝试 API 成本上限 3 美元，超出计为失败。

指标体系

1. 主指标——溯源份额：恢复 flag 中真实利用（genuine）占的比例。这是证明核心论点（分数有水分）的指标。
2. 辅助指标：PTES 深度 $d$、单调性 $m$（推进到更深阶段的转移比例，用于定义 diagonal/zigzag/baseline 三种轨迹几何）、有效技术数 $\tau$、保真分 fidelity。
3. 消融/反事实指标：廉价代理基线的判别力（直接检测器 F1、run 级特征 AUC）、re-scoring 后的分数变化与排名相关系数、方差分解 $\eta^2$。

关键实验证据

证据一：真实利用只占 62-87%。按基准分解，trace 验证的利用仅占恢复 flag 的 62%（Cybench）到 87%（HTB 边界内总体区间）；总体构成是 72.9% 执行型攻击 + 10.9% 人工验证推理 + 16.2% 无支撑。传统 pass@N 把这四类全部计为"解决”。unsupported 份额跨度极大：CTFTiny 仅 8.6%，Cybench 高达 31.0%——说明基准难度与证据效度是两个独立维度（Cybench 恢复率最低但水分最大）。

证据二：水分主要来自挑战设计而非污染。151 例无支撑恢复源于直接暴露（flag 就躺在环境里），仅 17 例涉及记忆或外部检索——8.9 倍差距。这改写了默认叙事：大家一直担心的"数据污染"其实不是主要漏水口，挑战自身的暴露缺陷才是。

证据三：re-scoring 普遍压分且重排排名。用执行支撑标准重新计分，每个模型下降 17.4-22.6%，池化排名相关系数降到 0.60；基准级相关系数从 HTB 的 -0.06 到 Cybench 的 0.88 不等。方差分解显示：基准身份解释的变异 $\eta^2 = 0.0369$，约为随机期望（0.0036 量级）的十七倍；模型身份仅 0.0022，低于随机期望。结论：验证性重计分应定位为基准特定的校准而非模型特定的惩罚；修正幅度从 CTFTiny 的 11.4% 到 InterCode 的 29.8%。

证据四：行为指纹截然不同。执行支撑的恢复到达 Exploitation 阶段 88.7% vs 无支撑 41.6%；Reporting 阶段出现在 1.8% vs 24.8%（无支撑的运行更常直接奔提交/汇报而去）；author_solve_script（编写并运行解题脚本）技术出现率 35.7% vs 12.2%，flag_submission 则反过来（1.8% vs 23.4%）。挑战签名方面：196 个有恢复的挑战中 46.4% 完全支撑、40.3% 混合、13.3% 无支撑；承认人工验证的推得后无支撑降到 5.1%，但仍有 33.2% 混合——跨模型不一致不能全靠"要求可见执行"解释。

证据五：基准画像。CTFTiny 最优（genuine 占 86%、恢复率 88%）；Cybench 技术面最宽（$\tau=9$）却恢复最少（36%）、genuine 最低（62%）——技术广度不是能力，能力峰值出现在中等广度（CTFTiny、HTB），“够用的技术去承载利用，又不至于多到迷失”。

数据速览表

每个实验设计都直接服务核心主张：溯源份额证明水分存在；暴露 vs 检索的 8.9 倍差距证明水分来源；廉价代理失败证明必须做全轨迹重构；方差分解证明该修的是基准不是模型。

六、效果优势的根源解释

本文的"效果"不是跑分超过 baseline，而是判别能力：为什么 ctf-abacus 能把 16.2% 的水分从分数里剥离出来，而廉价方法做不到？因果链如下。

对比对象：三种廉价代理——（a）直接关键词检测器（定位 flag 首次出现，按产生命令的关键词分类）；（b）run 级工具组成统计特征；（c）最佳单一语义特征。它们曾经"有效"是因为在污染检测的总体统计场景里，聚合信号足够粗糙也够用。

baseline 的根本局限：关键词检测 F1 只有 0.28，几乎不提供区分（它给 28.2% 的执行支撑恢复和 29.0% 的无支撑恢复打了同样的标签）。机制层面的原因：同一个动作的含义取决于前置证据与环境响应。strings ./binary 既可能是合法的逆向分析，也可能恰好暴露 flag——区别在于这一步之前 agent 是否完成了漏洞分析、目标是否返回了利用后的响应。孤立看命令、或者压缩成标量摘要，都会丢掉动作与观察之间的有序关系，而溯源判断恰恰就活在这层时序结构里。run 级特征 AUC 最高 0.617 也印证：不是特征选得不好，是 run 这个粒度本身装不下判决所需的信息。

本文方法的根本性改变：

1. 序列级动作-观察证据链重构：线性化保留了完整时序，使"ξ 是否先于 f"“f 的来源是环境还是推理"这类有序关系查询成为可能。这改变了信息的可用结构——从无序的命令集合变成可回答先后与因果问题的证据链。
2. 双 judge 独立标注 + 盲审 + 人工裁决：这是对推断环节（ξ）的约束改变。单一 judge 可能家族偏袒或系统性误判；双家族互相制衡、盲审切断先验、人工兜底难例，使推断误差被三层机制吸收（最终 fidelity 98.3、专家一致约 90%）。
3. 确定性读取优先：$f$、$\sigma$、$s$ 全部从轨迹直接读出而非推断，把"模型猜错"的风险面积压缩到只剩 ξ 一个量。

因果链：序列级重构 → 保留"同一命令在不同前置证据下含义不同"的时序上下文 → 溯源判决所需的有序关系可查询 → 廉价方法无法区分的执行支撑/无支撑恢复（F1=0.28 vs fidelity 98.3）得以分离 → 16.2% 的水分、151 例直接暴露、40.3% 的混合挑战签名从总分中被剥离出来。

反事实验证：如果退回命令级关键词检测，判别力塌缩到 F1=0.28——28% 与 29% 的误标率意味着几乎等于掷硬币；如果退回 run 级摘要，AUC 0.617 的最佳单特征也远不足以做单次判决（论文自己强调那些行为差异是"总体模式，不是可靠的逐 run 检测器”）。这两条反事实共同反证：没有序列级重构，就没有溯源。

还有一层更深的优势：挑战签名。单 run 判别之上，跨模型聚合让"效度是挑战与求解器的交互"这一结构性发现成为可能（robust_cbc 与 rev-76 终端得分相同、证据性质完全相反）——这是任何 run 级方法在原理上都无法产出的结论。

七、必要知识反推

假设找一个完全没有相关知识的人来做这个工作，他最少必须掌握什么？

领域知识层

• CTF 的运作机制：flag 格式、挑战类别、提交判定——不理解"夺旗"的规则就无法定义什么是"预期解法"；
• 渗透测试方法论：PTES 七阶段的语义与先后关系，否则无法把"能力"操作化为"到达 Exploitation 深度"；这是把安全社区共识变成可计算深度轴的关键；
• 安全知识标准化体系：OWASP WSTG/Top-10、CWE、CAPEC、MITRE ATT&CK、NIST SP 800-115/86 各自覆盖什么类别、粒度如何对齐——技术标签 $\tau$ 的字典必须从这些真实标准里长出来，开放集注册表才站得住；
• CTF 基准生态：HTB、InterCode-CTF、CTFTiny、CyBench 的构造方式、执行环境与交互复杂度差异——选这四个才能检验结论的跨设置普适性。

方法论知识层

• 污染与记忆研究脉络：知道 Dong et al.、CTFusion 等已经证明了什么、缺什么（单次判决缺失），才找得到自己的切口；
• 数据溯源（provenance）的形式化思维：首次出现、来源分类、血缘判定这套数据库式思维，是整个 $\pi$ 判定表的原型；
• LLM-as-judge 的偏差与制衡：家族偏袒风险、盲审设计、保真分审计——不理解这些就不敢把 judge 放进评估管线的关键位置；
• 测量论基础：方差分解（$\eta^2$）、Cramér’s V、排名相关——支撑"水分归基准不归模型"的定量结论。

工程知识层

• 多 agent 轨迹的采集与线性化：D-CIPHER 的 planner-executor 结构、按委派拼接的时序重构、证据珠 schema 设计；
• 成本与可复现控制：3 美元/次的上限、trace/prompt/taxonomy 版本化（图 2 强调 reproducible：trace、prompt、分类法全部可复现）；
• 人机协同裁决管线：什么时候确定性读取、什么时候交 judge、什么时候交人工——把人工量压到 127 个推理来源案例的设计本身就是工程判断。

知识融合的关键节点

1. “凭证 vs 偏好"的概念切分：把 CyBiasBench 式的行为偏好分析与本文的凭证分析区分开，需要同时懂行为分析文献与法律式的证据思维——这一步定义了问题的独特性；
2. PTES 深度轴 × 溯源判定表的合流：渗透方法论提供"什么是利用"的领域语义，溯源思维提供"如何形式化判定”——两者接上才有 $\xi$ 与 $f$ 的先后关系查询；
3. 开放集标注 + 三重验证的信任设计：安全标准知识（领域）、judge 偏差知识（方法论）与管线工程知识在同一处融合——让一个含推断环节的系统达到 98.3 保真与约 90% 专家一致的，正是这三者的化学反应而非任何单一知识。

八、论文中可以提取的通用性灵感

灵感一：结果正确不等于过程成立——评估要从"验答案"升级为"验凭证"

核心思想：任何以最终结果判分的评估（答对即得分）都存在"凭证缺口"，应补一条"产生该结果的执行是否支撑结论"的验证层。

论文证据：1,056 次恢复中 16.2% 无任何执行支撑；pass@N 把 genuine/undemonstrated/looked-up 全部计为解决；re-scoring 后每模型降 17.4-22.6%。

推广场景：代码生成（测试通过但代码根本没实现规格）、数学推理（答案对但推导无效）、数据 Agent（SQL 结果对但 join 逻辑错——同批的 Trace Integrity 论文正是这个问题）、科研自动化（结论可复现但实验从未真正执行）、法律文书生成（结论有依据但引用是编造的）。

灵感二：同一动作的含义由前置证据决定——序列结构是不可压缩的判别信息

核心思想：当判断目标是"这个行为是否支撑那个结论"时，命令级/摘要级特征在原理上不够，必须保留动作-观察的有序关系。

论文证据：strings ./binary 在不同前置证据下含义不同；关键词检测 F1=0.28、run 级特征 AUC≤0.617，而序列级重构 fidelity 98.3。

推广场景：RAG 引用验证（同一段引用在有/无检索证据时可信度不同）、Agent 工具调用的安全审计（同一条 rm 命令在备份后与未备份时性质不同）、自动化交易监控（同一笔下单在有尽调记录与无记录时意义不同）、医疗 AI 处方审核（同一处方是否有检查证据支撑）。

灵感三：评分水分要先做来源归因，再谈修复——不同来源需要不同处方

核心思想：“分数虚高"是一个混合病症，直接暴露、记忆污染、外部检索需要完全不同的治理手段，聚合统计无法区分它们。

论文证据：直接暴露 151 例 vs 记忆/检索 17 例（8.9 倍）——主要漏水口是挑战设计而非数据污染，修复重点应是改造暴露 flag 的任务而非清洗训练数据。

推广场景：招聘笔试（泄题 vs 背题需要不同对策）、模型排行榜（污染 vs 刷榜的治理路径不同）、学术评审（审稿人偏好 vs 利益冲突）、任何"达标率"治理（先分解不达标的真实来源再定策略）。

灵感四：把推断面积压到最小——能确定性读取的绝不推断，推断的必须三重验证

核心思想：混合管线（规则读取 + 少量推断 + 分层验证）比全推断管线更可信：每多一个推断量，就多一分不可控误差，也多一分验证负担。

论文证据：$f$、$\sigma$、$s$ 全部确定性读取，只有 $\xi$ 推断且经双 judge + 盲审 + 10% 专家复核 + 人工裁决四层约束。

推广场景：金融风控（能用账目直读的不要用模型估）、自动化测试（断言可静态判定的不要靠 LLM 判）、内容审核（规则可拦截的先走规则，模型只处理剩余灰区）、Agent 可观测性（确定性事件打点优先于事后语义重建）。

灵感五：被评对象的身份（基准）可能比评分对象（模型）更该为分数波动负责

核心思想：当评估出现系统性偏差时，方差分解能告诉你该修评测集还是修被评者——$\eta^2$ 的量级对比是决策依据。

论文证据：基准身份 $\eta^2=0.0369$（17 倍随机期望）vs 模型身份 0.0022（低于随机期望）；修正幅度基准间差 11.4%-29.8%，故重计分定位为基准校准而非模型惩罚。

推广场景：教育测量（题目质量 vs 学生能力的方差归因）、A/B 测试（实验组定义 vs 用户群体的归因）、多数据集模型评测（排行榜波动先查数据集再查模型）、体育排名（赛制 vs 选手的归因分析）。

灵感六：聚合个体判决成"签名”，把效度从事后争论变成可测量属性

核心思想：对同一被测项跨多个被评者聚合过程级判决，能揭示"该项测到的东西是否稳定"——效度成为交互属性而非固定标签。

论文证据：挑战签名显示 40.3% 混合（同一挑战不同模型走不同路径）；robust_cbc 与 rev-76 终端得分相同而证据性质相反；仅 5 个挑战出现全员直接暴露。

推广场景：面试题库审计（不同面试官是否考到同一能力）、Kaggle 竞赛设计（不同队伍是否都在用 leak）、单元测试质量（不同实现是否都在测同一分支）、benchmark 设计辅助（用解题路径签名筛除可被捷径破解的任务）。

附录：两个代表性案例

论文的两个案例研究直观展示了为什么 flag 匹配不够用：

1. 推理来源恢复（InterCode misc 挑战 msc_7，DeepSeek V4 Pro）：agent 判断链接的 warm 二进制能通过 help 选项揭示 flag，但反复下载失败（主机无法解析），本地搜索只找到空文件，二进制从未执行。执行器却声称该挑战"很有名"，直接从推理中写出 flag。首次 flag 出现在推理里、且无前置利用行为——被正确判为非 genuine。
2. 外部查询恢复（Cybench web 挑战 back_to_the_past，Claude Opus 4.8）：目标 DNS 反复解析失败后，agent 转向挑战组织者的公开 GitHub 仓库，从 write-up 中读到预期解法（下载暴露的 .git 目录、检查 Git 历史、checkout 提交 4ba5380、读 flag.txt），并直接得到正确 flag。预期流程被"识别"了，但没有任何一步真正作用于目标环境。

两个 run 的终端得分都是"解决"，但都没有演示挑战想要的攻击能力——这正是 ctf-abacus 要从分数里挤出的那部分水分。