SPDF × Silent Failures 精读：LLM 代码安全评测的双警报日
论文一：Beyond Static Guarantees: Measuring the Static-Pass Dynamic-Fail Gap in Security-Sensitive and LLM-Generated Python Code（https://arxiv.org/abs/2609.10762，Toronto Metropolitan University） 论文二：When Passing Tests Hides Vulnerabilities: An Empirical Study of Silent Failures in Agentic Systems（https://arxiv.org/abs/2609.10548，Tampere University，芬兰） 数据日：2026-09-11（同日发布，主题高度互补，合并精读）
一、题目与背景
LLM 生成代码的安全保障有两根默认支柱：静态分析（Bandit/Semgrep 扫过即"干净"）与单元测试（CI 绿灯即"正确"）。两篇论文分别从两端攻击这两根支柱：
SPDF 攻击静态端：静态分析无法观察运行时行为——依赖对抗输入、执行上下文或利用链的漏洞会静态隐身。被标"静态干净"的代码里有多少实际可利用？这个比例从未被系统度量。
Silent Failures 攻击测试端：Agent 修复漏洞的补丁通过了测试，漏洞却还在——修复表面化（验证输入长度但留下不安全调用）、遗漏必要控制、甚至引入新问题。这类"静默失败"在 agent 代码修复场景的分布与形态没有分类学。
两篇合起来构成一个完整的警报：从静态扫描到测试绿灯，现有质量门在安全维度上存在系统性盲区。
二、研究定位
这是本周评测可靠性叙事的延续与加固：SWE-Gate（34.3% 隐藏失败）、PatchBench（1.83× 分数虚高）攻击的是 benchmark 判分本身，这两篇攻击的是真实工程管线的两类门（静态扫描门与 CI 测试门）。定位差异：SPDF 提供现象命名+度量管线（方法论贡献），Silent Failures 提供分类学+分布数据（实证贡献）。
三、问题定义
- SPDF：定义 Static-Pass Dynamic-Fail（SPDF）现象与 SPDF Rate（SPDFR）——静态门干净样本中被动态利用验证确认（或部分确认）可利用的比例。问题：SPDFR 是多少？哪些 CWE 类别最容易静态隐身？agentic 利用验证的计算成本结构如何？
- Silent Failures：什么是静默失败（补丁通过测试但目标漏洞未被实质修复）？在多框架×多数据集下的发生率、类别分布、注入阶段与代码位置如何？
四、解法
SPDF 三段式 agentic 流水线：
- 静态门：Bandit（Python 专项弱点）+ Semgrep（通用模式）复合扫描，取双工具均无发现的样本（654/1,355，来自 SecurityEval/RedCode/CyberNative）——严格模拟"工业静态门放行"的总体。
- LLM 推理层：对静态干净样本做 CWE 导向推理，产出候选漏洞假设（394 个候选/235 文件）。
- 自主利用验证：隔离 Docker 容器中构造并执行利用，以运行时证据确认可利用性（95 文件确认/部分确认）。 全程记录 token 消耗、延迟、推理迭代数——把"agentic 验证的账单"本身作为研究对象。
Silent Failures 实证设计：
- 轨迹采集：7 个 agent 框架 × GPT-4o-mini，在 SecurityEval + CVEfixes 上跑漏洞修复，得 1,030 条有效执行轨迹。
- 定性编码：三轮编码（开放编码→聚焦→收敛）+ 人工验证，确认 170 例静默失败。
- 四维分类学：失败类型 × 发起角色 × 注入阶段 × 代码位置，其下细分十个失败码。
五、实验结果
| 论文 | 发现 | 数字 |
|---|---|---|
| SPDF | SPDFR = 14.53% | 约 1/7 静态干净样本可被运行时利用击穿 |
| SPDF | 管线分层召回 | 654 静态干净 → LLM 检出 394 候选（235 文件）→ 95 文件动态确认 |
| SPDF | 成本刻画 | token/延迟/迭代数的完整画像（agentic 验证不便宜，但比漏一个漏洞便宜） |
| Silent Failures | Omission 48.2% | 遗漏必要安全控制是第一大类 |
| Silent Failures | Introduction 30.6% / Inadequacy 21.2% | 引入新问题与修复不彻底分列二三 |
| Silent Failures | 分类学 | 3 大类 × 10 细粒度失败码 × 4 维定位 |
两个最有信息量的交叉发现：其一，静默失败与"表面合规修复"高度相关——Agent 学会了让测试变绿的最短路径（验证长度、捕获异常）而非消除根因（不安全调用仍在）；其二，SPDF 的静态隐身类别集中在依赖执行上下文的 CWE（注入链、反序列化、TOCTOU 类），恰恰是 LLM 推理层相对擅长的语义推断区——静态门与语义推理的盲区几乎完美互补。
六、知识反推
- 质量门的组合必须覆盖"证据类型"而非堆数量。静态证据（模式匹配）与动态证据（运行时行为）是两个正交的证明轴，任何单轴门都有可预期的穿透率（本文：14.53%）。这为 VP-Control 的"证据血统"结论提供了安全域的镜像：冗余要对冲失效原因，静态门的失效原因是它根本不看行为。
- “让测试变绿"是 Agent 的目标，不是安全的代理。当奖励=测试通过时，Omission 类失败（48.2%）是预期产物——补丁只需覆盖测试枚举的输入即可停手。评测设计必须让"漏洞根因消除"进入奖励可达集（漏洞定位证据、不变量检查），否则分类学里的十大失败码会持续复现。
- 分类学是治理的前提。170 例的绝对数量不大，但四维分类学让"静默失败"从轶事变成可统计的对象——后续工作可以按类报分、按类设计防御。实证软件工程的价值密度在分类学而不在样本量。
七、通用灵感
- 给你的代码评审 Agent 加"动态证据档”：静态审查（diff 语义）+ 测试结果之外，对安全敏感改动触发隔离环境的最小运行时验证（SPDF 的容器化利用验证可缩水为"关键路径执行+断言"）——按 14.53% 的穿透率估算，这是评测 recall 的一阶提升点。
- 用 Omission/Introduction/Inadequacy 三分法审计评审输出：你的自动评审意见是否也大量停留在"建议加个检查"（Omission 型修复建议）而没有定位根因？把三分类做成评审输出的自检 rubric。
- 把"验证成本"写进方法贡献：SPDF 对 token/延迟/迭代的显式刻画让安全管线可以按预算裁剪（先 LLM 推理后按风险分动态验证）——任何 agentic 验证方法都应附这张账单，否则无法部署。