LLM-Attack Suite: A Unified Red-Team Framework for Privacy Evaluation of Split and Distributed LLM Systems 精读

论文链接：arXiv:2610.22722 代码仓库：setloop-io/LLM-Attack-Suite (v2.0) 证据存档：HuggingFace Setloop/LLM-Attack-Suite v2.0 发表时间：2026年10月 机构：Setloop.io（企业研究者 Georgios Politis）+ 独立研究者 Evangelos Pappas 合作；企业与独立研究者联合出品，非高校团队 领域标签：cs.CR（密码学与安全）/ LLM 隐私 / 分割学习 / 红队评测

一、论文背景

1.1 什么是分割学习

大模型推理和微调都很贵，很多机构付不起把 12 层 Transformer 全部跑在本地的算力，也不放心把私有文本发给云端。**分割学习（split learning）应运而生：把模型从中间切一刀，客户端（数据持有方）只跑前几层，把算力大头留给服务器。客户端保留原始文本与 embedding 层，服务器拿到的只是每个 token 位置上的一个向量——激活（activation），即中间层输出的中间表示。训练时，服务器还会把梯度（gradient）**传回客户端，描述"如果中间表示稍微变一点，训练损失会怎么变"。

一个直观类比：你想学做一道秘方蛋糕，但不想让中央厨房看到配方。你在家把原料加工成半成品寄过去，工厂负责烘烤并寄回一张反馈单，告诉你半成品怎么调整会更好吃。快递箱里传递的半成品和反馈单，就是激活和梯度。

问题在于：这两样东西都携带原文信息。激活是原文经过前几层网络后的"指纹"，梯度更是直接指向下一个 token 的方向信号。窃听者如果能读到这些消息，就有可能把私有文本重建出来。

1.2 已有的攻击说明了什么

学术界已经发展出一族"文本重建攻击"：DLG（NeurIPS 2019）、TAG（EMNLP 2021）、LAMP（NeurIPS 2022）从梯度反推输入；Vec2Text（EMNLP 2023）、SipIt（ICLR 2026）从激活反推文本；BiSR（CCS 2024）则把学习型反演器与梯度/激活精修结合。这些工作证明了分割学习的隐私风险是真实的。

1.3 领域的核心痛点：结论不可比

但本文作者指出了一个更深层的问题：不同研究的隐私结论根本没法放在一起比较。原因至少有三个：

1. 观测不同：有的攻击者只看激活，有的还能看梯度；有的假设攻击者知道模型权重，有的不知道。
2. 语料与度量不同：在 Wikipedia 上 60% 的恢复率，和在临床笔记上的 60%，含义完全不同——后者有模板化的规律可循。
3. 防御假阳性：一个防御"看起来有效"，可能只是因为所选的攻击本来就会失败。没有无防御的对照，就无法区分"防御起作用"和"攻击太弱"。

论文里还有一个容易被平均分掩盖的陷阱：平均 token 恢复率 94% 听起来"还行"，但如果攻击者能精确重建 37.77% 的完整文档——包括人名、数字、标识符——隐私语义就完全不同了。一个错 token 就毁掉一份文档的精确重建，与逐 token 平均分，是两种量纲的风险。

这就是本文的出发点：一个隐私评测必须记录什么、控制什么，才能让另一个研究者检查它的结论、公平地比较、并扩展它？

二、论文定位和关联工作

2.1 攻击技术谱系（本文的弹药库）

本文不发明新攻击技术——这些模块多是已有工作的实现或改造。它的贡献在评测协议本身。

2.2 评测框架谱系（本文的对照组）

• VFLAIR-LLM（KDD 2025）：可配置的分割推理/微调 + 攻击防御集合，关注"能跑哪些攻防"；
• garak（2024）：面向 LLM 的安全探测框架，按生成器/探针/检测器组织；
• ML Privacy Meter（2020）：量化成员推断风险。

本文与它们的差异在于专注实验契约：显式声明攻击者的观测与知识、共享捕获流量、链接式对照控制、执行覆盖报告、版本化证据留存。一句话概括：前者解决"有什么工具"，本文解决"实验怎么才算数"。

2.3 作者自身的前序工作

这项工作嵌在作者的两篇前序研究之上：其一对一个真实双节点 split 训练系统的审计（arXiv:2609.04382），发现其前向消息隐私门漏掉了返回梯度通道的泄漏——在 4,096/4,096 帧上精确恢复了真实/诱饵划分，尽管前向隐私门通过；其二（arXiv:2610.04128）系统研究观测与知识授予对逐 token / 逐文档泄漏的影响。本文与其享 GPT-2 主实验的同一证据基座，但目的不同：用该实验来检验评测流程本身。

2.4 同名澄清

套件曾用名 LLM-Attacker，与 Mei et al. 的自动驾驶框架 LLM-Attacker（IEEE T-ITS 2025）重名；v2.0 改名 LLM-Attack Suite，旧软件标识为可复现性而保留。

2.5 定位结论

本文自我定位（也是我的判断）：一篇评测方法学论文，攻击是素材，协议才是主角。

三、问题定义

3.1 从具体场景到抽象问题

具体问题：分割 LLM 的隐私评测乱象怎么治？

论文的洞察是：乱象的本质不是缺攻击或缺防御，而是评测没有被当作一个可显式记录的对象。于是抽象问题变成：

给定一次隐私评测实验，最少需要记录哪些要素，才能让"检查结论、公平比较、后续扩展"三个操作都可执行？

3.2 形式化：评测八元组

论文的回答是把评测定义为八元组：

E = (T, V, O, K, B, C, M, G)

这个抽象的精妙之处有三点。第一，实验对比被约简为分量替换：读梯度 = 改 O，拿到训练后权重 = 改 K，换语料 = 改 C，其余分量钉死。第二，防御有效性被定义为条件命题而非绝对断言——只在测试过的攻击集合与设置内成立。第三，它把"攻击者强弱"从形容词变成了可枚举的坐标，攻击者之间可以按 (O, K, B) 排序。

3.3 类比：给深度学习训练的对照

四、问题解法

4.1 威胁模型：先说清楚攻击者是谁

主攻击者是被动观察者：坐在分割点上只读不改。训练与推理期看激活，训练期额外看返回梯度。默认知识授予是客户端前几层的公开权重（任何人可下载的预训练层）；更强条件是给训练后权重（含微调过的 embedding）。攻击者永远拿不到：私有文本、下一 token 标签、服务器层。论文额外绘制了 14 个观测面（S1 激活、S2 梯度、S3 服务器权重……S14 应用上下文），每个模块声明自己读哪个面。主动服务器、已知明文、密钥求解等更强攻击者由专门模块单独声明特权。

4.2 捕获-重放：把流量变成可复用资产

类比：把分割点上流过的所有消息录像。之后任何兼容的攻击都可以对着同一盘录像带"重放"式地运行，不需要重新训练受害模型。预测结果被留存，独立的第三方可以只对预测重新打分（rescoring），也可以从钉死的输入重新生成预测（regeneration）——这是两种不同强度的检查。这一设计直接支撑了三类研究任务：攻击开发者在新捕获上对比新模块；防御研究者固定评测计划变目标；审稿人在尝试完整复现前先验证留存证据。

4.3 评分与判定规则：一个防御怎样才能"通过"

这是全文最讲究的部分。对每次运行，定义测试攻击包络：

L_run(E) = max_a 100 × [U95(p̂_a) − p₀,a(C)]

其中 p̂_a 是攻击 a 在 n_a 个打分 token 上的恢复率，p₀,a 是"平凡猜测基线"（攻击者校准文本中最常见 token）的恢复率，U95 是单侧 Wilson 上界（z = 2.5392，源自九次已知明文探测、5% 错误预算的历史约定）。要点拆解：

1. 用上界而非点估计：有限样本下，即使攻击恰好等于基线，上界也高于点估计（论文如实报告这个"地板"），小样本时地板本身可能超过 1pp 门限，所以失败判定必须连同区间一起读。
2. 基线按语料分别拟合：代码语料的平凡猜测率 20.31%，Wikipedia 只有 2.64%，不做语料专属基线就会错判。
3. 通过条件是合取：最大超额 ≤ 1 个百分点，且至少 3 个随机种子运行，且存在一个"链接的无防御参考"——同攻击族在无防御条件下超额 > 1pp（即攻击本会成功）。任一缺失，判定为 INSUFFICIENT_EVIDENCE 而非 PASS。
4. 单调性：协议固定后，往攻击集合里加攻击只会抬高或保持包络——新攻击不会让系统"看起来更安全"。
5. 适用边界：token 门不覆盖成员推断、时序、agentic 结果；判决只对声明了的语料、攻击集合与设置生效。

4.4 模块注册表与三类输出

64 个注册模块（另含 3 个编排助手）按家族分组：训练反演、匹配攻击、密钥/预算求解、已知明文、梯度/输出、成员推断、盲源分离、主动/恶意、模型窃取、硬件/链路、推理窃取、完整性/可用性、租户隔离、GenAI 应用、agentic（OWASP ASI）、部署/评测。每次运行输出三类互相独立的东西：记分卡（按声明规则评测量结果）、覆盖报告（每个威胁标记 covered / partial / unmeasured / out-of-scope）、模块验证矩阵（每个实现是参考一致性、改造适配、真实模型资格、合成资格还是未测）。执行失败 ≠ 攻击失败，注册 ≠ 真实验证——两者在矩阵里分开记录。

4.5 证据链

证据程序做三件事：文件对哈希校验、从预测重算指标、从钉死输入重生成预测。可选的哈希链日志能暴露相对留存哈希的编辑/删除/重排。论文明确说明：无签名的哈希链不能认证不可信的生产者，科学有效性来自协议、控制与可复现分析。攻击集合或评分政策的变更产生新版本，旧结果保持可比。

4.6 主攻击是怎么工作的（四步）

1. 学一个解码器：把 32 篇公开文档过一遍自己手里的客户端层副本，得到（激活，token）对，拟合一个 ridge 回归（带大小惩罚的线性映射），从激活映射回 token embedding——相当于自学一本"密码本"。
2. 激活出候选：对每个位置的观测激活，用解码器列出余弦相似度最高的 32 个候选 token。
3. 梯度出候选（联合攻击独有）：下一 token 损失的梯度在前一个位置上指向"下一个 token 该是谁"，因此取前一个位置取反的梯度与 embedding 的最高余弦相似度 16 个候选，与激活候选的 16 个合并（重叠由激活列表回填；首位置无前驱，只用激活候选）。
4. 束搜索：宽度为 2，从左到右扩展两条最优部分文本，把候选推回客户端层重算激活，保留与观测最接近的两条。

关键设计：联合攻击与 activation-only 攻击的候选总数与束宽完全一致，差别只在候选来源——这就是后面能归因"增益来自梯度信息"的原因。

4.7 方法全景表

五、评估指标与实验证据

5.1 指标体系

• 主指标：token 恢复率——所有位置上预测正确的 token 比例（越高越危险）。
• 放大指标：精确文档恢复率——32 个 token 全对的文档比例。它衡量的是"整份文件被拿走"这种灾难性泄露。
• 细分指标：span 恢复率（人名/数字/标识符片段）、困惑度（防御的效用代价）、AUC（属性推断）、结构恢复率（真实/诱饵划分）。
• 门指标：L_run 包络——带 Wilson 上界的最大超额，用于防御的 PASS/FAIL 判定。

5.2 主实验：加梯度到底带来多少

设置：GPT-2 124M，第 3 或 6 层后切分；32-token WikiText-2 段落；每轮 32 篇公开校准 + 128 篇训练 + 256 篇 held-out 评测文档；10 个独立种子训练的模型 × 2 个攻击种子，共 3,680 条记录（3,200 训练态 + 480 显式复用的推理态）。预注册主检验：深度 6 + 公开层下，联合减 activation-only 的 token 增益的 95% 区间下端必须高于 2 个百分点。统计：bootstrap 重采样训练模型与文档，100,000 次重排，种子 93281。

主检验通过；47 个预注册的次级对比（覆盖两种深度、两种权重、8/16/32 候选列表、各对照组）经 Bonferroni 校正后全部偏向联合攻击。

控制组把归因钉死：洗牌梯度（换成别的文档的梯度）93.91%、随机候选（梯度换成随机 token）93.89%——都退回 activation-only 水平甚至略低；只用梯度的 backward-only 启发式 49.98%。增益确实来自梯度携带的信息，而不是"多了一半候选"这种结构性因素。鲁棒性：梯度加 0.1×RMS 高斯噪声后 97.31%，8bit 量化后 97.33%——温和扰动挡不住。

5.3 语料研究：换个语料，结论换脸

同一反演攻击（线性解码、无束搜索），三种语料、各自拟合基线，深度 6 / 推理态 / 3 种子 × 3,072 位置：

语料选择单独就能让恢复率相差 37 个百分点，基线相差近 8 倍。论文谨慎注明：临床结果是"模板化合成笔记"（规律性极强），不等于真实临床记录的恢复率。长文本研究：64/128-token 代码与 Wikipedia 无防御恢复 76.56%–90.22%；σ=15 高斯噪声压到 9.96%–55.05%。

5.4 防御研究：token、文档、效用三种账分开算

• secret mixup（激活掺入诱饵 3:1）：token 仍 83.01%–90.67%，精确文档 ≤1.48%——但人名 span 恢复 47.85%–66.15%（716 个 span / 249 篇文档）、数字 span 93.94%–96.50%，且几何平均困惑度上升 31.8%（深度 3）/ 26.9%（深度 6）。它防住了"整份文档"，没防住"最敏感的片段"，且效用代价可观。
• replica median（三副本取中位数，完整性防御）：token 基本不动（差 2/3 点内），文档恢复最多移动 7.7pp——因为一个错 token 就毁掉整篇，微小逐 token 差异在文档级被放大。
• 压缩防御（PCA / 训练瓶颈，768 维压到 64–256 维）：白盒攻击（知道防御、优化连续 token embedding 穿过真实压缩器）在全部 11 个内部深度上恢复 18.85%–68.59%。压缩到 64 维仍最高恢复约 19%。
• mid-lite（固定随机投影到 64 维，声明攻击者不知投影）：20/100 步训练判定不变；500 步扩展中把反演压到 0.04%–0.85%（低于 4.83%–4.96% 的多数基线）——但训练交叉熵 7.42–7.75 vs 无防御 4.39–4.44，靠的是让模型基本学不动。

5.5 发表攻击一致性再对比：BiSR

先把 BiSR 移植到自己的单缝 harness，与存档参考实现分进程跑 3,072 对新鲜 held-out 预测：3,072/3,072 逐 token 完全一致——先证明移植没走样，再比较。适配对比（各攻击保留自己的固定预算）：

深度 6 / 公开层下 BiSR 差 4.17pp（CI [−4.79, −3.53]）；深度 6 / 训练层下只差 0.02pp（CI [−0.63, +0.58]）。15 个次级对比中 10 负 1 正 4 跨零。没有任何攻击在所有设置下获胜——这正是框架保留多攻击及其预算、而非宣布万能赢家的实证理由。

5.6 测量代码自身的验证

25 个既有开发测试函数参数化扩展为 37 个用例，覆盖 7 组性质（恢复指标、打分一致性、对照资格、观测边界、求解器保真、重采样、证据验证），方法含已知答案夹具、独立计算、故障注入与蜕变测试。全部通过，无失败无跳过。两个细节值得注意：只给打分器改真值文本，BiSR 预测字节级不变（预测器确实看不见标签）；把完美相关的文档列从 2 份增到 500 份，区间保持 [0,1]（复制不产生独立证据）。

5.7 证据如何支撑论点

• 主实验（匹配搜索 + 对照组 + 预注册）证明：改一个协议分量（O），结论就变 → 评测必须显式记录观测。
• 语料实验证明：改 C 结论也变 → 基线必须按语料拟合。
• 防御实验证明：token / 文档 / span / 效用四种账会互相背离 → 单一指标会误判防御。
• BiSR 研究证明：先做参考一致性、再做固定预算对比，移植差异不会污染结论 → 重放契约可行。
• 代码验证证明：测量程序本身是受测对象 → 方法学的完整性闭环。

六、效果优势的根源解释

6.1 根源机制与证据链

因果链 1：隐式契约 → 结论不可比；八元组 + 捕获-重放 → 单变量归因。 领域里攻击 A 说"恢复 90%"、攻击 B 说"恢复 60%"，无法判断谁强，因为二者的 O、K、C、M 全不同。本文把每项选择固化为可记录分量，再把流量从攻击执行中剥离（录制一次，重放多次），于是"加梯度"这样的操作变成唯一变化的分量，配对比较 + 洗牌/随机对照才能把 3.17pp 的增益干净地归因给梯度信息。【论文实验已支持：47 个次级对比全部同向】

因果链 2：梯度的方向性 → token 小增益 → 文档级乘法放大。 下一 token 损失的梯度天然指向"正确答案的负方向"，取反后与正确 token 的 embedding 高度对齐，因此它补进的候选命中率高。但为什么 token 只涨 3.17pp，文档却涨 24.06pp？机制在于文档恢复近似是 token 正确率的幂：若 token 错误近似独立，32-token 文档全对概率 ≈ (token 准确率)^32。0.9420^32 ≈ 14.5%（实测 13.71%），0.9738^32 ≈ 42.5%（实测 37.77%）——两条数量级都对得上（误差来自 token 错误的正相关）。【前半段为论文实验支持；幂律放大为阅读者依据论文数据的推算，标注为机制推测】这解释了论文的核心警告：平均 token 分会系统性低估完整泄露的风险，恢复率指标必须成对报告。

因果链 3：无防御参考先行 → 防御假阳性被根除。 旧范式里"防御 + 弱攻击 = 恢复率低"即可宣称防御有效。评分规则要求同族攻击在无防御下超额 > 1pp（攻击本会成功），防御通过才被允许；否则最多给 INSUFFICIENT_EVIDENCE。这是把药物试验的阳性对照组逻辑搬进隐私评测。【论文规则设计已支持；Qwen 审计提供了真实世界反例：前向隐私门通过，梯度通道却在 4,096/4,096 帧暴露划分】

因果链 4：包络的单调性 → 评测可扩展且不会被新攻击"改善"。 L_run 取攻击超额的最大值，加入攻击只增不减，配合覆盖报告列出未测项，“没测"与"测了没事"永不混淆。【数学性质，论文证明】

因果链 5：反事实检验。 去掉梯度（洗牌/随机对照）→ 退回 94%；去掉束搜索匹配（corpus 研究的线性反演）→ 仍 63%+；去掉显式协议聚合不同设置（论文明确拒绝）→ 解释力全部丧失。每个组件的必要性都有对应退化数据。

6.2 相关工作检索与对照

如实说明：本次未执行外部检索，因果链基于论文自身实验与机制分析，下表对照信息来自论文正文与深读提取清单，证据等级逐条标注。

未发现（在本次对照范围内）从不同方法出发得出与本文因果链矛盾结论的工作；但须强调两点边界：其一，主定量结论限定 GPT-2 124M、32-token、声明的语料与预算，向更大模型、更长上下文的外推未经本文检验（论文自己也这样声明）；其二，token 门是操作性筛查约定而非无分布假设的隐私保证——token 间相关会削弱字面二项解释，这是论文自认的限定。

6.3 综合判断与未决问题

得到多项证据共同支持的机制：观测/知识/语料/度量任一变化都会改变隐私结论（多个独立研究、47+15 个对比、真实审计一致指向）；无防御参考的必要性（规则 + Qwen 反例）；恢复指标必须分层（token/文档/span 三级背离的防御数据）。

仍属推测或依赖条件的机制：token 错误独立性假设下的幂律放大（数量级吻合但未做误差相关建模）；Wilson z=2.5392 约定对 64 模块的普适性（论文自认非联立置信）。

可能的失效条件：token 间强相关时包络地板失真；超短文档或 span 级门限需要另行定义；主动攻击者与密钥旋转场景仅有资格级证据（Q-REAL 覆盖不全）。

七、必要知识反推

假设一个零知识的人要完成这项工作，最少需要知道什么？

7.1 领域知识层

• 分割学习的消息结构：不知道激活/梯度何时过线、谁产生谁，就无法定义观测面 S1–S14。这是威胁模型的全部物理基础。
• 下一 token 损失与其梯度的语义：梯度为何指向下一 token（取反后与 embedding 对齐）——这是联合攻击候选机制的物理来源。
• Transformer 逐层表示的可逆性：知道 Vec2Text/SipIt 一族"表示几乎等于文本"的结论，才敢假设线性解码器可行。

7.2 方法论知识层

• 攻击谱系与各自假设：DLG/TAG/LAMP、Vec2Text/SipIt、BiSR 的机制与前提——模块注册表的分类学来自这里。
• 统计推断工具：Wilson 单侧上界、bootstrap 重采样、Bonferroni 多重校正、预注册检验——评分规则与主检验的全部骨架。
• 对照实验设计：阳性对照（无防御参考）、阴性对照（洗牌/随机）、配对设计的逻辑——没有这个知识，因果链 1/3 无从建立。

7.3 工程知识层

• GPT-2 的切分与微调：AdamW、层 3/6 切口、冻结快照攻击——主实验的可执行性。
• 证据工程：哈希链日志、manifest 校验、版本化记录、Git 无关的复现脚本——可审计性的实现手段。
• 软件测试方法：蜕变测试、故障注入、已知答案夹具——37 用例验证包的方法学。

7.4 知识融合的关键节点

真正的创造性节点不在任何单一知识层，而在三处融合：其一，把实验设计语言（对照、预注册）翻译成软件契约（八元组、注册表、证据链）——评测从论文叙述变成可执行对象；其二，把攻击物理（梯度指向下一 token）转化为受控对比（候选数对齐、洗牌对照）——机制理解保证了对照设计的有效性；其三，把统计保守性（上界、地板、多重校正）转化为判定规则（1pp 门 + 三种子 + 链接参考的合取）——让"通过"成为一个有明确证据条件的状态而非口号。

八、论文中可以提取的通用性灵感

灵感 1：把评测的隐式假设变成显式契约

核心思想：任何"X 比 Y 安全/更好"的结论，都隐含一组未言明的条件；把它们枚举成结构化元组，比较才有意义。 论文证据：同一攻击换语料恢复率相差 37pp；同一对比换观测授予方向反转。 推广场景：AI agent 评测（工具/预算/环境差异）、大模型 benchmark（温度/系统提示差异）、隐私技术合规审计、临床试验报告标准化。

灵感 2：录制一次，重放多次（捕获-重放分离）

核心思想：把"产生数据"与"分析数据"解耦，数据成为可复用资产，后来者可以在同一资产上叠加新方法。 论文证据：3,680 条记录中 480 条显式复用；BiSR 作为新攻击加入冻结对比。 推广场景：回归测试的流量录制、安全攻防的流量样本库、科学数据的第三方重分析、竞赛评测的冻结测试集。

灵感 3：判定"通过"必须先证明"本来会失败”

核心思想：验证一个防护机制有效，必须先有阳性对照证明测试手段本身有效。 论文证据：无合格无防御参考即 INSUFFICIENT_EVIDENCE；Qwen 前向门通过但梯度通道全暴露。 推广场景：风控规则回测、杀毒软件评测、模型安全护栏评估、药物临床试验、欺诈检测验证。

灵感 4：平均指标会掩盖尾部灾难，指标要分层报告

核心思想：平均粒度的好看数字可能掩盖最坏粒度的灾难性事件。 论文证据：token 97% 与文档 37.77% 并存；secret mixup 下文档 ≤1.48% 但人名 span 高达 66%。 推广场景：自动驾驶接管率 vs 致命场景成功率、检索平均精度 vs 长尾查询、系统可用性均值 vs 尾延迟、代码生成通过率 vs 安全漏洞率。

灵感 5：增益的乘法放大——小幅提升在连乘指标上指数放大

核心思想：当总量指标是多个环节正确率的乘积时，每个环节几个点的提升会指数级放大总量。 论文证据：token +3.17pp → 文档 +24.06pp（≈ 准确率^32 的幂律效应）。 推广场景：多步推理链的正确率、流水线良品率、RAG 多跳检索、多轮对话任务完成率。

灵感 6：覆盖报告——把"没测"写进报告是一等公民义务

核心思想：诚实的评测不仅要报测量结果，还要枚举未测量范围；“没测"永远不能被呈现为"安全”。 论文证据：covered/partial/unmeasured/out-of-scope 四态覆盖报告；包络单调性保证加攻击不改善结论。 推广场景：AI 安全评估披露、模型卡的数据来源声明、医学诊断的鉴别诊断清单、保险免责条款。

灵感 7：先验证测量仪器，再相信测量结果

核心思想：结论的可信度上限是测量工具的可信度；对工具本身要做独立验证。 论文证据：37 用例验证测量代码；BiSR 先做 3,072/3,072 参考一致性再比较；相关列 2→500 区间不缩水。 推广场景：A/B 测试平台的数据管道校验、科学仪器的计量校准、评测榜单的提交验证管线、金融风控模型的回测引擎测试。

灵感 8：没有万能赢家，保留带预算声明的多元方法

核心思想：方法的相对优劣依赖设置，与其宣布单一冠军，不如保留多方法及其各自的成本声明。 论文证据：四种攻击在四种设置下排名互有胜负（表 3）；joint 在 6/公开 最强，SipIt-128 在 3/训练 最强。 推广场景：LLM 路由的模型选择、检索系统的多路召回、投资组合的多元策略、推荐系统的多模型融合。

精读小结：这篇论文的价值不在攻防数字本身，而在于它示范了"评测协议即贡献"——当八元组、捕获-重放、链接对照、覆盖报告、版本化证据这套契约到位后，每一次隐私声称都变成可检查、可比较、可扩展的实验事实。对任何要做严肃评测工作的人，这套方法学几乎可以整体平移。