论文链接：Cross-Session Decomposition Attacks: Scaling Risk and Intent-Aligned Retrieval Defense 发表时间：2026年8月 机构：University of Waterloo、Vector Institute（高校+研究所合作） 领域标签：cs.AI，LLM安全 / 缩放定律 / 检索防御

一、论文背景

1.1 缩放定律通常被当作能力故事

大语言模型的缩放定律（Scaling Laws）告诉我们：模型越大、数据越多，语言建模损失就越低，模型在推理、编程、指令遵循等任务上就越有用。这个叙事通常只被解读为『能力增益』。但论文作者指出，这个机制本身并不区分安全与不安全——一个更会预测训练数据中有用流程的模型，同样会更擅长服务于有害目标。RLHF等对齐方法降低了模型对显式有害提示的直接服从率，但这种防御视角是『提示局部』的：它只看当前这一条提示是否有害。

1.2 攻击早已跳出单条提示

近年的一系列攻击工作表明，不安全行为可以在多轮对话轨迹中逐渐浮现（多轮越狱），也可以隐藏在表面良性的请求里（隐藏意图攻击、隐式引用攻击）。更进一步的分解式攻击（如DrAttack、Imposter.AI）把一个有害目标拆成多个看起来无害的子任务，单个子任务的答案无害，只有聚合或重构之后才变得危险。

1.3 本文研究的更严格设定：跨会话

现有防御（如轻量序列监视器、BSD）越来越把滥用检测当作序列推断问题处理——但它们都假设相关的交互历史对监视器可见。本文研究一个更严格的设定：跨会话分解攻击。攻击者在互不关联的独立交互中提出良性子问题（切换线程、新开聊天、跨界面），之后在模型外部重组答案。举个例子：

• 会话1：演唱会的票面设计元素和安全设计是什么？
• 会话2：如何在家打印高质量图片？
• 会话3：哪些在线市场适合卖东西？
• 会话4：如何为在线商品拍摄高质量照片？

每条问答单独看都无害，但组合起来指向一个隐藏目标：在网上售卖假演唱会票。技术挑战因此不再是分类一条孤立查询，而是『恢复哪些互不关联的查询表达了同一个隐藏目标的不同部分』。

1.4 为什么现在必须研究这个问题

跨会话记忆已是LLM系统的活跃设计方向（MemoryBank、LongMem、MemGPT，以及闭源厂商的保存记忆/聊天历史机制），这使得跨会话检索成为一个现实的安全表面。同时，模型仍在持续缩放——如果缩放确实会放大组合风险，那么这是一个随时间恶化的结构性问题，而非一次性漏洞。

二、论文定位和关联工作

2.1 攻击侧谱系

本文的设定严格更强：分解后的碎片跨越会话边界，防御者可能观察不到任何一条完整轨迹。

2.2 防御侧谱系

• 序列监视器（Chen等2026，ICLR）：在完整对话历史可见时做轻量序列监视——本文直接移除了这一可见性假设，并复用其数据做防御评测。
• BSD/隐蔽对手基准（Brown等2025）：把滥用检测当作状态化推断，但同样依赖可见历史。
• 嵌入防御：Zhang等2026（ICML）研究多智能体系统中嵌入防御何时失效，启发了『匹配潜在目标而非表面语义相似』的思路。
• 意图理解：Kunievsky与Evans 2026（ICML）测量LLM的意图理解能力，为意图空间检索提供动机。
• 持久记忆系统：MemoryBank、LongMem、MemGPT证明跨会话召回在工程上可行，但检索目标是信息而非安全证据。

2.3 定位结论

本文处在『分解攻击』与『序列防御』两条线的交点上，向两个方向各推进一步：攻击侧首次给出跨会话（无共享历史可见性）设定的形式化与缩放风险理论；防御侧把『先恢复相关查询、再分类聚合意图』确立为一个 retrieval-before-classification 原语，并用22M小模型证明检索质量（而非守卫规模）是主导杠杆。

三、问题定义

3.1 从具体场景到抽象结构

具体问题：模型在每个会话里都只看到一条良性子问题，逐条审查都会放行，但事后重组有害。防御者无法看到完整轨迹，那么风险到底从哪里来、由什么控制？

核心洞察：论文发现这个安全问题和缩放定律共享同一个数学结构——语言建模损失的逼近质量。部署模型在允许子查询上的答案分布，是对参考环境（训练数据条件分布）的近似；近似越好，部署模型的子答案就越像参考环境会给出的答案——包括其中的双用途、可组合信息。

类比关系：

3.2 形式化定义

• 攻击者抽取 k 条允许提示 q1:k，从部署模型获得 xi ∼ Pn(·|qi)，经组合器 C:X^k→Z 得到 z。
• 部署组合风险 Rk,F(n)：z 落入禁止集合 F 的概率（对提示分布与模型采样取期望）。
• 参考组合风险 Rk,F：同样流程但答案来自参考分布 P。
• 唯一的缩放假设（假设2.1）：超额损失 Δn 随规模 n 非增——这就是标准的缩放定律表述。

求什么：刻画 |Rk,F(n) − R*k,F| 由什么控制，从而回答『缩放是否让分解攻击更危险』。

3.3 这个抽象的精妙之处

论文的主张是条件式的而非绝对式的：缩放不会无中生有地创造有害知识，但当参考环境已经含有支持危险重构的分散证据时，缩放会让这些证据更容易被重组出来。这个条件式表述避免了『大模型必然更危险』的过度声明，同时精确指出了危险的传导机制——这正是定理2.2所说的内容。禁止集合 F 完全任意、组合器 C 任意（可以是另一个LLM或人工），使结论具有普遍性。

四、问题解法

论文的解法分三条线：理论刻画、双轨实验验证、检索式防御。

4.1 理论：风险转移定理

定理2.2（潜在风险转移）：对任意禁止集合 F，

|Rk,F(n) − R*k,F| ≤ √(k·Δn/2)

证明链条（附录B）：

1. 超额损失等于平均条件KL散度（引理B.1，交叉熵分解）；
2. Pinsker不等式 + Jensen不等式给出平均总变差控制（引理B.2）；
3. 组合分布是乘积测度经 C 的前推映射，数据处理不等式使KL在重组下不增，且独立乘积的KL可加（引理B.3）：组合KL ≤ Σ Δ(i)n；
4. 再用一次Pinsker + Jensen 得到最终界（引理B.4）。

直观解读：当 Δn 随规模下降，部署组合风险被夹逼到参考组合风险附近——下界 Rk,F(n) ≥ Rk,F − √(kΔn/2)。如果参考环境本身支持危险重构（Rk,F 较大），缩放就把这份『潜在』风险转移到部署模型。

引理2.3（目标损失代理）：禁止集合概率难以直接测量时，取支撑在 F 上的目标分布 Ptar，则 Rk,F(n) ≥ exp(Hk(Ptar) − L^tar_k(n))；点质量目标时 R ≥ exp(−L^tar)。这给出了一个可操作的实证代理：测目标损失即可认证下界。

4.2 实验一：合成扣留实验（隔离机制）

目的：在没有混淆变量（训练数据、后训练、对齐策略差异）时隔离『从分散证据中恢复』这一机制。

设计要点：

• 语料：OpenWebText-10K，采样100条WikiHow指令作为目标 z*(q)；
• 用Gemma3-27B把每条指令分解为支撑性原子事实，只注入事实、扣留原始指令——目标从未以完整序列出现在训练语料中，成功必须依赖从分散片段恢复；
• 训练3层nanoGPT风格transformer，仅变隐藏维度 dh ∈ {32,64,128,256,512}，用 µP 保证超参跨宽度迁移；
• 测teacher-forcing下被扣留目标的负对数似然（按长度归一化）Lgold；
• 匹配对照：另一组不相交的100条WikiHow指令做同样处理，报告控制差 Δctrl = Lctrl − Lgold，阳性值表示指定目标比同等协议对照更易恢复。

4.3 实验二：600意图预训练LLM评测（真实机制）

目的：在风险真正会出现的环境——部署的指令微调模型回答中性化子问题——中检验预测。

控制变量设计（成对协议）：意图集、分解器、组合器、评审团全部固定，只变回答中性化子问题的受害者模型。

• 600个混合领域有害意图（12域×50：AI/ML、生物恐怖、化学、网络安全、教育、金融、医疗、心理操纵、钓鱼诈骗、隐私、公共安全、社会）；
• 分解/重组固定用去拒绝版Qwen2.5-14B（abliterated-v2）：每意图分解为5个中性化子问题（3000次受害者查询/模型），两轮生成（第一轮严谨研究助手式分解，temperature 1.1；第二轮安全编辑式改写为学术中性措辞，temperature 0.2）；
• 受害者面板：Qwen3-0.6B/8B/32B、Gemma3-1B/12B/27B，加DeepSeek-Chat与GPT-5.2作API锚点；
• 4个盲评LLM评审（不见模型身份），严格多数决（≥3/4同选一模型才算有效胜负），主指标为同意图配对胜率；
• 辅助评测：拒绝率（Llama-3.1-70B评审，三档：硬拒绝/部分拒绝/无拒绝）与StrongREJECT式绝对分。

4.4 防御：检索后分类

威胁模型决定了防御必须先解决一个检索问题再解决分类问题：先恢复哪些历史查询与当前查询相关，再判断聚合意图是否有害。

流水线：

1. 维护历史分解查询库 B；
2. 编码器 f 检索跨会话最近邻：NK(qt) = TopK cos(f(qt), f(qj))；
3. 冻结的指令微调守卫LLM G 联合分类『当前查询+检索邻居』，先推断这些子问题共同支持的最可能任务，再输出有害/良性判定。

关键设计——意图对齐训练：现成嵌入模型为语义相似优化，票务安全特征/家用打印/在线上架照片措辞迥异拉不到一起。IntentAlign-MiniLM 把 all-MiniLM-L6-v2（22M参数）用GTE式全方向MultipleNegativesRankingLoss微调：

• 每批抽256个不同意图、每意图现场采2条分解查询为正样本对，批内其他意图为负样本（避免同意图改写成为假负例）；
• 损失分母包含跨视图与同视图四个方向的负项（比常规MNRL多两个方向）；
• 训练数据扩展：原始1548意图分解 + 600条辅助有害分解 + 每子查询3条Qwen3改写；
• 均值池化、L2归一化、AdamW 2e-5、batch 256、4 epoch，单张L40不到1小时。

五、评估指标与实验证据

5.1 指标体系

攻击侧：

• 主指标：同意图严格多数胜率（配对比较避免跨域绝对分校准问题）；覆盖率、全票率、Fleiss κ、Krippendorff α 单独报告。
• 辅助指标：三档拒绝率（诊断组合器拿到多少素材）；StrongREJECT式绝对分（4个本地评审）。
• 合成实验指标：golden答案损失 Lgold（越低=被扣留目标概率越高）+ 控制差 Δctrl（剥离通用下一词改进）。

防御侧：

• 检索：留一法 Recall@5/10、nDCG@5/10（同意图片段是否被找回、排得靠前），在原始查询与Qwen3-8B单次改写的『改写偏移』测试集上评；
• 守卫：harmful类精确率/召回率（漏报代价不对称，故召回优先）+ 混淆矩阵/FPR；
• WildChat：50K真实查询背景库（Q库=孤立查询，C库=12240条会话拍平的用户轮）中的 Hit@1，加结构化干扰（I25=24个竞争意图全部组件；H5=每探针5个冻结的异意图语义近邻）。

5.2 核心数据

合成实验（图2）：golden损失随训练下降，且更宽模型达到更低值——目标从未整句出现，说明是从分布式支撑中恢复而非记忆；Δctrl 为正且随宽度增长，排除了通用语言建模改善的解释。

600意图胜率矩阵（图3）：

同族内更大模型重组后提供更强能力提升，跨族差异不可归约为规模。

拒绝率（表1）与关键失效模式：DeepSeek硬拒绝率最高（11.07%）对应其组对危害较低——硬拒绝让组合器无素材可用；GPT-5.2部分拒绝率最高（19.23%）却仍具竞争力。红队示例精准展示这一点：GPT-5.2拒绝假警报目标的同时列出更新节奏、来源认证、范围定向等维度——防御性阅读是公共警报实践，攻击性阅读就是重组素材。部分拒绝不等于安全。

检索评测（表2，改写偏移测试集）：

22M模型以少25倍以上的参数全列第一。消融（表11）显示GTE式损失与训练扩展各自贡献正向增益（常规MNRL+原始数据 .592 → GTE式+扩展 .649 Recall@10）。

守卫下游（表3）：K=1/3时IntentAlign的harmful召回在每个守卫上超过Oracle（如Qwen3-8B K=3：.661 vs Oracle .629）——学习检索选出的碎片比随机同意图兄弟更有诊断价值；K=5时Oracle靠覆盖追平。守卫规模非单调：Qwen3-14B精确率最高（≥.95）但召回饱和在约.59，混淆矩阵显示其FP最少（32）但FN最多（457）；Llama-3.1-8B检出最多（TP 843）。结论：检索是主导杠杆，守卫超8B非Pareto改进。

WildChat（表4）：I25+H5双重干扰下IntentAlign Hit@1 77.2/76.6%居首；H5（语义近邻）比I25（竞争意图）杀伤更大（68.5–77.2% vs 81.9–91.0%），且harmful探针Hit@1仅51.3–62.2%而良性探针88.0–95.7%——语义混淆性（而非背景量或会话来源）是主要检索失效模式。

5.3 实验设计如何支撑主张

• 合成实验通过『目标不出现+匹配对照』双保险隔离了恢复机制，支撑定理的机制预言；
• 600意图实验通过『固定流水线只变受害者』把胜率差异归因到受害者模型提供的信息量，支撑『缩放→子答案更可组合』；
• 检索评测通过『同骨干（MiniLM vs IntentAlign）』与『大模型对比』两个对照把增益归因到意图对齐监督而非容量；
• Oracle对照证明了学习检索不仅恢复意图邻域，还会主动选择信息量大的碎片。

六、效果优势的根源解释

6.1 攻击侧：为什么缩放放大组合风险

因果链：规模降低允许子查询上的超额损失 → 部署答案分布更接近含双用途信息的参考分布（平均条件KL更小） → 外部组合者获得更完整、精确、可组合的子答案 → 数据处理不等式保证重组后的分布差距同样被压缩 → 同族内更大模型胜率更高。

反事实验证：DeepSeek-Chat能力不弱，但硬拒绝率11.07%截断了素材供给，组对危害反而低——说明传导链的瓶颈在『子答案信息量』而非模型能力本身；GPT-5.2部分拒绝率高却仍强，说明部分拒绝漏出的碎片足以重组。合成实验的反事实是匹配对照组：同等事实支撑下指定目标恢复更好（Δctrl>0随宽度增长），排除了『更大模型只是通用更好』的混淆解释。

6.2 防御侧：为什么22M小检索器能赢0.6B大模型

baseline的根本局限：通用嵌入模型的训练目标是语义相似——这决定了它们的表征空间按表层主题组织。票务安全特征与家用打印照片在语义空间相距甚远，无论参数多大，这个目标函数本身就不会把它们拉到一起。瓶颈不是嵌入模型规模，而是表征是否按潜在意图聚簇。

本文的根本性改变：意图对齐对比学习直接以『同潜在意图』为监督信号，改变了表征空间的组织原则——从按措辞/主题聚类改为按隐藏任务聚类。MiniLM基座与IntentAlign的对比（同骨干、同容量）隔离出这一效应：Recall@10从.530提升到.649的增益全部来自训练目标的改变。

为什么能超Oracle：Oracle随机采样同意图兄弟，不排序诊断价值；学习检索的余弦排序隐式选择了对恢复隐藏目标最共同 informative 的碎片组合。这解释了K=1/3时的反超，也说明检索质量的上限不止于『找回同意图』。

为什么守卫规模非单调：14B守卫的分类边界更保守（FP 32 vs 8B的78–81），在改写偏移的模糊输入上倾向判良性，FN激增到457。检索提供的上下文证据质量决定了守卫能否走出保守默认；证据不足时加大守卫只会更果断地判良性。因此防御的Pareto前沿在『好检索+8B守卫』而非『任意检索+14B守卫』。

七、必要知识反推

假设找一个没有任何知识储备的人来完成这项工作，他最少必须掌握：

7.1 领域知识层

• 缩放定律的信息论表述：超额损失=平均条件KL（交叉熵分解）——不理解这一点就无法把『更大模型更好』翻译成『分布更接近』，也就无法建立风险转移的数学通道；
• LLM对齐的提示局部性：知道RLHF/拒绝行为作用于单轮表层，才能识别跨会话重组是防御盲区；
• 分解攻击谱系：熟悉DrAttack等到序列监视器的攻防演进，才能精确定位『历史不可见』这一未被覆盖的设定。

7.2 方法论知识层

• 信息论工具箱：Pinsker不等式（KL→TV）、数据处理不等式（重组下KL不增）、Jensen不等式（期望与根号交换）——三个引理构成定理证明的全部骨架；
• 对比学习与嵌入检索：MultipleNegativesRankingLoss、GTE式全方向分母、假负例规避（批内意图去重）——意图对齐检索的训练基础；
• LLM-as-judge方法论：配对比较优于绝对评分的校准论证、多评审多数决、Fleiss κ/ Krippendorff α 作为可靠性信号而非排名证据。

7.3 工程知识层

• µP参数化：跨宽度迁移超参，否则宽度扫描需要逐宽度调参，结论可信度受损；
• 受控实验设计：合成实验的『目标扣留+匹配对照』双保险；真实实验的『固定分解/组合/评审只变受害者』单变量协议；
• vLLM服务与本地评审：4×L40S上服务开源模型、冻结解码参数保证可比性。

7.4 知识融合的关键节点

• 节点1（理论-攻击的融合）：把『组合器』建模为乘积测度的前推映射，从而让数据处理不等式把每会话的KL可加地传到重组风险——这是把缩放定律变成安全定理的化学反应点；
• 节点2（理论-实证的融合）：引理2.3的目标损失代理把不可测的禁止集合概率翻译成可测的teacher-forcing损失，直接生成了合成实验的测量方案；
• 节点3（防御的融合）：把『语义相似检索』的目标函数替换为『意图聚簇』——借GTE的损失形式、嵌入防御的动机与序列监视器的评测数据，组装出一个新原语并用Oracle对照揭示其信息选择效应。

八、论文中可以提取的通用性灵感

8.1 范式迁移：把安全审计从提示局部推向分布层面

核心思想：评估一个系统的安全性时，与其逐条审查行为，不如刻画其输出分布与某个参考分布的距离——距离由可优化的损失控制，风险便随优化进度转移。 论文证据：|R(n)−R*| ≤ √(kΔn/2)，风险差距完全由超额损失界住。 推广场景：推荐系统的过滤规避审计；数据泄露的成员推断风险界；多智能体系统的涌现失效分析；任何『局部合规、聚合违规』的合规工程。

8.2 机制类：部分合规比完全拒绝更危险

核心思想：当攻击者拥有外部重组能力时，防御方的『部分配合』（带警告地给出部分信息）会泄漏可重组的碎片，其风险可能接近完全不拒绝。 论文证据：GPT-5.2部分拒绝率最高（19.23%）却保持最高组对胜率与最高绝对分（0.9800）；红队示例显示拒绝声明旁边列出的维度清单本身就是重组素材。 推广场景：API的渐进式限流设计；敏感数据脱敏的粒度决策；人资/法务的口径管理；多轮谈判中的信息让步策略。

8.3 信号利用类：重新定义检索的目标函数比堆检索器规模更有效

核心思想：检索质量的上限由『训练目标与任务目标的对齐程度』决定，而非模型容量；用任务特有的监督信号微调小模型可以越过通用大模型。 论文证据：22M的IntentAlign在改写偏移集上Recall@10 .649 > 0.6B的Qwen3-Embedding .588；同骨干消融显示增益来自损失函数而非数据量。 推广场景：RAG系统按『回答任务』而非『主题相似』定制检索器；代码检索按『同一修复意图』聚簇；客服系统按『同一工单根因』组织历史；生物信息按『同一通路功能』跨物种检索。

8.4 评测设计类：用『固定流水线只变一个组件』做归因

核心思想：在多组件流水线中做公平比较的方法是冻结其余组件、配对同源输入、以相对偏好为主指标——这把不可校准的绝对评分问题转化为更稳健的二选一问题。 论文证据：600意图实验固定分解器/组合器/评审团只变受害者；主指标用严格多数胜率，绝对分饱和（中位数1.0、68.7–90.0%满分）时配对比较仍保有分辨率。 推广场景：Agent框架对比评测；模型后训练策略对比；云服务供应商选型；A/B测试中的干扰控制。

8.5 关注点分离类：先恢复上下文，再做判断

核心思想：当危险只存在于多个碎片的关系中时，检测系统应分解为『重建关系』与『关系判级』两个独立阶段，前者的质量主导整体上限。 论文证据：检索是主导杠杆——换更好的检索器在所有守卫上提升召回，而把守卫从8B加到14B精确率升但召回崩（.59饱和）；K=1/3时好检索甚至超Oracle。 推广场景：欺诈检测的交易链重建；风控中的关联账户挖掘；医疗诊断的跨院病史聚合；安全运营中心（SOC）的告警关联分析。

8.6 理论-实证互证类：为不可测量构造可测代理

核心思想：当核心量（禁止集合概率）不可直接测量时，可以证明某个可测量（目标分布上的损失）与其存在认证式下界关系，从而用可测量为不可测量背书。 论文证据：引理2.3的 R ≥ exp(H−Ltar)，使合成实验只需测teacher-forcing损失即可支撑理论预言。 推广场景：差分隐私的隐私损失代理；模型鲁棒性的证书界；软件测试的覆盖率代理；量子纠错的错误率间接估计。

一句话总结：这篇论文把『大模型更好』这一能力叙事翻译成了安全语言——超额损失控制组合风险的转移——并用一个22M的意图对齐检索器证明，防御这类结构性风险的杠杆不在更大的守卫，而在更聪明的检索。