论文链接：REPLICANT: Learning Policies for Evading and Hardening Malware Detectors 发表时间：2026年8月 机构：King’s College London、The Alan Turing Institute、University College London、KU Leuven、Core64、Devotion AI Labs（多高校+研究所+企业混合，学术主导） 领域标签：cs.LG，对抗机器学习 / Android恶意软件检测 / 深度强化学习

一、论文背景

1.1 ML恶意软件检测需要被压力测试

机器学习分类器已成为对抗恶意软件的关键防线，Android作为全球使用最广的移动操作系统是主战场。对抗机器学习（AML）反复证明ML系统在定向修改面前的脆弱性，但论文开篇点破一个关键区分：对风险评估真正重要的问题不是这些检测器『能否』被绕过，而是攻击在现实约束下能有多『泛』、多『高效』。前者已有大量肯定答案，后者才是部署者真正想知道的。

1.2 特征空间攻击在恶意软件域行不通

图像对抗样本可以直接扰动像素，因为特征就是输入本身。但Android恶意软件检测的主流管线是从清单和字节码提取静态特征、编码为高维二值向量——给特征向量加一个1（0→1）需要真的引入对应代码（如API或权限），减一个1（1→0）可能破坏恶意软件的核心功能。特征映射有损、不可逆、不可微，这就是逆映射问题：特征空间的扰动不一定对应任何可实现的、保功能的程序改动。

1.3 问题空间攻击与现实性缺口

问题空间攻击绕开逆映射问题：直接修改应用本身，天然满足可实现性、语义保持、合理性与抗预处理四大约束。主流做法是gadget移植——从良性应用 harvested 自包含代码片段及其已知特征效应，移植进恶意软件。因为gadget来自真实应用、且只添加良性代码（只增特征0→1），恶意行为得以保留。

但现有问题空间逃逸研究有三大局限：

1. 逐样本优化、不留存知识：现有攻击针对单个分类器和特征空间优化单个样本，不积累逃逸经验，查询效率有上限、迁移性差；
2. 能力集与策略混为一谈：新工作常同时提出新能力集与新选择策略，不隔离评估，无法判断增益来自更好的策略还是更强的能力（增益归因陷阱）；
3. 忽视时间维度：只在单一时间快照上评估，忽略时间漂移和主动学习（AL）部署的影响。

更根本的现实性问题是：SOTA攻击普遍假设攻击者能获取训练数据、特征空间、置信分数等特权信息——而真实攻击者往往只能拿到一个二元标签。

二、论文定位和关联工作

2.1 攻击侧谱系

REPLICANT与迁移攻击和查询攻击的关系是融合式的：在代理上学习策略（迁移性）+用策略决定何时查询目标（查询攻击），把两大黑盒范式装进一个威胁模型。

2.2 防御侧谱系

• 鲁棒分类器设计：SecSVM（间隔最大化+权重约束）、RAMDA（鲁棒特征加权），但仍可被绕过；
• 对抗训练：Madry等奠定min-max框架；Tsingenopoulos等2024把RL攻击接入Windows PE的持续攻防重训练管线（本文AT方案的直接前身）；Zhang等2025做Android持续攻击；
• 时间漂移与AL：Tesseract确立时间感知评估方法论；Pendlebury等证明无时间一致切分的评估会虚高性能；AL用不确定性选择做月度更新对抗漂移。本文的RQ5首次把AT与AL的交互作为研究对象。

2.3 定位结论

本文处在『问题空间攻击』与『RL策略学习』两条线的交汇处：把Windows PE域已探索的RL逃逸严格移植到Android问题空间，并以增益归因为方法论纲领——同一能力集、同一威胁模型下比较策略，再用学到的策略反哺AT，打通攻防闭环。

三、问题定义

3.1 威胁模型

• 攻击目标：修改恶意软件使其被分类为良性（破坏完整性），同时最小化修改次数与目标查询次数；
• 攻击能力：有限能力集（gadget移植），每个能力对攻击者所用特征表示的影响可观测；
• 攻击知识（黑盒）：目标分类器只返回预测标签（良性/恶意），无置信分数；攻击者自建代理分类器（训练数据、架构、特征空间均可与目标不同）；
• 攻击知识（白盒，仅用于AT实验）：无限制访问目标的置信分数与特征空间——防御者加固自己的模型时拥有完全访问权，用最强现实攻击者测鲁棒性才公平。

3.2 核心抽象：从『优化一个样本』到『学习一类任务』

具体问题：如何在不接触目标内部信息的前提下，让任意恶意软件样本高效逃过未知检测器？

核心洞察：逃逸不是一次性的优化问题，而是一个序贯决策问题——攻击者反复面临两个决策：现在提交还是继续修改？如果要修改，用哪个能力？这天然是MDP结构。更关键的是，学到的策略π编码的是『给定样本当前表示，如何组合能力穿过决策边界』的通用知识，而单个对抗样本只编码了『代理的边界在哪』这一窄信息。类比关系：

3.3 形式化

MDP五元组：

• 状态 s_t：样本（部分修改后）在攻击者特征空间中的当前表示，s_0为原始恶意软件；
• 动作：分层结构——高层query策略选 q_t ∈ {SUBMIT, MODIFY}；若MODIFY，低层modify策略从能力集 C={c_1..c_N} 中选能力 c_{m_t}；
• 转移：由modify动作驱动，每个能力的问题空间效果预先已知，故可在特征空间建模MDP而每次转移都保持问题空间可实现；episode在逃逸成功或达horizon H时终止；
• 奖励：R_success = H（成功逃逸，保证成功episode回报必为正）、R_detected = −1、R_modify = −1（平衡修改与查询效率）。

求什么：最大化期望累积折扣奖励的策略π，该策略可部署于从未见过的样本与目标。

3.4 这个抽象的精妙之处

把能力集与策略显式解耦——MDP把能力集当作黑盒输入（每个能力只是一个状态转移算子），学到的策略不绑定任何具体能力集，换能力集只需重训或直接评估。同时二元标签作为唯一监督信号，逼着策略学习『逃逸任务的通用结构』而非『代理的置信拓扑』——这是后文策略迁移碾压样本迁移的机制根源。

四、问题解法

4.1 分层PPO智能体

架构：共享两层512神经元MLP编码器（LeakyReLU+dropout，基于DRMD检测器架构扩展）喂三个头，各加一层：query头（{SUBMIT, MODIFY}）、带掩码的modify头（能力集C）、critic头（状态价值V(s_t)）。训练用PPO（CleanRL默认超参：lr 2.5e-4退火、γ=0.99、GAE λ=0.95、clip 0.2、熵系数0.01），query策略损失每步应用，modify策略损失只在MODIFY步应用，critic共享。每个episode最长H=100步。

动作掩码（三处）：

1. modify侧：剔除无新特征的no-op能力与问题空间冲突的能力（Java类冲突、超出每gadget的3权限/60类预算）；
2. query侧训练期：每p=10步强制SUBMIT，保证训练中持续收到分类器反馈；
3. query侧：上次查询后至少做过一次修改才能再SUBMIT（防止无意义重复查询）。

强制提交的奖励设计：训练期强制提交的奖励按 λ_PS 缩放，取 λ_PS=0——早期agent查询必被抓，若查询有成本会学会干脆不查（探索坍缩）；免费查询鼓励探索，后期agent变强后λ_PS=0又激励主动早提交以最大化回报。这是奖励塑造理论在安全RL中的干净应用。

4.2 白盒变体与对抗训练

REPLICANT_WB：去掉query头（每次修改后直接提交），用目标置信分数差做密集奖励 R_WB = λ_WB·(clf_score(s_t) − clf_score(s_{t+1}))，λ_WB=5。密集信号加速收敛。

AT-REPLICANT（15轮）：

1. 每轮对正在加固的分类器训练一个全新的REPLICANT_WB策略；
2. 收集该轮训练全程产生的所有AE（不是收敛后策略的AE）加入训练集重训分类器；
3. 分类器逐轮变硬，固定预算下AE产出5轮后崩溃，故每5轮把策略更新次数翻倍，维持全程AE供给（附录表12：第15轮恒定预算只产82个AE，递增预算仍产221个）。

RAL（Robust AL）：在AL的每个周期对当期收集的恶意软件跑一轮AT-REPLICANT，把产生的AE与干净样本一起加入AL更新集——把对抗适应织入漂移适应。

4.3 方法全景

五、评估指标与实验证据

5.1 实验设置

• 数据：Hypercube数据集，224,965个Google Play样本（2021-2024），遵循无偏数据集构建最佳实践：单一市场、发布时间戳、统计代表性规模、真实恶意率10%、VirusTotal阈值2（VTT2）；另设VTT4变体做敏感性；
• 防偏设计：10个随机种子×2个时间独立训练期（2021/2022），每种子分层切分为a（训代理与策略）/b（训目标）两半；测试集用目标训练后一年的恶意软件，且只含所有分类器都正确检出的样本——确保ASR差异归因于攻击而非检测器本身漏检；
• 检测器：7种（SVM、SecSVM、RF、DeepDrebin、RAMDA、HCC、DRMD），跨线性/集成/深度/对比/强化学习设计原则；
• 特征空间：3种（Drebin 10k特征、APIGraph 11,912、RAMDA 379），大小与重叠不同，构成不同知识假设；
• 能力集：先前工作harvested的gadget，按特征空间过滤出有效子集（Drebin 3143/APIGraph 4804/RAMDA 1739）。

5.2 指标体系

• 主指标ASR@20：20次查询预算内的逃逸成功率——衡量有界资源下的攻击效能；
• 辅指标AvgQ：平均每样本查询数——查询效率（真实攻击中查询是被检测的风险行为）；
• 鲁棒性指标：白盒攻击对加固分类器的残余ASR；
• 漂移指标：A-AUT(F1)（两训练期平均的F1时间曲线下面积）与A-AUT(ASR)（攻击成功率的时间积分）；
• 统计检验：Wilcoxon符号秩检验（p<0.01），均值±95%CI跨种子。

5.3 核心数据

RQ1黑盒逃逸（表1）：

matched设定（代理与目标同架构同特征空间同训练期、只异训练数据）下REPLICANT达96.6%（Drebin 98.8%/APIGraph 98.3%/RAMDA 92.5%）；全部1764组合平均78.8%，领先基线13.6-22.2pp（相对提升20.9%-39.2%）。最悬殊的目标是RL检测器DRMD：APG塌到25.2%，REPLICANT 90.2%——APG按代理决策函数贡献度排序能力的逻辑与DRMD的奖励加权训练 regime 根本不兼容。

Rnd消融的妙处：Rnd用同一MDP但随机选动作，性能与ADZ/EvD相当——证明（i）环境设计本身已达先前攻击水平；（ii）REPLICANT的增益全部来自策略学习；（iii）置信分数引导在黑盒下不可靠。

RL设计对比（附录F）：与五种适配到Android的Windows PE RL攻击（MEME/MAB/PSP/MRLN/AIM）比较，全设定ASR +5.6-22.2pp、查询少1.1-5.2次。

RQ2策略迁移（表2）：

策略迁移比样本迁移相对+82.0%。时间轴上策略完全不变（96.6%）；架构轴的代价主要付在查询数（边界挪了，策略重查即可）；表示轴的衰减集中于小特征空间RAMDA做代理的情形（只学了影响目标表示一小部分的能力）；组合轴最难的DRMD上PTE仍有41.1% vs STE的4.2%。当代理与目标只共享训练数据分布时，最能迁移的是『如何逃逸』的知识，而非具体的逃逸样本。

RQ3对抗训练（表3）：

AT-REPLICANT对训练时见过的攻击者和未见过的攻击者（APG_WB）都鲁棒；AT-APG却留了5倍多的REPLICANT_WB漏洞。干净性能方面AT有初始代价（首月F1均值降5.6），但AT-REPLICANT使7个分类器中4个的A-AUT(F1)提升（+2.8 vs AT-APG的+1.1）——多样AE兼作抗漂移增强。

RQ4能力漂移（图4）：把AT与攻击的能力集对半分，攻击者逐步加回10%能力：AT-REPLICANT在每个漂移阶段都比AT-APG鲁棒（对REPLICANT_WB均值差-40.8到-4.9pp），但攻击能力扩到全集时两者残余ASR都飙到91.3%/96.1%——AT的鲁棒性绑定训练能力集，实践部署需要持续对抗适应。

RQ5时间漂移（表5）：

漂移适应与对抗鲁棒性在既有管线中近乎正交：AL救性能不救鲁棒、AT救鲁棒不救性能、简单叠加（AT&AL）顾此失彼（19.4%）；只有RAL两全（性能匹配AL的49.8、鲁棒性保持AT的量级）。

VTT4敏感性：更高标注阈值让任务更易、测试集更大、代理更强，所有攻击ASR普涨，REPLICANT升到94.1%仍领先最佳基线12.6pp——主结果选更保守的VTT2避免虚高。评估周期上，距训练+2/+3年时ASR升至89.4%/95.4%（漂移本身抬高攻击面）。

5.4 实验设计如何支撑主张

• 增益归因纲领贯穿始终：所有攻击共享能力集与威胁模型，Rnd隔离环境贡献，RL设计消融隔离架构贡献——ASR差异只能来自策略；
• 1764组合×10种子×2数据集变体的全网格，让『跨架构/表示/时间迁移』成为实测结论而非推断；
• 测试集只含全部分类器都检出的恶意软件，排除检测器能力混杂；
• AT实验用白盒攻击测鲁棒性上限（黑盒约束会把鲁棒性与找策略的难度混在一起），方法论自觉。

六、效果优势的根源解释

6.1 为什么策略学习碾压逐样本优化

baseline的根本局限：APG按代理决策函数的能力贡献度贪心选择、ADZ/EvD靠目标或代理的置信分数变化引导——这些方法的信号源都是『代理（或目标）的置信拓扑』。当代理与目标分歧，置信度作为目标边界的代理信号失效，这与样本迁移攻击的失败同型：过拟合到一个边界快照。DRMD的溃败（APG 25.2%）最直观：RL训练的检测器决策逻辑与线性/贪心假设根本不同，贡献度排序全部失灵。

本文的根本性改变：REPLICANT只用二元标签、在代理的恶意软件分布上学习『逃逸任务本身』。因果链：策略以样本当前表示为条件、以穿过决策边界为目标 → 学到的是『能力组合如何改变样本可检测性』的任务结构知识 → 代理与目标共享的恰是训练数据分布 → 目标边界虽不同，策略可通过持续查询自适应修正 → 代理-目标差距拉大时优势同步扩大（PTE 78.8 vs STE 43.3）。分层设计把『何时查』也变成学习对象——matched下AvgQ 3.6次近乎减半，因为策略学会了在边界附近精准出手。

反事实验证：Rnd（同环境随机策略）只有59.4%，证明增益不是环境或掩码送的；λ_PS=0的免费强制查询若改为计费，早期探索将坍缩——奖励塑造的必要性得到机制论证。

6.2 为什么AT-REPLICANT的鲁棒性更泛化

AT-APG的局限：APG贪婪且确定，每轮AT只覆盖少数能力路径，AE多样性天然受限——加固相当于只封了几条路，REPLICANT_WB从训练外的路径长驱直入（62.4%）。

AT-REPLICANT的机制：随机策略训练全程（而非收敛后）收集AE，同一恶意软件在训练不同阶段产生众多不同变体，分类器被迫适应问题空间扰动的一个宽带区域而非单点策略。多样性→覆盖度→泛化，这就是对未见攻击者APG_WB也只剩16.3%的根源。每5轮翻倍更新维持AE产出，防止『分类器变硬→AE枯竭→加固停滞』的饱和。

能力漂移的教训：鲁棒性绑定训练能力集是一条结构性约束——扰动空间的覆盖只及于见过的能力，攻击者换新gadget就能绕过（91.3%）。这不是实现缺陷而是AT的固有边界，因此RAL式持续对抗不是优化项而是必需品。

6.3 为什么RAL能两全

AL与AT此前被视为跷跷板：AL只喂干净样本，模型随漂移适应但对AE毫无免疫力（98.2%）；AT只喂AE，边界硬但随漂移失准（A-AUT(F1) 29.5）；AT&AL顺序叠加时，AL的新数据冲刷AT学到的鲁棒边界（19.4%）。RAL把一轮AT织进每个AL周期——每期新恶意软件立即被对抗增强后再入训练集，鲁棒性与新鲜度同步演化，两条曲线（49.0/0.6）同时保住。根源在于对抗适应与分布适应必须在同一时间尺度上交织，而非先后完成。

七、必要知识反推

完成这项工作最少必须掌握：

7.1 领域知识层

• Android恶意软件检测全栈：静态特征提取管线（清单+字节码）、Drebin/APIGraph/RAMDA三种特征空间的构成与差异、七种检测器的设计原理——没有这个光谱就无法设计有统计效力的迁移评估；
• 问题空间攻击四约束（可实现/保语义/合理/抗预处理）与gadget移植机制——不理解约束就无法解释为什么必须在特征空间建模MDP却保持问题空间可实现；
• 时间漂移评估方法论：Tesseract的时间感知切分、temporal luck、真实类比例（10%）——缺了它全部ASR数字都会被偏置污染。

7.2 方法论知识层

• PPO全家桶：裁剪代理目标、GAE、裁剪价值损失、熵正则——分层策略的训练骨架；
• 动作掩码理论：无效动作的logit屏蔽保持策略梯度有效性——大动作空间条件适用性的关键；
• 奖励塑造：R_success=H的正回报保证、λ_PS=0的探索激励、λ_WB=5的密集信号缩放——三个数值背后各有明确的机制理由；
• 迁移理论：Demontis等对对抗样本可迁移性的边界对齐解释——正是策略迁移与样本迁移对照实验的理论预设；
• 增益归因方法论：作者自己前作（DRL for security的SoK）提炼的陷阱清单——能力集/策略隔离、种子方差报告、统计检验。

7.3 工程知识层

• 大规模实验编排：379,680次攻击评估、1764组合网格、560个加固分类器的产出与调度；
• 无偏数据工程：Hypercube的数据集构建实践与VTT阈值的语义；
• 复现纪律：CleanRL单文件实现、固定超参、种子贯穿（网络初始化→策略训练→代理/目标训练→测试集）。

7.4 知识融合的关键节点

• 节点1（问题形式化）：把逃逸从优化视角切换到序贯决策视角——『改什么+何时查』的分层动作空间设计，让查询时机本身成为可学习对象；
• 节点2（信号选择）：坚持label-only而放弃置信分数——看似自缚手脚，实则逼出『学任务不学拓扑』的泛化红利，这是与全部基线分道扬镳的岔路口；
• 节点3（攻防闭环）：发现随机策略的AE多样性天然适配AT对扰动覆盖的需求——攻击侧的探索噪声恰是防御侧的训练素材，攻与防在『多样性』上完成化学反应；
• 节点4（双漂移统一）：把时间漂移（数据分布变）与能力漂移（攻击手段变）识别为同构问题，用RAL的『每期交织』同时治理。

八、论文中可以提取的通用性灵感

8.1 范式迁移类：学『如何做』而非『做的结果』

核心思想：当任务需要在新环境重复执行时，学习一个条件于状态的策略比每次从零优化一个解更泛化——解过拟合单一环境，策略携带任务结构知识。 论文证据：策略迁移78.8% vs 样本迁移43.3%（相对+82%）；代理-目标差距越大（组合轴），策略相对优势越明显（73.0 vs 41.3）。 推广场景：Prompt工程从逐任务调优到学习元策略；自动调参从单次搜索到跨任务的调参策略；渗透测试从单次exp到攻击链策略库；供应链优化从单实例求解到场景条件化的求解策略。

8.2 机制类：最弱信号训练出最泛化的行为

核心思想：训练时主动放弃强监督信号（置信分数），只留最弱的二元反馈，可以防止模型过拟合监督源的拓扑，学到对目标变化鲁棒的行为。 论文证据：依赖置信分数的ADZ/EvD在代理-目标分歧时失效（Rnd即可追平）；REPLICANT的label-only策略跨架构87.4%、跨表示78.8%。 推广场景：推荐系统用点击而非评分训练更抗偏好漂移；机器人用成败信号而非轨迹模仿获得跨任务泛化；金融风控用事件标签而非专家评分降低模型对标注者偏差的依赖。

8.3 关注点分离类：能力与策略解耦才能公平归因

核心思想：复杂系统的方法论进步往往被『多个变量捆绑变化』掩盖；把基础设施（能力集/环境）与决策逻辑（策略）显式分离，才能知道增益从哪来。 论文证据：Rnd消融证明环境+掩码已达基线水平、策略学习贡献全部剩余增益；作者以此批评既有工作『新能力集携带次优策略』的混杂。 推广场景：AI Agent评测分离工具与规划能力；模型评测分离数据配比与架构改进；组织绩效分离资源禀赋与管理决策；教育评估分离家庭背景与教学效果。

8.4 信号利用类：探索噪声是防御者的免费午餐

核心思想：随机策略训练过程中产生的失败/半成品样本天然覆盖解空间的一个宽带，比收敛解更适合做防御训练素材——攻击方的探索副产品是防御方的疫苗。 论文证据：AT-REPLICANT全程收集多样AE→对未见攻击者APG_WB残余仅16.3%；AT-APG用收敛路径AE→REPLICANT_WB仍达62.4%。 推广场景：红队演练的过程日志比最终报告更有蓝队价值；自动驾驶的corner case采集靠随机化测试；免疫系统的低效随机变异产生抗体多样性； fuzzing 的中间崩溃输入用于修复优先级排序。

8.5 系统设计类：两种适应必须在同一时间尺度交织

核心思想：当系统同时面临分布漂移与对抗演化两类压力时，顺序或叠加式的适应（先A后B、A+B拼盘）会互相冲销，必须把两者周期性交织。 论文证据：AT&AL顺序叠加鲁棒性掉到19.4%，RAL每期交织同时保住性能（49.0≈AL的49.8）与鲁棒（0.6%≈AT的0.1%）。 推广场景：持续学习场景下抗遗忘与抗对抗样本的联合训练；安全补丁与功能迭代同节奏发布；企业技能更新的安全合规同步嵌入；生态系统的免疫适应与繁殖季节同步。

8.6 评估方法论类：测试集要排除评估对象自身的失败

核心思想：评估攻击效能时，测试集应只包含所有防御者都能正确处理的样本，否则攻击成功率的差异会混入防御者基线能力的差异。 论文证据：测试集取每个种子/特征空间下全部7个分类器都检出的恶意软件，确保ASR反映攻击而非漏检；这是98.8%这类高数字可被信任的前提。 推广场景：A/B测试中先平衡两组基线能力；药物试验的安慰剂组匹配；模型对比时用共同答对的子集分析差异；体育淘汰赛的种子排位。

一句话总结：REPLICANT把恶意软件逃逸从『为每个样本手工打造钥匙』升级为『学习开锁的手艺』——这把手艺在1764种锁上开了78.8%，而它训练时随手丢弃的失败尝试，反而成了给锁匠升级锁芯的最好图纸。