Motif-Backdoor: Rethinking the Backdoor Attack on Graph Neural Networks via Motifs
Zhejiang University of Technology（浙江工业大学）
本文从模体视角重新思考GNN后门触发器，提出Motif-Backdoor攻击，利用图模体分布快速生成有效触发器，在黑盒与防御场景下均达到SOTA性能，并揭示了低频子图触发器可提升攻击效果的新见解。
2023-05-29 cs.AI cs.CR cs.LG
Effective backdoor attack on graph neural networks in link prediction tasks
College of Computer Engineering and Science, Shanghai University（上海大学计算机工程与科学学院）
本文提出一种针对GNN链路预测任务的后门攻击方法，以单节点为触发器毒化训练节点对，使模型在触发器出现时将无链接节点对误判为有链接，揭示GNN在该任务中的安全漏洞。
2025-05-06 cs.AI cs.CR cs.LG
Adversarial Attacks on Fairness of Graph Neural Networks
University of Virginia（弗吉尼亚大学）；IBM Research（IBM研究院）
本文研究针对公平感知GNN的对抗攻击，提出通用框架G-FairAttack及快速计算技术，可在不显著影响预测效用的情况下破坏多类GNN的公平性。
2024-03-03 cs.LG
Attack by Yourself: Effective and Unnoticeable Multi-Category Graph Backdoor Attacks with Subgraph Triggers Pool
针对图神经网络多类别后门攻击中自适应触发器生成器能力不足的问题，提出EUMC方法，利用被攻击图的子图构建多类别触发器池（MC-STP）并采用“先选择后附加”策略，实现了对目标类别的精确控制和高度隐蔽性。
2024-12-23 cs.CR
On Certifying Robustness against Backdoor Attacks via Randomized Smoothing
Duke University（杜克大学）
后门攻击是对深度神经网络（DNN）的严重安全威胁。我们设想，就像对抗性的例子一样，后门攻击将是一场猫捉老鼠的游戏，即，开发了新的经验防御来防御后门攻击，但是它们很快就被强适应性后门攻击打破。为了防止这种猫捉老鼠的游戏，我们采取了第一步，对后门攻击认证防御。具体来说，在这项工作中，我们研究的可行性和有效性，证明对后门攻击使用最近的技术称为随机平滑的鲁棒性。随机平滑最初是为了证明对抗性样本的鲁棒性而开发的。我们推广了随机平滑来抵御后门攻击。我们的研究结果表明，使用随机平滑证明对后门攻击的鲁棒性的理论可行性。然而，我们也发现，现有的随机平滑方法在抵御后门攻击的有效性有限，这突出了新的理论和方法的需求，以证明对后门攻击的鲁棒性。
2020-07-20 cs.CR cs.LG
BACKDOORL: Backdoor Attack against Competitive Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）；Pennsylvania State University（宾夕法尼亚州立大学）
最近的研究证实了后门攻击在深度强化学习（RL）系统中的可行性。然而，现有的攻击需要能够任意修改代理的观察，限制了应用范围简单的RL系统，如雅达利游戏。在本文中，我们将后门攻击迁移到涉及多个代理的更复杂的RL系统中，并探索在不直接操纵代理观察的情况下触发后门的可能性。作为概念证明，我们证明了对手代理可以在两人竞争RL系统中通过自己的行动触发受害代理的后门。我们在四种竞争环境中对EPDOOORL进行原型设计和评估。结果显示，当后门被激活时，受害者的中奖率比未激活时下降了17%至37%。
2021-12-12 cs.CR cs.LG
BEAGLE: Forensics of Deep Learning Backdoor Attack for Better Defense
Purdue University（普渡大学）；Rutgers University（罗格斯大学）
深度学习后门攻击的威胁模型与传统网络攻击相似。攻击取证作为传统网络攻击的重要对抗手段，对于防御典型的后门攻击具有重要意义。在本文中，我们提出了一种新的模型后门取证技术。给定一些攻击样本，例如带有后门触发器的输入，这可能代表不同类型的后门，我们的技术会自动将它们分解为干净的输入和相应的触发器。然后，它根据触发器的属性对触发器进行聚类，以允许自动攻击分类和总结。后门扫描器可以自动合成，以找到其他模型中相同类型后门的其他实例。我们对2，532个预训练模型，10种流行攻击的评估以及与9种基线的比较表明，我们的技术非常有效。分解的干净输入和触发器非常类似于地面实况。合成的扫描程序大大优于现有扫描程序的普通版本，这些扫描程序很难推广到不同类型的攻击。
2023-01-16 cs.CR cs.LG
MM-BD: Post-Training Detection of Backdoor Attacks with Arbitrary Backdoor Pattern Types Using a Maximum Margin Statistic
Anomalee Inc.（Anomalee公司）；Pennsylvania State University（宾夕法尼亚州立大学）
本文提出 MM-BD，一种无需训练集和干净样本、不假设后门嵌入类型的训练后检测方法，利用 softmax 前输出的最大间隔统计量进行无监督异常检测，并提出了在 IEEE 木马移除竞赛中获亚军的通用缓解方法。
2023-08-06 cs.CR cs.LG
Test-Time Detection of Backdoor Triggers for Poisoned Deep Neural Networks
Pennsylvania State University（宾夕法尼亚州立大学）
后门（特洛伊木马）攻击是针对深度神经网络（DNN）的新兴威胁。每当来自任何源类的测试样本嵌入后门模式时，被攻击的DNN将预测攻击者想要的目标类;同时正确分类干净（无攻击）的测试样本。现有的后门防御在检测DNN是否受到攻击以及在“后训练”机制中对后门模式进行逆向工程方面取得了成功：防御者可以访问要检查的DNN和独立收集的小而干净的数据集，但无法访问DNN的（可能中毒的）训练集。然而，这些防御既不能在触发后门映射的行为中抓住罪犯，也不能在测试时减轻后门攻击。在本文中，我们提出了一个“飞行中”防御后门攻击的图像分类，1）检测使用后门触发器在测试时，和2）推断类的起源（源类）检测到的触发器的例子。我们的防御的有效性进行了实验证明，对不同的强大的后门攻击。
2021-12-06 cs.CR cs.LG
Targeted Backdoor Attacks on Deep Learning Systems Using Data Poisoning
UC Berkeley（加州大学伯克利分校）
深度学习模型已经在许多任务上实现了高性能，因此已经应用于许多安全关键场景。例如，基于深度学习的人脸识别系统已被用于认证用户以访问许多安全敏感的应用程序，如支付应用程序。深度学习系统的这种使用为对手提供了足够的动机来针对这些系统执行攻击以用于其对抗目的。在这项工作中，我们考虑了一种新型的攻击，称为后门攻击，攻击者的目标是创建一个后门到一个基于学习的认证系统，使他可以很容易地绕过系统利用后门。具体地说，攻击者的目的是创建后门实例，从而误导受害者学习系统将后门实例分类为攻击者指定的目标标签。特别地，我们研究了后门中毒攻击，利用中毒策略实现后门攻击。与现有的所有工作不同的是，我们研究的中毒策略可以应用在一个非常弱的威胁模型下：（1）对手不知道受害者系统使用的模型和训练集;（2）攻击者只允许注入少量的中毒样本;（3）后门密钥即使是人类也很难注意到，以实现隐身。我们进行了评估，以证明后门攻击者只能注入大约50个中毒样本，同时达到90%以上的攻击成功率。我们也是第一个表明数据投毒攻击可以在不影响训练过程的情况下创建物理上可实现的后门的工作。我们的工作表明，后门中毒攻击对学习系统构成了真正的威胁，因此强调了进一步调查和提出防御策略的重要性。
2017-12-15 cs.CR cs.LG
Handcrafted Backdoors in Deep Neural Networks
Oregon State University（俄勒冈州立大学）；Google Brain（谷歌大脑）
当机器学习训练外包给第三方时，$backdoor$ $attacks$变得实用，因为训练模型的第三方可能会恶意地将隐藏的行为注入到原本准确的模型中。到目前为止，注入后门的机制仅限于$poisoning$。我们认为，供应链攻击者有更多的攻击技术，通过引入$handcrafted$攻击，直接操纵模型的权重。这种直接修改给我们的攻击者更多的自由度相比，中毒，我们表明它可以用来逃避许多后门检测或删除防御有效。在四个数据集和四个网络架构中，我们的后门攻击成功率保持在96%以上。我们的研究结果表明，需要进一步的研究来了解供应链后门攻击的完整空间。
2022-11-15 cs.CR cs.LG
Backdoor Attack against NLP models with Robustness-Aware Perturbation defense
University of saarland（萨尔大学）
后门攻击旨在将隐藏的后门嵌入到深度神经网络（DNN）中，使得被攻击的模型在良性样本上表现良好，而如果隐藏的后门被攻击者定义的触发器激活，则其预测将被恶意改变。这种威胁可能发生在培训过程没有完全控制的情况下，例如在第三方数据集上进行培训或采用第三方模型。针对这类后门攻击，已经有很多研究和不同的防御方法，其中之一是基于鲁棒性感知扰动的防御方法。该方法主要利用了中毒样本和干净样本之间的鲁棒性差距。在我们的工作中，我们通过使用对抗训练步骤控制中毒样本和干净样本之间的鲁棒性差距来打破这种防御。
2022-04-08 cs.CR cs.LG
Rethinking the Backdoor Attacks' Triggers: A Frequency Perspective
Virginia Tech（弗吉尼亚理工大学）；University of Michigan（密歇根大学）
后门攻击一直被认为是对深度学习的严重安全威胁。这种攻击可以使模型在具有预定义触发器的输入上表现异常，并且仍然在干净数据上保持最先进的性能。虽然后门攻击已经从攻击者和防御者双方在图像域中进行了彻底的调查，但到目前为止还没有在频域中进行分析。本文首先从频率的角度重新审视现有的后门触发器，并进行了全面的分析。我们的研究结果表明，许多当前的后门攻击表现出严重的高频伪影，这些伪影在不同的数据集和分辨率上持续存在。我们进一步证明了这些高频伪影能够以98.50%的检测率简单地检测现有的后门触发器，而无需事先了解攻击细节和目标模型。承认以前的攻击的弱点，我们提出了一种实用的方法来创建平滑的后门触发器没有高频文物，并研究其可检测性。我们表明，现有的防御工程可以受益于将这些顺利触发到他们的设计考虑。此外，我们表明，检测器调谐到更强的光滑触发器可以推广到看不见的弱光滑触发器。简而言之，我们的工作强调了在深度学习中设计后门攻击和防御时考虑频率分析的重要性。
2022-01-25 cs.CR cs.LG
Backdoor Attacks on Time Series: A Generative Approach
The University of Melbourne（墨尔本大学）；Fudan University（复旦大学）
后门攻击已经成为深度学习模型的主要安全威胁之一，因为它们可以通过在训练时将后门触发器预先注入模型来轻松控制模型的测试时间预测。虽然后门攻击已被广泛研究的图像，很少有作品调查的威胁后门攻击的时间序列数据。为了填补这一空白，在本文中，我们提出了一种新的生成方法的时间序列后门攻击对基于深度学习的时间序列分类器。后门攻击有两个主要目标：高隐蔽性和高攻击成功率。我们发现，与图像相比，在时间序列上实现这两个目标可能更具挑战性。这是因为时间序列具有较少的输入维度和较低的自由度，使得很难在不损害隐蔽性的情况下实现高攻击成功率。我们的生成方法通过生成与实时序列模式一样逼真的触发模式来解决这一挑战，同时实现高攻击成功率，而不会导致干净准确性的显着下降。我们还表明，我们提出的攻击是抵抗潜在的后门防御。此外，我们提出了一种新的通用生成器，它可以用一个允许通用攻击的生成器来毒害任何类型的时间序列，而不需要为新的时间序列数据集微调生成模型。
2023-02-05 cs.CR cs.LG
Do Backdoors Assist Membership Inference Attacks?
Osaka University（大阪大学）；NTT Social Informatics Laboratories（NTT社会信息学实验室）
当攻击者向机器学习模型提供有毒样本时，隐私泄露（例如推断样本是否包括在模型的训练中的成员推断攻击）通过将样本移动到离群值而变得有效。然而，攻击可以被检测到，因为推理精度由于有毒样本而恶化。在本文中，我们讨论了一个\textit{backdoor-assisted membership inference attack}，一种新的成员推断攻击的基础上后门，返回对手的预期输出的触发样本。通过对学术基准数据集的实验，我们发现了三个关键的见解。我们首先证明了后门辅助的成员推断攻击是不成功的。其次，当我们分析损失分布以了解不成功结果的原因时，我们发现后门无法区分训练样本和非训练样本的损失分布。换句话说，后门不会影响干净样本的分发。第三，我们还表明，毒物和触发样本激活不同分布的神经元。具体来说，后门使任何干净的样本成为内围值，而不是中毒样本。因此，我们确认，后门不能帮助成员推理。
2023-03-22 cs.CR cs.LG
Watch Out for the Lifespan: Evaluating Backdoor Attacks Against Federated Model Adaptation
CEA-Leti（CEA-莱提实验室）；Centre CMP（CMP中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Mines Saint-Etienne（圣艾蒂安矿业学院）
本文研究了LoRA对联邦学习中后门攻击的影响，发现低秩适应可延长后门寿命，揭示了后门攻击评估中的关键问题。
2026-02-18 cs.CR cs.LG
Widen The Backdoor To Let More Attackers In
University of Oxford（牛津大学）
随着协作学习和数据汇集外包变得越来越普遍，试图操纵学习过程的恶意行为者（或代理人）在相互竞争时面临额外的障碍。在后门攻击中，对手试图通过将恶意样本引入训练数据来毒害模型，对手必须考虑到额外后门攻击者的存在可能会阻碍他们自己的后门的成功。在本文中，我们研究了多代理后门攻击的场景，其中多个非合谋攻击者在共享数据集中制作并插入触发样本，该数据集由模型（防御者）用于学习任务。我们发现了一个明显的逆火现象：增加攻击者的数量减少了每个攻击者的攻击成功率（ASR）。然后，我们利用这种现象来最大限度地减少攻击者的集体ASR，并通过（i）人工增加攻击者的数量，以及（ii）索引以从模型中删除攻击者的子数据集进行推理，从而最大限度地提高防御者的鲁棒性准确性，从而提出2种防御方法。
2021-10-09 cs.CR cs.LG
A Knowledge Distillation-Based Backdoor Attack in Federated Learning
University of Science and Technology of China（中国科学技术大学）
联邦学习（FL）是一种新型的分散式机器学习框架。由于FL的分散特性，它在训练过程中容易受到对抗攻击，例如后门攻击。后门攻击旨在将后门注入到机器学习模型中，使得该模型将使用某些特定的后门触发器对测试样本做出任意不正确的行为。尽管已经介绍了FL的一系列后门攻击方法，但也有防御它们的方法。许多防御方法都是利用带后门模型的异常特征或带后门模型与正常模型的差异来进行防御的。为了绕过这些防御，我们需要减少差异和异常特征。我们发现这种异常的一个根源是后门攻击在毒化数据时会直接翻转数据的标签。然而，目前对FL中的后门攻击的研究主要集中在减少带有后门的模型与常规模型之间的差异上。本文提出了对抗性知识蒸馏（ADVKD）方法，该方法将知识蒸馏和后门攻击相结合，通过知识蒸馏减少标签翻转导致的模型结果中的异常特征，从而使模型能够绕过防御。与现有的方法相比，我们表明，ADVKD不仅可以达到更高的攻击成功率，但也成功地绕过防御时，其他方法失败。为了进一步探索ADVKD的性能，我们测试了不同场景下参数对ADVKD性能的影响。根据实验结果，总结了在不同场景下如何调整参数以获得更好的性能。我们还使用了几种方法来可视化不同的攻击效果，并解释ADVKD的有效性。
2022-08-12 cs.CR cs.LG
Is the Trigger Essential? A Feature-Based Triggerless Backdoor Attack in Vertical Federated Learning
Key Laboratory of High Confidence Software Technologies (Peking University), Ministry of Education（高可信软件技术重点实验室（北京大学））；School of Computer Science, Peking University（北京大学计算机学院）；Zhongguancun Laboratory（中关村实验室）
本文提出了一种基于特征的无触发后门攻击，揭示了垂直联邦学习中新的攻击路径，优于现有方法并具备高鲁棒性。
2026-02-24 cs.CR cs.LG
On the Effectiveness of Adversarial Training against Backdoor Attacks
Tsinghua University（清华大学）；The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
DNN对海量数据的需求迫使从业者由于不可接受的成本而从互联网上收集数据，而不需要仔细检查，这带来了潜在的后门攻击风险。后门模型总是在存在预定义的触发模式的情况下预测目标类，这可以通过中毒少量数据轻松实现。一般来说，对抗性训练被认为可以抵御后门攻击，因为它可以帮助模型保持预测不变，即使我们扰动输入图像（只要在可行范围内）。不幸的是，以前的研究很少成功地做到这一点。为了探索对抗性训练是否可以防御后门攻击，我们在不同的威胁模型和扰动预算下进行了广泛的实验，并找到了对抗性训练问题中的威胁模型。例如，具有空间对抗性示例的对抗性训练针对常用的基于补丁的后门攻击提供了显著的鲁棒性。我们进一步提出了一种混合策略，提供了令人满意的鲁棒性，在不同的后门攻击。
2022-02-22 cs.CR cs.LG
Backdoor Attacks on Federated Learning with Lottery Ticket Hypothesis
Huazhong University of Science and Technology（华中科技大学）
与数据中心的服务器相比，联邦学习中的边缘设备通常具有更有限的计算和通信资源。最近，先进的模型压缩方法，如彩票假设，已经在联邦学习上实现，以减少模型大小和通信成本。然而，后门攻击可能会危及其在联邦学习场景中的实现。恶意边缘设备使用中毒的私有数据训练客户端模型，并将参数上传到中心，在不知情的聚合优化后向全局共享模型嵌入后门。在推理阶段，带有后门的模型将具有特定触发器的样本分类为一个目标类别，而清洁样本的推理精度略有下降。在这项工作中，我们的经验表明，彩票模型同样容易受到后门攻击的原始密集模型，和后门攻击可以影响提取的门票的结构。基于票据之间的相似性，我们为联邦学习提供了一种可行的防御后门攻击的各种数据集。
2021-09-22 cs.CR cs.LG
Provable one-poison backdoor attacks on linear models and ReLU neural networks
University of Lübeck（吕贝克大学）；Technische Hochschule Lübeck（吕贝克技术大学）
本文提出并证明了在仅使用一个毒样本的情况下，可通过线性回归、线性分类和2层ReLU神经网络实现无错误的后门注入，且对良性任务影响有限。
2026-08-28 cs.CR cs.LG
Fine-Pruning: Defending Against Backdooring Attacks on Deep Neural Networks
New York University（纽约大学）
深度神经网络（DNN）在广泛的分类任务中提供出色的性能，但其训练需要大量的计算资源，并且通常外包给第三方。最近的研究表明，外包训练引入了一种风险，即恶意训练者将返回一个后门DNN，该DNN在大多数输入上表现正常，但在存在只有攻击者才知道的触发器时，会导致有针对性的错误分类或降低网络的准确性。在本文中，我们提供了第一个有效的防御后门攻击的DNN。我们实现了三个后门攻击从以前的工作，并使用它们来调查两个有前途的防御，修剪和微调。我们表明，两者本身都不足以抵御复杂的攻击者。然后，我们评估了精细修剪，修剪和微调的组合，并表明它成功地削弱甚至消除了后门，即，在某些情况下，将攻击成功率降低到0%，对于干净（非触发）输入，准确度仅下降0.4%。我们的工作为防御深度神经网络中的后门攻击迈出了第一步。
2018-05-30 cs.CR cs.LG
Persistent Backdoor Attacks in Continual Learning
Saint Louis University（圣路易斯大学）
针对持续学习场景下后门攻击的持久性研究不足的问题，提出两种低干预的持久后门攻击方法，经测试在多种触发器和持续学习算法下均有高成功率且能规避主流防御。
2025-07-29 cs.CR cs.LG
Certified Robustness of Nearest Neighbors against Data Poisoning and Backdoor Attacks
Duke University（杜克大学）
数据投毒攻击和后门攻击旨在通过修改、添加和/或移除一些精心选择的训练样本来破坏机器学习分类器，使得被破坏的分类器按照攻击者的期望做出不正确的预测。针对数据投毒攻击和后门攻击的最先进的认证防御的关键思想是创建一个多数投票机制来预测测试示例的标签。此外，每个投票者都是在训练数据集的子集上训练的基础分类器。经典的简单学习算法如k近邻（kNN）和半径近邻（rNN）具有固有的多数表决机制。在这项工作中，我们表明，在kNN和rNN的内在多数表决机制已经提供了认证的鲁棒性保证，对数据投毒攻击和后门攻击。此外，我们对MNIST和CIFAR 10的评估结果表明，kNN和rNN的内在认证鲁棒性保证优于最先进的认证防御所提供的保证。我们的研究结果可作为未来针对数据投毒攻击和后门攻击的认证防御的标准基线。
2021-12-02 cs.CR cs.LG
Rethinking Graph Backdoor Attacks: A Distribution-Preserving Perspective
The Pennsylvania State University（宾夕法尼亚州立大学）
针对现有图后门攻击的触发器多为分布外样本易被检测的问题，提出结合OOD检测器与对抗学习生成分布内触发器，并设计模块增强受害模型记忆，实现高成功率且能绕过多种防御的隐蔽图后门攻击。
2024-07-12 cs.CR cs.LG
Regula Sub-rosa: Latent Backdoor Attacks on Deep Neural Networks
University of Chicago（芝加哥大学）
最近的工作提出了对深度神经网络（DNN）进行后门攻击的概念，其中错误行为隐藏在“正常”模型中，仅由非常特定的输入触发。然而，在实践中，这些攻击难以执行，并且受到通过迁移学习共享模型的高度约束。对手有一个很小的窗口，在此期间，他们必须在部署学生模型之前对其进行破坏。在本文中，我们描述了一个更强大的变种后门攻击，潜在的后门，其中隐藏的规则可以嵌入到一个单一的“教师”模型，并自动继承所有的“学生”模型通过迁移学习过程。我们表明，潜在的后门可以在各种应用环境中非常有效，并通过对交通标志识别，实验室志愿者的虹膜识别和公众人物（政治家）的面部识别的现实世界的攻击验证其实用性。最后，我们评估了4种潜在的防御措施，发现只有一种可以有效地破坏潜在的后门，但可能会导致分类准确性的代价。
2019-05-24 cs.CR cs.LG
BadNL: Backdoor Attacks against NLP Models with Semantic-preserving Improvements
Peking University（北京大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全研究中心）；Rutgers University（罗格斯大学）
深度神经网络（DNN）在过去十年中发展迅速，并已部署在各种现实世界的应用中。与此同时，DNN模型已被证明容易受到安全和隐私攻击。其中一种最近引起广泛关注的攻击是后门攻击。具体来说，对手毒害目标模型的训练集，以误导任何带有添加的秘密触发器的输入到目标类。以前的后门攻击主要集中在计算机视觉（CV）应用上，例如图像分类。本文对自然语言处理模型的后门攻击进行了系统的研究，并提出了BadNL，一个包含新攻击方法的通用自然语言处理后门攻击框架。具体来说，我们提出了三种方法来构建触发器，即BadChar，BadWord和BadSentence，包括基本的和语义保持的变体。我们的攻击达到了几乎完美的攻击成功率，对原始模型的效用影响可以忽略不计。例如，使用BadChar，我们的后门攻击实现了98.9%的攻击成功率，在SST-5数据集上产生了1.5%的效用改进，而仅中毒了原始数据集的3%。此外，我们进行了用户研究，以证明我们的触发器可以很好地保持语义从人类的角度来看。
2021-10-04 cs.CR cs.LG
CASSOCK: Viable Backdoor Attacks against DNN in The Wall of Source-Specific Backdoor Defences
Nanjing University of Science and Technology（南京理工大学）；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织Data61）；University of Western Australia（西澳大学）；University of Chinese Academy of Sciences（中国科学院大学）；University of Wollongong（伍伦贡大学）
作为对深度神经网络（DNN）的关键威胁，后门攻击可以分为两种类型，即，与源无关的后门攻击（SABA）和源特定的后门攻击（SSBA）。与传统SABA相比，SSBA更先进，因为它们在绕过对SABA有效的主流对策方面具有更高的隐身性。尽管如此，现有的SSBA受到两个主要限制。首先，它们很难在ASR（攻击成功率）和FPR（误报率）之间实现良好的权衡。此外，他们可以有效地检测到的国家的最先进的（SOTA）对策（例如，SCAn）。为了解决上述局限性，我们提出了一类新的可行的源特定的后门攻击，称为CASSOCK。我们的关键见解是，在SSB中创建中毒数据和覆盖数据时，触发器设计在演示可行的特定于源的攻击方面起着至关重要的作用，而现有的SSB尚未考虑到这一点。有了这个洞察力，我们在为样本具有攻击者目标标签的中毒数据集和样本具有真实标签的覆盖数据集制作触发器时，专注于触发器透明度和内容。具体来说，我们实现了$CASSOCK_{Trans}$和$CASSOCK_{Cont}$。虽然它们是正交的，但它们彼此互补，产生了一种更强大的攻击，称为$CASSOCK_{Comp}$，具有进一步改进的攻击性能和隐蔽性。我们对基于$CASSOCK$的三种攻击在四种流行的数据集和三种SOTA防御上进行了全面的评估。与作为基线的代表性SSBA（$SSBA_{Base}$）相比，基于$CASSOCK$的攻击显著提高了攻击性能…
2022-12-18 cs.CR cs.LG
ChatGPT as an Attack Tool: Stealthy Textual Backdoor Attack via Blackbox Generative Model Trigger
University of Michigan（密歇根大学）；Arizona State University（亚利桑那州立大学）；NVIDIA（英伟达）
该研究提出基于黑盒生成模型的文本后门攻击方法BGMAttack，利用前沿生成模型提升触发器隐蔽性，经多数据集和人类认知评估验证，其攻击性能与基线相当且隐蔽性更强，凸显了相关防御研究的重要性。
2023-04-27 cs.CR cs.LG
Diff-Cleanse: Identifying and Mitigating Backdoor Attacks in Diffusion Models
Beihang University（北京航空航天大学）
针对扩散模型的后门攻击威胁，提出两阶段防御框架Diff-Cleanse，通过触发器反演检测后门并利用结构剪枝消除后门，实现近100%检测准确率且几乎不损害模型良性性能。
2024-08-22 cs.CR cs.LG
Rethink the Evaluation for Attack Strength of Backdoor Attacks in Natural Language Processing
Tencent AI Lab（腾讯人工智能实验室）
已经表明，自然语言处理（NLP）模型容易受到一种称为后门攻击的安全威胁，这种攻击利用“后门触发器”范式来误导模型。最具威胁的后门攻击是隐形后门，它将触发器定义为文本样式或语法。虽然他们已经取得了令人难以置信的高攻击成功率（ASR），我们发现，其ASR的主要因素是不是“后门触发器”的范例。因此，当将这些秘密后门攻击归类为后门攻击时，高估了其能力。因此，为了评估后门攻击的实际攻击能力，我们提出了一个新的度量称为攻击成功率差（ASRD），它衡量的ASR之间的差异清洁状态和中毒状态模型。此外，针对目前对隐蔽式后门攻击的防御手段缺乏的情况，本文提出了一种触发器断路器，它由两个简单的技巧组成，可以有效地防御隐蔽式后门攻击。实验表明，我们的方法实现了显着更好的性能比国家的最先进的防御方法对隐形后门攻击。
2022-02-16 cs.CL cs.CR cs.LG
Fake the Real: Backdoor Attack on Deep Speech Classification via Voice Conversion
Ningbo University（宁波大学）；Zhejiang Key Laboratory of Mobile Network Application Technology（浙江省移动网络应用技术重点实验室）；Ningbo City College of Vocational Technology（宁波城市职业技术学院）
针对深度语音分类的后门安全问题，本文提出利用预训练语音转换模型生成样本特定且无可听噪声的触发器，并在两项任务上验证攻击有效性及抗微调能力。
2023-06-28 cs.CR cs.LG cs.SD
Backdoors Stuck At The Frontdoor: Multi-Agent Backdoor Attacks That Backfire
University of Oxford（牛津大学）
协作学习和外包数据汇集中的恶意代理威胁到干净模型的训练。后门攻击是训练时鲁棒性的一个主要问题，攻击者在训练期间毒害模型以成功实现有针对性的误分类。在本文中，我们研究了多代理后门攻击的情况下，多个攻击者试图后门受害者模型同时进行。在广泛的游戏中观察到一致的逆火现象，其中代理遭受集体攻击成功率低。我们研究了不同模式的后门攻击配置，非合作/合作，联合分布偏移，和游戏设置返回一个均衡的攻击成功率在下限。这些结果促使重新评估后门防御研究的实际环境。
2022-01-28 cs.CR cs.LG cs.MA
Debiasing Backdoor Attack: A Benign Application of Backdoor Attack in Eliminating Data Bias
Beijing Jiaotong University（北京交通大学）
后门攻击是近年来出现的一种新的AI安全风险。借鉴以往对抗攻击的研究，我们认为，后门攻击有潜力进入模型学习过程，提高模型的性能。通过对后门攻击中的完全准确性下降（CAD）的分析，发现CAD是由数据的伪删除效应产生的。我们从模型分类边界的角度对这一现象进行了初步解释，并观察到这种伪删除在数据去偏问题中比直接删除具有优势。基于上述发现，我们提出了去偏后门攻击（DBA）。它在去偏置任务中实现了SOTA，具有比欠采样更广泛的应用场景。
2022-02-18 cs.AI cs.CR cs.LG
Look, Listen, and Attack: Backdoor Attacks Against Video Action Recognition
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；Saudi Data and Artificial Intelligence Authority (SDAIA)（沙特数据与人工智能管理局）
深度神经网络（DNN）容易受到一类称为“后门攻击“的攻击，这种攻击在后门触发器和攻击者有兴趣利用的目标标签之间创建关联。后门DNN在干净的测试图像上表现良好，但在存在后门触发器的情况下，持续预测攻击者定义的任何样本标签。尽管后门攻击在图像域中已经被广泛研究，但是在视频域中探索这样的攻击的工作很少，并且他们倾向于得出图像后门攻击在视频域中不太有效的结论。在这项工作中，我们重新审视了传统的后门威胁模型，并将其他与视频相关的方面纳入该模型。我们发现，有毒标签图像后门攻击可以扩展时间在两种方式，静态和动态，导致在视频域中的高效攻击。此外，我们还探索了自然视频后门，以突出此漏洞在视频领域的严重性。而且，我们第一次研究了针对视频动作识别模型的多模态（视听）后门攻击，在那里我们证明了攻击单一模态足以实现高攻击成功率。
2023-01-19 cs.CR cs.CV cs.LG
Low-Loss Subspace Compression for Clean Gains against Multi-Agent Backdoor Attacks
University of Oxford（牛津大学）
最近对多智能体后门攻击的研究证明了逆火效应，这是一种对后门攻击的自然防御，其中后门输入是随机分类的。这产生了低精度w.r.t.的副作用。干净的标签，这促使本文的工作建设的多代理后门防御，最大限度地提高准确性w.r.t.清洁标签，尽量减少有毒标签。基于代理动力学和低损失子空间构造，我们贡献了三种防御措施，提高了多代理后门的鲁棒性。
2022-09-20 cs.CR cs.LG cs.MA
Don't Trigger Me! A Triggerless Backdoor Attack Against Deep Neural Networks
CISPA Helmholtz Center for Information Security（CISPA 亥姆霍兹信息安全研究中心）
针对深度神经网络的后门攻击由于其严重的安全后果目前正被深入研究。当前最先进的后门攻击要求对手修改输入，通常是通过向其添加触发器，以便目标模型激活后门。这种增加的触发器不仅增加了在物理世界中发动后门攻击的难度，而且可以很容易地被多种防御机制检测到。在本文中，我们提出了第一个针对深度神经网络的无攻击者后门攻击，其中对手不需要修改触发后门的输入。我们的攻击是基于dropout技术。具体地说，我们将一组在模型训练期间退出的目标神经元与目标标签相关联。在预测阶段，当目标神经元再次被丢弃时，模型将输出目标标签，即，则发起后门攻击。我们的攻击的这种无边界特征使其在物理世界中变得实用。大量的实验表明，我们的无攻击者的后门攻击达到了完美的攻击成功率，可以忽略不计的损害模型的实用性。
2020-10-07 cs.CR cs.CV cs.LG
Mitigating backdoor attacks in LSTM-based Text Classification Systems by Backdoor Keyword Identification
School of Computer Engineering and Science（计算机工程与科学学院）；Shanghai University（上海大学）
事实证明，深度神经网络正面临着一种名为后门攻击的新威胁，攻击者可以通过毒化训练数据集将后门注入神经网络模型。当输入中含有某种称为后门的触发模式时，带有后门的模型将执行恶意任务，如攻击者指定的错误分类。在文本分类系统中，插入模型中的后门可能会导致垃圾邮件或恶意语音逃避检测。以往的工作主要集中在计算机视觉中的后门攻击的防御上，对于文本分类中的RNN后门攻击的防御方法研究较少。本文通过分析LSTM内部神经元的变化，提出了一种称为后门关键字识别（BKI）的防御方法，以减轻攻击者通过数据投毒对基于LSTM的文本分类进行的后门攻击。这种方法可以识别和排除中毒样本制作插入后门到模型中的训练数据，而无需验证和可信的数据集。我们评估我们的方法在四个不同的文本分类数据集：IMDB，DBpedia本体，20个新闻组和路透社-21578数据集。无论触发语句是什么，它都能实现良好的性能。
2021-03-15 cs.CR cs.LG stat.ML
BAAAN: Backdoor Attacks Against Autoencoder and GAN-Based Machine Learning Models
CISPA Helmholtz Center for Information Security（亥姆霍兹信息安全研究中心）；Cyber-Defence Campus, armasuisse Science and Technology（瑞士联邦国防、民防和体育部科技局网络防御园区）
自动编码器和生成对抗网络（GANs）的巨大进步导致它们应用于多个关键任务，例如欺诈检测和净化数据生成。这种日益增长的采用促进了对这些模型所产生的安全和隐私风险的研究。然而，以前的工作主要集中在成员推断攻击。在这项工作中，我们探索了对机器学习模型最严重的攻击之一，即后门攻击，针对自动编码器和GANs。后门攻击是一种训练时间攻击，其中对手在目标模型中实现只能由秘密触发器激活的隐藏后门。最先进的后门攻击主要针对基于分类的任务。我们将后门攻击的适用性扩展到自动编码器和基于GAN的模型。更具体地说，我们提出了针对自动编码器和GANs的第一个后门攻击，当后门被激活时，对手可以控制解码或生成的图像。我们的研究结果表明，对手可以构建一个后门自动编码器，为所有后门输入返回一个目标输出，同时在干净的输入上表现得完全正常。同样，对于GANs，我们的实验表明，当后门被激活时，对手可以从不同的分布中生成数据，而当后门没有被激活时，对手可以保持相同的效用。
2020-10-08 cs.AI cs.CR cs.LG
Label-Consistent Backdoor Attacks
MIT（麻省理工学院）
深度神经网络已被证明容易受到后门攻击。具体来说，通过向训练集中注入少量恶意构造的输入，攻击者能够在训练模型中植入后门。这个后门可以在推理过程中被后门触发器激活，以完全控制模型的行为。虽然这种攻击非常有效，但它们主要依赖于对手注入任意的输入，这些输入通常是公然错误的。这些样本在人类检查时会引起怀疑，可能会揭示攻击。因此，为了使后门攻击不被发现，保持标签一致性至关重要--注入的输入与标签一致的条件。在这项工作中，我们利用对抗性扰动和生成模型来执行高效但标签一致的后门攻击。我们的方法是基于注入看似合理但难以分类的输入，因此导致模型依赖于（学习者）后门触发器。
2019-12-06 cs.CR cs.LG stat.ML
Natural Backdoor Attack on Text Data
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
最近，高级NLP模型在各种应用程序中的使用量激增。这增加了已发布模型的安全威胁。除了干净模型的非故意缺陷之外，{\em即，}对抗攻击，具有恶意意图的中毒模型在现实生活中要危险得多。然而，目前大多数现有的工作集中在NLP模型的对抗性攻击，而不是定位攻击，也称为\textit{backdoor attacks}。本文首先提出了NLP模型上的\textit{natural backdoor attacks}。此外，我们利用各种攻击策略来生成触发器的文本数据和调查不同类型的触发器的修改范围的基础上，人类识别，和特殊情况。最后，我们对后门攻击进行了评估，结果表明，后门攻击的成功率为100%，文本分类任务的牺牲率为0.83%。
2021-01-15 cs.CL cs.CR cs.LG
Backdoor Smoothing: Demystifying Backdoor Attacks on Deep Neural Networks
University of Cagliari（卡利亚里大学）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）；Pluribus One；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
后门攻击会误导机器学习模型，在测试时出现特定触发时输出攻击者指定的类。这些攻击需要毒化训练数据以损害学习算法，例如，通过将包含触发器的中毒样本与所需的类别标签一起注入训练集中。尽管关于后门攻击和防御的研究越来越多，但影响后门攻击成功的潜在因素及其对学习算法的影响尚未得到很好的理解。在这项工作中，我们的目标是揭示这个问题，揭示后门攻击诱导一个更平滑的决策功能周围的触发样本-一种现象，我们称之为\textit{backdoor smoothing}。为了量化后门平滑，我们定义了一个度量，该度量评估与输入样本周围的分类器的预测相关联的不确定性。我们的实验表明，当触发器被添加到输入样本时，平滑度会增加，并且这种现象在更成功的攻击中更加明显。我们还提供了初步证据，证明后门触发器不是唯一的平滑诱导模式，但我们的方法也可以检测到其他人工模式，为理解当前防御的局限性和设计新的防御铺平了道路。
2021-11-02 cs.CR cs.LG stat.ML
Excess Capacity and Backdoor Poisoning
Toyota Technological Institute Chicago（芝加哥丰田技术研究所）
后门数据投毒攻击是一种对抗攻击，其中攻击者将几个带水印的、错误标记的训练样本注入训练集中。水印不会影响模型在典型数据上的测试时性能;然而，模型在水印示例上可靠地出错。为了更好地了解后门数据投毒攻击的基础，我们提出了一个正式的理论框架内，可以讨论后门数据投毒攻击的分类问题。然后，我们使用它来分析围绕这些攻击的重要统计和计算问题。在统计方面，我们确定了一个参数，我们称之为记忆能力，它捕捉了学习问题对后门攻击的内在脆弱性。这使我们能够讨论几个自然学习问题对后门攻击的鲁棒性。我们的研究结果有利于攻击者提出明确的构造后门攻击，我们的鲁棒性结果表明，一些自然的问题设置不能产生成功的后门攻击。从计算的角度来看，我们证明了在某些假设下，对抗训练可以检测到训练集中后门的存在。然后，我们表明，在类似的假设下，两个密切相关的问题，我们称之为后门过滤和强大的推广几乎是等价的。这意味着，设计能够识别训练集中的水印示例的算法，以获得既能很好地推广到看不见的数据又对后门具有鲁棒性的学习算法，这是渐进必要的，也是足够的。
2021-11-03 cs.CR cs.LG stat.ML
Backdoor Federated Learning by Poisoning Backdoor-Critical Layers
Stony Brook University（石溪大学）；University of Delaware（特拉华大学）；South China University of Technology（华南理工大学）；Louisiana State University（路易斯安那州立大学）
该研究针对联邦学习的后门攻击风险，发现了主导模型脆弱性的后门关键（BC）层，提出从攻击者视角识别BC层并设计自适应平衡攻击效果与隐蔽性的后门攻击方法，实验证明仅10%恶意客户端即可突破7种当前最优防御，性能优于现有最新方法。
2024-04-15 cs.CR cs.CV cs.LG
Rethinking Backdoor Attacks
MIT（麻省理工学院）
该研究指出无训练数据结构信息时后门攻击无法被通用检测，梳理现有防御的潜在假设，并基于后门是训练数据最强特征的形式化假设，提出带理论保证且实用的后门检测新原语与算法。
2023-07-19 cs.CR cs.LG stat.ML
Backdoor Attacks and Countermeasures on Deep Learning: A Comprehensive Review
Nanjing University of Science and Technology（南京理工大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织 Data61）；The University of Adelaide（阿德莱德大学）；The University of Queensland（昆士兰大学）；Hunan University（湖南大学）；Sungkyunkwan University（成均馆大学）
这项工作为社区提供了对深度学习的后门攻击和对策的及时全面的审查。根据攻击者的能力和机器学习流水线的受影响阶段，攻击面被识别为广泛的，然后形式化为六类：代码中毒，外包，预训练，数据汇集，协作学习和部署后。相应地，梳理了每个分类下的攻击。对策分为四大类：盲目借壳、线下借壳检查、线上借壳检查和事后借壳检查。在此基础上，对我国的应对策略进行了回顾，并对各种策略的优缺点进行了比较分析.我们还回顾了后门攻击的另一面，即i）保护深度学习模型的知识产权，ii）作为蜜罐捕获对抗性示例攻击，iii）验证数据贡献者请求的数据删除。总体而言，防御研究远远落后于攻击，没有一种防御可以阻止所有类型的后门攻击。在某些情况下，攻击者可以通过自适应攻击智能地绕过现有的防御。从系统性综述中得出的见解，我们还提出了未来研究后门的关键领域，如物理触发攻击的经验安全评估，特别是，更有效和实用的对策征求。
2020-08-02 cs.CR cs.CV cs.LG
Unlearn to Relearn Backdoors: Deferred Backdoor Functionality Attacks on Deep Learning Models
Graduate School of AI（人工智能学院）；Pohang University of Science and Technology（浦项科技大学）
本文提出延迟激活后门功能（DABF）攻击，使后门在初始部署时保持隐蔽，仅在模型后续更新后激活，并设计两阶段训练方案 DeferBad 实现该攻击。
2024-11-25 cs.AI cs.CR cs.LG
Dynamic Backdoor Attacks Against Machine Learning Models
Microsoft Research（微软研究院）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Rutgers University（罗格斯大学）
机器学习（ML）在过去十年中取得了巨大的进步，并正在各种关键的现实世界应用中被采用。然而，最近的研究表明，ML模型容易受到多种安全和隐私攻击。特别是，针对ML模型的后门攻击最近引起了人们的广泛关注。成功的后门攻击可能会导致严重的后果，例如允许攻击者绕过关键的身份验证系统。当前的后门技术依赖于在ML模型输入上添加静态触发器（具有固定的模式和位置），这些触发器易于被当前的后门检测机制检测到。在本文中，我们提出了第一类针对深度神经网络（DNN）的动态后门技术，即随机后门、后门生成网络（BaN）和条件后门生成网络（c-BaN）。由我们的技术生成的触发器可以具有随机的模式和位置，这降低了当前后门检测机制的效率。特别是，BaN和c-BaN基于一种新的生成网络是前两个方案，算法生成触发器。此外，c-BaN是第一个条件后门技术，给定一个目标标签，它可以生成一个目标特定的触发器。BaN和c-BaN本质上都是一个通用框架，它使对手能够灵活地进一步定制后门攻击。我们在三个基准数据集上广泛评估了我们的技术：MNIST，CelebA和CIFAR-10。我们的技术在后门数据上实现了几乎完美的攻击性能，而效用损失可以忽略不计。我们进一步表明，我们的技术可以绕过当前最先进的防御机制对后门攻击，包括ABS，Februus，MNTD，神经清洗，和STRIP。
2022-03-03 cs.CR cs.LG stat.ML
Backdoor Vectors: a Task Arithmetic View on Backdoor Attacks and Defenses
Warsaw University of Technology（华沙技术大学）；NASK National Research Institute（国家研究机构NASK）；IDEAS NCBR；IDEAS Research Institute（IDEAS研究所）；Computer Vision Center, Universitat Autonoma de Barcelona（巴塞罗那自治大学计算机视觉中心）
本研究从任务算术视角提出后门向量框架，通过稀疏后门向量增强攻击，并设计注入后门向量减法实现无假设的通用防御，提升模型合并安全性。
2025-10-09 cs.AI cs.CR cs.LG
A Semantic and Clean-label Backdoor Attack against Graph Convolutional Networks
School of Computer Engineering and Science, Shanghai University（上海大学计算机工程与科学学院）
该研究针对图卷积网络的安全漏洞，提出语义干净标签后门攻击方法SCLBA，通过选取节点作为语义触发器生成投毒样本，在低投毒率下实现高攻击成功率且几乎不影响良性样本性能。
2025-03-19 cs.AI cs.CR cs.LG
Rethinking the Trigger of Backdoor Attack
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Tencent AI Lab（腾讯人工智能实验室）
后门攻击是在深度神经网络（DNN）中注入隐藏的后门，一旦被攻击者定义的触发器激活，被感染模型的预测就会被恶意改变，而在良性样本上表现良好。目前，现有的后门攻击大多采用\emph{static}触发器的设置，训练图像和测试图像中的$i.e.,$触发器遵循相同的外观，位于相同的区域。在本文中，我们重新审视这种攻击模式，通过分析静态触发器的特点。我们证明了这样的攻击范例是脆弱的，当测试图像中的触发器与用于训练的触发器不一致时。我们进一步探讨如何利用此属性的后门防御，并讨论如何减轻现有的攻击这样的脆弱性。
2021-01-31 cs.CR cs.CV cs.LG
Recover Triggered States: Protect Model Against Backdoor Attack in Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出RTS方法，通过构建替代网络近似动力学模型并将环境从触发状态恢复至干净状态，有效防御单智能体强化学习中的后门攻击，且累计奖励仅下降1.41%。
2023-04-10 cs.AI cs.CR cs.LG
Backdoor Attacks Against Deep Learning Systems in the Physical World
University of Chicago（芝加哥大学）
后门攻击将隐藏的恶意行为嵌入到深度学习模型中，仅激活并导致包含特定触发器的模型输入的错误分类。然而，现有的关于后门攻击和防御的工作主要集中在使用数字生成的模式作为触发器的数字攻击上。一个关键的问题仍然没有答案：后门攻击能否成功使用物理对象作为触发器，从而使它们成为现实世界中对深度学习系统的可信威胁？我们进行了详细的实证研究，以探索这个问题的面部识别，一个关键的深度学习任务。使用七个物理对象作为触发器，我们收集了一个自定义数据集的3205图像的10名志愿者，并使用它来研究物理后门攻击的可行性在各种现实世界的条件下。我们的研究揭示了两个关键发现。首先，物理后门攻击可以非常成功，如果它们被仔细配置以克服物理对象施加的约束。特别是，成功触发器的放置在很大程度上受到目标模型对关键面部特征的依赖性的限制。第二，当今针对（数字）后门的四种最先进的防御措施对物理后门无效，因为物理对象的使用打破了用于构建这些防御的核心假设。我们的研究证实，（物理）后门攻击不是一个假设的现象，而是对关键的分类任务构成了严重的现实威胁。我们需要新的、更强大的防御手段来抵御物理世界中的后门。
2021-09-07 cs.CR cs.CV cs.LG
