Backdoor Attacks to Graph Neural Networks
Duke University（杜克大学）
在这项工作中，我们提出了第一个后门攻击图神经网络（GNN）。具体来说，我们提出了一个\emph{subgraph based backdoor attack}的GNN图分类。在我们的后门攻击中，一旦预定义的子图被注入测试图，GNN分类器就预测攻击者为测试图选择的目标标签。我们在三个真实世界的图数据集上的实证结果表明，我们的后门攻击是有效的，对GNN的预测准确性的影响很小。此外，我们推广了一种基于随机平滑的认证防御来抵御我们的后门攻击。我们的实证结果表明，防御在某些情况下是有效的，但在其他情况下无效，突出了我们的后门攻击的新防御的需要。
2021-12-17 cs.CR cs.LG
Explainability-based Backdoor Attacks Against Graph Neural Networks
Delft University of Technology（代尔夫特理工大学）；The University of Adelaide（阿德莱德大学）
后门攻击对神经网络模型构成了严重的威胁。后门模型会将攻击者嵌入的输入错误分类为攻击者选择的目标标签，而对其他良性输入则正常执行。已经有许多关于神经网络后门攻击的研究，但只有少数研究考虑了图神经网络（GNN）。因此，没有深入的研究来解释触发器注入位置对GNN上的后门攻击性能的影响。为了弥补这一差距，我们对GNN上的后门攻击的性能进行了实验研究。我们采用两种强大的GNN解释性方法来选择最佳的触发注入位置，以实现两个攻击目标-高攻击成功率和低清洁精度下降。我们在基准数据集和最先进的神经网络模型上的实验结果表明，该方法在选择触发器注入位置对GNN的后门攻击的有效性。例如，在节点分类任务中，使用GraphLIME选择的触发器注入位置的后门攻击达到了超过$84 \%$攻击的成功率，并且准确率下降小于$2.5 \%$
2021-07-13 cs.CR cs.LG
BeniFul: Backdoor Defense via Middle Feature Analysis for Deep Neural Networks
Xidian University（西安电子科技大学）
本文提出基于DNN中间特征分析的后门防御方法BeniFul，利用变分自编码器重构距离和特征距离损失实现灰盒后门输入检测与白盒后门消除，在CIFAR-10和Tiny ImageNet上验证了其卓越防御能力。
2024-10-15 cs.CR cs.LG
Test-Time Detection of Backdoor Triggers for Poisoned Deep Neural Networks
Pennsylvania State University（宾夕法尼亚州立大学）
后门（特洛伊木马）攻击是针对深度神经网络（DNN）的新兴威胁。每当来自任何源类的测试样本嵌入后门模式时，被攻击的DNN将预测攻击者想要的目标类;同时正确分类干净（无攻击）的测试样本。现有的后门防御在检测DNN是否受到攻击以及在“后训练”机制中对后门模式进行逆向工程方面取得了成功：防御者可以访问要检查的DNN和独立收集的小而干净的数据集，但无法访问DNN的（可能中毒的）训练集。然而，这些防御既不能在触发后门映射的行为中抓住罪犯，也不能在测试时减轻后门攻击。在本文中，我们提出了一个“飞行中”防御后门攻击的图像分类，1）检测使用后门触发器在测试时，和2）推断类的起源（源类）检测到的触发器的例子。我们的防御的有效性进行了实验证明，对不同的强大的后门攻击。
2021-12-06 cs.CR cs.LG
NeuronInspect: Detecting Backdoors in Neural Networks via Output Explanations
Shanghai Jiao Tong University（上海交通大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
深度神经网络已经在各种任务上实现了最先进的性能。然而，由于缺乏可解释性和透明性，使得恶意攻击者更容易将木马后门注入到神经网络中，当输入带有特定触发器的后门样本时，模型会表现出异常。在本文中，我们提出了NeuronInspect，这是一个通过输出解释技术检测深度神经网络中木马后门的框架。NeuronInspect首先通过生成输出层的解释热图来识别后门攻击目标的存在。我们观察到从干净和后门模型生成的热图具有不同的特征。因此，我们从被攻击的模型中提取测量解释属性的特征，即：稀疏，平滑和持久。我们结合这些特征，并使用离群点检测来找出离群点，这是攻击目标的集合。在MNIST数字识别数据集和GTSRB交通标志识别数据集上，我们证明了NeuronInspect的有效性和效率。我们在不同的攻击场景下广泛评估了NeuronInspect，并证明了比最先进的木马后门检测技术Neural Cleanse更好的鲁棒性和有效性。
2019-11-18 cs.CR cs.LG
Interactive Simulations of Backdoors in Neural Networks
National Institute of Standards and Technology（美国国家标准与技术研究院）
该工作提出一个基于网络的交互式模拟平台，用于在神经网络中植入、激活和防御基于密码学的后门，支持两种植入场景和基于邻近分析的防御模拟，以增强对后门机制的理解。
2024-05-21 cs.CR cs.LG
Subnet Replacement: Deployment-stage backdoor attack against deep neural networks in gray-box setting
Zhejiang University（浙江大学）；Tencent Zhuque Lab（腾讯朱雀实验室）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tencent（腾讯）
我们研究了在部署阶段对深度神经网络（DNN）进行后门攻击的现实潜力。具体来说，我们的目标是设计一个部署阶段的后门攻击算法，是既有威胁和现实的可实现的。为此，我们提出了子网替换攻击（SRA），它能够通过直接修改有限数量的模型参数将后门嵌入DNN。考虑到现实的实用性，我们放弃了现有研究中广泛采用的强白盒假设，相反，我们的算法工作在灰盒设置，其中受害者模型的结构信息是可用的，但对手没有任何知识的参数值。我们的方法背后的关键哲学是-给定特定架构的任何神经网络实例（无论其特定参数值如何），我们总是可以将后门嵌入到该模型实例中，通过将良性模型（没有后门）的非常狭窄的子网替换为恶意后门子网，该子网被设计为对特定后门触发模式敏感（触发大激活值）。
2021-07-15 cs.CR cs.LG
Handcrafted Backdoors in Deep Neural Networks
Oregon State University（俄勒冈州立大学）；Google Brain（谷歌大脑）
当机器学习训练外包给第三方时，$backdoor$ $attacks$变得实用，因为训练模型的第三方可能会恶意地将隐藏的行为注入到原本准确的模型中。到目前为止，注入后门的机制仅限于$poisoning$。我们认为，供应链攻击者有更多的攻击技术，通过引入$handcrafted$攻击，直接操纵模型的权重。这种直接修改给我们的攻击者更多的自由度相比，中毒，我们表明它可以用来逃避许多后门检测或删除防御有效。在四个数据集和四个网络架构中，我们的后门攻击成功率保持在96%以上。我们的研究结果表明，需要进一步的研究来了解供应链后门攻击的完整空间。
2022-11-15 cs.CR cs.LG
Defending Neural Backdoors via Generative Distribution Modeling
Duke University（杜克大学）
神经后门攻击是深度学习面临的一个严重安全威胁，而现有的防御方法能力有限，特别是对于复杂的后门触发器。在这项工作中，我们探索了所有可能的后门触发器的像素值所形成的空间。攻击者用来构建后门模型的原始触发器仅表示空间中的一个点。然后将其推广为有效触发器的分布，所有这些触发器都可以影响后门模型。因此，仅对触发分布的一个点进行建模的先前方法是不够的。获取整个触发器分布，例如，通过生成建模，是有效防御的关键。然而，现有的生成建模技术的图像生成不适用于后门的情况下，触发分布是完全未知的。在这项工作中，我们提出了最大熵阶梯近似器（MESA），一个算法的高维无采样生成建模，并使用它来恢复触发分布。我们还开发了一种防御技术，从后门模型中删除触发器。我们在Cifar 10/100数据集上的实验证明了MESA在建模触发分布方面的有效性和所提出的防御方法的鲁棒性。
2019-11-06 cs.LG stat.ML
Fine-Pruning: Defending Against Backdooring Attacks on Deep Neural Networks
New York University（纽约大学）
深度神经网络（DNN）在广泛的分类任务中提供出色的性能，但其训练需要大量的计算资源，并且通常外包给第三方。最近的研究表明，外包训练引入了一种风险，即恶意训练者将返回一个后门DNN，该DNN在大多数输入上表现正常，但在存在只有攻击者才知道的触发器时，会导致有针对性的错误分类或降低网络的准确性。在本文中，我们提供了第一个有效的防御后门攻击的DNN。我们实现了三个后门攻击从以前的工作，并使用它们来调查两个有前途的防御，修剪和微调。我们表明，两者本身都不足以抵御复杂的攻击者。然后，我们评估了精细修剪，修剪和微调的组合，并表明它成功地削弱甚至消除了后门，即，在某些情况下，将攻击成功率降低到0%，对于干净（非触发）输入，准确度仅下降0.4%。我们的工作为防御深度神经网络中的后门攻击迈出了第一步。
2018-05-30 cs.CR cs.LG
Unnoticeable Backdoor Attacks on Graph Neural Networks
The Pennsylvania State University（宾夕法尼亚州立大学）
图神经网络（GNNs）在节点分类和图分类等各种任务中取得了可喜的成果。最近的研究发现，GNN容易受到对抗攻击的攻击。然而，有效的图上的后门攻击仍然是一个悬而未决的问题。特别地，后门攻击通过将触发器和目标类标签附加到训练图中的一组节点来毒害图。然后，在中毒图上训练的后门GNN将被误导，一旦附加了触发器，就将测试节点预测为目标类。虽然有一些初步的努力，图后门攻击，我们的实证分析表明，他们可能需要一个大的攻击预算有效的后门攻击和注入的触发器可以很容易地检测和修剪。因此，在本文中，我们研究了一个新的问题，不可察觉的图后门攻击有限的攻击预算。为了充分利用攻击预算，我们建议在中毒阶段故意选择注入触发器和目标类标签的节点。采用自适应触发发生器来获取不易被注意到的有效触发。针对各种防御策略在真实数据集上进行的大量实验表明，我们提出的方法在进行有效的不明显的后门攻击方面是有效的。
2023-02-11 cs.CR cs.LG
Regula Sub-rosa: Latent Backdoor Attacks on Deep Neural Networks
University of Chicago（芝加哥大学）
最近的工作提出了对深度神经网络（DNN）进行后门攻击的概念，其中错误行为隐藏在“正常”模型中，仅由非常特定的输入触发。然而，在实践中，这些攻击难以执行，并且受到通过迁移学习共享模型的高度约束。对手有一个很小的窗口，在此期间，他们必须在部署学生模型之前对其进行破坏。在本文中，我们描述了一个更强大的变种后门攻击，潜在的后门，其中隐藏的规则可以嵌入到一个单一的“教师”模型，并自动继承所有的“学生”模型通过迁移学习过程。我们表明，潜在的后门可以在各种应用环境中非常有效，并通过对交通标志识别，实验室志愿者的虹膜识别和公众人物（政治家）的面部识别的现实世界的攻击验证其实用性。最后，我们评估了4种潜在的防御措施，发现只有一种可以有效地破坏潜在的后门，但可能会导致分类准确性的代价。
2019-05-24 cs.CR cs.LG
Backdoor Embedding in Convolutional Neural Network Models via Invisible Perturbation
Pennsylvania State University（宾夕法尼亚州立大学）
深度学习模型在包括图像分类在内的各种分类任务中一直优于传统机器学习模型。因此，它们在许多现实世界的应用中变得越来越普遍，包括那些非常关注安全性的应用。然而，这种流行可能会吸引攻击者利用部署的深度学习模型的漏洞，并对安全敏感的应用程序发起攻击。在本文中，我们专注于一种特定类型的数据投毒攻击，我们称之为{ \em后门注入攻击}。攻击者执行此类攻击的主要目标是生成后门并将其注入到深度学习模型中，该模型可以被触发以识别具有攻击者选择的目标标签的某些嵌入模式。此外，后门注入攻击应该以隐蔽的方式发生，而不会破坏受害者模型的有效性。具体来说，我们提出了两种方法来生成一个后门，这是很难察觉，但有效的中毒模型。我们考虑两种攻击设置，后门注入在模型训练之前或模型更新期间进行。我们在各种假设下对敌手模型进行了广泛的实验评估，并证明了这种攻击可以有效地实现高攻击成功率（高于$90\%$），模型精度损失较小（低于$1\%$），注射速率较小（在$1\%$周围），即使在对手不知道原始训练数据或分类器模型的最弱假设下。
2018-08-30 cs.CR cs.LG stat.ML
Can Adversarial Weight Perturbations Inject Neural Backdoors?
Amazon Alexa（亚马逊 Alexa）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
对抗性机器学习暴露了神经模型的几个安全隐患，成为近一段时间的重要研究课题。到目前为止，“对抗性扰动”的概念仅用于输入空间，指的是可能导致ML模型出错的微小、不可察觉的变化。在这项工作中，我们将“对抗性扰动”的概念扩展到模型权重的空间，特别是在训练的DNN中注入后门，这暴露了使用公开可用的训练模型的安全风险。这里，注入后门是指当触发模式被添加到输入时从模型获得期望的结果，同时保留对非触发输入的原始模型预测。从对手的角度来看，我们将这些对抗性扰动的特征描述为约束在原始模型权重周围的$\ell_{\infty}$范数内。我们通过预测梯度下降在原始模型和期望触发器的预测上使用复合损失在模型权重中引入对抗性扰动。我们的经验表明，这些对抗性的权重扰动普遍存在于几个计算机视觉和自然语言处理任务中。我们的研究结果表明，后门可以成功地注入一个非常小的平均相对变化的模型权重值的几个应用程序。
2020-09-21 cs.CR cs.LG stat.ML
CodePurify: Defend Backdoor Attacks on Neural Code Models via Entropy-based Purification
Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Beihang University（北京航空航天大学）；York University（约克大学）；Lassonde School of Engineering（拉桑德工程学院）
本文提出 CodePurify，利用置信度驱动的熵度量检测并定位代码中的后门触发器，再以掩码语言模型替换触发器，在多种攻击、任务和模型上显著提升防御效果。
2024-10-26 cs.CR cs.LG
Don't Trigger Me! A Triggerless Backdoor Attack Against Deep Neural Networks
CISPA Helmholtz Center for Information Security（CISPA 亥姆霍兹信息安全研究中心）
针对深度神经网络的后门攻击由于其严重的安全后果目前正被深入研究。当前最先进的后门攻击要求对手修改输入，通常是通过向其添加触发器，以便目标模型激活后门。这种增加的触发器不仅增加了在物理世界中发动后门攻击的难度，而且可以很容易地被多种防御机制检测到。在本文中，我们提出了第一个针对深度神经网络的无攻击者后门攻击，其中对手不需要修改触发后门的输入。我们的攻击是基于dropout技术。具体地说，我们将一组在模型训练期间退出的目标神经元与目标标签相关联。在预测阶段，当目标神经元再次被丢弃时，模型将输出目标标签，即，则发起后门攻击。我们的攻击的这种无边界特征使其在物理世界中变得实用。大量的实验表明，我们的无攻击者的后门攻击达到了完美的攻击成功率，可以忽略不计的损害模型的实用性。
2020-10-07 cs.CR cs.CV cs.LG
Backdoor Mitigation by Correcting the Distribution of Neural Activations
The Pennsylvania State University（宾夕法尼亚州立大学）；Anomalee Inc.（Anomalee公司）
本文发现后门攻击会改变内部层激活分布，并提出利用逆向工程触发器校正该分布的训练后缓解方法，无需调整 DNN 参数即可提升防御与检测效果。
2023-08-18 cs.CR cs.LG
Mind Your Heart: Stealthy Backdoor Attack on Dynamic Deep Neural Network in Edge Computing
Shanghai Jiao Tong University（上海交通大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Tsinghua University（清华大学）；Zhongguancun Laboratory（中关村实验室）；Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）
将现成的深度神经网络（DNN）模型转换为动态多出口架构可以通过在边缘计算场景（例如，边缘设备和云服务器）。在本文中，我们提出了一种新的后门攻击专门针对动态多出口DNN模型。特别是，我们通过毒化一个DNN模型的浅隐藏层来注入后门，目标不是这个普通的DNN模型，而是它的动态部署的多出口架构。我们的后门vanilla模型在性能上表现正常，即使使用正确的触发器也无法激活。然而，当受害者获得此模型并将其转换为动态多出口架构时，后门将被激活。我们进行了广泛的实验，以证明我们对三种结构（ResNet-56，VGG-16和MobileNet）的攻击的有效性和四个数据集（CIFAR-10，SVHN，GTSRB和Tiny-ImageNet），我们的后门是隐形的，以逃避多种最先进的后门检测或删除方法。
2022-12-22 cs.CR cs.LG
Architectural Backdoors in Neural Networks
University of Cambridge（剑桥大学）；Vector Institute（向量研究所）；University of Toronto（多伦多大学）
机器学习容易受到对抗性操纵。以前的文献已经证明，在训练阶段，攻击者可以操纵数据和数据采样过程来控制模型的行为。一个常见的攻击目标是植入后门，即迫使受害者模型学习识别只有对手才知道的触发器。在本文中，我们介绍了一类新的后门攻击，隐藏在模型架构内，即在用于训练的函数的归纳偏差。这些后门很容易实现，例如，通过发布一个后门模型架构的开源代码，其他人会在不知不觉中重用它。我们证明了模型架构后门是一个真正的威胁，与其他方法不同，它可以从零开始进行完整的重新训练。我们正式确定了架构后门背后的主要构造原则，例如输入和输出之间的链接，并描述了一些可能的保护措施。我们评估了我们对不同尺度的计算机视觉基准的攻击，并证明了潜在的漏洞在各种训练环境中普遍存在。
2022-06-15 cs.CR cs.LG
Detecting and Eliminating Neural Network Backdoors Through Active Paths with Application to Intrusion Detection
Smart Networks and Services Joint Undertaking（智能网络与服务联合体）
本文提出通过主动路径检测和消除神经网络后门，应用于入侵检测系统，提供了一种新颖且可解释的方法。
2026-03-11 cs.AI cs.CR cs.LG
Defending against Backdoor Attack on Deep Neural Networks
Xi’an Jiaotong University（西安交通大学）；Northeastern University（东北大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
针对深度神经网络的后门攻击，提出基于ℓ∞范数的神经元剪枝方法，有效降低攻击成功率并保持高分类准确率。
2025-03-26 cs.CR cs.LG
Detecting Backdoor Poisoning Attacks on Deep Neural Networks by Heatmap Clustering
University of Konstanz（康斯坦茨大学）
神经网络做出的预测可以被所谓的中毒攻击欺骗性地改变。一个特殊的情况是后门中毒攻击。我们研究了合适的检测方法，并介绍了一种新的方法，称为热图聚类。在那里，我们将$k$均值聚类算法应用于由最先进的可解释AI方法分层相关传播产生的热图。目标是将数据集中的中毒数据与未中毒数据分开。我们比较这种方法与类似的方法，称为激活聚类，它也使用$k$均值聚类，但适用于激活的某些隐藏层的神经网络作为输入。我们测试了这两种方法的性能标准后门中毒攻击，标签一致的中毒攻击和标签一致的中毒攻击，减少幅度贴纸。我们表明，热图聚类始终优于激活聚类。然而，当考虑标签一致的中毒攻击，后者的方法也产生良好的检测性能。
2022-04-27 cs.CR cs.LG
An anomaly detection approach for backdoored neural networks: face recognition as a case study
Idiap Research Institute（伊迪亚普研究所）；École Polytéchnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院（EPFL））
后门攻击允许攻击者嵌入危害任何算法的正确行为的功能，无论是否是机器学习。这种隐藏的功能可以保持不活动，以正常使用算法，直到被攻击者激活。考虑到后门攻击的隐蔽性，如果这些网络被部署用于边界或访问控制等关键应用，这些后门的后果可能是灾难性的。在本文中，我们提出了一种新的后门网络检测方法的异常检测的原则的基础上，涉及到访问的清洁部分的训练数据和训练后的网络。在考虑各种触发器、位置和身份对时，我们强调了它的潜力，而不需要对后门的性质及其设置做出任何假设。我们在一个新的后门网络数据集上测试了我们的方法，并以完美的分数报告了可检测性结果。
2022-08-22 cs.CR cs.CV cs.LG
On the Robustness of the Backdoor-based Watermarking in Deep Neural Networks
University of Waterloo（滑铁卢大学）
由于繁琐的数据准备和大量的处理要求，获得深度学习模型的最新性能给模型生成器带来了很高的成本。为了保护模型不被未经授权的重新分发，在过去的几年中，已经引入了水印方法。我们研究了最先进的深度神经网络水印方案的鲁棒性和可靠性。我们专注于基于后门的水印，并提出了两个-黑盒和白盒-攻击，删除水印。我们的黑盒攻击窃取模型并以最低要求删除水印;它只依赖于公共未标记数据和对分类标签的黑盒访问。它不需要分类置信度或访问模型的敏感信息，如训练数据集，触发集或模型参数。白盒攻击，提出了一个有效的水印去除时，标记模型的参数是可用的，我们的白盒攻击不需要访问标记的数据或触发集，并提高了运行时间的黑盒攻击高达十七倍。我们也证明了基于后门的水印在保持水印不可检测的安全不足，提出了一种攻击，检测模型是否包含水印。我们的攻击表明，一个标记模型的接收者可以删除一个基于后门的水印，与训练一个新模型相比，需要更少的努力，并且需要一些其他技术来防止有动机的攻击者重新分发。
2019-11-26 cs.CR cs.LG stat.ML
Provable one-poison backdoor attacks on linear models and ReLU neural networks
University of Lübeck（吕贝克大学）；Technische Hochschule Lübeck（吕贝克技术大学）
本文提出并证明了在仅使用一个毒样本的情况下，可通过线性回归、线性分类和2层ReLU神经网络实现无错误的后门注入，且对良性任务影响有限。
2026-08-28 cs.CR cs.LG
Beware What You Autocomplete: Forensic Attribution of Backdoored Code Completions
University of Louisville（路易斯维尔大学）；University of North Texas（德克萨斯大学）
研究针对大型语言模型代码补全易受后门攻击的问题，提出CodeTracer取证框架，它仅靠微调语料库和错误补全事件，提取行为指纹，经推理将不安全逻辑归因于特定后门数据，评估显示其有高准确性、低误识率和强鲁棒性。
2026-07-10 cs.AI cs.CR cs.IR
On Evaluating Neural Network Backdoor Defenses
New York University（纽约大学）
深度神经网络（DNN）在各个领域都表现出卓越的性能，包括审查和安全性。然而，最近的研究表明，DNN容易受到后门攻击。过去提出了几种防御措施来保护DNN免受这种后门攻击。在这项工作中，我们进行了批判性的分析，并确定在这些现有的防御常见的陷阱，准备一个全面的数据库的后门攻击，进行并排评估现有的防御对这个数据库。最后，我们制定了一些通用的指导方针，以帮助研究人员在未来开发更强大的防御系统，并避免过去的常见错误。
2020-10-23 cs.LG
Blind Backdoors in Deep Learning Models
Cornell Tech（康奈尔科技学院）
我们研究了一种新的方法注入后门到机器学习模型，基于妥协的损失值计算模型训练代码。我们用它来展示比以前文献中的后门更强大的新类别：ImageNet模型中的单像素和物理后门，将模型切换到隐蔽的，违反隐私的任务的后门，以及不需要推理时输入修改的后门。我们的攻击是盲目的：攻击者不能修改训练数据，也不能观察他的代码的执行，也不能访问结果模型。攻击代码在模型进行训练时“动态”创建中毒的训练输入，并使用多目标优化来实现主任务和后门任务的高精度。我们将展示如何盲目攻击可以逃避任何已知的防御，并提出新的。
2021-02-19 cs.CR cs.CV cs.LG
ImpNet: Imperceptible and blackbox-undetectable backdoors in compiled neural networks
University of Cambridge（剑桥大学）；University of Oxford（牛津大学）；Imperial College London（伦敦帝国学院）
本文提出在编译阶段植入后门以规避训练与数据准备阶段的安全防护，并介绍了新型独立于权重的后门 ImpNet，证明其难以在其他阶段检测与移除，强调需在整个技术流程中保证来源以保障模型安全。
2024-03-01 cs.CR cs.LG
Eliminating Backdoor Triggers for Deep Neural Networks Using Attention Relation Graph Distillation
East China Normal University（华东师范大学）
随着人工智能（AI）技术的发展，越来越多的后门被攻击者用来攻击深度神经网络（DNN）。虽然最先进的神经注意力蒸馏（NAD）方法可以有效地清除DNN中的后门触发器，但它仍然存在不可忽视的攻击成功率（ASR）和分类准确率（ACC）降低的问题。由于NAD集中于使用注意力特征的后门防御（即，注意力地图）相同的顺序。在本文中，我们介绍了一种新的后门防御框架命名为注意力关系图蒸馏（ARGD），充分探讨了不同的顺序使用我们提出的注意力关系图（ARGs）之间的相关性的注意力特征。基于知识蒸馏过程中教师和学生模型之间的ARG对齐，ARGD可以比NAD消除更多的后门触发器。综合实验结果表明，在6种最新的后门攻击下，ARGD比NAD在ASR上降低了94.85%，而ACC可以提高3.23%。
2022-04-24 cs.LG
ReVeil: Unconstrained Concealed Backdoor Attack on Deep Neural Networks using Machine Unlearning
Center for Cyber Security, New York University Abu Dhabi（纽约大学阿布扎比分校网络安全中心）
本文提出 ReVeil，一种在数据收集阶段实施、无需模型访问或辅助数据的隐蔽后门攻击，可规避主流检测并在部署后借机器遗忘恢复高 ASR。
2025-02-17 cs.AI cs.CR cs.LG
Invisible Backdoor Attacks on Deep Neural Networks via Steganography and Regularization
Shanghai Jiao Tong University（上海交通大学）；The University of Adelaide（阿德莱德大学）；The University of New South Wales（新南威尔士大学）；Data61 CSIRO（澳大利亚联邦科学与工业研究组织 Data61）；Shanghai Institute for Advanced Communication and Data Science（上海先进通信与数据科学研究院）；Shanghai University（上海大学）
深度神经网络（DNN）已被证明容易受到后门攻击的攻击，其中隐藏的特征（模式）被训练成一个正常的模型，它只被一些特定的输入（称为触发器）激活，欺骗模型产生意想不到的行为。在本文中，我们为后门攻击创建了隐蔽和分散的触发器，这些触发器可以欺骗DNN模型和人类检查。我们通过两种最先进的嵌入触发器的方法来应用我们的隐形后门进行后门攻击。Badnets的第一种方法通过隐写术将触发器嵌入DNN。木马攻击的第二种方法使用两种类型的附加正则化项来生成具有不规则形状和大小的触发器。我们使用攻击成功率和功能来衡量我们的攻击性能。我们介绍了两个新的定义，人类感知的不可见性;一个是概念化的感知对抗相似性得分（PASS），另一个是学习感知图像补丁相似性（LPIPS）。我们表明，通过测量对手的攻击成功率，普通用户的功能和管理员的不可见性得分，我们提出的隐形后门在各种DNN模型以及四个数据集MNIST，CIFAR-10，CIFAR-100和GTSRB中可以相当有效。最后，我们认为，建议的无形后门攻击可以有效地挫败国家的最先进的木马后门检测方法，如神经清洗和TABOR。
2020-08-31 cs.CR cs.CV cs.LG
Neural Attention Distillation: Erasing Backdoor Triggers from Deep Neural Networks
Xidian University（西安电子科技大学）；The University of Melbourne（墨尔本大学）；Ant Group（蚂蚁集团）；University of Illinois at Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）；Deakin University（迪肯大学）
已知深度神经网络（DNN）易受后门攻击的攻击，后门攻击是一种训练时间攻击，其将触发模式注入到一小部分训练数据中，以便在测试时间控制模型的预测。后门攻击非常危险，因为它们不会影响模型在干净示例上的性能，但在测试过程中出现触发模式时，它们会欺骗模型做出错误的预测。在本文中，我们提出了一种新的防御框架神经注意力蒸馏（NAD）来删除后门DNN中的后门触发器。NAD利用教师网络来指导后门学生网络在数据的小的干净子集上的微调，使得学生网络的中间层注意力与教师网络的中间层注意力保持一致。教师网络可以通过在相同的干净子集上的独立微调过程来获得。我们的经验表明，对6个国家的最先进的后门攻击，NAD可以有效地删除后门触发器使用只有5\%的干净的训练数据没有造成明显的性能下降干净的例子。代码可在https://github.com/bboylyg/NAD上找到。
2021-01-27 cs.AI cs.LG
Sleeper Agent: Scalable Hidden Trigger Backdoors for Neural Networks Trained from Scratch
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Maryland（马里兰大学）；New York University（纽约大学）
随着机器学习的数据管理变得越来越自动化，数据集篡改是一个越来越大的威胁。后门攻击者篡改训练数据，在基于该数据训练的模型中嵌入漏洞。然后，通过在模型的输入中放置“触发器”，在推理时激活此漏洞。典型的后门攻击将触发器直接插入训练数据，尽管这种攻击的存在在检查时可能是可见的。相比之下，隐藏触发后门攻击根本不将触发器放置到训练数据中就可以实现中毒。然而，这种隐藏的触发器攻击对于毒害从头开始训练的神经网络是无效的。我们开发了一种新的隐藏触发攻击，睡眠代理，它采用梯度匹配，数据选择，并在制作过程中的目标模型重新训练。Sleeper Agent是第一个对从头开始训练的神经网络有效的隐藏触发后门攻击。我们在ImageNet和黑盒设置中证明了它的有效性。我们的实现代码可以在https://github.com/hsouri/Sleeper-Agent上找到。
2022-10-13 cs.CR cs.CV cs.LG
Architectural Neural Backdoors from First Principles
University of Cambridge（剑桥大学）；University of Oxford（牛津大学）；Imperial College London（伦敦帝国学院）；University of Toronto（多伦多大学）
本文提出了一种无需人工监督即可针对任意触发模式植入架构后门的方法，对架构后门进行了12种分类，并通过用户研究和语言模型对比揭示了其检测难度，强调了加强ML系统防御的必要性。
2024-02-10 cs.AI cs.CR cs.CV
DHBE: Data-free Holistic Backdoor Erasing in Deep Neural Networks via Restricted Adversarial Distillation
Shanghai Jiao Tong University（上海交通大学）；Hangzhou Normal University（杭州师范大学）
针对现有分阶段后门擦除方法在少数据场景下精度损失大、擦除不彻底的问题，提出无数据整体后门擦除框架DHBE，通过蒸馏与后门正则化的对抗优化获得干净高精度模型，无需干净数据且精度损害小、超参数容忍度高。
2023-06-13 cs.AI cs.CR cs.LG
Label-Consistent Backdoor Attacks
MIT（麻省理工学院）
深度神经网络已被证明容易受到后门攻击。具体来说，通过向训练集中注入少量恶意构造的输入，攻击者能够在训练模型中植入后门。这个后门可以在推理过程中被后门触发器激活，以完全控制模型的行为。虽然这种攻击非常有效，但它们主要依赖于对手注入任意的输入，这些输入通常是公然错误的。这些样本在人类检查时会引起怀疑，可能会揭示攻击。因此，为了使后门攻击不被发现，保持标签一致性至关重要--注入的输入与标签一致的条件。在这项工作中，我们利用对抗性扰动和生成模型来执行高效但标签一致的后门攻击。我们的方法是基于注入看似合理但难以分类的输入，因此导致模型依赖于（学习者）后门触发器。
2019-12-06 cs.CR cs.LG stat.ML
Effective backdoor attack on graph neural networks in link prediction tasks
College of Computer Engineering and Science, Shanghai University（上海大学计算机工程与科学学院）
本文提出一种针对GNN链路预测任务的后门攻击方法，以单节点为触发器毒化训练节点对，使模型在触发器出现时将无链接节点对误判为有链接，揭示GNN在该任务中的安全漏洞。
2025-05-06 cs.AI cs.CR cs.LG
Motif-Backdoor: Rethinking the Backdoor Attack on Graph Neural Networks via Motifs
Zhejiang University of Technology（浙江工业大学）
本文从模体视角重新思考GNN后门触发器，提出Motif-Backdoor攻击，利用图模体分布快速生成有效触发器，在黑盒与防御场景下均达到SOTA性能，并揭示了低频子图触发器可提升攻击效果的新见解。
2023-05-29 cs.AI cs.CR cs.LG
Backdoor Attack on Vertical Federated Graph Neural Network Learning
Fudan University（复旦大学）；Nanjing University of Information Science and Technology（南京信息工程大学）；Pennsylvania State University（宾夕法尼亚州立大学）；Zhejiang University（浙江大学）
本文提出BVG后门攻击方法，针对垂直联邦图神经网络，利用多跳触发器和后门保留，仅需四个目标节点即可实现近100%攻击成功率，且对主任务影响小，现有防御难以抵御。
2025-01-24 cs.AI cs.CR cs.LG
On Provable Backdoor Defense in Collaborative Learning
Duke University（杜克大学）
由于协作学习允许使用多个数据源联合训练模型，因此安全问题一直是一个核心问题。恶意用户可以上传有毒数据以防止模型收敛或注入隐藏的后门。所谓的后门攻击特别难以检测，因为模型在标准测试数据上表现正常，但在被某些后门密钥触发时会给出错误的输出。虽然拜占庭容忍训练算法提供了收敛保证，可证明的防御后门攻击仍然在很大程度上没有解决。基于随机平滑的方法只能纠正少量损坏的像素或标签;基于子集聚合的方法由于数据利用率低而导致分类精度严重下降。我们提出了一个新的框架，概括现有的子集聚合方法。该框架表明，子集选择过程，子集聚合方法的决定因素，可以被视为一个代码设计问题。我们推导出数据利用率的理论界，并提供最佳的代码结构。在MNIST和CIFAR-10的非IID版本上的实验表明，我们的方法与最佳代码显着优于基线使用非重叠分区和随机选择。此外，与现有的编码理论的结果表明，特殊的代码可以跟踪攻击者的位置。这种能力为后门攻击提供了新的对策。
2021-01-19 cs.CR cs.LG
Graph Neural Backdoor: Fundamentals, Methodologies, Applications, and Future Directions
本文提出首个 GNN 后门专题综述，系统梳理攻击与防御方法、应用场景及未来研究方向，以揭示图后门原理并促进安全防御。
2025-01-07 cs.AI cs.CR cs.LG
Neural Architectural Backdoors
The Pennsylvania State University（宾夕法尼亚州立大学）；Zhejiang University（浙江大学）
本文提出了一个有趣的问题：是否有可能利用神经架构搜索（NAS）作为一种新的攻击向量来发起以前不可能的攻击？具体来说，我们提出了EVAS，这是一种新的攻击，它利用NAS来查找具有固有后门的神经架构，并使用输入感知触发器来利用这种漏洞。与现有的攻击相比，EVAS表现出许多有趣的特性：（i）它不需要污染训练数据或扰动模型参数;（ii）它对下游微调甚至从头开始重新训练是不可知的;（iii）它自然地避开依赖于检查模型参数或训练数据的防御。通过对基准数据集的广泛评估，我们表明EVAS具有高规避性，可转移性和鲁棒性，从而扩大了对手的设计范围。我们进一步描述了EVAS的机制，这可能是可以解释的架构级别的“捷径”，识别触发模式。这项工作引起了人们对NAS目前做法的关注，并指出了制定有效对策的潜在方向。
2022-11-07 cs.CR cs.LG
TOP: Backdoor Detection in Neural Networks via Transferability of Perturbation
Perspecta Labs（珀斯佩克特实验室）
深度神经网络（DNN）容易受到“后门”中毒攻击，其中对手将秘密触发器植入到正常运行的模型中。在不访问训练数据或示例触发器的情况下检测训练模型中的后门是一个重要的开放问题。在本文中，我们确定了这些模型的一个有趣的属性：对抗性扰动从图像到图像的传输更容易中毒模型比干净的模型。这适用于各种模型和触发器类型，包括不能从干净数据线性分离的触发器。我们使用此功能来检测TrojAI基准测试中的中毒模型以及其他模型。
2021-03-18 cs.LG
ArcGen: Generalizing Neural Backdoor Detection Across Diverse Architectures
Software Engineering Institute, East China Normal University（东华大学软件工程学院）；School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）；Nanyang Technological University（南洋理工大学）；College of Integrated Circuits, Zhejiang University（浙江大学集成电路学院）
ArcGen通过引入对齐层和损失函数，提升神经后门检测在不同架构上的泛化能力，实现42.5%的性能提升。
2025-12-17 cs.CR cs.LG
Backdoor Mitigation in Deep Neural Networks via Strategic Retraining
AUDI AG（奥迪股份公司）；University of Twente（特温特大学）
本文提出一种无需后门先验知识的策略性重训练方法，能有效移除深度神经网络中由恶意攻击或不当训练引入的后门，在多个中型示例上表现良好。
2022-12-14 cs.CR cs.LG cs.LO
PatchBackdoor: Backdoor Attack against Deep Neural Networks without Model Modification
Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院）；Shanghai Jiao Tong University（上海交通大学）；Wuhan University（武汉大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出无需修改模型的PatchBackdoor后门攻击，通过在摄像头前放置训练好的后门贴片触发模型错误预测，结合数字-物理变换建模提升实用性，在多种模型分类任务上攻击成功率达93%-99%，且真实场景中仍具威胁。
2023-08-22 cs.CR cs.CV cs.LG
Defense against Backdoor Attacks via Identifying and Purifying Bad Neurons
Fuzhou University（福州大学）；East China Normal University（华东师范大学）
神经网络的不透明性导致它们容易受到后门攻击的攻击，在这种攻击中，被感染神经元的隐藏注意力被触发，以覆盖对攻击者选择的神经元的正常预测。在本文中，我们提出了一种新的后门防御方法来标记和净化后门神经网络中的感染神经元。具体来说，我们首先定义了一个新的度量标准，称为良性显着性。通过结合一阶梯度来保留神经元之间的连接，良性显著性可以比后门防御中常用的度量更准确地识别受感染的神经元。然后，提出了一种新的自适应正则化（AR）机制，通过微调来帮助纯化这些已识别的感染神经元。由于AR能够适应不同大小的参数，因此在神经元纯化中，AR可以提供比常见的正则化机制更快和更稳定的收敛。大量的实验结果表明，我们的方法可以删除后门在神经网络的性能下降微不足道。
2022-08-13 cs.CR cs.CV cs.LG
More is Better (Mostly): On the Backdoor Attacks in Federated Graph Neural Networks
Delft University of Technology（代尔夫特理工大学）；Radboud University（拉德堡德大学）
该研究首次探究联邦图神经网络的后门攻击鲁棒性，对比中心化与分布式两类后门攻击的性能及影响因素，发现两类攻击对现有防御均具抗性，需定制化防御方案。
2024-12-09 cs.CR cs.LG
A Synergetic Attack against Neural Network Classifiers combining Backdoor and Adversarial Examples
New Jersey Institute of Technology（新泽西理工学院）；Qatar Computing Research Institute（卡塔尔计算研究所）
在这项工作中，我们展示了如何联合利用对抗扰动和模型中毒漏洞来实际发起一种新的隐形攻击，称为AdvTrojan。AdvTrojan是隐形的，因为它只能在以下情况下被激活：1）在推理过程中将精心制作的对抗扰动注入输入示例，2）在模型的训练过程中植入特洛伊木马后门。我们利用输入空间中的对抗性噪声将木马感染的示例移动到模型的决策边界，使其难以检测。AdvTrojan的隐形行为欺骗用户意外地将受感染的模型信任为对抗对抗性示例的鲁棒分类器。AdvTrojan可以通过类似于传统木马后门攻击的仅毒化训练数据来实现。我们对几个基准数据集的全面分析和广泛实验表明，AdvTrojan可以绕过现有的防御，在我们的大多数实验场景中成功率接近100%，并且可以扩展到攻击联邦学习任务。
2021-09-03 cs.CR cs.LG
PiDAn: A Coherence Optimization Approach for Backdoor Attack Detection and Mitigation in Deep Neural Networks
New York University（纽约大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）；Tandon School of Engineering（坦登工程学院）
本文提出基于相干性优化的PiDAn算法，通过学习样本级权重向量区分真实与污染数据表征，在GTSRB和ILSVRC2012数据集上有效检测并缓解深度神经网络后门攻击。
2022-03-26 cs.CR cs.LG
Poison as a Cure: Detecting & Neutralizing Variable-Sized Backdoor Attacks in Deep Neural Networks
Nanyang Technological University（南洋理工大学）
深度学习模型最近被证明容易受到后门中毒的攻击，这是一种阴险的攻击，受害者模型正确预测干净的图像，但在添加触发毒药模式时将相同的图像分类为目标类。这种有毒模式可以被对手嵌入到训练数据集中。现有的防御在某些条件下是有效的，例如小尺寸的中毒模式，关于中毒训练样本的比例的知识，或者当经过验证的干净数据集可用时。由于防御者可能没有这样的先验知识或资源，我们提出了一种防御后门中毒，即使在这些先决条件不满足时也是有效的。它由几个部分组成：一个是提取后门中毒信号，检测中毒目标和基类，并从干净的样本中过滤出中毒。我们防御的最后一部分涉及在一个用提取的中毒信号增强的数据集上重新训练中毒模型，并对中毒样本进行纠正性重新标记以中和后门。我们的方法已被证明是有效的防御后门攻击，使用小型和大型的毒药模式对九个不同的目标为基础的类对从CIFAR10数据集。
2019-11-19 cs.CR cs.CV cs.LG
Reverse Engineering Imperceptible Backdoor Attacks on Deep Neural Networks for Detection and Training Set Cleansing
Anomalee Inc.（阿 nomali 公司）；Pennsylvania State University（宾夕法尼亚州立大学）
后门数据投毒是一种新兴的对抗攻击形式，通常针对深度神经网络图像分类器。攻击者使用来自一个（或多个）源类的相对较小的图像集来毒化训练集，这些图像嵌入后门模式并标记为目标类。对于成功的攻击，在操作期间，经训练的分类器将：1）每当存在相同的后门模式时，将测试图像从源类别误分类为目标类别; 2）对于无后门的测试图像保持高分类精度。在本文中，我们在防御后门攻击不可察觉的后门模式（如水印）之前/期间的训练阶段的突破。这是一个具有挑战性的问题，因为它是先验未知的训练集的哪个子集（如果有的话）已经中毒。我们提出了一个基于优化的逆向工程防御，联合：1）检测训练集是否中毒; 2）如果是，识别目标类和嵌入后门模式的训练图像; 3）此外，逆向工程师估计攻击者使用的后门模式。在CIFAR-10的基准实验中，对于各种各样的攻击，我们的防御在删除检测到的可疑训练图像后将攻击成功率降低到不超过4.9%，从而达到了新的最先进水平。
2020-10-15 cs.LG
DMGNN: Detecting and Mitigating Backdoor Attacks in Graph Neural Networks
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Yangzhou University（扬州大学）；University of Southern Queensland（南昆士兰大学）；Data61, CSIRO（联邦科学与工业研究组织Data61）；University of Technology Sydney（悉尼科技大学）
本文提出DMGNN方法，通过反事实解释预测标签转移来检测OOD和ID图后门触发器，并利用反向采样剪枝在数据层面消除触发器影响，在公开图数据集上将攻击成功率降至5%且模型性能退化不超过3.5%。
2024-10-18 cs.CR cs.LG
