Poison Ink: Robust and Invisible Backdoor Attack
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）；Beijing Electronic Science and Technology Institute（北京电子科技学院）；Wormpex AI Research LLC（Wormpex人工智能研究有限责任公司）
最近的研究表明，深度神经网络容易受到不同类型的攻击，例如对抗攻击，数据投毒攻击和后门攻击。其中，后门攻击是最狡猾的一种，几乎在深度学习管道的每个阶段都可能发生。因此，后门攻击引起了学术界和工业界的广泛关注。然而，大多数现有的后门攻击方法要么是可见的，要么是脆弱的一些轻松的预处理，如常见的数据转换。为了解决这些限制，我们提出了一个强大的和无形的后门攻击称为“毒墨”。具体地说，我们首先利用图像结构作为目标中毒区域，并填充它们与有毒墨水（信息），以生成触发模式。由于图像结构在数据转换过程中可以保持其语义含义，因此这种触发模式对数据转换具有固有的鲁棒性。然后，我们利用深度注入网络嵌入这样的触发模式到封面图像，以实现隐形。与现有流行的后门攻击方法相比，Poison Ink在隐蔽性和鲁棒性方面都有很好的表现。通过大量的实验，我们证明了Poison Ink不仅适用于不同的数据集和网络架构，而且适用于不同的攻击场景。此外，它对许多最先进的防御技术也有很强的抵抗力。
2022-08-13 cs.CR cs.CV
Towards Practical Deployment-Stage Backdoor Attack on Deep Neural Networks
Princeton University（普林斯顿大学）；Zhejiang University（浙江大学）；Tencent（腾讯）
AI安全社区的一个主要目标是安全可靠地为现实世界的应用程序生成和部署深度学习模型。为此，近年来广泛探索了在生产阶段（或训练阶段）对深度神经网络（DNN）的基于数据投毒的后门攻击以及相应的防御。具有讽刺意味的是，部署阶段的后门攻击通常发生在非专业用户的设备上，因此可以说在现实世界的场景中更具威胁性，但社区的关注要少得多。我们将这种不平衡的警惕性归因于现有部署阶段后门攻击算法的实用性较弱以及现实世界攻击演示的不足。为了填补这一空白，在这项工作中，我们研究了DNN部署阶段后门攻击的现实威胁。我们的研究基于一种常用的部署阶段攻击范式-对抗性权重攻击，其中对手选择性地修改模型权重以将后门嵌入部署的DNN中。为了接近现实的实用性，我们提出了第一个灰盒和物理可实现的权重后门注入攻击算法，即子网替换攻击（SRA），它只需要受害者模型的架构信息，可以支持物理触发器在现实世界中。广泛的实验模拟和系统级的真实世界的攻击演示进行。我们的研究结果不仅表明了所提出的攻击算法的有效性和实用性，而且还揭示了一种新型计算机病毒的实际风险，这种病毒可能会广泛传播并悄悄地将后门注入用户设备中的DNN模型。通过我们的研究，我们呼吁更多的关注DNN在部署阶段的脆弱性。
2022-05-26 cs.CR cs.CV
Efficient Backdoor Attacks for Deep Neural Networks in Real-world Scenarios
University of Science and Technology of China（中国科学技术大学）；Huazhong University of Science and Technology（华中科技大学）
针对现实场景中数据受限的后门攻击，提出基于CLIP的干净特征抑制与投毒特征增强方法，显著提升攻击效率，部分设置改进超100%。
2024-04-19 cs.CR cs.CV
Look, Listen, and Attack: Backdoor Attacks Against Video Action Recognition
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；Saudi Data and Artificial Intelligence Authority (SDAIA)（沙特数据与人工智能管理局）
深度神经网络（DNN）容易受到一类称为“后门攻击“的攻击，这种攻击在后门触发器和攻击者有兴趣利用的目标标签之间创建关联。后门DNN在干净的测试图像上表现良好，但在存在后门触发器的情况下，持续预测攻击者定义的任何样本标签。尽管后门攻击在图像域中已经被广泛研究，但是在视频域中探索这样的攻击的工作很少，并且他们倾向于得出图像后门攻击在视频域中不太有效的结论。在这项工作中，我们重新审视了传统的后门威胁模型，并将其他与视频相关的方面纳入该模型。我们发现，有毒标签图像后门攻击可以扩展时间在两种方式，静态和动态，导致在视频域中的高效攻击。此外，我们还探索了自然视频后门，以突出此漏洞在视频领域的严重性。而且，我们第一次研究了针对视频动作识别模型的多模态（视听）后门攻击，在那里我们证明了攻击单一模态足以实现高攻击成功率。
2023-01-19 cs.CR cs.CV cs.LG
Don't Trigger Me! A Triggerless Backdoor Attack Against Deep Neural Networks
CISPA Helmholtz Center for Information Security（CISPA 亥姆霍兹信息安全研究中心）
针对深度神经网络的后门攻击由于其严重的安全后果目前正被深入研究。当前最先进的后门攻击要求对手修改输入，通常是通过向其添加触发器，以便目标模型激活后门。这种增加的触发器不仅增加了在物理世界中发动后门攻击的难度，而且可以很容易地被多种防御机制检测到。在本文中，我们提出了第一个针对深度神经网络的无攻击者后门攻击，其中对手不需要修改触发后门的输入。我们的攻击是基于dropout技术。具体地说，我们将一组在模型训练期间退出的目标神经元与目标标签相关联。在预测阶段，当目标神经元再次被丢弃时，模型将输出目标标签，即，则发起后门攻击。我们的攻击的这种无边界特征使其在物理世界中变得实用。大量的实验表明，我们的无攻击者的后门攻击达到了完美的攻击成功率，可以忽略不计的损害模型的实用性。
2020-10-07 cs.CR cs.CV cs.LG
Backdoor Federated Learning by Poisoning Backdoor-Critical Layers
Stony Brook University（石溪大学）；University of Delaware（特拉华大学）；South China University of Technology（华南理工大学）；Louisiana State University（路易斯安那州立大学）
该研究针对联邦学习的后门攻击风险，发现了主导模型脆弱性的后门关键（BC）层，提出从攻击者视角识别BC层并设计自适应平衡攻击效果与隐蔽性的后门攻击方法，实验证明仅10%恶意客户端即可突破7种当前最优防御，性能优于现有最新方法。
2024-04-15 cs.CR cs.CV cs.LG
Backdoor Attacks and Countermeasures on Deep Learning: A Comprehensive Review
Nanjing University of Science and Technology（南京理工大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织 Data61）；The University of Adelaide（阿德莱德大学）；The University of Queensland（昆士兰大学）；Hunan University（湖南大学）；Sungkyunkwan University（成均馆大学）
这项工作为社区提供了对深度学习的后门攻击和对策的及时全面的审查。根据攻击者的能力和机器学习流水线的受影响阶段，攻击面被识别为广泛的，然后形式化为六类：代码中毒，外包，预训练，数据汇集，协作学习和部署后。相应地，梳理了每个分类下的攻击。对策分为四大类：盲目借壳、线下借壳检查、线上借壳检查和事后借壳检查。在此基础上，对我国的应对策略进行了回顾，并对各种策略的优缺点进行了比较分析.我们还回顾了后门攻击的另一面，即i）保护深度学习模型的知识产权，ii）作为蜜罐捕获对抗性示例攻击，iii）验证数据贡献者请求的数据删除。总体而言，防御研究远远落后于攻击，没有一种防御可以阻止所有类型的后门攻击。在某些情况下，攻击者可以通过自适应攻击智能地绕过现有的防御。从系统性综述中得出的见解，我们还提出了未来研究后门的关键领域，如物理触发攻击的经验安全评估，特别是，更有效和实用的对策征求。
2020-08-02 cs.CR cs.CV cs.LG
Rethinking the Trigger of Backdoor Attack
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Tencent AI Lab（腾讯人工智能实验室）
后门攻击是在深度神经网络（DNN）中注入隐藏的后门，一旦被攻击者定义的触发器激活，被感染模型的预测就会被恶意改变，而在良性样本上表现良好。目前，现有的后门攻击大多采用\emph{static}触发器的设置，训练图像和测试图像中的$i.e.,$触发器遵循相同的外观，位于相同的区域。在本文中，我们重新审视这种攻击模式，通过分析静态触发器的特点。我们证明了这样的攻击范例是脆弱的，当测试图像中的触发器与用于训练的触发器不一致时。我们进一步探讨如何利用此属性的后门防御，并讨论如何减轻现有的攻击这样的脆弱性。
2021-01-31 cs.CR cs.CV cs.LG
A temporal chrominance trigger for clean-label backdoor attack against anti-spoof rebroadcast detection
University of Siena（锡耶纳大学）
我们提出了一种针对基于深度学习（DL）的模型的隐形清洁标签视频后门攻击，旨在检测特定类别的欺骗攻击，即视频重播攻击。注入的后门在正常情况下不会影响欺骗检测，但在存在特定触发信号的情况下会引起错误分类。所提出的后门依赖于改变视频序列的平均色度的时间触发器。后门信号的设计考虑了人类视觉系统（HVS）的特性，以降低触发器的可见性，从而增加后门的隐蔽性。为了迫使网络在具有挑战性的清洁标签场景中查看触发器的存在，我们选择了用于注入后门的中毒样本，遵循所谓的离群值中毒策略（OPS）。根据OPS，触发信号被插入到网络发现更难以分类的训练样本中。在不同的数据集和反欺骗重播检测架构上，实验验证了所提出的后门攻击的有效性和通用性.
2022-06-02 cs.AI cs.CR cs.CV
Sniper Backdoor: Single Client Targeted Backdoor Attack in Federated Learning
联邦学习（FL）支持深度学习（DL）模型的协作训练，其中数据保留在本地。像DL一样，FL也有严重的安全漏洞，攻击者可以利用这些漏洞，例如，模型反转和后门攻击。模型反演攻击从训练数据集重建数据，而后门只对包含特定属性的类进行错误分类，例如，像素图案。后门在FL中很突出，旨在毒害每个客户端模型，而模型反演攻击甚至可以针对单个客户端。本文介绍了一种新的技术，允许后门攻击是客户端为目标，损害一个单一的客户端，而其余的保持不变。该攻击利用了最先进的模型反转和后门攻击。准确地说，我们利用生成对抗网络来执行模型反演。之后，我们对FL网络进行影子训练，在其中，使用暹罗神经网络，我们可以识别，定位和后门受害者的模型。我们的攻击已经在不同的设置下使用MNIST、F-MNIST、EMNIST和CIFAR-100数据集进行了验证--在源（干净）和目标（后门）类上都达到了高达99%的准确率，并且可以抵御最先进的防御，例如，Neural Cleanse，开启了一个未来需要考虑的新型威胁模型。
2023-02-28 cs.CR
A Robust Attack: Displacement Backdoor Attack
School of Computer Science and Engineering, Changchun University of Technology（长春工业大学计算机科学与工程学院）；AI Research Institute, Changchun University of Technology（长春工业大学人工智能研究院）；School of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）
针对后门攻击在真实部署中易受抖动、亮度变化等影响的问题，提出位移后门攻击DBA，通过位移并融合目标样本构造后门样本，提升对旋转、裁剪等数据增强的鲁棒性。
2025-02-14 cs.AI cs.CR cs.CV
A backdoor attack against LSTM-based text classification systems
随着深度学习系统在许多应用中的广泛使用，对手有很强的动机去探索深度神经网络的漏洞并操纵它们。据报道，针对深度神经网络的后门攻击是一种新型威胁。在这种攻击中，攻击者将后门注入模型，然后通过包括后门触发器的输入导致模型的错误行为。现有的研究主要集中在基于CNN的图像分类中的后门攻击，而对RNN中的后门攻击研究较少。本文通过数据投毒的方法，在基于LSTM的文本分类中实现了一种后门攻击。当后门被注入时，模型会将任何包含特定触发语句的文本样本错误分类到对手确定的目标类别中。后门触发器的存在具有隐蔽性，后门注入对模型的性能影响不大。我们考虑了黑盒环境下的后门攻击，其中对手除了少量的训练数据外，不知道模型结构或训练算法。我们通过对IMDB电影评论数据集的情感分析来验证攻击。实验结果表明，我们的攻击可以达到95%左右的成功率与1%的中毒率。
2019-06-04 cs.CR
Backdoor Attacks Against Deep Learning Systems in the Physical World
University of Chicago（芝加哥大学）
后门攻击将隐藏的恶意行为嵌入到深度学习模型中，仅激活并导致包含特定触发器的模型输入的错误分类。然而，现有的关于后门攻击和防御的工作主要集中在使用数字生成的模式作为触发器的数字攻击上。一个关键的问题仍然没有答案：后门攻击能否成功使用物理对象作为触发器，从而使它们成为现实世界中对深度学习系统的可信威胁？我们进行了详细的实证研究，以探索这个问题的面部识别，一个关键的深度学习任务。使用七个物理对象作为触发器，我们收集了一个自定义数据集的3205图像的10名志愿者，并使用它来研究物理后门攻击的可行性在各种现实世界的条件下。我们的研究揭示了两个关键发现。首先，物理后门攻击可以非常成功，如果它们被仔细配置以克服物理对象施加的约束。特别是，成功触发器的放置在很大程度上受到目标模型对关键面部特征的依赖性的限制。第二，当今针对（数字）后门的四种最先进的防御措施对物理后门无效，因为物理对象的使用打破了用于构建这些防御的核心假设。我们的研究证实，（物理）后门攻击不是一个假设的现象，而是对关键的分类任务构成了严重的现实威胁。我们需要新的、更强大的防御手段来抵御物理世界中的后门。
2021-09-07 cs.CR cs.CV cs.LG
Data Free Backdoor Attacks
The Pennsylvania State University（宾夕法尼亚州立大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Santa Barbara（加州大学圣巴巴拉分校）；University of Georgia（佐治亚大学）；University of California Berkeley（加州大学伯克利分校）
针对现有后门攻击依赖干净数据、需改架构等问题，提出无需重训练、无数据且不改架构的DFBA后门攻击，经理论和多数据集实验验证，其攻击成功率100%、分类损失极小，能绕过六种前沿防御，比现有非无数据攻击更隐蔽有效。
2024-12-09 cs.AI cs.CR cs.CV
Time-Distributed Backdoor Attacks on Federated Spiking Learning
Radboud University（拉德堡德大学）；Ikerlan Research Centre（伊克尔兰研究中心）；Delft University of Technology（代尔夫特理工大学）
本研究针对联邦脉冲学习提出时间分布式后门攻击，通过跨时间和恶意设备分布触发器，实现高攻击成功率与隐蔽性，并揭示现有防御的不足。
2024-02-05 cs.CR cs.CV cs.NE
Check Your Other Door! Creating Backdoor Attacks in the Frequency Domain
深度神经网络（DNN）无处不在，并且跨越从图像分类到实时目标检测的各种应用。随着DNN模型变得越来越复杂，训练这些模型的计算成本成为负担。出于这个原因，外包培训过程一直是许多DNN用户的首选。不幸的是，这是以易受后门攻击为代价的。这些攻击的目的是在DNN中建立隐藏的后门，以便它在干净的样本上表现良好，但当触发器应用于输入时，输出特定的目标标签。现有的后门攻击要么在空间域中生成触发器，要么在傅立叶域中天真地毒害频率。在这项工作中，我们提出了一种基于傅立叶热图的管道，以在频域中生成空间动态和不可见的后门攻击。在各种数据集和网络架构上对所提出的攻击进行了广泛的评估。与大多数现有的后门攻击不同，所提出的攻击可以实现高攻击成功率，低中毒率和几乎没有性能下降，同时保持人眼无法察觉。此外，我们表明，我们的攻击中毒的模型是抵抗各种国家的最先进的（SOTA）防御，所以我们贡献了两种可能的防御，可以逃避攻击。
2023-01-09 cs.CR cs.CV cs.LG
Fine-Tuning Is All You Need to Mitigate Backdoor Attacks
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；University of Birmingham（伯明翰大学）；University of Lausanne（洛桑大学）
后门攻击是机器学习模型的主要威胁之一。已经做出了各种努力来减少后门。然而，现有的防御已经变得越来越复杂，并且通常需要高计算资源，或者还可能危及模型的实用性。在这项工作中，我们表明，微调，最常见和最容易采用的机器学习训练操作之一，可以有效地删除后门从机器学习模型，同时保持高的模型效用。在三个机器学习范例上的大量实验表明，微调和我们新提出的超微调实现了强大的防御性能。此外，我们创造了一个新的术语，即后门后遗症，来衡量模型漏洞的变化，以其他攻击之前和之后的后门已被删除。实证评估表明，与其他防御方法相比，超微调留下的后门后遗症有限。我们希望我们的研究结果可以帮助机器学习模型所有者更好地保护他们的模型免受后门威胁。此外，它呼吁设计更高级的攻击，以全面评估机器学习模型的后门漏洞。
2022-12-18 cs.CR cs.CV cs.LG
Detecting Backdoor Attacks Against Point Cloud Classifiers
Pennsylvania State University（宾夕法尼亚州立大学）；Shanghai Jiao Tong University（上海交通大学）
后门攻击（BA）是对深度神经网络分类器的新兴威胁。被攻击的分类器将预测攻击者的目标类时，测试样本从源类嵌入后门模式（BP）。最近，第一个针对点云（PC）分类器的BA被提出，对包括自动驾驶在内的许多重要应用造成了新的威胁。这种PC BA由于其特殊的BP嵌入机制而无法被现有的BA防御检测到。在本文中，我们提出了一个反向工程防御，推断PC分类器是否受到后门攻击，而无需访问其训练集或任何干净的分类器作为参考。我们的防御的有效性证明在基准ModeNet40数据集的PC。
2021-10-20 cs.CR cs.CV cs.LG
Invisible Backdoor Attacks on Deep Neural Networks via Steganography and Regularization
Shanghai Jiao Tong University（上海交通大学）；The University of Adelaide（阿德莱德大学）；The University of New South Wales（新南威尔士大学）；Data61 CSIRO（澳大利亚联邦科学与工业研究组织 Data61）；Shanghai Institute for Advanced Communication and Data Science（上海先进通信与数据科学研究院）；Shanghai University（上海大学）
深度神经网络（DNN）已被证明容易受到后门攻击的攻击，其中隐藏的特征（模式）被训练成一个正常的模型，它只被一些特定的输入（称为触发器）激活，欺骗模型产生意想不到的行为。在本文中，我们为后门攻击创建了隐蔽和分散的触发器，这些触发器可以欺骗DNN模型和人类检查。我们通过两种最先进的嵌入触发器的方法来应用我们的隐形后门进行后门攻击。Badnets的第一种方法通过隐写术将触发器嵌入DNN。木马攻击的第二种方法使用两种类型的附加正则化项来生成具有不规则形状和大小的触发器。我们使用攻击成功率和功能来衡量我们的攻击性能。我们介绍了两个新的定义，人类感知的不可见性;一个是概念化的感知对抗相似性得分（PASS），另一个是学习感知图像补丁相似性（LPIPS）。我们表明，通过测量对手的攻击成功率，普通用户的功能和管理员的不可见性得分，我们提出的隐形后门在各种DNN模型以及四个数据集MNIST，CIFAR-10，CIFAR-100和GTSRB中可以相当有效。最后，我们认为，建议的无形后门攻击可以有效地挫败国家的最先进的木马后门检测方法，如神经清洗和TABOR。
2020-08-31 cs.CR cs.CV cs.LG
BackdoorBox: A Python Toolbox for Backdoor Learning
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
深度神经网络（DNN）的训练通常涉及第三方资源（$e.g.$、样本、主干和预训练模型），这带来了后门攻击作为新的训练阶段威胁。一般来说，后门攻击者打算在DNN中植入隐藏的后门，以便被攻击的DNN在良性样本上正常运行，而如果隐藏的后门被攻击者指定的触发模式激活，则它们的预测将被恶意更改为预定义的目标标签。为了便于研发更安全的训练方案和防御，我们设计了一个开源的Python工具箱，在统一灵活的框架下实现了具有代表性的高级后门攻击和防御。我们的工具箱有四个重要且有前途的特征，包括一致性、简单性、灵活性和共同开发。它允许研究人员和开发人员在基准测试或本地数据集上轻松实现和比较不同的方法。这个Python工具箱，即\texttt{BackdoorBox}，可以在\url{https://github.com/THUYimingLi/BackdoorBox}上找到。
2023-02-01 cs.CR cs.CV cs.LG
Light Can Hack Your Face! Black-box Backdoor Attack on Face Recognition Systems
Nanyang Technological University（南洋理工大学）；City University of Hong Kong（香港城市大学）
深度神经网络（DNN）在许多计算机视觉应用中取得了巨大成功。然而，它们也容易受到后门攻击的影响。当进行后门攻击时，大多数现有方法假设目标DNN始终可用，并且攻击者始终可以将特定模式注入到训练数据中以进一步微调DNN模型。然而，在实践中，这种攻击可能是不可行的，因为DNN模型是加密的并且仅可用于安全飞地。在本文中，我们提出了一种新的黑盒后门攻击技术的人脸识别系统，它可以进行没有知识的目标DNN模型。具体而言，我们提出了一种后门攻击与一种新的颜色条纹图案触发，它可以通过调制LED在一个专门的波形产生。我们还使用了一种进化计算策略来优化后门攻击的波形。我们的后门攻击可以在非常温和的条件下进行：1）对手不能以不自然的方式操纵输入（例如，注入对抗性噪声）; 2）对手不能访问训练数据库; 3）对手不知道训练模型以及受害方使用的训练集。我们表明，后门触发器可以是相当有效的，其中攻击成功率可以高达$88\%$基于我们的模拟研究和高达$40\%$基于我们的物理域的研究，通过考虑任务的人脸识别和验证的基础上最多三次尝试在认证过程中。最后，我们评估了几个国家的最先进的潜在防御后门攻击，并发现我们的攻击仍然可以有效。我们强调，我们的研究揭示了一种新的物理后门攻击，这需要注意的安全问题，现有的人脸识别/验证技术。
2020-09-15 cs.AI cs.CR cs.CV
Low-ASR Backdoors: Exploiting Attack Success Rate Reduction and Attacker-Defender Asymmetry
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出反向训练框架生成低攻击成功率后门，发现现有防御在低ASR条件下失效，揭示了攻防不对称性，为后门攻击与防御研究提供新视角。
2026-08-28 cs.CR
Beating Backdoor Attack at Its Own Game
Carnegie Mellon University（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）；The Chinese University of Hong Kong（香港中文大学）
受后门攻击启发，提出注入非对抗性后门的防御框架，在数据预处理阶段抑制攻击者后门，无需修改标准训练流程，在多个基准上实现最先进防御效果且干净数据性能下降最低。
2025-04-05 cs.CR cs.CV cs.LG
Bad-PFL: Exploring Backdoor Attacks against Personalized Federated Learning
Deakin University（迪肯大学）
针对PFL中现有后门攻击失效的问题，提出Bad-PFL方法，利用自然数据特征作为触发器，通过相互强化训练确保后门在个性化模型中持久存在，并在多个基准数据集上验证了其优越的攻击性能。
2025-01-22 cs.CR cs.CV cs.LG
Contributor-Aware Defenses Against Adversarial Backdoor Attacks
众所周知，用于图像分类的深度神经网络容易受到对抗攻击的攻击。最近引起关注的一种攻击是对抗性后门攻击，它已经证明了对特定示例执行有针对性的错误分类的能力。特别是，后门攻击试图迫使模型学习后门触发模式和虚假标签之间的虚假关系。为了应对这种威胁，已经提出了许多防御措施;然而，对后门攻击的防御集中在后门模式检测上，这可能对新颖或意外类型的后门模式设计不可靠。我们引入了一种新的重新语境化的对抗性设置，其中对手的存在隐含地承认存在多个数据库贡献者。然后，在贡献者意识的温和假设下，可以利用这些知识通过破坏虚假标签关联来防御后门攻击。我们提出了一个贡献者感知的通用防御框架，用于在存在多个潜在对抗性数据源的情况下进行学习，该框架利用半监督集合和从人群中学习来过滤对抗性触发器产生的错误标签。重要的是，这种防御策略对后门模式设计是不可知的，因为它的功能不需要-甚至不尝试-在训练或推理期间执行对手识别或后门模式检测。我们的实证研究表明，所提出的框架对敌对的后门攻击从多个同时的对手的鲁棒性。
2022-05-28 cs.AI cs.CR cs.CV
Invisible Backdoor Attack with Sample-Specific Triggers
近年来，后门攻击给深度神经网络（DNN）的训练过程带来了新的安全威胁。攻击者打算将隐藏的后门注入DNN，这样被攻击的模型在良性样本上表现良好，而如果攻击者定义的触发器激活了隐藏的后门，则其预测将被恶意更改。现有的后门攻击通常采用触发器与样本无关的设置，$i.e.,$不同的中毒样本包含相同的触发器，导致现有的后门防御可以很容易地抵御攻击。在这项工作中，我们探索了一种新的攻击模式，后门触发器是特定于样本的。在我们的攻击中，我们只需要修改某些训练样本与不可见的扰动，而不需要操纵其他训练组件（$e.g.$，训练损失，和模型结构）所需的许多现有的攻击。具体来说，受基于DNN的图像隐写术的最新进展的启发，我们通过编码器-解码器网络将攻击者指定的字符串编码为良性图像，从而生成样本特定的不可见加性噪声作为后门触发器。当DNN在中毒数据集上训练时，将生成从字符串到目标标签的映射。在基准数据集上的大量实验验证了该方法在攻击有防御和无防御模型时的有效性。
2021-08-13 cs.CR
DABS: Data-Agnostic Backdoor attack at the Server in Federated Learning
The Hong Kong University of Science and Technology（香港科技大学）
本研究针对联邦学习易受后门攻击的问题，提出服务器端数据无关后门攻击模型DABS，直接修改全局模型实现攻击，实验显示其攻击成功率高于基线方法且不影响干净数据准确率。
2023-05-02 cs.CR cs.CV cs.LG
On the Difficulty of Defending Contrastive Learning against Backdoor Attacks
Stony Brook University（石溪大学）；Pennsylvania State University（宾夕法尼亚州立大学）；Zhejiang University（浙江大学）
本研究通过提出TRL统一框架，揭示对比式与监督式后门攻击的机制差异，指出现有监督攻击防御手段难以适配对比学习后门攻击，强调需定制专属防御方案。
2023-12-14 cs.AI cs.CR cs.CV
On Certifying Robustness against Backdoor Attacks via Randomized Smoothing
Duke University（杜克大学）
后门攻击是对深度神经网络（DNN）的严重安全威胁。我们设想，就像对抗性的例子一样，后门攻击将是一场猫捉老鼠的游戏，即，开发了新的经验防御来防御后门攻击，但是它们很快就被强适应性后门攻击打破。为了防止这种猫捉老鼠的游戏，我们采取了第一步，对后门攻击认证防御。具体来说，在这项工作中，我们研究的可行性和有效性，证明对后门攻击使用最近的技术称为随机平滑的鲁棒性。随机平滑最初是为了证明对抗性样本的鲁棒性而开发的。我们推广了随机平滑来抵御后门攻击。我们的研究结果表明，使用随机平滑证明对后门攻击的鲁棒性的理论可行性。然而，我们也发现，现有的随机平滑方法在抵御后门攻击的有效性有限，这突出了新的理论和方法的需求，以证明对后门攻击的鲁棒性。
2020-07-20 cs.CR cs.LG
Backdoor Learning: A Survey
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Peng Cheng Laboratory（鹏城实验室）；Tencent Data Platform（腾讯数据平台）
后门攻击旨在将隐藏的后门嵌入到深度神经网络（DNN）中，使得被攻击的模型在良性样本上表现良好，而如果隐藏的后门被攻击者指定的触发器激活，则它们的预测将被恶意改变。当训练过程没有完全控制时，这种威胁可能会发生，例如在第三方数据集上进行训练或采用第三方模型，这会带来新的现实威胁。虽然后门学习是一个新兴且发展迅速的研究领域，但其系统性的综述仍然是一片空白。在本文中，我们提出了这一领域的第一次全面调查。本文对现有的后门攻击和防御方法进行了总结和分类，并给出了一个统一的框架来分析基于中毒的后门攻击。此外，还分析了后门攻击与相关领域（$i.e.,$、对抗攻击和数据投毒）的关系，并总结了广泛采用的基准数据集。最后，我们简要地概述了某些未来的研究方向依赖于回顾的作品。在\url{https://github.com/THUYimingLi/backdoor-learning-resources}上也可以找到与后门相关的资源的精选列表。
2022-02-16 cs.CR cs.CV cs.LG
BAGEL: Backdoor Attacks against Federated Contrastive Learning
本文首次研究联邦对比学习中的后门攻击，提出集中式与去中心化两种攻击方式，通过投毒本地更新将后门注入全局编码器并影响下游模型，实验证明攻击有效且去中心化攻击更隐蔽难防。
2023-09-14 cs.CR
Rethink the Evaluation for Attack Strength of Backdoor Attacks in Natural Language Processing
Tencent AI Lab（腾讯人工智能实验室）
已经表明，自然语言处理（NLP）模型容易受到一种称为后门攻击的安全威胁，这种攻击利用“后门触发器”范式来误导模型。最具威胁的后门攻击是隐形后门，它将触发器定义为文本样式或语法。虽然他们已经取得了令人难以置信的高攻击成功率（ASR），我们发现，其ASR的主要因素是不是“后门触发器”的范例。因此，当将这些秘密后门攻击归类为后门攻击时，高估了其能力。因此，为了评估后门攻击的实际攻击能力，我们提出了一个新的度量称为攻击成功率差（ASRD），它衡量的ASR之间的差异清洁状态和中毒状态模型。此外，针对目前对隐蔽式后门攻击的防御手段缺乏的情况，本文提出了一种触发器断路器，它由两个简单的技巧组成，可以有效地防御隐蔽式后门攻击。实验表明，我们的方法实现了显着更好的性能比国家的最先进的防御方法对隐形后门攻击。
2022-02-16 cs.CL cs.CR cs.LG
Stealthy Low-frequency Backdoor Attack against Deep Neural Networks
针对现有空间域后门攻击易被检测的问题，提出低通攻击，利用低通滤波器在频域注入后门，减少高频分量并保留语义信息，在极低污染率下实现高隐蔽性并成功绕过先进防御机制。
2023-05-10 cs.CR
BATT: Backdoor Attack with Transformation-based Triggers
Research Center for Computer Network (Shenzhen) Ministry of Education（教育部计算机网络（深圳）研究中心）
深度神经网络（DNN）容易受到后门攻击的攻击。后门攻击者打算通过注入隐藏的后门来恶意控制被攻击DNN的预测，这些后门可以在训练过程中由攻击者指定的触发模式激活。最近的一项研究表明，大多数现有的攻击在真实的物理世界中失败了，因为数字化测试样本中包含的触发器可能与用于训练的触发器不同。因此，用户可以采用空间变换作为图像预处理来去激活隐藏的后门。在本文中，我们从另一个侧面探索了以前的研究结果。我们利用经典的空间变换（即旋转和平移）与特定的参数作为触发模式，设计了一个简单而有效的基于中毒的后门攻击。例如，只有旋转到特定角度的图像才能激活受攻击DNN的嵌入式后门。进行了大量的实验，验证了我们的攻击在数字和物理环境下的有效性，以及它对现有后门防御的抵抗力。
2023-03-06 cs.AI cs.CR cs.CV
Collaborative Shadows: Distributed Backdoor Attacks in LLM-Based Multi-Agent Systems
本文针对基于LLM的多智能体系统提出了首个分布式后门攻击，将后门分解为嵌入工具的分布式攻击原语，仅在智能体按特定序列协作时激活以执行定向攻击，实验表明其攻击成功率超过95%且不影响良性任务性能。
2025-10-13 cs.CR
Backdoors Stuck At The Frontdoor: Multi-Agent Backdoor Attacks That Backfire
University of Oxford（牛津大学）
协作学习和外包数据汇集中的恶意代理威胁到干净模型的训练。后门攻击是训练时鲁棒性的一个主要问题，攻击者在训练期间毒害模型以成功实现有针对性的误分类。在本文中，我们研究了多代理后门攻击的情况下，多个攻击者试图后门受害者模型同时进行。在广泛的游戏中观察到一致的逆火现象，其中代理遭受集体攻击成功率低。我们研究了不同模式的后门攻击配置，非合作/合作，联合分布偏移，和游戏设置返回一个均衡的攻击成功率在下限。这些结果促使重新评估后门防御研究的实际环境。
2022-01-28 cs.CR cs.LG cs.MA
Debiasing Backdoor Attack: A Benign Application of Backdoor Attack in Eliminating Data Bias
Beijing Jiaotong University（北京交通大学）
后门攻击是近年来出现的一种新的AI安全风险。借鉴以往对抗攻击的研究，我们认为，后门攻击有潜力进入模型学习过程，提高模型的性能。通过对后门攻击中的完全准确性下降（CAD）的分析，发现CAD是由数据的伪删除效应产生的。我们从模型分类边界的角度对这一现象进行了初步解释，并观察到这种伪删除在数据去偏问题中比直接删除具有优势。基于上述发现，我们提出了去偏后门攻击（DBA）。它在去偏置任务中实现了SOTA，具有比欠采样更广泛的应用场景。
2022-02-18 cs.AI cs.CR cs.LG
Robust Backdoor Attacks against Deep Neural Networks in Real Physical World
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
深度神经网络（DNN）已被广泛部署在各种应用中。然而，许多研究表明，DNN是容易受到后门攻击。攻击者可以在目标DNN模型中创建一个隐藏的后门，并通过提交特定的后门实例来触发恶意行为。然而，现有的后门攻击研究大多集中在数字领域，而对真实物理世界中的后门攻击研究较少。受限于各种物理约束，后门攻击在真实物理世界中的性能会严重下降。本文提出了一种鲁棒的物理后门攻击方法PTB（physical transformations for backdoors），用于实现对真实物理世界中的深度学习模型的后门攻击。具体来说，在训练阶段，我们在每一轮模型训练中对这些注入的后门实例执行一系列物理变换，以模拟后门在现实世界中可能经历的各种变换，从而提高其物理鲁棒性。在最新的人脸识别模型上的实验结果表明，与不带PTB的后门攻击方法相比，该方法能够显著提高真实物理世界中的后门攻击性能.在各种复杂的物理条件下，通过仅注入非常小比例（0.5%）的后门实例，使用PTB方法对VGGFace进行物理后门攻击的攻击成功率为82%，而不使用所提出的PTB方法的后门攻击的攻击成功率低于11%。同时，目标DNN模型的正常性能没有受到影响。
2021-07-15 cs.AI cs.CR
Backdoor Attacks to Graph Neural Networks
Duke University（杜克大学）
在这项工作中，我们提出了第一个后门攻击图神经网络（GNN）。具体来说，我们提出了一个\emph{subgraph based backdoor attack}的GNN图分类。在我们的后门攻击中，一旦预定义的子图被注入测试图，GNN分类器就预测攻击者为测试图选择的目标标签。我们在三个真实世界的图数据集上的实证结果表明，我们的后门攻击是有效的，对GNN的预测准确性的影响很小。此外，我们推广了一种基于随机平滑的认证防御来抵御我们的后门攻击。我们的实证结果表明，防御在某些情况下是有效的，但在其他情况下无效，突出了我们的后门攻击的新防御的需要。
2021-12-17 cs.CR cs.LG
T-Backdoor: Exploiting Temporal Redundancy in Neuromorphic Data for Spike-preserving Backdoor Attacks on SNNs
University of Rhode Island（罗德岛大学）
针对SNN后门攻击中时空触发器易被检测的问题，提出仅用时间触发器（速率、延迟、抖动）的T-Backdoor，在三个神经形态数据集上实现100%攻击成功率且对七种防御鲁棒。
2026-09-25 cs.CR
CUBA: Controlled Untargeted Backdoor Attack against Deep Neural Networks
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（计算机科学与技术学院，南京航空航天大学）
提出受控非定向后门攻击CUBA，结合非定向灵活性与定向意图，通过对数几率归一化使模型将后门图像分类到受限随机类别，从而规避现有防御，实验验证其有效性。
2025-06-20 cs.AI cs.CR
Long-Tailed Backdoor Attack Using Dynamic Data Augmentation Operations
Stony Brook University（石溪大学）
本文首次探索长尾分布数据集上的后门攻击，提出动态数据增强操作（D$^2$AO）方法和特定样本触发器生成器，通过同步优化后门模型与触发器，在保持干净准确率的同时实现了最先进的攻击性能。
2024-10-16 cs.AI cs.CR cs.CV
RobustNLP: A Technique to Defend NLP Models Against Backdoor Attacks
随着机器学习（ML）系统越来越多地用于现实世界中处理敏感任务并在各个领域做出决策，这些模型的安全性和隐私性也变得越来越重要。特别是，深度神经网络（DNN）已被证明容易受到后门攻击的攻击，从而对手可以访问训练数据，并有机会通过将精心开发的样本插入训练数据集中来操纵这些数据。尽管NLP社区已经进行了几项关于生成后门攻击的研究，证明了语言模式的脆弱状态，但据我们所知，还没有任何对抗此类攻击的工作。为了弥补这一差距，我们提出了RobustEncoder：一种新的基于聚类的技术，用于检测和删除文本域中的后门攻击。大量的实证结果表明，我们的技术在检测和删除后门触发器的有效性。我们的代码可在https://github.com/marwanomar1/Backdoor-Learning-for-NLP上获得
2023-02-18 cs.CR
Backdoor Attacks to Pre-trained Unified Foundation Models
预先训练好的统一基础模型的兴起，打破了不同模态和任务之间的壁垒，以统一的架构为用户提供全面的支持。然而，对预训练模型的后门攻击对其安全性构成了严重威胁。以往对后门攻击的研究仅限于单模态任务或跨模态的单个任务，不适用于统一的基础模型。本文针对预先训练好的统一基础模型进行后门攻击的概念验证级研究。通过对NLP和CV分类任务的初步实验，我们揭示了这些模型的脆弱性，并为增强攻击方法提出了未来的研究方向。
2023-02-23 cs.CR
DF-LoGiT: Data-Free Logic-Gated Backdoor Attacks in Vision Transformers
University of Arizona（亚利桑那大学）；Iowa State University（爱荷华州立大学）；Old Dominion University（老道明大学）
DF-LoGiT提出了一种无需数据的视觉变换器后门攻击方法，通过直接修改权重实现隐蔽且高效的后门植入。
2026-02-03 cs.CR
BACKDOORL: Backdoor Attack against Competitive Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）；Pennsylvania State University（宾夕法尼亚州立大学）
最近的研究证实了后门攻击在深度强化学习（RL）系统中的可行性。然而，现有的攻击需要能够任意修改代理的观察，限制了应用范围简单的RL系统，如雅达利游戏。在本文中，我们将后门攻击迁移到涉及多个代理的更复杂的RL系统中，并探索在不直接操纵代理观察的情况下触发后门的可能性。作为概念证明，我们证明了对手代理可以在两人竞争RL系统中通过自己的行动触发受害代理的后门。我们在四种竞争环境中对EPDOOORL进行原型设计和评估。结果显示，当后门被激活时，受害者的中奖率比未激活时下降了17%至37%。
2021-12-12 cs.CR cs.LG
Black-box Detection of Backdoor Attacks with Limited Information and Data
Tsinghua University（清华大学）；RealAI（瑞莱智慧）；Institute for AI（人工智能研究院）；BNRist Center（北京国家信息科学技术研究中心）；Tsinghua-Bosch Joint ML Center（清华-博世联合机器学习中心）；THBI Lab（清华-北京生物医学工程研究院实验室）；Dept. of Comp. Sci. and Tech.（计算机科学与技术系）
尽管近年来深度神经网络（DNN）取得了快速发展，但它们在对抗性环境中很脆弱。恶意后门可以通过中毒训练数据集来嵌入模型中，其目的是使受感染的模型在特定触发器出现时在推理过程中给出错误的预测。为了减轻后门攻击的潜在威胁，已经提出了各种后门检测和防御方法。然而，现有的技术通常需要中毒的训练数据或白盒模型的访问，这在实践中通常是不可能的。在本文中，我们提出了一个黑盒后门检测（B3D）的方法来识别后门攻击只有查询访问模型。我们引入了一个无梯度的优化算法来逆向工程的潜在触发器为每个类，这有助于揭示存在的后门攻击。除了后门检测，我们还提出了一个简单的策略，使用已识别的后门模型进行可靠的预测。在数百个DNN模型上进行的大量实验证实了我们的方法在黑盒设置下对各种后门攻击的有效性。
2021-03-24 cs.CR cs.CV cs.LG
Explainability Matters: Backdoor Attacks on Medical Imaging
NYU Abu Dhabi（纽约大学阿布扎比分校）；NYU Tandon School of Engineering（纽约大学坦登工程学院）
深度神经网络已经被证明容易受到后门攻击的攻击，这些攻击可以在模型训练之前很容易地引入到训练集中。最近的工作集中在调查自然图像或玩具数据集上的后门攻击。因此，在复杂的现实世界应用中，后门的确切影响尚未完全了解，例如在医疗成像中，误诊可能非常昂贵。在本文中，我们探讨了后门攻击对使用胸部X射线摄影的多标签疾病分类任务的影响，假设攻击者可以操纵训练数据集来执行攻击。对最先进架构的广泛评估表明，通过将具有少量像素扰动的图像引入训练集中，攻击者可以成功执行后门，而无需参与训练过程。一个简单的3 $\times$ 3像素触发器可以在受感染图像集上实现高达1.00的受试者工作特征（AUROC）曲线下面积。在一组干净的图像中，后门神经网络仍然可以实现高达0.85的AUROC，突出了攻击的隐蔽性。随着基于深度学习的诊断系统在临床实践中的广泛使用，我们还展示了可解释性在这种情况下是如何不可或缺的，因为它可以在推理时间内识别空间定位的后门。
2020-12-30 cs.CR cs.CV cs.LG
BELT: Old-School Backdoor Attacks can Evade the State-of-the-Art Defense with Backdoor Exclusivity Lifting
Fudan University（复旦大学）
提出后门排他性概念及BELT技术，通过抑制后门与模糊触发器的关联，使老派后门攻击能以几乎不损失成功率和效用的代价规避多种最先进防御。
2024-04-25 cs.AI cs.CR
Backdoor-Powered Prompt Injection Attacks Nullify Defense Methods
本文提出后门驱动的提示注入攻击，通过污染监督微调样本植入触发器，使现有提示注入防御及指令层次技术失效，并构建基准验证其更强危害性。
2025-10-04 cs.CR
Physical Backdoor Attack Against Deep Learning-Based Modulation Classification
Institute of Radiocommunications Poznan University of Technology（波兹南理工大学无线电通信研究所）
本文研究了一种针对深度学习调制分类器的物理后门攻击，通过射频信号幅度操控和标签篡改训练受感染模型，验证了该攻击在不同噪声水平下的高成功率，并测试了多种防御技术的失效性。
2026-03-26 cs.CR
Kallima: A Clean-label Framework for Textual Backdoor Attacks
Peking University（北京大学）；Tsinghua University（清华大学）；RealAI（瑞莱智慧）
尽管深度神经网络（DNN）在各种自然语言处理（NLP）任务中取得了前所未有的进步，但研究表明，深度模型极易受到后门攻击。现有的后门攻击主要是在训练数据集中注入少量的有毒样本，并将标签更改为目标标签。这种贴错标签的样本在人类检查时会引起怀疑，可能会揭示攻击。为了提高文本后门攻击的隐蔽性，我们提出了第一个干净的标签框架Kallima合成模仿风格的后门样本，开发阴险的文本后门攻击。我们用对抗性扰动修改了属于目标类的输入，使模型更加依赖后门触发器。我们的框架与大多数现有的后门触发器兼容。在三个基准数据集上的实验结果证明了该方法的有效性。
2022-06-03 cs.CL cs.CR
BEAGLE: Forensics of Deep Learning Backdoor Attack for Better Defense
Purdue University（普渡大学）；Rutgers University（罗格斯大学）
深度学习后门攻击的威胁模型与传统网络攻击相似。攻击取证作为传统网络攻击的重要对抗手段，对于防御典型的后门攻击具有重要意义。在本文中，我们提出了一种新的模型后门取证技术。给定一些攻击样本，例如带有后门触发器的输入，这可能代表不同类型的后门，我们的技术会自动将它们分解为干净的输入和相应的触发器。然后，它根据触发器的属性对触发器进行聚类，以允许自动攻击分类和总结。后门扫描器可以自动合成，以找到其他模型中相同类型后门的其他实例。我们对2，532个预训练模型，10种流行攻击的评估以及与9种基线的比较表明，我们的技术非常有效。分解的干净输入和触发器非常类似于地面实况。合成的扫描程序大大优于现有扫描程序的普通版本，这些扫描程序很难推广到不同类型的攻击。
2023-01-16 cs.CR cs.LG
Backdoor Attacks against Hybrid Classical-Quantum Neural Networks
首次系统研究混合量子神经网络的后门攻击，提出攻击框架并进行理论分析，实验证明HQNNs比CNNs更鲁棒，同时引入了基于颜色偏移和NSGA-II优化的Qcolor后门，验证了其有效性与隐蔽性。
2024-07-23 cs.CR
