Partial train and isolate, mitigate backdoor attack
本文提出一种部分冻结模型训练方法（PT），先训练模型隔离可疑中毒样本，再微调干净模型，以缓解后门攻击。
2024-06-06 cs.CV
Energy Backdoor Attack to Deep Neural Networks
Univ. Rennes, INSA Rennes, CNRS（雷恩大学、雷恩国立应用科学学院、法国国家科学研究中心）；Khalifa University（哈利法大学）；National Higher School of Telecommunications and ICT（国立电信与信息和通信技术高等学校）；National Institute of Health and Medical Research（国家健康与医学研究院）
针对深度神经网络能量后门攻击研究空白，提出分后门注入与隐匿两阶段的攻击方法，经多模型与数据集验证可提升触发样本能耗且不影响干净输入性能，揭示了DNN的相关脆弱性。
2025-01-14 cs.CV
Breaking the False Sense of Security in Backdoor Defense through Re-Activation Attack
National University of Singapore（新加坡国立大学）
本文发现现有后门防御策略仅使后门休眠而未消除，提出通过再激活攻击利用微小扰动重新激活休眠后门，揭示了防御模型的虚假安全感，强调了设计更鲁棒防御机制的紧迫性。
2024-05-30 cs.CV
Personalization as a Shortcut for Few-Shot Backdoor Attack against Text-to-Image Diffusion Models
Nanyang Technological University（南洋理工大学）；New York University（纽约大学）；Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局）；East China Normal University（华东师范大学）
本研究揭示文本到图像扩散模型通过个性化方法存在零日后门漏洞，提出基于nouveau-token的高效攻击，较传统方法更精确且隐蔽。
2023-12-20 cs.CV
Hidden Trigger Backdoor Attacks
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
随着深度学习算法在各个领域的成功，研究对抗攻击以保护现实世界应用中的深度模型已经成为一个重要的研究课题。后门攻击是对深度网络的一种对抗攻击，攻击者向受害者提供有毒数据以训练模型，然后通过在测试时显示特定的小触发模式来激活攻击。大多数最先进的后门攻击要么提供可以通过目视检查识别的错误标记的中毒数据，揭示中毒数据中的触发器，要么使用噪声来隐藏触发器。我们提出了一种新形式的后门攻击，其中中毒数据看起来很自然，具有正确的标签，更重要的是，攻击者将触发器隐藏在中毒数据中，并将触发器保密，直到测试时间。我们对各种图像分类设置进行了广泛的研究，并表明我们的攻击可以通过在看不见的图像上的随机位置粘贴触发器来欺骗模型，尽管该模型在干净的数据上表现良好。我们还表明，我们提出的攻击不能很容易地捍卫使用国家的最先进的防御算法的后门攻击。
2019-12-21 cs.CV
Defending Text-to-image Diffusion Models: Surprising Efficacy of Textual Perturbations Against Backdoor Attacks
ASUS（华硕）；National Taiwan University（台湾大学）；University of Michigan（密歇根大学）
本文提出利用文本扰动这一简单策略有效防御文本到图像扩散模型的后门攻击，并从文本嵌入空间和交叉注意力图角度分析其有效性，为未来攻防策略提供见解。
2024-08-28 cs.CV
FRIB: Low-poisoning Rate Invisible Backdoor Attack based on Feature Repair
Ocean University of China（中国海洋大学）
在隐形后门攻击中毒数据的生成过程中，特征空间变换操作容易造成部分中毒特征的丢失，削弱了带有触发器的源图像与目标标签之间的映射关系，导致需要更高的中毒率才能达到相应的后门攻击成功率。针对上述问题，本文首次提出了特征修复的思想，并引入盲水印技术对产生中毒数据时丢失的中毒特征进行修复。在保证标签一致性的前提下，提出了一种基于特征修复的低中毒率隐形后门攻击FRIB。得益于上述设计理念，新方法增强了带触发器的源图像与目标标签之间的映射关系，增加了DNN的误导程度，从而在极低中毒率的情况下实现了高后门攻击成功率。最终，详细的实验结果表明，在所有MNIST，CIFAR10，GTSRB和ImageNet数据集上实现了以极低中毒率实现高成功率后门攻击的目标。
2022-07-26 cs.CV
Marksman Backdoor: Backdoor Attacks with Arbitrary Target Class
Baidu Research（百度研究院）
近年来，机器学习模型已被证明容易受到后门攻击。在这种攻击下，攻击者将隐形后门嵌入到训练模型中，使得受损模型在干净输入上正常运行，但会根据攻击者对带有触发器的恶意构造输入的控制进行错误分类。虽然这些现有的攻击非常有效，但对手的能力是有限的：给定一个输入，这些攻击只能导致模型对单个预定义或目标类别进行错误分类。相比之下，本文利用了一种新的后门攻击，具有更强大的有效载荷，表示为Marksman，其中对手可以任意选择哪个目标类的模型将错误分类在推理过程中的任何输入。为了实现这一目标，我们建议将触发函数表示为类条件生成模型，并将后门注入到约束优化框架中，其中触发函数学习生成最佳触发模式以随意攻击任何目标类，同时将此生成后门嵌入到训练模型中。给定学习的攻击者生成函数，在推断期间，对手可以指定任意的后门攻击目标类，并且相应地创建使模型向该目标类分类的适当触发器。我们的经验表明，该框架实现了高攻击性能，同时保留了几个基准数据集，包括MNIST，CIFAR10，GTSRB和TinyImageNet的清洁数据性能。建议的神枪手后门攻击也可以很容易地绕过现有的后门防御，原来设计的后门攻击与一个单一的目标类。我们的工作朝着理解实践中后门攻击的广泛风险迈出了重要的一步。
2022-10-17 cs.CR cs.CV
Look, Listen, and Attack: Backdoor Attacks Against Video Action Recognition
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；Saudi Data and Artificial Intelligence Authority (SDAIA)（沙特数据与人工智能管理局）
深度神经网络（DNN）容易受到一类称为“后门攻击“的攻击，这种攻击在后门触发器和攻击者有兴趣利用的目标标签之间创建关联。后门DNN在干净的测试图像上表现良好，但在存在后门触发器的情况下，持续预测攻击者定义的任何样本标签。尽管后门攻击在图像域中已经被广泛研究，但是在视频域中探索这样的攻击的工作很少，并且他们倾向于得出图像后门攻击在视频域中不太有效的结论。在这项工作中，我们重新审视了传统的后门威胁模型，并将其他与视频相关的方面纳入该模型。我们发现，有毒标签图像后门攻击可以扩展时间在两种方式，静态和动态，导致在视频域中的高效攻击。此外，我们还探索了自然视频后门，以突出此漏洞在视频领域的严重性。而且，我们第一次研究了针对视频动作识别模型的多模态（视听）后门攻击，在那里我们证明了攻击单一模态足以实现高攻击成功率。
2023-01-19 cs.CR cs.CV cs.LG
Parasite: A Steganography-based Backdoor Attack Framework for Diffusion Models
提出基于隐写术的后门攻击框架Parasite，用于扩散模型的图像到图像任务，通过隐藏触发器实现灵活攻击，并有效绕过主流防御，后门检测率为0%。
2025-09-11 cs.AI cs.CV
Enhancing Clean Label Backdoor Attack with Two-phase Specific Triggers
Beijing Institute of Technology（北京理工大学）
后门攻击威胁着深度神经网络（DNN）。对于隐秘性，研究人员提出了清洁标签后门攻击，这要求对手不改变中毒训练数据集的标签。由于图像-标签对正确，清洁标签设置使攻击更加隐蔽，但仍然存在一些问题：首先，传统的中毒训练数据的方法是无效的;其次，传统的触发器是不隐蔽的，仍然是可感知的。为了解决这些问题，我们提出了一个两阶段和图像特定的触发器生成方法，以加强清洁标签后门攻击。我们的方法是（1）强大的：我们的触发器都可以促进两个阶段（即，后门植入和激活阶段）同时进行后门攻击;（2）隐秘性：我们的触发器是从每个图像中生成的。它们是特定于图像的，而不是固定的触发器。大量实验表明，我们的方法在多种评估指标下可以获得出色的攻击成功率~（98.98%）、中毒率~（5%）、高隐蔽性，并且可以抵抗后门防御方法。
2022-06-10 cs.CR cs.CV
Attacking by Aligning: Clean-Label Backdoor Attacks on Object Detection
Hong Kong University of Science and Technology（香港科技大学）
本文针对目标检测提出一种无需修改标注的干净标签后门攻击方法，聚焦目标消失与目标生成攻击，在 MSCOCO2017 上以 5% 投毒率实现超过 92% 的攻击成功率。
2023-09-16 cs.AI cs.CV
BadDet: Backdoor Attacks on Object Detection
深度学习模型已被部署在许多现实世界的应用中，如自动驾驶和监控。然而，这些模型在对抗性环境中很脆弱。后门攻击作为一种严重的安全威胁正在出现，它将后门触发器注入到一小部分训练数据中，使得经过训练的模型在良性输入下表现正常，但在特定触发器出现时给出不正确的预测。虽然大多数后门攻击的研究集中在图像分类，后门攻击的目标检测还没有被探索，但同样重要。目标检测已被用作自动驾驶等各种安全敏感应用中的重要模块。因此，对目标检测的后门攻击可能对人类生命和财产造成严重威胁。针对目标检测任务提出了四种后门攻击：1）目标生成攻击：一个触发器可以错误地生成目标类的目标; 2）区域误分类攻击：一个触发器可以改变周围目标对目标类的预测; 3）全局误分类攻击：一个触发器可以改变图像中所有目标对目标类的预测; 4）对象消失攻击：触发器可以使检测器无法检测到目标类的对象。我们开发适当的指标来评估四个后门攻击的目标检测。我们使用两个典型的目标检测模型- Faster-RCNN和YOLOv 3在不同的数据集上进行实验。更重要的是，我们证明了即使在另一个良性数据集上进行微调也无法删除隐藏在目标检测模型中的后门。为了抵御这些后门攻击，我们提出了检测器清洗，一个基于熵的运行时检测框架，以确定中毒的测试样本的任何部署的对象检测器。
2022-05-28 cs.AI cs.CV
Mitigating Backdoor Attack by Injecting Proactive Defensive Backdoor
Shenzhen Key Laboratory of Crowd Intelligence Empowered Low-Carbon Energy Network（深圳市众智赋能低碳能源网络重点实验室）
针对数据投毒后门攻击，提出主动防御后门方法PDB，通过在训练阶段注入防御性后门并利用可逆映射在推理时反转预测，有效抑制恶意后门并保持模型效用，实现最先进防御性能。
2024-10-15 cs.CR cs.CV
Input-Aware Dynamic Backdoor Attack
VinAI Research（VinAI研究院）；Hanoi University of Science and Technology（河内理工大学）；VinUniversity
近年来，神经后门攻击被认为是深度学习系统的潜在安全威胁。这样的系统虽然在干净数据上实现了最先进的性能，但在具有预定义触发器的输入上执行异常。然而，当前的后门技术依赖于统一的触发模式，这些模式很容易被当前的防御方法检测和缓解。在这项工作中，我们提出了一种新的后门攻击技术，其中的触发器不同的输入。为了实现这一目标，我们实现了一个输入感知触发器驱动的多样性损失。一种新的交叉触发器测试应用于强制触发器不可重用性，使后门验证不可能。实验表明，我们的方法是有效的，在各种攻击场景以及多个数据集。我们进一步证明了我们的后门可以绕过最先进的防御方法。一个著名的神经网络检查器的分析再次证明了所提出的攻击的隐蔽性。我们的代码可在https://github.com/VinAIResearch/input-aware-backdoor-attack-release上公开获取。
2020-10-16 cs.CR cs.CV
Universal Backdoor Attacks Detection via Adaptive Adversarial Probe
SenseTime Research（商汤科技研究院）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Beihang University（北京航空航天大学）
大量证据表明，深度神经网络（DNN）容易受到后门攻击的攻击，这激发了后门攻击检测的发展。大多数检测方法的目的是验证模型是否感染了假定类型的后门攻击，但攻击者可能会在实践中产生防御者无法预见的各种后门攻击，这对当前的检测策略提出了挑战。在本文中，我们专注于这个更具挑战性的情况下，并提出了一个通用的后门攻击检测方法称为自适应对抗探针（A2 P）。具体来说，我们认为，通用后门攻击检测的挑战在于，不同的后门攻击往往在触发模式中表现出不同的特征（即，尺寸和尺寸）。因此，我们的A2 P采用了一个全局到局部的探测框架，该框架使用自适应区域/预算来对抗探测图像，以适应不同大小/大小的各种后门触发器。关于探测区域，我们提出了注意力引导区域生成策略，该策略基于目标模型的注意力生成具有不同大小/位置的区域建议，因为触发区域通常表现出更高的模型激活。考虑到攻击预算，我们引入了盒子到稀疏调度，迭代地增加从盒子到稀疏约束的扰动预算，这样我们就可以更好地激活不同的潜在后门与不同的重复性。在多个数据集（CIFAR-10，GTSRB，Tiny-ImageNet）上进行的大量实验表明，我们的方法比最先进的基线有很大的优势（+12%）。
2022-12-07 cs.CR cs.CV
Backdooring and Poisoning Neural Networks with Image-Scaling Attacks
Technische Universität Braunschweig（布伦瑞克工业大学）
后门和中毒攻击是机器学习和视觉系统安全的主要威胁。然而，这些攻击通常会在图像中留下可见的伪影，这些伪影可以在视觉上检测到并削弱攻击的效力。在本文中，我们提出了一种新的策略隐藏后门和中毒攻击。我们的方法建立在最近一类攻击图像缩放。这些攻击能够操纵图像，使它们在缩放到特定分辨率时更改其内容。通过结合中毒和图像缩放攻击，我们可以隐藏后门的触发以及隐藏干净标签中毒的覆盖。此外，我们考虑检测图像缩放攻击，并得出一个自适应攻击。在实证评估中，我们证明了我们的策略的有效性。首先，我们证明了后门和中毒在与图像缩放攻击相结合时同样有效。其次，我们证明了目前针对图像缩放攻击的检测防御不足以发现我们的操纵。总的来说，我们的工作提供了一种新的方法来隐藏操纵的痕迹，适用于不同的中毒方法。
2020-03-19 cs.CR cs.CV
Don't Trigger Me! A Triggerless Backdoor Attack Against Deep Neural Networks
CISPA Helmholtz Center for Information Security（CISPA 亥姆霍兹信息安全研究中心）
针对深度神经网络的后门攻击由于其严重的安全后果目前正被深入研究。当前最先进的后门攻击要求对手修改输入，通常是通过向其添加触发器，以便目标模型激活后门。这种增加的触发器不仅增加了在物理世界中发动后门攻击的难度，而且可以很容易地被多种防御机制检测到。在本文中，我们提出了第一个针对深度神经网络的无攻击者后门攻击，其中对手不需要修改触发后门的输入。我们的攻击是基于dropout技术。具体地说，我们将一组在模型训练期间退出的目标神经元与目标标签相关联。在预测阶段，当目标神经元再次被丢弃时，模型将输出目标标签，即，则发起后门攻击。我们的攻击的这种无边界特征使其在物理世界中变得实用。大量的实验表明，我们的无攻击者的后门攻击达到了完美的攻击成功率，可以忽略不计的损害模型的实用性。
2020-10-07 cs.CR cs.CV cs.LG
An Effective and Resilient Backdoor Attack Framework against Deep Neural Networks and Vision Transformers
Nanyang Technological University（南洋理工大学）；Hong Kong University of Science and Technology（香港科技大学）；Wuhan Textile University（武汉纺织大学）；Zhejiang University（浙江大学）；Wuhan University（武汉大学）
本研究提出基于注意力的掩码生成、交替重训练及协同优化的后门攻击框架，可提升低投毒比下的攻击成功率与样本自然度，且对主流防御具备鲁棒性，适用于DNN与视觉Transformer。
2024-12-09 cs.CR cs.CV
Poison Ink: Robust and Invisible Backdoor Attack
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）；Beijing Electronic Science and Technology Institute（北京电子科技学院）；Wormpex AI Research LLC（Wormpex人工智能研究有限责任公司）
最近的研究表明，深度神经网络容易受到不同类型的攻击，例如对抗攻击，数据投毒攻击和后门攻击。其中，后门攻击是最狡猾的一种，几乎在深度学习管道的每个阶段都可能发生。因此，后门攻击引起了学术界和工业界的广泛关注。然而，大多数现有的后门攻击方法要么是可见的，要么是脆弱的一些轻松的预处理，如常见的数据转换。为了解决这些限制，我们提出了一个强大的和无形的后门攻击称为“毒墨”。具体地说，我们首先利用图像结构作为目标中毒区域，并填充它们与有毒墨水（信息），以生成触发模式。由于图像结构在数据转换过程中可以保持其语义含义，因此这种触发模式对数据转换具有固有的鲁棒性。然后，我们利用深度注入网络嵌入这样的触发模式到封面图像，以实现隐形。与现有流行的后门攻击方法相比，Poison Ink在隐蔽性和鲁棒性方面都有很好的表现。通过大量的实验，我们证明了Poison Ink不仅适用于不同的数据集和网络架构，而且适用于不同的攻击场景。此外，它对许多最先进的防御技术也有很强的抵抗力。
2022-08-13 cs.CR cs.CV
Towards Practical Deployment-Stage Backdoor Attack on Deep Neural Networks
Princeton University（普林斯顿大学）；Zhejiang University（浙江大学）；Tencent（腾讯）
AI安全社区的一个主要目标是安全可靠地为现实世界的应用程序生成和部署深度学习模型。为此，近年来广泛探索了在生产阶段（或训练阶段）对深度神经网络（DNN）的基于数据投毒的后门攻击以及相应的防御。具有讽刺意味的是，部署阶段的后门攻击通常发生在非专业用户的设备上，因此可以说在现实世界的场景中更具威胁性，但社区的关注要少得多。我们将这种不平衡的警惕性归因于现有部署阶段后门攻击算法的实用性较弱以及现实世界攻击演示的不足。为了填补这一空白，在这项工作中，我们研究了DNN部署阶段后门攻击的现实威胁。我们的研究基于一种常用的部署阶段攻击范式-对抗性权重攻击，其中对手选择性地修改模型权重以将后门嵌入部署的DNN中。为了接近现实的实用性，我们提出了第一个灰盒和物理可实现的权重后门注入攻击算法，即子网替换攻击（SRA），它只需要受害者模型的架构信息，可以支持物理触发器在现实世界中。广泛的实验模拟和系统级的真实世界的攻击演示进行。我们的研究结果不仅表明了所提出的攻击算法的有效性和实用性，而且还揭示了一种新型计算机病毒的实际风险，这种病毒可能会广泛传播并悄悄地将后门注入用户设备中的DNN模型。通过我们的研究，我们呼吁更多的关注DNN在部署阶段的脆弱性。
2022-05-26 cs.CR cs.CV
Efficient Backdoor Attacks for Deep Neural Networks in Real-world Scenarios
University of Science and Technology of China（中国科学技术大学）；Huazhong University of Science and Technology（华中科技大学）
针对现实场景中数据受限的后门攻击，提出基于CLIP的干净特征抑制与投毒特征增强方法，显著提升攻击效率，部分设置改进超100%。
2024-04-19 cs.CR cs.CV
Backdoor Attacks on Crowd Counting
Huazhong University of Science and Technology（华中科技大学）；Fudan University（复旦大学）；Xidian University（西安电子科技大学）；Guangzhou Institute of Technology（广州研究院）；Dalian University of Technology（大连理工大学）；Protagolabs（Protagolabs公司）；Microsoft Research（微软研究院）；Lehigh University（里海大学）
人群计数是一种回归任务，用于估计场景图像中的人数，在视频监控、交通监控和流量控制等一系列安全关键应用中发挥着至关重要的作用。在本文中，我们研究了基于深度学习的人群计数模型对后门攻击的脆弱性，后门攻击是深度学习的一个主要安全威胁。后门攻击通过数据投毒将后门触发器植入目标模型，以便在测试时控制模型的预测。与大多数现有后门攻击开发和测试的图像分类模型不同，人群计数模型是输出多维密度图的回归模型，因此需要不同的技术来操纵。在本文中，我们提出了两个新的密度操纵后门攻击（DMBA $^{-}$和DMBA $^{+}$）攻击模型产生任意大或小的密度估计。实验结果证明了我们的DMBA攻击对五种经典人群计数模型和四种类型数据集的有效性。我们还深入分析了后门人群计数模型的独特挑战，并揭示了有效攻击的两个关键要素：1）完整和密集的触发器，2）操纵地面真值计数或密度图。我们的工作可以帮助评估人群计数模型对潜在后门攻击的脆弱性。
2022-07-12 cs.AI cs.CV
Backdoor Federated Learning by Poisoning Backdoor-Critical Layers
Stony Brook University（石溪大学）；University of Delaware（特拉华大学）；South China University of Technology（华南理工大学）；Louisiana State University（路易斯安那州立大学）
该研究针对联邦学习的后门攻击风险，发现了主导模型脆弱性的后门关键（BC）层，提出从攻击者视角识别BC层并设计自适应平衡攻击效果与隐蔽性的后门攻击方法，实验证明仅10%恶意客户端即可突破7种当前最优防御，性能优于现有最新方法。
2024-04-15 cs.CR cs.CV cs.LG
Backdoor Attacks and Countermeasures on Deep Learning: A Comprehensive Review
Nanjing University of Science and Technology（南京理工大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织 Data61）；The University of Adelaide（阿德莱德大学）；The University of Queensland（昆士兰大学）；Hunan University（湖南大学）；Sungkyunkwan University（成均馆大学）
这项工作为社区提供了对深度学习的后门攻击和对策的及时全面的审查。根据攻击者的能力和机器学习流水线的受影响阶段，攻击面被识别为广泛的，然后形式化为六类：代码中毒，外包，预训练，数据汇集，协作学习和部署后。相应地，梳理了每个分类下的攻击。对策分为四大类：盲目借壳、线下借壳检查、线上借壳检查和事后借壳检查。在此基础上，对我国的应对策略进行了回顾，并对各种策略的优缺点进行了比较分析.我们还回顾了后门攻击的另一面，即i）保护深度学习模型的知识产权，ii）作为蜜罐捕获对抗性示例攻击，iii）验证数据贡献者请求的数据删除。总体而言，防御研究远远落后于攻击，没有一种防御可以阻止所有类型的后门攻击。在某些情况下，攻击者可以通过自适应攻击智能地绕过现有的防御。从系统性综述中得出的见解，我们还提出了未来研究后门的关键领域，如物理触发攻击的经验安全评估，特别是，更有效和实用的对策征求。
2020-08-02 cs.CR cs.CV cs.LG
Rethinking the Trigger of Backdoor Attack
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Tencent AI Lab（腾讯人工智能实验室）
后门攻击是在深度神经网络（DNN）中注入隐藏的后门，一旦被攻击者定义的触发器激活，被感染模型的预测就会被恶意改变，而在良性样本上表现良好。目前，现有的后门攻击大多采用\emph{static}触发器的设置，训练图像和测试图像中的$i.e.,$触发器遵循相同的外观，位于相同的区域。在本文中，我们重新审视这种攻击模式，通过分析静态触发器的特点。我们证明了这样的攻击范例是脆弱的，当测试图像中的触发器与用于训练的触发器不一致时。我们进一步探讨如何利用此属性的后门防御，并讨论如何减轻现有的攻击这样的脆弱性。
2021-01-31 cs.CR cs.CV cs.LG
Contributor-Aware Defenses Against Adversarial Backdoor Attacks
众所周知，用于图像分类的深度神经网络容易受到对抗攻击的攻击。最近引起关注的一种攻击是对抗性后门攻击，它已经证明了对特定示例执行有针对性的错误分类的能力。特别是，后门攻击试图迫使模型学习后门触发模式和虚假标签之间的虚假关系。为了应对这种威胁，已经提出了许多防御措施;然而，对后门攻击的防御集中在后门模式检测上，这可能对新颖或意外类型的后门模式设计不可靠。我们引入了一种新的重新语境化的对抗性设置，其中对手的存在隐含地承认存在多个数据库贡献者。然后，在贡献者意识的温和假设下，可以利用这些知识通过破坏虚假标签关联来防御后门攻击。我们提出了一个贡献者感知的通用防御框架，用于在存在多个潜在对抗性数据源的情况下进行学习，该框架利用半监督集合和从人群中学习来过滤对抗性触发器产生的错误标签。重要的是，这种防御策略对后门模式设计是不可知的，因为它的功能不需要-甚至不尝试-在训练或推理期间执行对手识别或后门模式检测。我们的实证研究表明，所提出的框架对敌对的后门攻击从多个同时的对手的鲁棒性。
2022-05-28 cs.AI cs.CR cs.CV
A temporal chrominance trigger for clean-label backdoor attack against anti-spoof rebroadcast detection
University of Siena（锡耶纳大学）
我们提出了一种针对基于深度学习（DL）的模型的隐形清洁标签视频后门攻击，旨在检测特定类别的欺骗攻击，即视频重播攻击。注入的后门在正常情况下不会影响欺骗检测，但在存在特定触发信号的情况下会引起错误分类。所提出的后门依赖于改变视频序列的平均色度的时间触发器。后门信号的设计考虑了人类视觉系统（HVS）的特性，以降低触发器的可见性，从而增加后门的隐蔽性。为了迫使网络在具有挑战性的清洁标签场景中查看触发器的存在，我们选择了用于注入后门的中毒样本，遵循所谓的离群值中毒策略（OPS）。根据OPS，触发信号被插入到网络发现更难以分类的训练样本中。在不同的数据集和反欺骗重播检测架构上，实验验证了所提出的后门攻击的有效性和通用性.
2022-06-02 cs.AI cs.CR cs.CV
A Robust Attack: Displacement Backdoor Attack
School of Computer Science and Engineering, Changchun University of Technology（长春工业大学计算机科学与工程学院）；AI Research Institute, Changchun University of Technology（长春工业大学人工智能研究院）；School of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）
针对后门攻击在真实部署中易受抖动、亮度变化等影响的问题，提出位移后门攻击DBA，通过位移并融合目标样本构造后门样本，提升对旋转、裁剪等数据增强的鲁棒性。
2025-02-14 cs.AI cs.CR cs.CV
Backdoor Attacks Against Deep Learning Systems in the Physical World
University of Chicago（芝加哥大学）
后门攻击将隐藏的恶意行为嵌入到深度学习模型中，仅激活并导致包含特定触发器的模型输入的错误分类。然而，现有的关于后门攻击和防御的工作主要集中在使用数字生成的模式作为触发器的数字攻击上。一个关键的问题仍然没有答案：后门攻击能否成功使用物理对象作为触发器，从而使它们成为现实世界中对深度学习系统的可信威胁？我们进行了详细的实证研究，以探索这个问题的面部识别，一个关键的深度学习任务。使用七个物理对象作为触发器，我们收集了一个自定义数据集的3205图像的10名志愿者，并使用它来研究物理后门攻击的可行性在各种现实世界的条件下。我们的研究揭示了两个关键发现。首先，物理后门攻击可以非常成功，如果它们被仔细配置以克服物理对象施加的约束。特别是，成功触发器的放置在很大程度上受到目标模型对关键面部特征的依赖性的限制。第二，当今针对（数字）后门的四种最先进的防御措施对物理后门无效，因为物理对象的使用打破了用于构建这些防御的核心假设。我们的研究证实，（物理）后门攻击不是一个假设的现象，而是对关键的分类任务构成了严重的现实威胁。我们需要新的、更强大的防御手段来抵御物理世界中的后门。
2021-09-07 cs.CR cs.CV cs.LG
BATT: Backdoor Attack with Transformation-based Triggers
Research Center for Computer Network (Shenzhen) Ministry of Education（教育部计算机网络（深圳）研究中心）
深度神经网络（DNN）容易受到后门攻击的攻击。后门攻击者打算通过注入隐藏的后门来恶意控制被攻击DNN的预测，这些后门可以在训练过程中由攻击者指定的触发模式激活。最近的一项研究表明，大多数现有的攻击在真实的物理世界中失败了，因为数字化测试样本中包含的触发器可能与用于训练的触发器不同。因此，用户可以采用空间变换作为图像预处理来去激活隐藏的后门。在本文中，我们从另一个侧面探索了以前的研究结果。我们利用经典的空间变换（即旋转和平移）与特定的参数作为触发模式，设计了一个简单而有效的基于中毒的后门攻击。例如，只有旋转到特定角度的图像才能激活受攻击DNN的嵌入式后门。进行了大量的实验，验证了我们的攻击在数字和物理环境下的有效性，以及它对现有后门防御的抵抗力。
2023-03-06 cs.AI cs.CR cs.CV
Data Free Backdoor Attacks
The Pennsylvania State University（宾夕法尼亚州立大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Santa Barbara（加州大学圣巴巴拉分校）；University of Georgia（佐治亚大学）；University of California Berkeley（加州大学伯克利分校）
针对现有后门攻击依赖干净数据、需改架构等问题，提出无需重训练、无数据且不改架构的DFBA后门攻击，经理论和多数据集实验验证，其攻击成功率100%、分类损失极小，能绕过六种前沿防御，比现有非无数据攻击更隐蔽有效。
2024-12-09 cs.AI cs.CR cs.CV
Time-Distributed Backdoor Attacks on Federated Spiking Learning
Radboud University（拉德堡德大学）；Ikerlan Research Centre（伊克尔兰研究中心）；Delft University of Technology（代尔夫特理工大学）
本研究针对联邦脉冲学习提出时间分布式后门攻击，通过跨时间和恶意设备分布触发器，实现高攻击成功率与隐蔽性，并揭示现有防御的不足。
2024-02-05 cs.CR cs.CV cs.NE
Check Your Other Door! Creating Backdoor Attacks in the Frequency Domain
深度神经网络（DNN）无处不在，并且跨越从图像分类到实时目标检测的各种应用。随着DNN模型变得越来越复杂，训练这些模型的计算成本成为负担。出于这个原因，外包培训过程一直是许多DNN用户的首选。不幸的是，这是以易受后门攻击为代价的。这些攻击的目的是在DNN中建立隐藏的后门，以便它在干净的样本上表现良好，但当触发器应用于输入时，输出特定的目标标签。现有的后门攻击要么在空间域中生成触发器，要么在傅立叶域中天真地毒害频率。在这项工作中，我们提出了一种基于傅立叶热图的管道，以在频域中生成空间动态和不可见的后门攻击。在各种数据集和网络架构上对所提出的攻击进行了广泛的评估。与大多数现有的后门攻击不同，所提出的攻击可以实现高攻击成功率，低中毒率和几乎没有性能下降，同时保持人眼无法察觉。此外，我们表明，我们的攻击中毒的模型是抵抗各种国家的最先进的（SOTA）防御，所以我们贡献了两种可能的防御，可以逃避攻击。
2023-01-09 cs.CR cs.CV cs.LG
Fine-Tuning Is All You Need to Mitigate Backdoor Attacks
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；University of Birmingham（伯明翰大学）；University of Lausanne（洛桑大学）
后门攻击是机器学习模型的主要威胁之一。已经做出了各种努力来减少后门。然而，现有的防御已经变得越来越复杂，并且通常需要高计算资源，或者还可能危及模型的实用性。在这项工作中，我们表明，微调，最常见和最容易采用的机器学习训练操作之一，可以有效地删除后门从机器学习模型，同时保持高的模型效用。在三个机器学习范例上的大量实验表明，微调和我们新提出的超微调实现了强大的防御性能。此外，我们创造了一个新的术语，即后门后遗症，来衡量模型漏洞的变化，以其他攻击之前和之后的后门已被删除。实证评估表明，与其他防御方法相比，超微调留下的后门后遗症有限。我们希望我们的研究结果可以帮助机器学习模型所有者更好地保护他们的模型免受后门威胁。此外，它呼吁设计更高级的攻击，以全面评估机器学习模型的后门漏洞。
2022-12-18 cs.CR cs.CV cs.LG
Detecting Backdoor Attacks Against Point Cloud Classifiers
Pennsylvania State University（宾夕法尼亚州立大学）；Shanghai Jiao Tong University（上海交通大学）
后门攻击（BA）是对深度神经网络分类器的新兴威胁。被攻击的分类器将预测攻击者的目标类时，测试样本从源类嵌入后门模式（BP）。最近，第一个针对点云（PC）分类器的BA被提出，对包括自动驾驶在内的许多重要应用造成了新的威胁。这种PC BA由于其特殊的BP嵌入机制而无法被现有的BA防御检测到。在本文中，我们提出了一个反向工程防御，推断PC分类器是否受到后门攻击，而无需访问其训练集或任何干净的分类器作为参考。我们的防御的有效性证明在基准ModeNet40数据集的PC。
2021-10-20 cs.CR cs.CV cs.LG
Invisible Backdoor Attacks on Deep Neural Networks via Steganography and Regularization
Shanghai Jiao Tong University（上海交通大学）；The University of Adelaide（阿德莱德大学）；The University of New South Wales（新南威尔士大学）；Data61 CSIRO（澳大利亚联邦科学与工业研究组织 Data61）；Shanghai Institute for Advanced Communication and Data Science（上海先进通信与数据科学研究院）；Shanghai University（上海大学）
深度神经网络（DNN）已被证明容易受到后门攻击的攻击，其中隐藏的特征（模式）被训练成一个正常的模型，它只被一些特定的输入（称为触发器）激活，欺骗模型产生意想不到的行为。在本文中，我们为后门攻击创建了隐蔽和分散的触发器，这些触发器可以欺骗DNN模型和人类检查。我们通过两种最先进的嵌入触发器的方法来应用我们的隐形后门进行后门攻击。Badnets的第一种方法通过隐写术将触发器嵌入DNN。木马攻击的第二种方法使用两种类型的附加正则化项来生成具有不规则形状和大小的触发器。我们使用攻击成功率和功能来衡量我们的攻击性能。我们介绍了两个新的定义，人类感知的不可见性;一个是概念化的感知对抗相似性得分（PASS），另一个是学习感知图像补丁相似性（LPIPS）。我们表明，通过测量对手的攻击成功率，普通用户的功能和管理员的不可见性得分，我们提出的隐形后门在各种DNN模型以及四个数据集MNIST，CIFAR-10，CIFAR-100和GTSRB中可以相当有效。最后，我们认为，建议的无形后门攻击可以有效地挫败国家的最先进的木马后门检测方法，如神经清洗和TABOR。
2020-08-31 cs.CR cs.CV cs.LG
BackdoorBox: A Python Toolbox for Backdoor Learning
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
深度神经网络（DNN）的训练通常涉及第三方资源（$e.g.$、样本、主干和预训练模型），这带来了后门攻击作为新的训练阶段威胁。一般来说，后门攻击者打算在DNN中植入隐藏的后门，以便被攻击的DNN在良性样本上正常运行，而如果隐藏的后门被攻击者指定的触发模式激活，则它们的预测将被恶意更改为预定义的目标标签。为了便于研发更安全的训练方案和防御，我们设计了一个开源的Python工具箱，在统一灵活的框架下实现了具有代表性的高级后门攻击和防御。我们的工具箱有四个重要且有前途的特征，包括一致性、简单性、灵活性和共同开发。它允许研究人员和开发人员在基准测试或本地数据集上轻松实现和比较不同的方法。这个Python工具箱，即\texttt{BackdoorBox}，可以在\url{https://github.com/THUYimingLi/BackdoorBox}上找到。
2023-02-01 cs.CR cs.CV cs.LG
Light Can Hack Your Face! Black-box Backdoor Attack on Face Recognition Systems
Nanyang Technological University（南洋理工大学）；City University of Hong Kong（香港城市大学）
深度神经网络（DNN）在许多计算机视觉应用中取得了巨大成功。然而，它们也容易受到后门攻击的影响。当进行后门攻击时，大多数现有方法假设目标DNN始终可用，并且攻击者始终可以将特定模式注入到训练数据中以进一步微调DNN模型。然而，在实践中，这种攻击可能是不可行的，因为DNN模型是加密的并且仅可用于安全飞地。在本文中，我们提出了一种新的黑盒后门攻击技术的人脸识别系统，它可以进行没有知识的目标DNN模型。具体而言，我们提出了一种后门攻击与一种新的颜色条纹图案触发，它可以通过调制LED在一个专门的波形产生。我们还使用了一种进化计算策略来优化后门攻击的波形。我们的后门攻击可以在非常温和的条件下进行：1）对手不能以不自然的方式操纵输入（例如，注入对抗性噪声）; 2）对手不能访问训练数据库; 3）对手不知道训练模型以及受害方使用的训练集。我们表明，后门触发器可以是相当有效的，其中攻击成功率可以高达$88\%$基于我们的模拟研究和高达$40\%$基于我们的物理域的研究，通过考虑任务的人脸识别和验证的基础上最多三次尝试在认证过程中。最后，我们评估了几个国家的最先进的潜在防御后门攻击，并发现我们的攻击仍然可以有效。我们强调，我们的研究揭示了一种新的物理后门攻击，这需要注意的安全问题，现有的人脸识别/验证技术。
2020-09-15 cs.AI cs.CR cs.CV
Beating Backdoor Attack at Its Own Game
Carnegie Mellon University（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）；The Chinese University of Hong Kong（香港中文大学）
受后门攻击启发，提出注入非对抗性后门的防御框架，在数据预处理阶段抑制攻击者后门，无需修改标准训练流程，在多个基准上实现最先进防御效果且干净数据性能下降最低。
2025-04-05 cs.CR cs.CV cs.LG
Bad-PFL: Exploring Backdoor Attacks against Personalized Federated Learning
Deakin University（迪肯大学）
针对PFL中现有后门攻击失效的问题，提出Bad-PFL方法，利用自然数据特征作为触发器，通过相互强化训练确保后门在个性化模型中持久存在，并在多个基准数据集上验证了其优越的攻击性能。
2025-01-22 cs.CR cs.CV cs.LG
Long-Tailed Backdoor Attack Using Dynamic Data Augmentation Operations
Stony Brook University（石溪大学）
本文首次探索长尾分布数据集上的后门攻击，提出动态数据增强操作（D$^2$AO）方法和特定样本触发器生成器，通过同步优化后门模型与触发器，在保持干净准确率的同时实现了最先进的攻击性能。
2024-10-16 cs.AI cs.CR cs.CV
DABS: Data-Agnostic Backdoor attack at the Server in Federated Learning
The Hong Kong University of Science and Technology（香港科技大学）
本研究针对联邦学习易受后门攻击的问题，提出服务器端数据无关后门攻击模型DABS，直接修改全局模型实现攻击，实验显示其攻击成功率高于基线方法且不影响干净数据准确率。
2023-05-02 cs.CR cs.CV cs.LG
On the Difficulty of Defending Contrastive Learning against Backdoor Attacks
Stony Brook University（石溪大学）；Pennsylvania State University（宾夕法尼亚州立大学）；Zhejiang University（浙江大学）
本研究通过提出TRL统一框架，揭示对比式与监督式后门攻击的机制差异，指出现有监督攻击防御手段难以适配对比学习后门攻击，强调需定制专属防御方案。
2023-12-14 cs.AI cs.CR cs.CV
Towards Backdoor Attacks and Defense in Robust Machine Learning Models
Interdisciplinary Centre for Security, Reliability and Trust (SnT), University of Luxembourg（卢森堡大学跨学科安全、可靠性与信任中心（SnT））；Singapore University of Technology and Design（新加坡科技设计大学）
鲁棒优化的引入推动了防御对抗攻击的最新技术。值得注意的是，最先进的基于投影梯度下降（PGD）的训练方法已被证明在防御对抗性输入方面具有普遍和可靠的有效性。这种鲁棒性方法使用PGD作为可靠和通用的“一阶对手”。然而，这种优化的行为还没有根据一种称为后门的根本不同的攻击类型进行研究。在本文中，我们研究了如何注入和防御后门攻击的鲁棒模型训练使用基于PGD鲁棒优化。我们证明了这些模型容易受到后门攻击。随后，我们观察到后门反映在这些模型的特征表示中。然后，通过一种称为AEGIS的检测技术，利用这种观察来检测这种后门感染的模型。具体来说，给定一个使用基于PGD的一阶对抗训练方法训练的鲁棒深度神经网络（DNN），AEGIS使用特征聚类来有效地检测这些DNN是否被后门感染或干净。在我们使用CIFAR-10，MNIST和FMNIST数据集对主要分类任务的几个可见和隐藏后门触发器进行评估时，AEGIS有效地检测到了受后门感染的PGD训练的健壮DNN。AEGIS以91.6%的准确率（12个测试模型中的11个）检测此类后门感染模型，没有任何误报。此外，AEGIS在后门感染模型中检测目标类，假阳性率相当低（11.1%）。我们的调查显示，对抗性强的DNN的显著特征可能有希望打破后门攻击的隐蔽性。
2023-01-11 cs.CV cs.LG stat.ML
Backdoor Learning: A Survey
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Peng Cheng Laboratory（鹏城实验室）；Tencent Data Platform（腾讯数据平台）
后门攻击旨在将隐藏的后门嵌入到深度神经网络（DNN）中，使得被攻击的模型在良性样本上表现良好，而如果隐藏的后门被攻击者指定的触发器激活，则它们的预测将被恶意改变。当训练过程没有完全控制时，这种威胁可能会发生，例如在第三方数据集上进行训练或采用第三方模型，这会带来新的现实威胁。虽然后门学习是一个新兴且发展迅速的研究领域，但其系统性的综述仍然是一片空白。在本文中，我们提出了这一领域的第一次全面调查。本文对现有的后门攻击和防御方法进行了总结和分类，并给出了一个统一的框架来分析基于中毒的后门攻击。此外，还分析了后门攻击与相关领域（$i.e.,$、对抗攻击和数据投毒）的关系，并总结了广泛采用的基准数据集。最后，我们简要地概述了某些未来的研究方向依赖于回顾的作品。在\url{https://github.com/THUYimingLi/backdoor-learning-resources}上也可以找到与后门相关的资源的精选列表。
2022-02-16 cs.CR cs.CV cs.LG
Black-box Detection of Backdoor Attacks with Limited Information and Data
Tsinghua University（清华大学）；RealAI（瑞莱智慧）；Institute for AI（人工智能研究院）；BNRist Center（北京国家信息科学技术研究中心）；Tsinghua-Bosch Joint ML Center（清华-博世联合机器学习中心）；THBI Lab（清华-北京生物医学工程研究院实验室）；Dept. of Comp. Sci. and Tech.（计算机科学与技术系）
尽管近年来深度神经网络（DNN）取得了快速发展，但它们在对抗性环境中很脆弱。恶意后门可以通过中毒训练数据集来嵌入模型中，其目的是使受感染的模型在特定触发器出现时在推理过程中给出错误的预测。为了减轻后门攻击的潜在威胁，已经提出了各种后门检测和防御方法。然而，现有的技术通常需要中毒的训练数据或白盒模型的访问，这在实践中通常是不可能的。在本文中，我们提出了一个黑盒后门检测（B3D）的方法来识别后门攻击只有查询访问模型。我们引入了一个无梯度的优化算法来逆向工程的潜在触发器为每个类，这有助于揭示存在的后门攻击。除了后门检测，我们还提出了一个简单的策略，使用已识别的后门模型进行可靠的预测。在数百个DNN模型上进行的大量实验证实了我们的方法在黑盒设置下对各种后门攻击的有效性。
2021-03-24 cs.CR cs.CV cs.LG
Explainability Matters: Backdoor Attacks on Medical Imaging
NYU Abu Dhabi（纽约大学阿布扎比分校）；NYU Tandon School of Engineering（纽约大学坦登工程学院）
深度神经网络已经被证明容易受到后门攻击的攻击，这些攻击可以在模型训练之前很容易地引入到训练集中。最近的工作集中在调查自然图像或玩具数据集上的后门攻击。因此，在复杂的现实世界应用中，后门的确切影响尚未完全了解，例如在医疗成像中，误诊可能非常昂贵。在本文中，我们探讨了后门攻击对使用胸部X射线摄影的多标签疾病分类任务的影响，假设攻击者可以操纵训练数据集来执行攻击。对最先进架构的广泛评估表明，通过将具有少量像素扰动的图像引入训练集中，攻击者可以成功执行后门，而无需参与训练过程。一个简单的3 $\times$ 3像素触发器可以在受感染图像集上实现高达1.00的受试者工作特征（AUROC）曲线下面积。在一组干净的图像中，后门神经网络仍然可以实现高达0.85的AUROC，突出了攻击的隐蔽性。随着基于深度学习的诊断系统在临床实践中的广泛使用，我们还展示了可解释性在这种情况下是如何不可或缺的，因为它可以在推理时间内识别空间定位的后门。
2020-12-30 cs.CR cs.CV cs.LG
DECK: Model Hardening for Defending Pervasive Backdoors
Purdue University（普渡大学）
普遍存在的后门程序是由动态和普遍存在的输入扰动触发的。它们可以由攻击者故意注入，也可以自然存在于正常训练的模型中。它们具有与传统的静态和局部后门不同的性质，传统的静态和局部后门可以通过用某种固定模式扰动小的输入区域来触发，例如，纯色的补丁。现有的防御技术对传统后门非常有效。但是，它们可能无法很好地处理普遍存在的后门，特别是在后门删除和模型强化方面。在本文中，我们提出了一种新的模型加固技术，对普遍的后门，包括自然和注入后门。我们开发了一个通用的普适攻击的基础上增强了一个特殊的转换层的编码器-解码器架构。该攻击可以对广泛的现有普遍后门攻击进行建模，并通过类距离对其进行量化。因此，在对抗训练中使用从我们的攻击中获得的样本可以强化模型以对抗这些后门漏洞。我们对9个数据集的15个模型结构的评估表明，我们的技术可以在准确率下降不到1%的情况下平均扩大类距离59.65%，并且没有鲁棒性损失，优于对抗训练，通用对抗训练，MOTH等五种硬化技术。它可以将六种普遍后门攻击的攻击成功率从99.06%降低到1.94%，超过了七种最先进的后门移除技术
2022-06-18 cs.AI cs.CR cs.CV
Beyond Traditional Threats: A Persistent Backdoor Attack on Federated Learning
College of Computer Science and Technology, Harbin Engineering University（哈尔滨工程大学计算机科学与技术学院）；Southampton Ocean Engineering Joint Institute, Harbin Engineering University（哈尔滨工程大学南安普顿海洋工程联合学院）
针对联邦学习后门易被良性更新稀释的问题，提出全组合后门攻击方法FCBA，通过聚合更多组合触发器信息构建更完整的后门模式，显著提升了攻击持久性和成功率，优于SOTA方法。
2024-04-26 cs.AI cs.CR cs.CV
