Fine-Pruning: Defending Against Backdooring Attacks on Deep Neural Networks
New York University（纽约大学）
深度神经网络（DNN）在广泛的分类任务中提供出色的性能，但其训练需要大量的计算资源，并且通常外包给第三方。最近的研究表明，外包训练引入了一种风险，即恶意训练者将返回一个后门DNN，该DNN在大多数输入上表现正常，但在存在只有攻击者才知道的触发器时，会导致有针对性的错误分类或降低网络的准确性。在本文中，我们提供了第一个有效的防御后门攻击的DNN。我们实现了三个后门攻击从以前的工作，并使用它们来调查两个有前途的防御，修剪和微调。我们表明，两者本身都不足以抵御复杂的攻击者。然后，我们评估了精细修剪，修剪和微调的组合，并表明它成功地削弱甚至消除了后门，即，在某些情况下，将攻击成功率降低到0%，对于干净（非触发）输入，准确度仅下降0.4%。我们的工作为防御深度神经网络中的后门攻击迈出了第一步。
2018-05-30 cs.CR cs.LG
PCAP-Backdoor: Backdoor Poisoning Generator for Network Traffic in CPS/IoT Environments
University of Pittsburgh（匹兹堡大学）
本文提出PCAP-Backdoor技术，针对CPS/IoT网络流量数据集进行后门投毒攻击，仅投毒1%训练数据即可使模型误分类，且难以被现有防御技术检测。
2025-01-28 cs.CR cs.LG cs.NI
Trapping Attacker in Dilemma: Examining Internal Correlations and External Influences of Trigger for Defending GNN Backdoors
The Chinese University of Hong Kong（香港中文大学）；Sun Yat-Sen University（中山大学）
本文提出PRAETORIAN方法，通过分析触发器子图的内部关联和外部节点影响，有效降低GNN后门攻击成功率，同时保持高清洁准确率。
2026-05-14 cs.AI cs.CR cs.LG
Backdoor Mitigation by Correcting the Distribution of Neural Activations
The Pennsylvania State University（宾夕法尼亚州立大学）；Anomalee Inc.（Anomalee公司）
本文发现后门攻击会改变内部层激活分布，并提出利用逆向工程触发器校正该分布的训练后缓解方法，无需调整 DNN 参数即可提升防御与检测效果。
2023-08-18 cs.CR cs.LG
Few-shot Backdoor Attacks via Neural Tangent Kernels
University of Washington（华盛顿大学）
在后门攻击中，攻击者将损坏的示例注入训练集中。攻击者的目标是在测试输入中添加预定义的触发器时，使最终的训练模型预测攻击者所需的目标标签。这些攻击的核心是攻击的成功率和注入的损坏的训练样本的数量之间的权衡。我们提出这种攻击作为一种新的双层优化问题：构建强毒药的例子，最大限度地提高训练模型的攻击成功率。我们使用神经切线核来近似被攻击模型的训练动态，并自动学习强毒药示例。我们在CIFAR-10和ImageNet的子类上进行了实验，使用WideResNet-34和ConvNeXt架构进行周期性和补丁触发攻击，结果表明NTBA设计的中毒示例实现了90%的攻击成功率，注入的中毒示例数量比基线少十倍。我们提供了一个解释NTBA设计的攻击使用核线性回归分析。我们进一步证明了过度参数化的深度神经网络的脆弱性，这是由神经切线核的形状揭示的。
2022-10-12 cs.CR cs.LG
BackdoorBox: A Python Toolbox for Backdoor Learning
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
深度神经网络（DNN）的训练通常涉及第三方资源（$e.g.$、样本、主干和预训练模型），这带来了后门攻击作为新的训练阶段威胁。一般来说，后门攻击者打算在DNN中植入隐藏的后门，以便被攻击的DNN在良性样本上正常运行，而如果隐藏的后门被攻击者指定的触发模式激活，则它们的预测将被恶意更改为预定义的目标标签。为了便于研发更安全的训练方案和防御，我们设计了一个开源的Python工具箱，在统一灵活的框架下实现了具有代表性的高级后门攻击和防御。我们的工具箱有四个重要且有前途的特征，包括一致性、简单性、灵活性和共同开发。它允许研究人员和开发人员在基准测试或本地数据集上轻松实现和比较不同的方法。这个Python工具箱，即\texttt{BackdoorBox}，可以在\url{https://github.com/THUYimingLi/BackdoorBox}上找到。
2023-02-01 cs.CR cs.CV cs.LG
Practical and General Backdoor Attacks against Vertical Federated Learning
University of Chinese Academy of Sciences（中国科学院大学）
针对纵向联邦学习中攻击者无法访问标签的挑战，提出BadVFL方法，通过SDD模块追踪数据类别和SDP模块增强决策依赖，实现仅1%投毒率下超过93%的后门攻击成功率。
2023-06-19 cs.CR cs.LG
Improved Activation Clipping for Universal Backdoor Mitigation and Test-Time Detection
Anomalee Inc.（Anomalee公司）；Pennsylvania State University（宾夕法尼亚州立大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出一种改进的激活裁剪方法，通过显式限制分类间隔来缓解后门攻击，在CIFAR-10及多种攻击场景下表现优越，并扩展用于测试时检测与纠正。
2023-08-08 cs.CR cs.LG
DBA-DFL: Towards Distributed Backdoor Attacks with Network Detection in Decentralized Federated Learning
Carnegie Mellon University（卡内基梅隆大学）；University of Tulsa（塔尔萨大学）；Clemson University（克莱姆斯大学）
本文针对去中心化联邦学习提出DBA-DFL方法，通过网络距离检测、攻击者分簇和动态局部模式嵌入，实现不依赖攻击者位置分布的高成功率分布式后门攻击。
2025-07-04 cs.LG
An anomaly detection approach for backdoored neural networks: face recognition as a case study
Idiap Research Institute（伊迪亚普研究所）；École Polytéchnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院（EPFL））
后门攻击允许攻击者嵌入危害任何算法的正确行为的功能，无论是否是机器学习。这种隐藏的功能可以保持不活动，以正常使用算法，直到被攻击者激活。考虑到后门攻击的隐蔽性，如果这些网络被部署用于边界或访问控制等关键应用，这些后门的后果可能是灾难性的。在本文中，我们提出了一种新的后门网络检测方法的异常检测的原则的基础上，涉及到访问的清洁部分的训练数据和训练后的网络。在考虑各种触发器、位置和身份对时，我们强调了它的潜力，而不需要对后门的性质及其设置做出任何假设。我们在一个新的后门网络数据集上测试了我们的方法，并以完美的分数报告了可检测性结果。
2022-08-22 cs.CR cs.CV cs.LG
BlockFLA: Accountable Federated Learning via Hybrid Blockchain Architecture
The University of Texas at Dallas（得克萨斯大学达拉斯分校）
联邦学习（FL）是一种分布式、去中心化的机器学习协议。通过执行FL，一组代理可以联合训练模型，而无需彼此或第三方共享其数据集。这使得FL特别适合需要数据隐私的设置。与此同时，隐藏训练数据给攻击者提供了一个机会，可以将后门注入到经过训练的模型中。已经证明，攻击者可以在FL期间向训练好的模型注入后门，然后可以利用后门使模型在以后错误分类。一些作品试图通过设计强大的聚合函数来减轻这种威胁。然而，随着时间的推移，越来越多的复杂攻击会绕过现有的防御措施，因此我们在这项工作中从互补的角度来解决这个问题。特别是，我们的目标是通过检测和惩罚攻击者来阻止后门攻击，可能在训练阶段结束后。为此，我们开发了一个基于区块链的混合FL框架，该框架使用智能合约来自动检测并通过金钱惩罚来惩罚攻击者。我们的框架是通用的，在这个意义上，任何聚合功能，和任何攻击者检测算法可以插入到它。我们进行实验，以证明我们的框架保留了FL的通信效率的性质，并提供实证结果来说明，它可以成功地利用我们的新的攻击者检测算法惩罚攻击者。
2020-10-14 cs.CR cs.DC cs.LG
A Semantic and Clean-label Backdoor Attack against Graph Convolutional Networks
School of Computer Engineering and Science, Shanghai University（上海大学计算机工程与科学学院）
该研究针对图卷积网络的安全漏洞，提出语义干净标签后门攻击方法SCLBA，通过选取节点作为语义触发器生成投毒样本，在低投毒率下实现高攻击成功率且几乎不影响良性样本性能。
2025-03-19 cs.AI cs.CR cs.LG
Explanation-Guided Backdoor Poisoning Attacks Against Malware Classifiers
Northeastern University（东北大学）；FireEye Inc.（火眼公司）；Xailient Inc.（Xailient公司）
用于基于机器学习（ML）的恶意软件分类的训练管道通常依赖于众包威胁源，从而暴露出自然的攻击注入点。在本文中，我们研究了基于特征的ML恶意软件分类器对后门中毒攻击的敏感性，特别关注具有挑战性的“干净标签”攻击，其中攻击者不控制样本标签过程。我们建议使用可解释的机器学习技术来指导相关特征和值的选择，从而以与模型无关的方式创建有效的后门触发器。使用多个参考数据集进行恶意软件分类，包括Windows PE文件，PDF和Android应用程序，我们展示了对各种机器学习模型的有效攻击，并评估了对攻击者施加的各种约束的影响。为了证明我们的后门攻击在实践中的可行性，我们为Windows PE文件创建了一个水印实用程序，保留了二进制文件的功能，我们利用类似的行为保留更改方法为Android和PDF文件。最后，我们实验了潜在的防御策略，并展示了完全防御这些攻击的困难，特别是当攻击与合法的样本分布相融合时。
2021-01-11 cs.CR cs.LG
Targeted Backdoor Attacks on Deep Learning Systems Using Data Poisoning
UC Berkeley（加州大学伯克利分校）
深度学习模型已经在许多任务上实现了高性能，因此已经应用于许多安全关键场景。例如，基于深度学习的人脸识别系统已被用于认证用户以访问许多安全敏感的应用程序，如支付应用程序。深度学习系统的这种使用为对手提供了足够的动机来针对这些系统执行攻击以用于其对抗目的。在这项工作中，我们考虑了一种新型的攻击，称为后门攻击，攻击者的目标是创建一个后门到一个基于学习的认证系统，使他可以很容易地绕过系统利用后门。具体地说，攻击者的目的是创建后门实例，从而误导受害者学习系统将后门实例分类为攻击者指定的目标标签。特别地，我们研究了后门中毒攻击，利用中毒策略实现后门攻击。与现有的所有工作不同的是，我们研究的中毒策略可以应用在一个非常弱的威胁模型下：（1）对手不知道受害者系统使用的模型和训练集;（2）攻击者只允许注入少量的中毒样本;（3）后门密钥即使是人类也很难注意到，以实现隐身。我们进行了评估，以证明后门攻击者只能注入大约50个中毒样本，同时达到90%以上的攻击成功率。我们也是第一个表明数据投毒攻击可以在不影响训练过程的情况下创建物理上可实现的后门的工作。我们的工作表明，后门中毒攻击对学习系统构成了真正的威胁，因此强调了进一步调查和提出防御策略的重要性。
2017-12-15 cs.CR cs.LG
Instructions as Backdoors: Backdoor Vulnerabilities of Instruction Tuning for Large Language Models
Harvard（哈佛大学）；UCLA（加利福尼亚大学洛杉矶分校）；USC（南加利福尼亚大学）；University of Wisconsin, Madison（威斯康星大学麦迪逊分校）；UC, Davis（加利福尼亚大学戴维斯分校）
本文揭示LLM指令微调的后门风险，证明仅约1000个恶意指令即可实现逾90%攻击成功率，并评估投毒迁移、指令迁移与持续微调抵抗性。
2024-04-03 cs.AI cs.CL cs.CR
Backdoor in the Loop: Compromising Agentic Search via Malicious Retrievers
Shenzhen MSU-BIT University（深圳北理莫斯科大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本研究揭示智能体RAG中检索器后门可利用反馈循环操纵证据与搜索，并通过注入-移除循环伪装净化，暴露弱防御被反用的系统性漏洞。
2026-09-30 cs.AI cs.CR cs.IR
Look, Listen, and Attack: Backdoor Attacks Against Video Action Recognition
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；Saudi Data and Artificial Intelligence Authority (SDAIA)（沙特数据与人工智能管理局）
深度神经网络（DNN）容易受到一类称为“后门攻击“的攻击，这种攻击在后门触发器和攻击者有兴趣利用的目标标签之间创建关联。后门DNN在干净的测试图像上表现良好，但在存在后门触发器的情况下，持续预测攻击者定义的任何样本标签。尽管后门攻击在图像域中已经被广泛研究，但是在视频域中探索这样的攻击的工作很少，并且他们倾向于得出图像后门攻击在视频域中不太有效的结论。在这项工作中，我们重新审视了传统的后门威胁模型，并将其他与视频相关的方面纳入该模型。我们发现，有毒标签图像后门攻击可以扩展时间在两种方式，静态和动态，导致在视频域中的高效攻击。此外，我们还探索了自然视频后门，以突出此漏洞在视频领域的严重性。而且，我们第一次研究了针对视频动作识别模型的多模态（视听）后门攻击，在那里我们证明了攻击单一模态足以实现高攻击成功率。
2023-01-19 cs.CR cs.CV cs.LG
MM-BD: Post-Training Detection of Backdoor Attacks with Arbitrary Backdoor Pattern Types Using a Maximum Margin Statistic
Anomalee Inc.（Anomalee公司）；Pennsylvania State University（宾夕法尼亚州立大学）
本文提出 MM-BD，一种无需训练集和干净样本、不假设后门嵌入类型的训练后检测方法，利用 softmax 前输出的最大间隔统计量进行无监督异常检测，并提出了在 IEEE 木马移除竞赛中获亚军的通用缓解方法。
2023-08-06 cs.CR cs.LG
Backdoor Attacks to Graph Neural Networks
Duke University（杜克大学）
在这项工作中，我们提出了第一个后门攻击图神经网络（GNN）。具体来说，我们提出了一个\emph{subgraph based backdoor attack}的GNN图分类。在我们的后门攻击中，一旦预定义的子图被注入测试图，GNN分类器就预测攻击者为测试图选择的目标标签。我们在三个真实世界的图数据集上的实证结果表明，我们的后门攻击是有效的，对GNN的预测准确性的影响很小。此外，我们推广了一种基于随机平滑的认证防御来抵御我们的后门攻击。我们的实证结果表明，防御在某些情况下是有效的，但在其他情况下无效，突出了我们的后门攻击的新防御的需要。
2021-12-17 cs.CR cs.LG
A semantic backdoor attack against Graph Convolutional Networks
Shanghai University（上海大学）
本文针对图卷积网络的安全漏洞问题，提出图分类场景下基于特定节点触发器、通过训练数据投毒实现的语义后门攻击方法SBAG，实验验证其在4个图数据集上均有效。
2023-08-26 cs.LG
Backdoor Attack against NLP models with Robustness-Aware Perturbation defense
University of saarland（萨尔大学）
后门攻击旨在将隐藏的后门嵌入到深度神经网络（DNN）中，使得被攻击的模型在良性样本上表现良好，而如果隐藏的后门被攻击者定义的触发器激活，则其预测将被恶意改变。这种威胁可能发生在培训过程没有完全控制的情况下，例如在第三方数据集上进行培训或采用第三方模型。针对这类后门攻击，已经有很多研究和不同的防御方法，其中之一是基于鲁棒性感知扰动的防御方法。该方法主要利用了中毒样本和干净样本之间的鲁棒性差距。在我们的工作中，我们通过使用对抗训练步骤控制中毒样本和干净样本之间的鲁棒性差距来打破这种防御。
2022-04-08 cs.CR cs.LG
Hiding Behind Backdoors: Self-Obfuscation Against Generative Models
University of Oxford（牛津大学）
在最近的研究中，从扰动到架构组件，已经证明了危害物理世界中的机器学习管道的攻击向量。在这项工作的基础上，我们说明了自混淆攻击：攻击者针对系统中的预处理模型，并毒化生成模型的训练集，以在推理过程中混淆特定的类。我们的贡献是描述，实现和评估一个广义的攻击，在机器学习社区内的架构鲁棒性的挑战，希望提高认识。
2022-01-24 cs.CR cs.LG
Excess Capacity and Backdoor Poisoning
Toyota Technological Institute Chicago（芝加哥丰田技术研究所）
后门数据投毒攻击是一种对抗攻击，其中攻击者将几个带水印的、错误标记的训练样本注入训练集中。水印不会影响模型在典型数据上的测试时性能;然而，模型在水印示例上可靠地出错。为了更好地了解后门数据投毒攻击的基础，我们提出了一个正式的理论框架内，可以讨论后门数据投毒攻击的分类问题。然后，我们使用它来分析围绕这些攻击的重要统计和计算问题。在统计方面，我们确定了一个参数，我们称之为记忆能力，它捕捉了学习问题对后门攻击的内在脆弱性。这使我们能够讨论几个自然学习问题对后门攻击的鲁棒性。我们的研究结果有利于攻击者提出明确的构造后门攻击，我们的鲁棒性结果表明，一些自然的问题设置不能产生成功的后门攻击。从计算的角度来看，我们证明了在某些假设下，对抗训练可以检测到训练集中后门的存在。然后，我们表明，在类似的假设下，两个密切相关的问题，我们称之为后门过滤和强大的推广几乎是等价的。这意味着，设计能够识别训练集中的水印示例的算法，以获得既能很好地推广到看不见的数据又对后门具有鲁棒性的学习算法，这是渐进必要的，也是足够的。
2021-11-03 cs.CR cs.LG stat.ML
BagFlip: A Certified Defense against Data Poisoning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
机器学习模型容易受到数据中毒攻击，其中攻击者恶意修改训练集以改变学习模型的预测。在无后门攻击中，攻击者可以修改训练集，但不能修改测试输入，而在后门攻击中，攻击者还可以修改测试输入。现有的与模型无关的防御方法或者不能处理后门攻击或者不提供有效的证书（即，一个辩护的证据）。我们提出了BagFlip，一个模型无关的认证方法，可以有效地抵御无防火墙和后门攻击。我们在图像分类和恶意软件检测数据集上评估BagFlip。BagFlip等于或比最先进的方法更有效地用于无恶意攻击，并且比最先进的方法更有效地用于后门攻击。
2022-10-16 cs.LG
Augmentation Backdoors
University of Cambridge（剑桥大学）；Imperial College London（伦敦帝国理工学院）；University of Oxford（牛津大学）
数据增强被广泛用于改进模型的泛化。然而，依赖外部库来实现增强方法会给机器学习管道带来漏洞。众所周知，后门可以通过提供修改后的数据集进行训练来插入机器学习模型。因此，增强提供了一个完美的机会来执行这种修改，而不需要最初的后门数据集。在本文中，我们提出了三个后门攻击，可以隐蔽地插入到数据增强。我们的攻击都使用不同类型的计算机视觉增强变换插入后门，包括简单的图像变换，基于GAN的增强和基于合成的增强。通过使用这些增强转换插入后门，我们使后门难以检测，同时仍然支持任意后门功能。我们评估了我们对一系列计算机视觉基准的攻击，并证明了攻击者能够通过恶意增强程序引入后门。
2022-09-29 cs.CR cs.LG
Backdoor Attacks on Vision Transformers
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；University of California, Davis（加州大学戴维斯分校）
视觉Transformer（ViT）最近在各种视觉任务上表现出了示范性的性能，并被用作CNN的替代品。他们的设计基于自我注意力机制，将图像处理为一系列补丁，这与CNN有很大不同。因此，研究ViT是否容易受到后门攻击是很有趣的。后门攻击是指攻击者出于恶意目的对一小部分训练数据下毒。模型在干净的测试图像上性能良好，但攻击者可以通过在测试时显示触发器来操纵模型的决策。据我们所知，我们是第一个表明ViTs容易受到后门攻击的人。我们还发现了ViTs和CNN之间有趣的差异-解释算法有效地突出了ViTs测试图像上的触发器，而不是CNN。基于这一观察结果，我们提出了一个测试时的图像阻塞防御的ViTs的攻击成功率降低了很大的利润。代码可在这里：https://github.com/UCDvision/backdoor_transformer.git
2022-06-16 cs.CR cs.CV cs.LG
Is the Trigger Essential? A Feature-Based Triggerless Backdoor Attack in Vertical Federated Learning
Key Laboratory of High Confidence Software Technologies (Peking University), Ministry of Education（高可信软件技术重点实验室（北京大学））；School of Computer Science, Peking University（北京大学计算机学院）；Zhongguancun Laboratory（中关村实验室）
本文提出了一种基于特征的无触发后门攻击，揭示了垂直联邦学习中新的攻击路径，优于现有方法并具备高鲁棒性。
2026-02-24 cs.CR cs.LG
Neurotoxin: Durable Backdoors in Federated Learning
Southeast University（东南大学）；Princeton University（普林斯顿大学）；University of California at Berkeley（加州大学伯克利分校）；International Computer Science Institute（国际计算机科学研究所）
由于其分散的性质，联邦学习（FL）系统在训练过程中对对抗性后门攻击具有固有的脆弱性。在这种类型的攻击中，攻击者的目标是使用中毒更新将所谓的后门植入到学习模型中，以便在测试时，模型的输出可以固定为特定输入的给定目标。(As一个简单的玩具示例，如果用户将“people from New York”键入到使用后门下一单词预测模型的移动键盘应用中，则该模型可以将句子自动完成为“people from New York are rude”）。先前的工作已经表明，后门可以插入到FL模型中，但是这些后门通常不耐用，即，在攻击者停止上载中毒更新之后，它们不会保留在模型中。因此，由于训练通常在生产FL系统中逐步继续，因此插入的后门可能无法存活直到部署。在这里，我们提出了神经毒素，一个简单的一行修改现有的后门攻击，通过攻击参数，在训练过程中变化较小的幅度。我们对十个自然语言处理和计算机视觉任务进行了详尽的评估，我们发现我们可以将最先进的后门的耐久性提高一倍。
2022-06-12 cs.AI cs.CR cs.LG
EmInspector: Combating Backdoor Attacks in Federated Self-Supervised Learning Through Embedding Inspection
本文针对联邦自监督学习（FSSL）中的后门攻击，提出EmInspector方法，通过检查本地模型嵌入空间检测恶意客户端，利用少量检查图像评估嵌入相似性，有效缓解各类对手设置下的后门攻击。
2024-05-21 cs.CR cs.LG
Test-Time Detection of Backdoor Triggers for Poisoned Deep Neural Networks
Pennsylvania State University（宾夕法尼亚州立大学）
后门（特洛伊木马）攻击是针对深度神经网络（DNN）的新兴威胁。每当来自任何源类的测试样本嵌入后门模式时，被攻击的DNN将预测攻击者想要的目标类;同时正确分类干净（无攻击）的测试样本。现有的后门防御在检测DNN是否受到攻击以及在“后训练”机制中对后门模式进行逆向工程方面取得了成功：防御者可以访问要检查的DNN和独立收集的小而干净的数据集，但无法访问DNN的（可能中毒的）训练集。然而，这些防御既不能在触发后门映射的行为中抓住罪犯，也不能在测试时减轻后门攻击。在本文中，我们提出了一个“飞行中”防御后门攻击的图像分类，1）检测使用后门触发器在测试时，和2）推断类的起源（源类）检测到的触发器的例子。我们的防御的有效性进行了实验证明，对不同的强大的后门攻击。
2021-12-06 cs.CR cs.LG
TrojanWorld: Backdooring World-Model Agents via Imagination Steering
Shanghai Jiao Tong University（上海交通大学）；Nanyang Technological University（南洋理工大学）
TrojanWorld通过物理触发器引导世界模型智能体的内部想象，实现隐蔽后门攻击，在保持高保真性能的同时诱导恶意行为。
2026-09-09 cs.CR cs.LG
Backdoor Attacks and Countermeasures on Deep Learning: A Comprehensive Review
Nanjing University of Science and Technology（南京理工大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织 Data61）；The University of Adelaide（阿德莱德大学）；The University of Queensland（昆士兰大学）；Hunan University（湖南大学）；Sungkyunkwan University（成均馆大学）
这项工作为社区提供了对深度学习的后门攻击和对策的及时全面的审查。根据攻击者的能力和机器学习流水线的受影响阶段，攻击面被识别为广泛的，然后形式化为六类：代码中毒，外包，预训练，数据汇集，协作学习和部署后。相应地，梳理了每个分类下的攻击。对策分为四大类：盲目借壳、线下借壳检查、线上借壳检查和事后借壳检查。在此基础上，对我国的应对策略进行了回顾，并对各种策略的优缺点进行了比较分析.我们还回顾了后门攻击的另一面，即i）保护深度学习模型的知识产权，ii）作为蜜罐捕获对抗性示例攻击，iii）验证数据贡献者请求的数据删除。总体而言，防御研究远远落后于攻击，没有一种防御可以阻止所有类型的后门攻击。在某些情况下，攻击者可以通过自适应攻击智能地绕过现有的防御。从系统性综述中得出的见解，我们还提出了未来研究后门的关键领域，如物理触发攻击的经验安全评估，特别是，更有效和实用的对策征求。
2020-08-02 cs.CR cs.CV cs.LG
Graph-Aware Stealthy Poison-Text Backdoors for Text-Attributed Graphs
School of Computer Science and Technology, Shandong University（山东大学计算机科学与技术学院）
本文研究了在仅修改节点文本的情况下，通过生成隐蔽毒文本对带文本图的攻击方法，实验表明该方法在不同图模型间具有高成功率并能抵御常见防御。
2026-03-28 cs.CR cs.LG
A Backdoor Approach with Inverted Labels Using Dirty Label-Flipping Attacks
INRS-EMT, University of Québec（魁北克大学INRS-EMT学院）
针对音频 DNN 的数据投毒风险，提出 DirtyFlipping 后门攻击，通过 label-on-label 脏标签技术与拍手触发器实现隐蔽植入。
2024-04-07 cs.AI cs.CL cs.CR
Reverse Engineering Imperceptible Backdoor Attacks on Deep Neural Networks for Detection and Training Set Cleansing
Anomalee Inc.（阿 nomali 公司）；Pennsylvania State University（宾夕法尼亚州立大学）
后门数据投毒是一种新兴的对抗攻击形式，通常针对深度神经网络图像分类器。攻击者使用来自一个（或多个）源类的相对较小的图像集来毒化训练集，这些图像嵌入后门模式并标记为目标类。对于成功的攻击，在操作期间，经训练的分类器将：1）每当存在相同的后门模式时，将测试图像从源类别误分类为目标类别; 2）对于无后门的测试图像保持高分类精度。在本文中，我们在防御后门攻击不可察觉的后门模式（如水印）之前/期间的训练阶段的突破。这是一个具有挑战性的问题，因为它是先验未知的训练集的哪个子集（如果有的话）已经中毒。我们提出了一个基于优化的逆向工程防御，联合：1）检测训练集是否中毒; 2）如果是，识别目标类和嵌入后门模式的训练图像; 3）此外，逆向工程师估计攻击者使用的后门模式。在CIFAR-10的基准实验中，对于各种各样的攻击，我们的防御在删除检测到的可疑训练图像后将攻击成功率降低到不超过4.9%，从而达到了新的最先进水平。
2020-10-15 cs.LG
Architectural Backdoors in Neural Networks
University of Cambridge（剑桥大学）；Vector Institute（向量研究所）；University of Toronto（多伦多大学）
机器学习容易受到对抗性操纵。以前的文献已经证明，在训练阶段，攻击者可以操纵数据和数据采样过程来控制模型的行为。一个常见的攻击目标是植入后门，即迫使受害者模型学习识别只有对手才知道的触发器。在本文中，我们介绍了一类新的后门攻击，隐藏在模型架构内，即在用于训练的函数的归纳偏差。这些后门很容易实现，例如，通过发布一个后门模型架构的开源代码，其他人会在不知不觉中重用它。我们证明了模型架构后门是一个真正的威胁，与其他方法不同，它可以从零开始进行完整的重新训练。我们正式确定了架构后门背后的主要构造原则，例如输入和输出之间的链接，并描述了一些可能的保护措施。我们评估了我们对不同尺度的计算机视觉基准的攻击，并证明了潜在的漏洞在各种训练环境中普遍存在。
2022-06-15 cs.CR cs.LG
Backdoor defense, learnability and obfuscation
Alignment Research Center
本文通过攻防博弈定义后门可防御性，证明其与可学习性关联：计算无界时由VC维决定，有界时高效PAC可学习性蕴含高效可防御性，多项式电路不可高效防御，决策树防御比学习易，确定其为两者间中间概念。
2024-11-18 cs.AI cs.CR cs.LG
Explainability Matters: Backdoor Attacks on Medical Imaging
NYU Abu Dhabi（纽约大学阿布扎比分校）；NYU Tandon School of Engineering（纽约大学坦登工程学院）
深度神经网络已经被证明容易受到后门攻击的攻击，这些攻击可以在模型训练之前很容易地引入到训练集中。最近的工作集中在调查自然图像或玩具数据集上的后门攻击。因此，在复杂的现实世界应用中，后门的确切影响尚未完全了解，例如在医疗成像中，误诊可能非常昂贵。在本文中，我们探讨了后门攻击对使用胸部X射线摄影的多标签疾病分类任务的影响，假设攻击者可以操纵训练数据集来执行攻击。对最先进架构的广泛评估表明，通过将具有少量像素扰动的图像引入训练集中，攻击者可以成功执行后门，而无需参与训练过程。一个简单的3 $\times$ 3像素触发器可以在受感染图像集上实现高达1.00的受试者工作特征（AUROC）曲线下面积。在一组干净的图像中，后门神经网络仍然可以实现高达0.85的AUROC，突出了攻击的隐蔽性。随着基于深度学习的诊断系统在临床实践中的广泛使用，我们还展示了可解释性在这种情况下是如何不可或缺的，因为它可以在推理时间内识别空间定位的后门。
2020-12-30 cs.CR cs.CV cs.LG
Hammer and Anvil: Toward a Theory of Backdoors in Federated Learning
University of Waterloo（滑铁卢大学）
本文提出'锤与砧'理论框架，通过分析后门更新偏离程度δ，分类两种防御类型，证明单一类型或非原则性组合防御存在漏洞，而结合两种类型防御能有效抵御适应性攻击。
2026-05-08 cs.CR cs.LG
Backdoor Embedding in Convolutional Neural Network Models via Invisible Perturbation
Pennsylvania State University（宾夕法尼亚州立大学）
深度学习模型在包括图像分类在内的各种分类任务中一直优于传统机器学习模型。因此，它们在许多现实世界的应用中变得越来越普遍，包括那些非常关注安全性的应用。然而，这种流行可能会吸引攻击者利用部署的深度学习模型的漏洞，并对安全敏感的应用程序发起攻击。在本文中，我们专注于一种特定类型的数据投毒攻击，我们称之为{ \em后门注入攻击}。攻击者执行此类攻击的主要目标是生成后门并将其注入到深度学习模型中，该模型可以被触发以识别具有攻击者选择的目标标签的某些嵌入模式。此外，后门注入攻击应该以隐蔽的方式发生，而不会破坏受害者模型的有效性。具体来说，我们提出了两种方法来生成一个后门，这是很难察觉，但有效的中毒模型。我们考虑两种攻击设置，后门注入在模型训练之前或模型更新期间进行。我们在各种假设下对敌手模型进行了广泛的实验评估，并证明了这种攻击可以有效地实现高攻击成功率（高于$90\%$），模型精度损失较小（低于$1\%$），注射速率较小（在$1\%$周围），即使在对手不知道原始训练数据或分类器模型的最弱假设下。
2018-08-30 cs.CR cs.LG stat.ML
Backdoors in Neural Models of Source Code
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
深度神经网络容易受到一系列对手的攻击。一类特别有害的漏洞是后门，在输入中存在微妙触发的情况下，模型预测会出现分歧。攻击者可以通过毒化训练数据来植入后门，以在触发的输入上产生期望的目标预测。我们在源代码深度学习的背景下研究后门。(1)我们为源代码任务定义了一系列后门类，并展示了如何毒化数据集以安装此类后门。(2)我们从强大的统计数据中调整和改进了最近的算法，表明后门在源代码的学习表示中留下了频谱签名，从而能够检测中毒数据。(3)我们对不同的架构和语言进行了全面的评估，显示了注入后门的容易性和我们消除它们的能力。
2020-06-11 cs.CR cs.LG stat.ML
Blind Backdoors in Deep Learning Models
Cornell Tech（康奈尔科技学院）
我们研究了一种新的方法注入后门到机器学习模型，基于妥协的损失值计算模型训练代码。我们用它来展示比以前文献中的后门更强大的新类别：ImageNet模型中的单像素和物理后门，将模型切换到隐蔽的，违反隐私的任务的后门，以及不需要推理时输入修改的后门。我们的攻击是盲目的：攻击者不能修改训练数据，也不能观察他的代码的执行，也不能访问结果模型。攻击代码在模型进行训练时“动态”创建中毒的训练输入，并使用多目标优化来实现主任务和后门任务的高精度。我们将展示如何盲目攻击可以逃避任何已知的防御，并提出新的。
2021-02-19 cs.CR cs.CV cs.LG
Backdoor Learning Curves: Explaining Backdoor Poisoning Beyond Influence Functions
本文提出统一框架，从增量学习和影响函数角度分析后门攻击有效性，发现超参数空间中存在干净准确率高但后门无效的区域，为防御提供新标准。
2024-12-16 cs.CR cs.LG
NeuronInspect: Detecting Backdoors in Neural Networks via Output Explanations
Shanghai Jiao Tong University（上海交通大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
深度神经网络已经在各种任务上实现了最先进的性能。然而，由于缺乏可解释性和透明性，使得恶意攻击者更容易将木马后门注入到神经网络中，当输入带有特定触发器的后门样本时，模型会表现出异常。在本文中，我们提出了NeuronInspect，这是一个通过输出解释技术检测深度神经网络中木马后门的框架。NeuronInspect首先通过生成输出层的解释热图来识别后门攻击目标的存在。我们观察到从干净和后门模型生成的热图具有不同的特征。因此，我们从被攻击的模型中提取测量解释属性的特征，即：稀疏，平滑和持久。我们结合这些特征，并使用离群点检测来找出离群点，这是攻击目标的集合。在MNIST数字识别数据集和GTSRB交通标志识别数据集上，我们证明了NeuronInspect的有效性和效率。我们在不同的攻击场景下广泛评估了NeuronInspect，并证明了比最先进的木马后门检测技术Neural Cleanse更好的鲁棒性和有效性。
2019-11-18 cs.CR cs.LG
PatchBackdoor: Backdoor Attack against Deep Neural Networks without Model Modification
Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院）；Shanghai Jiao Tong University（上海交通大学）；Wuhan University（武汉大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出无需修改模型的PatchBackdoor后门攻击，通过在摄像头前放置训练好的后门贴片触发模型错误预测，结合数字-物理变换建模提升实用性，在多种模型分类任务上攻击成功率达93%-99%，且真实场景中仍具威胁。
2023-08-22 cs.CR cs.CV cs.LG
NTD: Non-Transferability Enabled Backdoor Detection
NanJing University of Science and Technology（南京理工大学）；University of Adelaide（阿德莱德大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织数据61部门）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
后门深度学习（DL）模型在干净输入时表现正常，但在触发输入时表现不佳，这是后门攻击者的期望，对DL模型部署造成严重后果。最先进的防御要么限于特定的后门攻击（源代码不可知的攻击），要么是非用户友好的，因为需要机器学习（ML）专业知识或昂贵的计算资源。本文发现，现有的所有后门攻击都有一个不可避免的内在弱点，即不可转移性，即触发输入劫持了一个后门模型，但不能对另一个没有植入相同后门的模型有效。基于这一关键观察，我们提出了非可转移性启用后门检测（NTD）来识别运行时被测模型（MUT）的触发输入。具体来说，NTD允许潜在后门MUT预测输入的类。同时，NTD利用特征提取器（FE）来提取输入和从其预测类中随机挑选的一组样本的特征向量，然后比较输入和FE的潜在空间中的样本之间的相似性。如果相似度低，则输入是对抗性触发输入;否则，是良性的。FE是一个免费的预训练模型，从开放平台私人保留。由于FE和MUT来自不同的来源，攻击者不太可能在两者中插入相同的后门。由于不可转移性，对MUT有效的触发效果不能转移到FE，使得NTD有效对抗不同类型的后门攻击。我们评估NTD的三个流行的定制任务，如人脸识别，交通标志识别和一般的动物分类，其结果肯定NDT具有高的有效性（低错误接受率）和可用性（低错误拒绝率）与低检测延迟。
2021-11-22 cs.AI cs.CR cs.LG
Rethinking the Backdoor Attacks' Triggers: A Frequency Perspective
Virginia Tech（弗吉尼亚理工大学）；University of Michigan（密歇根大学）
后门攻击一直被认为是对深度学习的严重安全威胁。这种攻击可以使模型在具有预定义触发器的输入上表现异常，并且仍然在干净数据上保持最先进的性能。虽然后门攻击已经从攻击者和防御者双方在图像域中进行了彻底的调查，但到目前为止还没有在频域中进行分析。本文首先从频率的角度重新审视现有的后门触发器，并进行了全面的分析。我们的研究结果表明，许多当前的后门攻击表现出严重的高频伪影，这些伪影在不同的数据集和分辨率上持续存在。我们进一步证明了这些高频伪影能够以98.50%的检测率简单地检测现有的后门触发器，而无需事先了解攻击细节和目标模型。承认以前的攻击的弱点，我们提出了一种实用的方法来创建平滑的后门触发器没有高频文物，并研究其可检测性。我们表明，现有的防御工程可以受益于将这些顺利触发到他们的设计考虑。此外，我们表明，检测器调谐到更强的光滑触发器可以推广到看不见的弱光滑触发器。简而言之，我们的工作强调了在深度学习中设计后门攻击和防御时考虑频率分析的重要性。
2022-01-25 cs.CR cs.LG
PECAN: A Deterministic Certified Defense Against Backdoor Attacks
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出 PECAN，通过对互不相交数据分区上训练的模型集合使用现成测试时规避认证，实现高效确定性后门防御，并在图像与恶意软件任务上显著提升防御强度、效率并降低攻击成功率。
2024-05-20 cs.CR cs.LG
Watch Out for the Lifespan: Evaluating Backdoor Attacks Against Federated Model Adaptation
CEA-Leti（CEA-莱提实验室）；Centre CMP（CMP中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Mines Saint-Etienne（圣艾蒂安矿业学院）
本文研究了LoRA对联邦学习中后门攻击的影响，发现低秩适应可延长后门寿命，揭示了后门攻击评估中的关键问题。
2026-02-18 cs.CR cs.LG
Certified Robustness of Nearest Neighbors against Data Poisoning and Backdoor Attacks
Duke University（杜克大学）
数据投毒攻击和后门攻击旨在通过修改、添加和/或移除一些精心选择的训练样本来破坏机器学习分类器，使得被破坏的分类器按照攻击者的期望做出不正确的预测。针对数据投毒攻击和后门攻击的最先进的认证防御的关键思想是创建一个多数投票机制来预测测试示例的标签。此外，每个投票者都是在训练数据集的子集上训练的基础分类器。经典的简单学习算法如k近邻（kNN）和半径近邻（rNN）具有固有的多数表决机制。在这项工作中，我们表明，在kNN和rNN的内在多数表决机制已经提供了认证的鲁棒性保证，对数据投毒攻击和后门攻击。此外，我们对MNIST和CIFAR 10的评估结果表明，kNN和rNN的内在认证鲁棒性保证优于最先进的认证防御所提供的保证。我们的研究结果可作为未来针对数据投毒攻击和后门攻击的认证防御的标准基线。
2021-12-02 cs.CR cs.LG
Securing Federated Learning against Backdoor Threats with Foundation Model Integration
Renmin University of China（中国人民大学）；The University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）
针对联邦学习集成基础模型引入的新型后门攻击，提出无数据防御策略，通过约束模型聚合时隐藏特征空间的异常激活，有效抵御经典与新型后门攻击，性能优于现有方法。
2025-05-27 cs.CR cs.LG
Imperceptible Backdoor Attack: From Input Space to Feature Representation
Fudan University（复旦大学）
后门攻击是对深度神经网络（DNN）的快速出现的威胁。在后门攻击场景中，攻击者通常通过操纵训练数据集或训练过程将后门植入目标模型。然后，受损的模型对于良性输入表现正常，但当预定义的触发器出现时会出错。在本文中，我们分析了现有的攻击方法的缺点，并提出了一种新的不可感知的后门攻击。我们将触发模式视为一种特殊的噪声，服从多项式分布。一个基于U-网的网络被用来生成每个良性输入的多项式分布的具体参数。这种精心设计的触发器确保了我们的方法对人类和统计检测都是不可见的。除了触发器的设计，我们还考虑了我们的方法对模型诊断为基础的防御的鲁棒性。我们强制标记有触发器的恶意输入的特征表示与良性输入纠缠在一起。我们通过广泛的数据集和网络展示了针对多种最先进防御的有效性和鲁棒性。我们的触发器仅修改良性图像的小于1\%的像素，而修改幅度为1。我们的源代码可以在https://github.com/Ekko-zn/IJCAI2022-Backdoor上找到。
2022-05-06 cs.CR cs.LG
Mitigating Backdoors in Federated Learning with FLD
针对联邦学习难以审查客户端数据且现有后门防御受限于攻击模型和模型维度的问题，提出 FLD 层级模型过滤方法，实现收敛保证并在几乎不影响主任务准确率的情况下防御先进后门攻击。
2023-12-18 cs.CR cs.LG
Backdoor Defense in Federated Learning Using Differential Testing and Outlier Detection
University of California, San Diego（加州大学圣地亚哥分校）
联邦学习（FL）的目标是通过聚合在边缘设备上独立更新的模型参数来训练一个全局模型，而无需访问用户的私有数据。然而，FL容易受到后门攻击，其中一小部分恶意代理通过将污染的模型更新上传到服务器来在全局模型中注入有针对性的误分类行为。在这项工作中，我们提出了DiffFense，一个自动化的防御框架，以保护FL系统从后门攻击，利用差分测试和两步MAD离群值检测，而不需要任何以前的知识的攻击场景或直接存取本地模型参数。我们的经验表明，我们的检测方法可以防止各种数量的潜在攻击者，同时始终实现全局模型的收敛，与联邦平均（FedAvg）下训练的模型相当。我们进一步证实了我们的方法对以前的防御技术，如多克鲁姆和坐标明智的中位数聚合的有效性和普遍性。我们的检测方法将全局模型的平均后门准确率降低到4%以下，并实现了零的误报率。
2022-02-21 cs.CR cs.LG
