Detecting Backdoors in Neural Networks Using Novel Feature-Based Anomaly Detection
New York University（纽约大学）
本文提出了一种新的防御神经网络后门攻击的恶意训练，在攻击者选择的触发器的存在下，预测错误。我们的防御是基于这样的直觉：后门网络的特征提取层嵌入了新的特征来检测触发器的存在，而后续的分类层在检测到触发器时学会了错误预测。因此，为了检测后门，所提出的防御使用两个在干净的验证数据上训练的协同异常检测器：第一个是检查异常特征的新颖性检测器，而第二个通过与在验证数据上训练的单独分类器进行比较来检测从特征到输出的异常映射。该方法在广泛的后门网络（具有多种触发器）上进行了评估，这些网络成功地避开了最先进的防御。此外，我们评估我们的方法的鲁棒性不可察觉的扰动，大规模数据集上的可扩展性，和有效性下域转移。本文还表明，防御可以进一步提高使用数据增强。
2020-11-04 cs.LG
Detecting and Eliminating Neural Network Backdoors Through Active Paths with Application to Intrusion Detection
Smart Networks and Services Joint Undertaking（智能网络与服务联合体）
本文提出通过主动路径检测和消除神经网络后门，应用于入侵检测系统，提供了一种新颖且可解释的方法。
2026-03-11 cs.AI cs.CR cs.LG
BAN: Detecting Backdoors Activated by Adversarial Neuron Noise
Radboud University（拉德堡德大学）；Delft University of Technology（代尔夫特理工大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
本文提出BAN防御方法，通过对抗性增加后门模型权重损失以激活后门效应，结合神经元激活信息改进后门特征反转，实现高效准确的后门检测，在CIFAR-10和ImageNet200上效率提升1.37倍和5.11倍，检测成功率平均提高9.99%。
2024-11-08 cs.CR cs.LG
NeuronInspect: Detecting Backdoors in Neural Networks via Output Explanations
Shanghai Jiao Tong University（上海交通大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
深度神经网络已经在各种任务上实现了最先进的性能。然而，由于缺乏可解释性和透明性，使得恶意攻击者更容易将木马后门注入到神经网络中，当输入带有特定触发器的后门样本时，模型会表现出异常。在本文中，我们提出了NeuronInspect，这是一个通过输出解释技术检测深度神经网络中木马后门的框架。NeuronInspect首先通过生成输出层的解释热图来识别后门攻击目标的存在。我们观察到从干净和后门模型生成的热图具有不同的特征。因此，我们从被攻击的模型中提取测量解释属性的特征，即：稀疏，平滑和持久。我们结合这些特征，并使用离群点检测来找出离群点，这是攻击目标的集合。在MNIST数字识别数据集和GTSRB交通标志识别数据集上，我们证明了NeuronInspect的有效性和效率。我们在不同的攻击场景下广泛评估了NeuronInspect，并证明了比最先进的木马后门检测技术Neural Cleanse更好的鲁棒性和有效性。
2019-11-18 cs.CR cs.LG
Detecting Backdoor Attacks Against Point Cloud Classifiers
Pennsylvania State University（宾夕法尼亚州立大学）；Shanghai Jiao Tong University（上海交通大学）
后门攻击（BA）是对深度神经网络分类器的新兴威胁。被攻击的分类器将预测攻击者的目标类时，测试样本从源类嵌入后门模式（BP）。最近，第一个针对点云（PC）分类器的BA被提出，对包括自动驾驶在内的许多重要应用造成了新的威胁。这种PC BA由于其特殊的BP嵌入机制而无法被现有的BA防御检测到。在本文中，我们提出了一个反向工程防御，推断PC分类器是否受到后门攻击，而无需访问其训练集或任何干净的分类器作为参考。我们的防御的有效性证明在基准ModeNet40数据集的PC。
2021-10-20 cs.CR cs.CV cs.LG
Detecting Backdoor Samples in Contrastive Language Image Pretraining
The University of Melbourne（墨尔本大学）；Singapore Management University（新加坡管理大学）；Fudan University（复旦大学）
本文发现CLIP后门样本在局部子空间中邻域稀疏，据此提出基于密度比的检测方法，可高效检测并清理大规模网络数据集中的后门样本，并揭示CC3M数据集已存在非故意后门。
2025-02-10 cs.CV cs.LG
Prompting the Unseen: Detecting Hidden Backdoors in Black-Box Models
本研究提出了一种基于视觉提示的黑盒模型级后门检测方法BProm，通过利用类子空间不一致性和存在后门时提示模型低分类准确率的现象，有效识别可疑模型中的隐藏后门。
2025-04-07 cs.AI cs.CV cs.LG
CLIBE: Detecting Dynamic Backdoors in Transformer-based NLP Models
Zhejiang University（浙江大学）
针对NLP模型动态后门检测研究空白，提出CLIBE框架，通过注意力层少样本权重扰动及泛化性检测动态后门，经多场景验证有效且具鲁棒性，还可扩展检测文本生成模型后门。
2024-09-11 cs.CL cs.CR cs.LG
Detecting Backdoor Attacks on Deep Neural Networks by Activation Clustering
虽然机器学习（ML）模型越来越被信任在不同和不同的领域做出决策，但使用此类模型的系统的安全性已成为越来越多的关注点。特别是，机器学习模型通常是在来自潜在不可信来源的数据上进行训练的，这为对手提供了通过将精心制作的样本插入训练集中来操纵它们的机会。最近的研究表明，这种类型的攻击，称为中毒攻击，允许攻击者将后门或特洛伊木马插入模型中，在推理时使用简单的外部后门触发器并且仅从模型本身的黑盒角度来实现恶意行为。检测这种类型的攻击是具有挑战性的，因为只有当后门触发器（只有对手知道）存在时才会发生意外行为。模型用户，无论是训练数据的直接用户还是来自目录的预训练模型的用户，都可能无法保证其基于ML的系统的安全操作。本文提出了一种新的神经网络后门检测和清除方法。通过大量的实验结果，我们证明了它的有效性神经网络分类文本和图像。据我们所知，这是第一种能够检测恶意数据的方法，这些恶意数据被精心设计用于插入后门，并修复不需要经过验证和可信数据集的模型。
2018-11-09 cs.CR cs.LG stat.ML
Detecting Backdoor Poisoning Attacks on Deep Neural Networks by Heatmap Clustering
University of Konstanz（康斯坦茨大学）
神经网络做出的预测可以被所谓的中毒攻击欺骗性地改变。一个特殊的情况是后门中毒攻击。我们研究了合适的检测方法，并介绍了一种新的方法，称为热图聚类。在那里，我们将$k$均值聚类算法应用于由最先进的可解释AI方法分层相关传播产生的热图。目标是将数据集中的中毒数据与未中毒数据分开。我们比较这种方法与类似的方法，称为激活聚类，它也使用$k$均值聚类，但适用于激活的某些隐藏层的神经网络作为输入。我们测试了这两种方法的性能标准后门中毒攻击，标签一致的中毒攻击和标签一致的中毒攻击，减少幅度贴纸。我们表明，热图聚类始终优于激活聚类。然而，当考虑标签一致的中毒攻击，后者的方法也产生良好的检测性能。
2022-04-27 cs.CR cs.LG
Don't FREAK Out: A Frequency-Inspired Approach to Detecting Backdoor Poisoned Samples in DNNs
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；University of Oxford（牛津大学）
在本文中，我们研究了深度神经网络（DNN）在提供干净样本与中毒样本时的频率敏感性。我们的分析表明，这两种类型的样本之间的频率敏感性显着差异。基于这些发现，我们提出了FREAK，一种基于频率的中毒样本检测算法，简单而有效。我们的实验结果表明，FREAK的有效性不仅对频率后门攻击，而且对一些空间攻击。我们的工作只是利用这些见解的第一步。我们相信本文的分析和提出的防御机制将为未来后门防御的研究和开发提供基础。
2023-03-23 cs.CR cs.CV cs.LG
DeDe: Detecting Backdoor Samples for SSL Encoders via Decoders
Hong Kong University of Science and Technology（香港科技大学）；Southeast University（东南大学）
针对自监督学习编码器易受后门攻击且现有防御难以检测隐蔽后门的问题，提出DeDe机制，通过训练解码器利用输入与解码输出的差异检测后门样本，在多种攻击下效果优于现有方法。
2025-03-20 cs.CR cs.LG
Detecting Backdoor Attacks via Similarity in Semantic Communication Systems
Georgia State University（佐治亚州立大学）；University of Central Missouri（中密苏里大学）；Montana State University（蒙大拿州立大学）；East Carolina University（东卡罗来纳大学）
本文针对语义通信系统中的后门攻击，提出一种基于语义相似性的检测方法，无需修改模型结构或限制数据格式，通过分析语义特征偏差和阈值检测框架识别被投毒样本，实验验证了其高检测准确率和召回率。
2025-02-06 cs.CR cs.LG
Poison as a Cure: Detecting & Neutralizing Variable-Sized Backdoor Attacks in Deep Neural Networks
Nanyang Technological University（南洋理工大学）
深度学习模型最近被证明容易受到后门中毒的攻击，这是一种阴险的攻击，受害者模型正确预测干净的图像，但在添加触发毒药模式时将相同的图像分类为目标类。这种有毒模式可以被对手嵌入到训练数据集中。现有的防御在某些条件下是有效的，例如小尺寸的中毒模式，关于中毒训练样本的比例的知识，或者当经过验证的干净数据集可用时。由于防御者可能没有这样的先验知识或资源，我们提出了一种防御后门中毒，即使在这些先决条件不满足时也是有效的。它由几个部分组成：一个是提取后门中毒信号，检测中毒目标和基类，并从干净的样本中过滤出中毒。我们防御的最后一部分涉及在一个用提取的中毒信号增强的数据集上重新训练中毒模型，并对中毒样本进行纠正性重新标记以中和后门。我们的方法已被证明是有效的防御后门攻击，使用小型和大型的毒药模式对九个不同的目标为基础的类对从CIFAR10数据集。
2019-11-19 cs.CR cs.CV cs.LG
DeBUGCN -- Detecting Backdoors in CNNs Using Graph Convolutional Networks
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）
针对深度神经网络易受后门攻击的问题，提出基于图卷积网络的后门检测方法DeBUGCN，通过将DNN权重构建为图层并用GCN二分类，在多数据集上验证其鲁棒性、模型无关性及更优的速度与准确率。
2025-02-25 cs.CV cs.LG
DMGNN: Detecting and Mitigating Backdoor Attacks in Graph Neural Networks
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Yangzhou University（扬州大学）；University of Southern Queensland（南昆士兰大学）；Data61, CSIRO（联邦科学与工业研究组织Data61）；University of Technology Sydney（悉尼科技大学）
本文提出DMGNN方法，通过反事实解释预测标签转移来检测OOD和ID图后门触发器，并利用反向采样剪枝在数据层面消除触发器影响，在公开图数据集上将攻击成功率降至5%且模型性能退化不超过3.5%。
2024-10-18 cs.CR cs.LG
Detecting Trojaned DNNs Using Counterfactual Attributions
SRI International（SRI国际）
我们的目标是在DNN中检测木马或后门的问题。这些模型在典型输入下表现正常，但对带有特洛伊木马触发器的输入产生特定的错误预测。我们的方法是基于一个新的观察，触发行为取决于一些鬼神经元激活触发模式，并表现出异常较高的相对归因于错误的决定时，激活。此外，这些触发神经元也对目标类的正常输入起作用。因此，我们使用反事实属性从干净的输入中定位这些幽灵神经元，然后逐渐激发它们来观察模型准确性的变化。我们通过使用深度集编码器将这些信息用于特洛伊木马检测，该编码器可以实现模型类数量，架构等的不变性。我们的方法在TrinityAI工具中实现，该工具利用了深度学习中可信度，弹性和可解释性挑战之间的协同作用。我们在模型架构、触发器等具有高度多样性的基准测试上评估了我们的方法。我们显示出与最先进的方法相比的一致收益（+10%），这些方法依赖于DNN对特定对抗攻击的敏感性，而这反过来又需要对特洛伊木马攻击的性质进行强有力的假设。
2020-12-03 cs.AI cs.CV cs.IT
Detecting Backdoors During the Inference Stage Based on Corruption Robustness Consistency
Huazhong University of Science and Technology（华中科技大学）；National Engineering Research Center for Big Data Technology and System（大数据技术与系统国家工程研究中心）；Wuhan University（武汉大学）
提出测试时破坏鲁棒性一致性评估方法 TeCo，仅依赖受害模型硬标签输出即可检测后门触发样本，无需额外信息，在多攻击、数据集和架构上优于现有方法，AUROC 高 10% 且稳定性提升 5 倍。
2023-03-27 cs.AI cs.CR cs.LG
STAR: Detecting Inference-time Backdoors in LLM Reasoning via State-Transition Amplification Ratio
Department of Software, Soongsil University（软件系，顺斯大学）
STAR通过分析输出概率变化检测推理时后门，利用状态转移放大比率和CUSUM算法实现高效率和高准确率的后门检测。
2026-01-13 cs.CL cs.CR cs.LG
Towards A Proactive ML Approach for Detecting Backdoor Poison Samples
Princeton University（普林斯顿大学）
提出主动式机器学习方法，通过混淆训练技术增强后门毒化样本检测，在多个数据集和攻击类型上优于基线防御。
2023-06-18 cs.CR cs.CV cs.LG
Detecting Backdoor Attacks in Federated Learning via Direction Alignment Inspection
University of Nevada, Reno（内华达大学雷诺分校）
针对联邦学习易受后门攻击且现有防御忽略更新方向不一致的问题，提出AlignIns防御方法，通过方向对齐检测过滤恶意更新，理论与实验均验证其鲁棒性优于现有方法。
2025-03-18 cs.CR cs.DC cs.LG
Data Taggants: Dataset Ownership Verification via Harmless Targeted Data Poisoning
Meta AI, FAIR & CMAP, École polytechnique Paris, France（Meta AI、FAIR 及 CMAP、巴黎高等理工学院）；Work done while at Meta AI, FAIR（在 Meta AI、FAIR 期间）；CMAP, École polytechnique Palaiseau, France（CMAP、巴黎高等理工学院 Palaiseau 分校）
本文提出数据标记物，一种通过无害针对性数据污染实现数据集所有权验证的新技术，能够可靠检测训练数据集的模型，不损害验证准确率。
2025-12-07 cs.CR cs.LG stat.ML
PoisHygiene: Detecting and Mitigating Poisoning Attacks in Neural Networks
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；The Pennsylvania State University（宾夕法尼亚州立大学）
深度神经网络（DNN）的黑盒性质便于攻击者通过数据投毒来操纵DNN的行为。能够检测和减轻中毒攻击（通常分为后门和对抗性中毒（AP））对于在许多应用领域中安全采用DNN至关重要。虽然最近的工作表现出令人鼓舞的结果检测某些后门攻击，他们表现出固有的局限性，可能会显着限制的适用性。实际上，不存在用于检测AP攻击的技术，这代表了更困难的挑战，因为这种攻击没有表现出共同和明确的规则，而后门攻击表现出共同和明确的规则（即，将后门触发器嵌入到中毒数据中）。我们认为，检测和缓解AP攻击的关键是在受感染的DNN模型中观察和利用基本中毒诱导属性的能力。在本文中，我们提出PoisHygiene，第一个有效和强大的检测和缓解框架对AP攻击。PoisHygiene的基本动机是欧内斯特·卢瑟福博士的故事（即，1908年诺贝尔奖获得者），通过随机电子取样观察原子结构。
2020-06-19 cs.CR cs.CV cs.LG
ToxScreen: Detecting Whether an LLM Has Been Poisoned
University of Sheffield（谢菲尔德大学）；Yale University（耶鲁大学）；University of Alabama（阿拉巴马大学）；Arcadia Impact（阿卡迪亚影响力）
本文提出ToxScreen基准，研究现实条件下防御者能否恢复LLM的后门触发器，发现令牌查找方法可有效恢复触发器，且易越狱模型是有用信号，相关模型与代码已公开。
2026-07-30 cs.CR cs.LG
STEP: Detecting Audio Backdoor Attacks via Stability-based Trigger Exposure Profiling
Zhejiang University（浙江大学）；Xi’an Jiaotong University（西安交通大学）；National University of Singapore（新加坡国立大学）
本文提出STEP方法，通过分析触发器在语义破坏扰动下的异常稳定性与语义保持扰动下的异常脆弱性，实现无训练的音频后门检测，实验显示其在多个攻击场景中表现优异。
2026-03-18 cs.CR cs.LG cs.SD
PCAP-Backdoor: Backdoor Poisoning Generator for Network Traffic in CPS/IoT Environments
University of Pittsburgh（匹兹堡大学）
本文提出PCAP-Backdoor技术，针对CPS/IoT网络流量数据集进行后门投毒攻击，仅投毒1%训练数据即可使模型误分类，且难以被现有防御技术检测。
2025-01-28 cs.CR cs.LG cs.NI
Proactive Adversarial Defense: Harnessing Prompt Tuning in Vision-Language Models to Detect Unseen Backdoored Images
University of West Florida（西佛罗里达大学）；Florida Institute For Human and Machine Cognition (IHMC)（佛罗里达人机认知研究所）；Center for Cybersecurity, University of West Florida（西佛罗里达大学网络安全中心）
本文提出利用视觉-语言模型的提示微调训练可学习文本提示，在训练和推理阶段直接检测未见过的后门图像，并在两个数据集上取得86%的平均检测准确率。
2025-04-07 cs.AI cs.CR cs.CV
Shortcuts Everywhere and Nowhere: Exploring Multi-Trigger Backdoor Attacks
Shanghai Key Lab of Intell. Info. Processing, School of CS, Fudan University（上海智能信息处理关键实验室，复旦大学计算机学院）；Bosch Research Asia Pacific & Bosch Center for Artificial Intelligence (BCAI)（博世亚太研究部及博世人工智能中心）；School of Computing and Information Systems, the University of Melbourne（墨尔本大学计算机与信息学院）；School of Computing and Information Systems, Singapore Management University（新加坡管理大学计算机与信息学院）
本研究提出多触发器后门攻击（MTBAs），通过并行、顺序和混合三种攻击方式，证明多个触发器可共存、覆盖或交叉激活，轻易打破现有后门检测方法依赖的捷径假设，并创建数据集以促进防御研究。
2025-10-07 cs.CR cs.LG
Verifying Neural Networks Against Backdoor Attacks
Singapore Management University（新加坡管理大学）
神经网络在解决许多问题方面已经取得了最先进的性能，包括在安全/安全关键系统中的许多应用。研究人员还发现了与神经网络相关的多个安全问题。其中之一是后门攻击，即，神经网络可以嵌入后门，使得在存在触发的情况下几乎总是生成目标输出。现有的防御方法主要集中在基于语义学检测神经网络是否被“后门”，例如，激活模式据我们所知，唯一能证明不存在后门的工作是基于随机平滑，这会显著降低神经网络的性能。在这项工作中，我们提出了一种方法来验证是否一个给定的神经网络是免费的后门具有一定的成功率。我们的方法集成了统计抽样以及抽象的解释。实验结果表明，该方法可以有效地验证后门的存在或生成后门触发器。
2022-05-14 cs.CR cs.LG
Test-Time Detection of Backdoor Triggers for Poisoned Deep Neural Networks
Pennsylvania State University（宾夕法尼亚州立大学）
后门（特洛伊木马）攻击是针对深度神经网络（DNN）的新兴威胁。每当来自任何源类的测试样本嵌入后门模式时，被攻击的DNN将预测攻击者想要的目标类;同时正确分类干净（无攻击）的测试样本。现有的后门防御在检测DNN是否受到攻击以及在“后训练”机制中对后门模式进行逆向工程方面取得了成功：防御者可以访问要检查的DNN和独立收集的小而干净的数据集，但无法访问DNN的（可能中毒的）训练集。然而，这些防御既不能在触发后门映射的行为中抓住罪犯，也不能在测试时减轻后门攻击。在本文中，我们提出了一个“飞行中”防御后门攻击的图像分类，1）检测使用后门触发器在测试时，和2）推断类的起源（源类）检测到的触发器的例子。我们的防御的有效性进行了实验证明，对不同的强大的后门攻击。
2021-12-06 cs.CR cs.LG
AEVA: Black-box Backdoor Detection Using Adversarial Extreme Value Analysis
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
深度神经网络（DNN）被证明容易受到后门攻击。通常通过将后门触发器注入到训练样本中来将后门嵌入到目标DNN中，这可能导致目标DNN错误分类附加有后门触发器的输入。现有的后门检测方法通常需要访问原始中毒的训练数据、目标DNN的参数或每个给定输入的预测置信度，这在许多现实世界的应用中是不切实际的，例如，设备上部署的DNN。我们解决了黑盒硬标签后门检测问题，其中DNN是完全黑盒的，只有它的最终输出标签是可访问的。我们从优化的角度来处理这个问题，并表明后门检测的目标是有界的敌对目标。进一步的理论和实证研究表明，这种对抗性目标会导致具有高度偏斜分布的解决方案;在后门感染示例的对抗性映射中经常观察到奇点，我们称之为对抗性奇点现象。基于这一观察，我们提出了对抗极值分析（AEVA）来检测黑盒神经网络中的后门。AEVA是基于对抗地图的极值分析，从蒙特卡洛梯度估计计算。通过对多个常见任务和后门攻击的大量实验，证明了该方法在黑盒硬标签场景下检测后门攻击的有效性.
2022-02-24 cs.AI cs.LG
Spectral Signatures in Backdoor Attacks
MIT（麻省理工学院）；Simons Institute（西蒙斯研究所）
最近的一项工作发现了一种新的数据中毒形式：所谓的\emph{backdoor}攻击。这些攻击特别危险，因为它们不会影响网络对典型良性数据的行为。相反，网络只有在被对手植入的扰动触发时才会偏离其预期输出。在本文中，我们确定了所有已知的后门攻击，我们称之为\emph{spectral signatures}的新属性。这个属性使我们能够利用强大的统计工具来阻止攻击。我们证明了这些签名在检测和去除真实图像集和最先进的神经网络架构上的中毒示例中的功效。我们认为，理解光谱特征是设计ML系统以抵御此类后门攻击的关键第一步
2018-11-01 cs.CR cs.LG stat.ML
Anti-Backdoor Learning: Training Clean Models on Poisoned Data
Xidian University（西安电子科技大学）；University of Copenhagen（哥本哈根大学）；Sony AI（索尼人工智能）；University of Illinois at Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）；Deakin University（迪肯大学）
后门攻击已经成为深度神经网络（DNN）的主要安全威胁。虽然现有的防御方法在检测或删除后门方面表现出了很好的效果，但目前尚不清楚是否可以设计出强大的训练方法来防止后门触发器首先被注入到训练模型中。本文介绍了\emph{anti-backdoor learning}的概念，旨在对带有后门病毒的数据进行训练\emph{clean}模型。我们将整个学习过程框架为学习数据的\emph{clean}和\emph{backdoor}部分的双重任务。从这个角度来看，我们确定了后门攻击的两个固有特征作为它们的弱点：1）模型学习后门数据比学习干净数据快得多，攻击越强，模型收敛于后门数据的速度就越快; 2）后门任务与特定的类（后门目标类）相关联。基于这两个弱点，我们提出了一个通用的学习方案，反后门学习（ABL），在训练过程中自动防止后门攻击。ABL为标准训练引入了两阶段的\emph{gradient ascent}机制，以1）帮助在早期训练阶段隔离后门示例，以及2）在后期训练阶段打破后门示例与目标类之间的相关性。通过对多个基准数据集进行针对10种最先进攻击的广泛实验，我们凭经验证明，在后门中毒数据上训练的ABL模型与在纯粹干净数据上训练的模型具有相同的性能。代码可在\url{https://github.com/bboylyg/ABL}上获得。
2021-12-01 cs.AI cs.LG
Identifying Backdoored Graphs in Graph Neural Network Training: An Explanation-Based Approach with Novel Metrics
Illinois Institute of Technology（伊利诺伊理工学院）
本文提出基于图级解释的新方法，通过提取和转换GNN解释机制的二次输出，开发了七种创新指标以有效检测图神经网络的后门攻击，并通过多个基准数据集验证了方法的有效性。
2026-05-10 cs.AI cs.LG
Robust Backdoor Removal by Reconstructing Trigger-Activated Changes in Latent Representation
NTT Social Informatics Laboratories（NTT社会信息实验室）
针对现有后门防御因TAC值估计不准导致后门神经元识别精度低的问题，提出通过凸二次优化重构潜在表示TAC值、检测小L²范数扰动识别中毒类并微调移除后门的方法，在多数据集上实现更优后门抑制与高干净准确率。
2025-11-12 cs.CR cs.LG
Poisoning Network Flow Classifiers
Northeastern University（东北大学）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
本文研究针对网络流量流分类器的干净标签后门投毒，利用模型可解释性及生成式贝叶斯网络构造低投毒率、高隐蔽性触发器。
2023-06-02 cs.CR cs.LG
PolicyCleanse: Backdoor Detection and Mitigation in Reinforcement Learning
University of Maryland, College Park（马里兰大学帕克分校）；Simular Research（Simular研究院）；Northwestern University（西北大学）；UC Riverside（加州大学河滨分校）
针对多智能体强化学习中的特洛伊木马后门威胁，本文提出PolicyCleanse方法，利用特洛伊智能体累积奖励下降的特性检测后门及触发动作，并结合机器遗忘技术缓解后门，实验证明其检测准确且胜率比基线至少高3%。
2023-09-14 cs.AI cs.LG
Rethinking Backdoor Attacks
MIT（麻省理工学院）
该研究指出无训练数据结构信息时后门攻击无法被通用检测，梳理现有防御的潜在假设，并基于后门是训练数据最强特征的形式化假设，提出带理论保证且实用的后门检测新原语与算法。
2023-07-19 cs.CR cs.LG stat.ML
XGBD: Explanation-Guided Graph Backdoor Detection
University of Georgia（佐治亚大学）；New Jersey Institute of Technology（新泽西理工学院）
本文提出解释引导的图后门检测方法XGBD，利用图拓扑信息通过解释方法提取判别性子图，有效区分后门样本与干净样本，并在多个数据集上验证了其有效性和可解释性。
2023-08-08 cs.CR cs.LG cs.SI
Exploiting Machine Unlearning for Backdoor Attacks in Deep Learning System
Singapore Management University（新加坡管理大学）；University of Virginia（弗吉尼亚大学）；Zhejiang University（浙江大学）
该研究提出一种基于机器遗忘的新型黑盒后门攻击方法，通过投毒与缓解数据训练模型后提交遗忘请求激活后门，并提出对应检测缓解方法，实验验证了攻击可行性及分片对攻防的影响。
2023-12-13 cs.CR cs.LG
Architectural Neural Backdoors from First Principles
University of Cambridge（剑桥大学）；University of Oxford（牛津大学）；Imperial College London（伦敦帝国学院）；University of Toronto（多伦多大学）
本文提出了一种无需人工监督即可针对任意触发模式植入架构后门的方法，对架构后门进行了12种分类，并通过用户研究和语言模型对比揭示了其检测难度，强调了加强ML系统防御的必要性。
2024-02-10 cs.AI cs.CR cs.CV
Backdoor Mitigation in Deep Neural Networks via Strategic Retraining
AUDI AG（奥迪股份公司）；University of Twente（特温特大学）
本文提出一种无需后门先验知识的策略性重训练方法，能有效移除深度神经网络中由恶意攻击或不当训练引入的后门，在多个中型示例上表现良好。
2022-12-14 cs.CR cs.LG cs.LO
EX-RAY: Distinguishing Injected Backdoor from Natural Features in Neural Networks by Examining Differential Feature Symmetry
Purdue University（普渡大学）；Rutgers University（罗格斯大学）
后门攻击向模型注入恶意行为，使得嵌入有触发器的输入被错误分类为攻击者所需的目标标签。然而，自然特征可能表现得像触发器，一旦嵌入就会导致错误分类。虽然它们是不可避免的，但错误地将它们识别为注入的触发器会导致后门扫描中的错误警告。因此，一个突出的挑战是区分自然特征和注入的后门。我们开发了一种新的对称特征差分方法，该方法可以识别分离两个类的最小特征集。如果相应的触发器包含的特征不同于区分受害者和目标类的特征集，则认为后门被注入。我们在数以千计的模型上评估了这项技术，包括来自TrojAI第2-4轮比赛的干净和木马模型以及ImageNet上的一些模型。现有的后门扫描技术可能产生数百个假阳性（即，被识别为特洛伊木马的干净模型）。我们的技术消除了78-100%的误报（通过最先进的扫描仪ABS），误报率小幅增加0- 30%，实现了17-41%的整体准确性提高，并有助于在排行榜上实现最佳性能。它还提高了其他扫描仪的性能。它优于使用L2距离和归因技术的假阳性去除方法。我们还展示了它在检测许多语义后门攻击方面的潜力。
2021-03-17 cs.AI cs.CR cs.LG
Attack of the Tails: Yes, You Really Can Backdoor Federated Learning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
由于其分散的性质，联邦学习（FL）在训练期间以后门的形式适用于对抗攻击。后门的目标是破坏训练模型在特定子任务上的性能（例如，将绿色汽车归类为青蛙）。在文献中已经介绍了一系列FL后门攻击，以及防御它们的方法，目前FL系统是否可以被定制为对后门具有鲁棒性是一个悬而未决的问题。在这项工作中，我们提供了相反的证据。我们首先确定，在一般情况下，对后门的鲁棒性意味着模型对对抗性示例的鲁棒性，这本身就是一个主要的开放问题。此外，在FL模型中检测后门的存在不太可能假设一阶预言或多项式时间。我们夫妇我们的理论结果与一个新的家庭的后门攻击，我们称之为边缘情况后门。边缘情况后门迫使模型对看似简单的输入进行错误分类，但这些输入不太可能是训练或测试数据的一部分，即，他们生活在输入分布的尾部。我们解释了这些边缘案例后门如何导致令人讨厌的失败，并可能对公平性产生严重影响，并展示了在对手方面进行仔细调整，可以将它们插入一系列机器学习任务（例如，图像分类、OCR、文本预测、情感分析）。
2020-07-09 cs.CR cs.DC cs.LG
Detection of Backdoors in Trained Classifiers Without Access to the Training Set
School of Electrical Engineering and Computer Science, The Pennsylvania State University（宾夕法尼亚州立大学电气工程与计算机科学学院）；Anomalee Inc.（Anomalee 公司）
最近，提出了一种特殊类型的针对深度神经网络（DNN）分类器的数据投毒（DP）攻击，称为后门。这些攻击并不寻求降低分类准确性，而是让分类器在测试示例中出现后门模式时学习分类到目标类。发起后门攻击不需要知道分类器或其训练过程-它只需要能够用（足够数量的）包含足够强的后门模式（标记为目标类）的样本来毒害训练集。在这里，我们解决了DNN图像分类器中的后门攻击的训练后检测，在现有的作品中很少考虑，其中防御者无法访问中毒的训练集，而只能访问训练的分类器本身，以及从分类域中清除示例。这是一个重要的场景，因为经过训练的分类器可能是例如将与许多用户共享的电话应用程序的基础。因此，在训练后检测后门可能会发现广泛的攻击。我们提出了一种针对不可感知的后门攻击的纯无监督异常检测（AD）防御，即：i）检测训练的DNN是否受到后门攻击; ii）推断检测到的攻击中涉及的源和目标类; iii）我们甚至证明可以准确估计后门模式。我们测试我们的AD方法，与替代防御相比，几个后门模式，数据集和攻击设置，并证明其可扩展性。我们的防御基本上需要设置一个单一的超参数（检测阈值），例如，可以选择该参数来修复系统的误报率。
2020-08-19 cs.CR cs.CV cs.LG
Post-Training Detection of Backdoor Attacks for Two-Class and Multi-Attack Scenarios
Pennsylvania State University（宾夕法尼亚州立大学）
后门攻击（BA）是对深度神经网络分类器的新兴威胁。受害者分类器将预测攻击者期望的目标类，只要测试样本嵌入有用于毒害分类器训练集的相同后门模式（BP）。检测分类器是否受到后门攻击在实践中并不容易，特别是当防御者，例如，下游用户无法访问分类器的训练集。这一挑战在这里通过逆向工程防御（RED）来解决，该防御已被证明在多个领域具有最先进的性能。然而，当仅存在{ \it两个类}或存在{ \it多个攻击}时，现有RED不适用。这些情况下，首先研究在当前的文件中，在实际的限制下，防御者既不能访问分类器的训练集，也不能监督干净的参考分类器训练相同的域。我们提出了一个基于BP反向工程和一个新的{ \it预期可转移性}（ET）统计的检测框架。我们表明，我们的ET统计是有效的{ \it使用相同的检测阈值}，无论分类域，攻击配置，和BP反向工程算法，使用。在六个基准数据集上证明了我们方法的优异性能。值得注意的是，我们的检测框架也适用于具有多种攻击的多类场景。代码可在https://github.com/zhenxianglance/2ClassBADetection上获得。
2022-03-14 cs.CR cs.LG
CodePurify: Defend Backdoor Attacks on Neural Code Models via Entropy-based Purification
Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Beihang University（北京航空航天大学）；York University（约克大学）；Lassonde School of Engineering（拉桑德工程学院）
本文提出 CodePurify，利用置信度驱动的熵度量检测并定位代码中的后门触发器，再以掩码语言模型替换触发器，在多种攻击、任务和模型上显著提升防御效果。
2024-10-26 cs.CR cs.LG
Jailbreaking as a Reward Misspecification Problem
The University of Hong Kong（香港大学）；Huawei Noah’s Ark Lab（华为诺亚实验室）
本文提出将LLM越狱攻击视为奖励误规范问题，引入ReGap度量并开发ReMiss系统，在AdvBench上实现最先进攻击成功率，且攻击可迁移至闭源模型，为提升模型安全性提供新视角。
2025-04-19 cs.CL cs.LG
Identifying a Training-Set Attack's Target Using Renormalized Influence Estimation
University of Oregon（俄勒冈大学）
有针对性的训练集攻击将恶意实例注入训练集中，导致训练模型错误标记一个或多个特定的测试实例。这项工作提出了目标识别的任务，它确定一个特定的测试实例是否是训练集攻击的目标。目标识别可以与敌对实例识别相结合，以发现（并删除）攻击实例，从而在对其他预测影响最小的情况下减轻攻击。我们不是专注于单一的攻击方法或数据模式，而是建立在影响估计的基础上，它量化了每个训练实例对模型预测的贡献。我们发现，现有的影响估计的实际性能差，往往来自于他们的过度依赖于训练实例和迭代与大的损失。我们的重正化影响估计器解决了这个弱点;它们在对抗和非对抗环境中识别有影响力的训练样本组方面远远优于原始估计器，甚至可以找到100%的对抗训练实例，没有干净的数据误报。然后，目标识别简化为检测具有异常影响值的测试实例。我们展示了我们的方法在各种数据域（包括文本，视觉和语音）的后门和中毒攻击上的有效性，以及针对灰盒，自适应攻击者的有效性，该攻击者专门优化了对抗性实例以逃避我们的方法。我们的源代码可在https://github.com/ZaydH/target_identification上获得。
2022-09-05 cs.CR cs.LG
PBP: Post-training Backdoor Purification for Malware Classifiers
PBP是一种后训练方法，通过调节批量归一化层统计特性，有效净化恶意软件分类器中的后门，显著降低攻击成功率。
2026-02-12 cs.AI cs.CR cs.LG
Can You Really Backdoor Federated Learning?
Cornell University（康奈尔大学）；Google（谷歌）
联邦学习的分散性使得检测和防御对抗攻击成为一项具有挑战性的任务。本文重点研究联邦学习环境中的后门攻击，其中对手的目标是降低模型在目标任务上的性能，同时保持主任务的良好性能。与现有的作品不同，我们允许非恶意客户端从目标任务中正确标记样本。我们进行了全面的研究后门攻击和防御的EMNIST数据集，现实生活中，用户分区，和非iid数据集。我们观察到，在没有防御的情况下，攻击的性能在很大程度上取决于对手的存在和目标任务的“复杂性”。此外，我们表明，范数裁剪和"弱"差分隐私减轻攻击，而不损害整体性能。我们已经在TensorFlow Federated（TFF）中实现了攻击和防御，TFF是一个用于联邦学习的TensorFlow框架。通过开源我们的代码，我们的目标是鼓励研究人员贡献新的攻击和防御，并在标准的联邦数据集上对其进行评估。
2019-12-02 cs.CR cs.LG stat.ML
SPECTRE: Defending Against Backdoor Attacks Using Robust Statistics
University of Washington（华盛顿大学）
现代机器学习越来越需要对来自多个来源的大量数据进行训练，但并非所有数据都是可信的。一个特别值得关注的场景是，当一小部分中毒数据被攻击者指定的水印触发时，会改变训练模型的行为。这样一个受损的模型将不被注意到，因为该模型是准确的，否则。已经有一些有希望的尝试使用这种模型的中间表示来将损坏的示例与干净的示例分开。然而，这些防御措施只有在中毒样本的特定光谱特征足够大以进行检测时才有效。现有的防御措施无法抵御各种攻击。我们提出了一种新的防御算法，使用强大的协方差估计，以放大损坏的数据的频谱特征。这种防御提供了一个干净的模型，完全消除了后门，即使在以前的方法没有希望检测到中毒的例子的政权。代码和预训练模型可在https://github.com/SewoongLab/spectre-defense上获得。
2021-04-22 cs.AI cs.LG stat.ML
The Power of Backdoor Absorption in Community Training
Université Paris-Saclay, CEA LIST（巴黎萨克雷大学，CEA LIST）
研究在分散训练中后门攻击问题，通过量化最小审计开销，将注入-吸收动态形式化为离散时间马尔可夫链，证明结合自然吸收等策略可使对手成功概率降为零，实证显示能有效抑制后门且效用无退化，为安全关键型AI提供高效防御。
2026-07-09 cs.CR cs.LG
UMD: Unsupervised Model Detection for X2X Backdoor Attacks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对现有方法无法检测多源多目标X2X后门攻击的问题，提出首个无监督检测方法UMD，通过可迁移性统计和聚类选择可疑类别对，并聚合逆向触发器大小进行异常检测，在三个数据集上超越有监督SOTA。
2023-11-15 cs.CR cs.CV cs.LG
