Activation Gradient based Poisoned Sample Detection Against Backdoor Attacks
针对后门攻击中的中毒样本检测,提出基于激活梯度循环分布(GCD)的三阶段检测方法AGPD,利用目标类GCD分散度差异识别目标类,并依据GCD中中毒与干净样本的分离过滤中毒样本,实验验证其优于现有方法。
2024-05-28 cs.CR
PoisonedGNN: Backdoor Attack on Graph Neural Networks-based Hardware Security Systems
图神经网络(GNN)在检测知识产权(IP)盗版和硬件木马(HT)方面取得了巨大成功。然而,机器学习社区已经证明,GNN容易受到数据投毒攻击,这导致GNN在具有预定义后门触发器(使用精心制作的子图实现)的图上表现异常。因此,必须确保GNN的采用不应在关键安全框架中引入安全漏洞。对GNN的现有后门攻击生成具有特定大小/密度的随机子图以充当后门触发器。然而,对于布尔电路,后门触发器不能被随机化,因为添加的结构不应该影响设计的功能。我们探索这种威胁,并开发PoisonedGNN作为硬件设计背景下对GNN的第一个后门攻击。我们设计并注入后门触发器到寄存器传输或门级表示的给定设计,而不影响功能,以逃避一些基于GNN的检测程序。为了证明PoisonedGNN的有效性,我们考虑两个案例研究:(i)隐藏HTs和(ii)IP盗版。我们在TrustHub数据集上的实验表明,PoisonedGNN可以从基于GNN的高级检测平台中隐藏HTs和IP盗版,攻击成功率高达100%。
2023-03-24 cs.CR
Robustness Inspired Graph Backdoor Defense
The Pennsylvania State University(宾夕法尼亚州立大学)
本文针对图神经网络后门攻击提出基于随机边丢弃的检测方法和鲁棒训练策略,可有效识别投毒节点、降低攻击成功率并保持干净准确率。
2025-03-12 cs.CR cs.LG
Model Agnostic Defence against Backdoor Attacks in Machine Learning
Singapore University of Technology and Design(新加坡科技设计大学)
机器学习(ML)已经自动化了我们的许多日常决策领域,如教育,就业和驾驶自动化。ML的持续成功在很大程度上取决于我们信任所使用模型的能力。最近,开发了一种称为后门攻击的新型攻击。这些攻击破坏了用户对ML模型的信任。在这项工作中,我们提出了NEO,一个模型不可知的框架,以检测和减轻这种后门攻击的图像分类ML模型。对于一个给定的图像分类模型,我们的方法分析它收到的输入,并确定该模型是否是后门。除了这个功能,我们还通过确定中毒图像的正确预测来减轻这些攻击。NEO的一个吸引人的特点是,它可以首次隔离和重建后门触发器。近地天体也是第一种防御方法,据我们所知,这完全是黑箱。我们已经实现了NEO,并根据三种最先进的中毒模型对其进行了评估。这些模型包括高度关键的应用,如交通标志检测(USTS)和面部检测。在我们的评估中,我们表明,NEO可以检测$\approx$ 88%的中毒输入,它是一样快,为4.4毫秒每输入图像。我们还重建中毒的输入,为用户有效地测试他们的系统。
2022-03-31 cs.CR cs.LG
PiDAn: A Coherence Optimization Approach for Backdoor Attack Detection and Mitigation in Deep Neural Networks
New York University(纽约大学);New York University Abu Dhabi(纽约大学阿布扎比分校);Tandon School of Engineering(坦登工程学院)
本文提出基于相干性优化的PiDAn算法,通过学习样本级权重向量区分真实与污染数据表征,在GTSRB和ILSVRC2012数据集上有效检测并缓解深度神经网络后门攻击。
2022-03-26 cs.CR cs.LG
Universal Jailbreak Backdoors from Poisoned Human Feedback
ETH Zurich(苏黎世联邦理工学院);ETH AI Center(ETH AI中心)
本文提出一种通过中毒RLHF训练数据在大型语言模型中植入“越狱后门”的新威胁,该后门触发词可绕过对齐实现通用越狱,研究发现其比传统后门更强大且更难植入,并发布了相关基准。
2024-04-29 cs.AI cs.CL cs.CR
Backdoor Attack against NLP models with Robustness-Aware Perturbation defense
University of saarland(萨尔大学)
后门攻击旨在将隐藏的后门嵌入到深度神经网络(DNN)中,使得被攻击的模型在良性样本上表现良好,而如果隐藏的后门被攻击者定义的触发器激活,则其预测将被恶意改变。这种威胁可能发生在培训过程没有完全控制的情况下,例如在第三方数据集上进行培训或采用第三方模型。针对这类后门攻击,已经有很多研究和不同的防御方法,其中之一是基于鲁棒性感知扰动的防御方法。该方法主要利用了中毒样本和干净样本之间的鲁棒性差距。在我们的工作中,我们通过使用对抗训练步骤控制中毒样本和干净样本之间的鲁棒性差距来打破这种防御。
2022-04-08 cs.CR cs.LG
ProtegoFed: Backdoor-Free Federated Instruction Tuning with Interspersed Poisoned Data
School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机学院);National University of Singapore(新加坡国立大学);Ant Group(蚂蚁集团)
ProtegoFed通过频域梯度和全局二次聚类机制,实现无后门的联邦指令微调,有效检测并净化跨客户端的毒数据。
2026-02-28 cs.CR
ToxScreen: Detecting Whether an LLM Has Been Poisoned
University of Sheffield(谢菲尔德大学);Yale University(耶鲁大学);University of Alabama(阿拉巴马大学);Arcadia Impact(阿卡迪亚影响力)
本文提出ToxScreen基准,研究现实条件下防御者能否恢复LLM的后门触发器,发现令牌查找方法可有效恢复触发器,且易越狱模型是有用信号,相关模型与代码已公开。
2026-07-30 cs.CR cs.LG
Backdoor Defense via Adaptively Splitting Poisoned Dataset
Tsinghua University(清华大学);Tencent Security Zhuque Lab(腾讯安全朱雀实验室);University of Oxford(牛津大学);Tencent Security Platform Department(腾讯安全平台部);Peng Cheng Laboratory(鹏城实验室)
已经研究了后门防御以减轻深度神经网络(DNN)被后门攻击并因此被恶意改变的威胁。由于DNN通常采用来自不受信任的第三方的一些外部训练数据,因此在训练阶段期间的鲁棒后门防御策略是重要的。我们认为,训练时间防御的核心是选择有毒样本,并妥善处理它们。在这项工作中,我们将统一框架中的训练时防御总结为将中毒数据集分为两个数据池。在我们的框架下,我们提出了一个自适应分裂基于子网的防御(ASD)。具体地说,我们应用损失引导分裂和元学习启发分裂动态更新两个数据池。通过分离干净数据池和污染数据池,ASD在训练过程中成功防御了后门攻击。在多个基准数据集和DNN模型上针对六种最先进的后门攻击进行的大量实验证明了我们的ASD的优越性。我们的代码可在https://github.com/KuofengGao/ASD上获得。
2023-03-23 cs.CR cs.CV
SpeechGuard: Online Defense against Backdoor Attacks on Speech Recognition Models
研究针对语音识别模型运行时的后门攻击,提出SpeechGuard在线防御管道,改进STRIP方法为S-STRIP检测过滤中毒样本,利用时频掩蔽等净化样本,经实验验证其能有效减轻后门威胁并维持预测准确率。
2026-07-20 cs.CR cs.LG cs.SD
RPP: A Certified Poisoned-Sample Detection Framework for Backdoor Attacks under Dataset Imbalance
Old Dominion University(旧 Dominion 大学);University of Texas at El Paso(德克萨斯大学埃尔帕索分校);University of Central Florida(中央佛罗里达大学);Iowa State University(爱荷华州立大学);University of Arizona(亚利桑那大学)
RPP通过随机概率扰动框架,在黑盒环境下有效检测后门攻击,尤其在数据不平衡情况下表现优异。
2026-10-12 cs.CR cs.CV cs.LG
Poison as a Cure: Detecting & Neutralizing Variable-Sized Backdoor Attacks in Deep Neural Networks
Nanyang Technological University(南洋理工大学)
深度学习模型最近被证明容易受到后门中毒的攻击,这是一种阴险的攻击,受害者模型正确预测干净的图像,但在添加触发毒药模式时将相同的图像分类为目标类。这种有毒模式可以被对手嵌入到训练数据集中。现有的防御在某些条件下是有效的,例如小尺寸的中毒模式,关于中毒训练样本的比例的知识,或者当经过验证的干净数据集可用时。由于防御者可能没有这样的先验知识或资源,我们提出了一种防御后门中毒,即使在这些先决条件不满足时也是有效的。它由几个部分组成:一个是提取后门中毒信号,检测中毒目标和基类,并从干净的样本中过滤出中毒。我们防御的最后一部分涉及在一个用提取的中毒信号增强的数据集上重新训练中毒模型,并对中毒样本进行纠正性重新标记以中和后门。我们的方法已被证明是有效的防御后门攻击,使用小型和大型的毒药模式对九个不同的目标为基础的类对从CIFAR10数据集。
2019-11-19 cs.CR cs.CV cs.LG
Mellivora Capensis: A Backdoor-Free Training Framework on the Poisoned Dataset without Auxiliary Data
本文针对无干净辅助数据条件下的后门防御难题,提出无需干净数据的后门防御框架MeCa,使训练者能直接在中毒数据集上训练出干净模型。
2025-09-20 cs.CR
Bypassing Backdoor Detection Algorithms in Deep Learning
National University of Singapore(新加坡国立大学)
深度学习模型容易受到对其训练数据、参数和输入样本的各种对抗性操作的影响。特别地,对手可以修改训练数据和模型参数以将后门嵌入到模型中,因此如果输入包含后门特征(被称为后门触发器(例如,图像上的印记)。然而,中毒模型在干净数据上的行为保持不变。许多检测算法被设计为通过中毒模型中敌对和干净输入样本的潜在表示之间的统计差异来检测输入样本或模型参数上的后门。在本文中,我们设计了一个对抗性后门嵌入算法,可以绕过现有的检测算法,包括最先进的技术。我们设计了一种自适应对抗训练算法,优化了模型的原始损失函数,并最大限度地提高了中毒数据和干净数据的隐藏表示的不可恢复性。这项工作要求设计的恶意感知防御机制的后门检测。
2020-06-06 cs.CR cs.LG stat.ML
UltraClean: A Simple Framework to Train Robust Neural Networks against Backdoor Attacks
UltraClean通过简化污染样本识别和利用误差放大效应,有效防御脏标签和清洁标签后门攻击。
2025-12-04 cs.CR
Neural Polarizer: A Lightweight and Effective Backdoor Defense via Purifying Poisoned Features
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院)
提出神经偏振器方法,在带后门模型中插入可学习线性变换层,通过双层优化净化中毒特征,以更少数据和更高效率防御后门攻击。
2023-06-29 cs.AI cs.CR
CBPF: Filtering Poisoned Data Based on Composite Backdoor Attack
School of Computer Science and Technology, Zhejiang Gongshang University(浙江工商大学计算机科学与技术学院);School of Mathematical and Computational Sciences, Massey University(梅西大学数学与计算科学学院)
针对后门攻击的投毒数据过滤问题,提出三阶段过滤方法CBPF,利用复合后门攻击特性区分投毒与干净样本,在多个数据集上实现了极高的过滤成功率且模型准确率不受影响。
2024-06-23 cs.AI cs.CR
When Backdoors Speak: Understanding LLM Backdoor Attacks Through Model-Generated Explanations
Columbia University(哥伦比亚大学);Nanyang Technological University(南洋理工大学);Meta AI;Rutgers University(罗格斯大学)
本文利用 LLM 为自身决策生成自然语言解释,比较干净与有毒输入,揭示后门模型在 token 层和注意力层面的异常解释机制,并提出可解释性检测框架。
2025-02-16 cs.AI cs.CR
Defending Against Backdoor Attacks by Layer-wise Feature Analysis
Universitat Rovira i Virgili(罗维拉-威尔吉利大学);Tsinghua University(清华大学)
训练深度神经网络(DNN)通常需要大量的训练数据和计算资源。负担不起的用户可能更愿意将培训外包给第三方或求助于公开的预训练模型。不幸的是,这样做有利于新的训练时间攻击(即,后门攻击)。这种攻击的目的是诱导包含对手指定的触发模式的输入样本的错误分类。在本文中,我们首先进行了逐层的有毒和良性样本的目标类的特征分析。我们发现,良性和中毒样本之间的特征差异往往在关键层最大,这并不总是在现有的防御中通常使用的,即完全连接层之前的层。我们还演示了如何根据良性样本的行为来定位这个关键层。然后,我们提出了一个简单而有效的方法来过滤有毒的样本,通过分析可疑和良性样本之间的特征差异在关键层。我们在两个基准数据集上进行了大量的实验,证实了我们的防御的有效性。
2023-02-24 cs.CR cs.LG
Revisiting Data-Free Knowledge Distillation with Poisoned Teachers
Michigan State University(密歇根州立大学);Virginia Tech(弗吉尼亚理工大学);Sony AI(索尼人工智能研究所)
针对不可信教师模型可能经无数据KD迁移后门的风险,提出首个插件式防御方法ABD,可在保持下游性能的同时削弱后门知识迁移。
2023-06-04 cs.CR cs.LG
Dynamic Backdoors with Global Average Pooling
Delft University of Technology(代尔夫特理工大学);Radboud University(拉德堡德大学);University of Padua(帕多瓦大学)
外包培训和机器学习即服务导致了新的攻击媒介,如后门攻击。这种攻击在神经网络中嵌入秘密功能,当触发器被添加到其输入时激活。在文献中的大多数作品中,触发器是静态的,无论是在位置还是模式方面。各种检测机制的有效性取决于此属性。最近的研究表明,图像分类中的对策,如神经净化和ABS,可以通过动态触发器绕过,这些触发器无论其模式和位置如何都是有效的。尽管如此,这种后门的要求很高,因为它们需要很大比例的有毒训练数据。在这项工作中,我们是第一个表明,动态后门攻击可能会发生,由于一个全球平均池层,而不增加中毒的训练数据的百分比。然而,我们在声音分类、文本情感分析和图像分类中的实验表明,这在实践中是非常困难的。
2022-03-04 cs.CR cs.LG
A Unified Evaluation of Textual Backdoor Learning: Frameworks and Benchmarks
Tsinghua University(清华大学);Huazhong University of Science and Technology(华中科技大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
文本后门攻击是对NLP系统的一种实际威胁。通过在训练阶段注入后门,对手可以通过预定义的触发器控制模型预测。随着各种攻击和防御模型的提出,进行严格的评估具有重要意义。然而,我们在以前的后门学习评估中强调了两个问题:(1)真实场景之间的差异(例如,释放中毒的数据集或模型)被忽视,我们认为每个场景都有自己的限制和关注点,因此需要特定的评估协议;(2)评估指标只考虑攻击是否可以翻转模型对中毒样本的预测,并保留对良性样本的性能,但是忽略了中毒的样本也应该是隐蔽的和语义保持的。为了解决这些问题,我们将现有的工作分为三个实际场景,其中攻击者分别发布数据集,预训练模型和微调模型,然后讨论其独特的评估方法。在度量上,为了全面评估中毒样本,我们使用语法错误增加和困惑度差异来衡量隐蔽性,同时使用文本相似度来衡量有效性。在正式的框架,我们开发了一个开源的工具包OpenBackdoor,以促进文本后门学习的实现和评估。有了这个工具包,我们进行了广泛的实验,基准的攻击和防御模型下建议的范例。为了促进对中毒数据集的未充分探索的防御,我们进一步提出了CUBE,一个简单而强大的基于集群的防御基线。我们希望我们的框架和基准可以作为未来模型开发和评估的基石。
2022-11-01 cs.CL cs.CR cs.LG
Leveraging Diffusion-Based Image Variations for Robust Training on Poisoned Data
Technical University of Darmstadt(达姆施塔特工业大学);Centre for Cognitive Science(认知科学中心);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));Hessian Center for AI (hessian.AI)(黑森人工智能中心(hessian.AI))
针对人工难以检测数据集中后门攻击受污染样本的问题,提出利用扩散模型生成训练样本合成变体结合知识蒸馏的方法,可在可能受污染的数据上训练出兼具任务性能与后门抵抗能力的模型。
2023-12-13 cs.CR cs.CV cs.LG
Under-confidence Backdoors Are Resilient and Stealthy Backdoors
Baidu Research(百度研究院);VinUniversity(越南 VinUniversity 大学)
提出标签平滑后门攻击(LSBA),通过概率性标签修改降低模型过拟合,提升后门隐蔽性并保持高攻击成功率,同时支持手动控制预测概率。
2024-07-22 cs.CR cs.CV cs.LG
Detecting Backdoor Poisoning Attacks on Deep Neural Networks by Heatmap Clustering
University of Konstanz(康斯坦茨大学)
神经网络做出的预测可以被所谓的中毒攻击欺骗性地改变。一个特殊的情况是后门中毒攻击。我们研究了合适的检测方法,并介绍了一种新的方法,称为热图聚类。在那里,我们将$k$均值聚类算法应用于由最先进的可解释AI方法分层相关传播产生的热图。目标是将数据集中的中毒数据与未中毒数据分开。我们比较这种方法与类似的方法,称为激活聚类,它也使用$k$均值聚类,但适用于激活的某些隐藏层的神经网络作为输入。我们测试了这两种方法的性能标准后门中毒攻击,标签一致的中毒攻击和标签一致的中毒攻击,减少幅度贴纸。我们表明,热图聚类始终优于激活聚类。然而,当考虑标签一致的中毒攻击,后者的方法也产生良好的检测性能。
2022-04-27 cs.CR cs.LG
Data-Efficient Backdoor Attacks
University of Science and Technology of China(中国科学技术大学)
最近的研究证明,深度神经网络容易受到后门攻击。具体来说,通过将少量中毒样本混合到训练集中,可以恶意控制训练模型的行为。现有的攻击方法通过从良性集合中随机选择一些干净的数据,然后将触发器嵌入其中来构建这样的对手。然而,这种选择策略忽略了这样一个事实,即每个中毒的样品贡献不平等的后门注入,这降低了中毒的效率。本文将通过选择来提高中毒数据的处理效率作为一个优化问题,提出了一种过滤更新策略(FUS)来解决该问题,并在CIFAR-10和ImageNet-10上进行了实验,结果表明该方法是有效的:与随机选择策略相比,仅用47%~ 75%的中毒样本量就可以获得相同的攻击成功率。更重要的是,根据一个设置选择的对手可以很好地推广到其他设置,表现出很强的可移植性。我们的方法的原型代码现在可以在https://github.com/xpf/Data-Efficient-Backdoor-Attacks上获得。
2022-06-05 cs.AI cs.CR cs.CV
Backdoor Defense via Deconfounded Representation Learning
University of Science and Technology of China(中国科学技术大学);Hong Kong University of Science and Technology(香港科技大学)
深度神经网络(DNN)最近被证明容易受到后门攻击的攻击,攻击者通过向训练数据集中注入一些有毒的示例,在DNN模型中嵌入隐藏的后门。虽然已经做出了大量的努力来检测和删除带有后门的DNN中的后门,但仍然不清楚是否可以从中毒的数据集直接获得无后门的干净模型。本文首先构建了一个因果图来模拟中毒数据的生成过程,发现后门攻击是混淆者,它在输入图像和目标标签之间带来了虚假的关联,使得模型预测的可靠性降低。受因果理解的启发,我们提出了基于因果性的后门防御(CBD),以学习去基础表示进行可靠的分类。具体来说,一个后门模型被故意训练来捕捉混杂效应。另一个干净的模型致力于通过最小化来自后门模型的混杂表示的互信息并采用逐样本重新加权方案来捕获期望的因果效应。在多个基准数据集上对6种最先进的攻击进行了大量实验,验证了我们提出的防御方法在减少后门威胁的同时,在预测良性样本时保持了较高的准确性。进一步的分析表明,CBD也可以抵抗潜在的自适应攻击。代码可在\url{https://github.com/zaixizhang/CBD}上获得。
2023-03-13 cs.AI cs.CR cs.LG
From Poisoned to Aware: Fostering Backdoor Self-Awareness in LLMs
Purdue University(普渡大学);Columbia University(哥伦比亚大学)
针对LLMs的后门攻击,提出一种基于逆向工程强化学习的训练后框架,培养模型自我意识以识别植入触发器,实验显示能显著提升模型对后门风险的鲁棒性。
2025-10-05 cs.AI cs.CR
Acquiring Clean Language Models from Backdoor Poisoned Datasets by Downscaling Frequency Space
School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University(上海交通大学电子信息与电气工程学院)
本文通过傅里叶分析发现后门映射倾向低频收敛更快,提出MuScleLoRA在频率空间进行多尺度低秩适应与梯度对齐,促使模型优先学习高频干净映射,将多种后门攻击平均成功率降至15%以下,并泛化至BERT、RoBERTa、GPT2-XL和Llama2等模型。
2024-06-02 cs.AI cs.CL cs.CR
Training set cleansing of backdoor poisoning by self-supervised representation learning
Meta;Pennsylvania State University(宾夕法尼亚州立大学)
后门或特洛伊木马攻击是针对深度神经网络(DNN)分类器的一种重要类型的数据投毒攻击,其中训练数据集被少量样本中毒,每个样本都具有后门模式(通常是不可感知或无害的模式)并且被错误标记为攻击者的目标类别。当在后门中毒的数据集上训练时,DNN在大多数良性测试样本上表现正常,但当测试样本包含后门模式时(即,包含后门触发器)。在这里,我们专注于图像分类任务,并表明监督训练可以建立后门模式和相关的目标类之间的关联比正常功能和真正的类的起源。相比之下,自监督表示学习忽略了样本的标签,并根据图像的语义内容学习特征嵌入。因此,我们建议使用无监督的表示学习来避免强调后门中毒的训练样本,并为同一类的样本学习类似的特征嵌入。利用自监督表示学习发现的特征嵌入,提出了一种结合样本过滤和重新标记的数据清洗方法。在CIFAR-10基准数据集上的实验表明,该方法在抵御后门攻击方面达到了最先进的性能。
2023-03-14 cs.CR cs.CV cs.LG
Chameleon: Adapting to Peer Images for Planting Durable Backdoors in Federated Learning
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Hong Kong University of Science and Technology(香港科技大学)
本文提出联邦学习后门攻击方法 Chameleon,通过分析良性图像与被投毒图像的关系,利用对比学习增强后门持久性,使后门寿命较基线延长1.2至4倍。
2023-05-25 cs.CR cs.CV cs.LG
Shared Adversarial Unlearning: Backdoor Mitigation by Unlearning Shared Adversarial Examples
The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院)
该研究建立后门风险与对抗风险的关联,提出共享对抗性遗忘(SAU)方法,通过生成并遗忘共享对抗样本缓解后门效应,在多基准数据集和架构上实现了最优后门防御性能。
2023-07-20 cs.CR cs.LG
When Modalities Fail to Tango: Conformal Backdoor Detection in Multimodal Contrastive Learning
University of Macau(澳门大学);University of Electronic Science and Technology of China(电子科技大学)
针对多模态对比学习后门检测方法的缺陷,提出CASCADE两阶段共形框架,在CC3M数据集上实现高TPR下低FPR与高AUROC,可应对自适应攻击。
2026-08-06 cs.CR cs.CV cs.LG
Flareon: Stealthy any2any Backdoor Injection via Poisoned Augmentation
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);University of Cambridge(剑桥大学);University of Macau(澳门大学)
开放式软件供应链攻击一旦成功,可能会在关键任务应用程序中造成巨大损失。随着深度学习的开源生态系统蓬勃发展并变得越来越普遍,它们为攻击者提供了以前未开发的途径,可以在深度神经网络模型中注入恶意后门。本文提出了Flareon,这是一种小型的,隐形的,看似无害的代码修改,专门针对具有基于运动的触发器的数据增强管道。Flareon既不改变地面实况标签,也不修改训练损失目标,也不假设受害者模型架构、训练数据和训练超参数的先验知识。然而,它在训练上有一个令人惊讶的大分支--在Flareon下训练的模型学习强大的目标条件(或“any 2any”)后门。由此产生的模型可以表现出高的攻击成功率为任何目标的选择和更好的清洁精度比后门攻击,不仅抓住更大的控制,但也承担更多的限制攻击能力。我们还证明了Flareon对最近防御的有效性。Flareon是完全开源的,可在线提供给深度学习社区:https://github.com/lafeat/flareon。
2022-12-20 cs.CR cs.CV
Once Poisoned, Arbitrarily Controlled: A Programmable Backdoor in VLMs
该研究提出一种向VLM植入可编程后门的方法,通过启发式投毒策略和特征空间触发器隐写,可在推理时动态选择未见过的目标字幕并触发对应输出,攻击成功率高且能规避部分防御。
2026-08-12 cs.CR cs.CV
Detecting Backdoor Attacks via Similarity in Semantic Communication Systems
Georgia State University(佐治亚州立大学);University of Central Missouri(中密苏里大学);Montana State University(蒙大拿州立大学);East Carolina University(东卡罗来纳大学)
本文针对语义通信系统中的后门攻击,提出一种基于语义相似性的检测方法,无需修改模型结构或限制数据格式,通过分析语义特征偏差和阈值检测框架识别被投毒样本,实验验证了其高检测准确率和召回率。
2025-02-06 cs.CR cs.LG
DataElixir: Purifying Poisoned Dataset to Mitigate Backdoor Attacks via Diffusion Models
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
DataElixir利用扩散模型消除触发器特征并恢复良性特征,通过识别标签转换和分布差异净化中毒数据集,在9种攻击上有效缓解后门攻击且对良性准确率影响极小。
2023-12-20 cs.AI cs.CR cs.CV
BadApex: Backdoor Attack Based on Adaptive Optimization Mechanism of Black-box Large Language Models
College of information electrical and engineering(信息电气工程学院);China Agricultural University(中国农业大学)
提出BadApex,一种基于黑盒LLM自适应优化机制的后门攻击,通过生成与修改代理迭代精炼提示词生成中毒文本,提升语义一致性和文本质量,在防御下平均攻击成功率仍达96.75%。
2025-04-21 cs.CL cs.CR
Backdoor Secrets Unveiled: Identifying Backdoor Data with Optimized Scaled Prediction Consistency
University of Alberta(阿尔伯塔大学);Michigan State University(密歇根州立大学);Illinois Institute of Technology(伊利诺伊理工学院);DSO National Laboratories(新加坡国防科技局国家实验室);MIT-IBM Watson AI Lab, IBM Research(IBM研究院MIT-IBM沃森人工智能实验室)
本文提出一种基于优化缩放预测一致性的方法,无需干净数据或手动阈值,即可自动识别中毒数据集中的后门数据,在多种攻击下平均AUROC提升4%-36%。
2024-03-15 cs.AI cs.CR cs.LG
Incompatibility Clustering as a Defense Against Backdoor Poisoning Attacks
MIT(麻省理工学院)
本研究提出一种基于训练中数据子集不相容性的聚类机制,用于防御深度神经网络图像分类任务中的后门投毒攻击,可有效识别移除投毒数据,在多数场景下大幅降低攻击成功率且对干净准确率影响极小。
2023-04-27 cs.CR cs.LG stat.ML
How to Backdoor Image Knowledge Distillation
The Pennsylvania State University(宾夕法尼亚州立大学);Carnegie Mellon University Africa(卡内基梅隆大学非洲分校)
本文提出了一种通过污染知识蒸馏数据集来攻击学员模型的新方法,揭示了知识蒸馏过程中的安全漏洞。
2026-10-23 cs.AI cs.CR cs.LG
Stealthy Low-frequency Backdoor Attack against Deep Neural Networks
针对现有空间域后门攻击易被检测的问题,提出低通攻击,利用低通滤波器在频域注入后门,减少高频分量并保留语义信息,在极低污染率下实现高隐蔽性并成功绕过先进防御机制。
2023-05-10 cs.CR
Class-Conditional Neural Polarizer: A Lightweight and Effective Backdoor Defense by Purifying Poisoned Features
School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院);Shenzhen Key Laboratory of Crowd Intelligence Empowered Low-Carbon Energy Network(深圳市人群智能赋能低碳能源网络重点实验室)
提出类条件神经偏振器(CNPD)后门防御方法,通过融合模型预测标签与特征净化中毒样本,无需标签估计,兼顾防御效果与良性性能,提供三种实现变体。
2025-02-23 cs.AI cs.CR
Imperceptible and Robust Backdoor Attack in 3D Point Cloud
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Peng Cheng Laboratory(鹏城实验室);School of Data Science, the Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)(香港中文大学(深圳)数据科学学院);Shenzhen Research Institute of Big Data (SBRID)(深圳大数据研究院)
随着深度学习在处理点云数据方面的蓬勃发展,最近的工作表明,后门攻击对3D视觉应用构成了严重的安全威胁。攻击者通过使用触发器毒害一些训练样本来将后门注入3D模型,使得后门模型在干净样本上表现良好,但在触发器模式出现时表现恶意。现有的攻击通常将一些额外的点插入到点云中作为触发器,或者利用线性变换(例如,旋转)来构造中毒点云。然而,这些中毒样本的影响可能会被一些常用的3D点云预处理技术削弱甚至消除,例如,离群值去除或旋转增强。在本文中,我们提出了一种新的不可感知和强大的后门攻击(IRBA)来应对这一挑战。我们利用一个非线性和局部变换,称为加权局部变换(WLT),构造中毒的样本与独特的转换。由于WLT中存在多个超参数和随机性,很难产生两个相似的变换。因此,具有独特变换的中毒样品可能对上述预处理技术具有抗性。此外,由于固定的WLT所引起的失真的可控性和平滑性,所产生的中毒样本对于人类检查也是不可感知的。对三个基准数据集和四个模型进行的广泛实验表明,即使采用预处理技术,IRBA在大多数情况下也能实现80%以上的ASR,这显着高于之前的最新攻击。
2022-08-17 cs.CR cs.CV
Unlearning-Enhanced Website Fingerprinting Attack: Against Backdoor Poisoning in Anonymous Networks
针对匿名网络中网站指纹攻击易受隐蔽后门投毒影响的问题,提出融合机器反学习的方法,自动识别并清除投毒样本影响,在 CW/OW 设置下提升鲁棒性与运行效率。
2025-06-16 cs.CR cs.NI
DeepSight: Mitigating Backdoor Attacks in Federated Learning Through Deep Model Inspection
Technical University of Darmstadt(达姆施塔特工业大学)
联邦学习(FL)允许多个客户端在其私有数据上协作训练神经网络(NN)模型,而不会泄露数据。最近,针对FL的几次有针对性的中毒攻击已经被引入。这些攻击在最终模型中注入了后门,允许对手控制的输入被错误分类。针对后门攻击的现有对策是低效的,并且通常仅仅旨在从聚合中排除偏离模型。然而,这种方法也删除了具有偏差数据分布的客户端的良性模型,导致聚合模型对于此类客户端的性能较差。为了解决这个问题,我们提出了DeepSight,一种新的模型过滤方法,用于减轻后门攻击。它是基于三种新的技术,允许表征用于训练模型更新的数据的分布,并寻求测量细粒度的差异,在内部结构和输出的神经网络。使用这些技术,DeepSight可以识别可疑的模型更新。我们还开发了一个计划,可以准确地聚类模型更新。结合这两个组件的结果,DeepSight能够识别和消除包含具有高攻击影响的中毒模型的模型集群。我们还表明,可能未被检测到的中毒模型的后门贡献,可以有效地减轻现有的重量裁剪为基础的防御。我们评估了DeepSight的性能和有效性,并表明它可以减轻最先进的后门攻击,对良性数据的模型性能的影响可以忽略不计。
2022-01-03 cs.CR cs.LG
Black-box Backdoor Defense via Zero-shot Image Purification
University of Georgia(佐治亚大学);New Jersey Institute of Technology(新泽西理工学院)
本文提出零样本图像净化(ZIP)框架,通过线性变换破坏后门模式并用预训练扩散模型恢复语义信息,在无需模型内部信息和先验知识的黑盒场景下实现有效的后门防御。
2023-10-27 cs.AI cs.CR cs.CV
BeDKD: Backdoor Defense Based on Directional Mapping Module and Adversarial Knowledge Distillation
BeDKD通过方向映射模块和对抗知识蒸馏有效防御后门攻击,显著降低攻击成功率。
2026-01-14 cs.CR
Adjustable Text-Guided Backdoor Attacks with Natural-Word Triggers on Multimodal Pretrained Models
National Anti-Counterfeit Engineering Research Center, Huazhong University of Science and Technology(华中科技大学国家防伪工程技术研究中心);School of Electronic Information and Communications, Huazhong University of Science and Technology(华中科技大学电子信息与通信学院);Sydney AI Centre, The University of Sydney(悉尼大学悉尼人工智能中心)
本文提出一种基于文本的后门攻击方法,利用常见文本词汇作为触发器,提升攻击隐蔽性和实用性,并通过视觉对抗扰动调节模型对文本触发器的学习,实现可控的攻击效果。
2026-08-14 cs.CR cs.LG
Rethinking the Backdoor Attacks' Triggers: A Frequency Perspective
Virginia Tech(弗吉尼亚理工大学);University of Michigan(密歇根大学)
后门攻击一直被认为是对深度学习的严重安全威胁。这种攻击可以使模型在具有预定义触发器的输入上表现异常,并且仍然在干净数据上保持最先进的性能。虽然后门攻击已经从攻击者和防御者双方在图像域中进行了彻底的调查,但到目前为止还没有在频域中进行分析。本文首先从频率的角度重新审视现有的后门触发器,并进行了全面的分析。我们的研究结果表明,许多当前的后门攻击表现出严重的高频伪影,这些伪影在不同的数据集和分辨率上持续存在。我们进一步证明了这些高频伪影能够以98.50%的检测率简单地检测现有的后门触发器,而无需事先了解攻击细节和目标模型。承认以前的攻击的弱点,我们提出了一种实用的方法来创建平滑的后门触发器没有高频文物,并研究其可检测性。我们表明,现有的防御工程可以受益于将这些顺利触发到他们的设计考虑。此外,我们表明,检测器调谐到更强的光滑触发器可以推广到看不见的弱光滑触发器。简而言之,我们的工作强调了在深度学习中设计后门攻击和防御时考虑频率分析的重要性。
2022-01-25 cs.CR cs.LG
Rethinking the Trigger-injecting Position in Graph Backdoor Attack
Delft University of Technology(代尔夫特理工大学);Radboud University Nijmegen(拉德堡德大学奈梅亨分校);Ikerlan research centre(伊克兰研究中心)
本文研究图神经网络后门攻击中触发器注入位置的影响,提出 MIAS 和 LIAS 两种策略,发现注入最不重要区域的 LIAS 通常攻击效果更好,并通过解释技术揭示了原因。
2023-04-18 cs.CR cs.LG
ParaFuzz: An Interpretability-Driven Technique for Detecting Poisoned Samples in NLP
Purdue University(普渡大学)
ParaFuzz利用ChatGPT改写和模糊测试寻找最优提示以移除触发器,通过比较改写前后预测稳定性检测NLP后门中毒样本,在多种攻击和数据集上超越STRIP、RAP和ONION等基线方法。
2023-10-27 cs.CL cs.CR
SEEP: Training Dynamics Grounds Latent Representation Search for Mitigating Backdoor Poisoning Attacks
University College London(伦敦大学学院);Macquarie University(麦考瑞大学);The University of Melbourne(墨尔本大学)
针对高级后门投毒攻击防御不足的问题,本文提出 SEEP,利用训练动态高精度识别投毒样本并结合标签传播提升召回率,在保持干净测试准确率的同时显著降低攻击成功率。
2024-05-19 cs.CL cs.CR