On the Difficulty of Defending Contrastive Learning against Backdoor Attacks
Stony Brook University(石溪大学);Pennsylvania State University(宾夕法尼亚州立大学);Zhejiang University(浙江大学)
本研究通过提出TRL统一框架,揭示对比式与监督式后门攻击的机制差异,指出现有监督攻击防御手段难以适配对比学习后门攻击,强调需定制专属防御方案。
2023-12-14 cs.AI cs.CR cs.CV
Backdoor Vulnerabilities in Normally Trained Deep Learning Models
Purdue University(普渡大学);Rutgers University(罗格斯大学)
我们对正常训练的深度学习模型中的后门漏洞进行了系统的研究。它们与数据投毒注入的后门一样危险,因为两者都可以被同样利用。我们利用文献中20种不同类型的注入式后门攻击作为指导,并在正常训练的模型中研究它们的对应关系,我们称之为自然后门漏洞。我们发现自然后门广泛存在,大多数注入的后门攻击具有自然对应关系。我们对这些自然后门进行了分类,并提出了一个通用的检测框架。它在从互联网下载的56个正常训练的模型中发现了315个自然后门,涵盖了所有不同的类别,而现有的为注入后门设计的扫描器最多只能检测到65个后门。我们还研究了自然后门的根本原因和防御。
2022-11-29 cs.CR cs.LG
Elijah: Eliminating Backdoors Injected in Diffusion Models via Distribution Shift
Purdue University(普渡大学);The Chinese University of Hong Kong(香港中文大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);IBM Research(IBM研究院)
针对扩散模型的后门攻击,提出首个检测与移除框架Elijah,通过分布偏移实现接近100%检测率并几乎消除后门影响,同时保持模型效用。
2024-02-04 cs.AI cs.CR cs.LG
Technical Report: Assisting Backdoor Federated Learning with Whole Population Knowledge Alignment
Auburn University(奥本大学)
由于联邦学习(FL)的分布式特性,研究人员发现FL容易受到后门攻击的攻击,后门攻击的目的是在不破坏主任务性能的情况下将子任务注入FL。单次后门攻击在FL模型收敛时注入,对主任务和后门子任务都实现了高精度。然而,早期注入的单次后门攻击是无效的,因为:(1)由于来自正常本地更新的稀释效应,在注入时没有达到最大后门有效性;(2)后门效应快速减小,因为后门将被新到来的正常本地更新覆盖。在本文中,我们加强了早期注入单次后门攻击利用FL模型的信息泄漏。我们表明,如果客户端在模拟整个人口分布和梯度的数据集上训练,FL收敛可以加快。基于这一观察,我们提出了一个两阶段的后门攻击,其中包括一个初步阶段的后续后门攻击。在初始阶段,攻击者控制的客户端首先发起整体分布推断攻击,然后在与梯度和推断分布一致的本地制作的数据集上进行训练。受益于前期阶段,后期注入的后门实现更好的效果,因为后门效应将不太可能被正常的模型更新所稀释。在MNIST数据集上进行了大量的实验,以评估所提出的后门攻击的有效性。结果表明,提出的后门优于现有的后门攻击的成功率和寿命,即使在防御机制到位。
2022-07-25 cs.AI cs.LG
DECK: Model Hardening for Defending Pervasive Backdoors
Purdue University(普渡大学)
普遍存在的后门程序是由动态和普遍存在的输入扰动触发的。它们可以由攻击者故意注入,也可以自然存在于正常训练的模型中。它们具有与传统的静态和局部后门不同的性质,传统的静态和局部后门可以通过用某种固定模式扰动小的输入区域来触发,例如,纯色的补丁。现有的防御技术对传统后门非常有效。但是,它们可能无法很好地处理普遍存在的后门,特别是在后门删除和模型强化方面。在本文中,我们提出了一种新的模型加固技术,对普遍的后门,包括自然和注入后门。我们开发了一个通用的普适攻击的基础上增强了一个特殊的转换层的编码器-解码器架构。该攻击可以对广泛的现有普遍后门攻击进行建模,并通过类距离对其进行量化。因此,在对抗训练中使用从我们的攻击中获得的样本可以强化模型以对抗这些后门漏洞。我们对9个数据集的15个模型结构的评估表明,我们的技术可以在准确率下降不到1%的情况下平均扩大类距离59.65%,并且没有鲁棒性损失,优于对抗训练,通用对抗训练,MOTH等五种硬化技术。它可以将六种普遍后门攻击的攻击成功率从99.06%降低到1.94%,超过了七种最先进的后门移除技术
2022-06-18 cs.AI cs.CR cs.CV
Backdoor Attacks to Graph Neural Networks
Duke University(杜克大学)
在这项工作中,我们提出了第一个后门攻击图神经网络(GNN)。具体来说,我们提出了一个\emph{subgraph based backdoor attack}的GNN图分类。在我们的后门攻击中,一旦预定义的子图被注入测试图,GNN分类器就预测攻击者为测试图选择的目标标签。我们在三个真实世界的图数据集上的实证结果表明,我们的后门攻击是有效的,对GNN的预测准确性的影响很小。此外,我们推广了一种基于随机平滑的认证防御来抵御我们的后门攻击。我们的实证结果表明,防御在某些情况下是有效的,但在其他情况下无效,突出了我们的后门攻击的新防御的需要。
2021-12-17 cs.CR cs.LG
Few-shot Backdoor Attacks via Neural Tangent Kernels
University of Washington(华盛顿大学)
在后门攻击中,攻击者将损坏的示例注入训练集中。攻击者的目标是在测试输入中添加预定义的触发器时,使最终的训练模型预测攻击者所需的目标标签。这些攻击的核心是攻击的成功率和注入的损坏的训练样本的数量之间的权衡。我们提出这种攻击作为一种新的双层优化问题:构建强毒药的例子,最大限度地提高训练模型的攻击成功率。我们使用神经切线核来近似被攻击模型的训练动态,并自动学习强毒药示例。我们在CIFAR-10和ImageNet的子类上进行了实验,使用WideResNet-34和ConvNeXt架构进行周期性和补丁触发攻击,结果表明NTBA设计的中毒示例实现了90%的攻击成功率,注入的中毒示例数量比基线少十倍。我们提供了一个解释NTBA设计的攻击使用核线性回归分析。我们进一步证明了过度参数化的深度神经网络的脆弱性,这是由神经切线核的形状揭示的。
2022-10-12 cs.CR cs.LG
Undetectable Backdoors in Model Parameters: Hiding Sparse Secrets in High Dimensions
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Princeton University(普林斯顿大学)
提出Sparse Backdoor供应链攻击,通过注入带高斯抖动的结构化稀疏扰动在预训练图像分类器中植入可证不可检测后门,其检测难度等价于Sparse PCA,可抵御白盒区分。
2026-07-07 cs.AI cs.CR cs.LG
On the Permanence of Backdoors in Evolving Models
University of Chicago(芝加哥大学)
现有关于深度神经网络(DNN)训练时间攻击的研究,如后门,在很大程度上假设模型在训练后是静态的,并且训练成模型的隐藏后门无限期地保持活跃。在实践中,模型很少是静态的,而是不断发展以解决底层数据中的分布漂移。本文探讨了时变模型中的后门攻击行为,其模型权重通过微调不断更新以适应数据漂移。我们的理论分析显示了使用新数据进行微调是如何逐渐“擦除”注入的后门的,我们的实证研究说明了在各种训练和攻击设置下,时变模型“忘记”后门的速度有多快。我们还表明,使用智能学习率的新微调策略可以显着加速后门遗忘。最后,我们讨论了专门针对时变模型的新后门防御的必要性。
2023-02-08 cs.CR cs.CV cs.LG
Label-Consistent Backdoor Attacks
MIT(麻省理工学院)
深度神经网络已被证明容易受到后门攻击。具体来说,通过向训练集中注入少量恶意构造的输入,攻击者能够在训练模型中植入后门。这个后门可以在推理过程中被后门触发器激活,以完全控制模型的行为。虽然这种攻击非常有效,但它们主要依赖于对手注入任意的输入,这些输入通常是公然错误的。这些样本在人类检查时会引起怀疑,可能会揭示攻击。因此,为了使后门攻击不被发现,保持标签一致性至关重要--注入的输入与标签一致的条件。在这项工作中,我们利用对抗性扰动和生成模型来执行高效但标签一致的后门攻击。我们的方法是基于注入看似合理但难以分类的输入,因此导致模型依赖于(学习者)后门触发器。
2019-12-06 cs.CR cs.LG stat.ML
Backdoor Attacks Against Incremental Learners: An Empirical Evaluation Study
Harbin Institute of Technology(哈尔滨工业大学);Tsinghua University(清华大学)
本文实证评估了11种增量学习器在3种场景下对基于投毒的后门攻击的脆弱性,揭示了极低投毒比例(低至0.1%)下的跨任务攻击与后门知识泛化效应,并验证了基于激活聚类的防御机制可有效检测触发模式以缓解安全风险。
2023-05-28 cs.AI cs.CR cs.LG
Rethinking the Trigger-injecting Position in Graph Backdoor Attack
Delft University of Technology(代尔夫特理工大学);Radboud University Nijmegen(拉德堡德大学奈梅亨分校);Ikerlan research centre(伊克兰研究中心)
本文研究图神经网络后门攻击中触发器注入位置的影响,提出 MIAS 和 LIAS 两种策略,发现注入最不重要区域的 LIAS 通常攻击效果更好,并通过解释技术揭示了原因。
2023-04-18 cs.CR cs.LG
Awakening the Hydra: Stabilizing Multi-Concept Backdoor Injection in Text-to-Image Diffusion Models
Yangzhou University(扬州大学);Nanjing University(南京大学);Chongqing University(重庆大学);Southeast University(东南大学)
本文研究了在易受干扰的环境下多概念后门攻击的稳定性问题,提出 Hydra 框架,通过约束触发语义和协调跨任务交互,实现稳健且可控的多概念后门注入,实验表明 Hydra 在保持清洁生成质量的同时,有效激活后门。
2026-05-19 cs.CR cs.LG
BLAST: A Stealthy Backdoor Leverage Attack against Cooperative Multi-Agent Deep Reinforcement Learning based Systems
本文提出后门杠杆攻击方法 BLAST,通过仅在单个智能体中嵌入基于对手时空行为模式的隐蔽后门并篡改其奖励函数,即可攻击整个协作多智能体深度强化学习系统,在多个环境和算法上取得高攻击成功率。
2025-07-18 cs.AI cs.CR cs.LG
Backdoor Learning Curves: Explaining Backdoor Poisoning Beyond Influence Functions
本文提出统一框架,从增量学习和影响函数角度分析后门攻击有效性,发现超参数空间中存在干净准确率高但后门无效的区域,为防御提供新标准。
2024-12-16 cs.CR cs.LG
Unnoticeable Backdoor Attacks on Graph Neural Networks
The Pennsylvania State University(宾夕法尼亚州立大学)
图神经网络(GNNs)在节点分类和图分类等各种任务中取得了可喜的成果。最近的研究发现,GNN容易受到对抗攻击的攻击。然而,有效的图上的后门攻击仍然是一个悬而未决的问题。特别地,后门攻击通过将触发器和目标类标签附加到训练图中的一组节点来毒害图。然后,在中毒图上训练的后门GNN将被误导,一旦附加了触发器,就将测试节点预测为目标类。虽然有一些初步的努力,图后门攻击,我们的实证分析表明,他们可能需要一个大的攻击预算有效的后门攻击和注入的触发器可以很容易地检测和修剪。因此,在本文中,我们研究了一个新的问题,不可察觉的图后门攻击有限的攻击预算。为了充分利用攻击预算,我们建议在中毒阶段故意选择注入触发器和目标类标签的节点。采用自适应触发发生器来获取不易被注意到的有效触发。针对各种防御策略在真实数据集上进行的大量实验表明,我们提出的方法在进行有效的不明显的后门攻击方面是有效的。
2023-02-11 cs.CR cs.LG
UNICORN: A Unified Backdoor Trigger Inversion Framework
Rutgers University(罗格斯大学)
本文针对现有后门触发器逆向方法无法泛化多种触发器类型的问题,正式定义了注入不同空间的触发器及逆向问题,并提出统一框架 UNICORN,有效且通用地在 DNN 中逆向后门触发器。
2023-04-05 cs.AI cs.CR cs.CV
Watch Out for the Lifespan: Evaluating Backdoor Attacks Against Federated Model Adaptation
CEA-Leti(CEA-莱提实验室);Centre CMP(CMP中心);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Mines Saint-Etienne(圣艾蒂安矿业学院)
本文研究了LoRA对联邦学习中后门攻击的影响,发现低秩适应可延长后门寿命,揭示了后门攻击评估中的关键问题。
2026-02-18 cs.CR cs.LG
Anti-Backdoor Learning: Training Clean Models on Poisoned Data
Xidian University(西安电子科技大学);University of Copenhagen(哥本哈根大学);Sony AI(索尼人工智能);University of Illinois at Urbana–Champaign(伊利诺伊大学厄巴纳-香槟分校);Deakin University(迪肯大学)
后门攻击已经成为深度神经网络(DNN)的主要安全威胁。虽然现有的防御方法在检测或删除后门方面表现出了很好的效果,但目前尚不清楚是否可以设计出强大的训练方法来防止后门触发器首先被注入到训练模型中。本文介绍了\emph{anti-backdoor learning}的概念,旨在对带有后门病毒的数据进行训练\emph{clean}模型。我们将整个学习过程框架为学习数据的\emph{clean}和\emph{backdoor}部分的双重任务。从这个角度来看,我们确定了后门攻击的两个固有特征作为它们的弱点:1)模型学习后门数据比学习干净数据快得多,攻击越强,模型收敛于后门数据的速度就越快; 2)后门任务与特定的类(后门目标类)相关联。基于这两个弱点,我们提出了一个通用的学习方案,反后门学习(ABL),在训练过程中自动防止后门攻击。ABL为标准训练引入了两阶段的\emph{gradient ascent}机制,以1)帮助在早期训练阶段隔离后门示例,以及2)在后期训练阶段打破后门示例与目标类之间的相关性。通过对多个基准数据集进行针对10种最先进攻击的广泛实验,我们凭经验证明,在后门中毒数据上训练的ABL模型与在纯粹干净数据上训练的模型具有相同的性能。代码可在\url{https://github.com/bboylyg/ABL}上获得。
2021-12-01 cs.AI cs.LG
A Synergetic Attack against Neural Network Classifiers combining Backdoor and Adversarial Examples
New Jersey Institute of Technology(新泽西理工学院);Qatar Computing Research Institute(卡塔尔计算研究所)
在这项工作中,我们展示了如何联合利用对抗扰动和模型中毒漏洞来实际发起一种新的隐形攻击,称为AdvTrojan。AdvTrojan是隐形的,因为它只能在以下情况下被激活:1)在推理过程中将精心制作的对抗扰动注入输入示例,2)在模型的训练过程中植入特洛伊木马后门。我们利用输入空间中的对抗性噪声将木马感染的示例移动到模型的决策边界,使其难以检测。AdvTrojan的隐形行为欺骗用户意外地将受感染的模型信任为对抗对抗性示例的鲁棒分类器。AdvTrojan可以通过类似于传统木马后门攻击的仅毒化训练数据来实现。我们对几个基准数据集的全面分析和广泛实验表明,AdvTrojan可以绕过现有的防御,在我们的大多数实验场景中成功率接近100%,并且可以扩展到攻击联邦学习任务。
2021-09-03 cs.CR cs.LG
APEX: Probing Neural Networks via Activation Perturbation
Aalborg University(奥尔堡大学)
APEX通过激活扰动探测神经网络,揭示模型结构信息,区分结构化与随机标签模型,并揭示语义连贯的预测转变。
2026-02-03 cs.AI cs.LG
PolicyCleanse: Backdoor Detection and Mitigation in Reinforcement Learning
University of Maryland, College Park(马里兰大学帕克分校);Simular Research(Simular研究院);Northwestern University(西北大学);UC Riverside(加州大学河滨分校)
针对多智能体强化学习中的特洛伊木马后门威胁,本文提出PolicyCleanse方法,利用特洛伊智能体累积奖励下降的特性检测后门及触发动作,并结合机器遗忘技术缓解后门,实验证明其检测准确且胜率比基线至少高3%。
2023-09-14 cs.AI cs.LG
Get Rid Of Your Trail: Remotely Erasing Backdoors in Federated Learning
New York University Abu Dhabi(纽约大学阿布扎比分校);École nationale supérieure d’informatique(国立高等计算机学院)
本文面向联邦学习中的攻击者,提出基于机器遗忘的远程后门擦除方法,在保持模型性能、避免无关信息过度遗忘的同时隐蔽消除最先进攻击注入的后门。
2023-04-20 cs.CR cs.LG
Backdoor Defense with Machine Unlearning
State Key Laboratory of Integrated Services Networks (ISN)(综合业务网理论及关键技术国家重点实验室);Shaanxi Key Laboratory of Network and System Security, Xidian University(西安电子科技大学陕西省网络与系统安全重点实验室);School of Data Science and Engineering, East China Normal University(华东师范大学数据科学与工程学院);Ant Group(蚂蚁集团);College of Computer and Data Science, Fuzhou University(福州大学计算机与数据科学学院)
后门注入攻击是神经网络面临的一种新的安全威胁,然而针对这种攻击的有效防御方法仍然有限。在本文中,我们提出了BAERASE,一种新的方法,可以删除后门注入到受害者模型通过机器遗忘。具体来说,BAERASE主要通过两个关键步骤实现后门防御。首先,进行触发模式恢复,以提取被受害者模型感染的触发模式。这里,触发模式恢复问题等价于从受害者模型中提取未知噪声分布的问题,这可以很容易地通过基于熵最大化的生成模型来解决。随后,BAERASE利用这些恢复的触发模式来逆转后门注入过程,并诱导受害者模型通过新设计的基于梯度上升的机器遗忘方法来擦除受污染的记忆。与以往的机器遗忘方法相比,该方法摆脱了对训练数据完全访问的依赖,并且比现有的微调或修剪方法具有更高的后门擦除效率.实验结果表明,BAERASE在4个基准数据集上对3种最新的后门攻击的攻击成功率平均降低99%.
2022-01-24 cs.CR cs.LG
Architectural Backdoors for Within-Batch Data Stealing and Model Inference Manipulation
ETH Zurich(苏黎世联邦理工学院);Google DeepMind(谷歌DeepMind)
本文提出一种新型后门,通过利用批量推理技术实现大规模用户数据窃取和模型响应操控,提出确定性缓解策略以保障用户隐私和系统安全。
2026-03-20 cs.AI cs.CR cs.LG
Dynamic backdoor attacks against federated learning
WeBank AI Lab(微众银行人工智能实验室)
联邦学习(FL)是一种新的机器学习框架,它使数百万参与者能够协作训练机器学习模型,而不会损害数据隐私和安全。由于每个客户端的独立性和保密性,FL并不保证所有客户端都是诚实的设计,这使得它容易受到对抗攻击自然。本文重点研究了FL设置下的动态后门攻击,攻击者的目标是在保持主任务性能的同时降低模型在目标任务上的性能,目前已有的研究主要集中在静态后门攻击上,即注入的毒药模式是不变的,然而FL是一个在线学习框架,攻击者可以动态地改变对抗目标,传统算法需要从头开始学习新的目标任务,这可能是计算昂贵的,并且需要大量的对抗训练样本,为了避免这一点,我们在FL设置下桥接元学习和后门攻击,在这种情况下,我们可以从以前的经验中学习一个通用的模型,并通过一些例子快速适应新的对抗性任务。我们在不同的数据集上对我们的算法进行了评估,并证明了我们的算法可以在动态后门攻击方面取得良好的效果。据我们所知,这是第一篇专注于FL环境下动态后门攻击研究的论文。
2020-11-15 cs.CR cs.DC cs.LG
Universal Soldier: Using Universal Adversarial Perturbations for Detecting Backdoor Attacks
Radboud University(拉德堡德大学)
针对无触发器先验时难区分干净与带后门模型的问题,提出基于通用对抗扰动(UAP)的USB后门检测方法,利用带后门模型UAP扰动量更小的特性检测后门并逆向触发器,在345个模型上效果达SOTA水平。
2023-08-24 cs.LG
BAFFLE: Hiding Backdoors in Offline Reinforcement Learning Datasets
University of Virginia(弗吉尼亚大学);Singapore Management University(新加坡管理大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Rutgers University(罗格斯大学);North Carolina State University(北卡罗来纳州立大学)
本文提出Baffle方法,通过污染离线RL数据集植入后门,使智能体在正常观测下表现良好,但遇到触发器时性能骤降,揭示了现有离线RL算法的安全漏洞。
2024-03-20 cs.AI cs.CR cs.LG
Narcissus: A Practical Clean-Label Backdoor Attack with Limited Information
Virginia Tech(弗吉尼亚理工大学);Sony AI(索尼人工智能);Texas A&M University-Commerce(得克萨斯农工大学康莫斯分校)
后门攻击将恶意数据插入到训练集中,以便在推理时间期间,将已使用后门触发器修补的输入错误分类为恶意软件指定的标签。为了使后门攻击绕过人类检查,注入的数据必须正确标记。具有这种性质的攻击通常被称为“干净标签攻击”。“现有的干净标签后门攻击需要了解整个训练集才能有效。获得这样的知识是困难的或不可能的,因为训练数据通常是从多个源(例如,来自不同用户的面部图像)。后门攻击是否仍构成真正的威胁仍是一个问题。本文提供了一个肯定的回答这个问题,设计了一个算法,安装清洁标签后门攻击的基础上,只有代表性的例子,从目标类的知识。在中毒等于或小于目标类数据的0.5%和训练集的0.05%的情况下,我们可以训练一个模型,当使用后门触发器修补示例时,将测试示例从任意类分类到目标类。我们的攻击在数据集和模型中运行良好,即使触发器出现在物理世界中。我们探索了防御的空间,并发现,令人惊讶的是,我们的攻击可以避开最新的最先进的防御在他们的香草形式,或者在一个简单的扭曲,我们可以适应下游的防御。我们研究了有趣的有效性的原因,发现由于我们的攻击合成的触发器包含与目标类的原始语义特征一样持久的特征,因此任何删除此类触发器的尝试都将不可避免地首先损害模型的准确性。
2022-04-15 cs.CR cs.LG
A new Backdoor Attack in CNNs by training set corruption without label poisoning
University of Siena(锡耶纳大学)
针对CNN的后门攻击代表了对深度学习系统的新威胁,因为它可能会破坏训练集,从而在测试时引起不正确的行为。为了避免训练器识别出损坏样本的存在,训练集的损坏必须尽可能隐蔽。以前的工作主要集中在注入到训练样本的扰动的隐蔽性,但他们都假设损坏的样本的标签也中毒。这大大降低了攻击的隐蔽性,因为其内容与标签不一致的样本可以通过对训练集的视觉检查或通过运行预分类步骤来识别。在本文中,我们提出了一种新的后门攻击没有标签中毒由于攻击的工作原理,只破坏目标类的样本,它具有额外的优点,它不需要事先确定的类的样本进行攻击,在测试时。MNIST数字识别任务和交通标志分类任务获得的结果表明,没有标签中毒的后门攻击确实是可能的,从而对安全关键型应用中使用深度学习发出了新的警报。
2019-02-12 cs.CR cs.CV cs.LG
NT-ML: Backdoor Defense via Non-target Label Training and Mutual Learning
Mathematics and Computer Science, Free University Berlin(数学与计算机科学系,柏林自由大学)
提出NT-ML防御方法,通过非目标标签训练和师生互学习,利用少量干净样本有效抵御多种后门攻击,性能优于现有防御。
2025-08-07 cs.LG
Rethinking Graph Backdoor Attacks: A Distribution-Preserving Perspective
The Pennsylvania State University(宾夕法尼亚州立大学)
针对现有图后门攻击的触发器多为分布外样本易被检测的问题,提出结合OOD检测器与对抗学习生成分布内触发器,并设计模块增强受害模型记忆,实现高成功率且能绕过多种防御的隐蔽图后门攻击。
2024-07-12 cs.CR cs.LG
DMGNN: Detecting and Mitigating Backdoor Attacks in Graph Neural Networks
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Yangzhou University(扬州大学);University of Southern Queensland(南昆士兰大学);Data61, CSIRO(联邦科学与工业研究组织Data61);University of Technology Sydney(悉尼科技大学)
本文提出DMGNN方法,通过反事实解释预测标签转移来检测OOD和ID图后门触发器,并利用反向采样剪枝在数据层面消除触发器影响,在公开图数据集上将攻击成功率降至5%且模型性能退化不超过3.5%。
2024-10-18 cs.CR cs.LG
CLIBE: Detecting Dynamic Backdoors in Transformer-based NLP Models
Zhejiang University(浙江大学)
针对NLP模型动态后门检测研究空白,提出CLIBE框架,通过注意力层少样本权重扰动及泛化性检测动态后门,经多场景验证有效且具鲁棒性,还可扩展检测文本生成模型后门。
2024-09-11 cs.CL cs.CR cs.LG
Under-confidence Backdoors Are Resilient and Stealthy Backdoors
Baidu Research(百度研究院);VinUniversity(越南 VinUniversity 大学)
提出标签平滑后门攻击(LSBA),通过概率性标签修改降低模型过拟合,提升后门隐蔽性并保持高攻击成功率,同时支持手动控制预测概率。
2024-07-22 cs.CR cs.CV cs.LG
Backdoor Attacks on the DNN Interpretation System
NYU Tandon School of Engineering(纽约大学坦登工程学院)
可解释性对于理解深度神经网络(DNN)的内部工作至关重要,许多解释方法生成显着图,突出显示输入图像中对DNN预测贡献最大的部分。在本文中,我们设计了一个后门攻击,改变显着性图的网络产生的输入图像只有注入的触发器,是不可见的肉眼,同时保持预测精度。这种攻击依赖于将带有触发器的有毒数据注入训练数据集中。显着性图被并入用于训练深度模型的目标函数的惩罚项中,并且其对模型训练的影响取决于触发器的存在。我们设计了两种类型的攻击:有针对性的攻击,强制执行显着图的特定修改和无针对性的攻击时,从原始显着图的顶部像素的重要性分数显着降低。我们对各种深度学习架构的基于梯度和无梯度解释方法的拟议后门攻击进行了实证评估。我们表明,当部署由不可信来源开发的深度学习模型时,我们的攻击构成了严重的安全威胁。最后,在补充中,我们证明了所提出的方法可以用于倒置设置,其中正确的显着性图只能在存在触发器(键)的情况下才能获得,有效地使解释系统只提供给选定的用户。
2022-07-19 cs.AI cs.CR cs.CV
Fedward: Flexible Federated Backdoor Defense Framework with Non-IID Data
Fuzhou University(福州大学);Deakin University(迪肯大学)
针对联邦后门攻击,提出灵活防御框架Fedward,通过AmGrad和AutoOPTICS应对各类攻击,并利用自适应裁剪维持Non-IID场景性能,在多个数据集上显著降低攻击成功率。
2023-07-01 cs.CR cs.LG
Can Adversarial Weight Perturbations Inject Neural Backdoors?
Amazon Alexa(亚马逊 Alexa);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
对抗性机器学习暴露了神经模型的几个安全隐患,成为近一段时间的重要研究课题。到目前为止,“对抗性扰动”的概念仅用于输入空间,指的是可能导致ML模型出错的微小、不可察觉的变化。在这项工作中,我们将“对抗性扰动”的概念扩展到模型权重的空间,特别是在训练的DNN中注入后门,这暴露了使用公开可用的训练模型的安全风险。这里,注入后门是指当触发模式被添加到输入时从模型获得期望的结果,同时保留对非触发输入的原始模型预测。从对手的角度来看,我们将这些对抗性扰动的特征描述为约束在原始模型权重周围的$\ell_{\infty}$范数内。我们通过预测梯度下降在原始模型和期望触发器的预测上使用复合损失在模型权重中引入对抗性扰动。我们的经验表明,这些对抗性的权重扰动普遍存在于几个计算机视觉和自然语言处理任务中。我们的研究结果表明,后门可以成功地注入一个非常小的平均相对变化的模型权重值的几个应用程序。
2020-09-21 cs.CR cs.LG stat.ML
Test-Time Backdoor Attacks on Multimodal Large Language Models
Southern University of Science and Technology(南方科技大学);Sea AI Lab(Sea AI实验室);University of California, Santa Barbara(加州大学圣巴巴拉分校)
提出针对多模态大语言模型的测试时后门攻击方法 AnyDoor,利用对抗测试图像注入后门,无需修改训练数据,且能动态更改触发提示与有害影响。
2024-02-13 cs.CL cs.CR cs.CV
Lurking in the shadows: Unveiling Stealthy Backdoor Attacks against Personalized Federated Learning
Beijing Jiaotong University(北京交通大学);INRIA(法国国家信息与自动化研究所);Tianjin University(天津大学);University of Notre Dame(圣母大学)
本文针对个性化联邦学习提出隐蔽后门攻击方法PFedBA,通过优化触发器生成将后门任务与主任务对齐,在10种先进PFL算法上击败6种现有防御,揭示了PFL的深层安全脆弱性。
2024-06-10 cs.CR cs.LG
Mitigating Backdoors within Deep Neural Networks in Data-limited Configuration
School of Computer Engineering, Iran University of Science and Technology(伊朗科学与技术大学计算机工程学院)
针对数据受限场景下深度神经网络的后门攻击,提出基于中毒神经元特征的可疑性评分方法,利用极小干净数据集将攻击成功率降低逾50%,且速度比基线快三倍。
2023-11-13 cs.CR cs.CV cs.LG
Reasoning Introduces New Poisoning Attacks Yet Makes Them More Complicated
University of Cambridge(剑桥大学);Google DeepMind(谷歌DeepMind);Imperial College London(伦敦帝国学院);Northeastern University(东北大学);University of Oxford(牛津大学)
本研究提出分解推理投毒攻击,仅修改思维链路径以隐蔽注入后门,但发现先进LLMs的推理能力及架构分离使其难以可靠激活,从而展现出新兴的后门鲁棒性。
2025-09-06 cs.AI cs.CR cs.LG
Your Privacy My Cloak: Backdoor Attacks on Differentially Private Federated Learning
针对差分隐私联邦学习,提出RING攻击,利用差分隐私的掩蔽效应绕过防御,在中等隐私预算下平均攻击成功率90.3%。
2026-10-06 cs.CR cs.LG
Causal Attention for Interpretable and Generalizable Graph Classification
University of Science and Technology of China(中国科学技术大学);Sea AI Lab(Sea人工智能实验室);National University of Singapore(新加坡国立大学)
在图分类中,基于注意力和池化的图神经网络(GNNs)从输入图中提取关键特征并支持预测。它们大多遵循学习参与的范式,这最大化了参与图和地面真实标签之间的互信息。然而,这种模式使得GNN分类器鲁莽地吸收训练数据中输入特征和标签之间的所有统计相关性,而不区分特征的因果和非因果影响。而不是强调因果关系的特点,关注图倾向于访问非因果关系的功能作为预测的捷径。这种快捷特征可能很容易在训练分布之外发生变化,从而使GNN分类器的泛化能力较差。在这项工作中,我们对图分类的GNN建模进行了因果分析。在我们的因果假设下,捷径特征充当因果特征和预测之间的混淆因素。它欺骗分类器学习虚假的相关性,这有助于在分布(ID)测试评估中的预测,同时导致分布外(OOD)测试数据的性能下降。为了赋予分类器更好的解释和泛化能力,我们提出了因果注意学习(CAL)策略,该策略发现因果模式并减轻捷径的混淆效应。具体来说,我们采用注意力模块来估计输入图的因果和捷径特征。然后,我们对因果理论的后门调整进行参数化--将每个因果特征与各种快捷特征相结合。它鼓励因果估计和预测之间的稳定关系,而不管捷径部分和分布的变化。在合成数据集和真实数据集上的大量实验证明了CAL的有效性。
2022-06-13 cs.AI cs.LG
Attack On Prompt: Backdoor Attack in Prompt-Based Continual Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校);VinAI Research(VinAI研究院)
本文揭示基于提示的持续学习面临后门攻击威胁,提出可迁移、韧性且真实的攻击框架,在多个基准上实现高达100%的攻击成功率。
2024-12-17 cs.LG
Let's Focus: Focused Backdoor Attack against Federated Transfer Learning
University of Pavia(帕维亚大学);Delft University of Technology(代尔夫特理工大学);Radboud University(拉德堡德大学)
本文针对联邦迁移学习中特征固定导致传统后门攻击失效的问题,提出结合可解释AI与数据集蒸馏的聚焦后门攻击方法FB-FTL,在图像分类场景下取得平均80%攻击成功率,并能绕过现有联邦学习防御。
2024-04-30 cs.CR cs.LG
BadFair: Backdoored Fairness Attacks with Group-conditioned Triggers
University of Central Florida(中佛罗里达大学)
本文提出 BadFair 后门公平性攻击方法,通过群组条件触发器使模型在正常使用时保持公平,激活后对特定群组产生歧视,平均攻击成功率超 85% 且准确率损失极小。
2024-10-23 cs.CL cs.CR cs.CY
DiffusionHijack: Supply-Chain PRNG Backdoor Attack on Diffusion Models and Quantum Random Number Defense
School of Electronics, Electrical Engineering and Physics, Fujian University of Technology(福建工程学院电子工程与物理学院);School of Humanities, Fujian University of Technology(福建工程学院人文学院);Institute of Applied Physics and Materials Engineering, University of Macau(澳门大学应用物理与材料工程学院)
研究提出DiffusionHijack攻击通过供应链注入恶意PRNG控制扩散模型生成图像,采用量子随机数生成器有效防御该攻击,降低输出相似度至随机基线水平。
2026-05-13 cs.CR cs.LG
BadCM: Invisible Backdoor Attack Against Cross-Modal Learning
School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)计算机科学与技术学院);Peng Cheng Laboratory(鹏城实验室);School of Electronic and Information Engineering, Tongji University(同济大学电子与信息工程学院);School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院)
本文提出统一框架BadCM,通过跨模态挖掘定位模态不变区域并利用模态特定生成器隐藏触发模式,首次实现针对跨模态检索和VQA的通用隐形后门攻击,并能规避现有防御。
2024-10-03 cs.CR cs.CV cs.LG
Fine-grained Distributed Backdoor Attacks in Federated Learning
Faculty of Applied Sciences, Macao Polytechnic University(澳门理工大学应用科学学院);Faculty of Cyberspace Security, Guangzhou University of Software(广州软件学院网络空间安全学院);School of Engineering and Technology, Central Queensland University(中央昆士兰大学工程与技术学院)
针对联邦学习中的分布式后门攻击,提出细粒度框架FDBA,利用动态触发器和嵌入向量对比学习,以更少中毒样本提升攻击成功率并绕过防御。
2026-09-09 cs.LG
Avoid Adversarial Adaption in Federated Learning by Multi-Metric Investigations
University of Würzburg(维尔茨堡大学)
针对联邦学习中现有防御难以应对强自适应攻击者及复杂数据分布的问题,提出多指标检测方法MESAS,通过构建多目标优化难题有效识别中毒更新,在多项数据集与后门实验中表现优异且开销极低。
2023-09-08 cs.LG
Distinguishing Process Change, Instrument Fault and Data-Path Corruption in Streaming Telemetry: A Reference Implementation and Benchmark
该研究针对流遥测中区分过程变化、仪器故障与数据通路损坏的问题,提出含多类检测器及归因规则的算法库,在公开基准与工业信号上实现高检测、归因率,性能优于对比方法。
2026-10-20 cs.LG eess.SP
Purification Of Contaminated Convolutional Neural Networks Via Robust Recovery: An Approach with Theoretical Guarantee in One-Hidden-Layer Case
Illinois Institute of Technology(伊利诺伊理工学院);Trustworthy and Intelligent Machine Learning Research Lab(可信与智能机器学习研究实验室)
针对CNN易受噪声和后门攻击污染的问题,提出一种鲁棒恢复方法,在单隐层ReLU CNN上给出精确恢复的理论保证,并验证其有效性和可扩展性。
2024-07-04 cs.LG eess.SP
Quarantine: Sparsity Can Uncover the Trojan Attack Trigger for Free
University of California, Santa Barbara(加州大学圣巴巴拉分校);Michigan State University(密歇根州立大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);University of Texas at Austin(德克萨斯大学奥斯汀分校)
特洛伊木马攻击通过毒害深度神经网络(DNN)来威胁它们,使其在大多数样本上表现正常,但对附加有特定触发器的输入产生操纵结果。几个作品试图检测给定的DNN是否在训练期间注入了特定的触发器。在平行的研究中,彩票假设揭示了稀疏子网络的存在,这些子网络在独立训练后能够达到与密集网络一样的竞争性能。将这两点联系起来,我们从全新的稀疏性角度研究特洛伊DNN检测问题,即使没有干净的训练数据可用。我们的关键观察是,特洛伊特征对网络修剪比良性特征更稳定。利用这一点,我们提出了一种新的木马网络检测制度:首先定位一个“中奖的木马彩票”,保留几乎完整的木马信息,但只有机会级的性能上干净的输入,然后恢复嵌入在这个已经隔离的子网络触发。在各种数据集上进行了广泛的实验,即,CIFAR-10、CIFAR-100和ImageNet,具有不同的网络架构,即,VGG-16、ResNet-18、ResNet-20 s和DenseNet-100证明了我们的建议的有效性。代码可在https://github.com/VITA-Group/Backdoor-LTH上获得。
2022-05-24 cs.CR cs.LG