Collaborative Shadows: Distributed Backdoor Attacks in LLM-Based Multi-Agent Systems
Beijing University of Posts and Telecommunications(北京邮电大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Xiamen University Malaysia(厦门大学马来西亚分校);North China Electric Power University(华北电力大学)
本文针对基于LLM的多智能体系统提出了首个分布式后门攻击,将后门分解为嵌入工具的分布式攻击原语,仅在智能体按特定序列协作时激活以执行定向攻击,实验表明其攻击成功率超过95%且不影响良性任务性能。
2025-10-13 cs.CR
T-Backdoor: Exploiting Temporal Redundancy in Neuromorphic Data for Spike-preserving Backdoor Attacks on SNNs
University of Rhode Island(罗德岛大学)
针对SNN后门攻击中时空触发器易被检测的问题,提出仅用时间触发器(速率、延迟、抖动)的T-Backdoor,在三个神经形态数据集上实现100%攻击成功率且对七种防御鲁棒。
2026-09-25 cs.CR
RobustNLP: A Technique to Defend NLP Models Against Backdoor Attacks
随着机器学习(ML)系统越来越多地用于现实世界中处理敏感任务并在各个领域做出决策,这些模型的安全性和隐私性也变得越来越重要。特别是,深度神经网络(DNN)已被证明容易受到后门攻击的攻击,从而对手可以访问训练数据,并有机会通过将精心开发的样本插入训练数据集中来操纵这些数据。尽管NLP社区已经进行了几项关于生成后门攻击的研究,证明了语言模式的脆弱状态,但据我们所知,还没有任何对抗此类攻击的工作。为了弥补这一差距,我们提出了RobustEncoder:一种新的基于聚类的技术,用于检测和删除文本域中的后门攻击。大量的实证结果表明,我们的技术在检测和删除后门触发器的有效性。我们的代码可在https://github.com/marwanomar1/Backdoor-Learning-for-NLP上获得
2023-02-18 cs.CR
Backdoor Attacks to Pre-trained Unified Foundation Models
预先训练好的统一基础模型的兴起,打破了不同模态和任务之间的壁垒,以统一的架构为用户提供全面的支持。然而,对预训练模型的后门攻击对其安全性构成了严重威胁。以往对后门攻击的研究仅限于单模态任务或跨模态的单个任务,不适用于统一的基础模型。本文针对预先训练好的统一基础模型进行后门攻击的概念验证级研究。通过对NLP和CV分类任务的初步实验,我们揭示了这些模型的脆弱性,并为增强攻击方法提出了未来的研究方向。
2023-02-23 cs.CR
DF-LoGiT: Data-Free Logic-Gated Backdoor Attacks in Vision Transformers
University of Arizona(亚利桑那大学);Iowa State University(爱荷华州立大学);Old Dominion University(老道明大学)
DF-LoGiT提出了一种无需数据的视觉变换器后门攻击方法,通过直接修改权重实现隐蔽且高效的后门植入。
2026-02-03 cs.CR
Backdoor-Powered Prompt Injection Attacks Nullify Defense Methods
National University of Singapore(新加坡国立大学);HKUST(香港科技大学)
本文提出后门驱动的提示注入攻击,通过污染监督微调样本植入触发器,使现有提示注入防御及指令层次技术失效,并构建基准验证其更强危害性。
2025-10-04 cs.CR
Physical Backdoor Attack Against Deep Learning-Based Modulation Classification
Institute of Radiocommunications Poznan University of Technology(波兹南理工大学无线电通信研究所)
本文研究了一种针对深度学习调制分类器的物理后门攻击,通过射频信号幅度操控和标签篡改训练受感染模型,验证了该攻击在不同噪声水平下的高成功率,并测试了多种防御技术的失效性。
2026-03-26 cs.CR
Backdoor Attacks against Hybrid Classical-Quantum Neural Networks
首次系统研究混合量子神经网络的后门攻击,提出攻击框架并进行理论分析,实验证明HQNNs比CNNs更鲁棒,同时引入了基于颜色偏移和NSGA-II优化的Qcolor后门,验证了其有效性与隐蔽性。
2024-07-23 cs.CR
On the critical path to implant backdoors and the effectiveness of potential mitigation techniques: Early learnings from XZ
本文针对XZ Utils后门引发的新型供应链攻击,梳理其关键攻击路径,并结合攻击各阶段介绍对应的潜在缓解技术,为供应链攻击防护提供参考。
2024-04-13 cs.CR
DLP: towards active defense against backdoor attacks with decoupled learning process
针对深度学习模型易受后门攻击的问题,研究者基于模型在干净与中毒数据子集上学习行为不同的观察,提出名为DLP的三阶段解耦学习主动防御训练流程,可从不可靠数据集中训练出良性模型,经多攻击多数据集实验验证有效。
2024-06-18 cs.CR
E-SAGE: Explainability-based Defense Against Backdoor Attacks on Graph Neural Networks
本文提出基于可解释性的防御方法E-SAGE,利用恶意边与良性边在重要性分数上的差异进行迭代边剪枝,有效防御图神经网络上的子图插入后门攻击。
2024-06-15 cs.CR
Practical, Generalizable and Robust Backdoor Attacks on Text-to-Image Diffusion Models
针对现有文本生成图像扩散模型后门攻击实用性差、泛化性弱、易被防御的问题,提出兼具实用性、可泛化性与鲁棒性的后门攻击框架,仅需少量样本即可实现高攻击成功率,且现有防御手段难以有效应对。
2025-08-03 cs.CR
Target Attack Backdoor Malware Analysis and Attribution
本文针对传统杀毒软件无法检测的Web服务器目标持久化模块后门,提出结合二进制相似性、字符串和命令混淆分析的TABMAX矩阵,揭示后门可利用不同API、命令、字符串和查询语言进行定制化设计。
2025-02-06 cs.CR
Solving the Capsulation Attack against Backdoor-based Deep Neural Network Watermarks by Reversing Triggers
为了保护人工智能模型,特别是深度神经网络在黑箱环境下的知识产权,提出了基于后门的数字水印方案。与普通后门相比,基于后门的水印需要以数字方式包含所有者的身份,这一事实对触发器生成和验证程序增加了额外的要求。此外,这些问题产生额外的安全风险后,水印方案已被公布为取证工具或所有者的证据已被窃听on.This本文提出的封装攻击,一种有效的方法,可以使大多数建立后门为基础的水印方案无效,而不牺牲盗版模型的功能。通过使用基于规则的过滤器或贝叶斯过滤器封装深度神经网络,攻击者可以阻止所有权探测并拒绝所有权验证。我们提出了一个度量,CAScore,衡量一个基于后门的水印方案的安全性对封装攻击。本文还提出了一种新的基于后门的深度神经网络水印方案,该方案通过反转编码过程和随机暴露触发器来抵抗封装攻击。
2022-08-30 cs.CR
UltraClean: A Simple Framework to Train Robust Neural Networks against Backdoor Attacks
Pixocial Technology(Pixocial 科技);Tufts University(塔夫茨大学)
UltraClean通过简化污染样本识别和利用误差放大效应,有效防御脏标签和清洁标签后门攻击。
2025-12-04 cs.CR
M-to-N Backdoor Paradigm: A Multi-Trigger and Multi-Target Attack to Deep Learning Models
本文提出M-to-N后门攻击范式,通过为每个目标类别分配多个与干净图像同分布的触发器并利用中毒图像生成框架实现隐蔽注入,从而实现对多个目标类别的高效攻击,并具备对预处理和现有防御的鲁棒性。
2024-07-01 cs.CR
On Certifying Robustness against Backdoor Attacks via Randomized Smoothing
Duke University(杜克大学)
后门攻击是对深度神经网络(DNN)的严重安全威胁。我们设想,就像对抗性的例子一样,后门攻击将是一场猫捉老鼠的游戏,即,开发了新的经验防御来防御后门攻击,但是它们很快就被强适应性后门攻击打破。为了防止这种猫捉老鼠的游戏,我们采取了第一步,对后门攻击认证防御。具体来说,在这项工作中,我们研究的可行性和有效性,证明对后门攻击使用最近的技术称为随机平滑的鲁棒性。随机平滑最初是为了证明对抗性样本的鲁棒性而开发的。我们推广了随机平滑来抵御后门攻击。我们的研究结果表明,使用随机平滑证明对后门攻击的鲁棒性的理论可行性。然而,我们也发现,现有的随机平滑方法在抵御后门攻击的有效性有限,这突出了新的理论和方法的需求,以证明对后门攻击的鲁棒性。
2020-07-20 cs.CR cs.LG
Robust Backdoor Attacks against Deep Neural Networks in Real Physical World
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
深度神经网络(DNN)已被广泛部署在各种应用中。然而,许多研究表明,DNN是容易受到后门攻击。攻击者可以在目标DNN模型中创建一个隐藏的后门,并通过提交特定的后门实例来触发恶意行为。然而,现有的后门攻击研究大多集中在数字领域,而对真实物理世界中的后门攻击研究较少。受限于各种物理约束,后门攻击在真实物理世界中的性能会严重下降。本文提出了一种鲁棒的物理后门攻击方法PTB(physical transformations for backdoors),用于实现对真实物理世界中的深度学习模型的后门攻击。具体来说,在训练阶段,我们在每一轮模型训练中对这些注入的后门实例执行一系列物理变换,以模拟后门在现实世界中可能经历的各种变换,从而提高其物理鲁棒性。在最新的人脸识别模型上的实验结果表明,与不带PTB的后门攻击方法相比,该方法能够显著提高真实物理世界中的后门攻击性能.在各种复杂的物理条件下,通过仅注入非常小比例(0.5%)的后门实例,使用PTB方法对VGGFace进行物理后门攻击的攻击成功率为82%,而不使用所提出的PTB方法的后门攻击的攻击成功率低于11%。同时,目标DNN模型的正常性能没有受到影响。
2021-07-15 cs.AI cs.CR
Backdoor Attacks to Graph Neural Networks
Duke University(杜克大学)
在这项工作中,我们提出了第一个后门攻击图神经网络(GNN)。具体来说,我们提出了一个\emph{subgraph based backdoor attack}的GNN图分类。在我们的后门攻击中,一旦预定义的子图被注入测试图,GNN分类器就预测攻击者为测试图选择的目标标签。我们在三个真实世界的图数据集上的实证结果表明,我们的后门攻击是有效的,对GNN的预测准确性的影响很小。此外,我们推广了一种基于随机平滑的认证防御来抵御我们的后门攻击。我们的实证结果表明,防御在某些情况下是有效的,但在其他情况下无效,突出了我们的后门攻击的新防御的需要。
2021-12-17 cs.CR cs.LG
CUBA: Controlled Untargeted Backdoor Attack against Deep Neural Networks
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(计算机科学与技术学院,南京航空航天大学)
提出受控非定向后门攻击CUBA,结合非定向灵活性与定向意图,通过对数几率归一化使模型将后门图像分类到受限随机类别,从而规避现有防御,实验验证其有效性。
2025-06-20 cs.AI cs.CR
Marksman Backdoor: Backdoor Attacks with Arbitrary Target Class
Baidu Research(百度研究院)
近年来,机器学习模型已被证明容易受到后门攻击。在这种攻击下,攻击者将隐形后门嵌入到训练模型中,使得受损模型在干净输入上正常运行,但会根据攻击者对带有触发器的恶意构造输入的控制进行错误分类。虽然这些现有的攻击非常有效,但对手的能力是有限的:给定一个输入,这些攻击只能导致模型对单个预定义或目标类别进行错误分类。相比之下,本文利用了一种新的后门攻击,具有更强大的有效载荷,表示为Marksman,其中对手可以任意选择哪个目标类的模型将错误分类在推理过程中的任何输入。为了实现这一目标,我们建议将触发函数表示为类条件生成模型,并将后门注入到约束优化框架中,其中触发函数学习生成最佳触发模式以随意攻击任何目标类,同时将此生成后门嵌入到训练模型中。给定学习的攻击者生成函数,在推断期间,对手可以指定任意的后门攻击目标类,并且相应地创建使模型向该目标类分类的适当触发器。我们的经验表明,该框架实现了高攻击性能,同时保留了几个基准数据集,包括MNIST,CIFAR10,GTSRB和TinyImageNet的清洁数据性能。建议的神枪手后门攻击也可以很容易地绕过现有的后门防御,原来设计的后门攻击与一个单一的目标类。我们的工作朝着理解实践中后门攻击的广泛风险迈出了重要的一步。
2022-10-17 cs.CR cs.CV
Rethink the Evaluation for Attack Strength of Backdoor Attacks in Natural Language Processing
Tencent AI Lab(腾讯人工智能实验室)
已经表明,自然语言处理(NLP)模型容易受到一种称为后门攻击的安全威胁,这种攻击利用“后门触发器”范式来误导模型。最具威胁的后门攻击是隐形后门,它将触发器定义为文本样式或语法。虽然他们已经取得了令人难以置信的高攻击成功率(ASR),我们发现,其ASR的主要因素是不是“后门触发器”的范例。因此,当将这些秘密后门攻击归类为后门攻击时,高估了其能力。因此,为了评估后门攻击的实际攻击能力,我们提出了一个新的度量称为攻击成功率差(ASRD),它衡量的ASR之间的差异清洁状态和中毒状态模型。此外,针对目前对隐蔽式后门攻击的防御手段缺乏的情况,本文提出了一种触发器断路器,它由两个简单的技巧组成,可以有效地防御隐蔽式后门攻击。实验表明,我们的方法实现了显着更好的性能比国家的最先进的防御方法对隐形后门攻击。
2022-02-16 cs.CL cs.CR cs.LG
BACKDOORL: Backdoor Attack against Competitive Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校);Pennsylvania State University(宾夕法尼亚州立大学)
最近的研究证实了后门攻击在深度强化学习(RL)系统中的可行性。然而,现有的攻击需要能够任意修改代理的观察,限制了应用范围简单的RL系统,如雅达利游戏。在本文中,我们将后门攻击迁移到涉及多个代理的更复杂的RL系统中,并探索在不直接操纵代理观察的情况下触发后门的可能性。作为概念证明,我们证明了对手代理可以在两人竞争RL系统中通过自己的行动触发受害代理的后门。我们在四种竞争环境中对EPDOOORL进行原型设计和评估。结果显示,当后门被激活时,受害者的中奖率比未激活时下降了17%至37%。
2021-12-12 cs.CR cs.LG
BELT: Old-School Backdoor Attacks can Evade the State-of-the-Art Defense with Backdoor Exclusivity Lifting
Fudan University(复旦大学)
提出后门排他性概念及BELT技术,通过抑制后门与模糊触发器的关联,使老派后门攻击能以几乎不损失成功率和效用的代价规避多种最先进防御。
2024-04-25 cs.AI cs.CR
Kallima: A Clean-label Framework for Textual Backdoor Attacks
Peking University(北京大学);Tsinghua University(清华大学);RealAI(瑞莱智慧)
尽管深度神经网络(DNN)在各种自然语言处理(NLP)任务中取得了前所未有的进步,但研究表明,深度模型极易受到后门攻击。现有的后门攻击主要是在训练数据集中注入少量的有毒样本,并将标签更改为目标标签。这种贴错标签的样本在人类检查时会引起怀疑,可能会揭示攻击。为了提高文本后门攻击的隐蔽性,我们提出了第一个干净的标签框架Kallima合成模仿风格的后门样本,开发阴险的文本后门攻击。我们用对抗性扰动修改了属于目标类的输入,使模型更加依赖后门触发器。我们的框架与大多数现有的后门触发器兼容。在三个基准数据集上的实验结果证明了该方法的有效性。
2022-06-03 cs.CL cs.CR
BEAGLE: Forensics of Deep Learning Backdoor Attack for Better Defense
Purdue University(普渡大学);Rutgers University(罗格斯大学)
深度学习后门攻击的威胁模型与传统网络攻击相似。攻击取证作为传统网络攻击的重要对抗手段,对于防御典型的后门攻击具有重要意义。在本文中,我们提出了一种新的模型后门取证技术。给定一些攻击样本,例如带有后门触发器的输入,这可能代表不同类型的后门,我们的技术会自动将它们分解为干净的输入和相应的触发器。然后,它根据触发器的属性对触发器进行聚类,以允许自动攻击分类和总结。后门扫描器可以自动合成,以找到其他模型中相同类型后门的其他实例。我们对2,532个预训练模型,10种流行攻击的评估以及与9种基线的比较表明,我们的技术非常有效。分解的干净输入和触发器非常类似于地面实况。合成的扫描程序大大优于现有扫描程序的普通版本,这些扫描程序很难推广到不同类型的攻击。
2023-01-16 cs.CR cs.LG
Backdoors Stuck At The Frontdoor: Multi-Agent Backdoor Attacks That Backfire
University of Oxford(牛津大学)
协作学习和外包数据汇集中的恶意代理威胁到干净模型的训练。后门攻击是训练时鲁棒性的一个主要问题,攻击者在训练期间毒害模型以成功实现有针对性的误分类。在本文中,我们研究了多代理后门攻击的情况下,多个攻击者试图后门受害者模型同时进行。在广泛的游戏中观察到一致的逆火现象,其中代理遭受集体攻击成功率低。我们研究了不同模式的后门攻击配置,非合作/合作,联合分布偏移,和游戏设置返回一个均衡的攻击成功率在下限。这些结果促使重新评估后门防御研究的实际环境。
2022-01-28 cs.CR cs.LG cs.MA
Explainability-based Backdoor Attacks Against Graph Neural Networks
Delft University of Technology(代尔夫特理工大学);The University of Adelaide(阿德莱德大学)
后门攻击对神经网络模型构成了严重的威胁。后门模型会将攻击者嵌入的输入错误分类为攻击者选择的目标标签,而对其他良性输入则正常执行。已经有许多关于神经网络后门攻击的研究,但只有少数研究考虑了图神经网络(GNN)。因此,没有深入的研究来解释触发器注入位置对GNN上的后门攻击性能的影响。为了弥补这一差距,我们对GNN上的后门攻击的性能进行了实验研究。我们采用两种强大的GNN解释性方法来选择最佳的触发注入位置,以实现两个攻击目标-高攻击成功率和低清洁精度下降。我们在基准数据集和最先进的神经网络模型上的实验结果表明,该方法在选择触发器注入位置对GNN的后门攻击的有效性。例如,在节点分类任务中,使用GraphLIME选择的触发器注入位置的后门攻击达到了超过$84 \%$攻击的成功率,并且准确率下降小于$2.5 \%$
2021-07-13 cs.CR cs.LG
Debiasing Backdoor Attack: A Benign Application of Backdoor Attack in Eliminating Data Bias
Beijing Jiaotong University(北京交通大学)
后门攻击是近年来出现的一种新的AI安全风险。借鉴以往对抗攻击的研究,我们认为,后门攻击有潜力进入模型学习过程,提高模型的性能。通过对后门攻击中的完全准确性下降(CAD)的分析,发现CAD是由数据的伪删除效应产生的。我们从模型分类边界的角度对这一现象进行了初步解释,并观察到这种伪删除在数据去偏问题中比直接删除具有优势。基于上述发现,我们提出了去偏后门攻击(DBA)。它在去偏置任务中实现了SOTA,具有比欠采样更广泛的应用场景。
2022-02-18 cs.AI cs.CR cs.LG
Understanding Impacts of Task Similarity on Backdoor Attack and Detection
Indiana University Bloomington(印第安纳大学伯明顿分校)
随着对后门攻击和检测的广泛研究,关于对手的攻击能力和防御者的检测能力的限制,仍然没有回答基本的问题。我们相信,这些问题的答案可以通过深入理解良性模型应该完成的主要任务和后门模型实际执行的后门任务之间的关系来找到。为此,我们利用多任务学习中的相似性度量来正式定义主任务和后门任务之间的后门距离(相似性),并分析现有的隐形后门攻击,发现它们中的大多数都不能有效地减少后门距离,即使对于那些这样做,仍然有很大的空间,以进一步提高其隐形性。因此,我们进一步设计了一种新的方法,称为TSA攻击,在给定的距离约束下自动生成后门模型,并证明我们的新攻击确实优于现有的攻击,使一步更接近理解攻击者的限制。最重要的是,我们在各种数据集上提供了后门距离和后门可检测性之间正相关的理论结果和实验证据,表明我们的任务相似性分析确实有助于我们更好地理解后门风险,并有可能识别更有效的缓解措施。
2022-10-12 cs.AI cs.CR
MM-BD: Post-Training Detection of Backdoor Attacks with Arbitrary Backdoor Pattern Types Using a Maximum Margin Statistic
Anomalee Inc.(Anomalee公司);Pennsylvania State University(宾夕法尼亚州立大学)
本文提出 MM-BD,一种无需训练集和干净样本、不假设后门嵌入类型的训练后检测方法,利用 softmax 前输出的最大间隔统计量进行无监督异常检测,并提出了在 IEEE 木马移除竞赛中获亚军的通用缓解方法。
2023-08-06 cs.CR cs.LG
Injection, Attack and Erasure: Revocable Backdoor Attacks via Machine Unlearning
Engineering Research Center of Transportation Information and Safety (ERCTIS), MoE of China, School of Computer Science and Artificial Intelligence, Wuhan University of Technology(交通运输信息与安全工程研究中心(ERCTIS)、中国教育部、武汉理工大学计算机科学与人工智能学院)
提出可撤销后门攻击范式,通过双层优化和PCGrad技术,在保持高攻击成功率的同时实现攻击后后门的彻底擦除。
2025-10-15 cs.AI cs.CR
Unnoticeable Backdoor Attacks on Graph Neural Networks
The Pennsylvania State University(宾夕法尼亚州立大学)
图神经网络(GNNs)在节点分类和图分类等各种任务中取得了可喜的成果。最近的研究发现,GNN容易受到对抗攻击的攻击。然而,有效的图上的后门攻击仍然是一个悬而未决的问题。特别地,后门攻击通过将触发器和目标类标签附加到训练图中的一组节点来毒害图。然后,在中毒图上训练的后门GNN将被误导,一旦附加了触发器,就将测试节点预测为目标类。虽然有一些初步的努力,图后门攻击,我们的实证分析表明,他们可能需要一个大的攻击预算有效的后门攻击和注入的触发器可以很容易地检测和修剪。因此,在本文中,我们研究了一个新的问题,不可察觉的图后门攻击有限的攻击预算。为了充分利用攻击预算,我们建议在中毒阶段故意选择注入触发器和目标类标签的节点。采用自适应触发发生器来获取不易被注意到的有效触发。针对各种防御策略在真实数据集上进行的大量实验表明,我们提出的方法在进行有效的不明显的后门攻击方面是有效的。
2023-02-11 cs.CR cs.LG
Backdoor Attack with Invisible Triggers Based on Model Architecture Modification
School of Cyber Science and Engineering(网络科学与工程学院)
本文提出一种将后门嵌入模型架构并能生成不可见触发器的新型后门攻击方法,通过修改并重新分发预训练模型实施攻击,实验证明其有效且触发器难以被人工和工具检测。
2025-09-23 cs.AI cs.CR
Test-Time Detection of Backdoor Triggers for Poisoned Deep Neural Networks
Pennsylvania State University(宾夕法尼亚州立大学)
后门(特洛伊木马)攻击是针对深度神经网络(DNN)的新兴威胁。每当来自任何源类的测试样本嵌入后门模式时,被攻击的DNN将预测攻击者想要的目标类;同时正确分类干净(无攻击)的测试样本。现有的后门防御在检测DNN是否受到攻击以及在“后训练”机制中对后门模式进行逆向工程方面取得了成功:防御者可以访问要检查的DNN和独立收集的小而干净的数据集,但无法访问DNN的(可能中毒的)训练集。然而,这些防御既不能在触发后门映射的行为中抓住罪犯,也不能在测试时减轻后门攻击。在本文中,我们提出了一个“飞行中”防御后门攻击的图像分类,1)检测使用后门触发器在测试时,和2)推断类的起源(源类)检测到的触发器的例子。我们的防御的有效性进行了实验证明,对不同的强大的后门攻击。
2021-12-06 cs.CR cs.LG
Look, Listen, and Attack: Backdoor Attacks Against Video Action Recognition
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);Saudi Data and Artificial Intelligence Authority (SDAIA)(沙特数据与人工智能管理局)
深度神经网络(DNN)容易受到一类称为“后门攻击“的攻击,这种攻击在后门触发器和攻击者有兴趣利用的目标标签之间创建关联。后门DNN在干净的测试图像上表现良好,但在存在后门触发器的情况下,持续预测攻击者定义的任何样本标签。尽管后门攻击在图像域中已经被广泛研究,但是在视频域中探索这样的攻击的工作很少,并且他们倾向于得出图像后门攻击在视频域中不太有效的结论。在这项工作中,我们重新审视了传统的后门威胁模型,并将其他与视频相关的方面纳入该模型。我们发现,有毒标签图像后门攻击可以扩展时间在两种方式,静态和动态,导致在视频域中的高效攻击。此外,我们还探索了自然视频后门,以突出此漏洞在视频领域的严重性。而且,我们第一次研究了针对视频动作识别模型的多模态(视听)后门攻击,在那里我们证明了攻击单一模态足以实现高攻击成功率。
2023-01-19 cs.CR cs.CV cs.LG
Rethinking the Trigger-injecting Position in Graph Backdoor Attack
Delft University of Technology(代尔夫特理工大学);Radboud University Nijmegen(拉德堡德大学奈梅亨分校);Ikerlan research centre(伊克兰研究中心)
本文研究图神经网络后门攻击中触发器注入位置的影响,提出 MIAS 和 LIAS 两种策略,发现注入最不重要区域的 LIAS 通常攻击效果更好,并通过解释技术揭示了原因。
2023-04-18 cs.CR cs.LG
A general approach to enhance the survivability of backdoor attacks by decision path coupling
Fudan University(复旦大学)
本文提出通用增强器 Venom,通过二任务优化和注意力模仿损失耦合中毒与良性样本的决策路径,在不损失攻击能力的前提下显著提升八种后门攻击对八类模型重构防御的生存能力。
2024-03-05 cs.AI cs.CR
Enhancing Clean Label Backdoor Attack with Two-phase Specific Triggers
Beijing Institute of Technology(北京理工大学)
后门攻击威胁着深度神经网络(DNN)。对于隐秘性,研究人员提出了清洁标签后门攻击,这要求对手不改变中毒训练数据集的标签。由于图像-标签对正确,清洁标签设置使攻击更加隐蔽,但仍然存在一些问题:首先,传统的中毒训练数据的方法是无效的;其次,传统的触发器是不隐蔽的,仍然是可感知的。为了解决这些问题,我们提出了一个两阶段和图像特定的触发器生成方法,以加强清洁标签后门攻击。我们的方法是(1)强大的:我们的触发器都可以促进两个阶段(即,后门植入和激活阶段)同时进行后门攻击;(2)隐秘性:我们的触发器是从每个图像中生成的。它们是特定于图像的,而不是固定的触发器。大量实验表明,我们的方法在多种评估指标下可以获得出色的攻击成功率~(98.98%)、中毒率~(5%)、高隐蔽性,并且可以抵抗后门防御方法。
2022-06-10 cs.CR cs.CV
Targeted Backdoor Attacks on Deep Learning Systems Using Data Poisoning
UC Berkeley(加州大学伯克利分校)
深度学习模型已经在许多任务上实现了高性能,因此已经应用于许多安全关键场景。例如,基于深度学习的人脸识别系统已被用于认证用户以访问许多安全敏感的应用程序,如支付应用程序。深度学习系统的这种使用为对手提供了足够的动机来针对这些系统执行攻击以用于其对抗目的。在这项工作中,我们考虑了一种新型的攻击,称为后门攻击,攻击者的目标是创建一个后门到一个基于学习的认证系统,使他可以很容易地绕过系统利用后门。具体地说,攻击者的目的是创建后门实例,从而误导受害者学习系统将后门实例分类为攻击者指定的目标标签。特别地,我们研究了后门中毒攻击,利用中毒策略实现后门攻击。与现有的所有工作不同的是,我们研究的中毒策略可以应用在一个非常弱的威胁模型下:(1)对手不知道受害者系统使用的模型和训练集;(2)攻击者只允许注入少量的中毒样本;(3)后门密钥即使是人类也很难注意到,以实现隐身。我们进行了评估,以证明后门攻击者只能注入大约50个中毒样本,同时达到90%以上的攻击成功率。我们也是第一个表明数据投毒攻击可以在不影响训练过程的情况下创建物理上可实现的后门的工作。我们的工作表明,后门中毒攻击对学习系统构成了真正的威胁,因此强调了进一步调查和提出防御策略的重要性。
2017-12-15 cs.CR cs.LG
Handcrafted Backdoors in Deep Neural Networks
Oregon State University(俄勒冈州立大学);Google Brain(谷歌大脑)
当机器学习训练外包给第三方时,$backdoor$ $attacks$变得实用,因为训练模型的第三方可能会恶意地将隐藏的行为注入到原本准确的模型中。到目前为止,注入后门的机制仅限于$poisoning$。我们认为,供应链攻击者有更多的攻击技术,通过引入$handcrafted$攻击,直接操纵模型的权重。这种直接修改给我们的攻击者更多的自由度相比,中毒,我们表明它可以用来逃避许多后门检测或删除防御有效。在四个数据集和四个网络架构中,我们的后门攻击成功率保持在96%以上。我们的研究结果表明,需要进一步的研究来了解供应链后门攻击的完整空间。
2022-11-15 cs.CR cs.LG
RFLBAT: A Robust Federated Learning Algorithm against Backdoor Attack
联邦学习(FL)是一种分布式机器学习范例,其中大量分散的客户端(例如,移动设备或IoT设备)在中央服务器(例如,服务提供商)的编排下协作地训练模型,同时保持训练数据分散。不幸的是,FL容易受到各种攻击,包括后门攻击,在存在恶意攻击者的情况下,后门攻击会变得更糟。大多数算法通常假设恶意攻击者不超过良性客户端或数据分布是独立同分布(IID)。然而,没有人知道恶意攻击者的数量,并且数据分布通常是非同分布(Non-IID)。在本文中,我们提出了RFLBAT,利用主成分分析(PCA)技术和Kmeans聚类算法来抵御后门攻击。我们的算法RFLBAT不限制后门攻击者的数量和数据分布,并且不需要学习过程之外的辅助信息。我们进行了广泛的实验,包括各种类型的后门攻击。实验结果表明,RFLBAT算法的性能优于现有的最先进的算法,能够抵抗各种后门攻击场景,包括不同数量的攻击者(DNA),不同的非IID场景(DNS),不同数量的客户端(DNC)和分布式后门攻击(DBA)。
2022-01-11 cs.CR cs.DC
A Spatiotemporal Stealthy Backdoor Attack against Cooperative Multi-Agent Deep Reinforcement Learning
School of Cybersecurity, Northwestern Polytechnical University(西北工业大学网络空间安全学院);Research & Development Institute of Northwestern Polytechnical University in Shenzhen(西北工业大学深圳研究院)
针对协作多智能体深度强化学习现有后门攻击隐蔽性不足等问题,提出仅植入单智能体的时空行为触发后门攻击,在SMAC环境的VDN、QMIX算法上实现高成功率与低性能影响。
2024-09-12 cs.AI cs.CR
Backdoor Attack against NLP models with Robustness-Aware Perturbation defense
University of saarland(萨尔大学)
后门攻击旨在将隐藏的后门嵌入到深度神经网络(DNN)中,使得被攻击的模型在良性样本上表现良好,而如果隐藏的后门被攻击者定义的触发器激活,则其预测将被恶意改变。这种威胁可能发生在培训过程没有完全控制的情况下,例如在第三方数据集上进行培训或采用第三方模型。针对这类后门攻击,已经有很多研究和不同的防御方法,其中之一是基于鲁棒性感知扰动的防御方法。该方法主要利用了中毒样本和干净样本之间的鲁棒性差距。在我们的工作中,我们通过使用对抗训练步骤控制中毒样本和干净样本之间的鲁棒性差距来打破这种防御。
2022-04-08 cs.CR cs.LG
Rethinking the Backdoor Attacks' Triggers: A Frequency Perspective
Virginia Tech(弗吉尼亚理工大学);University of Michigan(密歇根大学)
后门攻击一直被认为是对深度学习的严重安全威胁。这种攻击可以使模型在具有预定义触发器的输入上表现异常,并且仍然在干净数据上保持最先进的性能。虽然后门攻击已经从攻击者和防御者双方在图像域中进行了彻底的调查,但到目前为止还没有在频域中进行分析。本文首先从频率的角度重新审视现有的后门触发器,并进行了全面的分析。我们的研究结果表明,许多当前的后门攻击表现出严重的高频伪影,这些伪影在不同的数据集和分辨率上持续存在。我们进一步证明了这些高频伪影能够以98.50%的检测率简单地检测现有的后门触发器,而无需事先了解攻击细节和目标模型。承认以前的攻击的弱点,我们提出了一种实用的方法来创建平滑的后门触发器没有高频文物,并研究其可检测性。我们表明,现有的防御工程可以受益于将这些顺利触发到他们的设计考虑。此外,我们表明,检测器调谐到更强的光滑触发器可以推广到看不见的弱光滑触发器。简而言之,我们的工作强调了在深度学习中设计后门攻击和防御时考虑频率分析的重要性。
2022-01-25 cs.CR cs.LG
Backdoor Attacks on Time Series: A Generative Approach
The University of Melbourne(墨尔本大学);Fudan University(复旦大学)
后门攻击已经成为深度学习模型的主要安全威胁之一,因为它们可以通过在训练时将后门触发器预先注入模型来轻松控制模型的测试时间预测。虽然后门攻击已被广泛研究的图像,很少有作品调查的威胁后门攻击的时间序列数据。为了填补这一空白,在本文中,我们提出了一种新的生成方法的时间序列后门攻击对基于深度学习的时间序列分类器。后门攻击有两个主要目标:高隐蔽性和高攻击成功率。我们发现,与图像相比,在时间序列上实现这两个目标可能更具挑战性。这是因为时间序列具有较少的输入维度和较低的自由度,使得很难在不损害隐蔽性的情况下实现高攻击成功率。我们的生成方法通过生成与实时序列模式一样逼真的触发模式来解决这一挑战,同时实现高攻击成功率,而不会导致干净准确性的显着下降。我们还表明,我们提出的攻击是抵抗潜在的后门防御。此外,我们提出了一种新的通用生成器,它可以用一个允许通用攻击的生成器来毒害任何类型的时间序列,而不需要为新的时间序列数据集微调生成模型。
2023-02-05 cs.CR cs.LG
Hidden Killer: Invisible Textual Backdoor Attacks with Syntactic Trigger
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Beihang University(北京航空航天大学);Huazhong University of Science and Technology(华中科技大学)
后门攻击是一种针对机器学习模型的潜在安全威胁。在训练中注入后门后,受害者模型将在嵌入有预先设计的触发器的输入上产生对手指定的输出,但在推理期间在正常输入上表现良好。后门攻击作为一种突发性攻击,在自然语言处理(NLP)领域的研究还不够深入。据我们所知,几乎所有现有的文本后门攻击方法都是在正常样本中插入额外的内容作为触发器,这样就可以很容易地检测到嵌入的样本,从而阻止后门攻击。在本文中,我们提出使用句法结构作为触发器在文本后门攻击。我们进行了大量的实验,以证明基于语法标记的攻击方法可以达到相当的攻击性能(几乎100%的成功率)的插入为基础的方法,但具有更高的不可见性和更强的抵抗防御。这些结果也揭示了文本后门攻击的重要隐蔽性和危害性。本文的所有代码和数据都可以在https://github.com/thunlp/HiddenKiller上获得。
2021-06-03 cs.CL cs.CR
Do Backdoors Assist Membership Inference Attacks?
Osaka University(大阪大学);NTT Social Informatics Laboratories(NTT社会信息学实验室)
当攻击者向机器学习模型提供有毒样本时,隐私泄露(例如推断样本是否包括在模型的训练中的成员推断攻击)通过将样本移动到离群值而变得有效。然而,攻击可以被检测到,因为推理精度由于有毒样本而恶化。在本文中,我们讨论了一个\textit{backdoor-assisted membership inference attack},一种新的成员推断攻击的基础上后门,返回对手的预期输出的触发样本。通过对学术基准数据集的实验,我们发现了三个关键的见解。我们首先证明了后门辅助的成员推断攻击是不成功的。其次,当我们分析损失分布以了解不成功结果的原因时,我们发现后门无法区分训练样本和非训练样本的损失分布。换句话说,后门不会影响干净样本的分发。第三,我们还表明,毒物和触发样本激活不同分布的神经元。具体来说,后门使任何干净的样本成为内围值,而不是中毒样本。因此,我们确认,后门不能帮助成员推理。
2023-03-22 cs.CR cs.LG
Mitigating Backdoor Attack by Injecting Proactive Defensive Backdoor
Shenzhen Key Laboratory of Crowd Intelligence Empowered Low-Carbon Energy Network(深圳市众智赋能低碳能源网络重点实验室)
针对数据投毒后门攻击,提出主动防御后门方法PDB,通过在训练阶段注入防御性后门并利用可逆映射在推理时反转预测,有效抑制恶意后门并保持模型效用,实现最先进防御性能。
2024-10-15 cs.CR cs.CV
Detecting Backdoor Attacks Against Point Cloud Classifiers
Pennsylvania State University(宾夕法尼亚州立大学);Shanghai Jiao Tong University(上海交通大学)
后门攻击(BA)是对深度神经网络分类器的新兴威胁。被攻击的分类器将预测攻击者的目标类时,测试样本从源类嵌入后门模式(BP)。最近,第一个针对点云(PC)分类器的BA被提出,对包括自动驾驶在内的许多重要应用造成了新的威胁。这种PC BA由于其特殊的BP嵌入机制而无法被现有的BA防御检测到。在本文中,我们提出了一个反向工程防御,推断PC分类器是否受到后门攻击,而无需访问其训练集或任何干净的分类器作为参考。我们的防御的有效性证明在基准ModeNet40数据集的PC。
2021-10-20 cs.CR cs.CV cs.LG
Watch Out for the Lifespan: Evaluating Backdoor Attacks Against Federated Model Adaptation
CEA-Leti(CEA-莱提实验室);Centre CMP(CMP中心);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Mines Saint-Etienne(圣艾蒂安矿业学院)
本文研究了LoRA对联邦学习中后门攻击的影响,发现低秩适应可延长后门寿命,揭示了后门攻击评估中的关键问题。
2026-02-18 cs.CR cs.LG
Input-Aware Dynamic Backdoor Attack
VinAI Research(VinAI研究院);Hanoi University of Science and Technology(河内理工大学);VinUniversity
近年来,神经后门攻击被认为是深度学习系统的潜在安全威胁。这样的系统虽然在干净数据上实现了最先进的性能,但在具有预定义触发器的输入上执行异常。然而,当前的后门技术依赖于统一的触发模式,这些模式很容易被当前的防御方法检测和缓解。在这项工作中,我们提出了一种新的后门攻击技术,其中的触发器不同的输入。为了实现这一目标,我们实现了一个输入感知触发器驱动的多样性损失。一种新的交叉触发器测试应用于强制触发器不可重用性,使后门验证不可能。实验表明,我们的方法是有效的,在各种攻击场景以及多个数据集。我们进一步证明了我们的后门可以绕过最先进的防御方法。一个著名的神经网络检查器的分析再次证明了所提出的攻击的隐蔽性。我们的代码可在https://github.com/VinAIResearch/input-aware-backdoor-attack-release上公开获取。
2020-10-16 cs.CR cs.CV
Widen The Backdoor To Let More Attackers In
University of Oxford(牛津大学)
随着协作学习和数据汇集外包变得越来越普遍,试图操纵学习过程的恶意行为者(或代理人)在相互竞争时面临额外的障碍。在后门攻击中,对手试图通过将恶意样本引入训练数据来毒害模型,对手必须考虑到额外后门攻击者的存在可能会阻碍他们自己的后门的成功。在本文中,我们研究了多代理后门攻击的场景,其中多个非合谋攻击者在共享数据集中制作并插入触发样本,该数据集由模型(防御者)用于学习任务。我们发现了一个明显的逆火现象:增加攻击者的数量减少了每个攻击者的攻击成功率(ASR)。然后,我们利用这种现象来最大限度地减少攻击者的集体ASR,并通过(i)人工增加攻击者的数量,以及(ii)索引以从模型中删除攻击者的子数据集进行推理,从而最大限度地提高防御者的鲁棒性准确性,从而提出2种防御方法。
2021-10-09 cs.CR cs.LG
Turn the Combination Lock: Learnable Textual Backdoor Attacks via Word Substitution
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);McGill University(麦吉尔大学)
最近的研究表明,神经自然语言处理(NLP)模型容易受到后门攻击。注入后门后,模型在良性示例上正常运行,但当后门被激活时,会产生攻击者指定的预测,对现实世界的应用程序构成严重的安全威胁。由于现有的文本后门攻击很少关注后门的不可见性,因此它们很容易被检测和阻止。在这项工作中,我们提出了无形的后门,激活了一个可学习的组合词替换。我们发现,NLP模型可以被注入后门,导致接近100%的攻击成功率,而对现有的防御策略甚至人类检查都是高度不可见的。这些结果对自然语言处理模型的安全性提出了严重的警告,需要进一步的研究来解决。本文的所有数据和代码都发布在https://github.com/thunlp/BkdAtk-LWS上。
2021-06-11 cs.CL cs.CR