Neural Antidote: Class-Wise Prompt Tuning for Purifying Backdoors in CLIP
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院,清华大学);School of Computer Science and Technology, Harbin Institute of Technology(哈尔滨工业大学计算机科学与技术学院);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
本文提出逐类后门提示微调(CBPT),通过对比学习反演虚拟触发器并优化文本提示来净化 CLIP 中的后门,在七种主流攻击上实现平均干净准确率 58.83% 和攻击成功率 0.39%。
2025-09-21 cs.CV
Universal Litmus Patterns: Revealing Backdoor Attacks in CNNs
HRL Laboratories, LLC.(HRL实验室有限责任公司);University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
深度神经网络在许多应用中取得了前所未有的成功,这使得这些网络成为对抗性利用的主要目标。在本文中,我们介绍了一种用于检测深度卷积神经网络(CNN)上的后门攻击(又名特洛伊木马攻击)的基准技术。我们引入了通用石蕊模式(ULP)的概念,它使人们能够通过将这些通用模式馈送到网络并分析输出(即,将网络分类为“干净”或“损坏”)。这种检测是快速的,因为它只需要通过CNN的几次前向传递。我们证明了ULP在数千个网络上检测后门攻击的有效性,这些网络具有在四个基准数据集上训练的不同架构,即德国交通标志识别基准(GTSRB),MNIST,CIFAR 10和Tiny-ImageNet。本文的代码和训练/测试模型可以在https://umbcvision.github.io/Universal-Litmus-Patterns/上找到。
2020-05-15 cs.CV
Don't Trigger Me! A Triggerless Backdoor Attack Against Deep Neural Networks
CISPA Helmholtz Center for Information Security(CISPA 亥姆霍兹信息安全研究中心)
针对深度神经网络的后门攻击由于其严重的安全后果目前正被深入研究。当前最先进的后门攻击要求对手修改输入,通常是通过向其添加触发器,以便目标模型激活后门。这种增加的触发器不仅增加了在物理世界中发动后门攻击的难度,而且可以很容易地被多种防御机制检测到。在本文中,我们提出了第一个针对深度神经网络的无攻击者后门攻击,其中对手不需要修改触发后门的输入。我们的攻击是基于dropout技术。具体地说,我们将一组在模型训练期间退出的目标神经元与目标标签相关联。在预测阶段,当目标神经元再次被丢弃时,模型将输出目标标签,即,则发起后门攻击。我们的攻击的这种无边界特征使其在物理世界中变得实用。大量的实验表明,我们的无攻击者的后门攻击达到了完美的攻击成功率,可以忽略不计的损害模型的实用性。
2020-10-07 cs.CR cs.CV cs.LG
Confidence Matters: Inspecting Backdoors in Deep Neural Networks via Distribution Transfer
Nanjing University(南京大学);The University of Queensland(昆士兰大学);Purdue University(普渡大学);Pennsylvania State University(宾夕法尼亚州立大学)
后门攻击已被证明是对深度学习模型的严重安全威胁,检测给定模型是否已被后门攻击成为一项至关重要的任务。现有的防御主要建立在观察到后门触发器通常尺寸很小或只影响少数神经元的激活上。然而,上述观察在许多情况下被违反,特别是对于高级后门攻击,阻碍了现有防御的性能和适用性。在本文中,我们提出了一个后门防御DTInspector建立在一个新的观察。也就是说,有效的后门攻击通常需要对中毒训练样本的高预测置信度,以确保训练的模型以高概率表现出目标行为。基于这一观察,DTInspector首先学习一个可能改变大多数高置信度数据预测的补丁,然后通过检查将学习的补丁应用于低置信度数据后预测变化的比率来确定后门的存在。通过对5种后门攻击、4种数据集和3种高级攻击类型的测试,验证了该方法的有效性。
2022-08-13 cs.CR cs.CV
Removing Backdoor-Based Watermarks in Neural Networks with Limited Data
Tsinghua University(清华大学);Nanyang Technological University(南洋理工大学)
深度神经网络在各个领域得到了广泛的应用并取得了巨大的成功。由于训练深度模型通常会消耗大量的数据和计算资源,因此现在对训练的深度模型的交易需求很高,而且利润丰厚。不幸的是,幼稚的交易方案通常涉及与版权和可信度问题相关的潜在风险,例如,出售后的模型可以在未经进一步授权的情况下非法转售给他人,以牟取暴利。为了解决这个问题,各种水印技术被提出来保护模型的知识产权,其中基于后门的水印是最常用的一种。然而,这些水印方法的鲁棒性在现实环境下没有得到很好的评估,例如有限的分发数据可用性和水印模式的不可知性。在本文中,我们基准水印的鲁棒性,并提出了一种新的基于后门的水印去除框架,使用有限的数据,被称为野生动物。所提出的WILD仅用一小部分训练数据去除深度模型的水印,并且输出模型可以执行与从头开始训练而没有注入水印的模型相同的操作。特别地,一种新颖的数据增强方法被用来模仿水印触发器的行为。结合正常和扰动之间的分布对准(例如,闭塞)的数据在特征空间中,我们的方法推广以及所有典型类型的触发内容。实验结果表明,我们的方法可以有效地去除水印,而不损害深度模型的性能,为原始任务与有限的访问训练数据。
2020-08-08 cs.CV
Augmented Neural Fine-Tuning for Efficient Backdoor Purification
University of Central Florida(中佛罗里达大学);North Carolina State University(北卡罗来纳州立大学)
本文提出神经掩码微调(NFT)方法,利用简单数据增强和掩码正则化,高效移除后门攻击影响,在有限样本下表现优异,广泛验证于多种任务和数据集。
2024-07-17 cs.CV
An Effective and Resilient Backdoor Attack Framework against Deep Neural Networks and Vision Transformers
Nanyang Technological University(南洋理工大学);Hong Kong University of Science and Technology(香港科技大学);Wuhan Textile University(武汉纺织大学);Zhejiang University(浙江大学);Wuhan University(武汉大学)
本研究提出基于注意力的掩码生成、交替重训练及协同优化的后门攻击框架,可提升低投毒比下的攻击成功率与样本自然度,且对主流防御具备鲁棒性,适用于DNN与视觉Transformer。
2024-12-09 cs.CR cs.CV
Efficient Backdoor Attacks for Deep Neural Networks in Real-world Scenarios
University of Science and Technology of China(中国科学技术大学);Huazhong University of Science and Technology(华中科技大学)
针对现实场景中数据受限的后门攻击,提出基于CLIP的干净特征抑制与投毒特征增强方法,显著提升攻击效率,部分设置改进超100%。
2024-04-19 cs.CR cs.CV
WaveAttack: Asymmetric Frequency Obfuscation-based Backdoor Attacks Against Deep Neural Networks
Software Engineering Institute, East China Normal University(华东师范大学软件工程研究所);Computer Science and Engineering, University of Notre Dame(圣母大学计算机科学与工程系)
本文提出WaveAttack,一种基于离散小波变换提取高频特征生成触发器并结合非对称频率混淆的新型后门攻击方法,显著提升了隐蔽性、有效性和图像保真度,在多项指标上超越现有SOTA方法。
2023-10-19 cs.AI cs.CV
An anomaly detection approach for backdoored neural networks: face recognition as a case study
Idiap Research Institute(伊迪亚普研究所);École Polytéchnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院(EPFL))
后门攻击允许攻击者嵌入危害任何算法的正确行为的功能,无论是否是机器学习。这种隐藏的功能可以保持不活动,以正常使用算法,直到被攻击者激活。考虑到后门攻击的隐蔽性,如果这些网络被部署用于边界或访问控制等关键应用,这些后门的后果可能是灾难性的。在本文中,我们提出了一种新的后门网络检测方法的异常检测的原则的基础上,涉及到访问的清洁部分的训练数据和训练后的网络。在考虑各种触发器、位置和身份对时,我们强调了它的潜力,而不需要对后门的性质及其设置做出任何假设。我们在一个新的后门网络数据集上测试了我们的方法,并以完美的分数报告了可检测性结果。
2022-08-22 cs.CR cs.CV cs.LG
UNIT: Backdoor Mitigation via Automated Neural Distribution Tightening
Purdue University(普渡大学);University of Massachusetts at Amherst(马萨诸塞大学阿默斯特分校)
提出训练后防御方法UNIT,通过为每个神经元近似紧凑激活分布并消除异常大激活值,仅用5%干净数据有效缓解多种后门攻击,优于7种流行防御方法。
2024-07-16 cs.CR cs.CV
Backdooring and Poisoning Neural Networks with Image-Scaling Attacks
Technische Universität Braunschweig(布伦瑞克工业大学)
后门和中毒攻击是机器学习和视觉系统安全的主要威胁。然而,这些攻击通常会在图像中留下可见的伪影,这些伪影可以在视觉上检测到并削弱攻击的效力。在本文中,我们提出了一种新的策略隐藏后门和中毒攻击。我们的方法建立在最近一类攻击图像缩放。这些攻击能够操纵图像,使它们在缩放到特定分辨率时更改其内容。通过结合中毒和图像缩放攻击,我们可以隐藏后门的触发以及隐藏干净标签中毒的覆盖。此外,我们考虑检测图像缩放攻击,并得出一个自适应攻击。在实证评估中,我们证明了我们的策略的有效性。首先,我们证明了后门和中毒在与图像缩放攻击相结合时同样有效。其次,我们证明了目前针对图像缩放攻击的检测防御不足以发现我们的操纵。总的来说,我们的工作提供了一种新的方法来隐藏操纵的痕迹,适用于不同的中毒方法。
2020-03-19 cs.CR cs.CV
Towards Practical Deployment-Stage Backdoor Attack on Deep Neural Networks
Princeton University(普林斯顿大学);Zhejiang University(浙江大学);Tencent(腾讯)
AI安全社区的一个主要目标是安全可靠地为现实世界的应用程序生成和部署深度学习模型。为此,近年来广泛探索了在生产阶段(或训练阶段)对深度神经网络(DNN)的基于数据投毒的后门攻击以及相应的防御。具有讽刺意味的是,部署阶段的后门攻击通常发生在非专业用户的设备上,因此可以说在现实世界的场景中更具威胁性,但社区的关注要少得多。我们将这种不平衡的警惕性归因于现有部署阶段后门攻击算法的实用性较弱以及现实世界攻击演示的不足。为了填补这一空白,在这项工作中,我们研究了DNN部署阶段后门攻击的现实威胁。我们的研究基于一种常用的部署阶段攻击范式-对抗性权重攻击,其中对手选择性地修改模型权重以将后门嵌入部署的DNN中。为了接近现实的实用性,我们提出了第一个灰盒和物理可实现的权重后门注入攻击算法,即子网替换攻击(SRA),它只需要受害者模型的架构信息,可以支持物理触发器在现实世界中。广泛的实验模拟和系统级的真实世界的攻击演示进行。我们的研究结果不仅表明了所提出的攻击算法的有效性和实用性,而且还揭示了一种新型计算机病毒的实际风险,这种病毒可能会广泛传播并悄悄地将后门注入用户设备中的DNN模型。通过我们的研究,我们呼吁更多的关注DNN在部署阶段的脆弱性。
2022-05-26 cs.CR cs.CV
Invisible Backdoor Attacks on Deep Neural Networks via Steganography and Regularization
Shanghai Jiao Tong University(上海交通大学);The University of Adelaide(阿德莱德大学);The University of New South Wales(新南威尔士大学);Data61 CSIRO(澳大利亚联邦科学与工业研究组织 Data61);Shanghai Institute for Advanced Communication and Data Science(上海先进通信与数据科学研究院);Shanghai University(上海大学)
深度神经网络(DNN)已被证明容易受到后门攻击的攻击,其中隐藏的特征(模式)被训练成一个正常的模型,它只被一些特定的输入(称为触发器)激活,欺骗模型产生意想不到的行为。在本文中,我们为后门攻击创建了隐蔽和分散的触发器,这些触发器可以欺骗DNN模型和人类检查。我们通过两种最先进的嵌入触发器的方法来应用我们的隐形后门进行后门攻击。Badnets的第一种方法通过隐写术将触发器嵌入DNN。木马攻击的第二种方法使用两种类型的附加正则化项来生成具有不规则形状和大小的触发器。我们使用攻击成功率和功能来衡量我们的攻击性能。我们介绍了两个新的定义,人类感知的不可见性;一个是概念化的感知对抗相似性得分(PASS),另一个是学习感知图像补丁相似性(LPIPS)。我们表明,通过测量对手的攻击成功率,普通用户的功能和管理员的不可见性得分,我们提出的隐形后门在各种DNN模型以及四个数据集MNIST,CIFAR-10,CIFAR-100和GTSRB中可以相当有效。最后,我们认为,建议的无形后门攻击可以有效地挫败国家的最先进的木马后门检测方法,如神经清洗和TABOR。
2020-08-31 cs.CR cs.CV cs.LG
Architectural Neural Backdoors from First Principles
University of Cambridge(剑桥大学);University of Oxford(牛津大学);Imperial College London(伦敦帝国学院);University of Toronto(多伦多大学)
本文提出了一种无需人工监督即可针对任意触发模式植入架构后门的方法,对架构后门进行了12种分类,并通过用户研究和语言模型对比揭示了其检测难度,强调了加强ML系统防御的必要性。
2024-02-10 cs.AI cs.CR cs.CV
PatchBackdoor: Backdoor Attack against Deep Neural Networks without Model Modification
Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院);Shanghai Jiao Tong University(上海交通大学);Wuhan University(武汉大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出无需修改模型的PatchBackdoor后门攻击,通过在摄像头前放置训练好的后门贴片触发模型错误预测,结合数字-物理变换建模提升实用性,在多种模型分类任务上攻击成功率达93%-99%,且真实场景中仍具威胁。
2023-08-22 cs.CR cs.CV cs.LG
Defense against Backdoor Attacks via Identifying and Purifying Bad Neurons
Fuzhou University(福州大学);East China Normal University(华东师范大学)
神经网络的不透明性导致它们容易受到后门攻击的攻击,在这种攻击中,被感染神经元的隐藏注意力被触发,以覆盖对攻击者选择的神经元的正常预测。在本文中,我们提出了一种新的后门防御方法来标记和净化后门神经网络中的感染神经元。具体来说,我们首先定义了一个新的度量标准,称为良性显着性。通过结合一阶梯度来保留神经元之间的连接,良性显著性可以比后门防御中常用的度量更准确地识别受感染的神经元。然后,提出了一种新的自适应正则化(AR)机制,通过微调来帮助纯化这些已识别的感染神经元。由于AR能够适应不同大小的参数,因此在神经元纯化中,AR可以提供比常见的正则化机制更快和更稳定的收敛。大量的实验结果表明,我们的方法可以删除后门在神经网络的性能下降微不足道。
2022-08-13 cs.CR cs.CV cs.LG
Input-Aware Dynamic Backdoor Attack
VinAI Research(VinAI研究院);Hanoi University of Science and Technology(河内理工大学);VinUniversity
近年来,神经后门攻击被认为是深度学习系统的潜在安全威胁。这样的系统虽然在干净数据上实现了最先进的性能,但在具有预定义触发器的输入上执行异常。然而,当前的后门技术依赖于统一的触发模式,这些模式很容易被当前的防御方法检测和缓解。在这项工作中,我们提出了一种新的后门攻击技术,其中的触发器不同的输入。为了实现这一目标,我们实现了一个输入感知触发器驱动的多样性损失。一种新的交叉触发器测试应用于强制触发器不可重用性,使后门验证不可能。实验表明,我们的方法是有效的,在各种攻击场景以及多个数据集。我们进一步证明了我们的后门可以绕过最先进的防御方法。一个著名的神经网络检查器的分析再次证明了所提出的攻击的隐蔽性。我们的代码可在https://github.com/VinAIResearch/input-aware-backdoor-attack-release上公开获取。
2020-10-16 cs.CR cs.CV
Advancing Security in AI Systems: A Novel Approach to Detecting Backdoors in Deep Neural Networks
University of Maryland Baltimore County(马里兰大学巴尔的摩县分校)
提出基于张量分解(IVA、MCCA、PARAFAC2)的后门检测方法,无需训练数据即可分析DNN权重,在三个视觉数据集上显著提升检测准确性和效率。
2024-03-13 cs.CR cs.CV
Poison as a Cure: Detecting & Neutralizing Variable-Sized Backdoor Attacks in Deep Neural Networks
Nanyang Technological University(南洋理工大学)
深度学习模型最近被证明容易受到后门中毒的攻击,这是一种阴险的攻击,受害者模型正确预测干净的图像,但在添加触发毒药模式时将相同的图像分类为目标类。这种有毒模式可以被对手嵌入到训练数据集中。现有的防御在某些条件下是有效的,例如小尺寸的中毒模式,关于中毒训练样本的比例的知识,或者当经过验证的干净数据集可用时。由于防御者可能没有这样的先验知识或资源,我们提出了一种防御后门中毒,即使在这些先决条件不满足时也是有效的。它由几个部分组成:一个是提取后门中毒信号,检测中毒目标和基类,并从干净的样本中过滤出中毒。我们防御的最后一部分涉及在一个用提取的中毒信号增强的数据集上重新训练中毒模型,并对中毒样本进行纠正性重新标记以中和后门。我们的方法已被证明是有效的防御后门攻击,使用小型和大型的毒药模式对九个不同的目标为基础的类对从CIFAR10数据集。
2019-11-19 cs.CR cs.CV cs.LG
An Overview of Backdoor Attacks Against Deep Neural Networks and Possible Defences
University of Siena(锡耶纳大学)
随着令人印象深刻的进步触及我们社会的各个方面,基于深度神经网络(DNN)的人工智能技术正在带来越来越多的安全问题。虽然在测试时操作的攻击已经垄断了研究人员的最初注意力,但后门攻击通过干扰训练过程来破坏DNN模型的可能性,代表了破坏AI技术可靠性的进一步严重威胁。在后门攻击中,攻击者破坏训练数据,从而在测试时引起错误行为。但是,测试时间错误仅在存在与正确构建的输入样本相对应的触发事件时才会被激活。通过这种方式,被破坏的网络继续按照常规输入的预期工作,只有当攻击者决定激活隐藏在网络中的后门时,才会发生恶意行为。在过去的几年中,后门攻击一直是集中于开发新的攻击类别和提出可能的对策的密集研究活动的主题。这篇综述论文的目的是回顾迄今为止发表的作品,对迄今为止提出的不同类型的攻击和防御进行分类。指导分析的分类基于攻击者对训练过程的控制量,以及防御者验证用于训练的数据的完整性以及在训练和测试时监视DNN操作的能力。因此,所提出的分析特别适合突出攻击和防御的优势和劣势,并参考它们所处的应用场景。
2021-11-16 cs.CR cs.CV
Unsupervised Backdoor Detection and Mitigation for Spiking Neural Networks
RMIT University(皇家墨尔本理工大学)
针对脉冲神经网络后门攻击,提出非监督检测框架TMPBD与缓解机制NDSBM,实现100%检测率并将攻击成功率降至2.81%。
2025-10-08 cs.CR cs.CV cs.LG
Detecting Backdoor in Deep Neural Networks via Intentional Adversarial Perturbations
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
本文提出一种基于有意对抗扰动的后门检测方法,通过比较扰动前后模型预测一致性识别后门实例,在低计算开销下于多个数据集上取得高检测率并优于STRIP。
2021-06-22 cs.AI cs.CV
Kill it with FIRE: On Leveraging Latent Space Directions for Runtime Backdoor Mitigation in Deep Neural Networks
Humboldt University of Berlin, Germany(柏林洪堡大学);Ruhr University Bochum, Germany(波鸿鲁尔大学)
FIRE通过利用潜在空间方向在深度神经网络中缓解运行时后门漏洞,具有低计算开销并优于现有方法。
2026-02-11 cs.AI cs.CR cs.CV
Mitigating Backdoors within Deep Neural Networks in Data-limited Configuration
School of Computer Engineering, Iran University of Science and Technology(伊朗科学与技术大学计算机工程学院)
针对数据受限场景下深度神经网络的后门攻击,提出基于中毒神经元特征的可疑性评分方法,利用极小干净数据集将攻击成功率降低逾50%,且速度比基线快三倍。
2023-11-13 cs.CR cs.CV cs.LG
DeepBaR: Fault Backdoor Attack on Deep Neural Network Layers
ETH Zürich(苏黎世联邦理工学院);TTControl GmbH(TTControl有限公司);Deutsche Telekom Cloud Services(德国电信云服务公司);Slovak University of Technology(斯洛伐克理工大学)
本文提出 DeepBaR,一种通过在微调阶段注入故障以在神经网络中植入后门的攻击方法,其利用自定义损失函数生成对抗样本并添加不可见触发器,攻击成功率达 98.30%,且不影响非恶意输入下的模型准确率。
2024-07-30 cs.CR cs.CV cs.LG
LaserGuider: A Laser Based Physical Backdoor Attack against Deep Neural Networks
ShanghaiTech University(上海科技大学);Pengcheng Laboratory(鹏城实验室);Key Laboratory of System Software (Chinese Academy of Sciences) and State Key Laboratory of Computer Science, Institute of Software, Chinese Academy of Science(中国科学院软件研究所系统软件重点实验室与计算机科学国家重点实验室);Nanjing Institute of Software Technology(南京软件技术研究院)
本文提出基于激光触发器的物理后门攻击 LaserGuider,通过优化激光参数实现远程、隐蔽、灵活攻击,并发布真实激光斑点交通标志数据集 LaserMark。
2024-12-05 cs.AI cs.CR cs.CV
Backdoor Attack Detection in Computer Vision by Applying Matrix Factorization on the Weights of Deep Networks
University of Maryland Baltimore County(马里兰大学巴尔的摩县分校)
深度神经网络(DNN)和云服务在训练它们方面的重要性越来越大,这意味着不良行为者有更多的动机和机会插入后门来改变训练模型的行为。在本文中,我们介绍了一种新的后门检测方法,该方法使用独立向量分析(IVA)从预训练的DNN的权重中提取特征,然后使用机器学习分类器。与其他检测技术相比,这具有许多优点,例如不需要任何训练数据,可跨域应用,与广泛的网络架构一起操作,不假设用于改变网络行为的触发器的性质,以及高度可扩展。我们讨论了检测流水线,然后在两个计算机视觉数据集上展示了关于图像分类和目标检测的结果。我们的方法在效率方面优于竞争算法,并且更准确,有助于确保深度学习和AI的安全应用。
2022-12-15 cs.AI cs.CV
What Do You See? Evaluation of Explainable Artificial Intelligence (XAI) Interpretability through Neural Backdoors
Purdue University(普渡大学)
可解释人工智能(XAI)方法已经被提出来解释深度神经网络如何通过模型显着性解释来预测输入,这些解释突出了被认为对在特定目标上做出决策很重要的输入部分。然而,它仍然具有挑战性,以量化其可解释性的正确性,因为目前的评估方法要么需要从人类的主观输入或自动评估招致高计算成本。在本文中,我们提出了后门触发模式-隐藏的恶意功能,导致错误分类-自动评估显着性的解释。我们的主要观察是,触发器为输入提供了基础事实,以评估XAI方法识别的区域是否与其输出真正相关。由于后门触发器是导致故意错误分类的最重要特征,因此强大的XAI方法应该在推理时显示它们的存在。我们介绍了三个补充指标,用于系统评估XAI方法生成和评估七个最先进的无模型和模型特定的posthoc方法的解释,通过36个模型特洛伊木马专门制作的触发器使用颜色,形状,纹理,位置和大小。我们发现六种使用局部解释和特征相关性的方法都不能完全突出触发区域,只有无模型方法才能揭示整个触发区域。
2020-09-22 cs.AI cs.CV cs.LG
Backdoor Attacks against No-Reference Image Quality Assessment Models via a Scalable Trigger
Nanyang Technological University(南洋理工大学);Beihang University(北京航空航天大学);Pengcheng Laboratory(鹏城实验室)
针对现有NR-IQA对抗攻击的局限性,提出基于DCT域可缩放UAP触发器的后门攻击方法BAIQA,含投毒标签和干净标签两种方案,可通过调整系数任意操纵模型输出,经多数据集多模型验证有效。
2025-02-21 cs.CR cs.CV
IU: Imperceptible Universal Backdoor Attack
National Yang Ming Chiao Tung University
本文提出了一种隐蔽的通用后门攻击方法,利用图卷积网络建模类间关系,实现高攻击成功率的同时保持隐蔽性。
2026-02-28 cs.CR cs.CV cs.LG
Sneaky Spikes: Uncovering Stealthy Backdoor Attacks in Spiking Neural Networks with Neuromorphic Data
Radboud University(拉德堡德大学);Ikerlan Research Centre(伊克尔兰研究中心)
本文研究SNN在神经形态数据上的后门攻击,提出可调节位置与颜色的触发器策略,实现最高100%攻击成功率且几乎不降低干净准确率,并验证现有图像防御的不足。
2024-02-05 cs.CR cs.CV cs.LG
Deep Feature Space Trojan Attack of Neural Networks by Controlled Detoxification
Purdue University(普渡大学);Rutgers University(罗格斯大学)
木马(后门)攻击是对深度神经网络的一种对抗攻击,攻击者向受害者提供一个在恶意数据上训练/重新训练的模型。当一个正常的输入被打上一个叫做trigger的特定模式的印记时,后门就会被激活,从而导致错误分类。许多现有的特洛伊木马攻击的触发器是输入空间补丁/对象(例如,具有纯色的多边形)或简单的输入转换(例如Instagram过滤器)。这些简单的触发器容易受到最近的后门检测算法的影响。我们提出了一种新的深度特征空间木马攻击,具有五个特点:有效性,隐蔽性,可控性,鲁棒性和依赖于深度特征。我们在包括ImageNet在内的各种数据集上对9个图像分类器进行了广泛的实验,以证明这些属性,并表明我们的攻击可以逃避最先进的防御。
2021-01-04 cs.CV cs.LG
Enhancing Clean Label Backdoor Attack with Two-phase Specific Triggers
Beijing Institute of Technology(北京理工大学)
后门攻击威胁着深度神经网络(DNN)。对于隐秘性,研究人员提出了清洁标签后门攻击,这要求对手不改变中毒训练数据集的标签。由于图像-标签对正确,清洁标签设置使攻击更加隐蔽,但仍然存在一些问题:首先,传统的中毒训练数据的方法是无效的;其次,传统的触发器是不隐蔽的,仍然是可感知的。为了解决这些问题,我们提出了一个两阶段和图像特定的触发器生成方法,以加强清洁标签后门攻击。我们的方法是(1)强大的:我们的触发器都可以促进两个阶段(即,后门植入和激活阶段)同时进行后门攻击;(2)隐秘性:我们的触发器是从每个图像中生成的。它们是特定于图像的,而不是固定的触发器。大量实验表明,我们的方法在多种评估指标下可以获得出色的攻击成功率~(98.98%)、中毒率~(5%)、高隐蔽性,并且可以抵抗后门防御方法。
2022-06-10 cs.CR cs.CV
Explainability Matters: Backdoor Attacks on Medical Imaging
NYU Abu Dhabi(纽约大学阿布扎比分校);NYU Tandon School of Engineering(纽约大学坦登工程学院)
深度神经网络已经被证明容易受到后门攻击的攻击,这些攻击可以在模型训练之前很容易地引入到训练集中。最近的工作集中在调查自然图像或玩具数据集上的后门攻击。因此,在复杂的现实世界应用中,后门的确切影响尚未完全了解,例如在医疗成像中,误诊可能非常昂贵。在本文中,我们探讨了后门攻击对使用胸部X射线摄影的多标签疾病分类任务的影响,假设攻击者可以操纵训练数据集来执行攻击。对最先进架构的广泛评估表明,通过将具有少量像素扰动的图像引入训练集中,攻击者可以成功执行后门,而无需参与训练过程。一个简单的3 $\times$ 3像素触发器可以在受感染图像集上实现高达1.00的受试者工作特征(AUROC)曲线下面积。在一组干净的图像中,后门神经网络仍然可以实现高达0.85的AUROC,突出了攻击的隐蔽性。随着基于深度学习的诊断系统在临床实践中的广泛使用,我们还展示了可解释性在这种情况下是如何不可或缺的,因为它可以在推理时间内识别空间定位的后门。
2020-12-30 cs.CR cs.CV cs.LG
Backdoor Defense in Diffusion Models via Spatial Attention Unlearning
University of Southern California(南加州大学)
本文提出了一种名为SAU的新技术,通过潜在空间操作和空间注意力机制隔离并移除扩散模型中的后门触发器,实现100%触发器移除准确率并保持高质量图像生成能力。
2025-04-21 cs.AI cs.CR cs.CV
PoisHygiene: Detecting and Mitigating Poisoning Attacks in Neural Networks
The University of Texas at Dallas(德克萨斯大学达拉斯分校);The Pennsylvania State University(宾夕法尼亚州立大学)
深度神经网络(DNN)的黑盒性质便于攻击者通过数据投毒来操纵DNN的行为。能够检测和减轻中毒攻击(通常分为后门和对抗性中毒(AP))对于在许多应用领域中安全采用DNN至关重要。虽然最近的工作表现出令人鼓舞的结果检测某些后门攻击,他们表现出固有的局限性,可能会显着限制的适用性。实际上,不存在用于检测AP攻击的技术,这代表了更困难的挑战,因为这种攻击没有表现出共同和明确的规则,而后门攻击表现出共同和明确的规则(即,将后门触发器嵌入到中毒数据中)。我们认为,检测和缓解AP攻击的关键是在受感染的DNN模型中观察和利用基本中毒诱导属性的能力。在本文中,我们提出PoisHygiene,第一个有效和强大的检测和缓解框架对AP攻击。PoisHygiene的基本动机是欧内斯特·卢瑟福博士的故事(即,1908年诺贝尔奖获得者),通过随机电子取样观察原子结构。
2020-06-19 cs.CR cs.CV cs.LG
Robust Watermarks Meet Backdoored Models: Evading Diffusion Semantic Watermarks via Stealthy Backdoor
Tsinghua University(清华大学);Shandong University(山东大学);Wuhan University(武汉大学);Zhongguancun Laboratory(中关村实验室);Shandong Institute of Blockchain(山东省区块链研究院);National Financial Cryptography Research Center(国家金融密码研究中心)
该研究提出GhostVAE方法,通过在VAE编码器植入隐秘后门,可在良性图像上保持94.4%的平均水印真阳性率,同时实现94.6%的平均水印规避成功率,突破了现有语义水印的安全性。
2026-08-04 cs.AI cs.CR cs.CV
Few-shot Backdoor Defense Using Shapley Estimation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);The University of Sydney(悉尼大学);JD Explore Academy(京东探索研究院)
在过去十年中,深度神经网络在自动驾驶、人脸识别和医疗诊断等各种任务中取得了令人印象深刻的性能。然而,先前的工作表明,深度神经网络很容易在推理阶段被后门攻击操纵成特定的、攻击者决定的行为,后门攻击将恶意的小隐藏触发器注入模型训练,从而引发严重的安全威胁。为了确定被触发的神经元并防止后门攻击,我们利用Shapley值并开发了一种名为Shapley Pruning(Shaping Pruning)的新方法,该方法成功地减轻了数据不足情况下(每个类1张图像甚至没有数据)模型的后门攻击。考虑到神经元之间的相互作用,Shaping Pruning识别出少数受感染的神经元(不到所有神经元的1%),并在修剪尽可能多的受感染神经元后,设法保护模型的结构和准确性。为了加速ShapPruning,我们进一步提出了丢弃阈值和$ε$ -贪婪策略来加速Shapley估计,使得在几分钟内修复中毒模型成为可能。实验表明,我们的方法对各种攻击和任务的有效性和鲁棒性相比,现有的方法。
2022-10-21 cs.CR cs.CV cs.NE
BaDExpert: Extracting Backdoor Functionality for Accurate Backdoor Input Detection
Princeton University(普林斯顿大学);Zhejiang University(浙江大学)
本研究提出新型后门防御方法BaDExpert,通过逆向工程微调后门模型提取仅识别后门输入的后门专家模型,结合辅助模型集成策略,可有效缓解17种主流后门攻击且对干净样本效用影响极小,已在多数据集和模型架构上验证有效。
2023-10-05 cs.AI cs.CR cs.CV
Look, Listen, and Attack: Backdoor Attacks Against Video Action Recognition
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);Saudi Data and Artificial Intelligence Authority (SDAIA)(沙特数据与人工智能管理局)
深度神经网络(DNN)容易受到一类称为“后门攻击“的攻击,这种攻击在后门触发器和攻击者有兴趣利用的目标标签之间创建关联。后门DNN在干净的测试图像上表现良好,但在存在后门触发器的情况下,持续预测攻击者定义的任何样本标签。尽管后门攻击在图像域中已经被广泛研究,但是在视频域中探索这样的攻击的工作很少,并且他们倾向于得出图像后门攻击在视频域中不太有效的结论。在这项工作中,我们重新审视了传统的后门威胁模型,并将其他与视频相关的方面纳入该模型。我们发现,有毒标签图像后门攻击可以扩展时间在两种方式,静态和动态,导致在视频域中的高效攻击。此外,我们还探索了自然视频后门,以突出此漏洞在视频领域的严重性。而且,我们第一次研究了针对视频动作识别模型的多模态(视听)后门攻击,在那里我们证明了攻击单一模态足以实现高攻击成功率。
2023-01-19 cs.CR cs.CV cs.LG
BATT: Backdoor Attack with Transformation-based Triggers
Research Center for Computer Network (Shenzhen) Ministry of Education(教育部计算机网络(深圳)研究中心)
深度神经网络(DNN)容易受到后门攻击的攻击。后门攻击者打算通过注入隐藏的后门来恶意控制被攻击DNN的预测,这些后门可以在训练过程中由攻击者指定的触发模式激活。最近的一项研究表明,大多数现有的攻击在真实的物理世界中失败了,因为数字化测试样本中包含的触发器可能与用于训练的触发器不同。因此,用户可以采用空间变换作为图像预处理来去激活隐藏的后门。在本文中,我们从另一个侧面探索了以前的研究结果。我们利用经典的空间变换(即旋转和平移)与特定的参数作为触发模式,设计了一个简单而有效的基于中毒的后门攻击。例如,只有旋转到特定角度的图像才能激活受攻击DNN的嵌入式后门。进行了大量的实验,验证了我们的攻击在数字和物理环境下的有效性,以及它对现有后门防御的抵抗力。
2023-03-06 cs.AI cs.CR cs.CV