Code-Bridged Classifier (CBC): A Low or Negative Overhead Defense for Making a CNN Classifier Robust Against Adversarial Attacks
在本文中,我们提出了代码桥接分类器(CBC),这是一个框架,用于使卷积神经网络(CNN)对对抗攻击具有鲁棒性,而不会增加甚至降低整个模型的计算复杂性。更具体地说,我们提出了一种堆叠的编码器卷积模型,其中输入图像首先由去噪自动编码器的编码器模块编码,然后将所得的潜在表示(未被解码)馈送到复杂度降低的CNN进行图像分类。我们说明,该网络不仅是更强大的对抗性的例子,但也有一个显着较低的计算复杂性相比,现有技术的防御。
2020-01-16 cs.CV cs.LG stat.ML
Unleashing the Power of Pre-trained Encoders for Universal Adversarial Attack Detection
Faculty of Data Science, City University of Macau(澳门城市大学数据科学学院);Torrens University Australia(澳大利亚托伦斯大学);School of Computer Science and Engineering, Wuhan Institute of Technology(武汉工程大学计算机科学与工程学院)
针对现有对抗攻击检测方法泛化能力受限且工程成本高的问题,本文提出基于CLIP的轻量级检测框架,通过联合微调双编码器并引入异常检测视角,在已知与未知攻击上均显著提升泛化能力并降低训练开销。
2025-04-01 cs.CV
Purifying Adversarial Perturbation with Adversarially Trained Auto-encoders
Iowa State University(爱荷华州立大学)
机器学习模型容易受到对抗性样本的影响。迭代对抗训练在对抗强大的白盒攻击方面表现出了良好的效果。然而,对抗训练非常昂贵,每次需要保护模型时,都需要执行这种昂贵的训练方案。在本文中,我们提出将迭代对抗训练方案应用于外部自动编码器,一旦训练好,就可以直接用于保护其他模型。我们的经验表明,我们的模型优于其他净化为基础的方法对白盒攻击,并转移直接保护其他基础模型与不同的架构。
2019-05-26 cs.CR cs.CV cs.LG
Controlled Caption Generation for Images Through Adversarial Attacks
University of Western Australia(西澳大学);University of Central Florida(中佛罗里达大学)
深度学习被发现容易受到对抗性样本的影响。然而,它的对抗敏感性在图像字幕生成的探索不足。我们研究了视觉和语言模型的对抗性示例,这些模型通常采用由两个主要组件组成的编码器-解码器框架:卷积神经网络(即,CNN)用于图像特征提取,以及递归神经网络(RNN)用于字幕生成。特别是,我们研究了对视觉编码器的隐藏层的攻击,该隐藏层被馈送到随后的递归网络。现有的方法要么攻击视觉编码器的分类层,要么从语言模型反向传播梯度。相比之下,我们提出了一种基于GAN的算法,用于为神经图像描述制作对抗性示例,该算法模仿CNN的内部表示,使得输入图像的深度特征能够通过递归网络生成受控的不正确字幕。我们的贡献提供了新的见解理解对抗攻击的视觉系统与语言组件。该方法采用两种策略进行综合评价。第一个检查神经图像描述系统是否会被误导而输出目标图像标题。第二部分分析了关键词进入预测字幕的可能性。实验表明,我们的算法可以制作有效的对抗图像的基础上,CNN隐藏层欺骗字幕框架。此外,我们发现提出的攻击是高度可转移的。我们的工作导致新的鲁棒性的神经图像描述的影响。
2021-07-07 cs.CV cs.LG
SW-ProxyCE: Zero-Query Adversarial Transfer from Public EEG Encoders to Private Downstream Models
本文针对公开编码器与私有下游模型场景,提出无查询的任务感知攻击框架SW-ProxyCE,实验表明其生成的对抗样本可有效迁移至下游模型,且性能优于任务无关攻击。
2026-08-19 cs.LG
Evaluating the Robustness of Bayesian Neural Networks Against Different Types of Attacks
Arizona State University(亚利桑那州立大学)
为了评估贝叶斯神经网络在图像分类任务上的鲁棒性增益,我们对最先进的贝叶斯神经网络进行输入扰动和对抗攻击,并以基准CNN模型作为参考。选择这些攻击来模拟对基于CNN的机器学习系统的信号干扰和网络攻击。结果表明,贝叶斯神经网络实现了显着更高的鲁棒性对对抗攻击产生的确定性神经网络模型,没有对抗训练。贝叶斯后验可以作为正在进行的恶意活动的安全前兆。此外,我们表明,确定性CNN提取器后的随机分类器具有足够的鲁棒性增强,而不是随机特征提取器之前的随机分类器。这建议利用随机层在建设决策管道内的安全关键域。
2021-06-17 cs.CV cs.LG
Deep Feature Space Trojan Attack of Neural Networks by Controlled Detoxification
Purdue University(普渡大学);Rutgers University(罗格斯大学)
木马(后门)攻击是对深度神经网络的一种对抗攻击,攻击者向受害者提供一个在恶意数据上训练/重新训练的模型。当一个正常的输入被打上一个叫做trigger的特定模式的印记时,后门就会被激活,从而导致错误分类。许多现有的特洛伊木马攻击的触发器是输入空间补丁/对象(例如,具有纯色的多边形)或简单的输入转换(例如Instagram过滤器)。这些简单的触发器容易受到最近的后门检测算法的影响。我们提出了一种新的深度特征空间木马攻击,具有五个特点:有效性,隐蔽性,可控性,鲁棒性和依赖于深度特征。我们在包括ImageNet在内的各种数据集上对9个图像分类器进行了广泛的实验,以证明这些属性,并表明我们的攻击可以逃避最先进的防御。
2021-01-04 cs.CV cs.LG
Multi-Task Adversarial Attack
Southern University of Science and Technology(南方科技大学)
深度神经网络在各个领域都取得了令人印象深刻的性能,但它们被证明容易受到对抗攻击的影响。以往的对抗攻击研究主要集中在单任务环境下。然而,在实际应用中,往往需要同时针对不同的任务攻击多个模型。为此,我们提出了多任务对抗攻击(MTA),这是一个统一的框架,可以通过利用任务之间的共享知识来有效地为多个任务制作对抗示例,这有助于在现实世界的系统中实现对抗攻击的大规模应用。更具体地说,MTA使用对抗扰动生成器,该生成器由所有任务的共享编码器和多个特定于任务的解码器组成。由于共享编码器,MTA在同时攻击多个任务时降低了存储成本并加快了推理速度。此外,所提出的框架可以用于生成针对性和非针对性攻击的每个实例和通用扰动。在Office-31和NYUv 2数据集上的实验结果表明,与单任务相比,MTA可以提高攻击质量。
2020-11-19 cs.CR cs.LG
DVS-Attacks: Adversarial Attacks on Dynamic Vision Sensors for Spiking Neural Networks
Technische Universität Wien(维也纳工业大学);Politecnico di Torino(都灵理工大学);New York University(纽约大学)
尽管脉冲神经网络(SNN)在神经形态硬件上实现并与基于事件的动态视觉传感器(DVS)耦合时是节能的,但其易受安全威胁的影响,例如对抗攻击,即,添加到输入的小扰动用于引起误分类。为此,我们提出了DVS攻击,一组隐形而有效的对抗攻击方法,目标是扰乱组成SNN输入的事件序列。首先,我们证明了DVS的噪声滤波器可以用作对抗对抗攻击的防御机制。之后,我们实现了几种攻击,并在两种类型的噪声过滤器的DVS相机的存在下测试它们。实验结果表明,过滤器只能部分防御SNN对我们提出的DVS攻击。使用噪声滤波器的最佳设置,与原始的干净帧相比,我们提出的Mask Filter Aware Dash Attack在DVS-Gesture数据集上降低了20%以上的准确性,在MNIST数据集上降低了65%以上的准确性。所有建议的DVS攻击和噪声滤波器的源代码都在https://github.com/albertomarchisio/DVS-Attacks上发布。
2021-07-01 cs.CV cs.LG
Sample Efficient Detection and Classification of Adversarial Attacks via Self-Supervised Embeddings
University of Maryland(马里兰大学)
深度模型的对抗鲁棒性对于确保在现实环境中的安全部署至关重要,但大多数现代防御措施的范围都很窄,成本也很高。在本文中,我们提出了一种自监督的方法来检测对抗攻击,并将它们分类到各自的威胁模型,基于线性模型操作的嵌入从一个预先训练的自监督编码器。我们在实验中使用了Simplified编码器,因为我们表明Simplified嵌入距离是人类感知能力的一个很好的代理,使其能够同时封装许多威胁模型。我们称我们的方法为SimCat,因为它使用Simcat编码器来捕获和分类各种类型的对抗攻击,包括L_p和非L_p规避攻击,以及数据投毒。线性分类器的简单性质使得我们的方法在时间和样本复杂度上都是有效的。例如,在SVHN上,使用PGD-L_inf攻击计算的五对干净和对抗性示例,SimCat的检测准确率超过85%。此外,在ImageNet上,仅使用每个威胁模型的25个示例,SimCat就可以对PGD-L_2、PGD-L_inf、CW-L_2、PPGD、LPA、StAdv、ReColor和JPEG-L_inf等八种不同的攻击类型进行分类,准确率超过40%。在STL 10数据上,我们应用SimCat作为对中毒攻击的防御,例如BP,CP,FC,CLBD,HTBD,成功率减半,而仅使用20种毒药进行训练。我们发现,探测器推广以及看不见的威胁模型。最后,我们研究了我们的检测方法在自适应攻击下的性能,并通过对抗性训练…
2021-08-30 cs.CR cs.LG
Adversarial attacks on an optical neural network
Peng Cheng Laboratory(鹏城实验室);Xidian University(西安电子科技大学)
针对数字领域的深度学习等机器学习系统,人们已经广泛研究了对抗攻击。然而,针对光学神经网络的对抗攻击却很少被研究。在这项工作中,我们首先构建一个精确的图像分类器与ONN使用一个网格的互连马赫-曾德尔干涉仪(MZI)。并首次提出了相应的对抗攻击方案。被攻击的图像在视觉上与原始图像非常相似,但ONN系统在大多数情况下会出现故障并生成错误的分类结果。结果表明,对抗攻击也是光学机器学习系统的一个重要问题。
2022-04-29 cs.CR cs.CV cs.LG
Cross-domain Cross-architecture Black-box Attacks on Fine-tuned Models with Transferred Evolutionary Strategies
Hong Kong University of Science and Technology(香港科技大学);WeBank(微众银行)
微调可能容易受到对抗攻击。现有的关于微调模型(BAFT)的黑箱攻击的工作受到强假设的限制。为了填补这一空白,我们提出了两种新的BAFT设置,跨域和跨域跨架构BAFT,它只假设(1)攻击的目标模型是一个微调的模型,(2)源域数据是已知的和可访问的。为了在这两种设置下成功地攻击微调模型,我们建议首先针对源模型训练一个对抗生成器,该生成器采用编码器-解码器架构,并将干净的输入映射到对抗示例。然后,我们在由对抗生成器的编码器产生的低维潜在空间中搜索。搜索是在从源模型获得的代理梯度的指导下进行的。在不同领域和不同网络结构上的实验结果表明,该攻击方法可以有效地攻击微调模型。
2022-08-28 cs.CR cs.LG cs.NE
Multi-objective Search of Robust Neural Architectures against Multiple Types of Adversarial Attacks
University of Surrey(萨里大学)
许多现有的深度学习模型容易受到人类无法感知的对抗性示例的影响。为了解决这个问题,已经提出了各种方法来设计对一种特定类型的对抗攻击鲁棒的网络架构。然而,实际上不可能预先预测机器学习模型可能遭受哪种类型的攻击。为了应对这一挑战,我们建议使用多目标进化算法来搜索对五种类型的知名对抗攻击具有鲁棒性的深度神经架构。为了减少计算成本,计算随机选择的攻击的归一化出错率作为每一代新生成的神经结构的鲁棒性。然后,通过所提出的方法获得的所有非支配网络架构针对随机选择的对抗攻击进行充分训练,并在两个广泛使用的数据集上进行测试。我们的实验结果表明,所提出的方法发现的优化神经架构的优越性,在不同的对抗攻击下的分类精度方面,在文献中广泛使用的最先进的网络。
2021-01-16 cs.CV cs.LG cs.NE
I See Dead People: Gray-Box Adversarial Attack on Image-To-Text Models
Ben-Gurion University of the Negev(内盖夫本-古里安大学);DeepKeep
针对图像到文本模型输出空间大、对抗样本生成难的问题,提出一种仅依赖图像编码器的灰盒对抗攻击算法,在ViT-GPT2和Flickr30k上验证了无目标与有目标攻击的有效性,且可骗过Hugging Face平台。
2023-07-19 cs.CV cs.NE
On the Adversarial Robustness of Discrete Image Tokenizers
Mila - Quebec AI Institute(魁北克AI研究所);EPFL(苏黎世联邦理工学院);ELLIS Institute Finland - Aalto University(芬兰ELLIS研究所-阿莱大学)
本文研究了离散图像标记器的对抗鲁棒性,提出了一种无监督对抗训练方法以提升其鲁棒性,适用于多种多模态任务。
2026-02-20 cs.AI cs.CV
Robustness of Bayesian Neural Networks to White-Box Adversarial Attacks
Pennsylvania State University(宾夕法尼亚州立大学);Applied Research Solutions(应用研究解决方案公司);Air Force Research Lab(空军研究实验室)
贝叶斯神经网络(BNN)与传统的神经网络(TNN)不同,它具有鲁棒性,并且通过引入随机性来处理对抗攻击。这种随机性改善了对不确定性的估计,这是TNN缺乏的一个特征。因此,我们使用多个贝叶斯神经架构研究BNN对白盒攻击的鲁棒性。此外,我们通过融合贝叶斯推理(即,变分贝叶斯)到DenseNet架构和BDAV,通过将这种干预与对抗训练相结合。在CIFAR-10和FGVC-Aircraft数据集上进行了实验。我们使用强大的白盒攻击($l_\infty$ -FGSM、$l_\infty$ -PGD、$l_2$-PGD、EOT $l_\infty$ -FGSM和EOT $l_\infty$ -PGD)来攻击我们的模型。在所有实验中,至少有一个BNN在对抗攻击场景中优于传统的神经网络。在大多数实验中,经过对抗训练的BNN优于其非贝叶斯的、经过对抗训练的对应物,并且通常具有显著的优势。最后,我们研究了网络校准,发现BNN不会做出过于自信的预测,这证明BNN在测量不确定性方面也更好。
2021-11-16 cs.CR cs.CV cs.LG
Explaining Away Attacks Against Neural Networks
SAP Asia(思爱普亚洲)
我们研究了识别基于图像的神经网络上的对抗攻击的问题。我们提出了有趣的实验结果,显示了对干净数据和对抗数据模型预测的解释之间存在显着差异。利用这种直觉,我们提出了一个框架,可以根据模型给出的解释来识别给定的输入是否是对抗性的。我们的实验代码可以在这里找到:https://github.com/seansaito/Explaining-Away-Attacks-Against-Neural-Networks。
2020-03-06 cs.CR cs.CV cs.LG
Tropical Decision Boundaries for Neural Networks Are Robust Against Adversarial Attacks
本研究提出一种可嵌入任意模型的热带卷积神经网络架构,利用分段线性网络的热带特性在单隐藏层嵌入热带投影环面,经理论分析与图像数据集实验验证其对对抗攻击具有鲁棒性。
2024-02-01 cs.CR cs.CV cs.LG
An ADMM-Based Universal Framework for Adversarial Attacks on Deep Neural Networks
Northeastern University(东北大学);IBM Research AI(IBM研究院人工智能部门)
深度神经网络(DNN)是已知的易受对抗攻击的攻击。也就是说,通过在原始合法输入上添加精心制作的扭曲而获得的对抗性示例可以误导DNN将其分类为任何目标标签。在一个成功的对抗攻击中,目标误分类应该以最小的失真来实现。在文献中,增加的失真通常通过L0、L1、L2和L无穷范数来测量,即分别为L0、L1、L2和L无穷攻击。然而,缺乏一个通用的框架,所有类型的对抗攻击。这项工作首次统一了利用ADMM(交替方向乘法器)生成对抗性示例的方法,ADMM是一种算子分裂优化方法,因此L0,L1,L2和L无穷大攻击可以通过这个通用框架有效地实现。与每一类最先进的攻击相比,我们基于ADMM的攻击是迄今为止最强大的,达到了100%的攻击成功率和最小的失真。
2018-04-09 cs.CV cs.LG stat.ML
Thundernna: a white box adversarial attack
University of Waterloo(滑铁卢大学)
本文提出白盒对抗攻击方法 Thundernna,利用一阶优化生成对抗扰动,相较其他一阶攻击成功率更高,且比二阶及多步一阶攻击更快。
2024-01-21 cs.LG
DeepSearch: A Simple and Effective Blackbox Attack for Deep Neural Networks
MPI-SWS(马克斯·普朗克软件系统研究所)
尽管深度神经网络在图像分类任务中非常成功,但它们容易受到对抗攻击。为了生成对抗性输入,出现了各种各样的技术,例如针对神经网络的黑盒和白盒攻击。在本文中,我们提出了DeepSearch,这是一种针对图像分类器的新型基于模糊的,查询效率高的黑盒攻击。尽管它很简单,但DeepSearch在寻找对抗性输入方面比最先进的黑盒方法更有效。与这些方法相比,DeepSearch还能够生成最微妙的对抗性输入。
2020-08-15 cs.LG
Imperceptible CMOS camera dazzle for adversarial attacks on deep neural networks
Ben Gurion University(本古里安大学)
本文提出一种利用光源对卷帘快门CMOS相机进行眩光干扰的不可见光学对抗攻击,并给出在光源完全不可见条件下欺骗深度神经网络所需的适光条件。
2023-10-22 cs.CR cs.LG
Exploring Misclassifications of Robust Neural Networks to Enhance Adversarial Attacks
Univ. of Erlangen-Nürnberg(埃尔朗根-纽伦堡大学)
尽管研究界付出了巨大的努力,但在使神经网络对对抗攻击更鲁棒方面的进展大多是微不足道的。此外,鲁棒性评估通常是不精确的,使得很难确定有前途的方法。我们分析了19种不同的最先进的神经网络的分类决策,这些神经网络被训练成对对抗攻击具有鲁棒性。我们的研究结果表明,目前的无针对性的对抗攻击只会导致有限数量的不同类别的错误分类。此外,我们观察到,在模型预测的过度和不足的信心导致模型的鲁棒性的不准确评估。基于这些观察结果,我们提出了一种新的对抗攻击损失函数,与19个分析模型中的19个相比,该损失函数持续提高了攻击成功率。
2021-05-25 cs.LG
Enhancing Adversarial Attacks on Single-Layer NVM Crossbar-Based Neural Networks with Power Consumption Information
Rochester Institute of Technology(罗切斯特理工学院)
对最先进的机器学习模型的对抗攻击对关键任务自治系统的安全性构成了重大威胁。本文考虑了当攻击者可以测量其底层硬件平台的功耗时,机器学习模型的额外脆弱性。特别是,我们探讨了非易失性存储器基于纵横的单层神经网络的对抗攻击的功耗信息的效用。我们对MNIST和CIFAR-10数据集的实验结果表明,功耗可以揭示神经网络权重矩阵的重要信息,例如列的1-范数。这些信息可以用来推断网络损失对不同输入的敏感度。我们还发现,基于代理的黑盒攻击,利用交叉开关电源信息可以导致提高攻击效率。
2022-07-06 cs.LG
Is Semantic Communications Secure? A Tale of Multi-Domain Adversarial Attacks
Virginia Tech(弗吉尼亚理工大学);University of Maryland(马里兰大学);The Ohio State University(俄亥俄州立大学)
语义通信寻求从源传输信息,同时将期望的含义传达到其目的地。我们将发送器-接收器功能建模为自动编码器,然后是任务分类器,用于评估传达给接收器的信息的含义。自动编码器由发射机处的编码器和接收机处的解码器组成,所述编码器用于联合建模信源编码、信道编码和调制,所述解码器用于联合建模解调、信道解码和信源解码。通过用语义损失来增强重建损失,该编码器-解码器对的两个深度神经网络(DNN)与语义任务分类器的DNN交互地训练。这种方法有效地捕获了潜在的特征空间,并可靠地传输压缩的特征向量,同时保持较低的语义损失。我们确定了使用DNN进行语义通信的多域安全漏洞。基于对抗机器学习,我们通过在语义通信的不同阶段操纵DNN的输入,在DNN上引入测试时(有针对性和非有针对性)对抗攻击。作为计算机视觉攻击,在发射机编码器的输入处向图像注入小扰动。作为一种无线攻击,发送小扰动信号以干扰接收器解码器的输入。通过单独或更有效地以组合形式作为多域攻击发起这些隐形攻击,我们表明即使重建损失仍然很低,也有可能改变传输信息的语义。这些多域对抗攻击对信息传输的语义构成了严重威胁(比传统干扰的影响更大),并提出了安全采用语义通信的防御方法的需求。
2022-12-20 cs.CR cs.IT cs.LG
Bluff: Interactively Deciphering Adversarial Attacks on Deep Neural Networks
Georgia Institute of Technology(佐治亚理工学院);Georgia Tech Research Institute(佐治亚理工研究院)
深度神经网络(DNN)现在通常用于许多领域。然而,它们很容易受到对抗攻击:精心设计的数据输入扰动,可以欺骗模型做出错误的预测。尽管在开发DNN攻击和防御技术方面进行了大量研究,但人们仍然缺乏对此类攻击如何渗透模型内部的理解。我们提出了Bluff,一个交互式系统,用于可视化,表征和破译基于视觉的神经网络上的对抗攻击。Bluff允许人们灵活地可视化和比较良性和受攻击图像的激活路径,揭示对抗攻击对模型造成伤害的机制。Bluff是开源的,可以在现代的Web浏览器中运行。
2020-09-08 cs.CR cs.LG
Over-the-air White-box Attack on the Wav2Vec Speech Recognition Neural Network
Joint Stock Research and Production Company Kryptonite(Kryptonite联合股票研究与生产公司)
本文研究了如何使面向空气的攻击更难以被察觉,并探讨这些方法对攻击有效性的影响。
2026-03-17 cs.LG cs.SD eess.AS
Boosting Adversarial Attacks on Neural Networks with Better Optimizer
State Key Laboratory of Mathematical Engineering and Advanced Computing(数学工程与先进计算国家重点实验室)
卷积神经网络在图像识别任务中的表现优于人类,但它们仍然容易受到来自对抗性样本的攻击。由于这些数据是通过向正常图像添加难以察觉的噪声来制作的,因此它们的存在对深度学习系统构成了潜在的安全威胁。具有强大攻击性能的复杂对抗性示例也可以用作评估模型鲁棒性的工具。然而,对抗攻击的成功率可以在黑盒环境中进一步提高。因此,本研究将修正的Adam梯度下降演算法与迭代梯度攻击法结合。然后使用所提出的Adam迭代快速梯度方法来提高对抗性示例的可移植性。在ImageNet上的大量实验表明,该方法比现有的迭代法具有更高的攻击成功率。通过扩展我们的方法,我们在防御模型上实现了95.0%的最先进的攻击成功率。
2021-06-09 cs.CV
Targeted Adversarial Attacks on Generalizable Neural Radiance Fields
Peter Pazmany Catholic University(彼得·帕兹曼尼天主教大学);Faculty of Information Technology and Bionics(信息技术与仿生学院);Nokia Bell Labs(诺基亚贝尔实验室)
该研究针对可泛化神经辐射场(NeRFs)的安全漏洞,提出低强度对抗攻击与对抗补丁攻击两种方式,验证了定向攻击可成功生成预定义输出场景,为NeRF在关键应用中的风险防护提供参考。
2023-10-05 cs.LG
Exploiting Vulnerabilities in Deep Neural Networks: Adversarial and Fault-Injection Attacks
Technische Universität Wien (TU Wien)(维也纳工业大学);New York University Abu Dhabi (NYUAD)(纽约大学阿布扎比分校)
从微小的起搏器芯片到飞机防撞系统,最先进的网络物理系统(CPS)越来越多地开始依赖深度神经网络(DNN)。然而,正如各种研究所得出的结论,DNN非常容易受到安全威胁,包括对抗攻击。在本文中,我们首先讨论了不同的漏洞,可以利用生成安全攻击的神经网络为基础的系统。然后,我们概述了DNN上现有的对抗性和基于故障注入的攻击。我们还进行了简短的分析,以强调实际实施对抗攻击时面临的不同挑战。最后,我们还讨论了开发健壮的基于DNN的系统的各种潜在方法,这些系统可以抵御对抗性攻击和故障注入攻击。
2021-05-05 cs.CR cs.LG
SoundBreak: A Systematic Study of Audio-Only Adversarial Attacks on Trimodal Models
Department of Computer Science, Virginia Tech, USA(计算机科学系,弗吉尼亚理工大学)
SoundBreak研究了对三模态模型的仅音频对抗攻击,发现音频扰动可导致严重多模态失败,攻击成功率高达96%,并揭示了多模态系统中被忽视的单模态攻击面。
2026-01-20 cs.AI cs.CL cs.LG
Protecting JPEG Images Against Adversarial Attacks
Brandeis University(布兰迪斯大学)
随着深度神经网络(DNN)被集成到关键系统中,已经开发了几种攻击这些系统的方法。这些对抗攻击对图像进行了难以察觉的修改,从而欺骗了DNN分类器。我们提出了一个自适应JPEG编码器,抵御许多这些攻击。实验表明,我们的方法可以产生高视觉质量的图像,同时大大降低了最先进的攻击的潜力。我们的算法只需要一个适度的增加编码时间,产生一个压缩的图像,可以解压缩的现成的JPEG解码器,并分类的一个未经修改的分类器
2018-03-02 cs.CV cs.GR
On Neural Network approximation of ideal adversarial attack and convergence of adversarial training
Purdue University(普渡大学)
本研究将对抗攻击表示为无需梯度计算的可训练函数,证明理论最佳攻击可由分段Hölder函数表示并用神经网络逼近,将对抗训练转化为攻击与防御网络间的博弈,并推导出对抗损失关于样本量的收敛速率。
2023-07-30 cs.LG stat.ML
Neural Predictor for Black-Box Adversarial Attacks on Speech Recognition
Sony(索尼)
最近的工作已经揭示了自动语音识别(ASR)模型对对抗性示例(AE)的脆弱性,即,在音频信号的转录中引起错误的小扰动。因此,研究音频对抗攻击是迈向强大ASR的第一步。尽管在攻击音频示例方面取得了重大进展,但黑盒攻击仍然具有挑战性,因为只提供了传输的硬标签信息。由于这种有限的信息,现有的黑盒方法通常需要过多的查询来攻击单个音频示例。在本文中,我们介绍了NP-攻击,神经预测为基础的方法,逐步演变的搜索对一个小的对抗扰动。给定扰动方向,我们的神经预测器直接估计导致错误转录的最小扰动。特别是,它使NP攻击能够通过基于梯度的优化准确地学习有希望的扰动方向。实验结果表明,NP攻击实现了竞争力的结果与其他国家的最先进的黑盒对抗攻击,而需要显着较少的查询数量。NP-Attack的代码可以在网上找到。
2022-03-18 cs.AI cs.LG cs.SD
Tuning Just Enough: Lightweight Backdoor Attacks on Multi-Encoder Diffusion Models
Computer Science Department, TU Darmstadt, Germany(图恩大学计算机科学系);Hessian Center for Artificial Intelligence (hessian.AI), Darmstadt, Germany(海德堡人工智能中心)
针对多编码扩散模型的轻量级后门攻击研究,通过仅调优少量参数实现有效攻击,揭示多编码器设置下的新漏洞。
2026-03-04 cs.CV cs.LG
ESTAS: Effective and Stable Trojan Attacks in Self-supervised Encoders with One Target Unlabelled Sample
University of Central Florida(中佛罗里达大学)
新兴的自监督学习(SSL)已经成为一种流行的图像表示编码方法,以减少对标记数据的依赖,并从大规模、无处不在的未标记数据中学习丰富的表示。然后,可以在预先训练的SSL图像编码器之上训练具有很少或没有标记的下游数据的下游分类器。虽然大量的工作表明,SSL已经取得了显着的和有竞争力的性能在不同的下游任务,其安全问题,如木马攻击SSL编码器,仍然没有得到很好的研究。在这项工作中,我们提出了一种新的木马攻击方法,表示为ESTAS,可以使一个有效的和稳定的攻击SSL编码器只有一个目标未标记的样本。特别是,我们在ESTAS中提出了一致的触发器中毒和级联优化,以提高攻击效率和模型精度,并消除了从大规模无序未标记数据中提取目标类数据样本的昂贵过程。我们在多个数据集上的大量实验表明,ESTAS在一个目标类样本下稳定地实现了> 99%的攻击成功率(ASR)。与以往的工作相比,ESTAS实现了> 30%的ASR提高和> 8.3%的准确性提高的平均水平。
2023-01-24 cs.CR cs.CV cs.LG
Stealthy Backdoor Attack in Self-Supervised Learning Vision Encoders for Large Vision Language Models
University of Illinois Urbana-Champaign (UIUC)(伊利诺伊大学厄巴纳-香槟分校)
提出BadVision,首个针对大型视觉语言模型中自监督视觉编码器的隐蔽后门攻击方法,通过触发器优化实现高成功率视觉幻觉诱导,且能规避现有检测。
2025-03-26 cs.CV
BadEncoder: Backdoor Attacks to Pre-trained Encoders in Self-Supervised Learning
Duke University(杜克大学)
计算机视觉中的自监督学习旨在使用大量未标记的图像或(图像,文本)对来预训练图像编码器。预训练的图像编码器然后可以被用作特征提取器,以利用少量或没有标记的训练数据来构建用于许多下游任务的下游分类器。在这项工作中,我们提出了BadEncoder,这是对自监督学习的第一次后门攻击。特别是,我们的BadEncoder将后门注入到预先训练的图像编码器中,使得基于后门图像编码器为不同下游任务构建的下游分类器同时继承后门行为。我们制定我们的BadEncoder作为一个优化问题,我们提出了一个基于梯度下降的方法来解决它,它产生一个后门的图像编码器从一个干净的。我们对多个数据集的广泛经验评估结果表明,我们的BadEncoder在保持下游分类器准确性的同时,实现了高攻击成功率。我们还展示了BadEncoder使用两个公开可用的真实图像编码器的有效性,即,Google的图像编码器在ImageNet上进行了预训练,OpenAI的对比图像预训练(CLIP)图像编码器在从互联网上收集的4亿对(图像,文本)上进行了预训练。此外,我们考虑的防御包括神经净化和MNTD(经验防御)以及PatchGuard(可证明的防御)。我们的研究结果表明,这些防御措施不足以抵御BadEncoder,突出了对BadEncoder的新防御措施的需求。我们的代码可在https://github.com/jjy1994/BadEncode…
2021-08-01 cs.CR cs.CV cs.LG
StyleGAN Encoder-Based Attack for Block Scrambled Face Images
Tokyo Metropolitan University(东京都立大学)
在本文中,我们提出了一种攻击方法,以块置乱的人脸图像,特别是加密然后压缩(ETC)应用的图像,利用现有的强大的StyleGAN编码器和解码器的第一次。而不是重建相同的图像作为普通的加密图像,我们专注于恢复风格,可以揭示可识别的信息,从加密图像。所提出的方法通过使用具有特定训练策略的明文和加密图像对来训练编码器。虽然国家的最先进的攻击方法不能从EtC图像恢复任何感知信息,所提出的方法公开了个人身份信息,如头发颜色,肤色,眼镜,性别等CelebA数据集上进行的实验,结果表明,重建图像有一些感知相似性相比,平原图像。
2022-09-16 cs.CV
Pre-trained Encoders in Self-Supervised Learning Improve Secure and Privacy-preserving Supervised Learning
Duke University(杜克大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
监督学习中的分类器具有各种安全和隐私问题,例如,1)安全方面的数据投毒攻击、后门攻击和对抗性示例,以及2)隐私方面的推理攻击和对训练数据的遗忘权。各种安全和隐私保护的监督学习算法与正式的保证已被提出来解决这些问题。然而,它们受到各种限制,例如准确性损失、小的认证安全保证和/或低效率。自监督学习是一种使用未标记数据预训练编码器的新兴技术。给定预训练的编码器作为特征提取器,监督学习可以使用少量标记的训练数据训练简单而准确的分类器。在这项工作中,我们进行了第一个系统的,原则性的测量研究,以了解是否以及何时预训练的编码器可以解决安全或隐私保护监督学习算法的局限性。我们的主要发现是,预先训练的编码器大大提高了1)在没有攻击的情况下的准确性和针对最先进的安全学习算法的数据投毒和后门攻击的认证安全保证(即,Bagging和KNN),2)针对对抗性示例的随机平滑的经认证的安全保证,而不牺牲其在无攻击下的准确性,3)差分私有分类器的准确性,以及4)精确机器遗忘的准确性和/或效率。
2022-12-06 cs.CR cs.CV cs.LG
PoisonedEncoder: Poisoning the Unlabeled Pre-training Data in Contrastive Learning
Duke University(杜克大学)
对比学习使用大量未标记的数据来预训练图像编码器,使得图像编码器可以用作用于各种下游任务的通用特征提取器。在这项工作中,我们提出了PoisonedEncoder,一个数据投毒攻击对比学习。特别地,攻击者将精心制作的中毒输入注入到未标记的预训练数据中,使得基于中毒编码器为多个目标下游任务构建的下游分类器同时将攻击者选择的任意干净输入分类为攻击者选择的任意类。我们将数据投毒攻击描述为一个双层优化问题,其解是投毒输入的集合,并提出了一种对比学习定制的方法来近似求解。我们在多个数据集上的评估表明,PoisonedEncoder实现了高攻击成功率,同时保持了基于投毒编码器的下游分类器对非攻击者选择的输入的测试精度。我们还评估了五种针对PoisonedEncoder的防御,包括一种预处理,三种处理中和一种后处理防御。我们的研究结果表明,这些防御可以降低PoisonedEncoder的攻击成功率,但它们也牺牲了编码器的实用性或需要大量干净的预训练数据集。
2023-01-02 cs.CR cs.CV cs.LG
PA-Attack: Guiding Gray-Box Attacks on LVLM Vision Encoders with Prototypes and Attention
City University of Hong Kong(香港城市大学);The University of Sydney(悉尼大学)
PA-Attack通过原型和注意力机制提升灰盒攻击效果,实现对LVLM视觉编码器的高效攻击。
2026-02-23 cs.CV
Grounding-Driven Attack: Improving Encoder-based Adversarial Transferability against Large Vision-Language Models
The Hong Kong Polytechnic University(香港理工大学);Nanyang Technological University(南洋理工大学);Harbin Engineering University(哈尔滨工程大学)
提出文本驱动攻击(GDA),通过将扰动优化与文本接地证据对齐,并采用接地感知扰动分配和接地中心证据破坏策略,显著提升编码器攻击在黑盒大型视觉-语言模型上的迁移性。
2026-05-24 cs.CR cs.CV
Non-Local Context Encoder: Robust Biomedical Image Segmentation against Adversarial Attacks
Sun Yat-sen University(中山大学);The University of Hong Kong(香港大学);Deepwise AI Lab(深智云人工智能实验室)
基于深度卷积神经网络(CNN)的生物医学图像分割的研究进展引起了人们的广泛关注。然而,它对对抗性样本的脆弱性不容忽视。本文是第一篇发现所有基于CNN的最先进的生物医学图像分割模型对对抗性扰动敏感的论文。这限制了这些方法在安全关键的生物医学领域的部署。在本文中,我们发现,在生物医学图像的全局空间依赖性和全局上下文信息可以用来抵御对抗攻击。为此,提出了非局部上下文编码器(NLCE)来建模短期和长期的空间依赖性和编码的全局上下文,以加强功能激活通道明智的注意。NLCE模块增强了非局部上下文编码网络(NLCEN)的鲁棒性和准确性,NLCEN使用NLCE模块学习鲁棒的增强金字塔特征表示,然后将不同级别的信息集成在一起。在肺部和皮肤病变分割数据集上的实验表明,NLCEN在对抗对抗攻击方面优于任何其他最先进的生物医学图像分割方法。此外,NLCE模块可以应用于提高其他基于CNN的生物医学图像分割方法的鲁棒性。
2019-04-27 cs.CV eess.IV
VEAttack: Downstream-agnostic Vision Encoder Attack against Large Vision Language Models
City University of Hong Kong(香港城市大学);University of Sydney(悉尼大学)
VEAttack是一种针对大视觉语言模型视觉编码器的简单有效攻击方法,通过优化图像令牌降低计算开销,实现对多种下游任务的泛化攻击。
2026-02-04 cs.CV
Securing Vision-Language Models with a Robust Encoder Against Jailbreak and Adversarial Attacks
School of Computing, Southern Illinois University(南伊利诺伊大学计算学院);Security, Privacy and Intelligence for Edge Devices Laboratory (SPEED Lab)(边缘设备安全、隐私与智能实验室(SPEED Lab))
针对大型视觉-语言模型易受对抗攻击和越狱攻击的问题,提出即插即用的Sim-CLIP+防御机制,通过孪生架构对抗微调CLIP视觉编码器,在保持高干净准确率的同时大幅提升攻击鲁棒性。
2024-09-11 cs.AI cs.CV
GhostEncoder: Stealthy Backdoor Attacks with Dynamic Triggers to Pre-trained Encoders in Self-supervised Learning
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Nanjing University of Aeronautics and Astronautics Shenzhen Research Institute(南京航空航天大学深圳研究院);Zhejiang Lab(之江实验室);Wuhan University(武汉大学);Xi’an Jiaotong University(西安交通大学)
针对自监督预训练编码器后门触发器可见或静态的问题,提出GhostEncoder,利用图像隐写生成动态隐形触发器并微调注入后门,实现高隐蔽性、高攻击成功率且可抵御多种先进防御。
2023-10-01 cs.CR cs.CV
Transformer-Encoder Detector Module: Using Context to Improve Robustness to Adversarial Attacks on Object Detection
The University of Exeter(埃克塞特大学);Middle East Technical University(中东技术大学);University of Glasgow(格拉斯哥大学)
深度神经网络方法在对象识别(CNN)和检测(Faster-R CNN)任务中表现出了高性能,但实验表明,这种架构容易受到对抗攻击(FFF,UAP)的影响:人眼几乎无法感知的低幅度扰动可能导致标记性能大幅下降。本文提出了一个新的上下文模块,称为\textit{Transformer-Encoder Detector Module},可以应用于对象检测器(i)提高对象实例的标记;(ii)提高检测器对对抗攻击的鲁棒性。与基线Faster-RCNN检测器相比,所提出的模型实现了更高的mAP,F1得分和AUC平均得分高达13%,并且由于包含从场景中提取并编码到模型中的上下文和视觉特征,在受到FFF或UAP攻击的图像上的mAP得分高出8分。实验结果表明,一个简单的ad-hoc上下文模块可以显著提高目标检测器的可靠性。
2020-11-13 cs.CV
Adversarial Defense of Image Classification Using a Variational Auto-Encoder
Duke University(杜克大学)
众所周知,深度神经网络容易受到对抗攻击的攻击。这使它们暴露在安全敏感应用程序中的潜在漏洞中,并突出了它们缺乏鲁棒性。针对图像分类任务,提出了一种基于变分自动编码器(VAE)的图像分类算法。这种VAE防御有几个很好的特性:(1)它非常灵活,它对随机性的使用使其更难攻击;(2)它可以学习防止模糊重建的解纠缠表示;(3)使用了一种补丁式VAE防御策略,不需要对不同大小的图像进行重新训练。对于中度到严重的攻击,该系统的性能优于或接近JPEG压缩的性能,具有最佳的质量参数。它还具有更大的灵活性和通过培训改进的潜力。
2018-12-07 cs.CV
Margin-Drop Coordinates for Cross-Budget Robustness Evaluation
本文提出间隔下降坐标分解方法,利用浅层评估信息预测跨预算鲁棒性崩溃,在42个编码器上验证了其排序能力,优于传统存活率指标。
2026-09-23 cs.CV cs.LG
CorruptEncoder: Data Poisoning based Backdoor Attacks to Contrastive Learning
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Duke University(杜克大学);Penn State(宾夕法尼亚州立大学)
本文提出CorruptEncoder数据投毒后门攻击,通过新型投毒输入构造策略和理论指导方法显著提升对对比学习编码器的攻击效果,并揭示现有防御在降攻击与保效用间的权衡。
2024-02-29 cs.CR cs.CV cs.LG
Does Target Alignment Mean Target Recovery? An Evidence-Ladder Study of Adversarial Claims on Contrastive Encoders
Singapore University of Technology and Design(新加坡科技设计大学)
该研究探究视觉-语言模型的目标对齐(VTS)是否能预测独立模型的目标恢复,发现鲁棒训练的对比编码器传递更多独立证据,VTS仅在固定鲁棒编码器内有信息性,未发现跨编码器的单调对齐-证据关系。
2026-10-09 cs.CV
Binary Segmentation of Seismic Facies Using Encoder-Decoder Neural Networks
Universidade do Vale do Rio dos Sinos(南里奥格兰德河谷大学)
在地质研究领域,地震资料的解释对于描述沉积物的形状至关重要。在地震解释中,深度学习对于减少对手工相分割几何形状的依赖以及研究地质区域所需的时间变得非常有用。这项工作提出了一种用于相分割的深度神经网络(DNFS),以获得最先进的地震相分割结果。DNFS使用交叉熵和Jaccard损失函数的组合进行训练。我们的研究结果表明,DNFS获得非常详细的预测地震相分割使用更少的参数比StNet和U-Net。
2020-11-15 cs.CV cs.LG eess.IV
The Platonic Defense: Backdoor Defense for Self-Supervised Encoders in the Era of Large Scale Pre-training
提出一种攻击无关、模型无关、模态无关的黑盒测试时防御范式,利用柏拉图表示假设,通过能量函数进行后门检测与表示净化。
2026-06-28 cs.CR cs.CV