May the Noise be with you: Adversarial Training without Adversarial Examples
New York University (NYU)(纽约大学);UPHF(法国上法兰西理工大学);University of California Riverside(加州大学河滨分校);Queen’s University Belfast(贝尔法斯特女王大学)
该研究提出无需对抗样本的对抗训练方法,通过在神经网络层内嵌入高斯噪声引入内在随机性,构建闭式随机损失与噪声感知梯度,在良性数据上训练的随机模型期望函数具备与传统对抗训练相近的对抗鲁棒性。
2023-12-12 cs.CR cs.CV cs.LG
A Defensive Framework Against Adversarial Attacks on Machine Learning-Based Network Intrusion Detection Systems
Boston University(波士顿大学)
针对基于机器学习的网络入侵检测系统易受对抗规避攻击的问题,提出整合多种技术的防御框架,经数据集验证在对抗条件下检测准确率提升、误报率降低,推动其实际部署。
2025-02-21 cs.CR cs.LG
FenceBox: A Platform for Defeating Adversarial Examples with Data Augmentation Techniques
Telecom Paris, Institut Polytechnique de Paris(巴黎理工学院电信巴黎);University of California San Diego(加州大学圣地亚哥分校);Nanyang Technological University(南洋理工大学);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Texas A&M University(德州农工大学)
深度神经网络(DNN)易受对抗性实例(AE)的攻击。随着越来越多先进的对抗攻击方法的出现,人们设计了大量相应的防御方案来增强DNN模型的鲁棒性。利用数据增强技术在推断之前对输入样本进行预处理以去除对抗性扰动已经变得流行。通过混淆DNN模型的梯度,这些方法可以击败相当数量的传统攻击。不幸的是,先进的基于梯度的攻击技术(例如,BPDA和EOT)被引入到无效的这些预处理效果。在本文中,我们提出了FenceBox,一个全面的框架,以击败各种对抗攻击。FenceBox配备了来自三个不同类别的15种数据增强方法。我们综合评估这些方法可以有效地减轻各种对抗攻击。FenceBox还为用户提供了API,以便在不同的模式下轻松地对其模型进行防御:他们可以选择任意的预处理方法,也可以选择更好的鲁棒性保证的功能组合,即使在高级对抗攻击下也是如此。我们开源了FenceBox,并期望它可以作为一个标准的工具包,以促进对抗攻击和防御的研究。
2020-12-03 cs.CR cs.LG
Generative Adversarial Nets for Information Retrieval: Fundamentals and Advances
Shanghai Jiao Tong University(上海交通大学)
生成对抗网络(GANs)在深度学习和无监督学习的近期发展中得到了广泛的研究。通过对抗训练机制,GAN设法在判别模型的指导下训练生成模型以拟合潜在的未知真实数据分布,该判别模型估计数据实例是真实的还是生成的。这样的框架最初被提出用于拟合连续数据分布,例如图像,因此它不能直接应用于数据大多是离散的信息检索场景,例如ID,文本和图形。在本教程中,我们将重点讨论GAN技术和各种信息检索场景中离散数据拟合的变体。(i)我们介绍了GAN框架的基本原理及其理论特性;(ii)我们仔细研究了将GAN扩展到离散数据生成的有前途的解决方案;(iii)我们介绍了IR GAN,拟合单ID数据分布的基本GAN框架及其在信息检索上的直接应用;(iv)我们进一步讨论了顺序离散数据生成任务,例如,文本生成,以及相应的GAN解决方案;(v)我们提出了GANs的节点嵌入技术与图形/网络数据拟合的最新工作。同时,我们还介绍了相关的开源平台,如IRGAN和Texygen,以帮助观众进行GANs在信息检索中的研究实验。最后,我们对GANs在信息检索中的应用进行了总结,并对进一步的研究方向进行了展望。
2018-06-10 cs.IR cs.LG
Toward Inherently Robust VLMs Against Visual Perception Attacks
Clemson University(克莱姆森大学);Technical Universität München(慕尼黑技术大学);University of Texas at Arlington(德克萨斯大学阿灵顿分校)
本文提出V2LMs,通过固有鲁棒性提升自动驾驶车辆感知对视觉攻击的抗性,实验显示其在对抗攻击下表现优于传统DNNs。
2026-02-08 cs.CV cs.LG
Adversarial Attacks and Dimensionality in Text Classifiers
School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院);Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
本文研究文本分类中的对抗脆弱性与模型嵌入维度的强相关关系,并据此提出多维度集成防御,同时用多种距离度量和词向量级攻击验证鲁棒性。
2024-04-03 cs.LG
Advances in adversarial attacks and defenses in computer vision: A survey
University of Western Australia(西澳大利亚大学);University of Central Florida(中佛罗里达大学)
深度学习(DL)是当代计算机视觉领域中使用最广泛的工具。它准确解决复杂问题的能力被用于视觉研究,以学习用于各种任务的深度神经模型,包括安全关键应用程序。然而,现在已知DL容易受到对抗攻击的攻击,这些攻击可以通过在图像和视频中引入视觉上无法感知的扰动来操纵其预测。自2013年发现这一现象以来,它引起了机器智能多个子领域研究人员的极大关注。在[2]中,我们回顾了计算机视觉社区在深度学习(及其防御)的对抗攻击中所做的贡献,直到2018年的到来。其中许多贡献启发了这一领域的新方向,自第一代方法出现以来,这一领域已显着成熟。因此,作为[2]的遗产续集,本文献综述重点关注自2018年以来该领域的进展。为了确保真实性,我们主要考虑在计算机视觉和机器学习研究的权威来源中发表的同行评审的贡献。除了一个全面的文献综述,本文还提供了简明的技术术语的定义,在这一领域的非专家。最后,本文讨论了挑战和未来的展望,这一方向的基础上回顾文献[2]。
2021-09-02 cs.CR cs.CV cs.CY
Comprehensive Survey on Adversarial Examples in Cybersecurity: Impacts, Challenges, and Mitigation Strategies
Virginia Tech(弗吉尼亚理工大学)
本文全面综述了对抗样本对网络安全应用的影响,系统分析生成方法、攻击效果与防御机制,旨在弥合对抗研究与实际安全应用间的差距,推动深度学习在网络安全中的稳健采用。
2024-12-16 cs.CR cs.LG
Defense against adversarial attacks on deep convolutional neural networks through nonlocal denoising
Universiti Brunei Darussalam(文莱达鲁萨兰大学)
尽管网络架构性能有了实质性的进步,但对抗攻击的敏感性使得深度学习在安全关键型应用中的实现具有挑战性。本文提出了一种以数据为中心的方法来解决这个问题。具有不同亮度值的非局部去噪方法已被用于从修改的国家标准与技术研究所数据库(MNIST)和加拿大高级研究所(CIFAR-10)数据集生成对抗性示例。扰动下,该方法提供了高达9.3%的MNIST数据集和13%的CIFAR-10数据集的绝对精度提高。使用具有较高亮度值的变换图像进行训练增加了分类器的鲁棒性。我们已经证明了迁移学习对于对抗性机器学习是不利的。结果表明,简单的对抗性示例可以提高弹性,并使深度学习更容易应用于各种应用程序。
2022-06-25 cs.CR cs.CV cs.LG
Adversarial Catoptric Light: An Effective, Stealthy and Robust Physical-World Attack to DNNs
University of Electronic Science and Technology of China(电子科技大学)
本文提出了一种名为对抗性反射光(AdvCL)的新型物理世界攻击方法,利用自然反射光现象在黑盒设置下对DNNs生成隐蔽且鲁棒的对抗扰动,实验证明其在物理场景中攻击成功率达83.5%,超越基线且鲁棒性强。
2023-05-23 cs.CR cs.CV cs.LG
NERO-Net: A Neuroevolutionary Approach for the Design of Adversarially Robust CNNs
University of Coimbra, CISUC/LASI, DEI(科英布拉大学,CISUC/LASI,DEI)
本文提出NERO-Net,通过神经进化方法设计更具抗攻击能力的CNN,通过隔离架构对鲁棒性的影响,提升模型在对抗攻击下的性能。
2026-03-26 cs.AI cs.LG cs.NE
A No-Defense Defense Against Gradient-Based Adversarial Attacks on ML-NIDS: Is Less More?
Carleton University(卡尔顿大学);Computer Engineering Carleton University Ottawa, Canada(计算机工程系卡尔顿大学渥太华加拿大);School of Information Technology Carleton University Ottawa, Canada(信息科技学院卡尔顿大学渥太华加拿大)
本文研究了通过精心选择网络架构是否能构建出固有鲁棒的深度神经网络(DNN)基于网络入侵检测系统(NIDS),而无需额外显式防御。通过数千次实验,发现较浅的网络、减少特征集和使用ReLU激活函数能有效降低对抗攻击的脆弱性,且简单模型在保持高清洁流量检测性能和低训练时间的同时优于更深层的模型。
2026-05-18 cs.CR cs.LG
Quantum Adversarial Machine Learning: From Classical Adaptations to Quantum-Native Methods
Faculty of Computer Science, University of New Brunswick(新不伦瑞克大学计算机科学学院);Department of Electrical Engineering, Amirkabir University of Technology(技术学院电子工程系);Faculty of Mathematical and Computer Science, Kharazmi University(卡扎尔米大学数学与计算机科学学院);Pázmány Péter Catholic University(帕兹曼·彼得天主教大学);Department of Computer Engineering, Amirkabir University of Technology(技术学院计算机工程系);Department of Computer Engineering, Ferdowsi University of Mashhad(马赞德兰大学计算机工程系);Department of Computer Science, Tarbiat Modares University(塔里克·莫达res大学计算机科学系)
本文研究量子对抗机器学习中的攻击与防御策略,探讨其理论基础、发展趋势和关键挑战。
2026-05-12 cs.CR cs.LG
Adversarial Attacks in a Multi-view Setting: An Empirical Study of the Adversarial Patches Inter-view Transferability
Université de Sousse(苏塞大学);Ecole Nationale d’Ingénieurs de Sousse(苏塞国家工程学院);Université polytechnique Hauts-de-France(上法兰西理工大学);IEMN-DOAE
虽然机器学习应用程序由于在解决复杂问题方面表现出的效率而成为主流,但它们存在固有的对抗攻击漏洞。对抗攻击包括对输入的附加噪声,其可以欺骗检测器。最近,成功的现实世界可打印对抗补丁被证明对最先进的神经网络有效。在从基于数字噪声的攻击到现实世界物理攻击的转变中,影响目标检测的无数因素也将影响对抗补丁。在这些因素中,视角是最有影响力的因素之一,但尚未得到充分的研究。在本文中,我们研究了视角对对抗补丁有效性的影响。为了这个目的,我们提出了第一种方法,认为多视图的背景下,通过结合现有的对抗补丁与透视几何变换,以模拟视角变化的影响。我们的方法已在两个数据集上进行了评估:第一个数据集,其中包含了最真实世界的多视图上下文的约束,和第二个数据集,经验隔离的视角的影响。实验表明,视角显着影响对抗补丁的性能,在某些情况下,补丁失去了大部分的有效性。我们相信,这些结果激励考虑到在未来的对抗攻击的视角的影响,并开辟了新的机会,对抗性防御。
2021-10-10 cs.CR cs.LG
Correlated discrete data generation using adversarial training
Ahmedabad University(艾哈迈达巴德大学);Logistixian Technologies Private Limited(Logistixian科技私人有限公司)
生成对抗网络(GAN)在合成图像生成、图像修补、风格转移和异常检测等任务中显示出巨大的前景。然而,生成离散数据是一个挑战。提出了一种基于对抗训练的相关离散数据生成模型。它还详细介绍了一种有条件的CDD生成方法。我们的方法的结果在两个数据集上呈现;求职候选人技能集(私人数据集)和MNIST(公共数据集)。从这些结果的定量和定性分析中,我们发现我们的模型表现更好,因为它利用了数据中的固有相关性,而不是忽略相关性的现有模型。
2018-04-03 cs.LG stat.ML
Towards Adversarial-Resilient Deep Neural Networks for False Data Injection Attack Detection in Power Grids
The University of Tennessee, Knoxville(田纳西大学诺克斯维尔分校);University of Illinois Springfield(伊利诺伊大学斯普林菲尔德分校)
提出一种在训练和推理阶段采用随机输入填充的对抗鲁棒DNN框架,用于检测电力系统中的虚假数据注入攻击,显著降低对抗攻击有效性且对检测性能影响极小。
2023-05-10 cs.CR cs.LG
Scalable Ensemble-based Detection Method against Adversarial Attacks for speaker verification
National Taiwan University(国立台湾大学);Academia Sinica(中央研究院)
针对自动说话人验证易受对抗攻击、现有净化方法存在体验与安全权衡且检测方法易被超越的问题,提出整合先进净化模块的集成检测方法,达到SOTA性能且兼容未来技术。
2023-12-14 cs.LG cs.SD eess.AS
Deep Adversarially-Enhanced k-Nearest Neighbors
University of Michigan(密歇根大学)
最近的研究从理论和经验上表明,深度神经网络(DNN)对小扰动具有固有的脆弱性。应用深度k最近邻(DkNN)分类器,我们观察到随着层的深入,鲁棒性-准确性权衡显着增加。在这项工作中,我们提出了一种深度逆向增强的k最近邻(DAEkNN)方法,该方法比DkNN具有更高的鲁棒性,并通过两个关键要素减轻了深层中的鲁棒性-准确性权衡。首先,DAEkNN基于一个逆向训练的模型。其次,DAEkNN通过利用良性和对抗性训练数据的加权组合进行预测。从经验上讲,我们发现DAEkNN在MNIST和CIFAR-10数据集上提高了鲁棒性和鲁棒性-准确性权衡。
2021-10-07 cs.AI cs.CV cs.LG
Measuring Adversarial Robustness using a Voronoi-Epsilon Adversary
University of Bergen(卑尔根大学);Institute of Marine Research(海洋研究所)
以前关于鲁棒性的研究认为,准确性和对抗准确性之间存在权衡。即使我们忽略了泛化,权衡也是不可避免的。我们认为,权衡是固有的常用定义的对抗精度,它使用的对手,可以构建由$ε$ -球周围的数据点约束的对抗点。随着$ε$变大,攻击者可能会使用来自其他类的真实数据点作为对抗性示例。我们提出了一个Voronoi-约束的对手,这是由Voronoi细胞和$ε$ -球。这个对手平衡了两种扰动概念。因此,即使当$ε$很大时,基于该对手的对抗准确度也避免了训练数据上的准确度和对抗准确度之间的权衡。最后,我们证明了最近邻分类器是对训练数据上提出的对手的最大鲁棒分类器。
2021-05-14 cs.CR cs.LG stat.ML
An Analysis of Recent Advances in Deepfake Image Detection in an Evolving Threat Landscape
Virginia Tech(弗吉尼亚理工大学)
分析了8种深度伪造检测器在定制生成模型和视觉基础模型威胁下的泛化与防御漏洞,提出了基于内容无关特征、集成建模及对抗训练的防御改进方向。
2024-04-24 cs.CR cs.CV cs.LG
Machine Translation Models Stand Strong in the Face of Adversarial Attacks
Skoltech(斯科尔科沃科学技术学院);MIPT(莫斯科物理技术学院);IITP RAS(俄罗斯科学院信息传输问题研究所)
本研究探讨对抗攻击对机器翻译模型的影响,提出了结合文本扰动启发式和基于梯度的攻击算法,发现机器翻译模型对已知最优对抗攻击具有较强鲁棒性,同时所提攻击在相对性能上优于其他方法。
2023-09-10 cs.CL cs.CR cs.LG
Towards Achieving Adversarial Robustness by Enforcing Feature Consistency Across Bit Planes
Indian Institute of Science(印度科学学院)
作为人类,我们固有地基于其主要特征来感知图像,而忽略嵌入在较低位平面内的噪声。相反,众所周知,深度神经网络可以自信地对被精心制作的扰动破坏的图像进行错误分类,这些扰动几乎是人眼无法察觉的。在这项工作中,我们试图通过训练网络来解决这个问题,以根据高位平面中的信息形成粗略的印象,并仅使用低位平面来改进其预测。我们证明,通过对不同量化图像中学习到的表示施加一致性,与正常训练的模型相比,网络的对抗鲁棒性显着提高。目前最先进的对抗对抗攻击的防御需要使用对抗样本显式训练网络,这些样本的生成在计算上是昂贵的。虽然此类使用对抗训练的方法继续取得最佳结果,但这项工作为实现鲁棒性铺平了道路,而无需显式地对对抗样本进行训练。因此,所提出的方法更快,也更接近人类的自然学习过程。
2020-04-01 cs.CR cs.CV cs.LG
Adversarial Text Purification: A Large Language Model Approach for Defense
Arizona State University(亚利桑那州立大学)
本文提出一种利用大语言模型和提示工程净化对抗文本的防御方法,无需显式表征离散噪声,在多种分类器上平均将受攻击准确率提升超65%。
2024-02-05 cs.AI cs.CL cs.CR
Adversarial Attacks, Regression, and Numerical Stability Regularization
Booz Allen Hamilton(博思艾伦汉密尔顿)
在回归环境中对神经网络的对抗攻击是一个关键但尚未充分研究的问题。在这项工作中,我们通过调查对回归网络的对抗攻击,并制定一个更有效的防御这些攻击的最先进的。特别是,我们认为对抗攻击可能是由学习函数的数值不稳定性引起的。我们引入了一个稳定的诱导,正则化为基础的防御对抗攻击的回归设置。我们的新的和易于实现的防御优于以前的方法,并提高数值稳定性的学习功能。
2018-12-07 cs.CR cs.LG stat.ML
Dual Head Adversarial Training
The University of Melbourne(墨尔本大学);Deakin University(迪肯大学)
众所周知,深度神经网络(DNN)容易受到对抗性示例/攻击的影响,这引发了人们对它们在安全关键型应用中的可靠性的担忧。已经提出了许多防御方法来训练鲁棒DNN抵抗对抗攻击,其中对抗训练迄今为止表现出最有希望的结果。然而,最近的研究表明,在对抗训练的DNN中,准确性和鲁棒性之间存在固有的权衡。在本文中,我们提出了一种新的技术双头对抗训练(DH-AT),以进一步提高现有对抗训练方法的鲁棒性。与现有的对抗训练改进变体不同,DH-AT修改了网络的架构和训练策略,以寻求更强的鲁棒性。具体来说,DH-AT首先将第二个网络头(或分支)连接到网络的一个中间层,然后使用轻量级卷积神经网络(CNN)来聚合两个头的输出。培训策略也被调整以反映两个头部的相对重要性。我们在多个基准数据集上的经验表明,DH-AT可以为现有的对抗训练方法带来显着的鲁棒性改进。与TRADES(一种最先进的对抗训练方法)相比,我们的DH-AT可以将针对PGD 40的鲁棒性提高3.4%,将针对AutoAttack的鲁棒性提高2.3%,并将清理准确率提高1.8%。
2021-04-22 cs.CR cs.CV cs.LG
Demystifying Causal Features on Adversarial Examples and Causal Inoculation for Robust Network by Adversarial Instrumental Variable Regression
KAIST(韩国科学技术院)
对抗性例证的起源在研究领域中仍然是一个谜,尽管有广泛的研究,但它引起了各种观点的争论。在本文中,我们提出了一种从因果角度深入研究对抗训练网络中意外脆弱性的方法,即对抗工具变量(IV)回归。通过部署它,我们估计的因果关系的对抗性预测在一个无偏的环境下分离未知的混杂因素。我们的方法旨在通过利用休闲特征估计器(即,假设模型)和最坏情况的反事实(即,测试功能)干扰寻找因果特征。通过广泛的分析,我们证明了估计的因果特征与对抗鲁棒性的正确预测高度相关,并且反事实表现出严重偏离正确预测的极端特征。此外,我们提出了如何有效地将因果特征(CAFE)引入防御网络,以提高对抗鲁棒性。
2023-03-02 cs.AI cs.CV cs.LG
Benchmarking adversarial attacks and defenses for time-series data
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);TU Kaiserslautern(凯撒斯劳滕工业大学)
深度网络的对抗性脆弱性引起了全世界研究人员的兴趣。不出所料,与图像一样,对抗性示例也会转化为时间序列数据,因为它们是模型本身而不是模态的固有弱点。已经进行了几次尝试来防御这些对抗攻击,特别是针对视觉模态。在本文中,我们对时间序列数据进行了详细的基准测试。我们仅限于$L_{\infty}$威胁模型。我们还探讨了基于正则化的防御的平滑性和干净的准确性之间的权衡,以更好地理解它们提供的权衡。我们的分析表明,探索的对抗性防御提供了强大的白盒和黑盒攻击的鲁棒性。这为未来对抗攻击和防御方向的研究铺平了道路,特别是对于时间序列数据。
2020-08-30 cs.AI cs.LG stat.ML
Towards Adversarial Realism and Robust Learning for IoT Intrusion Detection and Classification
Research Group on Intelligent Engineering and Computing for Advanced Innovation and Development (GECAD), School of Engineering, Polytechnic of Porto (ISEP/IPP)(先进创新与发展智能工程与计算研究组(GECAD),波尔图理工学院工程学院(ISEP/IPP))
物联网(IoT)面临着巨大的安全挑战。机器学习模型可用于应对越来越多的针对物联网系统的网络攻击变体,但对抗攻击构成的日益严重的威胁再次表明了对可靠防御策略的需求。这项工作描述了一个现实的对抗性网络攻击的例子所需的约束类型,并提出了一种方法,一个值得信赖的对抗性鲁棒性分析与现实的对抗性规避攻击向量。所提出的方法被用来评估三个监督算法,随机森林(RF),极端梯度提升(XGB),和轻梯度提升机(LGBM),和一个无监督算法,隔离森林(IFOR)。使用自适应扰动模式方法(A2PM)生成受约束的对抗性示例,并对使用常规和对抗性训练创建的模型进行规避攻击。尽管RF在二进制分类中受影响最小,但XGB在多类分类中始终达到最高的准确性。所获得的结果证明了基于树的算法和集成对对抗性规避攻击的固有敏感性,并证明了对抗性训练的好处和设计方法的安全性,以实现更强大的物联网网络入侵检测和网络攻击分类。
2023-03-03 cs.AI cs.CR cs.LG
Adversarial Vulnerability of Temporal Feature Networks for Object Detection
FZI Research Center for Information Technology(FZI信息技术研究中心);Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院(KIT))
考虑跨时间域的信息有助于改善自动驾驶中的环境感知。然而,到目前为止还没有研究时间融合神经网络是否容易受到故意产生的扰动,即对抗攻击,或者时间历史是否是对它们的固有防御。在这项工作中,我们研究了用于目标检测的时间特征网络是否容易受到普遍的对抗攻击。我们评估了两种类型的攻击:整个图像的不可感知噪声和局部绑定的对抗补丁。在这两种情况下,扰动都是使用PGD以白盒方式生成的。我们的实验证实,即使攻击一部分时间输入也足以欺骗网络。我们直观地评估生成的扰动,以深入了解攻击的功能。为了增强鲁棒性,我们使用5-PGD进行对抗训练。我们在KITTI和nuScenes数据集上的实验表明,通过K-PGD增强的模型能够承受所研究的攻击,同时保持基于mAP的性能与未受攻击的模型相当。
2022-08-23 cs.CR cs.CV cs.LG
A Survey on Adversarial Robustness of LiDAR-based Machine Learning Perception in Autonomous Vehicles
本文综述了自动驾驶中基于LiDAR的机器学习感知系统面临的对抗攻击威胁及相应防御策略,强调构建稳健防御体系对保障自动驾驶安全的重要性。
2024-11-21 cs.AI cs.CR cs.LG
Improving DNN Robustness to Adversarial Attacks using Jacobian Regularization
Tel Aviv University(特拉维夫大学)
深度神经网络最近在包括视觉和语音处理任务在内的各种应用中表现出了巨大的性能。然而,除了它们能够以如此高的准确度执行这些任务之外,已经表明它们非常容易受到对抗攻击的影响:输入的微小变化会导致网络在高置信度下出错。这种现象暴露了这些网络的固有缺陷及其良好的泛化能力。因此,为对抗攻击提供鲁棒性是网络训练中的一个重要挑战,这导致了广泛的研究。在这项工作中,我们提出了一种理论启发的新方法来提高网络的鲁棒性。我们的方法使用网络雅可比矩阵的Frobenius范数进行正则化,在常规训练完成后,将其用作后处理。我们的经验表明,它会导致增强的鲁棒性的结果与原始网络的准确性的最小变化。
2019-05-28 cs.CR cs.CV cs.LG
Impact of Architectural Modifications on Deep Learning Adversarial Robustness
Sungkyunkwan University(成均馆大学);Loyola University Chicago(芝加哥洛约拉大学)
本文通过对抗攻击实验评估深度学习模型架构修改对鲁棒性的影响,揭示在安全关键应用中系统评估模型变更的必要性。
2024-05-03 cs.AI cs.CR cs.CV
Domain Invariant Adversarial Learning
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
对抗性例子的现象说明了深度神经网络最基本的弱点之一。在为克服这一固有弱点而引入的各种技术中,对抗性训练已成为学习鲁棒模型的最有效策略。通常,这是通过平衡稳健和自然的目标来实现的。在这项工作中,我们的目标是通过强制执行域不变的特征表示来进一步优化鲁棒性和标准精度之间的权衡。我们提出了一种新的对抗训练方法,即域不变对抗学习(DIAL),它学习鲁棒且域不变的特征表示。DIAL在自然域及其相应的对抗域上使用域对抗神经网络(DANN)的变体。在源域由自然示例组成并且目标域是对抗性扰动示例的情况下,我们的方法学习了一种不区分自然示例和对抗性示例的特征表示,因此可以实现更鲁棒的表示。DIAL是一种通用的模块化技术,可以很容易地融入任何对抗训练方法。我们的实验表明,在对抗训练过程中加入DIAL可以提高鲁棒性和标准精度。
2022-09-13 cs.CV cs.LG
Query complexity of adversarial attacks
EPFL(洛桑联邦理工学院)
在对抗鲁棒性文献中考虑了两种主要的攻击模型:黑盒和白盒。我们将这些威胁模型视为细粒度频谱的两端,由对手可以询问的查询数量进行索引。使用这个观点,我们调查了对手需要多少查询来设计一个攻击,这是最好的可能的攻击在白盒模型。我们给出了一个下界的查询数量的分类器的决策边界的熵。使用这个结果,我们分析了两个经典的学习算法的两个合成任务,我们证明有意义的安全保证。得到的界限表明,一些学习算法本质上是更强大的查询有界的对手比其他人。
2021-02-10 cs.CR cs.LG cs.NE
Adversary-resilient Distributed and Decentralized Statistical Inference and Machine Learning: An Overview of Recent Advances Under the Byzantine Threat Model
虽然在过去的几十年里,我们已经见证了大量致力于分布式和去中心化设置中的推理和学习的工作,但这些工作中的大部分都假设了一个非对抗性的设置,在这个设置中,除了偶尔的统计故障之外,各个节点都按照算法框架的预期运行。然而,近年来,来自恶意非国家行为者和流氓实体的网络安全威胁迫使从业者和研究人员重新思考分布式和分散式算法对对抗性攻击的鲁棒性。因此,我们现在有大量的算法方法来保证分布式和/或分散式推理的鲁棒性,以及在不同的对抗性威胁模型下的学习。然而,部分由于世界对数据驱动决策的需求日益增长,保护分布式/分散式框架以进行推理和学习对抗性威胁仍然是一个快速发展的研究领域。在这篇文章中,我们提供了拜占庭攻击威胁模型下这一领域的一些最新发展的概述。
2020-06-02 cs.CR cs.DC cs.LG
Adversarial Robustness of Partitioned Quantum Classifiers
Department of Electrical and Computer Engineering, University of Toronto(电气与计算机工程系,多伦多大学)
研究分区量子分类器在对抗扰动下的鲁棒性,揭示扰动与中间层对抗门实现的联系,并从理论和实验角度探讨相关问题。
2026-03-06 cs.AI cs.CR cs.ET
New Paradigm of Adversarial Training: Releasing Accuracy-Robustness Trade-Off via Dummy Class
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));The Hong Kong Polytechnic University(香港理工大学)
针对对抗训练中固有的精度-鲁棒性权衡,提出引入虚拟类别的对抗训练新范式,并设计DUCAT方法,以即插即用方式同时提升精度与鲁棒性,优于现有基准。
2025-05-27 cs.LG
A Novel Approach to Guard from Adversarial Attacks using Stable Diffusion
Clemson University(克莱姆森大学)
本文提出一种不依赖对抗样本训练、基于稳定扩散持续学习与全面威胁建模的动态防御方法,以提升AI系统对更广泛对抗攻击的泛化鲁棒性。
2024-05-03 cs.LG
Improving Adversarial Robustness via Channel-wise Activation Suppressing
Tsinghua Berkeley Shenzhen Institute, Tsinghua University(清华大学清华伯克利深圳学院);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Key Lab. of Machine Perception (MoE), School of EECS, Peking University(北京大学信息科学技术学院机器感知与智能教育部重点实验室);School of Information Technology, Deakin University(迪肯大学信息技术学院);PCL Research Center of Networks and Communications, Peng Cheng Laboratory(鹏城实验室网络通信研究中心)
对抗性示例及其激活的研究已经引起了人们对深度神经网络(DNN)安全和鲁棒学习的极大关注。与现有的工作不同,在本文中,我们强调了两个新的特点,从通道激活的角度来看,对抗性的例子:1)的激活幅度的对抗性的例子是高于自然的例子; 2)的通道激活更均匀的对抗性的例子比自然的例子。我们发现,最先进的防御对抗训练已经通过对抗示例的训练解决了第一个高激活幅度的问题,而第二个统一激活的问题仍然存在。这促使我们通过智能激活抑制(CAS)策略来抑制冗余激活被对抗性扰动激活。我们表明,CAS可以训练一个固有地抑制对抗激活的模型,并且可以很容易地应用于现有的防御方法,以进一步提高其鲁棒性。我们的工作提供了一个简单但通用的训练策略,用于增强DNN的中间层激活。
2022-01-16 cs.LG
Neural Networks with Structural Resistance to Adversarial Attacks
University of California, Santa Cruz(加州大学圣克鲁兹分校)
在对机器学习分类器的对抗性攻击中,小扰动被添加到正确分类的输入中。扰动产生了对抗性的例子,这些例子与未扰动的输入几乎无法区分,但却被错误分类。在用于深度学习的标准神经网络中,攻击者可以从大多数输入中制作对抗性示例,以导致他们选择的错误分类。我们引入了一种新型的网络单元,称为RBFI单元,其非线性结构使其具有固有的抵抗对抗性攻击的能力。在置换不变的MNIST上,在没有对抗性攻击的情况下,使用RBFI单元的网络与使用sigmoid单元的网络的性能相匹配,并且略低于使用ReLU单元的网络的准确性。当受到对抗性攻击时,具有RBFI单元的网络保持90%以上的准确率,而具有ReLU或sigmoid单元的网络的准确率降低到2%以下。使用常规输入训练的RBFI网络在抵抗对抗性攻击方面甚至优于在对抗性示例帮助下训练的ReLU和sigmoid网络。RBFI单元的非线性结构使得它们难以使用标准梯度下降来训练。我们表明,RBFI单元的网络可以使用伪梯度有效地训练到高精度,使用专门设计的函数来计算,以方便学习,而不是它们的真实导数。我们证明了伪梯度的使用使得训练深度RBFI网络变得实用,并且我们比较了RBFI网络的几种结构选择的准确性。
2018-09-25 cs.CR cs.LG cs.NE
Feature Prioritization and Regularization Improve Standard Accuracy and Adversarial Robustness
Institute for Advanced Computer Studies(高级计算机研究所);University of Maryland(马里兰大学)
对抗性训练已经成功地应用于以一定的代价构建健壮的模型。虽然模型的鲁棒性增加,但标准分类精度下降。这种现象被认为是一种内在的权衡。我们提出了一个模型,该模型采用非线性注意力模块和$L_2$特征正则化的特征优先级,以提高对抗性的鲁棒性和相对于对抗性训练的标准精度。注意力模块鼓励模型在很大程度上依赖于鲁棒特征,方法是为鲁棒特征分配更大的权重,同时抑制非鲁棒特征。正则化器鼓励模型为自然图像和对抗图像提取相似的特征,有效地忽略了增加的扰动。除了评估我们的模型的鲁棒性,我们提供了理由的注意力模块,并提出了一种新的实验策略,定量证明,我们的模型几乎是理想的突出数据特征对齐。额外的实验结果说明了我们的模型相对于最先进的方法的能力。
2019-08-12 cs.LG stat.ML
Exploring Adversarial Examples and Adversarial Robustness of Convolutional Neural Networks by Mutual Information
Yunnan University(云南大学);Southeast University(东南大学)
卷积神经网络(CNN)的一个反直觉性质是其固有的对对抗性示例的敏感性,这严重阻碍了CNN在安全关键领域的应用。对抗性示例与原始示例相似,但包含恶意扰动。对抗训练是一种简单有效的防御方法,可以提高CNN对对抗样本的鲁棒性。对抗性示例和对抗性训练背后的机制值得探索。因此,这项工作调查正常训练的CNN(NT-CNN)和对抗训练的CNN(AT-CNN)之间的相似性和差异,从互信息的角度信息抽取。我们发现:1)无论是NT-CNN还是AT-CNN,对于原始样本和对抗样本,互信息的趋势在整个训练过程中几乎是相似的; 2)与正常训练相比,对抗训练更困难,AT-CNN从输入中提取的信息量更少; 3)用不同方法训练的CNN对某些类型的信息有不同的偏好; NT-CNN倾向于从输入中提取基于纹理的信息,而AT-CNN更喜欢基于形状的信息。对抗性示例误导CNN的原因可能是它们包含更多关于其他类的基于纹理的信息。此外,我们还分析了在这项工作中使用的互信息估计,发现他们勾勒出的几何性质的中间层的输出。
2022-07-26 cs.AI cs.LG
Rethinking the Intermediate Features in Adversarial Attacks: Misleading Robotic Models via Adversarial Distillation
Wuhan University(武汉大学)
本文针对语言条件机器人模型提出一种基于连续动作表示和中间自注意力特征负梯度的通用对抗前缀攻击方法,在VIMA模型的13个操作任务上验证了其优越性和跨模型变体的可迁移性。
2024-11-21 cs.AI cs.LG cs.RO
Local Competition and Uncertainty for Adversarial Robustness in Deep Learning
University of Thessaly(塞萨利大学);National and Kapodistrian University of Athens(雅典国立卡波迪斯特里安大学);Cyprus University of Technology(塞浦路斯理工大学)
这项工作试图通过新的学习参数来解决深度网络的对抗鲁棒性。具体来说,受神经科学结果的启发,我们提出了一种局部竞争原则作为对抗性鲁棒深度学习的手段。我们认为,新的局部赢家通吃(LWTA)非线性,结合后验采样方案,可以大大提高传统深度网络对困难的对抗攻击方案的对抗鲁棒性。我们将这些LWTA参数与贝叶斯非参数化领域的工具相结合,特别是印度自助餐过程的破棒构造,以灵活地解释数据驱动建模中固有的不确定性。正如我们的实验所示,新提出的模型对MNIST和CIFAR10数据集上的对抗性扰动具有很高的鲁棒性。我们的模型在强大的白盒攻击中实现了最先进的结果,同时在很高程度上保持了其良性的准确性。同样重要的是,我们的方法实现了这一结果,同时需要的可训练模型参数比现有的最先进的少得多。
2020-06-18 cs.LG stat.ML
Revisiting the Adversarial Robustness-Accuracy Tradeoff in Robot Learning
Massachusetts Institute of Technology(麻省理工学院);Institute of Science and Technology Austria (IST Austria)(奥地利科学技术研究所(IST Austria))
对抗训练(即,在对抗性扰动的输入数据上训练)是一种用于使神经网络在推理期间对潜在的对抗攻击具有鲁棒性的充分研究的方法。然而,改进的鲁棒性并不是免费的,而是伴随着整体模型精度和性能的下降。最近的研究表明,在实际的机器人学习应用中,对抗性训练的效果不会造成公平的权衡,而是在整体机器人性能方面造成净损失。本文通过系统地分析鲁棒训练方法和理论与对抗性机器人学习的最新进展,重新审视了机器人学习中的鲁棒性-准确性权衡,是否能够使对抗性训练适合于现实世界的机器人应用。我们评估了三种不同的机器人学习任务,从高保真环境中的自动驾驶到移动机器人导航和手势识别。我们的研究结果表明,虽然这些技术在相对规模上对权衡进行了渐进式改进,但对抗性训练对标称精度的负面影响仍然超过了一个数量级的鲁棒性改进。我们的结论是,虽然正在发生的进展,进一步的进步,强大的学习方法是必要的,然后才能在实践中受益的机器人学习任务。
2023-01-25 cs.CV cs.LG cs.RO
Taming the Long Tail: Rebalancing Adversarial Training via Adaptive Perturbation
Sichuan University(四川大学);Dongfang Electric (Chengdu) Innovation Research Co., Ltd.(东方电子(成都)创新研究院有限公司);Southwest China Research Institute of Electronic Equipment(西南中国电子设备研究院)
本文针对长尾数据中的对抗训练问题,提出RobustLT框架,通过自适应调整扰动提升模型鲁棒性和类别平衡。
2026-05-13 cs.CV cs.LG
Can We Mitigate Backdoor Attack Using Adversarial Detection Methods?
Xi’an Jiaotong University(西安交通大学);Nanyang Technological University(南洋理工大学)
众所周知,深度神经网络容易受到对抗攻击和后门攻击的攻击,其中对输入的微小修改能够误导模型给出错误的结果。虽然对对抗攻击的防御已经进行了广泛的研究,但对减轻后门攻击的研究仍处于早期阶段。目前还不清楚这两种攻击的防御之间是否有任何联系和共同特征。我们对深度神经网络的对抗性示例和后门示例之间的联系进行了全面的研究,以寻求回答这个问题:我们可以使用对抗性检测方法检测后门吗?我们的见解是基于这样的观察,即对抗性示例和后门示例在推理过程中都有异常,与良性样本高度区分。因此,我们修改了四个现有的对抗性防御方法检测后门的例子。广泛的评估表明,这些方法提供了可靠的保护,防止后门攻击,具有更高的准确性比检测敌对的例子。这些解还揭示了对抗样本、后门样本和正常样本在模型敏感性、激活空间和特征空间中的关系。这能够增强我们对这两种攻击的内在特征和防御机会的理解。
2022-07-28 cs.LG stat.ML
Adaptive Neighbourhoods for the Discovery of Adversarial Examples
Swansea University(斯旺西大学);Université de Toulon(土伦大学);Aix Marseille Univ(艾克斯-马赛大学);CNRS(法国国家科学研究中心)
深度神经网络(DNN)通常在模式识别任务中提供最先进的结果。然而,尽管取得了进展,但存在的对抗性例子引起了社会的注意。许多现有的工作已经提出了在训练点周围的固定大小区域内搜索对抗性示例的方法。我们的工作补充和改进这些现有的方法,通过适应这些区域的大小的基础上的问题的复杂性和数据采样密度。这使得这种方法更适合其他类型的数据,并且可以通过增加区域大小而不创建不正确的标签来进一步改进对抗训练方法。
2021-01-22 cs.LG
Adversarial Reasoning at Jailbreaking Time
University of Pennsylvania(宾夕法尼亚大学)
本文提出一种利用损失信号引导测试时计算的对抗推理方法,用于自动 jailbreaking 对齐的大型语言模型,实现了 SOTA 攻击成功率,为理解 LLM 漏洞和构建更鲁棒的 AI 系统奠定基础。
2025-06-25 cs.AI cs.LG
RobustBlack: Challenging Black-Box Adversarial Attacks on State-of-the-Art Defenses
SnT University of Luxembourg(卢森堡大学SnT分校);Luxembourg Institute of Health(卢森堡健康研究院)
RobustBlack研究了黑盒攻击对最新防御措施的挑战,发现高级攻击对简单模型效果有限,而优化的鲁棒模型对黑盒攻击更具抵抗力,且代理模型与目标模型的鲁棒性一致性影响攻击成功率。
2026-02-17 cs.LG
Vulnerability-Aware Instance Reweighting For Adversarial Training
Iowa State University(爱荷华州立大学)
针对对抗训练对样本和类别影响不均的问题,本文提出一种依据自然样本脆弱性及攻击导致信息损失进行实例级重加权的方法,显著提升对白盒与黑盒攻击的鲁棒性。
2023-07-14 cs.AI cs.CV cs.LG
Generating Out of Distribution Adversarial Attack using Latent Space Poisoning
Bharati Vidyapeeth’s College of Engineering(巴拉蒂维迪佩斯工程学院);IIT Delhi(印度理工学院德里分校)
传统的对抗攻击依赖于由来自网络的梯度生成的扰动,这些扰动通常由梯度引导搜索来保护,以向网络提供对抗对应物。在本文中,我们提出了一种新的生成对抗性示例的机制,其中实际图像没有被损坏,而是利用其潜在空间表示来篡改图像的固有结构,同时保持感知质量不变,并作为合法的数据样本。与基于梯度的攻击相反,潜在空间中毒利用分类器对训练数据集的独立和相同分布进行建模的倾向,并通过产生分布样本来欺骗它。我们训练一个解开的变分自编码器(β-VAE)来模拟潜在空间中的数据,然后我们使用类条件分布函数添加噪声扰动的潜在空间的约束下,它是错误分类的目标标签。我们在MNIST,SVHN和CelebA数据集上的实证结果验证了生成的对抗性示例可以很容易地欺骗使用可证明的鲁棒防御机制设计的鲁棒l_0,l_2,l_inf范数分类器。
2022-03-05 cs.CV cs.LG
Intriguing Frequency Interpretation of Adversarial Robustness for CNNs and ViTs
Shanghai Jiao Tong University, China(上海交通大学);Southeast University, China(东南大学);Mohamed bin Zayed University of Artificial Intelligence, UAE(穆罕默德·本·扎耶德人工智能大学);National University of Singapore, Singapore(新加坡国立大学)
该研究针对图像分类任务探究CNN与ViT中对抗样本的频域特性,发现不同架构存在频率偏好差异,频域分量差异影响模型鲁棒性,并提出三项安全参考建议。
2025-06-15 cs.CV cs.LG
Fast Minimum-norm Adversarial Attacks through Adaptive Norm Constraints
University of Cagliari(卡利亚里大学);Pluribus One;Tübingen AI Center(图宾根人工智能中心);University of Tübingen(图宾根大学)
评估对抗鲁棒性相当于找到输入样本被误分类所需的最小扰动。底层优化的固有复杂性要求当前基于梯度的攻击被仔细地调整、初始化,并且可能被执行用于许多计算要求高的迭代,即使专用于给定的扰动模型。在这项工作中,我们克服了这些限制,提出了一个快速的最小范数(FMN)攻击,与不同的$\ell_p$范数扰动模型($p=0, 1, 2, \infty$),是强大的超参数选择,不需要敌对的起点,并收敛在几个轻量级的步骤。它的工作原理是在大小为$ε$的$\ell_p$ -范数约束内迭代地找到具有最大置信度的误分类样本,同时调整$ε$以最小化当前样本到决策边界的距离。大量的实验表明,FMN在收敛速度和计算时间方面显着优于现有的攻击,同时报告可比甚至更小的扰动大小。
2021-11-19 cs.CV cs.LG