Q-TART: Quickly Training for Adversarial Robustness and in-Transferability
原始的深度神经网络(DNN)性能是不够的;在现实世界中,计算负载、训练效率和对抗安全性同样重要,甚至更重要。我们建议同时解决性能,效率和鲁棒性,使用我们提出的算法Q-TART,快速训练对抗鲁棒性和不可转移性。Q-TART遵循的直觉是,对噪声高度敏感的样本会强烈影响DNN学习的决策边界,这反过来会降低DNN的性能和对抗敏感性。通过识别和删除这些样本,我们证明了改进的性能和对抗鲁棒性,同时只使用一个子集的训练数据。通过我们的实验,我们强调了Q-TART在多个数据集-DNN组合(包括ImageNet)中的高性能,并深入了解了Q-TART与现有对抗训练方法的互补行为,将鲁棒性提高了1.3%以上,同时减少了17.9%的训练时间。
2022-04-14 cs.CV cs.LG
Narrowing Class-Wise Robustness Gaps in Adversarial Training
University of Limerick(利默里克大学);Computer Science and Information Systems(计算机科学与信息系统)
针对对抗训练存在的干净样本泛化差、类别性能失衡问题,研究发现训练中增强标注可提升对抗鲁棒性与类别均衡性,同时改善干净及对抗场景下的准确率。
2025-03-20 cs.CV cs.LG
On Saliency Maps and Adversarial Robustness
IIT Hyderabad(海得拉巴印度理工学院)
最近出现的一种趋势是将可解释性和对抗性鲁棒性的概念结合起来,这与早期的努力不同,早期的努力只关注良好的解释或对抗对手的鲁棒性。工作表明,对抗训练的模型比非鲁棒的模型表现出更多可解释的显着性图,并且这种行为可以通过考虑输入图像和显着性图之间的对齐来量化。在这项工作中,我们为这种耦合提供了一个不同的视角,并提供了一种方法,基于显着性的对抗训练(SAT),使用显着性图来提高模型的对抗鲁棒性。特别是,我们表明,使用注释,如边界框和分割掩模,已经提供了一个数据集,作为弱显着性图,足以提高对抗鲁棒性,没有额外的努力来生成扰动本身。我们在CIFAR-10、CIFAR-100、Tiny ImageNet和Flower-17数据集上的实证结果一致地证实了我们的说法,即使用我们的方法提高了对抗鲁棒性。显着图。我们还展示了如何使用更精细、更强大的显着性图来构建更强大的模型,以及如何将SAT与现有的对抗训练方法相结合,进一步提高这些现有方法的性能。
2020-07-13 cs.CV cs.LG
Explicit Tradeoffs between Adversarial and Natural Distributional Robustness
University of Maryland(马里兰大学)
现有的一些工作分别研究深度神经网络的对抗性或自然分布鲁棒性。然而,在实践中,模型需要同时具有这两种类型的鲁棒性,以确保可靠性。在这项工作中,我们弥合了这一差距,并表明,事实上,对抗性和自然分布鲁棒性之间存在明确的权衡。我们首先考虑一个简单的线性回归设置高斯数据与不相交的核心和虚假的功能。在这种情况下,通过理论和实证分析,我们表明:(i)$\ell_1$和$\ell_2$规范的对抗训练增加了模型对虚假特征的依赖;(ii)对于$\ell_\infty$对抗训练,虚假依赖只发生在虚假特征的规模大于核心特征的规模时;(iii)对抗性训练可能会在降低分布鲁棒性方面产生意想不到的后果,特别是当伪相关性在新的测试域中发生变化时。接下来,我们提出了广泛的经验证据,使用在五个基准数据集(ObjectNet,RIVAL 10,Salient ImageNet-1 M,ImageNet-9,Waterbirds)上评估的20个对抗训练模型的测试套件,对抗训练的分类器比标准训练的分类器更依赖于背景,验证了我们的理论结果。我们还表明,虚假的相关性在训练数据(当保存在测试域)可以提高对抗的鲁棒性,揭示了以前的说法,对抗的脆弱性是植根于虚假的相关性是不完整的。
2022-09-15 cs.CV cs.LG
Class-Aware Domain Adaptation for Improving Adversarial Robustness
Shenzhen University(深圳大学);IBM(国际商业机器公司);University of Nottingham(诺丁汉大学)
最近的工作已经证明了卷积神经网络容易受到对抗性示例的影响,即,攻击者故意设计的机器学习模型的输入,以使模型出错。为了提高神经网络的对抗鲁棒性,对抗训练已经被提出来通过将对抗样本注入到训练数据中来训练网络。然而,对抗性训练可能过度适应特定类型的对抗攻击,并且还导致干净图像的标准准确度下降。为此,我们提出了一种新的类感知领域自适应(CADA)方法,用于对抗性防御,而不直接应用对抗性训练。具体来说,我们建议通过域搜索来学习对抗性示例和干净图像的域不变特征。此外,我们还将一个类感知组件引入到网络中,以提高网络对对抗性示例的区分能力。我们使用多个基准数据集来评估我们新提出的方法。结果表明,我们的方法可以显着提高最先进的对抗性鲁棒性的各种攻击,并保持高性能的干净的图像。
2020-05-10 cs.CV cs.LG
Adversarial Robustness for Unsupervised Domain Adaptation
Dept. of Computer Science, Kyung-Hee University(庆熙大学计算机科学系);Dept. of Computer Science, The University of Hong Kong(香港大学计算机科学系)
广泛的无监督领域自适应(UDA)研究已经在实践中取得了巨大的成功,通过使用深度模型学习标记源域和未标记目标域的可转移表示。然而,以前的工作集中在提高UDA模型对干净样本的泛化能力,而没有考虑对抗鲁棒性,这在现实世界的应用中是至关重要的。传统的对抗训练方法不适用于UDA的未标记目标域上的对抗鲁棒性,因为它们使用由监督损失函数生成的对抗示例来训练模型。在这项工作中,我们利用多个强大的ImageNet模型学习的中间表示来提高UDA模型的鲁棒性。我们的方法通过将UDA模型的特征与ImageNet预训练模型以及领域自适应训练所学习的鲁棒特征进行对齐来工作。它利用标记和未标记的域,并在领域自适应训练期间注入鲁棒性,而无需任何对抗性干预或标签要求。实验结果表明,与基线相比,我们的方法显着提高了对抗鲁棒性,同时在各种UDA基准上保持了干净的准确性。
2021-09-02 cs.CV cs.LG
Towards Natural Robustness Against Adversarial Examples
Institute of Information Science(信息科学研究所);Beijing Jiaotong University(北京交通大学)
最近的研究表明,深度神经网络容易受到对抗性样本的攻击,但大多数为防御对抗性样本而提出的方法都不能从根本上解决这个问题。本文从理论上证明了具有单位映射的神经网络存在一个上界来约束对抗性噪声引起的误差。然而,在实际计算中,这种神经网络不再保持任何上限,因此容易受到对抗性样本的影响。遵循类似的过程,我们解释了为什么对抗性示例可以通过跳过连接来欺骗其他深度神经网络。此外,我们证明了一个新的称为神经ODE的深度神经网络家族(Chen et al.,2018年)持有较弱的上限。这个较弱的上限防止结果中的变化量过大。因此,神经ODE对对抗性示例具有天然的鲁棒性。我们评估了神经ODE与ResNet在三种白盒对抗攻击(FGSM、PGD、DI 2-FGSM)和一种黑盒对抗攻击(边界攻击)下的性能。最后,我们证明了神经常微分方程的自然鲁棒性甚至优于使用对抗训练方法(如TRADES和YOPO)训练的神经网络的鲁棒性。
2020-12-04 cs.CV cs.LG
ARBiBench: Benchmarking Adversarial Robustness of Binarized Neural Networks
National University of Defense Technology(国防科技大学);University of Oulu(奥卢大学)
本文提出ARBiBench基准,系统评估二值化神经网络在CIFAR-10和ImageNet上面对白盒与黑盒攻击的对抗鲁棒性,发现数据集相关性和黑盒优势,为增强BNN安全性提供方向。
2023-12-21 cs.CV cs.LG
The Pros and Cons of Adversarial Robustness
NUS(新加坡国立大学);CNRS(法国国家科学研究中心)
本文针对机器学习模型的对抗鲁棒性,在梳理其研究重要性、评估方式及已有应用进展的基础上,揭示了现有全局与局部鲁棒性定义及鲁棒性认证工作的局限性,并探索了对抗样本的其他应用方向。
2023-12-18 cs.CV cs.LG
RegMix: Adversarial Mutual and Generalization Regularization for Enhancing DNN Robustness
School of Computing Newcastle University(计算学院新castle大学)
本文针对对抗训练中MSE正则化导致的过度均匀优化问题,提出加权对抗互正则化和对抗泛化正则化两种策略,显著提升模型对抗鲁棒性。
2025-10-06 cs.CV cs.LG
Robustness Meets Uncertainty: Evidential Adversarial Training for Robust Selective Classification
Multitel Research & Innovation Center, Artificial Intelligence Department(多特尔研究与创新中心,人工智能部门);TRAIL – Trusted AI Labs(TRAIL——可信AI实验室)
研究安全关键应用中分类器的稳健性与可靠性,通过选择性分类视角探讨差距,引入统一基准,提出证据对抗训练方法,提升稳健性与不确定性权衡,优于现有对抗训练方法。
2026-07-07 cs.CV cs.LG
On the interplay of adversarial robustness and architecture components: patches, convolution and attention
University of Tübingen(图宾根大学)
近年来,图像分类的新架构组件已经开发出来,从Transformers中使用的attention和patch开始。虽然先前的工作已经分析了架构组件的某些方面对对抗攻击的鲁棒性的影响,特别是对于视觉Transformer,但对主要因素的理解仍然有限。我们比较了几种具有不同架构的(非)鲁棒分类器,并研究了它们的特性,包括对抗性训练对学习特征的可解释性和对未知威胁模型的鲁棒性的影响。从ResNet到ConvNeXt的消融揭示了导致几乎$10\%$更高$\ell_\infty$ -稳健性的关键架构变化。
2022-09-14 cs.CV cs.LG
Relationship between Model Compression and Adversarial Robustness: A Review of Current Evidence
FZI Research Center for Information Technology(FZI信息技术研究中心);Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院(KIT))
本文综述了模型压缩与对抗鲁棒性之间关系的研究证据,分析了剪枝、量化等压缩技术对鲁棒性的影响,并针对已有实验中的矛盾结果讨论其可能原因。
2023-11-27 cs.CV cs.LG
Are Adversarial Robustness and Common Perturbation Robustness Independent Attributes ?
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Atos(源讯)
神经网络已被证明对常见的扰动敏感,如模糊,高斯噪声,旋转等,它们也容易受到一些被称为对抗性示例的人工恶意破坏。对抗性示例研究最近变得非常流行,有时甚至将术语“对抗性鲁棒性”简化为术语“鲁棒性”。然而,我们不知道对抗鲁棒性在多大程度上与全局鲁棒性相关。同样,我们不知道对各种常见扰动(例如平移或对比度损失)的鲁棒性是否有助于对抗性腐败。我们打算研究神经网络对这两种扰动的鲁棒性之间的联系。通过我们的实验,我们提供了第一个基准设计来估计神经网络的鲁棒性常见的扰动之一。我们表明,增加鲁棒性精心挑选的共同扰动,可以使神经网络更强大的看不见的共同扰动。我们还证明了对抗鲁棒性和对常见扰动的鲁棒性是独立的。我们的研究结果使我们相信,神经网络的鲁棒性应该在更广泛的意义上解决。
2019-10-09 cs.CV cs.LG stat.ML
Neural Architecture Dilation for Adversarial Robustness
University of Sydney(悉尼大学);Huawei Technologies(华为技术有限公司);Peking University(北京大学)
随着卷积神经网络(CNN)在过去几十年中在架构和规模上的巨大进步,它们可以轻松达到甚至超过人类在某些任务中的表现。然而,最近发现CNN的一个缺点是它们容易受到对抗攻击的攻击。虽然CNN的对抗性鲁棒性可以通过对抗性训练来提高,但在标准准确性和对抗性鲁棒性之间存在权衡。从神经结构的角度来看,本文旨在提高具有令人满意的准确性的骨干CNN的对抗鲁棒性。在最小的计算开销下,扩张架构的引入有望与骨干CNN的标准性能友好,同时追求对抗鲁棒性。对标准误差界和对抗误差界的理论分析自然激发了所提出的神经结构膨胀算法。在真实世界数据集和基准神经网络上的实验结果表明,该算法能够有效地平衡准确性和对抗鲁棒性。
2021-08-16 cs.AI cs.CV cs.LG
Robustness through Cognitive Dissociation Mitigation in Contrastive Adversarial Training
Rafael - Advanced Defense Systems Ltd.(拉斐尔先进防御系统有限公司)
在本文中,我们介绍了一种新的神经网络训练框架,通过将对比学习(CL)与对抗训练(AT)相结合,提高了模型对对抗攻击的对抗鲁棒性,同时保持了高的干净准确性。我们建议通过学习在数据增强和对抗性扰动下一致的特征表示来提高模型对对抗攻击的鲁棒性。我们利用对比学习来提高对抗性鲁棒性,将对抗性示例视为另一个正面示例,并旨在最大化数据样本的随机扩增与其对抗性示例之间的相似性,同时不断更新分类头,以避免分类头与嵌入空间之间的认知分离。这种分离是由于CL将网络更新到嵌入空间,同时冻结用于生成新的正面对抗示例的分类头。我们在CIFAR-10数据集上验证了我们的方法,具有对抗特征的对比学习(CLAF),在该数据集上,它比其他监督和自监督对抗学习方法具有更好的鲁棒准确性和干净准确性。
2022-09-11 cs.CR cs.CV cs.LG
Adversarial Robustness vs Model Compression, or Both?
Tsinghua University(清华大学);IBM Research(IBM研究院);University of California, Los Angeles(加州大学洛杉矶分校);SenseTime Research(商汤科技研究院);Northeastern University(东北大学)
众所周知,深度神经网络(DNN)容易受到对抗攻击的攻击,这种攻击是通过在良性示例上添加精心制作的扰动来实现的。基于最小-最大鲁棒优化的对抗训练可以提供对抗对抗攻击的安全性概念。然而,对抗性鲁棒性需要比仅使用良性样本的自然训练更大的网络容量。本文提出了一个并发对抗训练和权重修剪的框架,该框架在保持对抗鲁棒性的同时实现了模型压缩,从根本上解决了对抗训练的困境。此外,这项工作研究了两个假设的权重修剪在传统的设置,并发现权重修剪是必要的,以减少网络模型的大小在对抗设置,从头开始训练一个小的模型,即使继承初始化从大模型不能同时实现对抗的鲁棒性和高标准的准确性。代码可在https://github.com/yeshaokai/Robustness-Aware-Pruning-ADMM上获得。
2021-06-22 cs.CR cs.CV cs.LG
Adversarial Robustness on In- and Out-Distribution Improves Explainability
University of Tübingen(蒂宾根大学)
神经网络在图像分类方面取得了重大进展,但对对抗性变化、外分布样本的不可靠不确定性估计及其难以理解的黑箱决策缺乏鲁棒性。在这项工作中,我们提出了RATIO,这是一种通过对抗性训练对内分布和外分布进行鲁棒性训练的训练过程,它可以产生具有可靠和鲁棒的外分布置信度估计的鲁棒模型。RATIO具有与对抗训练类似的生成特性,因此视觉反事实产生类特定的特征。虽然对抗训练的代价是较低的清洁准确性,但RATIO在CIFAR 10上实现了最先进的$l_2$ -对抗鲁棒性,并保持了更好的清洁准确性。
2020-07-29 cs.CV cs.LG stat.ML
Adversarial and Natural Perturbations for General Robustness
UvA-Bosch Delta Lab(阿姆斯特丹大学-博世德尔塔实验室);University of Amsterdam(阿姆斯特丹大学);Bosch Center for AI(博世人工智能中心)
在本文中,我们的目的是探讨一般的鲁棒性的神经网络分类器利用对抗以及自然扰动。与以往主要研究神经网络对对抗性扰动的鲁棒性不同,本文还研究了鲁棒化前后神经网络对自然扰动的鲁棒性。在对对抗性扰动和自然扰动之间的比较进行标准化之后,我们证明了尽管对抗性训练提高了网络对对抗性扰动的性能,但它导致了自然扰动样本的性能下降,除了干净的样本。相比之下,自然扰动,如弹性变形,闭塞和波不仅提高了对自然扰动的性能,而且还导致对抗性扰动的性能的改善。此外,它们不会降低干净图像的准确性。
2020-10-03 cs.AI cs.CV cs.LG
Addressing Neural Network Robustness with Mixup and Targeted Labeling Adversarial Training
Atos(阿托斯公司);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
尽管人工神经网络具有很好的性能,但对于大多数工业应用来说,它仍然不够可靠。它们对噪声、旋转、模糊和对抗性样本很敏感。有必要建立防御机制,以防止各种干扰,包括最传统的常见腐败和对抗性示例。我们提出了一种新的数据增强策略,称为M-TLAT,旨在解决广义上的鲁棒性。我们的方法结合了Mixup增强和一种新的对抗训练算法,称为目标标记对抗训练(TLAT)。TLAT的思想是用地面真实标签插入对抗性示例的目标标签。我们表明,M-TLAT可以提高图像分类器对19种常见腐败和5种对抗攻击的鲁棒性,而不会降低对干净样本的准确性。
2020-08-19 cs.CV cs.LG stat.ML
Enhancing Adversarial Robustness for Deep Metric Learning
Johns Hopkins University(约翰斯·霍普金斯大学)
由于对抗性漏洞的安全影响,深度度量学习模型的对抗性鲁棒性必须得到提高。为了避免由于过于困难的例子而导致模型崩溃,现有的防御方法忽略了最小-最大对抗训练,而是从弱对手那里学习效率低下。相反,我们提出了硬度操纵,根据更硬的良性三元组或伪硬度函数,有效地干扰训练三元组,直到指定的对抗训练硬度水平。它是灵活的,因为常规训练和最小-最大对抗训练是它的边界情况。此外,提出了一系列伪硬度函数,即渐进式Adjuster函数,用于在训练过程中逐渐增加指定的硬度水平,以便在性能和鲁棒性之间实现更好的平衡。此外,良性和对抗性样本之间的类内结构损失项进一步提高了模型的鲁棒性和效率。综合的实验结果表明,所提出的方法,虽然简单的形式,压倒性地优于国家的最先进的防御措施的鲁棒性,训练效率,以及性能良性的例子。
2022-03-02 cs.CR cs.CV cs.LG
Pareto Adversarial Robustness: Balancing Spatial Robustness and Sensitivity-based Robustness
Peking University(北京大学);Pazhou Laboratory (Huangpu)(琶洲实验室(黄埔))
该研究针对通用对抗鲁棒性问题,整合空间鲁棒性方法并引入帕累托准则提出帕累托对抗训练策略,实现自然准确率与多类鲁棒性的最优平衡,是首个用多目标优化研究通用对抗鲁棒性的工作。
2024-06-23 cs.LG
Implicit Generative Modeling of Random Noise during Training for Adversarial Robustness
Purdue University(普渡大学)
我们介绍了一种基于噪声的先验学习(NoL)方法,用于训练对对抗攻击具有内在鲁棒性的神经网络。我们发现,隐式生成建模的随机噪声与相同的损失函数在后验最大化,提高了模型的理解的数据流形进一步对抗的鲁棒性。我们评估了我们的方法的有效性,并使用主成分分析提供了一个简单的可视化工具来理解对抗性数据。我们的分析表明,一般来说,对抗性鲁棒性表现在沿着高排名主成分具有较高方差的模型中。我们表明,用我们的方法学习的模型在各种攻击中表现得非常好。此外,将NoL与最先进的对抗训练相结合,可以扩展模型的鲁棒性,甚至超出了白盒和黑盒攻击场景中对抗训练的范围。
2019-05-31 cs.CV cs.LG stat.ML
Optimism in the Face of Adversity: Understanding and Improving Deep Learning through Adversarial Robustness
Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);ETH Zürich(苏黎世联邦理工学院)
在海量数据和计算资源重要进展的推动下,新的深度学习系统在大量应用中取得了出色的成果。然而,我们目前对深度学习数学基础的理论理解远远落后于它的经验成功。然而,为了解决神经网络的脆弱性,对抗鲁棒性领域最近已经成为解释我们深度模型的主要来源之一。在这篇文章中,我们对深度学习中的对抗鲁棒性领域进行了深入的回顾,并对其主要概念进行了完整的介绍。但是,与对抗鲁棒性的主流悲观观点相反,我们关注的是它所带来的主要积极方面。我们强调对抗性示例与深度神经网络几何之间的直观联系,并最终探索对抗性示例的几何研究如何作为理解深度学习的强大工具。此外,我们还展示了对抗鲁棒性的广泛适用性,概述了对抗鲁棒性在安全性之外的主要新兴应用。本文的目标是为读者提供一组新的视角来理解深度学习,并为他们提供直观的工具和见解,了解如何使用对抗鲁棒性来改进它。
2021-01-28 cs.AI cs.CV cs.LG
Squeeze Training for Adversarial Robustness
Harbin Institute of Technology(哈尔滨工业大学);Tencent Security Big Data Lab(腾讯安全大数据实验室);UC Davis(加州大学戴维斯分校)
深度神经网络(DNN)对对抗性样本的脆弱性在机器学习社区引起了极大的关注。这个问题与通常获得的损失景观的非平坦性和非平滑性有关。通过对抗性示例增强训练(也称为,对抗训练)被认为是一种有效的补救办法。在本文中,我们强调了一些协作示例,这些示例在感知上几乎无法与对抗性和良性示例区分开来,但预测损失极低,可以用来增强对抗性训练。因此,提出了一种新的方法,以实现新的最先进的对抗鲁棒性。代码:www.example.com.
2023-02-10 cs.CR cs.CV cs.LG
Biologically Inspired Mechanisms for Adversarial Robustness
Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院)
卷积神经网络在合理的计算和性能成本下对对抗性扰动具有很强的鲁棒性还没有得到证明。灵长类动物的视觉腹侧流似乎是强大的视觉刺激的小扰动,但引起这种强大的感知的潜在机制还不清楚。在这项工作中,我们研究了两种生物学上合理的机制在对抗鲁棒性中的作用。我们证明了由灵长类动物视网膜进行的非均匀采样和在每个偏心率处具有一系列感受野大小的多个感受野的存在提高了神经网络对小的对抗性扰动的鲁棒性。我们验证了这两种机制不会受到梯度混淆的影响,并通过消融研究研究了它们对对抗鲁棒性的贡献。
2020-06-29 cs.CV cs.LG stat.ML
Achieving Adversarial Robustness Requires An Active Teacher
Stanford University(斯坦福大学)
通过解耦数据生成器和标签生成器(我们称之为教师),提出了对对抗性示例和对抗性鲁棒性的新理解。在我们的框架中,对抗鲁棒性是一个有条件的概念-学生模型不是绝对鲁棒的,但是相对于老师是鲁棒的。基于这种新的理解,我们认为对抗性例子的存在是因为学生不能从训练数据中获得教师的足够信息。实现鲁棒性的各种方法进行了比较。理论和数值证据表明,为了有效地实现鲁棒性,教师积极地向学生提供其信息可能是必要的。
2020-12-14 cs.LG
A Unified Game-Theoretic Interpretation of Adversarial Robustness
Peking University(北京大学);Shanghai Jiao Tong University(上海交通大学);Carnegie Mellon University(卡内基梅隆大学);Huawei technologies Inc.(华为技术有限公司)
本文提供了一个统一的观点来解释不同的对抗攻击和防御方法,即DNN的输入变量之间的多阶相互作用的观点。基于多阶交互,我们发现对抗攻击主要影响高阶交互来欺骗DNN。此外,我们发现对抗训练的DNN的鲁棒性来自类别特定的低阶相互作用。我们的研究结果提供了一种潜在的方法来统一对抗扰动和鲁棒性,这可以从原理上解释现有的防御方法。此外,我们的研究结果还修正了以往对逆向学习特征形状偏向的不准确理解。
2021-11-09 cs.AI cs.CV cs.LG
Bridging Mode Connectivity in Loss Landscapes and Adversarial Robustness
Northeastern University(东北大学);IBM Research(IBM研究院)
模式连通性为分析损失景观提供了新的几何见解,并能够在训练有素的神经网络之间构建高精度路径。在这项工作中,我们提出在损失景观中使用模式连通性来研究深度神经网络的对抗鲁棒性,并提供改进这种鲁棒性的新方法。我们的实验涵盖了应用于不同网络架构和数据集的各种类型的对抗攻击。当网络模型被后门或错误注入攻击篡改时,我们的研究结果表明,使用有限数量的善意数据学习的路径连接可以有效地减轻对抗性影响,同时保持干净数据的原始准确性。因此,模式连接为用户提供了修复后门或错误注入模型的能力。我们还使用模式连通性来研究常规和鲁棒模型对规避攻击的损失景观。实验表明,在连接常规和对抗训练模型的路径上,对抗鲁棒性损失存在障碍。对抗鲁棒性损失和输入Hessian矩阵的最大特征值之间存在高度相关性,并给出了理论证明。我们的研究结果表明,模式连接性为评估和提高对抗鲁棒性提供了一个全面的工具和实用的手段。
2020-07-03 cs.CV cs.LG stat.ML
Language-Driven Anchors for Zero-Shot Adversarial Robustness
Tsinghua University(清华大学);Harbin Institute of Technology(哈尔滨工业大学);Chinese Institute for Brain Research(中国脑科学研究院)
针对零样本对抗鲁棒性研究空白,提出语言驱动的基于锚点的对抗训练策略LAAT,通过文本编码器类别特征作锚点训练,结合扩展算法与对齐交叉熵损失解决特征相似度高的问题,显著提升零样本对抗鲁棒性,适用于无标注数据场景。
2024-03-10 cs.AI cs.CV cs.LG
A Unified Game-Theoretic Interpretation of Adversarial Robustness
本文提供了一个统一的视图来解释不同的对抗攻击和防御方法,\emph{i.e.}的DNN的输入变量之间的多阶相互作用的视图。基于多阶交互,我们发现对抗攻击主要影响高阶交互来欺骗DNN。此外,我们发现对抗训练的DNN的鲁棒性来自类别特定的低阶相互作用。我们的研究结果提供了一种潜在的方法来统一对抗扰动和鲁棒性,这可以从原理上解释现有的防御方法。此外,我们的研究结果还修正了以往对逆向学习特征形状偏向的不准确理解。
2021-11-08 cs.AI cs.CV cs.LG
Towards Adversarial Robustness of Deep Vision Algorithms
National University of Singapore(新加坡国立大学)
深度学习方法在解决计算机视觉任务方面取得了巨大的成功,并且它们已被广泛用于人工智能系统的图像处理,分析和理解。然而,深度神经网络已被证明易受输入数据中的对抗性扰动的影响。深度神经网络的安全问题也因此浮出水面。因此,对深度视觉算法的对抗鲁棒性进行全面研究势在必行。本次演讲的重点是图像分类模型和图像去噪器的对抗鲁棒性。我们将从三个角度讨论深度视觉算法的鲁棒性:1)稳健性评价(我们提出了ObsAtk来评估去噪器的鲁棒性),2)鲁棒性改进(HAT、TisODE和CIFS是为了增强视觉模型而开发的),3)对抗鲁棒性与新领域推广能力之间的关系(我们发现,对抗性鲁棒去噪器可以处理看不见的真实世界噪声)。
2022-11-22 cs.LG
Adversarial Fine-tune with Dynamically Regulated Adversary
University of Alberta(阿尔伯塔大学)
对抗性训练是一种有效的方法,可以提高模型对恶意对抗攻击的鲁棒性。然而,模型鲁棒性的这种改进通常导致在干净图像上的标准性能的显著牺牲。在许多现实世界的应用中,如健康诊断和自主手术机器人,标准性能比模型鲁棒性更有价值。这就引出了一个问题:在不牺牲标准性能的情况下,我们可以在多大程度上提高模型的鲁棒性?这项工作解决了这个问题,并提出了一个简单而有效的基于迁移学习的对抗性训练策略,解开了对抗性样本对模型标准性能的负面影响。此外,我们引入了一个训练友好的对抗攻击算法,它有助于提高对抗鲁棒性,而不会引入显着的训练复杂度。大量的实验表明,该方法优于以前的对抗性训练算法的目标:提高模型的鲁棒性,同时保持模型的标准性能的清洁数据。
2022-04-28 cs.AI cs.CV cs.LG
DARD: Dice Adversarial Robustness Distillation against Adversarial Attacks
Augusta University(奥古斯塔大学);Electrical Engineering Dept., Columbia University(哥伦比亚大学电子工程系)
本文提出DARD方法,通过定制的知识蒸馏范式将大型教师模型的鲁棒性转移到紧凑的学生模型中,并配合DPGD对抗样本泛化方法,在相同架构下实现了优于对抗训练网络的鲁棒性与标准准确率。
2025-09-15 cs.LG
Adversarial Robustness of Deep Sensor Fusion Models
Washington University in St. Louis(圣路易斯华盛顿大学)
我们通过实验研究了深度相机-LiDAR融合架构在自动驾驶中用于二维目标检测的鲁棒性。首先,我们发现融合模型通常比单传感器深度神经网络更准确,对单源攻击更鲁棒。此外,我们表明,在没有对抗性训练的情况下,早期融合比晚期融合更鲁棒,而在对抗性训练后两者的表现相似。然而,我们注意到,深度融合的单通道对抗性训练通常甚至对鲁棒性有害。此外,我们观察到跨通道外部性,其中单通道对抗训练降低了对其他通道攻击的鲁棒性。此外,我们观察到对抗训练中对抗模型的选择至关重要:使用限制在汽车边界框的攻击在对抗训练中更有效,并且表现出不太显著的跨通道外部性。最后,我们发现联合通道对抗训练有助于缓解上述许多问题,但不会显著提高对抗鲁棒性。
2022-04-11 cs.CV
Universal Adversarial Robustness of Texture and Shape-Biased Models
Imperial College London(帝国理工学院);DataSpartan Research(DataSpartan研究院)
增加深度神经网络中的形状偏差已被证明可以提高对常见损坏和噪声的鲁棒性。在本文中,我们分析的对抗性鲁棒性的纹理和形状偏置模型的普遍对抗性扰动(UAP)。我们使用UAP来评估DNN模型的鲁棒性,这些模型具有不同程度的基于形状的训练。我们发现,形状偏置模型并没有显着提高对抗鲁棒性,我们表明,纹理和形状偏置模型的集合可以提高通用的对抗鲁棒性,同时保持强大的性能。
2021-08-31 cs.CV
Improved robustness to adversarial examples using Lipschitz regularization of the loss
我们使用最坏情况对抗训练(WCAT)增强对抗训练(AT),在CIFAR-10上的$\ell_2$规范中,它将对抗鲁棒性提高了11%。我们得到可验证的平均情况下和最坏情况下的鲁棒性保证,基于期望和最大值的范数的梯度的损失。我们将对抗训练解释为总变差正则化,这是数学图像处理中的基本工具,而WCAT则是Lipschitz正则化。
2019-09-13 cs.CR cs.CV cs.LG
AFD: Mitigating Feature Gap for Adversarial Robustness by Feature Disentanglement
Xidian University(西安电子科技大学);Chongqing University of Posts and Telecommunications(重庆邮电大学)
针对对抗微调中自然与对抗样本最后隐藏层特征差距增大的问题,本文提出AFD,通过特征解耦器分离并消除对抗样本的特定潜在特征,同时对齐干净特征,在三个基准上取得优于现有方法的鲁棒性。
2024-12-10 cs.AI cs.CV cs.LG
Generating Adversarial Samples in Mini-Batches May Be Detrimental To Adversarial Robustness
University of Notre Dame(圣母大学)
本研究发现对抗样本生成时小批量大小增加会降低样本有效性,这与梯度消失有关,通过设计特定损失函数可消除该影响,避免低估攻击强度或高估模型鲁棒性。
2023-03-30 cs.CR cs.CV cs.LG
Adversarial Constraint Learning for Structured Prediction
Department of Computer Science, Stanford University(斯坦福大学计算机科学系)
基于约束的学习通过让用户指定结构化输出的一般属性(例如物理定律施加的约束)来减少收集标签的负担。我们提出了一个新的框架,同时学习这些约束条件,并使用它们进行监督,绕过使用领域的专业知识手动指定约束的困难。学习需要结构化输出的黑盒模拟器,它会生成有效的标签,但不需要对其相应的输入或输入-标签关系进行建模。在训练时,我们限制模型产生无法通过对抗训练与模拟标签区分的输出。为我们的框架提供少量的标记输入,产生了一个新的半监督结构化预测模型;我们在多个任务上评估了这个模型-跟踪,姿态估计和时间序列预测-并发现它只需要少量的标记输入就可以实现高精度。在某些情况下,根本不需要标签。
2018-05-31 cs.CV cs.LG stat.ML
Deep Repulsive Prototypes for Adversarial Robustness
Radboud University(拉德堡德大学);Leiden University(莱顿大学)
虽然已经提出了许多对抗性示例的防御措施,但找到鲁棒的机器学习模型仍然是一个悬而未决的问题。迄今为止,最引人注目的防御是对抗训练,包括用对抗示例补充训练数据集。然而,对抗性训练严重影响训练时间,并且依赖于找到有代表性的对抗性样本。在本文中,我们提出了训练模型的输出空间与大类分离,以获得鲁棒性,而无需对抗训练。我们引入了一种将输出空间划分为具有大分离度的类原型的方法,并通过训练模型来保持它。实验结果表明,用这些原型训练的模型-我们称之为深度排斥原型-获得了与对抗训练相竞争的鲁棒性,同时也保持了对自然样本的更高准确性。此外,该模型对大的扰动尺寸更有弹性。例如,我们在CIFAR-10上获得了超过50%的鲁棒性,在自然样本上的准确率为92%,在CIFAR-100上获得了超过20%的鲁棒性,在没有对抗训练的自然样本上的准确率为71%。对于这两个数据集,该模型保持了对大扰动的鲁棒性优于对抗训练的模型。
2021-05-26 cs.LG
Trace-Norm Adversarial Examples
University of Central Florida(中佛罗里达大学);École Normale Supérieure(巴黎高等师范学院);INRIA(法国国家信息与自动化研究所)
白盒对抗性扰动是通过迭代优化算法来寻求的,最常见的是最小化原始图像的$l_p$邻域(所谓的失真集)上的对抗性损失。用不同的规范约束对抗性搜索会产生结构合理的对抗性示例。在这里,我们探索几个失真集与结构增强算法。对抗性示例的这些新结构,在优化中普遍存在,例如,对于对抗性理论认证来说是一个挑战,该理论认证再次仅提供$l_p$证书。由于对抗鲁棒性仍然是一个经验领域,防御机制也应该合理地评估不同结构的攻击。此外,这些结构化对抗扰动可以允许比它们的$l_p$对应部分更大的失真大小,同时保持不可感知或可感知为图像的自然轻微失真。最后,它们允许对对抗性扰动的生成进行一些控制,如(局部)模糊。
2020-07-02 cs.CV cs.LG stat.ML
Robustness of Rotation-Equivariant Networks to Adversarial Perturbations
Rakuten Institute of Technology Paris(乐天技术研究院巴黎分院)
深度神经网络已被证明容易受到对抗性示例的影响:输入的非常小的扰动对预测产生巨大影响。已经提出了大量的对抗攻击和距离度量来量化自然图像和对抗图像之间的相似性,最近扩大了对抗示例的范围,其中几何变换超出了像素攻击。在这种情况下,我们研究了新的卷积神经网络架构提供等方差旋转对抗攻击的鲁棒性。我们发现,在MNIST、CIFAR-10和ImageNet数据集中,旋转等变网络比常规网络更不容易受到基于几何的攻击。
2018-05-17 cs.CR cs.CV cs.LG
Exploring the Adversarial Frontier: Quantifying Robustness via Adversarial Hypervolume
City University of Hong Kong(香港城市大学)
针对传统对抗准确率无法全面衡量模型鲁棒性的问题,提出对抗超体积指标从多目标优化角度全面评估扰动强度范围内的鲁棒性,并采用新训练算法均匀增强鲁棒性,为防御模型评估建立新标准。
2024-11-17 cs.AI cs.CR cs.CV
Adversarial Deep Structured Nets for Mass Segmentation from Mammograms
University of California, Irvine(加州大学尔湾分校);Johns Hopkins University(约翰斯·霍普金斯大学)
肿块分割提供了有效的形态学特征,这对肿块诊断是重要的。在这项工作中,我们提出了一种新的端到端网络,用于乳房X光肿块分割,它采用全卷积网络(FCN)来建模潜在函数,然后用CRF来执行结构化学习。由于质量分布随像素位置变化很大,因此将FCN与位置先验相结合。此外,我们采用对抗性训练来消除由于乳房X光照片数据集的小尺寸而导致的过度拟合。采用多尺度FCN来提高分割性能。在两个公共数据集INbreast和DDSM-BCRP上的实验结果表明,我们的端到端网络比最先进的方法具有更好的性能。\footnote{https://github.com/wentaozhu/adversarial-deep-structural-networks.git}
2017-12-25 cs.CV cs.LG cs.NE
Can we have it all? On the Trade-off between Spatial and Adversarial Robustness of Neural Networks
Indian Institute of Technology, Hyderabad(海得拉巴印度理工学院);Microsoft Research India(微软研究院印度分院);Chennai Mathematical Institue, Chennai(钦奈数学研究所)
神经网络对小的、对抗性的逐像素扰动的(非)鲁棒性,并且如最近所示,甚至对随机空间变换(例如,翻译,旋转)都要求理论和经验的理解。对随机平移和旋转的空间鲁棒性通常经由等变模型(例如,StdCNN,GCNN)和训练增强,而对抗鲁棒性通常通过对抗训练来实现。在本文中,我们证明了在一个简单的统计设置空间和对抗鲁棒性之间的定量权衡。我们通过以下经验补充了这一点:(a)随着同变模型的空间鲁棒性通过逐渐增大的变换进行训练增强而提高,它们的对抗鲁棒性逐渐下降,(b)随着最先进的鲁棒模型通过逐渐增大的像素扰动进行对抗训练,它们的空间鲁棒性逐渐下降。为了在这种权衡中实现帕累托最优,我们提出了一种基于课程学习的方法,该方法逐渐训练更困难的扰动(空间和对抗),以同时提高空间和对抗鲁棒性。
2021-11-10 cs.CV cs.LG cs.NE
Robustness Tokens: Towards Adversarial Robustness of Transformers
University of Geneva(日内瓦大学)
针对公开预训练 Transformer 作为下游骨干易受同源白盒对抗攻击的问题,本文提出仅低计算量微调少量私有 Robustness Tokens,在保持 Vision Transformer 下游性能的同时增强对抗鲁棒性。
2025-03-13 cs.AI cs.CV cs.LG
Improving Hyperspectral Adversarial Robustness Under Multiple Attacks
University of Maine(缅因大学)
针对高光谱图像语义分割模型在多种对抗攻击下鲁棒性下降的问题,提出对抗判别器集成网络(ADE-Net),通过判别器按攻击类型分配数据至专家集成网络,在统一模型下提升整体对抗鲁棒性。
2023-05-11 cs.CR cs.CV cs.LG
Multitask Learning Strengthens Adversarial Robustness
Columbia University(哥伦比亚大学)
尽管深度网络在一系列计算机视觉基准测试中达到了很高的准确性,但它们仍然容易受到对抗攻击的影响,在这种攻击中,难以察觉的输入扰动会欺骗网络。我们提出了理论和实证分析,将模型的对抗鲁棒性与其训练的任务数量联系起来。在两个数据集上的实验表明,攻击难度随着目标任务数量的增加而增加。此外,我们的研究结果表明,当模型同时在多个任务上进行训练时,它们对单个任务的对抗攻击变得更加鲁棒。虽然对抗性防御仍然是一个公开的挑战,但我们的研究结果表明,深度网络是脆弱的,部分原因是它们接受的任务太少。
2020-09-11 cs.CR cs.CV cs.LG
SPADE: A Spectral Method for Black-Box Adversarial Robustness Evaluation
Stevens Institute of Technology(史蒂文斯理工学院);Cornell University(康奈尔大学)
提出了一种评估机器学习(ML)模型对抗鲁棒性的黑盒谱方法。我们的方法,命名为SPADE,利用双射距离映射之间的输入/输出图构造近似对应的输入/输出数据的流形。利用广义Courant-Fischer定理,提出了一种用于评估给定模型对抗鲁棒性的SPADE评分,并证明了该评分是流形环境下最佳Lipschitz常数的上界.为了揭示最不健壮的数据样本极易受到对抗攻击,我们开发了一个谱图嵌入过程,利用占主导地位的广义特征向量。这个嵌入步骤允许为每个数据样本分配一个鲁棒性分数,可以进一步利用该分数进行更有效的对抗训练。我们的实验表明,所提出的SPADE方法导致有前途的经验结果的神经网络模型,对抗训练的MNIST和CIFAR-10数据集。
2021-06-13 cs.AI cs.CV cs.LG
Boosting Adversarial Robustness From The Perspective of Effective Margin Regularization
City University of Hong Kong(香港城市大学)
深度神经网络(DNN)的对抗性脆弱性在过去几年中得到了积极的研究。本文研究了分类任务中最常用的损失函数交叉熵损失的尺度变化特性,及其对深度神经网络的有效裕度和对抗鲁棒性的影响。由于损失函数对logit标度不是不变的,增加有效权范数将使损失趋近于零,其梯度为零,而有效裕度没有充分地最大化。在典型的DNN上,我们证明了,如果没有适当的正则化,标准训练不会学习大的有效裕度,并导致对抗性脆弱性。为了最大限度地提高有效边界并学习一个强大的DNN,我们建议在训练过程中正则化有效权重范数。我们对前馈DNN的实证研究表明,所提出的有效边缘正则化(EMR)学习了大的有效边缘,并在标准和对抗训练中提高了对抗鲁棒性。在大规模模型上,我们证明了EMR的性能优于基本对抗训练、TRADES和两个正则化基线,并有了实质性的改进。此外,当与几种强大的对抗性防御方法(MART和MAIL)相结合时,我们的EMR进一步增强了鲁棒性。
2022-10-11 cs.CV cs.LG stat.ML
Residual Error: a New Performance Measure for Adversarial Robustness
University of Waterloo(滑铁卢大学);DarwinAI Corp.(达尔文人工智能公司);ADC Automotive Distance Control Systems GmbH(ADC汽车测距系统有限公司);Continental(大陆集团)
尽管在过去十年中深度学习取得了重大进展,但限制深度学习广泛采用的一个主要挑战是它们对对抗攻击的脆弱性。这种在存在不利扰动数据的情况下做出错误预测的敏感性使得深度神经网络难以用于某些现实世界的关键任务应用。虽然大部分研究焦点都围绕着对抗性示例创建和对抗性强化,但评估对抗性鲁棒性的性能指标领域还没有得到很好的探索。受此启发,本研究提出了残差的概念,这是一种新的性能指标,不仅可以在个体样本水平上评估深度神经网络的对抗性鲁棒性,还可以用于区分对抗性和非对抗性示例,以便于对抗性示例检测。此外,我们引入了一个混合模型近似的残差在一个听话的方式。使用图像分类的情况下的实验结果证明了所提出的残差度量的有效性和功效,用于评估几个众所周知的深度神经网络架构。因此,这些结果表明,所提出的措施可能是一个有用的工具,不仅用于评估在关键任务场景中使用的深度神经网络的鲁棒性,而且在设计对抗鲁棒模型。
2021-06-18 cs.CV cs.LG stat.ML
Disentangling Adversarial Robustness and Generalization
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);University of Tübingen(图宾根大学)
获得对对抗性示例具有鲁棒性并具有良好泛化能力的深度网络是一个开放性问题。最近的一个假设甚至指出,稳健和准确的模型都是不可能的,即,对抗鲁棒性和泛化是相互冲突的目标。为了澄清鲁棒性和泛化之间的关系,我们假设一个底层的,低维的数据流形,并表明:1。经常对抗的例子离开流形; 2.对抗性的例子约束到流形,即,流形上对抗的例子,存在; 3.流形上对抗性示例是泛化误差,并且流形上对抗性训练促进泛化; 4.规则的鲁棒性和通用性不一定是相互矛盾的目标。这些假设意味着稳健和准确的模型都是可能的。然而,不同的模型(架构,培训策略等)可以表现出不同的鲁棒性和泛化特性。为了证实我们的主张,我们提出了广泛的实验合成数据(与已知的流形),以及EMNIST,时尚MNIST和CelebA。
2019-04-10 cs.CR cs.CV cs.LG
A Closer Look at the Adversarial Robustness of Information Bottleneck Models
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Google Research(谷歌研究院);DeepMind(深度思维)
研究了信息瓶颈分类模型的对抗鲁棒性。以前的工作表明,用信息瓶颈训练的模型的鲁棒性可以提高对抗性训练。我们在各种白盒$l_{\infty}$攻击下的评估表明,信息瓶颈本身并不是一个强大的防御策略,以前的结果可能受到梯度混淆的影响。
2021-07-12 cs.LG