Adversarially Training for Audio Classifiers
École de Technologie Supérieure (ÉTS)（高等技术学院）
在本文中，我们研究了对抗性训练对六种高级深度神经网络抵御各种针对性和非针对性对抗性攻击的鲁棒性的潜在影响。我们首先表明，在附加tonnetz色谱图的离散小波变换的2D表示上训练的ResNet-56模型在识别精度方面优于其他模型。然后，我们展示了对抗性训练对该模型以及其他深度架构对六种类型的攻击算法（白盒和黑盒）的积极影响，其代价是识别准确性降低和对抗性扰动有限。我们在两个基准环境声音数据集上进行了实验，结果表明，在对对手的预算分配没有任何限制的情况下，对抗训练模型的欺骗率可以超过90%。换句话说，对抗性攻击存在于任何规模中，但与非对抗性训练的模型相比，它们可能需要更高的对抗性扰动。
2020-10-25 cs.LG cs.SD eess.AS
Towards Model-Agnostic Adversarial Defenses using Adversarially Trained Autoencoders
Stony Brook University（石溪大学）；IBM Research（IBM研究院）；University of Michingan（密歇根大学）
对抗性机器学习是一个研究得很好的领域，其中对手通过对输入的精确操纵在机器学习算法中引起可预测的错误。已经提出了许多技术来强化机器学习算法并减轻对抗攻击的影响。在这些技术中，对抗性训练（其用对抗性样本来增强训练数据）已被证明是针对某类攻击的有效防御。然而，对抗性训练在计算上是昂贵的，其改进仅限于单个模型。在这项工作中，我们朝着创建模型不可知的对抗性防御迈出了第一步。我们提出了对抗训练的自动编码器增强（AAA），这是第一个与模型无关的对抗性防御，对某些自适应对手具有鲁棒性。我们表明，AAA允许我们通过训练单个自动编码器来保护多个预先训练的分类器，从而实现部分模型不可知的防御;在不修改分类器的情况下，实现与对抗训练相当或更好的对抗性能。此外，我们证明了AAA可以用于为MNIST和Fashion MNIST数据集创建完全模型不可知的防御，通过将从未见过的预训练分类器的对抗性能提高至少45%，而无需额外的训练。最后，使用自然图像损坏数据集，我们证明了我们的方法提高了对自然损坏图像的鲁棒性，这已被确定为真正的对抗鲁棒性的强烈指示。
2020-03-29 cs.CV cs.LG
Enhancing Diffusion-Based Image Synthesis with Robust Classifier Guidance
Technion（以色列理工学院）
去噪扩散概率模型（DDPM）是近年来出现的一类具有最新研究成果的生成模型。为了获得类条件生成，建议通过来自时间依赖分类器的梯度来引导扩散过程。虽然这个想法在理论上是合理的，但基于深度学习的分类器容易受到基于梯度的对抗攻击的影响。因此，虽然传统的分类器可以实现良好的准确性分数，但它们的梯度可能是不可靠的，并且可能阻碍生成结果的改进。最近的工作发现，对抗性强的分类器表现出与人类感知一致的梯度，这些可以更好地引导生成过程，使其生成语义有意义的图像。我们利用这一观察定义和训练的时间依赖的adversarially强大的分类器，并使用它作为指导的生成扩散模型。在极具挑战性和多样性的ImageNet数据集上进行的实验中，我们的方案引入了更易于理解的中间梯度，与理论研究结果更好地对齐，以及在几个评估指标下改进的生成结果。此外，我们还进行了一项意见调查，其结果表明人类评分者更喜欢我们方法的结果。
2023-03-15 cs.CV cs.LG
Benign Overfitting in Adversarially Robust Linear Classification
Pennsylvania State University（宾夕法尼亚州立大学）；The University of Hong Kong（香港大学）；University of California, Los Angeles（加州大学洛杉矶分校）
“良性过拟合”，即分类器记住噪声训练数据，但仍然获得良好的泛化性能，引起了机器学习界的极大关注。为了解释这一令人惊讶的现象，一系列的工作提供了理论上的理由，在过参数化的线性回归，分类和核方法。然而，目前尚不清楚良性过拟合是否仍然发生在存在对抗性示例的情况下，即，用微小的故意扰动来欺骗分类器的例子。在本文中，我们证明了良性过拟合确实发生在对抗性训练中，这是一种防御对抗性示例的原则性方法。详细地，我们证明了在$\ell_p$对抗性扰动下，对抗性训练的线性分类器在亚高斯混合数据上的风险界。我们的研究结果表明，在适度的扰动下，对抗训练的线性分类器可以实现接近最优的标准和对抗风险，尽管过拟合的噪声训练数据。数值实验验证了我们的理论研究结果。
2021-12-31 cs.LG math.OC stat.ML
Featurized Bidirectional GAN: Adversarial Defense via Adversarially Learned Semantic Inference
Princeton University（普林斯顿大学）
深度神经网络已被证明容易受到对抗攻击的攻击，其中故意添加到原始输入的小扰动可以欺骗分类器。在本文中，我们提出了一种防御方法，特征化双向生成对抗网络（FBGAN），提取输入的语义特征和过滤非语义扰动。FBGAN以无监督的方式在干净的数据集上进行预训练，逆向学习高维数据空间和低维语义空间之间的双向映射;还应用互信息来解开语义上有意义的特征。在双向映射之后，对抗数据可以被重建为去噪数据，这些数据可以被馈送到任何预先训练的分类器中。我们经验显示重建图像的质量和防御的有效性。
2018-09-29 cs.CR cs.CV cs.LG
Guardian of the Ensembles: Introducing Pairwise Adversarially Robust Loss for Resisting Adversarial Attacks in DNN Ensembles
Centre for Computational and Data Sciences, IIT Kharagpur（印度理工学院克勒格布尔分校计算与数据科学中心）；Computer Science and Engineering Department, IIT Kharagpur（印度理工学院克勒格布尔分校计算机科学与工程系）；Center for Cyber Security, New York University Abu Dhabi（纽约大学阿布扎比分校网络安全中心）；Department of Artificial Intelligence, IIT Kharagpur（印度理工学院克勒格布尔分校人工智能系）；Computer Science and Engineering Department, IIT Patna（印度理工学院巴特那分校计算机科学与工程系）
针对对抗攻击的可迁移性问题，本文提出成对对抗鲁棒损失（PARL）训练DNN集成，通过同时利用集成内分类器各层输出与梯度生成决策边界多样的集成，提升黑盒迁移攻击鲁棒性，在保持干净准确率的同时使鲁棒准确率提升24.8%。
2024-12-03 cs.LG
Are Perceptually-Aligned Gradients a General Property of Robust Classifiers?
Carnegie Mellon University（卡内基梅隆大学）
对于标准的卷积神经网络，优化输入像素以最大化某些目标类别的得分通常会产生原始图像的颗粒状版本。然而，Santurkar等人（2019）证明，对于经过逆向训练的神经网络，这种优化会产生与目标类惊人相似的图像。在本文中，我们表明，这些“感知对齐梯度”也发生在随机平滑，另一种手段，构建对抗强大的分类。我们的研究结果支持的假设，感知对齐的梯度可能是一个强大的分类器的一般属性。我们希望我们的研究结果将激发旨在解释感知对齐梯度和对抗鲁棒性之间联系的研究。
2019-10-23 cs.CV cs.LG stat.ML
Adversarially Robust Classification by Conditional Generative Model Inversion
University of Utah（犹他大学）
大多数对抗攻击防御方法都依赖于模糊梯度。这些方法在抵御基于梯度的攻击方面是成功的;然而，它们很容易被不使用梯度的攻击或近似并使用校正梯度的攻击所规避。存在不混淆梯度的防御方法，例如对抗训练，但这些方法通常会对攻击进行假设，例如攻击的大小。我们提出了一个分类模型，不混淆梯度，是强大的建设，而无需假设先验知识的攻击。我们的方法将分类转换为一个优化问题，在这个问题中，我们“反转”一个在未受干扰的自然图像上训练的条件生成器，以找到生成与查询图像最接近的样本的类。我们假设针对对抗攻击的脆弱性的潜在来源是前馈分类器的高到低维性质，其允许对手在输入空间中找到导致输出空间中的大变化的小扰动。另一方面，生成模型通常是低维到高维的映射。虽然该方法与Defense-GAN相关，但在我们的模型中使用条件生成模型和反演而不是前馈分类器是一个关键的区别。与Defense-GAN不同，Defense-GAN被证明可以生成容易规避的混淆梯度，我们证明了我们的方法不会混淆梯度。我们证明了我们的模型对黑盒攻击非常鲁棒，并且与自然训练的前馈分类器相比，对白盒攻击的鲁棒性有所提高。
2022-01-12 cs.CV cs.LG
Attack Transferability Characterization for Adversarially Robust Multi-label Classification
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Inria（法国国家信息与自动化研究所）
尽管多标签规避攻击的普遍存在，它是一个开放的，但重要的问题是描述的多标签学习系统的对抗性脆弱性的来源，并评估其可攻击性。在这项研究中，我们专注于针对多标签分类器的非目标规避攻击。威胁的目标是在相同的输入扰动下，尽可能多的标签导致分类错误。我们的工作获得了深入的了解多标签对抗攻击的攻击的转移性的基础上的多标签分类器的功能特性的特征。通过建立对抗风险的信息论分析，我们揭示了攻击的可转移性水平如何决定分类器的可攻击性。此外，我们提出了一个以可转移性为中心的可攻击性评估，命名为软攻击性估计（SAE），以评估目标多标签分类器的内在脆弱性水平。然后将该估计器作为可转移性调整正则化项集成到多标签学习范式中，以实现对抗性鲁棒分类。对真实数据的实验研究与理论分析相呼应，验证了可迁移正则化多标记学习方法的有效性。
2021-06-29 cs.CR cs.LG
Deep Adversarially-Enhanced k-Nearest Neighbors
University of Michigan（密歇根大学）
最近的研究从理论和经验上表明，深度神经网络（DNN）对小扰动具有固有的脆弱性。应用深度k最近邻（DkNN）分类器，我们观察到随着层的深入，鲁棒性-准确性权衡显着增加。在这项工作中，我们提出了一种深度逆向增强的k最近邻（DAEkNN）方法，该方法比DkNN具有更高的鲁棒性，并通过两个关键要素减轻了深层中的鲁棒性-准确性权衡。首先，DAEkNN基于一个逆向训练的模型。其次，DAEkNN通过利用良性和对抗性训练数据的加权组合进行预测。从经验上讲，我们发现DAEkNN在MNIST和CIFAR-10数据集上提高了鲁棒性和鲁棒性-准确性权衡。
2021-10-07 cs.AI cs.CV cs.LG
Anti-Adversarially Manipulated Attributions for Weakly Supervised Semantic Segmentation and Object Localization
Seoul National University（首尔国立大学）
在弱监督语义分割和目标定位中，从类标签中获得精确的像素级定位是一个至关重要的过程。来自经训练的分类器的属性图被广泛用于提供像素级定位，但是它们的焦点往往被限制在目标对象的小的区分区域。AdvCAM是图像的属性图，其被操纵以在最终softmax或sigmoid层之前增加由分类器产生的分类分数。这种操作是以反对抗的方式实现的，使得原始图像沿着像素梯度在与对抗攻击中使用的方向相反的方向上被扰动。这个过程增强了非歧视性的，但类相关的功能，使以前的属性地图的贡献不足，使所得的AdvCAM识别目标对象的更多区域。此外，我们引入了一个新的正则化过程，抑制不正确的归属区域无关的目标对象和过度集中的归属目标对象的一个小区域。我们的方法在PASCAL VOC 2012和MS COCO 2014数据集上实现了弱监督和半监督语义分割的最新性能。在弱监督对象定位中，它在CUB-200-2011和ImageNet-1 K数据集上实现了最新的性能。
2022-04-11 cs.CV cs.LG
Adversarially Learned One-Class Classifier for Novelty Detection
Institute for Research in Fundamental Sciences（基础科学研究所）；Amirkabir University of Technology（阿米卡比尔理工大学）；Stanford University（斯坦福大学）
新颖性检测是识别在某些方面与训练观察（目标类）不同的观察的过程。在现实中，新奇类在训练过程中经常缺席，采样不佳或定义不好。因此，单类分类器可以有效地模拟这样的问题。然而，由于新颖类的数据不可用，训练端到端深度网络是一项繁琐的任务。在本文中，受生成对抗网络在无监督和半监督环境中训练深度模型的成功启发，我们提出了一种用于单类分类的端到端架构。我们的架构由两个深度网络组成，每个深度网络通过相互竞争进行训练，同时合作理解目标类中的底层概念，然后对测试样本进行分类。一个网络充当新颖性检测器，而另一个网络通过增强内部样本和扭曲异常值来支持它。直觉是，增强的内点和扭曲的离群点的可分性比决定原始样本要好得多。该框架适用于图像和视频中异常和离群点检测的不同相关应用。MNIST和Caltech-256图像数据集上的结果，以及具有挑战性的UCSD Ped 2视频异常检测数据集，表明我们提出的方法有效地学习目标类，优于基线和最先进的方法。
2018-05-24 cs.CV
A3T: Adversarially Augmented Adversarial Training
Montreal Institute of Learning Algorithms（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）
最近的研究表明，深度神经网络对所谓的对抗性扰动高度敏感，对抗性扰动是输入数据的微小扰动，旨在欺骗机器学习分类器。大多数分类模型，包括深度学习模型，都极易受到对抗攻击的攻击。在这项工作中，我们研究了一种通过增强表示不变性来提高深度神经网络对抗鲁棒性的方法。其思想是训练分类器与附加到其隐藏层之一的过滤器联合，并训练过滤对抗性噪声。我们进行了初步实验来测试该方法的可行性，并将其与其他标准对抗训练方法进行比较。
2018-01-12 cs.LG stat.ML
On the Adversarial Robustness of Causal Algorithmic Recourse
University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zürich（苏黎世联邦理工学院）
医疗追索权旨在为个人提供可操作的建议，以克服自动决策系统的不利分类结果。在理想的情况下，追索建议应该对寻求追索的个人特征中合理的小不确定性具有鲁棒性。在这项工作中，我们制定了对抗强大的追索权问题，并表明，追索权的方法，提供最低成本的追索权失败是强大的。然后，我们提出的方法生成对抗性强的追索权的线性和可微分类。最后，我们表明，正规化的决策分类器的行为局部线性，并更强烈地依赖于可操作的功能，有利于存在对抗性强的追索权。
2022-06-13 cs.LG
Data Decisions and Theoretical Implications when Adversarially Learning Fair Representations
Google Research（谷歌研究院）
当我们不知道分类器的输入是否属于受保护的组时，我们如何学习对受保护的或敏感的组“公平”的分类器？当受保护组的数据难以获得时，我们如何训练这样的分类器？在许多设置中，即使在模型训练期间，找出敏感的输入属性也可能非常昂贵，并且有时在模型服务期间是不可能的。例如，在推荐系统中，如果我们想预测用户是否会点击给定的推荐，我们通常不知道用户的许多属性，例如，种族或年龄，并且内容的许多属性难以确定，例如，语言或主题。因此，使用基于敏感属性的知识校准的不同分类器是不可行的。在这里，我们使用对抗训练过程来从神经网络学习的潜在表示中删除有关敏感属性的信息。特别是，我们研究了对抗训练的数据选择如何影响所产生的公平性。我们发现了两个有趣的结果：训练这些对抗性模型只需要少量的数据，而数据分布经验地驱动了对手的公平概念。
2017-07-07 cs.CY cs.LG
PointGuard: Provably Robust 3D Point Cloud Classification
Duke University（杜克大学）
3D点云分类具有许多安全关键型应用，例如自动驾驶和机器人抓取。然而，几项研究表明，它容易受到对抗攻击。特别是，攻击者可以通过仔细修改、添加和/或删除少量点来使分类器预测3D点云的不正确标签。随机平滑是构建可证明鲁棒的2D图像分类器的最先进技术。然而，当应用于3D点云分类时，随机平滑只能证明对逆向修改点的鲁棒性。在这项工作中，我们提出了PointGuard，第一个防御，具有可证明的鲁棒性保证对抗修改，添加和/或删除点。具体来说，给定一个3D点云和一个任意的点云分类器，我们的PointGuard首先创建多个二次采样点云，每个点云包含原始点云中点的随机子集;然后我们的PointGuard预测原始点云的标签，作为点云分类器预测的二次采样点云标签中的多数票。我们的第一个主要的理论贡献是，我们证明PointGuard预测相同的标签为3D点云时，adversarially修改，添加和/或删除的点的数量是有界的。我们的第二个主要的理论贡献是，我们证明了我们的导出边界的紧密性时，没有假设的点云分类器。此外，我们设计了一个有效的算法来计算我们的认证的鲁棒性保证。我们还在ModelNet 40和ScanNet基准数据集上对PointGuard进行了经验评估。
2021-07-02 cs.CR cs.CV cs.LG
The shape and simplicity biases of adversarially robust ImageNet-trained CNNs
Auburn University（奥本大学）
在过去的几年里，人类视觉和卷积神经网络（CNN）之间的相似性越来越多。然而，普通CNN通常无法推广到人类表现出优越性能的对抗性或分布外（OOD）示例。对抗性训练是一种领先的学习算法，用于提高CNN对对抗性和OOD数据的鲁棒性;然而，人们对这些特性知之甚少，特别是对抗性强的CNN内部学习到的形状偏差和内部特征。在本文中，我们进行了一项全面、系统的研究，以了解形状偏差和一些内部机制，这些机制使AlexNet、GoogLeNet和ResNet-50模型能够通过对抗训练进行泛化。我们发现，虽然标准的ImageNet分类器具有很强的纹理偏差，但它们的R对应项严重依赖于形状。值得注意的是，对抗性训练在“鲁棒化”CNN的过程中会将三种简单性偏差引入隐藏的神经元。也就是说，R网络中的每个卷积神经元经常改变为检测（1）逐像素的更平滑模式，即，一种阻止高频噪声通过网络的机制;（2）更多的低级特征，即纹理和颜色（而不是对象）;（3）更少的输入类型。我们的研究结果揭示了使网络更具对抗性的有趣机制，也解释了最近的一些发现，例如，为什么R网络受益于更大的容量（Xie et al. 2020），并且可以在图像合成中充当强图像先验（Santurkar et al. 2019）。
2022-09-12 cs.CV cs.LG
Provably Robust Detection of Out-of-distribution Data (almost) for free
University of Tübingen（图宾根大学）；Tübingen AI Center（图宾根人工智能中心）
机器学习在安全关键系统中的应用需要对不确定性进行可靠的评估。然而，已知深度神经网络对分布外（OOD）数据产生高度过度自信的预测。即使被训练为对OOD数据不自信，人们仍然可以对抗性地操纵OOD数据，使得分类器再次为操纵的样本分配高置信度。我们发现，两个以前公布的防御可以打破更好的适应攻击，突出了OOD数据的鲁棒性保证的重要性。由于这项任务的现有方法是很难训练，并显着限制精度，我们构建了一个分类器，可以同时实现可证明的对抗强大的OOD检测和高清洁精度。此外，通过稍微修改分类器的架构，我们的方法可证明避免了标准神经网络的渐近过度自信问题。我们为所有实验提供代码。
2022-10-18 cs.AI cs.CV cs.LG
Smoothed Inference for Adversarially-Trained Models
Technion – Israel Institute of Technology（以色列理工学院）；Intel – Artificial Intelligence Products Group (AIPG)（英特尔-人工智能产品集团(AIPG)）
众所周知，深度神经网络容易受到对抗攻击的攻击。当前防御此类攻击的方法基于隐式或显式正则化，例如，对抗训练随机平滑，平均的分类器输出在一个随机分布集中在样本中，已被证明是保证性能的分类器受到有界扰动的输入。在这项工作中，我们研究了随机平滑的应用，以提高未扰动数据的性能，以及增加对对抗攻击的鲁棒性。所提出的技术可以应用于任何现有的对抗性防御之上，但与随机方法配合使用效果特别好。我们研究了它在CIFAR-10和CIFAR-100上的常见白盒（PGD）和黑盒（传输和NAttack）攻击上的性能，在大多数情况下都大大优于以前的技术，在其他情况下也相当。例如，我们使用ResNet-20对CIFAR-10进行PGD攻击，准确率达到60.4%，比以前的技术高出11.7%。由于我们的方法是基于采样，它本身很好的模型推理复杂性和其性能之间的权衡。在https://github.com/yanemcovsky/SIAM上提供了所提出的技术的参考实现
2020-03-16 cs.CV cs.LG stat.ML
Seasoning Model Soups for Robustness to Adversarial and Natural Distribution Shifts
University of Tübingen（图宾根大学）；DeepMind（深度思维）
对抗性训练被广泛用于使分类器对特定威胁或对手鲁棒，例如给定$p$范数的$\ell_p$范数有界扰动。然而，用于训练对多种威胁鲁棒的分类器的现有方法需要在训练期间了解所有攻击，并且仍然容易受到看不见的分布偏移的影响。在这项工作中，我们描述了如何获得对抗鲁棒的模型汤（即，参数的线性组合），其平滑地权衡对不同$\ell_p$范数有界对手的鲁棒性。我们证明，这种汤允许我们控制鲁棒性的类型和水平，并且可以实现对所有威胁的鲁棒性，而无需对所有威胁进行联合训练。在某些情况下，所得到的模型汤对于给定的$\ell_p$ -范数攻击者比专门针对相同攻击者的组成模型更鲁棒。最后，我们表明，对抗性强的模型汤可以是一个可行的工具，以适应分布偏移从几个例子。
2023-02-20 cs.CV cs.LG
Robustness Evaluation and Adversarial Training of an Instance Segmentation Model
General Motors Company（通用汽车公司）
为了评估非分类器模型的鲁棒性，我们提出了概率局部等价，基于随机平滑的概念，作为一种定量评估任意函数的鲁棒性的方法。此外，为了了解对抗训练对非分类器的影响，并研究在不降低训练分布性能的情况下可以获得的鲁棒性水平，我们将Fast is Better than Free对抗训练与TRADES鲁棒损失一起应用于实例分割网络的训练。在这个方向上，我们能够在TuSimple车道检测挑战中实现0.85的对称最佳骰子得分，优于标准训练网络的0.82得分。此外，我们能够在操作输入上获得0.49的F测量值，而标准训练网络的分数为0。我们证明了概率局部等价能够成功区分标准训练模型和逆向训练模型，提供了逆向训练模型鲁棒性提高的另一种观点。
2022-06-02 cs.CV cs.LG
Adversarially Robust Industrial Anomaly Detection Through Diffusion Model
The Pennsylvania State University（宾夕法尼亚州立大学）
针对扩散净化会削弱异常信号的问题，提出 AdvRAD，让扩散模型同时承担异常检测与对抗净化，并支持 l2 扰动认证鲁棒性。
2024-08-09 cs.CV cs.LG
Rademacher Complexity for Adversarially Robust Generalization
UC Berkeley（加州大学伯克利分校）
许多机器学习模型容易受到对抗攻击的攻击;例如，添加人类无法感知的对抗扰动通常会使机器学习模型产生高置信度的错误预测。此外，尽管我们可以通过对抗训练在训练数据集上获得鲁棒的模型，但在某些问题中，学习的模型不能很好地推广到测试数据。本文针对$\ell_\infty$攻击，从Rademacher复杂度的角度研究了抗逆鲁棒泛化问题。对于二进制线性分类器，我们证明了紧边界的对抗Rademacher复杂性，并表明，对抗Rademacher复杂性是永远不会小于其自然对应，它有一个不可避免的尺寸依赖，除非权重向量有界$\ell_1$规范。结果也扩展到多类线性分类器。对于（非线性）神经网络，我们证明了对抗性Rademacher复杂性中的维数依赖性也是存在的.我们进一步考虑了一个隐藏层ReLU网络的代理对抗损失，并证明了该设置的边际界限。我们的研究结果表明，对权重矩阵进行$\ell_1$范数约束可能是提高对抗环境中泛化能力的一种潜在方法。我们证明了实验结果，验证了我们的理论研究结果。
2020-07-29 cs.CR cs.LG cs.NE
Generative Robust Classification
University of Virginia（弗吉尼亚大学）
训练对抗性强的判别（即，softmax）分类器已经成为鲁棒分类的主要方法。基于最近在基于对抗训练（AT）的生成模型方面的工作，我们研究了使用AT来学习非规范化的类条件密度模型，然后执行生成鲁棒分类。结果表明，在模型容量相近的情况下，当测试数据干净或测试扰动大小有限时，生成式鲁棒分类器的性能与基线softmax鲁棒分类器相当，而当测试扰动大小超过训练扰动大小时，生成式鲁棒分类器的性能要优于基线softmax鲁棒分类器.生成分类器还能够生成更接近于训练数据的样本或反事实，这表明生成分类器可以更好地捕获类条件分布。与标准的判别对抗训练相比，高级数据增强技术只有在与权重平均相结合时才有效，我们发现应用高级数据增强来实现更好的鲁棒性是很简单的。我们的研究结果表明，生成分类器是一个有竞争力的替代强大的分类，特别是对有限数量的类的问题。
2022-12-14 cs.CV cs.LG
Revisiting Hilbert-Schmidt Information Bottleneck for Adversarial Robustness
Northeastern University（东北大学）
我们研究了HSIC（Hilbert-Schmidt独立准则）瓶颈作为学习对抗鲁棒深度神经网络分类器的正则化器。除了通常的交叉熵损失外，我们还为每个中间层添加正则化项，以确保潜在表示保留输出预测的有用信息，同时减少冗余信息。我们证明了HSIC瓶颈增强了对对抗攻击的鲁棒性。特别是，我们证明了HSIC瓶颈正则化器降低了分类器对对抗性示例的敏感性。我们在多个基准数据集和架构上的实验表明，结合HSIC瓶颈正则化器可以获得具有竞争力的自然准确性，并提高对抗性鲁棒性，无论在训练过程中是否有对抗性示例。我们的代码和对抗性强大的模型是公开的。
2021-10-26 cs.LG
Image Synthesis with a Single (Robust) Classifier
MIT（麻省理工学院）
我们表明，基本的分类框架可以单独用于解决图像合成中一些最具挑战性的任务。与其他最先进的方法相比，我们开发的工具包相当小：它使用单个现成的分类器来完成所有这些任务。我们的方法的关键是，我们训练这个分类器是对抗强大的。事实证明，对抗鲁棒性正是我们直接操纵输入的显著特征所需要的。总的来说，我们的研究结果证明了鲁棒性在更广泛的机器学习背景下的实用性。我们实验的代码和模型可以在https://git.io/robust-apps上找到。
2019-08-08 cs.CV cs.LG cs.NE
Stratified Adversarial Robustness with Rejection
University of Wisconsin at Madison（威斯康星大学麦迪逊分校）；Google（谷歌）
针对现有拒绝机制忽略拒绝成本导致过度拒绝的问题，提出基于一致预测的拒绝对抗训练（CPR）方法，在分层拒绝设置下建模拒绝损失，显著提升对抗鲁棒性，在CIFAR-10上总鲁棒损失至少降低7.3%。
2023-05-12 cs.CR cs.CV cs.LG
Certifiably Adversarially Robust Detection of Out-of-Distribution Data
University of Tübingen（蒂宾根大学）
众所周知，深度神经网络在应用于明显不属于任何类的分布外（OOD）输入时会过度自信。这在安全关键应用中是一个问题，因为分类器的不确定性的可靠评估是一个关键属性，允许系统触发人为干预或转换到安全状态。在本文中，我们的目标是可证明的最坏情况下保证OOD检测不仅在OOD点，而且在$l_\infty$ -球周围的低置信度。为此，我们使用区间边界传播（IBP）的上限最大置信度在$l_\infty$ -球，并在训练时间内最小化这个上限。我们表明，在训练时看到的OOD数据集之外的OOD数据概括的置信度的非平凡界限是可能的。此外，与通常伴随着预测性能显著损失的认证对抗鲁棒性相比，最坏情况OOD检测的认证保证是可能的，而不会损失太多的准确性。
2021-03-10 cs.CV cs.LG stat.ML
Overfitting in adversarially robust deep learning
Carnegie Mellon University（卡内基梅隆大学）
深度学习中的常见做法是使用超参数化网络并尽可能长时间地进行训练;有许多研究表明，无论是理论还是经验，这种做法都不会对分类器的泛化性能造成不必要的损害。在本文中，我们在对抗性训练的深度网络中实证研究了这一现象，这些深度网络经过训练，以最大限度地减少最坏情况下的对抗性扰动下的损失。我们发现，在多个数据集（SVHN，CIFAR-10，CIFAR-100和ImageNet）和扰动模型（$\ell_\infty$和$\ell_2$）的对抗鲁棒训练中，对训练集的过度拟合实际上在很大程度上损害了鲁棒性能。基于这种观察到的效果，我们表明，几乎所有最近的算法改进对对抗训练的性能增益都可以通过简单地使用早期停止来匹配。我们还表明，双下降曲线等效应仍然发生在逆向训练的模型中，但无法解释观察到的过拟合。最后，我们研究了几种经典和现代的深度学习过拟合补救措施，包括正则化和数据增强，并发现没有孤立的方法可以显著提高早期停止所获得的收益。用于再现实验的所有代码以及预训练的模型权重和训练日志可以在https://github.com/locuslab/robust_overfitting上找到。
2020-03-04 cs.LG stat.ML
Learning Adversarially Robust Representations via Worst-Case Mutual Information Maximization
University of Virginia（弗吉尼亚大学）
训练对对抗性输入具有鲁棒性的机器学习模型带来了看似不可逾越的挑战。为了更好地理解对抗鲁棒性，我们考虑学习鲁棒表示的基本问题。我们开发了一个概念的表示脆弱性，捕获的最大变化的互信息之间的输入和输出分布，在最坏的情况下输入扰动。然后，我们证明了一个定理，该定理建立了一个最小对抗风险的下限，该下限可以根据其表示漏洞为任何下游分类器实现。我们提出了一种无监督学习方法，通过最大化输入和输出分布之间的最坏情况下的互信息来获得本质上鲁棒的表示。对下游分类任务的实验支持使用无监督学习和我们的训练原则发现的表示的鲁棒性。
2020-07-05 cs.CR cs.IT cs.LG
Deep Positive-Negative Prototypes for Adversarially Robust Discriminative Prototypical Learning
Computer Engineering Department, Ferdowsi University of Mashhad（法尔德大学马什哈德分校计算机工程系）
本文提出Adv-DPNP框架，将判别式原型学习与对抗训练结合，通过双分支训练和复合损失在提升干净准确率的同时保持对抗鲁棒性，并在多个基准上验证其有效性。
2025-08-18 cs.CV cs.LG
Can Adversarially Robust Learning Leverage Computational Hardness?
University of Virginia（弗吉尼亚大学）
使学习器在测试时对对抗性扰动具有鲁棒性（即，逃避攻击）或训练时间（即，中毒攻击）已经成为一项具有挑战性的任务。众所周知，对于某些自然环境，训练阶段或测试阶段的次线性扰动会大大降低预测的质量。然而，这些否定的结果是信息论的，只证明了这种成功的对抗扰动的存在。这些设置的一个自然问题是，我们是否可以使分类器在计算上对多项式时间攻击具有鲁棒性。在这项工作中，我们证明了强大的障碍，实现这种设想的计算鲁棒性逃避和中毒攻击。特别是，我们表明，如果测试实例来自产品分布（例如，在$\{0,1\}^n$或$[0,1]^n$上均匀，或各向同性$n$ -变量高斯）并且存在初始恒定误差，则存在找到汉明距离$O(\sqrt n)$的对抗性示例的多项式时间攻击。对于中毒攻击，我们证明了对于任何具有样本复杂度$m$和任何有效可计算的“谓词”的学习算法，为所产生的假设定义了一些“坏”属性$B$（例如，在特定测试中失败），存在多项式时间在线中毒攻击，其篡改$O (\sqrt m)$许多示例，用其它正确标记的示例替换它们，并将坏事件$B$的概率增加到$\approx 1$。我们的中毒和逃避攻击在如何访问系统的相应组件方面都是黑盒的（即，假设、概念和学习算法），并且不对分类器或产生分类器的学习算法做出进一步的假设。
2018-11-06 cs.CC cs.CR cs.LG
Towards Adversarially Robust Deep Image Denoising
NUS（新加坡国立大学）；RIKEN-AIP（理化学研究所革新智能综合研究中心）；ByteDance Inc（字节跳动）；UTokyo（东京大学）
这项工作系统地研究了深度图像去噪器（DID）的对抗鲁棒性，即DID如何从对抗扰动退化的噪声观测中恢复地面真实。首先，为了评估DID的鲁棒性，我们提出了一种新的对抗性攻击，即基于观察的零均值攻击（{ \sc ObsAtk}），对给定的噪声图像进行对抗性的零均值扰动。我们发现，现有的DID容易受到{ \sc ObsAtk}生成的对抗性噪声的影响。其次，为了增强DID的鲁棒性，我们提出了一种对抗性训练策略，混合对抗性训练（{ \sc HAT}），该策略联合训练具有对抗性和非对抗性噪声数据的DID，以确保重建质量高，并且非对抗性数据周围的去噪器局部平滑。所得到的DID可以有效地去除各种类型的合成和对抗性噪声。我们还发现，DIDS的鲁棒性有利于他们的泛化能力看不见的现实世界的噪音。事实上，{ \sc HAT}训练的DID可以从真实世界的噪声中恢复高质量的干净图像，甚至无需对真实的噪声数据进行训练。在Set 68、PolyU和SIDD等基准数据集上进行的大量实验证实了{ \sc ObsAtk}和{ \sc HAT}的有效性。
2022-01-13 cs.CV cs.LG eess.IV
Perceptually Constrained Adversarial Attacks
Imperial College London（帝国理工学院）；DeepMind（深度思维）
基于以前的观察，通常应用的$L_p$规范（$p=1,2,\infty$）不捕捉感知质量的对抗性的例子在图像分类，我们建议取代这些规范与结构相似性指数（SSIM）的措施，这是最初开发的测量图像的感知相似性。通过对MNIST和CIFAR-10的对抗训练分类器进行广泛的实验，我们证明了我们的SSIM约束的对抗攻击可以打破最先进的对抗训练分类器，并实现与弹性网络攻击相似或更大的成功率，同时始终提供更好感知质量的对抗图像。利用SSIM自动识别和禁止低质量的对抗图像，我们以比以前文献中更有意义的方式评估了几种防御方案的性能。
2021-02-14 cs.CR cs.LG stat.ML
Adversarial Examples for Cost-Sensitive Classifiers
The RAND Corporation（兰德公司）
出于安全关键分类问题的动机，我们研究了对成本敏感分类器的对抗攻击。我们使用当前最先进的抗对抗神经网络分类器[1]作为基础模型。然后通过网络前馈评估中的最终处理步骤实现成本敏感预测。我们评估了成本敏感分类器对各种攻击的有效性，并介绍了一种新的成本敏感攻击，在某些情况下，它的性能优于有针对性的攻击。我们还探讨了防御者可以采取的措施，以限制他们对这些攻击的脆弱性。这种攻击者/防御者的情况下，自然是一个两个球员的零和有限的游戏，我们用博弈论分析。
2019-10-04 cs.CR cs.LG stat.ML
GAT: Generative Adversarial Training for Adversarial Example Detection and Robust Classification
University of Virginia（弗吉尼亚大学）；HRL Laboratories, LLC.（HRL实验室有限责任公司）
深度神经网络对抗对抗性示例的脆弱性已经成为在敏感领域部署这些模型的重要问题。设计针对此类攻击的明确防御被证明是具有挑战性的，并且依赖于检测对抗性样本的方法仅在攻击者不注意检测机制时才有效。在本文中，我们提出了一个原则性的对抗性的例子检测方法，可以抵御范数约束的白盒攻击。受one-versus-the-rest分类的启发，在K类分类问题中，我们训练K个二元分类器，其中第i个二元分类器用于区分类别i的干净数据和其他类别的反向扰动样本。在测试时，我们首先使用一个训练好的分类器来获得输入的预测标签（比如k），然后使用第k个二元分类器来确定输入是干净的样本（k类）还是被干扰的样本（其他类）。我们进一步设计了一种生成方法来检测/分类对抗性的例子，通过解释每个二元分类器作为类条件数据的非归一化密度模型。我们对上述对抗性示例检测/分类方法进行了全面评估，并展示了它们的竞争性能和引人注目的特性。
2022-10-01 cs.CR cs.LG stat.ML
DiG-IN: Diffusion Guidance for Investigating Networks -- Uncovering Classifier Differences Neuron Visualisations and Visual Counterfactual Explanations
Tübingen AI Center – University of Tübingen（蒂宾根大学蒂宾根人工智能中心）
该研究提出DiG-IN扩散引导框架，通过生成优化分类器目标的图像，开展视觉反事实解释、分类器差异分析与神经元可视化，验证已有结论并发现新失效模式，且VCEs性能更优、通用性更强。
2024-07-12 cs.AI cs.CV cs.LG
Large Norms of CNN Layers Do Not Hurt Adversarial Robustness
South China Agricultural University（华南农业大学）；Pazhou Lab（琶洲实验室）
由于卷积神经网络（CNN）的Lipschitz性质被广泛认为与对抗鲁棒性有关，本文从理论上刻画了二维多通道卷积层的$\ell_1$范数和$\ell_\infty$范数，并给出了计算精确$\ell_1$范数和$\ell_\infty$范数的有效方法.基于我们的定理，我们提出了一种新的正则化方法，称为范数衰减，它可以有效地减少卷积层和全连接层的范数。实验表明，范数正则化方法，包括范数衰减，权重衰减和奇异值裁剪，可以提高CNN的泛化能力。然而，它们可能会轻微损害对抗性鲁棒性。观察到这种意想不到的现象，我们计算了用三种不同的对抗训练框架训练的CNN中的层的范数，并惊讶地发现对抗鲁棒CNN具有与非对抗鲁棒CNN相当甚至更大的层范数。此外，我们证明了在一个温和的假设下，对抗鲁棒分类器可以实现使用神经网络，和对抗鲁棒神经网络可以有一个任意大的Lipschitz常数。出于这个原因，在CNN层上强制执行小规范对于实现对抗鲁棒性可能既不必要也不有效。该代码可在https://github.com/youweiliang/norm_robustness上获得。
2021-08-15 cs.CR cs.CV cs.LG
Adversarially Robust Classification based on GLRT
University of California Santa Barbara（加州大学圣巴巴拉分校）
机器学习模型容易受到对抗性攻击，这些攻击通常会通过引入小但精心设计的扰动来导致错误分类。在本文中，我们探索，在经典的复合假设检验的设置，基于广义似然比检验（GLRT），联合估计的类的兴趣和敌对扰动的防御策略。我们评估的GLRT方法的特殊情况下，在白高斯噪声下的二进制假设检验$\ell_{\infty}$范数有界的对抗扰动，一个最坏情况下的攻击优化的极大极小策略的设置是已知的。我们表明，GLRT方法产生的性能竞争力的最坏情况下的攻击下的极大极小的方法，并观察到它产生了更好的鲁棒性-准确性权衡较弱的攻击下，取决于信号分量的值相对于攻击预算。我们还观察到，GLRT防御自然推广到更复杂的模型，最佳的极大极小分类器是未知的。
2020-11-16 cs.CR cs.LG stat.ML
Adversarially Approximated Autoencoder for Image Generation and Manipulation
正则化自动编码器学习潜在代码，这是一种在分布下具有正则化的结构，这使它们能够在给定观察值的情况下推断潜在代码并在给定代码的情况下生成新样本。然而，它们有时是模糊的，因为它们往往产生不一定是输入的忠实再现的重建。主要原因是在真实分布仍然未知的情况下，强制学习的潜在代码分布与先验分布相匹配。为了提高重构质量和学习潜在空间的流形结构，这项工作提出了一种新的方法，使用对抗近似的自编码器（AAAE）调查潜在代码与对抗近似。AAAE没有通过惩罚模型和目标分布之间的距离来正则化潜在代码，而是灵活地学习自动编码器，并使用更简单的生成器来近似潜在空间。使用生成对抗网络（GAN）来估计该比率，以加强分布的相似性。此外，图像空间用额外的对抗正则化器正则化。所提出的方法统一了潜在空间推理和多样生成的两个深度生成模型。学习方案的实现没有正则化的潜在代码，这也鼓励忠实的重建。在四个真实世界数据集上的广泛验证实验证明了AAAE的优越性能。与最先进的方法相比，AAAE生成的样本质量更好，并具有良好的潜在流形结构，具有正则化自动编码器的特性。
2019-02-14 cs.CV cs.LG eess.IV
Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks
Institute of Mathematics（数学研究所）；University of Würzburg（维尔茨堡大学）；Technical University of Munich（慕尼黑工业大学）；Institute of Computer Science（计算机科学研究所）；CAIDAS；Institute of Mathematics, CAIDAS（CAIDAS数学研究所）
本文针对两层ReLU网络，从理论和实验两方面解释了采用ℓ∞攻击的对抗训练神经网络的梯度显著性图稀疏性，证明其极小化子收敛到特定贝叶斯分类器，且梯度范数各向异性导致稀疏性。
2026-10-09 cs.LG math.OC stat.ML
Robust learning of halfspaces under log-concave marginals
MIT（麻省理工学院）；UT Austin（得克萨斯大学奥斯汀分校）
针对次高斯迷向对数凹分布下的半空间学习问题，提出在多项式回归基础上增加三步的算法，实现了与多项式回归复杂度相当、边界体积为O(r+ε)的对抗鲁棒分类器不可知学习。
2025-05-19 cs.DS cs.LG
Adversarially Robust Learning Could Leverage Computational Hardness
UC Berkeley（加州大学伯克利分校）；University of Wisconsin Madison（威斯康星大学麦迪逊分校）；University of Virginia（弗吉尼亚大学）
近年来，设计对对抗性扰动具有鲁棒性的分类算法已成为一个具有挑战性的问题。特别是，深度神经网络（DNN）似乎容易受到测试实例中微小的不可察觉的变化的影响。然而，到目前为止，可证明鲁棒性的工作一直集中在信息论鲁棒性上，甚至排除了任何对抗性例子的存在。在这项工作中，我们研究是否有希望从搜索对抗性示例的攻击者的算法性质中受益，并询问是否有任何学习任务可以设计仅对多项式时间对手具有鲁棒性的分类器。事实上，许多加密任务只能对计算上有界的对手安全，而对计算上无界的攻击者来说确实是不可能的。因此，很自然地会问，同样的策略是否可以帮助强大的学习。我们表明，计算限制的攻击者确实可以是有用的，在强大的学习证明的可能性，一些学习任务的计算和信息理论的对手有界扰动有非常不同的权力的分类。也就是说，虽然计算无界的对手可以成功攻击并找到具有小扰动的对抗性示例，但多项式时间对手无法做到这一点，除非他们可以打破标准的加密硬度假设。因此，我们的研究结果表明，也许一个类似的密码学方法（依赖于计算硬度）有望实现计算鲁棒的机器学习。在相反的方向上，我们还表明，存在这样的学习任务，其中计算鲁棒性击败信息理论的鲁棒性，需要计算的硬度暗示（平均情况下）NP的硬度。
2019-12-19 cs.CC cs.CR cs.LG
Sensitivity as a Double-Edged Sword: A Trade-off Between Discriminability and Adversarial Robustness
University of California, Berkeley（加州大学伯克利分校）
本文发现全连接分类器的高敏感性带来判别性但也导致脆弱性，而ℓ2距离分类器的不敏感性带来鲁棒性但限制性能，为此提出基于混合原型混合框架的ℓ2重分类器，通过融合稳定原型和动态原型实现判别性与鲁棒性的平衡，并设计混合替代攻击评估协议。
2026-06-01 cs.CV cs.LG
Killing it with Zero-Shot: Adversarially Robust Novelty Detection
Sharif University of Technology（谢里夫理工大学）；Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
本文提出结合最近邻算法与ImageNet预训练模型的鲁棒特征，以增强新颖性检测（ND）在对抗攻击下的性能和鲁棒性，并在多种基准测试中显著超越现有最先进方法。
2025-01-25 cs.LG
Robust Fast Adaptation from Adversarially Explicit Task Distribution Generation
Tsinghua University（清华大学）；Dalian University of Technology（大连理工大学）
针对元学习中的任务分布偏移问题，提出基于显式生成模型与 Stackelberg 对抗训练的快速适应方法，在子群体偏移下优于 SOTA 基线并提供理论保证。
2025-01-06 cs.LG
High Cursive Complex Character Recognition using GAN External Classifier
Department of Computer Science and Engineering University of Asia Pacific（计算机科学与工程系亚洲太平洋大学）
针对手写草书复杂字符分类难度高的问题，提出结合GAN的外部分类器ADA-GAN，通过生成带对抗扰动的伪造字符扩充训练数据，相比卷积神经网络在复杂草书字符识别上更鲁棒有效。
2025-09-03 cs.CV
Score-Based Generative Classifiers
University of Tübingen（蒂宾根大学）；Stanford University（斯坦福大学）；Norwegian University of Science and Technology（挪威科技大学）
近年来生成模型的巨大成功提出了一个问题，即它们是否也可以用于执行分类。生成模型已被用作简单数据集（如MNIST）上的对抗鲁棒分类器，但在更复杂的数据集（如CIFAR-10）上尚未观察到这种鲁棒性。此外，在自然图像数据集上，以前的结果表明数据的可能性和分类精度之间的权衡。在这项工作中，我们研究了基于分数的生成模型作为自然图像的分类器。我们表明，这些模型不仅获得了有竞争力的似然值，但同时实现了CIFAR-10上的生成分类器的最先进的分类精度。然而，我们发现，这些模型只是稍微，如果在所有，更强大的区别性基线模型的基础上常见的图像损坏的分布任务。类似地，与以前的结果相反，我们发现，基于分数的倾向于最坏情况下的分布变化的形式对抗扰动。我们的工作强调，与标准判别模型相比，基于分数的生成模型正在缩小分类准确性的差距。虽然它们还没有实现对抗性和域外鲁棒性的承诺，但它们提供了一种不同的分类方法，值得进一步研究。
2021-12-11 cs.CV cs.LG stat.ML
On the Robustness of Malware Detectors to Adversarial Samples
Macquarie University（麦考瑞大学）
本文研究对抗性恶意软件在不同检测器间的可迁移性，发现针对单一检测器的对抗二进制文件通常难以迁移，集成检测可缓解威胁，而大幅规避改动还可能暴露攻击技术。
2024-08-05 cs.CR cs.LG
Can Go AIs be adversarially robust?
Mila（米拉计算研究所）；MIT（麻省理工学院）
针对围棋AI易遭循环对抗攻击的问题，本文测试了人工构造棋局对抗训练、迭代对抗训练、修改网络架构三种防御手段，发现均无法抵御新训练的对抗智能体攻击，凸显了防御泛化与训练多样性的缺口。
2025-01-14 cs.AI cs.LG stat.ML
Careful What You Wish For: on the Extraction of Adversarially Trained Models
Polytechnique Montréal（蒙特利尔综合理工学院）
最近对机器学习（ML）模型的攻击，例如使用对抗性示例的规避攻击和通过提取攻击窃取模型，造成了一些安全和隐私威胁。先前的工作提出使用对抗性训练来保护模型免受对抗性示例的攻击，这些示例可以逃避模型的分类并降低其性能。然而，这种保护技术会影响模型的决策边界及其预测概率，从而可能增加模型的隐私风险。实际上，恶意用户仅使用对模型的预测输出的查询访问就可以提取模型的预测输出并获得高精度和高保真度的代理模型。为了获得更大的提取，这些攻击利用了受害者模型的预测概率。事实上，以前所有关于提取攻击的工作都没有考虑到出于安全目的的培训过程的变化。在本文中，我们提出了一个框架来评估对视觉数据集进行对抗训练的模型的提取攻击。据我们所知，我们的工作是第一个进行这种评价的。通过广泛的实证研究，我们证明了对抗训练的模型比自然训练环境下获得的模型更容易受到提取攻击。他们可以实现高达$\times1.2$更高的准确性和协议的分数低于$\times0.75$的查询。我们还发现，对抗性鲁棒性能力是通过提取攻击转移的，即，从鲁棒模型中提取的深度神经网络（DNN）与从自然训练（即标准）模型中提取的DNN相比，显示出对对抗性示例的增强的准确性。
2022-07-21 cs.CR cs.LG
Explicit Tradeoffs between Adversarial and Natural Distributional Robustness
University of Maryland（马里兰大学）
现有的一些工作分别研究深度神经网络的对抗性或自然分布鲁棒性。然而，在实践中，模型需要同时具有这两种类型的鲁棒性，以确保可靠性。在这项工作中，我们弥合了这一差距，并表明，事实上，对抗性和自然分布鲁棒性之间存在明确的权衡。我们首先考虑一个简单的线性回归设置高斯数据与不相交的核心和虚假的功能。在这种情况下，通过理论和实证分析，我们表明：（i）$\ell_1$和$\ell_2$规范的对抗训练增加了模型对虚假特征的依赖;（ii）对于$\ell_\infty$对抗训练，虚假依赖只发生在虚假特征的规模大于核心特征的规模时;（iii）对抗性训练可能会在降低分布鲁棒性方面产生意想不到的后果，特别是当伪相关性在新的测试域中发生变化时。接下来，我们提出了广泛的经验证据，使用在五个基准数据集（ObjectNet，RIVAL 10，Salient ImageNet-1 M，ImageNet-9，Waterbirds）上评估的20个对抗训练模型的测试套件，对抗训练的分类器比标准训练的分类器更依赖于背景，验证了我们的理论结果。我们还表明，虚假的相关性在训练数据（当保存在测试域）可以提高对抗的鲁棒性，揭示了以前的说法，对抗的脆弱性是植根于虚假的相关性是不完整的。
2022-09-15 cs.CV cs.LG
Does Distributionally Robust Supervised Learning Give Robust Classifiers?
University of Tokyo（东京大学）；RIKEN（理化学研究所）
分布式鲁棒监督学习（DRSL）是构建可靠的机器学习系统所必需的。当机器学习部署在现实世界中时，其性能可能会显著降低，因为测试数据可能遵循与训练数据不同的分布。具有f-发散的DRSL通过最小化逆向重新加权的训练损失来明确考虑最坏情况下的分布偏移。在本文中，我们分析了这个DRSL，重点是分类方案。由于DRSL是针对分布偏移场景明确制定的，因此我们自然希望它能够提供一个强大的分类器，可以积极处理偏移分布。然而，令人惊讶的是，我们证明了DRSL最终给出了一个完全符合给定训练分布的分类器，这太悲观了。这种悲观情绪来自两个来源：分类中使用的特定损失以及DRSL试图保持稳健的分布种类太广的事实。出于我们的分析，我们提出了简单的DRSL，克服这种悲观主义，并实证证明其有效性。
2018-07-22 cs.LG stat.ML
Adversarial Robustness against Multiple and Single $l_p$-Threat Models via Quick Fine-Tuning of Robust Classifiers
University of Tübingen（图宾根大学）
对抗性鲁棒模型的一个主要缺点，特别是对于像ImageNet这样的大规模数据集，是与标准模型相比非常长的训练时间。此外，模型不仅应该对一个$l_p$威胁模型具有鲁棒性，而且最好对所有威胁模型都具有鲁棒性。基于$l_p$ -球的几何性质，提出了一种基于多范数鲁棒性的极限范数对抗训练算法（E-AT）。E-AT的成本比其他对抗性训练方法低三倍，以实现多范数鲁棒性。使用E-AT，我们证明了对于ImageNet，单个epoch和CIFAR-10，三个epoch足以将任何$l_p$鲁棒模型转换为多范数鲁棒模型。通过这种方式，我们获得了ImageNet的第一个多范数鲁棒模型，并将多范数鲁棒性的最新技术提升到CIFAR-10上的$51\%$以上。最后，我们研究了通过微调不同个体$l_p$ -威胁模型之间的对抗鲁棒性的一般转移，并在CIFAR-10和ImageNet上改进了以前的SOTA $l_1$ -鲁棒性。大量的实验表明，我们的计划跨数据集和架构，包括视觉Transformer。
2022-08-07 cs.CR cs.CV cs.LG
