Rethinking Empirical Evaluation of Adversarial Robustness Using First-Order Attack Methods
Massachusetts Institute of Technology（麻省理工学院）
我们确定了三种常见的情况下，导致高估的对抗精度对有界一阶攻击方法，这是普遍使用的对抗鲁棒性在实证研究中的代理。对于每种情况下，我们提出的补偿方法，要么解决不准确的梯度计算的来源，如数值不稳定性接近零和不可微性，或通过近似二阶信息减少迭代攻击的反向传播的总数。这些补偿方法可以与现有的攻击方法相结合，以获得更精确的经验评估度量。我们通过具有实际意义的示例来说明这三种情况的影响，例如基准模型容量和鲁棒性正则化技术。总的来说，我们的工作表明，即使对于传统训练的深度神经网络，高估的对抗准确性也不代表鲁棒性，并强调了使用没有保证界限的经验评估的警告。
2020-06-01 cs.AI cs.LG stat.ML
Adversarial Robustness Curves
Bielefeld University, Germany（德国比勒费尔德大学）
对抗性例子的存在导致人们对自动化系统产生的预测的信任存在相当大的不确定性。这种不确定性反过来又导致了在理解对抗鲁棒性方面的大量研究工作。在这项工作中，我们采取的第一步分离鲁棒性分析的鲁棒性阈值和范数的选择。我们提出的鲁棒性曲线作为一个更一般的观点的鲁棒性行为的模型，并调查在何种情况下，他们可以定性地依赖于所选择的规范。
2019-07-31 cs.LG stat.ML
Scoring Black-Box Models for Adversarial Robustness
Stanford University（斯坦福大学）
深度神经网络易受对抗性输入的影响，并且已经提出了各种方法来在不同的扰动模型下保护这些模型免受对抗攻击。通过构造模型的对抗性输入，然后在构造的对抗性输入上测试模型的性能，分析了模型对对抗攻击的鲁棒性。这些攻击中的大多数都要求模型是白盒的，需要访问数据标签，并且查找对抗性输入可能在计算上非常昂贵。我们提出了一个简单的黑盒模型的评分方法，表明其对对抗性输入的鲁棒性。我们发现，相反更强大的模型有一个更小的$l_1$规范的LIME权重和更清晰的解释。
2022-10-31 cs.AI cs.LG
Transfer of Adversarial Robustness Between Perturbation Types
OpenAI；Stanford University（斯坦福大学）；Columbia University（哥伦比亚大学）；UC Berkeley（加州大学伯克利分校）
研究了深度神经网络对抗鲁棒性在不同扰动类型之间的转移。虽然大多数对抗性示例的工作都集中在$L_\infty$和$L_2$有界扰动上，但这些并不能捕获对手可用的所有类型的扰动。目前的工作评估了5种不同类型的32种攻击，这些攻击针对的是在ImageNet的100类子集上进行对抗训练的模型。我们的实证结果表明，评估范围广泛的扰动大小是必要的，以了解是否对抗鲁棒性扰动类型之间的转移。我们进一步证明，对一个扰动类型的鲁棒性可能并不总是意味着，有时可能会伤害对其他扰动类型的鲁棒性。根据这些结果，我们建议在各种扰动类型和大小上进行对抗性防御的评估。
2019-05-03 cs.AI cs.CR cs.LG
Dropping Pixels for Adversarial Robustness
University of Washington（华盛顿大学）
深度神经网络很容易受到对抗性样本的攻击。在本文中，我们提出了训练和测试的网络与随机子采样图像具有高的下降率。我们证明了这种方法在所有有界L0，L2和L_inf扰动的情况下显着提高了对抗性示例的鲁棒性，同时将标准精度降低了一个小值。我们认为，子采样像素可以被认为是为输入图像提供一组鲁棒的特征，从而提高了鲁棒性，而无需进行对抗性训练。
2019-05-01 cs.LG stat.ML
Provable Robustness Against a Union of $\ell_0$ Adversarial Attacks
University of Oregon（俄勒冈大学）；Qualtrics AI
本文提出特征分区聚合 FPA，通过在互不相交特征集上训练子模型并集成，为 ℓ0 规避、后门和投毒攻击并集提供可证明防御，且更快、认证半径更大。
2024-04-06 cs.LG
Exploring Model Robustness with Adaptive Networks and Improved Adversarial Training
University of Maryland, College Park（马里兰大学帕克分校）
对抗性训练已被证明可以有效地强化网络对抗性示例。然而，所获得的鲁棒性受到网络容量和训练样本数量的限制。因此，为了构建更鲁棒的模型，通常的做法是在具有更多参数的加宽网络上进行训练。为了提高鲁棒性，我们提出了一个条件归一化模块，以适应网络在输入样本的条件。我们的自适应网络，一旦经过对抗训练，就可以在干净的验证准确性和鲁棒性方面胜过非自适应网络。我们的方法是客观不可知的，并且始终如一地改进了传统的对抗训练目标和TRADES目标。我们的自适应网络的性能也优于更大的加宽非自适应架构，这些架构具有1.5倍的参数。我们进一步介绍了对抗训练中的几个实用“技巧”，以提高鲁棒性并实证验证其效率。
2020-05-30 cs.LG stat.ML
Variational Randomized Smoothing for Sample-Wise Adversarial Robustness
Mitsubishi Electric Corporation（三菱电机株式会社）；Mitsubishi Electric Research Laboratories（三菱电机研究所）
本文提出变分随机平滑框架，通过为每个样本选择合适噪声水平，增强模型对对抗攻击的鲁棒性，并验证了经验与认证鲁棒性。
2024-07-16 cs.AI cs.CR cs.LG
Achieving Adversarial Robustness via Sparsity
Shanghai Jiao Tong University（上海交通大学）
已知网络修剪可以产生紧凑的模型，而不会降低精度。然而，修剪过程如何影响网络的鲁棒性和背后的工作机制仍然没有得到解决。在这项工作中，我们从理论上证明了网络权重的稀疏性与模型的鲁棒性密切相关。通过对各种对抗性剪枝方法的实验，我们发现权值稀疏性不会损害但会提高鲁棒性，其中从彩票继承的权值和对抗性训练都提高了网络剪枝中的模型鲁棒性。基于这些发现，我们提出了一种新的对抗训练方法，称为逆权重继承，它通过继承小网络的权重来对大网络施加稀疏权重分布，从而提高大网络的鲁棒性。
2020-09-11 cs.LG stat.ML
Adversarial Robustness of Flow-Based Generative Models
University of Maryland, College Park（马里兰大学帕克分校）
基于流的生成模型利用可逆生成器函数来使用最大似然将分布拟合到训练数据。尽管它们在几个应用领域中使用，但这些模型对对抗攻击的鲁棒性几乎没有被探索。在本文中，我们从理论上（对于一些简单的模型）和经验上（对于更复杂的模型）研究了基于流的生成模型的对抗鲁棒性。首先，我们考虑一个基于线性流的生成模型，并计算最佳的样本特定和通用对抗扰动，最大限度地降低似然分数。利用这一结果，我们研究了著名的对抗训练过程的鲁棒性，其中我们描述了模型鲁棒性和准确性之间的基本权衡。接下来，我们实证研究了两个突出的深度，非线性，基于流的生成模型的鲁棒性，即GLOW和RealNVP。我们设计了两种类型的对抗攻击;一种是最小化分布内样本的似然得分，而另一种是最大化分布外样本的似然得分。我们发现GLOW和RealNVP对这两种类型的攻击都非常敏感。最后，使用混合对抗训练过程，我们显着提高了这些生成模型的鲁棒性。
2019-11-20 cs.LG stat.ML
Improving Calibration through the Relationship with Adversarial Robustness
Google Research（谷歌研究院）
神经网络缺乏对抗鲁棒性，即，它们容易受到对抗性示例的影响，这些示例通过对输入的小扰动导致不正确的预测。此外，当模型给出错误的预测时，信任就会受到破坏，即，预测的概率并不能很好地指示我们应该在多大程度上信任我们的模型。在本文中，我们研究了对抗鲁棒性和校准之间的联系，并发现模型对小扰动敏感（容易受到攻击）的输入更有可能具有校准不良的预测。基于这一见解，我们研究是否可以通过解决这些不利的不稳健的输入来改善校准。为此，我们提出了基于对抗鲁棒性的自适应标签平滑（AR-AdaLS），它将对抗鲁棒性和校准的相关性集成到训练中，根据对手攻击的容易程度自适应地软化标签。我们发现，我们的方法，考虑到分布数据的对抗性鲁棒性，导致更好的校准模型，即使在分布变化。此外，AR-AdaLS还可以应用于集合模型，以进一步改善模型校准。
2021-12-14 cs.LG stat.ML
How Worst-Case Are Adversarial Attacks? Linking Adversarial and Perturbation Robustness
Department of Excellence in Robotics \& AI, Scuola Superiore Sant'Anna, Pisa, Italy
本文通过概率分析探讨对抗攻击与扰动鲁棒性之间的联系，提出浓度因子κ量化风险，并通过实验揭示对抗攻击在不同扰动模型下的有效性。
2026-01-25 cs.AI cs.LG
CAT: Customized Adversarial Training for Improved Robustness
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Texas, Austin（得克萨斯大学奥斯汀分校）；IBM research AI（IBM研究院人工智能部门）
对抗训练已经成为提高神经网络鲁棒性的最有效方法之一。然而，它往往遭受的清洁和扰动数据的泛化能力差。在本文中，我们提出了一种新的算法，命名为定制的对抗训练（CAT），自适应定制的扰动水平和相应的标签为每个训练样本在对抗训练。我们通过大量的实验表明，该算法比以前的对抗训练方法实现了更好的清洁和鲁棒的准确性。
2020-02-17 cs.LG stat.ML
The Effect of Prior Lipschitz Continuity on the Adversarial Robustness of Bayesian Neural Networks
University of Oxford（牛津大学）；Oxford-Man Institute（牛津-曼学院）
机器学习模型对对抗性攻击具有鲁棒性是理想的，并且通常是必要的。贝叶斯模型尤其如此，因为它们非常适合安全关键型应用，在这些应用中，对抗性攻击可能会产生灾难性的后果。在这项工作中，我们深入研究了贝叶斯神经网络（BNN）的对抗鲁棒性。特别是，我们考虑BNN的对抗鲁棒性是否可以通过模型选择来增加，特别是由先验引起的Lipschitz连续性。对i.i.d.的案例进行深入分析，零均值高斯先验和后验近似通过平均场变分推断，我们发现证据表明，对抗鲁棒性确实是敏感的先验方差。
2021-01-07 cs.LG stat.ML
Adversarial Robustness of NTK Neural Networks
Qiuzhen College, Tsinghua University（清华大学求真学院）；Yau Mathematical Sciences Center, Tsinghua University（清华大学auer数学科学中心）
本文研究了NTK神经网络在非参数回归中的对抗鲁棒性，推导了Sobolev空间中的对抗回归最小最大最优速率，并证明了通过梯度流早停训练的NTK网络可达到该最优速率，但在过拟合情况下最小范数插值器易受对抗扰动影响。
2026-06-06 cs.LG stat.ML
Weight Map Layer for Noise and Adversarial Attack Robustness
University of Nottingham（诺丁汉大学）
卷积神经网络（CNN）以其在视觉相关任务中的良好性能和泛化能力而闻名，并且已经成为应用和研究领域的最新技术。然而，就像其他神经网络模型一样，它们容易受到噪声和对抗攻击的影响。对抗性防御旨在通过学习或架构修改来降低神经网络对对抗攻击的敏感性。我们提出了权重映射层（WM）作为CNN的通用架构，并表明它可以提高它们对噪声和对抗攻击的鲁棒性。我们进一步解释了两个WM变体的增强的鲁棒性来自于层所表现出的自适应激活方差放大。我们表明，WM层可以集成到按比例放大的模型中，以增加其噪声和对抗攻击的鲁棒性，同时在不同的数据集上实现可比的准确性水平。
2020-12-02 cs.LG stat.ML
Are Adversarial Robustness and Common Perturbation Robustness Independent Attributes ?
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Atos（源讯）
神经网络已被证明对常见的扰动敏感，如模糊，高斯噪声，旋转等，它们也容易受到一些被称为对抗性示例的人工恶意破坏。对抗性示例研究最近变得非常流行，有时甚至将术语“对抗性鲁棒性”简化为术语“鲁棒性”。然而，我们不知道对抗鲁棒性在多大程度上与全局鲁棒性相关。同样，我们不知道对各种常见扰动（例如平移或对比度损失）的鲁棒性是否有助于对抗性腐败。我们打算研究神经网络对这两种扰动的鲁棒性之间的联系。通过我们的实验，我们提供了第一个基准设计来估计神经网络的鲁棒性常见的扰动之一。我们表明，增加鲁棒性精心挑选的共同扰动，可以使神经网络更强大的看不见的共同扰动。我们还证明了对抗鲁棒性和对常见扰动的鲁棒性是独立的。我们的研究结果使我们相信，神经网络的鲁棒性应该在更广泛的意义上解决。
2019-10-09 cs.CV cs.LG stat.ML
Defending Collaborative Filtering Recommenders via Adversarial Robustness Based Edge Reweighting
Yongyu Wang（王 Yongyu）
本文提出了一种基于对抗鲁棒性的边重加权方法，用于防御协同过滤推荐系统中的资料注入攻击。
2025-12-12 cs.LG stat.ML
How to compare adversarial robustness of classifiers from a global perspective
Bielefeld University（比勒费尔德大学）
近年来，机器学习模型的对抗鲁棒性引起了相当大的关注。对抗攻击破坏了机器学习模型的可靠性和信任度，但是构建更健壮的模型取决于对对抗鲁棒性作为给定模型属性的严格理解。针对特定威胁模型的逐点测量是目前比较分类器鲁棒性的最流行工具，并在最近的对抗鲁棒性出版物中使用。在这项工作中，我们使用最近提出的鲁棒性曲线表明，逐点测量未能捕获重要的全局属性，这些属性对于可靠地比较不同分类器的鲁棒性至关重要。我们介绍了鲁棒性曲线可以用来系统地揭示这些属性的新方法，并在评估和比较训练模型的鲁棒性时为研究人员和从业人员提供具体的建议。此外，我们的特点规模作为一种方式来区分小的和大的扰动，并将其与数据集的固有属性，表明鲁棒性阈值必须相应地选择。我们发布代码来重现本文中提出的所有实验，其中包括一个Python模块，用于计算任意数据集和分类器的鲁棒性曲线，支持许多框架，包括TensorFlow，PyTorch和JAX。
2020-10-15 cs.LG stat.ML
Adversarial Robustness of Deep Learning: Theory, Algorithms, and Applications
University of Exeter（埃克塞特大学）；University of Liverpool（利物浦大学）
本教程旨在介绍深度学习对抗性鲁棒性的基础知识，对最新技术进行结构良好的回顾，以评估各种类型的深度学习模型对对抗性示例的脆弱性。本教程将特别强调对抗攻击和深度神经网络（DNN）鲁棒性验证中的最新技术。我们还将介绍一些有效的对策来提高深度学习模型的鲁棒性，特别关注对抗训练。我们的目标是提供关于这一新兴方向的全面的整体图景，并使社区意识到在安全关键型数据分析应用程序中设计鲁棒的深度学习模型的紧迫性和重要性，最终使最终用户能够信任深度学习分类器。我们还将总结有关深度学习对抗性鲁棒性的潜在研究方向，以及其潜在的好处，以实现基于深度学习的可靠和可信的数据分析系统和应用程序。
2021-08-24 cs.AI cs.LG
Recent Advances in Adversarial Training for Adversarial Robustness
Nanyang Technological University（南洋理工大学）；Wuhan University（武汉大学）
对抗性训练是深度学习模型防御对抗性样本的最有效方法之一。与其他防御策略不同，对抗性训练旨在从本质上提高模型的鲁棒性。近几年来，对抗性训练受到了多方面的研究和探讨。提出了对抗训练的各种改进和发展，然而，在现有的调查中被忽视。在这次调查中，我们首次系统地回顾了对抗训练的最新进展，并采用了一种新的分类法来提高对抗鲁棒性。然后从三个方面讨论了对抗训练中的泛化问题。最后，我们强调尚未充分解决的挑战，并提出潜在的未来方向。
2021-04-21 cs.AI cs.CR cs.LG
Exploring the Hyperparameter Landscape of Adversarial Robustness
IBM Research（IBM研究院）；IBM Research Ireland（IBM爱尔兰研究院）；IBM Research India（IBM印度研究院）
对抗性训练显示出作为训练对对抗性扰动具有鲁棒性的模型的方法的前景。在本文中，我们探讨了对抗训练的一些实际挑战。我们提出了一个敏感性分析，说明对抗性训练的有效性取决于一些突出的超参数的设置。我们表明，出现在这些显着的参数的鲁棒性表面可以是令人惊讶的复杂，因此没有有效的一刀切的参数设置存在。然后，我们证明，我们可以使用相同的显着超参数作为调谐旋钮来导航鲁棒性和准确性之间可能出现的紧张局势。基于这些发现，我们提出了一种实用的方法，该方法利用超参数优化技术来调整对抗训练，以最大限度地提高鲁棒性，同时将准确性损失保持在定义的预算范围内。
2019-05-09 cs.LG stat.ML
On the Effect of Low-Rank Weights on Adversarial Robustness of Neural Networks
RWTH Aachen University（亚琛工业大学）
最近，有大量关于设计深度神经网络（DNN）的工作，这些网络对对抗性示例具有鲁棒性。特别是，一个中心问题是DNN的哪些特征会影响对抗鲁棒性，因此可以用于设计鲁棒的DNN。在这项工作中，这个问题是研究通过镜头的压缩，这是由低秩结构的权重矩阵。首先证明了对抗性训练倾向于同时促进神经网络权值矩阵的低秩和稀疏结构。这是通过有效秩和有效稀疏度的概念来衡量的。在相反的方向上，当低秩结构通过核范数正则化提升并与稀疏诱导正则化相结合时，神经网络表现出显著提高的对抗鲁棒性。当核范数正则化应用于卷积神经网络时，它对对抗鲁棒性的影响是至关重要的。虽然仍然没有与对抗训练竞争，但这一结果有助于理解鲁棒分类器的关键属性。
2021-10-06 cs.LG stat.ML
Assessing the Adversarial Robustness of Monte Carlo and Distillation Methods for Deep Bayesian Neural Network Classification
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；US Army Research Laboratory（美国陆军研究实验室）
在本文中，我们考虑在马尔可夫链蒙特卡罗（MCMC）和贝叶斯暗知识（BDK）推理近似下评估深度神经网络模型的对抗鲁棒性的问题。我们描述了每种方法对两种类型的对抗攻击的鲁棒性：快速梯度符号法（FGSM）和投影梯度下降（PGD）。我们证明了完全基于MCMC的推理具有出色的鲁棒性，显著优于基于标准点估计的学习。另一方面，BDK提供了边际改进。作为一个额外的贡献，我们提出了一个存储高效的方法来计算对抗的例子，大型Monte Carlo合奏使用FGSM和PGD攻击。
2020-02-07 cs.LG stat.ML
Towards Bridging the gap between Empirical and Certified Robustness against Adversarial Examples
National University of Singapore（新加坡国立大学）；Technical University of Munich（慕尼黑工业大学）
目前最先进的对抗性示例的防御方法通常集中在提高经验或认证的鲁棒性。其中，对抗性训练（AT）模型可以对对抗性示例进行经验性的最先进防御，而不会为大型分类器或高维输入提供任何鲁棒性保证。相比之下，现有的基于随机平滑的模型实现了最先进的认证鲁棒性，同时显着降低了对抗性示例的经验鲁棒性。在本文中，我们提出了一种新的方法，称为\emph{Certification through Adaptation}，在推理过程中将AT模型转换为随机平滑分类器，为$\ell_2$范数提供认证的鲁棒性，而不影响其对对抗攻击的经验鲁棒性。我们还提出了\emph{Auto-Noise}技术，有效地近似适当的噪声水平，灵活地证明使用随机平滑技术的测试示例。我们提出的\emph{Certification through Adaptation}与\emph{Auto-Noise}技术实现了一个\textit{average certified radius (ACR) scores}高达$1.102$和$1.148$分别为CIFAR-10和ImageNet数据集使用AT模型，而不影响其经验的鲁棒性或良性的准确性。因此，我们的论文是通过使用相同的分类器来实现对抗性示例的经验和认证鲁棒性之间的差距。
2022-07-30 cs.AI cs.LG
Enforcing Linearity in DNN succours Robustness and Adversarial Image Generation
Mobiliya
最近对神经网络对抗脆弱性的研究表明，以最小化所有可能对抗扰动的最坏情况损失上限为目标训练的模型可以提高对对抗攻击的鲁棒性。除了利用对抗训练框架外，我们还表明，通过强制深度神经网络（DNN）在变换后的输入和特征空间中保持线性，可以显着提高鲁棒性。我们还证明了通过用局部Lipschitz正则化器增强目标函数，进一步提高了模型的鲁棒性。我们的方法优于最复杂的对抗训练方法，并在MNIST，CIFAR10和SVHN数据集上达到了最先进的对抗精度。在本文中，我们还提出了一种新的对抗图像生成方法，该方法利用了对抗训练的深度神经网络分类器的逆表示学习和线性方面。
2019-10-21 cs.CV cs.LG stat.ML
Boosting Barely Robust Learners: A New Perspective on Adversarial Robustness
Toyota Technological Institute at Chicago（芝加哥丰田工学院）；University of Waterloo（滑铁卢大学）
我们提出了一个预言机有效的算法，以提高几乎没有强大的学习者的对抗鲁棒性。几乎没有鲁棒性的学习算法只在数据分布的一小部分$β\ll 1$上学习对抗鲁棒的预测器。我们提出的概念，几乎没有强大的学习需要鲁棒性相对于一个“更大的”扰动集，我们表明这是必要的强鲁棒学习，弱松弛是不够的强鲁棒学习。我们的研究结果揭示了两个看似无关的问题之间的定性和定量等价性：强鲁棒学习和勉强鲁棒学习。
2022-02-11 cs.LG stat.ML
Stochastic Local Winner-Takes-All Networks Enable Profound Adversarial Robustness
Cyprus University of Technology（塞浦路斯理工大学）；National and Kapodistrian University of Athens（雅典国立卡波季斯特里安大学）；Aalborg University（奥尔堡大学）
这项工作探讨了基于随机竞争的激活，即随机本地赢家通吃（LWTA），对抗强大的（基于梯度的）白盒和黑盒对抗攻击的潜力;我们特别关注对抗训练设置。在我们的工作中，我们取代了传统的基于ReLU的非线性块包括本地和随机竞争的线性单元。每个网络层的输出现在产生稀疏输出，这取决于每个块中赢家采样的结果。我们依靠变分贝叶斯框架进行训练和推理;我们结合了传统的基于PGD的对抗训练参数，以提高整体对抗鲁棒性。正如我们的实验表明，新兴的网络产生最先进的鲁棒性，对强大的对抗攻击，同时保持非常高的分类率在良性的情况下。
2021-12-05 cs.LG stat.ML
Breaking certified defenses: Semantic adversarial examples with spoofed robustness certificates
University of Maryland（马里兰大学）
为了转移对抗攻击，已经提出了一系列“认证”分类器。除了标记图像之外，认证分类器还（在可能的情况下）生成证书，保证输入图像不是$\ell_p$有界对抗示例。我们提出了一种新的攻击，不仅利用分类器的标签功能，但也证书生成器。该方法应用大的扰动，将图像放置在远离类边界的地方，同时保持对抗性示例的不可感知性。提出的“影子攻击”导致可证明鲁棒性的网络错误标记图像，同时产生一个“欺骗”的鲁棒性证书。
2020-03-19 cs.LG stat.ML
Neural Architecture Dilation for Adversarial Robustness
University of Sydney（悉尼大学）；Huawei Technologies（华为技术有限公司）；Peking University（北京大学）
随着卷积神经网络（CNN）在过去几十年中在架构和规模上的巨大进步，它们可以轻松达到甚至超过人类在某些任务中的表现。然而，最近发现CNN的一个缺点是它们容易受到对抗攻击的攻击。虽然CNN的对抗性鲁棒性可以通过对抗性训练来提高，但在标准准确性和对抗性鲁棒性之间存在权衡。从神经结构的角度来看，本文旨在提高具有令人满意的准确性的骨干CNN的对抗鲁棒性。在最小的计算开销下，扩张架构的引入有望与骨干CNN的标准性能友好，同时追求对抗鲁棒性。对标准误差界和对抗误差界的理论分析自然激发了所提出的神经结构膨胀算法。在真实世界数据集和基准神经网络上的实验结果表明，该算法能够有效地平衡准确性和对抗鲁棒性。
2021-08-16 cs.AI cs.CV cs.LG
Improving adversarial robustness of deep neural networks by using semantic information
Sichuan University（四川大学）
深度神经网络（DNN）对对抗攻击的脆弱性，对抗攻击是一种可以通过故意扰动原始输入来误导最先进的分类器以高置信度进行不正确分类的攻击，引起了对DNN对此类攻击的鲁棒性的担忧。对抗性训练是提高对抗性鲁棒性的主要探试法，也是对抗对抗攻击的第一道防线，它需要大量的逐样本计算来增加训练规模，而且对于整个网络来说通常不够强大。本文提供了一个新的视角对抗鲁棒性的问题，一个转移的重点从网络作为一个整体的关键部分区域接近对应于一个给定的类的决策边界。从这个角度来看，我们提出了一种方法来生成一个单一的，但图像不可知的对抗性扰动，携带的语义信息，暗示方向的脆弱部分的决策边界，并导致输入被误分类为指定的目标。我们将基于这种扰动的对抗训练称为“区域对抗训练”（RAT），它类似于经典的对抗训练，但区别在于它加强了相关区域中缺失的语义信息。在MNIST和CIFAR-10数据集上的实验结果表明，即使使用来自训练数据的非常小的数据集，该方法也大大提高了对抗鲁棒性;此外，它可以防御与重新训练期间看到的模型具有完全不同模式的FGSM对抗攻击。
2021-06-17 cs.LG stat.ML
Improving Adversarial Robustness via Promoting Ensemble Diversity
Tsinghua University（清华大学）；Tsinghua-Fuzhou Institute for Data Technology（清华-福州数据技术研究院）
虽然深度神经网络在各种任务上取得了重大进展，通常通过模型集成来增强，但现有的高性能模型可能容易受到对抗攻击的攻击。许多努力已经致力于增强个体网络的鲁棒性，然后构建简单的系综，例如，通过直接平均输出，忽略了网络之间的相互作用。本文提出了一种新的方法，探索个体网络之间的相互作用，以提高集成模型的鲁棒性。从技术上讲，我们将对抗环境中的集成多样性定义为个体成员的非最大预测之间的多样性，并提出了一种自适应多样性促进（ADP）正则化器来鼓励多样性，通过使对抗示例难以在个体成员之间传输，从而使集成具有更好的全局鲁棒性。我们的方法是计算效率和兼容的防御方法作用于个别网络。各种数据集上的实证结果验证了我们的方法可以提高对抗鲁棒性，同时保持正常示例的最新准确性。
2019-05-29 cs.LG stat.ML
Delving into the Adversarial Robustness of Federated Learning
Zhejiang University（浙江大学）；Youtu Lab, Tencent（腾讯优图实验室）；Sony AI（索尼AI）
在联邦学习（FL）中，模型与集中训练的模型一样脆弱。然而，联邦学习的对抗鲁棒性在很大程度上仍未得到探索。本文阐述了联邦学习对抗鲁棒性的挑战。为了更好地理解现有FL方法的对抗脆弱性，我们对各种攻击和对抗训练方法进行了全面的鲁棒性评估。此外，我们揭示了直接采用对抗性训练在外语中所产生的负面影响，这严重损害了测试的准确性，特别是在非IID设置。在这项工作中，我们提出了一种新的算法称为基于决策边界的联邦对抗训练（DBFAT），它由两个组件（局部重新加权和全局正则化），以提高FL系统的准确性和鲁棒性。在多个数据集上进行的大量实验表明，DBFAT在IID和非IID设置下的性能始终优于其他基线。
2023-02-19 cs.AI cs.CR cs.LG
Adversarial Machine Learning And Speech Emotion Recognition: Utilizing Generative Adversarial Networks For Robustness
Information Technology University (ITU)-Punjab（旁遮普信息技术大学）；University of Southern Queensland（南昆士兰大学）
深度学习无疑为最先进的语音情感识别（SER）系统的性能提供了巨大的改进。然而，最近对对抗性示例的研究对SER系统的鲁棒性提出了巨大的挑战，因为它们只依赖于小而不可感知的扰动，因此显示了深度神经网络对对抗性示例的敏感性。在这项研究中，我们评估了如何对抗的例子可以用来攻击SER系统，并提出了第一个黑盒对抗攻击SER系统。我们还探索了潜在的防御措施，包括对抗训练和生成对抗网络（GAN），以增强鲁棒性。实验评估表明，有效利用对抗性示例的各个有趣方面有助于实现SER系统的鲁棒性，为研究人员在这一领域进一步创新提供了机会。
2018-12-30 cs.CR cs.LG eess.SP
Adversarial Robustness on In- and Out-Distribution Improves Explainability
University of Tübingen（蒂宾根大学）
神经网络在图像分类方面取得了重大进展，但对对抗性变化、外分布样本的不可靠不确定性估计及其难以理解的黑箱决策缺乏鲁棒性。在这项工作中，我们提出了RATIO，这是一种通过对抗性训练对内分布和外分布进行鲁棒性训练的训练过程，它可以产生具有可靠和鲁棒的外分布置信度估计的鲁棒模型。RATIO具有与对抗训练类似的生成特性，因此视觉反事实产生类特定的特征。虽然对抗训练的代价是较低的清洁准确性，但RATIO在CIFAR 10上实现了最先进的$l_2$ -对抗鲁棒性，并保持了更好的清洁准确性。
2020-07-29 cs.CV cs.LG stat.ML
Adversarial Robustness in Financial Machine Learning: Defenses, Economic Impact, and Governance Evidence
Independent Researcher（独立研究者）
本研究评估金融机器学习模型的对抗鲁棒性，通过实验揭示对抗攻击对模型性能的影响，并探讨对抗训练的恢复效果。
2025-12-14 cs.AI cs.CR cs.LG
Adversarial and Natural Perturbations for General Robustness
UvA-Bosch Delta Lab（阿姆斯特丹大学-博世德尔塔实验室）；University of Amsterdam（阿姆斯特丹大学）；Bosch Center for AI（博世人工智能中心）
在本文中，我们的目的是探讨一般的鲁棒性的神经网络分类器利用对抗以及自然扰动。与以往主要研究神经网络对对抗性扰动的鲁棒性不同，本文还研究了鲁棒化前后神经网络对自然扰动的鲁棒性。在对对抗性扰动和自然扰动之间的比较进行标准化之后，我们证明了尽管对抗性训练提高了网络对对抗性扰动的性能，但它导致了自然扰动样本的性能下降，除了干净的样本。相比之下，自然扰动，如弹性变形，闭塞和波不仅提高了对自然扰动的性能，而且还导致对抗性扰动的性能的改善。此外，它们不会降低干净图像的准确性。
2020-10-03 cs.AI cs.CV cs.LG
Global Adversarial Attacks for Assessing Deep Learning Robustness
Texas A&M University（德克萨斯农工大学）
已经表明，深度神经网络（DNN）可能容易受到对抗攻击的攻击，这引起了人们对它们的鲁棒性的关注，特别是对于安全关键型应用。认识到现有对抗攻击的局部性质和局限性，我们提出了一种新的全球对抗攻击评估全球DNN的鲁棒性。更具体地说，我们提出了一种新的全局对抗性示例对的概念，其中每对两个示例彼此接近，但具有DNN预测的不同类别标签。我们进一步提出了两种全局攻击方法，并表明我们的方法能够在远离训练或测试数据的位置生成多样化和有趣的对抗性示例对。此外，我们证明了使用基于强投影梯度下降（PGD）的（局部）对抗训练硬化的DNN容易受到所提出的全局对抗示例对的影响，这表明在训练鲁棒的深度学习网络时必须考虑全局鲁棒性。
2019-06-19 cs.CR cs.LG stat.ML
Adversarial Training and Robustness for Multiple Perturbations
Stanford University（斯坦福大学）
对抗性示例的防御，例如对抗性训练，通常针对单个扰动类型（例如，小$\ell_\infty$噪声）。对于其他扰动，这些防御措施不能提供任何保证，有时甚至会增加模型的脆弱性。我们的目的是了解这种鲁棒性权衡的原因，并训练模型，同时强大的多种扰动类型。我们证明了权衡不同类型的$\ell_p$有界和空间扰动的鲁棒性必须存在于一个自然和简单的统计设置。我们证实了我们的正式分析，证明类似的鲁棒性权衡MNIST和CIFAR10。建立在新的多扰动对抗训练方案，和一种新的有效的攻击，寻找$\ell_1$有界的对抗的例子，我们表明，没有模型训练对多个攻击实现鲁棒性的竞争力与每个攻击单独训练的模型。特别是，我们发现了MNIST上的一个有害的梯度掩蔽现象，它导致一阶$\ell_\infty, \ell_1$和$\ell_2$对手的对抗训练仅达到$50\%$的准确性。我们的研究结果质疑扩展对抗鲁棒性和对抗训练到多种扰动类型的可行性和计算可扩展性。
2019-10-18 cs.CR cs.LG stat.ML
Improved robustness to adversarial examples using Lipschitz regularization of the loss
我们使用最坏情况对抗训练（WCAT）增强对抗训练（AT），在CIFAR-10上的$\ell_2$规范中，它将对抗鲁棒性提高了11%。我们得到可验证的平均情况下和最坏情况下的鲁棒性保证，基于期望和最大值的范数的梯度的损失。我们将对抗训练解释为总变差正则化，这是数学图像处理中的基本工具，而WCAT则是Lipschitz正则化。
2019-09-13 cs.CR cs.CV cs.LG
Addressing Neural Network Robustness with Mixup and Targeted Labeling Adversarial Training
Atos（阿托斯公司）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
尽管人工神经网络具有很好的性能，但对于大多数工业应用来说，它仍然不够可靠。它们对噪声、旋转、模糊和对抗性样本很敏感。有必要建立防御机制，以防止各种干扰，包括最传统的常见腐败和对抗性示例。我们提出了一种新的数据增强策略，称为M-TLAT，旨在解决广义上的鲁棒性。我们的方法结合了Mixup增强和一种新的对抗训练算法，称为目标标记对抗训练（TLAT）。TLAT的思想是用地面真实标签插入对抗性示例的目标标签。我们表明，M-TLAT可以提高图像分类器对19种常见腐败和5种对抗攻击的鲁棒性，而不会降低对干净样本的准确性。
2020-08-19 cs.CV cs.LG stat.ML
Reinforcing Adversarial Robustness using Model Confidence Induced by Adversarial Training
Google（谷歌）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
在本文中，我们研究了利用对抗训练诱导的置信度信息来增强给定对抗训练模型的对抗鲁棒性。置信度的自然度量是$\|F({\bf x})\|_\infty$（即，$F$对其预测的置信度如何？）。我们首先分析Madry等人提出的对抗训练公式。我们证明了，在各种实例下，他们的目标的一个唯一有点好的解决方案会导致信心是一个随机变量，它可以区分正确和错误的模型预测在一个点的邻域从底层分布采样。在此基础上，我们提出了高度置信近邻（${\tt HCNN}$），一个框架，结合置信信息和最近邻搜索，以加强对抗鲁棒性的基础模型。我们在这个框架中给出了算法，并进行了详细的实证研究。我们报告了支持我们分析的令人鼓舞的实验结果，并讨论了我们在现有对抗训练中观察到的问题。
2018-06-08 cs.CR cs.LG stat.ML
Holistic Adversarial Robustness of Deep Learning Models
IBM Research（IBM研究院）；Michigan State University（密歇根州立大学）
对抗鲁棒性研究机器学习模型的最坏情况性能，以确保安全性和可靠性。随着基于深度学习的技术的普及，与模型开发和部署相关的潜在风险可能会被放大，并成为可怕的漏洞。本文全面概述了深度学习模型对抗鲁棒性的研究主题和研究方法的基本原理，包括攻击、防御、验证和新应用。
2023-01-05 cs.AI cs.CR cs.LG
Implicit Generative Modeling of Random Noise during Training for Adversarial Robustness
Purdue University（普渡大学）
我们介绍了一种基于噪声的先验学习（NoL）方法，用于训练对对抗攻击具有内在鲁棒性的神经网络。我们发现，隐式生成建模的随机噪声与相同的损失函数在后验最大化，提高了模型的理解的数据流形进一步对抗的鲁棒性。我们评估了我们的方法的有效性，并使用主成分分析提供了一个简单的可视化工具来理解对抗性数据。我们的分析表明，一般来说，对抗性鲁棒性表现在沿着高排名主成分具有较高方差的模型中。我们表明，用我们的方法学习的模型在各种攻击中表现得非常好。此外，将NoL与最先进的对抗训练相结合，可以扩展模型的鲁棒性，甚至超出了白盒和黑盒攻击场景中对抗训练的范围。
2019-05-31 cs.CV cs.LG stat.ML
Optimism in the Face of Adversity: Understanding and Improving Deep Learning through Adversarial Robustness
Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；ETH Zürich（苏黎世联邦理工学院）
在海量数据和计算资源重要进展的推动下，新的深度学习系统在大量应用中取得了出色的成果。然而，我们目前对深度学习数学基础的理论理解远远落后于它的经验成功。然而，为了解决神经网络的脆弱性，对抗鲁棒性领域最近已经成为解释我们深度模型的主要来源之一。在这篇文章中，我们对深度学习中的对抗鲁棒性领域进行了深入的回顾，并对其主要概念进行了完整的介绍。但是，与对抗鲁棒性的主流悲观观点相反，我们关注的是它所带来的主要积极方面。我们强调对抗性示例与深度神经网络几何之间的直观联系，并最终探索对抗性示例的几何研究如何作为理解深度学习的强大工具。此外，我们还展示了对抗鲁棒性的广泛适用性，概述了对抗鲁棒性在安全性之外的主要新兴应用。本文的目标是为读者提供一组新的视角来理解深度学习，并为他们提供直观的工具和见解，了解如何使用对抗鲁棒性来改进它。
2021-01-28 cs.AI cs.CV cs.LG
Biologically Inspired Mechanisms for Adversarial Robustness
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）
卷积神经网络在合理的计算和性能成本下对对抗性扰动具有很强的鲁棒性还没有得到证明。灵长类动物的视觉腹侧流似乎是强大的视觉刺激的小扰动，但引起这种强大的感知的潜在机制还不清楚。在这项工作中，我们研究了两种生物学上合理的机制在对抗鲁棒性中的作用。我们证明了由灵长类动物视网膜进行的非均匀采样和在每个偏心率处具有一系列感受野大小的多个感受野的存在提高了神经网络对小的对抗性扰动的鲁棒性。我们验证了这两种机制不会受到梯度混淆的影响，并通过消融研究研究了它们对对抗鲁棒性的贡献。
2020-06-29 cs.CV cs.LG stat.ML
Exploring the Adversarial Frontier: Quantifying Robustness via Adversarial Hypervolume
City University of Hong Kong（香港城市大学）
针对传统对抗准确率无法全面衡量模型鲁棒性的问题，提出对抗超体积指标从多目标优化角度全面评估扰动强度范围内的鲁棒性，并采用新训练算法均匀增强鲁棒性，为防御模型评估建立新标准。
2024-11-17 cs.AI cs.CR cs.CV
Pareto Adversarial Robustness: Balancing Spatial Robustness and Sensitivity-based Robustness
Peking University（北京大学）；Pazhou Laboratory (Huangpu)（琶洲实验室（黄埔））
该研究针对通用对抗鲁棒性问题，整合空间鲁棒性方法并引入帕累托准则提出帕累托对抗训练策略，实现自然准确率与多类鲁棒性的最优平衡，是首个用多目标优化研究通用对抗鲁棒性的工作。
2024-06-23 cs.LG
Can we have it all? On the Trade-off between Spatial and Adversarial Robustness of Neural Networks
Indian Institute of Technology, Hyderabad（海得拉巴印度理工学院）；Microsoft Research India（微软研究院印度分院）；Chennai Mathematical Institue, Chennai（钦奈数学研究所）
神经网络对小的、对抗性的逐像素扰动的（非）鲁棒性，并且如最近所示，甚至对随机空间变换（例如，翻译，旋转）都要求理论和经验的理解。对随机平移和旋转的空间鲁棒性通常经由等变模型（例如，StdCNN，GCNN）和训练增强，而对抗鲁棒性通常通过对抗训练来实现。在本文中，我们证明了在一个简单的统计设置空间和对抗鲁棒性之间的定量权衡。我们通过以下经验补充了这一点：（a）随着同变模型的空间鲁棒性通过逐渐增大的变换进行训练增强而提高，它们的对抗鲁棒性逐渐下降，（b）随着最先进的鲁棒模型通过逐渐增大的像素扰动进行对抗训练，它们的空间鲁棒性逐渐下降。为了在这种权衡中实现帕累托最优，我们提出了一种基于课程学习的方法，该方法逐渐训练更困难的扰动（空间和对抗），以同时提高空间和对抗鲁棒性。
2021-11-10 cs.CV cs.LG cs.NE
On Norm-Agnostic Robustness of Adversarial Training
Duke University（杜克大学）；University at Buffalo, the State University of New York（纽约州立大学布法罗分校）
对抗性示例是精心扰动的输入，用于愚弄机器学习模型。对抗性训练是一种公认的防御方法，将对抗性示例注入训练数据以提高鲁棒性。在本文中，我们提出了一种新的攻击来揭示最先进的对抗训练的一个不希望的属性，即它不能同时获得对$\ell_2$和$\ell_\infty$范数扰动的鲁棒性。我们讨论了这个问题的可能解决方案及其局限性。
2019-05-15 cs.CR cs.LG stat.ML
A Unified Game-Theoretic Interpretation of Adversarial Robustness
Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）；Huawei technologies Inc.（华为技术有限公司）
本文提供了一个统一的观点来解释不同的对抗攻击和防御方法，即DNN的输入变量之间的多阶相互作用的观点。基于多阶交互，我们发现对抗攻击主要影响高阶交互来欺骗DNN。此外，我们发现对抗训练的DNN的鲁棒性来自类别特定的低阶相互作用。我们的研究结果提供了一种潜在的方法来统一对抗扰动和鲁棒性，这可以从原理上解释现有的防御方法。此外，我们的研究结果还修正了以往对逆向学习特征形状偏向的不准确理解。
2021-11-09 cs.AI cs.CV cs.LG
Bridging Mode Connectivity in Loss Landscapes and Adversarial Robustness
Northeastern University（东北大学）；IBM Research（IBM研究院）
模式连通性为分析损失景观提供了新的几何见解，并能够在训练有素的神经网络之间构建高精度路径。在这项工作中，我们提出在损失景观中使用模式连通性来研究深度神经网络的对抗鲁棒性，并提供改进这种鲁棒性的新方法。我们的实验涵盖了应用于不同网络架构和数据集的各种类型的对抗攻击。当网络模型被后门或错误注入攻击篡改时，我们的研究结果表明，使用有限数量的善意数据学习的路径连接可以有效地减轻对抗性影响，同时保持干净数据的原始准确性。因此，模式连接为用户提供了修复后门或错误注入模型的能力。我们还使用模式连通性来研究常规和鲁棒模型对规避攻击的损失景观。实验表明，在连接常规和对抗训练模型的路径上，对抗鲁棒性损失存在障碍。对抗鲁棒性损失和输入Hessian矩阵的最大特征值之间存在高度相关性，并给出了理论证明。我们的研究结果表明，模式连接性为评估和提高对抗鲁棒性提供了一个全面的工具和实用的手段。
2020-07-03 cs.CV cs.LG stat.ML
Language-Driven Anchors for Zero-Shot Adversarial Robustness
Tsinghua University（清华大学）；Harbin Institute of Technology（哈尔滨工业大学）；Chinese Institute for Brain Research（中国脑科学研究院）
针对零样本对抗鲁棒性研究空白，提出语言驱动的基于锚点的对抗训练策略LAAT，通过文本编码器类别特征作锚点训练，结合扩展算法与对齐交叉熵损失解决特征相似度高的问题，显著提升零样本对抗鲁棒性，适用于无标注数据场景。
2024-03-10 cs.AI cs.CV cs.LG
Achieving Adversarial Robustness Requires An Active Teacher
Stanford University（斯坦福大学）
通过解耦数据生成器和标签生成器（我们称之为教师），提出了对对抗性示例和对抗性鲁棒性的新理解。在我们的框架中，对抗鲁棒性是一个有条件的概念-学生模型不是绝对鲁棒的，但是相对于老师是鲁棒的。基于这种新的理解，我们认为对抗性例子的存在是因为学生不能从训练数据中获得教师的足够信息。实现鲁棒性的各种方法进行了比较。理论和数值证据表明，为了有效地实现鲁棒性，教师积极地向学生提供其信息可能是必要的。
2020-12-14 cs.LG
