Fast Training of Deep Neural Networks Robust to Adversarial Perturbations
MIT Lincoln Laboratory（麻省理工学院林肯实验室）
深度神经网络能够在许多领域中快速训练和推广。尽管深度网络的性能很有希望，但它们对输入的扰动（例如，对抗性示例）及其学习的特征表示通常难以解释，从而引起了对其真实能力和可信度的担忧。对抗性训练是一种鲁棒优化的形式，其中模型针对对抗性示例进行了优化，最近的工作证明了提高对扰动的性能敏感性并产生更可解释的特征表示的能力。然而，对抗训练的计算成本比标准训练（即，非鲁棒性）训练，使得其不适用于大规模问题。最近的工作表明，对抗训练的快速近似显示出减少训练时间和在无穷范数约束的扰动存在下保持鲁棒性的希望。在这项工作中，我们证明了这种方法扩展到欧几里德规范，并保留了人类对齐的功能表示，这是常见的强大的模型。此外，我们还表明，使用分布式训练方案可以进一步缩短训练鲁棒深度网络的时间。快速对抗训练是一种很有前途的方法，它将在机器学习应用中提供更高的安全性和可解释性，而鲁棒优化以前被认为是不切实际的。
2020-07-08 cs.LG stat.ML
On Data Augmentation and Adversarial Risk: An Empirical Analysis
Johannes Kepler University（约翰内斯·开普勒大学）；Software Competence Center Hagenberg GmbH（哈根贝格软件能力中心有限公司）
数据增强技术已成为深度学习的标准实践，因为它已被证明可以大大提高模型的泛化能力。这些技术依赖于不同的想法，例如保持不变的变换（例如，专家定义的增强），统计分析（例如，Mixup）和学习数据分布（例如，GANs）。然而，在对抗性环境中，仍然不清楚在什么条件下这种数据增强方法降低甚至恶化了错误分类的风险。因此，在本文中，我们分析了不同的数据增强技术对对抗风险的影响，通过三个措施：（a）众所周知的风险下的对抗攻击，（b）一个新的措施的预测变化的压力的基础上拉普拉斯算子，（c）的影响，训练样本预测。我们的实证分析的结果反驳的假设，即数据增强引起的分类性能的改善总是伴随着对抗攻击下的风险的改善。此外，我们的研究结果表明，增广数据比非增广数据有更大的影响，对所产生的模型。总之，我们的研究结果表明，通用数据增强，不考虑到数据和任务的特点，必须谨慎应用。
2020-07-06 cs.LG stat.ML
Data Quality Matters For Adversarial Training: An Empirical Study
University of California, San Diego（加利福尼亚大学圣地亚哥分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
对抗训练中存在许多有趣的问题，包括鲁棒过拟合，鲁棒性高估和鲁棒性-准确性权衡。这些问题对可靠的评估和实际部署提出了巨大挑战。在这里，我们根据经验表明，这些问题有一个共同的原因-数据集中的低质量样本。具体来说，我们首先提出了一种基于对抗训练过程中数据的学习行为来衡量数据质量的策略，发现低质量的数据可能没有用，甚至不利于对抗的鲁棒性。然后，我们设计了对照实验来研究对抗训练中数据质量和问题之间的相互关系。我们发现，当低质量的数据被删除，鲁棒过拟合和鲁棒性高估可以在很大程度上得到缓解，和鲁棒性精度权衡变得不那么重要。这些观察结果不仅验证了我们对数据质量的直觉，还可能为推进对抗训练提供新的机会。
2021-10-07 cs.LG
An Empirical Investigation of Randomized Defenses against Adversarial Attacks
Kiel University（基尔大学）；Waterloo University（滑铁卢大学）
近年来，深度神经网络（DNN）对长期以来被认为非常困难的各种问题产生了巨大的影响，例如：例如，在一个实施例中，图像分类和自动语言翻译仅举几例。现代DNN在分类任务中的准确性确实非常出色。与此同时，攻击者已经设计出强大的方法来构建特制的恶意输入（通常称为对抗性示例），这些输入可以欺骗DNN对它们进行错误分类。更糟糕的是，尽管提出了许多防御机制来保护DNN免受对抗攻击，但攻击者通常能够绕过这些防御，使它们变得无用。这种状况非常令人担忧，特别是在机器学习系统被大规模采用的情况下。在本文中，我们提出了一种科学的评估方法，旨在评估随机防御的质量，有效性，鲁棒性和效率，以保护DNN免受对抗性示例的影响。使用这种方法，我们评估了各种防御机制。此外，我们还提出了一种防御机制，我们称之为随机扰动包围神经网络（RPENNs）。我们提供了一个彻底和全面的评估所考虑的防御机制对白盒攻击模型，六种不同的对抗攻击方法，并使用ILSVRC 2012验证数据集。
2019-09-12 cs.LG stat.ML
Towards Bridging the gap between Empirical and Certified Robustness against Adversarial Examples
National University of Singapore（新加坡国立大学）；Technical University of Munich（慕尼黑工业大学）
目前最先进的对抗性示例的防御方法通常集中在提高经验或认证的鲁棒性。其中，对抗性训练（AT）模型可以对对抗性示例进行经验性的最先进防御，而不会为大型分类器或高维输入提供任何鲁棒性保证。相比之下，现有的基于随机平滑的模型实现了最先进的认证鲁棒性，同时显着降低了对抗性示例的经验鲁棒性。在本文中，我们提出了一种新的方法，称为\emph{Certification through Adaptation}，在推理过程中将AT模型转换为随机平滑分类器，为$\ell_2$范数提供认证的鲁棒性，而不影响其对对抗攻击的经验鲁棒性。我们还提出了\emph{Auto-Noise}技术，有效地近似适当的噪声水平，灵活地证明使用随机平滑技术的测试示例。我们提出的\emph{Certification through Adaptation}与\emph{Auto-Noise}技术实现了一个\textit{average certified radius (ACR) scores}高达$1.102$和$1.148$分别为CIFAR-10和ImageNet数据集使用AT模型，而不影响其经验的鲁棒性或良性的准确性。因此，我们的论文是通过使用相同的分类器来实现对抗性示例的经验和认证鲁棒性之间的差距。
2022-07-30 cs.AI cs.LG
Convergence and Margin of Adversarial Training on Separable Data
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
对抗训练是一种用于训练鲁棒机器学习模型的技术。为了增强鲁棒性，它迭代地计算模型的对抗性示例，然后通过一些更新规则重新训练这些示例。这项工作分析了线性可分数据上对抗训练的性能，并提供了大幅度所需迭代次数的界限。我们表明，当更新规则由任意经验风险最小化器给出时，对抗训练可能需要指数级多次迭代才能获得较大的保证金。然而，如果使用梯度或随机梯度更新规则，则仅需要多项式多次迭代来找到大余量分离器。相比之下，在不使用对抗性示例的情况下，梯度方法可能需要指数级多次迭代才能实现大的裕度。我们的结果是通过显示具有梯度更新的对抗训练以$\mathcal{O}(\ln(t)^2/t)$速率最小化经验风险的鲁棒版本而得出的，尽管不平滑。我们从经验上证实了我们的理论。
2019-05-22 cs.LG math.OC stat.ML
Propagated Perturbation of Adversarial Attack for well-known CNNs: Empirical Study and its Explanation
LG CNS；LG Science Park（LG科学园）
已知基于深度神经网络的分类器容易受到由对抗攻击构造的输入扰动的影响，以强制错误分类。大多数研究集中在如何利用基于梯度的攻击方法制造脆弱的噪声，或者建立防御对抗攻击的模型。使用去噪模型是一个众所周知的解决方案，以减少对抗性噪声，虽然分类性能没有显着提高。在这项研究中，我们的目标是分析对抗攻击的传播作为一个可解释的AI（XAI）的观点。具体来说，我们通过CNN架构来研究对抗性扰动的趋势。为了分析传播的扰动，我们在每个CNN层中测量通过去噪器的扰动图像的特征图与未扰动的原始图像之间的归一化欧几里得距离和余弦距离。我们使用了五个著名的基于CNN的分类器和三个基于梯度的对抗攻击。从实验结果中，我们观察到，在大多数情况下，欧氏距离在最后一个全连接层爆炸性地增加，而余弦距离在最后一层波动并消失。这意味着使用去噪器可以减少噪声量。然而，它未能防御精度下降。
2019-09-23 cs.CV cs.LG eess.IV
Unlabeled Data Improves Adversarial Robustness
Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
我们从理论和经验上证明，对抗鲁棒性可以从半监督学习中受益匪浅。理论上，我们重新审视了Schmidt等人的简单高斯模型，该模型显示了标准分类和鲁棒分类之间的样本复杂度差距。我们证明了未标记的数据弥补了这一差距：一个简单的半监督学习过程（自我训练）使用相同数量的标签实现高标准的准确性，达到高鲁棒的准确性。从经验上讲，我们使用来自8000万微小图像的50万未标记图像增强CIFAR-10，并使用强大的自训练，在（i）$\ell_\infty$通过对抗性训练对抗几种强攻击的鲁棒性和（ii）通过随机平滑认证的$\ell_2$和$\ell_\infty$鲁棒性方面超过最先进的鲁棒准确性5个点。在SVHN上，添加数据集自己的额外训练集并删除标签可以获得4到10个点的增益，与使用额外标签的增益相差不到1个点。
2022-01-13 cs.CV cs.LG stat.ML
Adversarial Attacks and Identity Leakage in De-Identification Systems: An Empirical Study
本研究实证考察去标识化系统中对抗攻击导致身份泄露的风险，发现攻击可跨模型迁移，并提出微调与低通滤波两种缓解策略，增强系统鲁棒性。
2026-09-24 cs.CV
Adversarial Attacks and Defenses on Graphs: A Review, A Tool and Empirical Studies
Michigan State University（密歇根州立大学）；Texas A&M University（得克萨斯农工大学）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）
深度神经网络（DNN）在各种任务中取得了显著的性能。然而，最近的研究表明，DNN很容易被输入上的小扰动所欺骗，称为对抗攻击。图神经网络（GNNs）作为DNN到图的扩展，已经被证明继承了这个漏洞。Advertisement可以通过修改图结构（例如操纵一些边）来误导GNN给出错误的预测。这种漏洞引起了人们对在安全关键应用中调整GNN的极大关注，近年来引起了越来越多的研究关注。因此，有必要及时地对现有的图对抗攻击及其对策进行全面的概述。在本调查中，我们对现有的攻击和防御进行了分类，并回顾了相应的最先进的方法。此外，我们还开发了一个具有代表性算法的存储库（https：//github.com/DSE-MSU/DeepRobust/tree/master/deeprobust/graph）。该存储库使我们能够进行实证研究，以加深我们对图上的攻击和防御的理解。
2020-12-12 cs.CR cs.LG stat.ML
On the Loss Landscape of Adversarial Training: Identifying Challenges and How to Overcome Them
EPFL（洛桑联邦理工学院）；Microsoft Research（微软研究院）
我们分析了对抗性训练对机器学习模型损失景观的影响。为此，我们首先提供了分析研究的性质的对抗损失函数在不同的对抗预算。然后，我们证明，由于曲率增加和梯度更加分散，对抗性损失景观对优化不太有利。我们的结论得到了数值分析的验证，结果表明，在大的对抗预算下训练会阻止从次优随机初始化中逃脱，导致非零梯度，并使模型找到更尖锐的最小值。基于这些观察，我们表明，周期性对抗调度（PAS）策略可以有效地克服这些挑战，产生比香草对抗训练更好的结果，同时对学习率的选择不太敏感。
2020-11-02 cs.LG stat.ML
Robustness May Be at Odds with Fairness: An Empirical Study on Class-wise Accuracy
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
卷积神经网络（CNN）已经取得了显著的进步，然而，众所周知，它们容易受到对抗攻击的攻击。对抗性训练是提高对抗性对强白盒攻击的鲁棒性的最广泛使用的技术。先前的工作已经评估和改进了模型的平均鲁棒性，而没有类评估。单独的平均评估可能会提供一种错误的鲁棒性。例如，攻击者可以专注于攻击脆弱类，这可能是危险的，特别是当脆弱类是关键类时，例如自动驾驶中的“人类”。我们提出了一个实证研究类的准确性和鲁棒性的对抗训练模型。我们发现，即使训练数据集的每个类的样本数量相等，也存在准确性和鲁棒性的类间差异。例如，在CIFAR 10中，“猫”比其他类更容易受到攻击。此外，这种类间差异也存在于正常训练的模型中，而对抗性训练往往会进一步增加这种差异。我们的工作旨在研究以下问题：（a）无论数据集，模型结构和优化超参数如何，类间差异现象是否普遍存在？(b)如果是这样的话，什么可能的解释类间差异？(c)长尾分类中提出的技术是否可以很容易地扩展到对抗训练中，以解决类间差异？
2021-10-10 cs.CV cs.LG
Adversarial Attacks in a Multi-view Setting: An Empirical Study of the Adversarial Patches Inter-view Transferability
Université de Sousse（苏塞大学）；Ecole Nationale d’Ingénieurs de Sousse（苏塞国家工程学院）；Université polytechnique Hauts-de-France（上法兰西理工大学）；IEMN-DOAE
虽然机器学习应用程序由于在解决复杂问题方面表现出的效率而成为主流，但它们存在固有的对抗攻击漏洞。对抗攻击包括对输入的附加噪声，其可以欺骗检测器。最近，成功的现实世界可打印对抗补丁被证明对最先进的神经网络有效。在从基于数字噪声的攻击到现实世界物理攻击的转变中，影响目标检测的无数因素也将影响对抗补丁。在这些因素中，视角是最有影响力的因素之一，但尚未得到充分的研究。在本文中，我们研究了视角对对抗补丁有效性的影响。为了这个目的，我们提出了第一种方法，认为多视图的背景下，通过结合现有的对抗补丁与透视几何变换，以模拟视角变化的影响。我们的方法已在两个数据集上进行了评估：第一个数据集，其中包含了最真实世界的多视图上下文的约束，和第二个数据集，经验隔离的视角的影响。实验表明，视角显着影响对抗补丁的性能，在某些情况下，补丁失去了大部分的有效性。我们相信，这些结果激励考虑到在未来的对抗攻击的视角的影响，并开辟了新的机会，对抗性防御。
2021-10-10 cs.CR cs.LG
Black-box Adversarial Transferability: An Empirical Study in Cybersecurity Perspective
Aligarh Muslim University（阿里格尔穆斯林大学）
本研究从网络安全视角实证检验黑盒对抗迁移性，基于CICDDoS-2019数据集实验发现深度学习模型即便在攻击者不掌握内部细节时也易受对抗攻击，白盒攻击影响更严重，凸显了研究对抗防御技术的必要性。
2024-04-15 cs.CR cs.LG
Robustness, Privacy, and Generalization of Adversarial Training
University of Sydney（悉尼大学）；University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
对抗性训练可以大大增强深度神经网络的鲁棒性，以抵抗对抗攻击。然而，一些工作表明，对抗性训练可能包括隐私保护和泛化能力。本文从理论和实证两个方面建立并量化了对抗训练中的隐私-鲁棒性权衡和泛化-鲁棒性权衡。我们首先定义了一个概念，{ \it robustized intensity}来衡量对抗训练算法的鲁棒性。该度量可以通过渐近一致的经验估计器{ \it经验鲁棒强度}来经验地近似。基于鲁棒强度，我们证明了：（1）对抗训练是$(\varepsilon, δ)$ -差分隐私的，其中差分隐私的大小与鲁棒强度呈正相关;（2）对抗训练的泛化误差可以由$\mathcal O(\sqrt{\log N}/N)$平均界和$\mathcal O(1/\sqrt{N})$高概率界来上界，这两个界都与鲁棒强度呈正相关.此外，我们的泛化边界不显式依赖于参数大小，这在深度学习中会非常大。在标准数据集CIFAR-10和CIFAR-100上的系统实验与我们的理论完全一致。源代码包可在\url{https://github.com/fshp971/RPG}上获得。
2020-12-25 cs.AI cs.CR cs.LG
Short-length Adversarial Training Helps LLMs Defend Long-length Jailbreak Attacks: Theoretical and Empirical Evidence
King Abdullah University of Science and Technology（国王阿卜杜勒·阿齐兹大学科学与技术学院）；The University of Sydney（悉尼大学）；The University of Auckland（奥克兰大学）
本文提出通过短长度对抗训练有效防御长长度劫持攻击，理论和实验证实了这种策略的可行性。
2026-01-31 cs.CR cs.LG stat.ML
An Empirical Study of Accuracy, Fairness, Explainability, Distributional Robustness, and Adversarial Robustness
IBM Research – T. J. Watson Research Center（IBM研究院–托马斯·J·沃森研究中心）；DataArt（数据艺术公司）；IBM Research – Africa（IBM研究院–非洲分院）
为了确保对人工智能模型的信任，越来越明显的是，模型的评估必须超越传统的性能指标，如准确性，扩展到其他维度，如公平性，可解释性，对抗性鲁棒性和分布偏移。我们描述了一项实证研究，以评估多个模型类型的各种指标，沿着这些方面的几个数据集。我们的研究结果表明，没有一种特定的模型类型在所有维度上都表现良好，并展示了在选择多个维度评估的模型时所涉及的权衡。
2021-09-29 cs.CY cs.LG
ATRO: Adversarial Training with a Rejection Option
RIKEN（理化学研究所）；Waseda University（早稻田大学）
本文提出了一种带有拒绝选项的分类框架，以减轻对抗性样本造成的性能恶化。虽然最近的机器学习算法实现了高预测性能，但它们在经验上容易受到对抗性示例的影响，这些示例是被错误分类的轻微扰动的数据样本。在现实世界的应用中，使用这种对抗性示例的对抗攻击可能会导致严重的问题。为此，提出了各种方法来获得对对抗性示例具有鲁棒性的分类器。对抗训练就是其中之一，它训练分类器以最小化对抗攻击下的最坏情况损失。为了获得更可靠的分类器来抵抗对抗攻击，本文提出了带有拒绝选项的对抗训练方法（ATRO）。将对抗训练目标同时应用于分类器和拒绝函数，当ATRO训练的分类器对测试数据点分类的置信度不足时，可以选择放弃分类。我们研究的框架使用代理最大铰链损失的可行性，并建立了线性模型的泛化界。此外，我们使用各种模型和真实世界的数据集，从经验上证实了ATRO的有效性。
2020-10-24 cs.LG stat.ML
Empirical evaluation of the Frank-Wolfe methods for constructing white-box adversarial attacks
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Skoltech
本文通过实证评估改进的Frank-Wolfe方法，用于构建神经网络的白盒对抗攻击，并与传统方法进行比较。
2025-12-11 cs.AI cs.LG
Trace-Norm Adversarial Examples
University of Central Florida（中佛罗里达大学）；École Normale Supérieure（巴黎高等师范学院）；INRIA（法国国家信息与自动化研究所）
白盒对抗性扰动是通过迭代优化算法来寻求的，最常见的是最小化原始图像的$l_p$邻域（所谓的失真集）上的对抗性损失。用不同的规范约束对抗性搜索会产生结构合理的对抗性示例。在这里，我们探索几个失真集与结构增强算法。对抗性示例的这些新结构，在优化中普遍存在，例如，对于对抗性理论认证来说是一个挑战，该理论认证再次仅提供$l_p$证书。由于对抗鲁棒性仍然是一个经验领域，防御机制也应该合理地评估不同结构的攻击。此外，这些结构化对抗扰动可以允许比它们的$l_p$对应部分更大的失真大小，同时保持不可感知或可感知为图像的自然轻微失真。最后，它们允许对对抗性扰动的生成进行一些控制，如（局部）模糊。
2020-07-02 cs.CV cs.LG stat.ML
Improving Adversarial Robustness by Putting More Regularizations on Less Robust Samples
Seoul National University（首尔国立大学）
本文提出一种新的对抗训练算法，通过对易受攻击样本施加更多正则化来最小化鲁棒风险上界，从而同时提升模型泛化能力与对抗鲁棒性，达到最先进性能。
2023-06-01 cs.LG stat.ML
An Empirical Study of the Influence of Adversarial Fine-Tuning on Compressed Neural Networks
Department of Computer Science, University of Copenhagen, Denmark（丹麦哥本哈根大学计算机科学系）
通过实验研究压缩模型的对抗性微调，发现其能显著提升鲁棒性，并在计算效率与鲁棒性之间取得平衡。
2026-05-28 cs.LG
Adversarial Vulnerability of Randomized Ensembles
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
尽管深度神经网络在各种任务中取得了巨大的成功，但它们对难以察觉的对抗性扰动的脆弱性阻碍了它们在现实世界中的部署。最近，随机集成的工作经验表明，对抗鲁棒性的显着改善标准对抗训练（AT）模型，具有最小的计算开销，使其成为安全关键的资源受限的应用程序的一个有前途的解决方案。然而，这种令人印象深刻的性能提出了一个问题：随机集成提供的这些鲁棒性增益是真实的吗？在这项工作中，我们解决这个问题的理论和经验。我们首先从理论上建立，常用的鲁棒性评估方法，如自适应PGD提供了一个虚假的安全感，在这种情况下。随后，我们提出了一个理论上合理和有效的对抗攻击算法（ARC）能够妥协的随机合奏，即使在自适应PGD未能做到这一点的情况下。我们在各种网络架构、训练方案、数据集和规范中进行了全面的实验，以支持我们的主张，并根据经验建立了随机集合实际上比标准AT模型更容易受到$\ell_p$有界对抗性扰动的影响。我们的代码可以在https://github.com/hsndbk4/ARC上找到。
2022-06-14 cs.CR cs.CV cs.LG
On The Empirical Effectiveness of Unrealistic Adversarial Hardening Against Realistic Adversarial Attacks
University of Luxembourg（卢森堡大学）
本文研究非现实对抗样本能否抵御现实对抗攻击，通过三个现实用例和五个数据集评估发现其效果因场景而异，并分析潜在表示揭示有效加固模式，为缩小两类攻击差距提供支持。
2023-05-22 cs.CR cs.LG
Purifying Adversarial Perturbation with Adversarially Trained Auto-encoders
Iowa State University（爱荷华州立大学）
机器学习模型容易受到对抗性样本的影响。迭代对抗训练在对抗强大的白盒攻击方面表现出了良好的效果。然而，对抗训练非常昂贵，每次需要保护模型时，都需要执行这种昂贵的训练方案。在本文中，我们提出将迭代对抗训练方案应用于外部自动编码器，一旦训练好，就可以直接用于保护其他模型。我们的经验表明，我们的模型优于其他净化为基础的方法对白盒攻击，并转移直接保护其他基础模型与不同的架构。
2019-05-26 cs.CR cs.CV cs.LG
Can we have it all? On the Trade-off between Spatial and Adversarial Robustness of Neural Networks
Indian Institute of Technology, Hyderabad（海得拉巴印度理工学院）；Microsoft Research India（微软研究院印度分院）；Chennai Mathematical Institue, Chennai（钦奈数学研究所）
神经网络对小的、对抗性的逐像素扰动的（非）鲁棒性，并且如最近所示，甚至对随机空间变换（例如，翻译，旋转）都要求理论和经验的理解。对随机平移和旋转的空间鲁棒性通常经由等变模型（例如，StdCNN，GCNN）和训练增强，而对抗鲁棒性通常通过对抗训练来实现。在本文中，我们证明了在一个简单的统计设置空间和对抗鲁棒性之间的定量权衡。我们通过以下经验补充了这一点：（a）随着同变模型的空间鲁棒性通过逐渐增大的变换进行训练增强而提高，它们的对抗鲁棒性逐渐下降，（b）随着最先进的鲁棒模型通过逐渐增大的像素扰动进行对抗训练，它们的空间鲁棒性逐渐下降。为了在这种权衡中实现帕累托最优，我们提出了一种基于课程学习的方法，该方法逐渐训练更困难的扰动（空间和对抗），以同时提高空间和对抗鲁棒性。
2021-11-10 cs.CV cs.LG cs.NE
Deep Adversarially-Enhanced k-Nearest Neighbors
University of Michigan（密歇根大学）
最近的研究从理论和经验上表明，深度神经网络（DNN）对小扰动具有固有的脆弱性。应用深度k最近邻（DkNN）分类器，我们观察到随着层的深入，鲁棒性-准确性权衡显着增加。在这项工作中，我们提出了一种深度逆向增强的k最近邻（DAEkNN）方法，该方法比DkNN具有更高的鲁棒性，并通过两个关键要素减轻了深层中的鲁棒性-准确性权衡。首先，DAEkNN基于一个逆向训练的模型。其次，DAEkNN通过利用良性和对抗性训练数据的加权组合进行预测。从经验上讲，我们发现DAEkNN在MNIST和CIFAR-10数据集上提高了鲁棒性和鲁棒性-准确性权衡。
2021-10-07 cs.AI cs.CV cs.LG
The Effect of Prior Lipschitz Continuity on the Adversarial Robustness of Bayesian Neural Networks
University of Oxford（牛津大学）；Oxford-Man Institute（牛津-曼学院）
机器学习模型对对抗性攻击具有鲁棒性是理想的，并且通常是必要的。贝叶斯模型尤其如此，因为它们非常适合安全关键型应用，在这些应用中，对抗性攻击可能会产生灾难性的后果。在这项工作中，我们深入研究了贝叶斯神经网络（BNN）的对抗鲁棒性。特别是，我们考虑BNN的对抗鲁棒性是否可以通过模型选择来增加，特别是由先验引起的Lipschitz连续性。对i.i.d.的案例进行深入分析，零均值高斯先验和后验近似通过平均场变分推断，我们发现证据表明，对抗鲁棒性确实是敏感的先验方差。
2021-01-07 cs.LG stat.ML
Over-parameterization and Adversarial Robustness in Neural Networks: An Overview and Empirical Analysis
Sapienza University of Rome（罗马萨皮恩扎大学）；University of Cagliari（卡利亚里大学）；Northwestern Polytechnical University（西北工业大学）；University of Genoa（热那亚大学）
本文综述并实证分析过参数化神经网络对对抗样本的鲁棒性，发现过参数化网络比欠参数化网络更鲁棒，并强调评估攻击可靠性的重要性。
2026-06-26 cs.LG
Evolution of Neural Tangent Kernels under Benign and Adversarial Training
Computer Science and Artificial Intelligence Lab (CSAIL)（计算机科学与人工智能实验室）；Massachusetts Institute of Technology (MIT)（麻省理工学院）
现代深度学习面临的两个关键挑战是减轻深度网络对对抗攻击的脆弱性和理解深度学习的泛化能力。针对第一个问题，已经开发了许多防御策略，其中最常见的是对抗训练（AT）。对于第二个挑战，已经出现的一个主导理论是神经切线核（NTK）--一种在无限宽度限制下表征神经网络行为的理论。在这个限制下，内核被冻结，底层的特征图被固定。然而，在有限宽度中，有证据表明特征学习发生在训练的早期阶段（内核学习），然后是内核保持固定的第二阶段（惰性训练）。虽然先前的工作旨在通过冻结的无限宽度NTK的镜头来研究对抗脆弱性，但没有研究经验/有限NTK在训练期间的对抗鲁棒性的工作。在这项工作中，我们对标准和对抗训练下经验NTK的演变进行了实证研究，旨在消除对抗训练对内核学习和懒惰训练的影响。我们发现，在对抗训练下，经验NTK快速收敛到与标准训练不同的内核（和特征图）。这个新的内核提供了对抗性的鲁棒性，即使当非鲁棒性的训练是在它上面执行的。此外，我们发现，对抗性的训练上的一个固定的内核可以产生一个分类器与$76.1\%$强大的准确性下的PGD攻击与$\varepsilon = 4/255$ CIFAR-10。
2022-10-21 cs.AI cs.LG cs.NE
Assessing Adversarial Robustness of Large Language Models: An Empirical Study
Telepathy Labs（心灵实验室）；ETH Zürich（苏黎世联邦理工学院）
该研究针对大语言模型对抗鲁棒性问题，提出白盒风格攻击方法揭示主流开源LLM漏洞，评估多因素对鲁棒性的影响，在五任务上建立新基准，助力可信AI发展。
2024-09-12 cs.CL cs.LG
Adversarial Robustness of Flow-Based Generative Models
University of Maryland, College Park（马里兰大学帕克分校）
基于流的生成模型利用可逆生成器函数来使用最大似然将分布拟合到训练数据。尽管它们在几个应用领域中使用，但这些模型对对抗攻击的鲁棒性几乎没有被探索。在本文中，我们从理论上（对于一些简单的模型）和经验上（对于更复杂的模型）研究了基于流的生成模型的对抗鲁棒性。首先，我们考虑一个基于线性流的生成模型，并计算最佳的样本特定和通用对抗扰动，最大限度地降低似然分数。利用这一结果，我们研究了著名的对抗训练过程的鲁棒性，其中我们描述了模型鲁棒性和准确性之间的基本权衡。接下来，我们实证研究了两个突出的深度，非线性，基于流的生成模型的鲁棒性，即GLOW和RealNVP。我们设计了两种类型的对抗攻击;一种是最小化分布内样本的似然得分，而另一种是最大化分布外样本的似然得分。我们发现GLOW和RealNVP对这两种类型的攻击都非常敏感。最后，使用混合对抗训练过程，我们显着提高了这些生成模型的鲁棒性。
2019-11-20 cs.LG stat.ML
Certified vs. Empirical Adversarial Robust-ness via Hybrid Convolutions with Attention Stochasticity
Indian Institute of Technology Ropar（印度理工学院罗帕尔分校）；Nanyang Technological University（南洋理工大学）；RoentGen Health（RoentGen健康）；Queensland University of Technology（昆士兰理工大学）；RMIT University（皇家墨尔本理工大学）；Murdoch University（莫纳什大学）；Deakin University（迪金大学）
HyCAS通过结合确定性和随机性原理，提升模型在L2和L攻击下的鲁棒性，实验证明其在多个数据集上显著优于现有方法。
2026-05-02 cs.CV
On the (Un-)Avoidability of Adversarial Examples
York University（约克大学）
深度学习模型中的对抗性示例现象引起了人们对其可靠性的极大关注。虽然许多深度神经网络在预测准确性方面表现出令人印象深刻的性能，但在许多情况下，不可感知的扰动可能会错误地翻转网络的预测。大多数研究都集中在开发针对对抗攻击的防御措施或在最坏情况下的对抗性损失中学习。在这项工作中，我们后退一步，旨在提供一个框架，用于确定在小扰动下模型的标签变化是否合理（以及何时不合理）。我们谨慎地认为，对抗鲁棒性应被定义为符合底层分布的局部自适应措施。然后，我们提出了一个自适应鲁棒损失的定义，推导出它的经验版本，并开发出一个由此产生的数据增强框架。我们证明了我们的自适应数据增强保持一致性的1-最近邻分类确定性标签下，并提供说明性的实证评估。
2021-06-24 cs.LG stat.ML
Adversarial Training Can Provably Improve Robustness: Theoretical Analysis of Feature Learning Process Under Structured Data
Peking University（北京大学）；Carnegie Mellon University（卡内基梅隆大学）
本文从特征学习理论角度证明标准训练偏向学习非鲁棒特征从而产生对抗样本，而对抗训练可证明增强鲁棒特征学习并抑制非鲁棒特征学习，并在MNIST、CIFAR10和SVHN上验证了理论结论。
2025-02-07 cs.LG
Adversarially robust generalization theory via Jacobian regularization for deep neural networks
Northwest University（西北大学）
本研究证明雅可比正则化可作为对抗训练的近似上界，并建立其鲁棒泛化差距，实验表明降低雅可比范数可提升标准和鲁棒泛化。
2024-12-17 cs.LG stat.ML
Explicit Tradeoffs between Adversarial and Natural Distributional Robustness
University of Maryland（马里兰大学）
现有的一些工作分别研究深度神经网络的对抗性或自然分布鲁棒性。然而，在实践中，模型需要同时具有这两种类型的鲁棒性，以确保可靠性。在这项工作中，我们弥合了这一差距，并表明，事实上，对抗性和自然分布鲁棒性之间存在明确的权衡。我们首先考虑一个简单的线性回归设置高斯数据与不相交的核心和虚假的功能。在这种情况下，通过理论和实证分析，我们表明：（i）$\ell_1$和$\ell_2$规范的对抗训练增加了模型对虚假特征的依赖;（ii）对于$\ell_\infty$对抗训练，虚假依赖只发生在虚假特征的规模大于核心特征的规模时;（iii）对抗性训练可能会在降低分布鲁棒性方面产生意想不到的后果，特别是当伪相关性在新的测试域中发生变化时。接下来，我们提出了广泛的经验证据，使用在五个基准数据集（ObjectNet，RIVAL 10，Salient ImageNet-1 M，ImageNet-9，Waterbirds）上评估的20个对抗训练模型的测试套件，对抗训练的分类器比标准训练的分类器更依赖于背景，验证了我们的理论结果。我们还表明，虚假的相关性在训练数据（当保存在测试域）可以提高对抗的鲁棒性，揭示了以前的说法，对抗的脆弱性是植根于虚假的相关性是不完整的。
2022-09-15 cs.CV cs.LG
Inference Time Evidences of Adversarial Attacks for Forensic on Transformers
Osaka University（大阪大学）
视觉Transformer（ViTs）正在成为视觉任务的一个非常流行的范例，因为它们在图像分类上实现了最先进的性能。然而，尽管早期的作品暗示这种网络结构增加了对对抗攻击的鲁棒性，但一些作品认为ViTs仍然很脆弱。本文介绍了我们的第一次尝试，在推理时间使用网络的输入和输出以及潜在的功能检测对抗攻击。我们设计了基于ViT的模型的输入、输出和潜在向量的四个量化（或衍生物），这些量化提供了推理的签名，这可能有利于攻击检测，并根据经验研究了它们在干净样本和对抗样本上的行为。结果表明，来自输入（图像）和输出（后验概率）的量化对于区分干净样本和对抗样本是有希望的，而潜向量提供的区分能力较低，尽管它们提供了对抗扰动如何工作的一些见解。
2023-01-31 cs.CV cs.LG
When Muon Optimizer Meets Adversarial Training: A Theoretical and Empirical Study
IT College, Shanghai Ocean University（上海海洋大学信息学院）；School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院）；SEIE, Suzhou University of Science and Technology（苏州科技大学SEIE学院）；DP Tech（DP科技）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）
本文通过理论和实证研究，探讨Muon优化器（基于近似极分解的正交化更新）在对抗训练中的效果，发现其能限制矩阵更新的谱范数增长，在CNN和ViT上优于AdamW，与SGD竞争力相当。
2026-05-29 cs.LG
An Empirical Study of Accuracy-Robustness Tradeoff and Training Efficiency in Self-Supervised Learning
College of Engineering（工程学院）；University of South Carolina（南卡罗来纳大学）
本文实证研究自监督对抗训练效率，通过多裁剪鲁棒EMP-SSL加速收敛并兼顾干净准确性与对抗鲁棒性，进而提出CF-AMC-SSL以降低训练成本。
2025-01-07 cs.CV cs.LG
Adversarial Attacks on Parts of Speech: An Empirical Study in Text-to-Image Generation
University of California, Riverside（加州大学河滨分校）
本研究探究了文本到图像模型中针对不同词性标签的对抗攻击，通过构建数据集并执行基于梯度的攻击生成对抗性后缀，发现不同词性的攻击成功率差异显著并揭示了其内在机制。
2024-09-21 cs.AI cs.CL cs.CR
Curriculum Adversarial Training
Nanjing University（南京大学）；University of Utah（犹他大学）；UC Berkeley（加州大学伯克利分校）
最近，深度学习已被应用于许多安全敏感的应用，例如面部认证。对抗性例子的存在阻碍了这种应用。最先进的防御结果表明，对抗性训练可以应用于训练MNIST上的对抗性示例的鲁棒模型;但它未能在更复杂的任务（如CIFAR-10和SVHN）上实现高的经验最差情况准确度。在我们的工作中，我们提出了课程对抗训练（CAT）来解决这个问题。其基本思想是开发一个由具有广泛优势的攻击生成的对抗性示例课程。通过两种技术来减轻遗忘和泛化问题，我们证明了CAT可以在CIFAR-10上提高25%的大幅度经验最差情况准确度，在SVHN上提高35%。同时，该模型在非对抗性输入上的性能与最先进的模型相当。
2018-05-13 cs.CR cs.LG stat.ML
Assessing Robustness via Score-Based Adversarial Image Generation
Technical University of Munich（慕尼黑工业大学）；Munich Data Science Institute（慕尼黑数据科学研究所）；Munich Center for Machine Learning（慕尼黑机器学习中心）
提出基于分数的对抗生成框架ScoreAG，通过生成无限制对抗样本和净化图像，在多个基准上提升了最先进攻防方法的效果，推动更全面的语义鲁棒性评估。
2025-03-04 cs.AI cs.CV cs.LG
Adversarial Robustness via Label-Smoothing
Criteo AI Lab（科韬人工智能实验室）
我们研究标签平滑作为提高监督深度学习模型对抗鲁棒性的一种手段。在建立了一个彻底而统一的框架后，我们提出了这种通用方法的几种变体：对抗性方法、玻尔兹曼方法和次佳标签平滑方法，并解释了如何构建您自己的方法。在各种数据集（MNIST，CIFAR 10，SVHN）和模型（线性模型，MLP，LeNet，ResNet）上，我们通过更好地考虑数据集的几何形状，证明了标签平滑通常可以提高对抗各种攻击（FGSM，BIM，DeepFool，Carlini-Wagner）的鲁棒性。所提出的标签平滑方法有两个主要优点：它们可以作为修改的交叉熵损失来实现，因此不需要对网络架构进行任何修改，也不会导致训练时间增加，并且它们可以提高标准和对抗精度。
2019-10-15 cs.AI cs.LG stat.ML
Query-Free Adversarial Transfer via Undertrained Surrogates
Dartmouth College（达特茅斯学院）
深度神经网络容易受到对抗性样本的影响--在模型输入中添加微小的扰动，导致模型输出错误的预测。我们引入了一种新的方法，通过欠训练产生攻击的代理模型来提高黑盒环境中对抗攻击的效率。使用两个数据集和五个模型架构，我们表明这种方法在架构之间传输良好，并且远远优于最先进的方法。我们解释我们的方法的有效性作为一个功能的减少代理模型损失函数曲率和增加的普遍梯度特性，并表明我们的方法减少了存在的局部损失最大值，阻碍了可转移性。我们的研究结果表明，寻找强单代理模型是一种高效，简单的方法来产生可转移的对抗攻击，这种方法代表了一个有价值的路线，为未来的研究在这一领域。
2020-11-28 cs.CV cs.LG
Empirical Analysis of Adversarial Robustness and Explainability Drift in Cybersecurity Classifiers
Palo Alto Networks（帕洛阿尔托网络公司）；Quicken Inc（Quicken公司）
本文通过实证研究分析了网络安全分类器中对抗鲁棒性与可解释性漂移的问题，提出鲁棒性指数指标，并展示了对抗训练对提升鲁棒性的效果。
2026-02-06 cs.AI cs.CR cs.LG
Criticality Leveraged Adversarial Training (CLAT) for Boosted Performance via Parameter Efficiency
Duke University（杜克大学）；University of California, Berkeley（加利福尼亚大学伯克利分校）
本文提出 CLAT 方法，通过动态识别并微调鲁棒性关键层、冻结其余参数，在减少约 95% 可训练参数的同时，有效缓解对抗过拟合并提升模型对抗鲁棒性。
2024-12-23 cs.CV cs.LG
Generalizable Adversarial Training via Spectral Normalization
Stanford University（斯坦福大学）
深度神经网络（DNN）已经为各种监督学习任务设定了基准。然而，经过训练的DNN通常对输入的微小对抗性扰动缺乏鲁棒性，这破坏了它们真正的实用性。最近的工作通过使用对抗性扰动训练样本拟合网络来提高DNN的鲁棒性，但改进的性能仍然远远低于非对抗性设置中的性能。这种差距的很大一部分可以归因于对抗性训练导致的泛化性能下降。在这项工作中，我们将边际损失的概念扩展到对抗性设置，并限制了在几种著名的基于梯度的攻击方案下训练的DNN的泛化误差，从而激发了一种基于DNN权重矩阵的谱归一化的有效正则化方案。我们还提供了一种计算效率高的方法，用于在深度卷积网络中使用任意步幅和填充方案对卷积层的谱范数进行归一化。我们在数据集、网络架构和对抗训练方案的组合上广泛评估了谱归一化的能力。该代码可在https://github.com/jessemzhang/dl_spectral_normalization上获得。
2018-11-19 cs.LG stat.ML
Generating Structured Adversarial Attacks Using Frank-Wolfe Method
University of Central Florida（中佛罗里达大学）；Centre de Recherche INRIA de Paris（法国国家信息与自动化研究所巴黎研究中心）
白盒对抗扰动是通过迭代优化算法生成的，最常见的是通过最小化原始图像的$\ell_p$邻域（所谓的失真集）上的对抗损失。用不同的规范约束对抗性搜索会产生结构合理的对抗性示例。在这里，我们探索几个失真集与结构增强算法。对抗性示例的这些新结构可能会为可证明和经验性的鲁棒机制带来挑战。由于对抗鲁棒性仍然是一个经验领域，防御机制也应该合理地评估不同结构的攻击。此外，这些结构化对抗扰动可以允许比它们的$\ell_p$对应部分更大的失真大小，同时保持不可感知或可感知为图像的自然失真。我们将在这项工作中证明，所提出的结构化对抗性示例可以显着降低对抗性训练分类器的分类准确性，同时显示低$\ell_2$失真率。例如，在ImagNet数据集上，结构化攻击将对抗模型的准确性降低到接近零，只有50%的$\ell_2$失真使用白盒攻击（如PGD）生成。作为副产品，我们在结构化对抗性示例上的发现可以用于模型的对抗性正则化，以使模型更鲁棒或提高其在结构不同的数据集上的泛化性能。
2021-02-15 cs.AI cs.CV cs.LG
Adversarial and Clean Data Are Not Twins
Auburn University（奥本大学）
对抗攻击给深度神经网络的巨大成功蒙上了阴影。尽管在视觉上与干净的数据几乎相同，但对抗性图像可以以非常高的置信度欺骗深度神经网络进行错误的预测。然而，在本文中，我们证明了我们可以建立一个简单的二元分类器，将对抗性数据与干净数据分开，准确率超过99%。我们还经验表明，二进制分类器是强大的第二轮对抗攻击。换句话说，很难伪装对抗样本以绕过二元分类器。此外，我们实证研究的泛化限制，徘徊在所有当前的防御方法，包括二元分类器的方法。我们假设这是对抗性手工算法的内在属性的结果。
2017-04-17 cs.LG cs.NE
Overfitting in adversarially robust deep learning
Carnegie Mellon University（卡内基梅隆大学）
深度学习中的常见做法是使用超参数化网络并尽可能长时间地进行训练;有许多研究表明，无论是理论还是经验，这种做法都不会对分类器的泛化性能造成不必要的损害。在本文中，我们在对抗性训练的深度网络中实证研究了这一现象，这些深度网络经过训练，以最大限度地减少最坏情况下的对抗性扰动下的损失。我们发现，在多个数据集（SVHN，CIFAR-10，CIFAR-100和ImageNet）和扰动模型（$\ell_\infty$和$\ell_2$）的对抗鲁棒训练中，对训练集的过度拟合实际上在很大程度上损害了鲁棒性能。基于这种观察到的效果，我们表明，几乎所有最近的算法改进对对抗训练的性能增益都可以通过简单地使用早期停止来匹配。我们还表明，双下降曲线等效应仍然发生在逆向训练的模型中，但无法解释观察到的过拟合。最后，我们研究了几种经典和现代的深度学习过拟合补救措施，包括正则化和数据增强，并发现没有孤立的方法可以显著提高早期停止所获得的收益。用于再现实验的所有代码以及预训练的模型权重和训练日志可以在https://github.com/locuslab/robust_overfitting上找到。
2020-03-04 cs.LG stat.ML
Adversarial Pruning: A Survey and Benchmark of Pruning Methods for Adversarial Robustness
University of Cagliari（卡利亚里大学）；Sapienza University of Rome（罗马大学）；University of Genova（热那亚大学）；CINI, National Cybersecurity Lab, Consorzio Interuniversitario Nazionale per l’Informatica（意大利国家跨大学信息学联盟国家网络安全实验室）
本文综述了当前的对抗剪枝方法并提出基于流水线和具体细节的新分类法，同时提出公平评估基准并对现有方法进行经验性重评估，揭示了表现最佳方法的共同特征与常见问题。
2025-05-30 cs.CR cs.CV cs.LG
Adversarial Attack and Defense in Deep Ranking
Xi’an Jiaotong University（西安交通大学）；Alibaba Group（阿里巴巴集团）；ABB Corporate Research Center（ABB企业研究中心）；Wormpex AI Research（Wormpex人工智能研究院）
深度神经网络分类器容易受到对抗攻击的攻击，其中不可感知的扰动可能导致错误分类。然而，基于DNN的图像排名系统的脆弱性仍然没有得到充分的探索。在本文中，我们提出了两种针对深度排名系统的攻击，即，候选攻击和查询攻击，可以通过对抗性扰动来提高或降低所选候选人的排名。具体地说，期望的排名顺序表示为一组不等式，然后一个三元组的目标函数的设计，以获得最佳的扰动。相反，提出了一种抗崩溃三元组防御来提高排名模型对所有提出的攻击的鲁棒性，其中模型学习防止正样本和负样本被对抗攻击拉得彼此靠近。为了全面衡量我们的防御排名模型的经验对抗鲁棒性，我们提出了一个经验鲁棒性分数，其中涉及一组对排名模型的代表性攻击。我们的对抗性排名攻击和防御在MNIST、Fashion-MNIST、CUB 200 -2011、CARS 196和斯坦福在线产品数据集上进行了评估。实验结果表明，一个典型的深度排名系统可以有效地损害我们的攻击。尽管如此，我们的防御可以显着提高排名系统的鲁棒性，同时减轻各种攻击。
2021-06-07 cs.CV cs.LG
Adversarial Training is a Form of Data-dependent Operator Norm Regularization
ETH Zürich（苏黎世联邦理工学院）
我们在对抗训练和深度神经网络的算子范数正则化之间建立了理论联系。具体来说，我们证明了$\ell_p$ -范数约束的基于投影梯度上升的对抗性训练与干净和扰动输入的logits上的$\ell_q$ -范数损失等价于数据依赖的（p，q）算子范数正则化。这种基本联系证实了长期以来的观点，即网络对对抗性示例的敏感性与其频谱特性有关，并暗示了增强和防御对抗攻击的新方法。我们提供了大量的经验证据，国家的最先进的网络架构，以支持我们的理论结果。
2020-10-23 cs.LG stat.ML
