When and Why Adversarial Training Improves PINNs: A Neural Tangent Kernel Perspective
School of Mathematics and Statistics, Beijing Institute of Technology, China（北京理工大学数学与统计学院，中国）；School of Professional Education and Executive Development The Hong Kong Polytechnic University, China（香港理工大学专业教育学院及管理发展学院，中国）；Department of Computer Science & UCL AI Centre, University College London, UK（伦敦大学学院计算机科学系及UCL人工智能中心，英国）
本文从神经 tangent 核角度分析对抗训练提升PINNs的机制，提出理论框架并设计高效算法，实验证明能显著改善PINNs训练病理，提升模型精度。
2026-10-15 cs.AI cs.LG
What Can the Neural Tangent Kernel Tell Us About Adversarial Robustness?
Center for Data Science（数据科学中心）；New York University（纽约大学）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）
神经网络的对抗性脆弱性以及随后创建鲁棒模型的技术引起了人们的极大关注;然而，我们仍然缺乏对这种现象的充分理解。在这里，我们通过连接神经网络和内核方法的最新理论进展提供的分析工具，即神经切线核（NTK），研究训练神经网络的对抗性示例，随着越来越多的工作利用NTK近似成功分析重要的深度学习现象并为新应用设计算法。我们展示了NTK如何允许以“无训练”的方式生成对抗性示例，并证明它们在“懒惰”机制中转移到欺骗有限宽度的神经网络。我们利用这种联系提供了一个强大的和非强大的功能，这已被认为是神经网络的对抗性脆性的基础上的另一种观点。具体来说，我们定义和研究的内核的特征分解，以更好地了解强大的和非强大的功能，对标准分类和鲁棒性准确性权衡两者的依赖的作用。我们发现，这些特征在不同的架构中具有惊人的一致性，并且鲁棒特征往往对应于模型的最大特征值，因此在训练过程中很早就被学习到。我们的框架允许我们识别和可视化非鲁棒但有用的功能。最后，我们揭示了在实践中使用的神经网络的对抗训练的鲁棒性机制：量化相关经验NTK的演变，我们证明了它的动态更早地落入“懒惰”状态，并表现出一种更强的众所周知的偏见形式，与标准训练相比，优先考虑内核的顶部特征空间内的学习特征。
2023-01-31 cs.CR cs.LG
Evolution of Neural Tangent Kernels under Benign and Adversarial Training
Computer Science and Artificial Intelligence Lab (CSAIL)（计算机科学与人工智能实验室）；Massachusetts Institute of Technology (MIT)（麻省理工学院）
现代深度学习面临的两个关键挑战是减轻深度网络对对抗攻击的脆弱性和理解深度学习的泛化能力。针对第一个问题，已经开发了许多防御策略，其中最常见的是对抗训练（AT）。对于第二个挑战，已经出现的一个主导理论是神经切线核（NTK）--一种在无限宽度限制下表征神经网络行为的理论。在这个限制下，内核被冻结，底层的特征图被固定。然而，在有限宽度中，有证据表明特征学习发生在训练的早期阶段（内核学习），然后是内核保持固定的第二阶段（惰性训练）。虽然先前的工作旨在通过冻结的无限宽度NTK的镜头来研究对抗脆弱性，但没有研究经验/有限NTK在训练期间的对抗鲁棒性的工作。在这项工作中，我们对标准和对抗训练下经验NTK的演变进行了实证研究，旨在消除对抗训练对内核学习和懒惰训练的影响。我们发现，在对抗训练下，经验NTK快速收敛到与标准训练不同的内核（和特征图）。这个新的内核提供了对抗性的鲁棒性，即使当非鲁棒性的训练是在它上面执行的。此外，我们发现，对抗性的训练上的一个固定的内核可以产生一个分类器与$76.1\%$强大的准确性下的PGD攻击与$\varepsilon = 4/255$ CIFAR-10。
2022-10-21 cs.AI cs.LG cs.NE
Statistical Adversaries: Natural Backdoor-like Adversarial Features in Clean Vision Datasets
Neurint, LLC（Neurint有限责任公司）；U.S. Army Cyber Corps（美国陆军网络部队）；Northwestern State University of Louisiana（路易斯安那西北州立大学）；Automata（Automata公司）；AGH University of Krakow（克拉科夫AGH大学）
研究视觉数据中自然出现的类似后门的统计信号（统计对手），通过分析ImageNet找相关模式，用统计控制去除随机相关性，证明其可改变模型预测，表明漏洞受数据集结构驱动，建议审核数据集时重视虚假结构。
2026-08-18 cs.AI cs.CR cs.CV
Robustness Against Adversarial Attacks via Learning Confined Adversarial Polytopes
University of Waterloo（滑铁卢大学）
本文提出通过学习受限对抗多面体（CAP）约束范数有界扰动下的可达输出，使对抗多面体避开决策边界，从而提升 DNN 对 AutoAttack 等攻击的鲁棒性。
2024-01-20 cs.CR cs.LG
On the Duality Between Sharpness-Aware Minimization and Adversarial Training
Peking University（北京大学）；University of California, Berkeley（加州大学伯克利分校）；Beijing Institute of Technology（北京理工大学）；MIT（麻省理工学院）
本文研究SAM与AT之间的对偶性，发现仅使用SAM即可在不牺牲干净准确率的前提下显著提升对抗鲁棒性，并通过实验与理论分析揭示其隐式学习鲁棒特征的机制，表明SAM在准确率优先场景下可替代AT。
2024-06-05 cs.AI cs.CR cs.LG
Towards Understanding Dual BN In Hybrid Adversarial Training
KAIST（韩国科学技术院）；Kyung Hee University（庆熙大学）；Northwestern Polytechnical University（西北工业大学）
本文研究混合对抗训练中双批归一化（Dual BN）的作用机制，发现解耦仿射参数比解耦统计量更关键，并提出双任务假设作为统一改进框架。
2024-03-28 cs.AI cs.CR cs.CV
Revisiting adapters with adversarial training
DeepMind（深度思维）
虽然对抗性训练通常被用作防御机制，但最近的研究表明，它也可以作为正则化器。通过在干净和对抗性输入上共同训练神经网络，可以提高干净、非对抗性输入的分类准确性。我们证明，与以前的研究结果相反，在对干净和对抗性输入进行联合训练时，没有必要分离批统计数据，并且对于每种类型的输入，使用具有很少域特定参数的适配器就足够了。我们确定，使用视觉Transformer（ViT）的分类令牌作为适配器足以匹配双归一化层的分类性能，同时使用显著更少的附加参数。首先，我们在ImageNet上将非对抗训练的ViT-B16模型的top-1准确率提高了+1.12%（达到83.76%的top-1准确率）。其次，更重要的是，我们证明了使用适配器的训练可以通过干净和对抗令牌的线性组合来实现模型汤。这些模型汤，我们称之为对抗模型汤，允许我们在干净和健壮的准确性之间进行权衡，而不会牺牲效率。最后，我们表明，我们可以很容易地适应所产生的模型面对的分布偏移。我们的ViT-B16在ImageNet变体上获得了前1的准确率，平均比使用掩码自编码器获得的准确率高出+4.00%。
2022-10-10 cs.CV cs.LG
Attack Agnostic Detection of Adversarial Examples via Random Subspace Analysis
The Johns Hopkins University Applied Physics Laboratory（约翰斯·霍普金斯大学应用物理实验室）
虽然对抗攻击检测受到了相当大的关注，但从两个角度来看，它仍然是一个具有根本挑战性的问题。首先，虽然威胁模型可以很好地定义，但攻击者的策略在这些约束条件下仍然可能有很大的不同。因此，检测应该被认为是一个开集的问题，站在目前大多数检测方法的对比。这些方法采用闭集视图并训练二进制检测器，从而使检测偏向于检测器训练期间看到的攻击。第二，在测试时可用的信息有限，并且通常被包括图像的标签和底层内容的讨厌因素混淆。我们通过一种基于随机子空间分析的新策略来解决这些挑战。我们提出了一种技术，利用随机投影的属性来表征不同子空间集合中干净和对抗性示例的行为。模型激活的自一致性（或不一致性）被用来区分干净的和敌对的例子。性能评估表明，我们的技术（$AUC\in[0.92, 0.98]$）优于竞争的检测策略（$AUC\in[0.30,0.79]$），同时保持真正的不可知的攻击策略（有针对性/无针对性的攻击）。它还需要比竞争方法少得多的校准数据（仅由干净的示例组成）来实现此性能。
2021-11-03 cs.AI cs.CR cs.CV
Improving the Robustness/Accuracy Tradeoff Against Adversarial Attacks Using Information Bottleneck Distillation Through Dual Teachers
Joint Graduate School of Mathematics for Innovation（联合创新数学研究生院）；Kyushu University（九州大学）；Faculty of Information Science and Electrical Engineering（信息科学与电气工程学院）；Université Savoie Mont Blanc（萨瓦大学）
本研究通过引入干净教师扩展信息瓶颈蒸馏框架，在CIFAR-10/100数据集上提升了干净样本分类准确率，保持对抗样本准确率，与现有双教师蒸馏方法竞争力相当。
2026-07-31 cs.LG
An Adversarial Robustness Perspective on the Topology of Neural Networks
Criteo AI Lab（Criteo人工智能实验室）；Amazon（亚马逊）；Meta AI Research（Meta人工智能研究院）
在本文中，我们研究了神经网络（NN）拓扑结构对对抗鲁棒性的影响。具体来说，我们研究了当输入遍历NN的所有层时产生的图，并表明这些图对于干净的和对抗性的输入是不同的。我们发现，来自干净输入的图形更集中在高速公路边缘，而来自对手的图形则更分散，利用了优化不足的边缘。通过在各种数据集和架构上的实验，我们证明了这些优化不足的边缘是对抗性脆弱性的来源，它们可以用来检测对抗性输入。
2022-11-04 cs.CR cs.LG stat.ML
Adversarial Training: embedding adversarial perturbations into the parameter space of a neural network to build a robust system
University of Southern California（南加州大学）
对抗性训练，即在对抗性和干净样本上对网络进行训练，是对抗对抗攻击最值得信赖的防御方法之一。然而，在实现和部署这种方法时存在三个主要的实际困难-在额外的内存和计算成本方面昂贵;干净和对抗性示例之间的准确性权衡;以及缺乏对抗性扰动的多样性。经典对抗训练在对抗样本（输入空间）中使用固定的、预先计算的扰动。相比之下，我们通过向深度卷积神经网络的全连接层添加扰动偏置，将动态对抗扰动引入网络的参数空间。在训练过程中，仅使用干净的图像，扰动偏差在快速梯度符号方向上更新，以通过回收计算的梯度信息自动创建和存储对抗扰动。网络会自动学习并调整自己以适应这些习得的对抗性扰动。因此，与需要对抗性示例图像的训练集相比，我们可以以微不足道的成本实现对抗性训练。此外，如果与经典的对抗性训练相结合，我们的扰动偏差可以减轻准确性权衡困难，并使对抗性扰动多样化。
2019-10-09 cs.LG stat.ML
Vanilla Feature Distillation for Improving the Accuracy-Robustness Trade-Off in Adversarial Training
Wuhan University（武汉大学）；Zhejiang University（浙江大学）；Adobe Research（奥多比研究院）
对抗性训练已经被广泛探索，以减轻对深度模型的攻击。然而，大多数现有的工作仍然被困在更高的准确性和更强的鲁棒性之间的困境，因为他们往往适合一个模型对强大的功能（不容易被对手篡改），而忽略了那些非鲁棒性，但高度预测的功能。为了实现更好的鲁棒性-准确性权衡，我们提出了Vanilla特征蒸馏对抗训练（VFD-Adv），它从预训练模型（优化为高准确性）进行知识蒸馏，以指导对抗训练达到更高的准确性，即，保留那些非鲁棒但可预测的特征。更具体地说，通过从预训练/干净模型中提取预测表示，对抗性示例和它们的干净对应物都被迫在特征空间中对齐，而以前的作品几乎没有利用干净模型的预测特征。因此，对抗性训练模型会进行更新，以最大限度地保留准确性，同时获得鲁棒性。我们的方法的一个关键优势是，它可以普遍适用于并促进现有的作品。在各种数据集，分类模型和对抗训练算法上的详尽实验证明了我们所提出的方法的有效性。
2022-06-05 cs.CR cs.CV cs.LG
Class-Aware Domain Adaptation for Improving Adversarial Robustness
Shenzhen University（深圳大学）；IBM（国际商业机器公司）；University of Nottingham（诺丁汉大学）
最近的工作已经证明了卷积神经网络容易受到对抗性示例的影响，即，攻击者故意设计的机器学习模型的输入，以使模型出错。为了提高神经网络的对抗鲁棒性，对抗训练已经被提出来通过将对抗样本注入到训练数据中来训练网络。然而，对抗性训练可能过度适应特定类型的对抗攻击，并且还导致干净图像的标准准确度下降。为此，我们提出了一种新的类感知领域自适应（CADA）方法，用于对抗性防御，而不直接应用对抗性训练。具体来说，我们建议通过域搜索来学习对抗性示例和干净图像的域不变特征。此外，我们还将一个类感知组件引入到网络中，以提高网络对对抗性示例的区分能力。我们使用多个基准数据集来评估我们新提出的方法。结果表明，我们的方法可以显着提高最先进的对抗性鲁棒性的各种攻击，并保持高性能的干净的图像。
2020-05-10 cs.CV cs.LG
Removing Batch Normalization Boosts Adversarial Training
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon Web Services（亚马逊云科技）
对抗性训练（AT）可以保护深度神经网络免受对抗攻击。限制其实际应用的一个挑战是清洁样品的性能下降。以前的工作中发现的一个主要瓶颈是广泛使用的批量归一化（BN），它很难对AT中干净和对抗训练样本的不同统计数据进行建模。虽然主要的方法是扩展BN来捕获这种混合分布，但我们建议通过移除AT中的所有BN层来完全消除这种瓶颈。我们的无归一化鲁棒训练（NoFrost）方法将无归一化网络的最新进展扩展到AT，因为它在处理混合分布挑战方面具有未开发的优势。我们表明，NoFrost实现了对抗性的鲁棒性，只有一个小的牺牲干净的样本的准确性。在使用ResNet50的ImageNet上，NoFrost实现了$74.06\%$干净的准确性，仅从标准训练中降低了$2.00\%$。相比之下，基于BN的AT获得了$59.28\%$干净的准确性，遭受了标准训练的显著$16.78\%$下降。此外，NoFrost算法实现了$23.56\%$对PGD攻击的对抗性鲁棒性，提高了$13.57\%$在基于BN的AT中的鲁棒性.我们从NoFrost中观察到更好的模型平滑度和更大的决策裕度，这使得模型对输入扰动不太敏感，因此更具鲁棒性。此外，当将更多的数据扩充到NoFrost中时，它实现了对多个分布偏移的全面鲁棒性。代码和预训练模型在https://github.com/amazon-research/normalizer-free…
2022-07-04 cs.CV cs.LG
Using Anomaly Feature Vectors for Detecting, Classifying and Warning of Outlier Adversarial Examples
University of Michigan（密歇根大学）；Ford Motor Company（福特汽车公司）
我们提出了DeClaW，一个系统，用于检测，分类和警告的对抗性输入的分类神经网络。与当前最先进的方法相比，在给定输入的情况下，检测输入是干净的还是敌对的，我们的目标是还识别对抗攻击的类型（例如，PGD，Carlini-Wagner或清洁）。为了实现这一点，我们提取的统计配置文件，我们术语异常特征向量，从一组潜在的功能。初步研究结果表明，AFV可以帮助区分几种类型的对抗攻击（例如，PGD与Carlini-Wagner），在CIFAR-10数据集上的准确率接近93%。结果打开了大门，使用AFV为基础的方法，探索不仅对抗攻击检测，但也分类的攻击类型，然后设计攻击特定的缓解策略。
2021-07-01 cs.CR cs.LG
Randomized Adversarial Training via Taylor Expansion
Institute of Software, CAS（中国科学院软件研究所）；University of Liverpool（利物浦大学）；Lancaster University（兰卡斯特大学）
近年来，针对对抗性示例开发更强大的深度神经网络的研究出现了爆炸式增长。对抗训练似乎是最成功的方法之一。为了处理对抗性示例的鲁棒性和干净示例的准确性，许多工作开发了增强的对抗性训练方法，以实现它们之间的各种权衡。利用在训练期间平滑更新权重的研究可能有助于找到平坦最小值并提高泛化能力，我们建议从另一个角度协调鲁棒性-准确性权衡，即，通过将随机噪声添加到确定性权重中。随机化的权重使我们能够通过小高斯噪声的泰勒展开设计一种新的对抗训练方法，并且我们证明了新的对抗训练方法可以使损失景观变平并找到平坦的最小值。通过PGD、CW和自动攻击，一组广泛的实验表明，我们的方法增强了最先进的对抗训练方法，提高了鲁棒性和准确性。该代码可在https://github.com/Alexkael/Randomized-Adversarial-Training上获得。
2023-03-19 cs.AI cs.LG
On the Sensitivity of Adversarial Robustness to Input Data Distributions
Borealis AI（北极光人工智能）
神经网络易受小的对抗性扰动的影响。现有的文献主要集中在理解和减轻学习模型的脆弱性。在本文中，我们证明了一个有趣的现象，在文献中最流行的鲁棒训练方法，对抗训练：对抗鲁棒性，不像干净的准确性，是敏感的输入数据分布。即使是对输入数据分布进行语义保留变换，也会导致对抗性训练模型的鲁棒性显著不同，该模型是在新分布上训练和评估的。我们发现这样的数据分布的敏感性是基于一项研究，该研究解开了贝叶斯分类器的清洁准确性和鲁棒准确性的行为。实证研究进一步证实了我们的发现。我们分别为MNIST和CIFAR10构建了语义相同的变体，并表明标准训练的模型在它们上实现了相当的干净精度，但逆向训练的模型实现了显着不同的鲁棒性精度。这种违反直觉的现象表明，输入数据分布本身就可以影响训练好的神经网络的对抗鲁棒性，而不一定是任务本身。最后，我们讨论了评估对抗鲁棒性的实际意义，并初步尝试理解这一复杂现象。
2019-02-22 cs.CR cs.CV cs.LG
Adversarial and Natural Perturbations for General Robustness
UvA-Bosch Delta Lab（阿姆斯特丹大学-博世德尔塔实验室）；University of Amsterdam（阿姆斯特丹大学）；Bosch Center for AI（博世人工智能中心）
在本文中，我们的目的是探讨一般的鲁棒性的神经网络分类器利用对抗以及自然扰动。与以往主要研究神经网络对对抗性扰动的鲁棒性不同，本文还研究了鲁棒化前后神经网络对自然扰动的鲁棒性。在对对抗性扰动和自然扰动之间的比较进行标准化之后，我们证明了尽管对抗性训练提高了网络对对抗性扰动的性能，但它导致了自然扰动样本的性能下降，除了干净的样本。相比之下，自然扰动，如弹性变形，闭塞和波不仅提高了对自然扰动的性能，而且还导致对抗性扰动的性能的改善。此外，它们不会降低干净图像的准确性。
2020-10-03 cs.AI cs.CV cs.LG
Beneficial Perturbations Network for Defending Adversarial Examples
University of Southern California（南加州大学）
深度神经网络可能被对抗攻击愚弄：将精心计算的小对抗扰动添加到干净的输入中可能会导致最先进的机器学习模型的错误分类。其原因是神经网络无法适应由对抗性扰动引起的输入数据的分布漂移。在这里，我们提出了一种新的解决方案-有益扰动网络（BPN）-通过固定分布漂移来防御对抗攻击。在训练过程中，BPN通过添加新的网络外偏置单元来生成和利用有益的扰动（与众所周知的对抗性扰动有点相反）。偏置单元影响网络的参数空间，以抢占和中和输入数据样本上的未来对抗性扰动。为了实现这一点，BPN在训练过程中通过回收已经计算的训练梯度，以非常小的成本创建反向对抗攻击。反向攻击被偏置单元捕获，而偏置反过来又可以有效地防御未来的对抗性示例。反向攻击是一种捷径，即，它们会影响网络的参数，而不需要实例化可以帮助训练的对抗性示例。我们提供了全面的经验证据，表明1）BPN对对抗性示例具有鲁棒性，并且与经典的对抗性训练相比，具有更高的运行内存和计算效率。2)与只在干净样本上训练相比，BPN可以以可忽略的额外计算和参数成本来防御对抗性样本; 3）BPN对干净样本的准确性的损害比经典对抗性训练小得多; 4）BPN可以提高网络的泛化能力5）仅使用快速梯度符号攻击训练的BPN可以泛化以防御PGD攻击。
2021-09-13 cs.CR cs.LG stat.ML
Adversarial Robustness of Phishing Email Detection: A Comparative Study of TF-IDF + Logistic Regression and Fine-Tuned DistilBERT
University of Hertfordshire（赫特福德大学）
研究网络钓鱼邮件检测的对抗鲁棒性，对TF-IDF + 逻辑回归和微调DistilBERT两种方法在正常、合成及对抗条件下对比。发现干净数据准确率不能预测对抗鲁棒性，两种模型依赖不同证据但脆弱性相似，对抗测试应成检测评估标准。
2026-08-25 cs.AI cs.CR cs.CY
CAT: Customized Adversarial Training for Improved Robustness
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Texas, Austin（得克萨斯大学奥斯汀分校）；IBM research AI（IBM研究院人工智能部门）
对抗训练已经成为提高神经网络鲁棒性的最有效方法之一。然而，它往往遭受的清洁和扰动数据的泛化能力差。在本文中，我们提出了一种新的算法，命名为定制的对抗训练（CAT），自适应定制的扰动水平和相应的标签为每个训练样本在对抗训练。我们通过大量的实验表明，该算法比以前的对抗训练方法实现了更好的清洁和鲁棒的准确性。
2020-02-17 cs.LG stat.ML
Adversarial Fine-tune with Dynamically Regulated Adversary
University of Alberta（阿尔伯塔大学）
对抗性训练是一种有效的方法，可以提高模型对恶意对抗攻击的鲁棒性。然而，模型鲁棒性的这种改进通常导致在干净图像上的标准性能的显著牺牲。在许多现实世界的应用中，如健康诊断和自主手术机器人，标准性能比模型鲁棒性更有价值。这就引出了一个问题：在不牺牲标准性能的情况下，我们可以在多大程度上提高模型的鲁棒性？这项工作解决了这个问题，并提出了一个简单而有效的基于迁移学习的对抗性训练策略，解开了对抗性样本对模型标准性能的负面影响。此外，我们引入了一个训练友好的对抗攻击算法，它有助于提高对抗鲁棒性，而不会引入显着的训练复杂度。大量的实验表明，该方法优于以前的对抗性训练算法的目标：提高模型的鲁棒性，同时保持模型的标准性能的清洁数据。
2022-04-28 cs.AI cs.CV cs.LG
Blending adversarial training and representation-conditional purification via aggregation improves adversarial robustness
AIlab University of Trieste（AI实验室特伦蒂诺大学）；Data Engineering Laboratory（数据工程实验室）；AREA Science Park（AREA科学公园）
本研究提出融合对抗训练与提纯的新型图像分类防御机制CARSO，通过表征映射与多采样聚合实现鲁棒预测，在多个数据集上显著提升了针对AutoAttack的ℓ∞鲁棒分类准确率。
2025-10-05 cs.AI cs.CR cs.CV
Universal Pyramid Adversarial Training for Improved ViT Performance
University of Maryland - College Park（马里兰大学帕克分校）；Meta AI
提出通用金字塔对抗训练，通过共享单一对抗模式降低计算成本达70%，同时保留ViT的干净准确率和分布偏移鲁棒性，并首次发现其可提升干净模型性能。
2023-12-26 cs.CV cs.LG
Robustness through Cognitive Dissociation Mitigation in Contrastive Adversarial Training
Rafael - Advanced Defense Systems Ltd.（拉斐尔先进防御系统有限公司）
在本文中，我们介绍了一种新的神经网络训练框架，通过将对比学习（CL）与对抗训练（AT）相结合，提高了模型对对抗攻击的对抗鲁棒性，同时保持了高的干净准确性。我们建议通过学习在数据增强和对抗性扰动下一致的特征表示来提高模型对对抗攻击的鲁棒性。我们利用对比学习来提高对抗性鲁棒性，将对抗性示例视为另一个正面示例，并旨在最大化数据样本的随机扩增与其对抗性示例之间的相似性，同时不断更新分类头，以避免分类头与嵌入空间之间的认知分离。这种分离是由于CL将网络更新到嵌入空间，同时冻结用于生成新的正面对抗示例的分类头。我们在CIFAR-10数据集上验证了我们的方法，具有对抗特征的对比学习（CLAF），在该数据集上，它比其他监督和自监督对抗学习方法具有更好的鲁棒准确性和干净准确性。
2022-09-11 cs.CR cs.CV cs.LG
DeepDefense: Robust Learning via Layer-Wise Gradient-Feature Alignment
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；University of Ottawa（渥太华大学）
本文提出DeepDefense防御框架，通过梯度-特征对齐正则化提升深度神经网络鲁棒性，在CIFAR-10数据集上对多种攻击的性能优于标准对抗训练，具有架构无关性。
2026-08-04 cs.AI cs.LG
Enhancing Adversarial Robustness via Uncertainty-Aware Distributional Adversarial Training
College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）；Center for Frontier AI Research, Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局前沿人工智能研究中心）；Bytedance（字节跳动）；Department of Electrical and Computer Engineering, University of British Columbia（不列颠哥伦比亚大学电气与计算机工程学院）
提出不确定性感知分布对抗训练方法，利用对抗样本统计信息与不确定性估计增强对手多样性，通过分布到分布匹配及内省梯度对齐，在多个基准上实现最先进对抗鲁棒性并保持自然性能。
2024-11-05 cs.CV cs.LG
Deep Positive-Negative Prototypes for Adversarially Robust Discriminative Prototypical Learning
Computer Engineering Department, Ferdowsi University of Mashhad（法尔德大学马什哈德分校计算机工程系）
本文提出Adv-DPNP框架，将判别式原型学习与对抗训练结合，通过双分支训练和复合损失在提升干净准确率的同时保持对抗鲁棒性，并在多个基准上验证其有效性。
2025-08-18 cs.CV cs.LG
Sharpness-Aware Minimization Alone can Improve Adversarial Robustness
Peking University（北京大学）
本文发现仅使用SAM即可在不牺牲干净准确率的情况下提升对抗鲁棒性，通过分析SAM与AT在扰动强度上的差异导致的不同准确率与鲁棒性权衡，提出SAM可作为AT的轻量级替代方案。
2023-07-01 cs.AI cs.LG
Initializing Perturbations in Multiple Directions for Fast Adversarial Training
深度学习领域的最新发展表明，深度神经网络（DNN）容易受到对抗性样本的影响。具体来说，在图像分类中，一个对抗性的例子可以通过向干净的图像添加几乎察觉不到的扰动来欺骗训练有素的深度神经网络。对抗性训练是最直接有效的方法之一，它可以最大限度地减少扰动数据的损失，以学习鲁棒的深度网络来对抗对抗攻击。事实证明，使用快速梯度符号法（FGSM）可以实现快速对抗训练。然而，基于FGSM的对抗训练可能最终会因为对FGSM样本的过拟合而获得失败的模型。本文提出了多样化初始化扰动对抗训练（DIP-FAT），通过在随机方向上扩大目标模型的输出距离来寻求扰动的初始化。由于随机方向的多样性，使用FGSM的嵌入式快速对抗训练增加了来自对手的信息，并降低了过拟合的可能性。除了防止过拟合，大量的结果表明，我们提出的DIP-FAT技术也可以提高清洁数据的准确性。DIP-FAT方法的最大优点是：在干净数据、扰动数据和效率之间达到最佳平衡。
2021-01-25 cs.LG stat.ML
Towards Adversarial Training with Moderate Performance Improvement for Neural Network Classification
Huawei Technologies Noah’s Ark Lab（华为技术诺亚方舟实验室）；National University of Singapore（新加坡国立大学）
已有研究表明，深度神经网络在推理过程中容易受到噪声样本，特别是对抗样本的影响。现实世界应用中的强大深度学习系统与脆弱的神经网络之间的差距仍然很大。目前的对抗训练策略提高了对抗样本的鲁棒性。然而，这些方法会导致精度降低时，输入的例子是干净的，从而阻碍了实用性。在本文中，我们研究了一种方法，保护神经网络分类从敌对的样本，并提高其准确性时，输入的例子是干净的。我们在各种不同的网络和数据集上展示了我们所提出的方法的多功能性和有效性。
2018-07-01 cs.AI cs.CV cs.LG
NERO-Net: A Neuroevolutionary Approach for the Design of Adversarially Robust CNNs
University of Coimbra, CISUC/LASI, DEI（科英布拉大学，CISUC/LASI，DEI）
本文提出NERO-Net，通过神经进化方法设计更具抗攻击能力的CNN，通过隔离架构对鲁棒性的影响，提升模型在对抗攻击下的性能。
2026-03-26 cs.AI cs.LG cs.NE
Adversarial Purification by Consistency-aware Latent Space Optimization on Data Manifolds
South China University of Technology（华南理工大学）；Pazhou Laboratory（琶洲实验室）；The University of Melbourne（墨尔本大学）；Institute of Optics and Electronics, CAS（中国科学院光电技术研究所）；Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Hong Kong Baptist University（香港浸会大学）
针对对抗净化易过度校正的问题，提出CMAP方法，通过在一致性模型隐空间优化向量恢复干净数据，在CIFAR-10和ImageNet-100上提升了对抗鲁棒性与自然准确率。
2026-08-05 cs.LG
Adversarial Robustness on In- and Out-Distribution Improves Explainability
University of Tübingen（蒂宾根大学）
神经网络在图像分类方面取得了重大进展，但对对抗性变化、外分布样本的不可靠不确定性估计及其难以理解的黑箱决策缺乏鲁棒性。在这项工作中，我们提出了RATIO，这是一种通过对抗性训练对内分布和外分布进行鲁棒性训练的训练过程，它可以产生具有可靠和鲁棒的外分布置信度估计的鲁棒模型。RATIO具有与对抗训练类似的生成特性，因此视觉反事实产生类特定的特征。虽然对抗训练的代价是较低的清洁准确性，但RATIO在CIFAR 10上实现了最先进的$l_2$ -对抗鲁棒性，并保持了更好的清洁准确性。
2020-07-29 cs.CV cs.LG stat.ML
Boundary Adversarial Examples Against Adversarial Overfitting
IBM Research Europe（IBM欧洲研究院）
标准对抗训练方法存在鲁棒过拟合问题，当模型被对抗训练太长时间时，鲁棒准确性会降低。这一问题的根源仍然不清楚，据报道，有相互矛盾的解释，即，由于大量损失数据或由于小损失数据以及随着对抗训练的进行，训练样本的损失分布的差异越来越大而引起的记忆效应。因此，一些缓解方法，包括早期停止，时间集成和小损失数据的权重扰动已被提出来减轻鲁棒过拟合的影响。然而，与标准对抗训练相比，这些策略的副作用是干净准确率的大幅下降。在本文中，我们研究了这些缓解方法在提高对抗训练性能方面是否相互补充。我们进一步提出了使用辅助对抗示例，这些示例可以在对抗示例生成中以最小的成本获得，并展示了它们如何在不影响鲁棒准确性的情况下提高现有方法的准确性。
2022-11-25 cs.LG
Why Don't You Clean Your Glasses? Perception Attacks with Dynamic Optical Perturbations
Rutgers University（罗格斯大学）；Steg AI（Steg AI公司）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Georgia Institute of Technology（佐治亚理工学院）；University of Utah（犹他大学）
本文提出 EvilEye，一种利用透明显示器生成动态物理对抗样本的中间人感知攻击，通过建模光学管线变换函数在各种光照条件下诱发错误分类，其鲁棒性和攻击成功率显著优于现有物理攻击框架。
2023-07-27 cs.AI cs.CR
LORE: Lagrangian-Optimized Robust Embeddings for Visual Encoders
Stanford University（斯坦福大学）；Aktus AI；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Apple（苹果公司）
LORE通过约束优化方法提升视觉编码器的对抗鲁棒性，同时保持清洁数据性能，有效平衡鲁棒性与准确性。
2025-11-29 cs.AI cs.CV cs.LG
Robustness of Generalized Learning Vector Quantization Models against Adversarial Attacks
Dr. Ing. h.c. F. Porsche AG（保时捷股份公司）；University of Groningen（格罗宁根大学）；Saxony Institute for Computational Intelligence and Machine Learning（萨克森计算智能与机器学习研究所）；University of Applied Sciences Mittweida（米特韦达应用科学大学）
对抗攻击和发展对它们鲁棒的（深度）神经网络是目前两个广泛研究的主题。然而，学习矢量量化（LVQ）模型对对抗攻击的鲁棒性还没有得到同样程度的研究。因此，我们提出了一个广泛的评价三个LVQ模型：广义LVQ，广义矩阵LVQ和广义切线LVQ。评估表明，广义LVQ和广义切线LVQ具有很高的基础鲁棒性，与当前最先进的鲁棒神经网络方法。与此相反，广义矩阵LVQ显示出对对抗攻击的高度敏感性，得分始终落后于所有其他模型。此外，我们的数值评估表明，增加每个类的原型数量提高了模型的鲁棒性。
2019-03-09 cs.AI cs.CV cs.LG
Towards the Memorization Effect of Neural Networks in Adversarial Training
Michigan State University（密歇根州立大学）；TAL Education Group（好未来教育集团）
最近的研究表明，“记忆”是超参数化深度神经网络（DNN）实现最佳性能的一个重要因素。具体地说，完美拟合的DNN可以记住许多非典型样本的标签，推广它们的记忆，以正确分类测试非典型样本，并享有更好的测试性能。同时，通过对抗训练算法优化的DNN也可以通过记忆非典型样本的标签以及对抗扰动的非典型样本来实现完美的训练性能。然而，逆向训练模型的泛化能力总是很差，在测试集上的准确性和鲁棒性都相对较低。在这项工作中，我们研究了记忆在对抗训练DNN中的作用，并揭示了两个重要的发现：（a）对非典型样本进行分类只能有效提高DNN对干净非典型样本的准确性，但几乎不能提高其对抗鲁棒性;（b）对某些非典型样本进行分类甚至会损害DNN对典型样本的性能。基于这两个发现，我们提出了良性对抗训练（BAT），它可以促进对抗训练，以避免拟合“有害”的非典型样本，并尽可能拟合更多的“良性”非典型样本。在我们的实验中，我们验证了BAT的有效性，并表明它可以在CIFAR 100和Tiny~ImageNet等基准数据集中实现比基线方法更好的清洁精度与鲁棒性权衡。
2021-06-09 cs.LG
Increasing-Margin Adversarial (IMA) Training to Improve Adversarial Robustness of Neural Networks
University of Miami（迈阿密大学）
深度神经网络（DNN）容易受到对抗性噪声的影响。对抗性训练是提高DNN鲁棒性的通用且有效的策略（即，噪声数据上的准确性）对抗对抗性噪声。然而，由当前现有的对抗训练方法训练的DNN模型可能具有低得多的标准准确度（即，与通过标准方法在干净数据上训练的相同模型相比，这种现象被称为准确性和鲁棒性之间的权衡，并且被认为是不可避免的。这个问题阻止了对抗训练在许多应用领域中的使用，例如医学图像分析，因为从业者不想牺牲标准准确性来换取对抗鲁棒性。我们的目标是提升（即，减轻或甚至避免）医学图像分类和分割的标准准确性和对抗鲁棒性之间的这种权衡。我们提出了一种新的对抗训练方法，命名为增量边际对抗（IMA）训练，这是由对抗训练样本的最优性的平衡状态分析支持。我们的方法旨在通过生成最佳对抗训练样本来保持准确性，同时提高鲁棒性。我们评估我们的方法和其他八个有代表性的方法在六个公开可用的图像数据集上被AutoAttack和白噪声攻击产生的噪声破坏。我们的方法实现了最高的对抗性的鲁棒性图像分类和分割的最小的减少在干净的数据的准确性。对于其中一个应用程序，我们的方法提高了准确性和鲁棒性。我们的研究表明，我们的方法可以解除标准的准确性和对抗性的鲁棒性之间的权衡图像分类和分割应用。
2023-02-10 cs.CV cs.LG
SAT: Improving Adversarial Training via Curriculum-Based Loss Smoothing
University of California, Berkeley（加州大学伯克利分校）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）
对抗训练（AT）已经成为训练健壮网络的热门选择。然而，它倾向于牺牲干净的准确性，有利于鲁棒性，并遭受大的泛化误差。为了解决这些问题，我们提出了平滑对抗训练（SAT），由我们对损失Hessian的特征谱的分析指导。我们发现，课程学习，一个方案，强调开始“容易”，并逐步增加对“困难”的培训，平滑的对抗性损失的景观，为一个适当选择的难度度量。我们提出了一个一般的配方课程学习在对抗设置，并提出了两个难度度量的基础上的最大海森特征值（H-SAT）和软最大概率（P-SA）。我们证明，即使在大的扰动范数下，SAT也能稳定网络训练，并使网络能够以比AT更好的精确度与鲁棒性权衡曲线运行。与AT、TRADES和其他基线相比，这导致了清洁准确性和鲁棒性的显著提高。为了突出一些结果，与AT相比，我们的最佳模型在CIFAR-100上分别将正常和鲁棒精度提高了6%和1%。在Imagenette上，ImageNet的十类子集，我们的模型在正常和鲁棒准确度上分别比AT高出23%和3%。
2021-11-08 cs.CR cs.LG stat.ML
Enhancing Transformation-based Defenses using a Distribution Classifier
National University of Singapore（新加坡国立大学）；Bioinformatics Institute, A*STAR（新加坡科技研究局生物信息学研究所）；CNRS UMI 2955（法国国家科学研究中心联合实验室2955）；Singapore Eye Research Institute（新加坡眼科研究所）
对卷积神经网络（CNN）的对抗攻击已经获得了极大的关注，并且对防御机制进行了积极的研究。已经提出了随机输入变换方法，其思想是通过随机变换从对抗攻击中恢复图像，并将随机样本之间的多数投票视为共识。然而，该变换以牺牲干净图像的准确性为代价提高了对抗图像的准确性。虽然直观上清晰图像的准确性会下降，但这种情况如何发生的确切机制尚不清楚。在本文中，我们研究了softmax的分布引起的随机变换。我们观察到，通过对干净图像进行随机变换，尽管softmax分布的质量可能会转移到错误的类，但由此产生的softmax分布可以用来纠正预测。此外，在对抗对手上，通过图像变换，softmax的分布的结果形状与干净图像的分布相似。通过这些观察，我们提出了一种方法来改善现有的基于转换的防御。我们训练一个单独的轻量级分布分类器，以识别变换图像的softmax输出分布中的不同特征。我们的实证研究表明，我们的分布分类器，通过训练从干净的图像获得的分布，优于干净和对抗图像的多数投票。我们的方法是通用的，可以与现有的基于转换的防御。
2020-01-30 cs.CV cs.LG
Adversarial Machine Learning at Scale
Google Brain（谷歌大脑）；OpenAI
对抗性示例是设计用于欺骗机器学习模型的恶意输入。它们经常从一个模型转移到另一个模型，允许攻击者在不知道目标模型参数的情况下发动黑盒攻击。对抗性训练是在对抗性示例上显式训练模型的过程，以使其对攻击更具鲁棒性或减少其在干净输入上的测试错误。到目前为止，对抗训练主要应用于小问题。在这项研究中，我们将对抗训练应用于ImageNet。我们的贡献包括：（1）关于如何成功地将对抗性训练扩展到大型模型和数据集的建议，（2）观察到对抗性训练赋予单步攻击方法鲁棒性，（3）发现多步攻击方法比单步攻击方法的可转移性更低，因此单步攻击是安装黑盒攻击的最佳方法，以及（4）“标签泄漏”效应的解决方案，该效应导致对抗训练的模型在对抗示例上比在干净示例上表现得更好，因为对抗示例构建过程使用真实标签，并且模型可以学习在构建过程中利用标签。
2017-02-11 cs.CR cs.CV cs.LG
Certified Robustness to Clean-Label Poisoning Using Diffusion Denoising
本文提出一种基于扩散去噪模型的认证防御方法，用于抵御干净标签投毒攻击，在七种攻击下将成功率降至0-16%且几乎不影响测试准确率，优于现有对策。
2025-06-02 cs.CR cs.CV cs.LG
Defending Against Adversarial Attacks by Leveraging an Entire GAN
ETH Zurich（苏黎世联邦理工学院）
最近的工作表明，最先进的模型非常容易受到输入的对抗性扰动的影响。我们提出了牛仔，一种通过使用在同一数据集上训练的GAN的训练器和生成器来检测和防御对抗性攻击的方法。我们发现，在多个攻击和数据集上，对抗样本的得分始终低于真实样本。我们提供的经验证据表明，对抗样本位于GAN学习的数据流形之外。在此基础上，我们提出了一种清洗方法，该方法同时使用GAN的生成器和投影器将样本投影回数据流形。这种清理过程与分类器和攻击类型无关，因此可以部署在现有系统中。
2018-05-27 cs.LG stat.ML
Exploring Layerwise Adversarial Robustness Through the Lens of t-SNE
University of Coimbra（科英布拉大学）
本研究提出一种结合t-SNE可视化与嵌入对比指标的图像分类ANN分层对抗鲁棒性评估方法，经CIFAR-10上两类模型验证发现表征差异早期出现于特征提取层，为防御研究提供支撑。
2024-06-20 cs.AI cs.LG cs.NE
Approximate Manifold Defense Against Multiple Adversarial Perturbations
National University of Singapore（新加坡国立大学）
针对对抗攻击的现有防御通常针对特定的扰动类型进行定制。使用对抗性训练来防御多种类型的扰动，需要在每个训练步骤中使用来自不同扰动类型的昂贵的对抗性示例。相比之下，基于流形的防御采用生成网络将输入样本投影到干净的数据流形上。这种方法消除了生成昂贵的对抗性示例的需要，同时实现了对多种扰动类型的鲁棒性。然而，这种方法的成功依赖于生成网络是否能够捕获完整的干净数据流形，这对于复杂的输入域仍然是一个悬而未决的问题。在这项工作中，我们设计了一个近似流形防御机制，称为RBF-CNN，用于图像分类。我们使用RBF层来学习小图像块的密度，而不是捕获完整的数据流形。RBF-CNN还利用重建层来减轻任何微小的对抗性扰动。此外，将我们提出的重建过程用于训练提高了我们的RBF-CNN模型的对抗鲁棒性。在MNIST和CIFAR-10数据集上的实验结果表明，RBF-CNN对多种扰动具有鲁棒性，而无需昂贵的对抗训练。
2020-10-15 cs.CR cs.CV cs.LG
Robustness Meets Uncertainty: Evidential Adversarial Training for Robust Selective Classification
Multitel Research & Innovation Center, Artificial Intelligence Department（多特尔研究与创新中心，人工智能部门）；TRAIL – Trusted AI Labs（TRAIL——可信AI实验室）
研究安全关键应用中分类器的稳健性与可靠性，通过选择性分类视角探讨差距，引入统一基准，提出证据对抗训练方法，提升稳健性与不确定性权衡，优于现有对抗训练方法。
2026-07-07 cs.CV cs.LG
Fortify the Guardian, Not the Treasure: Resilient Adversarial Detectors
Ben-Gurion University of the Negev（内盖夫本-古里安大学）；DeepKeep
本文提出RADAR方法，通过对抗性再训练增强对抗性检测器对自适应攻击的鲁棒性，在CIFAR-10和SVHN上显著提升检测能力且不损失干净准确率。
2024-06-30 cs.AI cs.CV
ZeroGAR: Benchmarking the Adversarial Robustness of Zero-Shot Graph Models
针对零样本图模型在未见目标图上对抗攻击鲁棒性未知的问题，提出首个系统基准ZeroGAR，评估13个模型在8个数据集上多种攻击下的表现，发现强干净性能不保证鲁棒性，并揭示模型特定脆弱模式及防御方法失效现象。
2026-09-29 cs.AI cs.LG
Label Noise in Adversarial Training: A Novel Perspective to Study Robust Overfitting
University of California, San Diego（加州大学圣地亚哥分校）；Microsoft Research（微软研究院）
本文揭示对抗训练中标签噪声源于对抗扰动扭曲真实标签分布，并由此解释鲁棒过拟合现象，提出自动校准标签的方法，在多种模型和数据集上实现性能提升。
2023-10-13 cs.AI cs.LG stat.ML
Narrowing Class-Wise Robustness Gaps in Adversarial Training
University of Limerick（利默里克大学）；Computer Science and Information Systems（计算机科学与信息系统）
针对对抗训练存在的干净样本泛化差、类别性能失衡问题，研究发现训练中增强标注可提升对抗鲁棒性与类别均衡性，同时改善干净及对抗场景下的准确率。
2025-03-20 cs.CV cs.LG
Bypassing Backdoor Detection Algorithms in Deep Learning
National University of Singapore（新加坡国立大学）
深度学习模型容易受到对其训练数据、参数和输入样本的各种对抗性操作的影响。特别地，对手可以修改训练数据和模型参数以将后门嵌入到模型中，因此如果输入包含后门特征（被称为后门触发器（例如，图像上的印记）。然而，中毒模型在干净数据上的行为保持不变。许多检测算法被设计为通过中毒模型中敌对和干净输入样本的潜在表示之间的统计差异来检测输入样本或模型参数上的后门。在本文中，我们设计了一个对抗性后门嵌入算法，可以绕过现有的检测算法，包括最先进的技术。我们设计了一种自适应对抗训练算法，优化了模型的原始损失函数，并最大限度地提高了中毒数据和干净数据的隐藏表示的不可恢复性。这项工作要求设计的恶意感知防御机制的后门检测。
2020-06-06 cs.CR cs.LG stat.ML
