Improving Adversarial Robustness by Putting More Regularizations on Less Robust Samples
Seoul National University（首尔国立大学）
本文提出一种新的对抗训练算法，通过对易受攻击样本施加更多正则化来最小化鲁棒风险上界，从而同时提升模型泛化能力与对抗鲁棒性，达到最先进性能。
2023-06-01 cs.LG stat.ML
Improved robustness to adversarial examples using Lipschitz regularization of the loss
我们使用最坏情况对抗训练（WCAT）增强对抗训练（AT），在CIFAR-10上的$\ell_2$规范中，它将对抗鲁棒性提高了11%。我们得到可验证的平均情况下和最坏情况下的鲁棒性保证，基于期望和最大值的范数的梯度的损失。我们将对抗训练解释为总变差正则化，这是数学图像处理中的基本工具，而WCAT则是Lipschitz正则化。
2019-09-13 cs.CR cs.CV cs.LG
Average Margin Regularization for Classifiers
University of California, Berkeley（加利福尼亚大学伯克利分校）
对抗鲁棒性已经成为一个重要的研究课题，给出了深度神经网络缺乏鲁棒性的经验证明。不幸的是，最近的理论结果表明，对抗训练在分类准确性和对抗鲁棒性之间产生了严格的权衡。在本文中，我们提出并研究了一种新的正则化方法，用于任何边缘分类器或深度神经网络。我们激励这种正则化的一个新的泛化界，表现出在分类器的准确性之间的权衡最大化其利润率和平均利润率。因此，我们将我们的方法称为平均间隔（AM）正则化，它由添加到目标的线性项组成。我们从理论上表明，对于某些分布AM正则化可以提高分类器的准确性和鲁棒性的对抗攻击。我们得出结论，使用合成和真实数据的经验表明，AM正则化可以严格提高支持向量机（SVM）的准确性和鲁棒性，相对于非正则化分类器和逆向训练分类器。
2020-03-24 cs.LG stat.ML
Adversarial Attacks, Regression, and Numerical Stability Regularization
Booz Allen Hamilton（博思艾伦汉密尔顿）
在回归环境中对神经网络的对抗攻击是一个关键但尚未充分研究的问题。在这项工作中，我们通过调查对回归网络的对抗攻击，并制定一个更有效的防御这些攻击的最先进的。特别是，我们认为对抗攻击可能是由学习函数的数值不稳定性引起的。我们引入了一个稳定的诱导，正则化为基础的防御对抗攻击的回归设置。我们的新的和易于实现的防御优于以前的方法，并提高数值稳定性的学习功能。
2018-12-07 cs.CR cs.LG stat.ML
Adversarial confidence and smoothness regularizations for scalable unsupervised discriminative learning
Nanyang Technological University（南洋理工大学）
在本文中，我们认为一个通用的概率判别学习器从功能的观点，并认为，要使它学习好，有必要限制其假设空间的一组非平凡的分段常数函数。为了实现这一目标，我们提出了一个可扩展的无监督正则化框架。在理论方面，我们证明了这个框架有助于建立一个事实上自信和平滑的判别模型，并将其与对抗性禁忌游戏、谱聚类和虚拟对抗性训练联系起来。在实验中，我们将深度神经网络作为我们的学习者，并证明，当在无监督环境中在我们的框架下训练时，它们不仅可以实现最先进的聚类结果，而且可以很好地推广合成和真实数据。
2018-06-04 cs.LG stat.ML
Virtual Adversarial Training: A Regularization Method for Supervised and Semi-Supervised Learning
Preferred Networks, Inc.（首选网络公司）；Kyoto University（京都大学）；ATR Cognitive Mechanisms Laboratories（ATR认知机制实验室）；Ritsumeikan University（立命馆大学）
我们提出了一种新的正则化方法的基础上虚拟对抗损失：一个新的措施，局部光滑的条件标签分布给定的输入。虚拟对抗损失被定义为每个输入数据点周围的条件标签分布对局部扰动的鲁棒性。与对抗训练不同，我们的方法定义了没有标签信息的对抗方向，因此适用于半监督学习。因为我们平滑模型的方向只是“虚拟”对抗，我们称我们的方法为虚拟对抗训练（VAT）。增值税的计算成本相对较低。对于神经网络，虚拟对抗损失的近似梯度可以用不超过两对的前向和反向传播来计算。在我们的实验中，我们将VAT应用于多个基准数据集上的监督和半监督学习任务。通过对基于熵最小化原理的算法进行简单的增强，我们的VAT在SVHN和CIFAR-10上的半监督学习任务中实现了最先进的性能。
2018-06-27 cs.LG stat.ML
Feature Prioritization and Regularization Improve Standard Accuracy and Adversarial Robustness
Institute for Advanced Computer Studies（高级计算机研究所）；University of Maryland（马里兰大学）
对抗性训练已经成功地应用于以一定的代价构建健壮的模型。虽然模型的鲁棒性增加，但标准分类精度下降。这种现象被认为是一种内在的权衡。我们提出了一个模型，该模型采用非线性注意力模块和$L_2$特征正则化的特征优先级，以提高对抗性的鲁棒性和相对于对抗性训练的标准精度。注意力模块鼓励模型在很大程度上依赖于鲁棒特征，方法是为鲁棒特征分配更大的权重，同时抑制非鲁棒特征。正则化器鼓励模型为自然图像和对抗图像提取相似的特征，有效地忽略了增加的扰动。除了评估我们的模型的鲁棒性，我们提供了理由的注意力模块，并提出了一种新的实验策略，定量证明，我们的模型几乎是理想的突出数据特征对齐。额外的实验结果说明了我们的模型相对于最先进的方法的能力。
2019-08-12 cs.LG stat.ML
Tangent-Normal Adversarial Regularization for Semi-supervised Learning
Beijing Institute of Big Data Research（北京大数据研究院）
与标准监督学习相比，半监督学习的关键难点在于如何充分利用未标记数据。最近提出的一种方法，虚拟对抗训练（VAT），巧妙地执行对抗训练没有标签的信息，施加局部光滑的分类器，这是特别有益的半监督学习。在这项工作中，我们提出了切线常态对抗正则化（TNAR）作为VAT的扩展，考虑到数据流形。TNAR由两个互补的部分组成，正切对抗正则化（TAR）和正常对抗正则化（NAR）。在TAR中，VAT沿着数据流形的切空间应用，旨在加强分类器在流形上的局部不变性，而在NAR中，VAT在与切空间正交的法向空间上执行，旨在对分类器施加鲁棒性，以对抗导致观察数据偏离底层数据流形的噪声。在人工和实际数据集上的实验表明，我们提出的TAR和NAR相互补充，并共同优于其他最先进的半监督学习方法。
2019-03-01 cs.CV cs.LG stat.ML
Adversarially Robust Learning via Entropic Regularization
New York University（纽约大学）
在本文中，我们提出了一个新的算法族，ATENT，用于训练对抗鲁棒的深度神经网络。我们制定了一个新的损失函数，配备了额外的熵正则化。我们的损失函数考虑了对抗样本的贡献，这些样本是从数据空间中专门设计的分布中提取的，该分布将高概率分配给具有高损失的点和训练样本的近邻。我们提出的算法优化了这种损失，以寻求损失景观的对抗性强的山谷。与MNIST和CIFAR-10等基准数据集上的几种最先进的鲁棒学习方法相比，我们的方法在鲁棒分类精度方面具有竞争力（或更好）的性能。
2021-02-19 cs.CV cs.LG stat.ML
Lipschitz regularized Deep Neural Networks generalize and are adversarially robust
McGill University（麦吉尔大学）；University of Minnesota（明尼苏达大学）
在这项工作中，我们研究了深度神经网络的输入梯度正则化，并证明了这种正则化导致泛化证明和提高对抗鲁棒性。推广的证明并没有克服维数灾难，但它与网络中的层数无关。对抗性鲁棒性正则化结合了对抗性训练，我们证明它等价于总变差正则化和Lipschitz正则化。我们的经验表明，正则化模型是更强大的，图像的梯度范数可以用于攻击检测。
2019-09-12 cs.LG cs.NA math.NA
Boosting Adversarial Robustness From The Perspective of Effective Margin Regularization
City University of Hong Kong（香港城市大学）
深度神经网络（DNN）的对抗性脆弱性在过去几年中得到了积极的研究。本文研究了分类任务中最常用的损失函数交叉熵损失的尺度变化特性，及其对深度神经网络的有效裕度和对抗鲁棒性的影响。由于损失函数对logit标度不是不变的，增加有效权范数将使损失趋近于零，其梯度为零，而有效裕度没有充分地最大化。在典型的DNN上，我们证明了，如果没有适当的正则化，标准训练不会学习大的有效裕度，并导致对抗性脆弱性。为了最大限度地提高有效边界并学习一个强大的DNN，我们建议在训练过程中正则化有效权重范数。我们对前馈DNN的实证研究表明，所提出的有效边缘正则化（EMR）学习了大的有效边缘，并在标准和对抗训练中提高了对抗鲁棒性。在大规模模型上，我们证明了EMR的性能优于基本对抗训练、TRADES和两个正则化基线，并有了实质性的改进。此外，当与几种强大的对抗性防御方法（MART和MAIL）相结合时，我们的EMR进一步增强了鲁棒性。
2022-10-11 cs.CV cs.LG stat.ML
Improved Adversarial Robustness via Logit Regularization Methods
University of Auckland（奥克兰大学）
虽然在使神经网络有效地处理各种视觉任务方面取得了很大进展，但大多数模型都非常脆弱。这种脆弱性表现为对输入的小的、精心选择的扰动，称为对抗性示例，这代表了野外学习视觉模型的安全威胁--在计算机视觉的安全关键型应用中，应该负责任地防御这种威胁。在本文中，我们倡导并实验性地研究了使用一系列logit正则化技术作为对抗性防御，该技术可以与其他方法结合使用，以很少或没有边际成本的方式创建对抗性鲁棒性。我们还证明了最近的一种对抗性防御机制的有效性实际上可以归因于logit正则化，并展示了如何提高其对白盒和黑盒攻击的防御能力，在此过程中创建更强大的黑盒攻击。我们在三个数据集上验证了我们的方法，包括无梯度攻击和基于梯度的迭代攻击的结果，这些攻击多达1,000步。
2019-06-10 cs.CR cs.LG stat.ML
Unifying Adversarial Training Algorithms with Flexible Deep Data Gradient Regularization
The Pennsylvania State University（宾夕法尼亚州立大学）
许多以前针对深度神经网络对抗训练的建议包括直接修改梯度，在原始和对抗样本的混合上进行训练，使用收缩惩罚，以及近似优化约束对抗目标函数。在本文中，我们展示了这些建议实际上都是优化一个通用的正则化目标的实例，我们称之为DataGrad。我们提出的DataGrad框架可以被视为逐层压缩自动编码器惩罚的深度扩展，它干净地简化了先前的工作，并轻松地允许扩展，例如具有多任务提示的对抗训练。在我们的实验中，我们发现DataGrad的深度梯度正则化（也有L1和L2正则化）在原始数据集和对抗集上的性能优于其他正则化形式，包括经典的L1，L2和多任务。此外，我们发现将多任务优化与DataGrad对抗训练相结合可以获得最强大的性能。
2016-07-29 cs.LG cs.NE
Kernel Learning with Adversarial Features: Numerical Efficiency and Adaptive Regularization
Uppsala University（乌普萨拉大学）；PSL Research University / INRIA（巴黎-萨克雷研究大学 / INRIA）
本文提出在再生核希尔伯特空间中将对抗扰动从输入转移到特征空间，实现内层最大化精确求解，并基于迭代核岭回归提出高效优化算法，同时提供泛化界并扩展到多核学习，在干净与对抗环境下均表现良好。
2025-10-23 cs.CR cs.LG math.OC
Consistency Regularization for Generative Adversarial Networks
Google Research（谷歌研究院）
生成对抗网络（GANs）是已知的，是难以训练，尽管相当大的研究工作。已经提出了几种用于稳定训练的正则化技术，但它们引入了非平凡的计算开销，并且与谱归一化等现有技术的交互性很差。在这项工作中，我们提出了一个简单，有效的训练稳定器的一致性正则化的概念-一个流行的技术在半监督学习文献的基础上。特别是，我们增加了传入GAN的数据，并惩罚了GAN对这些增强的敏感性。我们进行了一系列的实验，以证明一致性正则化有效地与频谱归一化和各种GAN架构，损失函数和优化器设置。与CIFAR-10和CelebA上的其他正则化方法相比，我们的方法实现了无条件图像生成的最佳FID分数。此外，我们的一致性正则化GAN（CR-GAN）将CIFAR-10上的条件生成的最先进FID分数从14.73提高到11.48，并在ImageNet-2012上从8.73提高到6.66。
2020-02-18 cs.CV cs.LG stat.ML
Adversarially Robust Models may not Transfer Better: Sufficient Conditions for Domain Transferability from the View of Regularization
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
机器学习（ML）的鲁棒性和领域泛化从根本上是相关的：它们本质上分别涉及对抗和自然环境下的数据分布偏移。一方面，最近的研究表明，更强大的（对抗性训练）模型更具泛化性。另一方面，对它们的基本联系缺乏理论上的理解。在本文中，我们探讨正则化和域可转移性之间的关系，考虑不同的因素，如范数正则化和数据增强（DA）。我们提出了一个一般的理论框架，证明涉及模型函数类正则化的因素是相对域可转移性的充分条件。我们的分析表明，“鲁棒性”对于可转移性来说既不是必要的，也不是充分的;相反，正则化是理解域可转移性的一个更基本的视角。然后，我们讨论了流行的DA协议（包括对抗训练），并展示了在某些条件下，它们何时可以被视为函数类正则化，从而提高泛化能力。我们进行了大量的实验来验证我们的理论研究结果，并显示了几个反例，其中鲁棒性和泛化在不同的数据集上呈负相关。
2022-06-23 cs.LG
Towards Understanding the Regularization of Adversarial Robustness on Neural Networks
South China University of Technology（华南理工大学）；Pazhou Lab（琶洲实验室）
对抗性例子的问题表明，现代神经网络（NN）模型可能相当脆弱。在解决该问题的更成熟的技术中，一种是要求模型是{ \it $ε$ -adversarially robust}（AR）;也就是说，要求模型在任何给定的输入示例在一定范围内扰动时不改变预测标签。然而，观察到这样的方法将导致标准性能下降，即，自然界的例子。在这项工作中，我们通过正则化的角度来研究退化。我们从NN的泛化分析中识别出数量;通过识别出的数量，我们根据经验发现，AR是通过使大多数层的特征空间（由实例空间的变化引起的）的变化在所有方向上均匀平滑来正则化/偏置NN，从而实现的。扰动然而，这种平滑的最终结果将样本集中在决策边界周围，导致置信度较低的解决方案，并导致更差的标准性能。我们的研究表明，人们可以考虑以更温和的方式将AR构建到NN中，以避免有问题的正则化。
2020-11-15 cs.LG stat.ML
Consistency Regularization with Generative Adversarial Networks for Semi-Supervised Learning
North Carolina State University（北卡罗来纳州立大学）
基于生成对抗网络（GANs）的半监督学习（SSL）方法通过利用大量未标记样本和有限的标记样本来提高分类性能。然而，它们的性能仍然落后于最先进的基于非GAN的SSL方法。我们确定，这是因为缺乏一致性的类概率预测在同一图像下局部扰动的主要原因。根据一般文献，我们通过标签一致性正则化来解决这个问题，该正则化强制输入图像的类概率预测在各种语义保持扰动下保持不变。在这项工作中，我们将一致性正则化引入到vanilla semi-GAN中，以解决这一关键限制。特别是，我们提出了一种新的复合一致性正则化方法，在精神上，利用局部一致性和插值一致性。我们证明了我们的方法在两个SSL图像分类基准数据集SVHN和CIFAR-10上的有效性。我们的实验表明，这种新的基于复合一致性正则化的半GAN显着提高了其性能，并在基于GAN的SSL方法中实现了新的最先进的性能。
2020-09-15 cs.CV cs.LG stat.ML
Label Smoothing and Logit Squeezing: A Replacement for Adversarial Training?
University of Maryland（马里兰大学）
对抗性训练是对抗对抗攻击的最强防御之一，但它需要在优化过程中为每个小批生成对抗性示例。在训练过程中生成这些示例的费用通常会使对抗训练无法用于复杂的图像数据集。在这项研究中，我们探索了对抗性训练提高分类器鲁棒性的机制，并表明这些机制可以使用简单的正则化方法有效地模仿，包括标签平滑和logit挤压。值得注意的是，使用这些简单的正则化方法与高斯噪声注入相结合，我们能够实现强大的对抗鲁棒性-通常超过对抗训练-不使用对抗示例。
2019-10-25 cs.LG stat.ML
GradDiv: Adversarial Robustness of Randomized Neural Networks via Gradient Diversity Regularization
Seoul National University（首尔国立大学）
深度学习容易受到对抗性样本的影响。许多基于随机神经网络的防御方法已经被提出来解决这个问题，但未能实现对使用代理梯度的攻击的鲁棒性，例如变换期望（EOT）攻击。我们研究了使用代理梯度的对抗攻击对随机神经网络的影响，并证明了它高度依赖于随机神经网络的损失梯度的方向分布。我们特别表明，代理梯度是不太有效的梯度时，更分散。为此，我们提出了梯度多样性（GradDiv）正则化，最大限度地减少梯度的浓度，以建立一个强大的随机神经网络。我们在MNIST，CIFAR10和STL 10上的实验表明，我们提出的GradDiv正则化提高了随机神经网络对各种最先进的攻击方法的对抗鲁棒性。此外，我们的方法有效地减少了随机神经网络样本模型之间的可移植性。
2021-07-06 cs.LG
On the Effect of Low-Rank Weights on Adversarial Robustness of Neural Networks
RWTH Aachen University（亚琛工业大学）
最近，有大量关于设计深度神经网络（DNN）的工作，这些网络对对抗性示例具有鲁棒性。特别是，一个中心问题是DNN的哪些特征会影响对抗鲁棒性，因此可以用于设计鲁棒的DNN。在这项工作中，这个问题是研究通过镜头的压缩，这是由低秩结构的权重矩阵。首先证明了对抗性训练倾向于同时促进神经网络权值矩阵的低秩和稀疏结构。这是通过有效秩和有效稀疏度的概念来衡量的。在相反的方向上，当低秩结构通过核范数正则化提升并与稀疏诱导正则化相结合时，神经网络表现出显著提高的对抗鲁棒性。当核范数正则化应用于卷积神经网络时，它对对抗鲁棒性的影响是至关重要的。虽然仍然没有与对抗训练竞争，但这一结果有助于理解鲁棒分类器的关键属性。
2021-10-06 cs.LG stat.ML
Regularization with Latent Space Virtual Adversarial Training
Philips Co-Creation Center（飞利浦共创中心）；University of Tsukuba（筑波大学）；I Dragon Corporation（I Dragon公司）；The Tokyo Foundation for Policy Research（东京政策研究基金会）；Lowe’s Services India Pvt. Ltd.（劳氏印度服务私人有限公司）
虚拟对抗训练（VAT）在最近开发的正则化方法（称为一致性正则化）中显示出令人印象深刻的结果。VAT利用对抗样本，通过在输入空间中注入扰动生成，用于训练，从而增强分类器的泛化能力。然而，这样的对抗样本只能在输入数据点周围的非常小的区域内生成，这限制了这样的样本的对抗有效性。为了解决这个问题，我们提出了LVAT（潜在空间增值税），它注入扰动的潜在空间，而不是输入空间。LVAT可以灵活地生成对抗样本，从而产生更多的不利影响，从而更有效地进行正则化。潜在空间是由生成模型构建的，在本文中，我们研究了两种不同类型的模型：变分自动编码器和归一化流，特别是Glow。我们使用SVHN和CIFAR-10数据集评估了我们的方法在图像分类任务的监督和半监督学习场景中的性能。在我们的评估中，我们发现我们的方法优于VAT和其他最先进的方法。
2022-12-24 cs.CV cs.LG
Improving Adversarial Robustness with Hypersphere Embedding and Angular-based Regularizations
Iowa State University（爱荷华州立大学）
对抗训练（AT）方法已被发现有效对抗对深度神经网络的对抗攻击。已经提出了AT的许多变体以提高其性能。Pang等人。[1]最近表明，将超球嵌入（HE）纳入现有的AT过程中可以增强鲁棒性。我们观察到，现有的AT程序不是为HE框架设计的，因此无法充分学习HE框架中可用的角度判别信息。在本文中，我们建议将他整合到AT与正则化项，利用丰富的角度信息，在他的框架。具体来说，我们的方法，称为angular-AT，增加了正则化条款AT显式地执行权重特征紧凑性和类间分离;所有表示的角度特征。实验结果表明，angular-AT进一步提高了对抗鲁棒性。
2023-03-15 cs.AI cs.CV cs.LG
Improving DNN Robustness to Adversarial Attacks using Jacobian Regularization
Tel Aviv University（特拉维夫大学）
深度神经网络最近在包括视觉和语音处理任务在内的各种应用中表现出了巨大的性能。然而，除了它们能够以如此高的准确度执行这些任务之外，已经表明它们非常容易受到对抗攻击的影响：输入的微小变化会导致网络在高置信度下出错。这种现象暴露了这些网络的固有缺陷及其良好的泛化能力。因此，为对抗攻击提供鲁棒性是网络训练中的一个重要挑战，这导致了广泛的研究。在这项工作中，我们提出了一种理论启发的新方法来提高网络的鲁棒性。我们的方法使用网络雅可比矩阵的Frobenius范数进行正则化，在常规训练完成后，将其用作后处理。我们的经验表明，它会导致增强的鲁棒性的结果与原始网络的准确性的最小变化。
2019-05-28 cs.CR cs.CV cs.LG
Standard-Deviation-Inspired Regularization for Improving Adversarial Robustness
Iowa State University（爱荷华州立大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出受标准差启发的正则化项 SDI，将其与现有对抗训练方法结合，以提升深度神经网络对 CW 和 Auto-attack 等更强攻击的鲁棒性与泛化能力。
2024-12-27 cs.AI cs.CR cs.CV
Beyond Empirical Risk Minimization: Local Structure Preserving Regularization for Improving Adversarial Robustness
Northwestern University（西北大学）；Peking University（北京大学）
众所周知，深度神经网络很容易被具有人类无法感知的扰动的对抗性示例所愚弄。已经提出了各种防御方法来提高对抗鲁棒性，其中对抗训练方法是最有效的。然而，这些方法大多独立地处理训练样本，并且需要大量的样本来训练鲁棒网络，而忽略了这些样本之间的潜在结构信息。在这项工作中，我们提出了一种新的局部结构保持（LSP）正则化，其目的是保持学习的嵌入空间中的输入空间的局部结构。以这种方式，可以减轻位于干净样本附近的对抗样本的攻击效果。我们展示了强有力的经验证据，无论是否有对抗训练，与基线和一些最先进的方法相比，我们的方法在几个图像分类数据集上始终提高了对抗鲁棒性的性能，从而为未来的研究提供了有希望的方向。
2023-03-29 cs.CR cs.CV cs.LG
Adversarial robustness via stochastic regularization of neural activation sensitivity
Ben-Gurion university of the Negev（内盖夫本-古里安大学）
最近的研究表明，任何机器学习分类器的输入域都必然包含对抗性示例。因此，我们不能再指望免疫分类器来对抗性样本，而只能实现以下两个防御目标：1）使对抗性样本更难找到，或者2）通过将它们推离正确分类的数据点来削弱它们的对抗性。大多数（如果不是所有的话）先前提出的防御机制只关注这两个目标中的一个，因此，可以被考虑防御机制的自适应攻击绕过。在这项工作中，我们提出了一种新的防御机制，同时解决了这两个防御目标：我们使用一种新的随机正则化项，显式降低了单个神经元对小输入扰动的敏感性，从而使损失表面的梯度变平，使对抗性样本更难找到。此外，我们通过利用雅可比正则化将决策边界推离正确分类的输入。我们提出了一个坚实的理论基础和我们建议的方法的实证测试，证明了它的优越性比以前提出的防御机制，并表明它是有效的对广泛的自适应攻击。
2020-09-23 cs.LG cs.NE
Understanding and Combating Robust Overfitting via Input Loss Landscape Analysis and Regularization
对抗性训练被广泛用于提高深度神经网络对对抗攻击的鲁棒性。然而，对抗性训练很容易出现过拟合，原因还远不清楚。这项工作通过分析损失景观w.r.t.揭示了过度拟合的机制。输入.我们发现，鲁棒的过拟合来自标准训练，特别是最小化干净的损失，并且可以通过损失梯度的正则化来减轻。此外，我们发现，鲁棒过拟合在对抗训练过程中变得更加复杂，部分原因是由于损失景观曲率的增加，对抗训练的梯度正则化效果变得更弱。为了提高鲁棒泛化能力，我们提出了一种新的正则化器，通过惩罚沿对抗方向的加权logits变化来平滑损失景观。我们的方法显着减轻鲁棒过拟合，并实现了最高的鲁棒性和效率相比，类似的以前的方法。代码可在https://github.com/TreeLLi/Combating-RO-AdvLC上获得。
2022-12-09 cs.LG
Consistency Regularization for Adversarial Robustness
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；AITRICS
对抗训练（AT）是目前获得深度神经网络对抗鲁棒性的最成功方法之一。然而，鲁棒过拟合现象，即，在AT期间鲁棒性开始显著降低，这是有问题的，不仅使从业者考虑一袋技巧来成功训练，例如，早期停止，但也会导致鲁棒性的显著泛化差距。在本文中，我们提出了一个有效的正则化技术，防止强大的过拟合优化辅助“一致性”正则化损失在AT。具体来说，我们发现，数据增强是一个非常有效的工具，以减轻过拟合AT，并开发了一个正则化，迫使预测分布攻击后，从两个不同的扩增相同的实例是彼此相似。我们的实验结果表明，这样一个简单的正则化技术带来了显着的改善，在测试中的鲁棒性的准确性范围广泛的AT方法。更值得注意的是，我们还表明，我们的方法可以显着帮助模型推广其对看不见的对手的鲁棒性，例如，其他类型或与训练期间使用的扰动相比更大的扰动。代码可在https://github.com/alinlab/consistency-adversarial上获得。
2021-12-22 cs.AI cs.LG
Alleviating Robust Overfitting of Adversarial Training With Consistency Regularization
Xidian University（西安电子科技大学）；Nanyang Technological University（南洋理工大学）
对抗性训练（AT）已被证明是保护深度神经网络（DNN）免受对抗攻击的最有效方法之一。然而，鲁棒过拟合现象，即，鲁棒性在某个阶段会急剧下降，在AT期间始终存在。为了获得一个鲁棒的模型，减小这种鲁棒的推广差距是非常重要的。本文从一个新的角度对鲁棒过拟合问题进行了深入的研究。我们观察到，一致性正则化，半监督学习中的一种流行技术，具有与AT相似的目标，并且可以用于减轻鲁棒过拟合。我们经验验证了这一观察，并发现大多数先前的解决方案有隐式连接到一致性正则化。基于此，我们引入了一个新的AT解决方案，它集成了一致性正则化和平均教师（MT）策略到AT。具体来说，我们引入了一个教师模型，它来自于学生模型在训练步骤中的平均权重。然后，我们设计了一个一致性损失函数，使学生模型在对抗样本上的预测分布与教师模型在干净样本上的预测分布一致。实验结果表明，该方法能有效抑制过拟合，提高DNN模型对常见对抗攻击的鲁棒性.
2022-05-24 cs.CV cs.LG
IBP Regularization for Verified Adversarial Robustness via Branch-and-Bound
University of Oxford（牛津大学）；DeepMind（深度思维）；Google Brain（谷歌大脑）
本文提出IBP-R训练算法，通过扩大域对抗攻击与区间边界传播正则化相结合提升网络可验证性，在CIFAR-10上取得最先进的验证鲁棒性-准确率权衡，并提出基于β-CROWN启发式的UPB分支策略以降低分支定界成本。
2023-05-31 cs.CR cs.LG stat.ML
Understanding Overfitting in Adversarial Training via Kernel Regression
本文在再生核希尔伯特空间中建立对抗训练与噪声数据增强的极限公式，证明缺乏适当正则化时二者比标准核回归更易过拟合，而适当正则化可使其获得更小的泛化误差和Lipschitz常数。
2023-04-19 cs.LG math.ST stat.ML
Robustness via curvature regularization, and vice versa
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；DeepMind（深度思维）
最先进的分类器已被证明在很大程度上容易受到对抗性扰动的影响。提高鲁棒性最有效的策略之一是对抗训练。在本文中，我们研究了对抗训练对分类景观和决策边界几何形状的影响。我们特别指出，对抗性训练会导致损失曲面相对于输入的曲率显著降低，从而导致网络的“线性”行为大幅增加。使用局部二次近似，我们提供了理论证据大的鲁棒性和小曲率之间的强关系的存在。为了进一步证明减少曲率对于提高鲁棒性的重要性，我们提出了一种新的正则化器，它直接最小化损失曲面的曲率，并导致与对抗训练相当的对抗鲁棒性。除了是对抗训练的更有效和更有原则的替代方案外，所提出的正则化器还证实了我们关于在数据点附近表现出准线性行为以实现鲁棒性的重要性的主张。
2018-11-23 cs.CV cs.LG stat.ML
On the Geometry of Regularization in Adversarial Training: High-Dimensional Asymptotics and Generalization Bounds
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院（EPFL））；Center for Data Science, New York University（纽约大学数据科学中心）；École Normale Supérieure - PSL（巴黎高等师范学院-PSL大学）；CNRS（法国国家科学研究中心）；Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；FAIR, META（元公司FAIR研究院）
本文在高维二分类对抗训练中研究正则化范数的最优选择，推导了鲁棒经验风险最小化器的精确渐近描述与Rademacher复杂度界，并定量揭示了数据稀缺时扰动越大正则化类型越重要的规律。
2024-10-21 cond-mat.dis-nn cs.LG math.ST
Enhancing Adversarial Robustness in Network Intrusion Detection: A Layer-wise Adaptive Regularization Approach
National Cyber Security Academy (NCSA)（国家安全学院（NCSA））；Air University（空军大学）；School of Science（科学学院）
本文提出LARAR方法，通过分层漏洞分析和自适应加权提升网络入侵检测系统对抗鲁棒性，实现95.01%的准确率并有效防御FGSM、PGD等攻击。
2026-05-09 cs.CR cs.LG
Invariance-inducing regularization using worst-case transformations suffices to boost accuracy and spatial robustness
Institute for Theoretical Studies（理论研究所）；Stanford University（斯坦福大学）；ETH Zurich（苏黎世联邦理工学院）
这项工作提供了理论和经验证据，不变性诱导正则化可以提高最坏情况下的空间变换（空间鲁棒性）的预测精度。通过对这些对抗性变换的示例进行评估，我们证明了在标准或对抗性训练之上添加正则化可以将CIFAR10的相对误差降低20%，而不会增加计算成本。这优于那些被明确设计为空间等变的手工网络。此外，我们观察到SVHN，已知具有固有的方向方差，鲁棒训练也提高了测试集的标准准确度。我们证明了这种无权衡现象适用于无限数据极限下变换群的对抗性例子。
2019-06-26 cs.CV cs.LG stat.ML
Regularizing Neural Networks via Adversarial Model Perturbation
Beihang University（北京航空航天大学）；University of Ottawa（渥太华大学）
在深度学习中，非常需要有效的正则化技术来减轻过拟合并提高泛化能力。这项工作提出了一个新的正则化方案，基于这样的理解，即经验风险的平坦局部极小值导致模型更好地泛化。该方案被称为对抗模型扰动（AMP），其中不是直接最小化经验风险，而是通过SGD最小化替代"AMP损失"。具体地说，AMP损失是通过在参数空间中的每个点上应用"最差"范数有界扰动从经验风险中获得的。与大多数现有的正则化方案相比，AMP有很强的理论依据，因为最小化AMP损失在理论上可以证明有利于经验风险的平坦局部最小值。在各种现代深度架构上进行的大量实验使AMP成为正则化方案中最新的技术水平。我们的代码可在www.example.com上获得。
2021-05-07 cs.AI cs.LG stat.ML
Boosting Adversarial Training via Fisher-Rao Norm-based Regularization
University of Liverpool（利物浦大学）
本文利用Fisher-Rao范数分析模型复杂度并提出LOAT正则化框架，有效缓解了对抗训练中鲁棒性与准确性的权衡问题，显著提升了多种主流算法的性能。
2024-03-26 cs.CV cs.LG
Rethinking Invariance Regularization in Adversarial Training to Improve Robustness-Accuracy Trade-off
The University of Tokyo（东京大学）；National Institute of Informatics（日本信息处理学会）
针对对抗训练中不变性正则化导致的梯度冲突与混合分布问题，本文提出ARAT，通过非对称不变性损失、停止梯度、预测器和split-BN改善鲁棒性-准确率权衡。
2025-08-28 cs.AI cs.LG
Towards Adversarially Robust Dataset Distillation by Curvature Regularization
University of Toronto（多伦多大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文探索数据集蒸馏的新视角，提出通过在蒸馏过程中引入曲率正则化来嵌入对抗鲁棒性，使模型在保持高准确率的同时获得更好鲁棒性，且计算开销低于标准对抗训练。
2025-04-04 cs.CV cs.LG
Constraining Logits by Bounded Function for Adversarial Robustness
NTT Software Innovation Center（NTT软件创新中心）；NTT Secure Platform Laboratories（NTT安全平台实验室）；Kyoto University（京都大学）
我们提出了一种通过在softmax之前添加一个新的有界函数来提高对抗鲁棒性的方法。最近的研究假设通过logit正则化的小logits（softmax的输入）可以提高深度学习的对抗鲁棒性。根据这一假设，我们分析了范数的logit向量在最佳点的假设下的普遍逼近，并探索新的方法来约束logits的softmax之前添加一个有界函数。我们从理论上和经验上揭示，通过添加一个共同的激活函数，例如，双曲正切不能提高对抗鲁棒性，因为函数的输入向量（pre-logit向量）可以具有大的范数。从理论上，我们开发了新的有界函数。我们的函数的增加提高了对抗鲁棒性，因为它使logit和pre-logit向量具有较小的范数。由于我们的方法只在softmax之前添加了一个激活函数，因此很容易将我们的方法与对抗训练结合起来。我们的实验表明，我们的方法在没有对抗训练的对抗扰动数据集上的准确性方面与logit正则化方法相当。此外，在使用对抗训练时，它优于或可与logit正则化方法和最近的防御方法（TRADES）相媲美。
2020-10-06 cs.AI cs.LG stat.ML
Robust Learning with Frequency Domain Regularization
Central University of Finance and Economics（中央财经大学）
卷积神经网络在计算视觉的许多任务中取得了显著的性能。然而，CNN倾向于偏向低频分量。他们优先捕获低频模式，这导致他们在遭受应用场景转换时失败。而对抗性的例子意味着该模型对高频扰动非常敏感。在本文中，我们介绍了一种新的正则化方法，通过约束的频率谱的滤波器的模型。与带限训练方法不同，该方法考虑了有效频率范围可能在不同的层中纠缠而不是连续的，并通过反向传播对有效频率范围进行端到端的训练。我们证明了我们的正则化的有效性：（1）防御对抗性扰动;（2）减少不同体系结构中的泛化差距;（3）在没有微调的情况下提高迁移学习的泛化能力。
2020-07-07 cs.LG stat.ML
D2R: dual regularization loss with collaborative adversarial generation for model robustness
Newcastle University（新castle大学）；University of Southampton（南安普顿大学）；Technical University of Ostrava（奥斯特拉大学）
针对协同对抗训练中损失引导不足与对抗样本生成不协同的问题，提出D2R双重正则化损失与CAG协同生成策略，并在多个基准和模型上验证其可显著提升鲁棒性。
2025-06-08 cs.CR cs.CV cs.LG
Robustness Cannot be Reduced to Regularization: Studying Adversarial Training Beyond the Linear Case
Université Paris Dauphine PSL Research University（巴黎多芬纳大学PSL研究大学）；Sorbonne Université LPSM, UMR 8001（索邦大学LPSM, UMR 8001）
本文证明两层网络中对抗风险无法等价于任何简单正则化风险，并通过实验表明深层架构中同样存在这种不可简化性。
2026-06-23 cs.LG
Adversarial Robustness via Fisher-Rao Regularization
McGill University（麦吉尔大学）；ETS Montreal（蒙特利尔高等技术学院）；Université Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）；International Laboratory on Learning Systems（国际学习系统实验室）
对抗鲁棒性已经成为机器学习中越来越感兴趣的话题，因为人们观察到神经网络往往是脆弱的。我们提出了一种对抗性防御的信息几何公式，并引入了FIRE，这是一种新的Fisher-Rao正则化，用于分类交叉熵损失，它基于对应于自然和扰动输入特征的softmax输出之间的测地线距离。基于softmax分布类的信息几何性质，我们导出了二进制和多类情况下Fisher-Rao距离（FRD）的显式表征，并绘制了一些有趣的性质以及与标准正则化度量的联系。此外，对于一个简单的线性和高斯模型，我们表明，所有的帕累托最优点的准确性鲁棒性区域可以达到消防，而其他国家的最先进的方法失败。从经验上讲，我们评估了在标准数据集上使用所提出的损失训练的各种分类器的性能，在干净和鲁棒性能方面同时显示出高达1%的改进，同时比性能最好的方法减少了20%的训练时间。
2022-06-13 cs.CV cs.LG
Homogenization of $\ell_2$-Adversarial Training in High-Dimensions: Exact Dynamics under Stochastic Gradient Descent
针对高斯混合模型上的单指标模型，在流式SGD下推导$\ell_2$-对抗训练学习动力学的确定性等价，分析两种学习率调度，揭示各向异性协方差和岭参数不匹配导致精确线搜索次优。
2026-07-02 cs.LG math.OC math.PR
Disentangled Deep Autoencoding Regularization for Robust Image Classification
Shanghai Jiao Tong University（上海交通大学）；NEC Labs America - Princeton（美国电气通信技术公司美国研究院 - 普林斯顿）；Princeton University（普林斯顿大学）
尽管在机器学习方面取得了革命性的成功，但最近发现深度卷积神经网络容易受到对抗攻击的攻击，并且难以推广到具有相当大的几何变换的新测试图像。受最近神经科学发现的启发，揭示了灵长类动物的大脑使用解纠缠的形状和外观表示进行对象识别，我们提出了一个通用的解纠缠的深度自编码正则化框架，可以很容易地应用于任何基于深度嵌入的分类模型，以提高深度神经网络的鲁棒性。我们的框架有效地学习了解纠缠的外观代码和几何代码，用于鲁棒的图像分类，这是第一个基于解纠缠的方法防御对抗攻击，并补充标准的防御方法。在几个基准数据集上的大量实验表明，我们提出的正则化框架利用解纠缠嵌入显著优于传统的非正则化卷积神经网络用于图像分类，对对抗攻击和推广到新的测试数据的鲁棒性。
2019-02-27 cs.CV cs.LG stat.ML
Improving Interpretability via Regularization of Neural Activation Sensitivity
Ben-Gurion University of the Negev（本-古里安大学）
最先进的深度神经网络（DNN）在处理许多现实任务方面非常有效。然而，它们在关键任务环境中的广泛采用受到两个主要弱点的阻碍-它们对对抗攻击的敏感性和它们的不透明性。前者引起了人们对DNN在现实世界条件下的安全性和通用性的担忧，而后者则阻碍了用户对其输出的信任。在这项研究中，我们（1）研究了对抗鲁棒性对可解释性的影响，（2）提出了一种新的方法来提高DNN的可解释性，该方法基于神经激活敏感性的正则化。我们评估了使用我们的方法训练的模型与使用最先进的对抗鲁棒性技术训练的标准模型和模型的可解释性。我们的研究结果表明，对抗鲁棒模型优于标准模型，使用我们提出的方法训练的模型在可解释性方面甚至优于对抗鲁棒模型。
2022-11-16 cs.CR cs.CV cs.LG
A Regularization Method to Improve Adversarial Robustness of Neural Networks for ECG Signal Classification
University of Miami（迈阿密大学）
心电图（ECG）是最广泛使用的监测人类心脏状况的诊断工具。通过使用深度神经网络（DNN），ECG信号的解释可以完全自动化，以便在几分之一秒内识别患者心脏中的潜在异常。研究表明，给定足够大的训练数据量，用于ECG分类的DNN准确性可以达到人类专家心脏病专家水平。然而，尽管DNN在分类准确性方面表现出色，但DNN非常容易受到对抗性噪声的影响，这些噪声是DNN输入中的细微变化，并可能导致错误的类别标签预测。提高DNN对对抗性噪声的鲁棒性是具有挑战性和必要性的，对抗性噪声对生命至关重要的应用构成威胁。在这项工作中，我们提出了一种正则化方法，以提高DNN的鲁棒性的噪声信号比（NSR）的角度为ECG信号分类的应用。我们在PhysioNet MIT-BIH数据集和CPSC 2018 ECG数据集上评估了我们的方法，结果表明，我们的方法可以大大增强DNN对对抗攻击产生的对抗性噪声的鲁棒性，并且在干净数据上的准确性变化最小。
2022-03-15 cs.AI cs.CV cs.LG
Jacobian Norm with Selective Input Gradient Regularization for Improved and Interpretable Adversarial Defense
Anhui University（安徽大学）；The University of Western Australia（西澳大学）；Swansea University（斯旺西大学）
众所周知，深度神经网络（DNN）易受对抗性样本的攻击，这些样本是用不可感知的扰动制作的，即，输入图像中的小变化可引起错误分类，并因此威胁基于深度学习的部署系统的可靠性。对抗训练（AT）通常通过训练损坏和干净数据的混合来提高鲁棒性。然而，大多数基于AT的方法在处理转移的对抗性示例时是无效的，这些示例是为了欺骗广泛的防御模型而生成的，因此不能满足现实世界场景中提出的泛化要求。此外，对抗性地训练防御模型通常不能对具有扰动的输入产生可解释的预测，而不同领域的专家需要高度可解释的鲁棒模型来理解DNN的行为。在这项工作中，我们提出了一种新的方法的基础上雅可比范数和选择性输入梯度正则化（J-SIGR），它建议通过雅可比规范化的线性化的鲁棒性，也正则化的扰动为基础的显着性映射来模仿模型的可解释的预测。因此，我们实现了DNN的改进防御和高可解释性。最后，我们评估我们的方法在不同的架构对强大的对抗攻击。实验表明，所提出的J-SIGR赋予改进的鲁棒性对转移对抗攻击，我们也表明，从神经网络的预测是很容易解释。
2022-11-14 cs.AI cs.CR cs.LG
Survival Analysis with Adversarial Regularization
Electrical and Computer Engineering（电气与计算机工程）；Northeastern University（东北大学）
针对数据不确定性降低神经网络生存分析模型性能的问题，提出基于最小-最大优化、结合CROWN-IBP的对抗鲁棒损失方法SAWAR，在10个数据集上多指标优于基线与SOTA模型，泛化能力最高提升150%。
2025-09-05 cs.AI cs.LG stat.AP
Eliminating Catastrophic Overfitting Via Abnormal Adversarial Examples Regularization
Sydney AI Centre, The University of Sydney（悉尼大学悉尼人工智能中心）
针对单步对抗训练中存在的灾难性过拟合问题，本研究发现异常对抗样本与分类器扭曲密切相关，提出异常对抗样本正则化方法，可在低计算开销下有效消除灾难性过拟合并提升对抗鲁棒性。
2024-09-14 cs.LG
Towards Rapid and Robust Adversarial Training with One-Step Attacks
Friedrich-Alexander Universität Erlangen-Nürnberg (FAU)（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
对抗性训练是提高神经网络对对抗攻击鲁棒性的最成功的经验方法。然而，最有效的方法，如使用投影梯度下降（PGD）进行训练，都伴随着高计算复杂性。在本文中，我们提出了两个想法，结合使用计算成本较低的快速梯度符号方法（FGSM）进行对抗训练。首先，我们将均匀噪声添加到FGSM攻击的初始数据点，这会产生更广泛的对手，从而禁止过拟合到一个特定的扰动范围。此外，我们在神经网络之前添加了一个可学习的正则化步骤，我们称之为像素噪声注入层（PNIL）。通过PNIL传播的输入从学习的高斯分布中重新采样。由PNIL诱导的正则化防止模型学习模糊其梯度，这是阻碍先前方法成功应用对抗训练的一步方法的一个因素。我们表明，噪声注入与基于FGSM的对抗训练相结合，可以获得与PGD对抗训练相当的结果，同时速度要快得多。此外，通过结合噪声注入和PNIL，我们的性能优于基于PGD的对抗训练。
2020-03-17 cs.LG stat.ML
Improving Resistance to Adversarial Deformations by Regularizing Gradients
University of Science and Technology of China（中国科学技术大学）
提高深度神经网络对对抗攻击的抵抗力对于将模型部署到现实应用中非常重要。然而，大多数防御方法都是为了防御强度扰动而忽略位置扰动，这对深度模型安全性同样重要。在本文中，我们专注于对抗变形，一类典型的位置扰动，并提出了一个流梯度正则化，以提高模型的抵抗力。理论上，我们证明了与输入梯度正则化相比，流梯度正则化能够得到更紧的界。在多个数据集、架构和对抗性变形上，我们的经验结果表明，用流梯度训练的模型可以获得比用大幅度输入梯度训练的模型更好的抵抗力，也比对抗性训练更好。此外，与直接使用对抗性变形进行训练相比，我们的方法可以在不可见攻击中取得更好的效果，并且将这两种方法结合起来可以进一步提高抵抗力。
2020-10-06 cs.AI cs.LG stat.ML
