Virtual Adversarial Training: A Regularization Method for Supervised and Semi-Supervised Learning
Preferred Networks, Inc.（首选网络公司）；Kyoto University（京都大学）；ATR Cognitive Mechanisms Laboratories（ATR认知机制实验室）；Ritsumeikan University（立命馆大学）
我们提出了一种新的正则化方法的基础上虚拟对抗损失：一个新的措施，局部光滑的条件标签分布给定的输入。虚拟对抗损失被定义为每个输入数据点周围的条件标签分布对局部扰动的鲁棒性。与对抗训练不同，我们的方法定义了没有标签信息的对抗方向，因此适用于半监督学习。因为我们平滑模型的方向只是“虚拟”对抗，我们称我们的方法为虚拟对抗训练（VAT）。增值税的计算成本相对较低。对于神经网络，虚拟对抗损失的近似梯度可以用不超过两对的前向和反向传播来计算。在我们的实验中，我们将VAT应用于多个基准数据集上的监督和半监督学习任务。通过对基于熵最小化原理的算法进行简单的增强，我们的VAT在SVHN和CIFAR-10上的半监督学习任务中实现了最先进的性能。
2018-06-27 cs.LG stat.ML
Robust Regularization with Adversarial Labelling of Perturbed Samples
Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）；Beihang University（北京航空航天大学）；University of Ottawa（渥太华大学）
最近的研究表明，神经网络的预测精度可能与其对抗鲁棒性相抗衡。这对设计有效的正则化方案提出了挑战，这些方案也提供了强大的对抗鲁棒性。重新审视邻域风险最小化（VRM）作为统一的正则化原则，我们提出了扰动样本的对抗性标记（ALPS）作为正则化方案，旨在提高训练模型的泛化能力和对抗性鲁棒性。ALPS用合成样本训练神经网络，合成样本是通过将每个真实的输入样本与逆向分配的标签一起向另一个输入样本扰动而形成的。ALPS正则化目标被表示为一个极小极大问题，其中外部问题是最小化VRM损失的上界，内部问题是扰动样本上的L $_1$ -ball约束对抗标记.导出了诱导内部最大化问题的解析解，从而提高了计算效率。在SVHN、CIFAR-10、CIFAR-100和Tiny-ImageNet数据集上的实验表明，ALPS具有最先进的正则化性能，同时也是一种有效的对抗训练方案。
2021-05-28 cs.AI cs.LG stat.ML
Scaleable input gradient regularization for adversarial robustness
McGill University（麦吉尔大学）
在这项工作中，我们重新审视了梯度正则化的对抗鲁棒性与一些新的成分。首先，我们推导出新的每图像的理论鲁棒性边界的基础上局部梯度信息。这些边界强烈地激励了输入梯度正则化。其次，我们实现了一个可扩展版本的输入梯度正则化，避免了双重反向传播：对抗性强大的ImageNet模型在四个消费级GPU上训练了33小时。最后，我们通过实验和理论证明，输入梯度正则化与对抗训练具有竞争力。此外，我们证明了梯度正则化不会导致梯度混淆或梯度掩蔽。
2019-10-04 cs.CR cs.CV cs.LG
Adversarial Lipschitz Regularization
Robert Bosch Kft.（罗伯特·博世匈牙利有限公司）
生成对抗网络（GANs）是训练生成模型时最受欢迎的方法之一，其中Wasserstein GANs的变体在学习稳定性和样本质量方面被认为优于标准GAN公式。然而，Wasserstein GANs要求临界点是1-Lipschitz，这通常通过惩罚其梯度的范数或通过权重归一化技术全局限制其Lipschitz常数来隐含地强制执行。用正则化项惩罚违反Lipschitz约束的行为，而不是通过梯度的范数进行训练，在大多数情况下实际上是不可行的。受虚拟对抗训练的启发，我们提出了一种称为对抗性Lipschitz正则化的方法，并证明使用显式Lipschitz惩罚确实是可行的，并且在应用于Wasserstein GANs时会导致竞争性性能，突出了Lipschitz正则化和对抗性训练之间的重要联系。
2020-01-03 cs.CV cs.LG stat.ML
Adversarial Attacks, Regression, and Numerical Stability Regularization
Booz Allen Hamilton（博思艾伦汉密尔顿）
在回归环境中对神经网络的对抗攻击是一个关键但尚未充分研究的问题。在这项工作中，我们通过调查对回归网络的对抗攻击，并制定一个更有效的防御这些攻击的最先进的。特别是，我们认为对抗攻击可能是由学习函数的数值不稳定性引起的。我们引入了一个稳定的诱导，正则化为基础的防御对抗攻击的回归设置。我们的新的和易于实现的防御优于以前的方法，并提高数值稳定性的学习功能。
2018-12-07 cs.CR cs.LG stat.ML
Improved robustness to adversarial examples using Lipschitz regularization of the loss
我们使用最坏情况对抗训练（WCAT）增强对抗训练（AT），在CIFAR-10上的$\ell_2$规范中，它将对抗鲁棒性提高了11%。我们得到可验证的平均情况下和最坏情况下的鲁棒性保证，基于期望和最大值的范数的梯度的损失。我们将对抗训练解释为总变差正则化，这是数学图像处理中的基本工具，而WCAT则是Lipschitz正则化。
2019-09-13 cs.CR cs.CV cs.LG
Towards Understanding the Regularization of Adversarial Robustness on Neural Networks
South China University of Technology（华南理工大学）；Pazhou Lab（琶洲实验室）
对抗性例子的问题表明，现代神经网络（NN）模型可能相当脆弱。在解决该问题的更成熟的技术中，一种是要求模型是{ \it $ε$ -adversarially robust}（AR）;也就是说，要求模型在任何给定的输入示例在一定范围内扰动时不改变预测标签。然而，观察到这样的方法将导致标准性能下降，即，自然界的例子。在这项工作中，我们通过正则化的角度来研究退化。我们从NN的泛化分析中识别出数量;通过识别出的数量，我们根据经验发现，AR是通过使大多数层的特征空间（由实例空间的变化引起的）的变化在所有方向上均匀平滑来正则化/偏置NN，从而实现的。扰动然而，这种平滑的最终结果将样本集中在决策边界周围，导致置信度较低的解决方案，并导致更差的标准性能。我们的研究表明，人们可以考虑以更温和的方式将AR构建到NN中，以避免有问题的正则化。
2020-11-15 cs.LG stat.ML
Tangent-Normal Adversarial Regularization for Semi-supervised Learning
Beijing Institute of Big Data Research（北京大数据研究院）
与标准监督学习相比，半监督学习的关键难点在于如何充分利用未标记数据。最近提出的一种方法，虚拟对抗训练（VAT），巧妙地执行对抗训练没有标签的信息，施加局部光滑的分类器，这是特别有益的半监督学习。在这项工作中，我们提出了切线常态对抗正则化（TNAR）作为VAT的扩展，考虑到数据流形。TNAR由两个互补的部分组成，正切对抗正则化（TAR）和正常对抗正则化（NAR）。在TAR中，VAT沿着数据流形的切空间应用，旨在加强分类器在流形上的局部不变性，而在NAR中，VAT在与切空间正交的法向空间上执行，旨在对分类器施加鲁棒性，以对抗导致观察数据偏离底层数据流形的噪声。在人工和实际数据集上的实验表明，我们提出的TAR和NAR相互补充，并共同优于其他最先进的半监督学习方法。
2019-03-01 cs.CV cs.LG stat.ML
Label Smoothing and Logit Squeezing: A Replacement for Adversarial Training?
University of Maryland（马里兰大学）
对抗性训练是对抗对抗攻击的最强防御之一，但它需要在优化过程中为每个小批生成对抗性示例。在训练过程中生成这些示例的费用通常会使对抗训练无法用于复杂的图像数据集。在这项研究中，我们探索了对抗性训练提高分类器鲁棒性的机制，并表明这些机制可以使用简单的正则化方法有效地模仿，包括标签平滑和logit挤压。值得注意的是，使用这些简单的正则化方法与高斯噪声注入相结合，我们能够实现强大的对抗鲁棒性-通常超过对抗训练-不使用对抗示例。
2019-10-25 cs.LG stat.ML
Adversarially Robust Learning via Entropic Regularization
New York University（纽约大学）
在本文中，我们提出了一个新的算法族，ATENT，用于训练对抗鲁棒的深度神经网络。我们制定了一个新的损失函数，配备了额外的熵正则化。我们的损失函数考虑了对抗样本的贡献，这些样本是从数据空间中专门设计的分布中提取的，该分布将高概率分配给具有高损失的点和训练样本的近邻。我们提出的算法优化了这种损失，以寻求损失景观的对抗性强的山谷。与MNIST和CIFAR-10等基准数据集上的几种最先进的鲁棒学习方法相比，我们的方法在鲁棒分类精度方面具有竞争力（或更好）的性能。
2021-02-19 cs.CV cs.LG stat.ML
On the Effect of Low-Rank Weights on Adversarial Robustness of Neural Networks
RWTH Aachen University（亚琛工业大学）
最近，有大量关于设计深度神经网络（DNN）的工作，这些网络对对抗性示例具有鲁棒性。特别是，一个中心问题是DNN的哪些特征会影响对抗鲁棒性，因此可以用于设计鲁棒的DNN。在这项工作中，这个问题是研究通过镜头的压缩，这是由低秩结构的权重矩阵。首先证明了对抗性训练倾向于同时促进神经网络权值矩阵的低秩和稀疏结构。这是通过有效秩和有效稀疏度的概念来衡量的。在相反的方向上，当低秩结构通过核范数正则化提升并与稀疏诱导正则化相结合时，神经网络表现出显著提高的对抗鲁棒性。当核范数正则化应用于卷积神经网络时，它对对抗鲁棒性的影响是至关重要的。虽然仍然没有与对抗训练竞争，但这一结果有助于理解鲁棒分类器的关键属性。
2021-10-06 cs.LG stat.ML
Regularization for Adversarial Robust Learning
Georgia Institute of Technology（佐治亚理工学院）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
针对基于$\infty$-Wasserstein度量的分布鲁棒风险计算不可行问题，提出一种整合$\phi$-散度正则化的对抗训练方法，利用带偏置预言机的随机梯度算法实现近最优样本复杂度，并在多种学习任务中达到最先进的防御性能。
2024-08-22 cs.LG math.OC stat.ML
Boosting Adversarial Robustness From The Perspective of Effective Margin Regularization
City University of Hong Kong（香港城市大学）
深度神经网络（DNN）的对抗性脆弱性在过去几年中得到了积极的研究。本文研究了分类任务中最常用的损失函数交叉熵损失的尺度变化特性，及其对深度神经网络的有效裕度和对抗鲁棒性的影响。由于损失函数对logit标度不是不变的，增加有效权范数将使损失趋近于零，其梯度为零，而有效裕度没有充分地最大化。在典型的DNN上，我们证明了，如果没有适当的正则化，标准训练不会学习大的有效裕度，并导致对抗性脆弱性。为了最大限度地提高有效边界并学习一个强大的DNN，我们建议在训练过程中正则化有效权重范数。我们对前馈DNN的实证研究表明，所提出的有效边缘正则化（EMR）学习了大的有效边缘，并在标准和对抗训练中提高了对抗鲁棒性。在大规模模型上，我们证明了EMR的性能优于基本对抗训练、TRADES和两个正则化基线，并有了实质性的改进。此外，当与几种强大的对抗性防御方法（MART和MAIL）相结合时，我们的EMR进一步增强了鲁棒性。
2022-10-11 cs.CV cs.LG stat.ML
Improved Adversarial Robustness via Logit Regularization Methods
University of Auckland（奥克兰大学）
虽然在使神经网络有效地处理各种视觉任务方面取得了很大进展，但大多数模型都非常脆弱。这种脆弱性表现为对输入的小的、精心选择的扰动，称为对抗性示例，这代表了野外学习视觉模型的安全威胁--在计算机视觉的安全关键型应用中，应该负责任地防御这种威胁。在本文中，我们倡导并实验性地研究了使用一系列logit正则化技术作为对抗性防御，该技术可以与其他方法结合使用，以很少或没有边际成本的方式创建对抗性鲁棒性。我们还证明了最近的一种对抗性防御机制的有效性实际上可以归因于logit正则化，并展示了如何提高其对白盒和黑盒攻击的防御能力，在此过程中创建更强大的黑盒攻击。我们在三个数据集上验证了我们的方法，包括无梯度攻击和基于梯度的迭代攻击的结果，这些攻击多达1,000步。
2019-06-10 cs.CR cs.LG stat.ML
Lipschitz regularized Deep Neural Networks generalize and are adversarially robust
McGill University（麦吉尔大学）；University of Minnesota（明尼苏达大学）
在这项工作中，我们研究了深度神经网络的输入梯度正则化，并证明了这种正则化导致泛化证明和提高对抗鲁棒性。推广的证明并没有克服维数灾难，但它与网络中的层数无关。对抗性鲁棒性正则化结合了对抗性训练，我们证明它等价于总变差正则化和Lipschitz正则化。我们的经验表明，正则化模型是更强大的，图像的梯度范数可以用于攻击检测。
2019-09-12 cs.LG cs.NA math.NA
Adversarially Robust Models may not Transfer Better: Sufficient Conditions for Domain Transferability from the View of Regularization
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
机器学习（ML）的鲁棒性和领域泛化从根本上是相关的：它们本质上分别涉及对抗和自然环境下的数据分布偏移。一方面，最近的研究表明，更强大的（对抗性训练）模型更具泛化性。另一方面，对它们的基本联系缺乏理论上的理解。在本文中，我们探讨正则化和域可转移性之间的关系，考虑不同的因素，如范数正则化和数据增强（DA）。我们提出了一个一般的理论框架，证明涉及模型函数类正则化的因素是相对域可转移性的充分条件。我们的分析表明，“鲁棒性”对于可转移性来说既不是必要的，也不是充分的;相反，正则化是理解域可转移性的一个更基本的视角。然后，我们讨论了流行的DA协议（包括对抗训练），并展示了在某些条件下，它们何时可以被视为函数类正则化，从而提高泛化能力。我们进行了大量的实验来验证我们的理论研究结果，并显示了几个反例，其中鲁棒性和泛化在不同的数据集上呈负相关。
2022-06-23 cs.LG
Unifying Adversarial Training Algorithms with Flexible Deep Data Gradient Regularization
The Pennsylvania State University（宾夕法尼亚州立大学）
许多以前针对深度神经网络对抗训练的建议包括直接修改梯度，在原始和对抗样本的混合上进行训练，使用收缩惩罚，以及近似优化约束对抗目标函数。在本文中，我们展示了这些建议实际上都是优化一个通用的正则化目标的实例，我们称之为DataGrad。我们提出的DataGrad框架可以被视为逐层压缩自动编码器惩罚的深度扩展，它干净地简化了先前的工作，并轻松地允许扩展，例如具有多任务提示的对抗训练。在我们的实验中，我们发现DataGrad的深度梯度正则化（也有L1和L2正则化）在原始数据集和对抗集上的性能优于其他正则化形式，包括经典的L1，L2和多任务。此外，我们发现将多任务优化与DataGrad对抗训练相结合可以获得最强大的性能。
2016-07-29 cs.LG cs.NE
GradDiv: Adversarial Robustness of Randomized Neural Networks via Gradient Diversity Regularization
Seoul National University（首尔国立大学）
深度学习容易受到对抗性样本的影响。许多基于随机神经网络的防御方法已经被提出来解决这个问题，但未能实现对使用代理梯度的攻击的鲁棒性，例如变换期望（EOT）攻击。我们研究了使用代理梯度的对抗攻击对随机神经网络的影响，并证明了它高度依赖于随机神经网络的损失梯度的方向分布。我们特别表明，代理梯度是不太有效的梯度时，更分散。为此，我们提出了梯度多样性（GradDiv）正则化，最大限度地减少梯度的浓度，以建立一个强大的随机神经网络。我们在MNIST，CIFAR10和STL 10上的实验表明，我们提出的GradDiv正则化提高了随机神经网络对各种最先进的攻击方法的对抗鲁棒性。此外，我们的方法有效地减少了随机神经网络样本模型之间的可移植性。
2021-07-06 cs.LG
Robust Learning with Frequency Domain Regularization
Central University of Finance and Economics（中央财经大学）
卷积神经网络在计算视觉的许多任务中取得了显著的性能。然而，CNN倾向于偏向低频分量。他们优先捕获低频模式，这导致他们在遭受应用场景转换时失败。而对抗性的例子意味着该模型对高频扰动非常敏感。在本文中，我们介绍了一种新的正则化方法，通过约束的频率谱的滤波器的模型。与带限训练方法不同，该方法考虑了有效频率范围可能在不同的层中纠缠而不是连续的，并通过反向传播对有效频率范围进行端到端的训练。我们证明了我们的正则化的有效性：（1）防御对抗性扰动;（2）减少不同体系结构中的泛化差距;（3）在没有微调的情况下提高迁移学习的泛化能力。
2020-07-07 cs.LG stat.ML
IBP Regularization for Verified Adversarial Robustness via Branch-and-Bound
University of Oxford（牛津大学）；DeepMind（深度思维）；Google Brain（谷歌大脑）
本文提出IBP-R训练算法，通过扩大域对抗攻击与区间边界传播正则化相结合提升网络可验证性，在CIFAR-10上取得最先进的验证鲁棒性-准确率权衡，并提出基于β-CROWN启发式的UPB分支策略以降低分支定界成本。
2023-05-31 cs.CR cs.LG stat.ML
Robustness via curvature regularization, and vice versa
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；DeepMind（深度思维）
最先进的分类器已被证明在很大程度上容易受到对抗性扰动的影响。提高鲁棒性最有效的策略之一是对抗训练。在本文中，我们研究了对抗训练对分类景观和决策边界几何形状的影响。我们特别指出，对抗性训练会导致损失曲面相对于输入的曲率显著降低，从而导致网络的“线性”行为大幅增加。使用局部二次近似，我们提供了理论证据大的鲁棒性和小曲率之间的强关系的存在。为了进一步证明减少曲率对于提高鲁棒性的重要性，我们提出了一种新的正则化器，它直接最小化损失曲面的曲率，并导致与对抗训练相当的对抗鲁棒性。除了是对抗训练的更有效和更有原则的替代方案外，所提出的正则化器还证实了我们关于在数据点附近表现出准线性行为以实现鲁棒性的重要性的主张。
2018-11-23 cs.CV cs.LG stat.ML
Understanding and Combating Robust Overfitting via Input Loss Landscape Analysis and Regularization
对抗性训练被广泛用于提高深度神经网络对对抗攻击的鲁棒性。然而，对抗性训练很容易出现过拟合，原因还远不清楚。这项工作通过分析损失景观w.r.t.揭示了过度拟合的机制。输入.我们发现，鲁棒的过拟合来自标准训练，特别是最小化干净的损失，并且可以通过损失梯度的正则化来减轻。此外，我们发现，鲁棒过拟合在对抗训练过程中变得更加复杂，部分原因是由于损失景观曲率的增加，对抗训练的梯度正则化效果变得更弱。为了提高鲁棒泛化能力，我们提出了一种新的正则化器，通过惩罚沿对抗方向的加权logits变化来平滑损失景观。我们的方法显着减轻鲁棒过拟合，并实现了最高的鲁棒性和效率相比，类似的以前的方法。代码可在https://github.com/TreeLLi/Combating-RO-AdvLC上获得。
2022-12-09 cs.LG
Improving DNN Robustness to Adversarial Attacks using Jacobian Regularization
Tel Aviv University（特拉维夫大学）
深度神经网络最近在包括视觉和语音处理任务在内的各种应用中表现出了巨大的性能。然而，除了它们能够以如此高的准确度执行这些任务之外，已经表明它们非常容易受到对抗攻击的影响：输入的微小变化会导致网络在高置信度下出错。这种现象暴露了这些网络的固有缺陷及其良好的泛化能力。因此，为对抗攻击提供鲁棒性是网络训练中的一个重要挑战，这导致了广泛的研究。在这项工作中，我们提出了一种理论启发的新方法来提高网络的鲁棒性。我们的方法使用网络雅可比矩阵的Frobenius范数进行正则化，在常规训练完成后，将其用作后处理。我们的经验表明，它会导致增强的鲁棒性的结果与原始网络的准确性的最小变化。
2019-05-28 cs.CR cs.CV cs.LG
Regularization with Latent Space Virtual Adversarial Training
Philips Co-Creation Center（飞利浦共创中心）；University of Tsukuba（筑波大学）；I Dragon Corporation（I Dragon公司）；The Tokyo Foundation for Policy Research（东京政策研究基金会）；Lowe’s Services India Pvt. Ltd.（劳氏印度服务私人有限公司）
虚拟对抗训练（VAT）在最近开发的正则化方法（称为一致性正则化）中显示出令人印象深刻的结果。VAT利用对抗样本，通过在输入空间中注入扰动生成，用于训练，从而增强分类器的泛化能力。然而，这样的对抗样本只能在输入数据点周围的非常小的区域内生成，这限制了这样的样本的对抗有效性。为了解决这个问题，我们提出了LVAT（潜在空间增值税），它注入扰动的潜在空间，而不是输入空间。LVAT可以灵活地生成对抗样本，从而产生更多的不利影响，从而更有效地进行正则化。潜在空间是由生成模型构建的，在本文中，我们研究了两种不同类型的模型：变分自动编码器和归一化流，特别是Glow。我们使用SVHN和CIFAR-10数据集评估了我们的方法在图像分类任务的监督和半监督学习场景中的性能。在我们的评估中，我们发现我们的方法优于VAT和其他最先进的方法。
2022-12-24 cs.CV cs.LG
Invariance-inducing regularization using worst-case transformations suffices to boost accuracy and spatial robustness
Institute for Theoretical Studies（理论研究所）；Stanford University（斯坦福大学）；ETH Zurich（苏黎世联邦理工学院）
这项工作提供了理论和经验证据，不变性诱导正则化可以提高最坏情况下的空间变换（空间鲁棒性）的预测精度。通过对这些对抗性变换的示例进行评估，我们证明了在标准或对抗性训练之上添加正则化可以将CIFAR10的相对误差降低20%，而不会增加计算成本。这优于那些被明确设计为空间等变的手工网络。此外，我们观察到SVHN，已知具有固有的方向方差，鲁棒训练也提高了测试集的标准准确度。我们证明了这种无权衡现象适用于无限数据极限下变换群的对抗性例子。
2019-06-26 cs.CV cs.LG stat.ML
Towards Rapid and Robust Adversarial Training with One-Step Attacks
Friedrich-Alexander Universität Erlangen-Nürnberg (FAU)（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
对抗性训练是提高神经网络对对抗攻击鲁棒性的最成功的经验方法。然而，最有效的方法，如使用投影梯度下降（PGD）进行训练，都伴随着高计算复杂性。在本文中，我们提出了两个想法，结合使用计算成本较低的快速梯度符号方法（FGSM）进行对抗训练。首先，我们将均匀噪声添加到FGSM攻击的初始数据点，这会产生更广泛的对手，从而禁止过拟合到一个特定的扰动范围。此外，我们在神经网络之前添加了一个可学习的正则化步骤，我们称之为像素噪声注入层（PNIL）。通过PNIL传播的输入从学习的高斯分布中重新采样。由PNIL诱导的正则化防止模型学习模糊其梯度，这是阻碍先前方法成功应用对抗训练的一步方法的一个因素。我们表明，噪声注入与基于FGSM的对抗训练相结合，可以获得与PGD对抗训练相当的结果，同时速度要快得多。此外，通过结合噪声注入和PNIL，我们的性能优于基于PGD的对抗训练。
2020-03-17 cs.LG stat.ML
Improving Adversarial Robustness with Hypersphere Embedding and Angular-based Regularizations
Iowa State University（爱荷华州立大学）
对抗训练（AT）方法已被发现有效对抗对深度神经网络的对抗攻击。已经提出了AT的许多变体以提高其性能。Pang等人。[1]最近表明，将超球嵌入（HE）纳入现有的AT过程中可以增强鲁棒性。我们观察到，现有的AT程序不是为HE框架设计的，因此无法充分学习HE框架中可用的角度判别信息。在本文中，我们建议将他整合到AT与正则化项，利用丰富的角度信息，在他的框架。具体来说，我们的方法，称为angular-AT，增加了正则化条款AT显式地执行权重特征紧凑性和类间分离;所有表示的角度特征。实验结果表明，angular-AT进一步提高了对抗鲁棒性。
2023-03-15 cs.AI cs.CV cs.LG
Understanding Overfitting in Adversarial Training via Kernel Regression
本文在再生核希尔伯特空间中建立对抗训练与噪声数据增强的极限公式，证明缺乏适当正则化时二者比标准核回归更易过拟合，而适当正则化可使其获得更小的泛化误差和Lipschitz常数。
2023-04-19 cs.LG math.ST stat.ML
Standard-Deviation-Inspired Regularization for Improving Adversarial Robustness
Iowa State University（爱荷华州立大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出受标准差启发的正则化项 SDI，将其与现有对抗训练方法结合，以提升深度神经网络对 CW 和 Auto-attack 等更强攻击的鲁棒性与泛化能力。
2024-12-27 cs.AI cs.CR cs.CV
Adversarial robustness via stochastic regularization of neural activation sensitivity
Ben-Gurion university of the Negev（内盖夫本-古里安大学）
最近的研究表明，任何机器学习分类器的输入域都必然包含对抗性示例。因此，我们不能再指望免疫分类器来对抗性样本，而只能实现以下两个防御目标：1）使对抗性样本更难找到，或者2）通过将它们推离正确分类的数据点来削弱它们的对抗性。大多数（如果不是所有的话）先前提出的防御机制只关注这两个目标中的一个，因此，可以被考虑防御机制的自适应攻击绕过。在这项工作中，我们提出了一种新的防御机制，同时解决了这两个防御目标：我们使用一种新的随机正则化项，显式降低了单个神经元对小输入扰动的敏感性，从而使损失表面的梯度变平，使对抗性样本更难找到。此外，我们通过利用雅可比正则化将决策边界推离正确分类的输入。我们提出了一个坚实的理论基础和我们建议的方法的实证测试，证明了它的优越性比以前提出的防御机制，并表明它是有效的对广泛的自适应攻击。
2020-09-23 cs.LG cs.NE
Consistency Regularization for Adversarial Robustness
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；AITRICS
对抗训练（AT）是目前获得深度神经网络对抗鲁棒性的最成功方法之一。然而，鲁棒过拟合现象，即，在AT期间鲁棒性开始显著降低，这是有问题的，不仅使从业者考虑一袋技巧来成功训练，例如，早期停止，但也会导致鲁棒性的显著泛化差距。在本文中，我们提出了一个有效的正则化技术，防止强大的过拟合优化辅助“一致性”正则化损失在AT。具体来说，我们发现，数据增强是一个非常有效的工具，以减轻过拟合AT，并开发了一个正则化，迫使预测分布攻击后，从两个不同的扩增相同的实例是彼此相似。我们的实验结果表明，这样一个简单的正则化技术带来了显着的改善，在测试中的鲁棒性的准确性范围广泛的AT方法。更值得注意的是，我们还表明，我们的方法可以显着帮助模型推广其对看不见的对手的鲁棒性，例如，其他类型或与训练期间使用的扰动相比更大的扰动。代码可在https://github.com/alinlab/consistency-adversarial上获得。
2021-12-22 cs.AI cs.LG
Alleviating Robust Overfitting of Adversarial Training With Consistency Regularization
Xidian University（西安电子科技大学）；Nanyang Technological University（南洋理工大学）
对抗性训练（AT）已被证明是保护深度神经网络（DNN）免受对抗攻击的最有效方法之一。然而，鲁棒过拟合现象，即，鲁棒性在某个阶段会急剧下降，在AT期间始终存在。为了获得一个鲁棒的模型，减小这种鲁棒的推广差距是非常重要的。本文从一个新的角度对鲁棒过拟合问题进行了深入的研究。我们观察到，一致性正则化，半监督学习中的一种流行技术，具有与AT相似的目标，并且可以用于减轻鲁棒过拟合。我们经验验证了这一观察，并发现大多数先前的解决方案有隐式连接到一致性正则化。基于此，我们引入了一个新的AT解决方案，它集成了一致性正则化和平均教师（MT）策略到AT。具体来说，我们引入了一个教师模型，它来自于学生模型在训练步骤中的平均权重。然后，我们设计了一个一致性损失函数，使学生模型在对抗样本上的预测分布与教师模型在干净样本上的预测分布一致。实验结果表明，该方法能有效抑制过拟合，提高DNN模型对常见对抗攻击的鲁棒性.
2022-05-24 cs.CV cs.LG
Constraining Logits by Bounded Function for Adversarial Robustness
NTT Software Innovation Center（NTT软件创新中心）；NTT Secure Platform Laboratories（NTT安全平台实验室）；Kyoto University（京都大学）
我们提出了一种通过在softmax之前添加一个新的有界函数来提高对抗鲁棒性的方法。最近的研究假设通过logit正则化的小logits（softmax的输入）可以提高深度学习的对抗鲁棒性。根据这一假设，我们分析了范数的logit向量在最佳点的假设下的普遍逼近，并探索新的方法来约束logits的softmax之前添加一个有界函数。我们从理论上和经验上揭示，通过添加一个共同的激活函数，例如，双曲正切不能提高对抗鲁棒性，因为函数的输入向量（pre-logit向量）可以具有大的范数。从理论上，我们开发了新的有界函数。我们的函数的增加提高了对抗鲁棒性，因为它使logit和pre-logit向量具有较小的范数。由于我们的方法只在softmax之前添加了一个激活函数，因此很容易将我们的方法与对抗训练结合起来。我们的实验表明，我们的方法在没有对抗训练的对抗扰动数据集上的准确性方面与logit正则化方法相当。此外，在使用对抗训练时，它优于或可与logit正则化方法和最近的防御方法（TRADES）相媲美。
2020-10-06 cs.AI cs.LG stat.ML
Beyond Empirical Risk Minimization: Local Structure Preserving Regularization for Improving Adversarial Robustness
Northwestern University（西北大学）；Peking University（北京大学）
众所周知，深度神经网络很容易被具有人类无法感知的扰动的对抗性示例所愚弄。已经提出了各种防御方法来提高对抗鲁棒性，其中对抗训练方法是最有效的。然而，这些方法大多独立地处理训练样本，并且需要大量的样本来训练鲁棒网络，而忽略了这些样本之间的潜在结构信息。在这项工作中，我们提出了一种新的局部结构保持（LSP）正则化，其目的是保持学习的嵌入空间中的输入空间的局部结构。以这种方式，可以减轻位于干净样本附近的对抗样本的攻击效果。我们展示了强有力的经验证据，无论是否有对抗训练，与基线和一些最先进的方法相比，我们的方法在几个图像分类数据集上始终提高了对抗鲁棒性的性能，从而为未来的研究提供了有希望的方向。
2023-03-29 cs.CR cs.CV cs.LG
Enhancing Adversarial Robustness in Network Intrusion Detection: A Layer-wise Adaptive Regularization Approach
National Cyber Security Academy (NCSA)（国家安全学院（NCSA））；Air University（空军大学）；School of Science（科学学院）
本文提出LARAR方法，通过分层漏洞分析和自适应加权提升网络入侵检测系统对抗鲁棒性，实现95.01%的准确率并有效防御FGSM、PGD等攻击。
2026-05-09 cs.CR cs.LG
Robustness Cannot be Reduced to Regularization: Studying Adversarial Training Beyond the Linear Case
Université Paris Dauphine PSL Research University（巴黎多芬纳大学PSL研究大学）；Sorbonne Université LPSM, UMR 8001（索邦大学LPSM, UMR 8001）
本文证明两层网络中对抗风险无法等价于任何简单正则化风险，并通过实验表明深层架构中同样存在这种不可简化性。
2026-06-23 cs.LG
Disentangled Deep Autoencoding Regularization for Robust Image Classification
Shanghai Jiao Tong University（上海交通大学）；NEC Labs America - Princeton（美国电气通信技术公司美国研究院 - 普林斯顿）；Princeton University（普林斯顿大学）
尽管在机器学习方面取得了革命性的成功，但最近发现深度卷积神经网络容易受到对抗攻击的攻击，并且难以推广到具有相当大的几何变换的新测试图像。受最近神经科学发现的启发，揭示了灵长类动物的大脑使用解纠缠的形状和外观表示进行对象识别，我们提出了一个通用的解纠缠的深度自编码正则化框架，可以很容易地应用于任何基于深度嵌入的分类模型，以提高深度神经网络的鲁棒性。我们的框架有效地学习了解纠缠的外观代码和几何代码，用于鲁棒的图像分类，这是第一个基于解纠缠的方法防御对抗攻击，并补充标准的防御方法。在几个基准数据集上的大量实验表明，我们提出的正则化框架利用解纠缠嵌入显著优于传统的非正则化卷积神经网络用于图像分类，对对抗攻击和推广到新的测试数据的鲁棒性。
2019-02-27 cs.CV cs.LG stat.ML
Boosting Adversarial Training via Fisher-Rao Norm-based Regularization
University of Liverpool（利物浦大学）
本文利用Fisher-Rao范数分析模型复杂度并提出LOAT正则化框架，有效缓解了对抗训练中鲁棒性与准确性的权衡问题，显著提升了多种主流算法的性能。
2024-03-26 cs.CV cs.LG
Rethinking Invariance Regularization in Adversarial Training to Improve Robustness-Accuracy Trade-off
The University of Tokyo（东京大学）；National Institute of Informatics（日本信息处理学会）
针对对抗训练中不变性正则化导致的梯度冲突与混合分布问题，本文提出ARAT，通过非对称不变性损失、停止梯度、预测器和split-BN改善鲁棒性-准确率权衡。
2025-08-28 cs.AI cs.LG
Towards Adversarially Robust Dataset Distillation by Curvature Regularization
University of Toronto（多伦多大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文探索数据集蒸馏的新视角，提出通过在蒸馏过程中引入曲率正则化来嵌入对抗鲁棒性，使模型在保持高准确率的同时获得更好鲁棒性，且计算开销低于标准对抗训练。
2025-04-04 cs.CV cs.LG
Eliminating Catastrophic Overfitting Via Abnormal Adversarial Examples Regularization
Sydney AI Centre, The University of Sydney（悉尼大学悉尼人工智能中心）
针对单步对抗训练中存在的灾难性过拟合问题，本研究发现异常对抗样本与分类器扭曲密切相关，提出异常对抗样本正则化方法，可在低计算开销下有效消除灾难性过拟合并提升对抗鲁棒性。
2024-09-14 cs.LG
Improving Resistance to Adversarial Deformations by Regularizing Gradients
University of Science and Technology of China（中国科学技术大学）
提高深度神经网络对对抗攻击的抵抗力对于将模型部署到现实应用中非常重要。然而，大多数防御方法都是为了防御强度扰动而忽略位置扰动，这对深度模型安全性同样重要。在本文中，我们专注于对抗变形，一类典型的位置扰动，并提出了一个流梯度正则化，以提高模型的抵抗力。理论上，我们证明了与输入梯度正则化相比，流梯度正则化能够得到更紧的界。在多个数据集、架构和对抗性变形上，我们的经验结果表明，用流梯度训练的模型可以获得比用大幅度输入梯度训练的模型更好的抵抗力，也比对抗性训练更好。此外，与直接使用对抗性变形进行训练相比，我们的方法可以在不可见攻击中取得更好的效果，并且将这两种方法结合起来可以进一步提高抵抗力。
2020-10-06 cs.AI cs.LG stat.ML
Robust Single-step Adversarial Training with Regularizer
Fuzhou University（福州大学）
对抗训练中的一个主要挑战是多步对抗样本生成所带来的训练时间开销。以往的对抗训练方法采用单步的【形】对抗训练样本生成方法来减少对抗训练的计算量，这种方法可以有效地提高训练效率，但也会引入灾难性的过拟合问题，其中对快速梯度符号法（FGSM）的鲁棒精度可以达到100%，而对投影梯度下降法（PGD）的鲁棒精度在单个历元内突然下降到0%。为了解决这个问题，我们提出了一种新的快速梯度符号方法与PGD正则化（FGSMPR），以提高对抗训练的效率，而不会出现灾难性的过拟合。我们的核心思想是，单步的【形】对抗训练不能学习FGSM和PGD对抗示例的鲁棒内部表示。因此，我们设计了一个PGD正则化项，以鼓励FGSM和PGD对抗示例的类似嵌入。实验表明，我们提出的方法可以训练一个强大的深度网络L $_\infty$ -扰动与FGSM对抗训练，并减少了多步对抗训练的差距。
2021-02-05 cs.AI cs.LG stat.ML
Adversarial Robustness via Fisher-Rao Regularization
McGill University（麦吉尔大学）；ETS Montreal（蒙特利尔高等技术学院）；Université Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）；International Laboratory on Learning Systems（国际学习系统实验室）
对抗鲁棒性已经成为机器学习中越来越感兴趣的话题，因为人们观察到神经网络往往是脆弱的。我们提出了一种对抗性防御的信息几何公式，并引入了FIRE，这是一种新的Fisher-Rao正则化，用于分类交叉熵损失，它基于对应于自然和扰动输入特征的softmax输出之间的测地线距离。基于softmax分布类的信息几何性质，我们导出了二进制和多类情况下Fisher-Rao距离（FRD）的显式表征，并绘制了一些有趣的性质以及与标准正则化度量的联系。此外，对于一个简单的线性和高斯模型，我们表明，所有的帕累托最优点的准确性鲁棒性区域可以达到消防，而其他国家的最先进的方法失败。从经验上讲，我们评估了在标准数据集上使用所提出的损失训练的各种分类器的性能，在干净和鲁棒性能方面同时显示出高达1%的改进，同时比性能最好的方法减少了20%的训练时间。
2022-06-13 cs.CV cs.LG
Survival Analysis with Adversarial Regularization
Electrical and Computer Engineering（电气与计算机工程）；Northeastern University（东北大学）
针对数据不确定性降低神经网络生存分析模型性能的问题，提出基于最小-最大优化、结合CROWN-IBP的对抗鲁棒损失方法SAWAR，在10个数据集上多指标优于基线与SOTA模型，泛化能力最高提升150%。
2025-09-05 cs.AI cs.LG stat.AP
D2R: dual regularization loss with collaborative adversarial generation for model robustness
Newcastle University（新castle大学）；University of Southampton（南安普顿大学）；Technical University of Ostrava（奥斯特拉大学）
针对协同对抗训练中损失引导不足与对抗样本生成不协同的问题，提出D2R双重正则化损失与CAG协同生成策略，并在多个基准和模型上验证其可显著提升鲁棒性。
2025-06-08 cs.CR cs.CV cs.LG
Understanding Adversarial Robustness Through Loss Landscape Geometries
UnifyID；Stanford University（斯坦福大学）
在深度学习中对解释和改进泛化的追求引起了正则化技术以及损失表面几何的可视化技术的努力。后者与社区中流行的直觉有关，即平坦的局部最优值会导致较低的泛化误差。在本文中，我们利用最先进的“过滤器归一化”技术的损失表面可视化定性地了解使用对抗性训练数据增强作为显式正则化技术的选择的后果。令我们惊讶的是，我们发现这种经常部署的对抗增强技术实际上并没有导致“更平坦”的损失景观，这需要重新思考对抗训练泛化以及泛化和损失景观几何之间的关系。
2019-07-22 cs.CR cs.LG stat.ML
Improving Interpretability via Regularization of Neural Activation Sensitivity
Ben-Gurion University of the Negev（本-古里安大学）
最先进的深度神经网络（DNN）在处理许多现实任务方面非常有效。然而，它们在关键任务环境中的广泛采用受到两个主要弱点的阻碍-它们对对抗攻击的敏感性和它们的不透明性。前者引起了人们对DNN在现实世界条件下的安全性和通用性的担忧，而后者则阻碍了用户对其输出的信任。在这项研究中，我们（1）研究了对抗鲁棒性对可解释性的影响，（2）提出了一种新的方法来提高DNN的可解释性，该方法基于神经激活敏感性的正则化。我们评估了使用我们的方法训练的模型与使用最先进的对抗鲁棒性技术训练的标准模型和模型的可解释性。我们的研究结果表明，对抗鲁棒模型优于标准模型，使用我们提出的方法训练的模型在可解释性方面甚至优于对抗鲁棒模型。
2022-11-16 cs.CR cs.CV cs.LG
Posterior Differential Regularization with f-divergence for Improving Model Robustness
Microsoft Research（微软研究院）；Ochanomizu University（御茶水女子大学）；University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
我们通过正则化来解决增强模型鲁棒性的问题。具体来说，我们专注于正则化干净和嘈杂的输入之间的模型后验差的方法。从理论上讲，我们在这个框架下提供了两种最新方法的连接，雅可比正则化和虚拟对抗训练。此外，我们将后验微分正则化推广到$f$ -发散族，并用雅可比矩阵描述了整个正则化框架。从经验上讲，我们系统地比较了这些正则化和标准的BERT训练在不同的任务集，以提供一个全面的概况，其对模型的域内和域外的领域泛化的影响。对于完全监督和半监督设置，我们的实验表明，正则化后验差分与$f$ -发散可以导致良好的改善模型的鲁棒性。特别是，通过适当的$f$ -发散，BERT-基础模型可以实现与BERT-大型模型相当的泛化，用于域内，对抗和域转移场景，这表明所提出的框架在提高NLP模型的模型泛化方面具有巨大的潜力。
2021-04-12 cs.CL cs.LG stat.ML
Adversarial Training Methods for Network Embedding
The Hong Kong Polytechnic University（香港理工大学）；Y-tech, Kwai（快手Y-tech）
网络嵌入是学习网络的连续节点表示的任务，其在诸如链接预测和节点分类的各种任务中已被证明是有效的。现有的大多数工作都是为了在低维嵌入向量中保持不同的网络结构和性质，而忽略了许多真实世界网络中噪声信息的存在以及嵌入学习过程中的过拟合问题。最近，基于生成对抗网络（GANs）的正则化方法被用来正则化嵌入学习过程，这可以鼓励嵌入向量的全局平滑性。这些方法具有非常复杂的体系结构，并且遭受GANs的公认的非收敛问题。本文旨在将一种更简洁有效的局部正则化方法-对抗训练引入到网络嵌入中，以获得模型的鲁棒性和更好的泛化性能。首先，通过使用取决于节点对的连接模式的自适应$L_2$范数约束来定义嵌入空间中的对抗性扰动，来应用对抗性训练方法。虽然有效的正则化，它遭受的可解释性问题，这可能会阻碍其在某些现实世界的场景中的应用。为了改进这种策略，我们进一步提出了一种可解释的对抗训练方法，通过在离散图域中强制重构对抗示例。这两种正则化方法可以应用于许多现有的嵌入模型，本文以DeepWalk作为基础模型进行说明。在链接预测和节点分类两个方面的实证评估证明了所提出的方法的有效性。
2019-08-30 cs.LG cs.SI stat.ML
Jacobian Norm with Selective Input Gradient Regularization for Improved and Interpretable Adversarial Defense
Anhui University（安徽大学）；The University of Western Australia（西澳大学）；Swansea University（斯旺西大学）
众所周知，深度神经网络（DNN）易受对抗性样本的攻击，这些样本是用不可感知的扰动制作的，即，输入图像中的小变化可引起错误分类，并因此威胁基于深度学习的部署系统的可靠性。对抗训练（AT）通常通过训练损坏和干净数据的混合来提高鲁棒性。然而，大多数基于AT的方法在处理转移的对抗性示例时是无效的，这些示例是为了欺骗广泛的防御模型而生成的，因此不能满足现实世界场景中提出的泛化要求。此外，对抗性地训练防御模型通常不能对具有扰动的输入产生可解释的预测，而不同领域的专家需要高度可解释的鲁棒模型来理解DNN的行为。在这项工作中，我们提出了一种新的方法的基础上雅可比范数和选择性输入梯度正则化（J-SIGR），它建议通过雅可比规范化的线性化的鲁棒性，也正则化的扰动为基础的显着性映射来模仿模型的可解释的预测。因此，我们实现了DNN的改进防御和高可解释性。最后，我们评估我们的方法在不同的架构对强大的对抗攻击。实验表明，所提出的J-SIGR赋予改进的鲁棒性对转移对抗攻击，我们也表明，从神经网络的预测是很容易解释。
2022-11-14 cs.AI cs.CR cs.LG
A Regularization Method to Improve Adversarial Robustness of Neural Networks for ECG Signal Classification
University of Miami（迈阿密大学）
心电图（ECG）是最广泛使用的监测人类心脏状况的诊断工具。通过使用深度神经网络（DNN），ECG信号的解释可以完全自动化，以便在几分之一秒内识别患者心脏中的潜在异常。研究表明，给定足够大的训练数据量，用于ECG分类的DNN准确性可以达到人类专家心脏病专家水平。然而，尽管DNN在分类准确性方面表现出色，但DNN非常容易受到对抗性噪声的影响，这些噪声是DNN输入中的细微变化，并可能导致错误的类别标签预测。提高DNN对对抗性噪声的鲁棒性是具有挑战性和必要性的，对抗性噪声对生命至关重要的应用构成威胁。在这项工作中，我们提出了一种正则化方法，以提高DNN的鲁棒性的噪声信号比（NSR）的角度为ECG信号分类的应用。我们在PhysioNet MIT-BIH数据集和CPSC 2018 ECG数据集上评估了我们的方法，结果表明，我们的方法可以大大增强DNN对对抗攻击产生的对抗性噪声的鲁棒性，并且在干净数据上的准确性变化最小。
2022-03-15 cs.AI cs.CV cs.LG
Improving Adversarial Robustness of Attribution via Implicit Regularization
Department of Computer Science, KTH Royal Institute of Technology, Stockholm, Sweden（瑞典皇家理工学院计算机科学系）；Science for Life Laboratory, Stockholm, Sweden（瑞典斯德哥尔摩科学生命实验室）；Department of Computer Science, Brown University, USA（美国布朗大学计算机科学系）
本文发现标准随机梯度下降的学习动态可以隐式地提高归因的对抗鲁棒性，并证明在softmax归一化下注意力归因的鲁棒性提升受限，而基于核的注意力可恢复鲁棒性。
2026-05-28 cs.CV cs.LG
A Noise-Sensitivity-Analysis-Based Test Prioritization Technique for Deep Neural Networks
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
深度神经网络在自然语言处理、计算机视觉、图像识别等领域有着广泛的应用。但有几项研究表明，深度神经网络很容易被带有一些扰动的人工示例所愚弄，这些示例被广泛称为对抗性示例。对抗性示例可用于攻击深度神经网络或提高深度神经网络的鲁棒性。生成对抗性示例的一种常见方法是首先生成一些噪声，然后将它们添加到原始示例中。在实际应用中，不同的例子对噪声的敏感度不同。为了生成有效的对抗性示例，可能需要向低噪声敏感示例添加大量噪声，这可能使对抗性示例变得毫无意义。在本文中，我们提出了一个基于噪声敏感性分析的测试优先级技术，挑选出他们的噪声敏感性的例子。我们构造了一个实验来验证我们的方法在四个图像集和两个DNN模型，这表明，例子是敏感的噪声和我们的方法可以有效地挑选出的例子，他们的噪声敏感性。
2019-01-20 cs.CV cs.LG stat.ML
