Fourier-Based Augmentations for Improved Robustness and Uncertainty Calibration
MIT Lincoln Laboratory（麻省理工学院林肯实验室）
多样的数据增强策略是提高计算机视觉模型鲁棒性的自然方法，以应对数据分布中不可预见的变化。然而，定制这样的策略以使模型针对特定类别的腐败或攻击而不对其他类别的腐败造成实质性损失的能力仍然是难以捉摸的。在这项工作中，我们成功地强化了一个模型，以抵御基于傅立叶的攻击，同时在CIFAR-10-C和CIFAR-100-C数据集上产生优于AugMix的准确性和校准结果;对于一些高严重性的噪声和数字类型的损坏，分类误差降低了10个百分点以上。我们实现这一点，将傅立叶基扰动的AugMix图像增强框架。因此，我们证明了AugMix框架可以被定制为有效地针对特定的分布偏移，同时提高整体模型的鲁棒性。
2022-02-24 cs.CV cs.LG
An Empirical Study on Distribution Shift Robustness From the Perspective of Pre-Training and Data Augmentation
City University of Hong Kong（香港城市大学）；Dalian University of Technology（大连理工大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Tsinghua University（清华大学）
机器学习模型在分布偏移下的性能一直是近年来社会各界关注的焦点。目前的大多数方法都是从算法的角度来提高对分布偏移的鲁棒性，即，设计更好的训练算法，以帮助推广移动测试分布。本文从预训练和数据增强的角度研究了分布偏移问题，这两个因素是深度学习实践中的重要因素，但现有工作尚未系统地研究。通过评估七个预训练模型，包括ResNets和ViT的自我监督和监督模式，在五个重要的分布偏移数据集上，从WILDS和DomainBed基准测试，使用五种不同的学习算法，我们提供了第一个全面的实证研究，重点是预训练和数据增强。通过我们从1，330个模型中获得的经验结果，我们提供了以下主要观察结果：1）如果我们选择一个适当的预训练模型，那么结合数据增强的ERM可以实现最先进的性能; 2）在处理特定类型的分布偏移时，专用算法进一步提高了ERM的鲁棒性，例如，3）通过比较不同的预训练模式、体系结构和数据规模，提出了基于分布偏移的预训练方法，为不同类型分布偏移的预训练策略的设计和选择提供了参考。总之，我们的实证研究为广泛的预训练模型提供了一个全面的基线，这些模型通过数据增强进行了微调，这可能会激发研究在未来的分布偏移研究中利用预训练和数据增强的力量。
2022-05-25 cs.CV cs.LG
Applying Tensor Decomposition to image for Robustness against Adversarial Attack
近年来，深度学习技术发展迅速，在计算机视觉领域表现突出。然而，事实证明，基于深度学习的模型非常容易受到称为对抗攻击的小扰动的影响。它可以通过添加小的扰动轻松地欺骗深度学习模型。另一方面，张量分解方法广泛用于压缩张量数据，包括数据矩阵，图像等。在本文中，我们建议结合张量分解，以保护模型免受对抗性的例子。验证了该方法简单有效，能够有效抵抗对抗攻击。此外，该方法很少降低干净数据的原始性能。我们在MNIST，CIFAR10和ImageNet数据上进行了实验，并证明了我们的方法对最先进的攻击方法具有鲁棒性。
2020-03-05 cs.CV cs.LG
Improved Robustness Against Adaptive Attacks With Ensembles and Error-Correcting Output Codes
Institute Intelligence and Data (IID), Université Laval（拉瓦尔大学智能与数据研究所（IID））；Mila（米拉研究所）
神经网络集成已经在对抗鲁棒性的背景下被广泛研究，并且大多数基于集成的方法仍然容易受到自适应攻击。在本文中，我们研究的鲁棒性的纠错输出码（ECOC）集成，通过结构的改进和集成多样性的促进。我们对自适应攻击进行了全面的鲁棒性评估，并研究了集成多样性和鲁棒性之间的关系。我们的研究结果表明，与卷积神经网络（CNN）的常规集成相比，ECOC集成对对抗鲁棒性的好处，并显示了为什么以前实现的鲁棒性是有限的。我们还提出了一种针对ECOC集成的对抗性训练方法，可以进一步提高对自适应攻击的鲁棒性。
2023-03-04 cs.LG
Overparametrization improves robustness against adversarial attacks: A replication study
Quintic AI
过度参数化已经成为机器学习中的一个事实标准。尽管做了大量的努力，我们对过度参数化如何以及在何处帮助模型准确性和鲁棒性的理解仍然有限。为此，在这里，我们进行了一项实证调查，系统地研究和复制以前在这一领域的研究结果，特别是Madry等人的研究。与这项研究一起，我们的研究结果支持了Bubeck等人最近提出的“鲁棒性普遍规律”。我们认为，虽然鲁棒感知至关重要，过度参数化可能不足以实现完全的鲁棒性，并且更智能的架构（例如，由人类视觉皮层实现的架构）似乎是不可避免的。
2022-02-20 cs.AI cs.CV cs.LG
Benchmarking Low-Shot Robustness to Natural Distribution Shifts
Georgia Institute of Technology（佐治亚理工学院）
本文首次系统评测低样本场景下模型对自然分布偏移的鲁棒性，发现不存在普遍更鲁棒的单一模型，且现有干预方法在部分数据集上失效，呼吁社区重视该实际问题。
2023-09-23 cs.AI cs.CV cs.LG
Parametric Noise Injection: Trainable Randomness to Improve Deep Neural Network Robustness against Adversarial Attack
University of Central Florida（中佛罗里达大学）
深度学习领域的最新发展暴露了深度神经网络（DNN）在对抗性示例中的潜在脆弱性。在图像分类中，一个对抗性的例子是一个经过仔细修改的图像，它在视觉上与原始图像不可见，但可能导致DNN模型对其进行错误分类。使用高斯噪声训练网络是一种有效的技术来执行模型正则化，从而提高模型对输入变化的鲁棒性。受这一经典方法的启发，我们探索利用噪声注入的正则化特性来提高DNN对对抗攻击的鲁棒性。在这项工作中，我们提出了参数噪声注入（PNI），它涉及通过解决最小-最大优化问题在激活或权重的每一层注入可训练的高斯噪声，并嵌入对抗训练。这些参数被明确地训练以实现改进的鲁棒性。据我们所知，这是第一个使用可训练噪声注入来提高网络对对抗攻击的鲁棒性的工作，而不是通过交叉验证手动配置注入的噪声水平。大量的实验结果表明，我们提出的PNI技术有效地提高了对各种强大的白盒和黑盒攻击，如PGD，C & W，FGSM，可转移攻击和ZOO攻击的鲁棒性。最后但并非最不重要的是，与最先进的防御方法相比，PNI方法提高了清洁和扰动数据的准确性，使用Resnet-20架构，其在清洁测试数据和扰动测试数据上分别比当前未破坏的PGD防御高出1.1%和6.8%。
2018-11-22 cs.CR cs.CV cs.LG
The Many Faces of Robustness: A Critical Analysis of Out-of-Distribution Generalization
UC Berkeley（加州大学伯克利分校）；UChicago（芝加哥大学）；Google（谷歌）
我们介绍了四个新的真实世界的分布偏移数据集，包括图像风格，图像模糊，地理位置，相机操作等的变化。通过我们的新数据集，我们评估了以前提出的用于提高分布外鲁棒性的方法，并对其进行了测试。我们发现，使用更大的模型和人工数据增强可以提高对现实世界的分布偏移的鲁棒性，与先前工作中的要求相反。我们发现人工鲁棒性基准的改进可以转移到现实世界的分布偏移，与先前工作中的要求相反。由于我们观察到数据增强可以帮助真实世界的分布偏移，我们还引入了一种新的数据增强方法，该方法提高了最新技术水平，并且优于使用1000倍以上标记数据预训练的模型。总的来说，我们发现，一些方法始终有助于纹理和局部图像统计的分布偏移，但这些方法并不有助于其他一些分布偏移，如地理变化。我们的研究结果表明，未来的研究必须同时研究多个分布偏移，因为我们证明，没有评估的方法一致地提高鲁棒性。
2021-07-24 cs.CV cs.LG stat.ML
Generalizability of Adversarial Robustness Under Distribution Shifts
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
该研究探究分布偏移下经验与认证对抗鲁棒性的泛化性，发现两类鲁棒性可泛化到未见领域且泛化水平与领域视觉相似度相关性弱，还验证了对抗增强在医疗场景中提升鲁棒泛化的效果。
2023-11-07 cs.AI cs.CV cs.LG
Improving Robustness against Real-World and Worst-Case Distribution Shifts through Decision Region Quantification
University of Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Hausdorff Center for Mathematics, University of Bonn（波恩大学豪斯多夫数学中心）；McGill University（麦吉尔大学）；Google Deepmind（谷歌DeepMind）
神经网络的可靠性对于它们在安全关键应用中的使用是至关重要的。现有方法通常旨在提高神经网络对真实世界分布偏移（例如，常见的破坏和扰动、空间变换和自然对抗示例）或最坏情况的分布偏移（例如，优化的对抗性示例）。在这项工作中，我们提出了决策区域量化（DRQ）算法，以提高任何可微的预训练模型对真实世界和最坏情况下的数据分布偏移的鲁棒性。DRQ分析给定数据点附近的局部决策区域的鲁棒性，以做出更可靠的预测。我们从理论上激励DRQ算法，它有效地平滑虚假的决策表面的局部极值。此外，我们提出了一个实现使用有针对性和无针对性的对抗攻击。一项广泛的实证评估表明，DRQ提高了对抗性和非对抗性训练模型对几个计算机视觉基准数据集上真实世界和最坏情况分布偏移的鲁棒性。
2022-05-19 cs.LG
On Model Robustness Against Adversarial Examples
我们研究了模型对对抗性示例的鲁棒性，这些示例被称为小扰动输入数据，但这些数据可能会欺骗许多最先进的深度学习模型。与以往的研究不同，我们建立了一个新的理论解决的鲁棒性问题的损失函数的稳定性的角度在小邻域的自然样本。我们建议利用一个能量函数来描述稳定性，并证明减少这种能量可以保证对对抗性示例的鲁棒性。我们还表明，传统的训练方法，包括对抗训练与$l_2$规范约束（AT）和虚拟对抗训练（VAT）往往最小化我们提出的能量函数的下限。我们做了一个分析表明，这种下限的最小化，但可能会导致输入样本周围的邻域内的鲁棒性不足。此外，我们设计了一个更合理的方法与能量正则化，证明了实现更好的鲁棒性比以前的方法。通过一系列的实验，我们证明了我们的模型在监督任务和半监督任务上的优越性。特别是，我们提出的对抗框架与以前的对抗训练方法相比，在基准数据集MNIST、CIFAR-10和SVHN上实现了最佳性能。重要的是，它们在对抗性示例中表现出比所有其他比较方法更好的鲁棒性。
2020-06-10 cs.CR cs.CV cs.LG
Shift Invariance Can Reduce Adversarial Robustness
Univeristy of Maryland（马里兰大学）；Weizmann Institute of Science（魏茨曼科学研究所）
移位不变性是CNN的一个关键属性，可以提高分类性能。然而，我们发现，循环移位的不变性也会导致对对抗攻击更敏感。我们首先描述了当使用平移不变线性分类器时类之间的间隔。我们表明，裕度只能依赖于信号的直流分量。然后，使用无限宽网络的结果，我们表明，在一些简单的情况下，完全连接和移位不变的神经网络产生线性决策边界。利用这一点，我们证明了神经网络中的移位不变性产生了两个类的简单情况下的对抗性例子，每个类由一个图像组成，在灰色背景上有一个黑色或白色的点。这不仅仅是一种好奇心;我们通过经验证明，对于真实的数据集和现实的架构，移位不变性会降低对抗的鲁棒性。最后，我们描述了使用合成数据来探测这种连接的来源的初始实验。
2021-11-22 cs.LG
Perceptual Adversarial Robustness: Defense Against Unseen Threat Models
University of Maryland（马里兰大学）
对抗鲁棒性的一个关键挑战是缺乏人类感知的精确数学表征，用于人眼无法感知的对抗攻击的定义。大多数当前的攻击和防御试图通过考虑限制性对抗威胁模型（例如受$L_2$或$L_\infty$距离、空间扰动等限制的模型）来避免这个问题。然而，针对任何这些限制性威胁模型的鲁棒性模型对于其他威胁模型仍然很脆弱。为了解决这个问题，我们提出了针对所有不可感知的对抗性示例集的对抗性训练，使用深度神经网络进行近似。我们将这种威胁模型称为神经感知威胁模型（NPTM）;它包括与自然图像具有有限神经感知距离（基于神经网络的真实感知距离近似）的对抗性示例。通过广泛的感知研究，我们发现神经感知距离与人类对对抗性示例的感知能力的判断密切相关，从而验证了我们的威胁模型。在NPTM下，我们开发了新的感知对抗攻击和防御。由于NPTM非常广泛，我们发现针对感知攻击的感知对抗训练（PAT）对许多其他类型的对抗攻击具有鲁棒性。我们在CIFAR-10和ImageNet-100上测试PAT，以对抗五种不同的对抗攻击。我们发现，PAT对这五种攻击的联合实现了最先进的鲁棒性，比下一个最佳模型的准确性提高了一倍以上，而无需对其中任何一种进行训练。也就是说，PAT很好地推广到不可预见的扰动类型。这在无法假设特定威胁模型的敏感应用中至关重要，据我们所知，PAT是第一个具有此属性的对抗性训练防御。
2021-07-04 cs.CV cs.LG stat.ML
Towards Bridging the gap between Empirical and Certified Robustness against Adversarial Examples
National University of Singapore（新加坡国立大学）；Technical University of Munich（慕尼黑工业大学）
目前最先进的对抗性示例的防御方法通常集中在提高经验或认证的鲁棒性。其中，对抗性训练（AT）模型可以对对抗性示例进行经验性的最先进防御，而不会为大型分类器或高维输入提供任何鲁棒性保证。相比之下，现有的基于随机平滑的模型实现了最先进的认证鲁棒性，同时显着降低了对抗性示例的经验鲁棒性。在本文中，我们提出了一种新的方法，称为\emph{Certification through Adaptation}，在推理过程中将AT模型转换为随机平滑分类器，为$\ell_2$范数提供认证的鲁棒性，而不影响其对对抗攻击的经验鲁棒性。我们还提出了\emph{Auto-Noise}技术，有效地近似适当的噪声水平，灵活地证明使用随机平滑技术的测试示例。我们提出的\emph{Certification through Adaptation}与\emph{Auto-Noise}技术实现了一个\textit{average certified radius (ACR) scores}高达$1.102$和$1.148$分别为CIFAR-10和ImageNet数据集使用AT模型，而不影响其经验的鲁棒性或良性的准确性。因此，我们的论文是通过使用相同的分类器来实现对抗性示例的经验和认证鲁棒性之间的差距。
2022-07-30 cs.AI cs.LG
Retrieval-Augmented Convolutional Neural Networks for Improved Robustness against Adversarial Examples
New York University（纽约大学）；Facebook AI Research（Facebook人工智能研究）；CIFAR（加拿大高级研究所（CIFAR））
我们提出了一个检索增强卷积网络，并建议训练它与本地混合，最近提出的混合算法的一种新的变体。所提出的结合卷积网络和现成检索引擎的混合架构旨在减轻非流形对抗性示例的不利影响，而所提出的局部混淆通过明确鼓励分类器在数据流形上局部线性行为来解决流形上的问题。我们对所提出的方法在三个数据集-CIFAR-10，SVHN和ImageNet-上针对五种现成的对抗攻击的评估表明，与香草卷积网络相比，鲁棒性有所提高。
2018-02-26 cs.LG
DeconDTN-Toolkit: A Library for Evaluation and Enhancement of Robustness to Provenance Shift
University of Washington（华盛顿大学）；University of Minnesota（明尼苏达大学）
本文提出DeconDTN-Toolkit，通过模拟不同程度的溯源转移，评估和增强模型对溯源转移的鲁棒性，揭示经验风险最小化方法的脆弱性，并提供理论和实用工具以应对溯源混淆问题。
2026-05-11 cs.LG
Robustness of Generalized Learning Vector Quantization Models against Adversarial Attacks
Dr. Ing. h.c. F. Porsche AG（保时捷股份公司）；University of Groningen（格罗宁根大学）；Saxony Institute for Computational Intelligence and Machine Learning（萨克森计算智能与机器学习研究所）；University of Applied Sciences Mittweida（米特韦达应用科学大学）
对抗攻击和发展对它们鲁棒的（深度）神经网络是目前两个广泛研究的主题。然而，学习矢量量化（LVQ）模型对对抗攻击的鲁棒性还没有得到同样程度的研究。因此，我们提出了一个广泛的评价三个LVQ模型：广义LVQ，广义矩阵LVQ和广义切线LVQ。评估表明，广义LVQ和广义切线LVQ具有很高的基础鲁棒性，与当前最先进的鲁棒神经网络方法。与此相反，广义矩阵LVQ显示出对对抗攻击的高度敏感性，得分始终落后于所有其他模型。此外，我们的数值评估表明，增加每个类的原型数量提高了模型的鲁棒性。
2019-03-09 cs.AI cs.CV cs.LG
Model Monitoring and Robustness of In-Use Machine Learning Models: Quantifying Data Distribution Shifts Using Population Stability Index
Ford Motor Company（福特汽车公司）
安全第一。满足和维护人工智能（AI）和机器学习（ML）模型稳健性的行业安全标准需要持续监控故障和性能下降。深度学习模型广泛用于工业应用，例如，计算机视觉，但是它们的性能对环境变化的敏感性（例如，噪声）产品上的\emph{after deployment}，现在是众所周知的。一个主要的挑战是检测发生的数据分布偏移，比较以下内容：AI和ML模型的{ \bf（i）}开发阶段，即，训练/确认/测试，至产品的{ \bf（ii）}部署阶段（即，即使在环境中“测试”之后。我们专注于与自动驾驶相关的计算机视觉示例，旨在检测由于向图像添加噪声而发生的偏移。我们使用的人口稳定性指数（PSI）作为衡量的存在和强度的转变，我们的实证实验结果显示了一个很有前途的潜力PSI。我们进一步讨论了模型监控和鲁棒性的多个方面，需要分析\emph{simultaneously}，以实现行业安全标准的鲁棒性。我们提出的需要和研究方向对\emph{categorizations}的问题类和例子，需要监测的鲁棒性，并提出挑战和未来的工作指针从\emph{practical}的角度来看。
2023-02-01 cs.LG
RAMP: Boosting Adversarial Robustness Against Multiple $l_p$ Perturbations for Universal Robustness
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出训练框架 RAMP，通过 logit pairing loss 和梯度投影融合自然训练与对抗训练，有效缓解准确率与鲁棒性的权衡，显著提升了模型抵御多重 $l_p$ 扰动的联合准确率及未见攻击的通用鲁棒性。
2024-09-21 cs.CR cs.LG
Evaluating Predictive Uncertainty and Robustness to Distributional Shift Using Real World Data
Manipal Institute of Technology, MAHE（马尼帕尔理工学院，马尼帕尔高等教育学院）
大多数机器学习模型都假设训练、测试和部署数据是独立同分布的。这种假设在自然环境中通常不成立。通常，部署数据受到各种类型的分布偏移的影响。模型性能的大小与数据集分布的这种变化成正比。因此，有必要评估模型的不确定性和对分布变化的鲁棒性，以获得对真实世界数据的预期性能的现实估计。目前的方法来评估不确定性和模型的鲁棒性是缺乏的，往往无法描绘全貌。此外，到目前为止，大多数分析主要集中在分类任务上。在本文中，我们使用Shifts天气预测数据集为一般回归任务提出了更有见地的指标。我们还提出了使用这些指标的基线方法的评估。
2021-12-13 cs.AI cs.LG
Models Out of Line: A Fourier Lens on Distribution Shift Robustness
UC Berkeley（加州大学伯克利分校）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
提高深度神经网络（DNN）对分布外（OOD）数据的准确性对于在现实世界应用中接受深度学习（DL）至关重要。已经观察到，分布（ID）与OOD数据的准确性遵循线性趋势，并且优于该基线的模型非常罕见（并被称为“有效稳健”）。最近，已经开发了一些有前途的方法来提高OOD的鲁棒性：模型修剪，数据增强，以及集成或zero-shot评估大型预训练模型。然而，仍然没有明确的理解OOD数据的条件和模型属性，需要观察有效的鲁棒性。我们通过对各种方法进行全面的实证研究来解决这个问题，这些方法已知会对CIFAR-10和ImageNet的广泛自然和合成分布偏移产生影响。特别是，我们认为“有效的鲁棒性难题”，通过傅立叶透镜，并询问光谱特性的模型和OOD数据如何影响相应的有效的鲁棒性。我们发现这个傅立叶透镜提供了一些见解，为什么某些强大的模型，特别是那些从CLIP家庭，实现OOD的鲁棒性。然而，我们的分析也清楚地表明，没有任何已知的度量标准是OOD鲁棒性的最佳解释（甚至是强有力的解释）。因此，为了帮助未来对OOD难题的研究，我们通过引入一组具有不同OOD鲁棒性水平的预训练模型-RobustNets-来解决具有有效鲁棒性的公开模型中的差距。
2022-07-08 cs.LG
Exploring DNN Robustness Against Adversarial Attacks Using Approximate Multipliers
Shahid Bahonar University of Kerman（克尔曼沙希德巴霍纳尔大学）；York University（约克大学）；Instituto Tecnológico de Costa Rica（哥斯达黎加技术学院）
本文利用近似乘法器替换深度神经网络中的精确乘法器，在可行时间内探索并提升了模型对抗攻击的鲁棒性，无攻击时精度下降最多7%，攻击时鲁棒精度提升最多10%。
2024-04-17 cs.CR cs.LG
Rethinking Robustness in Machine Learning: A Posterior Agreement Approach
Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）；Faculty of Engineering, Free University of Bozen-Bolzano（博兹纳-博尔扎诺自由大学工程学院）；Department of Computer Science, University of Genoa（热那亚大学计算机科学系）；CISPA Helmholtz Center for Information Security（信息安全赫尔姆霍茨研究中心）
针对现有鲁棒性评估缺乏理论依据的问题，本文基于后验一致性理论提出新框架，在协变量偏移下无需监督即可更可靠、更具区分度地评估模型鲁棒性。
2025-10-17 cs.LG
A Novel Unsupervised Post-Processing Calibration Method for DNNS with Robustness to Domain Shift
Laval University（拉瓦尔大学）
不确定性估计在实际决策应用中是至关重要的，特别是当训练数据和测试数据之间存在分布偏移时。文献中提出了许多校准方法来改善DNN的预测不确定性，DNN通常没有很好地校准。然而，它们中没有一个是专门设计用于在域移位条件下正常工作的。在本文中，我们提出了无监督温度标度（UTS）作为一个强大的校准方法域移位。它利用未标记的测试样本而不是训练样本来调整深度模型对测试分布的不确定性预测。UTS采用了一种新的损失函数，加权NLL，它允许无监督校准。我们在广泛的模型数据集上评估UTS，以显示无标签校准的可能性，并证明UTS与其他方法（例如，TS，MC-脱落，SVI，系综）。
2019-11-25 cs.LG stat.ML
Verified Training for Counterfactual Explanation Robustness under Data Shift
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
针对数据漂移下反事实解释有效性无保障的问题，提出联合训练分类器与解释器的VeriTraCER方法，通过专用损失函数实现CE对小幅模型更新的可验证鲁棒性，实证表现媲美前沿方法。
2024-03-06 cs.LG
RAB: Provable Robustness Against Backdoor Attacks
ETH Zurich（苏黎世联邦理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出首个鲁棒训练流程RAB，基于随机平滑技术构建统一框架，提供并证明了抵御后门攻击的紧致可证明鲁棒性界限，并在多种模型和数据集上建立了首个基准。
2023-08-03 cs.LG stat.ML
Provable robustness against all adversarial $l_p$-perturbations for $p\geq 1$
University of Tübingen（图宾根大学）
近年来，已经提出了几种对抗攻击和防御。通常，当使用更复杂的攻击时，看似健壮的模型变得不健壮。摆脱这种困境的一种方法是可证明的鲁棒性保证。虽然可证明的强大的模型为特定的$l_p$扰动模型已经开发出来，我们表明，他们没有任何保证对其他$l_q$扰动。我们为ReLU网络提出了一种新的正则化方案MMR-Universal，它增强了$l_1$和$l_\infty$扰动的鲁棒性，并展示了这是如何导致$p\geq 1$的第一个可证明鲁棒的模型的。
2020-04-24 cs.CR cs.LG stat.ML
Towards Verifying Robustness of Neural Networks Against Semantic Perturbations
MIT（麻省理工学院）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
给定特定威胁模型的神经网络的鲁棒性是一个基本而又具有挑战性的任务。目前的验证方法主要集中在输入实例的$\ell_p$ -范数威胁模型上，而针对语义对抗攻击的鲁棒性验证会导致较大的$\ell_p$ -范数扰动，如颜色偏移和光照调整，超出了它们的能力。为了弥补这一差距，我们提出了\textit{Semantify-NN}，一个模型不可知和通用的鲁棒性验证方法对语义扰动的神经网络。通过简单地将我们提出的\textit{semantic perturbation layers}（SP层）插入到任何给定模型的输入层，\textit{Semantify-NN}是模型不可知的，并且任何基于$\ell_p$范数的验证工具都可以用于验证模型对语义扰动的鲁棒性。我们说明了设计的SP层的原则，并提供的例子，包括语义扰动图像分类的色调，饱和度，亮度，亮度，对比度和旋转空间，分别。此外，提出了一种有效的细化技术，以进一步显着提高语义证书。在各种网络架构和不同数据集上的实验表明，\textit{Semantify-NN}的验证性能优于基于$\ell_p$规范的验证框架，该框架简单地将语义扰动转换为$\ell_p$规范。结果表明，\textit{Semantify-NN}可以支持对大范围的语义扰动的鲁棒性验证。代码可用https://github.com/JeetMo/Semantify-NN
2020-06-15 cs.LG stat.ML
Efficient Certification of Spatial Robustness
ETH Zurich（苏黎世联邦理工学院）
最近的工作暴露了计算机视觉模型对矢量场攻击的脆弱性。由于这些模型在安全关键应用中的广泛使用，因此量化它们对这种空间变换的鲁棒性至关重要。然而，现有的工作只提供了经验的鲁棒性量化向量场变形通过对抗攻击，缺乏可证明的保证。在这项工作中，我们提出了新的凸松弛，使我们能够，第一次，提供一个证书的鲁棒性对向量场变换。我们的松弛是模型不可知的，可以被广泛的神经网络验证器利用。在不同网络架构和不同数据集上的实验证明了该方法的有效性和可扩展性。
2021-01-31 cs.AI cs.CV cs.LG
Evaluating and Improving the Robustness of Speech Command Recognition Models to Noise and Distribution Shifts
本研究探究音频语音命令识别模型中分布内与分布外准确率的关联，通过基准测试不同神经架构，用公平性与鲁棒性指标量化噪声影响，发现噪声感知训练可在部分配置下提升模型鲁棒性。
2025-07-30 cs.LG
DARD: Dice Adversarial Robustness Distillation against Adversarial Attacks
Augusta University（奥古斯塔大学）；Electrical Engineering Dept., Columbia University（哥伦比亚大学电子工程系）
本文提出DARD方法，通过定制的知识蒸馏范式将大型教师模型的鲁棒性转移到紧凑的学生模型中，并配合DPGD对抗样本泛化方法，在相同架构下实现了优于对抗训练网络的鲁棒性与标准准确率。
2025-09-15 cs.LG
Improving Deep Learning Model Robustness Against Adversarial Attack by Increasing the Network Capacity
Northumbria University（诺森比亚大学）
如今，我们越来越依赖于深度学习（DL）模型，因此保护这些系统的安全性至关重要。本文探讨了深度学习中的安全问题，并通过实验分析了构建更具弹性模型的前进方向。通过实验分析了一种新方法的优点和缺点，该方法可以提高DL模型对对抗攻击的鲁棒性。结果显示了改进和新的想法，可以作为研究人员和从业人员创建越来越好的DL算法的建议。
2022-04-24 cs.CR cs.LG cs.NI
Adaptive versus Standard Descent Methods and Robustness Against Adversarial Examples
University of California, Berkeley（加州大学伯克利分校）
对抗性示例是机器学习模型的一种普遍现象，其中对输入的看似不可察觉的扰动导致对其他统计准确模型的错误分类。在本文中，我们研究了优化算法的选择如何影响所得分类器对抗性示例的鲁棒性。具体来说，我们展示了一个学习问题的解决方案，发现自适应优化算法表现出定性更差的鲁棒性对$L_{2}$ -和$L_{\infty}$ -对手比非自适应算法的解决方案。然后，我们充分表征的损失景观的$L_{2}$的几何形状-对抗性训练的最小二乘线性回归。损失景观的几何形状是微妙的，对优化算法有重要影响。最后，我们提供的实验证据表明，非自适应方法始终比自适应方法产生更强大的模型。
2020-02-08 cs.LG stat.ML
Backdoor Attack against NLP models with Robustness-Aware Perturbation defense
University of saarland（萨尔大学）
后门攻击旨在将隐藏的后门嵌入到深度神经网络（DNN）中，使得被攻击的模型在良性样本上表现良好，而如果隐藏的后门被攻击者定义的触发器激活，则其预测将被恶意改变。这种威胁可能发生在培训过程没有完全控制的情况下，例如在第三方数据集上进行培训或采用第三方模型。针对这类后门攻击，已经有很多研究和不同的防御方法，其中之一是基于鲁棒性感知扰动的防御方法。该方法主要利用了中毒样本和干净样本之间的鲁棒性差距。在我们的工作中，我们通过使用对抗训练步骤控制中毒样本和干净样本之间的鲁棒性差距来打破这种防御。
2022-04-08 cs.CR cs.LG
Robustness against Adversarial Attacks in Neural Networks using Incremental Dissipativity
University of Notre Dame（圣母大学）；Amazon Inc.（亚马逊公司）；University of Michigan（密歇根大学）
对抗样本很容易降低神经网络的分类性能。已经提出了一些经验方法来提高对这些例子的鲁棒性，但往往缺乏分析性的见解和正式的保证。最近，一些鲁棒性证书出现在文献中的系统理论的概念的基础上。本文提出了一种基于耗散的神经网络鲁棒性增量证书，其形式为每一层的线性矩阵不等式。我们还提出了一个等价的谱范数界这个证书是可扩展的神经网络与多层。我们证明了在MNIST上训练的前馈神经网络和使用CIFAR-10训练的Alexnet上对抗对抗攻击的性能有所提高。
2022-02-14 cs.AI cs.LG cs.SY
An Analysis of Model Robustness across Concurrent Distribution Shifts
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Seoul National University（首尔大学）；Samsung Research（三星研究院）；Singapore-MIT Alliance for Research and Technology（新加坡-麻省理工学院研究与技术联盟）
本文评估八种数据集168个源-目标对上的26种算法，分析多种并发分布偏移下的模型鲁棒性，发现启发式数据增强整体表现最佳。
2025-01-08 cs.LG
A Flat Minima Perspective on Understanding Augmentations and Model Robustness
本文从平坦极小值角度理论揭示了标签保持增强提升模型鲁棒性的通用条件，并通过实验验证其在不同分布偏移下的有效性。
2025-12-14 cs.AI cs.LG
Robustness Against Adversarial Attacks via Learning Confined Adversarial Polytopes
University of Waterloo（滑铁卢大学）
本文提出通过学习受限对抗多面体（CAP）约束范数有界扰动下的可达输出，使对抗多面体避开决策边界，从而提升 DNN 对 AutoAttack 等攻击的鲁棒性。
2024-01-20 cs.CR cs.LG
CARE: Ensemble Adversarial Robustness Evaluation Against Adaptive Attackers for Security Applications
针对网络安全中集成防御能否抵御自适应攻击缺乏综合评估平台的问题，本文提出通用CARE平台以系统评估集成对抗攻击与防御。
2024-01-20 cs.CR cs.LG
Investigating Robustness of Adversarial Samples Detection for Automatic Speaker Verification
Tencent AI Lab（腾讯人工智能实验室）
近年来，针对自动说话人确认系统的对抗性攻击引起了广泛的关注，因为它们对自动说话人确认系统构成了严重的威胁。然而，防御这种攻击的方法是有限的。现有的方法主要集中在用对抗性数据增强来重新训练ASV系统。此外，对抗不同的攻击设置的鲁棒性没有得到充分的研究。与之前的方法正交，这项工作提出了使用单独的检测网络来保护ASV系统免受对抗性攻击，而不是将对抗性数据扩展到ASV训练中。介绍了一种类似于VGG的二进制分类检测器，并证明了其在检测对抗样本上的有效性。为了研究检测器在可能存在不可见攻击设置的现实防御场景中的鲁棒性，我们分析了各种不可见攻击设置的影响，并观察到检测器对不可见替代ASV系统具有鲁棒性（最坏情况下的EER_{det}退化为6.27%），但对不可见扰动方法具有较弱的鲁棒性（最坏情况下的EER_{det}退化为50.37%）。对不可见扰动方法的弱鲁棒性表明了开发更强对策的方向。
2020-08-07 cs.LG cs.SD eess.AS
Optimal Attention Temperature Improves the Robustness of In-Context Learning under Distribution Shift in High Dimensions
MLIP Research Group, KUIS AI Center, Koç University（MLIP研究组、KUIS人工智能中心、科克大学）；Department of EEE, Koç University, İstanbul, Turkey（电子工程系、科克大学、伊斯坦布尔，土耳其）
本文研究了在高维分布偏移下通过调整注意力温度提升预训练Transformer上下文学习鲁棒性的方法，推导了通用误差闭式表达式并验证了理论。
2026-05-11 cs.LG stat.ML
Text-CRS: A Generalized Certified Robustness Framework against Textual Adversarial Attacks
Zhejiang University（浙江大学）；University of Connecticut（康涅狄格大学）；Illinois Institute of Technology（伊利诺伊理工学院）
本文提出Text-CRS框架，基于随机平滑为NLP模型提供针对同义词替换、单词重排、插入和删除四种词级对抗攻击的可证明鲁棒性认证，并在多个模型和数据集上取得优于现有方法的认证准确率与半径。
2024-06-11 cs.CL cs.CR cs.LG
Enhancing the Robustness of QMIX against State-adversarial Attacks
Tongji University（同济大学）；Monmouth University（蒙茅斯大学）
针对多智能体强化学习鲁棒性研究不足的问题，本文以QMIX算法为例，将四种单智能体鲁棒强化学习技术拓展至多智能体场景，通过多攻击训练与交叉测试梳理总结了适用于多智能体强化学习的鲁棒性增强方法。
2023-07-03 cs.CR cs.LG cs.MA
A Survey of Robustness and Safety of 2D and 3D Deep Learning Models Against Adversarial Attacks
The Hong Kong Polytechnic University（香港理工大学）；Chongqing University（重庆大学）；Stony Brook University（石溪大学）
该综述构建通用威胁模型，系统梳理2D与3D深度学习模型的对抗攻击研究进展，拓展对抗样本概念，考察物理对抗攻击的安全风险，并为可信AI未来研究指明方向。
2023-10-01 cs.AI cs.LG
Evaluating Ensemble Robustness Against Adversarial Attacks
University of Toronto（多伦多大学）
对抗性样本是为了欺骗神经网络而产生的轻微扰动输入，已知会在模型之间转移;对一个模型有效的对手通常会欺骗另一个模型。这种可转移性的概念带来了严重的安全问题，因为它导致在黑盒设置中攻击模型的可能性，在此期间，目标模型的内部参数是未知的。在本文中，我们试图分析和最小化的对手之间的模型集成的可转移性。为此，我们引入了一个基于梯度的度量，来衡量集成的组成模型如何有效地合作，以减少针对集成本身的对抗性示例的空间。此外，我们还证明了这种措施可以在训练过程中使用，以增加集成对对抗性示例的鲁棒性。
2020-05-12 cs.LG stat.ML
Ortho-ODE: Enhancing Robustness and of Neural ODEs against Adversarial Attacks
本文研究 Neural ODEs 对抗对抗性攻击的自然鲁棒性，提出通过控制 ODE 动力学的 Lipschitz 常数（基于 Grownwall 不等式推导）显著提升鲁棒性，并在 MNIST、CIFAR-10 和 CIFAR 100 数据集上验证了该方法的有效性及求解器的影响。
2023-05-16 cs.AI cs.CR cs.LG
Conformal Prediction under Levy-Prokhorov Distribution Shifts: Robustness to Local and Global Perturbations
Department of Electrical Engineering and Computer Sciences, UC Berkeley, USA（加州大学伯克利分校电子工程与计算机科学系）；Laboratory for Information and Decision Systems, MIT, USA（麻省理工学院信息与决策系统实验室）
针对共形预测在分布偏移下鲁棒性不足的问题，提出基于Lévy-Prokhorov模糊集建模分布偏移的方法，通过得分函数传播将高维偏移降为一维以量化最坏情况，构建鲁棒预测区间，实验验证了有效性。
2025-05-19 cs.LG math.ST stat.ME
Certifying Joint Adversarial Robustness for Model Ensembles
University of Virginia（弗吉尼亚大学）
深度神经网络（DNN）通常容易受到对抗性样本的攻击。一些提出的防御方法部署了一个模型集合，希望尽管单个模型可能容易受到攻击，但对手将无法找到成功对抗集合的对抗性样本。根据集成的使用方式，攻击者可能需要找到一个对抗性的例子，成功地对抗集成中的所有或大多数模型。集成防御对强大对手的有效性取决于集成中模型的脆弱性空间是不相交的。我们认为，联合脆弱性的合奏模型，并提出了一种新的技术，用于证明合奏的联合鲁棒性，建立在以前的工作单模型的鲁棒性认证。我们评估了各种模型集成的鲁棒性，包括使用成本敏感鲁棒性训练的模型，以提高对集成模型作为对抗性示例防御的潜在有效性的理解。
2020-04-21 cs.CR cs.LG stat.ML
How Does Frequency Bias Affect the Robustness of Neural Image Classifiers against Common Corruption and Adversarial Perturbations?
Nanyang Technological University（南洋理工大学）；Agency for Science, Technology and Research（新加坡科技研究局）
模型鲁棒性对于机器学习模型在实际应用中的可靠部署至关重要。最近的研究表明，数据增强可能导致模型过度依赖低频域中的特征，从而牺牲低频损坏的性能，突出了频率和鲁棒性之间的联系。在这里，我们进一步通过其雅可比矩阵的镜头更直接地研究模型的频率偏差及其对模型鲁棒性的影响。为了实现这一点，我们提出了雅可比频率正则化模型的雅可比有一个更大的比例的低频分量。通过对四个图像数据集的实验，我们表明，将分类器偏向低（高）频分量可以带来针对高（低）频腐败和对抗性扰动的性能增益，尽管低（高）频腐败的性能有所折衷。我们的方法阐明了频率偏差和深度学习模型的鲁棒性之间更直接的联系。
2022-05-09 cs.CV cs.LG
Affine Variational Autoencoders: An Efficient Approach for Improving Generalization and Robustness to Distribution Shift
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）
在这项研究中，我们提出了仿射变分自编码器（AVAE），一个变种的变分自编码器（VAE），旨在提高鲁棒性，克服VAE无法推广到分布移位的仿射扰动的形式。通过优化仿射变换以最大化ELBO，所提出的AVAE将输入变换为训练分布，而不需要增加模型复杂度来对仿射变换的完整分布进行建模。此外，我们还引入了一个训练过程，通过学习训练分布的子集来创建一个有效的模型，并使用AVAE来提高测试时分布偏移的泛化能力和鲁棒性。仿射扰动实验表明，所提出的AVAE显着提高了泛化能力和鲁棒性的仿射扰动形式的分布移位，而不增加模型的复杂性。
2019-05-13 cs.CV cs.LG cs.NE
Improving Robustness of LiDAR-Camera Fusion Model against Weather Corruption from Fusion Strategy Perspective
Nanyang Technological University（南洋理工大学）；East China Normal University（华东师范大学）；Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局）；New York University（纽约大学）
本文从融合策略角度评估并提升激光雷达-相机融合模型在恶劣天气下的鲁棒性，提出灵活加权特征融合方法，在多种模型上验证了其广泛适用性与有效性。
2024-02-05 cs.CV cs.LG
Contrastive View Design Strategies to Enhance Robustness to Domain Shifts in Downstream Object Detection
University of Pittsburgh（匹兹堡大学）
对比学习已经成为目标检测的一种有竞争力的预训练方法。尽管取得了这一进展，但在面对域偏移时，对对比预训练检测器的鲁棒性的研究很少。为了解决这个差距，我们进行了对比学习和域外目标检测的实证研究，研究对比视图设计如何影响鲁棒性。特别是，我们进行了以检测为重点的借口任务实例定位（InsLoc）的案例研究，并提出了策略，以增加视图，并提高鲁棒性的外观转移和上下文转移的情况下。在这些策略中，我们提出了对裁剪的更改，例如更改使用的百分比，添加IoU约束，以及集成基于显着性的对象先验。我们还探讨了增加捷径减少增强，如泊松混合，纹理平坦化和弹性变形。我们对这些策略进行了抽象，天气和上下文域转换的基准测试，并在单对象和多对象图像数据集的预训练中说明了将它们结合起来的强大方法。总的来说，我们的结果和见解显示了如何通过选择对比学习中的视图来确保鲁棒性。
2022-12-09 cs.AI cs.CV cs.LG
On robustness of generative representations against catastrophic forgetting
Warsaw University of Technology（华沙理工大学）；Jagiellonian University（雅盖隆大学）；Tooploox
在学习新任务时对先前学习的知识的灾难性遗忘是当代神经网络的广泛观察到的限制。虽然许多持续学习的方法被提出来减轻这个缺点，但主要的问题仍然没有答案：灾难性遗忘的根本原因是什么？在这项工作中，我们的目标是回答这个问题，提出和验证一组研究假设相关的表征的特异性内部建立的神经模型。更具体地说，我们设计了一组经验评估，比较的鲁棒性表示的歧视和生成模型对灾难性遗忘。我们观察到，通过判别模型学习的表征比生成模型更容易发生灾难性遗忘，这为开发用于持续学习的生成模型的优势提供了新的视角。最后，我们的工作开辟了新的研究途径和可能性，采用生成模型在持续学习超越单纯的重放机制。
2021-09-04 cs.CV cs.LG
Evaluating Robustness to Dataset Shift via Parametric Robustness Sets
University of Copenhagen（哥本哈根大学）；MIT（麻省理工学院）
我们给出了一种方法，用于主动识别小的，合理的分布变化，导致模型性能的巨大差异。这些变化是通过观测变量的因果机制中的参数变化来定义的，其中对参数的约束产生了一个合理分布的“鲁棒性集”和相应的最坏情况下的损失。虽然可以通过重新加权技术（例如重要性采样）来估计单个参数偏移下的损失，但所产生的最坏情况优化问题是非凸的，并且估计可能遭受大的方差。然而，对于小的移位，我们可以构造移位下损失的局部二阶近似，并将寻找最坏情况移位的问题转换为特定的非凸二次优化问题，对此可以使用有效的算法。我们证明了这种二阶近似可以直接估计的条件指数族模型的移位，我们绑定的近似误差。我们将我们的方法应用于计算机视觉任务（从图像中分类性别），揭示了对非因果属性变化的敏感性。
2023-01-15 cs.LG stat.ML
