Revisiting L21-norm Robustness with Vector Outlier Regularization
Anhui University（安徽大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
在许多实际应用中，数据通常包含离群值。一种流行的方法是使用L2，1范数函数作为鲁棒误差/损失函数。然而，L2，1范数函数的鲁棒性至今还没有得到很好的理解。本文提出了一种新的向量离群正则化（VOR）框架来理解和分析L2，1范数函数的鲁棒性。我们的VOR函数定义一个数据点为离群值，如果它在理论预测的阈值之外，并将其正则化-将其拉回到阈值线。然后，我们证明了L2，1函数是这种VOR的极限情况下，通常的最小二乘/L2误差函数的阈值缩小到零。VOR的一个有趣的特性是，离群值离其理论预测值有多远并不影响最终的正则化和分析结果。这个VOR性质揭示了L2，1范数函数最奇特的性质之一：离群值的影响似乎与它们的离群程度无关-如果离群值进一步远离内在流形/子空间，最终的分析结果不会改变。VOR为理解和分析L2，1范数函数的鲁棒性提供了一种新的途径。将VOR应用于矩阵分解，得到一种新的VORPCA模型。与基于迹范数的L21范数PCA进行了比较，证明了VORPCA的优越性。
2020-01-09 cs.CV
Towards Reliable WMH Segmentation under Domain Shift: An Application Study using Maximum Entropy Regularization to Improve Uncertainty Estimation
CONICET-UNL（阿根廷国家科学技术研究委员会-国立利托拉尔大学）；ETS（高等技术学院）；Tryolabs；CONICET-Universidad de Buenos Aires（阿根廷国家科学技术研究委员会-布宜诺斯艾利斯大学）
本研究针对域偏移下脑白质高信号分割的模型校准与不确定性估计难题，提出最大熵正则化方法，经U-Net在两个公开数据集实验验证，可强化不确定性与分割性能的相关性并改善域偏移下的模型校准。
2025-06-17 cs.CV eess.IV
Scaleable input gradient regularization for adversarial robustness
McGill University（麦吉尔大学）
在这项工作中，我们重新审视了梯度正则化的对抗鲁棒性与一些新的成分。首先，我们推导出新的每图像的理论鲁棒性边界的基础上局部梯度信息。这些边界强烈地激励了输入梯度正则化。其次，我们实现了一个可扩展版本的输入梯度正则化，避免了双重反向传播：对抗性强大的ImageNet模型在四个消费级GPU上训练了33小时。最后，我们通过实验和理论证明，输入梯度正则化与对抗训练具有竞争力。此外，我们证明了梯度正则化不会导致梯度混淆或梯度掩蔽。
2019-10-04 cs.CR cs.CV cs.LG
Mitigating Low-Frequency Bias: Feature Recalibration and Frequency Attention Regularization for Adversarial Robustness
Xiamen University（厦门大学）；Minjiang University（闽江学院）；Jinan University（暨南大学）
针对对抗训练模型存在的低频偏差问题，提出高频特征解耦重校准模块与频率注意力正则化方法，有效提升模型对白盒攻击、迁移攻击的防御效果与泛化能力。
2025-01-12 cs.CV
Improving the Certified Robustness of Neural Networks via Consistency Regularization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
已经提出了一系列的防御方法来提高神经网络对对抗性示例的鲁棒性，其中可证明的防御方法已经被证明是有效的训练神经网络，可以证明是强大的攻击者。然而，这些可证明的防御方法大多数在训练过程中平等对待所有的例子，忽略了正确分类（自然）和错误分类的例子之间的认证鲁棒性的不一致约束。在本文中，我们探讨了这种不一致性所造成的错误分类的例子，并添加了一个新的一致性正则化项，以更好地利用错误分类的例子。具体地说，我们发现，认证的鲁棒性网络可以显着提高，如果认证的鲁棒性错误分类的例子和正确分类的例子是一致的约束。基于这一发现，我们设计了一个新的防御正则化项，称为误分类感知对抗正则化（MAAR），它约束了误分类示例的认证区域中所有示例的输出概率分布。实验结果表明，我们提出的MAAR实现了最好的认证的鲁棒性和可比的准确性CIFAR-10和MNIST数据集相比，几个国家的最先进的方法。
2021-01-20 cs.CV cs.LG
Group Orthogonalization Regularization For Vision Models Adaptation and Robustness
Tel Aviv University（特拉维夫大学）
本文提出一种计算高效的分组正交化正则化技术，通过鼓励同层滤波器组间的正交性来减少参数冗余，有效提升了扩散模型和视觉Transformer在下游任务的适应性能及对抗训练的鲁棒性。
2024-02-18 cs.AI cs.CV
RegMix: Adversarial Mutual and Generalization Regularization for Enhancing DNN Robustness
School of Computing Newcastle University（计算学院新castle大学）
本文针对对抗训练中MSE正则化导致的过度均匀优化问题，提出加权对抗互正则化和对抗泛化正则化两种策略，显著提升模型对抗鲁棒性。
2025-10-06 cs.CV cs.LG
Improved robustness to adversarial examples using Lipschitz regularization of the loss
我们使用最坏情况对抗训练（WCAT）增强对抗训练（AT），在CIFAR-10上的$\ell_2$规范中，它将对抗鲁棒性提高了11%。我们得到可验证的平均情况下和最坏情况下的鲁棒性保证，基于期望和最大值的范数的梯度的损失。我们将对抗训练解释为总变差正则化，这是数学图像处理中的基本工具，而WCAT则是Lipschitz正则化。
2019-09-13 cs.CR cs.CV cs.LG
On Connections between Regularizations for Improving DNN Robustness
Bytedance AI Lab（字节跳动人工智能实验室）；Peking University（北京大学）；Intel Labs China（英特尔中国研究院）；Tsinghua University（清华大学）
本文从理论角度分析了最近提出的用于提高深度神经网络（DNN）对抗鲁棒性的正则化项。具体来说，我们研究了几种有效的方法，包括输入梯度正则化，雅可比正则化，曲率正则化和交叉Lipschitz功能之间的可能联系。我们在具有一般整流线性激活的DNN上研究它们，DNN构成了图像分类和许多其他机器学习应用的最流行的模型家族之一。我们阐明了这些正则化的基本成分，并重新解释了它们的功能。通过我们的研究，在不久的将来可能会发明更有原则和更有效的正则化。
2020-07-04 cs.CR cs.CV cs.LG
Uncertainty-Aware Regularization for Image-to-Image Translation
NTNU（挪威科技大学）
本文提出不确定性感知正则化UAR，结合偶然不确定性与参数简单先验，以提升医学I2I翻译的重建质量及噪声、伪影下的不确定性估计。
2024-11-24 cs.AI cs.CV eess.IV
From Uncertainty to Stability and Fidelity: Guiding Sparse-View 3D Gaussian Splatting with Fisher Information
Nanyang Technological University（南洋理工大学）；University of Science and Technology of China（中国科学技术大学）；Zhejiang University（浙江大学）；Xpeng Motors（小鹏汽车）
针对稀疏视角下3D高斯溅射过拟合问题，提出基于Fisher信息指导几何先验使用和正则化的方法，通过主动选择信息量大的支撑视图和自适应调整高斯移除概率，提升渲染稳定性和保真度。
2026-06-23 cs.CV
Beyond Defenses: Manifold-Aligned Regularization for Intrinsic 3D Point Cloud Robustness
School of Computing and Artificial Intelligence, Southwest Jiaotong University（计算机与人工智能学院，西南交通大学）；Engineering Research Center of Sustainable Urban Intelligent Transportation, Ministry of Education, Southwest Jiaotong University（可持续城市智能交通工程研究中心，教育部，西南交通大学）
提出流形对齐点识别（MAPR）框架，通过正则化潜在几何结构并施加内在扰动一致性损失，在不依赖对抗训练或额外数据的情况下显著提升点云模型对多种攻击的鲁棒性。
2026-05-22 cs.CV
Feed Two Birds with One Scone: Exploiting Function-Space Regularization for Both OOD Robustness and ID Fine-Tuning Performance
Xi’an Jiaotong University（西安交通大学）
针对鲁棒微调中OOD鲁棒性与ID性能难以兼得的问题，提出函数空间正则化约束微调与预训练模型距离，并辅以一致性正则化，在多种CLIP骨干上同时提升ID微调性能与OOD鲁棒性。
2025-08-31 cs.CV cs.LG
EmbodiedOcc++: Boosting Embodied 3D Occupancy Prediction with Plane Regularization and Uncertainty Sampler
State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室，计算机学院，北京大学）；School of electronic science and engineering, Nanjing University（电子科学与工程学院，南京大学）；Berkeley Artificial Intelligence Research Lab, Department of EECS, University of California, Berkeley（伯克利人工智能研究实验室，电子工程与计算机科学系，加州大学伯克利分校）
针对具身室内3D占据预测，本文提出EmbodiedOcc++，以平面正则化GRM和语义感知不确定性采样器SUS改进高斯更新，在EmbodiedOcc-ScanNet上达到SOTA。
2025-07-25 cs.CV
Double-Uncertainty Guided Spatial and Temporal Consistency Regularization Weighting for Learning-based Abdominal Registration
The Chinese University of Hong Kong（香港中文大学）；Brigham and Women’s Hospital（布莱根妇女医院）；Harvard Medical School（哈佛医学院）；Tencent Jarvis Lab（腾讯医疗健康（深圳）有限公司（腾讯医疗AI实验室/腾讯天衍实验室））；Tsinghua University（清华大学）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
为了解决与图像配准问题的不适定性相关的困难，经常使用正则化来约束解空间。对于大多数基于学习的配准方法，正则化通常具有固定的权重，并且仅约束空间变换。这种惯例有两个局限性：（i）除了费力的网格搜索最佳固定权重外，特定图像对的正则化强度应该与图像的内容相关联，因此“一个值适合所有”的训练方案并不理想;（ii）仅对变换进行空间正则化可能会忽略一些与不适定性相关的信息线索。在这项研究中，我们提出了一个平均教师为基础的注册框架，它包含了一个额外的时间一致性正则化项，鼓励教师模型的预测是一致的学生模型。更重要的是，不是搜索固定的权重，教师能够通过利用变换不确定性和外观不确定性来自动调整空间正则化和时间一致性正则化的权重。在具有挑战性的腹部CT-MRI配准上进行的大量实验表明，我们的训练策略可以在有效的超参数调整以及准确性和平滑性之间的更好权衡方面推进原始的基于学习的方法。
2022-03-02 cs.CV eess.IV
CURVE: Learning Causality-Inspired Invariant Representations for Robust Scene Understanding via Uncertainty-Guided Regularization
Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University, Shanghai, China（上海智能自主系统研究院，同济大学）；Guohao School, Tongji University, Shanghai, China（国豪学院，同济大学）；School of Automotive Studies, Tongji University, Shanghai, China（汽车研究学院，同济大学）；College of Electronics and Information Engineering, Tongji University, Shanghai, China（电子与信息工程学院，同济大学）
CURVE通过结合变分不确定性建模和不确定性引导的结构正则化，学习因果启发的不变表示，以提升场景理解的鲁棒性和分布外泛化能力。
2026-01-28 cs.AI cs.CV
Toward Motion Robustness: A masked attention regularization framework in remote photoplethysmography
Shanghai AI Laboratory（上海人工智能实验室）；SenseTime Research（商汤科技研究院）；Tsinghua University（清华大学）；Xidian University（西安电子科技大学）
针对远程光电容积脉搏波描记中ROI定位不准、运动干扰导致泛化性差的问题，提出带掩码注意力正则化的MAR-rPPG框架及EREA骨干网络，在三个基准数据集上性能显著优于现有方法。
2024-07-09 cs.CV
Improving Adversarial Robustness with Hypersphere Embedding and Angular-based Regularizations
Iowa State University（爱荷华州立大学）
对抗训练（AT）方法已被发现有效对抗对深度神经网络的对抗攻击。已经提出了AT的许多变体以提高其性能。Pang等人。[1]最近表明，将超球嵌入（HE）纳入现有的AT过程中可以增强鲁棒性。我们观察到，现有的AT程序不是为HE框架设计的，因此无法充分学习HE框架中可用的角度判别信息。在本文中，我们建议将他整合到AT与正则化项，利用丰富的角度信息，在他的框架。具体来说，我们的方法，称为angular-AT，增加了正则化条款AT显式地执行权重特征紧凑性和类间分离;所有表示的角度特征。实验结果表明，angular-AT进一步提高了对抗鲁棒性。
2023-03-15 cs.AI cs.CV cs.LG
STFAR: Improving Object Detection Robustness at Test-Time by Self-Training with Feature Alignment Regularization
South China University of Technology（华南理工大学）；I2R, A-STAR（A*STAR资讯通信研究院）
本文提出STFAR方法，通过指数移动平均模型生成伪标签进行自训练，并引入双级别特征分布对齐作为正则化，以解决测试时目标检测中的分布偏移问题，在三个基准数据集上达到SOTA。
2023-03-31 cs.CV
On the Effect of Pruning on Adversarial Robustness
University of Campinas（坎皮纳斯州立大学）
修剪是一种众所周知的降低深度卷积网络计算成本的机制。然而，研究表明修剪作为一种正则化形式的潜力，它可以减少过拟合并提高泛化能力。我们证明，这一系列的战略提供了额外的好处超出计算性能和泛化。我们的分析表明，从卷积网络中修剪结构（过滤器和/或层）不仅可以提高泛化能力，还可以提高对抗图像（修改内容的自然图像）的鲁棒性。这些成就是可能的，因为修剪减少了网络容量并提供了正则化，这已被证明是对抗对抗性图像的有效工具。与需要使用对抗图像和仔细正则化进行训练的有希望的防御机制相比，我们证明了修剪仅考虑自然图像（例如，标准和低成本培训）。我们在几种对抗攻击和架构上证实了这些发现;从而表明修剪作为对抗图像的新型防御机制的潜力。
2021-11-24 cs.CV
Promoting Shape Bias in CNNs: Frequency-Based and Contrastive Regularization for Corruption Robustness
USD AI Research Lab, University of South Dakota, Vermillion SD 57069, USA（USD人工智能研究实验室，南达科他大学，南达科他州韦尔米伦）
针对CNNs依赖纹理导致对常见损坏脆弱的问题，提出基于频率滤波和监督对比学习的两种正则化策略，在CIFAR-10-C上提升了损坏鲁棒性且不损失干净准确率。
2025-09-14 cs.AI cs.CV
Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization
University of Trento（特伦托大学）；Xidian University（西安电子科技大学）；Meituan Inc.（美团公司）
本文提出OrthSR方法，通过正交微调与自正则化策略及注意力CutOut数据增强，在保持预训练权重冻结和零样本泛化能力的同时，有效缓解小数据集微调过拟合，显著提升CLIP在少样本图像分类任务上的鲁棒性与性能。
2024-10-16 cs.CV
Consistency Regularization Can Improve Robustness to Label Noise
KTH（瑞典皇家理工学院）
一致性正则化是半监督学习和自监督学习的常用技术。它是一个辅助目标函数，鼓励网络的预测在观察到的训练样本附近相似。Hendrycks等人（2020）最近表明，这种正则化自然会为损坏的数据带来测试时的鲁棒性，并有助于校准。本文实证研究了一致性正则化对噪声标签的训练时间鲁棒性的相关性。首先，我们对在噪声数据集上使用标准交叉熵损失训练的网络的一致性进行了两个有趣且有用的观察：（i）在噪声数据上训练的网络的一致性低于在干净数据上训练的网络，以及（ii）在噪声标记的训练数据点周围的一致性比正确标记的数据点降低得更明显。然后，我们证明了一个简单的损失函数，鼓励一致性提高了模型的鲁棒性，以标记噪声的合成（CIFAR-10，CIFAR-100）和现实世界（WebVision）的噪声，以及不同的噪声率和类型，并达到最先进的结果。
2021-10-04 cs.CV cs.LG stat.ML
Improving Adversarial Robustness of Attribution via Implicit Regularization
Department of Computer Science, KTH Royal Institute of Technology, Stockholm, Sweden（瑞典皇家理工学院计算机科学系）；Science for Life Laboratory, Stockholm, Sweden（瑞典斯德哥尔摩科学生命实验室）；Department of Computer Science, Brown University, USA（美国布朗大学计算机科学系）
本文发现标准随机梯度下降的学习动态可以隐式地提高归因的对抗鲁棒性，并证明在softmax归一化下注意力归因的鲁棒性提升受限，而基于核的注意力可恢复鲁棒性。
2026-05-28 cs.CV cs.LG
Invariance-inducing regularization using worst-case transformations suffices to boost accuracy and spatial robustness
Institute for Theoretical Studies（理论研究所）；Stanford University（斯坦福大学）；ETH Zurich（苏黎世联邦理工学院）
这项工作提供了理论和经验证据，不变性诱导正则化可以提高最坏情况下的空间变换（空间鲁棒性）的预测精度。通过对这些对抗性变换的示例进行评估，我们证明了在标准或对抗性训练之上添加正则化可以将CIFAR10的相对误差降低20%，而不会增加计算成本。这优于那些被明确设计为空间等变的手工网络。此外，我们观察到SVHN，已知具有固有的方向方差，鲁棒训练也提高了测试集的标准准确度。我们证明了这种无权衡现象适用于无限数据极限下变换群的对抗性例子。
2019-06-26 cs.CV cs.LG stat.ML
Rethinking the Number of Shots in Robust Model-Agnostic Meta-Learning
Beihang University（北京航空航天大学）；Baidu（百度）
鲁棒模型不可知元学习（Robust Model-Agnostic Meta-Learning，MAML）通常被用来训练一个元模型，该元模型可以快速适应新的类别，并且只需要很少的样本，同时对对抗攻击保持鲁棒性。鲁棒MAML的传统解决方案是在元训练阶段引入鲁棒性提升正则化。通过这种正则化，以前的鲁棒MAML方法简单地遵循典型的MAML实践，即训练镜头的数量应该与测试镜头的数量相匹配，以实现最佳的自适应性能。然而，虽然鲁棒性可以大大提高，以前的方法牺牲干净的准确性很多。在本文中，我们观察到，引入鲁棒性促进正则化MAML降低了清洁样本特征的内在维数，这导致清洁表示的能力较低。这可以解释为什么以前的鲁棒MAML方法的清洁精度严重下降。基于这一观察，我们提出了一个简单的策略，即，增加训练镜头的数量，以减轻由鲁棒性促进正则化引起的固有维度的损失。虽然简单，我们的方法显着提高了清洁的准确性MAML没有太大的损失的鲁棒性，产生一个强大而准确的模型。大量的实验表明，我们的方法优于现有技术，在准确性和鲁棒性之间实现了更好的权衡。此外，我们观察到我们的方法对元训练期间的微调步骤的数量不太敏感，这允许减少微调步骤的数量以提高训练效率。
2022-11-28 cs.CV
Revisiting and Exploring Efficient Fast Adversarial Training via LAW: Lipschitz Regularization and Auto Weight Averaging
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Alibaba Group（阿里巴巴集团）；University of Oxford（牛津大学）；Sun Yat-sen University（中山大学）
针对快速对抗训练易出现灾难性过拟合且现有技术对比不公平的问题，从模型局部非线性角度提出Lipschitz正则化与自动权重平均的FGSM-LAW方法，在四个基准上性能优于现有先进方法。
2023-08-22 cs.CV
Adversarial Robustness via Fisher-Rao Regularization
McGill University（麦吉尔大学）；ETS Montreal（蒙特利尔高等技术学院）；Université Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）；International Laboratory on Learning Systems（国际学习系统实验室）
对抗鲁棒性已经成为机器学习中越来越感兴趣的话题，因为人们观察到神经网络往往是脆弱的。我们提出了一种对抗性防御的信息几何公式，并引入了FIRE，这是一种新的Fisher-Rao正则化，用于分类交叉熵损失，它基于对应于自然和扰动输入特征的softmax输出之间的测地线距离。基于softmax分布类的信息几何性质，我们导出了二进制和多类情况下Fisher-Rao距离（FRD）的显式表征，并绘制了一些有趣的性质以及与标准正则化度量的联系。此外，对于一个简单的线性和高斯模型，我们表明，所有的帕累托最优点的准确性鲁棒性区域可以达到消防，而其他国家的最先进的方法失败。从经验上讲，我们评估了在标准数据集上使用所提出的损失训练的各种分类器的性能，在干净和鲁棒性能方面同时显示出高达1%的改进，同时比性能最好的方法减少了20%的训练时间。
2022-06-13 cs.CV cs.LG
Boosting Adversarial Robustness From The Perspective of Effective Margin Regularization
City University of Hong Kong（香港城市大学）
深度神经网络（DNN）的对抗性脆弱性在过去几年中得到了积极的研究。本文研究了分类任务中最常用的损失函数交叉熵损失的尺度变化特性，及其对深度神经网络的有效裕度和对抗鲁棒性的影响。由于损失函数对logit标度不是不变的，增加有效权范数将使损失趋近于零，其梯度为零，而有效裕度没有充分地最大化。在典型的DNN上，我们证明了，如果没有适当的正则化，标准训练不会学习大的有效裕度，并导致对抗性脆弱性。为了最大限度地提高有效边界并学习一个强大的DNN，我们建议在训练过程中正则化有效权重范数。我们对前馈DNN的实证研究表明，所提出的有效边缘正则化（EMR）学习了大的有效边缘，并在标准和对抗训练中提高了对抗鲁棒性。在大规模模型上，我们证明了EMR的性能优于基本对抗训练、TRADES和两个正则化基线，并有了实质性的改进。此外，当与几种强大的对抗性防御方法（MART和MAIL）相结合时，我们的EMR进一步增强了鲁棒性。
2022-10-11 cs.CV cs.LG stat.ML
Midpoint Regularization: from High Uncertainty Training to Conservative Classification
National Research Council Canada（加拿大国家研究委员会）
标签平滑（LS）通过惩罚模型生成过度自信的输出分布来提高模型的泛化能力。对于每个训练样本，LS策略通过将其分布质量分布在非地面实况类上来平滑独热编码的训练信号。我们扩展这种技术考虑的例子对，杜撰PLS。PLS首先通过平均随机样本对来创建中点样本，然后在训练过程中为每个中点样本学习平滑分布，从而产生具有高不确定性标签的中点用于训练。我们的经验表明，PLS显着优于LS，实现高达30%的相对分类错误减少。我们还可视化PLS为分布样本内外产生非常低的获胜softmax分数。
2021-06-26 cs.AI cs.CV cs.LG
Improving DNN Robustness to Adversarial Attacks using Jacobian Regularization
Tel Aviv University（特拉维夫大学）
深度神经网络最近在包括视觉和语音处理任务在内的各种应用中表现出了巨大的性能。然而，除了它们能够以如此高的准确度执行这些任务之外，已经表明它们非常容易受到对抗攻击的影响：输入的微小变化会导致网络在高置信度下出错。这种现象暴露了这些网络的固有缺陷及其良好的泛化能力。因此，为对抗攻击提供鲁棒性是网络训练中的一个重要挑战，这导致了广泛的研究。在这项工作中，我们提出了一种理论启发的新方法来提高网络的鲁棒性。我们的方法使用网络雅可比矩阵的Frobenius范数进行正则化，在常规训练完成后，将其用作后处理。我们的经验表明，它会导致增强的鲁棒性的结果与原始网络的准确性的最小变化。
2019-05-28 cs.CR cs.CV cs.LG
Absum: Simple Regularization Method for Reducing Structural Sensitivity of Convolutional Neural Networks
NTT Software Innovation Center（NTT软件创新中心）；Keio University（庆应义塾大学）；NTT Communication Science Laboratories（NTT通信科学实验室）；NTT Secure Platform Laboratories（NTT安全平台实验室）
我们提出了Absum，这是一种用于提高卷积神经网络（CNN）对抗鲁棒性的正则化方法。虽然CNN可以准确地识别图像，但最近的研究表明，CNN中的卷积运算通常对由傅立叶基函数组成的特定噪声具有结构敏感性。通过利用这种敏感性，他们提出了一种简单的黑盒对抗攻击：单傅立叶攻击。为了降低结构灵敏度，我们可以使用卷积滤波器权重的正则化，因为线性变换的灵敏度可以通过权重的范数来评估。然而，标准的正则化方法可以防止损失函数的最小化，因为它们为获得高鲁棒性施加了严格的约束。为了解决这个问题，Absum施加了一个松散的约束;它惩罚卷积层中参数总和的绝对值。Absum可以提高对单傅立叶攻击的鲁棒性，同时与标准正则化方法一样简单和有效（例如，权重衰减和L1正则化）。我们的实验表明，Absum提高了对单傅立叶攻击的鲁棒性比标准的正则化方法。此外，我们揭示了具有Absum的鲁棒CNN对转移攻击的鲁棒性更强，因为它降低了共同的灵敏度，并且比标准的正则化方法更能抵抗高频噪声。我们还发现，当与对抗训练一起使用时，Absum可以提高对基于梯度的攻击（投影梯度下降）的鲁棒性。
2019-09-19 cs.CV cs.LG stat.ML
Mixup-CAM: Weakly-supervised Semantic Segmentation via Uncertainty Regularization
University of California, Merced（加州大学默塞德分校）；eBay Inc.（eBay公司）；NEC Labs America（美国NEC实验室）；Google Research（谷歌研究院）
获取对象响应图是利用图像级标签实现弱监督语义分割的重要步骤。然而，现有的方法依赖于分类任务，这可能导致响应图只关注有区别的对象区域，因为网络不需要看到整个对象来优化分类损失。为了解决这个问题，我们提出了一个原则性的端到端可训练框架，允许网络关注对象的其他部分，同时生成更完整和统一的响应图。具体来说，我们将混合数据增强方案引入分类网络，并设计了两个不确定性正则化项，以更好地与混合策略交互。在实验中，我们进行了广泛的分析，以证明所提出的方法，并显示出良好的性能对国家的最先进的方法。
2020-08-03 cs.CV cs.LG eess.IV
Beyond Empirical Risk Minimization: Local Structure Preserving Regularization for Improving Adversarial Robustness
Northwestern University（西北大学）；Peking University（北京大学）
众所周知，深度神经网络很容易被具有人类无法感知的扰动的对抗性示例所愚弄。已经提出了各种防御方法来提高对抗鲁棒性，其中对抗训练方法是最有效的。然而，这些方法大多独立地处理训练样本，并且需要大量的样本来训练鲁棒网络，而忽略了这些样本之间的潜在结构信息。在这项工作中，我们提出了一种新的局部结构保持（LSP）正则化，其目的是保持学习的嵌入空间中的输入空间的局部结构。以这种方式，可以减轻位于干净样本附近的对抗样本的攻击效果。我们展示了强有力的经验证据，无论是否有对抗训练，与基线和一些最先进的方法相比，我们的方法在几个图像分类数据集上始终提高了对抗鲁棒性的性能，从而为未来的研究提供了有希望的方向。
2023-03-29 cs.CR cs.CV cs.LG
4D Gaussian Splatting in the Wild with Uncertainty-Aware Regularization
Seoul National University（首尔大学）；ECE（电子与计算机工程学院）；IPAI（人工智能研究所）
提出一种基于不确定性感知正则化的4D高斯泼溅算法，通过扩散模型先验和动态区域致密化方法解决单目视频动态场景重建的过拟合与初始化问题，提升了新视角合成与重建质量。
2024-11-13 cs.AI cs.CV
Robustness via curvature regularization, and vice versa
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；DeepMind（深度思维）
最先进的分类器已被证明在很大程度上容易受到对抗性扰动的影响。提高鲁棒性最有效的策略之一是对抗训练。在本文中，我们研究了对抗训练对分类景观和决策边界几何形状的影响。我们特别指出，对抗性训练会导致损失曲面相对于输入的曲率显著降低，从而导致网络的“线性”行为大幅增加。使用局部二次近似，我们提供了理论证据大的鲁棒性和小曲率之间的强关系的存在。为了进一步证明减少曲率对于提高鲁棒性的重要性，我们提出了一种新的正则化器，它直接最小化损失曲面的曲率，并导致与对抗训练相当的对抗鲁棒性。除了是对抗训练的更有效和更有原则的替代方案外，所提出的正则化器还证实了我们关于在数据点附近表现出准线性行为以实现鲁棒性的重要性的主张。
2018-11-23 cs.CV cs.LG stat.ML
Diverse Gaussian Noise Consistency Regularization for Robustness and Uncertainty Calibration
MIT Lincoln Laboratory（麻省理工学院林肯实验室）；Boston University（波士顿大学）
本文提出多样化高斯噪声一致性正则化方法，通过局部损失景观分析推导理论界，在保持干净样本准确率的同时显著提升图像分类器对多种损坏的鲁棒性与不确定性校准性能。
2023-05-29 cs.AI cs.CV cs.LG
Robustness Meets Uncertainty: Evidential Adversarial Training for Robust Selective Classification
Multitel Research & Innovation Center, Artificial Intelligence Department（多特尔研究与创新中心，人工智能部门）；TRAIL – Trusted AI Labs（TRAIL——可信AI实验室）
研究安全关键应用中分类器的稳健性与可靠性，通过选择性分类视角探讨差距，引入统一基准，提出证据对抗训练方法，提升稳健性与不确定性权衡，优于现有对抗训练方法。
2026-07-07 cs.CV cs.LG
Spectral regularization for adversarially-robust representation learning
John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·保尔森工程与应用科学学院）；Center for Brain Science, Harvard University（哈佛大学脑科学中心）；Kempner Institute for the Study of Natural and Artificial Intelligence, Harvard University（哈佛大学肯普ner自然与人工智能研究所）
针对神经网络对抗脆弱性，提出面向表示学习的谱正则化方法，提升下游分类任务的黑盒对抗鲁棒性，实验证明其优于全层正则化。
2024-05-27 cs.CV cs.LG
Mixup Regularization for Region Proposal based Object Detectors
Deepomatic；CentraleSupelec（法国中央理工-高等电力学院）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）
Mixup是一种基于标记样本对线性插值的神经网络正则化技术，它通过一种令人惊讶的简单形式来提高模型的鲁棒性和可推广性。然而，由于边界框的内插不能被简单地定义，因此它在目标检测领域的扩展仍然不清楚。在本文中，我们建议利用锚点的固有区域映射结构，为基于区域建议的对象检测器引入混合驱动的训练正则化。所提出的方法在具有挑战性的检测设置的标准数据集上进行基准测试。我们的实验显示了增强的鲁棒性图像更改以及去背景化检测的能力，从而提高了泛化能力。
2020-03-04 cs.CV cs.LG
D2R: dual regularization loss with collaborative adversarial generation for model robustness
Newcastle University（新castle大学）；University of Southampton（南安普顿大学）；Technical University of Ostrava（奥斯特拉大学）
针对协同对抗训练中损失引导不足与对抗样本生成不协同的问题，提出D2R双重正则化损失与CAG协同生成策略，并在多个基准和模型上验证其可显著提升鲁棒性。
2025-06-08 cs.CR cs.CV cs.LG
A Regularization Method to Improve Adversarial Robustness of Neural Networks for ECG Signal Classification
University of Miami（迈阿密大学）
心电图（ECG）是最广泛使用的监测人类心脏状况的诊断工具。通过使用深度神经网络（DNN），ECG信号的解释可以完全自动化，以便在几分之一秒内识别患者心脏中的潜在异常。研究表明，给定足够大的训练数据量，用于ECG分类的DNN准确性可以达到人类专家心脏病专家水平。然而，尽管DNN在分类准确性方面表现出色，但DNN非常容易受到对抗性噪声的影响，这些噪声是DNN输入中的细微变化，并可能导致错误的类别标签预测。提高DNN对对抗性噪声的鲁棒性是具有挑战性和必要性的，对抗性噪声对生命至关重要的应用构成威胁。在这项工作中，我们提出了一种正则化方法，以提高DNN的鲁棒性的噪声信号比（NSR）的角度为ECG信号分类的应用。我们在PhysioNet MIT-BIH数据集和CPSC 2018 ECG数据集上评估了我们的方法，结果表明，我们的方法可以大大增强DNN对对抗攻击产生的对抗性噪声的鲁棒性，并且在干净数据上的准确性变化最小。
2022-03-15 cs.AI cs.CV cs.LG
Standard-Deviation-Inspired Regularization for Improving Adversarial Robustness
Iowa State University（爱荷华州立大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出受标准差启发的正则化项 SDI，将其与现有对抗训练方法结合，以提升深度神经网络对 CW 和 Auto-attack 等更强攻击的鲁棒性与泛化能力。
2024-12-27 cs.AI cs.CR cs.CV
AugMix: A Simple Data Processing Method to Improve Robustness and Uncertainty
DeepMind；Google（谷歌）
现代深度神经网络在训练分布和测试分布同分布时可以达到很高的精度，但在实践中经常违反这一假设。当训练和测试分布不匹配时，准确性会急剧下降。目前，很少有技术可以提高部署过程中遇到的不可预见的数据变化的鲁棒性。在这项工作中，我们提出了一种技术，以提高图像分类器的鲁棒性和不确定性估计。我们提出AugMix，一种易于实现的数据处理技术，增加了有限的计算开销，并帮助模型承受不可预见的损坏。AugMix显著提高了具有挑战性的图像分类基准的鲁棒性和不确定性度量，在某些情况下缩小了以前方法与最佳性能之间的差距。
2020-02-17 cs.CV cs.LG stat.ML
Using Pre-Training Can Improve Model Robustness and Uncertainty
UC Berkeley（加州大学伯克利分校）；KAIST（韩国科学技术院）；University of Chicago（芝加哥大学）
He et al.（2018）对预训练的效用提出了质疑，表明从头开始的训练通常可以产生与预训练相似的性能。我们表明，虽然预训练可能不会提高传统分类指标的性能，但它提高了模型的鲁棒性和不确定性估计。通过对对抗性示例、标签损坏、类别不平衡、分布外检测和置信度校准的广泛实验，我们证明了预训练的巨大收益和特定任务方法的互补效应。我们引入了对抗性预训练，并在对抗性鲁棒性方面比以前的最先进技术有大约10%的绝对改进。在某些情况下，使用没有特定任务方法的预训练也超越了最先进的技术，突出了在评估鲁棒性和不确定性任务的未来方法时对预训练的需求。
2019-10-20 cs.CV cs.LG stat.ML
Using Self-Supervised Learning Can Improve Model Robustness and Uncertainty
UC Berkeley（加州大学伯克利分校）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
自我监督为下游任务提供了有效的表示，而不需要标签。然而，现有的方法落后于完全监督的训练，并且通常被认为除了消除或减少对注释的需求之外没有好处。我们发现，自我监督可以通过多种方式使鲁棒性受益，包括对抗性示例的鲁棒性，标签腐败和常见的输入腐败。此外，自监督极大地有利于对困难的、接近分布的离群值的分布外检测，以至于它超过了完全监督方法的性能。这些结果证明了自我监督的承诺，提高鲁棒性和不确定性估计，并建立这些任务作为新的轴的评价，为未来的自监督学习研究。
2019-10-29 cs.CV cs.LG stat.ML
Improved Regularization and Robustness for Fine-tuning in Neural Networks
Northeastern University（东北大学）
本文分析了微调的泛化性质并提出PAC-Bayes界，据此提出正则化自标记方法，通过逐层正则化、自标记纠正和标签重加权提升鲁棒性，在图像和文本数据集上显著优于基线方法。
2025-08-13 cs.CV cs.LG stat.ML
Robustness via Uncertainty-aware Cycle Consistency
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（图宾根大学）
不成对的图像到图像的翻译是指学习图像域间映射没有相应的图像对。现有的方法学习确定性映射没有明确建模的鲁棒性离群值或预测的不确定性，导致性能下降时，在测试时遇到看不见的扰动。为了解决这个问题，我们提出了一种新的概率方法的基础上不确定性感知广义自适应循环一致性（UGAC），该模型的每像素残差广义高斯分布，能够建模重尾分布。我们将我们的模型与各种具有挑战性的任务的各种最先进的方法进行比较，包括使用标准数据集，跨越自动驾驶，地图，立面以及由MRI组成的医学成像领域的自然图像的未配对图像翻译。实验结果表明，该方法对测试数据中的未知扰动具有较强的鲁棒性。代码发布在这里：https://github.com/ExplainableML/UncertaintyAwareCycleConsistency。
2021-10-24 cs.CV cs.LG eess.IV
Jacobian Regularization for Mitigating Universal Adversarial Perturbations
Imperial College London（伦敦帝国理工学院）；DataSpartan
通用对抗扰动（Universal Adversarial Perturbations，简称UAP）是一种输入扰动，可以在大量数据集上欺骗神经网络。它们是一类代表重大威胁的攻击，因为它们促进了对神经网络的现实，实用和低成本攻击。在这项工作中，我们推导出上限的有效性的UAP的基础上规范的数据依赖的雅可比矩阵。我们的经验证明，雅可比正则化大大提高了模型的鲁棒性高达四倍，同时保持干净的性能。我们的理论分析还使我们能够制定一个度量对输入之间的共享对抗扰动的强度。我们将此度量应用于基准数据集，并表明它与实际观察到的鲁棒性高度相关。这表明，现实和实用的通用攻击可以可靠地减轻，而不会牺牲干净的准确性，这表明机器学习系统的鲁棒性的承诺。
2021-09-13 cs.AI cs.CR cs.CV
Blurs Behave Like Ensembles: Spatial Smoothings to Improve Accuracy, Uncertainty, and Robustness
NAVER AI Lab（NAVER人工智能实验室）；Yonsei University（延世大学）
神经网络集成，如贝叶斯神经网络（BNN），已显示出在不确定性估计和鲁棒性领域的成功。然而，一个关键的挑战是禁止在实践中使用它们。BNN需要大量的预测来产生可靠的结果，导致计算成本显着增加。为了缓解这个问题，我们提出了空间平滑，一种在空间上集成卷积神经网络的相邻特征映射点的方法。通过简单地添加几个模糊层的模型，我们经验表明，空间平滑提高精度，不确定性估计，和鲁棒性的BNN在整个范围内的合奏大小。特别是，结合空间平滑的BNN仅用少数集合就实现了高预测性能。此外，该方法还可以应用于规范确定性神经网络，以提高性能。许多证据表明，这些改进可以归因于稳定的特征图和平滑的损失景观。此外，我们提供了一个基本的解释以前的作品-即，全球平均池，预激活，和ReLU 6-通过解决他们作为空间平滑的特殊情况。这些不仅提高了准确性，而且通过以与空间平滑相同的方式使损失景观更平滑来提高不确定性估计和鲁棒性。该代码可在https://github.com/xxxnell/spatial-smoothing上获得。
2022-07-14 cs.AI cs.CV cs.LG
