Cauchy Loss Function: Robustness Under Gaussian and Cauchy Noise
University of Pretoria（比勒陀利亚大学）
在监督机器学习中，损失函数的选择隐含地假设数据上的特定噪声分布。例如，经常使用的均方误差（MSE）损失假设高斯噪声分布。在训练和测试过程中，损失函数的选择会影响人工神经网络（ANN）的性能。众所周知，MSE在存在离群值的情况下可能会产生低于标准的性能。柯西损失函数（CLF）假设柯西噪声分布，因此可能更适合具有离群值的数据。本文旨在确定CLF与MSE相比的稳健性和普遍性程度。CLF和MSE在人工神经网络训练的背景下，在一些手工回归问题和人工模拟离群值的真实回归问题上进行评估。CLF产生的结果与MSE产生的结果相当或更好，但有几个明显的例外。
2023-02-14 cs.AI cs.LG cs.NE
On the intrinsic robustness to noise of some leading classifiers and symmetric loss function -- an empirical evaluation
Orange Labs（橙色实验室）
在某些工业应用中，例如欺诈检测，常见监督技术的性能可能会受到可用标签质量差的影响：在实际操作用例中，这些标签可能在数量、质量或可信度方面较弱。我们提出了一个基准测试，以评估自然的鲁棒性的不同算法采取的各种范式对人为损坏的数据集，重点是嘈杂的标签。本文研究了一些主要分类器的内在鲁棒性。正在审查的算法包括SVM，逻辑回归，随机森林，XGBoost，Khiops。此外，从最近的文献结果的基础上，该研究的补充调查的机会，以提高一些算法的对称损失函数。
2021-06-21 cs.LG
Certifying Global Robustness for Deep Neural Networks
Northwestern University（西北大学）；Meta
本文提出一种基于PAC验证框架的深度神经网络全局鲁棒性评估与验证方法，利用概率程序刻画输入区域，引入累积鲁棒性曲线，并结合多级分裂与回归分析显著降低执行时间，有效为对抗训练找到罕见反例。
2024-05-31 cs.AI cs.LG
Quadratic Upper Bound for Boosting Robustness
Department of Computer Science and Engineering, Konkuk University, Seoul, South Korea（计算机科学与工程系，konkuk大学，首尔，韩国）
本文提出二次上界损失函数，用于提升对抗训练的鲁棒性，实验表明该方法能有效改善模型的鲁棒性。
2026-01-20 cs.AI cs.CV cs.LG
Distribution-restrained Softmax Loss for the Model Robustness
School of Computer and Artificial Intelligence, Zhengzhou University（郑州大学计算机与人工智能学院）；Inspur Electronic Information Industry Co., Ltd（浪潮电子信息产业股份有限公司）；State Key Laboratory of High-End Server & Storage Technology（高端服务器与存储技术国家重点实验室）；Shandong Hailiang Information Technology Institutes（山东海量信息技术研究院）；Zhengzhou Yunhai Information Technology Co., Ltd（郑州云海信息技术有限公司）
近年来，深度学习模型的鲁棒性受到了广泛关注，提出了多种提高模型鲁棒性的方法，包括对抗性训练、模型结构修改、损失函数设计、认证防御等，但对模型鲁棒性的原理还没有完全理解，相关研究还不够充分。在这里，我们已经确定了一个影响模型鲁棒性的重要因素：非真实标签样本的softmax值的分布特征。我们发现攻击后的结果与分布特征高度相关，因此我们提出了一个损失函数来抑制softmax的分布多样性。大量的实验表明，我们的方法可以提高鲁棒性没有显着的时间消耗。
2023-03-22 cs.CR cs.LG
Enhancing Certified Robustness via Block Reflector Orthogonal Layers and Logit Annealing Loss
Department of Computer Science（计算机科学系）；Information Engineering, National Taiwan University, Taiwan（信息工程，台湾国立台湾大学）
提出块反射正交层与对数退火损失，构建BRONet网络，在多个数据集上实现最先进的认证鲁棒性。
2025-08-05 cs.LG
Searching for Robustness: Loss Learning for Noisy Classification Tasks
University of Edinburgh（爱丁堡大学）；Samsung AI Centre Cambridge（三星剑桥人工智能中心）
我们提出了一个“学习学习”的方法，自动构建白盒分类损失函数，是强大的标签噪声的训练数据。我们使用泰勒多项式参数化一个灵活的损失函数族，并应用进化策略在这个空间中搜索噪声鲁棒损失。为了学习可应用于新任务的可重用损失函数，我们的适应度函数在一系列训练数据集和架构组合中对其性能进行了综合评分。由此产生的白盒损失提供了一个简单而快速的“即插即用”模块，该模块能够在不同的下游任务中进行有效的噪声鲁棒学习，而不需要特殊的训练过程或网络架构。我们的方法的有效性证明了各种数据集与合成和真实的标签噪声，我们比较有利，以前的工作。
2021-02-27 cs.LG
Improving the Robustness of Deep Neural Networks via Adversarial Training with Triplet Loss
Nanjing University（南京大学）；JD AI Research（京东人工智能研究院）
最近的研究表明，深度神经网络（DNN）容易受到对抗性样本的影响。在本文中，我们通过利用距离度量学习技术来提高DNN的鲁棒性。具体来说，我们将最流行的距离度量学习方法之一Triplet Loss纳入对抗训练的框架中。我们提出的算法，对抗训练与三重损失（AT $^2$ L），替代对抗的例子对当前模型的锚三重损失，有效地平滑分类边界。此外，我们提出了一个集成版本的AT $^2$ L，聚合不同的攻击方法和模型结构，以更好的防御效果。我们的实证研究验证了所提出的方法可以显着提高DNN的鲁棒性，而不会牺牲准确性。最后，我们证明了我们专门设计的三重态损失也可以用作正则化项来增强其他防御方法。
2019-05-28 cs.LG stat.ML
Distributional Robustness Loss for Long-tail Learning
Bar-Ilan University（巴伊兰大学）；NVIDIA Research（英伟达研究院）
现实世界的数据通常是不平衡的和长尾的，但是深度模型很难在频繁类的情况下识别稀有类。为了解决不平衡的数据，大多数研究尝试平衡数据，损失或分类器，以减少对头部类的分类偏差。很少有人关注用不平衡数据学习的潜在表征。我们发现，深度网络的特征提取器部分受到这种偏见的严重影响。我们提出了一种基于鲁棒性理论的新损失，它鼓励模型学习头部和尾部类的高质量表示。虽然鲁棒性损失的一般形式可能很难计算，但我们进一步推导出一个易于计算的上限，可以有效地最小化。该过程减少了对特征空间中头部类的表示偏差，并在CIFAR 100-LT，ImageNet-LT和iNaturalist长尾基准上获得了新的SOTA结果。我们发现，具有鲁棒性的训练提高了尾类的识别精度，同时在很大程度上保持了头类的精度。新的鲁棒性损失可以与各种分类器平衡技术相结合，并且可以应用于深度模型的几个层的表示。
2021-10-30 cs.CV cs.LG
Capability and Robustness Cannot Both Be Free: An Information-Theoretic Bound for Vision-Language-Action Models
Jianwei Tai（Tai Jianwei）
本文证明视觉-语言-动作模型的能力与鲁棒性之间存在信息论权衡，能力与鲁棒性之和受限于任务熵与对抗信道容量之和，并通过实验验证了该界。
2026-05-30 cs.CR cs.LG
Improved robustness to adversarial examples using Lipschitz regularization of the loss
我们使用最坏情况对抗训练（WCAT）增强对抗训练（AT），在CIFAR-10上的$\ell_2$规范中，它将对抗鲁棒性提高了11%。我们得到可验证的平均情况下和最坏情况下的鲁棒性保证，基于期望和最大值的范数的梯度的损失。我们将对抗训练解释为总变差正则化，这是数学图像处理中的基本工具，而WCAT则是Lipschitz正则化。
2019-09-13 cs.CR cs.CV cs.LG
Bridging Mode Connectivity in Loss Landscapes and Adversarial Robustness
Northeastern University（东北大学）；IBM Research（IBM研究院）
模式连通性为分析损失景观提供了新的几何见解，并能够在训练有素的神经网络之间构建高精度路径。在这项工作中，我们提出在损失景观中使用模式连通性来研究深度神经网络的对抗鲁棒性，并提供改进这种鲁棒性的新方法。我们的实验涵盖了应用于不同网络架构和数据集的各种类型的对抗攻击。当网络模型被后门或错误注入攻击篡改时，我们的研究结果表明，使用有限数量的善意数据学习的路径连接可以有效地减轻对抗性影响，同时保持干净数据的原始准确性。因此，模式连接为用户提供了修复后门或错误注入模型的能力。我们还使用模式连通性来研究常规和鲁棒模型对规避攻击的损失景观。实验表明，在连接常规和对抗训练模型的路径上，对抗鲁棒性损失存在障碍。对抗鲁棒性损失和输入Hessian矩阵的最大特征值之间存在高度相关性，并给出了理论证明。我们的研究结果表明，模式连接性为评估和提高对抗鲁棒性提供了一个全面的工具和实用的手段。
2020-07-03 cs.CV cs.LG stat.ML
Early Data Exposure Improves Robustness to Subsequent Fine-Tuning
Department of Computer Science（计算机科学系）；Cranberry-Lemon University（Cranberry-Lemon 大学）；Department of Computational Neuroscience（计算神经科学系）；University of the Witwatersrand（沃茨沃斯兰德大学）
本文研究了上游训练策略如何影响模型在后续微调中的鲁棒性，发现早期数据暴露能提升模型在微调后的表现，而传统方法如回放和dropout在后续微调中提供补充增益。
2026-08-11 cs.LG
Tightening the Approximation Error of Adversarial Risk with Auto Loss Function Search
University of Science and Technology of China（中国科学技术大学）
尽管取得了巨大的成功，但深度神经网络（DNN）很容易受到对抗性样本的影响。如何准确评估DNN的对抗鲁棒性对于其在现实世界中的应用部署至关重要。稳健性的一个理想指标是对抗风险。不幸的是，由于它涉及最大化0-1损失，计算真正的风险在技术上是棘手的。最常见的解决方案是通过用一个替代损失来代替0-1损失来计算近似风险。已经使用了一些函数，例如交叉熵（CE）损失和对数比差（DLR）损失。然而，这些函数都是手动设计的，可能不太适合对抗鲁棒性评估。在本文中，我们利用AutoML来缩小真实风险和近似风险之间的误差（差距）。我们的主要贡献如下。首先，AutoLoss-AR，第一个方法来搜索代理损失的对抗性风险，一个精心设计的搜索空间，提出。在10个对抗训练模型上的实验结果证明了该方法的有效性：使用最佳发现损失评估的风险比使用手工基线评估的风险高0.2%至1.6%。其次，提取出5个具有清晰可读公式的替代损失，并在7个看不见的对抗训练模型上进行测试。这些损失超过基线0.8%至2.4%，表明它们可以单独用作某种新知识。此外，这些损失的更好的性能的可能原因进行了探讨。
2022-04-09 cs.AI cs.LG
A Flat Minima Perspective on Understanding Augmentations and Model Robustness
本文从平坦极小值角度理论揭示了标签保持增强提升模型鲁棒性的通用条件，并通过实验验证其在不同分布偏移下的有效性。
2025-12-14 cs.AI cs.LG
Enhancing Adversarial Robustness of Deep Neural Networks Through Supervised Contrastive Learning
University of South Dakota（南达科他大学）
本文提出结合监督对比学习与基于间隔的对比损失的新框架，通过优化特征空间结构和决策边界间隔，在CIFAR-100和ResNet-18上提升了对抗鲁棒性。
2024-12-27 cs.AI cs.LG
Does Order Matter : Connecting The Law of Robustness to Robust Generalization
Ashoka University（阿什oka大学）；Truth Audit Labs（真相审计实验室）；Indian Statistical Institute（印度统计研究所）
本文通过全局和局部Rademacher复杂度，将鲁棒性定律（Lipschitz常数下界）与鲁棒泛化误差联系起来，证明了对任意数据分布，全局Lipschitz界阶不变，而局部Lipschitz界阶随扰动半径和局部浓度项变化。
2026-06-03 cs.AI cs.LG
A Layer-wise Adversarial-aware Quantization Optimization for Improving Robustness
Duke University（杜克大学）；Monta Vista High School（蒙塔维斯塔高中）
神经网络正以更高的能量和计算成本获得更好的精度。量化后，可以大大节省成本，量化后的模型更硬件友好，精度损失可以接受。另一方面，最近的研究发现神经网络容易受到对抗攻击，只有通过对抗训练等防御方法才能提高神经网络模型的鲁棒性。在这项工作中，我们发现，对抗训练的神经网络比普通模型更容易受到量化损失。为了同时最小化对抗和量化损失并使量化模型鲁棒，我们提出了一种逐层对抗感知量化方法，使用Lipschitz常数为神经网络选择最佳量化参数设置。我们从理论上推导出的损失，并证明我们的度量选择的一致性。实验结果表明，该方法可以有效地提高量化对抗训练神经网络的鲁棒性。
2021-10-23 cs.AI cs.CV cs.LG
Text Capability Loss in Vision-Language Adaptation: An Attention-Sink Diagnosis
Korea University（高丽大学）；NAVER Cloud（NAVER云）；KAIST（韩国科学技术院）
该研究针对VL微调导致LLM文本能力损失的问题，提出用Sink Strength诊断并预测退化，发现QK-RMSNorm及现成权重合并无法恢复能力，建议用Sink Strength筛选主干。
2026-09-02 cs.LG
Towards adversarial robustness with 01 loss neural networks
New Jersey Institute of Technology（新泽西理工学院）
出于对01损失的一般鲁棒性的考虑，我们提出了一种使用随机坐标下降训练的单隐藏层01损失神经网络，作为机器学习中对对抗攻击的防御。模型鲁棒性的一个衡量标准是使输入具有对抗性所需的最小失真。这可以近似为边界攻击（Brendel et. 2018）和HopSkipJump（Chen et. 2019）方法。我们将01损失网络的最小失真与二值化神经网络和具有交叉熵损失的标准S形激活网络进行了比较，所有这些网络都在CIFAR10基准分类0和1之间进行了高斯噪声训练。无论有无噪声训练，我们都发现我们的01损失网络在三个模型中具有最大的对抗性失真。为了进一步验证这些结果，我们在不同的失真阈值下对所有模型进行替代模型黑盒攻击，发现01损失网络在所有失真下都是最难攻击的。在失真为0.125时，sigmoid激活的交叉熵损失和二值化网络在对抗性示例中的准确率几乎为0%，而01损失网络的准确率为40%。即使01损失和二值化网络都使用符号激活，它们的训练算法也不同，这反过来又给出了不同的鲁棒性解决方案。最后，我们将我们的网络与替代模型黑盒攻击下的简单卷积模型进行了比较，发现它们的准确性相当。我们的工作表明，01损失网络有可能抵御黑盒对抗攻击比凸损失和二值化网络。
2020-08-20 cs.LG stat.ML
Effects of Loss Functions And Target Representations on Adversarial Robustness
SAP Asia, Singapore（新加坡SAP亚洲公司）
理解和评估神经网络在对抗环境下的鲁棒性是一个越来越受关注的主题。文献中提出的攻击通常使用经过训练的模型来最小化交叉熵损失并输出softmax概率。在这项工作中，我们提出了有趣的实验结果，表明考虑其他损失函数和目标表示的重要性，具体地说，（1）训练均方误差和（2）表示目标作为从随机码本生成的码字。我们评估了使用现有攻击实现这些修改的神经网络的鲁棒性，显示出对非目标攻击的准确性提高了98.7%，目标攻击成功率降低了99.8%。我们的模型表现出更强的鲁棒性相比，其传统的对应，甚至对攻击，是针对我们的修改。此外，我们发现，我们修改后的模型的参数有显着较小的Lipschitz边界，一个重要的措施与模型的对抗性扰动的敏感性。
2020-03-06 cs.LG stat.ML
Maintaining Adversarial Robustness in Continuous Learning
Tongji University（同济大学）；Huawei Technologies Ltd（华为技术有限公司）
针对持续学习中神经网络权重更新易导致对抗鲁棒性丧失的问题，提出一种梯度投影技术，通过正交投影反向传播梯度稳定过往样本梯度，结合防御算法维持鲁棒性，实验验证其在强攻击下仍能缓解鲁棒性快速下降。
2024-08-13 cs.AI cs.LG
Lower Bounds on Adversarial Robustness for Multiclass Classification with General Loss Functions
University College London（伦敦大学学院）；University of Wisconsin Madison（威斯康星大学麦迪逊分校）
该研究针对多分类对抗鲁棒分类问题，推导了通用损失下鲁棒风险最小化的对偶与重心重构形式，给出多种损失的显式刻画，可高效计算紧下界并助力鲁棒分类器设计，还揭示了其与公平装箱、广义重心问题的关联，通过数值实验验证了交叉熵损失下可得到更紧下界。
2025-10-02 cs.LG math.OC stat.ML
Bridging Adversarial Robustness and Gradient Interpretability
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Satrec Initiative（Satrec Initiative公司）；SI Analytics
对抗性训练是一种训练方案，旨在通过使用对抗性示例增强训练数据集来对抗对抗攻击。令人惊讶的是，一些研究已经观察到，来自对抗训练的DNN的损失梯度比来自标准DNN的损失梯度在视觉上更容易解释。虽然这种现象很有趣，但只有少数作品提供了解释。在本文中，我们试图弥合对抗鲁棒性和梯度可解释性之间的差距。为此，我们确定了来自对抗训练的DNN的损失梯度与人类感知更好地对齐，因为对抗训练限制了更接近图像流形的梯度。然后，我们证明了对抗性训练导致损失梯度具有定量意义。最后，我们证明了在对抗训练框架下，测试准确性和损失梯度可解释性之间存在经验权衡，并提出了两种解决这种权衡的潜在方法。
2019-04-19 cs.AI cs.LG stat.ML
D2R: dual regularization loss with collaborative adversarial generation for model robustness
Newcastle University（新castle大学）；University of Southampton（南安普顿大学）；Technical University of Ostrava（奥斯特拉大学）
针对协同对抗训练中损失引导不足与对抗样本生成不协同的问题，提出D2R双重正则化损失与CAG协同生成策略，并在多个基准和模型上验证其可显著提升鲁棒性。
2025-06-08 cs.CR cs.CV cs.LG
Rethinking Softmax Cross-Entropy Loss for Adversarial Robustness
Tsinghua University（清华大学）；RealAI（瑞莱智慧）
以前的工作表明，对抗性鲁棒泛化需要更大的样本复杂度，以及相同的数据集，例如，CIFAR-10，它使良好的标准精度可能不足以训练鲁棒模型。由于收集新的训练数据可能是昂贵的，我们专注于更好地利用给定的数据，通过在特征空间中诱导具有高样本密度的区域，这可能导致本地足够的样本进行鲁棒学习。我们首先正式表明softmax交叉熵（SCE）损失及其变体传达了不适当的监督信号，这会鼓励学习的特征点在训练中稀疏地分布在空间中。这启发我们提出最大马氏中心（MMC）损失显式诱导密集的特征区域，以利于鲁棒性。也就是说，MMC损失鼓励模型专注于学习有序和紧凑的表示，这些表示聚集在不同类别的预设最佳中心周围。我们的经验表明，应用MMC损失可以显着提高鲁棒性，即使在强大的自适应攻击，同时保持最先进的精度干净的输入相比，SCE损失很少的额外计算。
2020-02-20 cs.CR cs.LG stat.ML
Expressive Losses for Verified Robustness via Convex Combinations
Imperial College London（伦敦帝国学院）；University of Oxford（牛津大学）；Inria（法国国家信息与自动化研究所）；École Normale Supérieure（高等师范学院）；PSL University（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；Google DeepMind（谷歌DeepMind）
本文提出通过凸组合构造表达性损失，以单参数调节最坏情况损失的上下界权衡，在多种设置下取得最先进的可验证鲁棒性，并揭示近似精度与权衡优劣的非必然关联。
2024-03-18 cs.CR cs.LG stat.ML
Improving Adversarial Robustness via Probabilistically Compact Loss with Logit Constraints
Wayne State University（韦恩州立大学）
卷积神经网络（CNN）在计算机视觉的各种任务上都取得了最先进的性能。然而，最近的研究表明，这些模型很容易受到精心制作的对抗样本的影响，并且在预测它们时会出现显着的性能下降。已经提出了许多方法来提高对抗鲁棒性（例如，对抗训练和新的损失函数以学习对抗鲁棒的特征表示）。在这里，我们对CNN的预测行为提供了一个独特的见解，即它们往往会将对抗样本错误分类为最可能的错误类别。这启发我们提出了一种新的具有logit约束的概率紧凑（PC）损失，它可以用作交叉熵（CE）损失的替代品，以提高CNN的对抗鲁棒性。具体地说，PC损失扩大了真类和假类之间的概率差距，同时logit约束防止差距被一个小的扰动融化。我们在白盒和黑盒攻击下使用大规模数据集将我们的方法与最先进的方法进行了广泛比较，以证明其有效性。源代码可从以下URL获得：https://github.com/xinli0928/PC-LC。
2020-12-14 cs.CV cs.LG
Improving the Robustness and Generalization of Deep Neural Network with Confidence Threshold Reduction
Xi’an Jiaotong University（西安交通大学）；Qingdao University（青岛大学）
深度神经网络很容易受到难以察觉的扰动的攻击。对抗性训练（AT）是目前提高模型对对抗性样本鲁棒性的最有效方法。然而，由于对抗训练解决了最小值-最大值问题，与自然训练相比，鲁棒性和泛化是矛盾的，即，模型鲁棒性的提高会降低模型的泛化能力。为了解决这个问题，在本文中，一个新的概念，即置信阈值（CT），被引入和降低的置信阈值，称为置信阈值降低（CTR），被证明可以提高模型的泛化和鲁棒性。具体地，为了减少用于自然训练的CT（即，对于使用CTR的自然训练），我们提出了由交叉熵损失项和正交项组成的掩模引导的发散损失函数（MDL）。理论和实证分析表明，MDL损失提高了模型的鲁棒性和泛化能力的自然训练的同时。然而，使用CTR的自然训练的模型鲁棒性改进与对抗训练的模型鲁棒性改进不可比较。因此，对于对抗训练，我们提出了一个标准差损失函数（STD），它最小化错误类别的概率差异，通过集成到对抗训练的损失函数中来降低CT。理论和实证分析表明，基于STD的损失函数在保证自然精度不变或略有提高的基础上，进一步提高了逆向训练模型的鲁棒性。
2022-07-12 cs.CV cs.LG
Loss factorization, weakly supervised learning and label noise robustness
Australian National University（澳大利亚国立大学）；NICTA（国家信息与通信技术研究院）；École Polytechnique（巴黎综合理工学院）；Sony Computer Science Laboratories Inc.（索尼计算机科学实验室公司）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学与科学研究所）
我们证明了经验风险的最知名的损失函数因素到一个线性项聚合的所有标签与一个长期的标签是免费的，并可以进一步表示的损失的总和。这甚至适用于非光滑、非凸损失和任何RKHS。第一项是一个（核）平均算子-这项工作的焦点量-我们的特点是标签的充分统计。结果收紧已知的泛化范围，并揭示了新的光对他们的解释。因子分解在弱监督学习中有直接的应用。特别是，我们证明了算法，如SGD和近端方法可以适应以最小的努力来处理弱监督，一旦平均算子估计。我们将这一想法应用于非对称噪声标签的学习，连接和扩展先前的工作。此外，我们发现，大多数损失享有的数据依赖（平均算子）形式的噪声鲁棒性，与已知的负面结果。
2016-02-09 cs.LG stat.ML
SQWA: Stochastic Quantized Weight Averaging for Improving the Generalization Capability of Low-Precision Deep Neural Networks
Seoul National University（首尔国立大学）
设计具有良好泛化能力的深度神经网络（DNN）是一个复杂的过程，特别是当权重严重量化时。模型平均是实现DNN良好泛化能力的一种很有前途的方法，特别是当用于训练的损失表面包含许多尖锐的极小值时。我们提出了一种新的量化神经网络优化方法，随机量化加权平均（SQWA），设计低精度DNN具有良好的泛化能力，使用模型平均。所提出的方法包括（1）浮点模型训练，（2）权重的直接量化，（3）在具有循环学习率的再训练期间捕获多个低精度模型，（4）平均捕获的模型，以及（5）重新量化平均模型并以低学习率对其进行微调。此外，我们提出了一个损失可视化技术的量化权重域，以清楚地阐明所提出的方法的行为。可视化结果表明，一个量化DNN（QDNN）与所提出的方法优化位于中心附近的平坦的最小值的损失表面。通过SQWA训练，我们在CIFAR-100和ImageNet数据集上获得了2位QDNN的最新结果。虽然我们只采用了一个统一的量化方案，在VLSI或低精度神经处理单元的实现，实现的性能超过了以前的研究采用非均匀量化。
2020-02-02 cs.LG stat.ML
Improving robustness of jet tagging algorithms with adversarial training: exploring the loss surface
Center for Theoretical Physics, Sloane Physics Laboratory, Yale University（理论物理中心，斯洛恩物理实验室，耶鲁大学）；III. Physics Institute A, RWTH Aachen University（物理研究所A，亚琛工业大学）
研究通过对抗训练提升喷注标记算法鲁棒性，探索输入和模型对应的损失曲面几何解释，考虑相关性以提高模型稳定性。
2023-03-25 cs.AI cs.LG hep-ex
Interpreting Adversarial Robustness: A View from Decision Surface in Input Space
George Mason University（乔治梅森大学）；Clarkson University（克拉克森大学）；Northeastern University（东北大学）
神经网络推广的一个流行假设是参数空间中损失曲面的平坦局部极小导致良好的推广。然而，我们证明了参数空间中的损失面与泛化没有明显的关系，特别是在对抗性设置下。通过在参数空间和输入空间中对决策曲面进行可视化，我们证明了决策曲面在输入空间中的几何性质与对抗鲁棒性有很好的相关性。然后，我们提出了一个对抗鲁棒性指标，它可以评估神经网络的内在鲁棒性，而无需测试其准确性下的对抗攻击。在此基础上，我们进一步提出了我们的鲁棒训练方法。在不涉及对抗训练的情况下，我们的方法可以增强网络对各种对抗攻击的内在对抗鲁棒性。
2018-10-12 cs.AI cs.LG stat.ML
A Self-Supervised Feature Map Augmentation (FMA) Loss and Combined Augmentations Finetuning to Efficiently Improve the Robustness of CNNs
Volkswagen AG（大众汽车公司）；Technische Universität Braunschweig（布伦瑞克工业大学）
深度神经网络通常对输入中与语义无关的变化不鲁棒。在这项工作中，我们解决了最先进的深度卷积神经网络（CNN）对输入中常见的失真（如光度变化或添加模糊和噪声）的鲁棒性问题。输入中的这些变化通常在训练期间以数据增强的形式被考虑。我们有两个主要贡献：首先，我们提出了一种新的正则化损失，称为特征图增强（FMA）损失，它可以在微调过程中使用，使模型对输入中的几种失真具有鲁棒性。其次，我们提出了一种新的组合增强（CA）微调策略，该策略可以产生一个单一的模型，该模型以数据高效的方式同时对几种增强类型具有鲁棒性。我们使用CA策略来改进现有的最先进的方法，称为稳定性训练（ST）。使用CA，在具有失真图像的图像分类任务上，我们在CIFAR-10上使用FMA和ST绝对值平均提高了8.94%和8.86%，在ImageNet上使用FMA和ST绝对值平均提高了8.04%和8.27%，而使用众所周知的数据增强方法分别提高了1.98%和2.12%，同时保持了干净的基线性能。
2020-12-02 cs.AI cs.CV cs.LG
Understanding Adversarial Robustness Through Loss Landscape Geometries
UnifyID；Stanford University（斯坦福大学）
在深度学习中对解释和改进泛化的追求引起了正则化技术以及损失表面几何的可视化技术的努力。后者与社区中流行的直觉有关，即平坦的局部最优值会导致较低的泛化误差。在本文中，我们利用最先进的“过滤器归一化”技术的损失表面可视化定性地了解使用对抗性训练数据增强作为显式正则化技术的选择的后果。令我们惊讶的是，我们发现这种经常部署的对抗增强技术实际上并没有导致“更平坦”的损失景观，这需要重新思考对抗训练泛化以及泛化和损失景观几何之间的关系。
2019-07-22 cs.CR cs.LG stat.ML
Robustness and Reliability When Training With Noisy Labels
Linköping University（林雪平大学）
为监督学习标记数据可能是昂贵和耗时的，并且在大型数据集中引入标签噪声的风险迫在眉睫。当使用严格适当的损失来训练灵活的判别模型时，这种噪声将不可避免地使解决方案朝向噪声标签上的条件分布移动。尽管如此，虽然深度神经网络已被证明能够拟合随机标签，但正则化和鲁棒损失函数的使用凭经验减轻了标签噪声的影响。然而，此类观察结果涉及准确性的鲁棒性，如果可靠的不确定性量化至关重要，则这是不够的。我们证明了这一点，通过分析的条件分布的属性在噪声标签的输入相关的噪声模型。此外，我们评估了一组鲁棒的损失函数，其特征在于噪声不敏感，渐近风险最小化。我们发现，严格适当的和强大的损失函数都提供渐近鲁棒性的准确性，但都不能保证最终的模型是校准。此外，即使使用鲁棒损失函数，过拟合在实践中也是一个问题。有了这些结果，我们的目标是解释观察到的鲁棒性常见的训练实践，如早期停止，标签噪声。此外，我们的目标是鼓励开发新的噪声鲁棒算法，不仅保持准确性，但也确保可靠性。
2022-05-12 cs.LG stat.ML
Label Distributionally Robust Losses for Multi-class Classification: Consistency, Robustness and Adaptivity
The University of Iowa（爱荷华大学）；University at Albany（奥尔巴尼大学）；Texas A&M University（得克萨斯农工大学）
本文从分布鲁棒优化视角研究多类分类的标签分布鲁棒（LDR）损失，证明了其一致性并提出一种能自适应实例标签噪声的新LDR损失，在多个数据集上展现出稳定竞争力。
2023-06-28 cs.LG
Strengthening the Internal Adversarial Robustness in Lifted Neural Networks
Chalmers University of Technology（查尔姆斯理工大学）
本文研究提升神经网络的内部对抗鲁棒性，通过仅修改训练损失增强鲁棒性，并提出结合有目标与无目标对抗扰动的新型训练损失。
2025-03-10 cs.LG
Introducing Fractional Classification Loss for Robust Learning with Noisy Labels
Faculty of Electrical and Electronics Engineering（电气与电子工程系）；AI and Intelligent Systems Laboratory（人工智能与智能系统实验室）
针对带噪标签学习中超参数调整困难的问题，提出自适应的分数阶分类损失（FCL），通过将分数阶导数阶数作为可学习参数动态优化鲁棒性与收敛速度的权衡，无需手动调参即达到最优性能。
2025-08-08 cs.LG
Kernel based regression with robust loss function via iteratively reweighted least squares
China Agricultural University（中国农业大学）
基于最小二乘核的方法由于实现简单、泛化能力强等优点，在回归问题中得到了广泛的应用。其中，最小二乘支持向量回归（LS-SVR）和极端学习机（ELM）是比较流行的技术。然而，噪声敏感性是一个主要瓶颈。为了解决这个问题，本文提出了一个广义的损失函数，称为$\ell_s$ -损失。在新的损失函数的支持下，通过用提出的$\ell_s$-loss代替LS-SVR和ELM中的$\ell_2$-loss，构造了两个基于核函数的回归器，以获得更好的噪声鲁棒性。从理论上证明了$\ell_s$ -损失的重要性质，包括鲁棒性、非对称性和渐近逼近行为.此外，迭代重加权最小二乘（IRLS）是用来优化和解释所提出的方法从加权的观点。证明了该算法的收敛性，并对鲁棒性进行了详细的分析.在人工数据集和基准数据集上的实验验证了所提方法的有效性。
2020-06-02 cs.LG stat.ML
Training Artificial Neural Networks by Generalized Likelihood Ratio Method: Exploring Brain-like Learning to Improve Robustness
Institute of Computing Technology（计算技术研究所）；Chinese Academy of Science（中国科学院）；Peking University（北京大学）；Fudan University（复旦大学）
在这项工作中，我们提出了一种广义似然比方法，能够训练人工神经网络与一些生物大脑一样的机制，例如，(a)通过损失值学习，（b）通过具有不连续激活和损失函数的神经元学习。传统的反向传播方法不能训练具有上述类脑学习机制的人工神经网络。数值结果表明，当输入数据同时受到自然噪声和对抗攻击的影响时，用该方法训练的各种人工神经网络的鲁棒性都得到了显著提高。代码可用：\url{https://github.com/LX-doctorAI/GLR_ADV}。
2019-07-11 cs.AI cs.LG stat.ML
A Curriculum View of Robust Loss Functions
Zhihu Inc.（知乎公司）；Westlake University（西湖大学）
该研究从课程视角分析鲁棒损失函数，将其重写为同类别分数间隔、不同样本加权函数的形式，解释欠拟合与鲁棒性的成因，通过调整课程提升欠拟合鲁棒损失的性能，并指出训练调度对噪声鲁棒性的重要影响。
2023-05-03 cs.CL cs.LG
Robustness through Data Augmentation Loss Consistency
University of Southern California（南加州大学）；Georgia Institute of Technology（佐治亚理工学院）；Meta AI；Google Research（谷歌研究院）
虽然通过经验风险最小化（ERM）的深度学习已经成功地在各种复杂任务中实现了人类水平的性能，但ERM对分布偏移或对抗攻击并不鲁棒。合成数据增强后的经验风险最小化（DA-ERM）是一种简单且广泛使用的解决方案，以提高ERM的鲁棒性。此外，可以应用一致性正则化，以进一步提高模型的鲁棒性，通过迫使原始样本和增强样本的表示是相似的。然而，现有的一致性正则化方法不适用于协变数据增强，其中增强样本中的标签依赖于增强函数。例如，当我们用一个新的命名实体来扩充数据时，对话状态会随着命名实体而变化。在本文中，我们提出了数据增强的损失不变正则化（DAIR），一种简单形式的一致性正则化，直接应用于损失水平，而不是中间特征，使其广泛适用于不变和协变数据增强，无论网络架构，问题设置和任务。我们将DAIR应用于涉及协变数据增强的现实学习问题：鲁棒的面向神经任务的对话状态跟踪和鲁棒的视觉问答。我们还将DAIR应用于涉及不变数据增强的任务：鲁棒回归，针对对抗攻击的鲁棒分类，以及分布偏移下的鲁棒ImageNet分类。我们的实验表明，DAIR始终优于ERM和DA-ERM几乎没有边际计算成本，并设置新的国家的最先进的结果在几个基准涉及协变数据增强。我们所有实验的代码可在https://github.com/optimization-for-data-driven-science/DAIR.git上获得
2023-01-24 cs.AI cs.CL cs.CV
Evaluating Robustness to Dataset Shift via Parametric Robustness Sets
University of Copenhagen（哥本哈根大学）；MIT（麻省理工学院）
我们给出了一种方法，用于主动识别小的，合理的分布变化，导致模型性能的巨大差异。这些变化是通过观测变量的因果机制中的参数变化来定义的，其中对参数的约束产生了一个合理分布的“鲁棒性集”和相应的最坏情况下的损失。虽然可以通过重新加权技术（例如重要性采样）来估计单个参数偏移下的损失，但所产生的最坏情况优化问题是非凸的，并且估计可能遭受大的方差。然而，对于小的移位，我们可以构造移位下损失的局部二阶近似，并将寻找最坏情况移位的问题转换为特定的非凸二次优化问题，对此可以使用有效的算法。我们证明了这种二阶近似可以直接估计的条件指数族模型的移位，我们绑定的近似误差。我们将我们的方法应用于计算机视觉任务（从图像中分类性别），揭示了对非因果属性变化的敏感性。
2023-01-15 cs.LG stat.ML
MixACM: Mixup-Based Robustness Transfer via Distillation of Activated Channel Maps
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Kyung-Hee University（庆熙大学）
深度神经网络容易受到自然输入中的对抗性、微小且难以察觉的变化的影响。针对这些示例的最有效的防御机制是对抗性训练，它通过迭代最大化损失来构建对抗性示例。然后训练模型，以最小化这些构建的示例的损失。这种最小-最大优化需要更多的数据、更大的容量模型和额外的计算资源。它还降低了模型的标准泛化性能。我们能更有效地实现鲁棒性吗？在这项工作中，我们从知识转移的角度来探讨这个问题。首先，我们从理论上证明了鲁棒性从一个对抗训练的教师模型到一个学生模型的混合增强的帮助下的可转移性。其次，我们提出了一种新的鲁棒性传输方法，称为基于混合的激活通道映射（MixACM）传输。MixACM通过匹配在没有昂贵的对抗性扰动的情况下生成的激活通道映射，将鲁棒性从鲁棒的教师转移到学生。最后，在多个数据集和不同学习场景上的广泛实验表明，我们的方法可以传递鲁棒性，同时也提高了自然图像的泛化能力。
2021-11-09 cs.AI cs.CV cs.LG
Learning Adaptive Loss for Robust Learning with Noisy Labels
Xi’an Jiaotong University（西安交通大学）；The Macau University of Science and Technology（澳门科技大学）
鲁棒损失最小化是处理噪声标签鲁棒学习问题的一个重要策略。然而，现有的鲁棒损失函数不可避免地涉及到超参数的人工调整或交叉验证，这使得它们很难在实际中得到普遍应用。此外，损失带来的非凸性以及复杂的网络结构使其容易陷入意想不到的解决方案，泛化能力差。针对上述问题，本文提出了一种自适应学习鲁棒损失函数超参数的元学习方法。具体而言，通过鲁棒损失超参数和网络参数之间的相互改进，在我们的方法，两者可以同时精细学习和协调，以获得具有良好的泛化能力的解决方案。将四种SOTA鲁棒损失函数引入到该算法中，并通过实验验证了该方法的有效性和通用性.
2020-02-16 cs.LG stat.ML
Enhanced ASR Robustness to Packet Loss with a Front-End Adaptation Network
Faculty of Electrical；Computer Engineering, Technion -- Israel Institute of Technology, Israel
本研究提出一种连接冻结 ASR 模型的前端自适应网络，通过最小化 ASR 模型准则与增强损失函数来修复丢包导致的受损频谱，显著降低了跨领域和跨语言的词错率且几乎不影响模型基础性能。
2024-06-27 cs.CL cs.LG cs.SD
Loss Landscape Analysis for Reliable Quantized ML Models for Scientific Sensing
Scuola Superiore Sant’Anna（圣安娜高等学校）；Fermi National Accelerator Laboratory（费米国家加速器实验室）；University of California San Diego（加利福尼亚大学圣迭戈分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
本文提出针对科学传感量化ML模型的损失景观实证分析方法，可评估量化精度和正则化技术下模型对噪声扰动的鲁棒性，发现平缓景观与鲁棒性的强相关性，无需多模型训练即可探索权衡，助力帕累托优化构建可靠系统。
2025-02-12 cs.LG
Improving Adversarial Robustness in Weight-quantized Neural Networks
Duke University（杜克大学）；Cadence Design Systems, Inc.（楷登电子设计系统公司）
如今，神经网络变得越来越深入，计算密集度越来越高。量化是在硬件平台上部署神经网络并以可忽略的性能损失节省计算成本的有用技术。然而，最近的研究表明，神经网络模型，无论是全精度还是量化的，都容易受到对抗攻击的攻击。在这项工作中，我们分析了对抗和量化损失，然后引入标准来评估它们。我们提出了一种基于边界的再训练方法，以减轻对抗和量化损失，并采用非线性映射方法来抵御白盒梯度的对抗攻击。评估表明，我们的方法可以更好地恢复量化后的准确性比其他基线方法的黑盒和白盒对抗攻击。研究结果还表明，对抗性训练存在量化损失，与其他训练方法不能很好地配合。
2021-01-23 cs.CR cs.LG
When Flatness Does (Not) Guarantee Adversarial Robustness
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Ruhr University Bochum（波鸿鲁尔大学）；Lamarr Institute（拉马尔研究所）；Technical University Dortmund（多特蒙德工业大学）；Institute for AI in Medicine, University Hospital Essen（埃森大学医院人工智能医学研究所）
本研究形式化证明平坦性仅保证局部而非全局对抗鲁棒性，推导闭式表达式并实证揭示对抗样本常位于模型自信犯错的大平坦区域，挑战简化观点。
2025-10-16 cs.LG
Boosting Adversarial Robustness From The Perspective of Effective Margin Regularization
City University of Hong Kong（香港城市大学）
深度神经网络（DNN）的对抗性脆弱性在过去几年中得到了积极的研究。本文研究了分类任务中最常用的损失函数交叉熵损失的尺度变化特性，及其对深度神经网络的有效裕度和对抗鲁棒性的影响。由于损失函数对logit标度不是不变的，增加有效权范数将使损失趋近于零，其梯度为零，而有效裕度没有充分地最大化。在典型的DNN上，我们证明了，如果没有适当的正则化，标准训练不会学习大的有效裕度，并导致对抗性脆弱性。为了最大限度地提高有效边界并学习一个强大的DNN，我们建议在训练过程中正则化有效权重范数。我们对前馈DNN的实证研究表明，所提出的有效边缘正则化（EMR）学习了大的有效边缘，并在标准和对抗训练中提高了对抗鲁棒性。在大规模模型上，我们证明了EMR的性能优于基本对抗训练、TRADES和两个正则化基线，并有了实质性的改进。此外，当与几种强大的对抗性防御方法（MART和MAIL）相结合时，我们的EMR进一步增强了鲁棒性。
2022-10-11 cs.CV cs.LG stat.ML
Improving Adversarial Robustness of Ensembles with Diversity Training
Georgia Institute of Technology（佐治亚理工学院）
深度神经网络很容易受到对抗性攻击，即使在攻击者无法直接访问被攻击模型的情况下。这种攻击通常依赖于可转移性原则，即在代理模型上构建的攻击倾向于转移到目标模型。我们证明了具有不一致损失梯度的模型的集合可以提供对基于传输的攻击的有效防御。我们的关键见解是，如果集合中的多个模型的损失函数不以相关的方式增加，则对抗性示例不太可能欺骗它们。为此，我们提出了多样性训练，一种新的方法训练一个整体的模型与不相关的损失函数。我们表明，我们的方法显着提高了合奏的对抗鲁棒性，也可以与现有的方法相结合，以创建更强大的防御。
2019-01-28 cs.LG stat.ML
On the Robustness and Anomaly Detection of Sparse Neural Networks
Technical University of Munich（慕尼黑工业大学）
神经网络的鲁棒性和异常检测能力是其在现实世界中安全采用的关键问题。此外，最近的网络的过度参数化带来了高计算成本，并提出了关于其对鲁棒性和异常检测的影响的问题。在这项工作中，我们表明稀疏性可以使网络更强大，更好的异常检测器。为了进一步激发这一点，我们证明了预先训练的神经网络在其参数空间内包含稀疏子网络，这些子网络在没有任何进一步训练的情况下更好地完成这些任务。我们还表明，结构化稀疏性大大有助于降低昂贵的鲁棒性和检测方法的复杂性，同时保持甚至改善这些任务的结果。最后，我们介绍了一种新的方法，SensNorm，它使用的敏感性的权重来自一个适当的修剪方法来检测输入中的异常样本。
2022-07-09 cs.LG
Achieving robustness in classification using optimal transport with hinge regularization
IRIT；Université Paul Sabatier Toulouse（图卢兹第三大学）；IRT Saint-Exupery（圣埃克苏佩里技术研究院）；IMT；Universidad de Valladolid（巴利亚多利德大学）
对抗性的例子已经指出了深度神经网络对小的局部噪声的脆弱性。它已被证明，限制他们的Lipschitz常数应增强鲁棒性，但使他们更难学习与经典的损失函数。我们提出了一个新的框架，二进制分类，最佳运输的基础上，它集成了Lipschitz约束作为一个理论要求。我们建议使用一种新的损失来学习1-Lipschitz网络，这种损失是用于Wasserstein距离估计的Kantorovich-Rubinstein对偶公式的铰链正则化版本。这个损失函数直接解释为对抗鲁棒性和可证明的鲁棒性界。我们还证明了这个铰链正则化版本仍然是一个最优运输问题的对偶公式，并且有解。我们还建立了这个最优解的几个几何性质，并将该方法扩展到多类问题。实验表明，该方法提供了预期的保证，在鲁棒性方面没有任何显着的准确性下降。在所提出的模型上，对抗性的例子明显地、有意义地改变了输入，为分类提供了解释。
2021-04-26 cs.LG stat.ML
