Attacking Adversarial Defences by Smoothing the Loss Landscape
University of Edinburgh（爱丁堡大学）；Samsung AI Center, Cambridge（三星剑桥人工智能中心）
本文研究了一系列防御对抗攻击的方法，这些方法的成功部分归功于创建一个嘈杂的、不连续的或其他崎岖的损失环境，使对手难以驾驭。一种常见但不通用的实现这种效果的方法是通过使用随机神经网络。我们证明了这是梯度混淆的一种形式，并提出了基于维尔斯特拉斯变换的基于梯度的对手的一般扩展，它平滑了损失函数的表面并提供了更可靠的梯度估计。我们进一步表明，同样的原则可以加强无梯度的对手。我们证明了我们的损失平滑方法对随机和非随机对抗性防御的有效性，这些防御由于这种类型的混淆而表现出鲁棒性。此外，我们还分析了它如何与期望转换相互作用;目前用于攻击随机防御的流行梯度采样方法。
2022-08-05 cs.CR cs.CV cs.LG
Improved Adversarial Training Through Adaptive Instance-wise Loss Smoothing
King’s College London（伦敦国王学院）
深度神经网络很容易被欺骗，通过对抗性扰动（人类无法感知的人工噪声）破坏输入来做出错误的预测。到目前为止，对抗性训练是对抗这种对抗攻击最成功的防御手段。这项工作的重点是改进对抗训练，以提高对抗鲁棒性。我们首先从实例的角度分析了对抗性脆弱性在对抗性训练过程中的演变。我们发现，在训练过程中，通过牺牲相当大比例的训练样本来更容易受到对抗攻击，从而导致数据中对抗脆弱性的不均匀分布，从而实现了对抗损失的整体减少。这种“不均匀的脆弱性”在几种流行的健壮训练方法中普遍存在，更重要的是，与对抗训练中的过度拟合有关。基于这一观察，我们提出了一种新的对抗训练方法：实例自适应平滑增强对抗训练（ISEAT）。它以一种自适应的、特定于实例的方式联合平滑输入和减肥景观，以增强具有较高对抗脆弱性的样本的鲁棒性。大量的实验表明，我们的方法优于现有的防御方法。值得注意的是，我们的方法，结合最新的数据增强和半监督学习技术，实现了最先进的鲁棒性对$\ell_{\infty}$范数约束攻击CIFAR 10的59.32%的宽ResNet 34 -10没有额外的数据，和61.55%的宽ResNet 28 -10与额外的数据。代码可在https://github.com/TreeLLi/Instance-adaptive-Smoothness-Enhanced-AT上获得。
2023-03-27 cs.AI cs.CV cs.LG
RUSH: Robust Contrastive Learning via Randomized Smoothing
最近，对抗性训练已被纳入自监督对比预训练中，以增强标签效率和令人兴奋的对抗性鲁棒性。然而，这种鲁棒性是以昂贵的对抗性训练为代价的。在本文中，我们展示了一个令人惊讶的事实，即对比预训练与鲁棒性有一个有趣而隐含的联系，这种预训练表示的自然鲁棒性使我们能够设计一个强大的鲁棒算法来对抗对抗攻击，RUSH，它结合了标准的对比预训练和随机平滑。它提高了标准准确性和鲁棒准确性，并与对抗训练相比显着降低了训练成本。我们使用广泛的实证研究来表明，在一阶攻击下，所提出的RUSH在常见基准（CIFAR-10，CIFAR-100和STL-10）上的表现优于对抗训练的鲁棒分类器。特别是，在CIFAR-10上大小为8/255 PGD攻击的$\ell_{\infty}$范数扰动下，我们使用ResNet-18作为主干的模型达到了77.8%的鲁棒准确率和87.9%的标准准确率。与最先进的技术相比，我们的工作在鲁棒精度方面提高了15%以上，在标准精度方面略有提高。
2022-10-30 cs.CR cs.CV cs.LG
Diffusion Denoised Smoothing for Certified and Adversarial Robust Out-Of-Distribution Detection
Fraunhofer Institute for Cognitive Systems IKS（弗劳恩霍夫认知系统研究所IKS）
本文提出扩散去噪平滑方法，在不依赖网络架构和额外训练的情况下认证OOD检测的ℓ₂鲁棒性，并提升对抗攻击检测性能，在CIFAR10/100上指标平均提升约13%/5%。
2023-08-10 cs.AI cs.CV cs.LG
Certifying Adapters: Enabling and Enhancing the Certification of Classifier Adversarial Robustness
University of Connecticut（康涅狄格大学）；Baidu USA（百度美国）
本文提出认证适配器框架（CAF），在不重新训练大型模型的情况下，利用预训练特征提取器实现并增强分类器的对抗鲁棒性认证，显著提升多个半径下的认证准确率。
2024-05-25 cs.CR cs.CV cs.LG
Dynamic Defense Approach for Adversarial Robustness in Deep Neural Networks via Stochastic Ensemble Smoothed Model
PLA Strategy Support Force Information Engineering University（解放军战略支援部队信息工程大学）
深度神经网络已被证明在对抗攻击下存在严重漏洞。这种现象刺激了类似于网络空间安全所采用的不同攻击和防御战略的产生。这种策略对攻击和防御机制的依赖使得双方的相关算法表现为紧密的往复过程。在这一过程中，防御战略尤其被动，增强防御战略的主动性是摆脱军备竞赛的有效途径。受网络空间动态防御方法的启发，本文在随机平滑和模型集成防御方法的基础上，建立了随机集成平滑。该方法以网络结构和平滑参数作为集成属性，在每次推理预测请求前动态改变基于属性的集成模型。所提出的方法处理极端的可移植性和脆弱性的集成模型下的白盒攻击。不同攻击场景下的ASR与失真曲线的实验比较表明，即使具有最高攻击能力的攻击者也不能轻易超过与集成平滑模型相关的攻击成功率，特别是在非目标攻击下。
2021-05-06 cs.CR cs.CV
Denoised Smoothing: A Provable Defense for Pretrained Classifiers
Microsoft Research（微软研究院）；CMU（卡内基梅隆大学）
我们提出了一种可证明地防御任何预训练的图像分类器对$\ell_p$对抗攻击的方法。例如，这种方法允许公共视觉API提供商和用户将预先训练的非鲁棒分类服务无缝转换为可证明的鲁棒分类服务。通过在任何现成的图像分类器之前添加一个定制训练的去噪器并使用随机平滑，我们有效地创建了一个新的分类器，该分类器保证对对抗性示例具有$\ell_p$鲁棒性，而无需修改预训练的分类器。我们的方法适用于预训练分类器的白盒和黑盒设置。我们将这种防御称为去噪平滑，并通过在ImageNet和CIFAR-10上的大量实验证明了其有效性。最后，我们使用我们的方法来证明Azure，Google，AWS和ClarifAI图像分类API。我们复制论文中所有实验的代码可以在https://github.com/microsoft/denoised-smoothing上找到。
2020-09-21 cs.CR cs.CV cs.LG
(De)Randomized Smoothing for Certifiable Defense against Patch Attacks
University of Maryland（马里兰大学）
图像上的补丁对抗攻击（攻击者可以扭曲有界大小区域内的像素）是一种重要的威胁模型，因为它们为物理对抗攻击提供了定量模型。在本文中，我们介绍了一个可证明的防御补丁攻击，保证对于给定的图像和补丁攻击的大小，没有补丁对抗的例子存在。我们的方法涉及到广泛的随机平滑鲁棒性计划，提供高置信度的概率鲁棒性证书。通过利用补丁攻击比一般稀疏攻击更受约束的事实，我们得到了有意义的大鲁棒性证书。此外，与基于平滑的针对L_p和稀疏攻击的防御方法相比，我们针对补丁攻击的防御方法是去随机化的，从而产生改进的确定性证书。与Chiang等人（2020）提出的现有补丁认证方法相比，该方法依赖于区间边界传播，我们的方法可以更快地训练，在CIFAR-10上实现高清洁和认证的鲁棒准确性，并提供ImageNet规模的证书。例如，对于CIFAR-10上的5 × 5补丁攻击，我们的方法实现了高达约57.6%的认证准确率（分类器的清洁准确率约为83.8%），而现有方法的认证准确率最多为30.3%（分类器的清洁准确率约为47.8%）。我们的研究结果有效地建立了一个新的最先进的可认证防御CIFAR-10和ImageNet上的补丁攻击。代码可在https://github.com/alevine0/patchSmoothing上获得。
2021-01-08 cs.CV cs.LG stat.ML
A Robust Out-of-Distribution Detection Framework via Synergistic Smoothing
Imperial College London（伦敦帝国学院）；Zeroth Research（Zeroth研究）
本文提出ROSS框架，通过基线分数的不稳定性区分分布内和分布外样本，实现对对抗攻击的强鲁棒性，实验表明其在多个数据集上表现优异。
2026-05-05 cs.AI cs.CV
Addressing Neural Network Robustness with Mixup and Targeted Labeling Adversarial Training
Atos（阿托斯公司）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
尽管人工神经网络具有很好的性能，但对于大多数工业应用来说，它仍然不够可靠。它们对噪声、旋转、模糊和对抗性样本很敏感。有必要建立防御机制，以防止各种干扰，包括最传统的常见腐败和对抗性示例。我们提出了一种新的数据增强策略，称为M-TLAT，旨在解决广义上的鲁棒性。我们的方法结合了Mixup增强和一种新的对抗训练算法，称为目标标记对抗训练（TLAT）。TLAT的思想是用地面真实标签插入对抗性示例的目标标签。我们表明，M-TLAT可以提高图像分类器对19种常见腐败和5种对抗攻击的鲁棒性，而不会降低对干净样本的准确性。
2020-08-19 cs.CV cs.LG stat.ML
Smoothed Inference for Adversarially-Trained Models
Technion – Israel Institute of Technology（以色列理工学院）；Intel – Artificial Intelligence Products Group (AIPG)（英特尔-人工智能产品集团(AIPG)）
众所周知，深度神经网络容易受到对抗攻击的攻击。当前防御此类攻击的方法基于隐式或显式正则化，例如，对抗训练随机平滑，平均的分类器输出在一个随机分布集中在样本中，已被证明是保证性能的分类器受到有界扰动的输入。在这项工作中，我们研究了随机平滑的应用，以提高未扰动数据的性能，以及增加对对抗攻击的鲁棒性。所提出的技术可以应用于任何现有的对抗性防御之上，但与随机方法配合使用效果特别好。我们研究了它在CIFAR-10和CIFAR-100上的常见白盒（PGD）和黑盒（传输和NAttack）攻击上的性能，在大多数情况下都大大优于以前的技术，在其他情况下也相当。例如，我们使用ResNet-20对CIFAR-10进行PGD攻击，准确率达到60.4%，比以前的技术高出11.7%。由于我们的方法是基于采样，它本身很好的模型推理复杂性和其性能之间的权衡。在https://github.com/yanemcovsky/SIAM上提供了所提出的技术的参考实现
2020-03-16 cs.CV cs.LG stat.ML
Improving the JPEG-resistance of Adversarial Attacks on Face Recognition by Interpolation Smoothing
Huazhong University of Science and Technology（华中科技大学）
针对 JPEG 压缩削弱人脸识别对抗样本的问题，提出在迭代攻击中通过缩小与恢复插值平滑扰动、抑制高频信号，从而提升对抗样本的 JPEG 抗性。
2024-02-26 cs.CV
Label Smoothing++: Enhanced Label Regularization for Training Neural Networks
Arizona State University（亚利桑那州立大学）；Georgia State University（佐治亚州立大学）
针对独热标签训练导致过度自信和破坏类别关系的问题，提出标签平滑++方法，为非目标类别分配非零概率并学习其关系，实验证明其缓解过度自信并提升泛化能力。
2025-08-22 cs.CV
Confidence-Aware Paced-Curriculum Learning by Label Smoothing for Surgical Scene Understanding
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong（香港中文大学）；National University of Singapore (Suzhou) Research Institute（新加坡国立大学苏州研究院）；Imperial College London（帝国理工学院）
课程学习和自定进度的学习是训练策略，逐渐喂养样本从简单到更复杂。由于其在机器人视觉中的优异性能，它们吸引了越来越多的关注。最近的工作集中在设计课程的基础上输入样本的难度水平或平滑的特征图。然而，平滑标签以课程方式控制学习效用仍然是未探索的。在这项工作中，我们设计了一个节奏的课程标签平滑（P-CBLS）使用节奏的学习与统一的标签平滑（ULS）的分类任务和融合均匀和空间变化的标签平滑（SVLS）的语义分割任务的课程方式。在ULS和SVLS中，较大的平滑因子值在真实标签中强制执行沉重的平滑惩罚，并限制学习较少的信息。因此，我们采用标签平滑法（CBLS）进行课程设计。我们在训练开始时设置一个较大的平滑值，然后逐渐将其减小到零，以控制模型学习效用从低到高。我们还设计了一个信心感知的起搏功能，并将其与我们的CBLS相结合，以调查各种课程的好处。所提出的技术进行了验证，在四个机器人手术数据集的多类，多标签分类，字幕和分割任务。我们还通过将验证数据损坏为不同的严重程度来研究我们方法的鲁棒性。我们广泛的分析表明，该方法提高了预测精度和鲁棒性。
2022-12-22 cs.CV
Training for Trustworthy Saliency Maps: Adversarial Training Meets Feature-Map Smoothing
Rochester Institute of Technology（罗切斯特理工大学）
本文提出通过对抗训练与特征图平滑结合的方法，提升显著性图的稀疏性和稳定性，通过实验验证其在不同数据集上的有效性。
2026-03-07 cs.CV
Delving Deep into Label Smoothing
Nankai University（南开大学）；National University of Singapore（新加坡国立大学）；Beijing Jiaotong University（北京交通大学）
标签平滑是深度神经网络（DNN）的一种有效正则化工具，它通过在均匀分布和硬标签之间应用加权平均来生成软标签。它通常用于减少训练DNN的过拟合问题，并进一步提高分类性能。在本文中，我们的目标是研究如何产生更可靠的软标签。我们提出了一种在线标签平滑（OLS）策略，该策略基于目标类别的模型预测的统计数据生成软标签。OLS在目标类别和非目标类别之间构建了一个更合理的概率分布，以监督DNN。实验结果表明，在相同的分类模型下，该方法在CIFAR-100、ImageNet和细粒度数据集上的分类性能都有明显提高。此外，与当前的标签平滑方法相比，该方法可以显着提高DNN模型对噪声标签的鲁棒性。
2021-07-22 cs.CV
Smooth Adversarial Examples
Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（法国雷恩信息与自动化系统研究所）
本文研究了对抗性示例的视觉质量。最近的论文提出了平滑扰动，以消除高频伪影。在这项工作中，平滑具有不同的意义，因为它根据要攻击的图像的视觉内容在感知上塑造扰动。扰动在输入图像的平坦区域上变得局部平滑，但在其纹理区域上可能有噪声并且在其边缘上是尖锐的。此操作依赖于图形信号处理中众所周知的拉普拉斯平滑，我们将其集成到攻击管道中。我们基准测试了几种攻击和不平滑下的白盒场景，并评估其可转移性。尽管有平滑性的额外约束，我们的攻击在较低的失真下具有相同的成功概率。
2019-03-28 cs.CV
Spatially Varying Label Smoothing: Capturing Uncertainty from Expert Annotations
Imperial College London（伦敦帝国理工学院）
由于解剖结构之间的边界的确切位置的模糊性，图像分割的任务固有地是有噪声的。我们认为，这些信息可以从专家注释中提取，而无需额外的成本，当集成到最先进的神经网络中时，它可以改善软概率预测和潜在的不确定性之间的校准。我们建立在标签平滑（LS）的基础上，其中网络在地面真实标签的“模糊”版本上进行训练，这已被证明对校准输出预测是有效的。然而，LS没有考虑局部结构，导致即使对于非模糊区域也具有低置信度的过度平滑预测。在这里，我们提出了空间变化的标签平滑（SVLS），一个软标签技术，捕捉结构的不确定性，在语义分割。当有多个标签图可用时，SVLS也自然地适用于纳入评分者间的不确定性。所提出的方法进行了广泛的验证四个临床分割任务，不同的成像模式，类的数量和单和多评分专家注释。结果表明，SVLS，尽管它的简单，获得优越的边界预测与改进的不确定性和模型校准。
2021-04-12 cs.CV
Improving Acne Image Grading with Label Distribution Smoothing
mwe（未知）
本文针对痤疮图像分级中严重程度标准导致的标签不确定性问题，提出将标签分布学习与基于分级标准的自适应标签平滑相结合的方法，并在ACNE04数据集上验证了其性能提升。
2024-03-01 cs.CV
Density-Guided Label Smoothing for Temporal Localization of Driving Actions
Eindhoven University of Technology（埃因霍温理工大学）；VCA Group（VCA集团）
本文提出密度引导标签平滑与多视角后处理融合方法，将视频动作识别网络适配于驾驶动作时序定位，并在NVIDIA AI City Challenge A2测试集上取得F1分数0.271。
2024-03-11 cs.CV
Efficient One Pass Self-distillation with Zipf's Label Smoothing
MEGVII Technology（旷视科技）
自蒸馏在训练过程中利用了自身的非统一软监督，并在没有任何运行时成本的情况下提高了性能。然而，训练过程中的开销往往被忽视，然而在巨型模型时代，减少训练过程中的时间和内存开销变得越来越重要。提出了一种有效的自蒸馏方法Zipf's Label Smoothing（Zipf's LS），该方法利用网络的动态预测生成符合Zipf分布的软监督，无需使用任何对比样本或辅助参数。我们的想法来自于一个经验观察，即当网络经过适当的训练时，网络最终softmax层的输出值，在按大小排序并在样本之间取平均值后，应该遵循一个分布，让人想起自然语言词频统计中的齐普夫定律。通过在样本水平和整个训练期间强制执行此属性，我们发现可以大大提高预测精度。在INAT 21细粒度分类数据集上使用ResNet50，与vanilla基线相比，我们的技术实现了+3.61%的准确率增益，与之前的标签平滑或自蒸馏策略相比，增益增加了0.88%。该实现可在https://github.com/megvii-research/zipfls上公开获得。
2022-07-26 cs.CV
Combined Image Data Augmentations diminish the benefits of Adaptive Label Smoothing
Federal Institute for Occupational Safety and Health (BAuA)（联邦职业安全与健康研究所）
本文研究了自适应标签平滑在不同图像增强下的效果，发现其对随机擦除和噪声注入有效，但在多样化增强组合（如TrivialAugment）中收益消失，且过度平滑会损害鲁棒性。
2025-07-22 cs.CV cs.LG
Improved Autoregressive Modeling with Distribution Smoothing
Stanford University（斯坦福大学）
虽然自回归模型在图像压缩方面表现出色，但它们的样本质量往往不足。虽然不现实，但根据模型，生成的图像通常具有很高的可能性，类似于对抗性示例的情况。受成功的对抗性防御方法的启发，我们将随机平滑引入自回归生成建模。我们首先对数据分布的平滑版本进行建模，然后反转平滑过程以恢复原始数据分布。这个过程大大提高了现有自回归模型在几个合成和真实世界的图像数据集上的样本质量，同时在合成数据集上获得有竞争力的似然性。
2021-03-28 cs.CV cs.LG
Sparse Label Smoothing Regularization for Person Re-Identification
University of Electronic Science and Technology of China（电子科技大学）；Adventist Cosendai University（喀麦隆复临科森代大学）
人物重新识别（re-id）是一个跨相机检索任务，它建立了来自多个相机的人物图像之间的对应关系。深度学习方法已成功应用于此问题，并取得了令人印象深刻的成果。然而，这些方法需要大量标记的训练数据。目前标记的数据集在人re-id是有限的，在他们的规模和手动采集这种大规模的数据集从监控摄像机是一个繁琐和劳动密集型的任务。在本文中，我们提出了一个框架，执行智能数据增强，并分配部分平滑标签生成的数据。我们的方法首先利用现有的人re-id数据集的聚类属性来创建模型跨视图变化的相似对象组。然后，每个组都被用来通过对抗训练生成逼真的图像。我们的目标是强调生成的样本和原始样本之间的特征相似性。最后，我们为生成的样本分配一个非均匀的标签分布，并定义一个正则化的损失函数进行训练。所提出的方法解决了两个问题：（1）如何有效地使用生成的数据和（2）如何解决在当前正则化方法中发现的过度平滑问题。在四个大规模数据集上的实验表明，与现有方法相比，我们的正则化方法显着提高了Re-ID的准确性。
2019-03-05 cs.CV
Matrix Smoothing: A Regularization for DNN with Transition Matrix under Noisy Labels
Tsinghua University（清华大学）；Peng Cheng Laboratory（鹏城实验室）
在存在噪声标签的情况下训练深度神经网络（DNN）是一项重要且具有挑战性的任务。概率模型由一个分类器和一个转移矩阵组成，描述了从真实标签到噪声标签的转换，是一种很有前途的方法。然而，目前的概率方法直接将转移矩阵应用于DNN，忽略了DNN对过拟合的敏感性，并取得了令人满意的性能，特别是在均匀噪声下。本文受标号平滑的启发，提出了一种新的方法，即使用平滑的转移矩阵来更新DNN，以限制DNN在概率建模中的过拟合。我们的方法被称为矩阵平滑。我们还实证表明，我们的方法不仅提高了概率建模的鲁棒性显着，但也得到了更好的估计的转移矩阵。
2020-03-26 cs.CV cs.LG
Calibrating Histopathology Image Classifiers using Label Smoothing
Dartmouth College（达特茅斯学院）
组织病理学图像的分类从根本上不同于传统的图像分类任务，因为组织病理学图像自然地表现出一系列诊断特征，从而导致注释器一致性水平的不同范围。然而，在训练组织病理学图像分类器时，具有高注释者分歧的示例通常被分配多数标签或完全丢弃。这种普遍的做法往往产生分类器，不考虑例如困难和表现出较差的模型校准。在本文中，我们问：我们可以通过赋予组织病理学图像分类器关于示例难度的归纳偏差来改进模型校准吗？我们提出了几个标签平滑方法，利用每图像注释协议。虽然我们的方法很简单，但我们发现它们大大提高了模型校准，同时保持（甚至提高）准确性。对于结肠直肠息肉分类，这是胃肠道病理学中一项常见但具有挑战性的任务，我们发现我们提出的协议感知标签平滑方法将校准误差减少了近70%。此外，我们发现使用模型置信度作为注释者协议的代理也可以提高校准和准确性，这表明没有多个注释者的数据集仍然可以通过我们提出的置信度感知标签平滑方法从我们提出的标签平滑方法中受益。鉴于校准的重要性（特别是在组织病理学图像分析中），我们提出的技术的改进值得进一步探索，并在其他组织病理学图像分类任务的潜在实施。
2022-01-28 cs.CV eess.IV
Inception Score, Label Smoothing, Gradient Vanishing and -log(D(x)) Alternative
在这篇文章中，我们从数学上研究了几个GAN相关的主题，包括Inception评分，标签平滑，梯度消失和-log（D（x））替代。arXiv：1703.02000“Activation Maximization Generative Adversarial Nets”中包含了一个高级版本。有关初始分数的详细分析，请参阅1703.02000中的第6节，有关标签平滑、梯度消失和-log（D（x））替代的讨论，请参阅其附录。
2018-06-30 cs.AI cs.CV cs.LG
Regularizing CNNs using Confusion Penalty Based Label Smoothing for Histopathology Images
Jadavpur University（jadavpur大学）
本文提出一种基于混淆惩罚的标签平滑正则化方法，用于解决CNN过度自信问题，并在结直肠组织学数据集上验证了其优于传统LS和现有技术。
2024-03-16 cs.CV
ACLS: Adaptive and Conditional Label Smoothing for Network Calibration
Yonsei University（延世大学）；Korea Institute of Science and Technology (KIST)（韩国科学技术研究院）
针对深度神经网络置信度失准的校准问题，本文通过分析现有正则化方法的标签平滑本质与局限，提出融合优势且规避缺陷的ACLS损失函数，在多个标准基准的图像分类与语义分割任务中验证了其有效性。
2023-08-24 cs.CV
Is Label Smoothing Truly Incompatible with Knowledge Distillation: An Empirical Study
CMU（卡内基梅隆大学）；HKUST（香港科技大学）；Peking University（北京大学）；UMass Amherst（马萨诸塞大学阿默斯特分校）
这项工作的目的是实证澄清最近发现的观点，标签平滑是不兼容的知识蒸馏。我们首先介绍如何提出这种不兼容性背后的动机，即，标签平滑擦除教师日志之间的相关信息。我们提供了一个新的连接标签平滑如何影响语义相似和不相似的类的分布。然后，我们提出了一个度量标准来定量衡量删除的信息在样本的表示的程度。然后，通过对图像分类、二进制网络和神经机器翻译的大量分析、可视化和综合实验，研究了不相容观的片面性和不完善性。最后，我们广泛地讨论了几种情况下，标签平滑确实会失去其有效性。项目页面：http://zhiqiangshen.com/projects/LS_and_KD/index.html。
2021-04-01 cs.AI cs.CL cs.CV
Knowledge Distillation for Action Anticipation via Label Smoothing
University of Padova（帕多瓦大学）；University of Catania（卡塔尼亚大学）
人类通过视觉观察和非语言线索预测不久的将来的能力对于开发需要与人交互的智能系统至关重要。一些研究领域，如人机交互（HRI），辅助生活或自动驾驶，需要预见未来的事件，以避免碰撞或帮助人们。自我中心的场景是经典的例子，其中行动预期是由于其众多的应用程序。这种具有挑战性的任务需要捕获域的隐藏结构并对其建模，以减少预测的不确定性。由于多个行动可能同样发生在未来，我们把行动预期作为一个多标签的问题，缺少标签扩展标签平滑的概念。这个想法类似于知识蒸馏过程，因为有用的信息在训练期间被注入模型。我们实现了一个基于长短期记忆（LSTM）网络的多模态框架，以总结过去的观察结果并在不同的时间步长进行预测。我们在EPIC-Kitchener和EGTEA Gaze+数据集上进行了广泛的实验，分别包括2500多个和100多个动作类。实验表明，标签平滑系统地提高了最先进的动作预测模型的性能。
2020-12-18 cs.CV cs.LG
Detection as Regression: Certified Object Detection by Median Smoothing
University of Maryland（马里兰大学）
尽管物体探测器容易受到对抗攻击的攻击，但迄今为止，人们知道的防御措施很少。虽然对抗训练可以提高图像分类器的经验鲁棒性，但直接扩展到目标检测是非常昂贵的。这项工作的动机是最近的进展，认证分类随机平滑。我们首先提出了一个减少从目标检测回归问题。然后，为了使认证回归，标准均值平滑失败，我们提出了中值平滑，这是独立的利益。我们获得了针对$\ell_2$有界攻击的目标检测的第一个模型不可知、免训练和认证防御。论文中所有实验的代码都可以在http://github.com/Ping-C/CertifiedObjectDetection上找到。
2022-02-25 cs.CR cs.CV cs.LG
Improving Predictive Confidence in Medical Imaging via Online Label Smoothing
Institute of Engineering & Management, Kolkata（加尔各答工程与管理学院）
本研究提出在线标签平滑（OLS）动态调整软标签，在RadImageNet数据集上通过三种架构验证，显著提升分类准确率与特征嵌入质量，增强模型校准，助力医学影像可信AI。
2025-10-22 cs.CV cs.LG
Be Careful What You Smooth For: Label Smoothing Can Be a Privacy Shield but Also a Catalyst for Model Inversion Attacks
Technical University of Darmstadt（达姆施塔特工业大学）；German Research Center for AI (DFKI)（德国人工智能研究中心）；Centre for Cognitive Science of TU Darmstadt（达姆施塔特工业大学认知科学中心）；Hessian Center for AI (hessian.AI)（黑森州人工智能中心）
本文研究标签平滑对模型逆向攻击的隐私影响，发现传统平滑会加剧隐私泄露，而负因子平滑可阻碍类别信息提取并优于现有防御。
2024-07-08 cs.CR cs.CV cs.LG
Pseudo-labelling meets Label Smoothing for Noisy Partial Label Learning
IIIT Hyderabad（海得拉巴印度理工学院）
本文针对噪声部分标签学习问题，提出一种结合加权最近邻伪标签生成、标签平滑训练和迭代伪标签细化的框架，在多个数据集上取得了最先进性能。
2025-06-06 cs.CV cs.LG
Certified Defences Against Adversarial Patch Attacks on Semantic Segmentation
Bosch Center for Artificial Intelligence, Robert Bosch GmbH（罗伯特·博世有限公司博世人工智能中心）；University of Tübingen（图宾根大学）；Tübingen AI Center（图宾根人工智能中心）
对抗性补丁攻击是现实世界深度学习应用的一种新兴安全威胁。我们提出了Demasked平滑，第一种方法（据我们所知）来证明这种威胁模型的语义分割模型的鲁棒性。以前的工作证明防御补丁攻击主要集中在图像分类任务，并经常需要在模型架构和额外的训练，这是不可取的和计算昂贵的变化。在Demasked Smoothing中，可以应用任何分割模型，而无需特定的训练，微调或架构限制。使用不同的掩蔽策略，解掩蔽平滑可以应用于认证检测和认证恢复。在广泛的实验中，我们表明，Demasked Smoothing在检测任务中平均可以证明64%的像素预测为1%的补丁，在ADE 20K数据集上的恢复任务中，平均可以证明48%的像素预测为0.5%的补丁。
2023-02-21 cs.AI cs.CR cs.CV
Adaptive Label Smoothing
Virginia Tech（弗吉尼亚理工学院暨州立大学）
本文研究了利用客观性度量来提高卷积神经网络（CNN）的标定性能。CNN已经被证明是非常好的分类器，并且通常可以很好地定位对象;然而，通常用于训练分类CNN的损失函数不会惩罚无法定位对象，也不会考虑对象在给定图像中的相对大小。在ImageNet-1 K上进行训练时，几乎所有的方法都对图像进行随机裁剪，这种转换有时会为CNN提供仅具有背景的样本。这导致分类器依赖于上下文。上下文依赖对于安全关键型应用程序是有害的。我们提出了一种新的分类方法，在训练过程中结合了对象和标签平滑的思想。与以前的方法不同，我们计算一个平滑因子，即\emph{adaptive}的基础上相对对象大小的图像。这使得我们的方法产生基于被分类对象的大小的置信度，而不是依赖于上下文来做出正确的预测。我们使用ImageNet展示了大量的结果，以证明使用自适应标签平滑训练的CNN在预测中不太可能过于自信。我们展示了使用类激活图的定性结果和使用分类和迁移学习任务的定量结果。我们的方法是能够产生一个数量级的置信度降低时，预测的背景下，只有图像相比，基线。使用迁移学习，与硬标签方法相比，我们在MS COCO上获得了2.1mAP。
2020-12-07 cs.AI cs.CV
Semantic Smoothing via Novel View Synthesis for Robust SAR Image Classification
The University of Arizona（亚利桑那大学）
本文提出语义平滑方法，通过新颖视角合成模型生成结构化随机变换，提升SAR图像分类在对抗攻击下的鲁棒性，并提高干净分类准确率。
2026-05-15 cs.AI cs.CV
Towards Understanding Label Smoothing
Alibaba Group（阿里巴巴集团）
标签平滑正则化（LSR）在通过随机算法（如随机梯度下降及其变体）训练深度神经网络方面取得了巨大成功。然而，从最优化的角度对其权力的理论认识还不多见。这项研究打开了大门，通过启动分析深入了解LSR。本文分析了带标号平滑正则化的随机梯度下降算法求解非凸问题的收敛性，并证明了适当的LSR可以通过减小方差来加快收敛速度。更有趣的是，我们提出了一种简单而有效的策略，即两阶段LAbel平滑算法（TSLA），该算法在早期训练阶段使用LSR，并在后期训练阶段将其丢弃。我们从改进的TSLA的收敛结果中观察到，它在第一阶段受益于LSR，并且在第二阶段基本上收敛得更快。据我们所知，这是第一个工作，通过建立收敛复杂性的随机方法与LSR在非凸优化理解的权力LSR。我们通过与基准数据集上训练ResNet模型的基线相比，实证证明了所提出方法的有效性。
2020-10-03 cs.CV cs.LG stat.ML
For Better or For Worse? Learning Minimum Variance Features With Label Augmentation
Duke University（杜克大学）
本研究分析标签增强（含标签平滑、Mixup）在模型训练中的作用，证明其使模型学习最小方差特征，实验表明该特性既关联图像分类基准的优异性能，也易受训练数据中低方差虚假相关性影响。
2025-02-13 cs.CV cs.LG
FedLAS: Feature-Modulated Bidirectional Label Smoothing for Neural Network Calibration
The University of Melbourne（墨尔本大学）
提出FedLAS算法，通过特征范数置信度指标和双向校准门控模块，动态调整每个样本的标签平滑程度，同时解决过自信和欠自信问题，提升神经网络校准性能。
2026-06-26 cs.AI cs.CV cs.LG
Revisiting Knowledge Distillation via Label Smoothing Regularization
National University of Singapore（新加坡国立大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
知识蒸馏（KD）旨在将繁琐的教师模型中的知识蒸馏成轻量级的学生模型。它的成功通常归因于教师模型提供的类别之间相似性的特权信息，从这个意义上说，只有强大的教师模型才能在实践中教授较弱的学生。在这项工作中，我们通过以下实验观察来挑战这种普遍的信念：1）除了承认教师可以提高学生之外，学生也可以通过逆转KD程序来显着提高教师; 2）一个训练不足的教师，准确性比学生低得多，仍然可以显着提高后者。为了解释这些观察结果，我们提供了KD和标签平滑正则化之间的关系的理论分析。我们证明了1）KD是一种学习的标签平滑正则化，2）标签平滑正则化为KD提供了一个虚拟的教师模型。从这些结果中，我们认为KD的成功并不完全是由于教师的类别之间的相似性信息，但也要正则化的软目标，这是同样重要，甚至更重要。基于这些分析，我们进一步提出了一种新的无教师知识蒸馏（Tf-KD）框架，其中学生模型从自身或手动设计的正则化分布中学习。Tf-KD实现了与来自优秀教师的正常KD相当的性能，这在更强的教师模型不可用时很好地应用。同时，Tf-KD是通用的，可以直接用于训练深度神经网络。在没有任何额外计算成本的情况下，Tf-KD在ImageNet上实现了0.65%的改进，优于标签平滑正则化。
2021-03-04 cs.CV cs.LG
Unlabeled Echoes: Pseudo-Labels and Genus-Aware Smoothing for Bat Call Recognition
Ludwig-Maximilians-Universität München（慕尼黑大学）；University of the Free State（自由州大学）
本研究提出利用模型生成的伪标签进行半监督学习，在欧洲18物种语料库及南非野外音频上验证其有效性，并引入属感知平滑提升识别性能，显著缩小与全监督的差距。
2026-09-14 cs.CV cs.SD q-bio.QM
Robustifying Diffusion-Denoised Smoothing Against Covariate Shift
Department of Electrical and Computer Engineering, University of Tehran, Tehran, Iran（电子与计算机工程系，德黑兰大学，德黑兰，伊朗）
本文针对去噪扩散模型引入的协变量偏移问题，提出一种新型对抗目标函数训练基础分类器，显著提升了 Diffusion Denoised Smoothing 在 MNIST、CIFAR-10 和 ImageNet 上对 l2 对抗扰动的认证准确率。
2025-09-13 cs.CV cs.LG
Robust Classification by Coupling Data Mollification with Label Smoothing
Department of Computer Science（计算机科学系）；Mathematical and Algorithmic Sciences Lab（数学与算法科学实验室）；Huawei Paris Research Center（华为巴黎研发中心）；Department of Physics and Technology（物理与技术系）；UiT The Arctic University of Norway（北极大学挪威分校）；Statistics Program（统计学项目）；KAUST（卡塔尔大学）
受扩散模型启发，本文提出将图像加噪与模糊形式的数据平滑化同标签平滑相耦合，使预测置信度与图像退化对齐，在多个数据集上提升了模型的鲁棒性与不确定性量化能力。
2025-05-01 cs.CV cs.LG stat.ML
Alternating Training-based Label Smoothing Enhances Prompt Generalization
Department of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学计算机科学与工程系）；Department of Computer Science and Engineering, Hong Kong University of Science and Technology（香港科技大学计算机科学与工程系）；School of Information and Control Engineering, China University of Mining and Technology（中国矿业大学信息与控制工程学院）
针对原始标签平滑削弱提示调优泛化能力的问题，提出交替训练的标签平滑方法ATLaS，结合两类离线软标签，可增强提示调优泛化性且兼容主流方法。
2025-10-01 cs.CV cs.LG
Rep-GLS: Report-Guided Generalized Label Smoothing for Robust Disease Detection
Arizona State University（亚利桑那州立大学）；Guangzhou Institutes of Biomedicine and Health, Chinese Academy of Sciences（广州生物医学研究院，中国科学院）；Kunming Medical University（昆明医科大学）；Northumbria University（北umbria大学）；NII, Tokyo Institute of Technology（东京技术大学国家研究所）；RIKEN（理化学研究所）；Westlake University（西湖大学）
Rep-GLS通过利用大语言模型挖掘医学报告中的不确定性表达，提出了一种通用标签平滑方法，以提升医学疾病检测的鲁棒性。
2025-11-20 cs.CV cs.LG
SmoothOperator: Enhancing Representations for Fine-grained Open-set Recognition via Modulated Label Smoothing
The University of Melbourne（墨尔本大学）
针对开放集识别中标签平滑系数固定不变的问题，提出SmoothOperator，依据样本显著性动态调整平滑系数，以最小开销集成至四种球形表示学习方法，在语义偏移基准上AUROC、OSCR和闭集准确率提升最高达4.7%。
2026-10-02 cs.CV cs.LG
Data-Centric Label Smoothing for Explainable Glaucoma Screening from Eye Fundus Images
Computer Vision Center（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）；BCN Medtech（BCN医疗技术中心）；Universitat Pompeu Fabra（庞培法布拉大学）；ICREA（加泰罗尼亚研究与高级研究所）
本文提出一种数据中心化的定制标签平滑方法，融合多位不同水平标注者的信息以充分利用眼底图像数据，在高度不平衡的青光眼筛查多标签场景中超越标准 resnet50 和传统标签平滑模型。
2024-06-06 cs.CV cs.LG eess.IV
Gloss2Text: Sign Language Gloss translation using LLMs and Semantically Aware Label Smoothing
George Mason University（乔治梅森大学）
针对手语Gloss2Text翻译任务，提出结合预训练LLMs、数据增强与语义感知标签平滑损失的改进方法，在PHOENIX Weather 2014T数据集上超越现有最优性能。
2024-07-12 cs.CL cs.CV cs.LG
LSP Framework: A Compensatory Model for Defeating Trigger Reverse Engineering via Label Smoothing Poisoning
School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）；National Computer network Emergency Response technical Team/Coordination Center of China（国家计算机网络应急技术处理协调中心）
提出LSP框架，通过标签平滑投毒操纵后门样本分类置信度，以击败触发器逆向工程防御，实验证明其有效性与兼容性。
2024-04-19 cs.CR cs.CV cs.LG
Beyond Classification: Evaluating Diffusion Denoised Smoothing for Security-Utility Trade off
Department of Computer Science, University of Geneva（计算机科学系，日内瓦大学）
该研究针对扩散去噪平滑在分类外任务的有效性空白，通过多数据集、多任务及多攻击算法的实验分析其安全性-效用权衡，并提出针对扩散过程的新型攻击策略，指出鲁棒性与性能的权衡仍是待解挑战。
2025-05-21 cs.AI cs.CV cs.LG
Stochastic BIQA: Median Randomized Smoothing for Certified Blind Image Quality Assessment
MSU Institute for Artificial Intelligence（莫斯科国立大学人工智能研究所）；ISP RAS Research Center for Trusted Artificial Intelligence（俄罗斯科学院信息学与自动化研究所可信人工智能研究中心）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）；Artificial Intelligence Research Institute（人工智能研究所）；Innopolis University（因诺波利斯大学）
本文提出基于中值随机平滑的可认证鲁棒无参考图像质量评估方法，结合卷积去噪器和排序损失，在三个数据集上取得更优的SROCC和PLCC分数。
2024-11-19 cs.CV eess.IV
Towards Understanding Why Label Smoothing Degrades Selective Classification and How to Fix It
Imperial College London（帝国理工学院）；Institut Polytechnique de Paris（巴黎理工学院）；Université Paris-Saclay（巴黎萨克雷大学）；ONERA（法国航空航天研究院）
本文揭示标签平滑因梯度效应扰乱正确与错误预测的不确定性排序而持续损害选择性分类，并提出可用事后 logit 归一化恢复性能。
2025-02-20 cs.AI cs.CV cs.LG
