Improving group robustness under noisy labels using predictive uncertainty
Deargen Inc.（Deargen公司）；Deargen USA Inc.（Deargen美国公司）
标准的经验风险最小化（ERM）在某些少数群体（即，由于输入与其标签之间的虚假相关性，陆地上的水鸟或水中的陆地鸟类）。一些研究通过关注高损失样本来提高最差组的准确性。这背后的假设是这样的高损耗样本是\textit{spurious-cue-free}（SCF）样本。然而，这些方法可能是有问题的，因为高损失样本也可能是现实世界场景中具有噪声标签的样本。为了解决这个问题，我们利用模型的预测不确定性来提高噪声标签下的最差组准确度。为了激励这一点，我们从理论上表明，高不确定性的样本是SCF样本的二进制分类问题。这一理论结果意味着，预测的不确定性是一个足够的指标，以确定SCF样品在嘈杂的标签设置。基于此，我们提出了一种新的基于熵的去偏（END）框架，该框架可以防止模型学习虚假线索，同时对噪声标签具有鲁棒性。在END框架中，我们首先训练\textit{identification model}以使用其预测不确定性从训练集中获得SCF样本。然后，在用过采样SCF集扩充的数据集上训练另一个模型。实验结果表明，我们的END框架优于其他强基线的几个现实世界的基准，同时考虑嘈杂的标签和虚假线索。
2022-12-14 cs.CV cs.LG
Open-set Label Noise Can Improve Robustness Against Inherent Label Noise
Nanyang Technological University（南洋理工大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
在弱监督学习中，带噪声标签的学习是一个具有实际挑战性的问题。在现有的文献中，开集噪声一直被认为是有毒的推广，类似于闭集噪声。在本文中，我们经验表明，开集噪声标签可以是无毒的，甚至有利于对固有的噪声标签的鲁棒性。受观察结果的启发，我们提出了一种简单而有效的正则化方法，将带有动态噪声标签（ODNL）的开集样本引入训练。使用ODNL，神经网络的额外容量可以以不干扰从干净数据中学习模式的方式大量消耗。通过SGD噪声的镜头，我们表明，我们的方法引起的噪声是随机方向，无冲突和有偏的，这可能有助于模型收敛到一个平坦的最小值具有优越的稳定性，并迫使模型产生保守的预测分布外的实例。在含有不同类型噪声标签的基准数据集上的大量实验结果表明，该方法不仅提高了许多现有鲁棒算法的性能，而且即使在标签噪声环境下也能显著改善分布外检测任务。
2021-11-19 cs.AI cs.LG
Automated Robustness with Adversarial Training as a Post-Processing Step
IBM Research Europe（IBM欧洲研究院）；IBM Technology Campus, Damastown Ind. Park（IBM科技园区，达马斯敦工业园区）
对抗性训练是一项计算代价高昂的任务，因此寻找以鲁棒性为标准的神经网络架构可能具有挑战性。作为迈向实用自动化的一步，这项工作探索了一个简单的后处理步骤在产生强大的深度学习模型方面的功效。为了实现这一目标，我们采用对抗训练作为从神经架构搜索算法获得的优化网络架构的后处理步骤。采用特定的策略来调整不同步骤的超参数，从而产生用于生成对抗性鲁棒的深度学习模型的全自动管道。我们证明了建议的管道的有用性，在11个图像分类和9个文本分类任务进行了广泛的实验。
2021-09-06 cs.LG
Is your noise correction noisy? PLS: Robustness to label noise with two stage detection
Dublin City University（都柏林城市大学）；Insight SFI Centre for Data Analytics（Insight SFI数据分析中心）
设计能够在来自网络的未经策划的数据集上训练准确的神经网络的鲁棒算法一直是许多研究的主题，因为它减少了对耗时的人力劳动的需求。许多以前的研究成果的重点一直是对不同类型的标签噪声的检测，然而，本文提出了提高校正精度的噪声样本，一旦他们被检测到。在许多国家的最先进的贡献，采用两个阶段的方法，其中检测的噪声样本之前猜测一个正确的伪标签在半监督的方式。然后在监督目标中使用猜测的伪标签，而不确保标签猜测可能是正确的。这可能导致确认偏差，从而降低噪声鲁棒性。在这里，我们提出了伪损失，一个简单的度量，我们发现是强相关的伪标签的正确性在嘈杂的样本。使用伪损失，我们在整个训练过程中动态降低置信度不足的伪标签的权重，以避免确认偏差并提高网络准确性。我们还建议使用置信度引导的对比目标，该目标在置信度校正样本的类界（监督）和置信度不足的标签校正的无监督表示之间的插值目标上学习鲁棒表示。实验证明了我们的伪损失选择（PLS）算法在各种基准数据集上的最新性能，包括被分布内和分布外噪声综合破坏的策划数据，以及两个真实世界的网络噪声数据集。我们的实验是完全可重复的github.com/PaulAlbert31/SNCF
2022-10-15 cs.CV cs.LG
Towards Harnessing Feature Embedding for Robust Learning with Noisy Labels
Nanjing University of Science and Technology（南京理工大学）；JD Explore Academy（京东探索研究院）；Nankai University（南开大学）
深度神经网络（DNN）的记忆效应在最近的标签噪声学习方法中起着关键作用。为了利用这种效果，基于模型预测的方法被广泛采用，其目的是在学习的早期阶段利用DNN的输出来纠正噪声标签。然而，我们观察到模型在标签预测过程中会出错，导致性能不理想。相比之下，在学习的早期阶段产生的特征表现出更好的鲁棒性。受这一观察的启发，在本文中，我们提出了一种新的基于特征嵌入的标签噪声深度学习方法，称为LabEl NoiseDilution（LEND）。具体来说，我们首先根据当前嵌入的特征计算一个相似性矩阵，以捕获训练数据的局部结构。然后，由错误标记的数据携带的噪声监督信号被附近正确标记的信号（\textit{i.e.}，标签噪声稀释）淹没，其有效性由特征嵌入的固有鲁棒性保证。最后，稀释标签的训练数据进一步用于训练鲁棒分类器。从经验上讲，我们进行了广泛的实验合成和现实世界的噪声数据集比较我们的LEND与几个代表性的强大的学习方法。实验结果验证了LEND算法的有效性。
2022-06-27 cs.AI cs.LG
Towards Adversarially Robust Deep Image Denoising
NUS（新加坡国立大学）；RIKEN-AIP（理化学研究所革新智能综合研究中心）；ByteDance Inc（字节跳动）；UTokyo（东京大学）
这项工作系统地研究了深度图像去噪器（DID）的对抗鲁棒性，即DID如何从对抗扰动退化的噪声观测中恢复地面真实。首先，为了评估DID的鲁棒性，我们提出了一种新的对抗性攻击，即基于观察的零均值攻击（{ \sc ObsAtk}），对给定的噪声图像进行对抗性的零均值扰动。我们发现，现有的DID容易受到{ \sc ObsAtk}生成的对抗性噪声的影响。其次，为了增强DID的鲁棒性，我们提出了一种对抗性训练策略，混合对抗性训练（{ \sc HAT}），该策略联合训练具有对抗性和非对抗性噪声数据的DID，以确保重建质量高，并且非对抗性数据周围的去噪器局部平滑。所得到的DID可以有效地去除各种类型的合成和对抗性噪声。我们还发现，DIDS的鲁棒性有利于他们的泛化能力看不见的现实世界的噪音。事实上，{ \sc HAT}训练的DID可以从真实世界的噪声中恢复高质量的干净图像，甚至无需对真实的噪声数据进行训练。在Set 68、PolyU和SIDD等基准数据集上进行的大量实验证实了{ \sc ObsAtk}和{ \sc HAT}的有效性。
2022-01-13 cs.CV cs.LG eess.IV
Understanding SAM's Robustness to Noisy Labels through Gradient Down-weighting
Rochester Institute of Technology（罗彻斯特理工学院）；University of Science - VNUHCM（越南国立大学胡志明市理科大学）；Rowan University（罗文大学）
本文通过分析SAM在元素级别表现，揭示其对噪声标签鲁棒性的机制，并提出SANER方法提升泛化能力。
2026-03-30 cs.LG
Robustness of Accuracy Metric and its Inspirations in Learning with Noisy Labels
The Chinese University of Hong Kong（香港中文大学）；VIVO AI Lab（vivo人工智能实验室）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
对于类条件标签噪声下的多类分类，我们证明了准确性度量本身可以是鲁棒的。我们将这一发现的灵感具体化在两个重要方面：训练和验证，我们用这些来解决带噪声标签学习中的关键问题。对于训练，我们表明，在足够多的噪声样本上最大限度地提高训练精度会产生近似最优的分类器。对于验证，我们证明了噪声验证集是可靠的，解决了超参数调整和早期停止等场景中模型选择的关键需求。在此之前，使用噪声验证样本的模型选择在理论上并不合理。我们验证了我们的理论结果和额外的索赔与广泛的实验。我们展示了用噪声标签训练的模型的特征，这是由我们的理论结果激发的，并通过展示一个名为噪声最佳教师和学生（NTS）的框架的令人印象深刻的性能来验证噪声验证集的实用性。我们的代码被释放了。
2020-12-08 cs.LG
NoisyMix: Boosting Model Robustness to Common Corruptions
University of Pittsburgh（匹兹堡大学）；Nordita, KTH（北欧理论物理研究所，瑞典皇家理工学院）；University of Toronto（多伦多大学）；ICSI（国际计算机科学研究所）；UC Berkeley（加州大学伯克利分校）
对于许多现实世界的应用，获得稳定和鲁棒的统计性能比简单地实现最先进的预测测试精度更重要，因此神经网络的鲁棒性是一个越来越重要的话题。相关地，数据增强方案已经被示出为提高关于输入扰动和域移位的鲁棒性。受此启发，我们引入了NoisyMix，这是一种新型的训练方案，它可以提高稳定性，并利用输入和特征空间中的噪声增强来提高模型的鲁棒性和域内精度。NoisyMix生成的模型始终更加稳健，并提供了对类别成员概率的校准估计。我们在一系列基准数据集上展示了NoisyMix的好处，包括ImageNet-C，ImageNet-R和ImageNet-P。此外，我们还提供了理解NoisyMix的隐式正则化和鲁棒性的理论。
2022-05-23 cs.LG stat.ML
GRIT: Out-of-Distribution Robustness from Finite and Noisy Invariant Pairs
Purdue University（普渡大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出噪声反事实匹配（NCM）方法，利用少量含噪反事实数据对替代不变表示学习，并证明其测试域误差上界，从而提升模型对虚假相关性的鲁棒性。
2026-10-19 cs.LG
Exploring the Training Robustness of Distributional Reinforcement Learning against Noisy State Observations
University of Alberta（阿尔伯塔大学）；Harbin Engineering University（哈尔滨工程大学）；Huawei Kirin Solution（华为麒麟解决方案部）
本文研究分布式强化学习在噪声状态观测下的训练鲁棒性，通过理论分析梯度稳定性和实验验证，证明其优于基于期望的方法。
2023-06-21 cs.LG
On the Robustness of Machine Learning Models in Predicting Thermodynamic Properties: a Case of Searching for New Quasicrystal Approximants
AIRI；National University of Science and Technology MISIS（国立科技大学 MISIS）
本研究针对机器学习预测热力学性质的鲁棒性不足问题，通过构建嵌套准晶近似相数据集并训练多种模型，揭示训练样本变化导致预测结果差异，并提出预训练与顺序训练技巧以提升稳定性。
2024-11-07 cond-mat.mtrl-sci cs.LG physics.comp-ph
On the Robustness of Monte Carlo Dropout Trained with Noisy Labels
Facebook（脸书）
深度学习的记忆效应阻碍了其在带噪声标签的学习中有效地推广测试集的性能。先前的研究已经发现，与没有不确定性估计的神经网络相比，认知不确定性技术在用噪声标签训练时是鲁棒的。它们在对抗性噪声标签环境下获得了较长的记忆效果和较好的泛化性能。由于其在噪声标签下的其他选定的认知不确定性方法中的优越性能，我们专注于Monte Carlo Dropout（MCDropout），并研究为什么它在使用噪声标签进行训练时具有鲁棒性。通过对MNIST、CIFAR-10、Animal-10 n数据集的实证研究，本文深入研究了噪声标签设置下MCDropout的三个方面：1.功效：了解MCDropout在训练集包含人工生成或自然嵌入的标签噪声时的学习行为和测试精度; 2.表征波动性：通过检查每个神经元激活的平均值和标准差来研究神经元的响应性; 3.网络稀疏性：与确定性神经网络相比，研究MCDropout的网络支持。我们的研究结果表明，MCDropout进一步稀疏化和正则化的确定性神经网络，从而提供了更高的鲁棒性对噪声标签。
2021-03-22 cs.CV cs.LG
Fine tuning Pre trained Models for Robustness Under Noisy Labels
KAIST AI（韩国科学技术院人工智能学院）；Michigan State University（密歇根州立大学）
本文针对带噪声标签数据集的预训练模型微调问题，提出TURN算法，通过先独立调整线性分类器保护特征提取器，再基于降噪数据集微调整个模型，实现鲁棒且高效的去噪性能。
2023-10-24 cs.LG
SoTTA: Robust Test-Time Adaptation on Noisy Data Streams
Nokia Bell Labs（诺基亚贝尔实验室）；KAIST（韩国科学技术院）
针对测试时自适应在噪声数据流下的脆弱性，提出SoTTA算法，通过高置信度均匀类采样和熵-锐度最小化分别增强输入与参数鲁棒性，在噪声场景下优于现有方法。
2023-10-16 cs.LG
AdvRush: Searching for Adversarially Robust Neural Architectures
Seoul National University（首尔大学）
深度神经网络继续以其卓越的性能让世界敬畏。然而，他们的预测很容易被人类无法察觉的对抗性例子所破坏。目前提高神经网络对对抗性示例的鲁棒性的努力集中在开发鲁棒训练方法上，该方法在更鲁棒的方向上更新神经网络的权重。在这项工作中，我们采取了一个步骤超越训练的权重参数，并考虑设计一个具有高内在鲁棒性的对抗鲁棒神经架构的问题。我们提出了AdvRush，一种新的对抗鲁棒性感知神经结构搜索算法，基于一个发现，即独立的训练方法，神经网络的内在鲁棒性可以表示其输入损失景观的平滑度。通过一个正则化器，有利于候选架构具有更平滑的输入损失景观，AdvRush成功地发现了一个对抗强大的神经架构。除了对AdvRush的全面理论动机外，我们还进行了大量的实验来证明AdvRush在各种基准数据集上的有效性。值得注意的是，在CIFAR-10上，AdvRush在标准训练后的FGSM攻击下达到了55.91%的鲁棒准确率，在7步PGD对抗训练后的AutoAttack下达到了50.04%的鲁棒准确率。
2021-08-10 cs.AI cs.LG
How does self-supervised pretraining improve robustness against noisy labels across various medical image classification datasets?
Center for Imaging Science, RIT（罗切斯特理工学院成像科学中心）；University of Aberdeen（阿伯丁大学）；NepAl Applied Mathematics and Informatics Institute for Research (NAAMII)（尼泊尔应用数学与信息学研究所）；Biomedical Engineering, RIT（罗切斯特理工学院生物医学工程系）
本文系统研究自监督预训练对医学图像分类中噪声标签鲁棒性的影响，发现DermNet数据集最具挑战性但更鲁棒，并证明对比学习是八种自监督方法中最有效的增强手段。
2024-01-15 cs.CV cs.LG eess.IV
How Does a Neural Network's Architecture Impact Its Robustness to Noisy Labels?
University of Maryland（马里兰大学）；Massachusetts Institute of Technology（麻省理工学院）；University of Toronto（多伦多大学）
噪声标签在大型真实世界数据集中是不可避免的。在这项工作中，我们探索了一个以前研究不足的领域-网络的架构如何影响其对噪声标签的鲁棒性。我们提供了一个正式的框架连接网络的鲁棒性，其架构和目标/噪声函数之间的对齐。我们的框架通过其表示中的预测能力来衡量网络的鲁棒性-使用一小组干净标签在学习的表示上训练线性模型的测试性能。我们假设，如果网络的架构与目标函数比噪声更一致，则网络对噪声标签更鲁棒。为了支持我们的假设，我们提供了各种神经网络架构和不同领域的理论和经验证据。我们还发现，当网络与目标函数很好地对齐时，其表示的预测能力可以在测试准确性方面改善最先进的（SOTA）噪声标签训练方法，甚至优于使用干净标签的复杂方法。
2021-11-28 cs.CV cs.LG stat.ML
$A^{3}D$: A Platform of Searching for Robust Neural Architectures and Efficient Adversarial Attacks
Defense Innovation Institute, Chinese Academy of Military Science（中国人民解放军军事科学院国防科技创新研究院）；School of Artificial Intelligence, Xidian University（西安电子科技大学人工智能学院）
由于许多应用对安全性的迫切需求，深度神经网络（DNN）模型的鲁棒性越来越受到关注。开发了许多现有的开源工具或平台，通过集成大多数对抗攻击或防御算法来评估DNN模型的鲁棒性。不幸的是，当前平台不具备优化DNN模型的架构或对抗攻击的配置以进一步增强模型的鲁棒性或对抗攻击的性能的能力。为了缓解这些问题，在本文中，我们首先提出了一个新的平台，称为自动对抗攻击和防御（$A^{3}D$），它可以帮助搜索强大的神经网络架构和有效的对抗攻击。在$A^{3}D$中，我们采用了多种神经结构搜索方法，考虑不同的鲁棒性评估指标，包括四种类型的噪声：对抗性噪声，自然噪声，系统噪声和量化指标，从而找到强大的架构。此外，我们提出了一个自动对抗攻击的数学模型，并提供了多种优化算法来搜索有效的对抗攻击。此外，我们将自动对抗攻击和防御结合在一起，形成一个统一的框架。在自动对抗防御中，搜索到的有效攻击可以作为新的鲁棒性评价指标，进一步提高系统的鲁棒性。在自动对抗攻击中，搜索到的鲁棒体系结构可以用作威胁模型，以帮助发现更强的对抗攻击。在CIFAR10、CIFAR100和ImageNet数据集上的实验表明了该平台的可行性和有效性，为自动机器学习在DNN模型鲁棒性评估和改进中的应用提供了一个基准和工具包。
2023-01-14 cs.AI cs.LG
Investigating Why Contrastive Learning Benefits Robustness Against Label Noise
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
自监督对比学习（CL）最近被证明在防止深度网络过度拟合噪声标签方面非常有效。尽管它的实证成功，对比学习的效果，提高鲁棒性的理论理解是非常有限的。在这项工作中，我们严格证明了通过对比学习学习的表示矩阵通过以下方式增强了鲁棒性：（i）一个突出的奇异值对应于数据中的每个子类，并且剩余的奇异值显著较小;（ii）突出的奇异向量与每个子类的干净标签之间的大对齐。上述属性使在这种表示上训练的线性层能够有效地学习干净的标签，而不会过度拟合噪声。我们进一步表明，使用对比学习预训练的深度网络的雅可比矩阵的低秩结构使它们在对噪声标签进行微调时能够在最初实现卓越的性能。最后，我们证明了对比学习提供的初始鲁棒性使鲁棒训练方法能够在极端噪声水平下实现最先进的性能，例如，在CIFAR-10和CIFAR-100上，平均准确率分别提高了27.18%和15.58%，在WebVision上平均准确率提高了4.11%。
2022-07-05 cs.LG
Robustness Evaluation of Machine Learning Models for Robot Arm Action Recognition in Noisy Environments
Northeastern University（东北大学）
针对噪声环境下空间相近机械臂动作难以识别的问题，本文结合视觉跟踪与深度学习关键点提取，并通过井字棋案例验证其在含噪数据上的检测与分类鲁棒性。
2024-01-17 cs.CV cs.LG cs.RO
Pseudo-Quantized Actor-Critic Algorithm for Robustness to Noisy Temporal Difference Error
Principles of Informatics Research Division, National Institute of Informatics (NII)（国立信息学研究所信息学原理研究部）；Informatics Program, Graduate Institute for Advanced Studies (SOKENDAI)（综合研究大学院大学信息学项目）
本文提出一种基于控制作为推断的时序差分学习算法，通过伪量化时序差分误差来提升鲁棒性，利用sigmoid函数和KL散度构建鲁棒学习规则，减少噪声影响。
2026-04-02 cs.LG
Flat-Consensus Diffusion for Robust Data Reshaping under Noisy Evaluator
针对噪声评估下的数据重塑问题，提出平坦共识扩散框架FCDiff，通过微观平滑与宏观共识聚合，在8数据集上取得最优稳健性。
2026-09-29 cs.AI cs.LG
On Hardening DNNs against Noisy Computations
Heidelberg University（海德堡大学）
本研究针对模拟计算噪声影响深度神经网络精度的问题，比较了量化感知训练与噪声训练两种方法，发现噪声训练在复杂架构中鲁棒性更优。
2025-01-24 cs.LG
Variance-Aware Noisy Training: Hardening DNNs against Unstable Analog Computations
Hardware and Artificial Intelligence Lab, Institute of Computer Engineering, Heidelberg University（硬件与人工智能实验室，计算机工程学院，海德堡大学）
针对模拟计算中动态噪声导致噪声训练失效的问题，提出方差感知噪声训练，通过模拟推理噪声变化的调度提升鲁棒性，在CIFAR-10和Tiny ImageNet上分别将鲁棒性提升至97.6%和99.7%，且无训练开销。
2025-09-11 cs.LG
Revisit Input Perturbation Problems for LLMs: A Unified Robustness Evaluation Framework for Noisy Slot Filling Task
Beijing University of Posts and Telecommunications（北京邮电大学）；Meituan Group（美团集团）
本文提出统一鲁棒性评估框架，构建噪声槽填充数据集Noise-LLM，系统评估LLM在多种输入扰动下的表现，发现当前开源模型鲁棒性有限，并提出前瞻性建议。
2023-10-10 cs.AI cs.CL cs.LG
Exploring the Robustness of In-Context Learning with Noisy Labels
ShanghaiTech University（上海科技大学）；Fudan University（复旦大学）；Xi’an Jiaotong University（西安交通大学）；Peking University（北京大学）
本文系统评估了Transformer在上下文学习中对示例标签噪声的鲁棒性，并发现向训练集引入噪声作为数据增强可进一步提升推理时的抗噪能力，为理解ICL韧性提供了新见解。
2024-05-01 cs.AI cs.CL cs.CR
Walking Noise: On Layer-Specific Robustness of Neural Architectures against Noisy Computations and Associated Characteristic Learning Dynamics
Heidelberg University（海德堡大学）
本文提出 Walking Noise 方法，通过注入分层噪声研究神经网络分类器对加性、乘性及混合噪声的鲁棒性，发现带噪声训练可增大权重幅值或促使参数自二值化，从而提升信噪比和鲁棒性，并探讨其在噪声环境多重执行中的应用。
2024-06-14 cs.AR cs.ET cs.LG
SelectMix: Enhancing Label Noise Robustness through Targeted Sample Mixing
针对深度网络易受噪声标签影响的问题，提出置信度引导的混合框架SelectMix，通过K折交叉验证识别不确定样本并将其与高置信同类样本混合及使用准确软标签，显著提升了噪声标签学习的鲁棒性。
2025-09-14 cs.CV cs.LG stat.ML
Exploring Robustness of Prefix Tuning in Noisy Data: A Case Study in Financial Sentiment Analysis
Queen’s University（女王大学）
基于变压器的模型（如BERT、GPT和RoBERTa）的发明使研究人员和金融公司能够微调这些强大的模型，并将其用于不同的下游任务，以实现最先进的性能。最近，一个轻量级的替代（约0.1% - 3%的原始模型参数）微调，称为前缀调优已被引入。此方法冻结模型参数，仅更新前缀，以实现与完全微调相当的性能。前缀调优使研究人员和金融从业者能够用更少的参数实现类似的结果。在本文中，我们探讨了前缀调整的鲁棒性时，面对噪声数据。我们的实验表明，微调是更强大的噪声比前缀调整-后一种方法面临着显着降低性能的最损坏的数据集，随着噪声水平的增加。此外，与许多腐败方法中的微调相比，前缀调整在F1分数中具有高方差。我们强烈主张，在将最先进的前缀调优方法应用于噪声数据时，应谨慎行事。
2022-10-26 cs.AI cs.CE cs.CL
Noisy Machines: Understanding Noisy Neural Networks and Enhancing Robustness to Analog Hardware Errors Using Distillation
Arm Research（Arm研究院）；Arizona State University（亚利桑那州立大学）
深度学习的成功引发了人们对计算机硬件设计的兴趣，以更好地满足神经网络推理的高要求。特别地，基于电子、光学或光子器件，模拟计算硬件已经被特别地用于加速神经网络，这可以很好地实现比传统数字电子器件更低的功耗。然而，这些提出的模拟加速器受到其物理组件产生的固有噪声的影响，这使得在深度神经网络上实现高精度具有挑战性。因此，为了在模拟加速器上成功部署，必须能够训练深度神经网络，使其对网络权重中的随机连续噪声具有鲁棒性，这在机器学习中是一个新的挑战。在本文中，我们提出了噪声神经网络的理解。我们概述了一个嘈杂的神经网络如何降低学习能力的结果，其输入和输出之间的互信息的损失。为了解决这个问题，我们建议在训练过程中使用知识蒸馏结合噪声注入来实现更具噪声鲁棒性的网络，这在不同的网络和数据集（包括ImageNet）上进行了实验验证。与之前的最佳尝试相比，我们的方法实现的模型具有高达两倍的噪声容限，这是使模拟硬件适用于深度学习的重要一步。
2020-01-14 cs.AI cs.AR cs.LG
Towards Robust Deep Learning with Ensemble Networks and Noisy Layers
McMaster University（麦克马斯特大学）；Ryerson University（瑞尔森大学）；Vector Institute（向量研究所）
在本文中，我们提供了一种用于深度学习的方法，该方法可以在图像分类类型的网络中防止对抗性示例。该方法依赖于两种机制：1）以牺牲准确性为代价来增加鲁棒性的机制，以及2）提高准确性但并不总是增加鲁棒性的机制。我们表明，结合这两种机制的方法可以在保持准确性的同时提供对抗性示例的保护。我们制定潜在的攻击我们的方法与实验结果，以证明其有效性。我们还为我们的方法提供了鲁棒性保证以及对保证的解释。
2021-01-06 cs.CR cs.LG stat.ML
Robustness of convolutional neural networks to physiological ECG noise
National Physical Laboratory（英国国家物理实验室）；University of Surrey（萨里大学）
心电图（ECG）是医疗保健中最广泛的诊断工具之一，支持心血管疾病的诊断。深度学习方法是一种成功且流行的技术，可以从ECG信号中检测疾病的迹象。然而，这些方法对各种因素（包括生理ECG噪声）的鲁棒性存在公开问题。在这项研究中，我们生成清洁和嘈杂的版本的ECG数据集之前，应用对称投影吸引子重建（SPAR）和尺度图图像变换。使用迁移学习来训练预训练的卷积神经网络，以分类这些图像变换。对于干净的ECG数据集，SPAR吸引子和尺度图变换的F1分数分别为0.70和0.79，对于有噪声的ECG数据集，分数下降小于0.05。值得注意的是，当使用干净数据训练的网络来分类嘈杂的数据集时，F1分数的性能下降高达0.18。然而，当使用在噪声数据上训练的网络来分类干净数据集时，性能下降小于0.05。我们的结论是，生理ECG噪声会影响使用深度学习方法的分类，在开发用于ECG分类的监督网络时，应仔细考虑在训练数据中包含噪声ECG信号。
2021-08-02 cs.LG eess.SP
Consistency Regularization Can Improve Robustness to Label Noise
KTH（瑞典皇家理工学院）
一致性正则化是半监督学习和自监督学习的常用技术。它是一个辅助目标函数，鼓励网络的预测在观察到的训练样本附近相似。Hendrycks等人（2020）最近表明，这种正则化自然会为损坏的数据带来测试时的鲁棒性，并有助于校准。本文实证研究了一致性正则化对噪声标签的训练时间鲁棒性的相关性。首先，我们对在噪声数据集上使用标准交叉熵损失训练的网络的一致性进行了两个有趣且有用的观察：（i）在噪声数据上训练的网络的一致性低于在干净数据上训练的网络，以及（ii）在噪声标记的训练数据点周围的一致性比正确标记的数据点降低得更明显。然后，我们证明了一个简单的损失函数，鼓励一致性提高了模型的鲁棒性，以标记噪声的合成（CIFAR-10，CIFAR-100）和现实世界（WebVision）的噪声，以及不同的噪声率和类型，并达到最先进的结果。
2021-10-04 cs.CV cs.LG stat.ML
The Average Relative Entropy and Transpilation Depth determines the noise robustness in Variational Quantum Classifiers
Department of Computer Science University of Helsinki（赫尔辛基大学计算机科学系）
本文提出基于相对熵的指标，研究变分量子分类器在噪声设备上的性能，发现平均相对熵差、编译深度与性能差异强相关，指出电路深度不足以表征浅层电路。
2026-03-22 cs.LG quant-ph
Ditch the Denoiser: Emergence of Noise Robustness in Self-Supervised Learning from Data Curriculum
本研究提出一种全自监督框架，通过构建去噪-含噪数据课程并结合教师引导正则化预训练SSL骨干网络，使模型在无需额外去噪器的情况下获得噪声鲁棒性，在极端高斯噪声下的ImageNet-1k线性探测任务中准确率较DINOv2提升4.8%。
2025-10-29 cs.AI cs.CV cs.LG
SAMSON: Sharpness-Aware Minimization Scaled by Outlier Normalization for Improving DNN Generalization and Robustness
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Polytechnique Montreal（蒙特利尔综合理工学院）
节能的深度神经网络（DNN）加速器容易出现非理想性，从而在推理时降低DNN性能。为了减轻这种退化，现有方法通常在训练期间向DNN权重添加扰动，以模拟噪声硬件上的推理。然而，这通常需要了解目标硬件，并导致DNN性能和鲁棒性之间的权衡，降低前者以提高后者。在这项工作中，我们证明了通过优化损失值和损失锐度来应用锐度感知训练，可以显着提高推理时对噪声硬件的鲁棒性，而无需依赖于对目标硬件的任何假设。特别是，我们提出了一种新的自适应锐度感知方法，条件的最坏情况下的扰动，一个给定的权重不仅在其幅度，但也对范围的重量分布。这是通过执行由离群值最小化缩放的锐度感知最小化（SAMSON）来实现的。我们的方法在无噪声机制的模型泛化性能和噪声环境中的鲁棒性方面都优于现有的锐度感知训练方法，如在几种架构和数据集上测量的那样。
2023-03-21 cs.AI cs.LG
Noisy Exemplars Make Large Language Models More Robust: A Domain-Agnostic Behavioral Analysis
New York University（纽约大学）
本文通过领域无关的多层次扰动系统分析大语言模型在多跳推理中的鲁棒性，发现模型对同义词替换等扰动较敏感，并证明增加提示中噪声示例比例可提升少样本提示的鲁棒性。
2023-11-01 cs.CL cs.LG
Robustness of Voice Conversion Techniques Under Mismatched Conditions
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）；University of Eastern Finland（东芬兰大学）
现有的语音转换（VC）研究大多是在源信号和目标信号声学匹配的条件下进行的。然而，VC方法在存在失配的情况下的鲁棒性仍然未知。在本文中，我们报告了不同的VC技术在不匹配的条件下的比较分析。五种不同的VC技术在CMU ARCTIC语料库上的广泛实验表明，VC方法的性能在噪声条件下大大降低。我们已经发现，双线性频率弯曲幅度缩放（BLFWAS）优于其他方法在大多数的噪声条件。我们进一步探讨了不同的语音增强技术的鲁棒转换的适用性。客观评价结果表明，基于谱减法和对数最小均方误差（logMMSE）的语音增强技术在特定的噪声环境下可以提高语音增强效果。
2016-12-22 cs.LG cs.SD stat.ML
Robustness of Conditional GANs to Noisy Labels
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）
我们研究了从噪声标记样本中学习条件生成器的问题，其中标签被随机噪声破坏。条件GANs的标准训练不仅会产生带有错误标签的样本，还会产生质量差的样本。我们考虑两种情况，这取决于噪声模型是否已知。当噪声的分布是已知的，我们引入了一种新的架构，我们称之为鲁棒条件GAN（RCGAN）。其主要思想是在将生成的样本馈送到对抗性的机器人之前破坏样本的标签，迫使生成器生成具有干净标签的样本。通过RCGAN的损失与干净的真实分布和生成器分布之间的距离之间的相应乘法近似界限，证明了通过匹配的噪声信道的这种方法是合理的。这表明，所提出的方法是鲁棒的，当使用精心选择的架构，称为投影矩阵。当噪声的分布未知时，我们提供了我们的架构的扩展，我们称之为RCGAN-U，它在训练生成器的同时学习噪声模型。我们在MNIST和CIFAR-10数据集上的实验表明，这两种方法在基线方法上都有持续的改进，RCGAN-U与RCGAN的性能非常匹配。
2018-11-08 cs.AI cs.LG stat.ML
Wav2vec-Switch: Contrastive Learning from Original-noisy Speech Pairs for Robust Speech Recognition
Microsoft（微软）
用于自动语音识别（ASR）的自监督学习（SSL）的目标是从大量未标记的语音中学习良好的语音表示以用于下游的ASR任务。然而，大多数SSL框架没有考虑噪声鲁棒性，这对现实世界的应用至关重要。在本文中，我们提出了wav 2 vec-Switch，一种通过对比学习将噪声鲁棒性编码到语音的上下文表示中的方法。具体来说，我们将原始噪声语音对同时输入wav 2 vec 2.0网络。除了现有的对比学习任务，我们切换的量化表示的原始和嘈杂的语音作为额外的预测目标。通过这样做，它强制网络对原始语音和噪声语音进行一致的预测，从而允许学习具有噪声鲁棒性的上下文表示。我们对合成和真实噪声数据的实验表明，我们的方法的有效性：它实现了2.9- 4.9%的相对字出错率（WER）减少对合成的噪声LibriSpeech数据，而不恶化的原始数据，和5.7%的CHiME-4真正的1通道噪声数据相比，数据增强基线，即使有一个强大的语言模型解码。我们在CHiME-4上的结果可以匹配甚至超过那些设计良好的语音增强组件。
2022-01-26 cs.CL cs.LG cs.SD
NLPrompt: Noise-Label Prompt Learning for Vision-Language Models
ShanghaiTech University（上海科技大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；RIKEN Center for Advanced Intelligence Project（日本RIKEN高级智能项目中心）；University of Technology Sydney（悉尼科技大学）；University of Melbourne（墨尔本大学）
NLPrompt通过结合PromptMAE和PromptOT，提升视觉-语言模型在噪声标签下的提示学习鲁棒性与精度。
2026-01-28 cs.CV cs.LG
Learning Graph Neural Networks with Noisy Labels
Tokyo Institute of Technology（东京工业大学）
我们研究了GNNs训练过程对对称标签噪声的鲁棒性。通过结合非线性神经消息传递模型（如图同构网络，GraphSAGE等），与损失校正方法，我们提出了一个噪声容忍的方法的图分类任务。实验结果表明，在对称噪声环境下，该方法可以提高测试精度.
2019-05-05 cs.LG stat.ML
On the Noise Robustness of In-Context Learning for Text Generation
Southern University of Science and Technology（南方科技大学）；Nanjing University（南京大学）
针对文本生成中噪声标注损害ICL性能的问题，本文提出LPR方法，通过语义近邻局部困惑度排序替换噪声候选，最高将EM分数提升18.75。
2024-10-24 cs.CL cs.LG
Toward Robustness against Label Noise in Training Deep Discriminative Neural Networks
D-Wave Systems Inc.（D-Wave系统公司）
收集带有高质量标签的大型训练数据集是昂贵且耗时的。本文提出了一种新的框架，用于从可以廉价获得的噪声标记数据集训练深度卷积神经网络。该问题使用无向图形模型来制定，该模型表示在半监督设置中训练的噪声和清洁标签之间的关系。在我们的公式中，对潜在清洁标签的推断是易于处理的，并且在训练期间使用辅助信息源进行正则化。将该模型应用于图像标记问题，并在CIFAR-10和MS COCO数据集上的训练中有效地标记未见过的图像以及减少标签噪声。
2017-11-03 cs.LG stat.ML
Robust GANs against Dishonest Adversaries
Massachusetts Institute of Technology（麻省理工学院）
深度学习模型的鲁棒性是最近获得越来越多关注的属性。我们探索了生成对抗模型的鲁棒性概念，这与它们的内部交互结构有关，并表明，也许令人惊讶的是，原始形式的GAN并不鲁棒。我们的鲁棒性概念依赖于对其反馈的扰动鉴别器或嘈杂的对抗性干扰。我们从理论上和经验上探索了模型和训练属性对这种鲁棒性的影响。特别是，我们展示了由经验证据支持的鲁棒性的理论条件。我们还测试了正则化的效果。我们的研究结果表明，GANs的变体确实对噪声攻击更鲁棒，并且具有更稳定的训练行为，通常需要较少的正则化。受我们的理论结果的启发，我们进一步扩展我们的框架，以获得一类与WGAN相关的模型，具有良好的实证性能。总的来说，我们的研究结果提出了一个新的角度来理解和设计GAN模型，从他们的内部鲁棒性的观点。
2019-10-10 cs.LG stat.ML
Dual-granularity Sinkhorn Distillation for Enhanced Learning from Long-tailed Noisy Data
Microsoft Research Asia（微软亚洲研究院）
提出双粒度Sinkhorn蒸馏框架，通过整合分别针对类别不平衡和标签噪声的弱辅助模型，利用最优传输对齐预测和分布，提升长尾噪声数据学习的鲁棒性。
2025-10-09 cs.CV cs.LG
A Robust Deep Unfolded Network for Sparse Signal Recovery from Noisy Binary Measurements
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Shenzhen University（深圳大学）；imec（比利时微电子研究中心）
我们提出了一种新的深度神经网络，称为DeepFPC- $\ell_2$，用于解决1位压缩感知问题。该网络是通过展开具有单侧$\ell_2$ -范数的定点延拓（FPC）算法（FPC- $\ell_2$）的迭代来设计的。与传统的FPC- $\ell_2$算法相比，DeepFPC-$\ell_2$方法显示出更高的信号重建精度和收敛速度。此外，我们将其对噪声的鲁棒性与先前提出的DeepFPC网络进行了比较--DeepFPC网络源于展开FPC- $\ell_1$算法--用于不同的信噪比（SNR）和符号翻转比（翻转比）场景。我们表明，所提出的网络比以前的DeepFPC方法具有更好的抗噪性。这一结果表明，深度展开的神经网络的鲁棒性与它所源自的算法的鲁棒性有关。
2020-10-15 cs.LG eess.SP
Adaptive Early-Learning Correction for Segmentation from Noisy Annotations
NYU Center for Data Science（纽约大学数据科学中心）；NYU Courant Institute of Mathematical Sciences（纽约大学库朗数学科学研究所）
存在噪声注释的深度学习在分类中得到了广泛的研究，但在分割任务中的研究要少得多。在这项工作中，我们研究了在不准确注释的数据上训练的深度分割网络的学习动态。我们发现了一个以前在分类背景下报道过的现象：网络倾向于在“早期学习”阶段首先拟合干净的像素级标签，然后才最终记住错误的注释。然而，与分类相反，分段记忆并不同时出现在所有的语义类别中。受这些发现的启发，我们提出了一种新的方法，从噪声注释分割两个关键要素。首先，我们在训练过程中分别检测每个类别的记忆阶段的开始。这使我们能够自适应地纠正嘈杂的注释，以利用早期学习。其次，我们引入了一个正则化项，该项可以强制跨尺度的一致性，以提高对注释噪声的鲁棒性。我们的方法优于标准方法的医学成像分割任务，噪声合成模仿人类注释错误。它还为弱监督语义分割中存在的真实噪声注释提供了鲁棒性，在PASCAL VOC 2012上实现了最先进的结果。代码可在https://github.com/Kangningthu/ADELE上获得
2022-03-06 cs.CV cs.LG
FedCova: Robust Federated Covariance Learning Against Noisy Labels
Department of Information Engineering（信息工程系）；The Chinese University of Hong Kong（香港中文大学）；National Key Laboratory on Wireless Communications（无线通信国家重点实验室）；University of Electronic Science and Technology of China（电子科学与技术大学）
FedCova通过提升模型内在鲁棒性，有效应对噪声标签问题，实现联邦学习中的稳健学习。
2026-03-04 cs.IT cs.LG eess.SP
Toward Robustness in Multi-label Classification: A Data Augmentation Strategy against Imbalance and Noise
KAIST（韩国科学技术院）；Amazon（亚马逊公司）
针对多标签分类中训练数据标签不平衡与含噪的问题，提出统一数据增强方法BalanceMix，通过两类采样器生成高多样性少数类增强样本、按标签粒度细化噪声标签分类以实现鲁棒优化，在三个基准数据集上性能超越现有SOTA方法并已开源代码。
2023-12-12 cs.AI cs.LG
Distributed Maximum Consensus over Noisy Links
Norwegian University of Science and Technology（挪威科技大学）；CSIRO’s Data61（联邦科学与工业研究组织Data61）；Linköping University（林雪平大学）
针对噪声通信链路下的多智能体最大共识问题，提出RD-MC算法，将其重构为分布式优化并用ADMM求解，结合单组估计与移动平均提升效率和鲁棒性。
2024-06-17 cs.DC cs.LG eess.SP
A Hybrid Objective Function for Robustness of Artificial Neural Networks -- Estimation of Parameters in a Mechanical System
Trier University（特里尔大学）；IEE S.A.（IEE公司）；Trier University of Applied Sciences（特里尔应用技术大学）
在几项研究中，混合神经网络已被证明比普通数据驱动的神经网络对噪声输入数据更鲁棒。我们考虑的任务，估计的机械车辆模型的加速度曲线的基础上的参数。我们介绍了一个卷积神经网络架构，能够预测的参数为一个家庭的车辆模型，不同的未知参数。我们介绍了一个卷积神经网络架构，给定的顺序数据预测的参数的基础数据的动态。该网络使用两个目标函数进行训练。第一种方法是一种更天真的方法，它假设真实参数是已知的。第二个目标结合了基本动态的知识，因此被认为是混合方法。我们表明，在鲁棒性方面，后者优于第一个目标的噪声输入数据。
2020-04-16 cs.LG stat.ML
Towards Robustness to Label Noise in Text Classification via Noise Modeling
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Amazon Alexa AI（亚马逊Alexa人工智能部门）；Health at Scale Corporation（Health at Scale公司）；KLA Corporation（KLA公司）
NLP中的大型数据集由于错误的自动和人工注释过程而遭受噪声标签。我们研究了带有标签噪声的文本分类问题，旨在通过分类器上的辅助噪声模型来捕获这种噪声。我们首先通过在训练的早期阶段对损失进行拟合的beta混合模型，为每个具有噪声标签的训练样本分配概率得分。然后，我们使用这个分数来选择性地指导噪声模型和分类器的学习。我们对两个文本分类任务的实证评估表明，我们的方法可以提高超过基线的准确率，并防止过度拟合的噪音。
2021-11-07 cs.CL cs.LG
