Set a Thief to Catch a Thief: Combating Label Noise through Noisy Meta Learning
Nanyang Technological University（南洋理工大学）；University of Surrey（萨里大学）
针对现有元学习标签校正方法需额外干净验证集的局限，提出噪声元标签校正框架STCT，用同分布噪声数据作验证集，通过交替训练解耦双层优化，在高噪声场景下性能超越现有最优水平。
2025-02-22 cs.CV cs.LG
A Survey on Deep Learning with Noisy Labels: How to train your model when you cannot trust on the annotations?
Federal Rural University of Pernambuco（伯南布哥联邦农村大学）；Australian Institute for Machine Learning（澳大利亚机器学习研究院）；University of Adelaide（阿德莱德大学）
噪声标签通常存在于从互联网自动收集的数据集中，被非专业注释者错误标记，甚至是在具有挑战性的任务中的专家，例如在医学领域。尽管深度学习模型在不同领域都有了显著的改进，但一个悬而未决的问题是它们在训练过程中记忆噪声标签的能力，降低了它们的泛化潜力。由于深度学习模型依赖于正确标记的数据集，并且标签正确性难以保证，因此考虑噪声标签的存在对于深度学习训练至关重要。文献中已经提出了几种方法来改进存在噪声标签的深度学习模型的训练。本文提出了一个调查的主要技术在文献中，其中我们分类的算法在以下几组：鲁棒损失，样本加权，样本选择，元学习，和组合的方法。我们还介绍了常用的实验装置，数据集和最先进的模型的结果。
2020-12-05 cs.CV cs.LG
Learning to Learn from Noisy Labeled Data
National University of Singapore（新加坡国立大学）；University of Minnesota（明尼苏达大学）
尽管深度神经网络（DNN）在图像分类任务中取得了成功，但人类水平的性能依赖于具有高质量手动注释的大量训练数据，这些数据收集起来既昂贵又耗时。网络上存在许多廉价的数据源，但它们往往包含不准确的标签。在有噪声的标记数据集上训练会导致性能下降，因为DNN很容易过拟合标签噪声。为了克服这个问题，我们提出了一个噪声容忍的训练算法，其中元学习更新之前，传统的梯度更新。所提出的元学习方法通过生成合成噪声标签来模拟实际训练，并且训练模型，使得在使用每组合成噪声标签进行一次梯度更新之后，模型不会过拟合到特定噪声。我们在嘈杂的CIFAR-10数据集和Clothing 1 M数据集上进行了大量的实验。结果表明，所提出的方法相比，几个国家的最先进的基线的优越性能。
2019-04-12 cs.CV cs.LG stat.ML
Graph convolutional networks for learning with few clean and many noisy labels
Google Research（谷歌研究院）；VRG, Faculty of Electrical Engineering, Czech Technical University in Prague（布拉格捷克理工大学电气工程学院视觉识别组）；Inria, Univ Rennes, CNRS, IRISA（法国国家信息与自动化研究所、雷恩大学、法国国家科学研究中心、布列塔尼大西洋信息与通信技术研究所）
在这项工作中，我们考虑的问题时，一些干净的标记的例子，从嘈杂的标签学习分类。干净和有噪声的数据的结构是由一个图每类和图卷积网络（GCN）被用来预测噪声的例子的类相关性。对于每个类，GCN被视为一个二元分类器，它学习使用加权的二元交叉熵损失函数来区分干净的噪声样本。然后利用GCN推断的“干净”概率作为相关性度量。在学习最终任务的分类器时，每个噪声示例都通过其相关性进行加权。我们评估我们的方法上的一个扩展版本的少样本学习问题，其中几个干净的例子，新的类补充额外的噪声数据。实验结果表明，我们的GCN为基础的清洗过程显着提高了分类精度不清洗噪声数据，以及标准的Few-Shot分类，只有很少的干净的例子被使用。
2020-08-24 cs.CV cs.LG
One-Step Abductive Multi-Target Learning with Diverse Noisy Label Samples
提出了一步溯因多目标学习算法（OSAMTL）来处理复杂的噪声标签。本文在定义了不同噪声标签样本（DNLS）的基础上，提出了一步带DNLS的溯因多目标学习（OSAMTL-DNLS），扩展了原有OSAMTL的方法，使其更好地处理复杂的噪声标签。
2021-12-08 cs.AI cs.LG
Learning to Clean: Reinforcement Learning for Noisy Label Correction
School of Computer Science, Carleton University（卡莱顿大学计算机科学学院）；CIFAR AI Chair, Amii（CIFAR人工智能主席，Amii）
本文提出了一种基于强化学习的噪声标签纠正方法，通过深度特征表示策略网络实现标签纠正，实验表明其在多个数据集上优于现有技术。
2025-11-25 cs.AI cs.LG
Semi-Supervised Cascaded Clustering for Classification of Noisy Label Data
TCS Research（塔塔咨询服务研究院）；Tata Consultancy Services Ltd.（塔塔咨询服务有限公司）
监督分类技术的性能往往恶化时，数据有噪声标签。即使是半监督分类方法也主要集中在处理丢失标签的问题上。大多数处理噪声标签数据的方法都依赖于深度神经网络（DNN），这需要大量的数据集来执行分类任务。这是一个严峻的挑战，特别是在加工和制造行业，其中数据有限，标签嘈杂。我们提出了一个半监督级联聚类（SSCC）算法来提取模式，并生成一个级联树的类在这样的数据集。引入一种新的超参数可配置的聚类评价矩阵（CEM）来定位和消除噪声标签，并调用级联聚类的修剪准则。该算法减少了对昂贵的人类专业知识的依赖，以评估标签的准确性。基于SSCC生成的分类器被发现是准确和一致的，即使在嘈杂的标签数据集上训练。当在多个噪声标签数据集（包括工业数据集）上进行测试时，与支持向量机（SVM）相比，它表现得更好。所提出的方法可以有效地用于在工业环境中以最少的人类专业知识获得可操作的见解。
2022-05-04 cs.AI cs.LG
Addressing Long-Tail Noisy Label Learning Problems: a Two-Stage Solution with Label Refurbishment Considering Label Rarity
College of Artificial Intelligence and Green Energy, National Yang Ming Chiao Tung University（国立阳明交通大学人工智慧与绿色能源学院）；University at Albany, SUNY（纽约州立大学奥尔巴尼分校）
针对真实数据集的长尾噪声标签学习问题，提出结合软标签翻新与多专家集成学习的两阶段LR²方法，通过对比学习获无偏特征、BANC损失训练分类器初步预测，再翻新标签用于集成学习，在多个基准数据集上准确率超越现有最优方法。
2024-03-04 cs.AI cs.LG
Online Multi-Label Classification under Noisy and Changing Label Distribution
School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机与信息工程学院）；School of Computing, National University of Singapore（新加坡国立大学计算学院）
针对多标签数据流中噪声标签与标签分布变化问题，提出NCLD算法，通过局部特征图重建标签评分、无偏排序损失和分布变化检测实现鲁棒的在线多标签分类。
2024-10-03 cs.AI cs.LG
FedNoisy: Federated Noisy Label Learning Benchmark
University of Michigan（密歇根大学）；Artifical Intelligence Innovation and Incubation Institute, Fudan University（复旦大学人工智能创新与产业研究院）；Michigan State University（密歇根州立大学）
本研究推出首个标准化联邦噪声标签学习基准FedNoisy，涵盖6个数据集的20种基础设置、标准化模拟流程及9种基线实现，通过全面实验为该领域方法开发提供参考与验证支持。
2025-02-22 cs.AI cs.LG
Learning from Noisy Labels for Long-tailed Data via Optimal Transport
Beijing University of Posts and Telecommunications（北京邮电大学）
本文针对长尾分布与噪声标签并存的数据，提出损失-距离交叉选择模块结合最优传输生成伪标签的半监督方法，有效提升模型鲁棒性并超越现有最优方法。
2024-08-07 cs.AI cs.LG
Potential Energy based Mixture Model for Noisy Label Learning
Dell Technologies（戴尔科技）
本文提出基于势能的混合模型PEMM，通过在类中心上引入势能正则化的距离分类器，保留数据内在结构，从而提升深度网络对噪声标签的鲁棒性并取得最先进性能。
2024-05-02 cs.AI cs.LG
When Noisy Labels Meet Class Imbalance on Graphs: A Graph Augmentation Method with LLM and Pseudo Label
本文针对含噪声标签的类别不平衡图节点分类，提出融合 LLM 过采样、动态加权伪标签与二次 LLM 过采样的 GraphALP 框架，性能优于现有方法。
2025-07-25 cs.AI cs.LG
From Noisy Prediction to True Label: Noisy Prediction Calibration via Generative Model
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；University of Seoul（首尔大学）
在机器学习社会中，嘈杂的标签是不可避免的，但也是有问题的。它通过使分类器过度拟合噪声标签来破坏分类器的泛化。现有的噪声标记方法主要集中在训练过程中对分类器进行修改。它有两个潜在的问题。首先，这些方法不适用于未经进一步训练的预训练分类器。其次，训练分类器并同时使来自噪声标签的所有负面影响规则化并不容易。我们提出了一个新的分支的方法，噪声预测校准（NPC）的学习与噪声标签。通过生成模型引入和估计一种新型的转移矩阵，NPC将噪声预测从预训练分类器校正为真实标签作为后处理方案。我们证明了NPC理论上与基于转移矩阵的方法一致。然而，NPC经验上提供了更准确的途径来估计真实标签，即使不参与分类器学习。此外，如果训练实例及其预测可用，则NPC适用于使用噪声标签方法训练的任何分类器。我们的方法NPC提高了所有基线模型在合成和真实数据集上的分类性能。实现的代码可在https://github.com/BaeHeeSun/NPC上获得。
2022-05-26 cs.AI cs.CV cs.LG
Multi-Label Noise Transition Matrix Estimation with Label Correlations: Theory and Algorithm
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；The University of Sydney（悉尼大学）
本文研究噪声多标签学习中类别相关转移矩阵的估计问题，提出一种利用标签相关性且无需锚点和精确后验拟合的新估计器，通过求解双线性分解问题实现可识别估计，并从理论和实验上验证了其有效性和分类性能。
2023-09-22 cs.AI cs.CV cs.LG
Unleashing the Potential of Regularization Strategies in Learning with Noisy Labels
The University of Sydney（悉尼大学）；New York University（纽约大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）；University of Science and Technology of China（中国科学技术大学）；Hong Kong Baptist University（香港浸会大学）
本文证明交叉熵损失结合学习率衰减、权重平均和数据增强等常规正则化策略，可超越复杂的噪声标签学习算法，呼吁重新评估该领域的基准与专用算法的作用。
2023-07-11 cs.AI cs.CV cs.LG
NCSAM Noise-Compensated Sharpness-Aware Minimization for Noisy Label Learning
Beijing University of Technology（北京理工大学）
提出NCSAM方法，通过噪声补偿扰动修正噪声标签引起的优化偏差，缓解对噪声标签的记忆，在合成和真实噪声标签基准上优于SAM基线。
2026-05-28 cs.AI cs.CV cs.LG
Towards Federated Learning against Noisy Labels via Local Self-Regularization
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
联邦学习（FL）旨在以隐私保护的方式从具有标记数据的大规模分散设备中学习联合知识。然而，由于高质量的标记数据需要昂贵的人工智能和努力，具有不正确标签的数据（称为噪声标签）在现实中无处不在，这不可避免地导致性能下降。虽然有很多方法被提出来直接处理噪声标签，这些方法要么需要过多的计算开销或违反隐私保护原则的FL。为此，我们专注于这个问题，在FL的目的是减轻性能下降所产生的噪声标签，同时保证数据的隐私。具体来说，我们提出了一种局部自正则化方法，它通过隐式地阻止模型记住噪声标签并使用自蒸馏显式地缩小原始和增强实例之间的模型输出差异来有效地正则化局部训练过程。实验结果表明，我们提出的方法可以实现显着的阻力对噪声标签在不同的噪声水平在三个基准数据集。此外，我们将我们的方法与现有的最先进的技术相结合，并在现实世界的数据集Clothing1M上实现了卓越的性能。该代码可在https://github.com/Sprinter1999/FedLSR上获得。
2022-08-25 cs.AI cs.DC cs.LG
Mitigating Memorization in Sample Selection for Learning with Noisy Labels
Pohang University of Science and Technology（浦项科技大学）；Seoul National University of Science and Technology (SeoulTech)（首尔国立科技大学（首尔科技大学））
由于深度学习容易受到噪声标签的影响，因此仅使用干净标记数据训练网络的样本选择技术引起了极大的关注。然而，如果标签被少数类别占主导地位，这些噪声样本被称为显性噪声标记样本，网络也通过内容感知优化快速学习显性噪声标记样本。在这项研究中，我们提出了一个令人信服的标准，惩罚显性噪声标记的样本集中通过类明智的惩罚标签。通过对每个观察到的标签的预测置信度进行平均，我们获得了合适的惩罚标签，如果标签在很大程度上被某些类别损坏，则这些标签具有较高的值。使用基准测试（CIFAR-10，CIFAR-100，Tiny-ImageNet）和真实世界的数据集（ANIMAL-10 N，Clothing 1 M）进行实验，以评估在不同噪声率的各种场景下提出的标准。使用所提出的样本选择，网络的学习过程变得显着鲁棒的噪声标签相比，现有的方法在几种噪声类型。
2021-07-08 cs.LG
Context-based Virtual Adversarial Training for Text Classification with Noisy Labels
ShinhanCard（新韩卡公司）；Deargen Inc.（Deargen公司）；GC Company（GC公司）
深度神经网络（DNN）具有很高的能力，可以在足够的训练时间内完全记忆噪声标签，不幸的是，它的记忆会导致性能下降。最近，虚拟对抗训练（VAT）引起了人们的关注，因为它可以进一步提高DNN在半监督学习中的泛化能力。VAT背后的驱动力是通过强制输入和扰动输入之间的一致性来防止模型过度拟合数据点。这种策略可以帮助从噪声标签中学习，如果它阻止神经模型学习噪声样本，同时鼓励模型泛化干净样本。在本文中，我们提出了基于上下文的虚拟对抗训练（ConVAT），以防止文本分类器过度拟合噪声标签。与以前的工作不同，所提出的方法在上下文级别而不是输入级别执行对抗训练。它使分类器不仅学习它的标签，而且学习它的上下文邻居，这通过保留每个数据点上的上下文语义来简化对噪声标签的学习。我们进行了广泛的实验，四个文本分类数据集与两种类型的标签噪声。综合实验结果清楚地表明，所提出的方法工作得很好，即使在非常嘈杂的设置。
2022-05-29 cs.AI cs.CL cs.LG
Rethinking Noisy Label Models: Labeler-Dependent Noise with Adversarial Awareness
Rowan University（罗文大学）
大多数关于从噪声标签中学习的研究都依赖于不切实际的i.i.d.模型。标签噪声，例如类条件转移矩阵。最近关于实例相关噪声模型的工作更现实，但假设整个数据集上的标签噪声的单个生成过程。我们提出了一个更有原则的标签噪声模型，该模型将实例相关噪声推广到多个标签，基于现代数据集通常使用分布式众包方法进行注释的观察。在我们的标签依赖模型下，标签噪声表现在两种模式下：善意标签的自然错误和恶意行为者提供的对抗性标签。我们提出了两个对抗攻击向量，更准确地反映了在现实世界中可能遇到的标签噪声，并证明了在我们的多模态噪声标签模型下，对抗性标签攻击击败了从噪声标签中学习的最先进的方法。最后，我们提出了一个多阶段的，标签感知的，模型不可知的框架，可靠地过滤噪声标签，利用知识，哪些数据分区被标记的标签，并表明我们提出的框架仍然是强大的，即使在极端的对抗性标签噪声的存在。
2021-06-05 cs.AI cs.HC cs.LG
Selective-Supervised Contrastive Learning with Noisy Labels
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；The University of Sydney（悉尼大学）
深度网络具有很强的将数据嵌入到潜在表示中并完成后续任务的能力。然而，这些能力主要来自高质量的标注标签，这些标签的收集成本很高。噪声标签更便宜，但会导致损坏的表示，导致泛化性能差。为了学习鲁棒表示和处理噪声标签，本文提出了选择监督对比学习（Sel-CL）。具体来说，Sel-CL扩展了监督对比学习（Sup-CL），它在表示学习中很强大，但在有噪声标签时会降级。Sel-CL解决了Sup-CL问题的直接原因。也就是说，由于Sup-CL以\textit{pair-wise}方式工作，因此由噪声标签构建的噪声对会误导表示学习。为了缓解这个问题，我们选择置信对噪声的Sup-CL不知道噪声率。在选择过程中，通过测量学习的表示和给定的标签之间的一致性，我们首先确定用于构建置信对的置信示例。然后，利用所建立的置信对中的表示相似性分布来从噪声对中识别出更多的置信对。所有获得的置信对最终用于Sup-CL以增强表示。在多个噪声数据集上的实验证明了我们的方法学习的表示的鲁棒性，遵循最先进的性能。源代码可在https://github.com/ShikunLi/Sel-CL上获得
2022-03-08 cs.AI cs.CV cs.LG
Clusterability as an Alternative to Anchor Points When Learning with Noisy Labels
University of California, Santa Cruz（加州大学圣克鲁兹分校）；Beijing University of Posts and Telecommunications（北京邮电大学）
标签噪声转移矩阵表征了训练实例被错误注释的概率，对于设计带噪声标签学习的流行解决方案至关重要。现有的作品严重依赖于找到“锚点”或其近似值，定义为几乎肯定属于特定类的实例。尽管如此，找到锚点仍然是一项重要的任务，并且估计精度也经常受到可用锚点数量的限制。在本文中，我们提出了一个替代方案，上述任务。我们的主要贡献是发现一个有效的估计过程的基础上的聚类条件。我们证明，与聚类表示的功能，使用三阶共识的噪音标签之间的邻居表示是足够的，以估计一个独特的过渡矩阵。与使用锚点的方法相比，我们的方法使用了更多的实例，并受益于更好的样本复杂性。我们使用合成噪声标签（在CIFAR-10/100上）和真实人类水平的噪声标签（在Clothing 1 M和我们自己收集的人类注释的CIFAR-10上）来证明我们的估计的准确性和优势。我们的代码和人类级别的嘈杂CIFAR-10标签可在https://github.com/UCSC-REAL/HOC上获得。
2021-07-13 cs.AI cs.LG stat.ML
A Novel Perspective for Positive-Unlabeled Learning via Noisy Labels
University of Tokyo（东京大学）；NTT Communication Science Laboratories（NTT通信科学实验室）
正-未标记学习是指仅使用正和未标记数据来训练二元分类器的过程。虽然未标记数据中可以包含正数据，但现有的正-未标记学习方法将所有未标记数据都视为负数据，导致性能下降。我们对这个问题提供了一个新的视角-将未标记的数据视为噪声标记的数据，并将PU学习的一个新公式引入噪声标记数据的联合优化问题。该研究提出了一种方法，分配初始伪标签的未标记的数据被用作噪声标记的数据，并使用噪声标记的数据训练一个深度神经网络。实验结果表明，该方法显着优于国家的最先进的方法在几个基准数据集。
2021-03-08 cs.LG
From Linear to Spline-Based Classification:Developing and Enhancing SMPA for Noisy Non-Linear Datasets
SRM Institute of Science and Technology（SRM科技学院）；School of Computing（计算机学院）
本文在 MPA 基础上研究非线性分类边界，通过三次样条与相似学习机制开发并增强 SMPA，并在已知属性的含噪合成数据集上验证训练效果。
2025-03-13 cs.LG
SplitNet: Learnable Clean-Noisy Label Splitting for Learning with Noisy Labels
Samsung Electro-Mechanics（三星电机）；Korea University（高丽大学）
用高质量的标签标注数据集对于深度网络的性能至关重要，但在现实世界中，标签往往被噪声污染。为了解决这个问题，提出了一些方法来自动分割干净和有噪声的标签，并在有噪声标签的学习（LNL）框架中学习半监督学习器。然而，他们利用一个手工制作的模块来进行干净的噪声标签分割，这在半监督学习阶段引起了确认偏差，并限制了性能。在本文中，我们首次提出了一个用于清洁噪声标签拆分的可学习模块，称为SplitNet，以及一个新的LNL框架，该框架补充训练SplitNet和LNL任务的主网络。我们建议使用SplitNet基于分裂置信度的动态阈值来更好地优化半监督学习器。为了增强SplitNet训练，我们还提出了一种风险对冲方法。我们提出的方法在最先进的水平，特别是在高噪声比设置在各种LNL基准。
2022-12-19 cs.CV cs.LG
Evaluating Multi-label Classifiers with Noisy Labels
Cornell University（康奈尔大学）
多标签分类（MLC）是标准分类的推广，其中多个标签可以分配给给定的样本。在现实世界中，处理噪声数据集比处理干净数据集更常见，因为现代数据集是由众包平台上的一大群注释者标记的，但很少有人注意评估带有噪声标签的多标签分类器。利用标签相关性现在成为多标签分类器的标准组件，以实现具有竞争力的性能。然而，这个组件使分类器更容易泛化不良-它过度拟合标签以及标签依赖性。我们确定了三个常见的现实世界的标签噪声的情况下，并显示如何以前的方法表现不佳与嘈杂的标签。为了解决这个问题，我们提出了一个基于上下文的多标签分类器（CbMLC），有效地处理嘈杂的标签时，学习标签的依赖关系，而不需要额外的监督。我们比较CbMLC对其他特定领域的国家的最先进的模型在各种数据集上，在干净和嘈杂的设置。我们表明，在大多数情况下，GbMLC比以前的方法有了实质性的改进。
2021-02-16 cs.LG stat.ML
SELC: Self-Ensemble Label Correction Improves Learning with Noisy Labels
McMaster University（麦克马斯特大学）
深度神经网络容易过拟合噪声标签，导致泛化性能差。为了克服这个问题，我们提出了一个简单而有效的方法自集成标签校正（SELC），逐步纠正噪声标签和完善的模型。我们更深入地研究了使用噪声标签进行训练的记忆行为，并观察到网络输出在早期阶段是可靠的。为了保持这种可靠的知识，SELC使用由网络输出的指数移动平均形成的集合预测来更新原始的噪声标签。我们表明，使用SELC进行训练可以通过逐渐减少来自噪声标签的监督并增加来自集合预测的监督来改进模型。尽管它的简单性，与许多国家的最先进的方法相比，SELC获得更有前途和稳定的结果，在存在类条件，实例依赖，和现实世界的标签噪声。该代码可在https://github.com/MacLLL/SELC上获得。
2022-05-02 cs.CV cs.LG
Noisy Early Stopping for Noisy Labels
University of Edinburgh（爱丁堡大学）
针对噪声标签场景下无噪声验证集获取难、早停实施成本高的问题，提出噪声早停（NES）方法，利用同分布噪声验证集实现接近最优的早停效果，给出理论依据并验证其在标准基准上的稳健性能。
2024-09-10 cs.LG
Learning from Noisy Label Distributions
Software Technology and Artificial Intelligence Research Laboratory (STAIR Lab), Chiba Institute of Technology（千叶工业大学软件技术与人工智能研究实验室（STAIR Lab））
在本文中，我们考虑了一个新的机器学习问题，即从噪声标签分布中学习分类器。在这个问题中，每个具有特征向量的实例至少属于一个组。然后，代替每个实例的真实标签，我们观察与组相关联的实例的标签分布，其中标签分布被未知噪声扭曲。我们的目标是（1）估计每个实例的真实标签，以及（2）学习一个分类器来预测新实例的真实标签。我们提出了一个概率模型，认为真正的标签分布的群体和参数，代表作为隐藏变量的噪声。该模型可以基于变分贝叶斯方法来学习。在数值实验中，我们表明，该模型优于现有的方法在估计的真实标签的实例。
2017-08-11 cs.AI cs.LG stat.ML
Estimating Noisy Class Posterior with Part-level Labels for Noisy Label Learning
School of Physics, Xi’an Jiaotong University（西安交通大学物理学院）；School of Computer Science and Technology, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院）；School of Distance Education, Xi’an Jiaotong University（西安交通大学远程教育学院）
本文针对噪声标签导致类别后验估计偏差的问题，引入部件级标签和单对多转移矩阵，构建分类器一致框架以更准确估计噪声类别后验并提升分类性能。
2024-07-02 cs.CV cs.LG
Towards the Identifiability in Noisy Label Learning: A Multinomial Mixture Modelling Approach
Centre for Vision, Speech and Signal Processing, University of Surrey, United Kingdom（视觉、语音和信号处理中心，萨里大学，英国）；Department of Data Science and AI, Monash University, Australia（数据科学与人工智能系，莫纳什大学，澳大利亚）
本文提出一种数据驱动方法，通过为每个实例生成多个独立同分布噪声标签并利用多项式混合建模，使噪声标签学习问题可辨识，从而无需启发式方法即可准确估计干净标签，并在多种基准上表现优异。
2025-09-24 cs.LG
To Aggregate or Not? Learning with Separate Noisy Labels
UC Santa Cruz（加州大学圣克鲁兹分校）；Google Brain（谷歌大脑）
原始收集的训练数据通常带有从多个不完美注释器收集的单独的噪声标签（例如，通过众包）。使用这些单独标签的典型方法是首先将它们聚合为一个并应用标准训练方法。文献还广泛研究了有效的汇总方法。本文重新审视这一选择，并旨在提供一个答案的问题，是否应该聚合单独的嘈杂的标签成单一的或单独使用它们给定的。我们从理论上分析了一些流行的损失函数的经验风险最小化框架下，这两种方法的性能，包括专门设计的问题与噪声标签的学习。我们的定理得出结论，标签分离是首选标签聚合时，噪声率高，或标签/注释的数量不足。大量的实证结果验证了我们的结论。
2022-10-20 cs.LG
Towards Robust Graph Neural Networks for Noisy Graphs with Sparse Labels
The Pennsylvania State University（宾夕法尼亚州立大学）；Michigan State University（密歇根州立大学）
图神经网络（GNNs）在图结构数据建模方面显示出了强大的能力。然而，现实世界的图通常包含结构噪声，并具有有限的标记节点。在这种图上训练时，GNN的性能会显著下降，这阻碍了GNN在许多应用中的采用。因此，重要的是开发具有有限标记节点的抗噪声GNN。然而，这方面的工作相当有限。因此，我们研究了在具有有限标记节点的噪声图上开发鲁棒GNNs的新问题。我们的分析表明，噪声边缘和有限的标记节点都可能损害GNN的消息传递机制。为了缓解这些问题，我们提出了一种新的框架，该框架采用噪声边缘作为监督来学习去噪和密集图，该框架可以降低权重或消除噪声边缘，并促进GNN的消息传递，以缓解有限标记节点的问题。生成的边进一步用于正则化具有标签平滑度的未标记节点的预测，以更好地训练GNN。在真实数据集上的实验结果表明，该框架对有限标记节点的噪声图具有鲁棒性。
2022-01-01 cs.LG
Learning from Multiple Annotator Noisy Labels via Sample-wise Label Fusion
Massachusetts Institute of Technology（麻省理工学院）；South China University of Technology（华南理工大学）；Takeda Pharmaceuticals Co., Ltd.（武田药品工业株式会社）
数据是现代深度学习的核心。监督学习令人印象深刻的性能是建立在大量准确标记数据的基础上的。然而，在某些实际应用中，准确的标签可能不可行;相反，多个注释器为每个数据样本提供多个噪声标签（而不是一个准确的标签）。在这样一个嘈杂的训练数据集上学习分类器是一项具有挑战性的任务。以前的方法通常假设所有数据样本共享与注释者错误相关的相同参数集，而我们证明了标签错误学习应该是注释者和数据样本相关的。基于这一观察，我们提出了一种新的学习算法。与MNIST，CIFAR-100和ImageNet-100上的几种最先进的基线方法相比，所提出的方法显示出优越性。我们的代码可在https://github.com/zhengqigao/Learning-from-Multiple-Annotator-Noisy-Labels上获得。
2022-07-22 cs.LG
Learning from Noisy Crowd Labels with Logics
Beihang University（北京航空航天大学）；Beijing Advanced Innovation Center for Big Data and Brain Computing（北京大数据与脑计算高精尖创新中心）；China’s Aviation System Engineering Research Institute（中国航空系统工程研究所）
本文探讨了将符号逻辑知识集成到深度神经网络中，以从嘈杂的人群标签中学习。我们介绍了逻辑引导学习从嘈杂的人群标签（逻辑LNCL），EM类似的迭代逻辑知识蒸馏框架，学习从嘈杂的标记数据和逻辑规则的兴趣。与传统的EM方法不同，我们的框架包含一个“伪E步”，它从逻辑规则中提取一种新型的学习目标，然后在“伪M步”中用于训练分类器。对文本情感分类和命名实体识别的两个真实数据集的广泛评估表明，所提出的框架改进了现有技术，并为从嘈杂的人群标签中学习提供了一种新的解决方案。
2023-03-19 cs.AI cs.CL cs.HC
To Smooth or Not? When Label Smoothing Meets Noisy Labels
University of California, Santa Cruz（加州大学圣克鲁兹分校）；Brown University（布朗大学）；The University of Sydney（悉尼大学）；RIKEN AIP（理化学研究所人工智能研究中心）；University of Tokyo（东京大学）
标签平滑（LS）是一种新兴的学习范式，它使用硬训练标签和均匀分布的软标签的正加权平均值。结果表明，LS作为一个正规化的训练数据与硬标签，因此提高了模型的推广。后来有报道称，LS甚至有助于提高使用噪声标签学习时的鲁棒性。然而，我们观察到，当我们在高标签噪声状态下操作时，LS的优势消失。直观地说，这是由于当噪声率高时$\mathbb{P}(\text{noisy label}|X)$的熵增加，在这种情况下，进一步应用LS倾向于“过度平滑”估计的后验。我们继续发现，文献中的几种带噪声标签的学习解决方案与负/非标签平滑（NLS）更密切相关，NLS与LS相反，并定义为使用负权重来组合硬标签和软标签！我们提供的LS和NLS的属性的理解时，学习与噪声标签。在其他既定的属性，我们理论上表明NLS被认为是更有益的标签噪声率高时。我们也提供了多个基准的广泛实验结果来支持我们的发现。代码可在https://github.com/UCSC-REAL/negative-label-smoothing上公开获取。
2022-06-24 cs.LG
FINE Samples for Learning with Noisy Labels
KAIST（韩国科学技术院）
现代深度神经网络（DNN）在数据集包含噪声（不正确）类标签时变得脆弱。存在噪声标签的鲁棒技术可以分为两类：开发噪声鲁棒函数或通过检测噪声数据使用噪声净化方法。近年来，噪声净化方法被认为是最有竞争力的噪声标签学习算法。尽管他们取得了成功，但他们的噪声标签检测器通常基于统计学而不是理论，需要一个强大的分类器来预测具有损失值的噪声数据。在本文中，我们提出了一种新的检测器过滤标签噪声。与大多数现有的方法不同，我们专注于每个数据的潜在表示动态和测量潜在分布和每个表示之间的对齐使用的数据gram矩阵的特征分解。我们的框架，通过其特征向量（FINE）过滤噪声的情况下，提供了一个强大的检测器，无导数的简单方法，具有理论保证。在我们的框架下，我们提出了三个应用程序的FINE：样本选择方法，半监督学习方法，并与噪声鲁棒损失函数的合作。实验结果表明，所提出的方法始终优于相应的基线的所有三个应用程序在各种基准数据集。
2021-10-27 cs.LG
BoMD: Bag of Multi-label Descriptors for Noisy Chest X-ray Classification
Australian Institute for Machine Learning, University of Adelaide（阿德莱德大学澳大利亚机器学习研究所）；Harvard Medical School, Harvard University（哈佛医学院）；Centre for Vision, Speech and Signal Processing, University of Surrey（萨里大学视觉、语音与信号处理中心）
本文提出BoMD方法，通过优化多标签描述符包并与BERT语义描述符对齐，检测并平滑重标注噪声样本，从而提升噪声多标签胸部X光片分类的准确率与鲁棒性。
2023-08-09 cs.AI cs.CV cs.LG
Extended T: Learning with Mixed Closed-set and Open-set Noisy Labels
University of Sydney（悉尼大学）；Hong Kong Baptist University（香港浸会大学）；Xidian University（西安电子科技大学）；Imperial College London（帝国理工学院）；Meituan（美团）
标签噪声转移矩阵$T$反映了真实标签转变为噪声标签的概率，对于标签噪声建模和统计一致性分类器的设计具有重要意义。传统的转移矩阵仅限于对闭集标签噪声进行建模，其中有噪声的训练数据在有噪声的标签集中具有真实的类别标签。它是不适合采用这样的转移矩阵模型开集标签噪声，其中一些真正的类标签是在嘈杂的标签集。因此，当考虑更现实的情况时，即，出现闭集和开集标签噪声，现有方法将不期望地给出有偏差的解决方案。此外，传统的转移矩阵仅限于模型实例无关的标签噪声，这可能在实践中表现不佳。本文主要研究闭集和开集混合标签噪声下的学习问题。我们通过扩展传统的转移矩阵来解决上述问题，使其能够对混合标签噪声进行建模，并进一步扩展到依赖于集群的转移矩阵，以更好地近似现实世界应用中的依赖于实例的标签噪声。我们提出的过渡矩阵集群相关的扩展转移矩阵。无偏估计器（即，扩展的$T$ -估计器）已经被设计成仅通过利用噪声数据来估计依赖于簇的扩展转移矩阵。综合的合成和真实实验验证了该方法可以更好地建模混合标签噪声，具有比现有的最先进的标签噪声学习方法更强大的性能。
2020-12-02 cs.LG
A Simple yet Effective Baseline for Robust Deep Learning with Noisy Labels
Tsinghua University（清华大学）；Google Cloud AI（谷歌云人工智能）
最近，深度神经网络已经显示出它们记忆训练数据的能力，即使带有噪声标签，这会损害泛化性能。为了缓解这个问题，我们提供了一个简单但有效的基线方法，即使在严重的噪声下，该方法对噪声标签也具有鲁棒性。我们的目标涉及一个方差正则化项，该项隐含地惩罚整个训练集（包括带有噪音标签的数据）上的神经网络的雅可比范数，这鼓励泛化并防止对损坏的标签的过拟合。在合成生成的错误标签和现实的大规模噪声数据集上的实验表明，我们的方法实现了最先进的性能，对严重噪声具有很高的容忍度。
2019-09-27 cs.LG stat.ML
GMM Discriminant Analysis with Noisy Label for Each Class
College of Information Science and Engineering（信息科学与工程学院）；Department of Automation（自动化系）
现实世界的数据集通常包含噪声标签，使用标准分类方法从这些数据集学习可能不会产生所需的性能。在本文中，我们提出了一个高斯混合判别分析（GMDA）与噪声标签的每一类。我们引入翻转概率和类别概率，并使用EM算法来解决标签噪声的鉴别问题。我们还提供了详细的收敛性证明。在合成数据集和真实数据集上的实验结果表明，该方法的性能明显优于其他四种最先进的方法。
2022-01-25 cs.LG
On the Robustness of Monte Carlo Dropout Trained with Noisy Labels
Facebook（脸书）
深度学习的记忆效应阻碍了其在带噪声标签的学习中有效地推广测试集的性能。先前的研究已经发现，与没有不确定性估计的神经网络相比，认知不确定性技术在用噪声标签训练时是鲁棒的。它们在对抗性噪声标签环境下获得了较长的记忆效果和较好的泛化性能。由于其在噪声标签下的其他选定的认知不确定性方法中的优越性能，我们专注于Monte Carlo Dropout（MCDropout），并研究为什么它在使用噪声标签进行训练时具有鲁棒性。通过对MNIST、CIFAR-10、Animal-10 n数据集的实证研究，本文深入研究了噪声标签设置下MCDropout的三个方面：1.功效：了解MCDropout在训练集包含人工生成或自然嵌入的标签噪声时的学习行为和测试精度; 2.表征波动性：通过检查每个神经元激活的平均值和标准差来研究神经元的响应性; 3.网络稀疏性：与确定性神经网络相比，研究MCDropout的网络支持。我们的研究结果表明，MCDropout进一步稀疏化和正则化的确定性神经网络，从而提供了更高的鲁棒性对噪声标签。
2021-03-22 cs.CV cs.LG
NLNL: Negative Learning for Noisy Labels
KAIST（韩国科学技术院）
卷积神经网络（CNN）在用于图像分类时提供优异的性能。训练CNN的经典方法是以监督的方式标记图像，如“输入图像属于此标签”（正学习; PL），如果标签被正确分配给所有图像，这是一种快速准确的方法。然而，如果存在不准确的标签或噪声标签，则使用PL进行训练将提供错误的信息，从而严重降低性能。为了解决这个问题，我们从一种称为负学习（NL）的间接学习方法开始，其中CNN使用互补标签进行训练，如“输入图像不属于这个互补标签”。由于选择真实标签作为补充标签的机会很低，NL降低了提供错误信息的风险。此外，为了提高收敛性，我们扩展了我们的方法，有选择地采用PL，称为选择性消极学习和积极学习（SelNLPL）。PL被选择性地用于训练预期是干净的数据，其选择成为可能，因为NL的进展，从而导致过滤出噪声数据的优异性能。通过简单的半监督训练技术，我们的方法在噪声数据分类方面达到了最先进的精度，证明了SelNLPL的噪声数据过滤能力的优越性。
2019-08-19 cs.LG
Robustness of Accuracy Metric and its Inspirations in Learning with Noisy Labels
The Chinese University of Hong Kong（香港中文大学）；VIVO AI Lab（vivo人工智能实验室）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
对于类条件标签噪声下的多类分类，我们证明了准确性度量本身可以是鲁棒的。我们将这一发现的灵感具体化在两个重要方面：训练和验证，我们用这些来解决带噪声标签学习中的关键问题。对于训练，我们表明，在足够多的噪声样本上最大限度地提高训练精度会产生近似最优的分类器。对于验证，我们证明了噪声验证集是可靠的，解决了超参数调整和早期停止等场景中模型选择的关键需求。在此之前，使用噪声验证样本的模型选择在理论上并不合理。我们验证了我们的理论结果和额外的索赔与广泛的实验。我们展示了用噪声标签训练的模型的特征，这是由我们的理论结果激发的，并通过展示一个名为噪声最佳教师和学生（NTS）的框架的令人印象深刻的性能来验证噪声验证集的实用性。我们的代码被释放了。
2020-12-08 cs.LG
Design-Based Supervised Learning with Noisy Human Labels
RTI International（RTI国际）；U.S. Bureau of Labor Statistics（美国劳动统计局）
研究针对自动分类器标记非结构化数据时人类审核标签有噪声的问题，提出PA-DSL方法，利用裁决案例纠正标签并校正分析偏差，在合成和维基百科解毒半合成实验中取得降低均方根误差10%-17%的效果。
2026-07-20 cs.AI cs.LG stat.AP
Noisy Machines: Understanding Noisy Neural Networks and Enhancing Robustness to Analog Hardware Errors Using Distillation
Arm Research（Arm研究院）；Arizona State University（亚利桑那州立大学）
深度学习的成功引发了人们对计算机硬件设计的兴趣，以更好地满足神经网络推理的高要求。特别地，基于电子、光学或光子器件，模拟计算硬件已经被特别地用于加速神经网络，这可以很好地实现比传统数字电子器件更低的功耗。然而，这些提出的模拟加速器受到其物理组件产生的固有噪声的影响，这使得在深度神经网络上实现高精度具有挑战性。因此，为了在模拟加速器上成功部署，必须能够训练深度神经网络，使其对网络权重中的随机连续噪声具有鲁棒性，这在机器学习中是一个新的挑战。在本文中，我们提出了噪声神经网络的理解。我们概述了一个嘈杂的神经网络如何降低学习能力的结果，其输入和输出之间的互信息的损失。为了解决这个问题，我们建议在训练过程中使用知识蒸馏结合噪声注入来实现更具噪声鲁棒性的网络，这在不同的网络和数据集（包括ImageNet）上进行了实验验证。与之前的最佳尝试相比，我们的方法实现的模型具有高达两倍的噪声容限，这是使模拟硬件适用于深度学习的重要一步。
2020-01-14 cs.AI cs.AR cs.LG
FedNoiL: A Simple Two-Level Sampling Method for Federated Learning with Noisy Labels
Australian Artificial Intelligence Institute, University of Technology Sydney（悉尼科技大学澳大利亚人工智能研究所）；University of Washington, Seattle（西雅图华盛顿大学）；University of Maryland, College Park（马里兰大学帕克分校）；Hong Kong Baptist University（香港浸会大学）
联邦学习（FL）的目标是在服务器端训练全局模型，而训练数据在本地设备上收集和定位。因此，在实践中，标签通常由不同专业知识或标准的客户端注释，因此包含不同数量的噪声。噪声标签上的局部训练很容易导致对噪声标签的过拟合，这对聚合的全局模型是毁灭性的。虽然最近的强大FL方法考虑到恶意客户端，但它们没有解决每个设备上的本地噪声标签以及对全局模型的影响。在本文中，我们开发了一个简单的两级抽样方法“FedNoiL”，该方法（1）选择客户端，以便在服务器上进行更强大的全局聚合;（2）在客户端选择干净的标签和正确的伪标签，以便进行更强大的本地训练。采样概率建立在全局模型的干净标签检测上。此外，我们研究了不同的时间表，改变本地历元之间的聚合过程中的FL，显着提高了通信和计算效率，在嘈杂的标签设置。在同质/异质数据分布和噪声比的实验中，我们观察到SOTA FL方法与SOTA噪声标签学习方法的直接组合很容易失败，但我们的方法始终实现更好和更鲁棒的性能。
2022-05-20 cs.LG
ExpertNet: Adversarial Learning and Recovery Against Noisy Labels
TU Delft（代尔夫特理工大学）；ABB Future Labs（ABB未来实验室）；Beijing Institute of Technology（北京理工大学）
目前可用的野外数据集，例如，来自社交媒体和开放平台的图像，为深度学习带来了巨大的机遇和挑战，因为有很大一部分标记的图像，但通常带有噪声，即错误的标签。最近的研究提高了深度模型对噪声标签的鲁棒性，而无需了解真实标签。在本文中，我们主张导出一个更强大的分类器，它除了原始图像外还主动利用噪声标签-将噪声标签转化为学习特征。为此，我们提出了一个新的框架，ExpertNet，由业余和专家，迭代地相互学习。Amateur是一个通过Expert的反馈训练的常规图像分类器，它模仿人类专家如何使用从噪声和地面真实标签的知识中学习的噪声模式来校正来自Amateur的预测标签。训练有素的业余爱好者和专家主动利用图像及其噪声标签来推断图像类别。我们对噪声版本的CIFAR-10、CIFAR-100和Clothing 1 M的真实数据进行的经验评估表明，与只专注于提取噪声标签影响的最先进的深度模型相比，所提出的模型可以在宽范围的噪声比下实现鲁棒的分类，并且只需20-50%的训练数据。
2020-07-13 cs.LG stat.ML
Multi-Class Classification from Noisy-Similarity-Labeled Data
University of Sydney（悉尼大学）；Xidian University（西安电子科技大学）；RIKEN（理化学研究所）；Hong Kong Baptist University（香港浸会大学）；The University of Melbourne（墨尔本大学）；Brain-Inspired Technology Co., Ltd.（脑启发科技有限公司）
相似性标签指示两个实例是否属于同一个类，而类标签显示实例的类。在没有类标签的情况下，可以通过Meta分类学习从相似性标记的成对数据中学习多类分类器。然而，由于相似性标签比类别标签信息量少，因此它更有可能是嘈杂的。深度神经网络可以很容易地记住有噪声的数据，从而导致分类中的过拟合。在本文中，我们提出了一种方法来学习只有噪声相似性标记的数据。具体来说，为了对噪声进行建模，我们采用噪声转移矩阵来桥接干净数据和噪声数据之间的类后验概率。我们进一步估计的转移矩阵，从只有噪声的数据，并建立一个新的学习系统来学习分类器，可以分配无噪声的类标签的实例。此外，我们从理论上证明了我们提出的方法如何推广学习分类器。实验结果表明，该方法优于国家的最先进的方法对基准模拟和现实世界的噪声标签数据集。
2020-02-16 cs.LG stat.ML
LaplaceConfidence: a Graph-based Approach for Learning with Noisy Labels
Nanjing University（南京大学）；University of Groningen（格罗宁根大学）
提出基于图的LaplaceConfidence方法，利用拉普拉斯能量构建低能图以评估标签置信度，结合协同训练与标签修复技术实现鲁棒训练，在合成与真实噪声数据集上优于现有方法。
2023-07-31 cs.LG
Noisy multi-label semi-supervised dimensionality reduction
UiT The Arctic University of Norway（挪威北极大学）；Universidad Rey Juan Carlos（胡安·卡洛斯国王大学）
噪声标记数据代表了丰富的信息源，这些信息通常很容易获得，而且获取成本很低，但如果不考虑标签噪声，也可能产生许多负面后果。如何充分利用噪声标签已经在标准监督机器学习的框架内被广泛研究了几十年。然而，很少有研究已经进行了解决在非标准的设置嘈杂的标签所带来的挑战。这包括只有一小部分样本被标记（半监督）并且每个高维样本与多个标签相关联的情况。在这项工作中，我们提出了一种新的半监督和多标签的降维方法，有效地利用信息，从嘈杂的多标签和未标记的数据。提出的噪声多标签半监督降维（NMLSDR）方法，通过专门设计的标签传播算法对噪声多标签进行去噪，同时对未标记数据进行标记。然后，NMLSDR学习投影矩阵，通过最大化放大和去噪的多标签空间与投影空间中的特征之间的依赖性来降低维度。在合成数据、基准数据集以及真实案例研究上的大量实验证明了该算法的有效性，并表明其性能优于最先进的多标签特征提取算法。
2019-02-20 cs.LG stat.ML
Incomplete Multi-View Weak-Label Learning with Noisy Features and Imbalanced Labels
ShanghaiTech University（上海科技大学）；Hokkaido University（北海道大学）
针对不完整多视图弱标签学习中噪声特征与不平衡标签问题，提出联合嵌入与自适应加权HSIC降冗余、检测噪声视图，并用焦点损失缓解不平衡，实验验证有效。
2023-08-29 cs.LG
Fine tuning Pre trained Models for Robustness Under Noisy Labels
KAIST AI（韩国科学技术院人工智能学院）；Michigan State University（密歇根州立大学）
本文针对带噪声标签数据集的预训练模型微调问题，提出TURN算法，通过先独立调整线性分类器保护特征提取器，再基于降噪数据集微调整个模型，实现鲁棒且高效的去噪性能。
2023-10-24 cs.LG
