Symmetric Cross Entropy for Robust Learning with Noisy Labels
JD AI(京东人工智能);The University of Melbourne(墨尔本大学);Cainiao AI(菜鸟人工智能);Shanghai Jiao Tong University(上海交通大学)
在存在噪声标签的情况下训练准确的深度神经网络(DNN)是一项重要且具有挑战性的任务。虽然已经提出了许多方法来学习嘈杂的标签,许多开放的问题仍然存在。在本文中,我们证明了使用交叉熵(CE)的DNN学习在某些类(“简单”类)上表现出对噪声标签的过度拟合,但更令人惊讶的是,它在其他一些类(“困难”类)上也存在显著的学习不足。直觉上,CE需要一个额外的术语来促进硬类的学习,更重要的是,这个术语应该是噪声容忍的,以避免过度拟合到噪声标签。受对称KL发散的启发,我们提出了\textbf{Symmetric cross entropy Learning}(SL)的方法,用噪声鲁棒的反向交叉熵(RCE)对称地提升CE。我们提出的SL方法同时解决了在存在噪声标签的情况下CE的学习不足和过拟合问题。我们提供了SL的理论分析,并在一系列基准和真实世界的数据集上实证显示,SL优于最先进的方法。我们还表明,SL可以很容易地纳入现有的方法,以进一步提高其性能。
2019-08-16 cs.CV cs.LG stat.ML
Instance Correction for Learning with Open-set Noisy Labels
The University of Sydney(悉尼大学);Hong Kong Baptist University(香港浸会大学);The University of Melbourne(墨尔本大学);University of Science and Technology of China(中国科学技术大学);RIKEN(理化学研究所);The University of Tokyo(东京大学)
开集噪声标签问题是指部分训练数据具有不包含真实类的不同标签空间。有很多方法,例如,丢失校正和标签校正不能很好地处理这种开集噪声标签,因为它们需要训练数据和测试数据来共享相同的标签空间,这不适用于利用开集噪声标签的学习。因此,最先进的方法采用样本选择方法来处理开集噪声标签,其试图从噪声数据中选择干净的数据用于网络参数更新。丢弃的数据被视为错误标记,并且不参与训练。这种方法乍一看是直观和合理的。然而,一个自然的问题可能会被提出来:“这样的数据只能在训练过程中被丢弃吗?”".在本文中,我们表明,答案是否定的。具体来说,我们讨论的情况下,丢弃的数据可能包括一些有意义的信息推广。为此,我们并不放弃这些数据,而是使用实例修正来修改被丢弃数据的实例,使得对被丢弃数据的预测与给定的标签一致。实例修正是通过有针对性的对抗攻击来完成的。然后利用校正后的数据进行训练,以帮助泛化。除了分析结果,一系列的经验证据提供了证明我们的主张。
2021-06-01 cs.LG
Noisy-Label Calibration with Multiple Unreliable Labels
Wakayama Medical University(和歌山医科大学);RIKEN AIP(理化学研究所先进智能研究中心);The University of Osaka(大阪大学);The University of Tokyo(东京大学)
针对医学标注和众包中多标注者噪声标签导致的校准偏差问题,提出NC-ECE估计量及两类带保证的重新校准方法,经半合成基准验证可有效改善潜在标签校准。
2026-10-15 cs.LG stat.ML
Detect and Correct: A Selective Noise Correction Method for Learning with Noisy Labels
Bar Ilan University(巴伊兰大学);Immunai Inc.(Immunai公司);Tel Aviv University(特拉维夫大学)
针对噪声标签损害深度学习性能的问题,提出一种基于损失分布识别含噪样本、用选择流程分离样本并学习噪声转移矩阵选择性校正的方法,在多个数据集上实现了准确率和鲁棒性的显著提升。
2025-05-19 cs.LG
Handling Noisy Labels via One-Step Abductive Multi-Target Learning and Its Application to Helicobacter Pylori Segmentation
West China Hospital, Sichuan University(四川大学华西医院);University of San Francisco(旧金山大学)
本文针对医学全切片图像分析中复杂噪声标签问题,提出一步溯因多目标学习(OSAMTL)约束模型预测服从先验知识,并设计逻辑评估公式(LAF)评估输出合理性,在幽门螺杆菌分割任务上取得优于现有方法的逻辑更合理的预测。
2024-01-04 cs.AI cs.CV cs.LG
From Noisy Prediction to True Label: Noisy Prediction Calibration via Generative Model
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);University of Seoul(首尔大学)
在机器学习社会中,嘈杂的标签是不可避免的,但也是有问题的。它通过使分类器过度拟合噪声标签来破坏分类器的泛化。现有的噪声标记方法主要集中在训练过程中对分类器进行修改。它有两个潜在的问题。首先,这些方法不适用于未经进一步训练的预训练分类器。其次,训练分类器并同时使来自噪声标签的所有负面影响规则化并不容易。我们提出了一个新的分支的方法,噪声预测校准(NPC)的学习与噪声标签。通过生成模型引入和估计一种新型的转移矩阵,NPC将噪声预测从预训练分类器校正为真实标签作为后处理方案。我们证明了NPC理论上与基于转移矩阵的方法一致。然而,NPC经验上提供了更准确的途径来估计真实标签,即使不参与分类器学习。此外,如果训练实例及其预测可用,则NPC适用于使用噪声标签方法训练的任何分类器。我们的方法NPC提高了所有基线模型在合成和真实数据集上的分类性能。实现的代码可在https://github.com/BaeHeeSun/NPC上获得。
2022-05-26 cs.AI cs.CV cs.LG
Robust Self-Training with Closed-loop Label Correction for Learning from Noisy Labels
本文提出一种基于解耦双层优化的自训练标签修正框架,通过分类器和神经修正函数的协同进化,在小规模干净数据基础上利用噪声后验模拟和中间特征转移真实知识,形成闭环反馈系统以防止误差放大,实验表明其在CIFAR和Clothing1M等数据集上具有更优性能。
2026-03-14 cs.AI cs.CV cs.LG
Multi-Label Noise Transition Matrix Estimation with Label Correlations: Theory and Algorithm
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);The University of Sydney(悉尼大学)
本文研究噪声多标签学习中类别相关转移矩阵的估计问题,提出一种利用标签相关性且无需锚点和精确后验拟合的新估计器,通过求解双线性分解问题实现可识别估计,并从理论和实验上验证了其有效性和分类性能。
2023-09-22 cs.AI cs.CV cs.LG
Unleashing the Potential of Regularization Strategies in Learning with Noisy Labels
The University of Sydney(悉尼大学);New York University(纽约大学);Data61, CSIRO(澳大利亚联邦科学与工业研究组织Data61);University of Science and Technology of China(中国科学技术大学);Hong Kong Baptist University(香港浸会大学)
本文证明交叉熵损失结合学习率衰减、权重平均和数据增强等常规正则化策略,可超越复杂的噪声标签学习算法,呼吁重新评估该领域的基准与专用算法的作用。
2023-07-11 cs.AI cs.CV cs.LG
NCSAM Noise-Compensated Sharpness-Aware Minimization for Noisy Label Learning
Beijing University of Technology(北京理工大学)
提出NCSAM方法,通过噪声补偿扰动修正噪声标签引起的优化偏差,缓解对噪声标签的记忆,在合成和真实噪声标签基准上优于SAM基线。
2026-05-28 cs.AI cs.CV cs.LG
Selective-Supervised Contrastive Learning with Noisy Labels
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);The University of Sydney(悉尼大学)
深度网络具有很强的将数据嵌入到潜在表示中并完成后续任务的能力。然而,这些能力主要来自高质量的标注标签,这些标签的收集成本很高。噪声标签更便宜,但会导致损坏的表示,导致泛化性能差。为了学习鲁棒表示和处理噪声标签,本文提出了选择监督对比学习(Sel-CL)。具体来说,Sel-CL扩展了监督对比学习(Sup-CL),它在表示学习中很强大,但在有噪声标签时会降级。Sel-CL解决了Sup-CL问题的直接原因。也就是说,由于Sup-CL以\textit{pair-wise}方式工作,因此由噪声标签构建的噪声对会误导表示学习。为了缓解这个问题,我们选择置信对噪声的Sup-CL不知道噪声率。在选择过程中,通过测量学习的表示和给定的标签之间的一致性,我们首先确定用于构建置信对的置信示例。然后,利用所建立的置信对中的表示相似性分布来从噪声对中识别出更多的置信对。所有获得的置信对最终用于Sup-CL以增强表示。在多个噪声数据集上的实验证明了我们的方法学习的表示的鲁棒性,遵循最先进的性能。源代码可在https://github.com/ShikunLi/Sel-CL上获得
2022-03-08 cs.AI cs.CV cs.LG
One-Step Abductive Multi-Target Learning with Diverse Noisy Label Samples
提出了一步溯因多目标学习算法(OSAMTL)来处理复杂的噪声标签。本文在定义了不同噪声标签样本(DNLS)的基础上,提出了一步带DNLS的溯因多目标学习(OSAMTL-DNLS),扩展了原有OSAMTL的方法,使其更好地处理复杂的噪声标签。
2021-12-08 cs.AI cs.LG
Handling Noisy Labels for Robustly Learning from Self-Training Data for Low-Resource Sequence Labeling
Heidelberg University(海德堡大学);Aalto University(阿尔托大学);Saarland University(萨尔兰大学)
在本文中,我们解决的问题,有效地自我训练神经网络在低资源设置。自训练经常用于自动增加训练数据的量。然而,在低资源场景中,由于使用未标记数据的自标记创建的不可靠注释,它的效率较低。我们建议将自训练与自标记数据的噪声处理相结合。在组合的干净训练集和自标记数据上直接估计噪声可能导致干净数据的损坏,因此性能更差。因此,我们提出了清洁和嘈杂的标签神经网络,通过明确地分别对清洁和嘈杂的标签进行建模,同时对清洁和嘈杂的自标记数据进行训练。在我们对组块和NER的实验中,这种方法比基线更鲁棒。作为这种显式方法的补充,噪声也可以在辅助学习任务的帮助下隐式处理。对于这种补充方法,我们的方法比其他基线方法更有益,并且一起提供了最佳的整体性能。
2019-03-28 cs.CL cs.LG
SplitNet: Learnable Clean-Noisy Label Splitting for Learning with Noisy Labels
Samsung Electro-Mechanics(三星电机);Korea University(高丽大学)
用高质量的标签标注数据集对于深度网络的性能至关重要,但在现实世界中,标签往往被噪声污染。为了解决这个问题,提出了一些方法来自动分割干净和有噪声的标签,并在有噪声标签的学习(LNL)框架中学习半监督学习器。然而,他们利用一个手工制作的模块来进行干净的噪声标签分割,这在半监督学习阶段引起了确认偏差,并限制了性能。在本文中,我们首次提出了一个用于清洁噪声标签拆分的可学习模块,称为SplitNet,以及一个新的LNL框架,该框架补充训练SplitNet和LNL任务的主网络。我们建议使用SplitNet基于分裂置信度的动态阈值来更好地优化半监督学习器。为了增强SplitNet训练,我们还提出了一种风险对冲方法。我们提出的方法在最先进的水平,特别是在高噪声比设置在各种LNL基准。
2022-12-19 cs.CV cs.LG
SELC: Self-Ensemble Label Correction Improves Learning with Noisy Labels
McMaster University(麦克马斯特大学)
深度神经网络容易过拟合噪声标签,导致泛化性能差。为了克服这个问题,我们提出了一个简单而有效的方法自集成标签校正(SELC),逐步纠正噪声标签和完善的模型。我们更深入地研究了使用噪声标签进行训练的记忆行为,并观察到网络输出在早期阶段是可靠的。为了保持这种可靠的知识,SELC使用由网络输出的指数移动平均形成的集合预测来更新原始的噪声标签。我们表明,使用SELC进行训练可以通过逐渐减少来自噪声标签的监督并增加来自集合预测的监督来改进模型。尽管它的简单性,与许多国家的最先进的方法相比,SELC获得更有前途和稳定的结果,在存在类条件,实例依赖,和现实世界的标签噪声。该代码可在https://github.com/MacLLL/SELC上获得。
2022-05-02 cs.CV cs.LG
Estimating Noisy Class Posterior with Part-level Labels for Noisy Label Learning
School of Physics, Xi’an Jiaotong University(西安交通大学物理学院);School of Computer Science and Technology, Xi’an Jiaotong University(西安交通大学计算机科学与技术学院);School of Distance Education, Xi’an Jiaotong University(西安交通大学远程教育学院)
本文针对噪声标签导致类别后验估计偏差的问题,引入部件级标签和单对多转移矩阵,构建分类器一致框架以更准确估计噪声类别后验并提升分类性能。
2024-07-02 cs.CV cs.LG
An Efficient Large-scale Semi-supervised Multi-label Classifier Capable of Handling Missing labels
Sharif University of Technology(谢里夫理工大学)
多标签分类近年来受到了广泛的关注。多标签分类器必须解决许多问题,包括:处理具有许多实例和大量标签的大规模数据集,补偿训练集中缺失的标签分配,考虑标签之间的相关性,以及利用未标记的数据来提高预测性能。为了处理具有大量标签的数据集,已经提出了基于嵌入的方法,该方法寻求在低维空间中表示标签分配。许多最先进的基于嵌入的方法使用线性降维来表示低维空间中的标签分配。然而,通过这样做,这些方法实际上忽略了尾部标签-很少分配给实例的标签。我们提出了一种基于嵌入的方法,使用随机方法非线性地嵌入标签向量,从而更准确地预测尾部标签。此外,该方法具有良好的机制,处理丢失的标签,处理大规模的数据集,以及利用未标记的数据。据我们所知,我们提出的方法是第一个同时解决所有上述挑战的多标签分类器。在真实世界数据集上的实验表明,我们的方法在预测性能和训练时间方面大大优于最先进的多标签分类器。
2016-06-18 cs.AI cs.LG stat.ML
On the Robustness of Monte Carlo Dropout Trained with Noisy Labels
Facebook(脸书)
深度学习的记忆效应阻碍了其在带噪声标签的学习中有效地推广测试集的性能。先前的研究已经发现,与没有不确定性估计的神经网络相比,认知不确定性技术在用噪声标签训练时是鲁棒的。它们在对抗性噪声标签环境下获得了较长的记忆效果和较好的泛化性能。由于其在噪声标签下的其他选定的认知不确定性方法中的优越性能,我们专注于Monte Carlo Dropout(MCDropout),并研究为什么它在使用噪声标签进行训练时具有鲁棒性。通过对MNIST、CIFAR-10、Animal-10 n数据集的实证研究,本文深入研究了噪声标签设置下MCDropout的三个方面:1.功效:了解MCDropout在训练集包含人工生成或自然嵌入的标签噪声时的学习行为和测试精度; 2.表征波动性:通过检查每个神经元激活的平均值和标准差来研究神经元的响应性; 3.网络稀疏性:与确定性神经网络相比,研究MCDropout的网络支持。我们的研究结果表明,MCDropout进一步稀疏化和正则化的确定性神经网络,从而提供了更高的鲁棒性对噪声标签。
2021-03-22 cs.CV cs.LG
That Label's Got Style: Handling Label Style Bias for Uncertain Image Segmentation
Technical University of Denmark(丹麦技术大学)
分割不确定性模型预测给定输入的合理分割的分布,它们从训练集中的注释器变化中学习。然而,在实践中,这些注释可以在它们的生成方式上系统地不同,例如通过使用不同的标记工具。这将导致数据集既包含数据可变性又包含不同的标签样式。在本文中,我们证明了在这些数据集上应用最先进的分割不确定性模型可能会导致由不同标签风格引起的模型偏差。我们提出了一个更新的建模客观条件的标签风格任意不确定性估计,并相应地修改两个国家的最先进的架构分割不确定性。我们通过大量的实验表明,该方法减少了标签风格偏差,同时提高了分割性能,增加了分割不确定性模型在野外的适用性。我们策划了两个数据集,带有不同标签样式的注释,我们将在发布时将其与我们的代码一起公开。
2023-03-28 cs.CV cs.LG
Robust Inference via Generative Classifiers for Handling Noisy Labels
KAIST(韩国科学技术院);Google Brain(谷歌大脑);University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);AItrics
大规模数据集可能包含相当大比例的噪声(不正确)类标签,并且众所周知,现代深度神经网络(DNN)很难从这种噪声训练数据集进行泛化。为了缓解这个问题,我们提出了一种新的推理方法,称为鲁棒生成分类器(RoG),适用于任何有区别的(例如,softmax)在噪声数据集上预训练的神经分类器。特别是,我们在预训练的DNN的隐藏特征空间之上引入了一个生成分类器,以获得更鲁棒的决策边界。通过使用最小协方差行列式估计器估计生成式分类器的参数,我们显着提高了分类精度,而无需重新训练深度模型,也无需改变其架构。假设特征为高斯分布,我们证明了RoG在噪声标签下比基线更好地推广。最后,我们提出了RoG的集成版本,通过研究DNN的逐层特性来提高其性能。我们广泛的实验结果证明了RoG的优越性,给出了通过多种训练技术优化的不同学习模型,以处理不同的噪声标签场景。
2019-05-13 cs.LG stat.ML
CleaR: Towards Robust and Generalized Parameter-Efficient Fine-Tuning for Noisy Label Learning
Korea University(高丽大学)
针对PEFT在噪声标签环境下的脆弱性,提出基于路由的CleaR方法,自适应激活模块以优先学习干净样本,实验证明其显著提升噪声环境下的性能。
2024-10-31 cs.AI cs.LG
BoMD: Bag of Multi-label Descriptors for Noisy Chest X-ray Classification
Australian Institute for Machine Learning, University of Adelaide(阿德莱德大学澳大利亚机器学习研究所);Harvard Medical School, Harvard University(哈佛医学院);Centre for Vision, Speech and Signal Processing, University of Surrey(萨里大学视觉、语音与信号处理中心)
本文提出BoMD方法,通过优化多标签描述符包并与BERT语义描述符对齐,检测并平滑重标注噪声样本,从而提升噪声多标签胸部X光片分类的准确率与鲁棒性。
2023-08-09 cs.AI cs.CV cs.LG
Learning to Clean: Reinforcement Learning for Noisy Label Correction
School of Computer Science, Carleton University(卡莱顿大学计算机科学学院);CIFAR AI Chair, Amii(CIFAR人工智能主席,Amii)
本文提出了一种基于强化学习的噪声标签纠正方法,通过深度特征表示策略网络实现标签纠正,实验表明其在多个数据集上优于现有技术。
2025-11-25 cs.AI cs.LG
ALIM: Adjusting Label Importance Mechanism for Noisy Partial Label Learning
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Chongqing University(重庆大学);Nanyang Technological University(南洋理工大学);Tsinghua University(清华大学)
针对噪声偏标记学习中检测错误累积影响模型优化的问题,提出插件式框架ALIM,通过权衡初始候选集与模型输出减少负面影响,在基准数据集上达到最先进性能。
2023-05-18 cs.CV cs.LG
Semi-Supervised Cascaded Clustering for Classification of Noisy Label Data
TCS Research(塔塔咨询服务研究院);Tata Consultancy Services Ltd.(塔塔咨询服务有限公司)
监督分类技术的性能往往恶化时,数据有噪声标签。即使是半监督分类方法也主要集中在处理丢失标签的问题上。大多数处理噪声标签数据的方法都依赖于深度神经网络(DNN),这需要大量的数据集来执行分类任务。这是一个严峻的挑战,特别是在加工和制造行业,其中数据有限,标签嘈杂。我们提出了一个半监督级联聚类(SSCC)算法来提取模式,并生成一个级联树的类在这样的数据集。引入一种新的超参数可配置的聚类评价矩阵(CEM)来定位和消除噪声标签,并调用级联聚类的修剪准则。该算法减少了对昂贵的人类专业知识的依赖,以评估标签的准确性。基于SSCC生成的分类器被发现是准确和一致的,即使在嘈杂的标签数据集上训练。当在多个噪声标签数据集(包括工业数据集)上进行测试时,与支持向量机(SVM)相比,它表现得更好。所提出的方法可以有效地用于在工业环境中以最少的人类专业知识获得可操作的见解。
2022-05-04 cs.AI cs.LG
Error-Bounded Correction of Noisy Labels
Stony Brook University(石溪大学);Rutgers University(罗格斯大学);Bain & Company(贝恩公司);City University of New York(纽约城市大学)
为了收集大规模注释数据,不可避免地引入标签噪声,即,不正确的类标签。为了对标签噪声具有鲁棒性,许多成功的方法依赖于噪声分类器(即,在噪声训练数据上训练的模型)来确定标签是否可信。然而,它仍然不知道为什么这种启发式在实践中运作良好。在本文中,我们提供了这些方法的第一个理论解释。我们证明了噪声分类器的预测确实可以很好地指示训练数据的标签是否干净。基于理论结果,我们提出了一种新的算法,纠正标签的基础上嘈杂的分类器预测。修正后的标签与真实的贝叶斯最优分类器具有很高的概率一致。我们将我们的标签校正算法纳入深度神经网络的训练中,并训练模型,在多个公共数据集上实现卓越的测试性能。
2020-11-19 cs.CV cs.LG
Self-semi-supervised Learning to Learn from NoisyLabeled Data
New York University(纽约大学)
当今深度神经网络的巨大成功高度依赖于大量正确标记的数据。然而,获得高质量的人类标记数据的成本相当高,导致对噪声标签鲁棒的训练模型的研究领域非常活跃。为了实现这一目标,一方面,许多论文致力于区分噪声标签和干净标签,以提高DNN的泛化能力。另一方面,越来越流行的自半监督学习方法已被证明有利于标签不完整时的任务。通过“semi”,我们将检测到的错误标记数据视为未标记数据;通过“self”,我们选择一种自监督技术进行半监督学习。在这个项目中,我们设计了一些方法来更准确地区分干净和有噪声的标签,并借用自半监督学习的智慧来训练有噪声的标签数据。
2020-11-03 cs.CV cs.LG
Making Every Label Count: Handling Semantic Imprecision by Integrating Domain Knowledge
Computer Vision Group Friedrich Schiller University Jena(耶拿弗里德里希·席勒大学计算机视觉组)
从网络上抓取或由志愿者(如Mechanical Turkers或公民科学家)提供的嘈杂数据被认为是专业标记数据的替代品。已经有研究专注于减轻标签噪音的影响。它通常被建模为不准确,其中正确的标签被来自同一集合的不正确标签替换。我们考虑标签噪声的另一个维度:不精确性。例如,非繁殖的雪鹀被标记为鸟类。这个标签是正确的,但不像任务要求的那样精确。标准的softmax分类器不能从这样一个弱标签中学习,因为它们认为所有的类都是互斥的,而非繁殖的雪鹀和鸟不是。我们提出了CHILLAX(Class Hierarchies for Imprecise Label Learning and Annotation eXtrapolation),这是一种基于层次分类的方法,可以充分利用任何精度的标签。在NABIrds和ILSVRC 2012的噪声变体上的实验表明,我们的方法比强基线高出16.4个百分点,比当前最先进的方法高出3.9个百分点。
2020-10-13 cs.CV cs.LG
Addressing Long-Tail Noisy Label Learning Problems: a Two-Stage Solution with Label Refurbishment Considering Label Rarity
College of Artificial Intelligence and Green Energy, National Yang Ming Chiao Tung University(国立阳明交通大学人工智慧与绿色能源学院);University at Albany, SUNY(纽约州立大学奥尔巴尼分校)
针对真实数据集的长尾噪声标签学习问题,提出结合软标签翻新与多专家集成学习的两阶段LR²方法,通过对比学习获无偏特征、BANC损失训练分类器初步预测,再翻新标签用于集成学习,在多个基准数据集上准确率超越现有最优方法。
2024-03-04 cs.AI cs.LG
Co-matching: Combating Noisy Labels by Augmentation Anchoring
Mcmaster University(麦克马斯特大学)
具有噪声标签的深度学习具有挑战性,因为深度神经网络具有记忆噪声标签的高容量。在本文中,我们提出了一个学习算法称为协同匹配,它平衡了两个网络之间的一致性和分歧的增强锚定。具体来说,我们让一个网络从它对弱增强图像的预测中生成锚定标签。同时,我们强制其对等网络,以同一图像的强增强版本作为输入,生成接近锚定标签的预测。然后,我们通过选择小损失实例来同时更新两个网络,以最小化两个无监督匹配损失(即,测量两个网络的一致性)和监督分类损失(即测量分类性能)。此外,无监督匹配损失使得我们的方法不严重依赖于噪声标签,这防止了噪声标签的记忆。在三个基准数据集上的实验表明,协同匹配达到了与最先进的方法相当的结果。
2021-03-23 cs.CV cs.LG
Model-agnostic Approaches to Handling Noisy Labels When Training Sound Event Classifiers
Music Technology Group, Universitat Pompeu Fabra(庞培法布拉大学音乐技术集团)
标签噪声是声音事件分类中的一个紧迫问题。当我们转向难以手动注释的较大数据集时,这种情况就会出现,但如果数据集是从在线存储库自动收集的,则情况会更加严重,其中标签是通过应用于音频内容或元数据的自动分类来推断的。虽然从噪声标签中学习一直是计算机视觉中的一个活跃的研究领域,但它在声音事件分类中很少受到关注。大多数针对标签噪声的最新计算机视觉方法相对复杂,需要复杂的网络或额外的数据资源。在这项工作中,我们评估简单而有效的模型无关的方法来处理噪声标签时,训练声音事件分类器,即标签平滑正则化,混淆和噪声鲁棒损失函数。这些方法的主要优点是,它们可以很容易地集成到现有的深度学习管道中,而不需要修改网络或额外的资源。我们报告了使用FSDnoisy18k数据集进行的实验结果。我们表明,这些简单的方法可以有效地减轻标签噪声的影响,当结合到两个不同的CNN时,可以提供高达2.5%的准确性提升,同时需要最小的干预和计算开销。
2019-10-26 cs.LG cs.SD eess.AS
Joint Optimization Framework for Learning with Noisy Labels
The University of Tokyo(东京大学)
在大规模数据集上训练的深度神经网络(DNN)在图像分类中表现出了显著的性能。许多大规模的数据集是从网站上收集的,但是它们往往包含不准确的标签,称为噪声标签。在这种嘈杂的标签数据集上训练会导致性能下降,因为DNN很容易过拟合到嘈杂的标签。为了克服这个问题,我们提出了一个学习DNN参数和估计真实标签的联合优化框架。我们的框架可以在训练过程中通过交替更新网络参数和标签来纠正标签。我们在有噪声的CIFAR-10数据集和Clothing 1 M数据集上进行了实验。结果表明,我们的方法显着优于其他国家的最先进的方法。
2018-03-30 cs.CV cs.LG stat.ML
Instance-Dependent Noisy Label Learning via Graphical Modelling
Australian Institute for Machine Learning(澳大利亚机器学习研究所);University of Adelaide(阿德莱德大学);Monash University(莫纳什大学)
在深度学习的生态系统中,噪声标签是不可避免的,但也是麻烦的,因为模型很容易过拟合它们。标签噪声有许多类型,例如对称、非对称和实例相关噪声(IDN),IDN是唯一依赖于图像信息的类型。这种对图像信息的依赖使得IDN成为研究标签噪声的关键类型,因为标签错误在很大程度上是由图像中存在的视觉类的信息不足或模糊引起的。为了提供一种有效的技术来解决IDN,我们提出了一种新的图形化建模方法称为InstanceGM,它结合了判别和生成模型。InstanceGM的主要贡献是:i)使用连续伯努利分布来训练生成模型,提供显着的训练优势,以及ii)探索最先进的噪声标签判别分类器,以从依赖于实例的噪声标签样本中生成干净的标签。InstanceGM与当前的噪声标签学习方法相比具有竞争力,特别是在使用合成和真实世界数据集的IDN基准测试中,我们的方法在大多数实验中显示出比竞争对手更好的准确性。
2022-09-02 cs.CV cs.LG
Learning from Noisy Labels with Distillation
从噪声标签中学习的能力在许多视觉识别任务中非常有用,因为大量带有噪声标签的数据相对容易获得。传统上,标签噪声被视为统计离群值,并提出了重要性重新加权和自举等方法来缓解这个问题。根据我们的观察,真实世界中的噪声标签表现出多模式特性作为真正的标签,而不是表现得像独立的随机离群值。在这项工作中,我们提出了一个统一的蒸馏框架,使用边信息,包括一个小的干净的数据集和标签关系的知识图谱,“对冲风险”的学习噪声标签。此外,与基于模拟标签噪声评估的传统方法不同,我们在体育,物种和人工制品领域提出了一套新的基准数据集,以评估在实际环境中从噪声标签中学习的任务。实证研究表明,我们提出的方法在所有领域的有效性。
2017-04-07 cs.CV cs.LG stat.ML
Learning with Noisy Labels by Efficient Transition Matrix Estimation to Combat Label Miscorrection
Hyperconnect Inc.(Hyperconnect公司)
最近关于噪声标签学习的研究通过利用一个小的干净数据集表现出了显着的性能。特别是,基于模型不可知元学习的标签校正方法通过实时校正噪声标签来进一步提高性能。然而,没有对标签错误的保护措施,导致不可避免的性能下降。此外,每个训练步骤至少需要三次反向传播,大大降低了训练速度。为了缓解这些问题,我们提出了一种鲁棒且高效的方法,该方法可以实时学习标签转换矩阵。采用转移矩阵使分类器对所有校正的样本都持怀疑态度,从而避免了误校正问题。我们还引入了一个双头架构,以有效地估计标签转移矩阵的每次迭代内的一个单一的反向传播,使估计矩阵密切关注标签校正引起的移位噪声分布。大量的实验表明,我们的方法在训练效率方面表现最好,同时具有与现有方法相当或更好的准确性。
2022-07-12 cs.AI cs.LG
Ensemble Learning with Manifold-Based Data Splitting for Noisy Label Correction
Fu Jen Catholic University(辅仁大学)
训练数据中的标签噪声会显著降低模型在监督学习任务中的泛化性能。在这里,我们专注于这个问题,噪声标签主要是错误标记的样本,往往集中在附近的决策边界,而不是均匀分布,其功能应该是模棱两可的。为了解决这个问题,我们提出了一种集成学习方法,通过利用特征流形的局部结构来校正噪声标签。不同于典型的集成策略,通过某些损失项增加子模型之间的预测多样性,我们的方法在不相交的子集上训练子模型,每个子集都是数据流形上随机选择的种子样本的最近邻居的联合。因此,每个子模型可以学习数据流形的粗略表示以及相应的图形。此外,只有有限数量的子模型将受到局部集中的噪声标签的影响。构造的图被用来建议一系列的标签校正候选人,相应地,我们的方法得出标签校正结果,通过投票不一致的建议。我们在真实世界的噪声标签数据集上的实验证明了所提出的方法优于现有的最先进的。
2021-03-13 cs.CV cs.LG
Online Multi-Label Classification under Noisy and Changing Label Distribution
School of Computer Science and Information Engineering, Hefei University of Technology(合肥工业大学计算机与信息工程学院);School of Computing, National University of Singapore(新加坡国立大学计算学院)
针对多标签数据流中噪声标签与标签分布变化问题,提出NCLD算法,通过局部特征图重建标签评分、无偏排序损失和分布变化检测实现鲁棒的在线多标签分类。
2024-10-03 cs.AI cs.LG
Set a Thief to Catch a Thief: Combating Label Noise through Noisy Meta Learning
Nanyang Technological University(南洋理工大学);University of Surrey(萨里大学)
针对现有元学习标签校正方法需额外干净验证集的局限,提出噪声元标签校正框架STCT,用同分布噪声数据作验证集,通过交替训练解耦双层优化,在高噪声场景下性能超越现有最优水平。
2025-02-22 cs.CV cs.LG
A Survey on Deep Learning with Noisy Labels: How to train your model when you cannot trust on the annotations?
Federal Rural University of Pernambuco(伯南布哥联邦农村大学);Australian Institute for Machine Learning(澳大利亚机器学习研究院);University of Adelaide(阿德莱德大学)
噪声标签通常存在于从互联网自动收集的数据集中,被非专业注释者错误标记,甚至是在具有挑战性的任务中的专家,例如在医学领域。尽管深度学习模型在不同领域都有了显著的改进,但一个悬而未决的问题是它们在训练过程中记忆噪声标签的能力,降低了它们的泛化潜力。由于深度学习模型依赖于正确标记的数据集,并且标签正确性难以保证,因此考虑噪声标签的存在对于深度学习训练至关重要。文献中已经提出了几种方法来改进存在噪声标签的深度学习模型的训练。本文提出了一个调查的主要技术在文献中,其中我们分类的算法在以下几组:鲁棒损失,样本加权,样本选择,元学习,和组合的方法。我们还介绍了常用的实验装置,数据集和最先进的模型的结果。
2020-12-05 cs.CV cs.LG
FedNoisy: Federated Noisy Label Learning Benchmark
University of Michigan(密歇根大学);Artifical Intelligence Innovation and Incubation Institute, Fudan University(复旦大学人工智能创新与产业研究院);Michigan State University(密歇根州立大学)
本研究推出首个标准化联邦噪声标签学习基准FedNoisy,涵盖6个数据集的20种基础设置、标准化模拟流程及9种基线实现,通过全面实验为该领域方法开发提供参考与验证支持。
2025-02-22 cs.AI cs.LG
An Ensemble Noise-Robust K-fold Cross-Validation Selection Method for Noisy Labels
Noah’s Ark Lab, Huawei Technologies(华为技术有限公司诺亚方舟实验室)
我们考虑在受到各种比例的噪声标签的影响时训练鲁棒和准确的深度神经网络(DNN)的问题。大规模数据集往往包含错误标记的样本,这些样本可能会被DNN记住,从而影响性能。通过适当的处理,可以减轻这种退化。需要考虑两个问题:如何区分干净样本和如何处理噪声样本。在本文中,我们提出了增强噪声鲁棒的K折交叉验证选择(E-NKCVS),以有效地从噪声数据中选择干净的样本,解决了第一个问题。对于第二个问题,我们为任何确定具有不确定或可能损坏的标签的样本创建新的伪标签。E-NKCVS为每个样本获得多个预测标签,这些标签的熵用于调整给予伪标签和给定标签的权重。理论分析和广泛的验证算法在噪声标签设置。我们评估我们的方法在各种图像和文本分类任务中的标签已手动损坏不同的噪声比。此外,还使用了两个大型的真实世界噪声数据集,Clothing-1 M和WebVision。经验表明,E-NKCVS对相当大比例的标签噪声具有高度耐受性,并且与最先进的方法相比具有一致的改进。特别是在噪声比更高的更困难的数据集上,我们可以实现比第二好模型的显着改进。此外,我们提出的方法可以很容易地集成到现有的DNN方法中,以提高其对标签噪声的鲁棒性。
2021-07-06 cs.CV cs.LG
Matrix Smoothing: A Regularization for DNN with Transition Matrix under Noisy Labels
Tsinghua University(清华大学);Peng Cheng Laboratory(鹏城实验室)
在存在噪声标签的情况下训练深度神经网络(DNN)是一项重要且具有挑战性的任务。概率模型由一个分类器和一个转移矩阵组成,描述了从真实标签到噪声标签的转换,是一种很有前途的方法。然而,目前的概率方法直接将转移矩阵应用于DNN,忽略了DNN对过拟合的敏感性,并取得了令人满意的性能,特别是在均匀噪声下。本文受标号平滑的启发,提出了一种新的方法,即使用平滑的转移矩阵来更新DNN,以限制DNN在概率建模中的过拟合。我们的方法被称为矩阵平滑。我们还实证表明,我们的方法不仅提高了概率建模的鲁棒性显着,但也得到了更好的估计的转移矩阵。
2020-03-26 cs.CV cs.LG
CoDiM: Learning with Noisy Labels via Contrastive Semi-Supervised Learning
Stony Brook University(石溪大学);University of Washington(华盛顿大学);Tencent AI Lab(腾讯人工智能实验室)
标签是昂贵的,有时不可靠。噪声标签学习、半监督学习和对比学习是用于设计需要较少注释成本的学习过程的三种不同策略。半监督学习和对比学习最近已经被证明可以改进处理带有噪声标签的数据集的学习策略。尽管如此,这些领域之间的内在联系以及将其优势结合在一起的潜力才刚刚开始出现。在本文中,我们探讨了进一步的方式和优势,他们融合。具体来说,我们提出了CSSL,一个统一的对比半监督学习算法,和CoDiM(对比DivideMix),一种新的算法,用于学习噪声标签。CSSL利用了经典半监督学习和对比学习技术的强大功能,并进一步适应CoDiM,它从多种类型和级别的标签噪声中进行鲁棒学习。我们表明,CoDiM带来了一致的改进,并在多个基准测试中取得了最先进的结果。
2021-11-23 cs.CV cs.LG
Scalable Penalized Regression for Noise Detection in Learning with Noisy Labels
Fudan University(复旦大学)
噪声训练集通常会导致神经网络的泛化能力和鲁棒性下降。在本文中,我们提出了使用一个理论上有保证的噪声标签检测框架来检测和删除噪声数据的学习与噪声标签(LNL)。具体来说,我们设计了一个惩罚回归模型来模拟网络特征和独热标签之间的线性关系,其中噪声数据由回归模型中求解的非零均值漂移参数来识别。为了使框架可扩展到包含大量类别和训练数据的数据集,我们提出了一种分裂算法,将整个训练集分成可以通过惩罚回归并行求解的小块,从而形成可扩展惩罚回归(SPR)框架。我们提供了SPR正确识别噪声数据的非渐近概率条件。虽然SPR可以被视为标准监督训练管道的样本选择模块,但我们进一步将其与半监督算法相结合,以进一步利用噪声数据作为未标记数据的支持。在多个基准数据集和真实噪声数据集上的实验结果表明了该框架的有效性。我们的代码和预训练模型在https://github.com/Yikai-Wang/SPR-LNL上发布。
2022-03-19 cs.CV cs.LG
Pairwise Similarity Distribution Clustering for Noisy Label Learning
本文提出 PSDC 样本选择算法,通过成对相似度与 GMM 建模将训练样本划分为干净集和噪声集,以增强半监督噪声标签学习,并在多个基准上显著优于现有方法。
2024-04-02 cs.CV cs.LG
Learning from Noisy Labels for Long-tailed Data via Optimal Transport
Beijing University of Posts and Telecommunications(北京邮电大学)
本文针对长尾分布与噪声标签并存的数据,提出损失-距离交叉选择模块结合最优传输生成伪标签的半监督方法,有效提升模型鲁棒性并超越现有最优方法。
2024-08-07 cs.AI cs.LG
SLT: Robust Quantum Neural Networks for Noisy-Label Medical Image Classification via Supermartingale-based Label Transition
Boise State University(博伊西州立大学);Indiana University Indianapolis(印第安纳大学印第安纳波利斯分校);University of Notre Dame(圣母大学);University of Cincinnati(辛辛那提大学)
针对小规模医学图像分类中噪声标签学习难题,提出基于上鞅的标签转换(SLT)框架用于鲁棒量子神经网络分类,通过建模熵减少为上鞅识别稳定转换步骤,实验证明其能提升分类性能并优于经典基线。
2026-07-21 cs.CV cs.LG
A Framework using Contrastive Learning for Classification with Noisy Labels
EURA NOVA BE
我们提出了一个框架,使用对比学习作为一个预训练任务来执行图像分类的存在噪声标签。最近的策略,如伪标记,高斯混合模型的样本选择,加权监督对比学习已被结合到一个微调阶段后的预训练。本文提供了一个广泛的实证研究表明,一个初步的对比学习步骤带来了显着的增益性能时,使用不同的损失函数:非鲁棒性,鲁棒性,和早期学习正则化。我们在标准基准测试和真实世界数据集上进行的实验表明:i)对比预训练增加了任何损失函数对噪声标签的鲁棒性,ii)额外的微调阶段可以进一步提高准确性,但代价是额外的复杂性。
2021-04-19 cs.CV cs.LG
Active Label Refinement for Robust Training of Imbalanced Medical Image Classification Tasks in the Presence of High Label Noise
Center for Imaging Science, Rochester Institute of Technology(罗切斯特理工学院成像科学中心);University of Aberdeen(阿伯丁大学);Biomedical Engineering, Rochester Institute of Technology(罗切斯特理工学院生物医学工程系)
本文提出结合LNL与主动学习的两阶段标签精炼框架,引入梯度方差采样少数类,在有限预算下提升高噪声、类别不平衡医学图像分类的鲁棒性。
2024-10-24 cs.CV cs.LG
Graph convolutional networks for learning with few clean and many noisy labels
Google Research(谷歌研究院);VRG, Faculty of Electrical Engineering, Czech Technical University in Prague(布拉格捷克理工大学电气工程学院视觉识别组);Inria, Univ Rennes, CNRS, IRISA(法国国家信息与自动化研究所、雷恩大学、法国国家科学研究中心、布列塔尼大西洋信息与通信技术研究所)
在这项工作中,我们考虑的问题时,一些干净的标记的例子,从嘈杂的标签学习分类。干净和有噪声的数据的结构是由一个图每类和图卷积网络(GCN)被用来预测噪声的例子的类相关性。对于每个类,GCN被视为一个二元分类器,它学习使用加权的二元交叉熵损失函数来区分干净的噪声样本。然后利用GCN推断的“干净”概率作为相关性度量。在学习最终任务的分类器时,每个噪声示例都通过其相关性进行加权。我们评估我们的方法上的一个扩展版本的少样本学习问题,其中几个干净的例子,新的类补充额外的噪声数据。实验结果表明,我们的GCN为基础的清洗过程显着提高了分类精度不清洗噪声数据,以及标准的Few-Shot分类,只有很少的干净的例子被使用。
2020-08-24 cs.CV cs.LG
On Learning Contrastive Representations for Learning with Noisy Labels
University of Western Ontario(西安大略大学);ByteDance Inc.(字节跳动公司);Vector Institute(向量研究所)
深度神经网络能够很容易地记住有噪声的标签,并具有softmax交叉熵(CE)损失。先前的研究试图解决这个问题,重点是将噪声鲁棒损失函数的CE损失。然而,记忆问题得到缓解,但由于非鲁棒CE损失而仍然存在。为了解决这个问题,我们专注于学习强大的对比表示的数据上的分类器是很难记住的标签噪声下CE损失。我们提出了一种新的对比正则化函数来学习这样的表示噪声数据标签噪声不占主导地位的表示学习。通过理论上研究所提出的正则化函数诱导的表示,我们揭示了学习的表示保持与真实标签相关的信息,并丢弃与损坏标签相关的信息。此外,我们的理论结果还表明,学习的表示是强大的标签噪声。在基准数据集上的实验证明了该方法的有效性。
2022-07-23 cs.CV cs.LG
Potential Energy based Mixture Model for Noisy Label Learning
Dell Technologies(戴尔科技)
本文提出基于势能的混合模型PEMM,通过在类中心上引入势能正则化的距离分类器,保留数据内在结构,从而提升深度网络对噪声标签的鲁棒性并取得最先进性能。
2024-05-02 cs.AI cs.LG
When Noisy Labels Meet Class Imbalance on Graphs: A Graph Augmentation Method with LLM and Pseudo Label
本文针对含噪声标签的类别不平衡图节点分类,提出融合 LLM 过采样、动态加权伪标签与二次 LLM 过采样的 GraphALP 框架,性能优于现有方法。
2025-07-25 cs.AI cs.LG
Countering Noisy Labels By Learning From Auxiliary Clean Labels
Tsinghua University(清华大学)
我们考虑从噪声标签(NL)的学习问题,出现在许多现实世界的应用。除了NL文献中广泛研究的合成噪声之外,我们还将半监督学习(Semi-SL)中的伪标签视为NL的特殊情况。对于这两种类型的噪声,我们认为,现有方法的泛化性能是高度耦合的噪声标签的质量。因此,我们从一个新颖而统一的角度来解决这个问题:从辅助清洁标签中学习。具体来说,我们提出了旋转解耦一致性正则化(RDCR)框架,该框架将基于一致性的方法与自监督旋转任务相结合,以学习噪声容忍表示。实验结果表明,在小噪声条件下,RDCR方法的性能与现有方法相当或更优,而在大噪声条件下,RDCR方法的性能明显优于现有方法。
2019-09-12 cs.CV cs.LG stat.ML