Meta Label Correction for Noisy Label Learning
Microsoft Research(微软研究院)
利用弱监督或噪声监督来构建有效的机器学习模型一直是一个重要的研究问题。最近,由于越来越需要大规模数据集来训练深度学习模型,其重要性进一步增加。弱或嘈杂的监督可能来自多个来源,包括非专家注释者或基于语义或用户交互信号的自动标记。以前有大量的工作集中在利用嘈杂的标签。最值得注意的是,最近的工作已经显示出令人印象深刻的收益,通过使用元学习的实例重新加权方法,其中元学习框架用于分配实例权重到嘈杂的标签。在本文中,我们扩展了这种方法,通过提出的问题作为标签校正问题的元学习框架内。我们将标签校正过程视为一个元过程,并提出了一个新的基于元学习的框架MLC(Meta Label Correction),用于带噪声标签的学习。具体而言,采用标签校正网络作为元模型,以产生噪声标签的校正标签,同时训练主模型以利用校正标签。这两个模型通过解决双层优化问题来联合训练。我们在图像识别和文本分类任务中使用不同的标签噪声水平和类型进行了广泛的实验。我们比较了重新加权和校正方法,表明校正框架解决了重新加权的一些局限性。我们还表明,建议的MLC方法实现了很大的改进,在许多设置比以前的方法。
2021-08-06 cs.LG stat.ML
CleaR: Towards Robust and Generalized Parameter-Efficient Fine-Tuning for Noisy Label Learning
Korea University(高丽大学)
针对PEFT在噪声标签环境下的脆弱性,提出基于路由的CleaR方法,自适应激活模块以优先学习干净样本,实验证明其显著提升噪声环境下的性能。
2024-10-31 cs.AI cs.LG
CRoF: CLIP-based Robust Few-shot Learning on Noisy Labels
College of Information Science and Engineering, Northeastern University(东北大学信息科学与工程学院)
针对少样本学习中噪声标签导致CLIP分类鲁棒性差的问题,提出即插即用模块CRoF,通过任务导向提示生成器和加权多标签微调策略,提升不同噪声条件下的分类性能。
2024-12-17 cs.CV
Learning to Detect Noisy Labels Using Model-Based Features
Tsinghua University(清华大学);China Merchants Bank(招商银行);Recurrent AI;Meta
标签噪声在各种机器学习场景中普遍存在,例如使用模型预测和错误的数据注释进行自标记。许多现有的方法都是基于诸如样本损失之类的统计学,这可能不够灵活,无法实现最佳解决方案。基于元学习的方法通过学习数据选择函数来解决这个问题,但可能难以优化。鉴于这些优点和缺点,我们提出了选择增强噪声标签训练(SENT),它不依赖于元学习,同时具有数据驱动的灵活性。SENT将噪声分布转移到一个干净的集合,并训练一个模型,使用基于模型的特征将噪声标签与干净标签区分开来。从经验上讲,在包括文本分类和语音识别在内的广泛任务中,SENT在自训练和标签损坏的设置下提高了强基线的性能。
2022-12-28 cs.LG
Learning with Noisy Labels by Efficient Transition Matrix Estimation to Combat Label Miscorrection
Hyperconnect Inc.(Hyperconnect公司)
最近关于噪声标签学习的研究通过利用一个小的干净数据集表现出了显着的性能。特别是,基于模型不可知元学习的标签校正方法通过实时校正噪声标签来进一步提高性能。然而,没有对标签错误的保护措施,导致不可避免的性能下降。此外,每个训练步骤至少需要三次反向传播,大大降低了训练速度。为了缓解这些问题,我们提出了一种鲁棒且高效的方法,该方法可以实时学习标签转换矩阵。采用转移矩阵使分类器对所有校正的样本都持怀疑态度,从而避免了误校正问题。我们还引入了一个双头架构,以有效地估计标签转移矩阵的每次迭代内的一个单一的反向传播,使估计矩阵密切关注标签校正引起的移位噪声分布。大量的实验表明,我们的方法在训练效率方面表现最好,同时具有与现有方法相当或更好的准确性。
2022-07-12 cs.AI cs.LG
SplitNet: Learnable Clean-Noisy Label Splitting for Learning with Noisy Labels
Samsung Electro-Mechanics(三星电机);Korea University(高丽大学)
用高质量的标签标注数据集对于深度网络的性能至关重要,但在现实世界中,标签往往被噪声污染。为了解决这个问题,提出了一些方法来自动分割干净和有噪声的标签,并在有噪声标签的学习(LNL)框架中学习半监督学习器。然而,他们利用一个手工制作的模块来进行干净的噪声标签分割,这在半监督学习阶段引起了确认偏差,并限制了性能。在本文中,我们首次提出了一个用于清洁噪声标签拆分的可学习模块,称为SplitNet,以及一个新的LNL框架,该框架补充训练SplitNet和LNL任务的主网络。我们建议使用SplitNet基于分裂置信度的动态阈值来更好地优化半监督学习器。为了增强SplitNet训练,我们还提出了一种风险对冲方法。我们提出的方法在最先进的水平,特别是在高噪声比设置在各种LNL基准。
2022-12-19 cs.CV cs.LG
SELC: Self-Ensemble Label Correction Improves Learning with Noisy Labels
McMaster University(麦克马斯特大学)
深度神经网络容易过拟合噪声标签,导致泛化性能差。为了克服这个问题,我们提出了一个简单而有效的方法自集成标签校正(SELC),逐步纠正噪声标签和完善的模型。我们更深入地研究了使用噪声标签进行训练的记忆行为,并观察到网络输出在早期阶段是可靠的。为了保持这种可靠的知识,SELC使用由网络输出的指数移动平均形成的集合预测来更新原始的噪声标签。我们表明,使用SELC进行训练可以通过逐渐减少来自噪声标签的监督并增加来自集合预测的监督来改进模型。尽管它的简单性,与许多国家的最先进的方法相比,SELC获得更有前途和稳定的结果,在存在类条件,实例依赖,和现实世界的标签噪声。该代码可在https://github.com/MacLLL/SELC上获得。
2022-05-02 cs.CV cs.LG
Estimating Noisy Class Posterior with Part-level Labels for Noisy Label Learning
School of Physics, Xi’an Jiaotong University(西安交通大学物理学院);School of Computer Science and Technology, Xi’an Jiaotong University(西安交通大学计算机科学与技术学院);School of Distance Education, Xi’an Jiaotong University(西安交通大学远程教育学院)
本文针对噪声标签导致类别后验估计偏差的问题,引入部件级标签和单对多转移矩阵,构建分类器一致框架以更准确估计噪声类别后验并提升分类性能。
2024-07-02 cs.CV cs.LG
On the Robustness of Monte Carlo Dropout Trained with Noisy Labels
Facebook(脸书)
深度学习的记忆效应阻碍了其在带噪声标签的学习中有效地推广测试集的性能。先前的研究已经发现,与没有不确定性估计的神经网络相比,认知不确定性技术在用噪声标签训练时是鲁棒的。它们在对抗性噪声标签环境下获得了较长的记忆效果和较好的泛化性能。由于其在噪声标签下的其他选定的认知不确定性方法中的优越性能,我们专注于Monte Carlo Dropout(MCDropout),并研究为什么它在使用噪声标签进行训练时具有鲁棒性。通过对MNIST、CIFAR-10、Animal-10 n数据集的实证研究,本文深入研究了噪声标签设置下MCDropout的三个方面:1.功效:了解MCDropout在训练集包含人工生成或自然嵌入的标签噪声时的学习行为和测试精度; 2.表征波动性:通过检查每个神经元激活的平均值和标准差来研究神经元的响应性; 3.网络稀疏性:与确定性神经网络相比,研究MCDropout的网络支持。我们的研究结果表明,MCDropout进一步稀疏化和正则化的确定性神经网络,从而提供了更高的鲁棒性对噪声标签。
2021-03-22 cs.CV cs.LG
ALIM: Adjusting Label Importance Mechanism for Noisy Partial Label Learning
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Chongqing University(重庆大学);Nanyang Technological University(南洋理工大学);Tsinghua University(清华大学)
针对噪声偏标记学习中检测错误累积影响模型优化的问题,提出插件式框架ALIM,通过权衡初始候选集与模型输出减少负面影响,在基准数据集上达到最先进性能。
2023-05-18 cs.CV cs.LG
Error-Bounded Correction of Noisy Labels
Stony Brook University(石溪大学);Rutgers University(罗格斯大学);Bain & Company(贝恩公司);City University of New York(纽约城市大学)
为了收集大规模注释数据,不可避免地引入标签噪声,即,不正确的类标签。为了对标签噪声具有鲁棒性,许多成功的方法依赖于噪声分类器(即,在噪声训练数据上训练的模型)来确定标签是否可信。然而,它仍然不知道为什么这种启发式在实践中运作良好。在本文中,我们提供了这些方法的第一个理论解释。我们证明了噪声分类器的预测确实可以很好地指示训练数据的标签是否干净。基于理论结果,我们提出了一种新的算法,纠正标签的基础上嘈杂的分类器预测。修正后的标签与真实的贝叶斯最优分类器具有很高的概率一致。我们将我们的标签校正算法纳入深度神经网络的训练中,并训练模型,在多个公共数据集上实现卓越的测试性能。
2020-11-19 cs.CV cs.LG
Self-semi-supervised Learning to Learn from NoisyLabeled Data
New York University(纽约大学)
当今深度神经网络的巨大成功高度依赖于大量正确标记的数据。然而,获得高质量的人类标记数据的成本相当高,导致对噪声标签鲁棒的训练模型的研究领域非常活跃。为了实现这一目标,一方面,许多论文致力于区分噪声标签和干净标签,以提高DNN的泛化能力。另一方面,越来越流行的自半监督学习方法已被证明有利于标签不完整时的任务。通过“semi”,我们将检测到的错误标记数据视为未标记数据;通过“self”,我们选择一种自监督技术进行半监督学习。在这个项目中,我们设计了一些方法来更准确地区分干净和有噪声的标签,并借用自半监督学习的智慧来训练有噪声的标签数据。
2020-11-03 cs.CV cs.LG
Learning to Aggregate and Refine Noisy Labels for Visual Sentiment Analysis
University of Rochester(罗切斯特大学)
视觉情感分析近年来受到越来越多的关注。然而,数据集的质量是一个问题,因为情感标签是众包的,主观的,容易出错,并对数据驱动的模型构成严重威胁,特别是深度神经网络。当被训练为过度拟合带有噪声情感标签的训练样本时,深度模型在测试案例上的泛化能力很差。受噪声标签学习的最新进展的启发,我们提出了一种鲁棒的学习方法来执行鲁棒的视觉情感分析。我们的方法依赖于外部存储器来在训练过程中聚合和过滤噪声标签。存储器由具有相应标签的原型组成,可以在线更新。学习的原型及其标签可以被视为局部区域的去噪特征和标签,并且可以指导训练过程以防止模型过度拟合噪声情况。我们建立了一个基准的视觉情感分析与标签噪声使用公开的数据集。在所提出的基准测试环境下的实验结果全面验证了该方法的有效性。
2022-01-27 cs.CV cs.LG
Co-matching: Combating Noisy Labels by Augmentation Anchoring
Mcmaster University(麦克马斯特大学)
具有噪声标签的深度学习具有挑战性,因为深度神经网络具有记忆噪声标签的高容量。在本文中,我们提出了一个学习算法称为协同匹配,它平衡了两个网络之间的一致性和分歧的增强锚定。具体来说,我们让一个网络从它对弱增强图像的预测中生成锚定标签。同时,我们强制其对等网络,以同一图像的强增强版本作为输入,生成接近锚定标签的预测。然后,我们通过选择小损失实例来同时更新两个网络,以最小化两个无监督匹配损失(即,测量两个网络的一致性)和监督分类损失(即测量分类性能)。此外,无监督匹配损失使得我们的方法不严重依赖于噪声标签,这防止了噪声标签的记忆。在三个基准数据集上的实验表明,协同匹配达到了与最先进的方法相当的结果。
2021-03-23 cs.CV cs.LG
Instance-Dependent Noisy Label Learning via Graphical Modelling
Australian Institute for Machine Learning(澳大利亚机器学习研究所);University of Adelaide(阿德莱德大学);Monash University(莫纳什大学)
在深度学习的生态系统中,噪声标签是不可避免的,但也是麻烦的,因为模型很容易过拟合它们。标签噪声有许多类型,例如对称、非对称和实例相关噪声(IDN),IDN是唯一依赖于图像信息的类型。这种对图像信息的依赖使得IDN成为研究标签噪声的关键类型,因为标签错误在很大程度上是由图像中存在的视觉类的信息不足或模糊引起的。为了提供一种有效的技术来解决IDN,我们提出了一种新的图形化建模方法称为InstanceGM,它结合了判别和生成模型。InstanceGM的主要贡献是:i)使用连续伯努利分布来训练生成模型,提供显着的训练优势,以及ii)探索最先进的噪声标签判别分类器,以从依赖于实例的噪声标签样本中生成干净的标签。InstanceGM与当前的噪声标签学习方法相比具有竞争力,特别是在使用合成和真实世界数据集的IDN基准测试中,我们的方法在大多数实验中显示出比竞争对手更好的准确性。
2022-09-02 cs.CV cs.LG
Ensemble Learning with Manifold-Based Data Splitting for Noisy Label Correction
Fu Jen Catholic University(辅仁大学)
训练数据中的标签噪声会显著降低模型在监督学习任务中的泛化性能。在这里,我们专注于这个问题,噪声标签主要是错误标记的样本,往往集中在附近的决策边界,而不是均匀分布,其功能应该是模棱两可的。为了解决这个问题,我们提出了一种集成学习方法,通过利用特征流形的局部结构来校正噪声标签。不同于典型的集成策略,通过某些损失项增加子模型之间的预测多样性,我们的方法在不相交的子集上训练子模型,每个子集都是数据流形上随机选择的种子样本的最近邻居的联合。因此,每个子模型可以学习数据流形的粗略表示以及相应的图形。此外,只有有限数量的子模型将受到局部集中的噪声标签的影响。构造的图被用来建议一系列的标签校正候选人,相应地,我们的方法得出标签校正结果,通过投票不一致的建议。我们在真实世界的噪声标签数据集上的实验证明了所提出的方法优于现有的最先进的。
2021-03-13 cs.CV cs.LG
Learning with Noisy Labels over Imbalanced Subpopulations
Nanjing University(南京大学);Tencent AI Lab(腾讯人工智能实验室)
带噪声标签的学习(LNL)已经引起了研究界的极大关注。许多最近的LNL方法依赖于这样的假设,即干净的样品往往具有“小损失”。然而,这个假设总是不能推广到一些现实世界的情况下,不平衡的亚群,即,训练样本大小或识别难度不同的子群体。因此,最近的LNL方法面临着错误分类那些“信息”样本的风险(例如,硬样本或尾子群中的样本)转化为噪声样本,导致较差的泛化性能。为了解决上述问题,我们提出了一种新的LNL方法,同时处理噪声标签和不平衡的子种群。它首先利用样本相关性来估计样本的干净概率以进行标签校正,然后利用校正后的标签进行分布鲁棒优化(DRO)以进一步提高鲁棒性。具体来说,与之前使用分类损失作为选择标准的工作相反,我们引入了一种基于特征的度量,该度量考虑了样本相关性来估计样本的干净概率。然后,我们使用估计的干净概率和来自模型预测的伪标签对噪声标签进行重新分类。通过翻新标签,我们使用DRO来训练模型,使其对亚群失衡具有鲁棒性。在广泛的基准测试上进行的大量实验表明,我们的技术可以持续改进当前最先进的鲁棒学习范式,特别是在遇到不平衡的子群体时。
2022-11-16 cs.CV cs.LG
An Ensemble Noise-Robust K-fold Cross-Validation Selection Method for Noisy Labels
Noah’s Ark Lab, Huawei Technologies(华为技术有限公司诺亚方舟实验室)
我们考虑在受到各种比例的噪声标签的影响时训练鲁棒和准确的深度神经网络(DNN)的问题。大规模数据集往往包含错误标记的样本,这些样本可能会被DNN记住,从而影响性能。通过适当的处理,可以减轻这种退化。需要考虑两个问题:如何区分干净样本和如何处理噪声样本。在本文中,我们提出了增强噪声鲁棒的K折交叉验证选择(E-NKCVS),以有效地从噪声数据中选择干净的样本,解决了第一个问题。对于第二个问题,我们为任何确定具有不确定或可能损坏的标签的样本创建新的伪标签。E-NKCVS为每个样本获得多个预测标签,这些标签的熵用于调整给予伪标签和给定标签的权重。理论分析和广泛的验证算法在噪声标签设置。我们评估我们的方法在各种图像和文本分类任务中的标签已手动损坏不同的噪声比。此外,还使用了两个大型的真实世界噪声数据集,Clothing-1 M和WebVision。经验表明,E-NKCVS对相当大比例的标签噪声具有高度耐受性,并且与最先进的方法相比具有一致的改进。特别是在噪声比更高的更困难的数据集上,我们可以实现比第二好模型的显着改进。此外,我们提出的方法可以很容易地集成到现有的DNN方法中,以提高其对标签噪声的鲁棒性。
2021-07-06 cs.CV cs.LG
Matrix Smoothing: A Regularization for DNN with Transition Matrix under Noisy Labels
Tsinghua University(清华大学);Peng Cheng Laboratory(鹏城实验室)
在存在噪声标签的情况下训练深度神经网络(DNN)是一项重要且具有挑战性的任务。概率模型由一个分类器和一个转移矩阵组成,描述了从真实标签到噪声标签的转换,是一种很有前途的方法。然而,目前的概率方法直接将转移矩阵应用于DNN,忽略了DNN对过拟合的敏感性,并取得了令人满意的性能,特别是在均匀噪声下。本文受标号平滑的启发,提出了一种新的方法,即使用平滑的转移矩阵来更新DNN,以限制DNN在概率建模中的过拟合。我们的方法被称为矩阵平滑。我们还实证表明,我们的方法不仅提高了概率建模的鲁棒性显着,但也得到了更好的估计的转移矩阵。
2020-03-26 cs.CV cs.LG
CoDiM: Learning with Noisy Labels via Contrastive Semi-Supervised Learning
Stony Brook University(石溪大学);University of Washington(华盛顿大学);Tencent AI Lab(腾讯人工智能实验室)
标签是昂贵的,有时不可靠。噪声标签学习、半监督学习和对比学习是用于设计需要较少注释成本的学习过程的三种不同策略。半监督学习和对比学习最近已经被证明可以改进处理带有噪声标签的数据集的学习策略。尽管如此,这些领域之间的内在联系以及将其优势结合在一起的潜力才刚刚开始出现。在本文中,我们探讨了进一步的方式和优势,他们融合。具体来说,我们提出了CSSL,一个统一的对比半监督学习算法,和CoDiM(对比DivideMix),一种新的算法,用于学习噪声标签。CSSL利用了经典半监督学习和对比学习技术的强大功能,并进一步适应CoDiM,它从多种类型和级别的标签噪声中进行鲁棒学习。我们表明,CoDiM带来了一致的改进,并在多个基准测试中取得了最先进的结果。
2021-11-23 cs.CV cs.LG
Scalable Penalized Regression for Noise Detection in Learning with Noisy Labels
Fudan University(复旦大学)
噪声训练集通常会导致神经网络的泛化能力和鲁棒性下降。在本文中,我们提出了使用一个理论上有保证的噪声标签检测框架来检测和删除噪声数据的学习与噪声标签(LNL)。具体来说,我们设计了一个惩罚回归模型来模拟网络特征和独热标签之间的线性关系,其中噪声数据由回归模型中求解的非零均值漂移参数来识别。为了使框架可扩展到包含大量类别和训练数据的数据集,我们提出了一种分裂算法,将整个训练集分成可以通过惩罚回归并行求解的小块,从而形成可扩展惩罚回归(SPR)框架。我们提供了SPR正确识别噪声数据的非渐近概率条件。虽然SPR可以被视为标准监督训练管道的样本选择模块,但我们进一步将其与半监督算法相结合,以进一步利用噪声数据作为未标记数据的支持。在多个基准数据集和真实噪声数据集上的实验结果表明了该框架的有效性。我们的代码和预训练模型在https://github.com/Yikai-Wang/SPR-LNL上发布。
2022-03-19 cs.CV cs.LG
Pairwise Similarity Distribution Clustering for Noisy Label Learning
本文提出 PSDC 样本选择算法,通过成对相似度与 GMM 建模将训练样本划分为干净集和噪声集,以增强半监督噪声标签学习,并在多个基准上显著优于现有方法。
2024-04-02 cs.CV cs.LG
SLT: Robust Quantum Neural Networks for Noisy-Label Medical Image Classification via Supermartingale-based Label Transition
Boise State University(博伊西州立大学);Indiana University Indianapolis(印第安纳大学印第安纳波利斯分校);University of Notre Dame(圣母大学);University of Cincinnati(辛辛那提大学)
针对小规模医学图像分类中噪声标签学习难题,提出基于上鞅的标签转换(SLT)框架用于鲁棒量子神经网络分类,通过建模熵减少为上鞅识别稳定转换步骤,实验证明其能提升分类性能并优于经典基线。
2026-07-21 cs.CV cs.LG
A Framework using Contrastive Learning for Classification with Noisy Labels
EURA NOVA BE
我们提出了一个框架,使用对比学习作为一个预训练任务来执行图像分类的存在噪声标签。最近的策略,如伪标记,高斯混合模型的样本选择,加权监督对比学习已被结合到一个微调阶段后的预训练。本文提供了一个广泛的实证研究表明,一个初步的对比学习步骤带来了显着的增益性能时,使用不同的损失函数:非鲁棒性,鲁棒性,和早期学习正则化。我们在标准基准测试和真实世界数据集上进行的实验表明:i)对比预训练增加了任何损失函数对噪声标签的鲁棒性,ii)额外的微调阶段可以进一步提高准确性,但代价是额外的复杂性。
2021-04-19 cs.CV cs.LG
Active Label Refinement for Robust Training of Imbalanced Medical Image Classification Tasks in the Presence of High Label Noise
Center for Imaging Science, Rochester Institute of Technology(罗切斯特理工学院成像科学中心);University of Aberdeen(阿伯丁大学);Biomedical Engineering, Rochester Institute of Technology(罗切斯特理工学院生物医学工程系)
本文提出结合LNL与主动学习的两阶段标签精炼框架,引入梯度方差采样少数类,在有限预算下提升高噪声、类别不平衡医学图像分类的鲁棒性。
2024-10-24 cs.CV cs.LG
On Learning Contrastive Representations for Learning with Noisy Labels
University of Western Ontario(西安大略大学);ByteDance Inc.(字节跳动公司);Vector Institute(向量研究所)
深度神经网络能够很容易地记住有噪声的标签,并具有softmax交叉熵(CE)损失。先前的研究试图解决这个问题,重点是将噪声鲁棒损失函数的CE损失。然而,记忆问题得到缓解,但由于非鲁棒CE损失而仍然存在。为了解决这个问题,我们专注于学习强大的对比表示的数据上的分类器是很难记住的标签噪声下CE损失。我们提出了一种新的对比正则化函数来学习这样的表示噪声数据标签噪声不占主导地位的表示学习。通过理论上研究所提出的正则化函数诱导的表示,我们揭示了学习的表示保持与真实标签相关的信息,并丢弃与损坏标签相关的信息。此外,我们的理论结果还表明,学习的表示是强大的标签噪声。在基准数据集上的实验证明了该方法的有效性。
2022-07-23 cs.CV cs.LG
Improving group robustness under noisy labels using predictive uncertainty
Deargen Inc.(Deargen公司);Deargen USA Inc.(Deargen美国公司)
标准的经验风险最小化(ERM)在某些少数群体(即,由于输入与其标签之间的虚假相关性,陆地上的水鸟或水中的陆地鸟类)。一些研究通过关注高损失样本来提高最差组的准确性。这背后的假设是这样的高损耗样本是\textit{spurious-cue-free}(SCF)样本。然而,这些方法可能是有问题的,因为高损失样本也可能是现实世界场景中具有噪声标签的样本。为了解决这个问题,我们利用模型的预测不确定性来提高噪声标签下的最差组准确度。为了激励这一点,我们从理论上表明,高不确定性的样本是SCF样本的二进制分类问题。这一理论结果意味着,预测的不确定性是一个足够的指标,以确定SCF样品在嘈杂的标签设置。基于此,我们提出了一种新的基于熵的去偏(END)框架,该框架可以防止模型学习虚假线索,同时对噪声标签具有鲁棒性。在END框架中,我们首先训练\textit{identification model}以使用其预测不确定性从训练集中获得SCF样本。然后,在用过采样SCF集扩充的数据集上训练另一个模型。实验结果表明,我们的END框架优于其他强基线的几个现实世界的基准,同时考虑嘈杂的标签和虚假线索。
2022-12-14 cs.CV cs.LG
MetaLabelNet: Learning to Generate Soft-Labels from Noisy-Labels
Middle East Technical University(中东技术大学)
现实世界的数据集通常具有噪声标签,这会对深度神经网络(DNN)的性能产生负面影响。为了解决这个问题,我们提出了一个标签噪声鲁棒学习算法,其中基础分类器是根据一个元目标产生的软标签进行训练。在每次迭代中,在常规训练之前,元目标通过改变软标签来重塑损失函数,使得所得到的梯度更新将导致具有最小元数据损失的模型参数。软标签是从数据实例提取的特征生成的,映射函数是由一个单层感知器(SLP)网络,这是所谓的MetaLabelNet学习。接着,通过使用这些生成的软标签来训练基分类器。对每批训练数据重复这些迭代。我们的算法使用少量干净的数据作为元数据,这可以毫不费力地获得许多情况下。我们进行了广泛的实验基准数据集与合成和真实世界的噪音。结果表明,我们的方法优于现有的基线。
2021-03-19 cs.CV cs.LG
Channel-Wise Contrastive Learning for Learning with Noisy Labels
The University of Sydney(悉尼大学);New York University(纽约大学);Data61, CSIRO(联邦科学与工业研究组织数据61研究所)
针对带噪标签学习中真实信息与噪声混杂的问题,提出CWCL通过跨通道对比学习提取鲁棒特征、识别干净样本并渐进微调,在多个基准上优于现有方法。
2023-08-14 cs.CV cs.LG
From Noisy Prediction to True Label: Noisy Prediction Calibration via Generative Model
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);University of Seoul(首尔大学)
在机器学习社会中,嘈杂的标签是不可避免的,但也是有问题的。它通过使分类器过度拟合噪声标签来破坏分类器的泛化。现有的噪声标记方法主要集中在训练过程中对分类器进行修改。它有两个潜在的问题。首先,这些方法不适用于未经进一步训练的预训练分类器。其次,训练分类器并同时使来自噪声标签的所有负面影响规则化并不容易。我们提出了一个新的分支的方法,噪声预测校准(NPC)的学习与噪声标签。通过生成模型引入和估计一种新型的转移矩阵,NPC将噪声预测从预训练分类器校正为真实标签作为后处理方案。我们证明了NPC理论上与基于转移矩阵的方法一致。然而,NPC经验上提供了更准确的途径来估计真实标签,即使不参与分类器学习。此外,如果训练实例及其预测可用,则NPC适用于使用噪声标签方法训练的任何分类器。我们的方法NPC提高了所有基线模型在合成和真实数据集上的分类性能。实现的代码可在https://github.com/BaeHeeSun/NPC上获得。
2022-05-26 cs.AI cs.CV cs.LG
Joint Optimization Framework for Learning with Noisy Labels
The University of Tokyo(东京大学)
在大规模数据集上训练的深度神经网络(DNN)在图像分类中表现出了显著的性能。许多大规模的数据集是从网站上收集的,但是它们往往包含不准确的标签,称为噪声标签。在这种嘈杂的标签数据集上训练会导致性能下降,因为DNN很容易过拟合到嘈杂的标签。为了克服这个问题,我们提出了一个学习DNN参数和估计真实标签的联合优化框架。我们的框架可以在训练过程中通过交替更新网络参数和标签来纠正标签。我们在有噪声的CIFAR-10数据集和Clothing 1 M数据集上进行了实验。结果表明,我们的方法显着优于其他国家的最先进的方法。
2018-03-30 cs.CV cs.LG stat.ML
Uncertainty Based Detection and Relabeling of Noisy Image Labels
Bosch Center for Artificial Intelligence(博世人工智能中心);BCAI(博世人工智能中心);University of Ulm(乌尔姆大学)
深度神经网络(DNN)是计算机视觉任务中的强大工具。然而,在许多现实场景中,标签噪声在训练图像中普遍存在,对这些噪声标签的过拟合会严重损害DNN的泛化性能。我们提出了一种新的技术来识别带有噪声标签的数据,该技术基于DNN在干净数据和噪声数据上的预测不确定性的不同分布。此外,在训练过程中的不确定性行为有助于识别最适合用于重新标记噪声标签的网络权重。因此,可以在迭代过程中清理带有噪声标签的数据。我们所提出的方法可以很容易地实现,并显示出有前途的性能上的任务的噪声标签检测CIFAR-10和CIFAR-100。
2019-05-29 cs.CV cs.LG stat.ML
Learning from Noisy Labels with Distillation
从噪声标签中学习的能力在许多视觉识别任务中非常有用,因为大量带有噪声标签的数据相对容易获得。传统上,标签噪声被视为统计离群值,并提出了重要性重新加权和自举等方法来缓解这个问题。根据我们的观察,真实世界中的噪声标签表现出多模式特性作为真正的标签,而不是表现得像独立的随机离群值。在这项工作中,我们提出了一个统一的蒸馏框架,使用边信息,包括一个小的干净的数据集和标签关系的知识图谱,“对冲风险”的学习噪声标签。此外,与基于模拟标签噪声评估的传统方法不同,我们在体育,物种和人工制品领域提出了一套新的基准数据集,以评估在实际环境中从噪声标签中学习的任务。实证研究表明,我们提出的方法在所有领域的有效性。
2017-04-07 cs.CV cs.LG stat.ML
Multi-Label Noise Transition Matrix Estimation with Label Correlations: Theory and Algorithm
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);The University of Sydney(悉尼大学)
本文研究噪声多标签学习中类别相关转移矩阵的估计问题,提出一种利用标签相关性且无需锚点和精确后验拟合的新估计器,通过求解双线性分解问题实现可识别估计,并从理论和实验上验证了其有效性和分类性能。
2023-09-22 cs.AI cs.CV cs.LG
Unleashing the Potential of Regularization Strategies in Learning with Noisy Labels
The University of Sydney(悉尼大学);New York University(纽约大学);Data61, CSIRO(澳大利亚联邦科学与工业研究组织Data61);University of Science and Technology of China(中国科学技术大学);Hong Kong Baptist University(香港浸会大学)
本文证明交叉熵损失结合学习率衰减、权重平均和数据增强等常规正则化策略,可超越复杂的噪声标签学习算法,呼吁重新评估该领域的基准与专用算法的作用。
2023-07-11 cs.AI cs.CV cs.LG
NCSAM Noise-Compensated Sharpness-Aware Minimization for Noisy Label Learning
Beijing University of Technology(北京理工大学)
提出NCSAM方法,通过噪声补偿扰动修正噪声标签引起的优化偏差,缓解对噪声标签的记忆,在合成和真实噪声标签基准上优于SAM基线。
2026-05-28 cs.AI cs.CV cs.LG
Countering Noisy Labels By Learning From Auxiliary Clean Labels
Tsinghua University(清华大学)
我们考虑从噪声标签(NL)的学习问题,出现在许多现实世界的应用。除了NL文献中广泛研究的合成噪声之外,我们还将半监督学习(Semi-SL)中的伪标签视为NL的特殊情况。对于这两种类型的噪声,我们认为,现有方法的泛化性能是高度耦合的噪声标签的质量。因此,我们从一个新颖而统一的角度来解决这个问题:从辅助清洁标签中学习。具体来说,我们提出了旋转解耦一致性正则化(RDCR)框架,该框架将基于一致性的方法与自监督旋转任务相结合,以学习噪声容忍表示。实验结果表明,在小噪声条件下,RDCR方法的性能与现有方法相当或更优,而在大噪声条件下,RDCR方法的性能明显优于现有方法。
2019-09-12 cs.CV cs.LG stat.ML
Meta Soft Label Generation for Noisy Labels
Middle East Technical University(中东技术大学);ASELSAN(阿瑟尔桑公司)
数据集中噪声标签的存在会导致深度神经网络(DNN)的性能显著下降。为了解决这个问题,我们提出了一种称为MSLG的Meta软标签生成算法,它可以使用元学习技术联合生成软标签,并以端到端的方式学习DNN参数。我们的方法采用元学习范式,通过检查有噪训练数据和无噪元数据的梯度方向来估计最佳标签分布。为了迭代地更新软标签,对估计的标签执行Meta梯度下降步骤,这将使无噪声Meta样本的损失最小化。在每次迭代中,基础分类器在估计的Meta标签上进行训练。MSLG与模型无关,可以轻松地添加到任何现有模型之上。我们在CIFAR10,Clothing1M和Food101N数据集上进行了广泛的实验。结果表明,我们的方法优于其他国家的最先进的方法,由一个很大的保证金。
2021-01-19 cs.CV cs.LG stat.ML
Mitigating Memorization in Sample Selection for Learning with Noisy Labels
Pohang University of Science and Technology(浦项科技大学);Seoul National University of Science and Technology (SeoulTech)(首尔国立科技大学(首尔科技大学))
由于深度学习容易受到噪声标签的影响,因此仅使用干净标记数据训练网络的样本选择技术引起了极大的关注。然而,如果标签被少数类别占主导地位,这些噪声样本被称为显性噪声标记样本,网络也通过内容感知优化快速学习显性噪声标记样本。在这项研究中,我们提出了一个令人信服的标准,惩罚显性噪声标记的样本集中通过类明智的惩罚标签。通过对每个观察到的标签的预测置信度进行平均,我们获得了合适的惩罚标签,如果标签在很大程度上被某些类别损坏,则这些标签具有较高的值。使用基准测试(CIFAR-10,CIFAR-100,Tiny-ImageNet)和真实世界的数据集(ANIMAL-10 N,Clothing 1 M)进行实验,以评估在不同噪声率的各种场景下提出的标准。使用所提出的样本选择,网络的学习过程变得显着鲁棒的噪声标签相比,现有的方法在几种噪声类型。
2021-07-08 cs.LG
Training Convolutional Networks with Noisy Labels
New York University(纽约大学);Facebook AI Research(脸书人工智能研究院)
大型标记数据集的可用性使卷积网络模型能够实现令人印象深刻的识别结果。然而,在许多设置中,对数据进行手动注释是不切实际的;相反,我们的数据具有噪声标签,即每个图像都有一些免费的标签,这些标签可能准确也可能不准确。在本文中,我们探讨了在这种噪声数据上训练时,区分训练的Convnets的性能。我们在网络中引入了一个额外的噪声层,它可以调整网络输出以匹配嘈杂的标签分布。该噪声层的参数可以作为训练过程的一部分进行估计,并且涉及对深度网络的当前训练基础设施的简单修改。我们在几个数据集上展示了这些方法,包括在ImageNet分类基准上进行的大规模实验。
2015-04-10 cs.CV cs.LG cs.NE
Selective-Supervised Contrastive Learning with Noisy Labels
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);The University of Sydney(悉尼大学)
深度网络具有很强的将数据嵌入到潜在表示中并完成后续任务的能力。然而,这些能力主要来自高质量的标注标签,这些标签的收集成本很高。噪声标签更便宜,但会导致损坏的表示,导致泛化性能差。为了学习鲁棒表示和处理噪声标签,本文提出了选择监督对比学习(Sel-CL)。具体来说,Sel-CL扩展了监督对比学习(Sup-CL),它在表示学习中很强大,但在有噪声标签时会降级。Sel-CL解决了Sup-CL问题的直接原因。也就是说,由于Sup-CL以\textit{pair-wise}方式工作,因此由噪声标签构建的噪声对会误导表示学习。为了缓解这个问题,我们选择置信对噪声的Sup-CL不知道噪声率。在选择过程中,通过测量学习的表示和给定的标签之间的一致性,我们首先确定用于构建置信对的置信示例。然后,利用所建立的置信对中的表示相似性分布来从噪声对中识别出更多的置信对。所有获得的置信对最终用于Sup-CL以增强表示。在多个噪声数据集上的实验证明了我们的方法学习的表示的鲁棒性,遵循最先进的性能。源代码可在https://github.com/ShikunLi/Sel-CL上获得
2022-03-08 cs.AI cs.CV cs.LG
Improving Medical Image Classification in Noisy Labels Using Only Self-supervised Pretraining
RIT(罗切斯特理工学院);University of Aberdeen(阿伯丁大学);NepAl Applied Mathematics and Informatics Institute for Research (NAAMII)(尼泊尔应用数学与信息学研究所(NAAMII))
本文研究仅用自监督预训练初始化模型以应对医学图像分类中的噪声标签问题,在NCT-CRC-HE-100K和COVID-QU-Ex数据集上验证了对比式与前置任务式预训练能学习更优特征并提升鲁棒性。
2023-08-08 cs.CV cs.LG eess.IV
How Does a Neural Network's Architecture Impact Its Robustness to Noisy Labels?
University of Maryland(马里兰大学);Massachusetts Institute of Technology(麻省理工学院);University of Toronto(多伦多大学)
噪声标签在大型真实世界数据集中是不可避免的。在这项工作中,我们探索了一个以前研究不足的领域-网络的架构如何影响其对噪声标签的鲁棒性。我们提供了一个正式的框架连接网络的鲁棒性,其架构和目标/噪声函数之间的对齐。我们的框架通过其表示中的预测能力来衡量网络的鲁棒性-使用一小组干净标签在学习的表示上训练线性模型的测试性能。我们假设,如果网络的架构与目标函数比噪声更一致,则网络对噪声标签更鲁棒。为了支持我们的假设,我们提供了各种神经网络架构和不同领域的理论和经验证据。我们还发现,当网络与目标函数很好地对齐时,其表示的预测能力可以在测试准确性方面改善最先进的(SOTA)噪声标签训练方法,甚至优于使用干净标签的复杂方法。
2021-11-28 cs.CV cs.LG stat.ML
Dimensionality-Driven Learning with Noisy Labels
The University of Melbourne(墨尔本大学);Tsinghua University(清华大学);National Institute of Informatics(国立信息学研究所)
具有大量噪声(不正确)类别标签的数据集对训练准确的深度神经网络(DNN)提出了挑战。我们提出了一个新的角度来理解DNN泛化这样的数据集,通过研究训练样本的深层表示子空间的维数。我们表明,从维度的角度来看,DNN在使用干净标签进行训练时,与使用一定比例的嘈杂标签进行训练时相比,表现出非常独特的学习风格。基于这一发现,我们开发了一种新的维度驱动的学习策略,它在训练过程中监控子空间的维度,并相应地调整损失函数。我们的经验表明,我们的方法是高度容忍显着比例的嘈杂标签,并可以有效地学习低维局部子空间,捕捉数据分布。
2018-07-31 cs.CV cs.LG stat.ML
A Novel Perspective for Positive-Unlabeled Learning via Noisy Labels
University of Tokyo(东京大学);NTT Communication Science Laboratories(NTT通信科学实验室)
正-未标记学习是指仅使用正和未标记数据来训练二元分类器的过程。虽然未标记数据中可以包含正数据,但现有的正-未标记学习方法将所有未标记数据都视为负数据,导致性能下降。我们对这个问题提供了一个新的视角-将未标记的数据视为噪声标记的数据,并将PU学习的一个新公式引入噪声标记数据的联合优化问题。该研究提出了一种方法,分配初始伪标签的未标记的数据被用作噪声标记的数据,并使用噪声标记的数据训练一个深度神经网络。实验结果表明,该方法显着优于国家的最先进的方法在几个基准数据集。
2021-03-08 cs.LG
One-Step Abductive Multi-Target Learning with Diverse Noisy Label Samples
提出了一步溯因多目标学习算法(OSAMTL)来处理复杂的噪声标签。本文在定义了不同噪声标签样本(DNLS)的基础上,提出了一步带DNLS的溯因多目标学习(OSAMTL-DNLS),扩展了原有OSAMTL的方法,使其更好地处理复杂的噪声标签。
2021-12-08 cs.AI cs.LG
Learning from Noisy Labels with Deep Neural Networks: A Survey
NAVER AI Lab(NAVER人工智能实验室);Korea Advanced Institute of Science and Technology(韩国科学技术院)
在大量大数据的帮助下,深度学习在许多领域取得了显著的成功。然而,数据标签的质量是一个问题,因为在许多现实场景中缺乏高质量的标签。由于噪声标签严重降低了深度神经网络的泛化性能,从噪声标签中学习(鲁棒训练)正在成为现代深度学习应用中的重要任务。在本调查中,我们首先从监督学习的角度描述了带有标签噪声的学习问题。接下来,我们对62种最先进的鲁棒训练方法进行了全面的回顾,所有这些方法都根据其方法学差异分为五组,然后对用于评估其优越性的六个属性进行了系统比较。随后,我们对噪声率估计进行了深入的分析,并总结了通常使用的评估方法,包括公共噪声数据集和评估指标。最后,我们提出了几个有前途的研究方向,可以作为未来研究的指导方针。所有的内容都可以在https://github.com/songhwanjun/Awesome-Noisy-Labels上找到。
2022-03-10 cs.CV cs.LG stat.ML
Beyond Synthetic Noise: Deep Learning on Controlled Noisy Labels
Google Research(谷歌研究院);Google Cloud AI(谷歌云人工智能);Cornell University(康奈尔大学)
在噪声数据上执行受控实验对于理解跨噪声水平的深度学习至关重要。由于缺乏合适的数据集,以前的研究只在受控的合成标签噪声上研究了深度学习,而现实世界的标签噪声从未在受控环境中进行过研究。本文有三个贡献。首先,我们建立了第一个来自网络的受控真实世界标签噪声的基准。这个新的基准测试使我们能够第一次在受控设置中研究Web标签噪声。第二个贡献是一个简单但有效的方法来克服合成和真正的噪声标签。我们表明,我们的方法在我们的数据集以及两个公共基准测试(CIFAR和WebVision)上取得了最佳结果。第三,我们进行了迄今为止最大规模的研究,以了解在不同噪声水平、噪声类型、网络架构和训练设置的噪声标签上训练的深度神经网络。数据和代码发布于以下链接:http://www.lujiang.info/cnlw.html
2020-08-27 cs.CV cs.LG stat.ML
Optimizing Feature Selection for Binary Classification with Noisy Labels: A Genetic Algorithm Approach
A. I. Virtanen Institute for Molecular Sciences, University of Eastern Finland(A.I. Virtanen分子科学研究所,东芬兰大学);Department of Computer Science, Aalto University(计算机科学系,艾尔托大学);Institute of Biomedicine, University of Eastern Finland(生物医学研究所,东芬兰大学)
针对含噪声标签二分类中的特征选择难题,提出NMFS-GA多目标遗传算法,在合成、乳腺癌及ADNI数据集上验证其可提升分类准确性与可解释性。
2024-01-12 cs.CV cs.LG cs.NE
Evaluating Multi-label Classifiers with Noisy Labels
Cornell University(康奈尔大学)
多标签分类(MLC)是标准分类的推广,其中多个标签可以分配给给定的样本。在现实世界中,处理噪声数据集比处理干净数据集更常见,因为现代数据集是由众包平台上的一大群注释者标记的,但很少有人注意评估带有噪声标签的多标签分类器。利用标签相关性现在成为多标签分类器的标准组件,以实现具有竞争力的性能。然而,这个组件使分类器更容易泛化不良-它过度拟合标签以及标签依赖性。我们确定了三个常见的现实世界的标签噪声的情况下,并显示如何以前的方法表现不佳与嘈杂的标签。为了解决这个问题,我们提出了一个基于上下文的多标签分类器(CbMLC),有效地处理嘈杂的标签时,学习标签的依赖关系,而不需要额外的监督。我们比较CbMLC对其他特定领域的国家的最先进的模型在各种数据集上,在干净和嘈杂的设置。我们表明,在大多数情况下,GbMLC比以前的方法有了实质性的改进。
2021-02-16 cs.LG stat.ML
Symmetric Cross Entropy for Robust Learning with Noisy Labels
JD AI(京东人工智能);The University of Melbourne(墨尔本大学);Cainiao AI(菜鸟人工智能);Shanghai Jiao Tong University(上海交通大学)
在存在噪声标签的情况下训练准确的深度神经网络(DNN)是一项重要且具有挑战性的任务。虽然已经提出了许多方法来学习嘈杂的标签,许多开放的问题仍然存在。在本文中,我们证明了使用交叉熵(CE)的DNN学习在某些类(“简单”类)上表现出对噪声标签的过度拟合,但更令人惊讶的是,它在其他一些类(“困难”类)上也存在显著的学习不足。直觉上,CE需要一个额外的术语来促进硬类的学习,更重要的是,这个术语应该是噪声容忍的,以避免过度拟合到噪声标签。受对称KL发散的启发,我们提出了\textbf{Symmetric cross entropy Learning}(SL)的方法,用噪声鲁棒的反向交叉熵(RCE)对称地提升CE。我们提出的SL方法同时解决了在存在噪声标签的情况下CE的学习不足和过拟合问题。我们提供了SL的理论分析,并在一系列基准和真实世界的数据集上实证显示,SL优于最先进的方法。我们还表明,SL可以很容易地纳入现有的方法,以进一步提高其性能。
2019-08-16 cs.CV cs.LG stat.ML
Noisy Early Stopping for Noisy Labels
University of Edinburgh(爱丁堡大学)
针对噪声标签场景下无噪声验证集获取难、早停实施成本高的问题,提出噪声早停(NES)方法,利用同分布噪声验证集实现接近最优的早停效果,给出理论依据并验证其在标准基准上的稳健性能。
2024-09-10 cs.LG
How does self-supervised pretraining improve robustness against noisy labels across various medical image classification datasets?
Center for Imaging Science, RIT(罗切斯特理工学院成像科学中心);University of Aberdeen(阿伯丁大学);NepAl Applied Mathematics and Informatics Institute for Research (NAAMII)(尼泊尔应用数学与信息学研究所);Biomedical Engineering, RIT(罗切斯特理工学院生物医学工程系)
本文系统研究自监督预训练对医学图像分类中噪声标签鲁棒性的影响,发现DermNet数据集最具挑战性但更鲁棒,并证明对比学习是八种自监督方法中最有效的增强手段。
2024-01-15 cs.CV cs.LG eess.IV
Early-Learning Regularization Prevents Memorization of Noisy Labels
New York University(纽约大学);NYU School of Medicine(纽约大学医学院)
我们提出了一种新的框架,通过深度学习在存在噪声注释的情况下进行分类。当在有噪声的标签上训练时,已经观察到深度神经网络首先在“早期学习”阶段用干净的标签拟合训练数据,然后最终记住带有错误标签的示例。我们证明了早期学习和记忆是高维分类任务中的基本现象,即使在简单的线性模型中也是如此,并在此背景下给出了理论解释。受这些发现的启发,我们开发了一种新的技术,用于嘈杂的分类任务,它利用了早期学习阶段的进展。与现有的方法相比,这些方法在早期学习期间使用模型输出来检测具有干净标签的示例,并忽略或尝试纠正错误标签,我们采取了不同的路线,而是通过正则化来利用早期学习。我们的方法有两个关键要素。首先,我们利用半监督学习技术来产生基于模型输出的目标概率。其次,我们设计了一个正则化项,将模型转向这些目标,隐式地防止错误标签的记忆。由此产生的框架提供了鲁棒性的噪声注释在几个标准的基准和现实世界的数据集,在那里它实现的结果与最先进的。
2020-10-22 cs.CV cs.LG stat.ML