WebVision Database: Visual Learning and Understanding from Web Data
Computer Vision Laboratory, ETH Zurich(苏黎世联邦理工学院计算机视觉实验室);Google Switzerland(谷歌瑞士)
在本文中,我们提出了一个研究学习视觉识别模型,从大规模的噪声网络数据。我们构建了一个名为WebVision的新数据库,其中包含通过使用从基准ILSVRC 2012数据集的1,000个语义概念生成的查询从互联网上抓取的超过$2.4$万个Web图像。Meta信息以及那些web图像(例如,标题、描述、标签等)也是爬行的。还提供了包含人类注释图像的验证集和测试集,以促进算法开发。基于我们的新数据库,我们获得了一些有趣的观察结果:1)嘈杂的网络图像足以训练一个良好的深度CNN模型进行视觉识别; 2)从我们的WebVision数据库学习的模型在转移到新的数据集和任务时,表现出与ILSVRC 2012数据集训练的模型相当甚至更好的泛化能力; 3)领域自适应问题(也称为,数据集偏差),这意味着该数据集可以用作视觉领域自适应的最大基准数据集。我们新的WebVision数据库和相关研究将有利于学习最先进的视觉模型,并基于Web数据进行最少的监督。
2017-08-09 cs.CV
Product Image Recognition with Guidance Learning and Noisy Supervision
Southwest Jiaotong University(西南交通大学);Shenzhen Institutes of Advanced Technology, CAS(中国科学院深圳先进技术研究院);University of Massachusetts at Amherst(马萨诸塞大学阿默斯特分校);Vipshop Inc.(唯品会公司)
本文认为,从日常照片,这是一个重要的问题,在现实世界中的应用程序,但也具有挑战性,由于背景杂乱,类别dilibrium,嘈杂的标签等,我们解决这个问题的两个贡献。首先,我们介绍了一种新的大规模产品图像数据集,称为Product-90。我们利用网络的优势,从几个电子商务网站的评论中下载图像,而不是通过劳动和时间密集型的图像捕获来收集产品图像,这些图像是由消费者随意捕获的。标签由电子商务网站的类别自动分配。Product-90包含90个类别的14万多张图片。由于消费者可能会上传不相关的图像,我们的Product-90不可避免地会引入嘈杂的标签。作为第二个贡献,我们开发了一个简单而有效的\textit{guidance learning}(GL)方法训练卷积神经网络(CNN)与噪声监督。GL方法首先用完整的噪声数据集训练初始教师网络,然后以多任务方式用大规模噪声集和小规模手动验证的干净集训练目标/学生网络。具体而言,在学生网络训练阶段,大规模噪声数据由其指导知识进行监督,该指导知识是其给定的噪声标签和教师网络的软化标签的组合。我们在我们的Products-90和公共数据集上进行了广泛的实验,即Food-101,Food-101 N和Clothing 1 M。我们的指导学习方法在这些数据集上实现了优于最先进方法的性能。
2019-07-26 cs.CV
Combating Noisy Labels in Long-Tailed Image Classification
Xidian University(西安电子科技大学);Zhejiang Lab(之江实验室);Zhejiang University(浙江大学);Fudan University(复旦大学);Northwestern Polytechnical University(西北工业大学)
现有的处理噪声标签的方法通常假设类别分布是均衡的,这对于处理训练样本分布不均衡的实际情况能力不足。为此,本文在早期的工作中,解决了具有长尾分布和标签噪声的图像分类问题。现有的噪声鲁棒学习方法不能在这种情况下工作,因为区分尾类的噪声样本和干净样本是具有挑战性的。为了解决这个问题,我们提出了一种新的学习范式的基础上弱和强数据增强的推理之间的匹配筛选出噪声样本,并引入了一个留噪正则化,以消除识别噪声样本的影响。此外,我们还引入了一种基于在线先验分布的新型预测惩罚,以避免对头类的偏见。与现有的长尾分类方法相比,该机制在实时获取类拟合度方面具有优势。详尽的实验表明,该方法优于国家的最先进的算法,解决分布不平衡的问题,在长尾分类噪声标签。
2022-09-26 cs.CV
MERRIN: A Benchmark for Multimodal Evidence Retrieval and Reasoning in Noisy Web Environments
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Virginia Tech(弗吉尼亚理工大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
MERRIN基准评估搜索增强代理在噪声网络环境中的多模态证据检索与推理能力,通过自然语言查询和多模态证据检索测试,发现现有模型在复杂任务中表现有限,需进一步提升多模态处理能力。
2026-04-15 cs.AI cs.CL cs.CV
Jo-SRC: A Contrastive Approach for Combating Noisy Labels
Nanjing University of Science and Technology(南京理工大学);University of Electronic Science and Technology of China(电子科技大学);The University of Adelaide(阿德莱德大学);University of Technology Sydney(悉尼科技大学)
由于深度神经网络(DNN)中的记忆效应,使用噪声标签进行训练通常会导致模型性能较差。现有的最先进的方法主要采用样本选择策略,其选择小损失样本用于后续训练。然而,现有文献倾向于在每个小批次内进行样本选择,忽略了不同小批次中噪声比的不平衡。此外,高损失样本中的宝贵知识被浪费了。为此,我们提出了一种抗噪声的方法Jo-SRC(Joint Sample Selection and Model Regularization based on Consistency)。具体来说,我们以对比学习的方式训练网络。从两个不同的角度对每个样本进行预测,以估计其干净或分布外的“可能性”。此外,我们提出了一个联合损失,以提高模型的推广性能,通过引入一致性正则化。大量的实验已经验证了我们的方法优于现有的国家的最先进的方法。
2021-03-24 cs.CV
Image to Video Domain Adaptation Using Web Supervision
Microsoft Cognition(微软认知)
训练深度神经网络通常需要大量的标记数据,对于特定的目标域,获得这些标记数据可能是稀缺的或昂贵的。作为替代方案,我们可以利用相对丰富但可能包含噪声结果的网络监督数据(即来自公共搜索引擎的结果)。在这项工作中,我们提出了一种新的两阶段的方法来学习视频分类器使用webly监督的数据。我们认为,学习外观特征,然后依次时间特征,而不是同时,是一个更容易优化这项任务。我们通过首先从网络图像中学习图像模型来展示这一点,该图像模型用于初始化和训练视频模型。我们的模型应用领域自适应来解释源域(网络监督数据)和目标域之间存在的潜在域偏移,并通过添加新的注意力分量来解释噪声。我们报告的结果与UCF-101上最先进的网络监督方法具有竞争力(同时简化了训练过程),并对Kinetics进行了评估以进行比较。
2019-08-05 cs.CV
Co-matching: Combating Noisy Labels by Augmentation Anchoring
Mcmaster University(麦克马斯特大学)
具有噪声标签的深度学习具有挑战性,因为深度神经网络具有记忆噪声标签的高容量。在本文中,我们提出了一个学习算法称为协同匹配,它平衡了两个网络之间的一致性和分歧的增强锚定。具体来说,我们让一个网络从它对弱增强图像的预测中生成锚定标签。同时,我们强制其对等网络,以同一图像的强增强版本作为输入,生成接近锚定标签的预测。然后,我们通过选择小损失实例来同时更新两个网络,以最小化两个无监督匹配损失(即,测量两个网络的一致性)和监督分类损失(即测量分类性能)。此外,无监督匹配损失使得我们的方法不严重依赖于噪声标签,这防止了噪声标签的记忆。在三个基准数据集上的实验表明,协同匹配达到了与最先进的方法相当的结果。
2021-03-23 cs.CV cs.LG
Combating Noise: Semi-supervised Learning by Region Uncertainty Quantification
Beijing National Research Center for Information Science and Technology (BNRist)(北京信息科学与技术国家研究中心);Tsinghua University(清华大学)
半监督学习旨在利用大量未标记的数据来提高性能。现有的工作主要集中在图像分类。本文深入研究了用于目标检测的半监督学习,其中标记数据的收集更加劳动密集,现有方法很容易被伪标记产生的噪声区域所干扰。为了对抗噪声标记,我们提出了抗噪声的半监督学习量化区域的不确定性。我们首先研究了与伪标签相关的不同形式的噪声所带来的不利影响。然后,我们建议量化的不确定性的区域,通过识别不同强度的区域的抗噪性能。通过引入区域不确定性量化和促进多峰概率分布输出,将不确定性引入训练,进一步实现抗噪学习。PASCAL VOC和MS COCO上的实验证明了我们的方法的非凡性能。
2021-11-01 cs.CV
Webly Supervised Multi-Label Recognition: Evaluation Benchmark and Dual-Branch Multi-Label Contrastive Learning
Guangdong University of Technology(广东工业大学);Sun Yat-Sen University(中山大学)
针对网络监督多标签识别缺乏统一基准等问题,构建了WS-MLR基准并重新实现基线,提出双分支多标签对比学习框架DBMLCL,经实验验证其在该基准上相比基线有更优性能。
2026-07-24 cs.CV
Towards a Robust Differentiable Architecture Search under Label Noise
The Australian National University(澳大利亚国立大学);Monash University(莫纳什大学);Data61-CSIRO(澳大利亚联邦科学与工业研究组织Data61)
神经架构搜索(NAS)是设计强大神经架构的游戏规则改变者。NAS设计的架构在准确性、大小、内存占用和FLOP方面优于最好的手动网络设计或与其竞争。也就是说,以前的研究集中在为干净的高质量数据开发NAS算法,这是一个限制性的和有些不切实际的假设。在本文中,专注于可区分的NAS算法,我们表明,香草NAS算法遭受的性能损失,如果类标签是嘈杂的。为了解决这个问题,我们利用信息瓶颈的原则作为正则化。这导致我们开发了一个噪声注入操作,该操作包括在学习过程中,防止网络从噪声样本中学习。我们的经验评估表明,噪声注入操作不会降低NAS算法的性能,如果数据确实是干净的。相比之下,如果数据是嘈杂的,我们的算法学习的架构舒适地优于专门配备了复杂机制的算法,在标签噪声的存在下学习。与许多设计用于在存在噪声标签的情况下工作的算法相比,我们的算法不需要关于噪声的属性及其特性的先验知识。
2021-10-23 cs.CV cs.LG
Combating Noisy Labels through Fostering Self- and Neighbor-Consistency
School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院);State Key Laboratory of Intelligent Manufacturing of Advanced Construction Machinery(先进施工机械智能制造国家重点实验室);School of Computer Science, Faculty of Engineering, the University of Sydney(悉尼大学工程学院计算机科学系);School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院)
本文提出Jo-SNC方法,通过自一致性与邻居一致性提升模型对噪声标签的鲁棒性,结合自适应阈值和三元组正则化,有效识别并处理分布内和分布外噪声样本。
2026-01-19 cs.CV
Combating noisy labels by agreement: A joint training method with co-regularization
Nanyang Technological University(南洋理工大学);Tsinghua University(清华大学)
带有噪声标签的深度学习是弱监督学习中一个实际上具有挑战性的问题。最先进的方法“解耦”和“合作教学+”声称,“分歧”的策略是至关重要的,以减轻与嘈杂的标签学习的问题。在本文中,我们从不同的角度出发,提出了一种称为JoCoR的鲁棒学习范式,旨在减少训练过程中两个网络的多样性。具体来说,我们首先使用两个网络对相同的小批量数据进行预测,并为每个训练样本计算联合损失。然后,我们选择小损失的例子,同时更新两个网络的参数。在联合损失的训练下,由于协正则化的作用,这两个网络会越来越相似。在MNIST、CIFAR-10、CIFAR-100和Clothing 1 M等基准数据集的损坏数据上进行的大量实验结果表明,JoCoR优于许多最先进的噪声标签学习方法。
2020-04-22 cs.CV cs.LG stat.ML
Set a Thief to Catch a Thief: Combating Label Noise through Noisy Meta Learning
Nanyang Technological University(南洋理工大学);University of Surrey(萨里大学)
针对现有元学习标签校正方法需额外干净验证集的局限,提出噪声元标签校正框架STCT,用同分布噪声数据作验证集,通过交替训练解耦双层优化,在高噪声场景下性能超越现有最优水平。
2025-02-22 cs.CV cs.LG
Learning to Combat Noisy Labels via Classification Margins
University of California, San Diego(加州大学圣迭戈分校)
众所周知,在嘈杂标签上训练的深度神经网络很快就会失去区分干净实例和嘈杂实例的能力。在早期学习阶段结束后,网络会记住噪声实例,这导致其泛化性能显著下降。为了解决这个问题,我们提出了MARVEL(MARGINS通过早期学习),一个新的强大的学习方法,其中的记忆的噪声的情况下,受到抑制。我们提出了一个新的测试统计量,跟踪良好的“适合”的每一个实例的时代历史的基础上,其分类利润。如果在一系列连续的学习时期中,其分类裕度很小,则该实例被宣布为有噪声,并且网络放弃对其进行学习。因此,网络首先标记可能有噪声的实例,然后等待查看是否可以改进对该实例的学习,如果不能,则网络有信心地学习可以安全地放弃该实例。我们还提出了MARVEL+,其中可以对困难的实例进行加权,使网络能够专注于并改进其对它们的学习,从而提高其泛化能力。在具有合成标签噪声的基准数据集和真实世界数据集上的实验结果表明,MARVEL在不同噪声水平下始终优于其他基线,在不对称噪声下具有显着更大的裕度。
2021-09-02 cs.CV cs.LG stat.ME
Is your noise correction noisy? PLS: Robustness to label noise with two stage detection
Dublin City University(都柏林城市大学);Insight SFI Centre for Data Analytics(Insight SFI数据分析中心)
设计能够在来自网络的未经策划的数据集上训练准确的神经网络的鲁棒算法一直是许多研究的主题,因为它减少了对耗时的人力劳动的需求。许多以前的研究成果的重点一直是对不同类型的标签噪声的检测,然而,本文提出了提高校正精度的噪声样本,一旦他们被检测到。在许多国家的最先进的贡献,采用两个阶段的方法,其中检测的噪声样本之前猜测一个正确的伪标签在半监督的方式。然后在监督目标中使用猜测的伪标签,而不确保标签猜测可能是正确的。这可能导致确认偏差,从而降低噪声鲁棒性。在这里,我们提出了伪损失,一个简单的度量,我们发现是强相关的伪标签的正确性在嘈杂的样本。使用伪损失,我们在整个训练过程中动态降低置信度不足的伪标签的权重,以避免确认偏差并提高网络准确性。我们还建议使用置信度引导的对比目标,该目标在置信度校正样本的类界(监督)和置信度不足的标签校正的无监督表示之间的插值目标上学习鲁棒表示。实验证明了我们的伪损失选择(PLS)算法在各种基准数据集上的最新性能,包括被分布内和分布外噪声综合破坏的策划数据,以及两个真实世界的网络噪声数据集。我们的实验是完全可重复的github.com/PaulAlbert31/SNCF
2022-10-15 cs.CV cs.LG
Alleviating Noisy Data in Image Captioning with Cooperative Distillation
图像描述系统已经取得了实质性的进展,这主要归功于像Microsoft COCO或Vizwiz这样的精选数据集的可用性,这些数据集具有对其相应图像的准确描述。不幸的是,这种干净标记的数据的稀缺性导致训练算法产生的标题可以是简洁的,并且特定于图像中的细节。我们提出了一种新技术,合作蒸馏,它将干净的策划数据集与Google概念标题数据集(GCC)的网络规模自动提取的标题相结合,该数据集可能对图像的描述很差,但大小丰富,因此提供了丰富的词汇表,从而产生更具表现力的标题。
2020-12-21 cs.CV cs.LG
Combating Label Noise With A General Surrogate Model For Sample Selection
Zhejiang University(浙江大学);Picsart AI Research (PAIR)(Picsart人工智能研究院(PAIR))
本文提出利用免训练的视觉-语言代理模型CLIP自动筛选干净样本,并设计边际自适应损失校正选择偏差,从而在无需CLIP参与推理的情况下有效对抗标签噪声。
2024-12-30 cs.CV
Regroup Median Loss for Combating Label Noise
University of Macau(澳门大学);Macau University of Science and Technology(澳门科技大学)
针对小损失准则易误选类干净噪声样本的问题,提出RML重组均值与中位数损失并结合样本选择的半监督框架,显著提升噪声标签下的性能。
2023-12-11 cs.CV cs.LG
Combating Semantic Contamination in Learning with Label Noise
School of Computer Science, Beijing Institute of Technology(北京理工大学计算机学院)
针对标签噪声导致的语义污染问题,提出协作交叉学习方法,通过半监督学习从跨视图和跨模型嵌入中提取语义关联,在合成和真实噪声数据集上优于现有方法。
2025-03-28 cs.AI cs.CV
Learning to Learn from Noisy Web Videos
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学);Simon Fraser University(西蒙菲莎大学)
理解同时非常多样化和错综复杂的细粒度的可能人类行为集是计算机视觉中的一个关键的开放问题。手动标记训练视频对于某些动作类是可行的,但不能扩展到动作的完整长尾分布。解决这个问题的一个有前途的方法是利用来自Web查询的噪声数据来学习新的动作,使用半监督或“webly监督”方法。然而,这些方法通常不学习特定领域的知识,或者依赖于迭代的手动调整的数据标记策略。在这项工作中,我们提出了一个基于强化学习的公式,用于从嘈杂的网络搜索结果中选择正确的例子来训练分类器。我们的方法使用Q-learning在一个小的标记训练数据集上学习数据标记策略,然后使用它来自动标记新视觉概念的噪声Web数据。在具有挑战性的Sports-1 M动作识别基准以及其他细粒度和新出现的动作类上的实验表明,我们的方法能够为嘈杂的数据学习良好的标记策略,并使用它来学习准确的视觉概念分类器。
2017-06-09 cs.CV
Learning from Noisy Web Data with Category-level Supervision
Rice University(莱斯大学);Tsinghua University(清华大学)
随着大量照片被上传到公共网站(例如,Flickr、Bing和Google),从网络数据中学习已经成为一个越来越流行的研究方向,因为网络资源是免费的,这也被称为网络监督学习。然而,由于Web数据的标签噪声,Web监督学习与传统监督学习的性能差距仍然很大。确切地说,从公共网站抓取的图像的标签非常嘈杂,而且往往不准确。一些现有的作品倾向于促进学习从Web数据的帮助下,额外的信息,如增强或净化Web数据凭借实例级的监督,这通常是在繁重的手工注释的需求。相反,我们建议通过利用更容易访问的类别级监管来解决标签噪音。特别是,我们建立我们的方法变分自编码器(VAE),其中的分类网络附加在VAE的隐藏层的方式,分类网络和VAE可以共同利用类别级的混合语义信息。在三个基准数据集上的大量实验清楚地证明了我们所提出的方法的有效性。
2018-05-24 cs.CV
Webly Supervised Image Classification with Metadata: Automatic Noisy Label Correction via Visual-Semantic Graph
SenseTime Research(商汤科技研究院);Rice University(莱斯大学);The Chinese University of Hong Kong(香港中文大学);Shanghai Jiao Tong University(上海交通大学)
Webly监督学习因其在数据扩充方面的高效性而成为近年来研究的热点。然而,采用搜索查询或主题标签作为图像的Web标签进行训练会带来大量噪声,从而降低DNN的性能。特别是,由于查询词的语义混乱,一个查询检索的图像可能包含大量属于其他概念的图像。例如,在Flickr上搜索“老虎猫”将返回大量老虎图像,而不是猫图像。这些真实的噪声样本通常在视觉空间中具有清晰的视觉语义集群,这会误导DNN学习准确的语义标签。为了纠正现实世界中的嘈杂标签,昂贵的人工注释似乎是必不可少的。幸运的是,我们发现,元数据可以提供额外的知识,发现干净的Web标签在一个劳动自由的方式,使其成为可能,以自动提供正确的语义指导之间的大量标签嘈杂的Web数据。在本文中,我们提出了一个自动标签校正VSGraph-LC的基础上的视觉语义图。VSGraph-LC从锚点选择开始,参考元数据和正确标签概念之间的语义相似性,然后使用图神经网络(GNN)在视觉图上从锚点传播正确标签。在真实网络监督学习数据集Webvision-1000和NUS-81-Web上的实验表明了VSGraph-LC的有效性和鲁棒性。此外,VSGraph-LC显示了其在开集验证集上的优势。
2020-10-12 cs.CV
Combating noisy labels in object detection datasets
Silesian University of Technology(西里西亚工业大学);Warsaw University of Technology(华沙工业大学)
本文提出CLOD算法检测目标检测数据集中缺失、虚假、错标和错位边界框并建议修正,可在不改网络架构的情况下显著提升mAP。
2023-12-11 cs.AI cs.CV
MagicFight: Personalized Martial Arts Combat Video Generation
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(深圳先进技术研究院);China Telecom Cloud Technology Co., Ltd.(中国电信云技术有限公司);Shenzhen University of Advanced Technology(深圳大学)
MagicFight通过定制数据集和优化模型,解决两人武术战斗视频生成中的身份混淆和动作不匹配问题,生成高保真的战斗视频。
2026-01-05 cs.CV
UNICON: Combating Label Noise Through Uniform Selection and Contrastive Learning
UCF(中佛罗里达大学);UWA(西澳大学)
有监督的深度学习方法需要大量带注释的数据库;因此,标签噪声是不可避免的。使用这种噪声数据进行训练会对深度神经网络的泛化性能产生负面影响。为了对抗标签噪声,最近的最先进的方法采用某种样本选择机制来选择可能干净的数据子集。接下来,使用现成的半监督学习方法进行训练,其中拒绝的样本被视为未标记的数据。我们的综合分析表明,目前的选择方法不成比例地选择样本容易(快速学习)类,而拒绝那些相对较难的。这会在所选的干净集合中产生类别不平衡,进而在高标签噪声下降低性能。在这项工作中,我们提出了UNICON,一个简单而有效的样本选择方法,是强大的高标签噪声。为了解决容易和困难的样本的不成比例的选择,我们引入了基于Jensen-Shannon散度的均匀选择机制,该机制不需要任何概率建模和超参数调整。我们补充我们的选择方法与对比学习,以进一步打击记忆嘈杂的标签。在多个基准数据集上的广泛实验证明了UNICON的有效性;我们在CIFAR 100数据集上获得了11.4%的改进,噪声率为90%。我们的代码是公开的
2022-04-27 cs.CV cs.LG
Learning from Large-scale Noisy Web Data with Ubiquitous Reweighting for Image Classification
Beihang University(北京航空航天大学);Shenzhen Cyberspace Laboratory(深圳网络空间实验室);Peking University(北京大学);Baidu(百度)
深度学习技术的许多进步都源于在大规模数据集上解决图像分类任务的努力。然而,这种干净的数据集的建设是昂贵的和耗时的,因为互联网是不堪重负的嘈杂的图像与不充分和不准确的标签。在本文中,我们提出了一个无处不在的重新加权网络(URNet),学习图像分类模型,从大规模的噪声数据。通过观察网络数据,我们发现有五个关键挑战,即,不平衡的类大小、高的类内多样性和类间相似性、不精确的实例、不充分的代表性实例以及模糊的类标签。为了缓解这些挑战,我们假设每个训练实例都有可能通过根据不同的类大小,大实例集群,其置信度,小实例包和标签重新加权每个实例的影响来减轻数据偏差和噪声。通过这种方式,可以逐渐减轻Web数据中的偏差和噪声的影响,从而稳步提高URNet的性能。在WebVision 2018挑战赛中,使用来自5000个类别的1600万张噪声训练图像的实验结果表明,我们的方法优于最先进的模型,并在图像分类任务中排名第一。
2019-04-03 cs.CV
L2B: Learning to Bootstrap Robust Models for Combating Label Noise
University of California, Santa Cruz(加州大学圣克鲁兹分校);Johns Hopkins University(约翰霍普金斯大学);Stanford University(斯坦福大学);UT Austin(德克萨斯大学奥斯汀分校);The University of Hong Kong(香港大学)
本文提出Learning to Bootstrap(L2B)方法,通过元学习动态调整真实标签与生成标签及样本间的重要性权重,实现隐式重标注,从而在分类和分割等任务中有效应对标签噪声,且只需极少甚至无需验证样本。
2024-03-27 cs.CV
Exploiting Multi-modal Curriculum in Noisy Web Data for Large-scale Concept Learning
Carnegie Mellon University(卡内基梅隆大学)
在多媒体和机器学习领域,从大量但嘈杂的Web数据中自动学习视频概念检测器而无需额外的手动注释是一个新颖但具有挑战性的领域。网络上的大量视频与丰富但嘈杂的上下文信息相关联,例如标题,其提供关于视频内容的弱注释或标签。为了利用大噪声的Web标签,本文提出了一种新的方法,称为WELL标记学习(WELL),这是建立在最先进的机器学习算法的启发,人类的学习过程。WELL引入了许多新颖的多模态方法,以将有意义的先验知识(称为课程)从嘈杂的网络视频中整合进来。为了探讨这个问题,我们实证研究从YouTube和Flickr收集的视频的多模态功能构建的课程。WELL的有效性和可扩展性已经在两个公共基准上得到了广泛的证明,包括最大的多媒体数据集和最大的手动标记视频集。全面的实验结果表明,WELL优于国家的最先进的研究,从嘈杂的网络视频数据的学习概念的静态显着的利润率。此外,实验结果还验证了WELL算法对视频数据中的噪声水平具有鲁棒性。值得注意的是,在足够多的噪声网络标签上训练的WELL能够达到与在干净的手动标记数据上训练的监督学习方法相当的准确性。
2016-07-16 cs.CV cs.LG
Noisy Label Processing for Classification: A Survey
Beijing University of Posts and Telecommunications(北京邮电大学)
本文综述了图像分类任务中对抗噪声标签的深度学习方法与噪声模式,并提出一种由真实数据引导的合成噪声生成算法,在CIFAR-10N上构建新基准并评估典型噪声鲁棒方法。
2024-04-05 cs.AI cs.CV
Fine-grained Classification using Heterogeneous Web Data and Auxiliary Categories
Rice University(莱斯大学)
细粒度分类仍然是一个非常具有挑战性的问题,因为缺乏良好的标记训练数据造成的注释大量的细粒度类别的高成本。在极端情况下,给定一组测试类别,而没有任何标记良好的训练数据,现有的大多数工作可以分为以下两个研究方向:1)抓取测试类别的带噪声标记的Web数据作为训练数据,这被称为Web监督学习; 2)将带有良好标记的训练数据的辅助类别中的知识转移到测试类别中,这对应于零样本学习设置。尽管如此,上述两个研究方向仍有关键问题需要解决。对于第一个方向,web数据具有噪声标签并且与测试数据的数据分布相当不同。对于第二个方向,与传统的监督学习相比,零样本学习正在努力实现令人信服的结果。上述两个方向的问题促使我们开发一种新的方法,该方法可以联合利用来自测试类别的带噪网络训练数据和来自辅助类别的标记良好的训练数据。特别地,一方面,我们抓取测试类别的Web数据作为噪声训练数据。另一方面,我们借助自由语义信息(例如,向量)的所有类别。此外,考虑到web数据通常与附加文本信息(例如,标题和标签),我们通过使用Web数据的周围文本信息作为特权信息来扩展我们的方法。大量的实验表明,我们提出的方法的有效性。
2018-11-19 cs.CV
Learning without Prejudice: Avoiding Bias in Webly-Supervised Action Recognition
Technische Universität München(慕尼黑工业大学);Johns Hopkins University(约翰斯·霍普金斯大学);University of Padova(帕多瓦大学)
Webly-监督学习最近出现作为传统监督学习的替代范例,其基于具有手动注释的大规模数据集。关键的想法是,像CNN这样的模型可以从网络上的嘈杂视觉数据中学习。在这项工作中,我们的目标是利用网络数据的视频理解任务,如动作识别和检测。网络监督学习的主要问题之一是从网络中清除带噪声的标记数据。最先进的范例依赖于在噪声数据上训练第一分类器,然后用于清理剩余的数据集。我们的关键见解是,这个过程使第二个分类器偏向于第一个分类器理解的样本。在这里,我们训练两个独立的CNN,一个是基于Web图像和视频帧的RGB网络,另一个是使用来自光流的时间信息的网络。我们表明,独立训练网络远远优于使用我们的RGB网络为流分类器选择帧。此外,我们还展示了从异构公共Web数据库中使用不同数据源丰富训练集的好处。我们证明了我们的框架在两个公共基准(UCF-101和Thumos'14)上优于所有其他webly监督方法。
2017-06-14 cs.CV
ARTIC3D: Learning Robust Articulated 3D Shapes from Noisy Web Image Collections
UC Merced(加州大学默塞德分校);Google Research(谷歌研究院);Waymo(Waymo公司);Yonsei University(延世大学)
本文提出自监督框架ARTIC3D,利用Stable Diffusion先验和基于骨架的表示,从稀疏含噪野外图像中重建鲁棒、高保真的铰接式3D形状与纹理。
2023-06-07 cs.CV
Exploiting Web Images for Fine-Grained Visual Recognition by Eliminating Noisy Samples and Utilizing Hard Ones
Nanjing University of Science and Technology(南京理工大学);University of Electronic Science and Technology of China(电子科技大学);University of Technology Sydney(悉尼科技大学)
在从属级别标记对象通常需要专业知识,而在使用随机注释器时并不总是可用。因此,直接从Web图像中学习以进行细粒度识别引起了广泛的关注。然而,网络图像中标签噪声和硬样本的存在是训练鲁棒细粒度识别模型的两个障碍。因此,在本文中,我们提出了一种新的方法,用于在训练过程中从真实世界的Web图像中删除不相关的样本,同时使用有用的硬样本来更新网络。因此,我们的方法可以减轻不相关的嘈杂的Web图像和硬的例子,以实现更好的性能的有害影响。在三个常用的细粒度数据集上进行的大量实验表明,我们的方法远远优于当前最先进的网络监督方法。
2021-01-23 cs.CV cs.MM
Noise-Tolerant Hybrid Prototypical Learning with Noisy Web Data
Zhejiang University(浙江大学)
针对少量干净标注与大量带噪网络图像的分类问题,提出 SimNoiPro 相似度最大化损失,构建抗噪混合原型并端到端建模图像关系,在两个扩展小样本基准上优于已有方法。
2025-01-05 cs.CV cs.LG
CurriculumNet: Weakly Supervised Learning from Large-Scale Web Images
Malong Technologies(码隆科技);Shenzhen Malong Artificial Intelligence Research Center(深圳码隆人工智能研究中心)
我们提出了一种简单而有效的方法,能够在大规模弱监督网络图像上训练深度神经网络,这些图像是通过使用文本查询从互联网上原始抓取的,无需任何人工注释。我们通过利用课程学习开发了一个有原则的学习策略,目标是有效地处理大量的噪声标签和数据不平衡。我们设计了一个新的学习课程,通过测量数据的复杂性,使用其在特征空间中的分布密度,并在一个无监督的方式排名的复杂性。这允许在大规模网络图像上有效地实施课程学习,从而产生高性能的CNN模型,其中噪声标签的负面影响被大幅降低。重要的是,我们通过实验表明,那些具有高噪声标签的图像可以通过作为正则化的方式来惊人地提高模型的泛化能力。我们的方法在四个基准测试中获得了最先进的性能:WebVision,ImageNet,Clothing-1 M和Food-101。通过多个模型的集成,我们在WebVision挑战中实现了5.2%的前5名出错率,用于1000个类别的分类。这个结果是最好的表现了很大的差距,超过了近50%的相对出错率第二位。代码和模型可在https://github.com/MalongTech/CurriculumNet上获得。
2018-10-18 cs.CV
On Deep Representation Learning from Noisy Web Images
CEA LIST(法国原子能与替代能源委员会信息实验室)
不断增长的Web图像内容可能是扩展深度神经网络的下一个重要数据源,最近在ImageNet分类挑战和相关任务中取得了巨大成功。然而,由于其监督机制,这种前景尚未在卷积网络(convnet)上得到验证-这是表现最好的深度模型之一。虽然无监督替代方案在将学习模型推广到新领域方面不如convnet好,但我们使用convnet来利用半监督表示学习。我们的方法是使用大量的未标记和嘈杂的Web图像训练convnets作为一般的特征检测器,尽管来自数据的挑战,如高水平的错误标记的数据,离群值,和数据偏差。在几个数据规模,不同的网络架构和数据重新排序技术进行了广泛的实验。在各种主题的九个公共数据集上评估学习的表示。我们在314万张Web图像上训练的convnets获得的最佳结果优于在ILSVRC 2012的120万张干净图像上训练的AlexNet,并且正在缩小与VGG-16的差距。这些突出的结果表明了在实践中使用深度学习的预算解决方案,并激励了半监督表示学习的更多研究。
2016-07-15 cs.CV cs.MM
PropMix: Hard Sample Filtering and Proportional MixUp for Learning with Noisy Labels
Universität Ulm(乌尔姆大学);University of Adelaide(阿德莱德大学)
最具竞争力的噪声标签学习方法依赖于清洁和噪声样本的无监督分类,其中分类为噪声的样本被重新标记并与清洁样本“混合匹配”。这些方法在大噪声率问题中有两个问题:1)噪声集合更可能包含被不正确地重新标记的硬样本,以及2)由于MixMatch受到小的干净集合大小的约束,因此由MixMatch产生的样本的数量往往会减少。在本文中,我们引入了学习算法PropMix来处理上述问题。PropMix过滤掉硬噪声样本,目的是增加正确重新标记易噪声样本的可能性。此外,PropMix将干净和重新标记的易噪声样本放置在一个用MixUp增强的训练集中,消除了干净集大小的限制,并包括大部分正确重新标记的易噪声样本。我们还包括自我监督的预训练,以提高对高噪声标签场景的鲁棒性。我们的实验表明,PropMix在CIFAR-10/-100(具有对称,不对称和语义标签噪声),Red Mini-ImageNet(来自受控噪声Web标签),Clothing 1 M和WebVision上具有最先进的(SOTA)结果。在严重的标签噪声基准测试中,我们的结果明显优于其他方法。该代码可在https://www.example.com上获得。github.com/filipe-research/PropMix
2021-10-22 cs.CV
PCGAN-CHAR: Progressively Trained Classifier Generative Adversarial Networks for Classification of Noisy Handwritten Bangla Characters
Louisiana State University(路易斯安那州立大学)
由于特征的稀疏性,噪声对手写体字符的分类有很大的抑制作用。为了解决这个问题,大多数技术在分类之前对数据进行去噪。在本文中,我们通过训练一个能够对噪声字符进行分类的一体化模型来巩固这种方法。对于分类,我们逐步训练分类器生成对抗网络的字符从低到高的分辨率。我们表明,通过独立地学习每个分辨率下的特征,即使在存在噪声的情况下,经过训练的模型也能够准确地对字符进行分类。我们通过对MNIST、手写孟加拉数字和基本字符数据集的噪声版本进行分类,实验证明了我们方法的有效性。
2019-08-11 cs.CV cs.IR
Joint Class-Affinity Loss Correction for Robust Medical Image Segmentation with Noisy Labels
Department of Electrical Engineering, City Univeristy of Hong Kong, Hong Kong
以有限的注释成本收集的噪声标签阻止医学图像分割算法学习精确的语义相关性。以前的分割技术的学习与噪声标签只是执行一个像素的方式来保持语义,如像素的标签校正,但忽略了成对的方式。事实上,我们观察到逐对方式捕获像素之间的亲和关系可以大大降低标签噪声率。出于这一观察,我们提出了一个新的观点,通过合并像素明智的和成对的方式,其中监督来自嘈杂的类和亲和标签,分别噪声缓解。统一像素方式和成对方式,我们提出了一个强大的联合类亲和分割(JCAS)框架,以打击标签噪声问题在医学图像分割。考虑到成对方式的亲和力包含上下文依赖性,设计了一个差分亲和力推理(DAR)模块,通过推理类内和类间的亲和力关系来校正像素级分割预测。为了进一步提高抗噪声能力,设计了类亲和损失校正(CALC)策略,通过类和亲和标签中建模的噪声标签分布来校正监督信号。同时,CALC策略通过理论推导的一致性正则化,将逐像素和逐对方式相互作用。在合成和现实世界的噪声标签下进行的大量实验证实了所提出的JCAS框架的有效性,其性能上限的差距最小。源代码可从\url{https://github.com/CityU-AIM-Group/JCAS}获得。
2022-06-16 cs.CV
Unleashing the Potential of Open-set Noisy Samples Against Label Noise for Medical Image Classification
Northwestern Polytechnical University(西北工业大学);Ningbo Institute of Northwestern Polytechnical University(西北工业大学宁波研究院)
针对医学图像分类中闭集与开集混合标签噪声难处理、开集噪声样本利用不充分的问题,提出扩展噪声鲁棒对比与开放集特征增强框架,在两类数据集上性能均优于现有四种方法。
2024-10-30 cs.CV
Soft Curriculum for Learning Conditional GANs with Noisy-Labeled and Uncurated Unlabeled Data
The University of Tokyo(东京大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
提出软课程学习框架,通过实例加权、标签纠正与无标签数据分配,使条件GAN可在噪声标签和未筛选无标签数据上训练,并以少于一半标签达到相当性能。
2023-07-17 cs.CV
Beyond Synthetic Noise: Deep Learning on Controlled Noisy Labels
Google Research(谷歌研究院);Google Cloud AI(谷歌云人工智能);Cornell University(康奈尔大学)
在噪声数据上执行受控实验对于理解跨噪声水平的深度学习至关重要。由于缺乏合适的数据集,以前的研究只在受控的合成标签噪声上研究了深度学习,而现实世界的标签噪声从未在受控环境中进行过研究。本文有三个贡献。首先,我们建立了第一个来自网络的受控真实世界标签噪声的基准。这个新的基准测试使我们能够第一次在受控设置中研究Web标签噪声。第二个贡献是一个简单但有效的方法来克服合成和真正的噪声标签。我们表明,我们的方法在我们的数据集以及两个公共基准测试(CIFAR和WebVision)上取得了最佳结果。第三,我们进行了迄今为止最大规模的研究,以了解在不同噪声水平、噪声类型、网络架构和训练设置的噪声标签上训练的深度神经网络。数据和代码发布于以下链接:http://www.lujiang.info/cnlw.html
2020-08-27 cs.CV cs.LG stat.ML
Generalized Cross Entropy Loss for Training Deep Neural Networks with Noisy Labels
Cornell University(康奈尔大学)
深度神经网络(DNN)在许多学科的各种应用中取得了巨大的成功。然而,它们卓越的性能伴随着需要正确注释的大规模数据集的昂贵成本。此外,由于DNN的丰富容量,训练标签中的错误可能会影响性能。为了解决这个问题,最近提出了平均绝对误差(MAE)作为常用的分类交叉熵(CCE)损失的噪声鲁棒替代方案。然而,正如我们在本文中所示,MAE在DNN和具有挑战性的数据集上的表现可能很差。在这里,我们提出了一个理论上接地的噪声鲁棒损失函数,可以被看作是一个泛化的MAE和CCE。提出的损失函数可以很容易地应用于任何现有的DNN架构和算法,同时在各种噪声标签场景中产生良好的性能。我们报告了CIFAR-10,CIFAR-100和FASHION-MNIST数据集和合成生成的噪声标签进行的实验结果。
2018-11-29 cs.CV cs.LG stat.ML
Robust Medical Image Classification from Noisy Labeled Data with Global and Local Representation Guided Co-training
The Chinese University of Hong Kong(香港中文大学);The University of Hong Kong(香港大学)
深度神经网络在各种自然图像和医学图像计算任务中取得了显着的成功。然而,这些成就不可避免地依赖于准确注释的训练数据。如果遇到一些噪声标记的图像,网络训练过程将遭受困难,导致次优分类器。这个问题在医学图像分析领域中甚至更加严重,因为医学图像的注释质量严重依赖于注释者的专业知识和经验。在本文中,我们提出了一种新的协作训练模式,全局和局部表示学习的鲁棒的医学图像分类从噪声标记的数据,以打击缺乏高质量的注释的医学数据。具体来说,我们采用自集成模型与噪声标签过滤器,以有效地选择干净和嘈杂的样本。然后,通过协同训练策略来训练干净样本,以消除不完美标记样本的干扰。值得注意的是,我们进一步设计了一种新的全局和局部表示学习方案,以隐式正则化网络,从而以自监督的方式利用噪声样本。我们评估了我们提出的鲁棒学习策略在四个公共医学图像分类数据集上的三种类型的标签噪声,即随机噪声,计算机生成的标签噪声和观察者间变异性噪声。我们的方法优于其他来自噪音标签方法的学习,并且我们还进行了广泛的实验来分析我们方法的每个组件。
2022-05-10 cs.CV eess.IV
Neighborhood Collective Estimation for Noisy Label Identification and Correction
Sun Yat-sen University(中山大学);The University of Hong Kong(香港大学);Deepwise AI Lab(深睿医疗人工智能实验室)
带噪声标签的学习(LNL)旨在设计策略,通过减轻模型过拟合对噪声标签的影响来提高模型性能和泛化能力。LNL的关键成功在于从大量噪声数据中识别尽可能多的干净样本,同时纠正错误分配的噪声标签。最近的进展采用预测的标签分布的个别样品进行噪音验证和嘈杂的标签校正,容易引起确认偏差。为了缓解这个问题,我们提出了邻域集体估计,其中候选样本的预测可靠性通过将其与其特征空间最近邻居进行对比来重新估计。具体来说,我们的方法分为两个步骤:1)邻域集体噪声验证将所有训练样本分离到干净或有噪声的子集中,2)邻域集体标签校正重新标记有噪声的样本,然后使用辅助技术来辅助进一步的模型优化。在四个常用的基准数据集上进行了广泛的实验,CIFAR-10、CIFAR-100、Clothing-1M和Webvision-1.0的实验表明,我们提出的方法大大优于最先进的方法。
2022-08-05 cs.CV
Learning with Neighbor Consistency for Noisy Labels
Google Research(谷歌研究院);University of Adelaide(阿德莱德大学)
深度学习的最新进展依赖于大型标记数据集来训练高容量模型。然而,以节省时间和成本的方式收集大型数据集通常会导致标签噪声。我们提出了一种从噪声标签中学习的方法,该方法利用特征空间中训练样本之间的相似性,鼓励每个样本的预测与其最近的邻居相似。与使用多个模型或不同阶段的训练算法相比,我们的方法采用了一个简单的额外正则化项的形式。它可以被解释为一个归纳版本的经典,转导标签传播算法。我们在评估合成(CIFAR-10,CIFAR-100)和现实(mini-WebVision,WebVision,Clothing 1 M,mini-ImageNet-Red)噪声的数据集上彻底评估了我们的方法,并在所有这些数据集上实现了具有竞争力或最先进的精度。
2022-07-06 cs.CV cs.LG
Learning Deep Visual Object Models From Noisy Web Data: How to Make it Work
Sapienza Rome University(罗马一大(萨皮恩扎罗马大学));University of Birmingham(伯明翰大学);Department of Computer, Control and Management Engineering(计算机、控制与管理工程系)
深度网络在大规模数据汇集上训练时蓬勃发展。这使得ImageNet在视觉对象分类的深度架构开发中发挥了核心作用。然而,ImageNet是在特定的时间段内创建的,因此它容易老化,以及数据集偏差问题。超越固定的训练数据集将导致更强大的视觉系统,特别是当部署在新环境中的机器人上时,这些机器人必须对它们在那里遇到的物体进行训练。为了实现这一点,摆脱对手动注释器的需求是很重要的。最近的工作已经开始研究如何使用大量的图像在Web上可用的地方手动图像注释。我们通过两个发现为这一研究线索做出了贡献:(1)一项研究将给定水平的噪声标签与两种不同类型噪声的两种深度架构的预期准确性下降相关联,该研究清楚地将GoogLeNet确定为从Web数据中学习的合适架构;(2)基于视觉和自然语言处理概念扩展策略,创建具有最小噪声和最大视觉可变性的Web数据集的配方。通过结合这两个结果,我们获得了一种从Web自动学习强大的深度对象模型的方法。我们确认我们的方法的有效性,通过对象分类实验,使用我们的Web衍生版本的ImageNet上流行的机器人视觉基准数据库,并在移动机器人上的终身对象发现任务。
2017-02-28 cs.CV cs.DB cs.LG
Data-driven Meta-set Based Fine-Grained Visual Classification
Nanjing University of Science and Technology(南京理工大学);University of Adelaide(阿德莱德大学)
构建细粒度的图像数据集通常需要特定领域的专家知识,这对于众包平台注释者来说并不总是可用的。因此,直接从Web图像中学习成为细粒度视觉识别的替代方法。然而,网络训练集中的标签噪声会严重降低模型性能。为此,我们提出了一种基于数据驱动元集的方法来处理有噪声的Web图像进行细粒度识别。具体地说,引导少量的清洁元集,我们训练的选择网络在元学习的方式来区分内和外的分布噪声图像。为了进一步提高模型的鲁棒性,我们还学习了一个标签网络来校正分布中噪声数据的标签。通过这种方式,我们提出的方法可以减轻由分布外噪声造成的有害影响,并适当地利用分布内噪声样本进行训练。在三个常用的细粒度数据集上进行的大量实验表明,我们的方法远远优于最先进的噪声鲁棒方法。
2020-08-06 cs.CV cs.MM
Salvage Reusable Samples from Noisy Data for Robust Learning
Nanjing University of Science and Technology(南京理工大学);Alibaba Group(阿里巴巴集团);AnyVision;University of Technology Sydney(悉尼科技大学)
由于Web图像中标签噪声的存在和深度神经网络的高记忆能力,直接通过Web图像训练深度细粒度(FG)模型往往具有较差的识别能力。在文献中,为了缓解这个问题,损失校正方法试图估计噪声转移矩阵,但不可避免的错误校正会导致严重的累积误差。样本选择方法基于小的损失可以减轻累积误差的事实来识别干净(“容易”)样本。然而,可以提高FG模型鲁棒性的“硬”和错误标记的示例也被丢弃。为此,我们提出了一种基于确定性的可重用样本选择和校正方法,称为CRSSC,用于处理使用Web图像训练深度FG模型时的标签噪声。我们的主要想法是额外识别和纠正可重用的样本,然后利用它们与干净的示例一起更新网络。我们从理论和实验的角度证明了所提出的方法的优越性。
2020-08-06 cs.CV cs.MM
Countering Adversarial Examples: Combining Input Transformation and Noisy Training
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
最近的研究表明,基于神经网络(NN)的图像分类器非常容易受到对抗性样本的攻击,这对安全敏感的图像识别任务构成了威胁。先前的工作表明,JPEG压缩可以在一定程度上对抗性样本的分类准确性下降。但是,随着压缩比的增加,传统的JPEG压缩不足以抵御这些攻击,但会导致一个突然的准确性下降的良性图像。本文首先对传统JPEG压缩算法进行了改进,使其更有利于神经网络,以充分滤除干扰。具体来说,基于对频率系数的分析,我们设计了一个NN偏好的量化表用于压缩。将压缩视为一种数据增强策略,然后将模型无关的预处理与噪声训练相结合。我们通过使用以不同压缩级别编码的图像进行训练来微调预训练模型,从而生成多个分类器。最后,由于较低(较高)的压缩比可以稍微(积极地)去除扰动和原始特征,因此我们使用这些训练的多个模型进行模型集成。模型集合的多数票被采用作为最终预测。实验结果表明,该方法在保持原有准确率的前提下,提高了防御效率.
2021-06-25 cs.CV eess.IV
Learning from Web Data: the Benefit of Unsupervised Object Localization
Nankai University(南开大学);Australian National University(澳大利亚国立大学);Cardiff University(卡迪夫大学)
注释大量的训练图像是非常耗时的。在此背景下,本文重点研究从易于获取的Web数据中学习,并利用学习到的模型对标记数据集进行细粒度图像分类。目前,使用Web数据进行训练的性能增益是递增的,就像一句俗话所说的“聊胜于无,但也不会太多”。传统上,社区希望纠正嘈杂的Web标签,以选择信息丰富的样本。在这项工作中,我们首先系统地研究了网络和标准数据集之间的内在差距,即两种数据之间的不同数据分布。然后,除了使用Web标签,我们提出了一种无监督的对象定位方法,它提供了关键的洞察对象的密度和规模在Web图像。具体来说,我们设计了两个约束的Web数据,大大减少了Web和标准数据集的数据分布的差异。首先,我们提出了一种方法来控制检测区域中的对象的规模,定位和数量。其次,我们建议选择包含与web标签一致的对象的区域。基于这两个约束,我们能够处理网络图像以减少差距,并且处理后的网络数据用于更好地辅助标准数据集来训练CNN。在几个细粒度图像分类数据集上的实验证实了我们的方法对最先进的方法表现良好。
2018-12-21 cs.CV
LongReMix: Robust Learning with High Confidence Samples in a Noisy Label Environment
Universidade Federal Rural de Pernambuco(伯南布哥联邦农村大学);University of Oxford(牛津大学);Otto-von-Guericke-Universität Magdeburg(马格德堡奥托·冯·格里克大学);Australian Institute for Machine Learning(澳大利亚机器学习研究所);University of Surrey(萨里大学)
深度神经网络模型对有限数量的标签噪声具有鲁棒性,但它们在高噪声率问题中记忆噪声标签的能力仍然是一个悬而未决的问题。最具竞争力的噪音标签学习算法依赖于两阶段过程,包括无监督学习将训练样本分类为干净或有噪音,然后是半监督学习,使用由分类为干净的样本形成的标记集和包含分类为有噪音的样本的未标记集来最小化经验邻近风险(EVR)。在本文中,我们假设这种2阶段噪声标签学习方法的推广取决于无监督分类器的精度和训练集的大小,以最大限度地减少EVR。我们实证验证了这两个假设,并提出了新的2阶段噪声标签训练算法LongReMix。我们在噪声标签基准CIFAR-10、CIFAR-100、WebVision、Clothing 1 M和Food 101-N上测试了LongReMix。结果表明,我们的LongReMix比竞争对手的方法更好地推广,特别是在高标签噪声问题。此外,我们的方法在大多数数据集中实现了最先进的性能。该代码可在https://github.com/filipe-research/LongReMix上获得。
2022-09-04 cs.CV
Contrast to Divide: Self-Supervised Pre-Training for Learning with Noisy Labels
Technion -- Israel Institute of Technology(以色列理工学院);NVIDIA(英伟达)
使用噪声标签(LNL)方法学习的成功在很大程度上依赖于预热阶段的成功,其中使用完整(噪声)训练集执行标准监督训练。在本文中,我们确定了一个“热身障碍”:标准的热身阶段无法训练高质量的特征提取器,避免记忆的嘈杂标签。我们提出了“对比划分”(C2 D),这是一个简单的框架,通过以自我监督的方式预训练特征提取器来解决这个问题。使用自我监督的预训练通过大幅降低预热阶段对噪声水平的敏感性,缩短其持续时间并提高提取的特征质量来提高现有LNL方法的性能。C2 D与现有方法一起开箱即用,并表现出显着的性能改进,特别是在高噪声区域,我们在CIFAR-100中获得了超过27%的提升,噪声为90%,超过了以前的最先进水平。在现实生活中的噪声设置中,在mini-WebVision上训练的C2 D在WebVision和ImageNet验证集上的表现都优于以前的作品3%的top-1准确度。我们进行了深入的分析框架,包括调查不同的预训练方法的性能和估计的有效上限的LNL性能与半监督学习。复制我们实验的代码可在https://github.com/ContrastToDivide/C2D上获得
2021-10-20 cs.CV cs.LG
Mitigating Noisy Supervision Using Synthetic Samples with Soft Labels
McMaster University(麦克马斯特大学)
针对深度神经网络易受噪声标签影响导致泛化差的问题,提出利用合成样本与软标签训练模型的框架,通过聚合样本及其最近邻并逐步纠正噪声标签,在多个基准和真实数据集上显著提升了表示质量与鲁棒性。
2024-06-22 cs.CV cs.LG