Polite Teacher: Semi-Supervised Instance Segmentation with Mutual Learning and Pseudo-Label Thresholding
AI Clearing, Inc.(AI Clearing公司);University of Innsbruck(因斯布鲁克大学);University of Warsaw(华沙大学);Wageningen University & Research(瓦赫宁根大学及研究中心)
我们提出了礼貌的老师,一个简单而有效的方法,半监督实例分割的任务。建议的架构依赖于教师-学生相互学习的框架。为了过滤掉噪声伪标签,我们使用置信度阈值的边界框和面具得分的面具。该方法已被测试与CenterMask,一个单级无锚检测器。在COCO 2017 val数据集上进行测试,我们的架构显著(约+8页。在掩模AP中)在不同的监督制度下优于基线。据我们所知,这是解决半监督实例分割问题的第一个作品之一,也是第一个致力于无锚检测器的作品。
2022-11-07 cs.AI cs.CV cs.LG
Thresholding based Efficient Outlier Robust PCA
Microsoft Research India(微软研究院印度分院)
我们考虑离群鲁棒PCA(OR-PCA)的问题,其目标是恢复主方向,尽管存在离群数据点。也就是说,给定数据矩阵$M^*$,其中$(1-α)$分数的点是来自低维子空间的噪声样本,而$α$分数的点可以是任意离群值,目标是准确地恢复子空间。现有的结果\OR -PCA有严重的缺点:虽然有些结果是相当弱的噪声存在下,其他结果有运行时的二次尺寸,使他们不切实际的大规模应用。在这项工作中,我们提供了一种新的阈值为基础的迭代算法,每次迭代的复杂性在最线性的数据大小。此外,我们的方法可以处理的离群值的分数$α$接近常数,同时为一般噪声设置提供几乎最佳的计算复杂性。对于特殊的情况下,内点是从一个低维的子空间与加性高斯噪声,我们表明,我们的阈值为基础的方法的修改导致显着改善恢复误差(的子空间),即使在存在一个大部分的离群值。
2017-02-18 cs.LG
Class-wise Thresholding for Robust Out-of-Distribution Detection
University of California, Berkeley(加州大学伯克利分校);EURECOM(欧洲通信学院);University of Chicago(芝加哥大学)
我们考虑了使用深度神经网络时检测OoD(Out-of-Distribution)输入数据的问题,并提出了一种简单而有效的方法来提高几种流行的OoD检测方法对标签偏移的鲁棒性。我们的工作是出于观察,大多数现有的OoD检测算法考虑所有的训练/测试数据作为一个整体,无论哪个类条目每个输入激活(类间差异)。通过广泛的实验,我们发现这种做法导致检测器的性能是敏感的,易受标签偏移。为了解决这个问题,我们提出了一个类的阈值方案,可以适用于大多数现有的OoD检测算法,并可以保持类似的OoD检测性能,即使在测试分布中存在标签偏移。
2022-07-01 cs.AI cs.LG
Mitigating Memorization in Sample Selection for Learning with Noisy Labels
Pohang University of Science and Technology(浦项科技大学);Seoul National University of Science and Technology (SeoulTech)(首尔国立科技大学(首尔科技大学))
由于深度学习容易受到噪声标签的影响,因此仅使用干净标记数据训练网络的样本选择技术引起了极大的关注。然而,如果标签被少数类别占主导地位,这些噪声样本被称为显性噪声标记样本,网络也通过内容感知优化快速学习显性噪声标记样本。在这项研究中,我们提出了一个令人信服的标准,惩罚显性噪声标记的样本集中通过类明智的惩罚标签。通过对每个观察到的标签的预测置信度进行平均,我们获得了合适的惩罚标签,如果标签在很大程度上被某些类别损坏,则这些标签具有较高的值。使用基准测试(CIFAR-10,CIFAR-100,Tiny-ImageNet)和真实世界的数据集(ANIMAL-10 N,Clothing 1 M)进行实验,以评估在不同噪声率的各种场景下提出的标准。使用所提出的样本选择,网络的学习过程变得显着鲁棒的噪声标签相比,现有的方法在几种噪声类型。
2021-07-08 cs.LG
A Novel Perspective for Positive-Unlabeled Learning via Noisy Labels
University of Tokyo(东京大学);NTT Communication Science Laboratories(NTT通信科学实验室)
正-未标记学习是指仅使用正和未标记数据来训练二元分类器的过程。虽然未标记数据中可以包含正数据,但现有的正-未标记学习方法将所有未标记数据都视为负数据,导致性能下降。我们对这个问题提供了一个新的视角-将未标记的数据视为噪声标记的数据,并将PU学习的一个新公式引入噪声标记数据的联合优化问题。该研究提出了一种方法,分配初始伪标签的未标记的数据被用作噪声标记的数据,并使用噪声标记的数据训练一个深度神经网络。实验结果表明,该方法显着优于国家的最先进的方法在几个基准数据集。
2021-03-08 cs.LG
An Efficient Algorithm for Thresholding Monte Carlo Tree Search
Hokkaido University(北海道大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);RIKEN AIP(理化学研究所AIP中心)
本文提出了一种基于Track-and-Stop策略的δ-正确序列采样算法,用于解决阈值蒙特卡罗树搜索问题,实现了渐近最优的样本复杂度并降低了计算成本。
2026-01-30 cs.LG stat.ML
Noisy Early Stopping for Noisy Labels
University of Edinburgh(爱丁堡大学)
针对噪声标签场景下无噪声验证集获取难、早停实施成本高的问题,提出噪声早停(NES)方法,利用同分布噪声验证集实现接近最优的早停效果,给出理论依据并验证其在标准基准上的稳健性能。
2024-09-10 cs.LG
Towards the Identifiability in Noisy Label Learning: A Multinomial Mixture Modelling Approach
Centre for Vision, Speech and Signal Processing, University of Surrey, United Kingdom(视觉、语音和信号处理中心,萨里大学,英国);Department of Data Science and AI, Monash University, Australia(数据科学与人工智能系,莫纳什大学,澳大利亚)
本文提出一种数据驱动方法,通过为每个实例生成多个独立同分布噪声标签并利用多项式混合建模,使噪声标签学习问题可辨识,从而无需启发式方法即可准确估计干净标签,并在多种基准上表现优异。
2025-09-24 cs.LG
To Aggregate or Not? Learning with Separate Noisy Labels
UC Santa Cruz(加州大学圣克鲁兹分校);Google Brain(谷歌大脑)
原始收集的训练数据通常带有从多个不完美注释器收集的单独的噪声标签(例如,通过众包)。使用这些单独标签的典型方法是首先将它们聚合为一个并应用标准训练方法。文献还广泛研究了有效的汇总方法。本文重新审视这一选择,并旨在提供一个答案的问题,是否应该聚合单独的嘈杂的标签成单一的或单独使用它们给定的。我们从理论上分析了一些流行的损失函数的经验风险最小化框架下,这两种方法的性能,包括专门设计的问题与噪声标签的学习。我们的定理得出结论,标签分离是首选标签聚合时,噪声率高,或标签/注释的数量不足。大量的实证结果验证了我们的结论。
2022-10-20 cs.LG
Towards Robust Graph Neural Networks for Noisy Graphs with Sparse Labels
The Pennsylvania State University(宾夕法尼亚州立大学);Michigan State University(密歇根州立大学)
图神经网络(GNNs)在图结构数据建模方面显示出了强大的能力。然而,现实世界的图通常包含结构噪声,并具有有限的标记节点。在这种图上训练时,GNN的性能会显著下降,这阻碍了GNN在许多应用中的采用。因此,重要的是开发具有有限标记节点的抗噪声GNN。然而,这方面的工作相当有限。因此,我们研究了在具有有限标记节点的噪声图上开发鲁棒GNNs的新问题。我们的分析表明,噪声边缘和有限的标记节点都可能损害GNN的消息传递机制。为了缓解这些问题,我们提出了一种新的框架,该框架采用噪声边缘作为监督来学习去噪和密集图,该框架可以降低权重或消除噪声边缘,并促进GNN的消息传递,以缓解有限标记节点的问题。生成的边进一步用于正则化具有标签平滑度的未标记节点的预测,以更好地训练GNN。在真实数据集上的实验结果表明,该框架对有限标记节点的噪声图具有鲁棒性。
2022-01-01 cs.LG
Learning from Multiple Annotator Noisy Labels via Sample-wise Label Fusion
Massachusetts Institute of Technology(麻省理工学院);South China University of Technology(华南理工大学);Takeda Pharmaceuticals Co., Ltd.(武田药品工业株式会社)
数据是现代深度学习的核心。监督学习令人印象深刻的性能是建立在大量准确标记数据的基础上的。然而,在某些实际应用中,准确的标签可能不可行;相反,多个注释器为每个数据样本提供多个噪声标签(而不是一个准确的标签)。在这样一个嘈杂的训练数据集上学习分类器是一项具有挑战性的任务。以前的方法通常假设所有数据样本共享与注释者错误相关的相同参数集,而我们证明了标签错误学习应该是注释者和数据样本相关的。基于这一观察,我们提出了一种新的学习算法。与MNIST,CIFAR-100和ImageNet-100上的几种最先进的基线方法相比,所提出的方法显示出优越性。我们的代码可在https://github.com/zhengqigao/Learning-from-Multiple-Annotator-Noisy-Labels上获得。
2022-07-22 cs.LG
To Smooth or Not? When Label Smoothing Meets Noisy Labels
University of California, Santa Cruz(加州大学圣克鲁兹分校);Brown University(布朗大学);The University of Sydney(悉尼大学);RIKEN AIP(理化学研究所人工智能研究中心);University of Tokyo(东京大学)
标签平滑(LS)是一种新兴的学习范式,它使用硬训练标签和均匀分布的软标签的正加权平均值。结果表明,LS作为一个正规化的训练数据与硬标签,因此提高了模型的推广。后来有报道称,LS甚至有助于提高使用噪声标签学习时的鲁棒性。然而,我们观察到,当我们在高标签噪声状态下操作时,LS的优势消失。直观地说,这是由于当噪声率高时$\mathbb{P}(\text{noisy label}|X)$的熵增加,在这种情况下,进一步应用LS倾向于“过度平滑”估计的后验。我们继续发现,文献中的几种带噪声标签的学习解决方案与负/非标签平滑(NLS)更密切相关,NLS与LS相反,并定义为使用负权重来组合硬标签和软标签!我们提供的LS和NLS的属性的理解时,学习与噪声标签。在其他既定的属性,我们理论上表明NLS被认为是更有益的标签噪声率高时。我们也提供了多个基准的广泛实验结果来支持我们的发现。代码可在https://github.com/UCSC-REAL/negative-label-smoothing上公开获取。
2022-06-24 cs.LG
FINE Samples for Learning with Noisy Labels
KAIST(韩国科学技术院)
现代深度神经网络(DNN)在数据集包含噪声(不正确)类标签时变得脆弱。存在噪声标签的鲁棒技术可以分为两类:开发噪声鲁棒函数或通过检测噪声数据使用噪声净化方法。近年来,噪声净化方法被认为是最有竞争力的噪声标签学习算法。尽管他们取得了成功,但他们的噪声标签检测器通常基于统计学而不是理论,需要一个强大的分类器来预测具有损失值的噪声数据。在本文中,我们提出了一种新的检测器过滤标签噪声。与大多数现有的方法不同,我们专注于每个数据的潜在表示动态和测量潜在分布和每个表示之间的对齐使用的数据gram矩阵的特征分解。我们的框架,通过其特征向量(FINE)过滤噪声的情况下,提供了一个强大的检测器,无导数的简单方法,具有理论保证。在我们的框架下,我们提出了三个应用程序的FINE:样本选择方法,半监督学习方法,并与噪声鲁棒损失函数的合作。实验结果表明,所提出的方法始终优于相应的基线的所有三个应用程序在各种基准数据集。
2021-10-27 cs.LG
Noise-aware Client Selection for carbon-efficient Federated Learning via Gradient Norm Thresholding
Technische Universität Berlin(柏林技术大学)
本文提出一种基于梯度范数阈值的噪声感知客户端选择方法,以提升碳高效联邦学习的模型性能和可持续性。
2026-03-04 cs.AI cs.LG
Extended T: Learning with Mixed Closed-set and Open-set Noisy Labels
University of Sydney(悉尼大学);Hong Kong Baptist University(香港浸会大学);Xidian University(西安电子科技大学);Imperial College London(帝国理工学院);Meituan(美团)
标签噪声转移矩阵$T$反映了真实标签转变为噪声标签的概率,对于标签噪声建模和统计一致性分类器的设计具有重要意义。传统的转移矩阵仅限于对闭集标签噪声进行建模,其中有噪声的训练数据在有噪声的标签集中具有真实的类别标签。它是不适合采用这样的转移矩阵模型开集标签噪声,其中一些真正的类标签是在嘈杂的标签集。因此,当考虑更现实的情况时,即,出现闭集和开集标签噪声,现有方法将不期望地给出有偏差的解决方案。此外,传统的转移矩阵仅限于模型实例无关的标签噪声,这可能在实践中表现不佳。本文主要研究闭集和开集混合标签噪声下的学习问题。我们通过扩展传统的转移矩阵来解决上述问题,使其能够对混合标签噪声进行建模,并进一步扩展到依赖于集群的转移矩阵,以更好地近似现实世界应用中的依赖于实例的标签噪声。我们提出的过渡矩阵集群相关的扩展转移矩阵。无偏估计器(即,扩展的$T$ -估计器)已经被设计成仅通过利用噪声数据来估计依赖于簇的扩展转移矩阵。综合的合成和真实实验验证了该方法可以更好地建模混合标签噪声,具有比现有的最先进的标签噪声学习方法更强大的性能。
2020-12-02 cs.LG
GMM Discriminant Analysis with Noisy Label for Each Class
College of Information Science and Engineering(信息科学与工程学院);Department of Automation(自动化系)
现实世界的数据集通常包含噪声标签,使用标准分类方法从这些数据集学习可能不会产生所需的性能。在本文中,我们提出了一个高斯混合判别分析(GMDA)与噪声标签的每一类。我们引入翻转概率和类别概率,并使用EM算法来解决标签噪声的鉴别问题。我们还提供了详细的收敛性证明。在合成数据集和真实数据集上的实验结果表明,该方法的性能明显优于其他四种最先进的方法。
2022-01-25 cs.LG
NLNL: Negative Learning for Noisy Labels
KAIST(韩国科学技术院)
卷积神经网络(CNN)在用于图像分类时提供优异的性能。训练CNN的经典方法是以监督的方式标记图像,如“输入图像属于此标签”(正学习; PL),如果标签被正确分配给所有图像,这是一种快速准确的方法。然而,如果存在不准确的标签或噪声标签,则使用PL进行训练将提供错误的信息,从而严重降低性能。为了解决这个问题,我们从一种称为负学习(NL)的间接学习方法开始,其中CNN使用互补标签进行训练,如“输入图像不属于这个互补标签”。由于选择真实标签作为补充标签的机会很低,NL降低了提供错误信息的风险。此外,为了提高收敛性,我们扩展了我们的方法,有选择地采用PL,称为选择性消极学习和积极学习(SelNLPL)。PL被选择性地用于训练预期是干净的数据,其选择成为可能,因为NL的进展,从而导致过滤出噪声数据的优异性能。通过简单的半监督训练技术,我们的方法在噪声数据分类方面达到了最先进的精度,证明了SelNLPL的噪声数据过滤能力的优越性。
2019-08-19 cs.LG
Robustness of Accuracy Metric and its Inspirations in Learning with Noisy Labels
The Chinese University of Hong Kong(香港中文大学);VIVO AI Lab(vivo人工智能实验室);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
对于类条件标签噪声下的多类分类,我们证明了准确性度量本身可以是鲁棒的。我们将这一发现的灵感具体化在两个重要方面:训练和验证,我们用这些来解决带噪声标签学习中的关键问题。对于训练,我们表明,在足够多的噪声样本上最大限度地提高训练精度会产生近似最优的分类器。对于验证,我们证明了噪声验证集是可靠的,解决了超参数调整和早期停止等场景中模型选择的关键需求。在此之前,使用噪声验证样本的模型选择在理论上并不合理。我们验证了我们的理论结果和额外的索赔与广泛的实验。我们展示了用噪声标签训练的模型的特征,这是由我们的理论结果激发的,并通过展示一个名为噪声最佳教师和学生(NTS)的框架的令人印象深刻的性能来验证噪声验证集的实用性。我们的代码被释放了。
2020-12-08 cs.LG
FedNoiL: A Simple Two-Level Sampling Method for Federated Learning with Noisy Labels
Australian Artificial Intelligence Institute, University of Technology Sydney(悉尼科技大学澳大利亚人工智能研究所);University of Washington, Seattle(西雅图华盛顿大学);University of Maryland, College Park(马里兰大学帕克分校);Hong Kong Baptist University(香港浸会大学)
联邦学习(FL)的目标是在服务器端训练全局模型,而训练数据在本地设备上收集和定位。因此,在实践中,标签通常由不同专业知识或标准的客户端注释,因此包含不同数量的噪声。噪声标签上的局部训练很容易导致对噪声标签的过拟合,这对聚合的全局模型是毁灭性的。虽然最近的强大FL方法考虑到恶意客户端,但它们没有解决每个设备上的本地噪声标签以及对全局模型的影响。在本文中,我们开发了一个简单的两级抽样方法“FedNoiL”,该方法(1)选择客户端,以便在服务器上进行更强大的全局聚合;(2)在客户端选择干净的标签和正确的伪标签,以便进行更强大的本地训练。采样概率建立在全局模型的干净标签检测上。此外,我们研究了不同的时间表,改变本地历元之间的聚合过程中的FL,显着提高了通信和计算效率,在嘈杂的标签设置。在同质/异质数据分布和噪声比的实验中,我们观察到SOTA FL方法与SOTA噪声标签学习方法的直接组合很容易失败,但我们的方法始终实现更好和更鲁棒的性能。
2022-05-20 cs.LG
SST: Self-training with Self-adaptive Thresholding for Semi-supervised Learning
School of Computer Science and Technology, Beijing Institute of Technology(计算机科学与技术学院,北京理工大学);Beijing Engineering Research Center of High Volume Language Information Processing and Cloud Computing Applications(高性能语言信息处理与云计算应用北京工程研究中心);Southeast Academy of Information Technology, Beijing Institute of Technology(信息科技东南研究院,北京理工大学);Institute of Applied Physics and Computational Mathematics(应用物理与计算数学研究院);Starsee
针对半监督学习中固定阈值选取伪标签质量低及现有自适应阈值方法计算耗时的问题,提出SST框架,通过自适应阈值机制根据模型学习进度调整类别阈值,在ImageNet等基准上以更少标注数据实现SOTA性能。
2025-05-31 cs.AI cs.CV cs.LG
FreeMatch: Self-adaptive Thresholding for Semi-supervised Learning
Microsoft Research Asia(微软亚洲研究院);Tokyo Institute of Technology(东京工业大学);Carnegie Mellon University(卡内基梅隆大学);North Carolina State University(北卡罗来纳州立大学);Microsoft STCA(微软(中国)有限公司服务器与工具事业部);Max-Planck-Institut für Informatik(马克斯·普朗克信息学研究所);Nanjing University(南京大学)
半监督学习(Semi-supervised Learning,SSL)由于各种基于伪标记和一致性正则化的学习方法所带来的令人印象深刻的性能而获得了巨大的成功。然而,我们认为,现有的方法可能无法更有效地利用未标记的数据,因为他们要么使用预定义/固定的阈值或ad-hoc阈值调整方案,导致性能较差,收敛速度慢。我们首先分析了一个激励的例子,以获得直观的期望阈值和模型的学习状态之间的关系。在此基础上,提出了FreeMatch算法,根据模型的学习状态自适应地调整置信度阈值。我们还引入了自适应类公平性正则化惩罚,以鼓励模型在早期训练阶段进行不同的预测。大量的实验表明,FreeMatch的优越性,特别是当标记的数据是非常罕见的。FreeMatch在CIFAR-10(每个类1个标签)、STL-10(每个类4个标签)和ImageNet(每个类100个标签)上分别比最新的最先进的方法FlexMatch减少了5.78%、13.59%和1.28%的出错率。此外,FreeMatch还可以提高不平衡SSL的性能。代码可以在https://github.com/microsoft/Semi-supervised-learning上找到。
2023-01-31 cs.CV cs.LG
Probabilistic Iterative Hard Thresholding for Sparse Learning
针对高维小样本统计建模及大数据下带噪梯度的稀疏优化方法收敛性不足问题,提出带基数约束的概率迭代硬阈值方法,证明其随机过程收敛性并在两类机器学习任务中验证性能。
2025-08-01 cs.LG math.OC
One-Step Abductive Multi-Target Learning with Diverse Noisy Label Samples
提出了一步溯因多目标学习算法(OSAMTL)来处理复杂的噪声标签。本文在定义了不同噪声标签样本(DNLS)的基础上,提出了一步带DNLS的溯因多目标学习(OSAMTL-DNLS),扩展了原有OSAMTL的方法,使其更好地处理复杂的噪声标签。
2021-12-08 cs.AI cs.LG
SplitNet: Learnable Clean-Noisy Label Splitting for Learning with Noisy Labels
Samsung Electro-Mechanics(三星电机);Korea University(高丽大学)
用高质量的标签标注数据集对于深度网络的性能至关重要,但在现实世界中,标签往往被噪声污染。为了解决这个问题,提出了一些方法来自动分割干净和有噪声的标签,并在有噪声标签的学习(LNL)框架中学习半监督学习器。然而,他们利用一个手工制作的模块来进行干净的噪声标签分割,这在半监督学习阶段引起了确认偏差,并限制了性能。在本文中,我们首次提出了一个用于清洁噪声标签拆分的可学习模块,称为SplitNet,以及一个新的LNL框架,该框架补充训练SplitNet和LNL任务的主网络。我们建议使用SplitNet基于分裂置信度的动态阈值来更好地优化半监督学习器。为了增强SplitNet训练,我们还提出了一种风险对冲方法。我们提出的方法在最先进的水平,特别是在高噪声比设置在各种LNL基准。
2022-12-19 cs.CV cs.LG
Evaluating Multi-label Classifiers with Noisy Labels
Cornell University(康奈尔大学)
多标签分类(MLC)是标准分类的推广,其中多个标签可以分配给给定的样本。在现实世界中,处理噪声数据集比处理干净数据集更常见,因为现代数据集是由众包平台上的一大群注释者标记的,但很少有人注意评估带有噪声标签的多标签分类器。利用标签相关性现在成为多标签分类器的标准组件,以实现具有竞争力的性能。然而,这个组件使分类器更容易泛化不良-它过度拟合标签以及标签依赖性。我们确定了三个常见的现实世界的标签噪声的情况下,并显示如何以前的方法表现不佳与嘈杂的标签。为了解决这个问题,我们提出了一个基于上下文的多标签分类器(CbMLC),有效地处理嘈杂的标签时,学习标签的依赖关系,而不需要额外的监督。我们比较CbMLC对其他特定领域的国家的最先进的模型在各种数据集上,在干净和嘈杂的设置。我们表明,在大多数情况下,GbMLC比以前的方法有了实质性的改进。
2021-02-16 cs.LG stat.ML
Dash: Semi-Supervised Learning with Dynamic Thresholding
Alibaba Group(阿里巴巴集团);Nanjing University(南京大学)
半监督学习(semi-supervised learning,SSL)由于成功地利用了未标记数据而在许多机器学习任务中受到了极大的关注,但现有的SSL算法在训练过程中要么使用所有未标记样本,要么使用具有固定高置信度预测的未标记样本。然而,有可能消除/选择了太多正确/错误的伪标记示例。在这项工作中,我们开发了一个简单而强大的框架,其核心思想是选择一个子集的训练样本从未标记的数据时,执行现有的SSL方法,使只有未标记的例子与伪标签相关的标记数据将被用于训练模型。在每次更新迭代时,通过仅保留损失小于给定阈值的示例来执行选择,该阈值通过迭代动态调整。我们提出的方法,短跑,享有其自适应性的未标记的数据选择和理论保证。具体来说,我们从非凸优化的角度,从理论上建立了Dash的收敛速度。最后,我们实证证明了所提出的方法的有效性与国家的最先进的基准比较。
2021-09-01 cs.CV cs.LG stat.ML
SELC: Self-Ensemble Label Correction Improves Learning with Noisy Labels
McMaster University(麦克马斯特大学)
深度神经网络容易过拟合噪声标签,导致泛化性能差。为了克服这个问题,我们提出了一个简单而有效的方法自集成标签校正(SELC),逐步纠正噪声标签和完善的模型。我们更深入地研究了使用噪声标签进行训练的记忆行为,并观察到网络输出在早期阶段是可靠的。为了保持这种可靠的知识,SELC使用由网络输出的指数移动平均形成的集合预测来更新原始的噪声标签。我们表明,使用SELC进行训练可以通过逐渐减少来自噪声标签的监督并增加来自集合预测的监督来改进模型。尽管它的简单性,与许多国家的最先进的方法相比,SELC获得更有前途和稳定的结果,在存在类条件,实例依赖,和现实世界的标签噪声。该代码可在https://github.com/MacLLL/SELC上获得。
2022-05-02 cs.CV cs.LG
Estimating Noisy Class Posterior with Part-level Labels for Noisy Label Learning
School of Physics, Xi’an Jiaotong University(西安交通大学物理学院);School of Computer Science and Technology, Xi’an Jiaotong University(西安交通大学计算机科学与技术学院);School of Distance Education, Xi’an Jiaotong University(西安交通大学远程教育学院)
本文针对噪声标签导致类别后验估计偏差的问题,引入部件级标签和单对多转移矩阵,构建分类器一致框架以更准确估计噪声类别后验并提升分类性能。
2024-07-02 cs.CV cs.LG
MTSSL: Meta-Thresholding Semi-Supervised Learning
School of Statistics, East China Normal University(统计学系,华东师范大学);School of Computer Science, East China Normal University(计算机科学系,华东师范大学)
研究半监督学习中伪标签阈值τ,建立统一理论框架解释其作用,将τ视为可更新参数优化得到MTSSL,实验证明MTSSL性能优越,支持理论框架,表明未来SSL算法设计中τ选择可放宽。
2026-07-21 cs.LG stat.ML
Robust 1-bit Compressed Sensing with Iterative Hard Thresholding
University of California San Diego(加州大学圣地亚哥分校)
本文研究1比特压缩感知中的噪声鲁棒性,证明BIHT算法在对抗性符号翻转下,以相同测量数实现$\tilde{O}(\epsilon+\tau)$误差,保持通用性,确立了迭代硬阈值的稳定性。
2023-10-12 cs.DS cs.IT cs.LG
A Simple yet Effective Baseline for Robust Deep Learning with Noisy Labels
Tsinghua University(清华大学);Google Cloud AI(谷歌云人工智能)
最近,深度神经网络已经显示出它们记忆训练数据的能力,即使带有噪声标签,这会损害泛化性能。为了缓解这个问题,我们提供了一个简单但有效的基线方法,即使在严重的噪声下,该方法对噪声标签也具有鲁棒性。我们的目标涉及一个方差正则化项,该项隐含地惩罚整个训练集(包括带有噪音标签的数据)上的神经网络的雅可比范数,这鼓励泛化并防止对损坏的标签的过拟合。在合成生成的错误标签和现实的大规模噪声数据集上的实验表明,我们的方法实现了最先进的性能,对严重噪声具有很高的容忍度。
2019-09-27 cs.LG stat.ML
On the Robustness of Monte Carlo Dropout Trained with Noisy Labels
Facebook(脸书)
深度学习的记忆效应阻碍了其在带噪声标签的学习中有效地推广测试集的性能。先前的研究已经发现,与没有不确定性估计的神经网络相比,认知不确定性技术在用噪声标签训练时是鲁棒的。它们在对抗性噪声标签环境下获得了较长的记忆效果和较好的泛化性能。由于其在噪声标签下的其他选定的认知不确定性方法中的优越性能,我们专注于Monte Carlo Dropout(MCDropout),并研究为什么它在使用噪声标签进行训练时具有鲁棒性。通过对MNIST、CIFAR-10、Animal-10 n数据集的实证研究,本文深入研究了噪声标签设置下MCDropout的三个方面:1.功效:了解MCDropout在训练集包含人工生成或自然嵌入的标签噪声时的学习行为和测试精度; 2.表征波动性:通过检查每个神经元激活的平均值和标准差来研究神经元的响应性; 3.网络稀疏性:与确定性神经网络相比,研究MCDropout的网络支持。我们的研究结果表明,MCDropout进一步稀疏化和正则化的确定性神经网络,从而提供了更高的鲁棒性对噪声标签。
2021-03-22 cs.CV cs.LG
Detecting Spacecraft Anomalies Using LSTMs and Nonparametric Dynamic Thresholding
NASA Jet Propulsion Laboratory(美国国家航空航天局喷气推进实验室);California Institute of Technology(加州理工学院)
随着航天器发回越来越多的遥测数据,需要改进异常检测系统,以减轻操作工程师的监测负担并降低操作风险。目前的航天器监测系统仅针对异常类型的子集,并且由于涉及规模和复杂性的挑战,通常需要昂贵的专业知识来开发和维护。我们证明了长短期记忆(LSTMs)网络,一种递归神经网络(RNN),在克服这些问题,使用专家标记的遥测异常数据从土壤水分主动被动(SMAP)卫星和火星科学实验室(MSL)漫游车,Currency。我们还提出了一个补充的无监督和非参数异常阈值的方法,在试点实施的异常检测系统SMAP,并提供误报缓解策略以及其他关键的改进和发展过程中吸取的经验教训。
2018-06-06 cs.LG stat.ML
Meta Label Correction for Noisy Label Learning
Microsoft Research(微软研究院)
利用弱监督或噪声监督来构建有效的机器学习模型一直是一个重要的研究问题。最近,由于越来越需要大规模数据集来训练深度学习模型,其重要性进一步增加。弱或嘈杂的监督可能来自多个来源,包括非专家注释者或基于语义或用户交互信号的自动标记。以前有大量的工作集中在利用嘈杂的标签。最值得注意的是,最近的工作已经显示出令人印象深刻的收益,通过使用元学习的实例重新加权方法,其中元学习框架用于分配实例权重到嘈杂的标签。在本文中,我们扩展了这种方法,通过提出的问题作为标签校正问题的元学习框架内。我们将标签校正过程视为一个元过程,并提出了一个新的基于元学习的框架MLC(Meta Label Correction),用于带噪声标签的学习。具体而言,采用标签校正网络作为元模型,以产生噪声标签的校正标签,同时训练主模型以利用校正标签。这两个模型通过解决双层优化问题来联合训练。我们在图像识别和文本分类任务中使用不同的标签噪声水平和类型进行了广泛的实验。我们比较了重新加权和校正方法,表明校正框架解决了重新加权的一些局限性。我们还表明,建议的MLC方法实现了很大的改进,在许多设置比以前的方法。
2021-08-06 cs.LG stat.ML
ExpertNet: Adversarial Learning and Recovery Against Noisy Labels
TU Delft(代尔夫特理工大学);ABB Future Labs(ABB未来实验室);Beijing Institute of Technology(北京理工大学)
目前可用的野外数据集,例如,来自社交媒体和开放平台的图像,为深度学习带来了巨大的机遇和挑战,因为有很大一部分标记的图像,但通常带有噪声,即错误的标签。最近的研究提高了深度模型对噪声标签的鲁棒性,而无需了解真实标签。在本文中,我们主张导出一个更强大的分类器,它除了原始图像外还主动利用噪声标签-将噪声标签转化为学习特征。为此,我们提出了一个新的框架,ExpertNet,由业余和专家,迭代地相互学习。Amateur是一个通过Expert的反馈训练的常规图像分类器,它模仿人类专家如何使用从噪声和地面真实标签的知识中学习的噪声模式来校正来自Amateur的预测标签。训练有素的业余爱好者和专家主动利用图像及其噪声标签来推断图像类别。我们对噪声版本的CIFAR-10、CIFAR-100和Clothing 1 M的真实数据进行的经验评估表明,与只专注于提取噪声标签影响的最先进的深度模型相比,所提出的模型可以在宽范围的噪声比下实现鲁棒的分类,并且只需20-50%的训练数据。
2020-07-13 cs.LG stat.ML
Multi-Class Classification from Noisy-Similarity-Labeled Data
University of Sydney(悉尼大学);Xidian University(西安电子科技大学);RIKEN(理化学研究所);Hong Kong Baptist University(香港浸会大学);The University of Melbourne(墨尔本大学);Brain-Inspired Technology Co., Ltd.(脑启发科技有限公司)
相似性标签指示两个实例是否属于同一个类,而类标签显示实例的类。在没有类标签的情况下,可以通过Meta分类学习从相似性标记的成对数据中学习多类分类器。然而,由于相似性标签比类别标签信息量少,因此它更有可能是嘈杂的。深度神经网络可以很容易地记住有噪声的数据,从而导致分类中的过拟合。在本文中,我们提出了一种方法来学习只有噪声相似性标记的数据。具体来说,为了对噪声进行建模,我们采用噪声转移矩阵来桥接干净数据和噪声数据之间的类后验概率。我们进一步估计的转移矩阵,从只有噪声的数据,并建立一个新的学习系统来学习分类器,可以分配无噪声的类标签的实例。此外,我们从理论上证明了我们提出的方法如何推广学习分类器。实验结果表明,该方法优于国家的最先进的方法对基准模拟和现实世界的噪声标签数据集。
2020-02-16 cs.LG stat.ML
CleaR: Towards Robust and Generalized Parameter-Efficient Fine-Tuning for Noisy Label Learning
Korea University(高丽大学)
针对PEFT在噪声标签环境下的脆弱性,提出基于路由的CleaR方法,自适应激活模块以优先学习干净样本,实验证明其显著提升噪声环境下的性能。
2024-10-31 cs.AI cs.LG
Noisy multi-label semi-supervised dimensionality reduction
UiT The Arctic University of Norway(挪威北极大学);Universidad Rey Juan Carlos(胡安·卡洛斯国王大学)
噪声标记数据代表了丰富的信息源,这些信息通常很容易获得,而且获取成本很低,但如果不考虑标签噪声,也可能产生许多负面后果。如何充分利用噪声标签已经在标准监督机器学习的框架内被广泛研究了几十年。然而,很少有研究已经进行了解决在非标准的设置嘈杂的标签所带来的挑战。这包括只有一小部分样本被标记(半监督)并且每个高维样本与多个标签相关联的情况。在这项工作中,我们提出了一种新的半监督和多标签的降维方法,有效地利用信息,从嘈杂的多标签和未标记的数据。提出的噪声多标签半监督降维(NMLSDR)方法,通过专门设计的标签传播算法对噪声多标签进行去噪,同时对未标记数据进行标记。然后,NMLSDR学习投影矩阵,通过最大化放大和去噪的多标签空间与投影空间中的特征之间的依赖性来降低维度。在合成数据、基准数据集以及真实案例研究上的大量实验证明了该算法的有效性,并表明其性能优于最先进的多标签特征提取算法。
2019-02-20 cs.LG stat.ML
Learning with Noisy Labels for Sentence-level Sentiment Classification
Southwest Jiaotong University(西南交通大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Beihang University(北京航空航天大学)
深度神经网络(DNN)可以很好地拟合(甚至过拟合)训练数据。如果DNN模型使用带有噪声标签的数据进行训练,并在带有干净标签的数据上进行测试,则模型可能表现不佳。本文研究了带噪声标签的情感分类学习问题。我们提出了一种名为NetAb的新型DNN模型(作为带有Ab-networks的卷积神经网络的简写),用于在训练过程中处理噪声标签。NetAb由两个卷积神经网络组成,一个带有噪声过渡层,用于处理输入的噪声标签,另一个用于预测“干净”标签。我们训练这两个网络,使用它们各自的损失函数在相互加强的方式。实验结果证明了该模型的有效性。
2019-08-31 cs.CL cs.LG
Learning to Clean: Reinforcement Learning for Noisy Label Correction
School of Computer Science, Carleton University(卡莱顿大学计算机科学学院);CIFAR AI Chair, Amii(CIFAR人工智能主席,Amii)
本文提出了一种基于强化学习的噪声标签纠正方法,通过深度特征表示策略网络实现标签纠正,实验表明其在多个数据集上优于现有技术。
2025-11-25 cs.AI cs.LG
ALIM: Adjusting Label Importance Mechanism for Noisy Partial Label Learning
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Chongqing University(重庆大学);Nanyang Technological University(南洋理工大学);Tsinghua University(清华大学)
针对噪声偏标记学习中检测错误累积影响模型优化的问题,提出插件式框架ALIM,通过权衡初始候选集与模型输出减少负面影响,在基准数据集上达到最先进性能。
2023-05-18 cs.CV cs.LG
Semi-Supervised Cascaded Clustering for Classification of Noisy Label Data
TCS Research(塔塔咨询服务研究院);Tata Consultancy Services Ltd.(塔塔咨询服务有限公司)
监督分类技术的性能往往恶化时,数据有噪声标签。即使是半监督分类方法也主要集中在处理丢失标签的问题上。大多数处理噪声标签数据的方法都依赖于深度神经网络(DNN),这需要大量的数据集来执行分类任务。这是一个严峻的挑战,特别是在加工和制造行业,其中数据有限,标签嘈杂。我们提出了一个半监督级联聚类(SSCC)算法来提取模式,并生成一个级联树的类在这样的数据集。引入一种新的超参数可配置的聚类评价矩阵(CEM)来定位和消除噪声标签,并调用级联聚类的修剪准则。该算法减少了对昂贵的人类专业知识的依赖,以评估标签的准确性。基于SSCC生成的分类器被发现是准确和一致的,即使在嘈杂的标签数据集上训练。当在多个噪声标签数据集(包括工业数据集)上进行测试时,与支持向量机(SVM)相比,它表现得更好。所提出的方法可以有效地用于在工业环境中以最少的人类专业知识获得可操作的见解。
2022-05-04 cs.AI cs.LG
Error-Bounded Correction of Noisy Labels
Stony Brook University(石溪大学);Rutgers University(罗格斯大学);Bain & Company(贝恩公司);City University of New York(纽约城市大学)
为了收集大规模注释数据,不可避免地引入标签噪声,即,不正确的类标签。为了对标签噪声具有鲁棒性,许多成功的方法依赖于噪声分类器(即,在噪声训练数据上训练的模型)来确定标签是否可信。然而,它仍然不知道为什么这种启发式在实践中运作良好。在本文中,我们提供了这些方法的第一个理论解释。我们证明了噪声分类器的预测确实可以很好地指示训练数据的标签是否干净。基于理论结果,我们提出了一种新的算法,纠正标签的基础上嘈杂的分类器预测。修正后的标签与真实的贝叶斯最优分类器具有很高的概率一致。我们将我们的标签校正算法纳入深度神经网络的训练中,并训练模型,在多个公共数据集上实现卓越的测试性能。
2020-11-19 cs.CV cs.LG
Are Noisy Sentences Useless for Distant Supervised Relation Extraction?
Beijing Institute of Technology(北京理工大学);CETC Big Data Research Institute Co., Ltd.(中电科大数据研究院有限公司);Huazhong University of Science and Technology(华中科技大学)
噪声标注问题一直是远距离监督关系抽取的主要障碍之一。现有的方法通常认为噪声句子是无用的,会损害模型的性能。因此,他们主要通过减少噪音句子的影响来缓解这个问题,例如应用袋水平的选择性注意或从垃圾袋中删除噪音句子。然而,噪声标记问题的根本原因不是缺乏有用的信息,而是缺少关系标签。直观地说,如果我们能够为噪声句子分配可信的标签,它们将被转换为有用的训练数据,并有利于模型的性能。因此,在本文中,我们提出了一种新的方法,远距离监督关系抽取,它采用无监督的深度聚类生成可靠的标签噪声句子。具体来说,我们的模型包含三个模块:句子编码器,噪声检测器和标签生成器。句子编码器用于获得特征表示。噪声检测器从垃圾袋中检测出噪声句子,标签生成器为噪声句子生成高置信度的关系标签。大量的实验结果表明,我们的模型在一个流行的基准数据集上的性能优于最先进的基线,并且确实可以减轻噪声标记问题。
2019-11-22 cs.CL cs.LG
Coresets for Robust Training of Neural Networks against Noisy Labels
University of California Los Angeles(加州大学洛杉矶分校);Stanford University(斯坦福大学)
现代神经网络有能力过拟合在现实世界的数据集中经常发现的噪声标签。虽然已经取得了很大的进展,现有的技术是有限的,在提供理论保证的神经网络的性能与噪声标签。在这里,我们提出了一种新的方法,该方法具有强大的理论保证,可以对使用噪声标签训练的深度网络进行鲁棒训练。我们的方法背后的关键思想是选择干净的数据点,提供一个近似低秩雅可比矩阵的加权子集(coresets)。然后,我们证明了梯度下降适用于子集不过拟合嘈杂的标签。我们广泛的实验证实了我们的理论,并证明在我们的子集上训练的深度网络与现有技术相比具有显著优越的性能,例如,在CIFAR-10上,80%噪声标签的准确性提高6%,在迷你Webvision上的准确性提高7%。
2020-11-15 cs.LG stat.ML
Towards Understanding Deep Learning from Noisy Labels with Small-Loss Criterion
National Key Laboratory for Novel Software Technology(计算机软件新技术国家重点实验室);Nanjing University(南京大学)
深度神经网络需要大量的标记数据来实现良好的性能。在现实世界的应用中,标签通常是从非专家(如众包)收集的,以节省成本,因此是嘈杂的。在过去的几年中,已经开发了用于处理噪声标签的深度学习方法,其中许多方法是基于小损失标准的。然而,很少有理论分析来解释为什么这些方法可以从噪声标签中学习。在本文中,我们从理论上解释了为什么广泛使用的小损耗准则的作品。在此基础上,我们重新定义了小损失准则,以更好地处理噪声标签。实验结果验证了我们的理论解释,也证明了改革的有效性。
2021-06-17 cs.LG stat.ML
Self-semi-supervised Learning to Learn from NoisyLabeled Data
New York University(纽约大学)
当今深度神经网络的巨大成功高度依赖于大量正确标记的数据。然而,获得高质量的人类标记数据的成本相当高,导致对噪声标签鲁棒的训练模型的研究领域非常活跃。为了实现这一目标,一方面,许多论文致力于区分噪声标签和干净标签,以提高DNN的泛化能力。另一方面,越来越流行的自半监督学习方法已被证明有利于标签不完整时的任务。通过“semi”,我们将检测到的错误标记数据视为未标记数据;通过“self”,我们选择一种自监督技术进行半监督学习。在这个项目中,我们设计了一些方法来更准确地区分干净和有噪声的标签,并借用自半监督学习的智慧来训练有噪声的标签数据。
2020-11-03 cs.CV cs.LG
Class2Simi: A Noise Reduction Perspective on Learning with Noisy Labels
The University of Sydney(悉尼大学);Hong Kong Baptist University(香港浸会大学);The University of Melbourne(墨尔本大学);Xidian University(西安电子科技大学);Brain-Inspired Technology Co., Ltd.(脑启发技术有限公司);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
近年来,带噪声标签的学习吸引了很多关注,其中主流方法是逐点方式。同时,成对方式在有监督的度量学习和无监督的对比学习中显示出巨大的潜力。因此,一个自然的问题被提出来了:以成对的方式学习是否可以减轻标签噪声?为了给出肯定的答案,在本文中,我们提出了一个名为Class2Simi的框架:它将具有噪声类标签的数据点转换为具有噪声相似性标签的数据对,其中相似性标签表示一对是否共享类标签。通过这种变换,理论上保证了噪声率的降低,因此原则上更容易处理有噪声的相似性标签。令人惊讶的是,预测干净类别标签的DNN可以从嘈杂的数据对中训练出来,如果它们首先从嘈杂的数据点中进行预训练的话。Class2Simi在计算上是高效的,因为这种转换不仅是在小批量中进行的,而且它只是将模型预测之上的损失计算改为成对的方式。通过大量的实验验证了其有效性。
2021-06-17 cs.LG stat.ML
Learning to Aggregate and Refine Noisy Labels for Visual Sentiment Analysis
University of Rochester(罗切斯特大学)
视觉情感分析近年来受到越来越多的关注。然而,数据集的质量是一个问题,因为情感标签是众包的,主观的,容易出错,并对数据驱动的模型构成严重威胁,特别是深度神经网络。当被训练为过度拟合带有噪声情感标签的训练样本时,深度模型在测试案例上的泛化能力很差。受噪声标签学习的最新进展的启发,我们提出了一种鲁棒的学习方法来执行鲁棒的视觉情感分析。我们的方法依赖于外部存储器来在训练过程中聚合和过滤噪声标签。存储器由具有相应标签的原型组成,可以在线更新。学习的原型及其标签可以被视为局部区域的去噪特征和标签,并且可以指导训练过程以防止模型过度拟合噪声情况。我们建立了一个基准的视觉情感分析与标签噪声使用公开的数据集。在所提出的基准测试环境下的实验结果全面验证了该方法的有效性。
2022-01-27 cs.CV cs.LG
Learning with Noisy Labels Revisited: A Study Using Real-World Human Annotations
University of California Santa Cruz(加州大学圣克鲁兹分校);University of Sydney(悉尼大学);RIKEN(理化学研究所)
现有的研究主要集中在合成标签噪声的噪声标签学习。合成噪声虽然具有清晰的结构,极大地促进了统计分析,但往往无法模拟真实世界的噪声模式。最近的文献已经观察到一些提供真实世界噪声数据集的努力,但现有的努力受到两个警告的影响:(1)缺乏地面真实验证使得难以从理论上研究真实世界标签噪声的属性和处理;(2)这些努力通常是大规模的,这可能导致在合理和可访问的计算能力内对鲁棒方法进行不公平的比较。为了更好地理解真实世界的标签噪声,构建具有真实和噪声标签的可控和中等大小的真实世界噪声数据集至关重要。这项工作提出了两个新的基准数据集CIFAR-10 N,CIFAR-100 N,为CIFAR-10,CIFAR-100的训练数据集配备了我们从Amazon Mechanical Turk收集的人类注释的真实世界噪声标签。我们定量和定性地表明,真实世界的噪声标签遵循依赖于实例的模式,而不是经典假设和采用的模式(例如,类相关标签噪声)。然后,我们开始使用CIFAR-10 N和CIFAR-100 N对现有解决方案的子集进行基准测试。我们进一步研究了正确和错误预测的记忆,这进一步说明了人类噪声和类相关合成噪声之间的差异。我们确实表明,与合成标签噪声相比,现实世界的噪声模式带来了新的和突出的挑战。这些观察结果要求我们重新考虑噪声标签的处理,我们希望这两个数据集的可用性将有助于开发和评估未来使用噪声标签解决方案的学习。…
2022-03-27 cs.LG stat.ML
Addressing Long-Tail Noisy Label Learning Problems: a Two-Stage Solution with Label Refurbishment Considering Label Rarity
College of Artificial Intelligence and Green Energy, National Yang Ming Chiao Tung University(国立阳明交通大学人工智慧与绿色能源学院);University at Albany, SUNY(纽约州立大学奥尔巴尼分校)
针对真实数据集的长尾噪声标签学习问题,提出结合软标签翻新与多专家集成学习的两阶段LR²方法,通过对比学习获无偏特征、BANC损失训练分类器初步预测,再翻新标签用于集成学习,在多个基准数据集上准确率超越现有最优方法。
2024-03-04 cs.AI cs.LG
A Meta Approach to Defend Noisy Labels by the Manifold Regularizer PSDR
The Chinese University of Hong Kong(香港中文大学);Tencent(腾讯)
噪声标签在现实世界的数据集中无处不在,这对鲁棒训练深度神经网络(DNN)提出了挑战,因为DNN很容易过拟合噪声标签。最近的努力已经致力于通过从训练集中丢弃噪声样本或向训练样本分配权重来保护噪声标签,其中与噪声样本相关联的权重预计是小的。因此,这些先前的努力导致样本的浪费,特别是那些分配有小权重的样本。输入$x$总是有用的,无论其观察到的标签$y$是否干净。为了充分利用所有样本,我们引入了一个流形正则化器,称为配对Softmax发散正则化(PSDR),以惩罚类似输入的softmax输出之间的Kullback-Leibler(KL)发散。特别地,可以通过数据增强有效地生成类似的输入。PSDR可以在任何类型的DNN上轻松实现,以提高对噪声标签的鲁棒性。正如在基准数据集上的经验证明的那样,我们的PSDR显著提高了最先进的结果。
2019-06-13 cs.LG stat.ML
DyGen: Learning from Noisy Labels via Dynamics-Enhanced Generative Modeling
Georgia Institute of Technology(佐治亚理工学院);Adobe Research(奥多比研究院)
针对语言模型微调中噪声标签导致过拟合的问题,提出结合嵌入空间动态模式与变分自编码、共正则化的DyGen模型,在合成与真实噪声数据集上均取得准确率提升。
2023-06-13 cs.CL cs.LG
Co-matching: Combating Noisy Labels by Augmentation Anchoring
Mcmaster University(麦克马斯特大学)
具有噪声标签的深度学习具有挑战性,因为深度神经网络具有记忆噪声标签的高容量。在本文中,我们提出了一个学习算法称为协同匹配,它平衡了两个网络之间的一致性和分歧的增强锚定。具体来说,我们让一个网络从它对弱增强图像的预测中生成锚定标签。同时,我们强制其对等网络,以同一图像的强增强版本作为输入,生成接近锚定标签的预测。然后,我们通过选择小损失实例来同时更新两个网络,以最小化两个无监督匹配损失(即,测量两个网络的一致性)和监督分类损失(即测量分类性能)。此外,无监督匹配损失使得我们的方法不严重依赖于噪声标签,这防止了噪声标签的记忆。在三个基准数据集上的实验表明,协同匹配达到了与最先进的方法相当的结果。
2021-03-23 cs.CV cs.LG