Mitigating Memorization in Sample Selection for Learning with Noisy Labels
Pohang University of Science and Technology（浦项科技大学）；Seoul National University of Science and Technology (SeoulTech)（首尔国立科技大学（首尔科技大学））
由于深度学习容易受到噪声标签的影响，因此仅使用干净标记数据训练网络的样本选择技术引起了极大的关注。然而，如果标签被少数类别占主导地位，这些噪声样本被称为显性噪声标记样本，网络也通过内容感知优化快速学习显性噪声标记样本。在这项研究中，我们提出了一个令人信服的标准，惩罚显性噪声标记的样本集中通过类明智的惩罚标签。通过对每个观察到的标签的预测置信度进行平均，我们获得了合适的惩罚标签，如果标签在很大程度上被某些类别损坏，则这些标签具有较高的值。使用基准测试（CIFAR-10，CIFAR-100，Tiny-ImageNet）和真实世界的数据集（ANIMAL-10 N，Clothing 1 M）进行实验，以评估在不同噪声率的各种场景下提出的标准。使用所提出的样本选择，网络的学习过程变得显着鲁棒的噪声标签相比，现有的方法在几种噪声类型。
2021-07-08 cs.LG
A Novel Perspective for Positive-Unlabeled Learning via Noisy Labels
University of Tokyo（东京大学）；NTT Communication Science Laboratories（NTT通信科学实验室）
正-未标记学习是指仅使用正和未标记数据来训练二元分类器的过程。虽然未标记数据中可以包含正数据，但现有的正-未标记学习方法将所有未标记数据都视为负数据，导致性能下降。我们对这个问题提供了一个新的视角-将未标记的数据视为噪声标记的数据，并将PU学习的一个新公式引入噪声标记数据的联合优化问题。该研究提出了一种方法，分配初始伪标签的未标记的数据被用作噪声标记的数据，并使用噪声标记的数据训练一个深度神经网络。实验结果表明，该方法显着优于国家的最先进的方法在几个基准数据集。
2021-03-08 cs.LG
Noisy Early Stopping for Noisy Labels
University of Edinburgh（爱丁堡大学）
针对噪声标签场景下无噪声验证集获取难、早停实施成本高的问题，提出噪声早停（NES）方法，利用同分布噪声验证集实现接近最优的早停效果，给出理论依据并验证其在标准基准上的稳健性能。
2024-09-10 cs.LG
Towards the Identifiability in Noisy Label Learning: A Multinomial Mixture Modelling Approach
Centre for Vision, Speech and Signal Processing, University of Surrey, United Kingdom（视觉、语音和信号处理中心，萨里大学，英国）；Department of Data Science and AI, Monash University, Australia（数据科学与人工智能系，莫纳什大学，澳大利亚）
本文提出一种数据驱动方法，通过为每个实例生成多个独立同分布噪声标签并利用多项式混合建模，使噪声标签学习问题可辨识，从而无需启发式方法即可准确估计干净标签，并在多种基准上表现优异。
2025-09-24 cs.LG
To Aggregate or Not? Learning with Separate Noisy Labels
UC Santa Cruz（加州大学圣克鲁兹分校）；Google Brain（谷歌大脑）
原始收集的训练数据通常带有从多个不完美注释器收集的单独的噪声标签（例如，通过众包）。使用这些单独标签的典型方法是首先将它们聚合为一个并应用标准训练方法。文献还广泛研究了有效的汇总方法。本文重新审视这一选择，并旨在提供一个答案的问题，是否应该聚合单独的嘈杂的标签成单一的或单独使用它们给定的。我们从理论上分析了一些流行的损失函数的经验风险最小化框架下，这两种方法的性能，包括专门设计的问题与噪声标签的学习。我们的定理得出结论，标签分离是首选标签聚合时，噪声率高，或标签/注释的数量不足。大量的实证结果验证了我们的结论。
2022-10-20 cs.LG
Towards Robust Graph Neural Networks for Noisy Graphs with Sparse Labels
The Pennsylvania State University（宾夕法尼亚州立大学）；Michigan State University（密歇根州立大学）
图神经网络（GNNs）在图结构数据建模方面显示出了强大的能力。然而，现实世界的图通常包含结构噪声，并具有有限的标记节点。在这种图上训练时，GNN的性能会显著下降，这阻碍了GNN在许多应用中的采用。因此，重要的是开发具有有限标记节点的抗噪声GNN。然而，这方面的工作相当有限。因此，我们研究了在具有有限标记节点的噪声图上开发鲁棒GNNs的新问题。我们的分析表明，噪声边缘和有限的标记节点都可能损害GNN的消息传递机制。为了缓解这些问题，我们提出了一种新的框架，该框架采用噪声边缘作为监督来学习去噪和密集图，该框架可以降低权重或消除噪声边缘，并促进GNN的消息传递，以缓解有限标记节点的问题。生成的边进一步用于正则化具有标签平滑度的未标记节点的预测，以更好地训练GNN。在真实数据集上的实验结果表明，该框架对有限标记节点的噪声图具有鲁棒性。
2022-01-01 cs.LG
Learning from Multiple Annotator Noisy Labels via Sample-wise Label Fusion
Massachusetts Institute of Technology（麻省理工学院）；South China University of Technology（华南理工大学）；Takeda Pharmaceuticals Co., Ltd.（武田药品工业株式会社）
数据是现代深度学习的核心。监督学习令人印象深刻的性能是建立在大量准确标记数据的基础上的。然而，在某些实际应用中，准确的标签可能不可行;相反，多个注释器为每个数据样本提供多个噪声标签（而不是一个准确的标签）。在这样一个嘈杂的训练数据集上学习分类器是一项具有挑战性的任务。以前的方法通常假设所有数据样本共享与注释者错误相关的相同参数集，而我们证明了标签错误学习应该是注释者和数据样本相关的。基于这一观察，我们提出了一种新的学习算法。与MNIST，CIFAR-100和ImageNet-100上的几种最先进的基线方法相比，所提出的方法显示出优越性。我们的代码可在https://github.com/zhengqigao/Learning-from-Multiple-Annotator-Noisy-Labels上获得。
2022-07-22 cs.LG
To Smooth or Not? When Label Smoothing Meets Noisy Labels
University of California, Santa Cruz（加州大学圣克鲁兹分校）；Brown University（布朗大学）；The University of Sydney（悉尼大学）；RIKEN AIP（理化学研究所人工智能研究中心）；University of Tokyo（东京大学）
标签平滑（LS）是一种新兴的学习范式，它使用硬训练标签和均匀分布的软标签的正加权平均值。结果表明，LS作为一个正规化的训练数据与硬标签，因此提高了模型的推广。后来有报道称，LS甚至有助于提高使用噪声标签学习时的鲁棒性。然而，我们观察到，当我们在高标签噪声状态下操作时，LS的优势消失。直观地说，这是由于当噪声率高时$\mathbb{P}(\text{noisy label}|X)$的熵增加，在这种情况下，进一步应用LS倾向于“过度平滑”估计的后验。我们继续发现，文献中的几种带噪声标签的学习解决方案与负/非标签平滑（NLS）更密切相关，NLS与LS相反，并定义为使用负权重来组合硬标签和软标签！我们提供的LS和NLS的属性的理解时，学习与噪声标签。在其他既定的属性，我们理论上表明NLS被认为是更有益的标签噪声率高时。我们也提供了多个基准的广泛实验结果来支持我们的发现。代码可在https://github.com/UCSC-REAL/negative-label-smoothing上公开获取。
2022-06-24 cs.LG
FINE Samples for Learning with Noisy Labels
KAIST（韩国科学技术院）
现代深度神经网络（DNN）在数据集包含噪声（不正确）类标签时变得脆弱。存在噪声标签的鲁棒技术可以分为两类：开发噪声鲁棒函数或通过检测噪声数据使用噪声净化方法。近年来，噪声净化方法被认为是最有竞争力的噪声标签学习算法。尽管他们取得了成功，但他们的噪声标签检测器通常基于统计学而不是理论，需要一个强大的分类器来预测具有损失值的噪声数据。在本文中，我们提出了一种新的检测器过滤标签噪声。与大多数现有的方法不同，我们专注于每个数据的潜在表示动态和测量潜在分布和每个表示之间的对齐使用的数据gram矩阵的特征分解。我们的框架，通过其特征向量（FINE）过滤噪声的情况下，提供了一个强大的检测器，无导数的简单方法，具有理论保证。在我们的框架下，我们提出了三个应用程序的FINE：样本选择方法，半监督学习方法，并与噪声鲁棒损失函数的合作。实验结果表明，所提出的方法始终优于相应的基线的所有三个应用程序在各种基准数据集。
2021-10-27 cs.LG
Extended T: Learning with Mixed Closed-set and Open-set Noisy Labels
University of Sydney（悉尼大学）；Hong Kong Baptist University（香港浸会大学）；Xidian University（西安电子科技大学）；Imperial College London（帝国理工学院）；Meituan（美团）
标签噪声转移矩阵$T$反映了真实标签转变为噪声标签的概率，对于标签噪声建模和统计一致性分类器的设计具有重要意义。传统的转移矩阵仅限于对闭集标签噪声进行建模，其中有噪声的训练数据在有噪声的标签集中具有真实的类别标签。它是不适合采用这样的转移矩阵模型开集标签噪声，其中一些真正的类标签是在嘈杂的标签集。因此，当考虑更现实的情况时，即，出现闭集和开集标签噪声，现有方法将不期望地给出有偏差的解决方案。此外，传统的转移矩阵仅限于模型实例无关的标签噪声，这可能在实践中表现不佳。本文主要研究闭集和开集混合标签噪声下的学习问题。我们通过扩展传统的转移矩阵来解决上述问题，使其能够对混合标签噪声进行建模，并进一步扩展到依赖于集群的转移矩阵，以更好地近似现实世界应用中的依赖于实例的标签噪声。我们提出的过渡矩阵集群相关的扩展转移矩阵。无偏估计器（即，扩展的$T$ -估计器）已经被设计成仅通过利用噪声数据来估计依赖于簇的扩展转移矩阵。综合的合成和真实实验验证了该方法可以更好地建模混合标签噪声，具有比现有的最先进的标签噪声学习方法更强大的性能。
2020-12-02 cs.LG
GMM Discriminant Analysis with Noisy Label for Each Class
College of Information Science and Engineering（信息科学与工程学院）；Department of Automation（自动化系）
现实世界的数据集通常包含噪声标签，使用标准分类方法从这些数据集学习可能不会产生所需的性能。在本文中，我们提出了一个高斯混合判别分析（GMDA）与噪声标签的每一类。我们引入翻转概率和类别概率，并使用EM算法来解决标签噪声的鉴别问题。我们还提供了详细的收敛性证明。在合成数据集和真实数据集上的实验结果表明，该方法的性能明显优于其他四种最先进的方法。
2022-01-25 cs.LG
NLNL: Negative Learning for Noisy Labels
KAIST（韩国科学技术院）
卷积神经网络（CNN）在用于图像分类时提供优异的性能。训练CNN的经典方法是以监督的方式标记图像，如“输入图像属于此标签”（正学习; PL），如果标签被正确分配给所有图像，这是一种快速准确的方法。然而，如果存在不准确的标签或噪声标签，则使用PL进行训练将提供错误的信息，从而严重降低性能。为了解决这个问题，我们从一种称为负学习（NL）的间接学习方法开始，其中CNN使用互补标签进行训练，如“输入图像不属于这个互补标签”。由于选择真实标签作为补充标签的机会很低，NL降低了提供错误信息的风险。此外，为了提高收敛性，我们扩展了我们的方法，有选择地采用PL，称为选择性消极学习和积极学习（SelNLPL）。PL被选择性地用于训练预期是干净的数据，其选择成为可能，因为NL的进展，从而导致过滤出噪声数据的优异性能。通过简单的半监督训练技术，我们的方法在噪声数据分类方面达到了最先进的精度，证明了SelNLPL的噪声数据过滤能力的优越性。
2019-08-19 cs.LG
Robustness of Accuracy Metric and its Inspirations in Learning with Noisy Labels
The Chinese University of Hong Kong（香港中文大学）；VIVO AI Lab（vivo人工智能实验室）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
对于类条件标签噪声下的多类分类，我们证明了准确性度量本身可以是鲁棒的。我们将这一发现的灵感具体化在两个重要方面：训练和验证，我们用这些来解决带噪声标签学习中的关键问题。对于训练，我们表明，在足够多的噪声样本上最大限度地提高训练精度会产生近似最优的分类器。对于验证，我们证明了噪声验证集是可靠的，解决了超参数调整和早期停止等场景中模型选择的关键需求。在此之前，使用噪声验证样本的模型选择在理论上并不合理。我们验证了我们的理论结果和额外的索赔与广泛的实验。我们展示了用噪声标签训练的模型的特征，这是由我们的理论结果激发的，并通过展示一个名为噪声最佳教师和学生（NTS）的框架的令人印象深刻的性能来验证噪声验证集的实用性。我们的代码被释放了。
2020-12-08 cs.LG
FedNoiL: A Simple Two-Level Sampling Method for Federated Learning with Noisy Labels
Australian Artificial Intelligence Institute, University of Technology Sydney（悉尼科技大学澳大利亚人工智能研究所）；University of Washington, Seattle（西雅图华盛顿大学）；University of Maryland, College Park（马里兰大学帕克分校）；Hong Kong Baptist University（香港浸会大学）
联邦学习（FL）的目标是在服务器端训练全局模型，而训练数据在本地设备上收集和定位。因此，在实践中，标签通常由不同专业知识或标准的客户端注释，因此包含不同数量的噪声。噪声标签上的局部训练很容易导致对噪声标签的过拟合，这对聚合的全局模型是毁灭性的。虽然最近的强大FL方法考虑到恶意客户端，但它们没有解决每个设备上的本地噪声标签以及对全局模型的影响。在本文中，我们开发了一个简单的两级抽样方法“FedNoiL”，该方法（1）选择客户端，以便在服务器上进行更强大的全局聚合;（2）在客户端选择干净的标签和正确的伪标签，以便进行更强大的本地训练。采样概率建立在全局模型的干净标签检测上。此外，我们研究了不同的时间表，改变本地历元之间的聚合过程中的FL，显着提高了通信和计算效率，在嘈杂的标签设置。在同质/异质数据分布和噪声比的实验中，我们观察到SOTA FL方法与SOTA噪声标签学习方法的直接组合很容易失败，但我们的方法始终实现更好和更鲁棒的性能。
2022-05-20 cs.LG
LaplaceConfidence: a Graph-based Approach for Learning with Noisy Labels
Nanjing University（南京大学）；University of Groningen（格罗宁根大学）
提出基于图的LaplaceConfidence方法，利用拉普拉斯能量构建低能图以评估标签置信度，结合协同训练与标签修复技术实现鲁棒训练，在合成与真实噪声数据集上优于现有方法。
2023-07-31 cs.LG
Incomplete Multi-View Weak-Label Learning with Noisy Features and Imbalanced Labels
ShanghaiTech University（上海科技大学）；Hokkaido University（北海道大学）
针对不完整多视图弱标签学习中噪声特征与不平衡标签问题，提出联合嵌入与自适应加权HSIC降冗余、检测噪声视图，并用焦点损失缓解不平衡，实验验证有效。
2023-08-29 cs.LG
Fine tuning Pre trained Models for Robustness Under Noisy Labels
KAIST AI（韩国科学技术院人工智能学院）；Michigan State University（密歇根州立大学）
本文针对带噪声标签数据集的预训练模型微调问题，提出TURN算法，通过先独立调整线性分类器保护特征提取器，再基于降噪数据集微调整个模型，实现鲁棒且高效的去噪性能。
2023-10-24 cs.LG
Co-learning: Learning from Noisy Labels with Self-supervision
Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
由于人工标注错误或监督学习的网络数据采集错误而导致的噪声标注会导致神经网络过拟合误导信息，从而降低泛化性能。自监督学习在没有标签的情况下工作，从而消除了噪声标签的负面影响。受监督学习和自监督学习的共同训练的启发，我们提出了一种简单而有效的方法，称为Co-learning学习噪声标签。协同学习以协同的方式进行监督学习和自监督学习。与自监督模块的内在相似性和与噪声监督模块的结构相似性的约束施加在共享的共同特征编码器上，以正则化网络，从而最大化两个约束之间的一致性。在基准数据集上对协同学习与对等方法进行了比较，并提供了大量的结果，表明协同学习优于许多最先进的方法。
2021-10-30 cs.LG
Reconstructing unsteady flows from sparse, noisy measurements with a physics-constrained convolutional neural network
Department of Aeronautics, Imperial College London（航空航天系，伦敦帝国学院）；The Alan Turing Institute, London（艾伦·图灵研究所，伦敦）
本文提出一种物理约束卷积神经网络，通过软约束、快照强制和均值强制三种损失函数，从稀疏含噪的不完整测量数据中重建非定常流场，实验证明强约束损失在高低噪声下均更具鲁棒性。
2024-08-30 cs.LG physics.flu-dyn
RACH-Space: Reconstructing Adaptive Convex Hull Space with Applications in Weak Supervision
本研究提出RACH-Space弱监督标注算法，基于弱信号张成空间的几何解释构建，无需严格假设，通过凸包与标签准确率的理论分析关联几何与机器学习，实验证明其性能优于现有最优弱监督标签模型。
2024-02-02 cs.LG math.OC
One-Step Abductive Multi-Target Learning with Diverse Noisy Label Samples
提出了一步溯因多目标学习算法（OSAMTL）来处理复杂的噪声标签。本文在定义了不同噪声标签样本（DNLS）的基础上，提出了一步带DNLS的溯因多目标学习（OSAMTL-DNLS），扩展了原有OSAMTL的方法，使其更好地处理复杂的噪声标签。
2021-12-08 cs.AI cs.LG
SplitNet: Learnable Clean-Noisy Label Splitting for Learning with Noisy Labels
Samsung Electro-Mechanics（三星电机）；Korea University（高丽大学）
用高质量的标签标注数据集对于深度网络的性能至关重要，但在现实世界中，标签往往被噪声污染。为了解决这个问题，提出了一些方法来自动分割干净和有噪声的标签，并在有噪声标签的学习（LNL）框架中学习半监督学习器。然而，他们利用一个手工制作的模块来进行干净的噪声标签分割，这在半监督学习阶段引起了确认偏差，并限制了性能。在本文中，我们首次提出了一个用于清洁噪声标签拆分的可学习模块，称为SplitNet，以及一个新的LNL框架，该框架补充训练SplitNet和LNL任务的主网络。我们建议使用SplitNet基于分裂置信度的动态阈值来更好地优化半监督学习器。为了增强SplitNet训练，我们还提出了一种风险对冲方法。我们提出的方法在最先进的水平，特别是在高噪声比设置在各种LNL基准。
2022-12-19 cs.CV cs.LG
Evaluating Multi-label Classifiers with Noisy Labels
Cornell University（康奈尔大学）
多标签分类（MLC）是标准分类的推广，其中多个标签可以分配给给定的样本。在现实世界中，处理噪声数据集比处理干净数据集更常见，因为现代数据集是由众包平台上的一大群注释者标记的，但很少有人注意评估带有噪声标签的多标签分类器。利用标签相关性现在成为多标签分类器的标准组件，以实现具有竞争力的性能。然而，这个组件使分类器更容易泛化不良-它过度拟合标签以及标签依赖性。我们确定了三个常见的现实世界的标签噪声的情况下，并显示如何以前的方法表现不佳与嘈杂的标签。为了解决这个问题，我们提出了一个基于上下文的多标签分类器（CbMLC），有效地处理嘈杂的标签时，学习标签的依赖关系，而不需要额外的监督。我们比较CbMLC对其他特定领域的国家的最先进的模型在各种数据集上，在干净和嘈杂的设置。我们表明，在大多数情况下，GbMLC比以前的方法有了实质性的改进。
2021-02-16 cs.LG stat.ML
SELC: Self-Ensemble Label Correction Improves Learning with Noisy Labels
McMaster University（麦克马斯特大学）
深度神经网络容易过拟合噪声标签，导致泛化性能差。为了克服这个问题，我们提出了一个简单而有效的方法自集成标签校正（SELC），逐步纠正噪声标签和完善的模型。我们更深入地研究了使用噪声标签进行训练的记忆行为，并观察到网络输出在早期阶段是可靠的。为了保持这种可靠的知识，SELC使用由网络输出的指数移动平均形成的集合预测来更新原始的噪声标签。我们表明，使用SELC进行训练可以通过逐渐减少来自噪声标签的监督并增加来自集合预测的监督来改进模型。尽管它的简单性，与许多国家的最先进的方法相比，SELC获得更有前途和稳定的结果，在存在类条件，实例依赖，和现实世界的标签噪声。该代码可在https://github.com/MacLLL/SELC上获得。
2022-05-02 cs.CV cs.LG
Estimating Noisy Class Posterior with Part-level Labels for Noisy Label Learning
School of Physics, Xi’an Jiaotong University（西安交通大学物理学院）；School of Computer Science and Technology, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院）；School of Distance Education, Xi’an Jiaotong University（西安交通大学远程教育学院）
本文针对噪声标签导致类别后验估计偏差的问题，引入部件级标签和单对多转移矩阵，构建分类器一致框架以更准确估计噪声类别后验并提升分类性能。
2024-07-02 cs.CV cs.LG
A Simple yet Effective Baseline for Robust Deep Learning with Noisy Labels
Tsinghua University（清华大学）；Google Cloud AI（谷歌云人工智能）
最近，深度神经网络已经显示出它们记忆训练数据的能力，即使带有噪声标签，这会损害泛化性能。为了缓解这个问题，我们提供了一个简单但有效的基线方法，即使在严重的噪声下，该方法对噪声标签也具有鲁棒性。我们的目标涉及一个方差正则化项，该项隐含地惩罚整个训练集（包括带有噪音标签的数据）上的神经网络的雅可比范数，这鼓励泛化并防止对损坏的标签的过拟合。在合成生成的错误标签和现实的大规模噪声数据集上的实验表明，我们的方法实现了最先进的性能，对严重噪声具有很高的容忍度。
2019-09-27 cs.LG stat.ML
On the Robustness of Monte Carlo Dropout Trained with Noisy Labels
Facebook（脸书）
深度学习的记忆效应阻碍了其在带噪声标签的学习中有效地推广测试集的性能。先前的研究已经发现，与没有不确定性估计的神经网络相比，认知不确定性技术在用噪声标签训练时是鲁棒的。它们在对抗性噪声标签环境下获得了较长的记忆效果和较好的泛化性能。由于其在噪声标签下的其他选定的认知不确定性方法中的优越性能，我们专注于Monte Carlo Dropout（MCDropout），并研究为什么它在使用噪声标签进行训练时具有鲁棒性。通过对MNIST、CIFAR-10、Animal-10 n数据集的实证研究，本文深入研究了噪声标签设置下MCDropout的三个方面：1.功效：了解MCDropout在训练集包含人工生成或自然嵌入的标签噪声时的学习行为和测试精度; 2.表征波动性：通过检查每个神经元激活的平均值和标准差来研究神经元的响应性; 3.网络稀疏性：与确定性神经网络相比，研究MCDropout的网络支持。我们的研究结果表明，MCDropout进一步稀疏化和正则化的确定性神经网络，从而提供了更高的鲁棒性对噪声标签。
2021-03-22 cs.CV cs.LG
Meta Label Correction for Noisy Label Learning
Microsoft Research（微软研究院）
利用弱监督或噪声监督来构建有效的机器学习模型一直是一个重要的研究问题。最近，由于越来越需要大规模数据集来训练深度学习模型，其重要性进一步增加。弱或嘈杂的监督可能来自多个来源，包括非专家注释者或基于语义或用户交互信号的自动标记。以前有大量的工作集中在利用嘈杂的标签。最值得注意的是，最近的工作已经显示出令人印象深刻的收益，通过使用元学习的实例重新加权方法，其中元学习框架用于分配实例权重到嘈杂的标签。在本文中，我们扩展了这种方法，通过提出的问题作为标签校正问题的元学习框架内。我们将标签校正过程视为一个元过程，并提出了一个新的基于元学习的框架MLC（Meta Label Correction），用于带噪声标签的学习。具体而言，采用标签校正网络作为元模型，以产生噪声标签的校正标签，同时训练主模型以利用校正标签。这两个模型通过解决双层优化问题来联合训练。我们在图像识别和文本分类任务中使用不同的标签噪声水平和类型进行了广泛的实验。我们比较了重新加权和校正方法，表明校正框架解决了重新加权的一些局限性。我们还表明，建议的MLC方法实现了很大的改进，在许多设置比以前的方法。
2021-08-06 cs.LG stat.ML
ExpertNet: Adversarial Learning and Recovery Against Noisy Labels
TU Delft（代尔夫特理工大学）；ABB Future Labs（ABB未来实验室）；Beijing Institute of Technology（北京理工大学）
目前可用的野外数据集，例如，来自社交媒体和开放平台的图像，为深度学习带来了巨大的机遇和挑战，因为有很大一部分标记的图像，但通常带有噪声，即错误的标签。最近的研究提高了深度模型对噪声标签的鲁棒性，而无需了解真实标签。在本文中，我们主张导出一个更强大的分类器，它除了原始图像外还主动利用噪声标签-将噪声标签转化为学习特征。为此，我们提出了一个新的框架，ExpertNet，由业余和专家，迭代地相互学习。Amateur是一个通过Expert的反馈训练的常规图像分类器，它模仿人类专家如何使用从噪声和地面真实标签的知识中学习的噪声模式来校正来自Amateur的预测标签。训练有素的业余爱好者和专家主动利用图像及其噪声标签来推断图像类别。我们对噪声版本的CIFAR-10、CIFAR-100和Clothing 1 M的真实数据进行的经验评估表明，与只专注于提取噪声标签影响的最先进的深度模型相比，所提出的模型可以在宽范围的噪声比下实现鲁棒的分类，并且只需20-50%的训练数据。
2020-07-13 cs.LG stat.ML
Multi-Class Classification from Noisy-Similarity-Labeled Data
University of Sydney（悉尼大学）；Xidian University（西安电子科技大学）；RIKEN（理化学研究所）；Hong Kong Baptist University（香港浸会大学）；The University of Melbourne（墨尔本大学）；Brain-Inspired Technology Co., Ltd.（脑启发科技有限公司）
相似性标签指示两个实例是否属于同一个类，而类标签显示实例的类。在没有类标签的情况下，可以通过Meta分类学习从相似性标记的成对数据中学习多类分类器。然而，由于相似性标签比类别标签信息量少，因此它更有可能是嘈杂的。深度神经网络可以很容易地记住有噪声的数据，从而导致分类中的过拟合。在本文中，我们提出了一种方法来学习只有噪声相似性标记的数据。具体来说，为了对噪声进行建模，我们采用噪声转移矩阵来桥接干净数据和噪声数据之间的类后验概率。我们进一步估计的转移矩阵，从只有噪声的数据，并建立一个新的学习系统来学习分类器，可以分配无噪声的类标签的实例。此外，我们从理论上证明了我们提出的方法如何推广学习分类器。实验结果表明，该方法优于国家的最先进的方法对基准模拟和现实世界的噪声标签数据集。
2020-02-16 cs.LG stat.ML
CleaR: Towards Robust and Generalized Parameter-Efficient Fine-Tuning for Noisy Label Learning
Korea University（高丽大学）
针对PEFT在噪声标签环境下的脆弱性，提出基于路由的CleaR方法，自适应激活模块以优先学习干净样本，实验证明其显著提升噪声环境下的性能。
2024-10-31 cs.AI cs.LG
Noisy multi-label semi-supervised dimensionality reduction
UiT The Arctic University of Norway（挪威北极大学）；Universidad Rey Juan Carlos（胡安·卡洛斯国王大学）
噪声标记数据代表了丰富的信息源，这些信息通常很容易获得，而且获取成本很低，但如果不考虑标签噪声，也可能产生许多负面后果。如何充分利用噪声标签已经在标准监督机器学习的框架内被广泛研究了几十年。然而，很少有研究已经进行了解决在非标准的设置嘈杂的标签所带来的挑战。这包括只有一小部分样本被标记（半监督）并且每个高维样本与多个标签相关联的情况。在这项工作中，我们提出了一种新的半监督和多标签的降维方法，有效地利用信息，从嘈杂的多标签和未标记的数据。提出的噪声多标签半监督降维（NMLSDR）方法，通过专门设计的标签传播算法对噪声多标签进行去噪，同时对未标记数据进行标记。然后，NMLSDR学习投影矩阵，通过最大化放大和去噪的多标签空间与投影空间中的特征之间的依赖性来降低维度。在合成数据、基准数据集以及真实案例研究上的大量实验证明了该算法的有效性，并表明其性能优于最先进的多标签特征提取算法。
2019-02-20 cs.LG stat.ML
Learning with Noisy Labels for Sentence-level Sentiment Classification
Southwest Jiaotong University（西南交通大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Beihang University（北京航空航天大学）
深度神经网络（DNN）可以很好地拟合（甚至过拟合）训练数据。如果DNN模型使用带有噪声标签的数据进行训练，并在带有干净标签的数据上进行测试，则模型可能表现不佳。本文研究了带噪声标签的情感分类学习问题。我们提出了一种名为NetAb的新型DNN模型（作为带有Ab-networks的卷积神经网络的简写），用于在训练过程中处理噪声标签。NetAb由两个卷积神经网络组成，一个带有噪声过渡层，用于处理输入的噪声标签，另一个用于预测“干净”标签。我们训练这两个网络，使用它们各自的损失函数在相互加强的方式。实验结果证明了该模型的有效性。
2019-08-31 cs.CL cs.LG
Learning to Clean: Reinforcement Learning for Noisy Label Correction
School of Computer Science, Carleton University（卡莱顿大学计算机科学学院）；CIFAR AI Chair, Amii（CIFAR人工智能主席，Amii）
本文提出了一种基于强化学习的噪声标签纠正方法，通过深度特征表示策略网络实现标签纠正，实验表明其在多个数据集上优于现有技术。
2025-11-25 cs.AI cs.LG
ALIM: Adjusting Label Importance Mechanism for Noisy Partial Label Learning
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Chongqing University（重庆大学）；Nanyang Technological University（南洋理工大学）；Tsinghua University（清华大学）
针对噪声偏标记学习中检测错误累积影响模型优化的问题，提出插件式框架ALIM，通过权衡初始候选集与模型输出减少负面影响，在基准数据集上达到最先进性能。
2023-05-18 cs.CV cs.LG
Semi-Supervised Cascaded Clustering for Classification of Noisy Label Data
TCS Research（塔塔咨询服务研究院）；Tata Consultancy Services Ltd.（塔塔咨询服务有限公司）
监督分类技术的性能往往恶化时，数据有噪声标签。即使是半监督分类方法也主要集中在处理丢失标签的问题上。大多数处理噪声标签数据的方法都依赖于深度神经网络（DNN），这需要大量的数据集来执行分类任务。这是一个严峻的挑战，特别是在加工和制造行业，其中数据有限，标签嘈杂。我们提出了一个半监督级联聚类（SSCC）算法来提取模式，并生成一个级联树的类在这样的数据集。引入一种新的超参数可配置的聚类评价矩阵（CEM）来定位和消除噪声标签，并调用级联聚类的修剪准则。该算法减少了对昂贵的人类专业知识的依赖，以评估标签的准确性。基于SSCC生成的分类器被发现是准确和一致的，即使在嘈杂的标签数据集上训练。当在多个噪声标签数据集（包括工业数据集）上进行测试时，与支持向量机（SVM）相比，它表现得更好。所提出的方法可以有效地用于在工业环境中以最少的人类专业知识获得可操作的见解。
2022-05-04 cs.AI cs.LG
Error-Bounded Correction of Noisy Labels
Stony Brook University（石溪大学）；Rutgers University（罗格斯大学）；Bain & Company（贝恩公司）；City University of New York（纽约城市大学）
为了收集大规模注释数据，不可避免地引入标签噪声，即，不正确的类标签。为了对标签噪声具有鲁棒性，许多成功的方法依赖于噪声分类器（即，在噪声训练数据上训练的模型）来确定标签是否可信。然而，它仍然不知道为什么这种启发式在实践中运作良好。在本文中，我们提供了这些方法的第一个理论解释。我们证明了噪声分类器的预测确实可以很好地指示训练数据的标签是否干净。基于理论结果，我们提出了一种新的算法，纠正标签的基础上嘈杂的分类器预测。修正后的标签与真实的贝叶斯最优分类器具有很高的概率一致。我们将我们的标签校正算法纳入深度神经网络的训练中，并训练模型，在多个公共数据集上实现卓越的测试性能。
2020-11-19 cs.CV cs.LG
Are Noisy Sentences Useless for Distant Supervised Relation Extraction?
Beijing Institute of Technology（北京理工大学）；CETC Big Data Research Institute Co., Ltd.（中电科大数据研究院有限公司）；Huazhong University of Science and Technology（华中科技大学）
噪声标注问题一直是远距离监督关系抽取的主要障碍之一。现有的方法通常认为噪声句子是无用的，会损害模型的性能。因此，他们主要通过减少噪音句子的影响来缓解这个问题，例如应用袋水平的选择性注意或从垃圾袋中删除噪音句子。然而，噪声标记问题的根本原因不是缺乏有用的信息，而是缺少关系标签。直观地说，如果我们能够为噪声句子分配可信的标签，它们将被转换为有用的训练数据，并有利于模型的性能。因此，在本文中，我们提出了一种新的方法，远距离监督关系抽取，它采用无监督的深度聚类生成可靠的标签噪声句子。具体来说，我们的模型包含三个模块：句子编码器，噪声检测器和标签生成器。句子编码器用于获得特征表示。噪声检测器从垃圾袋中检测出噪声句子，标签生成器为噪声句子生成高置信度的关系标签。大量的实验结果表明，我们的模型在一个流行的基准数据集上的性能优于最先进的基线，并且确实可以减轻噪声标记问题。
2019-11-22 cs.CL cs.LG
Coresets for Robust Training of Neural Networks against Noisy Labels
University of California Los Angeles（加州大学洛杉矶分校）；Stanford University（斯坦福大学）
现代神经网络有能力过拟合在现实世界的数据集中经常发现的噪声标签。虽然已经取得了很大的进展，现有的技术是有限的，在提供理论保证的神经网络的性能与噪声标签。在这里，我们提出了一种新的方法，该方法具有强大的理论保证，可以对使用噪声标签训练的深度网络进行鲁棒训练。我们的方法背后的关键思想是选择干净的数据点，提供一个近似低秩雅可比矩阵的加权子集（coresets）。然后，我们证明了梯度下降适用于子集不过拟合嘈杂的标签。我们广泛的实验证实了我们的理论，并证明在我们的子集上训练的深度网络与现有技术相比具有显著优越的性能，例如，在CIFAR-10上，80%噪声标签的准确性提高6%，在迷你Webvision上的准确性提高7%。
2020-11-15 cs.LG stat.ML
Towards Understanding Deep Learning from Noisy Labels with Small-Loss Criterion
National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；Nanjing University（南京大学）
深度神经网络需要大量的标记数据来实现良好的性能。在现实世界的应用中，标签通常是从非专家（如众包）收集的，以节省成本，因此是嘈杂的。在过去的几年中，已经开发了用于处理噪声标签的深度学习方法，其中许多方法是基于小损失标准的。然而，很少有理论分析来解释为什么这些方法可以从噪声标签中学习。在本文中，我们从理论上解释了为什么广泛使用的小损耗准则的作品。在此基础上，我们重新定义了小损失准则，以更好地处理噪声标签。实验结果验证了我们的理论解释，也证明了改革的有效性。
2021-06-17 cs.LG stat.ML
Self-semi-supervised Learning to Learn from NoisyLabeled Data
New York University（纽约大学）
当今深度神经网络的巨大成功高度依赖于大量正确标记的数据。然而，获得高质量的人类标记数据的成本相当高，导致对噪声标签鲁棒的训练模型的研究领域非常活跃。为了实现这一目标，一方面，许多论文致力于区分噪声标签和干净标签，以提高DNN的泛化能力。另一方面，越来越流行的自半监督学习方法已被证明有利于标签不完整时的任务。通过“semi”，我们将检测到的错误标记数据视为未标记数据;通过“self”，我们选择一种自监督技术进行半监督学习。在这个项目中，我们设计了一些方法来更准确地区分干净和有噪声的标签，并借用自半监督学习的智慧来训练有噪声的标签数据。
2020-11-03 cs.CV cs.LG
Class2Simi: A Noise Reduction Perspective on Learning with Noisy Labels
The University of Sydney（悉尼大学）；Hong Kong Baptist University（香港浸会大学）；The University of Melbourne（墨尔本大学）；Xidian University（西安电子科技大学）；Brain-Inspired Technology Co., Ltd.（脑启发技术有限公司）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
近年来，带噪声标签的学习吸引了很多关注，其中主流方法是逐点方式。同时，成对方式在有监督的度量学习和无监督的对比学习中显示出巨大的潜力。因此，一个自然的问题被提出来了：以成对的方式学习是否可以减轻标签噪声？为了给出肯定的答案，在本文中，我们提出了一个名为Class2Simi的框架：它将具有噪声类标签的数据点转换为具有噪声相似性标签的数据对，其中相似性标签表示一对是否共享类标签。通过这种变换，理论上保证了噪声率的降低，因此原则上更容易处理有噪声的相似性标签。令人惊讶的是，预测干净类别标签的DNN可以从嘈杂的数据对中训练出来，如果它们首先从嘈杂的数据点中进行预训练的话。Class2Simi在计算上是高效的，因为这种转换不仅是在小批量中进行的，而且它只是将模型预测之上的损失计算改为成对的方式。通过大量的实验验证了其有效性。
2021-06-17 cs.LG stat.ML
Learning to Aggregate and Refine Noisy Labels for Visual Sentiment Analysis
University of Rochester（罗切斯特大学）
视觉情感分析近年来受到越来越多的关注。然而，数据集的质量是一个问题，因为情感标签是众包的，主观的，容易出错，并对数据驱动的模型构成严重威胁，特别是深度神经网络。当被训练为过度拟合带有噪声情感标签的训练样本时，深度模型在测试案例上的泛化能力很差。受噪声标签学习的最新进展的启发，我们提出了一种鲁棒的学习方法来执行鲁棒的视觉情感分析。我们的方法依赖于外部存储器来在训练过程中聚合和过滤噪声标签。存储器由具有相应标签的原型组成，可以在线更新。学习的原型及其标签可以被视为局部区域的去噪特征和标签，并且可以指导训练过程以防止模型过度拟合噪声情况。我们建立了一个基准的视觉情感分析与标签噪声使用公开的数据集。在所提出的基准测试环境下的实验结果全面验证了该方法的有效性。
2022-01-27 cs.CV cs.LG
Learning with Noisy Labels Revisited: A Study Using Real-World Human Annotations
University of California Santa Cruz（加州大学圣克鲁兹分校）；University of Sydney（悉尼大学）；RIKEN（理化学研究所）
现有的研究主要集中在合成标签噪声的噪声标签学习。合成噪声虽然具有清晰的结构，极大地促进了统计分析，但往往无法模拟真实世界的噪声模式。最近的文献已经观察到一些提供真实世界噪声数据集的努力，但现有的努力受到两个警告的影响：（1）缺乏地面真实验证使得难以从理论上研究真实世界标签噪声的属性和处理;（2）这些努力通常是大规模的，这可能导致在合理和可访问的计算能力内对鲁棒方法进行不公平的比较。为了更好地理解真实世界的标签噪声，构建具有真实和噪声标签的可控和中等大小的真实世界噪声数据集至关重要。这项工作提出了两个新的基准数据集CIFAR-10 N，CIFAR-100 N，为CIFAR-10，CIFAR-100的训练数据集配备了我们从Amazon Mechanical Turk收集的人类注释的真实世界噪声标签。我们定量和定性地表明，真实世界的噪声标签遵循依赖于实例的模式，而不是经典假设和采用的模式（例如，类相关标签噪声）。然后，我们开始使用CIFAR-10 N和CIFAR-100 N对现有解决方案的子集进行基准测试。我们进一步研究了正确和错误预测的记忆，这进一步说明了人类噪声和类相关合成噪声之间的差异。我们确实表明，与合成标签噪声相比，现实世界的噪声模式带来了新的和突出的挑战。这些观察结果要求我们重新考虑噪声标签的处理，我们希望这两个数据集的可用性将有助于开发和评估未来使用噪声标签解决方案的学习。…
2022-03-27 cs.LG stat.ML
Addressing Long-Tail Noisy Label Learning Problems: a Two-Stage Solution with Label Refurbishment Considering Label Rarity
College of Artificial Intelligence and Green Energy, National Yang Ming Chiao Tung University（国立阳明交通大学人工智慧与绿色能源学院）；University at Albany, SUNY（纽约州立大学奥尔巴尼分校）
针对真实数据集的长尾噪声标签学习问题，提出结合软标签翻新与多专家集成学习的两阶段LR²方法，通过对比学习获无偏特征、BANC损失训练分类器初步预测，再翻新标签用于集成学习，在多个基准数据集上准确率超越现有最优方法。
2024-03-04 cs.AI cs.LG
A Meta Approach to Defend Noisy Labels by the Manifold Regularizer PSDR
The Chinese University of Hong Kong（香港中文大学）；Tencent（腾讯）
噪声标签在现实世界的数据集中无处不在，这对鲁棒训练深度神经网络（DNN）提出了挑战，因为DNN很容易过拟合噪声标签。最近的努力已经致力于通过从训练集中丢弃噪声样本或向训练样本分配权重来保护噪声标签，其中与噪声样本相关联的权重预计是小的。因此，这些先前的努力导致样本的浪费，特别是那些分配有小权重的样本。输入$x$总是有用的，无论其观察到的标签$y$是否干净。为了充分利用所有样本，我们引入了一个流形正则化器，称为配对Softmax发散正则化（PSDR），以惩罚类似输入的softmax输出之间的Kullback-Leibler（KL）发散。特别地，可以通过数据增强有效地生成类似的输入。PSDR可以在任何类型的DNN上轻松实现，以提高对噪声标签的鲁棒性。正如在基准数据集上的经验证明的那样，我们的PSDR显著提高了最先进的结果。
2019-06-13 cs.LG stat.ML
Co-matching: Combating Noisy Labels by Augmentation Anchoring
Mcmaster University（麦克马斯特大学）
具有噪声标签的深度学习具有挑战性，因为深度神经网络具有记忆噪声标签的高容量。在本文中，我们提出了一个学习算法称为协同匹配，它平衡了两个网络之间的一致性和分歧的增强锚定。具体来说，我们让一个网络从它对弱增强图像的预测中生成锚定标签。同时，我们强制其对等网络，以同一图像的强增强版本作为输入，生成接近锚定标签的预测。然后，我们通过选择小损失实例来同时更新两个网络，以最小化两个无监督匹配损失（即，测量两个网络的一致性）和监督分类损失（即测量分类性能）。此外，无监督匹配损失使得我们的方法不严重依赖于噪声标签，这防止了噪声标签的记忆。在三个基准数据集上的实验表明，协同匹配达到了与最先进的方法相当的结果。
2021-03-23 cs.CV cs.LG
Handling Noisy Labels for Robustly Learning from Self-Training Data for Low-Resource Sequence Labeling
Heidelberg University（海德堡大学）；Aalto University（阿尔托大学）；Saarland University（萨尔兰大学）
在本文中，我们解决的问题，有效地自我训练神经网络在低资源设置。自训练经常用于自动增加训练数据的量。然而，在低资源场景中，由于使用未标记数据的自标记创建的不可靠注释，它的效率较低。我们建议将自训练与自标记数据的噪声处理相结合。在组合的干净训练集和自标记数据上直接估计噪声可能导致干净数据的损坏，因此性能更差。因此，我们提出了清洁和嘈杂的标签神经网络，通过明确地分别对清洁和嘈杂的标签进行建模，同时对清洁和嘈杂的自标记数据进行训练。在我们对组块和NER的实验中，这种方法比基线更鲁棒。作为这种显式方法的补充，噪声也可以在辅助学习任务的帮助下隐式处理。对于这种补充方法，我们的方法比其他基线方法更有益，并且一起提供了最佳的整体性能。
2019-03-28 cs.CL cs.LG
Instance-Dependent Noisy Label Learning via Graphical Modelling
Australian Institute for Machine Learning（澳大利亚机器学习研究所）；University of Adelaide（阿德莱德大学）；Monash University（莫纳什大学）
在深度学习的生态系统中，噪声标签是不可避免的，但也是麻烦的，因为模型很容易过拟合它们。标签噪声有许多类型，例如对称、非对称和实例相关噪声（IDN），IDN是唯一依赖于图像信息的类型。这种对图像信息的依赖使得IDN成为研究标签噪声的关键类型，因为标签错误在很大程度上是由图像中存在的视觉类的信息不足或模糊引起的。为了提供一种有效的技术来解决IDN，我们提出了一种新的图形化建模方法称为InstanceGM，它结合了判别和生成模型。InstanceGM的主要贡献是：i）使用连续伯努利分布来训练生成模型，提供显着的训练优势，以及ii）探索最先进的噪声标签判别分类器，以从依赖于实例的噪声标签样本中生成干净的标签。InstanceGM与当前的噪声标签学习方法相比具有竞争力，特别是在使用合成和真实世界数据集的IDN基准测试中，我们的方法在大多数实验中显示出比竞争对手更好的准确性。
2022-09-02 cs.CV cs.LG
A Deep Generative Model for Semi-Supervised Classification with Noisy Labels
École Polytechnique（巴黎综合理工学院）；University of California, Berkeley（加州大学伯克利分校）
由于错误和类之间真正的歧义，类标签经常不能被完美地观察到。我们提出了一种新的半监督深度生成模型，该模型显式地对噪声标签进行建模，称为Mislabeled VAE（M-VAE）。M-VAE可以比现有的不考虑标签噪声的深度生成模型表现得更好。此外，M-VAE的推导为流行的M1+M2半监督模型提供了新的理论见解。
2018-09-16 cs.LG stat.ML
An Instance-Dependent Simulation Framework for Learning with Label Noise
DeepMind；Google Research, Brain Team（Google Research 大脑团队）
我们提出了一个模拟框架，通过一个伪标签范例生成依赖于实例的噪声标签。我们表明，与独立和类条件随机翻转相比，用我们的框架生成的合成噪声标签的分布更接近人类标签。配备可控标签噪声，我们研究了噪声标签在一些实际设置中的负面影响，以了解标签噪声何时更成问题。我们还对几种现有的带有噪声标签的学习算法进行了基准测试，并在我们的合成数据集和带有独立随机标签噪声的数据集上比较了它们的行为。此外，从我们的模拟框架的注释器信息的可用性，我们提出了一种新的技术，标签质量模型（LQM），利用注释器功能来预测和纠正嘈杂的标签。我们表明，在应用现有的噪声标签技术之前，通过添加LQM作为标签校正步骤，我们可以进一步提高模型的性能。
2021-10-17 cs.HC cs.LG
From Noisy Prediction to True Label: Noisy Prediction Calibration via Generative Model
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；University of Seoul（首尔大学）
在机器学习社会中，嘈杂的标签是不可避免的，但也是有问题的。它通过使分类器过度拟合噪声标签来破坏分类器的泛化。现有的噪声标记方法主要集中在训练过程中对分类器进行修改。它有两个潜在的问题。首先，这些方法不适用于未经进一步训练的预训练分类器。其次，训练分类器并同时使来自噪声标签的所有负面影响规则化并不容易。我们提出了一个新的分支的方法，噪声预测校准（NPC）的学习与噪声标签。通过生成模型引入和估计一种新型的转移矩阵，NPC将噪声预测从预训练分类器校正为真实标签作为后处理方案。我们证明了NPC理论上与基于转移矩阵的方法一致。然而，NPC经验上提供了更准确的途径来估计真实标签，即使不参与分类器学习。此外，如果训练实例及其预测可用，则NPC适用于使用噪声标签方法训练的任何分类器。我们的方法NPC提高了所有基线模型在合成和真实数据集上的分类性能。实现的代码可在https://github.com/BaeHeeSun/NPC上获得。
2022-05-26 cs.AI cs.CV cs.LG
Joint Optimization Framework for Learning with Noisy Labels
The University of Tokyo（东京大学）
在大规模数据集上训练的深度神经网络（DNN）在图像分类中表现出了显著的性能。许多大规模的数据集是从网站上收集的，但是它们往往包含不准确的标签，称为噪声标签。在这种嘈杂的标签数据集上训练会导致性能下降，因为DNN很容易过拟合到嘈杂的标签。为了克服这个问题，我们提出了一个学习DNN参数和估计真实标签的联合优化框架。我们的框架可以在训练过程中通过交替更新网络参数和标签来纠正标签。我们在有噪声的CIFAR-10数据集和Clothing 1 M数据集上进行了实验。结果表明，我们的方法显着优于其他国家的最先进的方法。
2018-03-30 cs.CV cs.LG stat.ML
Learning with Noisy Labels by Efficient Transition Matrix Estimation to Combat Label Miscorrection
Hyperconnect Inc.（Hyperconnect公司）
最近关于噪声标签学习的研究通过利用一个小的干净数据集表现出了显着的性能。特别是，基于模型不可知元学习的标签校正方法通过实时校正噪声标签来进一步提高性能。然而，没有对标签错误的保护措施，导致不可避免的性能下降。此外，每个训练步骤至少需要三次反向传播，大大降低了训练速度。为了缓解这些问题，我们提出了一种鲁棒且高效的方法，该方法可以实时学习标签转换矩阵。采用转移矩阵使分类器对所有校正的样本都持怀疑态度，从而避免了误校正问题。我们还引入了一个双头架构，以有效地估计标签转移矩阵的每次迭代内的一个单一的反向传播，使估计矩阵密切关注标签校正引起的移位噪声分布。大量的实验表明，我们的方法在训练效率方面表现最好，同时具有与现有方法相当或更好的准确性。
2022-07-12 cs.AI cs.LG
