Diagnosing and Rectifying Fake OOD Invariance: A Restructured Causal Approach
Jinan University（暨南大学）；Sun Yat-sen University（中山大学）；Pazhou Lab（琶洲实验室）
针对不变表示学习中存在的虚假OOD不变性问题，提出重构结构因果模型RS-SCM及基于条件互信息的纠正方法，通过小型特征选择子网络实现，在多个基准上验证了有效性。
2023-12-15 cs.AI cs.LG stat.ME
Rethinking Noisy Label Models: Labeler-Dependent Noise with Adversarial Awareness
Rowan University（罗文大学）
大多数关于从噪声标签中学习的研究都依赖于不切实际的i.i.d.模型。标签噪声，例如类条件转移矩阵。最近关于实例相关噪声模型的工作更现实，但假设整个数据集上的标签噪声的单个生成过程。我们提出了一个更有原则的标签噪声模型，该模型将实例相关噪声推广到多个标签，基于现代数据集通常使用分布式众包方法进行注释的观察。在我们的标签依赖模型下，标签噪声表现在两种模式下：善意标签的自然错误和恶意行为者提供的对抗性标签。我们提出了两个对抗攻击向量，更准确地反映了在现实世界中可能遇到的标签噪声，并证明了在我们的多模态噪声标签模型下，对抗性标签攻击击败了从噪声标签中学习的最先进的方法。最后，我们提出了一个多阶段的，标签感知的，模型不可知的框架，可靠地过滤噪声标签，利用知识，哪些数据分区被标记的标签，并表明我们提出的框架仍然是强大的，即使在极端的对抗性标签噪声的存在。
2021-06-05 cs.AI cs.HC cs.LG
Context-based Virtual Adversarial Training for Text Classification with Noisy Labels
ShinhanCard（新韩卡公司）；Deargen Inc.（Deargen公司）；GC Company（GC公司）
深度神经网络（DNN）具有很高的能力，可以在足够的训练时间内完全记忆噪声标签，不幸的是，它的记忆会导致性能下降。最近，虚拟对抗训练（VAT）引起了人们的关注，因为它可以进一步提高DNN在半监督学习中的泛化能力。VAT背后的驱动力是通过强制输入和扰动输入之间的一致性来防止模型过度拟合数据点。这种策略可以帮助从噪声标签中学习，如果它阻止神经模型学习噪声样本，同时鼓励模型泛化干净样本。在本文中，我们提出了基于上下文的虚拟对抗训练（ConVAT），以防止文本分类器过度拟合噪声标签。与以前的工作不同，所提出的方法在上下文级别而不是输入级别执行对抗训练。它使分类器不仅学习它的标签，而且学习它的上下文邻居，这通过保留每个数据点上的上下文语义来简化对噪声标签的学习。我们进行了广泛的实验，四个文本分类数据集与两种类型的标签噪声。综合实验结果清楚地表明，所提出的方法工作得很好，即使在非常嘈杂的设置。
2022-05-29 cs.AI cs.CL cs.LG
Detecting and Rectifying Noisy Labels: A Similarity-based Approach
本文提出一种基于DNN倒数第二层特征相似性的模型无关事后方法，用于检测并自动纠正数据集中的标签噪声，实验证明其在多种现实噪声场景下检测性能高且能提升数据集质量。
2025-10-27 cs.CL cs.LG
Symmetric Cross Entropy for Robust Learning with Noisy Labels
JD AI（京东人工智能）；The University of Melbourne（墨尔本大学）；Cainiao AI（菜鸟人工智能）；Shanghai Jiao Tong University（上海交通大学）
在存在噪声标签的情况下训练准确的深度神经网络（DNN）是一项重要且具有挑战性的任务。虽然已经提出了许多方法来学习嘈杂的标签，许多开放的问题仍然存在。在本文中，我们证明了使用交叉熵（CE）的DNN学习在某些类（“简单”类）上表现出对噪声标签的过度拟合，但更令人惊讶的是，它在其他一些类（“困难”类）上也存在显著的学习不足。直觉上，CE需要一个额外的术语来促进硬类的学习，更重要的是，这个术语应该是噪声容忍的，以避免过度拟合到噪声标签。受对称KL发散的启发，我们提出了\textbf{Symmetric cross entropy Learning}（SL）的方法，用噪声鲁棒的反向交叉熵（RCE）对称地提升CE。我们提出的SL方法同时解决了在存在噪声标签的情况下CE的学习不足和过拟合问题。我们提供了SL的理论分析，并在一系列基准和真实世界的数据集上实证显示，SL优于最先进的方法。我们还表明，SL可以很容易地纳入现有的方法，以进一步提高其性能。
2019-08-16 cs.CV cs.LG stat.ML
Rectifying Geometric Misalignment: Online Source-Free Adaptation for Class-Imbalanced EEG
针对类别不平衡脑电图的在线源适配问题，提出OSPDIM框架，通过流形约束偏置参数的实时优化校正几何错位，在运动想象数据集上显著优于标准黎曼基线。
2026-08-07 cs.LG
Rectifying Classifier Chains for Multi-Label Classification
Heinz Nixdorf Institute（海因茨·尼克斯多夫研究所）；Paderborn University（帕德博恩大学）；Artificial Intelligence Center, University of Oviedo（奥维耶多大学人工智能中心）
分类器链最近被提出作为一种有吸引力的方法来处理多标签分类任务。除了几个实证研究显示其最先进的性能，特别是当被用于其集成变体，也有一些第一个结果分类链的理论属性。继续沿着这条线，我们分析了学习过程中潜在陷阱的影响，即训练和测试中使用的特征空间之间的差异：虽然真实的类标签被用作训练链上二进制模型的补充属性，但相同的模型需要在预测时依赖于这些标签的估计。我们阐明在何种情况下，属性噪音，从而创建可以影响整体的预测性能。由于我们的研究结果，我们提出了两个修改的分类器链，旨在克服这个问题。实验表明，我们的变体确实能够在原始链接过程可能失败的情况下产生更好的结果。
2019-06-07 cs.LG stat.ML
Mitigating Memorization in Sample Selection for Learning with Noisy Labels
Pohang University of Science and Technology（浦项科技大学）；Seoul National University of Science and Technology (SeoulTech)（首尔国立科技大学（首尔科技大学））
由于深度学习容易受到噪声标签的影响，因此仅使用干净标记数据训练网络的样本选择技术引起了极大的关注。然而，如果标签被少数类别占主导地位，这些噪声样本被称为显性噪声标记样本，网络也通过内容感知优化快速学习显性噪声标记样本。在这项研究中，我们提出了一个令人信服的标准，惩罚显性噪声标记的样本集中通过类明智的惩罚标签。通过对每个观察到的标签的预测置信度进行平均，我们获得了合适的惩罚标签，如果标签在很大程度上被某些类别损坏，则这些标签具有较高的值。使用基准测试（CIFAR-10，CIFAR-100，Tiny-ImageNet）和真实世界的数据集（ANIMAL-10 N，Clothing 1 M）进行实验，以评估在不同噪声率的各种场景下提出的标准。使用所提出的样本选择，网络的学习过程变得显着鲁棒的噪声标签相比，现有的方法在几种噪声类型。
2021-07-08 cs.LG
A Novel Perspective for Positive-Unlabeled Learning via Noisy Labels
University of Tokyo（东京大学）；NTT Communication Science Laboratories（NTT通信科学实验室）
正-未标记学习是指仅使用正和未标记数据来训练二元分类器的过程。虽然未标记数据中可以包含正数据，但现有的正-未标记学习方法将所有未标记数据都视为负数据，导致性能下降。我们对这个问题提供了一个新的视角-将未标记的数据视为噪声标记的数据，并将PU学习的一个新公式引入噪声标记数据的联合优化问题。该研究提出了一种方法，分配初始伪标签的未标记的数据被用作噪声标记的数据，并使用噪声标记的数据训练一个深度神经网络。实验结果表明，该方法显着优于国家的最先进的方法在几个基准数据集。
2021-03-08 cs.LG
Noisy Early Stopping for Noisy Labels
University of Edinburgh（爱丁堡大学）
针对噪声标签场景下无噪声验证集获取难、早停实施成本高的问题，提出噪声早停（NES）方法，利用同分布噪声验证集实现接近最优的早停效果，给出理论依据并验证其在标准基准上的稳健性能。
2024-09-10 cs.LG
Towards the Identifiability in Noisy Label Learning: A Multinomial Mixture Modelling Approach
Centre for Vision, Speech and Signal Processing, University of Surrey, United Kingdom（视觉、语音和信号处理中心，萨里大学，英国）；Department of Data Science and AI, Monash University, Australia（数据科学与人工智能系，莫纳什大学，澳大利亚）
本文提出一种数据驱动方法，通过为每个实例生成多个独立同分布噪声标签并利用多项式混合建模，使噪声标签学习问题可辨识，从而无需启发式方法即可准确估计干净标签，并在多种基准上表现优异。
2025-09-24 cs.LG
To Aggregate or Not? Learning with Separate Noisy Labels
UC Santa Cruz（加州大学圣克鲁兹分校）；Google Brain（谷歌大脑）
原始收集的训练数据通常带有从多个不完美注释器收集的单独的噪声标签（例如，通过众包）。使用这些单独标签的典型方法是首先将它们聚合为一个并应用标准训练方法。文献还广泛研究了有效的汇总方法。本文重新审视这一选择，并旨在提供一个答案的问题，是否应该聚合单独的嘈杂的标签成单一的或单独使用它们给定的。我们从理论上分析了一些流行的损失函数的经验风险最小化框架下，这两种方法的性能，包括专门设计的问题与噪声标签的学习。我们的定理得出结论，标签分离是首选标签聚合时，噪声率高，或标签/注释的数量不足。大量的实证结果验证了我们的结论。
2022-10-20 cs.LG
Towards Robust Graph Neural Networks for Noisy Graphs with Sparse Labels
The Pennsylvania State University（宾夕法尼亚州立大学）；Michigan State University（密歇根州立大学）
图神经网络（GNNs）在图结构数据建模方面显示出了强大的能力。然而，现实世界的图通常包含结构噪声，并具有有限的标记节点。在这种图上训练时，GNN的性能会显著下降，这阻碍了GNN在许多应用中的采用。因此，重要的是开发具有有限标记节点的抗噪声GNN。然而，这方面的工作相当有限。因此，我们研究了在具有有限标记节点的噪声图上开发鲁棒GNNs的新问题。我们的分析表明，噪声边缘和有限的标记节点都可能损害GNN的消息传递机制。为了缓解这些问题，我们提出了一种新的框架，该框架采用噪声边缘作为监督来学习去噪和密集图，该框架可以降低权重或消除噪声边缘，并促进GNN的消息传递，以缓解有限标记节点的问题。生成的边进一步用于正则化具有标签平滑度的未标记节点的预测，以更好地训练GNN。在真实数据集上的实验结果表明，该框架对有限标记节点的噪声图具有鲁棒性。
2022-01-01 cs.LG
Learning from Multiple Annotator Noisy Labels via Sample-wise Label Fusion
Massachusetts Institute of Technology（麻省理工学院）；South China University of Technology（华南理工大学）；Takeda Pharmaceuticals Co., Ltd.（武田药品工业株式会社）
数据是现代深度学习的核心。监督学习令人印象深刻的性能是建立在大量准确标记数据的基础上的。然而，在某些实际应用中，准确的标签可能不可行;相反，多个注释器为每个数据样本提供多个噪声标签（而不是一个准确的标签）。在这样一个嘈杂的训练数据集上学习分类器是一项具有挑战性的任务。以前的方法通常假设所有数据样本共享与注释者错误相关的相同参数集，而我们证明了标签错误学习应该是注释者和数据样本相关的。基于这一观察，我们提出了一种新的学习算法。与MNIST，CIFAR-100和ImageNet-100上的几种最先进的基线方法相比，所提出的方法显示出优越性。我们的代码可在https://github.com/zhengqigao/Learning-from-Multiple-Annotator-Noisy-Labels上获得。
2022-07-22 cs.LG
To Smooth or Not? When Label Smoothing Meets Noisy Labels
University of California, Santa Cruz（加州大学圣克鲁兹分校）；Brown University（布朗大学）；The University of Sydney（悉尼大学）；RIKEN AIP（理化学研究所人工智能研究中心）；University of Tokyo（东京大学）
标签平滑（LS）是一种新兴的学习范式，它使用硬训练标签和均匀分布的软标签的正加权平均值。结果表明，LS作为一个正规化的训练数据与硬标签，因此提高了模型的推广。后来有报道称，LS甚至有助于提高使用噪声标签学习时的鲁棒性。然而，我们观察到，当我们在高标签噪声状态下操作时，LS的优势消失。直观地说，这是由于当噪声率高时$\mathbb{P}(\text{noisy label}|X)$的熵增加，在这种情况下，进一步应用LS倾向于“过度平滑”估计的后验。我们继续发现，文献中的几种带噪声标签的学习解决方案与负/非标签平滑（NLS）更密切相关，NLS与LS相反，并定义为使用负权重来组合硬标签和软标签！我们提供的LS和NLS的属性的理解时，学习与噪声标签。在其他既定的属性，我们理论上表明NLS被认为是更有益的标签噪声率高时。我们也提供了多个基准的广泛实验结果来支持我们的发现。代码可在https://github.com/UCSC-REAL/negative-label-smoothing上公开获取。
2022-06-24 cs.LG
FINE Samples for Learning with Noisy Labels
KAIST（韩国科学技术院）
现代深度神经网络（DNN）在数据集包含噪声（不正确）类标签时变得脆弱。存在噪声标签的鲁棒技术可以分为两类：开发噪声鲁棒函数或通过检测噪声数据使用噪声净化方法。近年来，噪声净化方法被认为是最有竞争力的噪声标签学习算法。尽管他们取得了成功，但他们的噪声标签检测器通常基于统计学而不是理论，需要一个强大的分类器来预测具有损失值的噪声数据。在本文中，我们提出了一种新的检测器过滤标签噪声。与大多数现有的方法不同，我们专注于每个数据的潜在表示动态和测量潜在分布和每个表示之间的对齐使用的数据gram矩阵的特征分解。我们的框架，通过其特征向量（FINE）过滤噪声的情况下，提供了一个强大的检测器，无导数的简单方法，具有理论保证。在我们的框架下，我们提出了三个应用程序的FINE：样本选择方法，半监督学习方法，并与噪声鲁棒损失函数的合作。实验结果表明，所提出的方法始终优于相应的基线的所有三个应用程序在各种基准数据集。
2021-10-27 cs.LG
Extended T: Learning with Mixed Closed-set and Open-set Noisy Labels
University of Sydney（悉尼大学）；Hong Kong Baptist University（香港浸会大学）；Xidian University（西安电子科技大学）；Imperial College London（帝国理工学院）；Meituan（美团）
标签噪声转移矩阵$T$反映了真实标签转变为噪声标签的概率，对于标签噪声建模和统计一致性分类器的设计具有重要意义。传统的转移矩阵仅限于对闭集标签噪声进行建模，其中有噪声的训练数据在有噪声的标签集中具有真实的类别标签。它是不适合采用这样的转移矩阵模型开集标签噪声，其中一些真正的类标签是在嘈杂的标签集。因此，当考虑更现实的情况时，即，出现闭集和开集标签噪声，现有方法将不期望地给出有偏差的解决方案。此外，传统的转移矩阵仅限于模型实例无关的标签噪声，这可能在实践中表现不佳。本文主要研究闭集和开集混合标签噪声下的学习问题。我们通过扩展传统的转移矩阵来解决上述问题，使其能够对混合标签噪声进行建模，并进一步扩展到依赖于集群的转移矩阵，以更好地近似现实世界应用中的依赖于实例的标签噪声。我们提出的过渡矩阵集群相关的扩展转移矩阵。无偏估计器（即，扩展的$T$ -估计器）已经被设计成仅通过利用噪声数据来估计依赖于簇的扩展转移矩阵。综合的合成和真实实验验证了该方法可以更好地建模混合标签噪声，具有比现有的最先进的标签噪声学习方法更强大的性能。
2020-12-02 cs.LG
GMM Discriminant Analysis with Noisy Label for Each Class
College of Information Science and Engineering（信息科学与工程学院）；Department of Automation（自动化系）
现实世界的数据集通常包含噪声标签，使用标准分类方法从这些数据集学习可能不会产生所需的性能。在本文中，我们提出了一个高斯混合判别分析（GMDA）与噪声标签的每一类。我们引入翻转概率和类别概率，并使用EM算法来解决标签噪声的鉴别问题。我们还提供了详细的收敛性证明。在合成数据集和真实数据集上的实验结果表明，该方法的性能明显优于其他四种最先进的方法。
2022-01-25 cs.LG
NLNL: Negative Learning for Noisy Labels
KAIST（韩国科学技术院）
卷积神经网络（CNN）在用于图像分类时提供优异的性能。训练CNN的经典方法是以监督的方式标记图像，如“输入图像属于此标签”（正学习; PL），如果标签被正确分配给所有图像，这是一种快速准确的方法。然而，如果存在不准确的标签或噪声标签，则使用PL进行训练将提供错误的信息，从而严重降低性能。为了解决这个问题，我们从一种称为负学习（NL）的间接学习方法开始，其中CNN使用互补标签进行训练，如“输入图像不属于这个互补标签”。由于选择真实标签作为补充标签的机会很低，NL降低了提供错误信息的风险。此外，为了提高收敛性，我们扩展了我们的方法，有选择地采用PL，称为选择性消极学习和积极学习（SelNLPL）。PL被选择性地用于训练预期是干净的数据，其选择成为可能，因为NL的进展，从而导致过滤出噪声数据的优异性能。通过简单的半监督训练技术，我们的方法在噪声数据分类方面达到了最先进的精度，证明了SelNLPL的噪声数据过滤能力的优越性。
2019-08-19 cs.LG
Robustness of Accuracy Metric and its Inspirations in Learning with Noisy Labels
The Chinese University of Hong Kong（香港中文大学）；VIVO AI Lab（vivo人工智能实验室）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
对于类条件标签噪声下的多类分类，我们证明了准确性度量本身可以是鲁棒的。我们将这一发现的灵感具体化在两个重要方面：训练和验证，我们用这些来解决带噪声标签学习中的关键问题。对于训练，我们表明，在足够多的噪声样本上最大限度地提高训练精度会产生近似最优的分类器。对于验证，我们证明了噪声验证集是可靠的，解决了超参数调整和早期停止等场景中模型选择的关键需求。在此之前，使用噪声验证样本的模型选择在理论上并不合理。我们验证了我们的理论结果和额外的索赔与广泛的实验。我们展示了用噪声标签训练的模型的特征，这是由我们的理论结果激发的，并通过展示一个名为噪声最佳教师和学生（NTS）的框架的令人印象深刻的性能来验证噪声验证集的实用性。我们的代码被释放了。
2020-12-08 cs.LG
FedNoiL: A Simple Two-Level Sampling Method for Federated Learning with Noisy Labels
Australian Artificial Intelligence Institute, University of Technology Sydney（悉尼科技大学澳大利亚人工智能研究所）；University of Washington, Seattle（西雅图华盛顿大学）；University of Maryland, College Park（马里兰大学帕克分校）；Hong Kong Baptist University（香港浸会大学）
联邦学习（FL）的目标是在服务器端训练全局模型，而训练数据在本地设备上收集和定位。因此，在实践中，标签通常由不同专业知识或标准的客户端注释，因此包含不同数量的噪声。噪声标签上的局部训练很容易导致对噪声标签的过拟合，这对聚合的全局模型是毁灭性的。虽然最近的强大FL方法考虑到恶意客户端，但它们没有解决每个设备上的本地噪声标签以及对全局模型的影响。在本文中，我们开发了一个简单的两级抽样方法“FedNoiL”，该方法（1）选择客户端，以便在服务器上进行更强大的全局聚合;（2）在客户端选择干净的标签和正确的伪标签，以便进行更强大的本地训练。采样概率建立在全局模型的干净标签检测上。此外，我们研究了不同的时间表，改变本地历元之间的聚合过程中的FL，显着提高了通信和计算效率，在嘈杂的标签设置。在同质/异质数据分布和噪声比的实验中，我们观察到SOTA FL方法与SOTA噪声标签学习方法的直接组合很容易失败，但我们的方法始终实现更好和更鲁棒的性能。
2022-05-20 cs.LG
LaplaceConfidence: a Graph-based Approach for Learning with Noisy Labels
Nanjing University（南京大学）；University of Groningen（格罗宁根大学）
提出基于图的LaplaceConfidence方法，利用拉普拉斯能量构建低能图以评估标签置信度，结合协同训练与标签修复技术实现鲁棒训练，在合成与真实噪声数据集上优于现有方法。
2023-07-31 cs.LG
Incomplete Multi-View Weak-Label Learning with Noisy Features and Imbalanced Labels
ShanghaiTech University（上海科技大学）；Hokkaido University（北海道大学）
针对不完整多视图弱标签学习中噪声特征与不平衡标签问题，提出联合嵌入与自适应加权HSIC降冗余、检测噪声视图，并用焦点损失缓解不平衡，实验验证有效。
2023-08-29 cs.LG
Fine tuning Pre trained Models for Robustness Under Noisy Labels
KAIST AI（韩国科学技术院人工智能学院）；Michigan State University（密歇根州立大学）
本文针对带噪声标签数据集的预训练模型微调问题，提出TURN算法，通过先独立调整线性分类器保护特征提取器，再基于降噪数据集微调整个模型，实现鲁棒且高效的去噪性能。
2023-10-24 cs.LG
Co-learning: Learning from Noisy Labels with Self-supervision
Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
由于人工标注错误或监督学习的网络数据采集错误而导致的噪声标注会导致神经网络过拟合误导信息，从而降低泛化性能。自监督学习在没有标签的情况下工作，从而消除了噪声标签的负面影响。受监督学习和自监督学习的共同训练的启发，我们提出了一种简单而有效的方法，称为Co-learning学习噪声标签。协同学习以协同的方式进行监督学习和自监督学习。与自监督模块的内在相似性和与噪声监督模块的结构相似性的约束施加在共享的共同特征编码器上，以正则化网络，从而最大化两个约束之间的一致性。在基准数据集上对协同学习与对等方法进行了比较，并提供了大量的结果，表明协同学习优于许多最先进的方法。
2021-10-30 cs.LG
Multiple Kernel Learning from Noisy Labels by Stochastic Programming
Michigan State University（密歇根州立大学）；Zhejiang University（浙江大学）；Yahoo Labs!（雅虎实验室）
我们研究了从噪声标签中学习多核的问题。这与以前大多数关于多核学习的研究相反，这些研究主要集中在开发有效的算法并假设完美标记的训练样本。直接将现有的多核学习算法应用于噪声标记的示例通常会由于不正确的类分配而导致次优性能。我们解决这个挑战，铸造多内核学习从嘈杂的标签到一个随机规划问题，并提出了一个极大极小公式。我们开发了一个有效的算法来解决相关的凸-凹优化问题的快速收敛速度$O(1/T)$，其中$T$是迭代次数。UCI数据集上的实证研究验证了所提出的框架的有效性和所提出的优化算法的效率。
2012-06-18 cs.LG
Learning From Noisy Singly-labeled Data
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon Web Services（亚马逊云科技）
监督学习依赖于带注释的示例，这些示例被视为\emph{ground truth}。但这些标签通常来自嘈杂的众包平台，如Amazon Mechanical Turk。从业者通常会为每个示例收集多个标签，并汇总结果以减轻噪音（经典的众包问题）。给定固定的注释预算和无限的未标记数据，冗余注释是以较少的标记示例为代价的。这就提出了两个基本问题：（1）我们怎样才能最好地向吵闹的工人学习？(2)我们应该如何分配我们的标记预算，以最大限度地提高分类器的性能？我们提出了一种新的算法，用于从嘈杂的众包数据中联合建模标签和工人质量。交替最小化在循环中进行，根据与当前模型的不一致来估计工人质量，然后通过优化考虑工人质量的当前估计的损失函数来更新模型。与以前的方法不同，即使每个示例只有一个注释，我们的算法也可以估计工人质量。我们为使用我们的算法学习的模型建立了一个泛化误差范围，并从理论上建立了当工人质量高于阈值时，最好一次标记许多示例（而不是多次）。在ImageNet（模拟嘈杂的工人）和MS-COCO（使用真正的众包标签）上进行的实验证实了我们算法的好处。
2018-05-20 cs.LG
One-Step Abductive Multi-Target Learning with Diverse Noisy Label Samples
提出了一步溯因多目标学习算法（OSAMTL）来处理复杂的噪声标签。本文在定义了不同噪声标签样本（DNLS）的基础上，提出了一步带DNLS的溯因多目标学习（OSAMTL-DNLS），扩展了原有OSAMTL的方法，使其更好地处理复杂的噪声标签。
2021-12-08 cs.AI cs.LG
SplitNet: Learnable Clean-Noisy Label Splitting for Learning with Noisy Labels
Samsung Electro-Mechanics（三星电机）；Korea University（高丽大学）
用高质量的标签标注数据集对于深度网络的性能至关重要，但在现实世界中，标签往往被噪声污染。为了解决这个问题，提出了一些方法来自动分割干净和有噪声的标签，并在有噪声标签的学习（LNL）框架中学习半监督学习器。然而，他们利用一个手工制作的模块来进行干净的噪声标签分割，这在半监督学习阶段引起了确认偏差，并限制了性能。在本文中，我们首次提出了一个用于清洁噪声标签拆分的可学习模块，称为SplitNet，以及一个新的LNL框架，该框架补充训练SplitNet和LNL任务的主网络。我们建议使用SplitNet基于分裂置信度的动态阈值来更好地优化半监督学习器。为了增强SplitNet训练，我们还提出了一种风险对冲方法。我们提出的方法在最先进的水平，特别是在高噪声比设置在各种LNL基准。
2022-12-19 cs.CV cs.LG
Evaluating Multi-label Classifiers with Noisy Labels
Cornell University（康奈尔大学）
多标签分类（MLC）是标准分类的推广，其中多个标签可以分配给给定的样本。在现实世界中，处理噪声数据集比处理干净数据集更常见，因为现代数据集是由众包平台上的一大群注释者标记的，但很少有人注意评估带有噪声标签的多标签分类器。利用标签相关性现在成为多标签分类器的标准组件，以实现具有竞争力的性能。然而，这个组件使分类器更容易泛化不良-它过度拟合标签以及标签依赖性。我们确定了三个常见的现实世界的标签噪声的情况下，并显示如何以前的方法表现不佳与嘈杂的标签。为了解决这个问题，我们提出了一个基于上下文的多标签分类器（CbMLC），有效地处理嘈杂的标签时，学习标签的依赖关系，而不需要额外的监督。我们比较CbMLC对其他特定领域的国家的最先进的模型在各种数据集上，在干净和嘈杂的设置。我们表明，在大多数情况下，GbMLC比以前的方法有了实质性的改进。
2021-02-16 cs.LG stat.ML
SELC: Self-Ensemble Label Correction Improves Learning with Noisy Labels
McMaster University（麦克马斯特大学）
深度神经网络容易过拟合噪声标签，导致泛化性能差。为了克服这个问题，我们提出了一个简单而有效的方法自集成标签校正（SELC），逐步纠正噪声标签和完善的模型。我们更深入地研究了使用噪声标签进行训练的记忆行为，并观察到网络输出在早期阶段是可靠的。为了保持这种可靠的知识，SELC使用由网络输出的指数移动平均形成的集合预测来更新原始的噪声标签。我们表明，使用SELC进行训练可以通过逐渐减少来自噪声标签的监督并增加来自集合预测的监督来改进模型。尽管它的简单性，与许多国家的最先进的方法相比，SELC获得更有前途和稳定的结果，在存在类条件，实例依赖，和现实世界的标签噪声。该代码可在https://github.com/MacLLL/SELC上获得。
2022-05-02 cs.CV cs.LG
Estimating Noisy Class Posterior with Part-level Labels for Noisy Label Learning
School of Physics, Xi’an Jiaotong University（西安交通大学物理学院）；School of Computer Science and Technology, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院）；School of Distance Education, Xi’an Jiaotong University（西安交通大学远程教育学院）
本文针对噪声标签导致类别后验估计偏差的问题，引入部件级标签和单对多转移矩阵，构建分类器一致框架以更准确估计噪声类别后验并提升分类性能。
2024-07-02 cs.CV cs.LG
A Simple yet Effective Baseline for Robust Deep Learning with Noisy Labels
Tsinghua University（清华大学）；Google Cloud AI（谷歌云人工智能）
最近，深度神经网络已经显示出它们记忆训练数据的能力，即使带有噪声标签，这会损害泛化性能。为了缓解这个问题，我们提供了一个简单但有效的基线方法，即使在严重的噪声下，该方法对噪声标签也具有鲁棒性。我们的目标涉及一个方差正则化项，该项隐含地惩罚整个训练集（包括带有噪音标签的数据）上的神经网络的雅可比范数，这鼓励泛化并防止对损坏的标签的过拟合。在合成生成的错误标签和现实的大规模噪声数据集上的实验表明，我们的方法实现了最先进的性能，对严重噪声具有很高的容忍度。
2019-09-27 cs.LG stat.ML
On the Robustness of Monte Carlo Dropout Trained with Noisy Labels
Facebook（脸书）
深度学习的记忆效应阻碍了其在带噪声标签的学习中有效地推广测试集的性能。先前的研究已经发现，与没有不确定性估计的神经网络相比，认知不确定性技术在用噪声标签训练时是鲁棒的。它们在对抗性噪声标签环境下获得了较长的记忆效果和较好的泛化性能。由于其在噪声标签下的其他选定的认知不确定性方法中的优越性能，我们专注于Monte Carlo Dropout（MCDropout），并研究为什么它在使用噪声标签进行训练时具有鲁棒性。通过对MNIST、CIFAR-10、Animal-10 n数据集的实证研究，本文深入研究了噪声标签设置下MCDropout的三个方面：1.功效：了解MCDropout在训练集包含人工生成或自然嵌入的标签噪声时的学习行为和测试精度; 2.表征波动性：通过检查每个神经元激活的平均值和标准差来研究神经元的响应性; 3.网络稀疏性：与确定性神经网络相比，研究MCDropout的网络支持。我们的研究结果表明，MCDropout进一步稀疏化和正则化的确定性神经网络，从而提供了更高的鲁棒性对噪声标签。
2021-03-22 cs.CV cs.LG
Meta Label Correction for Noisy Label Learning
Microsoft Research（微软研究院）
利用弱监督或噪声监督来构建有效的机器学习模型一直是一个重要的研究问题。最近，由于越来越需要大规模数据集来训练深度学习模型，其重要性进一步增加。弱或嘈杂的监督可能来自多个来源，包括非专家注释者或基于语义或用户交互信号的自动标记。以前有大量的工作集中在利用嘈杂的标签。最值得注意的是，最近的工作已经显示出令人印象深刻的收益，通过使用元学习的实例重新加权方法，其中元学习框架用于分配实例权重到嘈杂的标签。在本文中，我们扩展了这种方法，通过提出的问题作为标签校正问题的元学习框架内。我们将标签校正过程视为一个元过程，并提出了一个新的基于元学习的框架MLC（Meta Label Correction），用于带噪声标签的学习。具体而言，采用标签校正网络作为元模型，以产生噪声标签的校正标签，同时训练主模型以利用校正标签。这两个模型通过解决双层优化问题来联合训练。我们在图像识别和文本分类任务中使用不同的标签噪声水平和类型进行了广泛的实验。我们比较了重新加权和校正方法，表明校正框架解决了重新加权的一些局限性。我们还表明，建议的MLC方法实现了很大的改进，在许多设置比以前的方法。
2021-08-06 cs.LG stat.ML
ExpertNet: Adversarial Learning and Recovery Against Noisy Labels
TU Delft（代尔夫特理工大学）；ABB Future Labs（ABB未来实验室）；Beijing Institute of Technology（北京理工大学）
目前可用的野外数据集，例如，来自社交媒体和开放平台的图像，为深度学习带来了巨大的机遇和挑战，因为有很大一部分标记的图像，但通常带有噪声，即错误的标签。最近的研究提高了深度模型对噪声标签的鲁棒性，而无需了解真实标签。在本文中，我们主张导出一个更强大的分类器，它除了原始图像外还主动利用噪声标签-将噪声标签转化为学习特征。为此，我们提出了一个新的框架，ExpertNet，由业余和专家，迭代地相互学习。Amateur是一个通过Expert的反馈训练的常规图像分类器，它模仿人类专家如何使用从噪声和地面真实标签的知识中学习的噪声模式来校正来自Amateur的预测标签。训练有素的业余爱好者和专家主动利用图像及其噪声标签来推断图像类别。我们对噪声版本的CIFAR-10、CIFAR-100和Clothing 1 M的真实数据进行的经验评估表明，与只专注于提取噪声标签影响的最先进的深度模型相比，所提出的模型可以在宽范围的噪声比下实现鲁棒的分类，并且只需20-50%的训练数据。
2020-07-13 cs.LG stat.ML
Multi-Class Classification from Noisy-Similarity-Labeled Data
University of Sydney（悉尼大学）；Xidian University（西安电子科技大学）；RIKEN（理化学研究所）；Hong Kong Baptist University（香港浸会大学）；The University of Melbourne（墨尔本大学）；Brain-Inspired Technology Co., Ltd.（脑启发科技有限公司）
相似性标签指示两个实例是否属于同一个类，而类标签显示实例的类。在没有类标签的情况下，可以通过Meta分类学习从相似性标记的成对数据中学习多类分类器。然而，由于相似性标签比类别标签信息量少，因此它更有可能是嘈杂的。深度神经网络可以很容易地记住有噪声的数据，从而导致分类中的过拟合。在本文中，我们提出了一种方法来学习只有噪声相似性标记的数据。具体来说，为了对噪声进行建模，我们采用噪声转移矩阵来桥接干净数据和噪声数据之间的类后验概率。我们进一步估计的转移矩阵，从只有噪声的数据，并建立一个新的学习系统来学习分类器，可以分配无噪声的类标签的实例。此外，我们从理论上证明了我们提出的方法如何推广学习分类器。实验结果表明，该方法优于国家的最先进的方法对基准模拟和现实世界的噪声标签数据集。
2020-02-16 cs.LG stat.ML
CleaR: Towards Robust and Generalized Parameter-Efficient Fine-Tuning for Noisy Label Learning
Korea University（高丽大学）
针对PEFT在噪声标签环境下的脆弱性，提出基于路由的CleaR方法，自适应激活模块以优先学习干净样本，实验证明其显著提升噪声环境下的性能。
2024-10-31 cs.AI cs.LG
Noisy multi-label semi-supervised dimensionality reduction
UiT The Arctic University of Norway（挪威北极大学）；Universidad Rey Juan Carlos（胡安·卡洛斯国王大学）
噪声标记数据代表了丰富的信息源，这些信息通常很容易获得，而且获取成本很低，但如果不考虑标签噪声，也可能产生许多负面后果。如何充分利用噪声标签已经在标准监督机器学习的框架内被广泛研究了几十年。然而，很少有研究已经进行了解决在非标准的设置嘈杂的标签所带来的挑战。这包括只有一小部分样本被标记（半监督）并且每个高维样本与多个标签相关联的情况。在这项工作中，我们提出了一种新的半监督和多标签的降维方法，有效地利用信息，从嘈杂的多标签和未标记的数据。提出的噪声多标签半监督降维（NMLSDR）方法，通过专门设计的标签传播算法对噪声多标签进行去噪，同时对未标记数据进行标记。然后，NMLSDR学习投影矩阵，通过最大化放大和去噪的多标签空间与投影空间中的特征之间的依赖性来降低维度。在合成数据、基准数据集以及真实案例研究上的大量实验证明了该算法的有效性，并表明其性能优于最先进的多标签特征提取算法。
2019-02-20 cs.LG stat.ML
Learning with Noisy Labels for Sentence-level Sentiment Classification
Southwest Jiaotong University（西南交通大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Beihang University（北京航空航天大学）
深度神经网络（DNN）可以很好地拟合（甚至过拟合）训练数据。如果DNN模型使用带有噪声标签的数据进行训练，并在带有干净标签的数据上进行测试，则模型可能表现不佳。本文研究了带噪声标签的情感分类学习问题。我们提出了一种名为NetAb的新型DNN模型（作为带有Ab-networks的卷积神经网络的简写），用于在训练过程中处理噪声标签。NetAb由两个卷积神经网络组成，一个带有噪声过渡层，用于处理输入的噪声标签，另一个用于预测“干净”标签。我们训练这两个网络，使用它们各自的损失函数在相互加强的方式。实验结果证明了该模型的有效性。
2019-08-31 cs.CL cs.LG
Learning to Clean: Reinforcement Learning for Noisy Label Correction
School of Computer Science, Carleton University（卡莱顿大学计算机科学学院）；CIFAR AI Chair, Amii（CIFAR人工智能主席，Amii）
本文提出了一种基于强化学习的噪声标签纠正方法，通过深度特征表示策略网络实现标签纠正，实验表明其在多个数据集上优于现有技术。
2025-11-25 cs.AI cs.LG
ALIM: Adjusting Label Importance Mechanism for Noisy Partial Label Learning
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Chongqing University（重庆大学）；Nanyang Technological University（南洋理工大学）；Tsinghua University（清华大学）
针对噪声偏标记学习中检测错误累积影响模型优化的问题，提出插件式框架ALIM，通过权衡初始候选集与模型输出减少负面影响，在基准数据集上达到最先进性能。
2023-05-18 cs.CV cs.LG
Semi-Supervised Cascaded Clustering for Classification of Noisy Label Data
TCS Research（塔塔咨询服务研究院）；Tata Consultancy Services Ltd.（塔塔咨询服务有限公司）
监督分类技术的性能往往恶化时，数据有噪声标签。即使是半监督分类方法也主要集中在处理丢失标签的问题上。大多数处理噪声标签数据的方法都依赖于深度神经网络（DNN），这需要大量的数据集来执行分类任务。这是一个严峻的挑战，特别是在加工和制造行业，其中数据有限，标签嘈杂。我们提出了一个半监督级联聚类（SSCC）算法来提取模式，并生成一个级联树的类在这样的数据集。引入一种新的超参数可配置的聚类评价矩阵（CEM）来定位和消除噪声标签，并调用级联聚类的修剪准则。该算法减少了对昂贵的人类专业知识的依赖，以评估标签的准确性。基于SSCC生成的分类器被发现是准确和一致的，即使在嘈杂的标签数据集上训练。当在多个噪声标签数据集（包括工业数据集）上进行测试时，与支持向量机（SVM）相比，它表现得更好。所提出的方法可以有效地用于在工业环境中以最少的人类专业知识获得可操作的见解。
2022-05-04 cs.AI cs.LG
Error-Bounded Correction of Noisy Labels
Stony Brook University（石溪大学）；Rutgers University（罗格斯大学）；Bain & Company（贝恩公司）；City University of New York（纽约城市大学）
为了收集大规模注释数据，不可避免地引入标签噪声，即，不正确的类标签。为了对标签噪声具有鲁棒性，许多成功的方法依赖于噪声分类器（即，在噪声训练数据上训练的模型）来确定标签是否可信。然而，它仍然不知道为什么这种启发式在实践中运作良好。在本文中，我们提供了这些方法的第一个理论解释。我们证明了噪声分类器的预测确实可以很好地指示训练数据的标签是否干净。基于理论结果，我们提出了一种新的算法，纠正标签的基础上嘈杂的分类器预测。修正后的标签与真实的贝叶斯最优分类器具有很高的概率一致。我们将我们的标签校正算法纳入深度神经网络的训练中，并训练模型，在多个公共数据集上实现卓越的测试性能。
2020-11-19 cs.CV cs.LG
Are Noisy Sentences Useless for Distant Supervised Relation Extraction?
Beijing Institute of Technology（北京理工大学）；CETC Big Data Research Institute Co., Ltd.（中电科大数据研究院有限公司）；Huazhong University of Science and Technology（华中科技大学）
噪声标注问题一直是远距离监督关系抽取的主要障碍之一。现有的方法通常认为噪声句子是无用的，会损害模型的性能。因此，他们主要通过减少噪音句子的影响来缓解这个问题，例如应用袋水平的选择性注意或从垃圾袋中删除噪音句子。然而，噪声标记问题的根本原因不是缺乏有用的信息，而是缺少关系标签。直观地说，如果我们能够为噪声句子分配可信的标签，它们将被转换为有用的训练数据，并有利于模型的性能。因此，在本文中，我们提出了一种新的方法，远距离监督关系抽取，它采用无监督的深度聚类生成可靠的标签噪声句子。具体来说，我们的模型包含三个模块：句子编码器，噪声检测器和标签生成器。句子编码器用于获得特征表示。噪声检测器从垃圾袋中检测出噪声句子，标签生成器为噪声句子生成高置信度的关系标签。大量的实验结果表明，我们的模型在一个流行的基准数据集上的性能优于最先进的基线，并且确实可以减轻噪声标记问题。
2019-11-22 cs.CL cs.LG
Coresets for Robust Training of Neural Networks against Noisy Labels
University of California Los Angeles（加州大学洛杉矶分校）；Stanford University（斯坦福大学）
现代神经网络有能力过拟合在现实世界的数据集中经常发现的噪声标签。虽然已经取得了很大的进展，现有的技术是有限的，在提供理论保证的神经网络的性能与噪声标签。在这里，我们提出了一种新的方法，该方法具有强大的理论保证，可以对使用噪声标签训练的深度网络进行鲁棒训练。我们的方法背后的关键思想是选择干净的数据点，提供一个近似低秩雅可比矩阵的加权子集（coresets）。然后，我们证明了梯度下降适用于子集不过拟合嘈杂的标签。我们广泛的实验证实了我们的理论，并证明在我们的子集上训练的深度网络与现有技术相比具有显著优越的性能，例如，在CIFAR-10上，80%噪声标签的准确性提高6%，在迷你Webvision上的准确性提高7%。
2020-11-15 cs.LG stat.ML
Towards Understanding Deep Learning from Noisy Labels with Small-Loss Criterion
National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；Nanjing University（南京大学）
深度神经网络需要大量的标记数据来实现良好的性能。在现实世界的应用中，标签通常是从非专家（如众包）收集的，以节省成本，因此是嘈杂的。在过去的几年中，已经开发了用于处理噪声标签的深度学习方法，其中许多方法是基于小损失标准的。然而，很少有理论分析来解释为什么这些方法可以从噪声标签中学习。在本文中，我们从理论上解释了为什么广泛使用的小损耗准则的作品。在此基础上，我们重新定义了小损失准则，以更好地处理噪声标签。实验结果验证了我们的理论解释，也证明了改革的有效性。
2021-06-17 cs.LG stat.ML
Self-semi-supervised Learning to Learn from NoisyLabeled Data
New York University（纽约大学）
当今深度神经网络的巨大成功高度依赖于大量正确标记的数据。然而，获得高质量的人类标记数据的成本相当高，导致对噪声标签鲁棒的训练模型的研究领域非常活跃。为了实现这一目标，一方面，许多论文致力于区分噪声标签和干净标签，以提高DNN的泛化能力。另一方面，越来越流行的自半监督学习方法已被证明有利于标签不完整时的任务。通过“semi”，我们将检测到的错误标记数据视为未标记数据;通过“self”，我们选择一种自监督技术进行半监督学习。在这个项目中，我们设计了一些方法来更准确地区分干净和有噪声的标签，并借用自半监督学习的智慧来训练有噪声的标签数据。
2020-11-03 cs.CV cs.LG
Class2Simi: A Noise Reduction Perspective on Learning with Noisy Labels
The University of Sydney（悉尼大学）；Hong Kong Baptist University（香港浸会大学）；The University of Melbourne（墨尔本大学）；Xidian University（西安电子科技大学）；Brain-Inspired Technology Co., Ltd.（脑启发技术有限公司）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
近年来，带噪声标签的学习吸引了很多关注，其中主流方法是逐点方式。同时，成对方式在有监督的度量学习和无监督的对比学习中显示出巨大的潜力。因此，一个自然的问题被提出来了：以成对的方式学习是否可以减轻标签噪声？为了给出肯定的答案，在本文中，我们提出了一个名为Class2Simi的框架：它将具有噪声类标签的数据点转换为具有噪声相似性标签的数据对，其中相似性标签表示一对是否共享类标签。通过这种变换，理论上保证了噪声率的降低，因此原则上更容易处理有噪声的相似性标签。令人惊讶的是，预测干净类别标签的DNN可以从嘈杂的数据对中训练出来，如果它们首先从嘈杂的数据点中进行预训练的话。Class2Simi在计算上是高效的，因为这种转换不仅是在小批量中进行的，而且它只是将模型预测之上的损失计算改为成对的方式。通过大量的实验验证了其有效性。
2021-06-17 cs.LG stat.ML
Learning with Noisy Labels Revisited: A Study Using Real-World Human Annotations
University of California Santa Cruz（加州大学圣克鲁兹分校）；University of Sydney（悉尼大学）；RIKEN（理化学研究所）
现有的研究主要集中在合成标签噪声的噪声标签学习。合成噪声虽然具有清晰的结构，极大地促进了统计分析，但往往无法模拟真实世界的噪声模式。最近的文献已经观察到一些提供真实世界噪声数据集的努力，但现有的努力受到两个警告的影响：（1）缺乏地面真实验证使得难以从理论上研究真实世界标签噪声的属性和处理;（2）这些努力通常是大规模的，这可能导致在合理和可访问的计算能力内对鲁棒方法进行不公平的比较。为了更好地理解真实世界的标签噪声，构建具有真实和噪声标签的可控和中等大小的真实世界噪声数据集至关重要。这项工作提出了两个新的基准数据集CIFAR-10 N，CIFAR-100 N，为CIFAR-10，CIFAR-100的训练数据集配备了我们从Amazon Mechanical Turk收集的人类注释的真实世界噪声标签。我们定量和定性地表明，真实世界的噪声标签遵循依赖于实例的模式，而不是经典假设和采用的模式（例如，类相关标签噪声）。然后，我们开始使用CIFAR-10 N和CIFAR-100 N对现有解决方案的子集进行基准测试。我们进一步研究了正确和错误预测的记忆，这进一步说明了人类噪声和类相关合成噪声之间的差异。我们确实表明，与合成标签噪声相比，现实世界的噪声模式带来了新的和突出的挑战。这些观察结果要求我们重新考虑噪声标签的处理，我们希望这两个数据集的可用性将有助于开发和评估未来使用噪声标签解决方案的学习。…
2022-03-27 cs.LG stat.ML
Addressing Long-Tail Noisy Label Learning Problems: a Two-Stage Solution with Label Refurbishment Considering Label Rarity
College of Artificial Intelligence and Green Energy, National Yang Ming Chiao Tung University（国立阳明交通大学人工智慧与绿色能源学院）；University at Albany, SUNY（纽约州立大学奥尔巴尼分校）
针对真实数据集的长尾噪声标签学习问题，提出结合软标签翻新与多专家集成学习的两阶段LR²方法，通过对比学习获无偏特征、BANC损失训练分类器初步预测，再翻新标签用于集成学习，在多个基准数据集上准确率超越现有最优方法。
2024-03-04 cs.AI cs.LG
A Meta Approach to Defend Noisy Labels by the Manifold Regularizer PSDR
The Chinese University of Hong Kong（香港中文大学）；Tencent（腾讯）
噪声标签在现实世界的数据集中无处不在，这对鲁棒训练深度神经网络（DNN）提出了挑战，因为DNN很容易过拟合噪声标签。最近的努力已经致力于通过从训练集中丢弃噪声样本或向训练样本分配权重来保护噪声标签，其中与噪声样本相关联的权重预计是小的。因此，这些先前的努力导致样本的浪费，特别是那些分配有小权重的样本。输入$x$总是有用的，无论其观察到的标签$y$是否干净。为了充分利用所有样本，我们引入了一个流形正则化器，称为配对Softmax发散正则化（PSDR），以惩罚类似输入的softmax输出之间的Kullback-Leibler（KL）发散。特别地，可以通过数据增强有效地生成类似的输入。PSDR可以在任何类型的DNN上轻松实现，以提高对噪声标签的鲁棒性。正如在基准数据集上的经验证明的那样，我们的PSDR显著提高了最先进的结果。
2019-06-13 cs.LG stat.ML
DyGen: Learning from Noisy Labels via Dynamics-Enhanced Generative Modeling
Georgia Institute of Technology（佐治亚理工学院）；Adobe Research（奥多比研究院）
针对语言模型微调中噪声标签导致过拟合的问题，提出结合嵌入空间动态模式与变分自编码、共正则化的DyGen模型，在合成与真实噪声数据集上均取得准确率提升。
2023-06-13 cs.CL cs.LG
Co-matching: Combating Noisy Labels by Augmentation Anchoring
Mcmaster University（麦克马斯特大学）
具有噪声标签的深度学习具有挑战性，因为深度神经网络具有记忆噪声标签的高容量。在本文中，我们提出了一个学习算法称为协同匹配，它平衡了两个网络之间的一致性和分歧的增强锚定。具体来说，我们让一个网络从它对弱增强图像的预测中生成锚定标签。同时，我们强制其对等网络，以同一图像的强增强版本作为输入，生成接近锚定标签的预测。然后，我们通过选择小损失实例来同时更新两个网络，以最小化两个无监督匹配损失（即，测量两个网络的一致性）和监督分类损失（即测量分类性能）。此外，无监督匹配损失使得我们的方法不严重依赖于噪声标签，这防止了噪声标签的记忆。在三个基准数据集上的实验表明，协同匹配达到了与最先进的方法相当的结果。
2021-03-23 cs.CV cs.LG
