Learning with Noisy labels via Self-supervised Adversarial Noisy Masking
Tencent（腾讯）
收集大规模数据集对于训练深度模型至关重要，然而，注释数据不可避免地产生噪声标签，这对深度学习算法提出了挑战。先前的努力倾向于通过识别和去除噪声样本或根据统计特性（例如，损失值）之间的训练样本。在本文中，我们的目标是从一个新的角度来解决这个问题，深入研究深度特征图，我们根据经验发现，用干净和错误标记的样本训练的模型表现出可区分的激活特征分布。从这个观察，提出了一种新的强大的训练方法，称为对抗噪声掩蔽。这个想法是用标签质量引导的掩蔽方案来正则化深度特征，该方案同时自适应地调制输入数据和标签，防止模型过拟合噪声样本。此外，还设计了一个辅助任务来重建输入数据，它自然地提供了无噪声的自监督信号，以增强深度模型的泛化能力。所提出的方法简单灵活，在合成和真实世界的噪声数据集上进行了测试，与以前的最先进的方法相比，取得了显着的改进。
2023-02-15 cs.CV
Superpixel-guided Iterative Learning from Noisy Labels for Medical Image Segmentation
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）
由于难以获得高质量的标注，从噪声标签中学习分割是医学图像分析的一项重要任务。大多数现有的方法忽略了像素的相关性和结构的先验分割，往往产生噪声预测周围的对象边界。为了解决这个问题，我们采用了超像素表示，并开发了一种强大的迭代学习策略，该策略结合了分割网络的噪声感知训练和噪声标签细化，两者都由超像素指导。这种设计使我们能够利用分割标签中的结构约束，并有效地减轻标签噪声对学习的影响。两个基准测试的实验表明，我们的方法优于最近的国家的最先进的方法，并在广泛的标签噪声实现卓越的鲁棒性。代码可在https://github.com/gaozhitong/SP_guided_Noisy_Label_Seg上获得。
2021-07-21 cs.CV
Neighborhood Collective Estimation for Noisy Label Identification and Correction
Sun Yat-sen University（中山大学）；The University of Hong Kong（香港大学）；Deepwise AI Lab（深睿医疗人工智能实验室）
带噪声标签的学习（LNL）旨在设计策略，通过减轻模型过拟合对噪声标签的影响来提高模型性能和泛化能力。LNL的关键成功在于从大量噪声数据中识别尽可能多的干净样本，同时纠正错误分配的噪声标签。最近的进展采用预测的标签分布的个别样品进行噪音验证和嘈杂的标签校正，容易引起确认偏差。为了缓解这个问题，我们提出了邻域集体估计，其中候选样本的预测可靠性通过将其与其特征空间最近邻居进行对比来重新估计。具体来说，我们的方法分为两个步骤：1）邻域集体噪声验证将所有训练样本分离到干净或有噪声的子集中，2）邻域集体标签校正重新标记有噪声的样本，然后使用辅助技术来辅助进一步的模型优化。在四个常用的基准数据集上进行了广泛的实验，CIFAR-10、CIFAR-100、Clothing-1M和Webvision-1.0的实验表明，我们提出的方法大大优于最先进的方法。
2022-08-05 cs.CV
The Devil is in the Labels: Noisy Label Correction for Robust Scene Graph Generation
Zhejiang University（浙江大学）；Columbia University（哥伦比亚大学）；University of Rochester（罗切斯特大学）
无偏见的SGG近年来取得了重大进展。然而，几乎所有现有的SGG模型都忽略了主流SGG数据集的地面实况注释质量，即，他们总是假设：1）所有手动注释的阳性样本同样正确; 2）所有未注释的阴性样本绝对是背景。在本文中，我们认为这两个假设都不适用于SGG：有许多“噪声”groundtruth谓词标签打破了这两个假设，这些噪声样本实际上损害了无偏SGG模型的训练。为此，我们提出了一种新的模型无关NoIsy标签CorrCtion策略SGG：NICE。NICE不仅可以检测噪声样本，还可以为它们重新分配更多高质量的谓词标签。经过NICE训练后，我们可以获得更干净的SGG数据集用于模型训练。具体来说，NICE由三个部分组成：负噪声样本检测（Neg-NSD）、正NSD（Pos-NSD）和噪声样本校正（NSC）。首先，在Neg-NSD中，我们将此任务表示为分布外检测问题，并为所有检测到的噪声阴性样本分配伪标签。然后，在Pos-NSD中，我们使用基于聚类的算法将所有正样本分成多个集合，并将噪声最大的集合中的样本视为噪声正样本。最后，在NSC中，我们使用一个简单但有效的加权KNN将新的谓词标签重新分配给有噪声的正样本。不同的骨干和任务的广泛结果证明了NICE的每个组件的有效性和推广能力。
2022-06-07 cs.CV
LongReMix: Robust Learning with High Confidence Samples in a Noisy Label Environment
Universidade Federal Rural de Pernambuco（伯南布哥联邦农村大学）；University of Oxford（牛津大学）；Otto-von-Guericke-Universität Magdeburg（马格德堡奥托·冯·格里克大学）；Australian Institute for Machine Learning（澳大利亚机器学习研究所）；University of Surrey（萨里大学）
深度神经网络模型对有限数量的标签噪声具有鲁棒性，但它们在高噪声率问题中记忆噪声标签的能力仍然是一个悬而未决的问题。最具竞争力的噪音标签学习算法依赖于两阶段过程，包括无监督学习将训练样本分类为干净或有噪音，然后是半监督学习，使用由分类为干净的样本形成的标记集和包含分类为有噪音的样本的未标记集来最小化经验邻近风险（EVR）。在本文中，我们假设这种2阶段噪声标签学习方法的推广取决于无监督分类器的精度和训练集的大小，以最大限度地减少EVR。我们实证验证了这两个假设，并提出了新的2阶段噪声标签训练算法LongReMix。我们在噪声标签基准CIFAR-10、CIFAR-100、WebVision、Clothing 1 M和Food 101-N上测试了LongReMix。结果表明，我们的LongReMix比竞争对手的方法更好地推广，特别是在高标签噪声问题。此外，我们的方法在大多数数据集中实现了最先进的性能。该代码可在https://github.com/filipe-research/LongReMix上获得。
2022-09-04 cs.CV
Bootstrapping the Relationship Between Images and Their Clean and Noisy Labels
Australian Institute for Machine Learning（澳大利亚机器学习研究所）；University of Adelaide（阿德莱德大学）；Centre for Vision, Speech and Signal Processing（视觉、语音与信号处理中心）；University of Surrey（萨里大学）
许多最先进的噪声标签学习方法依赖于在训练期间估计样本的干净标签并丢弃其原始噪声标签的学习机制。然而，这种方法阻止了图像，噪声标签和干净标签之间的关系的学习，这已被证明是有用的，当处理依赖于实例的标签噪声问题。此外，旨在学习这种关系的方法需要干净注释的数据子集，以及用于训练的蒸馏或多方面模型。在本文中，我们提出了一种新的训练算法，该算法依赖于一个简单的模型来学习干净和嘈杂标签之间的关系，而不需要一个干净的标签数据子集。我们的算法遵循3个阶段的过程，即：1）自监督预训练，然后是分类器的早期停止训练，以自信地预测训练集子集的干净标签; 2）使用阶段（1）的干净集来引导图像，噪声标签和干净标签之间的关系，我们利用半监督学习来有效地重新标记剩余的训练集;以及3）用来自阶段（2）的所有重新标记的样本对分类器进行监督训练。通过学习这种关系，我们在不对称和依赖于实例的标签噪声问题中实现了最先进的性能。
2022-10-17 cs.CV
Learn From All: Erasing Attention Consistency for Noisy Label Facial Expression Recognition
Beijing University of Posts and Telecommunications（北京邮电大学）
由于类间相似性和标注模糊性，带噪声标签的人脸表情识别（FER）比传统的带噪声标签的分类任务更具挑战性。最近的工作主要是解决这个问题，通过过滤掉大损失的样本。在本文中，我们将从一个新的特征学习的角度来探讨如何处理噪声标签。我们发现，FER模型通过关注与噪声标签相关的部分特征来记住噪声样本，而不是从导致潜在真相的整个特征中学习。受此启发，我们提出了一种新的擦除注意一致性（EAC）方法来自动抑制训练过程中的噪声样本。具体来说，我们首先利用翻转语义一致性的面部图像设计一个不平衡的框架。然后，我们随机擦除输入图像，并使用翻转注意力一致性来防止模型聚焦于部分特征。EAC显著优于最先进的噪声标签FER方法，并且可以很好地推广到其他具有大量类的任务，如CIFAR 100和Tiny-ImageNet。该代码可在https://github.com/zyh-uaiaaaa/Erasing-Attention-Consistency上获得。
2022-09-20 cs.CV
Self-Supervised Noisy Label Learning for Source-Free Unsupervised Domain Adaptation
Zhejiang University（浙江大学）；Hikvision Research Institute（海康威视研究院）；Fuzhou University（福州大学）
在许多现有的无监督领域自适应方法中，自由地访问源数据是一个很强的先决条件。然而，由于昂贵的数据传输和数据隐私保护的限制，在许多实际场景中，源数据是不可知的。通常情况下，期望给定的源域预训练模型仅使用未标记的目标数据进行优化，这被称为无源无监督领域自适应。在本文中，我们从噪声标签学习的角度来解决这个问题，因为给定的预训练模型可以通过直接的网络推理为未标记的目标数据预生成噪声标签。在此问题建模的基础上，结合自监督学习，提出了一种新的自监督噪声标签学习方法，该方法可以有效地利用预生成的标签和动态自生成的标签对预训练模型进行微调。为验证其有效性，进行了大量实验。我们的方法可以很容易地实现国家的最先进的结果，并超过其他方法的一个非常大的保证金。代码将被释放。
2021-02-23 cs.CV
KNN-enhanced Deep Learning Against Noisy Labels
Northwestern University（西北大学）；Illinois Institute of Technology（伊利诺伊理工学院）；California State University Long Beach（加州州立大学长滩分校）
深度神经网络（DNN）上的监督学习是数据饥渴型的。在存在噪声标签的情况下优化DNN的性能变得至关重要，因为收集大型数据集通常会带来噪声标签。受K最近邻（KNN）对数据噪声的鲁棒性的启发，在这项工作中，我们建议将深度KNN应用于标签清理。我们的方法利用DNN进行特征提取，利用KNN进行地面真实标签推理。我们迭代地训练神经网络和更新标签，同时进行更高的标签恢复率和更好的分类性能。实验结果表明，在相同的设置下，我们的方法优于现有的标签校正方法，并在多个数据集上实现了更好的准确性，例如，Clothing1M数据集上的76.78%。
2020-12-08 cs.CV
Learning to Purify Noisy Labels via Meta Soft Label Corrector
Xi’an Jiaotong University（西安交通大学）
最近的深度神经网络（DNN）很容易过拟合带有噪声标签的有偏训练数据。标签校正策略通常用于通过设计一种方法来识别可疑的噪声标签并对其进行校正来缓解这个问题。当前纠正损坏标签的方法通常需要某些预定义的标签纠正规则或手动预设超参数。这些固定的设置使其难以应用于实际，因为准确的标签校正通常与具体问题，训练数据和隐藏在训练过程的动态迭代的时间信息。为了解决这个问题，我们提出了一个元学习模型，可以估计软标签，通过Meta梯度下降步骤的指导下，无噪声的Meta数据。通过将标签校正过程视为一个元过程，并使用元学习器自动校正标签，我们可以根据当前的训练问题自适应地迭代获得校正后的软标签，而无需手动预设超参数。此外，我们的方法是模型不可知的，我们可以很容易地将它与任何其他现有的模型相结合。综合实验证实了我们的方法在合成和现实世界的问题与噪声标签相比，目前的SOTA标签校正策略的优越性。
2020-08-03 cs.CV
Asymmetric Co-teaching with Multi-view Consensus for Noisy Label Learning
Australian Institute for Machine Learning, University of Adelaide（阿德莱德大学澳大利亚机器学习研究所）；Harvard Medical School, Harvard University（哈佛医学院）；CVSSP, University of Surrey（萨里大学视觉、语音和信号处理中心）
带噪声标签的学习已经成为计算机视觉中的一个重要研究课题，其中最先进的（SOTA）方法探索：1）预测与协同教学策略的不一致，当两个模型对训练样本的预测不一致时更新两个模型;以及2）基于小的训练损失将训练集划分为干净集和噪声集的样本选择。然而，选择相同干净子集的协同教学模型的快速收敛与噪声标签的相对快速的过拟合相结合，可能会导致将噪声标签样本错误地选择为干净，从而导致不可避免的确认偏差，从而损害准确性。在本文中，我们介绍了我们的噪声标签学习方法，称为非对称协同教学（AsyCo），它引入了新的预测不一致，产生更一致的协同教学模型的发散结果，和一个新的样本选择方法，不需要小损失假设，使更好的鲁棒性确认偏差比以前的方法。更具体地说，新的预测不一致是通过使用不同的训练策略来实现的，其中一个模型是用多类学习训练的，另一个是用多标签学习训练的。此外，新的样本选择是基于多视图共识，它使用来自训练标签和模型预测的标签视图将训练集分为干净和嘈杂的，用于训练多类模型，并使用多个排名靠前的标签重新标记训练样本，用于训练多标签模型。在合成和真实世界的噪声标签数据集上进行的大量实验表明，AsyCo优于当前的SOTA方法。
2023-01-01 cs.CV
PASS: Peer-Agreement based Sample Selection for training with Noisy Labels
Australian Institute for Machine Learning, University of Adelaide（澳大利亚机器学习研究所，阿德莱德大学）；Centre for Vision, Speech and Signal Processing, University of Surrey（视觉、语音和信号处理中心，萨里大学）；Department of Data Science and AI, Monash University（数据科学与人工智能系，莫纳什大学）
PASS通过基于同伴一致性的样本选择方法，提升噪声标签检测精度，从而提高分类性能。
2024-04-30 cs.CV
Noisy Boundaries: Lemon or Lemonade for Semi-supervised Instance Segmentation?
Beijing National Research Center for Information Science and Technology (BNRist)（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）
当前的实例分割方法严重依赖于像素级注释图像。获得这种完全注释的图像的巨大成本限制了数据集的规模并限制了性能。在本文中，我们正式解决半监督实例分割，其中未标记的图像，以提高性能。我们构建了一个框架，半监督实例分割分配像素级的伪标签。在这个框架下，我们指出，与伪标签相关的噪声边界是双刃剑。我们建议同时以统一的方式利用和抵制它们：1）为了对抗噪声边界的负面影响，我们提出了一种通过利用低分辨率特征的噪声容忍掩模头。2)为了增强积极的影响，我们引入了一个边界保持地图，用于学习边界相关区域内的详细信息。我们通过大量的实验来评估我们的方法。它的表现非常出色，远远超过监督基线，在Cityscapes上超过6%，在COCO上超过7%，在BDD 100k上超过4.5%。在Cityscapes上，我们的方法只利用了30%的标记图像就实现了相当的性能。
2022-03-25 cs.CV
Learning from Noisy Labels with Decoupled Meta Label Purifier
Tencent（腾讯）
使用噪声标签训练深度神经网络（DNN）是一项挑战，因为DNN很容易记住不准确的标签，导致泛化能力差。最近，基于元学习的标签校正策略被广泛采用，以解决这个问题，通过识别和校正潜在的噪声标签的帮助下，一个小的干净的验证数据集。虽然使用纯化标签进行训练可以有效地提高性能，但解决元学习问题不可避免地涉及模型权重和超参数之间的双层优化的嵌套循环（即，标签分发）。作为妥协，以前的方法诉诸于一个耦合的学习过程与交替更新。在本文中，我们经验性地发现，这种同时优化模型权重和标签分布不能实现最优例程，从而限制了骨干的表示能力和校正标签的准确性。从这个观察，一种新的多级标签净化器命名为DMLP。DMLP将标签校正过程整合为无标签表示学习和简单的Meta标签净化器。通过这种方式，DMLP可以集中在两个不同的阶段提取区别性特征和标签校正。DMLP是一个即插即用的标签净化器，净化后的标签可以直接在朴素的端到端网络再训练或其他鲁棒的学习方法中重复使用，其中在几个合成和真实世界的噪声数据集上获得了最先进的结果，特别是在高噪声水平下。
2023-02-17 cs.CV
Distilling effective supervision for robust medical image segmentation with noisy labels
Tsinghua University（清华大学）
尽管深度学习方法在医学图像分割任务中取得了成功，但人类水平的性能依赖于具有高质量注释的大量训练数据，这些数据收集起来既昂贵又耗时，而事实是存在带有标签噪声的低质量注释，这导致学习模型的性能不佳。带噪声标签的分割学习的两个突出方向包括逐像素噪声鲁棒训练和图像级噪声鲁棒训练。在这项工作中，我们提出了一个新的框架，以解决分割与噪声标签提取有效的监督信息，从像素和图像水平。特别是，我们明确地估计每个像素的不确定性作为逐像素的噪声估计，并提出逐像素的鲁棒学习，通过使用原始标签和伪标签。此外，我们提出了一个图像级的鲁棒学习方法，以容纳更多的信息，作为补充像素级的学习。我们在模拟和真实世界的噪声数据集上进行了广泛的实验。结果表明，我们的方法相比，国家的最先进的基线与噪声标签的医学图像分割的优越性能。
2021-06-21 cs.CV
Adaptive Label Correction for Robust Medical Image Segmentation with Noisy Labels
Jiangsu University（江苏大学）；University of Chinese Academy of Sciences（中国科学院大学）
针对医学图像分割中的噪声标签问题，提出基于 Mean Teacher 的 ALC 自集成框架，通过自适应标签精炼、不确定性样本选择和师生一致性学习提升鲁棒性，并在两个公共数据集上验证其性能优势。
2025-10-18 cs.CV
A Novel Self-Supervised Re-labeling Approach for Training with Noisy Labels
Indian Institute of Science（印度科学学院）
深度学习模型取得巨大成功的主要驱动力是大型数据集及其干净标签的可用性。不幸的是，这是很难获得的，这激发了对存在标签噪声的深度模型训练的研究，以及避免在噪声标签上过度拟合的方法。在这项工作中，我们建立在这一领域的开创性工作，共同教学，并提出了一个简单，但有效的方法称为mCT-S2 R（修改共同教学与自我监督和重新标记）为这项任务。首先，为了处理标签中的大量噪声，我们建议使用自我监督来生成鲁棒的特征，而不使用任何标签。接下来，使用并行网络架构，获得数据的干净标记部分的估计。最后，使用该数据，在用增强数据恢复网络训练之前，重新标记估计的噪声标记部分的一部分。在三个标准数据集上的实验表明了该框架的有效性。
2020-01-01 cs.CV
Deep Neural Networks Learn Meta-Structures from Noisy Labels in Semantic Segmentation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
神经网络（DNN）如何从噪声标签中学习已经在图像分类中得到了广泛的研究，但在图像分割中却很少。到目前为止，我们对由噪声分割标签训练的DNN的学习行为的理解仍然有限。在这项研究中，我们解决这一不足，在生物显微镜图像的二进制分割和多类自然图像分割。我们通过随机采样一小部分（例如，10%）或翻转大部分（例如，90%）的地面真相标签。当使用这些噪声标签进行训练时，DNN提供的分割性能与原始地面真值训练的基本相同。这表明DNN在语义分割的监督训练中学习隐藏在标签中的结构，而不是像素级标签本身。我们将标签中的这些隐藏结构称为元结构。当DNN由具有不同元结构扰动的标签训练时，我们发现其分割性能一致下降。相比之下，元结构信息的结合大大提高了为二进制语义分割开发的无监督分割模型的性能。我们在数学上将元结构定义为空间密度分布，并从理论和实验上展示了这种提法如何解释DNN的关键观察到的学习行为。
2022-03-05 cs.CV
Learning from Noisy Labels with Coarse-to-Fine Sample Credibility Modeling
YouTu Lab, Tencent（腾讯优图实验室）；Tongji University（同济大学）；Huazhong University of Science and Technology（华中科技大学）
使用噪声标签训练深度神经网络（DNN）实际上具有挑战性，因为不准确的标签严重降低了DNN的泛化能力。以往的工作往往是在统一的去噪流程中处理部分或全部数据，通过粗略的小损失标准来识别噪声数据以减轻噪声标签的干扰，忽略了噪声样本的难度不同的事实，因此刚性和统一的数据选择管道无法很好地解决这个问题。在本文中，我们首先提出了一种由粗到细的鲁棒学习方法，称为CREMA，以分治的方式处理噪声数据。在粗层次上，干净和噪声集首先在统计意义上的可信度方面分离。由于实际上不可能对所有噪声样本进行正确分类，因此我们通过对每个样本的可信度进行建模，以细粒度的方式进一步处理它们。具体来说，对于干净集，我们故意设计了一个基于内存的调制方案，在训练过程中根据其历史可信度序列动态调整每个样本的贡献，从而减轻了噪声样本不正确地分组到干净集的影响。同时，对于分类到噪声集中的样本，提出了一种选择性的标签更新策略，以纠正噪声标签，同时减轻纠正错误的问题。在不同模式的基准上进行了大量的实验，包括图像分类（CIFAR，Clothing1M等）和文本识别（IMDB），无论是合成的还是自然的语义噪声，证明了CREMA的优越性和通用性。
2022-08-23 cs.CV
Fine-Grained Classification with Noisy Labels
Shandong University（山东大学）；Nanyang Technological University（南洋理工大学）
带噪声标签的学习（LNL）旨在确保模型在标签损坏的训练集上的泛化。在这项工作中，我们研究了细粒度数据集（LNL-FG）上很少研究的LNL场景，这是更实用和更具挑战性的，因为细粒度类之间的大类间模糊性会导致更多的噪声标签。我们的经验表明，现有的方法，以及LNL无法实现令人满意的性能LNL-FG，LNL-FG的有效解决方案的实际需要。为此，我们提出了一个新的框架称为随机噪声容忍监督对比学习（SNSCL），面对标签噪声，鼓励可区分的表示。具体来说，我们设计了一个噪声容忍监督对比学习损失，它采用了一个权重感知机制，用于噪声标签校正和选择性更新动量队列列表。通过这种机制，我们减轻了噪声锚的影响，并避免将噪声标签插入动量更新队列。此外，为了避免对比学习中手动定义的增强策略，我们提出了一个有效的随机模块，从生成的分布中抽取特征嵌入，这也可以增强深度模型的表示能力。SNSCL是通用的，并与流行的鲁棒LNL策略兼容，以提高LNL-FG的性能。大量的实验证明了SNSCL的有效性。
2023-03-04 cs.CV
Self-Relaxed Joint Training: Sample Selection for Severity Estimation with Ordinal Noisy Labels
Kyushu University（九州大学）；Kyoto Second Red Cross Hospital（京都第二红十字医院）
针对医学图像严重程度估计中标签存在有序噪声的问题，提出结合干净样本选择与双网络架构、利用软硬标签的自松弛联合训练框架，在多个医学数据集上性能优于现有最优方法。
2024-10-29 cs.CV
Ensemble-based Semi-supervised Learning to Improve Noisy Soiling Annotations in Autonomous Driving
Valeo Vision Systems（法雷奥视觉系统公司）
在环绕视图摄像机上手动注释污染是非常具有挑战性且昂贵的任务。各种污染类别（如水滴或泥颗粒）的边界不清晰通常会导致注释质量的较大差异。因此，在这些注释不佳的数据上训练的模型远非最佳。在本文中，我们专注于通过伪标签驱动的集成模型来处理这种嘈杂的注释，这使我们能够快速发现有问题的注释，并且在大多数情况下也可以充分修复它们。我们训练一个污染的分割模型上的噪音和精致的标签，并证明显着的改善，使用精致的注释。它还说明了有效地细化较低成本的粗略注释是可能的。
2021-07-11 cs.CV
Robust Feature Learning Against Noisy Labels
Free University of Bozen-Bolzano（博尔扎诺自由大学）；NVIDIA AI Technology Center（英伟达人工智能技术中心）；National Tsing Hua University（国立清华大学）；National Taiwan Normal University（国立台湾师范大学）
本文针对噪声标签问题，提出结合无监督增强恢复、聚类正则化和渐进式自举的鲁棒特征学习方法，以最小开销提升模型在严重标签噪声下的鲁棒性。
2023-07-10 cs.CV
Noisy Label Classification using Label Noise Selection with Test-Time Augmentation Cross-Entropy and NoiseMix Learning
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出结合TTA交叉熵的标签噪声选择与基于MixUp和BalancedMix的NoiseMix学习方法，在ISIC-18数据集上显著提升了噪声标签分类的准确性和鲁棒性。
2024-07-17 cs.CV
PCSR: Pseudo-label Consistency-Guided Sample Refinement for Noisy Correspondence Learning
本文提出PCSR框架，通过伪标签一致性提升对应可靠性，解决噪声对应问题，提升检索鲁棒性。
2026-04-08 cs.CV
Deep Learning from Noisy Image Labels with Quality Embedding
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University（上海交通大学协同媒体创新中心）；Center for Artificial Intelligence, FEIT, University of Technology Sydney（悉尼科技大学工程与信息技术学院人工智能中心）；Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University（上海交通大学图像通信与网络工程研究所）
在许多视觉识别任务中，利用噪声图像数据集是一种新兴的趋势。然而，数据集之间的标签噪声严重退化的\mbox{performance of deep}学习方法。近年来，一种主流的方法是引入潜在标签来处理标签噪声，这在网络设计中表现出了很好的改进效果。然而，潜在标签和噪声标签之间的不匹配仍然影响这种方法的预测。为了解决这个问题，我们提出了一个质量嵌入模型，它明确地引入了一个质量变量来表示噪声标签的可信度。我们的核心思想是通过将质量变量嵌入到不同的子空间中来识别潜在标签和噪声标签之间的不匹配，从而有效地减少噪声影响。同时，高质量的标签仍然可以应用于培训。为了实例化该模型，我们进一步提出了一个对比-加性噪声网络（CAN），它由两个重要层组成：（1）对比层估计嵌入空间中的质量变量以减少噪声影响;（2）加性层聚合先验预测和噪声标签作为后验来训练分类器。此外，为了解决优化困难，我们推导出一个SGD算法与重新参数化技巧，这使得我们的方法可扩展到大数据。我们进行了实验评估的方法在一系列的噪声图像数据集。综合结果表明，CAN优于最先进的深度学习方法。
2017-11-02 cs.CV
Joint Class-Affinity Loss Correction for Robust Medical Image Segmentation with Noisy Labels
Department of Electrical Engineering, City Univeristy of Hong Kong, Hong Kong
以有限的注释成本收集的噪声标签阻止医学图像分割算法学习精确的语义相关性。以前的分割技术的学习与噪声标签只是执行一个像素的方式来保持语义，如像素的标签校正，但忽略了成对的方式。事实上，我们观察到逐对方式捕获像素之间的亲和关系可以大大降低标签噪声率。出于这一观察，我们提出了一个新的观点，通过合并像素明智的和成对的方式，其中监督来自嘈杂的类和亲和标签，分别噪声缓解。统一像素方式和成对方式，我们提出了一个强大的联合类亲和分割（JCAS）框架，以打击标签噪声问题在医学图像分割。考虑到成对方式的亲和力包含上下文依赖性，设计了一个差分亲和力推理（DAR）模块，通过推理类内和类间的亲和力关系来校正像素级分割预测。为了进一步提高抗噪声能力，设计了类亲和损失校正（CALC）策略，通过类和亲和标签中建模的噪声标签分布来校正监督信号。同时，CALC策略通过理论推导的一致性正则化，将逐像素和逐对方式相互作用。在合成和现实世界的噪声标签下进行的大量实验证实了所提出的JCAS框架的有效性，其性能上限的差距最小。源代码可从\url{https://github.com/CityU-AIM-Group/JCAS}获得。
2022-06-16 cs.CV
Reliable Label Correction is a Good Booster When Learning with Extremely Noisy Labels
National University of Singapore（新加坡国立大学）；University of Technology Sydney（悉尼科技大学）；Nanyang Technological University, Singapore（新加坡南洋理工大学）；Tsinghua University（清华大学）
由于数据标注，特别是大规模数据集的标注不可避免地是不完美的，因此带噪声标签的学习引起了人们的广泛研究兴趣。最近的方法诉诸于一个半监督学习的问题，分为干净和嘈杂的集训练样本。然而，这种范例在重度标签噪声下容易发生显著退化，因为干净样本的数量太少，传统方法无法表现良好。在本文中，我们引入了一个新的框架，称为LC助推器，明确地解决极端噪声下的学习。LC-Booster的核心思想是将标签校正纳入样本选择中，通过可靠的标签校正，使更多纯化的样本可以用于训练，从而减轻确认偏倚。实验表明，LC-Booster在几个噪声标签基准测试中取得了最先进的结果，包括CIFAR-10，CIFAR-100，Clothing 1 M和WebVision。值得注意的是，在90%的极端噪声比下，LC-Booster在CIFAR-10和CIFAR-100上分别达到了92.9%和48.4%的准确率，大大超过了最先进的方法。
2022-07-19 cs.CV
Unleashing the Potential of Open-set Noisy Samples Against Label Noise for Medical Image Classification
Northwestern Polytechnical University（西北工业大学）；Ningbo Institute of Northwestern Polytechnical University（西北工业大学宁波研究院）
针对医学图像分类中闭集与开集混合标签噪声难处理、开集噪声样本利用不充分的问题，提出扩展噪声鲁棒对比与开放集特征增强框架，在两类数据集上性能均优于现有四种方法。
2024-10-30 cs.CV
Attention-Aware Noisy Label Learning for Image Classification
Nanyang Technological University（南洋理工大学）；Nanjing University of Science and Technology（南京理工大学）；State University of New York at Buffalo（纽约州立大学布法罗分校）
在大规模标记样本上学习的深度卷积神经网络（CNN）在计算机视觉（如图像/视频分类）方面取得了显著进展。获取大量带标签的视觉数据的最便宜的方法是从带有用户提供的标签的网站（如Flickr）中抓取。然而，这些样本往往包含不正确的标签（即嘈杂的标签），这将显着降低网络性能。在本文中，注意力感知的噪声标签学习方法（$A^2NL$），提出了提高的网络训练的数据集与潜在的标签噪声的区分能力。具体而言，噪声注意力模型，其中包含多个噪声特定的单元，旨在更好地捕捉噪声信息。每个单元都需要学习图像子集的特定噪声分布，以便更精确地建模不同的干扰。此外，一个递归的学习过程中引入的注意力网络的学习能力，通过利用学习到的高级知识。为了充分评估所提出的方法，我们从两个方面进行实验：手动翻转标签噪声的大规模图像分类数据集，包括CIFAR-10，SVHN;和现实世界的标签噪声的在线抓取的服装数据集与多个属性。优越的结果比国家的最先进的方法验证了我们所提出的方法的有效性。
2020-09-30 cs.CV
Perceptive self-supervised learning network for noisy image watermark removal
Northwestern Polytechnical University（西北工业大学）；National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology（空天地一体化大数据应用技术国家工程实验室）；School of Software（软件学院）；School of Electronics and Information（电子信息学院）；School of Computer Science（计算机学院）；Guangxi Key Lab of Multisource Information Mining & Security（广西多源信息挖掘与安全重点实验室）；College of Computer Science & Engineering（计算机科学与工程学院）
针对真实场景参考图像难获取且采集图像含噪的问题，提出并行双分支自监督网络PSLNet，融合任务分解与退化建模并采用混合损失，有效提升含噪图像水印去除效果。
2024-03-04 cs.CV
Clean Label Disentangling for Medical Image Segmentation with Noisy Labels
针对医学图像分割中的噪声标签问题，本文提出类别平衡采样策略和干净标签解耦框架，并进一步扩展为噪声特征辅助框架以充分利用全部标注，实验表明其性能达到新的最先进水平。
2023-11-28 cs.CV
P-DIFF: Learning Classifier with Noisy Labels based on Probability Difference Distributions
Beijing University of Chemical Technology（北京化工大学）；Microsoft Research, Asia（微软亚洲研究院）
学习带有噪声标签的深度神经网络（DNN）分类器是一项具有挑战性的任务，因为DNN由于其高性能而很容易过拟合这些噪声标签。在本文中，我们提出了一个非常简单但有效的训练范例称为P-DIFF，它可以训练DNN分类器，但明显减轻噪音标签的不利影响。我们提出的概率差分布隐含地反映了训练样本是干净的概率，然后在训练过程中使用该概率来重新加权相应的样本。P-DIFF即使在没有训练样本的噪声率的先验知识的情况下也可以实现良好的性能。在基准数据集上的实验也表明，P-DIFF优于最先进的样本选择方法。
2020-09-15 cs.CV
Robust Learning at Noisy Labeled Medical Images: Applied to Skin Lesion Classification
The Chinese University of Hong Kong（香港中文大学）；Imsight Medical Technology Inc（视见医疗科技公司）
深度神经网络（DNN）在各种医学图像分析任务中取得了巨大成功。然而，这些成就都离不开精确标注的数据集。如果有噪声标记的图像，训练过程将立即遇到困难，导致次优分类器。这个问题在医学领域更加关键，因为注释质量需要大量的专业知识。在本文中，我们提出了一个有效的迭代学习框架的噪声标记的医学图像分类，以打击缺乏高质量的注释的医疗数据。具体地说，提出了一种在线不确定性样本挖掘方法，以消除噪声标记图像的干扰。接下来，我们设计了一个样本重新加权策略，以保持正确标记的硬样本的有用性。我们提出的方法在皮肤病变分类任务上进行了验证，取得了非常有前途的结果。
2019-01-24 cs.CV
CRoF: CLIP-based Robust Few-shot Learning on Noisy Labels
College of Information Science and Engineering, Northeastern University（东北大学信息科学与工程学院）
针对少样本学习中噪声标签导致CLIP分类鲁棒性差的问题，提出即插即用模块CRoF，通过任务导向提示生成器和加权多标签微调策略，提升不同噪声条件下的分类性能。
2024-12-17 cs.CV
Friends and Foes in Learning from Noisy Labels
State Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；Nanjing University（南京大学）
最近，从带有噪声标签的示例中学习引起了越来越多的关注。但是，本文将表明，常用的CIFAR为基础的数据集和准确性评估指标在文献中使用的都是不合适的，在这种情况下。本文提出了一种替代的有效的评估指标和新的数据集，以促进适当的研究和评估在这一领域。然后，从已有的方法中识别出友方和敌方，分别作为对噪声标记样本的深度学习有益或有害的技术组件，并对友方类别中的技术组件进行改进和组合，包括自监督学习、新的预热策略、实例过滤和标记校正。由此产生的F&F方法在建议的nCIFAR数据集和真实世界的Clothing1M数据集上的性能显着优于现有方法。
2021-03-28 cs.CV
Self-semi-supervised Learning to Learn from NoisyLabeled Data
New York University（纽约大学）
当今深度神经网络的巨大成功高度依赖于大量正确标记的数据。然而，获得高质量的人类标记数据的成本相当高，导致对噪声标签鲁棒的训练模型的研究领域非常活跃。为了实现这一目标，一方面，许多论文致力于区分噪声标签和干净标签，以提高DNN的泛化能力。另一方面，越来越流行的自半监督学习方法已被证明有利于标签不完整时的任务。通过“semi”，我们将检测到的错误标记数据视为未标记数据;通过“self”，我们选择一种自监督技术进行半监督学习。在这个项目中，我们设计了一些方法来更准确地区分干净和有噪声的标签，并借用自半监督学习的智慧来训练有噪声的标签数据。
2020-11-03 cs.CV cs.LG
SplitNet: Learnable Clean-Noisy Label Splitting for Learning with Noisy Labels
Samsung Electro-Mechanics（三星电机）；Korea University（高丽大学）
用高质量的标签标注数据集对于深度网络的性能至关重要，但在现实世界中，标签往往被噪声污染。为了解决这个问题，提出了一些方法来自动分割干净和有噪声的标签，并在有噪声标签的学习（LNL）框架中学习半监督学习器。然而，他们利用一个手工制作的模块来进行干净的噪声标签分割，这在半监督学习阶段引起了确认偏差，并限制了性能。在本文中，我们首次提出了一个用于清洁噪声标签拆分的可学习模块，称为SplitNet，以及一个新的LNL框架，该框架补充训练SplitNet和LNL任务的主网络。我们建议使用SplitNet基于分裂置信度的动态阈值来更好地优化半监督学习器。为了增强SplitNet训练，我们还提出了一种风险对冲方法。我们提出的方法在最先进的水平，特别是在高噪声比设置在各种LNL基准。
2022-12-19 cs.CV cs.LG
SELC: Self-Ensemble Label Correction Improves Learning with Noisy Labels
McMaster University（麦克马斯特大学）
深度神经网络容易过拟合噪声标签，导致泛化性能差。为了克服这个问题，我们提出了一个简单而有效的方法自集成标签校正（SELC），逐步纠正噪声标签和完善的模型。我们更深入地研究了使用噪声标签进行训练的记忆行为，并观察到网络输出在早期阶段是可靠的。为了保持这种可靠的知识，SELC使用由网络输出的指数移动平均形成的集合预测来更新原始的噪声标签。我们表明，使用SELC进行训练可以通过逐渐减少来自噪声标签的监督并增加来自集合预测的监督来改进模型。尽管它的简单性，与许多国家的最先进的方法相比，SELC获得更有前途和稳定的结果，在存在类条件，实例依赖，和现实世界的标签噪声。该代码可在https://github.com/MacLLL/SELC上获得。
2022-05-02 cs.CV cs.LG
Estimating Noisy Class Posterior with Part-level Labels for Noisy Label Learning
School of Physics, Xi’an Jiaotong University（西安交通大学物理学院）；School of Computer Science and Technology, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院）；School of Distance Education, Xi’an Jiaotong University（西安交通大学远程教育学院）
本文针对噪声标签导致类别后验估计偏差的问题，引入部件级标签和单对多转移矩阵，构建分类器一致框架以更准确估计噪声类别后验并提升分类性能。
2024-07-02 cs.CV cs.LG
CoDiM: Learning with Noisy Labels via Contrastive Semi-Supervised Learning
Stony Brook University（石溪大学）；University of Washington（华盛顿大学）；Tencent AI Lab（腾讯人工智能实验室）
标签是昂贵的，有时不可靠。噪声标签学习、半监督学习和对比学习是用于设计需要较少注释成本的学习过程的三种不同策略。半监督学习和对比学习最近已经被证明可以改进处理带有噪声标签的数据集的学习策略。尽管如此，这些领域之间的内在联系以及将其优势结合在一起的潜力才刚刚开始出现。在本文中，我们探讨了进一步的方式和优势，他们融合。具体来说，我们提出了CSSL，一个统一的对比半监督学习算法，和CoDiM（对比DivideMix），一种新的算法，用于学习噪声标签。CSSL利用了经典半监督学习和对比学习技术的强大功能，并进一步适应CoDiM，它从多种类型和级别的标签噪声中进行鲁棒学习。我们表明，CoDiM带来了一致的改进，并在多个基准测试中取得了最先进的结果。
2021-11-23 cs.CV cs.LG
On the Robustness of Monte Carlo Dropout Trained with Noisy Labels
Facebook（脸书）
深度学习的记忆效应阻碍了其在带噪声标签的学习中有效地推广测试集的性能。先前的研究已经发现，与没有不确定性估计的神经网络相比，认知不确定性技术在用噪声标签训练时是鲁棒的。它们在对抗性噪声标签环境下获得了较长的记忆效果和较好的泛化性能。由于其在噪声标签下的其他选定的认知不确定性方法中的优越性能，我们专注于Monte Carlo Dropout（MCDropout），并研究为什么它在使用噪声标签进行训练时具有鲁棒性。通过对MNIST、CIFAR-10、Animal-10 n数据集的实证研究，本文深入研究了噪声标签设置下MCDropout的三个方面：1.功效：了解MCDropout在训练集包含人工生成或自然嵌入的标签噪声时的学习行为和测试精度; 2.表征波动性：通过检查每个神经元激活的平均值和标准差来研究神经元的响应性; 3.网络稀疏性：与确定性神经网络相比，研究MCDropout的网络支持。我们的研究结果表明，MCDropout进一步稀疏化和正则化的确定性神经网络，从而提供了更高的鲁棒性对噪声标签。
2021-03-22 cs.CV cs.LG
Noisy-As-Clean: Learning Self-supervised Denoising from the Corrupted Image
Nankai University（南开大学）；Xi’an Jiaotong University（西安交通大学）；Inception Institute of Artificial Intelligence (IIAI)（人工智能 inception 研究院）；Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）；Chongqing University（重庆大学）
有监督的深度网络在图像去噪方面取得了令人满意的性能，通过学习大量噪声和干净图像对的图像先验和噪声统计。无监督去噪网络仅使用噪声图像进行训练。然而，对于一个看不见的损坏图像，监督和无监督网络都忽略了它的特定图像先验，噪声统计，或两者兼而有之。也就是说，从外部图像学习的网络固有地遭受域间隙问题：训练图像和测试图像之间的图像先验和噪声统计非常不同。当处理与信号相关的实际噪声时，这个问题变得更加明显。为了解决这个问题，在这项工作中，我们提出了一种新的“Noisy-As-Clean”（NAC）策略来训练自监督去噪网络。具体而言，损坏的测试图像被直接作为“干净”的目标，而输入是由该损坏的图像和第二和类似的损坏组成的合成图像。对NAC的一个简单但有用的观察是：只要噪声很弱，就可以只使用损坏的图像学习自监督网络，近似于使用噪声和干净图像对学习的监督网络的最佳参数。合成和真实噪声去除的实验表明，使用我们的自监督NAC策略训练的DnCNN和ResNet网络与原始网络和以前的监督/无监督/自监督网络相比，具有相当或更好的性能。该代码可在https://github.com/csjunxu/Noisy-As-Clean上公开获取。
2020-05-09 cs.CV eess.IV
Semi-Supervised Noisy Student Pre-training on EfficientNet Architectures for Plant Pathology Classification
The Hong Kong University of Science and Technology（香港科技大学）
近年来，深度学习极大地改善了植物中各种疾病的识别和诊断。在这份报告中，我们调查的问题，病理分类使用图像的一个单一的叶子。我们探索使用标准基准模型，如VGG16，ResNet101和DenseNet 161，以实现0.945的任务得分。此外，我们还探索了新的EfficientNet模型的使用，将准确率提高到0.962。最后，我们将最先进的半监督Noisy Student训练思想引入到EfficientNet中，从而显著提高了准确性和收敛速度。最终集成的Noisy Student模型在任务中表现非常好，测试得分为0.982。
2020-12-01 cs.CV cs.LG
Twin Contrastive Learning with Noisy Labels
Fudan University（复旦大学）；Shanghai Center for Brain Science and Brain-inspired Technology（上海脑科学与类脑研究中心）
从噪声数据中学习是一项具有挑战性的任务，它会显着降低模型性能。在本文中，我们提出了TCL，一种新的双对比学习模型，学习强大的表示和处理噪声标签分类。具体来说，我们构建了一个高斯混合模型（GMM）的表示，通过注入监督模型预测到GMM链接无标签的潜在变量GMM与标签噪声注释。然后，TCL检测的样本与错误的标签作为分布外的例子由另一个两个组件的GMM，考虑到数据的分布。我们进一步提出了一种具有熵正则化损失的交叉监督，该熵正则化损失从模型预测中引导真正的目标来处理噪声标签。因此，TCL可以通过混合和对比学习来学习与估计的标签对齐的区别性表示。在多个标准基准测试和真实数据集上的大量实验结果证明了TCL的优越性能。特别是，TCL实现了7.5%的改善CIFAR-10与90%的噪音标签-一个非常嘈杂的情况。源代码可从\url{https://github.com/Hzzone/TCL}获得。
2023-03-13 cs.AI cs.CV
Model and Data Agreement for Learning with Noisy Labels
Inspur Electronic Information Industry Co., Ltd（浪潮电子信息产业股份有限公司）；Shandong Massive Information Technology Research Institute（山东海量信息技术研究院）
带噪声标签的学习是实际深度学习的重要主题，因为模型应该对野外的噪声开放世界数据集具有鲁棒性。最先进的噪声标签学习方法JoCoR在面对大比例的噪声标签时失败。此外，选择小损失样本也会导致误差累积，因为一旦错误地将噪声样本选择为小损失样本，则它们更有可能再次被选择。在本文中，我们试图从模型和数据的角度来处理噪声标签学习中的错误积累。我们引入平均点集成，利用更强大的损失函数和更多的信息，从模型的角度来减少误差积累。此外，由于翻转图像与原始图像具有相同的语义，我们根据翻转图像的损失值而不是原始图像的损失值来选择损失小的样本，从数据的角度减少错误积累。在CIFAR-10、CIFAR-100和大规模Clothing1M上的大量实验表明，我们的方法在不同水平的标签噪声下优于最先进的噪声标签学习方法。我们的方法还可以与其他噪声标签学习方法无缝结合，以进一步提高其性能，并很好地推广到其他任务。该代码可在www.example.com上获得。
2022-12-25 cs.AI cs.CV
ALIM: Adjusting Label Importance Mechanism for Noisy Partial Label Learning
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Chongqing University（重庆大学）；Nanyang Technological University（南洋理工大学）；Tsinghua University（清华大学）
针对噪声偏标记学习中检测错误累积影响模型优化的问题，提出插件式框架ALIM，通过权衡初始候选集与模型输出减少负面影响，在基准数据集上达到最先进性能。
2023-05-18 cs.CV cs.LG
Error-Bounded Correction of Noisy Labels
Stony Brook University（石溪大学）；Rutgers University（罗格斯大学）；Bain & Company（贝恩公司）；City University of New York（纽约城市大学）
为了收集大规模注释数据，不可避免地引入标签噪声，即，不正确的类标签。为了对标签噪声具有鲁棒性，许多成功的方法依赖于噪声分类器（即，在噪声训练数据上训练的模型）来确定标签是否可信。然而，它仍然不知道为什么这种启发式在实践中运作良好。在本文中，我们提供了这些方法的第一个理论解释。我们证明了噪声分类器的预测确实可以很好地指示训练数据的标签是否干净。基于理论结果，我们提出了一种新的算法，纠正标签的基础上嘈杂的分类器预测。修正后的标签与真实的贝叶斯最优分类器具有很高的概率一致。我们将我们的标签校正算法纳入深度神经网络的训练中，并训练模型，在多个公共数据集上实现卓越的测试性能。
2020-11-19 cs.CV cs.LG
Improving Medical Image Classification in Noisy Labels Using Only Self-supervised Pretraining
RIT（罗切斯特理工学院）；University of Aberdeen（阿伯丁大学）；NepAl Applied Mathematics and Informatics Institute for Research (NAAMII)（尼泊尔应用数学与信息学研究所（NAAMII））
本文研究仅用自监督预训练初始化模型以应对医学图像分类中的噪声标签问题，在NCT-CRC-HE-100K和COVID-QU-Ex数据集上验证了对比式与前置任务式预训练能学习更优特征并提升鲁棒性。
2023-08-08 cs.CV cs.LG eess.IV
Learning to Aggregate and Refine Noisy Labels for Visual Sentiment Analysis
University of Rochester（罗切斯特大学）
视觉情感分析近年来受到越来越多的关注。然而，数据集的质量是一个问题，因为情感标签是众包的，主观的，容易出错，并对数据驱动的模型构成严重威胁，特别是深度神经网络。当被训练为过度拟合带有噪声情感标签的训练样本时，深度模型在测试案例上的泛化能力很差。受噪声标签学习的最新进展的启发，我们提出了一种鲁棒的学习方法来执行鲁棒的视觉情感分析。我们的方法依赖于外部存储器来在训练过程中聚合和过滤噪声标签。存储器由具有相应标签的原型组成，可以在线更新。学习的原型及其标签可以被视为局部区域的去噪特征和标签，并且可以指导训练过程以防止模型过度拟合噪声情况。我们建立了一个基准的视觉情感分析与标签噪声使用公开的数据集。在所提出的基准测试环境下的实验结果全面验证了该方法的有效性。
2022-01-27 cs.CV cs.LG
A Consensual Collaborative Learning Method for Remote Sensing Image Classification Under Noisy Multi-Labels
Faculty of Electrical Engineering
在遥感多标签分类框架下，收集大量的由多个土地覆盖类别标签标注的可靠训练图像是耗时且昂贵的。为了解决这一问题，公开的专题产品往往被用于零标注成本的遥感图像注释。然而，这种方法可能会导致构建具有噪声多标签的训练集，从而扭曲学习过程。为了解决这个问题，我们提出了一个共同的协作多标签学习（CCML）方法。CCML通过四个主要模块对带有噪声的多标签训练图像进行识别、排序和校正：1）差异模块; 2）组套索模块; 3）翻转模块; 4）交换模块。差异模块确保两个网络学习不同的特征，同时获得相同的预测。组套索模块通过估计基于两个协作网络的聚合的标签不确定性来检测潜在的噪声标签。翻转模块校正识别出的噪声标签，而交换模块在两个网络之间交换排名信息。实验结果证实了所提出的CCML在高（合成添加）多标签噪声率下的成功。所提出的方法的代码可在https://noisy-labels-in-rs.org上公开获得。
2021-06-18 cs.CV eess.IV
Co-matching: Combating Noisy Labels by Augmentation Anchoring
Mcmaster University（麦克马斯特大学）
具有噪声标签的深度学习具有挑战性，因为深度神经网络具有记忆噪声标签的高容量。在本文中，我们提出了一个学习算法称为协同匹配，它平衡了两个网络之间的一致性和分歧的增强锚定。具体来说，我们让一个网络从它对弱增强图像的预测中生成锚定标签。同时，我们强制其对等网络，以同一图像的强增强版本作为输入，生成接近锚定标签的预测。然后，我们通过选择小损失实例来同时更新两个网络，以最小化两个无监督匹配损失（即，测量两个网络的一致性）和监督分类损失（即测量分类性能）。此外，无监督匹配损失使得我们的方法不严重依赖于噪声标签，这防止了噪声标签的记忆。在三个基准数据集上的实验表明，协同匹配达到了与最先进的方法相当的结果。
2021-03-23 cs.CV cs.LG
From Noisy Prediction to True Label: Noisy Prediction Calibration via Generative Model
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；University of Seoul（首尔大学）
在机器学习社会中，嘈杂的标签是不可避免的，但也是有问题的。它通过使分类器过度拟合噪声标签来破坏分类器的泛化。现有的噪声标记方法主要集中在训练过程中对分类器进行修改。它有两个潜在的问题。首先，这些方法不适用于未经进一步训练的预训练分类器。其次，训练分类器并同时使来自噪声标签的所有负面影响规则化并不容易。我们提出了一个新的分支的方法，噪声预测校准（NPC）的学习与噪声标签。通过生成模型引入和估计一种新型的转移矩阵，NPC将噪声预测从预训练分类器校正为真实标签作为后处理方案。我们证明了NPC理论上与基于转移矩阵的方法一致。然而，NPC经验上提供了更准确的途径来估计真实标签，即使不参与分类器学习。此外，如果训练实例及其预测可用，则NPC适用于使用噪声标签方法训练的任何分类器。我们的方法NPC提高了所有基线模型在合成和真实数据集上的分类性能。实现的代码可在https://github.com/BaeHeeSun/NPC上获得。
2022-05-26 cs.AI cs.CV cs.LG
Joint Optimization Framework for Learning with Noisy Labels
The University of Tokyo（东京大学）
在大规模数据集上训练的深度神经网络（DNN）在图像分类中表现出了显著的性能。许多大规模的数据集是从网站上收集的，但是它们往往包含不准确的标签，称为噪声标签。在这种嘈杂的标签数据集上训练会导致性能下降，因为DNN很容易过拟合到嘈杂的标签。为了克服这个问题，我们提出了一个学习DNN参数和估计真实标签的联合优化框架。我们的框架可以在训练过程中通过交替更新网络参数和标签来纠正标签。我们在有噪声的CIFAR-10数据集和Clothing 1 M数据集上进行了实验。结果表明，我们的方法显着优于其他国家的最先进的方法。
2018-03-30 cs.CV cs.LG stat.ML
