Improving Medical Image Classification in Noisy Labels Using Only Self-supervised Pretraining
RIT（罗切斯特理工学院）；University of Aberdeen（阿伯丁大学）；NepAl Applied Mathematics and Informatics Institute for Research (NAAMII)（尼泊尔应用数学与信息学研究所（NAAMII））
本文研究仅用自监督预训练初始化模型以应对医学图像分类中的噪声标签问题，在NCT-CRC-HE-100K和COVID-QU-Ex数据集上验证了对比式与前置任务式预训练能学习更优特征并提升鲁棒性。
2023-08-08 cs.CV cs.LG eess.IV
Divide and Contrast: Self-supervised Learning from Uncurated Data
MIT（麻省理工学院）；DeepMind（深度思维）
自监督学习有望利用大量未标记的数据，但迄今为止，其大部分进展仅限于高度策划的预训练数据，如ImageNet。我们探索了对比学习对YFCC等较大的、较少管理的图像数据集的影响，发现结果表示质量确实存在很大差异。我们假设，这种管理差距是由于图像类别分布的变化-更加多样化和重尾-导致相关的负面样本学习。我们用一种新的方法来测试这个假设，划分和对比（DnC），它在对比学习和基于聚类的硬否定挖掘之间交替。当在较少策划的数据集上进行预训练时，DnC大大提高了下游任务的自监督学习的性能，同时与当前最先进的策划数据集保持竞争力。
2021-05-17 cs.CV
CNLL: A Semi-supervised Approach For Continual Noisy Label Learning
NALBI Inc.（NALBI公司）；Seoul National University（首尔国立大学）
持续学习的任务需要精心设计能够解决灾难性遗忘的算法。然而，在现实世界中不可避免的嘈杂标签似乎加剧了这种情况。虽然很少有研究涉及噪声标签下的持续学习问题，但长的训练时间和复杂的训练方案限制了它们在大多数情况下的应用。相比之下，我们提出了一种简单的净化技术，有效地净化在线数据流，既具有成本效益，更准确。纯化后，我们以半监督的方式进行微调，确保所有可用样品的参与。以这种方式进行训练可以帮助我们学习更好的表示，从而获得最先进的（SOTA）性能。通过在MNIST、CIFAR10和CIFAR100三个基准数据集上的大量实验，证明了该方法的有效性。我们实现了24.8%的性能增益CIFAR10与20%的噪声比以前的SOTA方法。我们的代码是公开的。
2022-04-21 cs.CV cs.LG
SplitNet: Learnable Clean-Noisy Label Splitting for Learning with Noisy Labels
Samsung Electro-Mechanics（三星电机）；Korea University（高丽大学）
用高质量的标签标注数据集对于深度网络的性能至关重要，但在现实世界中，标签往往被噪声污染。为了解决这个问题，提出了一些方法来自动分割干净和有噪声的标签，并在有噪声标签的学习（LNL）框架中学习半监督学习器。然而，他们利用一个手工制作的模块来进行干净的噪声标签分割，这在半监督学习阶段引起了确认偏差，并限制了性能。在本文中，我们首次提出了一个用于清洁噪声标签拆分的可学习模块，称为SplitNet，以及一个新的LNL框架，该框架补充训练SplitNet和LNL任务的主网络。我们建议使用SplitNet基于分裂置信度的动态阈值来更好地优化半监督学习器。为了增强SplitNet训练，我们还提出了一种风险对冲方法。我们提出的方法在最先进的水平，特别是在高噪声比设置在各种LNL基准。
2022-12-19 cs.CV cs.LG
Self-Supervised Moving Object Segmentation of Sparse and Noisy Radar Point Clouds
CARIAD SE（CARIAD公司）；TU Dortmund University（杜伊斯堡-艾森大学）；University of Bonn（波恩大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔人工智能与机器学习研究所）
针对稀疏含噪雷达点云标注成本高的问题，提出基于聚类对比损失与动态点移除的两步自监督运动物体分割方法，利用有限标注微调有效提升标签效率与最优性能。
2025-11-04 cs.CV cs.LG
Investigating and Mitigating the Side Effects of Noisy Views for Self-Supervised Clustering Algorithms in Practical Multi-View Scenarios
University of Electronic Science and Technology of China（电子科技大学）；Shenzhen Institute for Advanced Study（深圳高等研究院）；Harbin Institute of Technology（哈尔滨工业大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Singapore University of Technology and Design（新加坡科技设计大学）
本文研究了实际多视图场景中噪声视图导致聚类性能退化的问题，提出深度多视图聚类方法MVCAN，通过允许跨视图不共享参数和预测不一致，并设计两级迭代优化生成稳健目标，有效缓解噪声副作用并提升了聚类鲁棒性。
2024-03-25 cs.CV cs.LG
Combining Self-Supervised and Supervised Learning with Noisy Labels
Paradigm Inc.（第四范式公司）；Tsinghua University（清华大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
针对CNN易过拟合噪声标签的问题，提出CS$^3$NL方法，利用自监督学习获取表示并直接用噪声标签训练分类器，在高噪声水平下大幅超越现有方法。
2023-06-25 cs.CV
DAC: 2D-3D Retrieval with Noisy Labels via Divide-and-Conquer Alignment and Correction
Shanghai Jiao Tong University（上海交通大学）；The University of Hong Kong（香港大学）；YouTu Lab, Tencent（腾讯优图实验室）
针对2D-3D跨模态检索中的噪声标签问题，提出分治对齐与校正框架DAC，通过多模态动态划分与自适应对齐校正策略提升表示质量，在多个基准上显著优于现有方法。
2024-09-27 cs.CV
How does self-supervised pretraining improve robustness against noisy labels across various medical image classification datasets?
Center for Imaging Science, RIT（罗切斯特理工学院成像科学中心）；University of Aberdeen（阿伯丁大学）；NepAl Applied Mathematics and Informatics Institute for Research (NAAMII)（尼泊尔应用数学与信息学研究所）；Biomedical Engineering, RIT（罗切斯特理工学院生物医学工程系）
本文系统研究自监督预训练对医学图像分类中噪声标签鲁棒性的影响，发现DermNet数据集最具挑战性但更鲁棒，并证明对比学习是八种自监督方法中最有效的增强手段。
2024-01-15 cs.CV cs.LG eess.IV
Selective-Supervised Contrastive Learning with Noisy Labels
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；The University of Sydney（悉尼大学）
深度网络具有很强的将数据嵌入到潜在表示中并完成后续任务的能力。然而，这些能力主要来自高质量的标注标签，这些标签的收集成本很高。噪声标签更便宜，但会导致损坏的表示，导致泛化性能差。为了学习鲁棒表示和处理噪声标签，本文提出了选择监督对比学习（Sel-CL）。具体来说，Sel-CL扩展了监督对比学习（Sup-CL），它在表示学习中很强大，但在有噪声标签时会降级。Sel-CL解决了Sup-CL问题的直接原因。也就是说，由于Sup-CL以\textit{pair-wise}方式工作，因此由噪声标签构建的噪声对会误导表示学习。为了缓解这个问题，我们选择置信对噪声的Sup-CL不知道噪声率。在选择过程中，通过测量学习的表示和给定的标签之间的一致性，我们首先确定用于构建置信对的置信示例。然后，利用所建立的置信对中的表示相似性分布来从噪声对中识别出更多的置信对。所有获得的置信对最终用于Sup-CL以增强表示。在多个噪声数据集上的实验证明了我们的方法学习的表示的鲁棒性，遵循最先进的性能。源代码可在https://github.com/ShikunLi/Sel-CL上获得
2022-03-08 cs.AI cs.CV cs.LG
Pairwise Similarity Distribution Clustering for Noisy Label Learning
本文提出 PSDC 样本选择算法，通过成对相似度与 GMM 建模将训练样本划分为干净集和噪声集，以增强半监督噪声标签学习，并在多个基准上显著优于现有方法。
2024-04-02 cs.CV cs.LG
Learning with Noisy labels via Self-supervised Adversarial Noisy Masking
Tencent（腾讯）
收集大规模数据集对于训练深度模型至关重要，然而，注释数据不可避免地产生噪声标签，这对深度学习算法提出了挑战。先前的努力倾向于通过识别和去除噪声样本或根据统计特性（例如，损失值）之间的训练样本。在本文中，我们的目标是从一个新的角度来解决这个问题，深入研究深度特征图，我们根据经验发现，用干净和错误标记的样本训练的模型表现出可区分的激活特征分布。从这个观察，提出了一种新的强大的训练方法，称为对抗噪声掩蔽。这个想法是用标签质量引导的掩蔽方案来正则化深度特征，该方案同时自适应地调制输入数据和标签，防止模型过拟合噪声样本。此外，还设计了一个辅助任务来重建输入数据，它自然地提供了无噪声的自监督信号，以增强深度模型的泛化能力。所提出的方法简单灵活，在合成和真实世界的噪声数据集上进行了测试，与以前的最先进的方法相比，取得了显着的改进。
2023-02-15 cs.CV
Residual Contrastive Learning for Image Reconstruction: Learning Transferable Representations from Noisy Images
University of Oxford（牛津大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文研究了用于低层图像复原和增强任务的对比学习（CL）。我们提出了一种新的基于残差的标签高效学习范式，即残差对比学习（RCL），并推导出一个无监督的视觉表示学习框架，适用于具有噪声输入的低级视觉任务。虽然监督图像重建的目的是最大限度地减少残差项直接，RCL替代建立残差和CL之间的连接，通过定义一个新的实例判别借口任务，使用残差作为判别特征。我们的制定减轻了严重的任务之间的不对齐实例歧视借口任务和下游图像重建任务，目前在现有的CL框架。实验上，我们发现RCL可以学习鲁棒和可转移的表示，与最近专门为噪声输入设计的自监督方法相比，可以提高各种下游任务的性能，例如去噪和超分辨率。此外，我们的无监督预训练可以显着降低注释成本，同时保持与全监督图像重建相比的性能竞争力。
2022-04-27 cs.CV cs.LG
Learning From Long-Tailed Data With Noisy Labels
IIIT Hyderabad（海得拉巴国际信息技术学院）；Naver Labs Europe（Naver欧洲实验室）
在许多大规模分类数据集中，类不平衡和噪声标签是常态而不是例外。然而，机器学习中的大多数作品通常假设平衡和干净的数据。最近有一些尝试，一方面，解决从噪声标签中学习的问题，另一方面，从长尾数据中学习。每一组方法都对另一组方法做了简化的假设。由于这种分离，当两个假设都被违反时，所提出的解决方案往往表现不佳。在这项工作中，我们提出了一个简单的两阶段的方法，根据自监督学习的最新进展，同时对待这两个挑战。它首先包括任务不可知的自我监督预训练，然后是使用适当损失的特定于任务的微调。最重要的是，我们发现自监督学习方法能够有效地应对严重的类不平衡。此外，当使用不平衡和抗噪声损失函数进行微调时，所得到的学习表示对标签噪声也非常鲁棒。我们通过对CIFAR-10和CIFAR-100的实验验证了我们的说法，这些实验增加了合成的不平衡和噪声，以及大规模固有噪声的Clothing-1 M数据集。
2021-09-12 cs.CV cs.LG
Self-Supervised Noisy Label Learning for Source-Free Unsupervised Domain Adaptation
Zhejiang University（浙江大学）；Hikvision Research Institute（海康威视研究院）；Fuzhou University（福州大学）
在许多现有的无监督领域自适应方法中，自由地访问源数据是一个很强的先决条件。然而，由于昂贵的数据传输和数据隐私保护的限制，在许多实际场景中，源数据是不可知的。通常情况下，期望给定的源域预训练模型仅使用未标记的目标数据进行优化，这被称为无源无监督领域自适应。在本文中，我们从噪声标签学习的角度来解决这个问题，因为给定的预训练模型可以通过直接的网络推理为未标记的目标数据预生成噪声标签。在此问题建模的基础上，结合自监督学习，提出了一种新的自监督噪声标签学习方法，该方法可以有效地利用预生成的标签和动态自生成的标签对预训练模型进行微调。为验证其有效性，进行了大量实验。我们的方法可以很容易地实现国家的最先进的结果，并超过其他方法的一个非常大的保证金。代码将被释放。
2021-02-23 cs.CV
From Open Set to Closed Set: Supervised Spatial Divide-and-Conquer for Object Counting
Huazhong University of Science and Technology（华中科技大学）；University of Adelaide（阿德莱德大学）
视觉计数是一项旨在从图像/视频中估计对象数量的任务，本质上是一个开集问题，即，理论上，种群的数量可以在[0，inf）中变化。然而，收集的数据和标记的实例在现实中是有限的，这意味着只能观察到一个小的封闭集。现有的方法通常以回归的方式对该任务进行建模，而它们容易遭受计数超出闭集范围的看不见的场景。事实上，计数有一个有趣而独特的性质-空间可分解。一个密集的区域总是可以被划分，直到子区域计数在先前观察到的闭集内。因此，我们引入了空间分治（S-DC）的思想，将开集计数转换为闭集问题。这个想法是由一个新的监督空间分治网络（SS-DCNet）。因此，SS-DCNet只能从闭集学习，但通过S-DC可以很好地推广到开集场景。SS-DCNet也很高效。为了避免重复计算子区域卷积特征，S-DC在特征图上而不是在输入图像上执行。我们提供了理论分析以及玩具数据的对照实验，证明了为什么闭集建模是有意义的。大量的实验表明，SS-DCNet达到了最先进的性能。代码和模型可在https://tinyurl.com/SS-DCNet上获得。
2020-05-31 cs.CV
Noisy Boundaries: Lemon or Lemonade for Semi-supervised Instance Segmentation?
Beijing National Research Center for Information Science and Technology (BNRist)（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）
当前的实例分割方法严重依赖于像素级注释图像。获得这种完全注释的图像的巨大成本限制了数据集的规模并限制了性能。在本文中，我们正式解决半监督实例分割，其中未标记的图像，以提高性能。我们构建了一个框架，半监督实例分割分配像素级的伪标签。在这个框架下，我们指出，与伪标签相关的噪声边界是双刃剑。我们建议同时以统一的方式利用和抵制它们：1）为了对抗噪声边界的负面影响，我们提出了一种通过利用低分辨率特征的噪声容忍掩模头。2)为了增强积极的影响，我们引入了一个边界保持地图，用于学习边界相关区域内的详细信息。我们通过大量的实验来评估我们的方法。它的表现非常出色，远远超过监督基线，在Cityscapes上超过6%，在COCO上超过7%，在BDD 100k上超过4.5%。在Cityscapes上，我们的方法只利用了30%的标记图像就实现了相当的性能。
2022-03-25 cs.CV
Noisy-As-Clean: Learning Self-supervised Denoising from the Corrupted Image
Nankai University（南开大学）；Xi’an Jiaotong University（西安交通大学）；Inception Institute of Artificial Intelligence (IIAI)（人工智能 inception 研究院）；Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）；Chongqing University（重庆大学）
有监督的深度网络在图像去噪方面取得了令人满意的性能，通过学习大量噪声和干净图像对的图像先验和噪声统计。无监督去噪网络仅使用噪声图像进行训练。然而，对于一个看不见的损坏图像，监督和无监督网络都忽略了它的特定图像先验，噪声统计，或两者兼而有之。也就是说，从外部图像学习的网络固有地遭受域间隙问题：训练图像和测试图像之间的图像先验和噪声统计非常不同。当处理与信号相关的实际噪声时，这个问题变得更加明显。为了解决这个问题，在这项工作中，我们提出了一种新的“Noisy-As-Clean”（NAC）策略来训练自监督去噪网络。具体而言，损坏的测试图像被直接作为“干净”的目标，而输入是由该损坏的图像和第二和类似的损坏组成的合成图像。对NAC的一个简单但有用的观察是：只要噪声很弱，就可以只使用损坏的图像学习自监督网络，近似于使用噪声和干净图像对学习的监督网络的最佳参数。合成和真实噪声去除的实验表明，使用我们的自监督NAC策略训练的DnCNN和ResNet网络与原始网络和以前的监督/无监督/自监督网络相比，具有相当或更好的性能。该代码可在https://github.com/csjunxu/Noisy-As-Clean上公开获取。
2020-05-09 cs.CV eess.IV
Noise2SR: Learning to Denoise from Super-Resolved Single Noisy Fluorescence Image
ShanghaiTech University（上海科技大学）；Shanghai Jiao Tong University（上海交通大学）
荧光显微镜是促进生物医学研究发现的关键驱动力。然而，由于显微镜硬件和所观察样品的特性的限制，荧光显微图像容易受到噪声的影响。最近，已经提出了一些自监督深度学习（DL）去噪方法。然而，现有方法的训练效率和去噪性能相对较低的真实场景中的噪声去除。针对这一问题，提出了自监督图像去噪方法Noise2SR（N2SR），训练了一种简单有效的基于单噪声观测的图像去噪模型。我们的Noise2SR去噪模型旨在使用不同维度的成对噪声图像进行训练。得益于这种训练策略，Noise2SR可以更有效地进行自我监督，并能够从单个噪声观察中恢复更多的图像细节。模拟噪声和真实显微镜噪声去除的实验结果表明，Noise2SR优于两种基于盲点的自监督深度学习图像去噪方法。我们设想Noise2SR有潜力改善更多其他类型的科学成像质量。
2022-09-14 cs.CV cs.LG eess.IV
Neural Affine Grayscale Image Denoising
Sungkyunkwan University（成均馆大学）
我们提出了一种新的灰度图像去噪，称为神经仿射图像去噪（神经AIDE），它利用神经网络在一个新的方式。与其他基于神经网络的图像去噪方法不同，这些方法通常应用简单的监督学习来学习从噪声补丁到干净补丁的映射，我们制定训练神经网络来学习\emph{affine}映射，该映射基于其上下文应用于噪声像素。我们的公式可以从标记的训练数据集对网络进行监督训练，并使用给定的噪声图像进行去噪，对网络参数进行自适应微调。设计Neural AIDE的关键工具是仅基于噪声数据设计仿射映射的MSE的估计损失函数。因此，我们的算法在标准基准数据集上的性能优于大多数最新的最先进的方法。此外，我们的微调方法可以很好地克服图像去噪中的块级监督学习方法的缺点之一;即，只要我们在微调步骤中具有匹配的噪声方差，就可以大部分校正具有不匹配的噪声方差的监督训练模型。
2017-09-17 cs.CV cs.LG
Ensemble-based Semi-supervised Learning to Improve Noisy Soiling Annotations in Autonomous Driving
Valeo Vision Systems（法雷奥视觉系统公司）
在环绕视图摄像机上手动注释污染是非常具有挑战性且昂贵的任务。各种污染类别（如水滴或泥颗粒）的边界不清晰通常会导致注释质量的较大差异。因此，在这些注释不佳的数据上训练的模型远非最佳。在本文中，我们专注于通过伪标签驱动的集成模型来处理这种嘈杂的注释，这使我们能够快速发现有问题的注释，并且在大多数情况下也可以充分修复它们。我们训练一个污染的分割模型上的噪音和精致的标签，并证明显着的改善，使用精致的注释。它还说明了有效地细化较低成本的粗略注释是可能的。
2021-07-11 cs.CV
Divide and Conquer Self-Supervised Learning for High-Content Imaging
Cancer Research UK Scotland Institute（英国癌症研究中心苏格兰研究所）；University of Glasgow（格拉斯哥大学）
本文提出分治自监督学习方法SpliCER，通过分割图像并蒸馏各部分信息，克服现有方法偏向简单特征的捷径学习问题，在医学与地理空间成像中显著提升下游性能。
2025-03-10 cs.AI cs.CV cs.LG
Tripartite: Tackle Noisy Labels by a More Precise Partition
Xidian University（西安电子科技大学）
大规模数据集中的样本可能由于各种原因而被错误标记，并且深度神经网络很容易过拟合到有噪声的标签数据。要解决这个问题，关键是要减轻这些噪音标签的危害。现有的许多方法都试图根据损失值将训练数据划分为干净和有噪声的子集，然后对有噪声的标签数据进行不同的处理。阻碍更好性能的原因之一是硬样品。由于硬样本无论标签是干净的还是有噪声的，都有较大的损失，这些方法不能精确地划分它们。相反，我们提出了一种三分解决方案，将训练数据更精确地划分为三个子集：硬，噪声和干净。划分标准基于两个网络的不一致预测，以及网络预测与给定标签之间的不一致性。为了最大限度地减少噪声标签的危害，但最大限度地提高噪声标签数据的价值，我们应用硬数据的低权重学习和噪声标签数据的自监督学习，而不使用给定的标签。大量的实验表明，Tripartite可以更精确地过滤出有噪声的标签数据，并且在五个基准数据集上的性能优于大多数最先进的方法，特别是在真实世界的数据集上。
2022-03-19 cs.CV
Variational Self-Supervised Contrastive Learning Using Beta Divergence
Sabanci University（萨班哲大学）；Türkiye（土耳其）
针对多标签场景下未标注含噪数据的判别表示学习问题，提出结合 beta 散度的变分对比自监督方法 VCL，并在人脸理解多标签实验中取得优于现有自监督方法的准确率。
2024-05-08 cs.CV cs.LG
Perceptive self-supervised learning network for noisy image watermark removal
Northwestern Polytechnical University（西北工业大学）；National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology（空天地一体化大数据应用技术国家工程实验室）；School of Software（软件学院）；School of Electronics and Information（电子信息学院）；School of Computer Science（计算机学院）；Guangxi Key Lab of Multisource Information Mining & Security（广西多源信息挖掘与安全重点实验室）；College of Computer Science & Engineering（计算机科学与工程学院）
针对真实场景参考图像难获取且采集图像含噪的问题，提出并行双分支自监督网络PSLNet，融合任务分解与退化建模并采用混合损失，有效提升含噪图像水印去除效果。
2024-03-04 cs.CV
A Two-Stream Mutual Attention Network for Semi-supervised Biomedical Segmentation with Noisy Labels
University of Science and Technology of China（中国科学技术大学）
\begin{abstract}基于学习的方法缺乏清晰的注释，特别是在生物医学分割中。虽然已经提出了许多半监督方法来提供额外的训练数据，但自动生成的标签通常太嘈杂，无法有效地重新训练模型。在本文中，我们提出了一种双流相互注意网络（TSMAN），它削弱了由不正确的标签引起的反向传播梯度的影响，从而使网络对不干净的数据具有鲁棒性。建议TSMAN由两个子网络，这是连接的三种类型的注意力模型在不同的层。每个注意力模型的目标是通过使用相同的输入分析它们的推断特征来指示两个子网络的某个层中潜在的不正确梯度。为了达到这个目的，注意力模型的设计基于噪声梯度在不同层的传播分析。这使得注意力模型能够有效地发现错误的标签并削弱其在参数更新过程中的影响。通过在双流架构内交换多级特征，通过降低更新梯度来减少每个子网络中的噪声标签的影响。此外，一个分层蒸馏的开发，以提供更可靠的伪标签的未标记的数据，这进一步提高了我们的再训练TSMAN的性能。使用HVSMR 2016和BRATS 2015基准测试的实验表明，我们的半监督学习框架超越了最先进的全监督结果。
2018-12-26 cs.CV
Robust Temporal Ensembling for Learning with Noisy Labels
NVIDIA（英伟达）
成功训练带有噪声标签的深度神经网络是一项基本功能，因为大多数真实世界的数据集都包含一些错误标记的数据。如果不加以抑制，标签噪声会严重降低典型的监督学习方法的性能。在本文中，我们提出了鲁棒时间集成（RTE），它结合了鲁棒损失与半监督正则化方法，以实现噪声鲁棒学习。我们证明了RTE在CIFAR-10，CIFAR-100，ImageNet，WebVision和Food-101 N数据集上实现了最先进的性能，同时放弃了最近的标签过滤和/或固定趋势。最后，我们表明，RTE还保留了竞争腐败鲁棒性不可预见的输入噪声使用CIFAR-10-C，获得平均腐败误差（mCE）的13.50%，即使在80%的噪声比的存在下，与26.9%mCE与标准方法的干净数据。
2021-09-29 cs.CV cs.LG
Scalable Penalized Regression for Noise Detection in Learning with Noisy Labels
Fudan University（复旦大学）
噪声训练集通常会导致神经网络的泛化能力和鲁棒性下降。在本文中，我们提出了使用一个理论上有保证的噪声标签检测框架来检测和删除噪声数据的学习与噪声标签（LNL）。具体来说，我们设计了一个惩罚回归模型来模拟网络特征和独热标签之间的线性关系，其中噪声数据由回归模型中求解的非零均值漂移参数来识别。为了使框架可扩展到包含大量类别和训练数据的数据集，我们提出了一种分裂算法，将整个训练集分成可以通过惩罚回归并行求解的小块，从而形成可扩展惩罚回归（SPR）框架。我们提供了SPR正确识别噪声数据的非渐近概率条件。虽然SPR可以被视为标准监督训练管道的样本选择模块，但我们进一步将其与半监督算法相结合，以进一步利用噪声数据作为未标记数据的支持。在多个基准数据集和真实噪声数据集上的实验结果表明了该框架的有效性。我们的代码和预训练模型在https://github.com/Yikai-Wang/SPR-LNL上发布。
2022-03-19 cs.CV cs.LG
Semi-Supervised Recognition under a Noisy and Fine-grained Dataset
National Internet Emergency Center(CNCERT)（国家互联网应急中心）；Baidu（百度）
FGVC7是一个具有挑战性的细粒度识别竞赛。这场比赛的难点之一是如何使用未标记的数据。我们采用伪标签数据采掘来增加训练数据的数量。另一个是如何识别相似的鸟类，特别是那些有一个非常小的差异，在例子中相对较小的主体。我们结合一般的图像识别和细粒度的图像识别方法来解决这个问题。所有通用图像识别模型都使用PaddleClas进行训练。利用两种不同方式的深度识别模型相结合，最终获得大赛第三名。
2020-06-18 cs.CV
A Semi-Supervised Two-Stage Approach to Learning from Noisy Labels
University of Central Florida（中佛罗里达大学）；Tencent AI Lab（腾讯人工智能实验室）
深度神经网络最近的成功部分得益于大规模标记良好的训练数据。然而，费力地注释类似于ImageNet的数据集是一项艰巨的任务。相反，从Web上收集训练图像及其噪声标签是相当方便、快速和便宜的。这意味着需要替代方法来使用这种噪声标签训练深度神经网络。现有的方法解决这个问题，要么试图识别和纠正错误的标签或重新加权的数据项在损失函数根据推断的噪声率。这两种策略都不可避免地会导致某些数据点的错误。在本文中，我们认为，它实际上是更好地忽略一些数据点的标签，而不是保留它们，如果标签是不正确的，特别是当噪声率高。毕竟，错误的标签可能会将神经网络误导到糟糕的局部最优。我们提出了一个两阶段的框架，从嘈杂的标签学习。在第一阶段，我们从嘈杂的训练集中识别出一小部分图像，其中标签以很高的概率是正确的。其他图像的噪声标签被忽略。在第二阶段，我们以半监督的方式训练深度神经网络。这个框架有效地利用了整个训练集，但只有一部分标签最有可能是正确的。在三个数据集上的实验验证了该方法的有效性，特别是当噪声率较高时。
2018-03-21 cs.CV
Mitigating Memorization of Noisy Labels via Regularization between Representations
University of California, Santa Cruz（加州大学圣克鲁兹分校）；Tencent YouTu Lab（腾讯优图实验室）
设计鲁棒的损失函数在带噪声标签的学习中很流行，而现有的设计没有明确考虑深度神经网络（DNN）的过拟合特性。因此，随着训练的进行，应用这些损失仍然可能遭受过度拟合/记忆噪声标签。在本文中，我们首先从理论上分析了记忆效应，并表明低容量模型在噪声数据集上可能表现得更好。然而，它是不平凡的设计一个神经网络的最佳容量给定的任意任务。为了避免这种困境，我们没有改变模型架构，而是将DNN解耦为编码器，然后是线性分类器，并建议通过表示正则化器限制DNN的函数空间。特别地，我们要求两个自监督特征之间的距离与相应的两个监督模型输出之间的距离正相关。我们提出的框架是很容易扩展的，可以结合许多其他强大的损失函数，以进一步提高性能。大量的实验和理论分析支持我们的主张。代码可在github.com/UCSC-REAL/SelfSup_NoisyLabel上获得。
2022-05-26 cs.CV cs.LG
Self-supervised denoising for massive noisy images
EMPA（瑞士联邦材料科学与技术实验室）
我们提出了一种有效的深度学习模型用于信号重构，该模型不需要信号先验，不需要噪声模型校准，也不需要干净的样本。该模型仅假设噪声与测量无关，并且真实信号共享相同的结构化信息。我们展示了它的性能在各种现实世界中的应用，从亚-nigström分辨率的原子图像，以亚弧秒分辨率的天文图像。
2021-10-25 cs.CV eess.IV physics.comp-ph
Sample Prior Guided Robust Model Learning to Suppress Noisy Labels
Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing University Of Technology（北京工业大学）；Peking University（北京大学）
不完美标签在现实世界的数据集中普遍存在，严重损害了模型的性能。最近几种处理噪声标签的有效方法有两个关键步骤：1）通过训练损失将样本分为干净标签和错误标签集，2）使用半监督方法为错误标签集中的样本生成伪标签。然而，由于硬样本和噪声样本之间的损失分布相似，现有的方法往往会伤害到有信息的硬样本。在本文中，我们提出了PGDF（先验引导去噪框架），一种新的框架，通过生成样本的先验知识来学习深度模型以抑制噪声，该框架集成到划分样本步骤和半监督步骤中。我们的框架可以保存更多的信息硬干净的样本到干净的标签集。此外，我们的框架还通过抑制当前伪标签生成方案中的噪声来提高半监督步骤中伪标签的质量。为了进一步增强硬样本，我们在训练过程中重新加权干净标记集中的样本。我们使用基于CIFAR-10和CIFAR-100的合成数据集以及真实世界的数据集WebVision和Clothing 1 M来评估我们的方法。结果表明，国家的最先进的方法有很大的改进。
2022-01-31 cs.CV cs.LG
Ditch the Denoiser: Emergence of Noise Robustness in Self-Supervised Learning from Data Curriculum
本研究提出一种全自监督框架，通过构建去噪-含噪数据课程并结合教师引导正则化预训练SSL骨干网络，使模型在无需额外去噪器的情况下获得噪声鲁棒性，在极端高斯噪声下的ImageNet-1k线性探测任务中准确率较DINOv2提升4.8%。
2025-10-29 cs.AI cs.CV cs.LG
Weakly Supervised Learning with Side Information for Noisy Labeled Images
Machine Intelligence Technology Lab, Damo Academy, Alibaba Group（阿里巴巴达摩院机器智能技术实验室）
在许多现实世界的数据集中，如WebVision，基于DNN的分类器的性能往往受到噪声标记数据的限制。为了解决这个问题，一些与图像相关的辅助信息，如标题和标签，通常会揭示图像之间的潜在关系。在本文中，我们提出了一个有效的弱监督学习，通过使用边信息网络（SINet），其目的是有效地进行大规模的分类与严重的噪音标签。建议SINet由一个视觉原型模块和噪声加权模块。视觉原型模块旨在通过引入辅助信息为每个类别生成紧凑的表示。噪声加权模块旨在估计每个噪声图像的正确性，并在训练过程中产生用于图像排名的置信度得分。提出的SINet算法可以很大程度上缓解图像标签噪声带来的负面影响，有利于训练高性能的CNN分类器.此外，我们还发布了一个名为AliProducts的细粒度产品数据集，其中包含通过使用从50，000个细粒度语义类生成的查询从互联网上抓取的超过250万张嘈杂的Web图像。在几个流行的基准测试（即Webvision，ImageNet和Clothing-1 M）上进行了广泛的实验，我们提出的AliProducts实现了最先进的性能。SINet在WebVision Challenge 2019的分类任务中获得第一名，并大幅超越其他竞争对手。
2020-09-04 cs.CV
Backdooring Self-Supervised Contrastive Learning by Noisy Alignment
Southeast University（东南大学）；Purple Mountain Laboratories（紫金山实验室）；Ant Group（蚂蚁集团）；City University of Hong Kong（香港城市大学）；Beijing Institute of Technology（北京理工大学）
本文提出噪声对齐（NA）后门攻击方法，通过操纵对比学习的随机裁剪机制并优化图像布局来显式抑制中毒图像中的噪声成分，在保持干净数据准确率的同时取得优于现有DPCLs的攻击效果，并对常见防御具有鲁棒性。
2025-08-19 cs.CV
Self-supervised 3D Human Mesh Recovery from Noisy Point Clouds
University of Alberta（阿尔伯塔大学）；University of Toronto（多伦多大学）；University of Guleph（圭尔夫大学）
本文提出了一种新的自监督的方法来重建人体形状和姿态从噪声点云数据。依赖于大量具有地面实况注释的数据集，最近基于学习的方法预测点云上每个顶点的对应关系;倒角距离通常用于最小化变形模板模型与输入点云之间的距离。然而，倒角距离对噪声和离群值非常敏感，因此分配对应关系可能不可靠。为了解决这些问题，我们模拟的输入点云的概率分布，从一个参数化的人体模型下的高斯混合模型。而不是显式对齐对应，我们把对应搜索的过程作为一个隐式的概率关联，通过更新给定输入的模板模型的后验概率。一种新的自监督损失进一步推导出惩罚变形的模板和输入点云之间的差异的条件下的后验概率。我们的方法非常灵活，它可以处理完整的点云和不完整的点云，甚至包括单个深度图像作为输入。与以前的自监督方法相比，我们的方法显示出处理大量噪声和离群值的能力。在各种公共合成数据集以及非常嘈杂的真实数据集（即CMU Panoptic）上进行的大量实验证明了我们的方法优于最先进的方法。
2021-11-26 cs.CV
Manifold DivideMix: A Semi-Supervised Contrastive Learning Framework for Severe Label Noise
University of British Columbia（不列颠哥伦比亚大学）；Queen’s University（女王大学）
针对含ID与OOD噪声标签的训练数据，本文结合自监督嵌入、K近邻OOD过滤、Manifold DivideMix和MixEMatch半监督训练，提升严重标签噪声下的图像分类鲁棒性。
2023-08-13 cs.CV
Self-Supervised Image Restoration with Blurry and Noisy Pairs
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）
当在光线不足的环境下拍摄照片时，通常需要仔细选择曝光时间和传感器增益，以获得具有令人满意的视觉质量的图像。例如，具有高ISO的图像通常具有不可避免的噪声，而长曝光的图像可能由于相机抖动或物体运动而模糊。现有的解决方案通常建议在噪声和模糊之间寻求平衡，并在完全或自我监督下学习去噪或去模糊模型。然而，真实世界的训练对很难收集，并且仅仅依赖于模糊或噪声图像的自监督方法在性能上受到限制。在这项工作中，我们解决这个问题，联合利用短曝光的噪声图像和长曝光的模糊图像更好的图像复原。这种设置实际上是可行的，因为短曝光和长曝光图像可以由两个单独的相机获取或由长突发图像合成。此外，短曝光图像几乎不模糊，长曝光图像的噪声可以忽略不计。它们的互补性使得以自监督的方式学习恢复模型成为可能。具体地说，噪声图像可以作为去模糊的监督信息，而模糊图像中的尖锐区域可以作为自监督去噪的辅助监督信息。通过协作学习，我们方法中的去模糊和去噪任务可以相互受益。对合成图像和真实图像的实验表明了该方法的有效性和实用性。代码可在https://github.com/cszhilu1998/SelfIR上获得。
2022-11-14 cs.CV
Learning from Pixel-Level Label Noise: A New Perspective for Semi-Supervised Semantic Segmentation
Beijing Key Laboratory of Traffic Data Analysis and Mining, Beijing Jiaotong University（北京交通大学交通数据分析与挖掘北京市重点实验室）
本文讨论了半监督语义分割，利用一个小的一组图像与像素级的注释（强监督）和一个大的一组图像，只有图像级的注释（弱监督）。大多数现有的方法旨在从弱监督中生成准确的像素级标签。然而，我们观察到这些生成的标签仍然不可避免地包含噪声标签。受此观察的启发，我们提出了一个新的视角，并制定了这个任务作为一个问题的学习与像素级标签噪声。然而，现有的噪声标记方法主要针对图像级任务，不能捕获图像中相邻标签之间的关系。因此，我们提出了一个基于图的标签噪声检测和校正框架来处理像素级的噪声标签。特别地，对于由类激活图（CAM）从弱监督生成的像素级噪声标签，我们训练具有强监督的干净分割模型，以根据交叉熵损失从这些噪声标签中检测干净标签。然后，我们采用一个基于超像素的图来表示一幅图像中像素之间的空间邻接和语义相似关系。最后，我们使用图注意力网络（GAT）检测干净的标签监督的噪声标签。我们在PASCAL VOC 2012、PASCAL-Context和MS-COCO数据集上进行了全面的实验。实验结果表明，在PASCAL VOC 2012和MS-COCO数据集上，我们提出的半监督方法达到了最先进的性能，在某些情况下甚至优于全监督模型。
2021-03-26 cs.CV
STAR: Noisy Semi-Supervised Transfer Learning for Visual Classification
Concordia University（康考迪亚大学）；Décathlon（迪卡侬）
半监督学习（SSL）已被证明可以有效地利用大规模未标记数据来减轻对标记数据的依赖，以便学习更好的模型用于视觉识别和分类任务。然而，最近的SSL方法依赖于数十亿规模的未标记图像数据才能很好地工作。这对于在运行时间、存储器和数据采集方面具有相对较少的未标记数据的任务变得不可行。为了解决这个问题，我们提出了嘈杂的半监督迁移学习，一种有效的SSL方法，集成了迁移学习和自我训练与嘈杂的学生到一个单一的框架，这是专为任务，可以利用未标记的图像数据的规模上千。我们评估我们的方法在二进制和多类分类任务，其目标是确定图像是否显示人们练习运动或运动类型，以及从流行的瑜伽姿势池中识别姿势。大量的实验和消融研究表明，通过利用未标记的数据，我们提出的框架显着提高了视觉分类，特别是在多类分类设置相比，国家的最先进的方法。此外，结合迁移学习不仅提高了分类性能，而且还需要减少6倍的计算时间和5倍的内存。我们还表明，我们的方法提高了视觉分类模型的鲁棒性，即使没有专门优化对抗鲁棒性。
2021-08-18 cs.CV
Learning with Noisy Labels Using Collaborative Sample Selection and Contrastive Semi-Supervised Learning
Tianjin University（天津大学）；Harbin Institute of Technology（哈尔滨工业大学）
针对含噪标签学习中干净集混入噪声样本导致确认偏差的问题，提出利用预训练模型CLIP的协同样本选择方法，并结合对比半监督学习联合训练CLIP提示与DNN分类器，有效消除噪声样本并提升泛化性能。
2023-10-24 cs.CV
Neighboring Slice Noise2Noise: Self-Supervised Medical Image Denoising from Single Noisy Image Volume
School of Biological Science and Medical Engineering, Southeast University（东南大学生物科学与医学工程学院）
本文提出邻层切片 Noise2Noise（NS-N2N）自监督医学图像去噪方法，仅利用单个噪声图像体数据中的相邻切片构建加权训练数据，结合区域一致性损失和层间连续性损失训练网络，在去噪性能和处理效率上优于现有自监督方法，且因仅工作在图像域而更易临床部署。
2025-03-07 cs.CV eess.IV
Temporal Divide-and-Conquer Anomaly Actions Localization in Semi-Supervised Videos with Hierarchical Transformer
University of Padova（帕多瓦大学）；Alexandria University（亚历山大大学）
提出分层Transformer模型，通过时序分治策略学习视频内时间关系以定位半监督视频中的异常事件，在UCF-crime和ShanghaiTech数据集上优于片段级多实例学习方法。
2024-08-24 cs.CV
Webly Supervised Image Classification with Metadata: Automatic Noisy Label Correction via Visual-Semantic Graph
SenseTime Research（商汤科技研究院）；Rice University（莱斯大学）；The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）
Webly监督学习因其在数据扩充方面的高效性而成为近年来研究的热点。然而，采用搜索查询或主题标签作为图像的Web标签进行训练会带来大量噪声，从而降低DNN的性能。特别是，由于查询词的语义混乱，一个查询检索的图像可能包含大量属于其他概念的图像。例如，在Flickr上搜索“老虎猫”将返回大量老虎图像，而不是猫图像。这些真实的噪声样本通常在视觉空间中具有清晰的视觉语义集群，这会误导DNN学习准确的语义标签。为了纠正现实世界中的嘈杂标签，昂贵的人工注释似乎是必不可少的。幸运的是，我们发现，元数据可以提供额外的知识，发现干净的Web标签在一个劳动自由的方式，使其成为可能，以自动提供正确的语义指导之间的大量标签嘈杂的Web数据。在本文中，我们提出了一个自动标签校正VSGraph-LC的基础上的视觉语义图。VSGraph-LC从锚点选择开始，参考元数据和正确标签概念之间的语义相似性，然后使用图神经网络（GNN）在视觉图上从锚点传播正确标签。在真实网络监督学习数据集Webvision-1000和NUS-81-Web上的实验表明了VSGraph-LC的有效性和鲁棒性。此外，VSGraph-LC显示了其在开集验证集上的优势。
2020-10-12 cs.CV
J-Invariant Volume Shuffle for Self-Supervised Cryo-Electron Tomogram Denoising on Single Noisy Volume
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出一种基于U形J-不变盲点网络和体积洗牌技术的自监督模型，利用单个噪声体积实现Cryo-ET图像去噪，显著提升降噪与结构保留性能。
2025-02-22 cs.CV eess.IV
Triple Expert Learning from Noisy Labels for Semi-Supervised Vision Foundation Model Adaptation
The University of Warwick（华威大学）；Wuhan University（武汉大学）
TriNoL框架通过将未标记样本按伪标签置信度分配给三个LoRA专家，实现半监督视觉基础模型适配，提升了对带噪监督的鲁棒性且训练成本较低。
2026-08-11 cs.AI cs.CV
SSP-RACL: Classification of Noisy Fundus Images with Self-Supervised Pretraining and Robust Adaptive Credal Loss
Fudan University（复旦大学）
针对眼底图像标签噪声损害深度模型性能的问题，提出SSP-RACL框架，结合MAE自监督预训练与RACL超集学习抑制记忆效应，并通过临床知识驱动的非对称噪声模拟验证其优于现有方法。
2024-10-24 cs.CV
Single-photon Image Super-resolution via Self-supervised Learning
Zhejiang University（浙江大学）
单光子图像超分辨率（SPISR）是通过计算成像算法从含噪声的低分辨率光子计数立方体中恢复高分辨率光子计数立方体。在现实世界中，成对的训练样本通常是昂贵的或不可能获得的。通过扩展等变成像（EI）体积单光子数据，我们提出了一个自监督学习框架的SPISR任务。特别是，使用泊松无偏Kullback-Leibler风险估计和等方差，我们的方法能够从没有地面真理的噪声测量中学习。仿真和真实数据集上的综合实验表明，该方法实现了与监督学习相当的性能，并优于基于插值的方法。
2023-03-03 cs.CV cs.LG eess.IV
A Novel Self-Supervised Re-labeling Approach for Training with Noisy Labels
Indian Institute of Science（印度科学学院）
深度学习模型取得巨大成功的主要驱动力是大型数据集及其干净标签的可用性。不幸的是，这是很难获得的，这激发了对存在标签噪声的深度模型训练的研究，以及避免在噪声标签上过度拟合的方法。在这项工作中，我们建立在这一领域的开创性工作，共同教学，并提出了一个简单，但有效的方法称为mCT-S2 R（修改共同教学与自我监督和重新标记）为这项任务。首先，为了处理标签中的大量噪声，我们建议使用自我监督来生成鲁棒的特征，而不使用任何标签。接下来，使用并行网络架构，获得数据的干净标记部分的估计。最后，使用该数据，在用增强数据恢复网络训练之前，重新标记估计的噪声标记部分的一部分。在三个标准数据集上的实验表明了该框架的有效性。
2020-01-01 cs.CV
SemHint-MD: Learning from Noisy Semantic Labels for Self-Supervised Monocular Depth Estimation
University of California San Diego（加州大学圣地亚哥分校）
针对自监督深度估计因光度损失易陷入局部极小值的问题，提出 SemHint-MD 框架，利用带噪语义标签监督分割分支并扩展编解码器参数共享，结合跨任务信息生成伪标签，在 KITTI 等基准上验证了有效性。
2023-03-31 cs.CV
Neighbor2Neighbor: Self-Supervised Denoising from Single Noisy Images
Renmin University of China（中国人民大学）；Dalian University of Technology（大连理工大学）
近几年来，神经网络的快速发展使图像去噪得到了很大的发展。然而，需要大量的噪声干净的图像对监督限制了这些模型的广泛使用。虽然已经有一些尝试在训练图像去噪模型，只有单一的噪声图像，现有的自监督去噪方法遭受低效的网络训练，有用的信息丢失，或依赖于噪声建模。在本文中，我们提出了一个非常简单而有效的方法命名为Neighbor2Neighbor训练一个有效的图像去噪模型，只有噪声图像。首先，提出了一种随机邻域子采样器来产生训练图像对。详细地，用于训练网络的输入和目标是从同一噪声图像中子采样的图像，满足成对图像的成对像素是邻居并且彼此具有非常相似的外观的要求。其次，在第一阶段生成的子采样训练对上训练去噪网络，并使用建议的正则化器作为额外的损失以获得更好的性能。所提出的Neighbor2Neighbor框架能够在网络架构设计中享受最先进的监督去噪网络的进步。此外，它避免了对噪声分布假设的严重依赖。我们从理论的角度解释了我们的方法，并通过大量的实验进一步验证了它，包括在sRGB空间中具有不同噪声分布的合成实验和在原始RGB空间中的去噪基准数据集上的真实实验。
2021-03-31 cs.CV eess.IV
Robust Noisy Pseudo-label Learning for Semi-supervised Medical Image Segmentation Using Diffusion Model
University of East Anglia（东安格利亚大学）；King’s College London（伦敦国王学院）
本文提出一种基于扩散模型的半监督医学图像分割框架，通过原型对比一致性约束潜在语义结构以增强对噪声伪标签的鲁棒性，并引入MOSXAV基准，在多个数据集上取得优于现有方法的性能。
2025-07-22 cs.CV
Divide-and-Rule: Self-Supervised Learning for Survival Analysis in Colorectal Cancer
EPFL（洛桑联邦理工学院）；Bern（伯尔尼大学）；Lausanne University Hospital（洛桑大学医院）；Center of Biomedical Imaging（生物医学成像中心）
随着结直肠癌（CRC）发病率的长期快速增长，临床上迫切需要改进危险分层。传统的病理报告通常仅限于少数组织病理学特征。然而，大多数用于描述侵袭性肿瘤行为模式的肿瘤微环境被忽略了。在这项工作中，我们的目标是学习癌组织区域内的组织病理学模式，可用于改善结直肠癌的预后分层。为此，我们提出了一种自监督学习方法，该方法联合学习组织区域的表示以及聚类的度量，以获得其潜在的模式。然后，这些组织病理学模式被用于表示复杂组织之间的相互作用，并直接预测临床结果。我们还表明，所提出的方法可以受益于线性预测，以避免过度拟合患者的预后预测。为此，我们介绍了一个新的良好的特点的临床病理数据集，包括回顾性集体的374例患者，他们的生存时间和治疗信息。通过训练生存模型来评估通过我们的方法获得的组织形态学簇。实验结果表明，患者分层具有统计学意义，我们的方法优于最先进的深度聚类方法。
2020-07-07 cs.CV eess.IV
