cRedAnno+: Annotation Exploitation in Self-Explanatory Lung Nodule Diagnosis
University of Copenhagen（哥本哈根大学）；Hong Kong Baptist University（香港浸会大学）
最近，已经尝试减少用于肺结节诊断的基于特征的自解释模型中的注释要求。作为代表，cRedAnno通过引入自监督对比学习来进行无监督特征提取，从而实现了具有竞争力的性能，大大减少了注释需求。然而，它表现出不稳定的性能在稀缺的注释条件下。为了提高cRedAnno的准确性和鲁棒性，我们提出了一种注释开发机制，通过在学习的语义有意义的推理空间中进行稀疏播种和训练淬火的半监督主动学习，以联合利用提取的特征，注释和未标记的数据。所提出的方法实现了相当或更高的恶性预测精度与10倍的注释，同时显示出更好的鲁棒性和结节属性预测精度的条件下，1%的注释。我们的完整代码是开源的：https://github.com/diku-dk/credanno。
2022-11-07 cs.CV eess.IV
PLESS: Pseudo-Label Enhancement with Spreading Scribbles for Weakly Supervised Segmentation
Akian College of Science and Engineering, American University of Armenia（阿塞拜疆美国大学科学与工程学院）；Department of Computer Science, University of Oxford（牛津大学计算机科学系）
PLESS通过扩散涂鸦信息提升伪标签可靠性，改进弱监督分割性能。
2026-02-12 cs.CV cs.LG
AggMatch: Aggregating Pseudo Labels for Semi-Supervised Learning
Korea University（高丽大学）；Yonsei University（延世大学）；Samsung Electro-Mechanics（三星电机）
半监督学习（SSL）最近被证明是一种有效的范例，可以利用大量的未标记数据，同时减轻对大型标记数据的依赖。传统的方法集中于从单个未标记的数据样本中提取伪标签，因此它们大多难以处理不准确或有噪声的伪标签，这会降低性能。在本文中，我们解决了这一限制与一种新的SSL框架聚合伪标签，称为AggMatch，它细化初始伪标签使用不同的置信实例。具体来说，我们引入了一个聚合模块的一致性正则化框架，聚合的基础上的实例之间的相似性的初始伪标签。为了扩大聚集的候选人超出小批量，我们提出了一个类平衡的信心感知队列与动量模型，鼓励提供更稳定和一致的聚集。我们还提出了一种新的基于不确定性的伪标签的信心措施，通过考虑多个假设与不同的队列子集之间的共识。我们进行实验，以证明AggMatch的有效性，在最新的方法对标准的基准，并提供广泛的分析。
2022-01-25 cs.CV cs.LG
Synergy-Guided Regional Supervision of Pseudo Labels for Semi-Supervised Medical Image Segmentation
Fuzhou University（福州大学）；Macao Polytechnic University（澳门理工大学）
针对半监督医学图像分割中伪标签的噪声污染问题，提出SGRS-Net框架，基于mean teacher网络结合Mix Augmentation模块和Region Loss Evaluation模块对伪标签进行区域划分与损失评估，在LA数据集上取得优于SOTA的性能。
2024-11-13 cs.CV cs.LG
Multiview Pseudo-Labeling for Semi-supervised Learning from Video
Facebook AI Research (FAIR)（脸书人工智能研究院）
我们提出了一个多视图伪标记的方法来视频学习，一个新的框架，使用互补的意见的形式的外观和运动信息的半监督学习在视频。互补视图有助于在未标记的视频上获得更可靠的伪标签，以学习比纯监督数据更强的视频表示。虽然我们的方法利用了多个视图，但它仍然训练了一个跨外观和运动输入共享的模型，因此，通过设计，在推理时不会产生额外的计算开销。在多个视频识别数据集上，我们的方法大大优于其监督对应，并与以前在自监督视频表示学习中的标准基准上的工作相比毫不逊色。
2021-04-01 cs.AI cs.CV cs.LG
Towards Self-Adaptive Pseudo-Label Filtering for Semi-Supervised Learning
本文提出自适应伪标签过滤器SPF，通过在线混合模型建模置信度分布，使伪标签过滤随模型演化自动调整，无需人工调参，有效提升半监督学习在标签数据稀缺时的性能。
2023-09-18 cs.CV cs.LG
Mind the Gap: Confidence Discrepancy Can Guide Federated Semi-Supervised Learning Across Pseudo-Mismatch
Xiamen University（厦门大学）；Hong Kong Baptist University（香港浸会大学）
针对数据异质性导致FSSL伪标签不匹配及本地、全局模型预测分化的问题，提出SAGE，利用置信度差异校正伪标签，提升性能与收敛性。
2025-03-17 cs.CV cs.LG
Cross-Video Contextual Knowledge Exploration and Exploitation for Ambiguity Reduction in Weakly Supervised Temporal Action Localization
Zhejiang University（浙江大学）
针对弱监督时序动作定位中上下文不足导致的分类与定位歧义，本文提出含RMGCL和GKSA的端到端框架，利用跨视频知识构建语义结构并生成高置信伪标签，在三个基准上取得最优性能且易于集成。
2023-12-09 cs.CV
Conditional Pseudo-Supervised Contrast for Data-Free Knowledge Distillation
organization= School of Computer Science
针对现有无数据知识蒸馏方法存在的样本类别分布模糊、多样性不足等问题，提出CPSC-DFKD范式，通过条件生成对抗网络与伪监督对比学习提升学生模型及生成器性能。
2025-10-03 cs.CV cs.LG
SemiFed: Semi-supervised Federated Learning with Consistency and Pseudo-Labeling
University of Southern California（南加州大学）；Emory University（埃默里大学）；Xidian University（西安电子科技大学）
联邦学习使移动电话和组织等多个客户端能够协作学习共享模型进行预测，同时保护本地数据隐私。然而，联邦学习的最新研究和应用假设所有客户端都有完全标记的数据，这在现实世界中是不切实际的。在这项工作中，我们专注于跨筒仓联邦学习的新场景，其中每个客户端的数据样本被部分标记。我们借鉴了半监督学习方法的思想，在这种方法中，尽管对标记示例的访问有限，但仍利用大量未标记数据来提高模型的准确性。我们提出了一个名为SemiFed的新框架，它统一了半监督学习的两种主要方法：一致性正则化和伪标记。SemiFed首先应用先进的数据增强技术来执行一致性正则化，然后在训练期间使用模型的预测生成伪标签。SemiFed利用了联邦的优势，因此对于给定的图像，只有当来自不同客户端的多个模型产生高置信度预测并同意相同的标签时，伪标签才有效。在两个图像基准上的大量实验证明了我们的方法在同质和异构数据分布设置下的有效性
2021-08-21 cs.CV cs.LG
Generalized Semi-Supervised Learning via Self-Supervised Feature Adaptation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
提出自监督特征适应框架SSFA，通过解耦伪标签预测并引入自监督任务使特征提取器适应无标签数据分布，解决了有标签与无标签数据分布不一致导致的伪标签噪声累积问题，显著提升了半监督学习性能。
2024-05-31 cs.CV cs.LG
Enhancing Weakly-Supervised Histopathology Image Segmentation with Knowledge Distillation on MIL-Based Pseudo-Labels
University of Alberta（阿尔伯塔大学）
针对弱监督组织病理学图像分割难题，提出基于MIL伪标签的迭代融合知识蒸馏框架，通过师生模型动态角色互换与加权损失优化，在公开数据集上显著提升现有MIL分割方法性能并达到新SOTA。
2024-07-14 cs.CV cs.LG
InPL: Pseudo-labeling the Inliers First for Imbalanced Semi-supervised Learning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
不平衡半监督学习（SSL）中的最新方法依赖于具有一致性正则化的基于置信度的伪标记。为了获得高质量的伪标签，通常采用高置信度阈值。然而，已经表明，对于远离训练数据的样本，深度网络中基于softmax的置信度分数可以任意高，因此，即使是高置信度的未标记样本的伪标签也可能仍然不可靠。在这项工作中，我们提出了一个新的视角的伪标记不平衡的SSL。在不依赖于模型置信度的情况下，我们建议衡量未标记样本是否可能是“分布内”;即，接近当前的训练数据。为了确定未标记的样本是"分布内“还是"分布外”，我们采用来自分布外检测文献的能量分数。随着训练的进行，越来越多的未标记样本变得分布并有助于训练，组合的标记和伪标记数据可以更好地近似真实的类分布，以改进模型。实验表明，我们的基于能量的伪标记方法，\textbf{InPL}，虽然概念上简单，显着优于基于信心的方法不平衡的SSL基准。例如，它产生约3\%的绝对精度提高CIFAR 10-LT。当与最先进的长尾SSL方法相结合时，进一步的改进。特别是，在最具挑战性的场景之一，InPL实现了6.9\%的准确性比最好的竞争对手。
2023-03-13 cs.CV cs.LG
SoftCTC -- Semi-Supervised Learning for Text Recognition using Soft Pseudo-Labels
Brno University of Technology（布尔诺理工大学）；Faculty of Information Technology, Brno University of Technology（布尔诺理工大学信息技术学院）
本文提出SoftCTC损失函数，通过同时考虑多个转录变体扩展CTC，省去伪标签半监督学习中的置信度过滤步骤，在手写识别任务上达到与精细过滤流程相当的性能且计算效率显著更高。
2023-09-19 cs.CV cs.LG
Where is the disease? Semi-supervised pseudo-normality synthesis from an abnormal image
George Mason University（乔治梅森大学）
伪正常合成，其通过计算从异常图像生成伪正常图像（例如，具有病变）在从病变检测、数据增强到临床手术建议的许多方面都是关键的。然而，在缺乏病变信息的情况下生成高质量的伪正常图像具有挑战性。因此，引入了昂贵的病变分割数据来为生成模型提供病变信息并提高合成图像的质量。在本文中，我们的目标是减轻需要大量的病变分割数据时，产生伪正常图像。我们提出了一个半监督医学图像生成学习网络（SMILE），它不仅利用有限的医学图像与分割掩模，但也利用大量的医学图像没有分割掩模，以产生逼真的伪正常图像。大量的实验表明，我们的模型优于最好的国家的最先进的模型高达6%的数据增强任务和3%，在生成高质量的图像。此外，所提出的半监督学习实现可比的医学图像合成质量与监督学习模型，使用只有50的分割数据。
2021-06-24 cs.CV cs.LG eess.IV
PseudoProp: Robust Pseudo-Label Generation for Semi-Supervised Object Detection in Autonomous Driving Systems
University at Buffalo, SUNY（纽约州立大学布法罗分校）；Bosch Center for Artificial Intelligence（博世人工智能中心）；University at Albany, SUNY（纽约州立大学奥尔巴尼分校）；Amazon（亚马逊）
半监督目标检测方法广泛应用于自动驾驶系统中，其中仅标记一小部分对象。为了将信息从标记的对象传播到未标记的对象，必须为未标记的对象生成伪标签。虽然伪标签已被证明可以显著提高半监督目标检测的性能，但将基于图像的方法应用于视频帧会导致使用这种生成的伪标签的大量未命中或错误检测。在本文中，我们提出了一种新的方法，伪Prop，产生强大的伪标签，利用运动连续性的视频帧。具体来说，PseudoProp使用一种新的双向伪标签传播方法来补偿误检测。基于特征的融合技术也被用来抑制推理噪声。在大规模Cityscapes数据集上进行的大量实验表明，我们的方法在mAP 75上的性能比最先进的半监督目标检测方法高出7.4%。
2022-04-16 cs.CV
Pseudo-mask Matters in Weakly-supervised Semantic Segmentation
SenseTime（商汤科技）；Tsinghua University（清华大学）；Shanghai AI Laboratory（上海人工智能实验室）
大多数弱监督语义分割（WSSS）方法遵循最初生成伪掩码并随后以完全监督的方式使用伪掩码训练分割模型的流水线。然而，我们发现了一些与伪掩码相关的问题，包括从类激活映射（CAM）生成高质量的伪掩码，以及使用噪声伪掩码监督进行训练。对于这些问题，我们提出了以下设计来将性能提升到新的最新水平：（i）变异系数平滑，以自适应地平滑CAM;（ii）比例伪掩模生成，将扩展的CAM投影到伪掩模基于指示每个位置上每个类的重要性的新指标，而不是从二进制分类器训练的分数。(iii)伪欠拟合策略，以抑制噪声在伪掩模中的影响;（iv）循环伪掩模，以在全监督语义分割（FSSS）的训练期间提高伪掩模。基于我们的方法的实验在两个变化的弱监督语义分割数据集上取得了新的最先进的结果，在PAS-CAL VOC 2012和MS COCO 2014上分别将mIoU推到70.0%和40.2%。包括细分框架在内的代码发布于https://github.com/Eli-YiLi/PMM
2021-09-07 cs.CV
n-CPS: Generalising Cross Pseudo Supervision to n Networks for Semi-Supervised Semantic Segmentation
AI Clearing, Inc.（AI清算公司）；Semantic Technology Institute, Department of Computer Science, University of Innsbruck（因斯布鲁克大学语义技术研究所）；Institute of Informatics, University of Warsaw（华沙大学信息学研究所）
我们提出了n-CPS -最近国家的最先进的交叉伪监督（CPS）的方法的半监督语义分割的任务的概括。在n-CPS中，有n个同时训练的子网络，它们通过one-hot编码扰动和一致性正则化相互学习。我们还表明，应用于子网络输出的集成技术可以显着提高性能。据我们所知，n-CPS搭配CutMix的性能优于CPS，并为Pascal VOC 2012设定了最新的技术水平（1/16，1/8，1/4和1/2监督制度）和Cityscapes（1/16监督）。
2022-04-11 cs.AI cs.CV cs.LG
RePL: Pseudo-label Refinement for Semi-supervised LiDAR Semantic Segmentation
Dept. of CSE, POSTECH（浦项科技大学计算机科学与工程系）；GSAI, POSTECH（浦项科技大学人工智能研究生院）
RePL通过掩码重建识别并纠正伪标签中的潜在错误，提升伪标签质量，从而在激光雷达语义分割中取得最优性能。
2026-08-26 cs.CV
Curriculum Labeling: Revisiting Pseudo-Labeling for Semi-Supervised Learning
University of Virginia（弗吉尼亚大学）
在本文中，我们重新审视伪标签的思想，在半监督学习的上下文中，学习算法可以访问一个小的一组标记的样本和一个大的未标记的样本。伪标记的工作原理是通过使用在标记样本和任何先前伪标记样本的组合上训练的模型将伪标记应用于未标记集合中的样本，并在自训练周期中迭代地重复该过程。当前的方法似乎已经放弃了这种方法，而倾向于一致性正则化方法，该方法在未标记样本上的不同类型的自监督损失和标记样本上的标准监督损失的组合下训练模型。我们的经验表明，伪标记实际上可以与最先进的竞争，同时对未标记集中的分布外样本更具弹性。我们确定了两个关键因素，使伪标签，以取得如此显着的结果（1）应用课程学习原则和（2）避免概念漂移，通过重新启动模型参数之前，每个自我训练周期。我们在CIFAR-10上仅使用4，000个标记样本获得了94.91%的准确度，在Imagenet-ILSVRC上仅使用10%的标记样本获得了68.87%的top-1准确度。代码可在https://github.com/uvavision/Curriculum-Labeling上获得
2020-12-10 cs.CV cs.LG stat.ML
Learning Consistency from High-quality Pseudo-labels for Weakly Supervised Object Localization
Shanghai Jiao Tong University（上海交通大学）；Shanghai Frontier Science Research Center for Gravitational Wave Detection（上海引力波探测前沿科学研究中心）
伪监督学习方法已被证明是有效的弱监督对象定位任务。但有效性依赖于深度神经网络强大的正则化能力。基于定位网络在同一图像的不同版本上应该具有相似的位置预测的假设，我们提出了一种两阶段的方法来学习更一致的定位。在第一阶段，我们提出了一个基于掩码的伪标签生成器算法，并使用伪监督学习方法来初始化目标定位网络。在第二阶段，我们提出了一种简单有效的基于分类判别的伪标签置信度评估方法，并通过从高质量的伪标签中学习一致性，进一步改进定位网络，以获得更好的定位性能。实验结果表明，该方法在CUB-200-2011、ImageNet-1 k和Tiny-ImageNet三个基准数据集上均取得了良好的性能，证明了该方法的有效性。
2022-03-18 cs.CV
Learning Class-Agnostic Pseudo Mask Generation for Box-Supervised Semantic Segmentation
Harbin Institute of Technology（哈尔滨工业大学）
最近，几种弱监督学习方法已经致力于利用限界框监督来训练深度语义分割模型。大多数现有方法通常利用通用提议生成器（例如，密集CRF和MCG）以产生用于进一步训练分割模型的增强的分割掩模。然而，这些建议生成器是通用的，并且不是专门为框监督的语义分割设计的，从而为改进分割性能留下了一些余地。在本文中，我们的目标是寻求一个更准确的基于学习的类无关的伪掩码生成器定制的框监督语义分割。为此，我们采用像素级注释的辅助数据集，其中类标签与框注释数据集的标签不重叠。为了从辅助数据集学习伪掩码生成器，我们提出了一种双层优化公式。特别地，下部子问题用于学习框监督的语义分割，而上部子问题用于学习最优的类无关伪掩码生成器。然后可以将学习的伪分割掩码生成器部署到框注释数据集，以改进弱监督语义分割。在PASCAL VOC 2012数据集上的实验表明，学习的伪掩码生成器在提高分割性能方面是有效的，我们的方法可以进一步缩小框监督模型和全监督模型之间的性能差距。我们的代码将在https://github.com/Vious/LPG_BBox_Segmentation上公开。
2022-03-02 cs.CV
Polite Teacher: Semi-Supervised Instance Segmentation with Mutual Learning and Pseudo-Label Thresholding
AI Clearing, Inc.（AI Clearing公司）；University of Innsbruck（因斯布鲁克大学）；University of Warsaw（华沙大学）；Wageningen University & Research（瓦赫宁根大学及研究中心）
我们提出了礼貌的老师，一个简单而有效的方法，半监督实例分割的任务。建议的架构依赖于教师-学生相互学习的框架。为了过滤掉噪声伪标签，我们使用置信度阈值的边界框和面具得分的面具。该方法已被测试与CenterMask，一个单级无锚检测器。在COCO 2017 val数据集上进行测试，我们的架构显著（约+8页。在掩模AP中）在不同的监督制度下优于基线。据我们所知，这是解决半监督实例分割问题的第一个作品之一，也是第一个致力于无锚检测器的作品。
2022-11-07 cs.AI cs.CV cs.LG
Bayesian Pseudo Labels: Expectation Maximization for Robust and Efficient Semi-Supervised Segmentation
University College London（伦敦大学学院）；GSK R & D（葛兰素史克研发部）
本文研究了切分中的伪标号问题。我们的贡献是四方面的。首先，我们提出了一个新的配方的伪标签的期望最大化（EM）算法明确的统计解释。其次，我们提出了一种纯粹基于原始伪标记的半监督医学图像分割方法，即SegPL。我们证明了SegPL是一种具有竞争力的方法，可以对抗基于2D多类MRI脑肿瘤分割任务和3D二进制CT肺血管分割任务的半监督分割的最先进的一致性正则化方法。与以前的方法相比，SegPL的简单性允许更少的计算成本。第三，我们证明了SegPL的有效性可能源于其对分布外噪声和对抗攻击的鲁棒性。最后，在EM框架下，我们通过变分推理引入了SegPL的概率概括，它在训练过程中学习了伪标签的动态阈值。我们表明，SegPL与变分推理可以执行不确定性估计与黄金标准的方法深度包围。
2022-09-13 cs.AI cs.CV cs.LG
Dense Teacher: Dense Pseudo-Labels for Semi-supervised Object Detection
MEGVII Technology（旷视科技）；Harbin Institute of Technology（哈尔滨工业大学）；Waseda University（早稻田大学）
迄今为止，最强大的半监督对象检测器（SS-OD）是基于伪框的，这需要一系列具有微调超参数的后处理。在这项工作中，我们建议用密集预测代替稀疏伪框作为统一和直接的伪标签形式。与伪盒相比，我们的密集伪标签（DPL）不涉及任何后处理方法，从而保留了更丰富的信息。我们还介绍了一个区域选择技术，突出的关键信息，同时抑制密集标签携带的噪声。我们将我们提出的利用DPL的SS-OD算法命名为Dense Teacher。在COCO和VOC上，与基于伪框的方法相比，Dense Teacher在各种设置下都表现出优异的性能。
2022-07-19 cs.CV
Feedback-Driven Pseudo-Label Reliability Assessment: Redefining Thresholding for Semi-Supervised Semantic Segmentation
University of Bern（伯恩大学）；University of Klagenfurt（克雷根福特大学）
针对半监督语义分割中静态伪标签阈值依赖标注数据且难以调优的问题，提出反馈驱动的 ENCORE 动态阈值方法，按类别估计真阳性置信度并自适应过滤，显著提升多框架、多数据集性能。
2025-05-12 cs.CV
Pseudo-Representation Labeling Semi-Supervised Learning
Taiwan Evolutionary Intelligence Laboratory（台湾进化智能实验室）；National Taiwan University（国立台湾大学）
近年来，半监督学习（SSL）在利用未标记数据来提高深度学习模型的性能方面取得了巨大的成功，这大大降低了对大量标记数据的需求。已经提出了许多SSL技术，并在ImageNet和CIFAR-10等著名数据集上显示出良好的性能。然而，一些现有的技术（特别是基于数据增强的技术）不适合于经验上的工业应用。因此，这项工作提出了伪表示标记，一个简单而灵活的框架，利用伪标记技术迭代标记少量未标记的数据，并将它们作为训练数据。此外，我们的框架集成了自监督表示学习，使分类器从标记和未标记数据的表示学习中获益。该框架的实现不受具体模型结构的限制，而是一种改进现有模型的通用技术。与现有方法相比，伪表示标注更加直观，能够有效地解决现实世界中的实际问题。从经验上讲，它优于目前最先进的半监督学习方法在工业类型的分类问题，如WM-811 K晶圆图和MIT-BIH心律失常数据集。
2020-05-31 cs.CV cs.LG stat.ML
C$^3$PS: Context-aware Conditional Cross Pseudo Supervision for Semi-supervised Medical Image Segmentation
Shanghai Jiao Tong University（上海交通大学）
针对半监督医学图像分割，提出上下文感知条件交叉伪监督方法C$^3$PS，通过带类别条件的交叉伪监督结合上下文感知提升伪标签质量，训练后期可聚焦难分割器官，在两项任务上性能优于现有最优方法。
2023-06-14 cs.CV
Selective Pseudo-Labeling with Reinforcement Learning for Semi-Supervised Domain Adaptation
Didi Chuxing（滴滴出行）；Carleton University（卡尔顿大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
最近的领域自适应方法在无监督领域自适应问题上取得了令人瞩目的进步。然而，在半监督领域自适应（SSDA）设置中，其中目标域具有几个可用的标记实例，这些方法可能无法提高性能。受领域自适应中伪标签有效性的启发，提出了一种基于强化学习的半监督领域自适应选择性伪标签方法.传统的伪标记方法很难平衡伪标记数据的正确性和代表性。为了解决这一限制，我们开发了一个深度Q学习模型来选择准确和有代表性的伪标记实例。此外，由于大间隔损失在学习小数据的判别特征时的能力，我们进一步提出了一种新的目标间隔损失用于我们的基础模型训练，以提高其判别能力。我们提出的方法进行了评估的几个基准数据集SSDA，并表现出优越的性能，所有的比较方法。
2020-12-07 cs.CV
Repetitive Reprediction Deep Decipher for Semi-Supervised Learning
Nanjing University（南京大学）
最近的半监督深度学习（deep SSL）方法使用了类似的范例：使用网络预测来更新伪标签，并使用伪标签迭代地更新网络参数。然而，它们缺乏理论支持，无法解释为什么预测是伪标签的良好候选者。在本文中，我们提出了一个原则性的端到端的框架命名为深度解密（D2）的SSL。在D2框架下，我们证明了伪标签与网络预测通过指数链接函数相关，这为使用预测作为伪标签提供了理论支持。此外，我们证明了通过网络预测更新伪标签会使它们变得不确定。为了缓解这个问题，我们提出了一种称为重复重预测（R2）的训练策略。最后，在大规模ImageNet数据集上对所提出的R2-D2方法进行了测试，其性能比最先进的方法高出5个百分点。
2019-11-27 cs.CV cs.LG stat.ML
Pseudo Supervised Monocular Depth Estimation with Teacher-Student Network
McMaster University（麦克马斯特大学）；University at Buffalo（布法罗大学）；Carnegie Mellon University（卡内基梅隆大学）
尽管监督单目深度估计最近有所改进，但缺乏高质量的逐像素地面实况注释已成为进一步进展的主要障碍。在这项工作中，我们提出了一种新的无监督深度估计方法的伪监督机制的基础上，通过训练的师生网络与知识蒸馏。它策略性地集成了监督和无监督单目深度估计以及无监督双目深度估计的优点。具体地，教师网络利用双目深度估计的有效性来产生精确的视差图，然后将其用作伪地面实况以训练学生网络进行单目深度估计。这有效地将无监督学习的问题转换为监督学习。我们广泛的实验结果表明，所提出的方法优于国家的最先进的KITTI基准。
2021-10-22 cs.CV
Rethinking Pseudo Labels for Semi-Supervised Object Detection
University of Maryland（马里兰大学）；Fudan University（复旦大学）
半监督目标检测（SSOD）的最新进展主要是由用于图像分类任务的基于一致性的伪标记方法驱动的，该方法产生伪标记作为监督信号。然而，当使用伪标签时，缺乏对定位精度和放大的类别不平衡的考虑，这两者对于检测任务都是至关重要的。在本文中，我们介绍了确定性感知的伪标签量身定制的目标检测，它可以有效地估计派生的伪标签的分类和定位质量。这是通过将传统的本地化转换为分类任务，然后进行细化来实现的。在分类和本地化质量分数的条件下，我们动态地调整用于生成伪标签的阈值，并为每个类别重新加权损失函数，以缓解类不平衡问题。大量的实验表明，我们的方法提高了最先进的SSOD性能的1- 2%AP COCO和PASCAL VOC，同时正交和补充大多数现有的方法。在有限的注释制度，我们的方法提高了监督基线高达10%的AP使用只有1-10%的标记数据从COCO。
2021-12-30 cs.CV
Semi-Supervised Learning of Semantic Correspondence with Pseudo-Labels
Korea University（高丽大学）；Samsung Electro-Mechanics（三星电机）
在语义相似的图像之间建立密集的对应关系仍然是一项具有挑战性的任务，由于显着的类内变化和背景杂波。传统的监督学习用于训练模型，这需要大量的人工标记数据，而一些方法建议使用自监督或弱监督学习来减轻对标记数据的依赖，但性能有限。在本文中，我们提出了一种简单但有效的语义对应解决方案，该解决方案通过利用大量置信对应作为伪标签来补充少量真实对应，以半监督的方式学习网络，称为SemiMatch。具体来说，我们的框架使用模型本身在源和弱增强目标之间的预测生成伪标签，并使用伪标签在源和强增强目标之间再次学习模型，这提高了模型的鲁棒性。我们还提出了一种新的伪标签和数据增强语义对应度的信心措施。在实验中，SemiMatch在各种基准测试中实现了最先进的性能，特别是在PF Willow上的性能。
2022-04-05 cs.CV
Seq-UPS: Sequential Uncertainty-aware Pseudo-label Selection for Semi-Supervised Text Recognition
Purdue University（普渡大学）
本文着眼于基于图像的文本识别的半监督学习（SSL）。最流行的SSL方法之一是伪标签（PL）。PL方法在使用标记数据和伪标记数据的组合重新训练模型之前将标签分配给未标记数据。然而，PL方法被噪声严重降级，并且由于包括从校准不良的模型生成的错误的高置信度伪标签，因此容易过度拟合到有噪声的标签，从而使得基于阈值的选择无效。此外，假设空间的组合复杂性和由于多个不正确的自回归步骤而导致的误差累积使得序列模型的伪标记具有挑战性。为此，我们提出了一个伪标签生成和基于不确定性的数据选择框架的半监督文本识别。我们首先使用波束搜索推理产生高度可能的假设分配伪标签的未标记的例子。然后，我们采用一个集成的模型，通过应用dropout采样，以获得与预测相关的不确定性的鲁棒估计，同时考虑字符级和单词级的预测分布，以选择高质量的伪标签。在几个基准手写和场景文本数据集上的大量实验表明，我们的方法优于基线方法和以前最先进的半监督文本识别方法。
2022-10-06 cs.CV
DASO: Distribution-Aware Semantics-Oriented Pseudo-label for Imbalanced Semi-Supervised Learning
KAIST（韩国科学技术院）；UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
传统的半监督学习（SSL）方法由于类别不平衡和类别分布不匹配导致伪标签严重偏差，其性能与实际应用相差甚远。本文解决了这样一个相对不足的问题。首先，我们提出了一个一般的伪标签框架，类自适应地混合语义伪标签从基于相似性的分类器的线性分类器的线性，观察后，这两种类型的伪标签具有互补的属性的偏见。我们进一步引入了一种新的语义对齐损失，建立平衡的特征表示，以减少有偏见的预测分类。我们称整个框架为分布式感知面向语义（DASO）伪标签。我们在广泛的不平衡基准测试中进行了广泛的实验：CIFAR 10/100-LT，STL 10-LT和具有开集类的大规模长尾Semi-Aves，并证明，所提出的DASO框架可靠地改进了具有未标记数据的SSL学习器，特别是当（1）类不平衡和（2）分布不匹配占主导地位时。
2022-06-02 cs.AI cs.CV cs.LG
Semi-Supervised 2D Human Pose Estimation Driven by Position Inconsistency Pseudo Label Correction Module
Beijing University of Posts and Telecommunications（北京邮电大学）；Beike（贝壳）
在本文中，我们深入研究了半监督的2D人体姿态估计。以前的方法忽略了两个问题：（1）在进行大模型和轻量级模型之间的交互训练时，轻量级模型的伪标签将用于指导大模型。(ii)噪声伪标签对训练的负面影响。此外，用于2D人体姿态估计的标签相对复杂：关键点类别和关键点位置。为了解决上述问题，我们提出了一个半监督的二维人体姿态估计框架驱动的位置不一致伪标签校正模块（SSPCM）。我们引入了一个额外的辅助教师，并使用两个教师模型在不同时期产生的伪标签来计算不一致性得分并去除离群值。然后，通过交互式训练来更新两个教师模型，并且使用由两个教师生成的伪标签来更新学生模型。为了进一步提高学生模型的性能，我们使用了基于伪关键点感知的半监督切割-遮挡算法来生成更多的硬有效样本。此外，我们还提出了一个新的室内开销鱼眼人体关键点数据集WEPDTOF-Pose。大量的实验表明，我们的方法优于以前最好的半监督2D人体姿态估计方法。我们将在https://github.com/hlz0606/SSPCM上发布代码和数据集。
2023-03-08 cs.CV
Unsupervised Meta-Learning via Few-shot Pseudo-supervised Contrastive Learning
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；LG AI Research（LG人工智能研究院）
无监督元学习的目标是在由未标记数据构建的任务分布中学习可推广的知识。在这里，主要的挑战是如何在没有标签信息的情况下为元学习构建不同的任务;最近的工作已经提出创建，例如，通过预训练的表示进行伪标记或通过生成模型创建合成样本。然而，由于在元学习期间严重依赖不可变的伪标签以及表示或生成的样本的质量，这样的任务构建策略从根本上受到限制。为了克服这些局限性，我们提出了一个简单而有效的无监督元学习框架，即伪监督对比度（PsCo），用于Few-Shot分类。我们受到最近的自监督学习文献的启发; PsCo利用动量网络和先前批次的队列来改进伪标记并以渐进的方式构建各种任务。我们广泛的实验表明，PsCo优于现有的无监督元学习方法在各种域内和跨域的Few-Shot分类基准。我们还验证了PsCo是很容易扩展到一个大规模的基准，而最近的现有技术的元计划没有。
2023-03-02 cs.AI cs.CV cs.LG
Semi-Supervised Semantic Segmentation with Cross Pseudo Supervision
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
在本文中，我们研究了半监督语义分割问题，通过探索标记数据和额外的未标记数据。我们提出了一种新的一致性正则化方法，称为交叉伪监督（CPS）。我们的方法对同一输入图像的不同初始化扰动的两个分割网络的一致性。从一个扰动的分割网络输出的伪独热标签映射被用于以标准交叉熵损失来监督另一个分割网络，反之亦然。CPS一致性有两个作用：鼓励两个扰动网络对同一输入图像的预测之间的高度相似性，以及通过使用具有伪标签的未标记数据来扩展训练数据。实验结果表明，该方法在Cityscapes和PASCAL VOC 2012上实现了最先进的半监督分割性能。代码可在https://git.io/CPS上获得。
2021-06-04 cs.CV
Re-distributing Biased Pseudo Labels for Semi-supervised Semantic Segmentation: A Baseline Investigation
The University of Hong Kong（香港大学）；Zhejiang University（浙江大学）
虽然自训练具有先进的半监督语义分割，但它严重遭受真实世界语义分割数据集上的长尾类分布，这使得伪标记数据偏向于大多数类。在本文中，我们提出了一个简单而有效的分布对齐和随机抽样（DARS）方法，以产生无偏的伪标签，匹配从标记数据估计的真实类分布。此外，我们还提供了一个渐进的数据增强和标记策略，以促进模型训练与伪标记数据。在Cityscapes和PASCAL VOC 2012数据集上的实验证明了该方法的有效性。虽然简单，我们的方法表现良好，与国家的最先进的方法相比。代码将在https://github.com/CVMI-Lab/DARS上提供。
2021-07-26 cs.CV
DDS3D: Dense Pseudo-Labels with Dynamic Threshold for Semi-Supervised 3D Object Detection
Huazhong University of Science and Technology（华中科技大学）
在本文中，我们提出了一个简单而有效的半监督三维物体检测器DDS3D。我们的主要贡献有两方面。一方面，与以往使用非最大值抑制（NMS）或其变体来获得稀疏伪标签的方法不同，本文提出了一种密集伪标签生成策略来获得密集伪标签，从而为学生网络保留更多潜在的监督信息。另一方面，本文提出了一种动态阈值的伪标签生成方法，取代了传统的固定阈值方法，保证了整个训练过程中伪标签的质量和数量。受益于这两个组件，我们的DDS 3D优于最先进的半监督3D目标检测，在1%样本的相同配置下，行人的mAP为3.1%，骑自行车的为2.1%。KITTI数据集上的广泛消融研究证明了我们的DDS 3D的有效性。代码和模型将在https://github.com/hust-jy/DDS3D上公开发布
2023-03-10 cs.CV
Cross Pseudo Labeling For Weakly Supervised Video Anomaly Detection
本文提出CPL-VAD框架，通过跨伪标签实现视频异常检测与类别分类的双重提升，实验表明其在异常检测和类别识别上达到最优性能。
2026-03-13 cs.CV
Learning Adaptive Pseudo-Label Selection for Semi-Supervised 3D Object Detection
School of Computing, KAIST（韩国科学技术院计算机学院）；AI Lab, LG Electronics（LG电子人工智能实验室）
本文提出一种自适应伪标签选择框架，通过动态阈值和上下文信息提升3D目标检测性能，实验表明其在KITTI和Waymo数据集上效果显著。
2026-04-03 cs.CV
EnergyMatch: Energy-based Pseudo-Labeling for Semi-Supervised Learning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
半监督学习（SSL）中的最新方法将一致性正则化与基于置信度的伪标记相结合。为了获得高质量的伪标签，通常采用高置信度阈值。然而，已经表明，对于远离训练数据的样本，深度网络中基于softmax的置信度分数可以任意高，因此，即使是高置信度的未标记样本的伪标签也可能仍然不可靠。在这项工作中，我们提出了一个新的伪标签视角：而不是依赖于模型置信度，我们而是衡量未标记的样本是否可能是“分布中”;即，接近当前的训练数据。为了分类未标记的样本是“分布内”还是“分布外”，我们采用来自分布外检测文献的能量得分。随着训练的进行，越来越多的未标记样本变得分布并有助于训练，组合的标记和伪标记数据可以更好地近似真实分布以改进模型。实验表明，我们的基于能量的伪标记方法，虽然概念上很简单，显着优于基于信心的方法不平衡的SSL基准，并实现类平衡数据的竞争力的表现。例如，当不平衡比高于50时，它会使CIFAR 10-LT的绝对精度提高4-6%。当与最先进的长尾SSL方法相结合时，可以得到进一步的改进。
2022-06-13 cs.AI cs.CV cs.LG
Sparse Generation: Making Pseudo Labels Sparse for Point Weakly Supervised Object Detection on Low Data Volume
Xi'an University of Science and Technology（西安科技大学）
针对低数据量下点弱监督目标检测伪标签质量差的问题，提出稀疏生成方法，通过映射、掩码、回归三阶段将稠密输出稀疏化，并结合透视匹配提升伪框合理性，在多个数据集上优于现有SOTA方法。
2024-12-30 cs.CV
Pseudo-Labeled Auto-Curriculum Learning for Semi-Supervised Keypoint Localization
SenseTime Research and Tetras.AI（商汤科技研究与Tetras.AI）；The University of Hong Kong（香港大学）；The University of Sydney（悉尼大学）
物体关键点的定位是一个基本的视觉问题。然而，关键点定位网络的监督学习通常需要大量的数据，这是昂贵且耗时的。为了解决这个问题，人们对半监督学习（SSL）的兴趣越来越大，它利用了一小部分标记数据和一大部分未标记数据。在这些SSL方法中，伪标记（PL）是最流行的方法之一。PL方法将伪标签应用于未标记的数据，然后使用标记和伪标记数据的组合迭代地训练模型。PL成功的关键是选择高质量的伪标记样本。以往的工作大多通过手动设置单个置信度阈值来选择训练样本。我们建议自动选择可靠的伪标记样本与一系列的动态阈值，这构成了一个学习课程。在六个关键点定位基准数据集上的大量实验表明，所提出的方法显着优于以前的最先进的SSL方法。
2022-01-24 cs.CV
Semi-supervised 3D Object Detection via Adaptive Pseudo-Labeling
Shanghai Jiao Tong University（上海交通大学）；East China Normal University（华东师范大学）；East China University of Science and Technology（华东理工大学）
三维目标检测是计算机视觉中的一项重要任务。现有的方法大多需要大量高质量的3D标注，采集成本高，特别是对于室外场景，由于点云的稀疏性和城市场景的复杂性，问题变得更加严重。半监督学习是一种很有前途的技术，以减轻数据注释问题。受此启发，我们提出了一种新的基于伪标记的半监督框架，用于室外3D目标检测任务。我们设计了自适应类置信度选择模块（ACCS）来生成高质量的伪标签。此外，我们提出了整体点云增强（HPCA）的未标记的数据，以提高鲁棒性。在KITTI基准测试上的实验证明了该方法的有效性。
2021-08-15 cs.CV
Segment Anything is A Good Pseudo-label Generator for Weakly Supervised Semantic Segmentation
Zhejiang University（浙江大学）；Nankai University（南开大学）
针对弱监督语义分割的不适定问题，本研究挖掘类别无关大模型segment-anything的“提示生成掩码”潜力，以弱标签为提示生成精确类别掩码，再用其制作伪标签训练分割网络，在PASCAL VOC 2012上验证了该方法的有效性，代码将开源。
2023-05-02 cs.CV
Weighting Pseudo-Labels via High-Activation Feature Index Similarity and Object Detection for Semi-Supervised Segmentation
Stony Brook University（石溪大学）；EPFL（洛桑联邦理工学院）
本文提出一种通过高激活特征索引相似性与目标检测加权伪标签的方法，提高半监督语义分割中伪标签的可靠性，并在多个框架和数据集上验证了有效性。
2024-07-17 cs.CV
NimbleD: Enhancing Self-supervised Monocular Depth Estimation with Pseudo-labels and Large-scale Video Pre-training
University of Reading（雷丁大学）
本文提出NimbleD框架，利用大型视觉模型生成的伪标签进行监督，无需相机内参即可进行大规模视频预训练，显著提升了轻量级模型的深度估计性能，满足低延迟VR/AR应用需求。
2024-08-26 cs.CV
RCPS: Rectified Contrastive Pseudo Supervision for Semi-Supervised Medical Image Segmentation
Shanghai Jiao Tong University（上海交通大学）；Fudan University（复旦大学）；Huashan Hospital（华山医院）；National Center for Neurological Disorders（国家神经疾病医学中心）；ShanghaiTech University（上海科技大学）
针对半监督医学图像分割中伪标签噪声大、特征类别可分性不足的问题，提出结合校正伪监督与双向体素对比学习的RCPS方法，经多数据集验证性能优于现有最优方法。
2023-10-09 cs.CV
Pseudo-label Correction and Learning For Semi-Supervised Object Detection
National University of Defense Technology（国防科技大学）；Defense Innovation Institute, Chinese Academy of Military Science（中国人民解放军军事科学院国防科技创新研究院）
伪标记已成为一种简单而有效的半监督目标检测（SSOD）技术。然而，伪标签中不可避免的噪声问题显着降低了SSOD方法的性能。近年来的研究有效地降低了SSOD中的分类噪声，但作为SSOD中不可忽视的一部分的定位噪声却没有得到很好的解决。在本文中，我们分析了本地化噪声的产生和学习阶段，并提出了两种策略，即伪标签校正和噪声不知情的学习。对于伪标签校正，我们引入了多轮细化方法和多投票加权方法。前者迭代地细化伪框以提高预测的稳定性，而后者通过加权周围抖动框的分数来平滑地自校正伪框。对于无噪声学习，我们引入了一个与回归任务中的交集（IoU）负相关的损失权重函数，它使预测框更接近对象并提高定位准确性。我们提出的方法，伪标签校正和学习（PCL），广泛评估MS COCO和PASCAL VOC基准。在MS COCO上，PCL在1%、5%和10%的标记比率下分别比监督基线高12. 16、12. 11和9. 57 mAP，比最近的SOTA（SoftTeacher）高3. 90、2. 54和2. 43 mAP。在PASCAL VOC上，PCL将监督基线提高了5.64 mAP，在AP $^{50}$上将最近的SOTA（无偏教师2）提高了1.04 mAP。
2023-03-06 cs.CV
Conservative-Progressive Collaborative Learning for Semi-supervised Semantic Segmentation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））；Zhejiang University（浙江大学）
伪监督被认为是半监督学习语义分割的核心思想，在只利用高质量伪标签和利用所有伪标签之间总是存在权衡。为了解决这个问题，我们提出了一种新的学习方法，称为保守-渐进协作学习（CPCL），其中两个预测网络并行训练，并根据两个预测的一致性和不一致性实现伪监督。一个网络通过交叉监督寻找共同点，并由高质量的标签监督，以确保更可靠的监督，而另一个网络通过联合监督保留差异，并由所有伪标签监督，以保持好奇心。从而实现保守进化与渐进探索的协同。为了减少可疑伪标签的影响，根据预测置信度对损失进行动态重新加权。大量的实验表明，CPCL实现了国家的最先进的半监督语义分割的性能。
2023-02-17 cs.CV
BoxTeacher: Exploring High-Quality Pseudo Labels for Weakly Supervised Instance Segmentation
Horizon Robotics（地平线机器人）；Huazhong University of Science & Technology（华中科技大学）
与边界框相比，使用逐像素分割标记对象需要大量的人力。大多数现有的弱监督实例分割方法集中在设计启发式损失与先验的边界框。同时，我们发现框监督方法可以产生一些精细的分割掩模，我们想知道检测器是否可以从这些精细掩模中学习，而忽略低质量的掩模。为了回答这个问题，我们提出了BoxTeacher，这是一个高效的端到端训练框架，用于高性能弱监督实例分割，它利用一个复杂的教师来生成高质量的掩码作为伪标签。考虑到大量噪声掩模对训练的影响，本文提出了一种掩模感知置信度来估计伪掩模的质量，并提出了噪声感知像素损失和噪声降低亲和度损失来自适应地优化具有伪掩模的学生。大量的实验可以证明所提出的BoxTeacher的有效性。在没有花哨的情况下，BoxTeacher在具有挑战性的COCO数据集上分别使用ResNet-50和ResNet-101显著实现了35.0掩码AP和36.5掩码AP，这比以前的最先进方法有很大的优势，并弥合了框监督和掩码监督方法之间的差距。代码和模型将在https://github.com/hustvl/BoxTeacher上提供。
2023-03-17 cs.CV
Segment Anything Model (SAM) Enhanced Pseudo Labels for Weakly Supervised Semantic Segmentation
The Ohio State University（俄亥俄州立大学）；EAIGLE Inc（EAIGLE 公司）
针对弱监督语义分割中CAM伪标签边界不准的问题，提出用SAM掩码结合CAM生成兼具类别与目标感知性的高质量伪标签，可无缝集成现有方法，在主流数据集上稳定超越SOTA。
2023-11-03 cs.AI cs.CV cs.LG
