Adaptive Affinity Loss and Erroneous Pseudo-Label Refinement for Weakly Supervised Semantic Segmentation
Xidian University（西安电子科技大学）；Xi’an Jiaotong University（西安交通大学）；University of Leicester（莱斯特大学）
语义分割在过去的十年中得到了不断的研究，并且大多数已建立的技术都是基于监督模型的。近年来，图像级弱监督语义分割（WSSS），包括单阶段和多阶段的过程，吸引了大量的关注，由于数据标记效率。在本文中，我们提出将多阶段方法的亲和学习嵌入到单阶段模型中。具体来说，我们引入了自适应的亲和力损失，以彻底学习局部成对亲和力。因此，深度神经网络用于在训练阶段传递全面的语义信息，同时提高最终预测模块的性能。另一方面，考虑到伪标签中存在错误，我们提出了一种新的标签重分配损失来减轻过拟合。在PASCAL VOC 2012数据集上进行了大量的实验，以评估我们提出的方法的有效性，该方法优于其他标准的单阶段方法，并与几种多阶段方法实现了相当的性能。
2021-08-03 cs.CV
Budget-aware Semi-Supervised Semantic and Instance Segmentation
Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
转向较少监督场景的方法是图像分割的关键，因为密集标签需要大量的人为干预。一般来说，通过用较弱的监督形式标记数据集来减轻注释负担，例如图像级标签或边界框。另一种选择是半监督设置，通常利用一些强注释和大量未标记/弱标记数据。在本文中，我们重新审视了半监督分割方案，并与以前的方法相比显着缩小了注释预算（就训练集的总标记时间而言）。通过一个非常简单的管道，我们证明了在低注释预算下，半监督方法在语义和实例分割方面都远远优于弱监督方法。我们的方法也优于以前的半监督作品，大大降低了标签成本。我们提出了Pascal VOC基准测试的结果，并通过考虑总注释预算来统一弱监督和半监督方法，从而使方法之间的比较更加公平。
2019-05-23 cs.CV
Expansion and Shrinkage of Localization for Weakly-Supervised Semantic Segmentation
Shenzhen University（深圳大学）；Meituan（美团）
生成精确的类感知伪地面实况，也就是类激活图（CAM），对于弱监督语义分割至关重要。原始CAM方法通常产生不完整和不准确的定位图。针对这一问题，提出了一种基于偏移量学习的伸缩变形卷积算法，分别在两个阶段提高目标的查全率和查准率。在扩展阶段中，可变形卷积层中的偏移学习分支（称为“扩展采样器”）寻求对越来越少的辨别性对象区域进行采样，这由使图像级分类损失最大化的反向监督信号驱动。在“扩展”阶段中定位的更完整的对象然后在“收缩”阶段中逐渐缩小到最终对象区域。在收缩阶段，引入另一个可变形卷积层的偏移学习分支，称为“收缩采样器”，以排除在扩展阶段中参与的假阳性背景区域，以提高定位图的精度。我们在PASCAL VOC 2012和MS COCO 2014上进行了各种实验，以证明我们的方法优于其他最先进的弱监督语义分割方法。代码将在https://github.com/TyroneLi/ESOL_WSSS上公开发布。
2022-09-20 cs.CV
Interpolation-based semi-supervised learning for object detection
Seoul National University（首尔国立大学）；Aalto University（阿尔托大学）；Mila Université de Montréal（蒙特利尔大学米拉研究所）；SK hynix（SK海力士）
尽管目标检测任务的数据标记成本远高于分类任务，但用于目标检测的半监督学习方法还没有得到太多的研究。本文提出了一种基于插值的半监督学习目标检测方法（ISD），该方法考虑并解决了传统的插值正则化（IR）直接应用于目标检测所带来的问题。我们根据IR中混合的两个原始补丁的对象性得分将模型的输出分为两种类型。然后，我们以无监督的方式应用适合于每种类型的单独损失。提出的损失显着提高性能的半监督学习以及监督学习。在监督学习设置中，我们的方法显著地改进了基线方法。在半监督学习环境中，我们的算法提高了性能的基准数据集（PASCAL VOC和MSCOCO）在基准架构（SSD）。
2020-12-29 cs.CV
Boosting Semi-Supervised 3D Object Detection with Semi-Sampling
Zhejiang University（浙江大学）；Beijing Aircraft Technology Research Institute（北京飞机技术研究院）；Shanghai AI Laboratory（上海人工智能实验室）
当前的3D目标检测方法严重依赖于大量的注释。半监督学习可以用来缓解这个问题。以前的半监督3D目标检测方法直接遵循全监督方法的实践来增强标记和未标记的数据，这是次优的。在本文中，我们设计了一个数据增强方法的半监督学习，我们称之为半采样。具体来说，我们使用地面真值标签和伪标签分别在标记帧和未标记帧上裁剪gt样本和伪样本。然后我们可以生成一个gt样本数据库和一个伪样本数据库。在训练教师-学生半监督框架时，我们随机选取gt样本和伪样本到标记帧和未标记帧中，对它们进行强数据增强。我们的半采样可以看作是gt采样到半监督学习的一个扩展。我们的方法简单但有效。我们不断改进ScanNet、SUN-RGBD和KITTI基准测试的最先进方法。例如，当在ScanNet上仅使用10%的标记数据进行训练时，我们在mAP@0.25和mAP@0.5方面比3DIoUMatch提高了3.1 mAP和6.4 mAP。当在KITTI上仅使用1%的标记数据进行训练时，我们在汽车、行人和骑自行车的类别上将3DIoUMatch提高了3.5 mAP、6.7 mAP和14.1 mAP。代码将在https://github.com/LittlePey/Semi-Sampling上公布。
2022-11-15 cs.CV
Semi-Supervised Deep Learning for Fully Convolutional Networks
Technical University of Munich（慕尼黑工业大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
深度学习通常需要大量标记的训练数据，但是注释数据是昂贵且繁琐的。半监督学习的框架提供了使用标记数据和任意数量的未标记数据进行训练的方法。最近，半监督深度学习已被广泛研究用于标准CNN架构。然而，全卷积网络（FCN）为许多图像分割任务提供了最先进的技术。据我们所知，还没有现有的半监督学习方法用于这种FCN。本文借助随机特征嵌入的思想，将半监督学习中的辅助流形嵌入的概念提升到模糊控制网络中。在我们的实验中，具有挑战性的任务MS病变分割，我们利用所提出的框架的目的领域自适应和报告的基线模型的实质性改进。
2017-07-25 cs.CV
FixMatchSeg: Fixing FixMatch for Semi-Supervised Semantic Segmentation
NepAl Applied Mathematics and Informatics Institute for research (NAAMII)（尼泊尔应用数学与信息学研究所（NAAMII））
在过去的几年里，用于语义医学图像分割的有监督深度学习方法越来越流行。然而，在资源受限的情况下，获取大量带注释的图像非常困难，因为它主要需要专家，成本高且耗时。半监督分割是一种有吸引力的解决方案，其中使用很少的标记图像以及大量未标记图像。虽然在过去的几年里，监督和半监督方法之间的差距已经大大缩小，但在分割方法方面仍然存在较大的差距。在这项工作中，我们采用了最先进的半监督分类方法FixMatch的语义分割任务，引入FixMatchSeg。FixMatchSeg在不同解剖结构和不同模态的四个不同的公开可用数据集中进行评估：心脏超声、胸部X射线、视网膜眼底图像和皮肤图像。当标签很少时，我们表明FixMatchSeg的表现与强监督基线相当。
2022-08-02 cs.CV
Semi-supervised semantic segmentation needs strong, varied perturbations
NVIDIA（英伟达公司）
一致性正则化描述了一类在半监督分类问题中取得突破性成果的方法。先前的工作已经建立了集群假设-在此假设下，数据分布由低密度区域分隔的样本的均匀类集群组成-对其成功至关重要。我们分析了语义分割的问题，发现它的分布并没有表现出低密度区域分离类，并提供这作为解释为什么半监督分割是一个具有挑战性的问题，只有少数报告的成功。然后，我们确定选择增强作为关键，以获得可靠的性能，没有这样的低密度区域。我们发现，最近提出的CutOut和CutMix增强技术的适应变体在标准数据集中产生最先进的半监督语义分割结果。此外，鉴于其具有挑战性的性质，我们建议语义分割作为一个有效的酸测试评估半监督正则化。执行网址：https://github.com/Britefury/cutmix-semisup-seg。
2020-08-11 cs.CV
Colour augmentation for improved semi-supervised semantic segmentation
University of East Anglia（东英吉利大学）
一致性正则化描述了一类已经产生了最先进的半监督分类结果的方法。虽然半监督语义分割被证明是更具挑战性的，但最近已经提出了许多成功的方法。最近的工作探讨了使用一致性正则化分割问题所涉及的挑战。Chen等人在他们的自监督工作中发现，颜色增强阻止了分类网络使用图像颜色统计作为通过实例判别进行自监督学习的捷径。从中汲取灵感，我们发现类似的问题阻碍了半监督语义分割，并提供颜色增强作为解决方案，提高了半监督语义分割在具有挑战性的摄影图像上的性能。
2021-10-09 cs.CV cs.LG
Towards Single Stage Weakly Supervised Semantic Segmentation
Rutgers University（罗格斯大学）
获取语义分割标签的昂贵过程已经推动了对弱监督语义分割（WSSS）方法的研究，该方法仅使用图像级、点或框标签。缺乏密集的场景表示需要增加复杂性的方法来获得关于场景的额外语义信息，通常通过多个阶段的训练和细化来完成。当前最先进的（SOTA）模型利用图像级标签来产生类激活图（CAM），这些CAM在被阈值化以制作用于监督的伪掩码之前经历多个细化阶段。多阶段的方法是计算上昂贵的，并且依赖于用于CAM生成的图像级标签缺乏对更复杂场景的通用性。相反，我们的方法提供了一种可推广到任意数据集的单阶段方法，可以从头开始训练，而不依赖于预先训练的骨干，分类或单独的细化任务。我们利用点注释来生成可靠的，在飞行中的伪面具，通过细化和过滤功能。虽然我们的方法需要点注释，只是比图像级注释稍微贵一点，但我们要在基准数据集上证明SOTA性能（PascalVOC 2012），以及在最近的真实世界数据集上显著优于其他SOTA WSSS方法（CRAID，CityPersons，IAD）。
2021-06-28 cs.AI cs.CV
Dense FixMatch: a simple semi-supervised learning method for pixel-wise prediction tasks
KTH Royal Institute of Technology（瑞典皇家理工学院）；Univrses AB（Univrses公司）
我们提出了Dense FixMatch，这是一种简单的方法，用于密集和结构化预测任务的在线半监督学习，通过强数据增强结合伪标记和一致性正则化。通过在伪标签上添加匹配操作，我们使FixMatch在图像分类之外的半监督学习问题中的应用成为可能。这使得我们仍然可以使用数据增强管道的全部功能，包括几何变换。我们评估它的半监督语义分割城市景观和Pascal VOC与不同百分比的标记数据和消融设计选择和超参数。与仅使用标记数据的监督学习相比，Dense FixMatch显著改善了结果，接近其使用1/4标记样本的性能。
2022-10-18 cs.CV cs.LG
SemiSegECG: A Multi-Dataset Benchmark for Semi-Supervised Semantic Segmentation in ECG Delineation
VUNO Inc.（VUNO公司）
本文提出SemiSegECG，首个心电图分割半监督语义分割基准，统一多数据集，评估五种算法在两种架构和两种设置下的性能，发现Transformer优于卷积网络。
2025-08-05 cs.AI cs.CV cs.LG
More unlabelled data or label more data? A study on semi-supervised laparoscopic image segmentation
University College London（伦敦大学学院）；InstaDeep（InstaDeep公司）
改进半监督图像分割任务可以选择添加更多未标记的图像，标记未标记的图像或组合两者，因为在大多数临床应用中，图像采集和专家标记都不是微不足道的。腹腔镜肝脏图像分割应用程序，我们调查的性能影响，通过改变标记和未标记的训练数据的数量，使用半监督分割算法的基础上的平均教师学习范式。我们首先报告了一个显着更高的分割精度，与监督学习相比。有趣的是，这种比较表明，除了添加的未标记数据之外，半监督算法中采用的训练策略也是这种观察到的改进的原因。然后，我们比较了不同的组合的标记和未标记的数据集大小训练半监督分割网络，提供了一个定量的例子，这两个数据规划策略之间的实际有用的权衡在这个手术指导应用。
2019-08-20 cs.CV cs.LG eess.IV
Color-$S^{4}L$: Self-supervised Semi-supervised Learning with Image Colorization
Harbin Institute of Technology（哈尔滨工业大学）
本工作提出自监督半监督学习框架Color-$S^{4}L$，通过引入图像着色代理任务，在CIFAR-10等数据集上验证了其优于以往监督与半监督方法的图像分类性能。
2024-01-08 cs.CV
Self-Supervised Learning for Semi-Supervised Temporal Action Proposal
Huazhong University of Science and Technology（华中科技大学）
自监督学习在利用未标记数据进行各种视频任务方面表现出了显著的性能。在本文中，我们专注于应用自我监督方法的力量，以提高半监督行动建议生成。特别地，我们设计了一个有效的自监督半监督时态动作建议（SSTAP）框架。SSTAP包含两个关键分支，即，时间感知半监督分支和关系感知自监督分支。半监督分支通过引入两个时间扰动来改进提议模型，即，时间特征转移和时间特征翻转，在平均教师框架。自监督分支定义了两个托词任务，包括掩蔽特征重构和裁剪顺序预测，以学习时间线索之间的关系。通过这种方式，SSTAP可以更好地探索未标记的视频，并提高学习的动作特征的区分能力。我们在THUMOS 14和ActivityNet v1.3数据集上广泛评估了所提出的SSTAP。实验结果表明，SSTAP显着优于最先进的半监督方法，甚至匹配全监督方法。代码可在https://github.com/wangxiang1230/SSTAP上获得。
2021-04-07 cs.CV
EnAET: A Self-Trained framework for Semi-Supervised and Supervised Learning with Ensemble Transformations
Purdue University（普渡大学）；University of Rochester（罗切斯特大学）；Futurewei Seattle Cloud Lab（华为西雅图云实验室）
深度神经网络已成功应用于许多现实世界的应用。然而，这样的成功在很大程度上依赖于大量的标记数据，而这些数据的获取成本很高。近年来，人们提出了许多半监督学习的方法，并取得了很好的效果。在这项研究中，我们提出了一个新的EnAET框架，以进一步改善现有的半监督方法与自我监督的信息。据我们所知，目前所有的半监督方法都通过预测一致性和置信度来提高性能。我们是第一个探索{ \bf自我监督}表示在{ \bf半监督}学习中的作用的丰富的家庭的转换。因此，我们的框架可以集成自监督信息作为正则化项，以进一步改进{ \it all}当前的半监督方法。在实验中，我们使用MixMatch，这是当前最先进的半监督学习方法，作为基线来测试所提出的EnAET框架。在不同的数据集上，我们采用相同的超参数，这大大提高了EnAET框架的泛化能力。在不同数据集上的实验结果表明，所提出的EnAET框架大大提高了现有半监督算法的性能.此外，该框架还可以大幅提高{ \bf监督学习}，包括每个类只有10张图像的极具挑战性的场景。代码和实验记录可在\url{https://github.com/maple-research-lab/EnAET}中获得。
2021-02-01 cs.CV
A Benchmark for Semi-supervised Multi-modal Crowd Counting
Harbin Institute of Technology（哈尔滨工业大学）；Pengcheng Laboratory（鹏城实验室）
本文构建了首个半监督多模态人群计数基准，通过制定标准化协议和评估多种基线方法，为该任务奠定基础。
2026-06-02 cs.CV
Adversarial Self-Supervised Learning for Semi-Supervised 3D Action Recognition
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；National University of Singapore（新加坡国立大学）
我们考虑的问题，半监督的3D动作识别，以前很少探索。它的主要挑战在于如何有效地从未标记的数据中学习运动表示。自监督学习（Self-supervised learning，SSL）是一种非常有效的学习方法。然而，对于3D动作识别，几乎没有有效的自监督方法存在，并且直接将SSL应用于半监督学习遭受从SSL和监督学习任务学习的表示的不对准。为了解决这些问题，我们提出了对抗性自监督学习（ASSL），一个新的框架，紧密耦合SSL和半监督方案通过邻居关系探索和对抗性学习。具体来说，我们设计了一个有效的SSL方案，以提高3D动作识别的学习表示的鉴别能力，通过探索一个邻域内的数据关系。我们进一步提出了对抗性正则化来对齐标记和未标记样本的特征分布。为了证明所提出的ASSL在半监督3D动作识别中的有效性，我们在NTU和N-UCLA数据集上进行了广泛的实验。结果证实了其优越的性能超过国家的最先进的半监督方法在几个标签制度的3D动作识别。
2020-07-12 cs.CV
Semi-MAE: Masked Autoencoders for Semi-supervised Vision Transformers
Meituan Inc.（美团公司）
视觉Transformer（ViT）在半监督学习（SSL）中面临数据稀缺的问题。为了缓解这个问题，受到掩码自编码器（MAE）的启发，这是一个数据高效的自监督学习器，我们提出了Semi-MAE，一个纯粹的基于ViT的SSL框架，由一个并行MAE分支组成，以帮助视觉表示学习，使伪标签更准确。MAE分支被设计为由轻量级解码器和共享权重编码器组成的非对称架构。我们将具有高掩蔽比的弱增强未标记数据馈送到MAE分支，并重建丢失的像素。Semi-MAE在ImageNet上实现了75.9%的top-1准确率，标签为10%，超过了半监督图像分类的现有技术水平。此外，大量的实验表明，半MAE可以很容易地用于其他ViT模型和掩码图像建模方法。
2023-01-04 cs.CV
Self-supervised Mean Teacher for Semi-supervised Chest X-ray Classification
University of Adelaide（阿德莱德大学）；Universidade Federal Rural de Pernambuco（伯南布哥联邦农村大学）；Universität Ulm（乌尔姆大学）；South Australian Health and Medical Research Institute（南澳大利亚健康与医学研究所）
深度学习模型的训练通常需要大量的注释数据，以实现有效的收敛和泛化。然而，获得高质量的注释是一个费力和昂贵的过程，由于需要专业的放射科医生的标签任务。医学图像分析中的半监督学习的研究是至关重要的，因为获得未标记的图像比获得由放射科专家标记的图像便宜得多。从本质上讲，半监督方法利用大量未标记的数据集来实现比仅使用少量标记图像更好的训练收敛和泛化。在本文中，我们提出了半监督（S $^2$ MTS $^2$）学习的自监督均值教师，它将自监督均值教师预训练与半监督微调相结合。S $^2$ MTS $^2$的主要创新点是基于联合对比学习的自监督平均教师预训练，它使用无限数量的正查询和关键特征对来改进平均教师表示。然后使用经过半监督学习训练的指数移动平均教师框架对模型进行微调。我们验证了S $^2$ MTS $^2$在胸部X射线14和CheXpert的多标签分类问题上的有效性，以及ISIC 2018的多类分类，我们表明它大大优于以前的SOTA半监督学习方法。
2021-11-04 cs.CV
Semi-Supervised Semantic Matching
Aalto University（阿尔托大学）
卷积神经网络（CNN）已成功地应用于解决语义相关图像之间的对应性估计问题。由于无法获得大规模的训练数据集，现有的方法采用自监督或无监督的训练范式。在本文中，我们提出了一个半监督学习框架，施加循环一致性约束的未标记的图像对。与监督损失一起，所提出的模型在基准语义匹配数据集上达到了最先进的水平。
2019-01-24 cs.CV
Semi-supervised Learning of Fetal Anatomy from Ultrasound
Imperial College London（帝国理工学院）
半监督学习方法在标准基准数据集上使用很少的标记图像取得了优异的性能。胎儿2D超声中的解剖分类是测试这些结果是否转化为非理想数据的理想问题设置。我们的研究结果表明，包含一个具有挑战性的背景类可能是有害的，半监督学习主要受益于已经不同的类，有时以牺牲更相似的类。
2019-08-30 cs.CV
End-to-end Weakly-supervised Single-stage Multiple 3D Hand Mesh Reconstruction from a Single RGB Image
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
本文提出一种端到端弱监督单阶段多手三维重建方法，通过多头自编码器共享特征图，并利用特征一致性约束，在多个基准上超越现有方法。
2023-05-06 cs.CV
Confidence-Guided Semi-supervised Learning in Land Cover Classification
Cardiff University（卡迪夫大学）
本文提出置信度引导半监督学习方法CGSSL，通过利用高置信度伪标签并引入多网络架构提升伪标签多样性，在Potsdam土地覆盖分类基准上超越经典半监督和全监督方法。
2023-05-30 cs.CV
Semi-Supervised Relational Contrastive Learning
University of California, Los Angeles（加州大学洛杉矶分校）；Stanford University（斯坦福大学）；University of Kentucky（肯塔基大学）
针对医学图像监督学习标注成本高的问题，提出结合自监督对比损失与样本关系一致性的半监督关系对比学习SRCL模型，在ISIC 2018皮肤病变数据集上验证了不同标注量下的有效性。
2023-06-13 cs.CV
Full-Stage Pseudo Label Quality Enhancement for Weakly-supervised Temporal Action Localization
State Key Lab of GAI, SIST, Peking University（北京大学信息科学技术学院GAI省部共建国家重点实验室）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
针对弱监督时序动作定位中伪标签质量影响性能的问题，提出FuSTAL框架，在生成、选择、训练三阶段增强伪标签质量，在THUMOS'14上取得50.8%平均mAP，达50%里程碑。
2024-07-12 cs.CV
Semi-Supervised Disparity Estimation with Deep Feature Reconstruction
University of Freiburg（弗莱堡大学）
尽管深度学习在差异估计方面取得了成功，但领域泛化差距仍然是一个问题。我们提出了一个半监督管道，通过对标记的合成数据进行联合监督训练和对未标记的真实数据进行自我监督训练，成功地将DispNet适应于真实世界的领域。此外，考虑到广泛使用的光度损失的局限性，我们分析了深度特征重建作为视差估计的有前途的监督信号的影响。
2021-06-01 cs.CV
Not-so-supervised: a survey of semi-supervised, multi-instance, and transfer learning in medical image analysis
Eindhoven University of Technology（埃因霍温理工大学）；Erasmus Medical Center（伊拉斯谟医学中心）；University of Copenhagen（哥本哈根大学）；University Medical Center Utrecht（乌得勒支大学医学中心）
机器学习（ML）算法在医学成像领域产生了巨大的影响。虽然医学成像数据集的规模一直在增长，但经常提到的监督ML算法面临的挑战是缺乏注释数据。因此，已经提出了可以在较少/其他类型的监督下学习的各种方法。我们回顾了医学成像中的半监督、多实例和迁移学习，无论是在诊断/检测还是分割任务中。我们还讨论了这些学习场景之间的联系，以及未来研究的机会。
2018-09-14 cs.CV
SelfPrompt: Confidence-Aware Semi-Supervised Tuning for Robust Vision-Language Model Adaptation
Queen’s University, Canada（女王大学）
本文提出SelfPrompt，一种用于视觉语言模型的半监督提示微调方法，通过聚类引导的伪标签和置信度感知学习模块解决伪标签噪声问题，并在13个数据集上显著超越现有方法。
2025-01-28 cs.CV
Analysis of Semi-Supervised Methods for Facial Expression Recognition
Queen’s University（女王大学）；Ingenuity Labs Research Institute（Ingenuity Labs研究院）
训练用于图像识别的深度神经网络通常需要大规模的人类注释数据。为了减少深度神经解决方案对标记数据的依赖，文献中已经提出了最先进的半监督方法。尽管如此，这种半监督方法的使用在面部表情识别（FER）领域中还是相当罕见的。在本文中，我们提出了一个全面的研究，最近提出的国家的最先进的半监督学习方法的背景下，FER。我们对八种半监督学习方法进行了比较研究，即Pi模型，伪标签，平均教师，增值税，混合匹配，ReMixMatch，UDA和FixMatch，在三个FER数据集（FER 13，RAF-DB和AffectNet）上，当使用不同数量的标记样本时。我们还比较了这些方法与完全监督训练的性能。我们的研究表明，当训练现有的半监督方法时，每个类只有250个标记样本，可以产生与在完整标记数据集上训练的全监督方法相当的性能。为了方便在这一领域的进一步研究，我们将我们的代码公开在：https://github.com/ShuvenduRoy/SSL_FER
2022-07-31 cs.CV
UniMoCo: Unsupervised, Semi-Supervised and Full-Supervised Visual Representation Learning
Tencent Wechat AI（腾讯微信AI）；South China University of Technology（华南理工大学）
动量对比度（MoCo）在无监督视觉表示方面取得了巨大的成功。然而，有很多监督和半监督数据集已经被标记。为了充分利用标签注释，我们提出了统一动量对比（UniMoCo），它扩展了MoCo以支持任意比例的标记数据和未标记数据训练。与MoCo相比，UniMoCo有以下两个改进：（1）与MoCo中的单个正对不同，我们通过将查询标签与标签队列进行比较来动态维护多个正对。(2)我们提出了一个统一的对比（UniCon）损失，以支持任意数量的积极和消极的统一成对优化的角度。我们的UniCon算法在理论和实践上都比监督对比损失算法更加合理和有效。在我们的实验中，我们使用不同比例的ImageNet标签预训练多个UniMoCo模型，并评估各种下游任务的性能。实验结果表明，UniMoCo对无监督、半监督和有监督的视觉表示学习都有很好的泛化能力。
2021-03-19 cs.CV
Semi-supervised learning via Feedforward-Designed Convolutional Neural Networks
University of Southern California（南加州大学）
提出了一种基于前馈设计的卷积神经网络（FF-CNN）的半监督学习框架用于图像分类。FF-CNN的一个独特特性是在模型参数确定中不使用反向传播。由于未标记数据可能并不总是增强半监督学习，我们定义了一个有效的质量分数，并使用它来选择一个子集的未标记数据在训练过程中。我们在MNIST、SVHN和CIFAR-10数据集上进行了实验，结果表明，当标记数据量减少时，所提出的半监督FF-CNN解决方案的性能优于反向传播训练的CNN（BP-CNN）。此外，我们开发了一个集成系统，该系统结合了不同半监督FF-CNN的输出决策向量，以提高分类精度。集成系统可以在所有三个基准数据集上实现进一步的性能增益。
2019-02-06 cs.CV
Revisiting Deep Semi-supervised Learning: An Empirical Distribution Alignment Framework and Its Generalization Bound
The University of Sydney（悉尼大学）；Swiss Federal Institute of Technology in Zürich（苏黎世联邦理工学院）；University of Electronic Science and Technology of China（电子科技大学）
在这项工作中，我们重新审视半监督学习（SSL）的问题，从一个新的角度明确减少标记和未标记的样本之间的经验分布不匹配。受益于这种新的视角，我们首先提出了一种新的深度半监督学习框架，称为经验分布对齐（SLEDA）的半监督学习，其中来自领域自适应社区的现有技术可以很容易地用于通过减少标记和未标记数据之间的经验分布距离来解决半监督学习问题。在此基础上，我们提出了一种新的理论推广方法，通过最小化标记数据的训练误差和标记数据与未标记数据之间的经验分布距离，可以有效地约束半监督学习的泛化误差，从而更好地理解半监督学习问题.基于我们的新框架和理论界限，我们开发了一种简单有效的深度半监督学习方法，称为增强分布对齐网络（ADA-Net），同时采用领域自适应社区的成熟对抗训练策略和简单的样本插值策略进行数据增强。此外，我们将这两种策略在我们的ADA-Net到两个现有的SSL方法，以进一步提高其泛化能力，这表明我们的新框架提供了一个互补的解决方案，解决SSL问题。我们在两个基准数据集SVHN和CIFAR-10上进行的半监督图像识别任务以及另外两个基准数据集ModelNet 40和ShapeNet 55上进行的半监督点云识别任务的综合实验结果证明了我们提出的SSL框架的有效性。
2022-03-13 cs.CV
A Studious Approach to Semi-Supervised Learning
Manipal Institute of Technology（马尼帕尔理工学院）
在使用大量未标记数据的情况下，从少量标记样本中学习的问题已经通过各种半监督方法来解决。虽然这些方法可以实现卓越的性能，但由于大量的参数，模型通常是不可部署的。本文是半监督环境中蒸馏的消融研究，它不仅减少了模型的参数数量，而且可以实现这一目标，同时提高了基线监督模型的性能，并使其更好地概括。在监督预训练之后，网络被用作教师模型，学生网络在教师模型在整个未标记数据上生成的软标签上进行训练。我们发现，标签越少，这种方法从更小的学生网络中受益越多。这带来了蒸馏作为一种有效的解决方案，以提高半监督计算机视觉任务的性能，同时保持可部署性的潜力。
2021-09-18 cs.CV
Semi-supervised Contrastive Learning with Similarity Co-calibration
Shanghai Jiao Tong University（上海交通大学）；Huawei Inc.（华为公司）
半监督学习是利用大量未标记数据的有效方法。在本文中，我们提出了一种新的训练策略，称为半监督对比学习（SsCL），它结合了著名的对比损失在自监督学习和交叉熵损失在半监督学习，并联合优化这两个目标在一个端到端的方式。与基于自训练的半监督学习对相同模型权值进行预测和再训练不同，SsCL在两个分支之间交换了对未标记数据的预测，从而制定了一个协同校准过程，我们发现这有利于更好地预测并避免陷入局部最小值。为了实现这个目标，对比损失分支使用从交叉熵分支生成的最近邻域对样本之间的成对相似性进行建模，并且进而用对比相似性校准交叉熵分支的预测分布。我们表明，SsCL产生更多的歧视性表示，是有益的少样本学习。值得注意的是，在以ResNet 50为主干的ImageNet上，SsCL分别在1%和10%的标记样本中实现了60.2%和72.1%的top-1准确率，显著优于基线，并且优于以前的半监督和自监督方法。
2021-05-16 cs.CV
Hyperspectral Unmixing with Endmember Variability using Semi-supervised Partial Membership Latent Dirichlet Allocation
University of Florida（佛罗里达大学）；University of Missouri（密苏里大学）
提出了一种半监督的部分隶属度潜在狄利克雷分配方法，用于高光谱混合分解和端元估计，同时考虑了光谱变异性和空间信息。部分隶属度潜在狄利克雷分配是一种有效的光谱分解方法，同时表示光谱变异性和利用空间信息。在这项工作中，我们扩展了部分成员潜在狄利克雷分配，将任何可用的（不精确的）标签信息，以帮助指导解混。在两个高光谱数据集上的实验结果表明，所提出的半监督PM-LDA可以得到更好的高光谱解混和端元估计结果。
2017-03-17 cs.CV
Semi-supervised dictionary learning with graph regularization and active points
Institut LIST, CEA（法国原子能与替代能源委员会 LIST 研究所）；Université Paris-Saclay（巴黎-萨克雷大学）；Astrophysics Department, CEA（法国原子能与替代能源委员会天体物理部）
监督字典学习在近十年来获得了很大的兴趣，并在图像分类中表现出显着的性能改善。然而，一般来说，监督学习需要每个类大量的标记样本来实现可接受的结果。为了处理每类只有少量标记样本的数据库，使用了半监督学习，该学习在训练阶段也利用了未标记样本。事实上，未标记的样本可以帮助正则化学习模型，从而提高分类精度。本文提出了一种新的基于两个支柱的半监督字典学习方法：一方面，我们使用局部线性嵌入将原始数据的流形结构保持到稀疏代码空间中，这可以被认为是稀疏代码的正则化;另一方面，我们在稀疏代码空间中训练半监督分类器。我们表明，我们的方法提供了一个最先进的半监督字典学习方法的改进。
2020-09-13 cs.CV
Semi-supervised learning made simple with self-supervised clustering
University of Trento（特伦托大学）；Inria（法国国家信息与自动化研究所）；SAP AI Research（SAP人工智能研究院）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
本研究提出一种将基于聚类的自监督方法转化为半监督学习器的简易多任务框架，融合监督与自监督目标，在CIFAR100和ImageNet上取得了最优性能。
2023-06-13 cs.CV
Semi-supervised Learning: Fusion of Self-supervised, Supervised Learning, and Multimodal Cues for Tactical Driver Behavior Detection
Honda Research Institute, USA（美国本田研究院）
在本文中，我们提出了一个初步的研究，从未经修剪的自然驾驶记录的战术驾驶员行为检测。虽然基于监督学习的检测是一种常见的方法，但当标记数据稀缺时，它会受到影响。手动注释既耗时又昂贵。为了强调这个问题，我们在一个104小时的真实自然驾驶数据集上进行了实验，其中标注了一组预定义的驾驶行为。数据集中有三个挑战。首先，预定义的驾驶行为在自然驾驶环境中是稀疏的。第二，驾驶行为的分布是长尾的。第三，观察到巨大的类内变化。为了解决这些问题，最近的自我监督和监督学习和融合的多模态线索利用到我们的架构设计。初步的实验和讨论报告。
2018-07-02 cs.CV
Semi-supervised Learning with Adaptive Neighborhood Graph Propagation Network
Anhui University（安徽大学）
图卷积网络（GCN）已被广泛研究用于紧凑数据表示和半监督学习任务。然而，现有的GCN通常使用固定的邻域图，这不能保证对于半监督学习任务是最优的。本文首先将GCN中的图卷积运算重新解释为特征传播和（非线性）变换的组合。在此基础上，我们提出了一个统一的自适应邻域特征传播模型，并推导出一个新的自适应邻域图传播网络（ANGPN）的数据表示和半监督学习。ANGPN的目标是在统一的公式中同时协作地进行图构造和图卷积，从而可以学习最适合于数据表示和半监督学习的图卷积的最佳邻域图。ANGPN的一个主要好处是，学习的（卷积）表示可以提供有用的弱监督信息，用于构建更好的邻域图，同时便于数据表示和学习。在四个基准数据集上的实验结果证明了所提出的ANGPN的有效性和优势。
2019-11-21 cs.CV
Iterative Contrast-Classify For Semi-supervised Temporal Action Segmentation
National University of Singapore（新加坡国立大学）
时间动作分割是对长视频序列中每一帧的动作进行分类。由于逐帧标记的成本很高，我们提出了第一个半监督的时间动作分割方法。我们的方法取决于无监督的表示学习，这对于时间动作分割来说是一个独特的挑战。未修剪视频中的动作长度各不相同，并且具有未知的标签和开始/结束时间。跨视频的动作的顺序也可能不同。我们提出了一种新的方法来学习从时间卷积网络（TCN）的逐帧表示通过聚类输入功能添加时间接近条件和多分辨率相似性。通过将表示学习与传统的监督学习相结合，我们提出了一种“迭代-对比-分类（ICC）”的半监督学习方案。随着更多的标记数据，ICC的性能逐渐提高; ICC半监督学习，40%的标记视频，表现类似于完全监督的同行。对于100%标记的视频，我们的ICC在早餐、50份沙拉和GTEA上分别将MoF提高{+1.8，+5.6，+2.5}%。
2021-12-08 cs.CV
Comment on "Ensemble Projection for Semi-supervised Image Classification"
在Dai及其同事的一系列论文[1，2]中，为半监督和无监督学习引入了特征映射（或内核）。该特征图是从在不使用地面真实类标签的情况下训练的分类器集合的输出构建的。在这篇评论中，我们分析了这一系列论文的最新版本，即所谓的包围投影[2]。我们证明了[2]中报道的结果没有很好地进行，并且包围投影对于半监督学习表现不佳。
2014-08-29 cs.CV
Iterative Self-Learning: Semi-Supervised Improvement to Dataset Volumes and Model Accuracy
Kingston University（金斯顿大学）
介绍了一种新的半监督学习技术的基础上，一个简单的迭代学习周期，学习阈值技术和集成决策支持系统。通过在训练深度学习的分类模型时使用未标记的数据，展示了最先进的模型性能和增加的训练数据量。在评估半监督学习技术以及一些更具挑战性的图像分类数据集（CIFAR-100和ImageNet的200类子集）时，对常用数据集进行了评估。
2019-06-06 cs.CV
Graph Laplacian Regularized Graph Convolutional Networks for Semi-supervised Learning
School of Computer Science and Technology（计算机科学与技术学院）；Anhui University（安徽大学）
最近，图卷积网络（GCN）已被广泛用于图结构数据的半监督分类和深度特征表示。然而，现有的GCN在学习和表示过程中通常没有考虑局部不变性约束。也就是说，如果两个数据点Xi和Xj在数据分布的固有几何结构中接近，则它们的标签/表示也应该彼此接近。局部不变性假设在机器学习领域的降维、半监督学习等传统算法的发展中起着至关重要的作用。为了克服这一限制，我们引入了一个图拉普拉斯GCN（gLGCN）的方法图数据表示和半监督分类。所提出的gLGCN模型能够将图结构和节点特征编码在一起，同时自然地保持局部不变性约束，以实现鲁棒的数据表示和半监督分类。实验结果表明了gLGCN网络的优点。
2018-09-26 cs.CV
Learning Generative Models of Tissue Organization with Supervised GANs
Carnegie Mellon University（卡内基梅隆大学）
理解细胞和组织的空间组织的关键一步是构建准确反映该组织的生成模型的能力。在本文中，我们专注于构建电子显微镜（EM）图像的生成模型，其中细胞膜和线粒体的位置已被密集注释，并提出了一个两阶段的过程，使用生成对抗网络（或GANs）以监督的方式生成逼真的图像。在第一阶段中，我们合成一个标签“图像”给定的噪声“图像”作为输入，然后在第二阶段中的EM图像合成提供监督。完整的模型自然地生成标签图像对。我们表明，通过（1）形状特征和全局统计，（2）分割精度和（3）用户研究使用评估产生准确的合成EM图像。我们还通过对中间合成标签实施重建损失，从而将两个阶段统一到一个端到端框架中，来展示进一步的改进。
2020-03-31 cs.CV
Learning Monocular Visual Odometry via Self-Supervised Long-Term Modeling
Virginia Tech（弗吉尼亚理工大学）；NEC Labs America（NEC美国实验室）；UCSD（加州大学圣迭戈分校）
单目视觉里程计（VO）在帧到帧姿态估计期间遭受严重的误差累积。在本文中，我们提出了一个自监督学习方法VO与特别考虑的一致性在较长的序列。为此，我们使用具有双层卷积LSTM模块的姿势网络来建模姿势预测中的长期依赖性。我们训练网络与纯粹的自我监督的损失，包括一个周期的一致性损失，模仿几何VO中的循环闭合模块。受先前几何系统的启发，我们允许网络在训练期间超越一个小的时间窗口，通过一个新的损失，包括时间上遥远的（例如，O（100））帧。考虑到GPU内存的限制，我们提出了一个阶段式的训练机制，其中第一阶段在本地时间窗口中操作，第二阶段在给定第一阶段特征的情况下使用“全局”损失来细化姿势。我们在几个标准VO数据集上展示了具有竞争力的结果，包括KITTI和TUM RGB-D。
2020-07-21 cs.CV
S4L: Self-Supervised Semi-Supervised Learning
Google Research（谷歌研究院）
这项工作解决了图像分类器的半监督学习问题。我们的主要观点是，半监督学习领域可以受益于快速发展的自监督视觉表示学习领域。结合这两种方法，我们提出了自监督半监督学习的框架，并使用它来获得两个新的半监督图像分类方法。我们证明了这些方法的有效性相比，精心调整的基线，和现有的半监督学习方法。然后，我们证明了我们的方法和现有的半监督方法可以联合训练，在半监督ILSVRC-2012上产生了一个新的最先进的结果，标签数为10%。
2019-07-23 cs.CV cs.LG
Vehicle Trajectory Prediction by Transfer Learning of Semi-Supervised Models
Columbia University（哥伦比亚大学）
在这项工作中，我们表明，用于车辆轨迹预测的半监督模型显着提高了最先进的现实世界基准上的监督模型的性能。从监督模型到半监督模型允许通过使用未标记数据进行扩展，将预训练中的图像数量从数百万增加到10亿。我们进行消融研究，比较半监督和监督模型的迁移学习，同时保持所有其他因素相同。在半监督模型中，我们比较了对比学习与师生方法，以及预测少量轨迹的网络与预测大轨迹集上概率的网络。我们的结果使用低级别和中级表示的驾驶环境证明了半监督方法的适用性，为现实世界的车辆轨迹预测。
2020-10-10 cs.CV cs.LG
Semi-supervised Learning with Robust Loss in Brain Segmentation
University of Southern California（南加州大学）
在这项工作中，我们使用半监督学习方法来训练深度学习模型，可以分割大脑MRI图像。半监督模型使用较少的标记数据，并且性能与全标记数据的监督模型竞争。该框架可以降低标记MRI图像的成本。我们还引入了鲁棒损失来减少半监督学习中产生的不准确标签的噪声影响。
2022-12-03 cs.CV eess.IV
Two-Stage Self-Supervised Cycle-Consistency Network for Reconstruction of Thin-Slice MR Images
Shanghai University（上海大学）；ShanghaiTech University（上海科技大学）；Shanghai United Imaging Intelligence Co., Ltd.（上海联影智能医疗科技有限公司）
厚层磁共振图像在冠状位和矢状位上往往存在结构模糊，给诊断和图像后处理带来危害。深度学习（DL）已经显示出从低分辨率（LR）病例中重建高分辨率（HR）薄层MR图像的巨大潜力，我们在这项工作中将其称为切片插值任务。然而，由于通常难以对大量成对的LR-HR MR图像进行采样，因此经典的完全监督的基于DL的模型不能被有效地训练以获得鲁棒的性能。为此，我们提出了一种新的两阶段自监督循环一致性网络（TSCNet）的MR切片插值，其中两阶段自监督学习（SSL）策略开发的无监督DL网络训练。在第一阶段SSL中，首先沿输入LR图像的矢状和冠状方向合成成对LR-HR图像进行网络预训练，然后在第二阶段SSL中设计基于三重轴向切片的循环插值过程进行进一步的优化。在所有方向上使用更多具有丰富上下文的训练样本作为指导，以保证改进的插值性能。此外，提出了一个新的循环一致性约束来监督这个循环过程，这鼓励网络重建更真实的HR图像。在真实MRI数据集上的实验结果表明，TSCNet算法的性能优于传统算法和其他基于SSL的算法，并且与全监督算法相比，获得了具有竞争力的定性和定量结果。
2021-06-29 cs.CV eess.IV
Two-stage Image Classification Supervised by a Single Teacher Single Student Model
University of Macau（澳门大学）
两阶段策略在图像分类中得到了广泛的应用。然而，这些方法在第二预测阶段几乎没有考虑第一阶段的分类标准。在本文中，我们提出了一种新的两阶段表示方法（TSR），并将其转化为一个单教师单学生（STSS）问题在我们的两阶段图像分类框架。我们寻求测试样本的最近邻居来选择候选目标类。同时，第一阶段分类器被制定为教师，它持有分类分数。在第二阶段，候选类的样本被用来学习基于L2最小化的学生分类器。学生将由教师分类器监督，只有当学生获得更高的分数时，教师分类器才会批准学生。实际上，所提出的框架通过以一种新的方式分级两个较弱的分类器来生成更强的分类器。在几个人脸和物体数据库上进行的实验表明，我们提出的框架是有效的，优于多种流行的分类方法。
2019-09-26 cs.CV cs.LG eess.IV
HealNet -- Self-Supervised Acute Wound Heal-Stage Classification
University of California, Santa Cruz（加州大学圣克鲁兹分校）；University of California, Davis（加州大学戴维斯分校）；Columbus State University（哥伦布州立大学）
识别、跟踪和预测伤口愈合阶段进展是正确诊断、有效治疗、促进愈合和减轻疼痛的基本任务。传统上，医学专家可能会观察伤口以确定当前的愈合状态并建议治疗。然而，采购专家谁可以产生这样的诊断只从视觉指标可能是困难的，耗时和昂贵的。此外，病变可能需要数周时间才能愈合，需要资源来持续监测和诊断。自动化这项任务可能具有挑战性;从发病到成熟的伤口进展的数据集很小，很少，并且通常在没有考虑计算机视觉的情况下收集。为了应对这些挑战，我们引入了一种自监督学习方案，该方案由以下部分组成：（a）学习伤口时间动态的嵌入，（b）用于自动阶段发现的集群，以及（c）微调分类。所提出的自监督和灵活的学习框架受到生物学的启发，并在零人类标签的小数据集上进行训练。HealNet框架实现了较高的文本前和下游分类准确率;当对保留的测试数据进行评估时，HealNet实现了97.7%的文本前准确率和90.62%的heal-stage分类准确率。
2022-06-23 cs.AI cs.CV
S3R-Net: A Single-Stage Approach to Self-Supervised Shadow Removal
University of Surrey（萨里大学）；BBC R&D（BBC研发部）
提出单阶段自监督阴影去除网络S3R-Net，采用双分支WGAN和统一-适应机制，无需配对数据，性能与现有自监督方法相当，但定性更优且计算成本低。
2024-04-18 cs.CV cs.GR
Hierarchical Bayesian image analysis: from low-level modeling to robust supervised learning
University of Toulouse, IRIT/INP-ENSEEIHT（图卢兹大学 IRIT/INP-ENSEEIHT）
在监督分类框架内，标记数据用于学习分类器参数。在此之前，通常需要通过特征提取进行降维。这些预处理步骤激发了许多旨在在无监督环境中恢复潜变量的研究工作。本文提出了一个统一的框架来执行分类和低层次的建模联合。其主要目标是使用估计的潜变量作为分类的特征，并同时纳入监督信息，以帮助潜变量提取。所提出的分层贝叶斯模型分为三个阶段：第一个低层次的建模阶段，估计潜在变量，第二阶段聚类这些功能到统计上均匀的组和最后的分类阶段，利用（可能是坏的）标记的数据。在高光谱图像判读的特定背景下，该模型的性能进行评估，统一两个标准的分析技术，即解混和分类。
2017-12-01 cs.CV stat.ML
