Semi-Supervised Semantic Segmentation with High- and Low-level Consistency
University of Freiburg(弗莱堡大学)
从有限的标记数据中理解视觉信息的能力是机器学习的一个重要方面。虽然图像级分类已经在半监督环境中被广泛研究,但具有有限数据的密集像素级分类最近才引起注意。在这项工作中,我们提出了一种半监督语义分割的方法,学习有限的像素明智的注释样本,同时利用额外的无注释图像。它使用两个网络分支,将半监督分类与半监督分割(包括自训练)联系起来。双分支方法减少了在使用少量标签进行训练时典型的低级和高级伪影。该方法与现有方法相比有了显着的改进,特别是在使用很少的标记样本进行训练时。在几个标准基准测试中- PASCAL VOC 2012,PASCAL-Context和Cityscapes -该方法在半监督学习中达到了最先进的水平。
2019-08-15 cs.CV
Budget-aware Semi-Supervised Semantic and Instance Segmentation
Barcelona Supercomputing Center(巴塞罗那超级计算中心);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
转向较少监督场景的方法是图像分割的关键,因为密集标签需要大量的人为干预。一般来说,通过用较弱的监督形式标记数据集来减轻注释负担,例如图像级标签或边界框。另一种选择是半监督设置,通常利用一些强注释和大量未标记/弱标记数据。在本文中,我们重新审视了半监督分割方案,并与以前的方法相比显着缩小了注释预算(就训练集的总标记时间而言)。通过一个非常简单的管道,我们证明了在低注释预算下,半监督方法在语义和实例分割方面都远远优于弱监督方法。我们的方法也优于以前的半监督作品,大大降低了标签成本。我们提出了Pascal VOC基准测试的结果,并通过考虑总注释预算来统一弱监督和半监督方法,从而使方法之间的比较更加公平。
2019-05-23 cs.CV
Enhancing Representations through Heterogeneous Self-Supervised Learning
VCIP & TBI Center, Nankai University(秦滨中心与神经生物学中心,南开大学);NKIARI, Futian, Shenzhen, China(国家免疫疾病与传染病研究中心,福田,深圳,中国);College of Electronic Science and Technology, National University of Defense Technology (NUDT)(电子科学与技术学院,国防科技大学(NUDT))
本文提出异构自监督学习(HSSL),通过让基础模型从异构辅助头学习以增强表征,并发现架构差异越大效果越好,进而提出搜索策略,在多个下游任务上取得优越性能。
2025-10-14 cs.CV
Interpolation-based semi-supervised learning for object detection
Seoul National University(首尔国立大学);Aalto University(阿尔托大学);Mila Université de Montréal(蒙特利尔大学米拉研究所);SK hynix(SK海力士)
尽管目标检测任务的数据标记成本远高于分类任务,但用于目标检测的半监督学习方法还没有得到太多的研究。本文提出了一种基于插值的半监督学习目标检测方法(ISD),该方法考虑并解决了传统的插值正则化(IR)直接应用于目标检测所带来的问题。我们根据IR中混合的两个原始补丁的对象性得分将模型的输出分为两种类型。然后,我们以无监督的方式应用适合于每种类型的单独损失。提出的损失显着提高性能的半监督学习以及监督学习。在监督学习设置中,我们的方法显著地改进了基线方法。在半监督学习环境中,我们的算法提高了性能的基准数据集(PASCAL VOC和MSCOCO)在基准架构(SSD)。
2020-12-29 cs.CV
Boosting Semi-Supervised 3D Object Detection with Semi-Sampling
Zhejiang University(浙江大学);Beijing Aircraft Technology Research Institute(北京飞机技术研究院);Shanghai AI Laboratory(上海人工智能实验室)
当前的3D目标检测方法严重依赖于大量的注释。半监督学习可以用来缓解这个问题。以前的半监督3D目标检测方法直接遵循全监督方法的实践来增强标记和未标记的数据,这是次优的。在本文中,我们设计了一个数据增强方法的半监督学习,我们称之为半采样。具体来说,我们使用地面真值标签和伪标签分别在标记帧和未标记帧上裁剪gt样本和伪样本。然后我们可以生成一个gt样本数据库和一个伪样本数据库。在训练教师-学生半监督框架时,我们随机选取gt样本和伪样本到标记帧和未标记帧中,对它们进行强数据增强。我们的半采样可以看作是gt采样到半监督学习的一个扩展。我们的方法简单但有效。我们不断改进ScanNet、SUN-RGBD和KITTI基准测试的最先进方法。例如,当在ScanNet上仅使用10%的标记数据进行训练时,我们在mAP@0.25和mAP@0.5方面比3DIoUMatch提高了3.1 mAP和6.4 mAP。当在KITTI上仅使用1%的标记数据进行训练时,我们在汽车、行人和骑自行车的类别上将3DIoUMatch提高了3.5 mAP、6.7 mAP和14.1 mAP。代码将在https://github.com/LittlePey/Semi-Sampling上公布。
2022-11-15 cs.CV
Semi-Supervised Deep Learning for Fully Convolutional Networks
Technical University of Munich(慕尼黑工业大学);Johns Hopkins University(约翰斯·霍普金斯大学)
深度学习通常需要大量标记的训练数据,但是注释数据是昂贵且繁琐的。半监督学习的框架提供了使用标记数据和任意数量的未标记数据进行训练的方法。最近,半监督深度学习已被广泛研究用于标准CNN架构。然而,全卷积网络(FCN)为许多图像分割任务提供了最先进的技术。据我们所知,还没有现有的半监督学习方法用于这种FCN。本文借助随机特征嵌入的思想,将半监督学习中的辅助流形嵌入的概念提升到模糊控制网络中。在我们的实验中,具有挑战性的任务MS病变分割,我们利用所提出的框架的目的领域自适应和报告的基线模型的实质性改进。
2017-07-25 cs.CV
SemiSegECG: A Multi-Dataset Benchmark for Semi-Supervised Semantic Segmentation in ECG Delineation
VUNO Inc.(VUNO公司)
本文提出SemiSegECG,首个心电图分割半监督语义分割基准,统一多数据集,评估五种算法在两种架构和两种设置下的性能,发现Transformer优于卷积网络。
2025-08-05 cs.AI cs.CV cs.LG
FixMatchSeg: Fixing FixMatch for Semi-Supervised Semantic Segmentation
NepAl Applied Mathematics and Informatics Institute for research (NAAMII)(尼泊尔应用数学与信息学研究所(NAAMII))
在过去的几年里,用于语义医学图像分割的有监督深度学习方法越来越流行。然而,在资源受限的情况下,获取大量带注释的图像非常困难,因为它主要需要专家,成本高且耗时。半监督分割是一种有吸引力的解决方案,其中使用很少的标记图像以及大量未标记图像。虽然在过去的几年里,监督和半监督方法之间的差距已经大大缩小,但在分割方法方面仍然存在较大的差距。在这项工作中,我们采用了最先进的半监督分类方法FixMatch的语义分割任务,引入FixMatchSeg。FixMatchSeg在不同解剖结构和不同模态的四个不同的公开可用数据集中进行评估:心脏超声、胸部X射线、视网膜眼底图像和皮肤图像。当标签很少时,我们表明FixMatchSeg的表现与强监督基线相当。
2022-08-02 cs.CV
Semi-supervised semantic segmentation needs strong, varied perturbations
NVIDIA(英伟达公司)
一致性正则化描述了一类在半监督分类问题中取得突破性成果的方法。先前的工作已经建立了集群假设-在此假设下,数据分布由低密度区域分隔的样本的均匀类集群组成-对其成功至关重要。我们分析了语义分割的问题,发现它的分布并没有表现出低密度区域分离类,并提供这作为解释为什么半监督分割是一个具有挑战性的问题,只有少数报告的成功。然后,我们确定选择增强作为关键,以获得可靠的性能,没有这样的低密度区域。我们发现,最近提出的CutOut和CutMix增强技术的适应变体在标准数据集中产生最先进的半监督语义分割结果。此外,鉴于其具有挑战性的性质,我们建议语义分割作为一个有效的酸测试评估半监督正则化。执行网址:https://github.com/Britefury/cutmix-semisup-seg。
2020-08-11 cs.CV
More unlabelled data or label more data? A study on semi-supervised laparoscopic image segmentation
University College London(伦敦大学学院);InstaDeep(InstaDeep公司)
改进半监督图像分割任务可以选择添加更多未标记的图像,标记未标记的图像或组合两者,因为在大多数临床应用中,图像采集和专家标记都不是微不足道的。腹腔镜肝脏图像分割应用程序,我们调查的性能影响,通过改变标记和未标记的训练数据的数量,使用半监督分割算法的基础上的平均教师学习范式。我们首先报告了一个显着更高的分割精度,与监督学习相比。有趣的是,这种比较表明,除了添加的未标记数据之外,半监督算法中采用的训练策略也是这种观察到的改进的原因。然后,我们比较了不同的组合的标记和未标记的数据集大小训练半监督分割网络,提供了一个定量的例子,这两个数据规划策略之间的实际有用的权衡在这个手术指导应用。
2019-08-20 cs.CV cs.LG eess.IV
Mutual Consistency Learning for Semi-supervised Medical Image Segmentation
Monash University(莫纳什大学);Monash-Airdoc Research(莫纳什-鹰瞳研究中心);Monash Medical AI(莫纳什医学人工智能中心);Monash eResearch Centre(莫纳什电子研究中心);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Northwestern Polytechnical University(西北工业大学)
在本文中,我们提出了一种新的相互一致性网络(MC-Net+),有效地利用半监督医学图像分割的未标记数据。MC-Net+模型的动机是观察到用有限的注释训练的深度模型容易在模糊区域中输出高度不确定和容易错误分类的预测(例如,粘性边缘或细分支)用于医学图像分割。利用这些具有挑战性的样本可以使半监督分割模型训练更有效。因此,我们提出的MC-Net+模型由两个新设计组成。首先,该模型包含一个共享编码器和多个稍微不同的解码器(即,使用不同的上采样策略)。计算多个解码器的输出的统计差异来表示模型的不确定性,其指示未标记的硬区域。其次,我们应用一种新的相互一致性约束之间的一个解码器的概率输出和其他解码器的软伪标签。通过这种方式,我们最小化多个输出的差异(即,模型不确定性),并迫使模型在这些具有挑战性的区域中生成不变的结果,旨在正则化模型训练。我们将MC-Net+模型的分割结果与五种最先进的半监督方法在三个公共医疗数据集上进行了比较。两个标准的半监督设置的扩展实验表明,我们的模型优于其他方法的性能,这为半监督医学图像分割的艺术新的状态。我们的代码在https://github.com/ycwu1997/MC-Net上公开发布。
2022-07-04 cs.AI cs.CV
Mind the Gap: Confidence Discrepancy Can Guide Federated Semi-Supervised Learning Across Pseudo-Mismatch
Xiamen University(厦门大学);Hong Kong Baptist University(香港浸会大学)
针对数据异质性导致FSSL伪标签不匹配及本地、全局模型预测分化的问题,提出SAGE,利用置信度差异校正伪标签,提升性能与收敛性。
2025-03-17 cs.CV cs.LG
Dual-distribution discrepancy with self-supervised refinement for anomaly detection in medical images
The Hong Kong University of Science and Technology(香港科技大学);Huazhong University of Science and Technology(华中科技大学)
医学异常检测是一项重要而又具有挑战性的任务,旨在识别异常图像以辅助诊断。由于异常图像的高成本注释,大多数方法在训练期间仅利用已知的正常图像,并且在测试阶段将偏离正常轮廓的样本识别为异常。因此,在训练阶段忽略了许多容易获得的包含异常的未标记图像,限制了性能。为了解决这个问题,我们引入一类半监督学习(OC-SSL),利用已知的正常和未标记的图像进行训练,并提出了双分布离散异常检测(DDAD)基于此设置。设计了重建网络的集合来模拟正态图像的分布以及正态图像和未标记图像的分布,导出了规范分布模块(NDM)和未知分布模块(UDM)。随后,NDM的内部差异和两个模块之间的差异被设计为异常分数。此外,我们提出了一个新的视角自监督学习,这是旨在完善异常分数,而不是直接检测异常。五个医疗数据集,包括胸部X射线,脑MRI和视网膜眼底图像,被组织作为评估的基准。在这些基准上的实验全面比较了各种异常检测方法,并证明我们的方法取得了显着的收益,优于最先进的。代码和有组织的基准可在https://github.com/caiyu6666/DDAD-ASR。
2023-03-18 cs.CV
Discrepancy-based Active Learning for Weakly Supervised Bleeding Segmentation in Wireless Capsule Endoscopy Images
The Chinese University of Hong Kong(香港中文大学);City University of Hong Kong(香港城市大学);Southern University of Science and Technology(南方科技大学)
本文提出基于差异的主动学习方法DEAL,通过差异解码器和CAMPUS准则弥合弱监督CAM标签与真实标签的差距,在仅标注10%数据时达到与全监督相当的性能。
2023-08-09 cs.CV
Structure-aware Semantic Discrepancy and Consistency for 3D Medical Image Self-supervised Learning
Artificial Intelligence Innovation and Incubation Institute, Fudan University(复旦大学人工智能创新与孵化院);Shanghai Academy of Artificial Intelligence for Science(上海人工智能科学研究院);The University of Queensland(昆士兰大学);Zhongshan Hospital, Fudan University(复旦大学中山医院)
本文提出3D医学图像自监督学习框架$S^2DC$,通过最优传输增大不同结构图像块的语义差异,并基于邻域相似性分布实现结构级语义一致性,从而学习结构感知表示,在10个数据集、4项任务和3种模态上超越现有方法。
2025-07-03 cs.CV
Attract, Perturb, and Explore: Learning a Feature Alignment Network for Semi-supervised Domain Adaptation
Korea Advanced Institute of Science and Technology(韩国科学技术院)
虽然无监督领域自适应方法已被广泛采用在几个计算机视觉任务,它是更可取的,如果我们可以利用一些标记的数据,从新的领域在实际应用中遇到的。半监督领域自适应(SSDA)问题的新设置与领域自适应问题和半监督学习问题共享挑战。然而,最近的一项研究表明,传统的领域自适应和半监督学习方法往往导致不太有效或负迁移的SSDA问题。为了解释观测结果并解决SSDA问题,本文提出了目标域内的域内差异问题,这是迄今为止从未讨论过的。然后,我们证明,解决域内差异导致SSDA问题的最终目标。我们提出了一个SSDA框架,旨在通过缓解域内差异来对齐功能。我们的框架主要包括三个方案,即,吸引力扰动和探索首先,吸引方案全局最小化目标域内的域内差异。其次,我们证明了传统的对抗扰动方法与SSDA的不兼容性。然后,我们提出了一种域自适应对抗扰动方案,该方案以减少域内差异的方式扰动给定的目标样本。最后,探索方案通过选择性地对准与扰动方案互补的未标记目标特征,以与吸引方案互补的类方式局部对准特征。我们进行了广泛的实验领域自适应基准数据集,如DomainNet,家庭,办公室。我们的方法在所有数据集上都达到了最先进的性能。
2020-07-18 cs.CV
S4L: Self-Supervised Semi-Supervised Learning
Google Research(谷歌研究院)
这项工作解决了图像分类器的半监督学习问题。我们的主要观点是,半监督学习领域可以受益于快速发展的自监督视觉表示学习领域。结合这两种方法,我们提出了自监督半监督学习的框架,并使用它来获得两个新的半监督图像分类方法。我们证明了这些方法的有效性相比,精心调整的基线,和现有的半监督学习方法。然后,我们证明了我们的方法和现有的半监督方法可以联合训练,在半监督ILSVRC-2012上产生了一个新的最先进的结果,标签数为10%。
2019-07-23 cs.CV cs.LG
SDCL: Students Discrepancy-Informed Correction Learning for Semi-supervised Medical Image Segmentation
School of Computer Science and Technology, Southwest University of Science and Technology(西南科技大学计算机科学与技术学院)
针对半监督医学图像分割中伪标签偏差问题,提出SDCL框架,利用双学生分割差异引导自校正学习,并在多个数据集上超越现有SOTA方法。
2024-10-04 cs.CV eess.IV
Vehicle Trajectory Prediction by Transfer Learning of Semi-Supervised Models
Columbia University(哥伦比亚大学)
在这项工作中,我们表明,用于车辆轨迹预测的半监督模型显着提高了最先进的现实世界基准上的监督模型的性能。从监督模型到半监督模型允许通过使用未标记数据进行扩展,将预训练中的图像数量从数百万增加到10亿。我们进行消融研究,比较半监督和监督模型的迁移学习,同时保持所有其他因素相同。在半监督模型中,我们比较了对比学习与师生方法,以及预测少量轨迹的网络与预测大轨迹集上概率的网络。我们的结果使用低级别和中级表示的驾驶环境证明了半监督方法的适用性,为现实世界的车辆轨迹预测。
2020-10-10 cs.CV cs.LG
SelfMatch: Combining Contrastive Self-Supervision and Consistency for Semi-Supervised Learning
Samsung SDS(三星数据系统)
本文介绍了SelfMatch,一种结合对比自监督学习和一致性正则化的半监督学习方法。SelfMatch包括两个阶段:(1)基于对比学习的自监督预训练和(2)基于增强一致性正则化的半监督微调。我们通过经验证明,SelfMatch在标准基准数据集(如CIFAR-10和SVHN)上实现了最先进的结果。例如,对于包含40个标记示例的CIFAR-10,SelfMatch实现了93.19%的准确率,优于MixMatch(52.46%),UDA(70.95%),ReMixMatch(80.9%)和FixMatch(86.19%)等强大的先前方法。我们注意到,SelfMatch可以缩小监督学习(95.87%)和半监督学习(93.19%)之间的差距,因为每个类只使用几个标签。
2021-01-16 cs.CV cs.LG
Self-semi-supervised Learning to Learn from NoisyLabeled Data
New York University(纽约大学)
当今深度神经网络的巨大成功高度依赖于大量正确标记的数据。然而,获得高质量的人类标记数据的成本相当高,导致对噪声标签鲁棒的训练模型的研究领域非常活跃。为了实现这一目标,一方面,许多论文致力于区分噪声标签和干净标签,以提高DNN的泛化能力。另一方面,越来越流行的自半监督学习方法已被证明有利于标签不完整时的任务。通过“semi”,我们将检测到的错误标记数据视为未标记数据;通过“self”,我们选择一种自监督技术进行半监督学习。在这个项目中,我们设计了一些方法来更准确地区分干净和有噪声的标签,并借用自半监督学习的智慧来训练有噪声的标签数据。
2020-11-03 cs.CV cs.LG
EC-GAN: Low-Sample Classification using Semi-Supervised Algorithms and GANs
Saratoga High School(萨拉托加高中)
半监督学习已经获得关注,因为它允许执行图像分析任务,例如使用有限的标记数据进行分类。使用生成对抗网络(GANs)进行半监督分类的一些流行算法共享用于分类和区分的单个架构。然而,这可能需要模型为每个任务收敛到单独的数据分布,这可能会降低整体性能。虽然半监督学习已经取得了进展,但小规模的全监督任务却很少得到解决,即使是未标记的数据也无法获得。因此,我们提出了一种新的GAN模型,即外部分类器GAN(EC-GAN),它利用GANs和半监督算法来改善全监督机制中的分类。我们的方法利用GAN来生成用于补充监督分类的人工数据。更具体地说,我们将外部分类器(因此命名为EC-GAN)附加到GAN的生成器,而不是与GAN共享架构。我们的实验表明,EC-GAN的性能与共享架构方法相当,远优于标准的数据增强和基于正则化的方法,并且在小的真实数据集上有效。
2021-06-21 cs.CV cs.LG
Scaling Up Semi-supervised Learning with Unconstrained Unlabelled Data
Queen’s University(女王大学)
本文提出UnMixMatch半监督学习框架,通过强增强有监督学习、对比一致性正则化和自监督损失三个组件,有效利用无约束无标签数据,在4个数据集上实现4.79%的性能提升。
2024-01-13 cs.CV cs.LG
Distributionally Robust Semi-Supervised Learning for People-Centric Sensing
University of New South Wales(新南威尔士大学);Monash University(莫纳什大学);University of Technology Sydney(悉尼科技大学);Griffith University(格里菲斯大学)
半监督学习对于减轻以人为中心的感知中的标签负担至关重要。然而,由于人类的不同生物条件和行为模式,人类生成的数据固有地遭受半监督学习中的分布偏移。为了解决这个问题,我们提出了一个通用的分布鲁棒模型的半监督学习分布移位数据。考虑到标记数据和未标记数据之间的差异性和一致性,我们学习潜在特征,减少特定于人的差异和保持特定于任务的一致性。我们在现实世界数据集上的各种以人为本的识别任务中评估了我们的模型,包括意图识别,活动识别,肌肉运动识别和手势识别。实验结果表明,该模型优于现有的方法。
2018-11-12 cs.CV cs.HC
Learning to Impute: A General Framework for Semi-supervised Learning
University of Edinburgh(爱丁堡大学);Institute for Infocomm Research, A* STAR(新加坡科技研究局资讯通信研究院)
最近的半监督学习方法已经证明,由于其正则化策略,在图像分类任务中仅使用一小部分标签的情况下,可以实现与监督学习方法相当的结果。在本文中,我们采取了一种更直接的方法进行半监督学习,并提出了学习来估算未标记样本的标签,以便网络在这些标签上训练时实现更好的泛化。我们提出了一个学习到学习的公式,可以很容易地结合到最先进的半监督技术,并提高其性能,特别是当标签是有限的问题。我们证明了我们的方法适用于分类和回归问题,包括图像分类和面部标志检测任务。
2020-09-24 cs.CV cs.LG
Semi-Supervised Fine-Tuning for Deep Learning Models in Remote Sensing Applications
提出了一种结合深度学习和半监督学习的方法来解决土地覆盖识别问题。所提出的方法展示了在训练期间使用SSL方法作为性能函数时对深度学习模型性能的影响。在正射图像的像素级分割任务中,所获得的结果表明SSL增强的损失函数可以有益于模型的性能。
2020-05-30 cs.CV cs.LG
Action Segmentation with Joint Self-Supervised Temporal Domain Adaptation
Georgia Institute of Technology(佐治亚理工学院);Baidu USA(百度美国)
尽管全监督动作分割技术最近取得了进展,但性能仍然不完全令人满意。一个主要的挑战是时空变化的问题(例如,不同的人可能以不同的方式进行相同的活动)。因此,我们利用未标记的视频来解决这个问题,通过重新制定的动作分割任务作为一个跨域的问题与域的差异所造成的时空变化。为了减少这种差异,我们提出了自监督时间领域自适应(SSTDA),它包含两个自监督辅助任务(二进制和顺序域预测),以联合对齐嵌入局部和全局时间动态的跨域特征空间,实现了比其他领域自适应(DA)方法更好的性能。三个具有挑战性的基准数据集(GTEA、50份沙拉和早餐),SSTDA的表现远远优于当前最先进的方法(例如,对于F1@25评分,早餐从59.6%到69.1%,50沙拉从73.4%到81.5%,GTEA从83.6%到89.1%),并且仅需要65%的标记的训练数据来获得可比性能,这证明了在变化中适应未标记的目标视频的有用性。源代码可在https://github.com/cmhungsteve/SSTDA上获得。
2020-03-18 cs.CV cs.LG eess.IV
AVATAR: Adversarial self-superVised domain Adaptation network for TARget domain
The State University of New York at Binghamton(纽约州立大学宾汉姆顿分校);Yonsei University(延世大学)
本文提出AVATAR算法,通过域对抗学习、自监督学习和样本选择策略,在深度聚类引导下同时减少域差异并增强判别能力,显著提升复杂无监督域适应任务的性能。
2023-05-08 cs.CV
Semi-supervised Domain Adaptation via Sample-to-Sample Self-Distillation
Pohang University of Science Technology (POSTECH)(浦项科技大学)
半监督领域自适应(Semi-supervised domain adaptation,SSDA)是指在给定一个大的标注数据集的情况下,利用少量的标注样本使学习器适应新的领域。在本文中,我们提出了一种基于对的SSDA方法,该方法使用样本对自蒸馏将模型适应于目标域。每个样本对由来自标记数据集的教师样本组成(即,源或标记的目标)及其来自未标记数据集的学生样本(即,未标记的目标)。我们的方法通过在教师和学生之间传递中间风格来生成辅助特征,然后通过最小化学生和辅助特征之间的输出差异来训练模型。在培训过程中,助理逐渐弥合这两个领域之间的差异,从而使学生能够轻松地向老师学习。标准基准测试的实验结果表明,我们的方法有效地最大限度地减少了域间和域内的差异,从而实现了显着的改进,最近的方法。
2021-11-29 cs.CV
Hypernetworks for Continual Semi-Supervised Learning
IIT Kanpur(印度理工学院坎普尔分校);Duke University(杜克大学)
从顺序到达的数据中学习,可能在非独立同分布中。随着时间的推移不断变化的任务分配称为持续学习。到目前为止,持续学习的大部分工作都集中在监督学习和无监督学习上。在许多领域中,每个任务都包含标记(通常很少)和未标记(通常很多)的训练样本,这需要半监督学习方法。为了在持续学习环境中解决这个问题,我们提出了一个半监督持续学习的框架,称为连续半监督学习的元巩固(MCSSL)。我们的框架有一个超网络,它学习元分布,生成半监督辅助分类器生成对抗网络$(\textit{Semi-ACGAN})$的权重作为基础网络。我们在超网络中巩固顺序任务的知识,基础网络学习半监督学习任务。此外,我们提出了$\textit{Semi-Split CIFAR-10}$,一个新的基准连续半监督学习,通过修改$\textit{Split CIFAR-10}$数据集,其中的任务与标记和未标记的数据顺序到达。我们提出的模型在连续半监督学习设置中产生了显着的改进。我们比较了几种现有的持续学习方法的性能,提出了持续半监督学习基准的半分裂CIFAR-10数据集。
2021-10-05 cs.CV cs.LG stat.ML
Exploring Self-Supervised Regularization for Supervised and Semi-Supervised Learning
Flyreel AI Research(Flyreel人工智能研究院)
半监督学习的最新进展在克服现代机器学习算法成功的主要障碍方面显示出巨大的潜力:访问大量人类标记的训练数据。基于一致性正则化的先前算法可以利用大量未标记数据在许多半监督基准上产生令人印象深刻的结果,仅使用一小部分可用标记数据就接近强监督基线的性能。在这项工作中,我们通过引入自监督正则化作为组合来自未标记数据的语义特征表示的基础,挑战了一致性正则化的长期成功。我们进行了广泛的比较实验,以证明自监督正则化的有效性,监督和半监督图像分类SVHN,CIFAR-10和CIFAR-100基准数据集。我们提出了两个主要结果:(1)使用自监督正则化增强的模型显着改进了传统的监督分类器,而不需要未标记的数据;(2)与未标记的数据一起,我们的模型产生了半监督性能,与现有的最先进的一致性基线竞争,并且在许多情况下超过了它。最后,我们的模型具有端到端有效训练的实用性,并且不需要额外的超参数来调整训练神经网络的标准集之外的最佳性能。参考代码和数据可在https://github.com/vuptran/sesemi上获得
2019-11-21 cs.CV cs.LG stat.ML
Semi-supervised Vision Transformers at Scale
AWS AI Labs(亚马逊云科技人工智能实验室)
我们研究半监督学习(SSL)的视觉Transformer(ViT),尽管广泛采用的ViT架构不同的任务,一个未充分探讨的话题。为了解决这个问题,我们提出了一个新的SSL管道,包括第一个非/自我监督的预训练,其次是监督微调,最后是半监督微调。在半监督微调阶段,我们采用指数移动平均(EMA)-教师框架,而不是流行的FixMatch,因为前者更稳定,并提供更高的精度为半监督视觉Transformer。此外,我们提出了一种概率伪混淆机制来内插未标记的样本及其伪标签,以改进正则化,这对于训练具有弱归纳偏差的ViT非常重要。我们提出的方法,被称为半ViT,实现了可比或更好的性能比CNN同行在半监督分类设置。Semi-ViT还享有ViT的可扩展性优势,可以轻松扩展到大尺寸模型,并提高精度。例如,Semi-ViT-Huge在ImageNet上仅使用1%的标签就达到了令人印象深刻的80%的top-1准确率,这与使用100% ImageNet标签的Inception-v4相当。
2022-08-11 cs.AI cs.CV cs.LG
Ladder Networks for Semi-Supervised Hyperspectral Image Classification
Purdue University(普渡大学);ETH Zürich(苏黎世联邦理工学院)
我们使用梯形网络[Rasmus et al.(2015)]在半监督设置中执行高光谱图像分类。梯形网络通过联合优化监督和非监督成本来将自己与其他半监督方法区分开来。在许多情况下,这已被证明比其他半监督技术更成功,例如使用未标记数据进行预训练。我们还表明,卷积梯形网络的性能优于目前大多数用于高光谱图像分类的技术,并在帕维亚大学数据集上实现了新的最先进的性能,每个类只有5个标记的数据点。
2018-12-04 cs.CV cs.LG stat.ML
SaaS: Speed as a Supervisor for Semi-supervised Learning
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
我们介绍了用于半监督学习的SaaS算法,该算法使用深度神经网络中随机梯度下降期间的学习速度来衡量未知标签的后验概率的迭代估计的质量。在监督学习中,训练速度与正确标签的百分比密切相关,因此我们将其用作未知标签的推理标准,而不试图首先推断模型参数。尽管简单,SaaS在半监督学习基准测试中取得了最先进的结果。
2018-05-02 cs.CV cs.LG stat.ML
Empirical Perspectives on One-Shot Semi-supervised Learning
US Naval Research Laboratory(美国海军研究实验室)
在新应用中采用深度神经网络的最大障碍之一是,训练网络通常需要大量手动标记的训练样本。我们根据经验研究了这样一种场景,其中可以访问大量未标记的数据,但只需要标记每个类的单个原型样本,以便训练深度网络(即,一次性半监督学习)。具体来说,我们调查了FixMatch中报道的一次性半监督学习的最新结果,以了解影响和阻碍Cifar-10一次性半监督学习的高准确性和可靠性的因素。例如,我们发现,一次半监督学习的高性能图像分类的一个障碍是在训练过程中的类精度的不均匀性。这些结果指出了解决方案,可以使一次性半监督训练方法在新应用中得到更广泛的采用。
2020-04-08 cs.CV cs.LG stat.ML
Color-$S^{4}L$: Self-supervised Semi-supervised Learning with Image Colorization
Harbin Institute of Technology(哈尔滨工业大学)
本工作提出自监督半监督学习框架Color-$S^{4}L$,通过引入图像着色代理任务,在CIFAR-10等数据集上验证了其优于以往监督与半监督方法的图像分类性能。
2024-01-08 cs.CV
Self-Supervised Learning for Semi-Supervised Temporal Action Proposal
Huazhong University of Science and Technology(华中科技大学)
自监督学习在利用未标记数据进行各种视频任务方面表现出了显著的性能。在本文中,我们专注于应用自我监督方法的力量,以提高半监督行动建议生成。特别地,我们设计了一个有效的自监督半监督时态动作建议(SSTAP)框架。SSTAP包含两个关键分支,即,时间感知半监督分支和关系感知自监督分支。半监督分支通过引入两个时间扰动来改进提议模型,即,时间特征转移和时间特征翻转,在平均教师框架。自监督分支定义了两个托词任务,包括掩蔽特征重构和裁剪顺序预测,以学习时间线索之间的关系。通过这种方式,SSTAP可以更好地探索未标记的视频,并提高学习的动作特征的区分能力。我们在THUMOS 14和ActivityNet v1.3数据集上广泛评估了所提出的SSTAP。实验结果表明,SSTAP显着优于最先进的半监督方法,甚至匹配全监督方法。代码可在https://github.com/wangxiang1230/SSTAP上获得。
2021-04-07 cs.CV
Exponential Moving Average Normalization for Self-supervised and Semi-supervised Learning
Amazon Web Services(亚马逊云科技)
我们提出了一个插件替代批量归一化(BN)称为指数移动平均归一化(EMAN),它提高了现有的基于学生-教师的自我和半监督学习技术的性能。与标准BN不同,在每个批次中计算统计数据,教师中使用的EMAN通过学生BN统计数据的指数移动平均来更新其统计数据。这种设计降低了BN固有的交叉样本依赖性,增强了教师的泛化能力。当ImageNet上有1%/10%的监督标签时,EMAN将自监督学习的强基线提高了4-6/1-2个点,半监督学习提高了约7/2个点。这些改进在方法、网络架构、训练持续时间和数据集上是一致的,证明了这种技术的普遍有效性。该代码可在https://github.com/amazon-research/exponential-moving-average-normalization上获得。
2021-06-18 cs.AI cs.CV cs.LG
Recent Deep Semi-supervised Learning Approaches and Related Works
Ulsan National Institute of Science and Technology (UNIST)(蔚山科学技术院)
本文综述了近期深度半监督学习方法,基于流形、聚类和连续性假设对现有工作进行分类,并重点介绍了统一多种思想的整体性方法。
2024-08-08 cs.AI cs.CV cs.LG
Integration of Self-Supervised BYOL in Semi-Supervised Medical Image Recognition
The University of Sydney(悉尼大学);North University of China(中北大学);University of Technology Sydney(悉尼科技大学)
针对医学图像标注数据稀缺问题,提出将自监督BYOL集成到半监督模型的方法,经无标注预训练、伪标与标注数据合并训练及迭代微调,在三个数据集上准确率优于现有方法。
2024-04-16 cs.AI cs.CV cs.LG
Consistency-Based Semi-supervised Evidential Active Learning for Diagnostic Radiograph Classification
National University of Singapore(新加坡国立大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);Singapore University of Technology and Design(新加坡科技设计大学)
深度学习方法实现了对放射学图像进行分类的最先进性能,但依赖于需要专家进行资源密集型注释的大型标记数据集。半监督学习和主动学习都可以用来减轻这种注释负担。然而,在结合半监督和主动学习方法的优点用于多标签医学图像分类方面的工作有限。在这里,我们介绍了一种新的基于一致性的半监督证据主动学习框架(CSEAL)。具体来说,我们利用基于证据理论和主观逻辑的预测不确定性来开发一种端到端的集成方法,该方法将基于一致性的半监督学习与基于不确定性的主动学习相结合。我们应用我们的方法来增强四种领先的基于一致性的半监督学习方法:伪标签,虚拟对抗训练,平均教师和NoTeacher。对多标签胸部X射线分类任务的广泛评估表明,CSEAL在两个领先的半监督主动学习基线上实现了实质性的性能改进。此外,对结果的分类分解表明,我们的方法可以用更少的标记样本大幅提高对罕见异常的准确性。
2022-09-05 cs.AI cs.CV cs.LG
EnAET: A Self-Trained framework for Semi-Supervised and Supervised Learning with Ensemble Transformations
Purdue University(普渡大学);University of Rochester(罗切斯特大学);Futurewei Seattle Cloud Lab(华为西雅图云实验室)
深度神经网络已成功应用于许多现实世界的应用。然而,这样的成功在很大程度上依赖于大量的标记数据,而这些数据的获取成本很高。近年来,人们提出了许多半监督学习的方法,并取得了很好的效果。在这项研究中,我们提出了一个新的EnAET框架,以进一步改善现有的半监督方法与自我监督的信息。据我们所知,目前所有的半监督方法都通过预测一致性和置信度来提高性能。我们是第一个探索{ \bf自我监督}表示在{ \bf半监督}学习中的作用的丰富的家庭的转换。因此,我们的框架可以集成自监督信息作为正则化项,以进一步改进{ \it all}当前的半监督方法。在实验中,我们使用MixMatch,这是当前最先进的半监督学习方法,作为基线来测试所提出的EnAET框架。在不同的数据集上,我们采用相同的超参数,这大大提高了EnAET框架的泛化能力。在不同数据集上的实验结果表明,所提出的EnAET框架大大提高了现有半监督算法的性能.此外,该框架还可以大幅提高{ \bf监督学习},包括每个类只有10张图像的极具挑战性的场景。代码和实验记录可在\url{https://github.com/maple-research-lab/EnAET}中获得。
2021-02-01 cs.CV
Contrastive Learning for Online Semi-Supervised General Continual Learning
Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心);LIGM(马恩拉瓦莱信息与数学实验室)
我们研究在线持续学习与缺失标签,并提出SemiCon,一个新的对比损失设计的部分标记的数据。我们通过设计一种基于内存的方法来证明其效率,该方法在未标记的数据流上进行训练,其中添加到内存中的每个数据都使用Oracle进行标记。当可用标签很少时,我们的方法优于现有的半监督方法,并且在Split-CIFAR 10上仅使用2.6%的标签和Split-CIFAR 100上仅使用10%的标签的情况下,获得与最先进的监督方法相似的结果。
2022-11-22 cs.AI cs.CV cs.LG
SSKD: Self-Supervised Knowledge Distillation for Cross Domain Adaptive Person Re-Identification
由于源域和目标域之间存在较大的差异,域自适应人员重新识别(re-ID)是一项具有挑战性的任务。为了减少区域差异,现有的方法主要尝试通过聚类算法为未标记的目标图像生成伪标签。然而,聚类方法往往会带来噪声标签和未标记图像中丰富的细粒度细节没有得到充分利用。在本文中,我们试图提高标签的质量,通过捕获未标记图像的多个增强视图的特征表示。为此,我们提出了一种自监督知识蒸馏(SSKD)技术,包含两个模块,身份学习和软标签学习。身份学习探索未标记样本之间的关系,并通过聚类来预测它们的独热标签,从而为自信地区分图像提供准确的信息。软标签学习将标签视为一种分布,通过自监督的方式将一幅图像与若干个相关的类关联起来,训练对等网络,以缓慢进化的网络为核心,获取软标签作为可靠图像的温和约束。最后,这两个模块可以通过相互增强和系统地整合来自未标记图像的标签信息来抵抗标签噪声。在多个自适应任务上的大量实验表明,该方法的性能大大优于当前最先进的方法。
2020-09-13 cs.CV
A Benchmark for Semi-supervised Multi-modal Crowd Counting
Harbin Institute of Technology(哈尔滨工业大学);Pengcheng Laboratory(鹏城实验室)
本文构建了首个半监督多模态人群计数基准,通过制定标准化协议和评估多种基线方法,为该任务奠定基础。
2026-06-02 cs.CV
Adversarial Self-Supervised Learning for Semi-Supervised 3D Action Recognition
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);National University of Singapore(新加坡国立大学)
我们考虑的问题,半监督的3D动作识别,以前很少探索。它的主要挑战在于如何有效地从未标记的数据中学习运动表示。自监督学习(Self-supervised learning,SSL)是一种非常有效的学习方法。然而,对于3D动作识别,几乎没有有效的自监督方法存在,并且直接将SSL应用于半监督学习遭受从SSL和监督学习任务学习的表示的不对准。为了解决这些问题,我们提出了对抗性自监督学习(ASSL),一个新的框架,紧密耦合SSL和半监督方案通过邻居关系探索和对抗性学习。具体来说,我们设计了一个有效的SSL方案,以提高3D动作识别的学习表示的鉴别能力,通过探索一个邻域内的数据关系。我们进一步提出了对抗性正则化来对齐标记和未标记样本的特征分布。为了证明所提出的ASSL在半监督3D动作识别中的有效性,我们在NTU和N-UCLA数据集上进行了广泛的实验。结果证实了其优越的性能超过国家的最先进的半监督方法在几个标签制度的3D动作识别。
2020-07-12 cs.CV
A Discrepancy Aware Framework for Robust Anomaly Detection
Huazhong University of Science and Technology(华中科技大学);Huazhong Agriculture University(华中农业大学)
提出差异感知框架(DAF),利用师生网络生成外观无关的差异图引导解码器,在简单合成策略下实现鲁棒且领先的异常检测与定位性能。
2023-10-11 cs.CV
Towards Train-Test Consistency for Semi-supervised Temporal Action Localization
Columbia University(哥伦比亚大学)
近年来,弱监督的时间动作定位(WTAL)得到了广泛的研究,但弱监督模型和全监督模型之间仍然存在很大的差距。注释一些示例的时间边界并利用它们来帮助WTAL模型更好地检测动作是实用和直观的。然而,动作定位策略的训练测试差异阻止了WTAL模型利用半监督进行进一步改进。在训练时,使用注意力或多实例学习来聚合每个片段的预测以进行视频级分类;在测试时,他们首先获得随时间推移的动作得分序列,然后截断得分高于固定阈值的片段,并对动作片段进行后处理。这种不一致的策略使得在训练时很难用时间边界标注来显式地监督动作定位模型。在本文中,我们提出了一个列车测试一致的框架,TTC-Loc。在训练和测试时,我们的TTC-Loc通过比较动作类的得分和预测阈值来定位动作,这使得它能够在半监督的情况下进行训练。通过修复训练测试差异,我们的TTC-Loc在仅提供视频级标签进行训练时,显著优于THUMOS 14、ActivityNet 1.2和1.3的最先进性能。通过每个类别仅一个视频的完整注释和其他视频的视频级标签,我们的TTC-Loc进一步提高了性能,并在THUMOS的14上实现了33.4mAP(IoU阈值0.5)。
2020-03-23 cs.CV
Semi-MAE: Masked Autoencoders for Semi-supervised Vision Transformers
Meituan Inc.(美团公司)
视觉Transformer(ViT)在半监督学习(SSL)中面临数据稀缺的问题。为了缓解这个问题,受到掩码自编码器(MAE)的启发,这是一个数据高效的自监督学习器,我们提出了Semi-MAE,一个纯粹的基于ViT的SSL框架,由一个并行MAE分支组成,以帮助视觉表示学习,使伪标签更准确。MAE分支被设计为由轻量级解码器和共享权重编码器组成的非对称架构。我们将具有高掩蔽比的弱增强未标记数据馈送到MAE分支,并重建丢失的像素。Semi-MAE在ImageNet上实现了75.9%的top-1准确率,标签为10%,超过了半监督图像分类的现有技术水平。此外,大量的实验表明,半MAE可以很容易地用于其他ViT模型和掩码图像建模方法。
2023-01-04 cs.CV
Self-supervised Mean Teacher for Semi-supervised Chest X-ray Classification
University of Adelaide(阿德莱德大学);Universidade Federal Rural de Pernambuco(伯南布哥联邦农村大学);Universität Ulm(乌尔姆大学);South Australian Health and Medical Research Institute(南澳大利亚健康与医学研究所)
深度学习模型的训练通常需要大量的注释数据,以实现有效的收敛和泛化。然而,获得高质量的注释是一个费力和昂贵的过程,由于需要专业的放射科医生的标签任务。医学图像分析中的半监督学习的研究是至关重要的,因为获得未标记的图像比获得由放射科专家标记的图像便宜得多。从本质上讲,半监督方法利用大量未标记的数据集来实现比仅使用少量标记图像更好的训练收敛和泛化。在本文中,我们提出了半监督(S $^2$ MTS $^2$)学习的自监督均值教师,它将自监督均值教师预训练与半监督微调相结合。S $^2$ MTS $^2$的主要创新点是基于联合对比学习的自监督平均教师预训练,它使用无限数量的正查询和关键特征对来改进平均教师表示。然后使用经过半监督学习训练的指数移动平均教师框架对模型进行微调。我们验证了S $^2$ MTS $^2$在胸部X射线14和CheXpert的多标签分类问题上的有效性,以及ISIC 2018的多类分类,我们表明它大大优于以前的SOTA半监督学习方法。
2021-11-04 cs.CV
Semi-Supervised Semantic Matching
Aalto University(阿尔托大学)
卷积神经网络(CNN)已成功地应用于解决语义相关图像之间的对应性估计问题。由于无法获得大规模的训练数据集,现有的方法采用自监督或无监督的训练范式。在本文中,我们提出了一个半监督学习框架,施加循环一致性约束的未标记的图像对。与监督损失一起,所提出的模型在基准语义匹配数据集上达到了最先进的水平。
2019-01-24 cs.CV
Semi-supervised Learning of Fetal Anatomy from Ultrasound
Imperial College London(帝国理工学院)
半监督学习方法在标准基准数据集上使用很少的标记图像取得了优异的性能。胎儿2D超声中的解剖分类是测试这些结果是否转化为非理想数据的理想问题设置。我们的研究结果表明,包含一个具有挑战性的背景类可能是有害的,半监督学习主要受益于已经不同的类,有时以牺牲更相似的类。
2019-08-30 cs.CV
Confidence-Guided Semi-supervised Learning in Land Cover Classification
Cardiff University(卡迪夫大学)
本文提出置信度引导半监督学习方法CGSSL,通过利用高置信度伪标签并引入多网络架构提升伪标签多样性,在Potsdam土地覆盖分类基准上超越经典半监督和全监督方法。
2023-05-30 cs.CV
Semi-Supervised Relational Contrastive Learning
University of California, Los Angeles(加州大学洛杉矶分校);Stanford University(斯坦福大学);University of Kentucky(肯塔基大学)
针对医学图像监督学习标注成本高的问题,提出结合自监督对比损失与样本关系一致性的半监督关系对比学习SRCL模型,在ISIC 2018皮肤病变数据集上验证了不同标注量下的有效性。
2023-06-13 cs.CV