LA-Pose: Latent Action Pretraining Meets Pose Estimation
Wayve;Simon Fraser University(西蒙弗雷泽大学)
本文通过自监督预训练视角重新审视相机姿态估计,提出逆动力学预训练作为替代全监督训练的方法。通过逆向和正向动力学模型学习潜在动作表示,将潜在动作特征用于相机姿态估计,实现高精度且可推广的姿态预测。
2026-04-30 cs.CV
Knowledge Distillation Meets Open-Set Semi-Supervised Learning
University of Cambridge(剑桥大学);University of Surrey(萨里大学);Samsung AI Centre(三星人工智能中心);Queen Mary University London(伦敦玛丽女王大学)
该研究提出语义表征蒸馏(SRD)方法,利用教师分类器作为语义评判器蒸馏含高阶结构信息的表征知识,并扩展至开集半监督场景,在多类任务上均优于现有方法。
2024-07-15 cs.CV
Semi-supervised learning via Feedforward-Designed Convolutional Neural Networks
University of Southern California(南加州大学)
提出了一种基于前馈设计的卷积神经网络(FF-CNN)的半监督学习框架用于图像分类。FF-CNN的一个独特特性是在模型参数确定中不使用反向传播。由于未标记数据可能并不总是增强半监督学习,我们定义了一个有效的质量分数,并使用它来选择一个子集的未标记数据在训练过程中。我们在MNIST、SVHN和CIFAR-10数据集上进行了实验,结果表明,当标记数据量减少时,所提出的半监督FF-CNN解决方案的性能优于反向传播训练的CNN(BP-CNN)。此外,我们开发了一个集成系统,该系统结合了不同半监督FF-CNN的输出决策向量,以提高分类精度。集成系统可以在所有三个基准数据集上实现进一步的性能增益。
2019-02-06 cs.CV
Revisiting Deep Semi-supervised Learning: An Empirical Distribution Alignment Framework and Its Generalization Bound
The University of Sydney(悉尼大学);Swiss Federal Institute of Technology in Zürich(苏黎世联邦理工学院);University of Electronic Science and Technology of China(电子科技大学)
在这项工作中,我们重新审视半监督学习(SSL)的问题,从一个新的角度明确减少标记和未标记的样本之间的经验分布不匹配。受益于这种新的视角,我们首先提出了一种新的深度半监督学习框架,称为经验分布对齐(SLEDA)的半监督学习,其中来自领域自适应社区的现有技术可以很容易地用于通过减少标记和未标记数据之间的经验分布距离来解决半监督学习问题。在此基础上,我们提出了一种新的理论推广方法,通过最小化标记数据的训练误差和标记数据与未标记数据之间的经验分布距离,可以有效地约束半监督学习的泛化误差,从而更好地理解半监督学习问题.基于我们的新框架和理论界限,我们开发了一种简单有效的深度半监督学习方法,称为增强分布对齐网络(ADA-Net),同时采用领域自适应社区的成熟对抗训练策略和简单的样本插值策略进行数据增强。此外,我们将这两种策略在我们的ADA-Net到两个现有的SSL方法,以进一步提高其泛化能力,这表明我们的新框架提供了一个互补的解决方案,解决SSL问题。我们在两个基准数据集SVHN和CIFAR-10上进行的半监督图像识别任务以及另外两个基准数据集ModelNet 40和ShapeNet 55上进行的半监督点云识别任务的综合实验结果证明了我们提出的SSL框架的有效性。
2022-03-13 cs.CV
Semi-supervised learning for joint SAR and multispectral land cover classification
Politecnico di Torino(都灵理工大学)
半监督学习技术由于其构建有效模型的能力而越来越受欢迎,即使在标记数据稀缺的情况下也是如此。在本文中,我们提出了一个框架和具体任务的自我监督预训练的\textit{multichannel}模型,如多光谱和合成孔径雷达图像的融合。我们表明,所提出的自监督方法在学习与土地覆盖分类标签相关的特征方面非常有效。这是通过预训练任务的明确设计实现的,该任务促进弥合感测模态和利用输入的光谱特性之间的差距。在半监督设置中,当有限的标签可用时,使用所提出的自监督预训练,然后使用SAR和多光谱数据对土地覆盖分类进行监督微调,优于传统方法,如纯监督学习,ImageNet训练初始化和其他最近的自监督方法。
2022-07-28 cs.CV eess.IV
Hypernetworks for Continual Semi-Supervised Learning
IIT Kanpur(印度理工学院坎普尔分校);Duke University(杜克大学)
从顺序到达的数据中学习,可能在非独立同分布中。随着时间的推移不断变化的任务分配称为持续学习。到目前为止,持续学习的大部分工作都集中在监督学习和无监督学习上。在许多领域中,每个任务都包含标记(通常很少)和未标记(通常很多)的训练样本,这需要半监督学习方法。为了在持续学习环境中解决这个问题,我们提出了一个半监督持续学习的框架,称为连续半监督学习的元巩固(MCSSL)。我们的框架有一个超网络,它学习元分布,生成半监督辅助分类器生成对抗网络$(\textit{Semi-ACGAN})$的权重作为基础网络。我们在超网络中巩固顺序任务的知识,基础网络学习半监督学习任务。此外,我们提出了$\textit{Semi-Split CIFAR-10}$,一个新的基准连续半监督学习,通过修改$\textit{Split CIFAR-10}$数据集,其中的任务与标记和未标记的数据顺序到达。我们提出的模型在连续半监督学习设置中产生了显着的改进。我们比较了几种现有的持续学习方法的性能,提出了持续半监督学习基准的半分裂CIFAR-10数据集。
2021-10-05 cs.CV cs.LG stat.ML
Vision Learners Meet Web Image-Text Pairs
University of Edinburgh(爱丁堡大学);Bytedance(字节跳动);Waseda University(早稻田大学)
本文研究利用带噪声的网络图像-文本对进行自监督视觉预训练,通过基准研究发现现有多模态方法未优于单模态方法,并从信息论角度提出新型多模态生成器 MUG,在多种视觉迁移任务上取得领先性能。
2024-08-05 cs.AI cs.CL cs.CV
Building One-Shot Semi-supervised (BOSS) Learning up to Fully Supervised Performance
US Naval Research Laboratory(美国海军研究实验室)
使用未标记的数据达到完全监督学习的性能并且每个类仅标记一个样本对于深度学习应用来说可能是理想的。我们首次展示了在Cifar-10和SVHN上构建一次性半监督(BOSS)学习的潜力,以达到与完全监督学习相当的测试精度。我们的方法结合了类原型提炼,类平衡和自我训练。一个好的原型选择是必不可少的,我们提出了一种技术,以获得图标的例子。此外,我们证明了类平衡方法大大提高了半监督学习的准确性,使自我训练达到完全监督学习性能的水平。严格的经验评估提供了证据,证明标记大型数据集对于训练深度神经网络是不必要的。我们在https://github.com/lnsmith54/BOSS上提供了我们的代码,以便于复制和用于未来的实际应用程序。
2021-01-26 cs.CV cs.LG cs.NE
Attention meets Geometry: Geometry Guided Spatial-Temporal Attention for Consistent Self-Supervised Monocular Depth Estimation
Technical University of Munich(慕尼黑工业大学)
在时间上连续的图像的元组上推断几何上一致的密集3D场景对于自监督单目深度预测流水线仍然具有挑战性。本文探讨了日益流行的Transformer架构以及新颖的正则化损耗公式如何在保持精度的同时提高深度一致性。我们提出了一个空间注意力模块,相关的粗深度预测,聚合局部几何信息。一种新的时间注意力机制进一步处理跨连续图像的全局上下文中的局部几何信息。此外,我们引入了框架之间的几何约束正则化的光度周期的一致性。通过结合我们提出的正则化和新颖的时空注意力模块,我们充分利用了单目帧之间基于几何和外观的一致性。与以前的方法相比,这产生了几何上有意义的注意力,并提高了时间深度稳定性和准确性。
2021-10-15 cs.CV
SLIP: Self-supervision meets Language-Image Pre-training
UC Berkeley(加州大学伯克利分校);Facebook AI Research (FAIR)(Facebook 人工智能研究院)
最近的工作表明,自我监督的预训练导致在具有挑战性的视觉识别任务上优于监督学习。CLIP是一种令人兴奋的语言监督学习新方法,在各种基准测试中表现出良好的性能。在这项工作中,我们探讨是否自监督学习可以帮助使用语言监督视觉表示学习。我们介绍了SLIP,一个结合自监督学习和CLIP预训练的多任务学习框架。在使用视觉Transformer进行预训练后,我们彻底评估了表示质量,并在三种不同的设置下将性能与CLIP和自监督学习进行了比较:zero-shot transfer,线性分类和端到端微调。在ImageNet和一组额外的数据集上,我们发现SLIP大幅提高了准确性。我们通过对不同模型大小、训练时间表和预训练数据集的实验进一步验证了我们的结果。我们的研究结果表明,SLIP在两个方面都是最好的:比自我监督(+8.1%的线性准确率)和语言监督(+5.2%的zero-shot准确率)更好的性能。
2021-12-23 cs.CV
Reducing Label Effort: Self-Supervised meets Active Learning
Computer Vision Center (CVC)(计算机视觉中心);Univ. Autònoma of Barcelona (UAB)(巴塞罗那自治大学)
主动学习是旨在通过在主动选择的信息和/或代表性样本上训练模型来减少注释工作的范例。另一种减少注释工作的范例是自训练,它以无监督的方式从大量未标记的数据中学习,并对少数标记的样本进行微调。自我训练的最新发展已经取得了非常令人印象深刻的结果,可以与某些数据集上的监督学习相媲美。目前的工作集中在这两种范式是否可以相互受益。我们研究了包括CIFAR 10、CIFAR 100和Tiny ImageNet在内的对象识别数据集,并使用了几种标签预算进行评估。我们的实验表明,自我训练是显着更有效的比主动学习在减少标记的努力,对于低的标记预算,主动学习提供没有好处的自我训练,最后,结合主动学习和自我训练是富有成效的标记预算高。当我们接近几乎一半的数据集被标记时,通过自我训练或从头开始训练的主动学习之间的性能差距就会缩小。
2021-08-25 cs.CV
Local Masking Meets Progressive Freezing: Crafting Efficient Vision Transformers for Self-Supervised Learning
Graduate School of Informatics(信息学研究生院);METU(中东技术大学)
提出融合局部掩码图像建模与渐进式层冻结的 ViT 自监督方法,通过多尺度重建降低约 12.5% 训练时间且准确率损失极小。
2023-12-02 cs.CV
Semi-MoE: Mixture-of-Experts meets Semi-Supervised Histopathology Segmentation
University of Technology, Ho Chi Minh City, Vietnam(越南胡志明市技术大学);Carnegie Mellon University, Pennsylvania, USA(卡内基梅隆大学);Posts and Telecommunications Institute of Technology, Ho Chi Minh City, Vietnam(越南邮电技术研究所);Purdue University, Indiana, USA(普渡大学);University of Alabama at Birmingham, Alabama, USA(阿拉巴马大学伯明翰分校)
本文提出首个用于半监督组织病理学图像分割的多任务混合专家框架 Semi-MOE,通过主分割、符号距离场回归和边界预测三个专家网络及动态伪标签机制,有效解决噪声伪标签问题,在低标注设置下取得最优性能。
2025-09-17 cs.CV
Geometry meets semantics for semi-supervised monocular depth estimation
University of Bologna(博洛尼亚大学)
从单个图像进行深度估计是计算机视觉中一个非常令人兴奋的挑战。虽然其他基于图像的深度感测技术利用不同视点之间的几何形状(例如,立体或运动恢复结构),在单个图像内缺乏这些线索使得单目深度估计任务不适定。对于推断,用于单目深度估计的现有技术的编码器-解码器架构依赖于在训练时学习的有效特征表示。对于这些模型的无监督训练,通过从由立体钻机或移动相机获取的视图计算的合适的图像扭曲损失,已经有效地利用了几何形状。在本文中,我们进一步表明,从图像中学习语义信息,能够有效地提高单目深度估计以及。特别是,通过利用语义标记的图像以及通过图像扭曲损失通过几何获得的无监督信号,我们提出了一种旨在联合语义分割和深度估计的深度学习方法。我们的整体学习框架是半监督的,因为我们只在语义领域部署地面实况数据。在训练时,我们的网络学习两个任务的共同特征表示,并提出了一种新的跨任务损失函数。实验结果表明,如何联合处理深度预测和语义分割,允许提高深度估计的准确性。特别是,在KITTI数据集上,我们的网络优于最先进的单眼深度估计方法。
2018-10-26 cs.CV
NeuroSeg Meets DINOv3: Transferring 2D Self-Supervised Visual Priors to 3D Neuron Segmentation via DINOv3 Initialization
The University of Sydney(悉尼大学)
本文提出利用DINOv3学习的2D视觉表示适应3D生物分割模型,通过膨胀策略和拓扑感知骨架损失提升神经元重建精度,实验显示在四个神经影像数据集上均优于现有方法。
2026-03-24 cs.CV
LViT: Language meets Vision Transformer in Medical Image Segmentation
Xiamen University(厦门大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);UT Southwestern Medical Center(德克萨斯大学西南医学中心);University of Hull(赫尔大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
针对医学图像标注数据不足的问题,提出文本增强分割模型LViT,通过引入文本标注、EPI机制和PLAM模块提升伪标签质量与特征保留,在全监督和半监督设置下均取得优越性能。
2023-06-27 cs.CV
Color-$S^{4}L$: Self-supervised Semi-supervised Learning with Image Colorization
Harbin Institute of Technology(哈尔滨工业大学)
本工作提出自监督半监督学习框架Color-$S^{4}L$,通过引入图像着色代理任务,在CIFAR-10等数据集上验证了其优于以往监督与半监督方法的图像分类性能。
2024-01-08 cs.CV
Self-Supervised Learning for Semi-Supervised Temporal Action Proposal
Huazhong University of Science and Technology(华中科技大学)
自监督学习在利用未标记数据进行各种视频任务方面表现出了显著的性能。在本文中,我们专注于应用自我监督方法的力量,以提高半监督行动建议生成。特别地,我们设计了一个有效的自监督半监督时态动作建议(SSTAP)框架。SSTAP包含两个关键分支,即,时间感知半监督分支和关系感知自监督分支。半监督分支通过引入两个时间扰动来改进提议模型,即,时间特征转移和时间特征翻转,在平均教师框架。自监督分支定义了两个托词任务,包括掩蔽特征重构和裁剪顺序预测,以学习时间线索之间的关系。通过这种方式,SSTAP可以更好地探索未标记的视频,并提高学习的动作特征的区分能力。我们在THUMOS 14和ActivityNet v1.3数据集上广泛评估了所提出的SSTAP。实验结果表明,SSTAP显着优于最先进的半监督方法,甚至匹配全监督方法。代码可在https://github.com/wangxiang1230/SSTAP上获得。
2021-04-07 cs.CV
When Integral Meets Decomposition: A Signal-Level Self-Supervised Feature Decompose Paradigm for Multi-Modal Image Fusion
College of Computer Science and Engineering, Dalian Minzu University(大连民族大学计算机科学与工程学院);School of Artificial Intelligence and Robotics, Hunan University(湖南大学人工智能与机器人学院);Department of Automation, Tsinghua University(清华大学自动化系)
本文提出一种信号级自监督特征分解范式,将多模态图像融合中的特征分解重构为积分驱动的一维信号优化问题,通过两阶段自监督学习实现稳定优化,并在代表性任务上取得最先进性能。
2026-10-01 cs.CV
Semi-supervised Semantic Segmentation Meets Masked Modeling:Fine-grained Locality Learning Matters in Consistency Regularization
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Tencent AI Lab(腾讯人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
针对半监督语义分割中现有一致性正则化框架局部分割效果不佳的问题,提出MaskMatch框架,通过掩码建模代理任务强化细粒度局部性学习,结合多尺度集成生成可靠伪标签,在基准数据集上表现更优且具备即插即用灵活性。
2023-12-14 cs.CV
NP-SemiSeg: When Neural Processes meet Semi-Supervised Semantic Segmentation
University of Oxford(牛津大学);Microsoft Research(微软研究院);Tsinghua University(清华大学);Rutgers University(罗格斯大学);Vienna University of Technology(维也纳工业大学)
本文提出NP-SemiSeg,将神经过程引入半监督语义分割以实现高效不确定性量化,并在PASCAL VOC 2012和Cityscapes上验证了其有效性。
2023-08-05 cs.CV cs.LG
Semantics Meets Temporal Correspondence: Self-supervised Object-centric Learning in Videos
The Chinese University of Hong Kong(香港中文大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出语义感知掩码 slot attention,融合语义特征与时间对应图,通过两阶段注意力与共享高斯分布实现实例识别,在无监督视频对象发现和密集标签传播任务上达到最先进性能。
2024-03-21 cs.CV
SSL^2: Self-Supervised Learning meets Semi-Supervised Learning: Multiple Sclerosis Segmentation in 7T-MRI from large-scale 3T-MRI
Vanderbilt University(范德堡大学);Vanderbilt University Medical Center(范德堡大学医学中心)
从MRI扫描中自动分割多发性硬化(MS)病变对于量化疾病进展非常重要。近年来,当大量标记数据可用时,卷积神经网络(CNN)在此任务中表现出最佳性能。然而,当处理很少和/或稀疏标记的数据集时,CNN的准确性会受到影响。一个潜在的解决方案是利用大型公共数据集中可用的信息,结合只有有限标记数据的目标数据集。在本文中,我们提出了一个训练框架,SSL2(自我监督-半监督),用于有限监督的多模态MS病变分割。我们采用自监督学习来利用来自大型公共3T数据集的知识来解决小型7T目标数据集的限制。为了利用来自未标记的7T数据的信息,我们还评估了用于其他有限注释设置的最先进的半监督方法,例如小标记训练大小和稀疏注释。我们使用移窗(Swin)transformer1作为我们的骨干网络。在我们的内部7T MRI数据集中评估了自监督和半监督训练策略的有效性。结果表明,每种策略都改善了有限的训练数据大小和稀疏标记情况下的病变分割。与单独的任一组件相比,组合的整体框架进一步显著提高了性能。因此,我们提出的框架为未来的数据/标签饥饿的7T MS研究提供了一个有前途的解决方案。
2023-03-09 cs.CV cs.LG eess.IV
SemiSAM: Enhancing Semi-Supervised Medical Image Segmentation via SAM-Assisted Consistency Regularization
Artificial Intelligence Innovation and Incubation Institute, Fudan University(复旦大学人工智能创新与孵化研究院);Shanghai Academy of Artificial Intelligence for Science(上海人工智能科学研究院)
本文提出SemiSAM策略,利用SAM生成的伪标签作为额外监督,在标注极少时显著提升半监督医学图像分割性能,并具备即插即用效率。
2024-10-23 cs.CV
Adversarial Self-Supervised Learning for Semi-Supervised 3D Action Recognition
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);National University of Singapore(新加坡国立大学)
我们考虑的问题,半监督的3D动作识别,以前很少探索。它的主要挑战在于如何有效地从未标记的数据中学习运动表示。自监督学习(Self-supervised learning,SSL)是一种非常有效的学习方法。然而,对于3D动作识别,几乎没有有效的自监督方法存在,并且直接将SSL应用于半监督学习遭受从SSL和监督学习任务学习的表示的不对准。为了解决这些问题,我们提出了对抗性自监督学习(ASSL),一个新的框架,紧密耦合SSL和半监督方案通过邻居关系探索和对抗性学习。具体来说,我们设计了一个有效的SSL方案,以提高3D动作识别的学习表示的鉴别能力,通过探索一个邻域内的数据关系。我们进一步提出了对抗性正则化来对齐标记和未标记样本的特征分布。为了证明所提出的ASSL在半监督3D动作识别中的有效性,我们在NTU和N-UCLA数据集上进行了广泛的实验。结果证实了其优越的性能超过国家的最先进的半监督方法在几个标签制度的3D动作识别。
2020-07-12 cs.CV
NP-Match: When Neural Processes meet Semi-Supervised Learning
University of Oxford(牛津大学);TU Wien(维也纳工业大学);Microsoft Research(微软研究院);Tsinghua University(清华大学);Rutgers University(罗格斯大学);Microsoft(微软)
半监督学习(Semi-supervised learning,SSL)是近年来被广泛研究的一种利用未标记数据减少对标记数据依赖的有效方法。在这项工作中,我们调整神经过程(NPs)的半监督图像分类任务,从而在一个新的方法命名为NP-Match。NP-Match适合这项任务有两个原因。首先,NP-Match在进行预测时隐式地比较数据点,因此,每个未标记的数据点的预测受到与其相似的标记数据点的影响,这提高了伪标签的质量。其次,NP-Match能够估计不确定性,可以用作选择具有可靠伪标签的未标记样本的工具。与基于不确定性的蒙特卡罗(MC)退出实现的SSL方法相比,NP-Match估计不确定性的计算开销要少得多,这可以节省训练和测试阶段的时间。我们在四个公共数据集上进行了广泛的实验,NP-Match的性能优于最先进的(SOTA)结果或在它们上取得了竞争性结果,这表明了NP-Match的有效性及其在SSL中的潜力。
2022-07-03 cs.CV cs.LG
Semi-Supervised Semantic Segmentation with High- and Low-level Consistency
University of Freiburg(弗莱堡大学)
从有限的标记数据中理解视觉信息的能力是机器学习的一个重要方面。虽然图像级分类已经在半监督环境中被广泛研究,但具有有限数据的密集像素级分类最近才引起注意。在这项工作中,我们提出了一种半监督语义分割的方法,学习有限的像素明智的注释样本,同时利用额外的无注释图像。它使用两个网络分支,将半监督分类与半监督分割(包括自训练)联系起来。双分支方法减少了在使用少量标签进行训练时典型的低级和高级伪影。该方法与现有方法相比有了显着的改进,特别是在使用很少的标记样本进行训练时。在几个标准基准测试中- PASCAL VOC 2012,PASCAL-Context和Cityscapes -该方法在半监督学习中达到了最先进的水平。
2019-08-15 cs.CV
Semi-MAE: Masked Autoencoders for Semi-supervised Vision Transformers
Meituan Inc.(美团公司)
视觉Transformer(ViT)在半监督学习(SSL)中面临数据稀缺的问题。为了缓解这个问题,受到掩码自编码器(MAE)的启发,这是一个数据高效的自监督学习器,我们提出了Semi-MAE,一个纯粹的基于ViT的SSL框架,由一个并行MAE分支组成,以帮助视觉表示学习,使伪标签更准确。MAE分支被设计为由轻量级解码器和共享权重编码器组成的非对称架构。我们将具有高掩蔽比的弱增强未标记数据馈送到MAE分支,并重建丢失的像素。Semi-MAE在ImageNet上实现了75.9%的top-1准确率,标签为10%,超过了半监督图像分类的现有技术水平。此外,大量的实验表明,半MAE可以很容易地用于其他ViT模型和掩码图像建模方法。
2023-01-04 cs.CV
Self-supervised Mean Teacher for Semi-supervised Chest X-ray Classification
University of Adelaide(阿德莱德大学);Universidade Federal Rural de Pernambuco(伯南布哥联邦农村大学);Universität Ulm(乌尔姆大学);South Australian Health and Medical Research Institute(南澳大利亚健康与医学研究所)
深度学习模型的训练通常需要大量的注释数据,以实现有效的收敛和泛化。然而,获得高质量的注释是一个费力和昂贵的过程,由于需要专业的放射科医生的标签任务。医学图像分析中的半监督学习的研究是至关重要的,因为获得未标记的图像比获得由放射科专家标记的图像便宜得多。从本质上讲,半监督方法利用大量未标记的数据集来实现比仅使用少量标记图像更好的训练收敛和泛化。在本文中,我们提出了半监督(S $^2$ MTS $^2$)学习的自监督均值教师,它将自监督均值教师预训练与半监督微调相结合。S $^2$ MTS $^2$的主要创新点是基于联合对比学习的自监督平均教师预训练,它使用无限数量的正查询和关键特征对来改进平均教师表示。然后使用经过半监督学习训练的指数移动平均教师框架对模型进行微调。我们验证了S $^2$ MTS $^2$在胸部X射线14和CheXpert的多标签分类问题上的有效性,以及ISIC 2018的多类分类,我们表明它大大优于以前的SOTA半监督学习方法。
2021-11-04 cs.CV
WeakSAM: Segment Anything Meets Weakly-supervised Instance-level Recognition
School of EIC, Huazhong University of Science & Technology(华中科技大学电子信息与通信学院);Alipay Tian Qian Security Lab(支付宝天擎安全实验室)
针对弱监督视觉识别标注成本高、传统方法存在伪真值缺陷等问题,提出结合SAM预训练知识的WeakSAM,通过自适应伪真值生成与RoI丢弃正则化提升性能,在WSOD和WSIS基准上分别实现7.4%、8.5%的平均提升。
2024-08-17 cs.AI cs.CV
Semi-Supervised Semantic Matching
Aalto University(阿尔托大学)
卷积神经网络(CNN)已成功地应用于解决语义相关图像之间的对应性估计问题。由于无法获得大规模的训练数据集,现有的方法采用自监督或无监督的训练范式。在本文中,我们提出了一个半监督学习框架,施加循环一致性约束的未标记的图像对。与监督损失一起,所提出的模型在基准语义匹配数据集上达到了最先进的水平。
2019-01-24 cs.CV
Semi-supervised Learning of Fetal Anatomy from Ultrasound
Imperial College London(帝国理工学院)
半监督学习方法在标准基准数据集上使用很少的标记图像取得了优异的性能。胎儿2D超声中的解剖分类是测试这些结果是否转化为非理想数据的理想问题设置。我们的研究结果表明,包含一个具有挑战性的背景类可能是有害的,半监督学习主要受益于已经不同的类,有时以牺牲更相似的类。
2019-08-30 cs.CV
Budget-aware Semi-Supervised Semantic and Instance Segmentation
Barcelona Supercomputing Center(巴塞罗那超级计算中心);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
转向较少监督场景的方法是图像分割的关键,因为密集标签需要大量的人为干预。一般来说,通过用较弱的监督形式标记数据集来减轻注释负担,例如图像级标签或边界框。另一种选择是半监督设置,通常利用一些强注释和大量未标记/弱标记数据。在本文中,我们重新审视了半监督分割方案,并与以前的方法相比显着缩小了注释预算(就训练集的总标记时间而言)。通过一个非常简单的管道,我们证明了在低注释预算下,半监督方法在语义和实例分割方面都远远优于弱监督方法。我们的方法也优于以前的半监督作品,大大降低了标签成本。我们提出了Pascal VOC基准测试的结果,并通过考虑总注释预算来统一弱监督和半监督方法,从而使方法之间的比较更加公平。
2019-05-23 cs.CV
More Than Meets The Eye: Semi-supervised Learning Under Non-IID Data
Centre for Computational Intelligence (CCI)(计算智能中心);De Montfort University(德蒙福特大学);Fraunhofer HHI(弗劳恩霍夫海因里希·赫兹研究所)
半监督深度学习(SSDL)中的一个常见启发式算法是基于与标记数据的语义相似性来选择未标记数据。例如,标记的数字图像应该与未标记的数字图像配对,而不是与未标记的汽车图像配对。我们将这种实践称为语义数据集匹配。在这项工作中,我们展示了语义数据集匹配的限制。我们表明,它有时甚至可以降低性能的最先进的SSDL算法。我们提出并提供了一个全面的模拟沙箱,称为非IID-SSDL,压力测试的SSDL算法在不同程度的分布之间的不匹配的标记和未标记的数据集。此外,我们证明了简单的密度为基础的相异性措施在一个通用分类器的特征空间提供了一个有前途的和更可靠的定量匹配标准,选择未标记的数据SSDL训练之前。
2021-04-20 cs.CV cs.LG stat.ML
Confidence-Guided Semi-supervised Learning in Land Cover Classification
Cardiff University(卡迪夫大学)
本文提出置信度引导半监督学习方法CGSSL,通过利用高置信度伪标签并引入多网络架构提升伪标签多样性,在Potsdam土地覆盖分类基准上超越经典半监督和全监督方法。
2023-05-30 cs.CV
Semi-Supervised Relational Contrastive Learning
University of California, Los Angeles(加州大学洛杉矶分校);Stanford University(斯坦福大学);University of Kentucky(肯塔基大学)
针对医学图像监督学习标注成本高的问题,提出结合自监督对比损失与样本关系一致性的半监督关系对比学习SRCL模型,在ISIC 2018皮肤病变数据集上验证了不同标注量下的有效性。
2023-06-13 cs.CV
When CNN Meet with ViT: Towards Semi-Supervised Learning for Multi-Class Medical Image Semantic Segmentation
University of Oxford(牛津大学);Imperial College London(伦敦帝国学院)
针对医学图像分割标注稀缺问题,提出一种结合CNN与ViT的半监督框架,通过伪标签双视图协同训练和一致性感知引导,在公共基准上取得最先进性能。
2024-02-08 cs.CV eess.IV
Semi-Supervised Disparity Estimation with Deep Feature Reconstruction
University of Freiburg(弗莱堡大学)
尽管深度学习在差异估计方面取得了成功,但领域泛化差距仍然是一个问题。我们提出了一个半监督管道,通过对标记的合成数据进行联合监督训练和对未标记的真实数据进行自我监督训练,成功地将DispNet适应于真实世界的领域。此外,考虑到广泛使用的光度损失的局限性,我们分析了深度特征重建作为视差估计的有前途的监督信号的影响。
2021-06-01 cs.CV
Interpolation-based semi-supervised learning for object detection
Seoul National University(首尔国立大学);Aalto University(阿尔托大学);Mila Université de Montréal(蒙特利尔大学米拉研究所);SK hynix(SK海力士)
尽管目标检测任务的数据标记成本远高于分类任务,但用于目标检测的半监督学习方法还没有得到太多的研究。本文提出了一种基于插值的半监督学习目标检测方法(ISD),该方法考虑并解决了传统的插值正则化(IR)直接应用于目标检测所带来的问题。我们根据IR中混合的两个原始补丁的对象性得分将模型的输出分为两种类型。然后,我们以无监督的方式应用适合于每种类型的单独损失。提出的损失显着提高性能的半监督学习以及监督学习。在监督学习设置中,我们的方法显著地改进了基线方法。在半监督学习环境中,我们的算法提高了性能的基准数据集(PASCAL VOC和MSCOCO)在基准架构(SSD)。
2020-12-29 cs.CV
DINOv2 Meets Text: A Unified Framework for Image- and Pixel-Level Vision-Language Alignment
Meta FAIR;Université Paris-Saclay(巴黎-萨克雷大学);CentraleSupélec(中央高等电力学院);POSTECH(浦项科技大学);Univ. Grenoble Alpes(格勒诺布尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院)
提出dino.txt框架,通过改进LiT训练策略并引入[CLS]词元与patch平均值拼接及多模态数据整理,使DINOv2实现视觉-语言对齐,以极低计算成本在零样本分类和开放词汇语义分割任务上达到最先进水平。
2024-12-20 cs.CV
Not-so-supervised: a survey of semi-supervised, multi-instance, and transfer learning in medical image analysis
Eindhoven University of Technology(埃因霍温理工大学);Erasmus Medical Center(伊拉斯谟医学中心);University of Copenhagen(哥本哈根大学);University Medical Center Utrecht(乌得勒支大学医学中心)
机器学习(ML)算法在医学成像领域产生了巨大的影响。虽然医学成像数据集的规模一直在增长,但经常提到的监督ML算法面临的挑战是缺乏注释数据。因此,已经提出了可以在较少/其他类型的监督下学习的各种方法。我们回顾了医学成像中的半监督、多实例和迁移学习,无论是在诊断/检测还是分割任务中。我们还讨论了这些学习场景之间的联系,以及未来研究的机会。
2018-09-14 cs.CV
SelfPrompt: Confidence-Aware Semi-Supervised Tuning for Robust Vision-Language Model Adaptation
Queen’s University, Canada(女王大学)
本文提出SelfPrompt,一种用于视觉语言模型的半监督提示微调方法,通过聚类引导的伪标签和置信度感知学习模块解决伪标签噪声问题,并在13个数据集上显著超越现有方法。
2025-01-28 cs.CV
Analysis of Semi-Supervised Methods for Facial Expression Recognition
Queen’s University(女王大学);Ingenuity Labs Research Institute(Ingenuity Labs研究院)
训练用于图像识别的深度神经网络通常需要大规模的人类注释数据。为了减少深度神经解决方案对标记数据的依赖,文献中已经提出了最先进的半监督方法。尽管如此,这种半监督方法的使用在面部表情识别(FER)领域中还是相当罕见的。在本文中,我们提出了一个全面的研究,最近提出的国家的最先进的半监督学习方法的背景下,FER。我们对八种半监督学习方法进行了比较研究,即Pi模型,伪标签,平均教师,增值税,混合匹配,ReMixMatch,UDA和FixMatch,在三个FER数据集(FER 13,RAF-DB和AffectNet)上,当使用不同数量的标记样本时。我们还比较了这些方法与完全监督训练的性能。我们的研究表明,当训练现有的半监督方法时,每个类只有250个标记样本,可以产生与在完整标记数据集上训练的全监督方法相当的性能。为了方便在这一领域的进一步研究,我们将我们的代码公开在:https://github.com/ShuvenduRoy/SSL_FER
2022-07-31 cs.CV
UniMoCo: Unsupervised, Semi-Supervised and Full-Supervised Visual Representation Learning
Tencent Wechat AI(腾讯微信AI);South China University of Technology(华南理工大学)
动量对比度(MoCo)在无监督视觉表示方面取得了巨大的成功。然而,有很多监督和半监督数据集已经被标记。为了充分利用标签注释,我们提出了统一动量对比(UniMoCo),它扩展了MoCo以支持任意比例的标记数据和未标记数据训练。与MoCo相比,UniMoCo有以下两个改进:(1)与MoCo中的单个正对不同,我们通过将查询标签与标签队列进行比较来动态维护多个正对。(2)我们提出了一个统一的对比(UniCon)损失,以支持任意数量的积极和消极的统一成对优化的角度。我们的UniCon算法在理论和实践上都比监督对比损失算法更加合理和有效。在我们的实验中,我们使用不同比例的ImageNet标签预训练多个UniMoCo模型,并评估各种下游任务的性能。实验结果表明,UniMoCo对无监督、半监督和有监督的视觉表示学习都有很好的泛化能力。
2021-03-19 cs.CV
Boosting Semi-Supervised 3D Object Detection with Semi-Sampling
Zhejiang University(浙江大学);Beijing Aircraft Technology Research Institute(北京飞机技术研究院);Shanghai AI Laboratory(上海人工智能实验室)
当前的3D目标检测方法严重依赖于大量的注释。半监督学习可以用来缓解这个问题。以前的半监督3D目标检测方法直接遵循全监督方法的实践来增强标记和未标记的数据,这是次优的。在本文中,我们设计了一个数据增强方法的半监督学习,我们称之为半采样。具体来说,我们使用地面真值标签和伪标签分别在标记帧和未标记帧上裁剪gt样本和伪样本。然后我们可以生成一个gt样本数据库和一个伪样本数据库。在训练教师-学生半监督框架时,我们随机选取gt样本和伪样本到标记帧和未标记帧中,对它们进行强数据增强。我们的半采样可以看作是gt采样到半监督学习的一个扩展。我们的方法简单但有效。我们不断改进ScanNet、SUN-RGBD和KITTI基准测试的最先进方法。例如,当在ScanNet上仅使用10%的标记数据进行训练时,我们在mAP@0.25和mAP@0.5方面比3DIoUMatch提高了3.1 mAP和6.4 mAP。当在KITTI上仅使用1%的标记数据进行训练时,我们在汽车、行人和骑自行车的类别上将3DIoUMatch提高了3.5 mAP、6.7 mAP和14.1 mAP。代码将在https://github.com/LittlePey/Semi-Sampling上公布。
2022-11-15 cs.CV
HiViT: Hierarchical Vision Transformer Meets Masked Image Modeling
University of Chinese Academy of Sciences(中国科学院大学);Fudan University(复旦大学)
近年来,掩码图像建模(MIM)为视觉Transformer的自监督预训练提供了一种新的方法。高效实现的关键思想是在整个目标网络(编码器)中丢弃被掩蔽的图像块(或令牌),这要求编码器是普通的视觉Transformer(例如,ViT),尽管是分层的视觉Transformer(例如,Swin Transformer)在制定视觉输入方面具有潜在的更好的性质。在本文中,我们提出了一种新的设计分层视觉Transformer命名为HiViT(简称分层ViT),享有高效率和良好的性能在MIM。关键是去除不必要的“局部单元间操作”,得到结构简单的分层视觉Transformer,其中掩模单元可以像普通视觉Transformer一样被序列化。为此,我们从Swin Transformer开始,并且(i)将掩码单元大小设置为Swin Transformer的主阶段中的令牌大小,(ii)在主阶段之前关闭单元间自关注,以及(iii)消除主阶段之后的所有操作。实证研究证明了HiViT在全监督、自监督和迁移学习方面的优越性能。特别是,在ImageNet-1 K上运行MAE时,HiViT-B报告比ViT-B准确率提高了+0.6%,比Swin-B提高了1.9 $\times$速度,并且性能提高适用于检测和分割的下游任务。代码将公开提供。
2022-05-30 cs.CV
Semi-Supervised Deep Learning for Fully Convolutional Networks
Technical University of Munich(慕尼黑工业大学);Johns Hopkins University(约翰斯·霍普金斯大学)
深度学习通常需要大量标记的训练数据,但是注释数据是昂贵且繁琐的。半监督学习的框架提供了使用标记数据和任意数量的未标记数据进行训练的方法。最近,半监督深度学习已被广泛研究用于标准CNN架构。然而,全卷积网络(FCN)为许多图像分割任务提供了最先进的技术。据我们所知,还没有现有的半监督学习方法用于这种FCN。本文借助随机特征嵌入的思想,将半监督学习中的辅助流形嵌入的概念提升到模糊控制网络中。在我们的实验中,具有挑战性的任务MS病变分割,我们利用所提出的框架的目的领域自适应和报告的基线模型的实质性改进。
2017-07-25 cs.CV
S4L: Self-Supervised Semi-Supervised Learning
Google Research(谷歌研究院)
这项工作解决了图像分类器的半监督学习问题。我们的主要观点是,半监督学习领域可以受益于快速发展的自监督视觉表示学习领域。结合这两种方法,我们提出了自监督半监督学习的框架,并使用它来获得两个新的半监督图像分类方法。我们证明了这些方法的有效性相比,精心调整的基线,和现有的半监督学习方法。然后,我们证明了我们的方法和现有的半监督方法可以联合训练,在半监督ILSVRC-2012上产生了一个新的最先进的结果,标签数为10%。
2019-07-23 cs.CV cs.LG
When hard negative sampling meets supervised contrastive learning
University of Glasgow(格拉斯哥大学)
针对监督对比损失忽略难负样本挖掘的问题,提出融入难负样本采样的微调阶段监督对比学习目标SCHaNe,无需额外资源即可提升多项基准准确率,刷新ImageNet-1k基础模型SOTA。
2023-08-28 cs.AI cs.CV cs.LG
There is More than Meets the Eye: Self-Supervised Multi-Object Detection and Tracking with Sound by Distilling Multimodal Knowledge
University of Freiburg(弗莱堡大学)
物体固有的声音属性可以提供有价值的线索来学习用于目标检测和跟踪的丰富表示。此外,可以利用视频中视听事件的共现,通过仅监视环境中的声音来定位图像场中的对象。到目前为止,这仅在相机是静态的并且用于单个目标检测的场景中是可行的。此外,这些方法的鲁棒性受到限制,因为它们主要依赖于对照明和天气变化非常敏感的RGB图像。在这项工作中,我们提出了一种新的自监督MM-DistillNet框架,该框架由多个教师组成,这些教师利用包括RGB,深度和热图像在内的多种形式,同时利用互补线索并将知识提取到单个音频学生网络中。我们提出了新的MTA损失函数,有利于蒸馏的信息,从多模态教师在自我监督的方式。此外,我们提出了一种新的自我监督的借口任务的音频学生,使我们能够不依赖于劳动密集型的手动注释。我们引入了一个大规模的多模态数据集,其中包含超过113,000个RGB,深度,热量和音频模态的时间同步帧。大量的实验表明,我们的方法优于最先进的方法,同时能够在推理过程中甚至在移动时仅使用声音来检测多个对象。
2021-03-01 cs.CV cs.LG cs.RO
Vehicle Trajectory Prediction by Transfer Learning of Semi-Supervised Models
Columbia University(哥伦比亚大学)
在这项工作中,我们表明,用于车辆轨迹预测的半监督模型显着提高了最先进的现实世界基准上的监督模型的性能。从监督模型到半监督模型允许通过使用未标记数据进行扩展,将预训练中的图像数量从数百万增加到10亿。我们进行消融研究,比较半监督和监督模型的迁移学习,同时保持所有其他因素相同。在半监督模型中,我们比较了对比学习与师生方法,以及预测少量轨迹的网络与预测大轨迹集上概率的网络。我们的结果使用低级别和中级表示的驾驶环境证明了半监督方法的适用性,为现实世界的车辆轨迹预测。
2020-10-10 cs.CV cs.LG
Semi-supervised Learning with Robust Loss in Brain Segmentation
University of Southern California(南加州大学)
在这项工作中,我们使用半监督学习方法来训练深度学习模型,可以分割大脑MRI图像。半监督模型使用较少的标记数据,并且性能与全标记数据的监督模型竞争。该框架可以降低标记MRI图像的成本。我们还引入了鲁棒损失来减少半监督学习中产生的不准确标签的噪声影响。
2022-12-03 cs.CV eess.IV
Colour augmentation for improved semi-supervised semantic segmentation
University of East Anglia(东英吉利大学)
一致性正则化描述了一类已经产生了最先进的半监督分类结果的方法。虽然半监督语义分割被证明是更具挑战性的,但最近已经提出了许多成功的方法。最近的工作探讨了使用一致性正则化分割问题所涉及的挑战。Chen等人在他们的自监督工作中发现,颜色增强阻止了分类网络使用图像颜色统计作为通过实例判别进行自监督学习的捷径。从中汲取灵感,我们发现类似的问题阻碍了半监督语义分割,并提供颜色增强作为解决方案,提高了半监督语义分割在具有挑战性的摄影图像上的性能。
2021-10-09 cs.CV cs.LG
More Than Meets the Eye: Self-Supervised Depth Reconstruction From Brain Activity
The Weizmann Institute of Science(魏茨曼科学研究所)
在过去的几年里,使用深度学习工具从fMRI大脑记录中重建观察到的自然图像取得了重大进展。在这里,我们第一次表明,观察到的2D自然图像的密集3D深度图也可以直接从fMRI大脑记录中恢复。我们使用一种现成的方法来估计自然图像的未知深度图。这适用于以下两种情况:(1)在功能磁共振成像扫描仪中呈现给受试者的少量图像(我们有功能磁共振成像记录的图像-称为“配对”数据),以及(2)大量没有功能磁共振成像记录的自然图像(“非配对数据”)。然后将估计的深度图用作辅助重建标准,以直接从fMRI进行深度重建的训练。我们提出了两种主要的方法:仅深度恢复和联合图像深度RGBD恢复。由于可用的“配对”训练数据(具有fMRI的图像)的数量很少,我们通过对许多“未配对”数据(没有fMRI的自然图像和深度图)进行自监督循环一致性训练来丰富训练数据。这是使用我们新定义和训练的基于深度的感知相似性度量作为重建标准来实现的。我们表明,预测的深度图直接从功能磁共振成像优于其间接顺序恢复重建图像。我们进一步表明,从早期皮层视觉区的激活占主导地位,我们的深度重建结果,并提出手段来表征功能磁共振成像体素的深度信息调整的程度。这项工作增加了一个重要的解码信息层,扩展了目前视觉大脑解码能力的范围。
2022-03-22 cs.CV cs.LG q-bio.NC