Self-Supervised Spatially Variant PSF Estimation for Aberration-Aware Depth-from-Defocus
Tokyo Institute of Technology(东京工业大学)
针对真实相机空间变化PSF难以标定的问题,提出利用清晰/模糊图像对的自监督PSF估计方法,引入旋转对称假设、极坐标建模并处理对焦呼吸,提升DfD深度估计性能。
2024-02-28 cs.CV eess.IV
Graph-Theoretic Consistency for Robust and Topology-Aware Semi-Supervised Histopathology Segmentation
Student(学生)
提出拓扑图一致性(TGC)框架,通过对齐预测图与参考图的拉普拉斯谱、组件计数和邻接统计,在仅5-10%标注下实现最先进的半监督分割性能。
2025-11-13 cs.CV eess.IV
Uncertainty-Aware Semi-Supervised Learning for Prostate MRI Zonal Segmentation
Radboudumc(拉德堡德大学医学中心)
提出一种不确定性感知的半监督学习方法,利用伪标签排序自动选择高质量标注,仅用部分未标注数据提升前列腺MRI分区分割性能,Dice系数显著提高。
2023-05-10 cs.CV eess.IV
Scale-aware Adaptive Supervised Network with Limited Medical Annotations
Xiamen University(厦门大学);University of Washington(华盛顿大学);Department of Radiation Oncology, UT Southwestern Medical Center(放射肿瘤科,德克萨斯西南医学中心)
SASNet通过引入尺度感知自适应重加权、视点差异增强和分割-回归一致性学习,解决半监督医学图像分割中标注稀缺、视点差异和多尺度特征整合不足的问题,实现有限标注下的高性能分割。
2026-01-02 cs.AI cs.CV eess.IV
Background-Aware Pooling and Noise-Aware Loss for Weakly-Supervised Semantic Segmentation
Yonsei University(延世大学)
我们解决的问题,弱监督语义分割(WSSS)使用限界框注释。虽然对象边界框是分割相应对象的良好指示器,但它们不指定对象边界,使得难以训练卷积神经网络(CNN)进行语义分割。我们发现,背景区域在图像中部分是感知一致的,这可以用来区分对象边界框内的前景和背景区域。为了实现这一想法,我们提出了一种新的池化方法,称为背景感知池化(BAP),它更侧重于使用注意力地图聚合边界框内的前景特征。这允许提取高质量的伪分割标签来训练CNN进行语义分割,但标签仍然包含噪声,特别是在对象边界处。为了解决这个问题,我们还引入了噪声感知损失(NAL),使网络不太容易受到错误标签的影响。实验结果表明,在PASCAL VOC 2012数据集上,使用我们的伪标签学习的性能已经超过了最先进的弱监督和半监督方法,NAL进一步提高了性能。
2021-04-02 cs.CV
FCL-COD: Weakly Supervised Camouflaged Object Detection with Frequency-aware and Contrastive Learning
Tsinghua University(清华大学);Soochow University(苏州大学)
提出频率感知低秩适应(FoRA)和梯度感知对比学习,解决弱监督伪装目标检测中非伪装响应、局部/极端响应及边界模糊问题,在三个基准上超越现有弱监督和部分全监督方法。
2026-07-02 cs.CV
Self-supervised Implicit Glyph Attention for Text Recognition
Shanghai Jiao Tong University(上海交通大学)
针对场景文本识别中隐式注意力对齐漂移及监督注意力需额外标注的问题,提出自监督隐式字形注意力(SIGA),通过联合文本分割与注意力对齐提升注意力正确性,在公开及无上下文基准上显著优于现有方法。
2023-05-15 cs.CV
Self-Supervised Video Object Segmentation by Motion-Aware Mask Propagation
The University of Western Australia(西澳大学);Griffith University(格里菲斯大学)
我们提出了一种自监督的时空匹配方法,创造运动感知掩码传播(MAMP),视频对象分割。MAMP利用帧重建任务进行训练,而无需注释。在推理过程中,MAMP从每个帧中提取高分辨率特征,以根据所选过去帧的特征以及预测掩码来构建存储体。然后,MAMP传播的存储体的后续帧的掩模,根据我们提出的运动感知时空匹配模块,以处理快速运动和长期匹配的情况。在DAVIS-2017和YouTube-VOS数据集上的评估表明,与现有的自监督方法相比,MAMP实现了最先进的性能,具有更强的泛化能力,即,DAVIS-2017上的平均J&F比最接近的竞争对手高4.2%,YouTube-VOS上看不见的类别的平均J&F比最接近的竞争对手高4.85%。此外,MAMP执行与许多监督视频对象分割方法。我们的代码可在https://github.com/bo-miao/MAMP上获得。
2021-10-28 cs.CV
Location-Aware Self-Supervised Transformers for Semantic Segmentation
Google Research(谷歌研究院)
像素级标签的获取成本特别高。因此,预训练是改进语义分割等任务模型的关键步骤。然而,用于预训练神经网络的突出算法使用图像级目标,例如图像分类、CLIP的图文对齐或自监督对比学习。这些目标不对空间信息进行建模,这可能在使用空间推理对下游任务进行微调时是次优的。在这项工作中,我们使用位置感知(LOCA)自监督方法预训练网络,该方法可以促进强密集特征的出现。具体来说,我们使用补丁级聚类方案来挖掘密集的伪标签和相对位置预测任务,以鼓励学习对象的部分及其空间排列。我们的实验表明,LOCA预训练导致的表示,竞争性地转移到具有挑战性和多样性的语义分割数据集。
2023-03-15 cs.CV
Integrating Object-aware and Interaction-aware Knowledge for Weakly Supervised Scene Graph Generation
Zhejiang University(浙江大学);Columbia University(哥伦比亚大学)
最近,越来越多的努力已经集中在弱监督场景图生成(WSSGG)。WSSGG的主流解决方案通常遵循相同的管道:它们首先在弱图像级监督中对齐文本实体(例如,未局部化的关系三元组或标题)与图像区域,然后用对齐的实例级“伪”标签以完全监督的方式训练SGG模型。然而,我们认为,大多数现有的WSSGG作品只关注对象一致性,这意味着接地区域应该有相同的对象类别标签的文本实体。虽然他们忽略了理想对齐的另一个基本要求:相互作用一致性,这意味着接地区域对应该具有相同的相互作用(即,视觉关系)作为文本实体对。因此,在本文中,我们提出了增强一个简单的接地模块与对象感知和交互感知的知识,以获得更可靠的伪标签。为了更好地利用这两类知识,我们将它们视为两个教师,并将其生成的目标融合在一起,指导我们接地模块的培训过程。具体来说,我们设计了两种不同的策略,通过评估每个训练样本的可靠性来自适应地为不同的教师分配权重。大量的实验表明,我们的方法不断提高WSSGG性能的各种弱监督。
2022-08-03 cs.CV
ContextLocNet: Context-Aware Deep Network Models for Weakly Supervised Localization
Inria(法国国家信息与自动化研究所);ENS(巴黎高等师范学院);CNRS(法国国家科学研究中心)
我们的目标是只使用图像级监督来定位图像中的对象。以前的方法主要集中在区分对象区域,往往无法定位精确的对象边界。我们解决这个问题,通过引入两种类型的上下文感知的指导模型,添加剂和对比模型,利用其周围的上下文区域,以提高本地化。加性模型鼓励预测的对象区域由其周围的上下文区域支持。对比模型鼓励预测的对象区域从其周围的上下文区域突出。我们的方法受益于卷积神经网络最近在对象识别方面的成功,并将Fast R-CNN扩展到弱监督对象定位。对PASCAL VOC 2007和2012基准测试的广泛实验评估表明,我们的上下文感知方法显着提高了弱监督定位和检测。
2016-09-14 cs.CV
MetaSSP: Enhancing Semi-supervised Implicit 3D Reconstruction through Meta-adaptive EMA and SDF-aware Pseudo-label Evaluation
Doctoral Program in Empowerment Informatics(赋能信息学博士项目);University of Tsukuba(茨ukuba大学);Center for Computational Science(计算科学中心)
MetaSSP通过元适应性EMA和SDF-aware伪标签评估,提升半监督隐式3D重建的精度和效率,达到新的技术水平。
2026-02-05 cs.CV
Instance-aware, Context-focused, and Memory-efficient Weakly Supervised Object Detection
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);NVIDIA(英伟达)
弱监督学习通过减少训练过程中对强监督的需求,已经成为目标检测的一种引人注目的工具。然而,主要的挑战仍然存在:(1)对象实例的区分可能是模糊的;(2)检测器倾向于关注有区别的部分,而不是整个对象;(3)没有地面真理,对象建议必须是冗余的高召回,导致显着的内存消耗。应对这些挑战是困难的,因为它往往需要消除不确定性和琐碎的解决方案。针对这些问题,我们开发了一个实例感知和上下文为中心的统一框架。它采用了一个实例感知的自训练算法和一个可学习的混凝土DropBlock,同时设计了一个内存高效的顺序批量反向传播。我们提出的方法在COCO($12.1\% ~AP$,$24.8\% ~AP_{50}$),VOC 2007($54.9\% ~AP$)和VOC 2012($52.1\% ~AP$)上实现了最先进的结果,大大提高了基线。此外,该方法是第一个基准ResNet为基础的模型和弱监督视频目标检测。代码、模型和更多细节将在https://github.com/NVlabs/wetectron上提供。
2020-10-21 cs.CV cs.LG eess.IV
Semi-supervised Viewpoint Estimation with Geometry-aware Conditional Generation
University of Edinburgh(爱丁堡大学)
人们对开发可以从有限的监督中学习的计算机视觉方法越来越感兴趣。在本文中,我们考虑的问题,学习预测相机的观点,获得地面实况注释是昂贵的,需要特殊的设备,从有限数量的标记图像。我们提出了一种半监督的视点估计方法,可以学习从未标记的图像对中推断视点信息,其中两个图像的视点变化不同。特别是,我们的方法通过结合第一个图像的外观和第二个图像的视点来学习合成第二个图像。我们证明,我们的方法显着提高了监督技术,特别是在低标签制度,并优于最先进的半监督方法。
2021-04-02 cs.CV
UCAD: Uncertainty-guided Contour-aware Displacement for semi-supervised medical image segmentation
University of Science and Technology of China(科学技术大学);Suzhou Institute for Advanced Research(苏州先进研究院);State Key Laboratory of Precision and Intelligent Chemistry(精密与智能化学国家重点实验室)
UCAD通过基于不确定性的轮廓感知位移框架,提升半监督医学图像分割的准确性和一致性学习效果。
2026-01-24 cs.CV
Self-supervised Learning of Occlusion Aware Flow Guided 3D Geometry Perception with Adaptive Cross Weighted Loss from Monocular Videos
基于自监督深度学习的3D场景理解方法可以克服获取密集标记的地面实况的困难,并且已经取得了很多进展。然而,遮挡和移动对象仍然是一些主要的限制。在本文中,我们探讨了可学习的遮挡感知光流引导的自监督深度和相机姿态估计的自适应交叉加权损失,以解决上述限制。首先,我们探索训练可学习的遮挡掩模融合光流网络的遮挡感知光度损失的时间补充信息和相邻视图的前后一致性。在此基础上,设计了一种自适应的深度位姿损失与几何和光度误差的光流损失交叉加权方法,以区分违反静态场景假设的运动目标。我们的方法在多个任务下对KITTI,Make3D和Cityscapes数据集显示了有希望的结果。我们也表现出良好的泛化能力,在各种具有挑战性的情况下。
2021-10-22 cs.CV
LoGAN: Latent Graph Co-Attention Network for Weakly-Supervised Video Moment Retrieval
Boston University(波士顿大学);University of California, Berkeley(加州大学伯克利分校)
弱监督视频矩检索的目标是定位与给定自然语言查询最相关的视频片段,而无需在训练期间访问时间注释。之前的强监督和弱监督方法通常利用共同注意力机制来学习用于本地化的视觉语义表示。然而,虽然这样的方法倾向于集中于识别视频的元素和语言模态之间的关系,但在给定查询的语义上下文的情况下,对视频帧之间的关系上下文建模的强调较少。因此,建立在局部框架特征上的上述视觉语义表示不包含太多上下文信息。为了解决这一限制,我们提出了一个潜在的图形共同注意力网络(LoGAN),利用细粒度的逐词交互帧之间的对应关系的原因,给定的语义上下文的查询。在两个数据集DiDeMo和Charades-Sta上进行的综合实验证明了我们提出的潜在共同注意力模型的有效性,它比当前最先进的(SOTA)弱监督方法有很大的优势。值得注意的是,它甚至比DiDeMo上的强监督SOTA方法的Recall@1准确率提高了11%。
2020-03-28 cs.CV cs.LG eess.IV
Self-Supervised Implicit Attention: Guided Attention by The Model Itself
Southwest Jiaotong University(西南交通大学)
我们提出了自监督内隐注意力(SSIA),这是一种新方法,它通过利用模型本身的属性自适应地引导深度神经网络模型获得注意力。SSIA是一种新颖的注意力机制,与现有的注意力机制不同,它在推理过程中不需要任何额外的参数、计算和内存访问开销。简而言之,通过将注意力权重视为更高级别的语义信息,我们重新考虑了现有注意力机制的实现,并进一步提出从更高的网络层生成监督信号,以指导更低的网络层进行参数更新。我们通过使用网络本身的分层特征构建一个自监督学习任务来实现这一点,该任务仅在训练阶段起作用。为了验证SSIA的有效性,我们在卷积神经网络模型中执行了一个特定的实现(称为SSIA块),并在几个图像分类数据集上进行了验证。实验结果表明,SSIA块可以显著提高模型性能,甚至优于许多需要额外参数和计算成本的流行注意力方法,如挤压和激励和卷积块注意力模块。我们的实现将在GitHub上提供。
2022-07-21 cs.CV
Saliency Guided Self-attention Network for Weakly and Semi-supervised Semantic Segmentation
Zhejiang University(浙江大学)
弱监督语义分割(WSSS)只使用图像级标签可以大大降低标注成本,因此吸引了相当大的研究兴趣。然而,其性能仍然不如完全监督的同行。为了缓解性能差距,我们提出了一个显着性引导的自我注意力网络(SGAN)来解决WSSS问题。引入的自我注意力机制能够捕获丰富而广泛的上下文信息,但可能会将注意力错误地传播到意想不到的区域。为了使该机制能够在弱监督下有效地工作,我们将类不可知的显着性先验集成到自我注意力机制中,并利用类特定的注意力线索作为SGAN的额外监督。我们的SGAN能够产生密集和准确的定位线索,从而提高分割性能。此外,通过简单地用部分标记的地面实况替换额外的监督,SGAN也有效地用于半监督语义分割。在PASCAL VOC 2012和COCO数据集上的实验表明,我们的方法在弱监督和半监督环境下的性能优于所有其他最先进的方法。
2020-01-12 cs.CV
Decoupled Spatial Neural Attention for Weakly Supervised Semantic Segmentation
Nanyang Technological University(南洋理工大学);The University of Adelaide(阿德莱德大学)
弱监督的语义分割得到了很多研究的关注,因为它强调了需要获得大量的密集像素明智的地面实况注释的训练图像。与其他形式的弱监督相比,图像标签的获取效率相当高。在我们的工作中,我们专注于弱监督语义分割与图像标签标注。这项任务的最新进展在很大程度上取决于生成的伪注释的质量。在这项工作中,灵感来自空间神经注意图像描述,我们提出了一个解耦的空间神经注意网络生成伪注释。我们的解耦注意力结构可以同时识别目标区域和定位有区别的部分,在一个前向路径中生成高质量的伪注释,生成的伪注释导致分割结果,达到了最先进的弱监督语义分割。
2018-03-07 cs.CV
Frequency-Aware Self-Supervised Long-Tailed Learning
National Taiwan University(台湾大学);NVIDIA(英伟达)
针对无标签且呈长尾分布的真实数据,提出频率感知自监督学习方法FASSL,通过学习反映长尾分布的频率感知原型并特别关注稀有类样本,为下游分类任务产生判别性特征表示。
2023-09-15 cs.CV
SAFENet: Self-Supervised Monocular Depth Estimation with Semantic-Aware Feature Extraction
NAVER LABS(NAVER实验室);Korea Advanced Institute of Science and Technology(韩国科学技术院)
自监督单目深度估计已经成为一种有前途的方法,因为它在训练期间不需要地面实况深度图。作为地面实况深度图的替代方案,光度损失使得能够通过匹配输入图像帧来提供对深度预测的自我监督。然而,光度损失导致各种问题,导致与监督方法相比不太准确的深度值。在本文中,我们提出了SAFENet,旨在利用语义信息来克服光度损失的局限性。我们的核心思想是利用语义感知的深度功能,集成的语义和几何知识。因此,我们引入多任务学习方案,将语义感知到深度特征的表示中。KITTI数据集上的实验表明,我们的方法竞争,甚至优于国家的最先进的方法。此外,在不同数据集上的大量实验表明,该算法具有更好的泛化能力和对各种条件的鲁棒性,如弱光或恶劣天气。
2020-12-29 cs.CV
Budget-aware Semi-Supervised Semantic and Instance Segmentation
Barcelona Supercomputing Center(巴塞罗那超级计算中心);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
转向较少监督场景的方法是图像分割的关键,因为密集标签需要大量的人为干预。一般来说,通过用较弱的监督形式标记数据集来减轻注释负担,例如图像级标签或边界框。另一种选择是半监督设置,通常利用一些强注释和大量未标记/弱标记数据。在本文中,我们重新审视了半监督分割方案,并与以前的方法相比显着缩小了注释预算(就训练集的总标记时间而言)。通过一个非常简单的管道,我们证明了在低注释预算下,半监督方法在语义和实例分割方面都远远优于弱监督方法。我们的方法也优于以前的半监督作品,大大降低了标签成本。我们提出了Pascal VOC基准测试的结果,并通过考虑总注释预算来统一弱监督和半监督方法,从而使方法之间的比较更加公平。
2019-05-23 cs.CV
Uncertainty-aware Self-ensembling Model for Semi-supervised 3D Left Atrium Segmentation
The Chinese University of Hong Kong(香港中文大学)
训练深度卷积神经网络通常需要大量的标记数据。然而,它是昂贵的和耗时的注释数据的医学图像分割任务。在本文中,我们提出了一种新的不确定性意识的半监督框架,从三维MR图像的左心房分割。我们的框架可以有效地利用未标记的数据,鼓励在不同的扰动下对相同的输入进行一致的预测。具体地,该框架由学生模型和教师模型组成,并且学生模型通过最小化关于教师模型的目标的分割损失和一致性损失来从教师模型学习。我们设计了一个新的不确定性感知方案,使学生模型逐渐学习有意义的和可靠的目标,利用不确定性信息。实验表明,我们的方法实现了高性能增益,通过合并未标记的数据。我们的方法优于最先进的半监督方法,证明了我们的框架具有挑战性的半监督问题的潜力。
2019-07-16 cs.CV
Attention meets Geometry: Geometry Guided Spatial-Temporal Attention for Consistent Self-Supervised Monocular Depth Estimation
Technical University of Munich(慕尼黑工业大学)
在时间上连续的图像的元组上推断几何上一致的密集3D场景对于自监督单目深度预测流水线仍然具有挑战性。本文探讨了日益流行的Transformer架构以及新颖的正则化损耗公式如何在保持精度的同时提高深度一致性。我们提出了一个空间注意力模块,相关的粗深度预测,聚合局部几何信息。一种新的时间注意力机制进一步处理跨连续图像的全局上下文中的局部几何信息。此外,我们引入了框架之间的几何约束正则化的光度周期的一致性。通过结合我们提出的正则化和新颖的时空注意力模块,我们充分利用了单目帧之间基于几何和外观的一致性。与以前的方法相比,这产生了几何上有意义的注意力,并提高了时间深度稳定性和准确性。
2021-10-15 cs.CV
MonoDVPS: A Self-Supervised Monocular Depth Estimation Approach to Depth-aware Video Panoptic Segmentation
Technical University of Cluj-Napoca(克卢日-纳波卡技术大学)
深度感知视频全景分割解决了从视频序列恢复全景3D点云的逆投影问题,其中3D点用语义类和时间一致的实例标识符来增强。我们提出了一种新的解决方案,多任务网络,执行单目深度估计和视频全景分割。由于获取用于深度和图像分割的地面真实标签具有相对较大的成本,因此我们利用具有自监督单目深度估计的未标记视频序列的能力和来自用于视频全景分割的伪标签的半监督学习。为了进一步提高深度预测,我们引入了全景引导的深度损失和一种新的用于移动对象的全景掩蔽方案,以避免破坏训练信号。在Cityscapes-DVPS和SemKITTI-DVPS数据集上的大量实验表明,我们的模型与提出的改进实现了有竞争力的结果和快速的推理速度。
2022-10-14 cs.CV
Uncertainty-Aware Deep Co-training for Semi-supervised Medical Image Segmentation
Northeastern University(东北大学);The University of Auckland(奥克兰大学)
半监督学习在医学领域取得了重大进展,因为它减轻了为语义分割任务收集大量逐像素注释数据的沉重负担。现有的半监督方法增强了从有限的标记数据中获取先验知识的能力,从未标记数据中提取特征。然而,由于标记数据的稀缺性,监督学习中模型提取的特征有限,并且对未标记数据的预测质量也无法保证。这两种情况都会影响训练的连贯性。为此,我们提出了一种新的不确定性感知方案,使模型有目的地学习区域。具体地说,我们采用蒙特卡罗抽样作为一种估计方法,以获得一个不确定性地图,它可以作为一个权重的损失,迫使模型集中在有价值的区域根据监督学习和无监督学习的特点。同时,在后向过程中,我们通过增强不同任务之间的梯度流,将无监督损失和监督损失结合起来,以加速网络的收敛。量化,我们进行了广泛的实验上三个具有挑战性的医疗数据集。实验结果表明,国家的最先进的同行理想的改进。
2021-12-02 cs.CV
SelfPrompt: Confidence-Aware Semi-Supervised Tuning for Robust Vision-Language Model Adaptation
Queen’s University, Canada(女王大学)
本文提出SelfPrompt,一种用于视觉语言模型的半监督提示微调方法,通过聚类引导的伪标签和置信度感知学习模块解决伪标签噪声问题,并在13个数据集上显著超越现有方法。
2025-01-28 cs.CV
C$^3$PS: Context-aware Conditional Cross Pseudo Supervision for Semi-supervised Medical Image Segmentation
Shanghai Jiao Tong University(上海交通大学)
针对半监督医学图像分割,提出上下文感知条件交叉伪监督方法C$^3$PS,通过带类别条件的交叉伪监督结合上下文感知提升伪标签质量,训练后期可聚焦难分割器官,在两项任务上性能优于现有最优方法。
2023-06-14 cs.CV
Uncertainty-Aware Semi-Supervised Framework with Supervised Contrastive Learning for Sugarcane Leaf Disease Detection
针对甘蔗叶片病害检测中依赖大量标注数据的挑战,提出U-SSDNet半监督框架,结合离散小波变换、KL散度优化伪标签与监督对比学习,性能接近全监督模型且优于现有方法。
2026-10-14 cs.CV
GATCluster: Self-Supervised Gaussian-Attention Network for Image Clustering
Xidian University(西安电子科技大学);Tencent AI Healthcare(腾讯AI医疗);Rensselaer Polytechnic Institute(伦斯勒理工学院)
我们提出了一个自监督高斯注意力网络图像聚类(GATCluster)。GATCluster不是先提取中间特征,然后执行传统的聚类算法,而是直接输出语义聚类标签,无需进一步的后处理。从理论上讲,我们给出了一个标签特征定理,以保证学习的特征是一个热编码向量,并避免平凡的解决方案。为了以完全无监督的方式训练GATCluster,我们设计了四个具有变换不变性、可分性最大化、熵分析和注意力映射约束的自学习任务。具体来说,变换不变性和可分性最大化任务学习样本对之间的关系。熵分析任务旨在避免平凡的解决方案。为了捕捉面向对象的语义,我们设计了一个自我监督的注意力机制,其中包括一个参数化的注意力模块和软注意力损失。所有用于聚类的引导信号都是在训练过程中自生成的。此外,我们开发了一个两步的学习算法,是内存效率的聚类大尺寸的图像。大量的实验表明,我们提出的方法相比,国家的最先进的图像聚类基准的优越性。我们的代码已在https://github.com/niuchuangnn/GATCluster上公开发布。
2020-06-06 cs.CV cs.LG eess.IV
Geography-Aware Self-Supervised Learning
Stanford University(斯坦福大学);IIT Kharagpur(印度理工学院克勒格布尔分校)
对比学习方法显著缩小了计算机视觉任务上有监督学习和无监督学习之间的差距。在本文中,我们将探讨它们在地理定位数据集上的应用,例如遥感,其中未标记的数据通常很丰富,但标记的数据很少。我们首先表明,由于其不同的特点,一个不平凡的差距之间的对比和监督学习标准基准。为了缩小差距,我们提出了新的训练方法,利用遥感数据的时空结构。我们利用空间对齐的图像随着时间的推移,构建时间的积极对对比学习和地理位置设计文本前的任务。实验结果表明,该方法在遥感图像分类、目标检测和语义分割等方面弥补了对比学习和监督学习的不足。此外,我们还证明了所提出的方法也可以应用于地理标记的ImageNet图像,从而提高各种任务的下游性能。项目网页可以在这个链接geography-aware-ssl.github.io上找到。
2022-03-08 cs.CV
SIM: Semantic-aware Instance Mask Generation for Box-Supervised Instance Segmentation
The Hong Kong Polytechnic University(香港理工大学)
仅使用限界框注释的弱监督实例分割最近引起了很多研究关注。目前的大多数努力都利用低级别的图像特征作为额外的监督,而没有明确地利用对象的高级语义信息,当前景对象与背景或附近的其他对象具有相似的外观时,这将变得无效。我们提出了一个新的框监督实例分割方法,通过开发一个语义感知的实例掩码(SIM)生成范式。而不是严重依赖于相邻像素之间的局部成对的亲和力,我们构建了一组类别的特征质心作为原型来识别前景对象,并为它们分配语义级的伪标签。考虑到语义感知原型无法区分相同语义的不同实例,我们提出了一种自校正机制,以纠正错误激活的区域,同时增强正确的。此外,为了处理对象之间的遮挡,我们为弱监督实例分割任务定制了复制-粘贴操作,以增加具有挑战性的训练数据。大量的实验结果表明,我们提出的SIM方法比其他国家的最先进的方法的优越性。源代码:https://github.com/lslrh/SIM。
2023-03-14 cs.CV
Context-aware Self-supervised Learning for Medical Images Using Graph Neural Network
University of Pittsburgh(匹兹堡大学)
虽然自监督学习使我们能够通过利用未标记的数据来引导训练,但用于自然图像的通用自监督方法并没有充分结合上下文。对于医学图像,期望的方法应该足够灵敏以检测与每个解剖区域的正常外观组织的偏差;这里,解剖结构是背景。我们介绍了一种新的方法,具有两个层次的自我监督表示学习目标:一个在区域解剖水平上,另一个在患者水平上。我们使用图神经网络来整合不同解剖区域之间的关系。图的结构由每个患者与解剖图谱之间的解剖对应关系来告知。此外,图形表示具有以全分辨率处理任何任意大小的图像的优点。大规模计算机断层扫描(CT)数据集上的肺图像的实验表明,我们的方法相比,不考虑上下文的基线方法。我们使用学习的嵌入对与COVID-19相关的肺组织异常进行分期。
2022-07-06 cs.CV cs.LG eess.IV
Uncertainty-aware Self-supervised 3D Data Association
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所);Honda Research Institute(本田研究院)
3D对象跟踪器通常需要在大量带注释的数据上进行训练,这是昂贵且耗时的。相反,我们建议通过3D对象跟踪器的自监督度量学习来利用大量未标记的数据集,重点是数据关联。通过跨帧的自动目标检测和关联,廉价地获得未标记数据的大规模注释。我们展示了如何以原则性的方式使用这些自监督注释来学习对3D跟踪有效的点云嵌入。我们估计并将不确定性纳入自监督跟踪中,以学习更强大的嵌入,而不需要任何标记数据。我们设计嵌入来区分帧间的对象,并使用不确定性感知的自我监督训练来学习它们。最后,我们展示了他们跨帧执行准确数据关联的能力,以实现有效和准确的3D跟踪。项目视频和代码在https://jianrenw.github.io/Self-Supervised-3D-Data-Association。
2020-08-18 cs.CV cs.RO
Global-Supervised Contrastive Loss and View-Aware-Based Post-Processing for Vehicle Re-Identification
Qiannan Normal University for Nationalities(黔南民族师范学院);Guizhou University(贵州大学);Peng Cheng Laboratory(鹏城实验室);Guangxi Normal University(广西师范大学)
在本文中,我们提出了一个全局监督对比损失和基于视图感知的后处理(VABPP)方法的车辆重新识别领域。传统的有监督对比损失算法计算的是批内特征间的距离,具有局部性。虽然提出的全局监督对比损失具有新的性质,具有良好的全局属性,但训练过程中每个锚点的正负特征来自整个训练集。本文提出的VABPP方法是第一次将基于视觉感知的方法作为后处理方法应用于车辆再识别领域。VABPP的优点是,首先,它只在测试过程中使用,不影响训练过程。其次,作为一种后处理方法,它可以很容易地集成到其他训练的re-id模型中。将训练好的模型计算出的视对距离缩放系数矩阵直接应用于另一个训练好的re-id模型,VABPP方法大大提高了其性能,验证了VABPP方法的可行性。
2022-04-17 cs.CV
FGR: Frustum-Aware Geometric Reasoning for Weakly Supervised 3D Vehicle Detection
Tsinghua University(清华大学);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
在本文中,我们研究了弱监督的3D车辆检测问题。用于3D目标检测的常规方法需要大量的手动标记的3D数据作为监督信号。然而,注释大型数据集需要大量的人力,特别是对于3D区域。为了解决这个问题,我们提出了锥台感知几何推理(FGR)来检测点云中的车辆,而无需任何3D注释。我们的方法包括两个阶段:粗三维分割和三维限界框估计。在第一阶段,设计了一种上下文感知的自适应区域生长算法,基于二维包围盒分割对象。利用预测的分割掩模,我们开发了一种抗噪声方法来估计3D边界框在第二阶段。最后利用该方法生成的三维伪标签对三维检测器进行训练。独立于任何3D地面实况,FGR在KITTI数据集上达到了与完全监督方法相当的性能。研究结果表明,它能够准确地检测对象在三维空间中只有二维边界框和稀疏的点云。
2021-05-17 cs.CV
Poster: Self-Supervised Quantization-Aware Knowledge Distillation
Arizona State University(亚利桑那州立大学)
针对现有QAT依赖标签且量化导致精度下降的问题,提出自监督SQAKD框架,通过统一量化动态并协同优化KL损失与离散化误差,显著提升多种QAT方法性能。
2023-09-22 cs.AI cs.CV
Density-Aware Hyper-Graph Neural Networks for Graph-based Semi-supervised Node Classification
South China University of Technology(华南理工大学);Concordia University(康考迪亚大学)
基于图的半监督学习可以利用标记数据和未标记数据之间的连接关系,在许多人工智能应用中表现出优于最先进的技术。基于图的半监督节点分类算法最具挑战性的问题之一是如何利用数据间的隐含信息来提高分类性能。传统的基于图的半监督学习研究主要集中在数据之间的成对连接上。然而,实际应用中的数据相关性可能超出成对和更复杂。密度信息已被证明是一个重要的线索,但它很少深入探讨现有的基于图的半监督节点分类方法。为了开发一种灵活有效的基于图的半监督节点分类模型,我们提出了一种新的密度感知超图神经网络(DA-HGNN)。在我们提出的方法中,超图是用来探索数据之间的高阶语义相关性,并提出了一个密度感知的超图注意力网络来探索高阶连接关系。在不同的基准数据集上进行了大量的实验,结果表明了所提出的方法的有效性。
2022-01-27 cs.CV cs.LG
Nucleus-aware Self-supervised Pretraining Using Unpaired Image-to-image Translation for Histopathology Images
Beihang University(北京航空航天大学)
本文提出一种细胞核感知的自监督预训练框架,通过无配对图像到图像转换和实例分割引导策略捕获细胞核形态、分布及实例级信息,在多个分类、密集预测和半监督任务上优于监督及其他自监督方法。
2023-09-14 cs.CV
CaCL: Class-aware Codebook Learning for Weakly Supervised Segmentation on Diffuse Image Patterns
Vanderbilt University(范德堡大学);Vanderbilt University Medical Center(范德堡大学医学中心)
弱监督学习在生物医学图像分析中得到了快速发展,以从图像标注(分类)实现像素标签(分割),因为生物医学图像在许多情况下自然包含图像标签。来自计算机视觉界的当前弱监督学习算法主要是针对焦点对象(例如,狗和猫)。然而,这样的算法没有针对生物医学成像中的漫射图案(例如,染色和显微成像中的荧光)。在本文中,我们提出了一种新的类感知码本学习(CaCL)算法进行弱监督学习扩散图像模式。具体而言,CaCL算法被部署到从人类十二指肠的组织学图像中分割蛋白质表达的刷状缘区域。我们的贡献是三方面的:(1)我们从一个新的码本学习的角度来处理弱监督分割;(2)CaCL算法分割扩散图像模式,而不是焦点对象;(3)所提出的算法是在一个多任务框架的基础上实现的矢量量化-变分自编码器(VQ-VAE)通过联合图像重建,分类,特征嵌入,和分割。实验结果表明,我们的方法取得了优越的性能相比,基线弱监督算法。该代码可在https://github.com/ddrrnn123/CaCL上获得。
2022-04-13 cs.CV
Multi-Task Attention-Based Semi-Supervised Learning for Medical Image Segmentation
Erasmus MC(伊拉斯姆斯医学中心);University of Copenhagen(哥本哈根大学)
我们提出了一种新的半监督图像分割方法,同时优化监督分割和无监督重建目标。重建目标使用注意力机制,该机制将对应于不同类别的图像区域的重建分开。所提出的方法进行了评估两个应用程序:脑肿瘤和白质高信号分割。我们的方法在未标记和少量标记图像上训练,优于用相同数量的图像训练的监督CNN和在未标记数据上预训练的CNN。在消融实验中,我们观察到,所提出的注意力机制大大提高了分割性能。我们探讨了两种多任务训练策略:联合训练和交替训练。交替训练需要更少的超参数,并实现比联合训练更好,更稳定的性能。最后,我们分析了通过不同方法学习的特征,发现注意力机制有助于在编码器的更深层中学习更有区别的特征。
2019-07-29 cs.CV
Weakly Supervised Bilinear Attention Network for Fine-Grained Visual Classification
University of Chinese Academy of Sciences(中国科学院大学);Microsoft Research Asia(微软亚洲研究院)
对于细粒度的视觉分类,对象通常具有相似的几何结构,但呈现不同的局部外观和不同的姿态。因此,定位和提取区分性的局部特征在准确的类别预测中起着至关重要的作用。现有的工作要么关注有限的对象部分,要么训练孤立的网络进行定位和分类。在本文中,我们提出了弱监督双线性注意力网络(WS-BAN)来解决这些问题。该算法通过联合生成一组注意力图(region-of-interest maps)来表示物体各部分的位置,并通过双线性注意力池(BAP)提取连续的部分特征。此外,我们提出了注意正则化和注意丢弃来弱监督注意图的生成过程。WS-BAN可以进行端到端的训练,并在多个细粒度分类数据集上实现了最先进的性能,包括CUB-200-2011,Stanford Car和FGVC-Aircraft,这证明了它的有效性。
2019-02-28 cs.CV
Weakly-Supervised Multi-Level Attentional Reconstruction Network for Grounding Textual Queries in Videos
Hangzhou Dianzi University(杭州电子科技大学);Tencent AI Lab(腾讯AI实验室)
在视频中的时间接地文本查询的任务是本地化语义上对应于给定查询的一个视频片段。大多数现有的方法依赖于片段句子对(时间注释)进行训练,这在现实世界的场景中通常是不可用的。在这项工作中,我们提出了一个有效的弱监督模型,称为多级注意力重建网络(MARN),它只依赖于视频句子对在训练阶段。该方法利用注意力重建的思想,直接对候选片段进行评分。此外,另一个分支学习剪辑级的注意力被用来在训练和测试阶段改进建议。我们开发了一种新的提案采样机制,利用提案内信息来学习更好的提案表示,并采用2D卷积来利用提案间线索来学习可靠的注意力地图。在Charades-STA和ActivityNet-Captions数据集上的实验表明,我们的MARN优于现有的弱监督方法。
2020-03-16 cs.CV
Video Violence Recognition and Localization Using a Semi-Supervised Hard Attention Model
Amirkabir University of Technology(阿米尔卡比尔理工大学)
监控摄像机网络的显著增长需要可扩展的AI解决方案来有效分析这些网络产生的大量视频数据。视频暴力检测作为对监控录像进行分析的一种典型方法,近年来受到了广泛的关注。大多数研究集中在使用监督方法改进现有方法,很少关注半监督学习方法。在这项研究中,一个强化学习模型,可以通过半监督的方法优于现有的模型。该方法的主要创新之处在于引入了半监督硬注意力机制。使用硬注意力,视频的重要区域被识别并与数据的非信息部分分离。通过去除冗余数据并以更高的分辨率关注有用的视觉信息来提高模型的准确性。使用半监督强化学习算法实现硬注意力机制消除了对视频暴力数据集中注意力注释的需要,从而使它们易于应用。该模型利用预训练的I3D骨干来加速和稳定训练过程。该模型在RWF和Hockey数据集上分别实现了90.4%和98.7%的最新准确度。
2022-09-05 cs.CV cs.LG
Object-Aware Self-supervised Multi-Label Learning
Institute of Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);School of Electrical and Computer Engineering, National University of Singapore(新加坡国立大学电气与计算机工程学院)
图像数据上的多标签学习已经被广泛利用于深度学习模型。然而,在深度CNN模型上的监督训练通常无法发现足够的区分特征用于分类。因此,许多自我监督的方法被提出来学习更强大的图像表示。然而,大多数自监督方法都专注于单实例单标签数据,而对于具有多个对象的更复杂的图像则有所欠缺。因此,我们提出了一种对象感知的自我监督(OASS)方法,以获得更细粒度的表示多标签学习,动态生成辅助任务的基础上对象的位置。其次,可以利用OASS学习的鲁棒表示来以无提议的方式有效地生成类特定映射(CSI),以更好地引导多标签监督信号传输到实例。在VOC2012多标签分类数据集上进行的大量实验证明了该方法的有效性。
2022-07-13 cs.CV
Fine-grained Semantics-aware Representation Enhancement for Self-supervised Monocular Depth Estimation
Seoul National University(首尔大学);POSTECH(浦项科技大学)
自监督单目深度估计由于其重要的实际意义和近年来的发展前景而得到了广泛的研究。然而,大多数作品遭受有限的监督光度一致性,特别是在弱纹理区域和对象边界。为了克服这个弱点,我们提出了新的想法,以提高自我监督的单目深度估计,利用跨域的信息,特别是场景语义。我们专注于将隐含的语义知识几何表示增强,并提出两个想法:一个度量学习方法,利用语义引导的局部几何优化中间深度表示和一个新的功能融合模块,明智地利用两个异构特征表示之间的交叉模态。我们在KITTI数据集上全面评估了我们的方法,并证明我们的方法优于最先进的方法。源代码可在https://github.com/hyBlue/FSRE-Depth上获得。
2021-08-19 cs.CV
The Devil is in the Details: Self-Supervised Attention for Vehicle Re-Identification
University of Maryland(马里兰大学)
近年来,研究界已经接近的问题,车辆重新识别(re-id)与注意力为基础的模型,特别是专注于区域的车辆包含歧视性的信息。这些re-id方法依赖于昂贵的关键点标签,零件注释和其他属性,包括车辆制造,型号和颜色。考虑到大量具有各种注释级别的车辆re-id数据集,强监督方法无法跨不同领域扩展。在本文中,我们提出了自监督注意车辆重新识别(SAVER),一种新的方法来有效地学习车辆特定的判别特征。通过大量的实验,我们证明SAVER在具有挑战性的VeRi,VehicleID,Vehicle-1 M和VERI-Wild数据集上改进了最先进的技术。
2020-07-17 cs.CV
Occlusion-Aware Self-Supervised Monocular Depth Estimation for Weak-Texture Endoscopic Images
Jiangnan University(江南大学);Engineering Research Center of Intelligent Technology for Healthcare, Ministry of Education(教育部医疗智能技术工程研究中心)
提出一种遮挡感知的自监督单目深度估计框架,通过遮挡掩码数据增强和非负矩阵分解引导的语义分割生成伪标签,在弱纹理内窥镜图像上实现最先进的深度估计性能,并展现出良好的跨数据集泛化能力。
2025-04-24 cs.CV
Shape-aware Semi-supervised 3D Semantic Segmentation for Medical Images
ShanghaiTech University(上海科技大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海市智能视觉与成像工程技术研究中心)
半监督学习在医学图像分割中引起了广泛关注,因为获取逐像素图像注释是构建高性能深度学习方法的关键步骤。大多数现有的半监督分割方法要么倾向于忽略对象分割中的几何约束,导致不完整的对象覆盖,要么强加强形状先验,需要额外的对齐。在这项工作中,我们提出了一种新的shapeware半监督分割策略,利用丰富的未标记的数据,并强制执行分割输出的几何形状约束。为了实现这一目标,我们开发了一个多任务深度网络,该网络联合预测对象表面的语义分割和符号距离图(SDM)。在训练过程中,我们在标记数据和未标记数据的预测SDM之间引入对抗性损失,以便我们的网络能够更有效地捕获形状感知特征。在心房分割挑战数据集上的实验表明,我们的方法优于当前最先进的方法,改进了形状估计,这验证了其有效性。代码可在https://github.com/kleinzcy/SASSnet上获得。
2020-07-21 cs.CV
Uncertainty-Aware Weakly Supervised Action Detection from Untrimmed Videos
Google Research(谷歌研究院)
尽管最近在视频分类方面取得了进展,但时空动作识别方面的进展却落后了。一个主要的促成因素是逐帧注释视频的高昂成本。在本文中,我们提出了一个时空动作识别模型,该模型仅使用视频级标签进行训练,这更容易注释。我们的方法利用了在多实例学习框架内对大型图像数据集进行训练的每帧人物检测器。我们展示了如何在标准的多实例学习假设(每个包包含至少一个具有指定标签的实例)无效的情况下应用我们的方法,使用MIL的一种新的概率变体来估计每个预测的不确定性。此外,我们报告了AVA数据集上的第一个弱监督结果和UCF 101 -24上弱监督方法中的最新结果。
2020-07-21 cs.CV
ThreshGuide: Class-Aware Labeled-Guided Thresholding for Semi-Supervised 3D Abdominal Multi-Organ Segmentation
School of Intelligent Science and Technology, Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences(中国科学院大学杭州高等研究院智能科学与技术学院)
提出ThreshGuide类感知阈值自适应框架,利用标注数据指导半监督腹部多器官分割的伪标签选择,在FLARE2022和AMOS2022上提升难学习器官的分割性能。
2026-09-15 cs.CV
ROIFormer: Semantic-Aware Region of Interest Transformer for Efficient Self-Supervised Monocular Depth Estimation
OPPO
互惠互利的跨域的探索已经显示出巨大的潜力,以准确的自我监督深度估计。在这项工作中,我们重温深度和语义信息之间的特征融合,并提出了一个有效的局部自适应注意几何感知表示增强方法。我们没有在特征空间中建立全局连接或无约束地变形注意力,而是将空间交互绑定在可学习的感兴趣区域内。特别是,我们利用语义信息中的几何线索来学习局部自适应边界框,以指导无监督特征聚合。局部区域将大多数不相关的参考点排除在注意力空间之外,从而产生更多的选择性特征学习和更快的收敛。我们自然地扩展到一个多头和层次的方式,使信息蒸馏在不同的语义水平,提高细粒度的深度估计的特征判别能力的范式。在KITTI数据集上的大量实验表明,我们提出的方法建立了一个新的最先进的自监督单目深度估计任务,证明了我们的方法比以前的Transformer变体的有效性。
2023-03-06 cs.CV
Self-Supervised Tracking via Target-Aware Data Synthesis
Peng Cheng Laboratory(鹏城实验室);Dalian University of Technology(大连理工大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));University of California at Merced(加州大学默塞德分校)
虽然基于深度学习的跟踪方法已经取得了实质性进展,但它们需要大规模和高质量的注释数据来进行充分的训练。为了消除昂贵和详尽的注释,我们研究了视觉跟踪的自监督学习。在这项工作中,我们开发的裁剪变换粘贴操作,这是能够合成足够的训练数据,通过模拟跟踪过程中的各种外观变化,包括外观变化的对象和背景干扰。由于目标状态在所有合成数据中都是已知的,因此可以使用合成数据以常规方式训练现有的深度跟踪器,而无需人工注释。所提出的目标感知的数据合成方法适应现有的跟踪方法内的自监督学习框架,而无需算法的变化。因此,所提出的自监督学习机制可以无缝地集成到现有的跟踪框架中以执行训练。大量的实验表明,我们的方法1)在有限注释的情况下,与监督学习方案相比,具有良好的性能; 2)由于其可操作性,有助于处理各种跟踪挑战,如对象变形,遮挡或背景杂波; 3)与最先进的无监督跟踪方法相比,具有良好的性能; 4)提升各种最先进的监督学习框架的性能,包括SiamRPN++、DiMP和TransT。
2022-12-30 cs.CV