Rethinking the Route Towards Weakly Supervised Object Localization
National Key Laboratory for Novel Software Technology(新型软件技术国家重点实验室);Nanjing University(南京大学)
弱监督对象定位(WSOL)旨在定位仅具有图像级标签的对象。以前的方法通常尝试利用特征图和分类权重来间接地使用图像级注释来定位对象。在本文中,我们证明了弱监督的目标定位应分为两个部分:类无关的目标定位和目标分类。对于类无关的对象定位,我们应该使用类无关的方法来生成噪声伪注释,然后在没有类标签的情况下对它们执行限界框回归。我们提出了伪监督目标定位(PSOL)方法作为一种新的方法来解决WSOL。我们的PSOL模型在不同数据集之间具有良好的可移植性,无需微调。通过生成的伪边界框,我们在ImageNet上实现了58.00%的定位准确率,在CUB-200上实现了74.97%的定位准确率,这比以前的模型有很大的优势。
2020-03-03 cs.CV
Learning Consistency from High-quality Pseudo-labels for Weakly Supervised Object Localization
Shanghai Jiao Tong University(上海交通大学);Shanghai Frontier Science Research Center for Gravitational Wave Detection(上海引力波探测前沿科学研究中心)
伪监督学习方法已被证明是有效的弱监督对象定位任务。但有效性依赖于深度神经网络强大的正则化能力。基于定位网络在同一图像的不同版本上应该具有相似的位置预测的假设,我们提出了一种两阶段的方法来学习更一致的定位。在第一阶段,我们提出了一个基于掩码的伪标签生成器算法,并使用伪监督学习方法来初始化目标定位网络。在第二阶段,我们提出了一种简单有效的基于分类判别的伪标签置信度评估方法,并通过从高质量的伪标签中学习一致性,进一步改进定位网络,以获得更好的定位性能。实验结果表明,该方法在CUB-200-2011、ImageNet-1 k和Tiny-ImageNet三个基准数据集上均取得了良好的性能,证明了该方法的有效性。
2022-03-18 cs.CV
Improving Weakly-Supervised Object Localization By Micro-Annotation
IST Austria(奥地利科学技术研究所)
弱监督的对象定位方法往往会失败的对象类,始终与相同的背景元素,如火车上的轨道。我们提出了一种方法来克服这些故障,通过添加一个非常少量的模型特定的附加注释。其主要思想是将深度网络的中层表示聚类,并为每个聚类分配对象或干扰项标签。实验表明,在具有挑战性的ILSVC 2014数据集上进行限界框检测和在PASCAL VOC 2012数据集上进行语义分割的定位结果得到了显著改善。
2016-05-18 cs.CV
Improved Techniques For Weakly-Supervised Object Localization
Yonsei University(延世大学)
我们提出了一种改进的弱监督对象定位技术。传统的方法有一个局限性,他们只集中在最有区别的部分的目标对象。最近的研究解决了这个问题,并解决了这个限制,增加了训练数据的歧视性较低的部分。为此,我们采用了一种有效的数据增强,以提高目标定位的准确性。此外,我们引入了改进的学习技术,通过优化卷积神经网络(CNN)的基础上,最先进的模型。基于大量的实验,我们评估所提出的方法的有效性定性和定量。特别是,我们观察到,与当前最先进的弱监督对象定位技术相比,我们的方法根据配置将Top-1定位精度提高了21.4 - 37.3%。
2018-05-10 cs.CV
Bridging the Gap between Classification and Localization for Weakly Supervised Object Localization
Seoul National University(首尔国立大学);LG AI Research(LG人工智能研究院)
弱监督目标定位的目的是在给定图像中找到一个目标对象区域,只有弱监督,如图像级标签。大多数现有的方法使用类激活图(CAM)来生成定位图;然而,CAM仅识别目标对象的最有区别的部分,而不是整个对象区域。在这项工作中,我们根据输入特征和特定于类别的权重之间的方向不对准来发现分类和定位之间的差距。我们证明,错位抑制CAM的激活,在地区是歧视性的,但属于目标对象。为了弥补这一差距,我们提出了一种方法来调整特征方向与类特定的权重。该方法在CUB-200-2011和ImageNet-1 K基准测试中实现了最先进的定位性能。
2022-04-01 cs.CV
MOST: Multiple Object localization with Self-supervised Transformers for object discovery
Meta;University of Maryland, College Park(马里兰大学帕克分校);Johns Hopkins University(约翰斯·霍普金斯大学)
本研究提出基于自监督Transformer的多目标定位方法MOST,通过盒计数法分析特征相似性图识别前景token并聚类生成边界框,可单图定位多目标,在多个基准上超越SOTA,还可用于目标检测器自监督预训练提升性能。
2023-08-26 cs.CV
Distilling Ensemble of Explanations for Weakly-Supervised Pre-Training of Image Segmentation Models
Baidu Inc.(百度公司)
虽然微调预训练的网络已经成为训练图像分割模型的流行方式,但是用于图像分割的这种骨干网络经常使用图像分类源数据集(例如,ImageNet.尽管图像分类数据集可以为主干网络提供丰富的视觉特征和区分能力,但它们无法完全预训练目标模型(即,主干+分段模块)。由于分类数据集中缺少分割标签,因此在微调过程中将分割模块留给随机初始化。在我们的工作中,我们提出了一种方法,利用伪语义分割标签(PSSL),使端到端的预训练图像分割模型的基础上分类数据集。PSSL的灵感来自于这样一种观察,即通过CAM、SmoothGrad和LIME等解释算法获得的分类模型的解释结果将接近视觉对象的像素簇。具体而言,通过解释分类结果并聚合从多个分类器查询的解释的集合来获得每个图像的PSSL,以降低由单个模型引起的偏差。通过对ImageNet的每个图像使用PSSL,所提出的方法利用加权分割学习过程来预训练分割网络。实验结果表明,以ImageNet和PSSL作为源数据集,所提出的端到端预训练策略成功地提高了各种分割模型的性能,即,PSPNet-ResNet 50、DeepLabV 3-ResNet 50和OCRNet-HRNetW 18,在CamVid、VOC-A、VOC-C、ADE 20 K和CityScapes等多个分割任务上有显著改进。源代码可在https://github.com/PaddlePaddle/Paddl…
2022-07-04 cs.CV cs.LG
MinMaxCAM: Improving object coverage for CAM-basedWeakly Supervised Object Localization
KU Leuven(鲁汶大学);University of Antwerp(安特卫普大学);imec-IDLab
弱监督目标定位最常见的问题之一是目标覆盖不准确。在基于类激活映射的现有技术方法的背景下,这是由专门聚焦于感兴趣对象的最有区别的区域的定位图或由在背景区域中发生的激活引起的。为了解决这两个问题,我们提出了两种表示正则化机制:全区域正则化,它试图最大限度地提高目标区域内的本地化地图的覆盖率,和公共区域正则化,它最大限度地减少背景区域中发生的激活。我们在ImageNet、CUB-200-2011和OpenImages-segmentation数据集上评估了这两种正则化,并表明所提出的正则化解决了这两个问题,显著优于现有技术。
2021-04-29 cs.CV
Unsupervised Object Localization in the Era of Self-Supervised ViTs: A Survey
Kyutai
本文综述了自监督ViT时代无需人工标注即可在图像中发现目标的无监督目标定位方法,并整理了相关方法链接仓库。
2024-08-08 cs.CV
Pairwise Similarity Knowledge Transfer for Weakly Supervised Object Localization
ANU(澳大利亚国立大学);ACRV(澳大利亚机器人视觉研究中心);Georgia Tech(佐治亚理工学院);Google Research(谷歌研究院);University of Washington(华盛顿大学)
弱监督对象定位(WSOL)方法只需要图像级标签,而不是完全监督算法所需的昂贵的限界框注释。我们研究了在具有弱监督图像标签的目标类上学习定位模型的问题,并在完全注释的源数据集的帮助下。通常,WSOL模型首先被训练来预测现成的完全监督源数据集上的类通用对象性得分,然后逐渐适应学习弱监督目标数据集中的对象。在这项工作中,我们认为,只学习一个对象函数是一种弱形式的知识转移,并建议学习一个类的成对相似性函数,直接比较两个输入的建议,以及。组合的定位模型和估计的对象注释在交替优化范例中联合学习,如在标准WSOL方法中通常所做的。与现有的学习成对相似性的工作相比,我们的方法优化了一个统一的目标,并保证收敛,对于大规模应用来说,它是计算效率高的。在COCO和ILSVRC 2013检测数据集上的实验表明,引入成对相似度函数后,定位模型的性能得到了显著提高。例如,在ILSVRC数据集中,正确定位(CorLoc)性能从72.8%提高到78.2%,这是知识转移背景下WSOL任务的最新技术水平。
2020-07-19 cs.CV
Learning from Counting: Leveraging Temporal Classification for Weakly Supervised Object Localization and Detection
本文提出了一种利用时间分类来支持弱监督目标检测(WSOD)的新方法。具体来说,我们引入光栅扫描顺序技术将2D图像序列化为1D序列数据,然后利用组合的LSTM(长短期记忆)和CTC(连接主义时间分类)网络来实现基于总计数(感兴趣对象)的对象定位。我们提出的网络LSTM-CCTC(基于计数的CTC)。这种“从计数中学习”的策略不同于现有的WSOD方法,因为我们的方法自动识别目标对象上或附近的关键点。该策略显著地减少了生成用于对象定位的大量候选提议的需要。实验表明,我们的方法产生最先进的性能的基础上评估PASCAL VOC数据集。
2021-03-06 cs.CV
Soft Proposal Networks for Weakly Supervised Object Localization
University of Chinese Academy of Sciences(中国科学院大学);Duke University(杜克大学)
弱监督对象定位仍然具有挑战性,在训练过程中只有图像标签而不是边界框可用。对象建议是本地化中的一个有效组件,但通常计算量很大,并且无法与其他一些模块进行联合优化。在本文中,据我们所知,我们首次将弱监督对象建议以端到端的学习方式集成到卷积神经网络(CNN)中。我们设计了一个网络组件Soft Proposal(SP),可以插入任何标准卷积架构,以引入几乎无成本的对象提案,比最先进的方法快几个数量级。在SP增强的CNN中,被称为软提议网络(SPN),迭代进化的对象提议是基于深度特征图生成的,然后投影回来,并进一步与网络参数联合优化,仅具有图像级监督。通过统一的学习过程,SPN可以学习更好的以对象为中心的过滤器,发现更多有区别的视觉证据,并抑制背景干扰,从而显着提高弱监督对象定位和分类性能。我们报告了流行基准测试的最佳结果,包括PASCAL VOC,MS COCO和ImageNet。
2017-09-06 cs.CV
Weakly Supervised Object Localization and Detection: A Survey
Northwestern Polytechnical University(西北工业大学);University of California at Merced(加州大学默塞德分校)
弱监督目标定位与检测是计算机视觉领域的一个新兴且具有挑战性的问题,对于发展新一代计算机视觉系统具有重要意义,在过去的十年中受到了广泛的关注。由于已经提出了方法,因此对这些主题进行全面调查是非常重要的。在这项工作中,我们回顾了(1)经典模型,(2)来自现成深度网络的特征表示方法,(3)完全基于深度学习的方法,以及(4)在该领域广泛使用的公开数据集和标准评估指标。我们还讨论了在这一领域的关键挑战,这一领域的发展历史,在每个类别的方法的优点/缺点,在不同类别的方法之间的关系,弱监督目标定位和检测方法的应用,以及潜在的未来方向,以进一步促进这一研究领域的发展。
2021-04-16 cs.CV
Weakly Supervised Object Localization with Multi-fold Multiple Instance Learning
Bilkent University(比尔肯特大学);Inria Grenoble Rhône-Alpes(法国国家信息与自动化研究所格勒诺布尔-罗讷-阿尔卑斯分所);Laboratoire Jean Kuntzmann(让·孔茨曼实验室);CNRS(法国国家科学研究中心);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
目标类别定位是计算机视觉中一个具有挑战性的问题。标准监督训练需要对象实例的限界框注释。这种耗时的注释过程在弱监督学习中被回避了。在这种情况下,监督信息被限制为指示图像中对象实例的不存在/存在的二进制标签,而没有它们的位置。我们遵循多实例学习方法,迭代地训练检测器并推断正训练图像中的对象位置。我们的主要贡献是一个多重多实例学习过程,它可以防止训练过早锁定错误的对象位置。当使用高维表示时,例如Fisher向量和卷积神经网络特征,该过程尤其重要。我们还提出了一个窗口细化方法,提高了定位精度,通过将对象的先验。我们提出了一个详细的实验评估使用PASCAL VOC 2007数据集,验证了我们的方法的有效性。
2016-02-22 cs.CV
ViTOL: Vision Transformer for Weakly Supervised Object Localization
Mercedes-Benz Research and Development India(梅赛德斯-奔驰印度研发中心)
弱监督对象定位(WSOL)的目的是预测对象在图像中的位置,只使用图像级的类别标签。图像分类模型在定位对象时遇到的常见挑战是,(a)它们倾向于查看图像中最具区分性的特征,这些特征将定位图限制在非常小的区域,(b)定位图是类别不可知的,并且模型突出显示同一图像中的多个类别的对象,以及(c)定位性能受背景噪声的影响。为了缓解上述挑战,我们通过我们提出的方法ViTOL引入以下简单的变化。我们利用基于视觉的Transformer进行自我注意,并引入基于补丁的注意力丢弃层(p-ADL)来增加本地化地图的覆盖范围,并引入梯度注意力卷展机制来生成类相关的注意力地图。我们在ImageNet-1 K和CUB数据集上进行了广泛的定量,定性和消融实验。我们在两个数据集上分别实现了70.47%和73.17%的MaxBoxAcc-V2本地化分数。代码可在https://github.com/Saurav-31/ViTOL上获得
2022-04-14 cs.CV
Self-produced Guidance for Weakly-supervised Object Localization
University of Technology Sydney(悉尼科技大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
弱监督方法通常基于分类网络产生的注意力图来生成定位结果。然而,注意力地图展示了对象的最具区分力的部分,这些部分很小且稀疏。我们建议生成自产指导(SPG)掩模,将前景(感兴趣的对象)与背景分离,为分类网络提供像素的空间相关性信息。提出了一种分阶段的方法,将高置信度的对象区域学习SPG掩模。利用注意力图中的高置信度区域来逐步学习SPG掩码。然后将掩模用作辅助像素级监督以促进分类网络的训练。ILSVRC上的大量实验表明,SPG是有效的,在生产高质量的目标定位地图。特别地,所提出的SPG在ILSVRC验证集上实现了43.83%的Top-1定位出错率,这是新的最先进的出错率。
2018-08-05 cs.CV
Instance Localization for Self-supervised Detection Pretraining
Chinese University of Hong Kong(香港中文大学);Microsoft Research Asia(微软亚洲研究院)
先前对自监督学习的研究已经在图像分类方面取得了相当大的进展,但在目标检测方面的传递性能往往会下降。本文的目标是推进自监督预训练模型,专门用于目标检测。基于分类和检测之间的固有差异,我们提出了一种新的自监督借口任务,称为实例定位。图像实例以各种位置和比例粘贴到背景图像上。前提任务是预测给定合成图像以及前景边界框的实例类别。我们表明,边界框集成到预训练促进更好的任务对齐和架构对齐的迁移学习。此外,我们提出了一种增强方法的边界框,以进一步提高特征对齐。因此,我们的模型在Imagenet语义分类方面变得较弱,但在图像块定位方面变得较强,并且具有用于目标检测的整体更强的预训练模型。实验结果表明,我们的方法产生的状态的最先进的迁移学习结果的目标检测PASCAL VOC和MSCOCO。
2021-04-06 cs.CV
Fine-Grained Segmentation Networks: Self-Supervised Segmentation for Improved Long-Term Visual Localization
Chalmers University of Technology(查尔姆斯理工大学)
长期视觉定位是在外观随时间变化的场景中估计给定查询图像的相机姿态的问题。这是实践中的一个重要问题,例如在自动驾驶中遇到的问题。为了获得对这种变化的鲁棒性,长期定位方法通常使用分段分割作为不变的场景表示,因为每个场景部分的语义含义不应受到季节和其他变化的影响。然而,由于可用类别的数量有限,这些表示通常不是非常有区别的。在本文中,我们提出了一种新的神经网络,细粒度分割网络(FGSN),可用于提供图像分割与大量的标签,并可以在一个自我监督的方式进行训练。此外,我们还展示了如何训练FGSN在季节变化中输出一致的标签。我们通过大量的实验证明,将我们的FGSN产生的细粒度分割集成到现有的定位算法中,可以大大提高定位性能。
2019-08-18 cs.CV
Weakly Supervised Object Localization Using Size Estimates
University of Edinburgh(爱丁堡大学)
我们提出了一种弱监督对象定位(WSOL)技术,该技术基于WSOL算法通常在具有较大对象的图像上效果更好的观察。我们提出了一种课程学习策略,将训练图像按照从包含较大对象的图像到较小对象的顺序馈送到WSOL学习循环中,而不是同时在整个训练集上训练对象检测器。为了自动确定顺序,我们训练一个回归器来估计给定整个图像作为输入的对象的大小。此外,我们使用这些大小估计,以进一步改善WSOL的重新定位步骤,根据其大小与估计的对象大小的匹配程度,为对象提案分配权重。我们证明了具有挑战性的PASCAL VOC 2007数据集上使用大小顺序和大小权重的有效性,在那里我们实现了对现有最先进的WSOL技术的显着改进。
2016-08-16 cs.CV
Distilling Image Classifiers in Object Detectors
EPFL(洛桑联邦理工学院);NVIDIA(英伟达)
知识蒸馏是一种简单而有效的方法,通过利用更强大的教师的知识来提高紧凑的学生网络的性能。然而,知识蒸馏文献仍然局限于学生和教师处理相同任务的场景。在这里,我们调查的问题,不仅跨架构,而且跨任务的知识转移。为此,我们研究了目标检测的情况下,而不是按照标准的检测器到检测器蒸馏方法,引入一个分类器到检测器的知识转移框架。特别是,我们提出的策略,利用分类教师,以提高检测器的识别精度和定位性能。我们在几个具有不同骨架的检测器上的实验证明了我们方法的有效性,使我们能够胜过最先进的检测器到检测器蒸馏方法。
2022-02-10 cs.AI cs.CV cs.LG
Attention-based Dropout Layer for Weakly Supervised Object Localization
Yonsei University(延世大学)
弱监督对象定位(WSOL)技术只使用图像级标签来学习对象位置,而不使用位置注释。这些技术的一个共同局限性是,它们只覆盖了对象的最有区别的部分,而不是整个对象。为了解决这个问题,我们提出了一个基于注意力的丢弃层(ADL),它利用自我注意力机制来处理模型的特征图。该方法由两个关键部分组成:1)隐藏模型中最具鉴别力的部分以捕捉对象的完整范围; 2)突出信息区域以提高模型的识别能力。实验结果表明,该方法能够有效提高WSOL的定位精度,在CUB-200-2011数据集上的定位精度达到了最新水平。我们还表明,所提出的方法是更有效的参数和计算开销比现有的技术。
2019-08-27 cs.CV
Normalization Matters in Weakly Supervised Object Localization
Seoul National University(首尔国立大学);NAVER AI Lab(NAVER人工智能实验室)
弱监督对象定位(WSOL)允许在没有任何定位信息的情况下使用数据集找到对象。通过仅使用图像级注释简单地训练分类模型,模型的特征图可以用作用于定位的分数图。尽管许多WSOL方法提出了新的策略,但关于如何规范化类激活图(CAM)还没有任何事实标准。因此,许多WSOL方法由于误用了规范化方法而未能充分利用其自身的能力。本文回顾了现有的规范化方法,指出应根据给定数据集的性质来使用规范化方法。此外,我们提出了一种新的归一化方法,大大提高了任何基于CAM的WSOL方法的性能。使用所提出的归一化方法,我们在三种不同的架构上对三个数据集(CUB,ImageNet和OpenImages)进行了全面的评估,并在所有评估的情况下观察到比传统的最小-最大归一化方法有显着的性能提升。
2021-07-28 cs.CV
Constrained Sampling for Class-Agnostic Weakly Supervised Object Localization
ÉTS(高等工程技术学院);Ericsson(爱立信)
自监督视觉Transformer可以生成图像中对象的精确定位图。然而,由于它们将场景分解为包含各种对象的多个地图,并且它们不依赖于任何显式的监督信号,因此它们无法区分感兴趣的对象与其他对象,如弱监督对象定位(WSOL)所需。为了解决这个问题,我们建议利用由不同的Transformer头生成的多个映射来获取伪标签以训练WSOL模型。特别地,引入了一种新的判别建议采样方法,该方法依赖于预训练的CNN分类器来识别判别区域。然后,从这些区域中采样前景和背景像素,以便训练WSOL模型,用于生成激活图,该激活图可以准确地定位属于特定类别的对象。在具有挑战性的CUB基准数据集上的实证结果表明,我们提出的方法可以在很宽的阈值范围内优于最先进的方法。我们的方法提供了类激活地图与更好的覆盖前景对象区域w.r.t.后台
2022-09-09 cs.CV
DEARLi: Decoupled Enhancement of Recognition and Localization for Semi-supervised Panoptic Segmentation
Faculty of Electrical Engineering and Computing(电子工程与计算学院);Faculty of Computer and Information Science(计算机与信息科学学院)
本文提出DEARLi方法,通过结合CLIP零样本分类增强识别与SAM伪标签预热解码器增强定位,在半监督全景分割中显著提升性能,同时大幅降低GPU内存需求。
2025-07-14 cs.CV
Open-World Weakly-Supervised Object Localization
Tencent Jarvis Lab(腾讯天衍实验室);KAUST(阿卜杜拉国王科技大学);National University of Singapore(新加坡国立大学);Shenzhen University(深圳大学)
本文首次提出开放世界弱监督目标定位任务 OWSOL,通过对比表示协同学习和多语义中心驱动损失,在无边界框标注条件下定位已知与新类别目标,并在多个基准上大幅超越现有方法。
2023-04-19 cs.CV
TriLite: Efficient Weakly Supervised Object Localization with Universal Visual Features and Tri-Region Disentanglement
University of Antwerp(安特卫普大学);sqIRL/IDLab;imec Antwerp(Antwerp imec)
TriLite通过自监督学习和三区域解耦实现高效弱监督物体定位,无需端到端训练,参数更高效且训练更简单。
2026-02-26 cs.CV
Bagging Regional Classification Activation Maps for Weakly Supervised Object Localization
Institute of Medical Technology, Peking University(北京大学医学技术研究院);Peking University(北京大学);Institute of Biomedical Engineering, Peking University Shenzhen Graduate School(北京大学深圳研究生院生物医学工程研究所)
分类激活图(CAM)利用分类结构生成逐像素定位图,是弱监督目标定位(WSOL)的关键机制。然而,CAM直接使用在图像级特征上训练的分类器来定位对象,使得它更喜欢辨别全局判别因素而不是区域对象线索。因此,当将像素级特征馈送到该分类器中时,仅激活有区别的位置。为了解决这个问题,本文阐述了一种称为BagCAMs的即插即用机制,以便在不细化或重新训练基线结构的情况下,更好地为本地化任务设计一个训练有素的分类器。我们的BagCAMs采用了建议的区域定位器生成(RLG)策略来定义一组区域定位器,然后从一个训练有素的分类器中导出它们。这些区域定位器可以被看作是基础学习器,它只识别用于定位任务的区域对象因素,它们的结果可以被我们的BagCAMs有效地加权以形成最终的定位图。实验表明,采用我们提出的BagCAMs可以在很大程度上提高基线WSOL方法的性能,并在三个WSOL基准测试中获得了最先进的性能。代码发布于https://github.com/zh460045050/BagCAMs。
2022-07-16 cs.CV
DiPS: Discriminative Pseudo-Label Sampling with Self-Supervised Transformers for Weakly Supervised Object Localization
ETS Montreal(蒙特利尔高等技术学院);Ericsson(爱立信)
本文提出DiPS方法,利用自监督Transformer生成类无关注意力图,通过预训练分类器选取判别性候选区域作为伪标签,训练新型Transformer模型同时优化分类与定位,在多个数据集上优于现有弱监督目标定位方法。
2023-10-19 cs.CV
Semantic Pose Verification for Outdoor Visual Localization with Self-supervised Contrastive Learning
Izmir Institute of Technology(伊兹密尔理工学院);Instituto de Investigación en Ingeniería de Aragón (I3A)(阿拉贡工程研究院(I3A));Universidad de Zaragoza(萨拉戈萨大学)
任何城市规模的视觉定位系统都必须克服长期的外观变化,例如查询图像和数据库图像之间的光照条件变化或季节变化。由于语义内容是更强大的这种变化,我们利用语义信息,以提高视觉定位。在我们的场景中,数据库由全景图像(例如Google街景)生成的日晷视图组成,查询图像是在不同时间用标准视场相机收集的。为了改进本地化,我们检查查询和数据库图像之间的语义相似性,这并不是小事,因为摄像机的位置和视角并不完全匹配。为了学习相似性,我们建议在语义分割图像的数据集上以自监督的方式训练CNN,并进行对比学习。实验表明,这种语义相似度估计方法比像素级的相似度测量方法效果更好。最后,我们使用语义相似性分数来验证通过最先进的视觉定位方法获得的检索,并观察到基于对比学习的姿势验证将前1召回值增加到0.90,这对应于2%的改进。
2022-03-31 cs.CV
Rethinking the Localization in Weakly Supervised Object Localization
Wuhan University(武汉大学);Hubei Luojia Laboratory(湖北珞珈实验室);Beijing Institute of Technology(北京理工大学);City, University of London(伦敦大学城市学院);Nanyang Technological University(南洋理工大学)
针对弱监督目标定位中单类回归只能定位单目标和伪边界框噪声问题,提出二类检测器实现多目标定位,并设计加权熵损失抑制噪声影响,在CUB-200-2011和ImageNet-1K上验证了有效性。
2023-08-11 cs.CV
Semi-supervised Semantic Segmentation with Error Localization Network
POSTECH(浦项科技大学)
本文研究了语义分割的半监督学习方法。未标记的图像通常被分配伪标签以用于训练,然而,由于伪标签上的错误的确认偏差,这通常会导致性能下降的风险。我们提出了一种新的方法,解决了这个长期存在的伪标记问题。我们方法的核心是错误定位网络(ELN),这是一个辅助模块,它将图像及其分割预测作为输入,并识别其伪标签可能错误的像素。ELN使半监督学习能够通过在训练期间忽略标签噪声而对不准确的伪标签具有鲁棒性,并且可以自然地与自训练和对比学习集成。此外,我们引入了一种新的学习策略ELN,模拟合理的和不同的分割错误在训练ELN,以提高其泛化。我们的方法在PASCAL VOC 2012和Cityscapes上进行了评估,在每个评估设置中,它都优于所有现有的方法。
2022-06-01 cs.CV
Shallow Feature Matters for Weakly Supervised Object Localization
Shenzhen Research Institute of Big Data(深圳大数据研究院);University of Science and Technology of China(中国科学技术大学)
弱监督对象定位(WSOL)的目标是只利用图像级标签来定位对象。类激活映射(CAM)是实现WSOL的常用功能。然而,以前的CAM为基础的方法没有充分利用浅的功能,尽管他们的重要性WSOL。因为传统的融合方法很容易将浅层特征淹没在背景噪声中。在本文中,我们提出了一个简单而有效的浅层特征感知伪监督对象定位(SPOL)模型准确的WSOL,这使得最大限度地嵌入在浅层的低级别的功能。在实践中,我们的SPOL模型首先通过一种新颖的浅特征图和深特征图的逐元素乘法来生成CAM,该方法过滤了背景噪声并鲁棒地生成更清晰的边界。此外,我们进一步提出了一个通用的类无关的分割模型,以实现准确的对象掩模,只使用初始CAM作为伪标签,没有任何额外的注释。最后,将限界框提取器应用于对象遮罩以定位目标。实验证明,我们的SPOL在CUB-200和ImageNet-1 K基准测试中的表现优于最先进的技术,分别达到93.44%和67.15%(即,3.93%和2.13%的改善)前5名的定位精度。
2021-08-02 cs.CV
Dual-attention Focused Module for Weakly Supervised Object Localization
School of Computer Science and Engineering, Central South University(中南大学计算机科学与工程学院)
识别最具区分力区域的研究为仅具有图像级注释的弱监督目标定位提供了参考信息。然而,最具区分力的区域通常隐藏了对象的其他部分,从而阻碍了整个对象的识别和定位。为了解决这个问题,提出了双注意聚焦模块(DFM)来提高目标定位性能。具体来说,我们提出了一个双注意模块的信息融合,由一个位置分支和一个通道。在每个分支中,输入的特征图被推导成增强图和掩模图,从而突出显示或隐藏最具鉴别力的部分。对于位置掩模图,我们引入了一个聚焦矩阵来增强它,它利用了物体的像素是连续的原理。在这两个分支之间,增强图与掩模图相结合,旨在部分补偿丢失的信息并使特征多样化。利用双注意模块和聚焦矩阵,可以精确地识别出隐含信息的整个目标区域。我们在实验中展示了优于DFM的结果。特别是,DFM在ILSVRC 2016和CUB-200-2011中的定位精度方面达到了最先进的性能。
2019-09-11 cs.CV
Improving Localization for Semi-Supervised Object Detection
University of Parma(帕尔马大学)
如今,半监督目标检测(SSOD)是一个热门话题,因为,虽然它是相当容易收集图像创建一个新的数据集,标记它们仍然是一个昂贵和耗时的任务。在半监督学习(Semi-Supervised Learning,SSL)环境下利用原始图像的成功方法之一是Mean Teacher技术,其中教师的伪标记操作和从学生到教师的知识转移同时发生。然而,通过阈值化的伪标记不是最佳解决方案,因为置信度值与预测不确定性不严格相关,不允许安全地过滤预测。在本文中,我们为限界框定位引入了一个额外的分类任务,以改善预测边界框的过滤,并在学生训练中获得更高的质量。此外,我们的经验证明,限界框回归的无监督的一部分,可以同样有助于训练类别分类。我们的实验表明,我们的IL-网络(改进定位网络)提高了1.14% AP在有限的注释制度COCO数据集上的SSOD性能。代码可在https://github.com/IMPLabUniPr/unbiased-teacher/tree/ilnet上获得
2022-06-21 cs.CV
CaFT: Clustering and Filter on Tokens of Transformer for Weakly Supervised Object Localization
Zhejiang University(浙江大学)
弱监督目标定位是一项具有挑战性的任务,它只能通过类别标签来定位目标。然而,由于精确的分类网络往往关注对象的可区分区域而不是整体,因此存在分类和定位之间的矛盾。我们建议这种歧视是由手工阈值选择CAM为基础的方法。因此,我们提出了具有视觉Transformer(ViT)骨干的令牌聚类和过滤器(CaFT),以另一种方式解决这个问题。CaFT首先将分割图像的补丁令牌发送到ViT,并对输出令牌进行聚类以生成对象的初始掩码。其次,CaFT将初始掩码视为伪标签来训练跟随主干的浅卷积头(Attention Filter,AtF)以直接从令牌中提取掩码。然后,CaFT将图像分成多个部分,分别输出掩码,并将它们合并成一个细化的掩码。最后,在改进的掩模上训练新的AtF,并用于预测对象的框。实验结果表明,CaFT在CUB-200和ImageNet-1 K上的定位精度分别达到97.55%和69.86%。CaFT为思考WSOL任务提供了一种全新的方式。
2022-01-03 cs.CV
Re-Attention Transformer for Weakly Supervised Object Localization
Zhejiang Lab(之江实验室);Zhejiang University(浙江大学)
弱监督目标定位是一项具有挑战性的任务,其目的是定位具有粗糙注释的目标,如图像类别。现有的深度网络方法主要基于类激活图,其侧重于突出有区别的局部区域而忽略整个对象。此外,新兴的基于transformer的技术不断强调背景,这阻碍了识别完整对象的能力。为了解决这些问题,我们提出了一个重新注意力机制,称为令牌细化Transformer(TRT),捕捉对象级的语义,以指导本地化。具体而言,TRT引入了一个新的模块,称为令牌优先级评分模块(TPSM),以抑制背景噪声的影响,同时专注于目标对象。然后,我们将类激活图作为语义感知输入,以限制对目标对象的注意力图。在两个基准上进行的大量实验显示了我们所提出的方法对现有图像类别注释方法的优越性。源代码在\url{https://github.com/su-hui-zz/ReAttentionTransformer}中提供。
2023-02-26 cs.CV
Convolutional STN for Weakly Supervised Object Localization
École de Technologie Superieure, Université du Québec(魁北克大学高等技术学院)
弱监督目标定位是一项具有挑战性的任务,其中感兴趣的目标应该在学习其外观的同时进行定位。最先进的方法通过使用最后一层的激活图来定位对象来回收标准CNN的架构。虽然这种方法很简单并且工作得相对较好,但对象定位依赖于与分类不同的特征,因此,在训练期间需要专门的定位机制来提高性能。在本文中,我们提出了一个卷积的多尺度空间定位网络,为感兴趣的对象提供准确的定位。在CUB-200-2011和ImageNet数据集上的实验结果表明,我们提出的方法为弱监督定位提供了有竞争力的性能。
2020-12-01 cs.CV cs.LG
Distilling Visual Priors from Self-Supervised Learning
Megvii Research Nanjing(旷视科技南京研究院);Tongji University(同济大学)
卷积神经网络(CNN)容易过拟合小的训练数据集。我们提出了一种新的两阶段管道,利用自监督学习和知识蒸馏,以提高CNN模型的泛化能力,在数据不足的情况下,图像分类。第一阶段是通过自监督学习来学习具有丰富且可推广的视觉表示的教师模型,第二阶段是以自蒸馏的方式将表示提取为学生模型,同时微调学生模型以用于图像分类任务。我们还提出了一种新的边缘损失的自监督对比学习代理任务,以更好地学习数据不足的情况下的表示。与其他技巧一起,我们在VIPriors图像分类挑战中实现了有竞争力的性能。
2020-08-01 cs.CV
Multiscale Vision Transformer With Deep Clustering-Guided Refinement for Weakly Supervised Object Localization
Hanyang University(汉阳大学);Seoul National University of Science and Technology(首尔国立科技大学)
针对弱监督目标定位精度有限的问题,提出多尺度目标定位Transformer及深度聚类引导优化方法,在ILSVRC-2012数据集上验证了有效性。
2023-12-15 cs.AI cs.CV
Self-Supervised Feature Learning for Long-Term Metric Visual Localization
University of Toronto(多伦多大学)
视觉定位是在已知场景中估计摄像机姿态的任务,是机器人学和计算机视觉中的一个基本问题。然而,由于照明和季节引起的环境外观变化,长期视觉定位仍然是一个挑战。虽然存在使用神经网络来解决外观变化的技术,但是这些方法通常需要地面实况姿态信息来生成准确的图像对应或在训练期间充当监督信号。在本文中,我们提出了一种新的自监督特征学习框架的度量视觉定位。我们使用基于序列的图像匹配算法跨越不同的图像序列(即,经验)来生成没有地面实况标签的图像对应。然后,我们可以对图像对进行采样,以训练一个深度神经网络,该网络使用相关的描述符和分数来学习稀疏特征,而无需地面实况姿势监督。学习到的特征可以与经典的姿态估计器一起用于视觉立体定位。我们通过与现有的Visual Teach & Repeat管道集成来验证学习到的功能,以在不同的照明条件下执行闭环定位实验,总共22.4公里。
2022-11-30 cs.CV cs.RO
Anti-Adversarially Manipulated Attributions for Weakly Supervised Semantic Segmentation and Object Localization
Seoul National University(首尔国立大学)
在弱监督语义分割和目标定位中,从类标签中获得精确的像素级定位是一个至关重要的过程。来自经训练的分类器的属性图被广泛用于提供像素级定位,但是它们的焦点往往被限制在目标对象的小的区分区域。AdvCAM是图像的属性图,其被操纵以在最终softmax或sigmoid层之前增加由分类器产生的分类分数。这种操作是以反对抗的方式实现的,使得原始图像沿着像素梯度在与对抗攻击中使用的方向相反的方向上被扰动。这个过程增强了非歧视性的,但类相关的功能,使以前的属性地图的贡献不足,使所得的AdvCAM识别目标对象的更多区域。此外,我们引入了一个新的正则化过程,抑制不正确的归属区域无关的目标对象和过度集中的归属目标对象的一个小区域。我们的方法在PASCAL VOC 2012和MS COCO 2014数据集上实现了弱监督和半监督语义分割的最新性能。在弱监督对象定位中,它在CUB-200-2011和ImageNet-1 K数据集上实现了最新的性能。
2022-04-11 cs.CV cs.LG
Unsupervised Semantic Segmentation by Distilling Feature Correspondences
MIT(麻省理工学院);Microsoft(微软);Cornell University(康奈尔大学);Google(谷歌)
无监督语义分割的目标是在没有任何形式的注释的情况下发现和定位图像语料库中语义上有意义的类别。为了解决这个问题,算法必须为每个像素产生语义上有意义的特征,并且足够紧凑以形成不同的聚类。不像以前的作品,实现这一点与一个单一的端到端的框架,我们建议从集群紧化分离的功能学习。从经验上讲,我们表明,目前的无监督特征学习框架已经产生了密集的功能,其相关性是语义一致的。这一观察促使我们设计了STEGO($\textbf{S}$ elf-supervised $\textbf{T}$ transformer with $\textbf{E}$ energy-based $\textbf{G}$-$\textbf{O}$ ptimization),这是一种将无监督特征提取为高质量离散语义标签的新型框架。STEGO的核心是一个新颖的对比损失函数,它鼓励特征形成紧凑的聚类,同时保留它们在语料库中的关系。在CocoStuff($\textbf{+14 mIoU}$)和Cityscapes($\textbf{+9 mIoU}$)语义分割挑战上,STEGO产生了对现有技术的显著改进。
2022-03-16 cs.AI cs.CV cs.LG
Foreign Object Debris Detection for Airport Pavement Images based on Self-supervised Localization and Vision Transformer
University of Nebraska Omaha(内布拉斯加大学奥马哈分校);University of Nebraska Lincoln(内布拉斯加大学林肯分校)
受监督的目标检测方法在应用于外来物体碎片(FOD)检测时提供低于标准的性能,因为根据联邦航空管理局(FAA)规范,FOD可以是任意物体。当前的监督目标检测算法需要包含每个待检测对象的注释示例的数据集。虽然可以开发大型且昂贵的数据集以包括常见的FOD示例,但由于FOD的开放性,在数据集表示中收集所有可能的FOD示例是不可行的。数据集的局限性可能导致由这些监督算法驱动的FOD检测系统错过某些FOD,这可能对机场运营造成危险。为此,本文提出了一种通过学习预测跑道图像的自监督FOD定位方法,避免了FOD标注实例的枚举。定位方法利用视觉Transformer(ViT)来提高定位性能。实验表明,该方法成功地检测任意FOD在现实世界的跑道情况。本文还提供了对本地化结果的扩展以执行分类;这是一个对下游任务有用的功能。为了训练定位,本文还提出了一个简单而现实的数据集创建框架,只收集干净的跑道图像。该方法的训练和测试数据在当地机场使用无人驾驶飞机系统(UAS)收集。此外,开发的数据集提供给公众使用和进一步研究。
2022-10-30 cs.CV cs.LG
Lesion Localization in OCT by Semi-Supervised Object Detection
Renmin University of China(中国人民大学);Beijing Visionary Intelligence Ltd.(北京远景智能有限公司);Peking Union Medical College Hospital(北京协和医院)
全世界有超过3亿人受到各种视网膜疾病的影响。通过非侵入性光学相干断层扫描(OCT)扫描,可以识别视网膜中的许多异常结构变化,即视网膜病变。因此,OCT中的自动病变定位对于早期检测视网膜疾病非常重要。为了克服深度监督学习缺乏手动注释的问题,本文首次研究了利用半监督目标检测(SSOD)进行OCT图像中的病变定位。为此,我们开发了一个分类法,以提供一个统一的和结构化的观点,目前的SSOD方法,从而确定这些方法中的关键模块。为了评估这些模块在新任务中的影响,我们构建了OCT-SS,这是一个新的数据集,由超过1k个专家标记的OCT B扫描图像和超过13k个未标记的B扫描图像组成。OCT-SS上的广泛实验确定Unbiased Teacher(UnT)是当前用于病变定位的最佳SSOD方法。此外,我们在这个强基线上有所改善,mAP从49.34增加到50.86。
2022-04-24 cs.CV cs.LG
Distilling Vision-Language Pre-training to Collaborate with Weakly-Supervised Temporal Action Localization
Shanghai Jiao Tong University(上海交通大学);Huawei Cloud & AI(华为云与人工智能)
弱监督时间动作定位(WTAL)学习仅使用类别标签检测和分类动作实例。大多数方法广泛采用现成的基于分类的预训练(CBP)来生成用于动作定位的视频特征。然而,分类和局部化的优化目标不同,使得时间局部化的结果存在严重的不完全问题。为了解决这个问题而不需要额外的注释,本文考虑从视觉语言预训练(VLP)中提取自由动作知识,因为我们惊讶地观察到vanilla VLP的本地化结果有一个过完备的问题,这只是对CBP结果的补充。为了融合这种互补性,我们提出了一种新的蒸馏协作框架,两个分支分别作为CBP和VLP。该框架通过双分支交替训练策略进行优化。具体来说,在B步骤期间,我们从CBP分支中提取置信背景伪标签;而在F步骤期间,置信前景伪标签从VLP分支中提取。从而有效地融合了双分支的互补性,促进了强强联合。在THUMOS 14和ActivityNet1.2上进行的大量实验和消融研究表明,我们的方法显着优于最先进的方法。
2022-12-19 cs.CV
Distilling Aggregated Knowledge for Weakly-Supervised Video Anomaly Detection
K J Somaiya Institute of Technology(K J Somaiya技术学院);Carnegie Mellon University(卡内基梅隆大学)
提出DAKD方法,通过双层蒸馏将多骨干聚合知识转移至单骨干学生模型,结合解纠缠交叉注意力聚合网络,在三个基准数据集上实现最先进的视频异常检测性能。
2025-01-18 cs.CV
Self-Supervised Learning for Biological Sample Localization in 3D Tomographic Images
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Heidelberg University(海德堡大学)
在基于同步加速器的计算机断层扫描(CT)中,存在空间分辨率、视场和样品的定位和对准速度之间的权衡。这个问题对于高通量层析成像(一种自动化装置,能够在没有人为干预的情况下扫描大批量样品)来说更加突出。因此,在许多应用中,只有20-30%的重建体积包含实际样本。这样的数据冗余使存储混乱并且增加了处理时间。因此,样品的自动定位成为一个重要的实际问题。在这项工作中,我们描述了两个自我监督的生物CT设计的损失。我们进一步展示了如何使用样本定位的不确定性估计。这种方法显示了定位样本的能力,相对误差小于1.5%,并将所使用的存储器减少了四分之一。我们还表明,提出的损失之一工程合理以及作为一个预训练任务的语义分割。
2023-01-11 cs.CV cs.LG
Adapting CLIP For Phrase Localization Without Further Training
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
用于短语定位(文本基础)的监督或弱监督方法依赖于人类注释或一些其他监督模型,例如,物体探测器获得这些注释是劳动密集型的,并且在实践中可能难以扩展。我们建议利用对比语言视觉模型CLIP的最新进展,CLIP是在从互联网上收集的图像和标题对上进行预训练的。在其原始形式中,CLIP仅输出图像级嵌入,而没有任何空间分辨率。我们适应CLIP生成高分辨率的空间特征图。重要的是,我们可以从ViT和ResNet CLIP模型中提取特征图,同时保持图像嵌入的语义属性。这为短语本地化提供了一个自然的框架。我们的短语本地化方法不需要人工注释或额外的训练。大量的实验表明,我们的方法优于现有的无训练方法在zero-shot短语定位,在某些情况下,它甚至优于监督方法。代码可在https://github.com/pals-ttic/adapting-CLIP上获得。
2022-04-07 cs.AI cs.CV
Evaluating Weakly Supervised Object Localization Methods Right
Yonsei University(延世大学);University of Tuebingen(图宾根大学)
弱监督对象定位(WSOL)在过去几年中得到了普及,因为它承诺只使用图像级标签训练定位模型。自从类激活映射(CAM)的开创性WSOL工作以来,该领域一直专注于如何扩展注意力区域以更广泛地覆盖对象并更好地定位它们。然而,这些策略依赖于完全本地化监督来验证超参数和模型选择,这在WSOL设置下原则上是禁止的。在本文中,我们认为,WSOL任务是不适定的,只有图像级标签,并提出了一个新的评估协议,其中充分的监督是有限的,只有一个小的举行了集不重叠的测试集。我们观察到,根据我们的协议,五个最新的WSOL方法没有取得重大改进CAM基线。此外,我们报告说,现有的WSOL方法还没有达到少样本学习基线,在验证时的全监督用于模型训练。根据我们的研究结果,我们讨论了WSOL的未来发展方向。
2020-04-01 cs.CV cs.LG
Distilling Self-Supervised Vision Transformers for Weakly-Supervised Few-Shot Classification & Segmentation
Meta AI;POSTECH(浦项科技大学);Australian National University(澳大利亚国立大学)
本文利用自监督预训练视觉Transformer的token相关性,通过自注意力和伪标签增强器实现弱监督少样本分类与分割,在Pascal-5i和COCO-20i上显著提升性能。
2023-07-07 cs.CV
Scalable Semi-supervised Landmark Localization for X-ray Images using Few-shot Deep Adaptive Graph
PAII Inc.(PAII公司);Ping An Technology(平安科技);University of Rochester(罗切斯特大学);University of Maryland(马里兰大学);Chang Gung Memorial Hospital(长庚纪念医院)
界标定位在医学图像分析中具有重要的作用。基于学习的方法,包括CNN和GCN,已经证明了最先进的性能。然而,这些方法中的大多数都是完全监督的,并且严重依赖于对大型训练数据集的手动标记。本文在基于图的全监督DAG方法的基础上,提出了一种半监督的DAG方法,称为Few-Shot DAG,\ie five-shot DAG。它首先在标记数据上训练DAG模型,然后使用师生SSL机制在未标记数据上微调预训练模型。除了半监督损失之外,我们还提出了另一种损失,使用JS散度来调节中间特征图的一致性。我们广泛评估了我们的方法在骨盆,手和胸部地标检测任务。我们的实验结果表明,一致的和显着的改进,比以前的方法。
2021-04-29 cs.AI cs.CV cs.LG
Free Lunch for Surgical Video Understanding by Distilling Self-Supervisions
The Hong Kong University of Science and Technology(香港科技大学);Nanyang Technological University(南洋理工大学);The Hong Kong University of Science and Technology Shenzhen Research Institute(香港科技大学深圳研究院)
自监督学习在视觉和自然语言处理方面取得了巨大的进展,最近,它也引起了人们对各种医学成像模式,如X射线,CT和MRI的关注。现有的方法主要集中在根据医学图像的特点,建立新的借口自我监督任务,如重建,方向和掩蔽识别。然而,公开的自我监督模型没有得到充分利用。在本文中,我们提出了一个强大而有效的自我监督框架的手术视频理解。我们的关键见解是从在大型通用机器人4上训练的公开可用模型中提取知识,以促进手术视频的自监督学习。为此,我们首先引入一个语义保持训练方案来获得我们的教师模型,该模型不仅包含来自公开可用模型的语义,而且可以为手术数据生成准确的知识。除了仅使用对比学习进行训练外,我们还引入了一个蒸馏目标,将教师模型中丰富的学习信息转移到手术数据的自监督学习中。两个手术阶段识别基准的广泛实验表明,我们的框架可以显着提高现有的自监督学习方法的性能。值得注意的是,我们的框架在低数据制度下表现出令人信服的优势。我们的代码可在https://github.com/xmed-lab/DistillingSelf上获得。
2022-09-26 cs.CV
Distilling Knowledge from Self-Supervised Teacher by Embedding Graph Alignment
University of Tübingen(蒂宾根大学);MPI for Informatics(马克斯·普朗克信息学研究所);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Heidelberg(海德堡大学)
最近的进展表明,自我监督预训练的优势,以改善下游任务的表示学习。现有的工作通常通过对下游任务进行微调来利用自我监督的预训练模型。然而,当需要构建不同于自监督模型的自定义模型架构时,微调并不能推广到这种情况。在这项工作中,我们制定了一个新的知识蒸馏框架,通过一种名为嵌入图对齐的新方法将知识从自监督预训练模型转移到任何其他学生网络。具体而言,受自监督学习中实例区分的精神的启发,我们在特征嵌入空间中通过图公式化来建模实例-实例关系,并通过对齐教师图和学生图来将自监督教师知识提取到学生网络。我们的蒸馏方案可以灵活地应用于传输自监督知识,以增强各种学生网络上的表示学习。我们证明了我们的模型优于三个基准数据集,包括CIFAR 100,STL 10和TinyImageNet的多个代表性的知识蒸馏方法。代码在这里:https://github.com/yccm/EGA。
2022-11-23 cs.CV cs.LG
Distilling Coarse-to-Fine Semantic Matching Knowledge for Weakly Supervised 3D Visual Grounding
Zhejiang University(浙江大学)
针对3D视觉定位需密集标注成本高的问题,提出由粗到细语义匹配的弱监督方法,结合掩码关键词重构衡量相似度,并将知识蒸馏到两阶段模型,在多个基准上验证了有效性。
2023-07-18 cs.CV