Weakly Supervised Foreground Learning for Weakly Supervised Localization and Detection
Nanjing University(南京大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
现代深度学习模型需要大量精确注释的数据,这通常很难满足。因此,弱监督任务,包括弱监督目标定位(WSOL)和检测(WSOD),最近受到了计算机视觉界的关注。在本文中,我们激励并提出了弱监督前景学习(WSFL)任务,表明如果有真实前景模板,WSOL和WSOD都可以得到极大的改善。更重要的是,我们提出了一个完整的WSFL管道,具有低计算成本,生成伪框,学习前景蒙板,不需要任何本地化注释。在WSFL模型预测的前景掩模的帮助下,WSOL在CUB上实现了72.97%的正确定位精度,WSOD在VOC07上实现了55.7%的平均平均精度,从而为这两项任务建立了新的最先进的技术。我们的WSFL模型也表现出良好的传输能力。
2021-08-03 cs.CV
Convolutional Simplex Projection Network (CSPN) for Weakly Supervised Semantic Segmentation
University of Bonn(波恩大学);University of Siegen(锡根大学)
由于完全注释的图像的稀缺性,弱监督语义分割已经成为人们越来越感兴趣的主题。我们介绍了一种新的方法来解决弱监督语义分割与深度卷积神经网络(CNN)。该方法引入了一种新的层,该层利用类对象的面积约束对神经网络的输出应用单纯形投影。所提出的方法是通用的,可以无缝集成到任何CNN架构。此外,投影层允许强监督模型通过替换地面真值标签轻松地适应弱监督模型。我们的实验表明,在CNN的输出上应用这样的操作可以提高图像级标签的弱监督设置中语义分割的准确性。
2018-07-24 cs.CV
SLAMs: Semantic Learning based Activation Map for Weakly Supervised Semantic Segmentation
Shenzhen University(深圳大学)
目前主流的弱监督语义分割(WSSS)方法主要依赖于图像级的分类学习,其表示能力有限。在本文中,我们提出了一种新的语义学习为基础的框架,命名为SLAMs(基于语义学习激活图),WSSS。
2022-11-10 cs.CV
Revisiting Weakly Supervised Pre-Training of Visual Perception Models
Meta AI
模型预训练是现代视觉识别系统的基石。虽然像ImageNet这样的数据集上的完全监督预训练仍然是事实标准,但最近的研究表明,大规模弱监督预训练可以优于完全监督方法。本文使用带有现代版本的残差网络和有史以来最大的图像数据集以及相应的主题标签,重新审视了使用主题标签监督的模型的弱监督预训练。我们研究了所得到的模型在各种迁移学习设置,包括zero-shot传输的性能。我们还将我们的模型与通过大规模自监督学习获得的模型进行了比较。我们发现我们的弱监督模型在所有环境中都非常有竞争力,并且发现它们的表现大大优于自监督模型。我们还调查了我们的模型是否学到了潜在的令人不安的联想或刻板印象。总的来说,我们的研究结果提供了一个令人信服的论据弱监督学习在视觉识别系统的发展。我们的模型,通过hashtAGs弱监督(SWAG),是公开的。
2022-04-02 cs.CV
Collaborative Learning for Weakly Supervised Object Detection
Cooperative Madianet Innovation Center(Madianet协同创新中心);Shanghai Jiao Tong University(上海交通大学)
弱监督目标检测最近受到了广泛的关注,因为它只需要图像级别的标签,而不是在强监督学习中消耗的边界框标签。然而,标签费用的节省通常是以模型精度为代价的。在本文中,我们提出了一个简单但有效的弱监督协作学习框架来解决这个问题,该框架通过强制部分特征共享和预测一致性来联合训练弱监督学习者和强监督学习者。对于目标检测,以WSDDN为弱监督检测器子网络,Faster-RCNN为强监督检测器子网络,提出了一种端到端的弱监督协作检测网络。由于不存在可用于训练Faster-RCNN类子网络的强监督,因此定义了新的预测一致性损失以强制两个子网络之间以及Faster-RCNN类子网络内的预测的一致性。同时,两个检测器被设计为部分共享特征,以进一步保证模型在感知水平上的一致性。在PASCAL VOC 2007和2012数据集上的大量实验证明了所提出的框架的有效性。
2018-02-10 cs.CV
Weakly- and Semi-Supervised Panoptic Segmentation
University of Oxford(牛津大学)
我们提出了一个弱监督模型,共同执行语义和实例分割-一个特别相关的问题,因为获得像素完美的注释这些任务的大量成本。与许多流行的基于对象检测器的实例分割方法相比,我们的方法不预测任何重叠的实例。此外,我们能够分割“东西”和“东西”类,从而解释图像中的所有像素。“Thing”类使用边界框进行弱监督,而“stuff”类使用图像级标签。我们在Pascal VOC上获得了最先进的结果,无论是完全监督还是弱监督(实现了约95%的完全监督性能)。此外,我们提出了第一个弱监督的结果城市景观的语义和实例分割。最后,我们使用我们的弱监督框架来分析注释质量和预测性能之间的关系,这是数据集创建者感兴趣的。
2019-01-13 cs.CV
Hide-and-Seek: Forcing a Network to be Meticulous for Weakly-supervised Object and Action Localization
University of California, Davis(加州大学戴维斯分校)
我们提出了“隐藏和寻找”,一个弱监督的框架,旨在提高图像中的对象定位和视频中的动作定位。大多数现有的弱监督方法仅定位对象的最具区分性的部分,而不是所有相关部分,这导致次优性能。我们的关键思想是在训练图像中随机隐藏补丁,迫使网络在隐藏最具鉴别力的部分时寻找其他相关部分。我们的方法只需要修改输入图像,并且可以与任何为对象定位而设计的网络一起工作。在测试过程中,我们不需要隐藏任何补丁。我们的隐藏和寻找的方法获得了优越的性能相比,以前的方法弱监督对象定位的ILSVRC数据集。我们还证明了我们的框架可以很容易地扩展到弱监督动作定位。
2017-12-23 cs.CV
Weakly-supervised Instance Segmentation via Class-agnostic Learning with Salient Images
Huazhong University of Science and Technology(华中科技大学);VIVO Inc.(维沃移动通信有限公司)
人类具有很强的类无关对象分割能力,能够精确地勾画出未知对象的边界,这促使我们提出了一种基于框监督类无关对象分割(BoxCaseg)的弱监督实例分割解决方案。BoxCaseg模型是以多任务学习方式使用框监督图像和显着图像进行联合训练的。精细注释的显著图像为框监督图像提供了类别不可知和精确的对象定位指导。通过一种新的合并和丢弃策略来细化由预训练的BoxCaseg模型预测的对象掩码,作为代理地面实况,以训练Mask R-CNN进行弱监督实例分割。仅使用$7991$显著图像,弱监督Mask R-CNN与PASCAL VOC上的全监督Mask R-CNN相当,并且显着优于COCO上以前最先进的框监督实例分割方法。源代码、预训练模型和数据集可在\url{https://github.com/hustvl/BoxCaseg}获得。
2021-04-04 cs.CV
CaT: Weakly Supervised Object Detection with Category Transfer
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室)
在全监督目标检测和弱监督目标检测之间存在很大的差距。为了缩小这一差距,一些方法考虑从额外的全监督数据集转移知识。但是这些方法没有充分利用全监督数据集中的判别类别信息,从而导致低mAP。为了解决这个问题,我们提出了一种新的类别转移框架弱监督目标检测。直觉是充分利用全监督数据集中的视觉区分和语义相关的类别信息,以增强弱监督检测器的对象分类能力。为了处理重叠的类别转移,我们提出了一个双监督平均教师收集共同的类别信息,并弥合两个数据集之间的领域差距。为了处理非重叠的类别转移,我们提出了一个语义图卷积网络,以促进相关类别之间的语义特征的聚合。以Pascal VOC 2007为弱监督目标数据集,COCO为全监督源数据集进行实验。我们的类别转移框架实现了63.5%的mAP和80.3%的CorLoc,两个数据集之间有5个重叠的类别,这优于最先进的方法。代码可在https://github.com/MediaBrain-SJTU/CaT获得。
2021-08-17 cs.CV
Self-supervised Scale Equivariant Network for Weakly Supervised Semantic Segmentation
University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
弱监督语义分割以其低标注成本的优势,近年来引起了广泛的研究兴趣。大多数先进的算法遵循的设计原则,扩大和限制的种子区域从类激活图(CAM)。众所周知,传统的CAM往往是不完整的或过度激活,由于监管不力。幸运的是,我们发现语义分割具有空间变换等变性,可以形成一些自我监督,以帮助弱监督学习。这项工作主要探讨了CAM生成的规模等变约束的优点,制定了一个自监督规模等变网络(SSENet)。具体地说,一种新的尺度等变正则化精心设计,以确保从相同的输入图像具有不同的分辨率CAM的一致性。这种新的尺度等变正则化可以指导整个网络学习更准确的类激活。这种正则化的CAM可以嵌入到最新的高级弱监督语义分割框架中。在PASCAL VOC 2012数据集上进行的大量实验表明,该方法在弱监督语义分割的定量和定性方面都达到了最先进的性能。代码已可用。
2019-09-09 cs.CV
Learning a Weakly-Supervised Video Actor-Action Segmentation Model with a Wise Selection
University of Rochester(罗切斯特大学)
我们解决了弱监督视频演员动作分割(VAAS),它扩展了一般的视频对象分割(VOS),以额外考虑演员的动作标签。VOS上最成功的方法是合成一个伪注释池(PA),然后迭代地对其进行优化。然而,他们面临的挑战是如何从大量的PA中选择高质量的PA,如何为弱监督训练设置适当的停止条件,以及如何初始化与VAAS相关的PA。为了克服这些挑战,我们提出了一个通用的弱监督框架,该框架具有明智的训练样本选择和模型评估标准(WS^2)。WS^2不是盲目信任质量不一致的PA,而是采用基于学习的选择来选择有效的PA,并采用新的区域完整性标准作为弱监督训练的停止条件。此外,一个3D-Conv GCAM的设计,以适应VAAS任务。大量的实验表明,WS^2在弱监督的VOS和VAAS任务上都达到了最先进的性能,并且与VAAS上最好的全监督方法相当。
2020-03-29 cs.CV
Decoupling Makes Weakly Supervised Local Feature Better
Sun Yat-Sen University(中山大学);The Shenzhen Campus of Sun Yat-Sen University(中山大学深圳校区);National University of Defense Technology(国防科技大学);University of Oulu(奥卢大学);Alibaba Group(阿里巴巴集团)
弱监督学习可以帮助局部特征方法克服获取具有密集标记对应的大规模数据集的障碍。然而,由于弱监督不能区分由检测和描述步骤引起的损失,因此在联合描述-然后-检测流水线内直接进行弱监督学习会受到性能的限制。在本文中,我们提出了一种专为弱监督局部特征学习而设计的解耦描述然后检测管道。在我们的流水线中,检测步骤与描述步骤解耦,并推迟到学习了有区别的和鲁棒的描述符。此外,我们引入了一个线到窗口的搜索策略,明确地使用相机的姿态信息,更好的描述符学习。大量的实验表明,我们的方法,即PoSFeat(摄像机姿态监督特征),优于以前的完全和弱监督方法,并在广泛的下游任务上实现了最先进的性能。
2022-03-26 cs.CV
Weakly-Supervised 3D Pose Estimation from a Single Image using Multi-View Consistency
University of Surrey(萨里大学)
我们提出了一种新的数据驱动的正则化弱监督学习的三维人体姿态估计,消除了漂移问题,影响现有的方法。我们通过将立体声重建问题转移到网络本身的损失中来做到这一点。这避免了在训练之前重建3D数据的需要,并且与之前的半监督方法不同,避免了监督训练的预热期的需要。我们的方法的概念和实现的简单性是其吸引力的基础。它不仅可以简单地用我们额外的基于重投影的损失来增强许多弱监督方法,而且很明显它如何塑造重建和防止漂移。因此,我们相信这将是一个有价值的工具,任何研究人员在弱监督的3D重建工作。在Panoptic上进行评估,这是最大的多相机和无标记数据集,我们获得的准确性与在训练中充分利用3D地面实况的强监督方法基本上无法区分。
2019-09-13 cs.CV
Distribution Guidance Network for Weakly Supervised Point Cloud Semantic Segmentation
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室);Tencent(腾讯);SECE, Peking University(北京大学电子学院);Media Laboratory, Tencent(腾讯媒体实验室)
本文提出分布引导网络DGNet,通过moVMF分布对齐弱监督特征空间,在多个点云语义分割数据集和弱监督设置下取得最先进性能。
2024-10-18 cs.CV
Self-supervised Multi-scale Consistency for Weakly Supervised Segmentation Learning
IMT School for Advanced Studies Lucca(卢卡IMT高等研究院);University of Edinburgh(爱丁堡大学)
收集具有细粒度注释的大规模医学数据集非常耗时,需要专家。因此,弱监督学习旨在使用较弱形式的注释(如涂鸦)优化机器学习模型,这些注释更容易收集,更快。不幸的是,使用弱标签进行训练具有挑战性,需要正则化。在这里,我们介绍了一种新的自我监督的多尺度一致性损失,再加上一个注意力机制,鼓励分割器学习对象之间的多尺度关系,提高性能。我们在几个医疗和非医疗数据集上展示了最先进的性能。用于实验的代码可在https://vios-s.github.io/multiscale-pyag上获得。
2021-08-26 cs.CV
Min-Entropy Latent Model for Weakly Supervised Object Detection
University of Chinese Academy of Sciences(中国科学院大学);Sun Yat-sen University(中山大学)
弱监督目标检测是一个具有挑战性的任务时,提供了图像类别的监督,但需要学习,在同一时间,对象的位置和对象检测器。弱监督和学习目标之间的不一致性引入了显着的随机性对象的位置和模糊性的检测器。提出了一种用于弱监督目标检测的最小熵潜在模型(MELM)。最小熵作为学习对象位置的模型和度量学习过程中对象定位的随机性的度量。它的目的是主要减少学习的实例的方差和减轻检测器的歧义。MELM被分解为三个组件,包括建议团划分,对象团发现,对象定位。MELM是优化与经常性的学习算法,利用连续优化来解决具有挑战性的非凸性问题。实验表明,MELM显着提高性能的弱监督目标检测,弱监督目标定位,和图像分类,对国家的最先进的方法。
2019-02-16 cs.CV
Weakly and Self-Supervised Class-Agnostic Motion Prediction for Autonomous Driving
College of Computing and Data Science, Nanyang Technological University, Singapore(计算与数据科学学院,南洋理工大学,新加坡);SenseTime Research, Hong Kong, China(时光科技研究院,香港,中国)
本文提出基于LiDAR点云的弱监督与自监督类无关运动预测方法,利用前景/背景或非地面/地面掩码替代运动标注,并设计鲁棒一致性感知Chamfer Distance损失抑制异常值,在降低标注成本的同时保持优异性能。
2025-09-16 cs.CV
WOAD: Weakly Supervised Online Action Detection in Untrimmed Videos
Salesforce Research(赛富时研究院)
未裁剪视频中的在线动作检测旨在识别发生的动作,这对于实时应用非常重要。以前的方法依赖于繁琐的时间动作边界的注释进行训练,这阻碍了在线动作检测系统的可扩展性。我们提出了WOAD,这是一个弱监督框架,可以只使用视频类标签进行训练。WOAD包含两个联合训练模块,即,时间建议生成器(TPG)和在线动作识别器(OAR)。在视频类标签的监督下,TPG离线工作,目标是准确挖掘OAR的伪帧级标签。通过TPG的监督信号,OAR学习以在线方式进行动作检测。在THUMOS'14,ActivityNet1.2和ActivityNet1.3上的实验结果表明,我们的弱监督方法在很大程度上优于弱监督基线,并实现了与以前的强监督方法相当的性能。除此之外,WOAD还可以灵活地利用强有力的监督。当强监督时,我们的方法在在线每帧动作识别和在线动作开始检测的任务中获得了最先进的结果。
2021-05-18 cs.CV
Weakly-Supervised Arbitrary-Shaped Text Detection with Expectation-Maximization Algorithm
University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence of Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
异形文字检测是计算机视觉中一个重要而又具有挑战性的课题。大多数现有的方法需要大量的数据标记工作,以产生用于监督训练的文本区域标签。为了降低数据标记的成本,我们研究了弱监督任意形状文本检测,以结合各种弱监督形式(例如,图像级标签、粗略的、松散的和紧密的边界框),这对于注释来说要容易得多。我们提出了一个基于期望最大化(EM)的弱监督学习框架,训练一个准确的任意形状的文本检测器,只使用少量的文本级注释数据结合大量的弱注释数据。同时,我们提出了一个基于轮廓的任意形状的文本检测器,这是适合于结合弱监督学习。在CTW 1500、Total-Text和ICDAR-ArT三个任意形状的文本基准测试上的实验表明:(1)仅使用10%的强注释数据和90%的弱注释数据,我们的方法的性能与现有方法相当;(2)在100%的强注释数据下,我们的方法在所有三个基准测试上的性能都优于现有方法。我们将在未来公开弱注释数据集。
2020-12-01 cs.CV
Active Learning Strategies for Weakly-supervised Object Detection
Inria(法国国家信息与自动化研究所);DI/ENS (ENS-PSL, CNRS, Inria)(巴黎高等师范学院计算机系(巴黎高等师范学院-巴黎文理研究大学、法国国家科学研究中心、法国国家信息与自动化研究所));New York University(纽约大学)
用弱注释训练的对象检测器是完全监督的替代品。然而,它们之间仍然存在很大的性能差距。我们建议通过微调一个基本的预训练的弱监督检测器,使用"盒中盒“(BiB)自动从训练集中选择一些完全注释的样本来缩小这一差距,这是一种新的主动学习策略,专门用于解决弱监督检测器的有据可查的故障模式。在VOC07和COCO基准测试上的实验表明,BiB优于其他主动学习技术,并且在每个类只有少量完全注释图像的情况下,显著提高了基本弱监督检测器的性能。BiB达到了全监督快速RCNN性能的97%,而VOC 07上只有10%的完全注释图像。在COCO上,平均每个类使用10个完全注释的图像,或相当于训练集的1%,BiB还将弱监督检测器和全监督快速RCNN之间的性能差距(在AP中)减少了70%以上,显示了性能和数据效率之间的良好权衡。我们的代码可在https://github.com/huyvvo/BiB上公开获取。
2022-07-25 cs.CV
NoPeopleAllowed: The Three-Step Approach to Weakly Supervised Semantic Segmentation
SoftServe(SoftServe公司);Ukrainian Catholic University(乌克兰天主教大学)
我们提出了一种新的方法,弱监督语义分割,其中包括三个连续的步骤。前两步从图像级注释数据中提取高质量的伪掩模,然后在第三步中使用伪掩模来训练分割模型。该方法还解决了数据中的两个问题:类不平衡和缺少标签。仅使用图像级注释作为监督,我们的方法能够分割各种类别和复杂对象。它在测试集上实现了37.34的平均IoU,在弱监督语义分割任务中的LID挑战中排名第三。
2020-06-13 cs.CV
Weakly Supervised Deep Detection Networks
University of Oxford(牛津大学)
目标检测的弱监督学习是图像理解中的一个重要问题,至今仍没有一个令人满意的解决方案。在本文中,我们通过利用在大规模图像级分类任务上预训练的深度卷积神经网络的能力来解决这个问题。我们提出了一种弱监督深度检测架构,该架构修改了一个这样的网络,使其在图像区域级别上运行,同时执行区域选择和分类。作为图像分类器训练,该架构隐式地学习对象检测器,其优于PASCAL VOC数据上的替代弱监督检测系统。该模型是一个简单而优雅的端到端架构,其性能优于标准的数据增强和图像级分类任务的微调技术。
2016-12-19 cs.CV
CaCL: Class-aware Codebook Learning for Weakly Supervised Segmentation on Diffuse Image Patterns
Vanderbilt University(范德堡大学);Vanderbilt University Medical Center(范德堡大学医学中心)
弱监督学习在生物医学图像分析中得到了快速发展,以从图像标注(分类)实现像素标签(分割),因为生物医学图像在许多情况下自然包含图像标签。来自计算机视觉界的当前弱监督学习算法主要是针对焦点对象(例如,狗和猫)。然而,这样的算法没有针对生物医学成像中的漫射图案(例如,染色和显微成像中的荧光)。在本文中,我们提出了一种新的类感知码本学习(CaCL)算法进行弱监督学习扩散图像模式。具体而言,CaCL算法被部署到从人类十二指肠的组织学图像中分割蛋白质表达的刷状缘区域。我们的贡献是三方面的:(1)我们从一个新的码本学习的角度来处理弱监督分割;(2)CaCL算法分割扩散图像模式,而不是焦点对象;(3)所提出的算法是在一个多任务框架的基础上实现的矢量量化-变分自编码器(VQ-VAE)通过联合图像重建,分类,特征嵌入,和分割。实验结果表明,我们的方法取得了优越的性能相比,基线弱监督算法。该代码可在https://github.com/ddrrnn123/CaCL上获得。
2022-04-13 cs.CV
On Evaluating Weakly Supervised Action Segmentation Methods
University of Bonn(波恩大学);Toyota Motor Europe(丰田汽车欧洲公司)
动作分割是在时间上分割未修剪视频的每一帧的任务。弱监督的动作分割方法,特别是从成绩单一直相当感兴趣的计算机视觉社区。在这项工作中,我们专注于弱监督动作分割方法的使用和评估的两个方面,这两个方面经常被忽视:多个训练运行的性能差异和选择特征提取器对这项任务的影响。为了解决第一个问题,我们在Breakfast数据集上对每个方法进行了5次训练,并提供了结果的平均值和标准差。我们的实验表明,这些重复的标准偏差在1和2.5%之间,并显着影响不同方法之间的比较。此外,我们对特征提取的研究表明,对于所研究的弱监督动作分割方法,更高级别的I3D特征比经典的IDT特征表现更差。
2021-10-21 cs.CV
Weakly- and Semi-Supervised Object Detection with Expectation-Maximization Algorithm
Tsinghua University(清华大学)
当提供图像级标签而不是实例级标签时的目标检测(即,边界框)是计算机视觉中的一个重要问题,因为获得具有实例级标签的大规模图像数据集的成本极高。在本文中,我们通过使用深度卷积神经网络(CNN)开发基于期望最大化(EM)的目标检测方法来解决这个具有挑战性的问题。我们的方法适用于弱监督和半监督的设置。在PASCAL VOC 2007 benchmark上进行的大量实验表明:(1)在弱监督设置下,我们的方法比当前最先进的方法提供了显着的检测性能改进,(2)可以访问少量的强(实例级)注释图像,我们的方法几乎可以与完全监督的Fast RCNN的性能相匹配。我们在https://github.com/ZiangYan/EM-WSD上共享源代码。
2017-02-28 cs.CV
Simple Does It: Weakly Supervised Instance and Semantic Segmentation
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland University(萨尔大学)
语义标记和实例分割是需要特别昂贵的注释的两个任务。从弱监督的形式限界框检测注释,我们提出了一种新的方法,不需要修改的分割训练过程。我们表明,当从给定的边界框中仔细设计输入标签时,即使是一轮训练也足以改善先前报告的弱监督结果。总的来说,我们的弱监督方法达到了完全监督模型质量的95%,无论是语义标记还是实例分割。
2016-11-23 cs.CV
Decoupled Spatial Neural Attention for Weakly Supervised Semantic Segmentation
Nanyang Technological University(南洋理工大学);The University of Adelaide(阿德莱德大学)
弱监督的语义分割得到了很多研究的关注,因为它强调了需要获得大量的密集像素明智的地面实况注释的训练图像。与其他形式的弱监督相比,图像标签的获取效率相当高。在我们的工作中,我们专注于弱监督语义分割与图像标签标注。这项任务的最新进展在很大程度上取决于生成的伪注释的质量。在这项工作中,灵感来自空间神经注意图像描述,我们提出了一个解耦的空间神经注意网络生成伪注释。我们的解耦注意力结构可以同时识别目标区域和定位有区别的部分,在一个前向路径中生成高质量的伪注释,生成的伪注释导致分割结果,达到了最先进的弱监督语义分割。
2018-03-07 cs.CV
Improving Weakly-Supervised Object Localization By Micro-Annotation
IST Austria(奥地利科学技术研究所)
弱监督的对象定位方法往往会失败的对象类,始终与相同的背景元素,如火车上的轨道。我们提出了一种方法来克服这些故障,通过添加一个非常少量的模型特定的附加注释。其主要思想是将深度网络的中层表示聚类,并为每个聚类分配对象或干扰项标签。实验表明,在具有挑战性的ILSVC 2014数据集上进行限界框检测和在PASCAL VOC 2012数据集上进行语义分割的定位结果得到了显著改善。
2016-05-18 cs.CV
What Matters in Autonomous Driving Anomaly Detection: A Weakly Supervised Horizon
INRIA(法国国家信息与自动化研究所)
针对自动驾驶移动相机场景下弱监督视频异常检测研究不足的问题,本文重构DoTA数据集验证现有方法,提出特征变换模块以提升检测性能,并将开源相关资源。
2024-08-10 cs.CV
Transformer based multiple instance learning for weakly supervised histopathology image segmentation
Beihang University(北京航空航天大学);China Pharmaceutical University(中国药科大学);Zhejiang University(浙江大学);Microsoft Research(微软研究院);Xiaomi Corporation(小米公司)
病理图像分割算法在计算机辅助诊断技术中占有重要地位。弱监督分割算法的发展解决了医学图像标注费时费力的问题。作为弱监督学习的一个子集,多实例学习(MIL)在分割中被证明是有效的。然而,MIL中实例之间缺乏相关信息,这限制了分割性能的进一步提高。在本文中,我们提出了一种新的弱监督的方法,在组织病理学图像的像素级分割,它引入Transformer到MIL框架,以捕获全局或长期的依赖关系。Transformer中的多头自注意建立了实例之间的关系,解决了MIL中实例之间相互独立的缺点。此外,引入深度监督,克服了弱监督方法中标注的局限性,更好地利用了层次信息。结肠癌数据集上的最新结果表明,与其他弱监督方法相比,该方法具有优越性。值得相信的是,我们的方法在医学图像的各种应用中有潜力。
2022-05-18 cs.CV
Closed-Loop Adaptation for Weakly-Supervised Semantic Segmentation
Huazhong University of Science and Technology(华中科技大学);University of Florida(佛罗里达大学)
弱监督语义分割的目标是在弱监督下为每个像素分配一个语义类别,例如图像级标签。现有的大多数弱监督语义分割方法不使用来自分割输出的任何反馈,并且可以被认为是开环系统。由于种子的静态性和结构信息的敏感性,它们容易产生累积错误。本文针对现有的弱监督语义分割方法,通过引入两条反馈链,提出了一种通用的自适应机制,从而构成一个闭环系统。具体地,第一链通过合并跨图像结构信息来迭代地产生动态种子,而第二链通过定制的随机游走过程来进一步扩展种子区域,以协调由超像素表征的内部图像结构信息。在PASCAL VOC 2012上的实验表明,我们的网络比最先进的方法性能更好,计算和内存负担更少。
2019-05-29 cs.CV
Discriminative Localization in CNNs for Weakly-Supervised Segmentation of Pulmonary Nodules
Columbia University(哥伦比亚大学);Imperial College(帝国理工学院)
在肺部计算机断层扫描(CT)扫描上自动检测和分割肺结节可以促进早期肺癌诊断。用于CT扫描上的自动结节分割的现有监督方法需要用于训练的基于体素的注释,这是耗费人力和时间的。在这项工作中,我们提出了一种弱监督方法,该方法仅使用图像级标签进行训练,生成准确的体素级结节分割。通过调整为图像分类训练的卷积神经网络(CNN),我们所提出的方法从不同尺度的卷积单元的激活图中学习有区别的区域,并使用新的候选筛选框架来识别真正的结节位置。在公共LIDC-IDRI数据集上的实验结果表明,与基于CNN的全监督分割方法相比,我们的弱监督结节分割框架具有竞争力的性能。
2018-02-22 cs.CV
Self-Transfer Learning for Fully Weakly Supervised Object Localization
Lunit Inc.(Lunit公司)
深度学习的最新进展在各种具有挑战性的计算机视觉任务中取得了显着的表现。特别是在对象定位方面,深度卷积神经网络优于基于提取数据/任务驱动特征而不是手工特征的传统方法。虽然感兴趣区域(ROI)的位置信息为对象定位提供了良好的先验,但它需要大量的人力资源注释工作。因此,一个弱监督框架的目标定位。术语“弱”意味着该框架仅使用图像级标记的数据集来训练网络。在采用预训练网络的权值参数的迁移学习的帮助下,用于目标定位的弱监督学习框架表现良好,因为预训练网络已经具有良好训练的类特定特征。然而,这些方法不能用于没有预先训练的网络或良好局部化的大规模图像的一些应用。医学图像分析是这些应用中的代表,因为不可能获得这样的预训练网络。在这项工作中,我们提出了一个“完全”弱监督框架的对象定位(“半”-弱是对应的使用预训练的过滤器弱监督定位)命名为自迁移学习(STL)。它同时优化分类和定位网络。通过控制定位网络的监督级别,STL帮助定位网络在没有任何类型的先验的情况下聚焦于正确的ROI。我们使用两个医学图像数据集,胸部X光片和乳房X光片评估拟议的STL框架,并实现显着更好的定位性能相比,以前的弱监督方法。
2016-02-04 cs.CV
Self-Supervised Difference Detection for Weakly-Supervised Semantic Segmentation
Artificial Intelligence eXploration Research Center, The University of Electro Communications(电气通信大学人工智能探索研究中心)
为了最小化与语义分割模型训练相关的标注成本,研究人员广泛研究了弱监督分割方法。在目前的弱监督分割方法中,最广泛采用的方法是基于可视化的。然而,可视化结果并不等于语义分割。因此,为了在弱监督条件下执行精确的语义分割,需要考虑将可视化结果转换为语义分割的映射函数。对于这样的映射函数,通常使用条件随机场和使用分割模型的输出的迭代再训练。然而,这些方法并不总是保证精度的提高;因此,如果我们多次迭代地应用这些映射函数,最终精度不会提高或会降低。为了充分利用这类映射函数,本文假设映射函数的结果中含有噪声,通过去除噪声来提高精度。为了实现我们的目标,我们提出了自我监督的差异检测模块,它通过预测映射前后的分割掩模之间的差异来估计映射函数结果中的噪声。通过在PASCAL Visual Object Classes 2012数据集上的实验,验证了该方法的有效性,在val集和测试集上分别达到了64.9%和65.5%。这两个结果在弱监督语义分割的相同设置下成为新的最先进的。
2019-11-12 cs.CV
Weakly Supervised Multi-Object Tracking and Segmentation
Computer Vision Center, UAB(巴塞罗那自治大学计算机视觉中心);Facebook(脸书)
本文提出了弱监督多目标跟踪与分割问题,即联合弱监督实例分割和多目标跟踪,其中不提供任何类型的模板标注。为了解决这个问题,我们设计了一种新的协同训练策略,利用多任务学习,即分类和跟踪任务指导训练的无监督实例分割。为此,我们提取Grad-CAM热图提供的弱前景定位信息,以生成部分地面实况以供学习。此外,RGB图像级信息被用来细化对象边缘处的掩模预测。我们在KITTI MOTS上评估了我们的方法,这是这项任务最具代表性的基准,将完全监督和弱监督方法之间的MOTSP指标的性能差距分别缩小到12%和12.7%。
2021-01-03 cs.CV
Weakly Supervised Instance Segmentation by Deep Community Learning
Seoul National University(首尔大学);ETRI(韩国电子通信研究院)
提出了一种基于多任务深度社区学习的弱监督实例分割算法。该任务被制定为弱监督目标检测和语义分割的组合,其中同一类的单个对象被分别识别和分割。我们通过设计一个统一的深度神经网络架构来解决这个问题,该架构具有正反馈的目标检测循环,包括限界框回归、实例掩码生成、实例分割和特征提取。网络的每个组件都与其他组件进行积极的交互以提高准确性,我们模型的端到端可训练性使我们的结果更加强大和可重复。所提出的算法在弱监督设置中实现了最先进的性能,而无需在标准基准数据集上进行任何额外的训练,例如Fast R-CNN和Mask R-CNN。我们的算法的实现可在项目网页上获得:https://cv.snu.ac.kr/research/WSIS_CL。
2020-11-18 cs.CV
Reinforcing Local Feature Representation for Weakly-Supervised Dense Crowd Counting
由于大量的注释,完全监督的人群计数是一项艰巨的任务。很少有作品专注于每周监督的人群计数,其中只有全球人群数量可用于训练。每周监督人群计数的主要挑战是缺乏当地监督信息。为了解决这个问题,我们提出了一个自适应特征相似性学习(SFSL)网络和全局-局部一致性(GLC)损失,以加强局部特征表示。我们引入了一个特征向量,它代表了无偏特征估计的人。该网络自适应地更新特征向量,并利用特征相似性对人群数量进行回归。此外,所提出的GLC损失利用了来自全球和局部区域的网络估计之间的一致性。实验结果表明,我们提出的方法基于不同的骨干缩小了弱监督和全监督密集人群计数之间的差距。
2022-02-22 cs.CV
Semi- and Weakly-supervised Human Pose Estimation
Toyota Technological Institute(丰田工业大学);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
针对静止图像中的人体姿态估计,本文提出了三种半监督和弱监督学习方案。虽然卷积神经网络的最新进展使用监督训练数据改进了人体姿势估计,但我们的重点是探索半监督和弱监督方案。我们提出的方案最初从少量带有人类姿势注释的标准训练图像中学习用于姿势估计的传统模型。对于第一种半监督学习方案,这种传统的姿态模型在没有人类注释的情况下检测训练图像中的候选姿态。从这些候选姿势中,只有真阳性被分类器使用表示所有身体部位的配置的姿势特征选择。这些候选姿势估计和真阳性姿势选择的准确性通过在我们的第二和第三学习方案中向这些图像提供动作标签来提高,所述第二和第三学习方案是半和弱监督学习。虽然第一和第二学习方案仅选择与监督训练数据中的姿态相似的姿态,但是第三方案选择与任何监督姿态显著不同的更真实肯定的姿态。该姿势选择通过使用具有Dirichlet过程混合物和贝叶斯因子的离群姿势检测的姿势聚类来实现。所提出的方案进行了验证与大规模的人体姿势数据集。
2019-06-04 cs.CV
CELNet: Evidence Localization for Pathology Images using Weakly Supervised Learning
The Hong Kong University of Science and Technology(香港科技大学)
尽管深度卷积神经网络提高了数字病理分析中图像分类和分割的性能,但它们通常在临床应用的可解释性方面较弱,或者需要大量注释来实现对象定位。为了克服这个问题,我们提出了一个弱监督学习为基础的方法,可以有效地学习本地化的歧视性证据的诊断标签从弱标记的训练数据。实验结果表明,我们所提出的方法可以可靠地查明癌症证据的位置,支持感兴趣的决定,同时仍然实现了具有竞争力的表现,在一瞥级和幻灯片级的组织病理学癌症检测任务。
2019-09-16 cs.CV
Feedback Neural Network for Weakly Supervised Geo-Semantic Segmentation
Facebook Connectivity Lab(Facebook连接实验室);University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Facebook Core Data Science(Facebook核心数据科学)
从弱监督数据中学习是机器学习和计算机视觉的主要挑战之一,特别是对于图像语义分割等任务,其中标记是极其昂贵和主观的。在本文中,我们提出了一种新的神经网络架构,通过抑制无关的神经元激活来执行弱监督学习。它通过以端到端的方式从图像级分类标签中学习来定位感兴趣的对象。我们将该算法应用于将卫星图像转换为定居点和单个建筑物地图的实际挑战。实验结果表明,该算法取得了优越的性能和效率相比,各种基线模型。
2016-12-08 cs.CV
Weakly-supervised fire segmentation by visualizing intermediate CNN layers
Instituto Superior Tecnico, University of Lisbon(里斯本大学高等技术学院)
图像和视频中的火灾定位是自治系统对抗火灾事件的重要步骤。基于深度神经网络的最先进的图像分割方法需要大量的像素注释样本来以完全监督的方式训练卷积神经网络(CNN)。在本文中,我们考虑弱监督分割图像中的火灾,其中只有图像标签被用来训练网络。我们表明,在火灾分割的情况下,这是一个二进制分割问题,在中间层的分类CNN的特征的平均值可以比传统的类激活映射(CAM)方法更好地执行。我们还建议通过在最后一个卷积层的特征上添加旋转等变正则化损失来进一步提高分割精度。我们的研究结果表明,明显的改善基线方法弱监督火灾分割。
2021-11-16 cs.CV
Weakly Supervised Object Detection with Segmentation Collaboration
Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
弱监督目标检测的目标是在给定图像类别标签的情况下学习精确的目标检测器。在最近流行的工作中,这个问题通常被公式化为一个由图像分类损失引导的多实例学习模块。假设对象限界框是所有建议中对分类贡献最大的一个。然而,贡献最大的区域也可能是对象的关键部分或支持上下文。为了获得更准确的检测器,在这项工作中,我们提出了一种新的端到端弱监督检测方法,其中新引入的生成对抗分割模块与传统的检测模块在协作循环中进行交互。该协作机制充分利用了弱监督定位任务(即检测和分割任务)的互补解释,形成了一个更全面的解决方案。因此,我们的方法获得更精确的对象边界框,而不是零件或不相关的环境。预计,该方法实现了51.0%的准确率在PASCAL VOC 2007数据集上,优于国家的最先进的,并证明其优越性弱监督目标检测。
2019-04-01 cs.CV
Weakly Supervised Image Annotation and Segmentation with Objects and Attributes
我们建议使用非参数贝叶斯模型从Flickr等媒体共享网站上丰富的弱标记图像中学习来模拟复杂的视觉场景。鉴于对象和属性的弱图像级注释没有位置或它们之间的关联,我们的模型旨在学习对象和属性类的外观以及它们在每个对象实例上的关联。一旦学习,给定一个图像,我们的模型可以被部署来以联合和连贯的方式解决许多视觉问题,包括识别场景中的对象(自动对象注释),使用它们的属性描述对象(属性预测和关联),以及定位和描绘对象(目标检测和语义分割)。这是通过开发一种新的弱监督马尔可夫随机场堆叠印度自助餐过程(WS-MRF-SIBP)来实现的,该过程将对象和属性建模为潜在因素,并明确捕获它们在超像素内和超像素之间的相关性。在基准数据集上的大量实验表明,我们的弱监督模型显着优于弱监督的替代品,并经常与现有的强监督模型的各种任务,包括语义分割,自动图像标注和检索的基础上的对象-属性关联。
2017-08-08 cs.CV
WSSOD: A New Pipeline for Weakly- and Semi-Supervised Object Detection
SenseTime Research(商汤科技研究院);The Chinese University of Hong Kong(香港中文大学)
目标检测的性能在很大程度上取决于大型带注释数据集的可用性。为了减轻标注成本,研究界已经探索了许多方法来利用未标记或弱标记的数据。然而,迄今为止,这些努力取得的成功有限。在这项工作中,我们重新审视这个问题与务实的立场,试图探索一个新的平衡之间的检测性能和注释成本,共同利用充分和弱注释的数据。具体来说,我们提出了一个弱监督和半监督的目标检测框架(WSSOD),它涉及两个阶段的学习过程。代理检测器首先在联合数据集上进行训练,然后用于预测弱注释图像上的伪边界框。在当前以及常见的半监督管道的基本假设也仔细检查下,一个统一的EM制定。在此框架之上,引入了弱监督损失(WSL),标签注意力和随机伪标签采样(RPS)策略来放松这些假设,从而进一步提高检测管道的效率。该框架在PASCAL-VOC和MSCOCO基准测试中表现出了卓越的性能,达到了与完全监督设置中获得的性能相当的高性能,只有三分之一的注释。
2021-05-21 cs.CV
Weakly and Semi Supervised Detection in Medical Imaging via Deep Dual Branch Net
University of Haifa(海法大学);IBM Research(IBM研究院);Bar-Ilan University(巴伊兰大学)
这项研究提出了一种新的深度学习架构,用于通过对乳房X线照片的实验说明医学成像中异常的多类分类和定位。该网络结合了两个学习分支。一个分支是用于具有新添加的正常区域类的区域分类。第二分支是区域检测分支,用于相对于彼此对区域进行排序。我们的方法能够在弱监督和半监督设置下以全乳房X线照片分辨率检测异常。一种新的目标函数允许将局部注释并入模型中。我们提出了我们的计划的分类和本地化的几个性能指标的影响,以评估病变注释工作的成本效益。我们的评价主要是在$\sim$ 3,000张乳腺X线照片的大型多中心乳腺X线照片数据集上进行的,结果不同。弱监督学习的结果表明,与以前的方法相比,有显着的改善。我们表明,耗时的本地注释参与监督学习可以解决弱监督的方法,可以利用本地注释数据的子集。弱监督和半监督方法与检测相结合,可以产生一个成本效益和可解释的模型,供放射科医生在该领域采用。
2020-03-19 cs.CV
Weakly Supervised 3D Object Detection from Point Clouds
Massachusetts Institute of Technology(麻省理工学院);Microsoft Research(微软研究院)
三维目标检测是场景理解中的一项重要任务,其目的是检测和定位属于特定类别的物体的三维边界框。现有的3D对象检测器在训练过程中严重依赖于带注释的3D边界框,而这些注释的获取成本可能很高,并且只能在有限的场景中使用。弱监督学习是一种很有前途的方法,以减少注释的要求,但现有的弱监督对象检测器大多是2D检测,而不是3D。在这项工作中,我们提出了VS3D,一个框架,用于弱监督的3D目标检测从点云,而不使用任何地面实况3D限界框进行训练。首先,我们介绍了一个无监督的3D建议模块,该模块通过利用归一化点云密度来生成对象建议。其次,我们提出了一种跨模态知识蒸馏策略,其中卷积神经网络通过查询在图像数据集上预训练的教师网络来学习预测3D对象提案的最终结果。在具有挑战性的KITTI数据集上进行的全面实验证明了我们的VS3D在各种评估设置中的卓越性能。源代码和预训练模型可在https://github.com/Zengyi-Qin/Weakly-Supervised-3D-Object-Detection上公开获取。
2020-07-28 cs.CV
Weakly Supervised Learning of Objects, Attributes and their Associations
Queen Mary, University of London(伦敦大学玛丽女王学院)
当人类描述图像时,他们倾向于使用名词和形容词的组合,分别对应于对象及其相关属性。为了自动生成这样的描述,需要对对象、属性及其关联进行建模。传统方法需要对对象和属性位置进行强注释,这使得它们的可伸缩性较低。在本文中,我们从弱标记的图像,如媒体共享网站(如Flickr),其中只有图像级别的标签(对象或属性),没有他们的位置和协会广泛提供对象属性关联模型。这是通过引入一种新的弱监督非参数贝叶斯模型。一旦学习,给定一个新的图像,我们的模型可以描述图像,包括对象,属性及其关联,以及它们的位置和分割。在基准数据集上进行的大量实验表明,我们的弱监督模型在基于对象-属性关联的图像描述和检索等任务上与强监督模型表现相当。
2015-03-31 cs.CV
Weakly- and Semi-Supervised Learning of a DCNN for Semantic Image Segmentation
Google, Inc.(谷歌公司);UCLA(加州大学洛杉矶分校)
深度卷积神经网络(DCNN)在大量具有强像素级注释的图像上训练,最近显着推动了语义图像分割的最新技术。我们研究了从(1)弱注释的训练数据(如边界框或图像级标签)或(2)来自一个或多个数据集的少数强标记和许多弱标记图像的组合中学习DCNN进行语义图像分割的更具挑战性的问题。我们开发了期望最大化(EM)方法,用于在这些弱监督和半监督设置下进行语义图像分割模型训练。广泛的实验评估表明,所提出的技术可以学习模型提供具有挑战性的PASCAL VOC 2012图像分割基准的竞争力的结果,同时需要显着减少注释工作。我们在https://bitbucket.org/deeplab/deeplab-public上共享实现所提出的系统的源代码。
2015-10-05 cs.CV
Keypoint Based Weakly Supervised Human Parsing
Nanyang Technological University(南洋理工大学)
近年来,全卷积网络(FCN)在人类解析中取得了巨大的成功。在传统的人工解析任务中,需要像素级标记来指导训练,这通常涉及巨大的人工标记工作。为了减轻标记工作,我们提出了一种新的弱监督人类解析方法,它只需要简单的对象关键点注释进行学习。我们开发了一种迭代学习方法来从关键点标签生成伪零件分割掩模。有了这些伪掩码,我们训练一个FCN网络来输出像素级的人类解析预测。此外,我们开发了一个相关性网络来执行联合预测的部分和对象分割掩模,提高分割性能。实验结果表明,我们的弱监督方法能够实现非常有竞争力的人类句法分析结果。尽管我们的方法只使用简单的关键点注释进行学习,但我们能够实现与使用昂贵的像素级注释的完全监督方法相当的性能。
2018-09-14 cs.CV
W-TALC: Weakly-supervised Temporal Activity Localization and Classification
University of California, Riverside(加州大学河滨分校)
文献中的大多数活动定位方法都受到逐帧注释要求的负担。从弱标签中学习可能是减少这种手动标记工作的潜在解决方案。近年来,互联网上大量的带标签的视频涌入,这些视频可以作为弱监督训练数据的丰富来源。具体地,可以利用具有相似标签的视频之间的相关性来在时间上定位活动。为了实现这一目标,我们提出了W-TALC,一个弱监督的时间活动定位和分类框架,只使用视频级标签。该网络可以分为两个子网络,即基于双流的特征提取器网络和弱监督模块,我们通过优化两个互补的损失函数来学习。在两个具有挑战性的数据集-Thumos 14和ActivityNet1.2上的定性和定量结果表明,所提出的方法能够以细粒度检测活动,并实现比当前最先进的方法更好的性能。
2018-12-15 cs.CV
AutoLoc: Weakly-supervised Temporal Action Localization
Columbia University(哥伦比亚大学);Microsoft Research(微软研究院);Mitsubishi Electric(三菱电机)
未修剪视频中的时间动作定位(TAL)对于许多应用都很重要。但是注释片段级的基础事实(动作类和时间边界)是非常昂贵的。这引起了人们对解决监督薄弱的TAL问题的兴趣,即在培训期间仅提供视频级注释)。然而,最先进的弱监督TAL方法仅关注随着时间的推移生成良好的类激活序列(CAS),但对CAS进行简单的阈值处理以定位动作。在本文中,我们首先开发了一个新的弱监督TAL框架AutoLoc,直接预测每个动作实例的时间边界。我们提出了一种新的外-内-对比(OIC)损失,以自动发现训练这种边界预测器所需的段级监督。我们的方法实现了显着提高的性能:在IoU阈值0.5下,我们的方法将THUMOS'14上的mAP从13.7%提高到21.2%,将ActivityNet上的mAP从7.4%提高到27.3%。同样令人鼓舞的是,我们的弱监督方法取得了与一些完全监督方法相当的结果。
2018-12-16 cs.CV
Improved Techniques For Weakly-Supervised Object Localization
Yonsei University(延世大学)
我们提出了一种改进的弱监督对象定位技术。传统的方法有一个局限性,他们只集中在最有区别的部分的目标对象。最近的研究解决了这个问题,并解决了这个限制,增加了训练数据的歧视性较低的部分。为此,我们采用了一种有效的数据增强,以提高目标定位的准确性。此外,我们引入了改进的学习技术,通过优化卷积神经网络(CNN)的基础上,最先进的模型。基于大量的实验,我们评估所提出的方法的有效性定性和定量。特别是,我们观察到,与当前最先进的弱监督对象定位技术相比,我们的方法根据配置将Top-1定位精度提高了21.4 - 37.3%。
2018-05-10 cs.CV
BBAM: Bounding Box Attribution Map for Weakly Supervised Semantic and Instance Segmentation
Seoul National University(首尔大学);ASRI(先进技术研究中心);INMC(纳米材料与技术研究所);ISRC(智能系统研究中心);Institute of Engineering Research(工程研究院)
使用限界框注释的弱监督分割方法专注于从包含对象的每个框获得像素级掩模。现有的方法通常依赖于类不可知的掩码生成器,其对图像固有的低级别信息进行操作。在这项工作中,我们利用更高层次的信息,从一个训练有素的对象检测器的行为,通过寻找图像的最小区域,从对象检测器产生几乎相同的结果,因为它从整个图像。这些区域构成了边界框属性图(BBAM),其在其限界框中识别目标对象,从而充当弱监督语义和实例分割的伪地面实况。这种方法在弱监督语义和实例分割方面明显优于PASCAL VOC和MS COCO基准测试中的最新可比技术。此外,我们还提供了对我们方法的详细分析,从而更深入地了解BBAM的行为。
2021-03-16 cs.CV
Track and Transfer: Watching Videos to Simulate Strong Human Supervision for Weakly-Supervised Object Detection
University of California, Davis(加州大学戴维斯分校)
训练对象检测器的现状方法需要昂贵的限界框注释。我们的框架采取了一个明显不同的方向:我们将跟踪的对象框从弱标记视频转移到弱标记图像,以自动生成伪地面实况框,取代手动注释的边界框。我们首先在弱标记图像集合中挖掘经常/很少出现在正/负像中的区分区域。然后,我们将这些区域与视频进行匹配,并检索相应的跟踪对象框。最后,我们设计了一个霍夫变换算法来投票选出最好的盒子作为每个图像的伪GT,并使用它们来训练目标检测器。总之,这些导致了PASCAL 2007和2010数据集上最先进的弱监督检测结果。
2016-04-19 cs.CV