RefineLoc: Iterative Refinement for Weakly-Supervised Action Localization
Adobe Research(Adobe研究院);King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学(KAUST))
视频动作检测器通常使用具有完全监督的时间注释的数据集进行训练。构建这样的数据集是一项昂贵的任务。为了缓解这个问题,最近的方法试图利用弱标记,其中视频未经修剪,只有视频级标签可用。在本文中,我们提出了RefineLoc,一种新的弱监督的时间动作定位方法。RefineLoc使用迭代细化方法,在每次迭代时估计和训练片段级伪地面真值。我们展示了这种迭代方法的好处,并对五种不同的伪地面真值生成器进行了广泛的分析。我们展示了我们的模型在两个标准动作数据集ActivityNet v1.2和THUMOS 14上的有效性。RefineLoc在弱监督时间定位中显示出与最先进的竞争结果。此外,我们的迭代优化过程能够显着提高两种最先进方法的性能,在THUMOS 14上设置新的最先进方法。
2020-11-08 cs.CV
Weakly Supervised Action Localization by Sparse Temporal Pooling Network
University of California(加利福尼亚大学);Google(谷歌);Seoul National University(首尔国立大学)
我们提出了一个弱监督的时间动作定位算法的未修剪的视频使用卷积神经网络。我们的算法从视频级别的类标签中学习,并预测人类动作的时间间隔,而不需要时间定位注释。我们设计我们的网络,以确定一个稀疏的子集的关键段与目标动作在视频中使用的注意力模块和融合的关键段通过自适应时间池。我们的损失函数是由两个术语,最大限度地减少视频级的动作分类错误,并执行稀疏的段选择。在推理时,我们提取和评分时间的建议,使用时间类激活和类不可知的注意,估计对应于目标动作的时间间隔。该算法在THUMOS 14数据集上获得了最先进的结果,在ActivityNet1.3上表现出色,即使其监督较弱。
2018-04-03 cs.CV
Action Shuffling for Weakly Supervised Temporal Localization
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Beijing Institute of Technology(北京理工大学);Meituan Group(美团集团)
弱监督动作定位是一项具有广泛应用的挑战性任务,其目的是在仅提供视频级注释的情况下识别动作和相应的时间间隔。本文分析了动作的顺序敏感和位置不敏感特性,并将其体现到一个自增强学习框架中,以提高弱监督动作定位的性能。具体来说,我们提出了一种新的两个分支的网络架构与内部/相互作用洗牌,被称为ActShufNet。内部动作洗牌分支布局了一个自我监督的顺序预测任务,以增加视频表示与内部视频相关性,而内部动作洗牌分支对现有的动作内容施加重组策略,以增加训练集,而不诉诸任何外部资源。此外,提出了全局-局部对抗训练,以增强模型对无关噪声的鲁棒性。在三个基准数据集上进行了大量的实验,结果清楚地表明了所提出的方法的有效性。
2021-05-10 cs.CV
AutoLoc: Weakly-supervised Temporal Action Localization
Columbia University(哥伦比亚大学);Microsoft Research(微软研究院);Mitsubishi Electric(三菱电机)
未修剪视频中的时间动作定位(TAL)对于许多应用都很重要。但是注释片段级的基础事实(动作类和时间边界)是非常昂贵的。这引起了人们对解决监督薄弱的TAL问题的兴趣,即在培训期间仅提供视频级注释)。然而,最先进的弱监督TAL方法仅关注随着时间的推移生成良好的类激活序列(CAS),但对CAS进行简单的阈值处理以定位动作。在本文中,我们首先开发了一个新的弱监督TAL框架AutoLoc,直接预测每个动作实例的时间边界。我们提出了一种新的外-内-对比(OIC)损失,以自动发现训练这种边界预测器所需的段级监督。我们的方法实现了显着提高的性能:在IoU阈值0.5下,我们的方法将THUMOS'14上的mAP从13.7%提高到21.2%,将ActivityNet上的mAP从7.4%提高到27.3%。同样令人鼓舞的是,我们的弱监督方法取得了与一些完全监督方法相当的结果。
2018-12-16 cs.CV
Weakly Supervised Temporal Action Localization Using Deep Metric Learning
Rensselaer Polytechnic Institute(伦斯勒理工学院)
时间动作定位是视频理解的重要一步。目前大多数动作定位方法依赖于未修剪的视频与动作实例的完整时间注释。然而,这是昂贵的和耗时的注释动作标签和时间边界的视频。为此,我们提出了一种弱监督的时间动作定位方法,只需要视频级的动作实例作为监督在训练过程中。我们提出了一个分类模块来为视频中的每个片段生成动作标签,以及一个深度度量学习模块来学习不同动作实例之间的相似性。我们共同优化一个平衡的二进制交叉熵损失和度量损失使用标准的反向传播算法。大量的实验证明了这两个组件在时间定位的有效性。我们在两个具有挑战性的未修剪视频数据集上评估我们的算法:THUMOS 14和ActivityNet1.2。我们的方法在IoU阈值0.5时将THUMOS 14的当前最先进结果提高了6.5%mAP,并在ActivityNet 1.2中实现了具有竞争力的性能。
2020-01-21 cs.CV cs.LG
Adaptive Mutual Supervision for Weakly-Supervised Temporal Action Localization
Shanghai Jiao Tong University(上海交通大学)
弱监督时间动作定位的目的是定位动作在未经修剪的视频只有视频级的动作类别标签。以往的方法大多忽略了类激活序列(CAS)的不完整性问题,导致局部化结果不明显。为了解决这个问题,我们引入了一个自适应相互监督框架(AMS)的两个分支,其中的基础分支采用CAS本地化最具歧视性的动作区域,而补充分支本地化的歧视性较低的动作区域,通过一种新的自适应采样器。自适应采样器利用与来自基本分支的CAS负相关的采样权重序列动态地更新补充分支的输入,从而促使补充分支定位被基本分支低估的作用区域。为了促进两个分支机构之间的相互促进,我们构建了互位监管。每个分支都利用从另一个分支生成的位置伪标签作为本地化监督。通过在多次迭代中交替优化两个分支,我们逐步完成动作区域。在THUMOS 14和ActivityNet 1.2上进行的大量实验表明,所提出的AMS方法显着优于最先进的方法。
2021-04-06 cs.AI cs.CV
Weakly Supervised Foreground Learning for Weakly Supervised Localization and Detection
Nanjing University(南京大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
现代深度学习模型需要大量精确注释的数据,这通常很难满足。因此,弱监督任务,包括弱监督目标定位(WSOL)和检测(WSOD),最近受到了计算机视觉界的关注。在本文中,我们激励并提出了弱监督前景学习(WSFL)任务,表明如果有真实前景模板,WSOL和WSOD都可以得到极大的改善。更重要的是,我们提出了一个完整的WSFL管道,具有低计算成本,生成伪框,学习前景蒙板,不需要任何本地化注释。在WSFL模型预测的前景掩模的帮助下,WSOL在CUB上实现了72.97%的正确定位精度,WSOD在VOC07上实现了55.7%的平均平均精度,从而为这两项任务建立了新的最先进的技术。我们的WSFL模型也表现出良好的传输能力。
2021-08-03 cs.CV
Self-Transfer Learning for Fully Weakly Supervised Object Localization
Lunit Inc.(Lunit公司)
深度学习的最新进展在各种具有挑战性的计算机视觉任务中取得了显着的表现。特别是在对象定位方面,深度卷积神经网络优于基于提取数据/任务驱动特征而不是手工特征的传统方法。虽然感兴趣区域(ROI)的位置信息为对象定位提供了良好的先验,但它需要大量的人力资源注释工作。因此,一个弱监督框架的目标定位。术语“弱”意味着该框架仅使用图像级标记的数据集来训练网络。在采用预训练网络的权值参数的迁移学习的帮助下,用于目标定位的弱监督学习框架表现良好,因为预训练网络已经具有良好训练的类特定特征。然而,这些方法不能用于没有预先训练的网络或良好局部化的大规模图像的一些应用。医学图像分析是这些应用中的代表,因为不可能获得这样的预训练网络。在这项工作中,我们提出了一个“完全”弱监督框架的对象定位(“半”-弱是对应的使用预训练的过滤器弱监督定位)命名为自迁移学习(STL)。它同时优化分类和定位网络。通过控制定位网络的监督级别,STL帮助定位网络在没有任何类型的先验的情况下聚焦于正确的ROI。我们使用两个医学图像数据集,胸部X光片和乳房X光片评估拟议的STL框架,并实现显着更好的定位性能相比,以前的弱监督方法。
2016-02-04 cs.CV
Improving Weakly-Supervised Object Localization By Micro-Annotation
IST Austria(奥地利科学技术研究所)
弱监督的对象定位方法往往会失败的对象类,始终与相同的背景元素,如火车上的轨道。我们提出了一种方法来克服这些故障,通过添加一个非常少量的模型特定的附加注释。其主要思想是将深度网络的中层表示聚类,并为每个聚类分配对象或干扰项标签。实验表明,在具有挑战性的ILSVC 2014数据集上进行限界框检测和在PASCAL VOC 2012数据集上进行语义分割的定位结果得到了显著改善。
2016-05-18 cs.CV
Rethinking the Route Towards Weakly Supervised Object Localization
National Key Laboratory for Novel Software Technology(新型软件技术国家重点实验室);Nanjing University(南京大学)
弱监督对象定位(WSOL)旨在定位仅具有图像级标签的对象。以前的方法通常尝试利用特征图和分类权重来间接地使用图像级注释来定位对象。在本文中,我们证明了弱监督的目标定位应分为两个部分:类无关的目标定位和目标分类。对于类无关的对象定位,我们应该使用类无关的方法来生成噪声伪注释,然后在没有类标签的情况下对它们执行限界框回归。我们提出了伪监督目标定位(PSOL)方法作为一种新的方法来解决WSOL。我们的PSOL模型在不同数据集之间具有良好的可移植性,无需微调。通过生成的伪边界框,我们在ImageNet上实现了58.00%的定位准确率,在CUB-200上实现了74.97%的定位准确率,这比以前的模型有很大的优势。
2020-03-03 cs.CV
Improved Techniques For Weakly-Supervised Object Localization
Yonsei University(延世大学)
我们提出了一种改进的弱监督对象定位技术。传统的方法有一个局限性,他们只集中在最有区别的部分的目标对象。最近的研究解决了这个问题,并解决了这个限制,增加了训练数据的歧视性较低的部分。为此,我们采用了一种有效的数据增强,以提高目标定位的准确性。此外,我们引入了改进的学习技术,通过优化卷积神经网络(CNN)的基础上,最先进的模型。基于大量的实验,我们评估所提出的方法的有效性定性和定量。特别是,我们观察到,与当前最先进的弱监督对象定位技术相比,我们的方法根据配置将Top-1定位精度提高了21.4 - 37.3%。
2018-05-10 cs.CV
Convolutional Simplex Projection Network (CSPN) for Weakly Supervised Semantic Segmentation
University of Bonn(波恩大学);University of Siegen(锡根大学)
由于完全注释的图像的稀缺性,弱监督语义分割已经成为人们越来越感兴趣的主题。我们介绍了一种新的方法来解决弱监督语义分割与深度卷积神经网络(CNN)。该方法引入了一种新的层,该层利用类对象的面积约束对神经网络的输出应用单纯形投影。所提出的方法是通用的,可以无缝集成到任何CNN架构。此外,投影层允许强监督模型通过替换地面真值标签轻松地适应弱监督模型。我们的实验表明,在CNN的输出上应用这样的操作可以提高图像级标签的弱监督设置中语义分割的准确性。
2018-07-24 cs.CV
Bridging the Gap between Classification and Localization for Weakly Supervised Object Localization
Seoul National University(首尔国立大学);LG AI Research(LG人工智能研究院)
弱监督目标定位的目的是在给定图像中找到一个目标对象区域,只有弱监督,如图像级标签。大多数现有的方法使用类激活图(CAM)来生成定位图;然而,CAM仅识别目标对象的最有区别的部分,而不是整个对象区域。在这项工作中,我们根据输入特征和特定于类别的权重之间的方向不对准来发现分类和定位之间的差距。我们证明,错位抑制CAM的激活,在地区是歧视性的,但属于目标对象。为了弥补这一差距,我们提出了一种方法来调整特征方向与类特定的权重。该方法在CUB-200-2011和ImageNet-1 K基准测试中实现了最先进的定位性能。
2022-04-01 cs.CV
SLAMs: Semantic Learning based Activation Map for Weakly Supervised Semantic Segmentation
Shenzhen University(深圳大学)
目前主流的弱监督语义分割(WSSS)方法主要依赖于图像级的分类学习,其表示能力有限。在本文中,我们提出了一种新的语义学习为基础的框架,命名为SLAMs(基于语义学习激活图),WSSS。
2022-11-10 cs.CV
Revisiting Weakly Supervised Pre-Training of Visual Perception Models
Meta AI
模型预训练是现代视觉识别系统的基石。虽然像ImageNet这样的数据集上的完全监督预训练仍然是事实标准,但最近的研究表明,大规模弱监督预训练可以优于完全监督方法。本文使用带有现代版本的残差网络和有史以来最大的图像数据集以及相应的主题标签,重新审视了使用主题标签监督的模型的弱监督预训练。我们研究了所得到的模型在各种迁移学习设置,包括zero-shot传输的性能。我们还将我们的模型与通过大规模自监督学习获得的模型进行了比较。我们发现我们的弱监督模型在所有环境中都非常有竞争力,并且发现它们的表现大大优于自监督模型。我们还调查了我们的模型是否学到了潜在的令人不安的联想或刻板印象。总的来说,我们的研究结果提供了一个令人信服的论据弱监督学习在视觉识别系统的发展。我们的模型,通过hashtAGs弱监督(SWAG),是公开的。
2022-04-02 cs.CV
CELNet: Evidence Localization for Pathology Images using Weakly Supervised Learning
The Hong Kong University of Science and Technology(香港科技大学)
尽管深度卷积神经网络提高了数字病理分析中图像分类和分割的性能,但它们通常在临床应用的可解释性方面较弱,或者需要大量注释来实现对象定位。为了克服这个问题,我们提出了一个弱监督学习为基础的方法,可以有效地学习本地化的歧视性证据的诊断标签从弱标记的训练数据。实验结果表明,我们所提出的方法可以可靠地查明癌症证据的位置,支持感兴趣的决定,同时仍然实现了具有竞争力的表现,在一瞥级和幻灯片级的组织病理学癌症检测任务。
2019-09-16 cs.CV
Collaborative Learning for Weakly Supervised Object Detection
Cooperative Madianet Innovation Center(Madianet协同创新中心);Shanghai Jiao Tong University(上海交通大学)
弱监督目标检测最近受到了广泛的关注,因为它只需要图像级别的标签,而不是在强监督学习中消耗的边界框标签。然而,标签费用的节省通常是以模型精度为代价的。在本文中,我们提出了一个简单但有效的弱监督协作学习框架来解决这个问题,该框架通过强制部分特征共享和预测一致性来联合训练弱监督学习者和强监督学习者。对于目标检测,以WSDDN为弱监督检测器子网络,Faster-RCNN为强监督检测器子网络,提出了一种端到端的弱监督协作检测网络。由于不存在可用于训练Faster-RCNN类子网络的强监督,因此定义了新的预测一致性损失以强制两个子网络之间以及Faster-RCNN类子网络内的预测的一致性。同时,两个检测器被设计为部分共享特征,以进一步保证模型在感知水平上的一致性。在PASCAL VOC 2007和2012数据集上的大量实验证明了所提出的框架的有效性。
2018-02-10 cs.CV
Weakly- and Semi-Supervised Panoptic Segmentation
University of Oxford(牛津大学)
我们提出了一个弱监督模型,共同执行语义和实例分割-一个特别相关的问题,因为获得像素完美的注释这些任务的大量成本。与许多流行的基于对象检测器的实例分割方法相比,我们的方法不预测任何重叠的实例。此外,我们能够分割“东西”和“东西”类,从而解释图像中的所有像素。“Thing”类使用边界框进行弱监督,而“stuff”类使用图像级标签。我们在Pascal VOC上获得了最先进的结果,无论是完全监督还是弱监督(实现了约95%的完全监督性能)。此外,我们提出了第一个弱监督的结果城市景观的语义和实例分割。最后,我们使用我们的弱监督框架来分析注释质量和预测性能之间的关系,这是数据集创建者感兴趣的。
2019-01-13 cs.CV
Learning Consistency from High-quality Pseudo-labels for Weakly Supervised Object Localization
Shanghai Jiao Tong University(上海交通大学);Shanghai Frontier Science Research Center for Gravitational Wave Detection(上海引力波探测前沿科学研究中心)
伪监督学习方法已被证明是有效的弱监督对象定位任务。但有效性依赖于深度神经网络强大的正则化能力。基于定位网络在同一图像的不同版本上应该具有相似的位置预测的假设,我们提出了一种两阶段的方法来学习更一致的定位。在第一阶段,我们提出了一个基于掩码的伪标签生成器算法,并使用伪监督学习方法来初始化目标定位网络。在第二阶段,我们提出了一种简单有效的基于分类判别的伪标签置信度评估方法,并通过从高质量的伪标签中学习一致性,进一步改进定位网络,以获得更好的定位性能。实验结果表明,该方法在CUB-200-2011、ImageNet-1 k和Tiny-ImageNet三个基准数据集上均取得了良好的性能,证明了该方法的有效性。
2022-03-18 cs.CV
Weakly Supervised Localization using Deep Feature Maps
University of California, Santa Barbara(加州大学圣巴巴拉分校);Army Research Laboratory(陆军研究实验室)
目标定位是一个重要的计算机视觉问题,具有广泛的应用。缺乏大规模的对象级注释和相对丰富的图像级标签使得对象本地化任务中的监督薄弱成为一个令人信服的理由。深度卷积神经网络是用于对象识别的相关问题的一类最先进的方法。在本文中,我们描述了一种新的目标定位算法,它使用的分类网络只训练图像标签。这种弱监督方法利用了在分类网络的卷积层中捕获的局部空间和语义模式。我们提出了一种有效的束搜索为基础的方法来检测和定位图像中的多个对象。所提出的方法显着优于国家的最先进的标准对象定位数据集的mAP分数增加了8个点。
2016-03-29 cs.CV
Weakly-supervised Instance Segmentation via Class-agnostic Learning with Salient Images
Huazhong University of Science and Technology(华中科技大学);VIVO Inc.(维沃移动通信有限公司)
人类具有很强的类无关对象分割能力,能够精确地勾画出未知对象的边界,这促使我们提出了一种基于框监督类无关对象分割(BoxCaseg)的弱监督实例分割解决方案。BoxCaseg模型是以多任务学习方式使用框监督图像和显着图像进行联合训练的。精细注释的显著图像为框监督图像提供了类别不可知和精确的对象定位指导。通过一种新的合并和丢弃策略来细化由预训练的BoxCaseg模型预测的对象掩码,作为代理地面实况,以训练Mask R-CNN进行弱监督实例分割。仅使用$7991$显著图像,弱监督Mask R-CNN与PASCAL VOC上的全监督Mask R-CNN相当,并且显着优于COCO上以前最先进的框监督实例分割方法。源代码、预训练模型和数据集可在\url{https://github.com/hustvl/BoxCaseg}获得。
2021-04-04 cs.CV
CaT: Weakly Supervised Object Detection with Category Transfer
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室)
在全监督目标检测和弱监督目标检测之间存在很大的差距。为了缩小这一差距,一些方法考虑从额外的全监督数据集转移知识。但是这些方法没有充分利用全监督数据集中的判别类别信息,从而导致低mAP。为了解决这个问题,我们提出了一种新的类别转移框架弱监督目标检测。直觉是充分利用全监督数据集中的视觉区分和语义相关的类别信息,以增强弱监督检测器的对象分类能力。为了处理重叠的类别转移,我们提出了一个双监督平均教师收集共同的类别信息,并弥合两个数据集之间的领域差距。为了处理非重叠的类别转移,我们提出了一个语义图卷积网络,以促进相关类别之间的语义特征的聚合。以Pascal VOC 2007为弱监督目标数据集,COCO为全监督源数据集进行实验。我们的类别转移框架实现了63.5%的mAP和80.3%的CorLoc,两个数据集之间有5个重叠的类别,这优于最先进的方法。代码可在https://github.com/MediaBrain-SJTU/CaT获得。
2021-08-17 cs.CV
ContextLocNet: Context-Aware Deep Network Models for Weakly Supervised Localization
Inria(法国国家信息与自动化研究所);ENS(巴黎高等师范学院);CNRS(法国国家科学研究中心)
我们的目标是只使用图像级监督来定位图像中的对象。以前的方法主要集中在区分对象区域,往往无法定位精确的对象边界。我们解决这个问题,通过引入两种类型的上下文感知的指导模型,添加剂和对比模型,利用其周围的上下文区域,以提高本地化。加性模型鼓励预测的对象区域由其周围的上下文区域支持。对比模型鼓励预测的对象区域从其周围的上下文区域突出。我们的方法受益于卷积神经网络最近在对象识别方面的成功,并将Fast R-CNN扩展到弱监督对象定位。对PASCAL VOC 2007和2012基准测试的广泛实验评估表明,我们的上下文感知方法显着提高了弱监督定位和检测。
2016-09-14 cs.CV
Self-supervised Scale Equivariant Network for Weakly Supervised Semantic Segmentation
University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
弱监督语义分割以其低标注成本的优势,近年来引起了广泛的研究兴趣。大多数先进的算法遵循的设计原则,扩大和限制的种子区域从类激活图(CAM)。众所周知,传统的CAM往往是不完整的或过度激活,由于监管不力。幸运的是,我们发现语义分割具有空间变换等变性,可以形成一些自我监督,以帮助弱监督学习。这项工作主要探讨了CAM生成的规模等变约束的优点,制定了一个自监督规模等变网络(SSENet)。具体地说,一种新的尺度等变正则化精心设计,以确保从相同的输入图像具有不同的分辨率CAM的一致性。这种新的尺度等变正则化可以指导整个网络学习更准确的类激活。这种正则化的CAM可以嵌入到最新的高级弱监督语义分割框架中。在PASCAL VOC 2012数据集上进行的大量实验表明,该方法在弱监督语义分割的定量和定性方面都达到了最先进的性能。代码已可用。
2019-09-09 cs.CV
Learning a Weakly-Supervised Video Actor-Action Segmentation Model with a Wise Selection
University of Rochester(罗切斯特大学)
我们解决了弱监督视频演员动作分割(VAAS),它扩展了一般的视频对象分割(VOS),以额外考虑演员的动作标签。VOS上最成功的方法是合成一个伪注释池(PA),然后迭代地对其进行优化。然而,他们面临的挑战是如何从大量的PA中选择高质量的PA,如何为弱监督训练设置适当的停止条件,以及如何初始化与VAAS相关的PA。为了克服这些挑战,我们提出了一个通用的弱监督框架,该框架具有明智的训练样本选择和模型评估标准(WS^2)。WS^2不是盲目信任质量不一致的PA,而是采用基于学习的选择来选择有效的PA,并采用新的区域完整性标准作为弱监督训练的停止条件。此外,一个3D-Conv GCAM的设计,以适应VAAS任务。大量的实验表明,WS^2在弱监督的VOS和VAAS任务上都达到了最先进的性能,并且与VAAS上最好的全监督方法相当。
2020-03-29 cs.CV
Decoupling Makes Weakly Supervised Local Feature Better
Sun Yat-Sen University(中山大学);The Shenzhen Campus of Sun Yat-Sen University(中山大学深圳校区);National University of Defense Technology(国防科技大学);University of Oulu(奥卢大学);Alibaba Group(阿里巴巴集团)
弱监督学习可以帮助局部特征方法克服获取具有密集标记对应的大规模数据集的障碍。然而,由于弱监督不能区分由检测和描述步骤引起的损失,因此在联合描述-然后-检测流水线内直接进行弱监督学习会受到性能的限制。在本文中,我们提出了一种专为弱监督局部特征学习而设计的解耦描述然后检测管道。在我们的流水线中,检测步骤与描述步骤解耦,并推迟到学习了有区别的和鲁棒的描述符。此外,我们引入了一个线到窗口的搜索策略,明确地使用相机的姿态信息,更好的描述符学习。大量的实验表明,我们的方法,即PoSFeat(摄像机姿态监督特征),优于以前的完全和弱监督方法,并在广泛的下游任务上实现了最先进的性能。
2022-03-26 cs.CV
Weakly-Supervised 3D Pose Estimation from a Single Image using Multi-View Consistency
University of Surrey(萨里大学)
我们提出了一种新的数据驱动的正则化弱监督学习的三维人体姿态估计,消除了漂移问题,影响现有的方法。我们通过将立体声重建问题转移到网络本身的损失中来做到这一点。这避免了在训练之前重建3D数据的需要,并且与之前的半监督方法不同,避免了监督训练的预热期的需要。我们的方法的概念和实现的简单性是其吸引力的基础。它不仅可以简单地用我们额外的基于重投影的损失来增强许多弱监督方法,而且很明显它如何塑造重建和防止漂移。因此,我们相信这将是一个有价值的工具,任何研究人员在弱监督的3D重建工作。在Panoptic上进行评估,这是最大的多相机和无标记数据集,我们获得的准确性与在训练中充分利用3D地面实况的强监督方法基本上无法区分。
2019-09-13 cs.CV
High resolution weakly supervised localization architectures for medical images
在医学成像中,类激活图(CAM)通过指向感兴趣区域作为主要的解释工具。由于来自CAM的定位精度受到模型特征图的分辨率的约束,因此可以预期通常具有大特征图的分割模型将产生更准确的CAM。然而,我们发现,由于任务不匹配,情况并非如此。虽然分割模型是为具有像素级注释的数据集开发的,但在大多数医学成像数据集中仅图像级注释可用。我们的实验表明,全局平均池(GAP)和组归一化是恶化CAM定位精度的罪魁祸首。为了解决这个问题,我们提出了金字塔定位网络(PYLON),这是一种高精度弱监督定位模型,在NIH的胸部X射线14数据集上实现了0.62的平均点定位精度,而传统CAM模型的平均点定位精度为0.45。源代码和扩展结果可在https://github.com/cmb-chula/pylon上获取。
2020-10-22 cs.CV
Distribution Guidance Network for Weakly Supervised Point Cloud Semantic Segmentation
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室);Tencent(腾讯);SECE, Peking University(北京大学电子学院);Media Laboratory, Tencent(腾讯媒体实验室)
本文提出分布引导网络DGNet,通过moVMF分布对齐弱监督特征空间,在多个点云语义分割数据集和弱监督设置下取得最先进性能。
2024-10-18 cs.CV
W-TALC: Weakly-supervised Temporal Activity Localization and Classification
University of California, Riverside(加州大学河滨分校)
文献中的大多数活动定位方法都受到逐帧注释要求的负担。从弱标签中学习可能是减少这种手动标记工作的潜在解决方案。近年来,互联网上大量的带标签的视频涌入,这些视频可以作为弱监督训练数据的丰富来源。具体地,可以利用具有相似标签的视频之间的相关性来在时间上定位活动。为了实现这一目标,我们提出了W-TALC,一个弱监督的时间活动定位和分类框架,只使用视频级标签。该网络可以分为两个子网络,即基于双流的特征提取器网络和弱监督模块,我们通过优化两个互补的损失函数来学习。在两个具有挑战性的数据集-Thumos 14和ActivityNet1.2上的定性和定量结果表明,所提出的方法能够以细粒度检测活动,并实现比当前最先进的方法更好的性能。
2018-12-15 cs.CV
Self-supervised Multi-scale Consistency for Weakly Supervised Segmentation Learning
IMT School for Advanced Studies Lucca(卢卡IMT高等研究院);University of Edinburgh(爱丁堡大学)
收集具有细粒度注释的大规模医学数据集非常耗时,需要专家。因此,弱监督学习旨在使用较弱形式的注释(如涂鸦)优化机器学习模型,这些注释更容易收集,更快。不幸的是,使用弱标签进行训练具有挑战性,需要正则化。在这里,我们介绍了一种新的自我监督的多尺度一致性损失,再加上一个注意力机制,鼓励分割器学习对象之间的多尺度关系,提高性能。我们在几个医疗和非医疗数据集上展示了最先进的性能。用于实验的代码可在https://vios-s.github.io/multiscale-pyag上获得。
2021-08-26 cs.CV
Learning a Weight Map for Weakly-Supervised Localization
Tel-Aviv University(特拉维夫大学)
在弱监督定位设置中,监督作为图像级标签给出。我们建议采用一个图像分类器$f$和训练生成网络$g$,输出,给定的输入图像,每像素的权重图,指示图像内的对象的位置。通过最小化分类器$f$在原始图像上的输出与其在给定由$g$的输出加权的相同图像的情况下的输出之间的差异来训练网络$g$。该方案需要一个正则化项,以确保$g$不提供一个统一的权重,并提前停止标准,以防止$g$过度分割的图像。我们的研究结果表明,该方法优于现有的定位方法的一个相当大的利润率上具有挑战性的细粒度分类数据集,以及一个通用的图像识别数据集。此外,所获得的权重图在细粒度分类数据集中的弱监督分割中也是最先进的。
2021-11-28 cs.CV
Learning from Counting: Leveraging Temporal Classification for Weakly Supervised Object Localization and Detection
本文提出了一种利用时间分类来支持弱监督目标检测(WSOD)的新方法。具体来说,我们引入光栅扫描顺序技术将2D图像序列化为1D序列数据,然后利用组合的LSTM(长短期记忆)和CTC(连接主义时间分类)网络来实现基于总计数(感兴趣对象)的对象定位。我们提出的网络LSTM-CCTC(基于计数的CTC)。这种“从计数中学习”的策略不同于现有的WSOD方法,因为我们的方法自动识别目标对象上或附近的关键点。该策略显著地减少了生成用于对象定位的大量候选提议的需要。实验表明,我们的方法产生最先进的性能的基础上评估PASCAL VOC数据集。
2021-03-06 cs.CV
Soft Proposal Networks for Weakly Supervised Object Localization
University of Chinese Academy of Sciences(中国科学院大学);Duke University(杜克大学)
弱监督对象定位仍然具有挑战性,在训练过程中只有图像标签而不是边界框可用。对象建议是本地化中的一个有效组件,但通常计算量很大,并且无法与其他一些模块进行联合优化。在本文中,据我们所知,我们首次将弱监督对象建议以端到端的学习方式集成到卷积神经网络(CNN)中。我们设计了一个网络组件Soft Proposal(SP),可以插入任何标准卷积架构,以引入几乎无成本的对象提案,比最先进的方法快几个数量级。在SP增强的CNN中,被称为软提议网络(SPN),迭代进化的对象提议是基于深度特征图生成的,然后投影回来,并进一步与网络参数联合优化,仅具有图像级监督。通过统一的学习过程,SPN可以学习更好的以对象为中心的过滤器,发现更多有区别的视觉证据,并抑制背景干扰,从而显着提高弱监督对象定位和分类性能。我们报告了流行基准测试的最佳结果,包括PASCAL VOC,MS COCO和ImageNet。
2017-09-06 cs.CV
Min-Entropy Latent Model for Weakly Supervised Object Detection
University of Chinese Academy of Sciences(中国科学院大学);Sun Yat-sen University(中山大学)
弱监督目标检测是一个具有挑战性的任务时,提供了图像类别的监督,但需要学习,在同一时间,对象的位置和对象检测器。弱监督和学习目标之间的不一致性引入了显着的随机性对象的位置和模糊性的检测器。提出了一种用于弱监督目标检测的最小熵潜在模型(MELM)。最小熵作为学习对象位置的模型和度量学习过程中对象定位的随机性的度量。它的目的是主要减少学习的实例的方差和减轻检测器的歧义。MELM被分解为三个组件,包括建议团划分,对象团发现,对象定位。MELM是优化与经常性的学习算法,利用连续优化来解决具有挑战性的非凸性问题。实验表明,MELM显着提高性能的弱监督目标检测,弱监督目标定位,和图像分类,对国家的最先进的方法。
2019-02-16 cs.CV
Weakly and Self-Supervised Class-Agnostic Motion Prediction for Autonomous Driving
College of Computing and Data Science, Nanyang Technological University, Singapore(计算与数据科学学院,南洋理工大学,新加坡);SenseTime Research, Hong Kong, China(时光科技研究院,香港,中国)
本文提出基于LiDAR点云的弱监督与自监督类无关运动预测方法,利用前景/背景或非地面/地面掩码替代运动标注,并设计鲁棒一致性感知Chamfer Distance损失抑制异常值,在降低标注成本的同时保持优异性能。
2025-09-16 cs.CV
Learning Where and When: Patch-Based Spatiotemporal Localization in Weakly Supervised Video Anomaly Detection
University of South Florida(佛罗里达州立大学)
提出基于补丁的时空框架,在弱监督下联合定位异常的时间和空间位置,通过邻近感知Top-k选择策略生成细粒度空间异常图,显著提升时空定位精度。
2026-06-28 cs.CV
Mining Forgery Traces from Reconstruction Error: A Weakly Supervised Framework for Multimodal Deepfake Temporal Localization
School of Computer Science and Engineering(计算机科学与工程学院);Sun Yat-sen University(中山大学);Alibaba Group(阿里巴巴集团)
本文提出RT-DeepLoc框架,通过重建误差识别深度伪造,利用MAE学习真实数据的时空模式,结合不对称视频对比损失提升定位精度,实验表明在大规模数据集上达到弱监督时间伪造定位的最新水平。
2026-05-16 cs.CV
Weakly Supervised Object Localization and Detection: A Survey
Northwestern Polytechnical University(西北工业大学);University of California at Merced(加州大学默塞德分校)
弱监督目标定位与检测是计算机视觉领域的一个新兴且具有挑战性的问题,对于发展新一代计算机视觉系统具有重要意义,在过去的十年中受到了广泛的关注。由于已经提出了方法,因此对这些主题进行全面调查是非常重要的。在这项工作中,我们回顾了(1)经典模型,(2)来自现成深度网络的特征表示方法,(3)完全基于深度学习的方法,以及(4)在该领域广泛使用的公开数据集和标准评估指标。我们还讨论了在这一领域的关键挑战,这一领域的发展历史,在每个类别的方法的优点/缺点,在不同类别的方法之间的关系,弱监督目标定位和检测方法的应用,以及潜在的未来方向,以进一步促进这一研究领域的发展。
2021-04-16 cs.CV
Weakly-Supervised Arbitrary-Shaped Text Detection with Expectation-Maximization Algorithm
University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence of Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
异形文字检测是计算机视觉中一个重要而又具有挑战性的课题。大多数现有的方法需要大量的数据标记工作,以产生用于监督训练的文本区域标签。为了降低数据标记的成本,我们研究了弱监督任意形状文本检测,以结合各种弱监督形式(例如,图像级标签、粗略的、松散的和紧密的边界框),这对于注释来说要容易得多。我们提出了一个基于期望最大化(EM)的弱监督学习框架,训练一个准确的任意形状的文本检测器,只使用少量的文本级注释数据结合大量的弱注释数据。同时,我们提出了一个基于轮廓的任意形状的文本检测器,这是适合于结合弱监督学习。在CTW 1500、Total-Text和ICDAR-ArT三个任意形状的文本基准测试上的实验表明:(1)仅使用10%的强注释数据和90%的弱注释数据,我们的方法的性能与现有方法相当;(2)在100%的强注释数据下,我们的方法在所有三个基准测试上的性能都优于现有方法。我们将在未来公开弱注释数据集。
2020-12-01 cs.CV
Active Learning Strategies for Weakly-supervised Object Detection
Inria(法国国家信息与自动化研究所);DI/ENS (ENS-PSL, CNRS, Inria)(巴黎高等师范学院计算机系(巴黎高等师范学院-巴黎文理研究大学、法国国家科学研究中心、法国国家信息与自动化研究所));New York University(纽约大学)
用弱注释训练的对象检测器是完全监督的替代品。然而,它们之间仍然存在很大的性能差距。我们建议通过微调一个基本的预训练的弱监督检测器,使用"盒中盒“(BiB)自动从训练集中选择一些完全注释的样本来缩小这一差距,这是一种新的主动学习策略,专门用于解决弱监督检测器的有据可查的故障模式。在VOC07和COCO基准测试上的实验表明,BiB优于其他主动学习技术,并且在每个类只有少量完全注释图像的情况下,显著提高了基本弱监督检测器的性能。BiB达到了全监督快速RCNN性能的97%,而VOC 07上只有10%的完全注释图像。在COCO上,平均每个类使用10个完全注释的图像,或相当于训练集的1%,BiB还将弱监督检测器和全监督快速RCNN之间的性能差距(在AP中)减少了70%以上,显示了性能和数据效率之间的良好权衡。我们的代码可在https://github.com/huyvvo/BiB上公开获取。
2022-07-25 cs.CV
WSLLN: Weakly Supervised Natural Language Localization Networks
University of Maryland(马里兰大学);Salesforce Research(Salesforce研究院)
我们提出了弱监督语言定位网络(WSLLN),以检测事件的长,未修剪的视频给定的语言查询。为了学习视觉片段和文本之间的对应关系,大多数以前的方法需要事件的时间坐标(开始和结束时间)进行训练,这导致注释成本很高。WSLLN通过仅使用视频-句子对进行训练而无需访问事件的时间位置来减轻注释负担。通过简单的端到端结构,WSLLN测量段文本的一致性,并同时进行段选择(以文本为条件)。两者的结果合并并优化为视频-句子匹配问题。在ActivityNet Captions和DiDeMo上的实验表明,WSLLN达到了最先进的性能。
2019-08-31 cs.CV
NoPeopleAllowed: The Three-Step Approach to Weakly Supervised Semantic Segmentation
SoftServe(SoftServe公司);Ukrainian Catholic University(乌克兰天主教大学)
我们提出了一种新的方法,弱监督语义分割,其中包括三个连续的步骤。前两步从图像级注释数据中提取高质量的伪掩模,然后在第三步中使用伪掩模来训练分割模型。该方法还解决了数据中的两个问题:类不平衡和缺少标签。仅使用图像级注释作为监督,我们的方法能够分割各种类别和复杂对象。它在测试集上实现了37.34的平均IoU,在弱监督语义分割任务中的LID挑战中排名第三。
2020-06-13 cs.CV
Weakly Supervised Human-Object Interaction Detection in Video via Contrastive Spatiotemporal Regions
MIT(麻省理工学院);CIIRC CTU(捷克理工大学计算机科学与人工智能研究所);Adobe(奥多比)
我们介绍了弱监督学习的任务,用于检测视频中的人和对象的交互。我们的任务带来了独特的挑战,因为系统不知道视频中存在什么类型的人与物体的交互,也不知道人与物体的实际时空位置。为了解决这些挑战,我们引入了一种对比性弱监督训练损失,旨在将视频中的时空区域与动作和对象词汇相关联,并鼓励移动对象的视觉外观的时间连续性作为自我监督的一种形式。为了训练我们的模型,我们引入了一个数据集,该数据集包括超过6.5k个带有人机交互注释的视频,这些注释是从与视频相关的句子标题中半自动策划的。我们证明了在弱监督基线上改进的性能,这些基线适合我们在视频数据集上的任务。
2021-10-07 cs.CV
Weakly Supervised Deep Detection Networks
University of Oxford(牛津大学)
目标检测的弱监督学习是图像理解中的一个重要问题,至今仍没有一个令人满意的解决方案。在本文中,我们通过利用在大规模图像级分类任务上预训练的深度卷积神经网络的能力来解决这个问题。我们提出了一种弱监督深度检测架构,该架构修改了一个这样的网络,使其在图像区域级别上运行,同时执行区域选择和分类。作为图像分类器训练,该架构隐式地学习对象检测器,其优于PASCAL VOC数据上的替代弱监督检测系统。该模型是一个简单而优雅的端到端架构,其性能优于标准的数据增强和图像级分类任务的微调技术。
2016-12-19 cs.CV
CaCL: Class-aware Codebook Learning for Weakly Supervised Segmentation on Diffuse Image Patterns
Vanderbilt University(范德堡大学);Vanderbilt University Medical Center(范德堡大学医学中心)
弱监督学习在生物医学图像分析中得到了快速发展,以从图像标注(分类)实现像素标签(分割),因为生物医学图像在许多情况下自然包含图像标签。来自计算机视觉界的当前弱监督学习算法主要是针对焦点对象(例如,狗和猫)。然而,这样的算法没有针对生物医学成像中的漫射图案(例如,染色和显微成像中的荧光)。在本文中,我们提出了一种新的类感知码本学习(CaCL)算法进行弱监督学习扩散图像模式。具体而言,CaCL算法被部署到从人类十二指肠的组织学图像中分割蛋白质表达的刷状缘区域。我们的贡献是三方面的:(1)我们从一个新的码本学习的角度来处理弱监督分割;(2)CaCL算法分割扩散图像模式,而不是焦点对象;(3)所提出的算法是在一个多任务框架的基础上实现的矢量量化-变分自编码器(VQ-VAE)通过联合图像重建,分类,特征嵌入,和分割。实验结果表明,我们的方法取得了优越的性能相比,基线弱监督算法。该代码可在https://github.com/ddrrnn123/CaCL上获得。
2022-04-13 cs.CV
On Evaluating Weakly Supervised Action Segmentation Methods
University of Bonn(波恩大学);Toyota Motor Europe(丰田汽车欧洲公司)
动作分割是在时间上分割未修剪视频的每一帧的任务。弱监督的动作分割方法,特别是从成绩单一直相当感兴趣的计算机视觉社区。在这项工作中,我们专注于弱监督动作分割方法的使用和评估的两个方面,这两个方面经常被忽视:多个训练运行的性能差异和选择特征提取器对这项任务的影响。为了解决第一个问题,我们在Breakfast数据集上对每个方法进行了5次训练,并提供了结果的平均值和标准差。我们的实验表明,这些重复的标准偏差在1和2.5%之间,并显着影响不同方法之间的比较。此外,我们对特征提取的研究表明,对于所研究的弱监督动作分割方法,更高级别的I3D特征比经典的IDT特征表现更差。
2021-10-21 cs.CV
Weakly- and Semi-Supervised Object Detection with Expectation-Maximization Algorithm
Tsinghua University(清华大学)
当提供图像级标签而不是实例级标签时的目标检测(即,边界框)是计算机视觉中的一个重要问题,因为获得具有实例级标签的大规模图像数据集的成本极高。在本文中,我们通过使用深度卷积神经网络(CNN)开发基于期望最大化(EM)的目标检测方法来解决这个具有挑战性的问题。我们的方法适用于弱监督和半监督的设置。在PASCAL VOC 2007 benchmark上进行的大量实验表明:(1)在弱监督设置下,我们的方法比当前最先进的方法提供了显着的检测性能改进,(2)可以访问少量的强(实例级)注释图像,我们的方法几乎可以与完全监督的Fast RCNN的性能相匹配。我们在https://github.com/ZiangYan/EM-WSD上共享源代码。
2017-02-28 cs.CV
Simple Does It: Weakly Supervised Instance and Semantic Segmentation
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland University(萨尔大学)
语义标记和实例分割是需要特别昂贵的注释的两个任务。从弱监督的形式限界框检测注释,我们提出了一种新的方法,不需要修改的分割训练过程。我们表明,当从给定的边界框中仔细设计输入标签时,即使是一轮训练也足以改善先前报告的弱监督结果。总的来说,我们的弱监督方法达到了完全监督模型质量的95%,无论是语义标记还是实例分割。
2016-11-23 cs.CV
Decoupled Spatial Neural Attention for Weakly Supervised Semantic Segmentation
Nanyang Technological University(南洋理工大学);The University of Adelaide(阿德莱德大学)
弱监督的语义分割得到了很多研究的关注,因为它强调了需要获得大量的密集像素明智的地面实况注释的训练图像。与其他形式的弱监督相比,图像标签的获取效率相当高。在我们的工作中,我们专注于弱监督语义分割与图像标签标注。这项任务的最新进展在很大程度上取决于生成的伪注释的质量。在这项工作中,灵感来自空间神经注意图像描述,我们提出了一个解耦的空间神经注意网络生成伪注释。我们的解耦注意力结构可以同时识别目标区域和定位有区别的部分,在一个前向路径中生成高质量的伪注释,生成的伪注释导致分割结果,达到了最先进的弱监督语义分割。
2018-03-07 cs.CV
What Matters in Autonomous Driving Anomaly Detection: A Weakly Supervised Horizon
INRIA(法国国家信息与自动化研究所)
针对自动驾驶移动相机场景下弱监督视频异常检测研究不足的问题,本文重构DoTA数据集验证现有方法,提出特征变换模块以提升检测性能,并将开源相关资源。
2024-08-10 cs.CV
Transformer based multiple instance learning for weakly supervised histopathology image segmentation
Beihang University(北京航空航天大学);China Pharmaceutical University(中国药科大学);Zhejiang University(浙江大学);Microsoft Research(微软研究院);Xiaomi Corporation(小米公司)
病理图像分割算法在计算机辅助诊断技术中占有重要地位。弱监督分割算法的发展解决了医学图像标注费时费力的问题。作为弱监督学习的一个子集,多实例学习(MIL)在分割中被证明是有效的。然而,MIL中实例之间缺乏相关信息,这限制了分割性能的进一步提高。在本文中,我们提出了一种新的弱监督的方法,在组织病理学图像的像素级分割,它引入Transformer到MIL框架,以捕获全局或长期的依赖关系。Transformer中的多头自注意建立了实例之间的关系,解决了MIL中实例之间相互独立的缺点。此外,引入深度监督,克服了弱监督方法中标注的局限性,更好地利用了层次信息。结肠癌数据集上的最新结果表明,与其他弱监督方法相比,该方法具有优越性。值得相信的是,我们的方法在医学图像的各种应用中有潜力。
2022-05-18 cs.CV
Closed-Loop Adaptation for Weakly-Supervised Semantic Segmentation
Huazhong University of Science and Technology(华中科技大学);University of Florida(佛罗里达大学)
弱监督语义分割的目标是在弱监督下为每个像素分配一个语义类别,例如图像级标签。现有的大多数弱监督语义分割方法不使用来自分割输出的任何反馈,并且可以被认为是开环系统。由于种子的静态性和结构信息的敏感性,它们容易产生累积错误。本文针对现有的弱监督语义分割方法,通过引入两条反馈链,提出了一种通用的自适应机制,从而构成一个闭环系统。具体地,第一链通过合并跨图像结构信息来迭代地产生动态种子,而第二链通过定制的随机游走过程来进一步扩展种子区域,以协调由超像素表征的内部图像结构信息。在PASCAL VOC 2012上的实验表明,我们的网络比最先进的方法性能更好,计算和内存负担更少。
2019-05-29 cs.CV
Discriminative Localization in CNNs for Weakly-Supervised Segmentation of Pulmonary Nodules
Columbia University(哥伦比亚大学);Imperial College(帝国理工学院)
在肺部计算机断层扫描(CT)扫描上自动检测和分割肺结节可以促进早期肺癌诊断。用于CT扫描上的自动结节分割的现有监督方法需要用于训练的基于体素的注释,这是耗费人力和时间的。在这项工作中,我们提出了一种弱监督方法,该方法仅使用图像级标签进行训练,生成准确的体素级结节分割。通过调整为图像分类训练的卷积神经网络(CNN),我们所提出的方法从不同尺度的卷积单元的激活图中学习有区别的区域,并使用新的候选筛选框架来识别真正的结节位置。在公共LIDC-IDRI数据集上的实验结果表明,与基于CNN的全监督分割方法相比,我们的弱监督结节分割框架具有竞争力的性能。
2018-02-22 cs.CV