Segment, Select, Correct: A Framework for Weakly-Supervised Referring Segmentation
Five AI Ltd.（Five AI有限公司）；University of Oxford（牛津大学）
提出一种弱监督指代分割框架，通过分割、选择、纠正三步，无需掩码标注，性能超越零样本基线16.5%，并将与全监督的差距从33%缩小至7%。
2024-08-20 cs.CV cs.LG
PARDINUS: Weakly supervised discarding of photo-trapping empty images based on autoencoders
Universidad de Jaén（哈恩大学）
针对相机陷阱空图像过滤耗时问题，提出基于自编码器的弱监督方法 PARDINUS，无需标注即可达到或超越全监督方法。
2023-12-22 cs.CV cs.LG
Fast Weakly Supervised Action Segmentation Using Mutual Consistency
University of Bonn（波恩大学）；Toyota Motor Europe（丰田汽车欧洲公司）
动作分割是预测视频中每一帧动作的任务。由于获得用于动作分割的视频的完整注释是昂贵的，因此只能从成绩单中学习的弱监督方法很有吸引力。在本文中，我们提出了一种新的端到端的弱监督动作分割方法的基础上的两个分支神经网络。我们的网络的两个分支预测了两个冗余但不同的动作分割表示，我们提出了一种新的相互一致性（MuCon）损失，以加强两个冗余表示的一致性。使用MuCon损失以及用于转录预测的损失，我们提出的方法实现了最先进方法的准确性，同时$14$在训练和推理期间快$20$倍。即使在完全监督的环境中，MuCon损失也是有益的。
2021-06-10 cs.CV cs.LG
Weakly Supervised Clustering by Exploiting Unique Class Count
National University of Singapore（新加坡国立大学）；A*STAR（新加坡科技研究局）；A*STAR Genome Institute of Singapore（新加坡科技研究局基因组研究所）；Bioinformatics Institute（生物信息学研究所）；Image Pervasive Access Lab (IPAL) CNRS UMI 2955（图像普适访问实验室（IPAL）法国国家科学研究中心联合研究单位2955）；Singapore Eye Research Institute（新加坡眼科研究所）
提出了一种基于弱监督学习的聚类框架。作为该框架的核心，我们引入了一种新的多实例学习任务的基础上袋级标签称为唯一类计数（$ucc$），这是唯一类的数量在袋内的所有实例。在这个任务中，在训练模型的过程中，不需要对包内的单个实例进行注释。我们从数学上证明，一个完美的$ucc$分类器，完美的聚类的个别实例内的袋子是可能的，即使没有注释的个别实例在训练过程中。我们构建了一个基于神经网络的$ucc$分类器，并通过实验证明，我们的弱监督$ucc$分类器框架的聚类性能与完全监督学习模型的聚类性能相当，其中所有实例的标签都是已知的。此外，我们已经测试了我们的框架在组织学淋巴结切片中的乳腺癌转移的语义分割的现实任务的适用性，并表明我们的弱监督框架的性能与完全监督的Unet模型的性能相当。
2020-01-25 cs.CV cs.LG
Defect detection using weakly supervised learning
Democritus University of Thrace（德谟克利特色雷斯大学）；Athena Research Centre（雅典娜研究中心）
本文研究在缺陷检测任务中弱监督学习对标注数据的需求，通过实验对比弱监督与全监督分类器，证明前者可在标注数据显著减少时达到相当性能。
2023-03-27 cs.AI cs.CV cs.LG
Guided Anisotropic Diffusion and Iterative Learning for Weakly Supervised Change Detection
ONERA（法国航空航天研究院）；Télécom ParisTech（巴黎高等电信学院）
从用户标签或公开可用的数据创建的大规模数据集对于为大规模学习算法提供训练数据已经变得至关重要。虽然这些数据集更容易获得，但数据通常是嘈杂和不可靠的，这激发了对弱监督学习技术的研究。在本文中，我们提出了一种迭代学习方法，提取有用的信息，从一个大规模的变化检测数据集产生的开放矢量数据训练一个完全卷积网络，它超越了朴素的监督学习所获得的性能。我们还提出了引导各向异性扩散算法，它改善了语义分割的结果，使用输入图像作为指导，执行边缘保持滤波，并与迭代训练方法结合使用，以改善结果。
2019-04-17 cs.CV cs.LG
Weakly Supervised Foreground Learning for Weakly Supervised Localization and Detection
Nanjing University（南京大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
现代深度学习模型需要大量精确注释的数据，这通常很难满足。因此，弱监督任务，包括弱监督目标定位（WSOL）和检测（WSOD），最近受到了计算机视觉界的关注。在本文中，我们激励并提出了弱监督前景学习（WSFL）任务，表明如果有真实前景模板，WSOL和WSOD都可以得到极大的改善。更重要的是，我们提出了一个完整的WSFL管道，具有低计算成本，生成伪框，学习前景蒙板，不需要任何本地化注释。在WSFL模型预测的前景掩模的帮助下，WSOL在CUB上实现了72.97%的正确定位精度，WSOD在VOC07上实现了55.7%的平均平均精度，从而为这两项任务建立了新的最先进的技术。我们的WSFL模型也表现出良好的传输能力。
2021-08-03 cs.CV
Audio Event and Scene Recognition: A Unified Approach using Strongly and Weakly Labeled Data
Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们提出了一种新的学习框架，称为监督和弱监督学习，其目标是同时从弱标记和强标记数据中学习。强标记数据可以简单地理解为完全监督的数据，其中所有标记实例都可用。在弱监督学习中，只有数据是弱标记的，这阻止了人们直接应用监督学习方法。我们提出的框架是出于这样一个事实，即少量的强标记的数据可以给相当大的改善，只有弱监督学习。本文的主要问题域焦点是音频记录中的声事件和场景检测。我们首先提出了一个天真的配方，利用标记的数据在这两种形式。然后，我们提出了一个更一般的框架监督和弱监督学习（SWSL）。基于这个框架，我们提出了一个基于图的方法SWSL。我们的主要方法是基于图上的流形正则化，其中我们表明，统一学习可以制定为一个约束优化问题，可以通过迭代凹凸过程（CCCP）来解决。我们的实验表明，我们提出的框架可以解决几个问题的音频内容分析使用弱标记的数据。
2017-02-18 cs.CV cs.LG cs.SD
Convolutional Simplex Projection Network (CSPN) for Weakly Supervised Semantic Segmentation
University of Bonn（波恩大学）；University of Siegen（锡根大学）
由于完全注释的图像的稀缺性，弱监督语义分割已经成为人们越来越感兴趣的主题。我们介绍了一种新的方法来解决弱监督语义分割与深度卷积神经网络（CNN）。该方法引入了一种新的层，该层利用类对象的面积约束对神经网络的输出应用单纯形投影。所提出的方法是通用的，可以无缝集成到任何CNN架构。此外，投影层允许强监督模型通过替换地面真值标签轻松地适应弱监督模型。我们的实验表明，在CNN的输出上应用这样的操作可以提高图像级标签的弱监督设置中语义分割的准确性。
2018-07-24 cs.CV
SLAMs: Semantic Learning based Activation Map for Weakly Supervised Semantic Segmentation
Shenzhen University（深圳大学）
目前主流的弱监督语义分割（WSSS）方法主要依赖于图像级的分类学习，其表示能力有限。在本文中，我们提出了一种新的语义学习为基础的框架，命名为SLAMs（基于语义学习激活图），WSSS。
2022-11-10 cs.CV
Revisiting Weakly Supervised Pre-Training of Visual Perception Models
Meta AI
模型预训练是现代视觉识别系统的基石。虽然像ImageNet这样的数据集上的完全监督预训练仍然是事实标准，但最近的研究表明，大规模弱监督预训练可以优于完全监督方法。本文使用带有现代版本的残差网络和有史以来最大的图像数据集以及相应的主题标签，重新审视了使用主题标签监督的模型的弱监督预训练。我们研究了所得到的模型在各种迁移学习设置，包括zero-shot传输的性能。我们还将我们的模型与通过大规模自监督学习获得的模型进行了比较。我们发现我们的弱监督模型在所有环境中都非常有竞争力，并且发现它们的表现大大优于自监督模型。我们还调查了我们的模型是否学到了潜在的令人不安的联想或刻板印象。总的来说，我们的研究结果提供了一个令人信服的论据弱监督学习在视觉识别系统的发展。我们的模型，通过hashtAGs弱监督（SWAG），是公开的。
2022-04-02 cs.CV
Collaborative Learning for Weakly Supervised Object Detection
Cooperative Madianet Innovation Center（Madianet协同创新中心）；Shanghai Jiao Tong University（上海交通大学）
弱监督目标检测最近受到了广泛的关注，因为它只需要图像级别的标签，而不是在强监督学习中消耗的边界框标签。然而，标签费用的节省通常是以模型精度为代价的。在本文中，我们提出了一个简单但有效的弱监督协作学习框架来解决这个问题，该框架通过强制部分特征共享和预测一致性来联合训练弱监督学习者和强监督学习者。对于目标检测，以WSDDN为弱监督检测器子网络，Faster-RCNN为强监督检测器子网络，提出了一种端到端的弱监督协作检测网络。由于不存在可用于训练Faster-RCNN类子网络的强监督，因此定义了新的预测一致性损失以强制两个子网络之间以及Faster-RCNN类子网络内的预测的一致性。同时，两个检测器被设计为部分共享特征，以进一步保证模型在感知水平上的一致性。在PASCAL VOC 2007和2012数据集上的大量实验证明了所提出的框架的有效性。
2018-02-10 cs.CV
Towards Weakly-Supervised Text Spotting using a Multi-Task Transformer
AWS AI Labs（亚马逊云科技人工智能实验室）
由于联合优化文本检测和识别组件的好处，文本定位端到端方法最近在文献中获得了关注。现有的方法通常在检测和识别分支之间有明显的分离，这两个任务需要精确的注释。我们介绍TextTranSpotter（TTS），一种基于transformer的文本识别方法和第一个文本识别框架，它可以用完全和弱监督设置进行训练。通过学习每个单词检测的单个潜在表示，并使用基于匈牙利损失的新型损失函数，我们的方法消除了对昂贵的本地化注释的需求。在真实数据上仅使用文本转录注释进行训练，我们的弱监督方法与以前最先进的全监督方法相比具有竞争力的性能。当以完全监督的方式进行训练时，TextTranSpotter在多个基准测试中显示了最先进的结果。
2022-02-14 cs.CL cs.CV cs.LG
Weakly- and Semi-Supervised Panoptic Segmentation
University of Oxford（牛津大学）
我们提出了一个弱监督模型，共同执行语义和实例分割-一个特别相关的问题，因为获得像素完美的注释这些任务的大量成本。与许多流行的基于对象检测器的实例分割方法相比，我们的方法不预测任何重叠的实例。此外，我们能够分割“东西”和“东西”类，从而解释图像中的所有像素。“Thing”类使用边界框进行弱监督，而“stuff”类使用图像级标签。我们在Pascal VOC上获得了最先进的结果，无论是完全监督还是弱监督（实现了约95%的完全监督性能）。此外，我们提出了第一个弱监督的结果城市景观的语义和实例分割。最后，我们使用我们的弱监督框架来分析注释质量和预测性能之间的关系，这是数据集创建者感兴趣的。
2019-01-13 cs.CV
Multi-Evidence Filtering and Fusion for Multi-Label Classification, Object Detection and Semantic Segmentation Based on Weakly Supervised Learning
The University of Hong Kong（香港大学）
监督目标检测和语义分割需要对象甚至像素级注释。当仅存在图像级标签时，弱监督算法实现准确预测是具有挑战性的。顶级弱监督算法实现的准确性仍然明显低于完全监督算法。在本文中，我们提出了一种新的弱监督课程学习管道多标签对象识别，检测和语义分割。在这个管道中，我们首先获得训练图像的中间对象定位和像素标记结果，然后使用这些结果以完全监督的方式训练特定于任务的深度网络。整个过程由四个阶段组成，包括训练图像中的对象定位，过滤和融合对象实例，训练图像的像素标记，以及特定任务的网络训练。为了在训练图像中获得干净的对象实例，我们提出了一种新的算法，用于过滤，融合和分类从多个解决方案机制收集的对象实例。在该算法中，我们将度量学习和基于密度的聚类过滤检测到的对象实例。实验表明，我们的弱监督流水线实现了最先进的多标签图像分类以及弱监督目标检测和非常有竞争力的结果，在弱监督语义分割的MS-COCO，PASCAL VOC 2007和PASCAL VOC 2012。
2018-02-26 cs.AI cs.CV cs.LG
Hide-and-Seek: Forcing a Network to be Meticulous for Weakly-supervised Object and Action Localization
University of California, Davis（加州大学戴维斯分校）
我们提出了“隐藏和寻找”，一个弱监督的框架，旨在提高图像中的对象定位和视频中的动作定位。大多数现有的弱监督方法仅定位对象的最具区分性的部分，而不是所有相关部分，这导致次优性能。我们的关键思想是在训练图像中随机隐藏补丁，迫使网络在隐藏最具鉴别力的部分时寻找其他相关部分。我们的方法只需要修改输入图像，并且可以与任何为对象定位而设计的网络一起工作。在测试过程中，我们不需要隐藏任何补丁。我们的隐藏和寻找的方法获得了优越的性能相比，以前的方法弱监督对象定位的ILSVRC数据集。我们还证明了我们的框架可以很容易地扩展到弱监督动作定位。
2017-12-23 cs.CV
Weakly-supervised Instance Segmentation via Class-agnostic Learning with Salient Images
Huazhong University of Science and Technology（华中科技大学）；VIVO Inc.（维沃移动通信有限公司）
人类具有很强的类无关对象分割能力，能够精确地勾画出未知对象的边界，这促使我们提出了一种基于框监督类无关对象分割（BoxCaseg）的弱监督实例分割解决方案。BoxCaseg模型是以多任务学习方式使用框监督图像和显着图像进行联合训练的。精细注释的显著图像为框监督图像提供了类别不可知和精确的对象定位指导。通过一种新的合并和丢弃策略来细化由预训练的BoxCaseg模型预测的对象掩码，作为代理地面实况，以训练Mask R-CNN进行弱监督实例分割。仅使用$7991$显著图像，弱监督Mask R-CNN与PASCAL VOC上的全监督Mask R-CNN相当，并且显着优于COCO上以前最先进的框监督实例分割方法。源代码、预训练模型和数据集可在\url{https://github.com/hustvl/BoxCaseg}获得。
2021-04-04 cs.CV
CaT: Weakly Supervised Object Detection with Category Transfer
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
在全监督目标检测和弱监督目标检测之间存在很大的差距。为了缩小这一差距，一些方法考虑从额外的全监督数据集转移知识。但是这些方法没有充分利用全监督数据集中的判别类别信息，从而导致低mAP。为了解决这个问题，我们提出了一种新的类别转移框架弱监督目标检测。直觉是充分利用全监督数据集中的视觉区分和语义相关的类别信息，以增强弱监督检测器的对象分类能力。为了处理重叠的类别转移，我们提出了一个双监督平均教师收集共同的类别信息，并弥合两个数据集之间的领域差距。为了处理非重叠的类别转移，我们提出了一个语义图卷积网络，以促进相关类别之间的语义特征的聚合。以Pascal VOC 2007为弱监督目标数据集，COCO为全监督源数据集进行实验。我们的类别转移框架实现了63.5%的mAP和80.3%的CorLoc，两个数据集之间有5个重叠的类别，这优于最先进的方法。代码可在https://github.com/MediaBrain-SJTU/CaT获得。
2021-08-17 cs.CV
MAF: Multimodal Alignment Framework for Weakly-Supervised Phrase Grounding
Shanghai Jiao Tong University（上海交通大学）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；University of California, Berkeley（加州大学伯克利分校）
短语定位是研究从文本短语到图像区域的映射的任务。鉴于在大规模注释短语到对象数据集的困难，我们开发了一个多模态对齐框架（MAF），以利用更广泛可用的标题图像数据集，然后可以用作弱监督的形式。我们首先提出的算法，利用细粒度的视觉表示和视觉感知的语言表示模型短语对象的相关性。通过采用对比目标，我们的方法使用字幕图像对中的信息来提高弱监督场景下的性能。在广泛采用的Flickr30k数据集上进行的实验表明，与现有的弱监督方法相比，该方法有显着的改进。在视觉感知语言表示的帮助下，我们还可以将以前最好的无监督结果提高5.56%。我们进行消融研究，以表明我们的新模型和我们的弱监督策略都显着有助于我们的强大结果。
2020-10-12 cs.CL cs.CV cs.LG
Self-supervised Scale Equivariant Network for Weakly Supervised Semantic Segmentation
University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
弱监督语义分割以其低标注成本的优势，近年来引起了广泛的研究兴趣。大多数先进的算法遵循的设计原则，扩大和限制的种子区域从类激活图（CAM）。众所周知，传统的CAM往往是不完整的或过度激活，由于监管不力。幸运的是，我们发现语义分割具有空间变换等变性，可以形成一些自我监督，以帮助弱监督学习。这项工作主要探讨了CAM生成的规模等变约束的优点，制定了一个自监督规模等变网络（SSENet）。具体地说，一种新的尺度等变正则化精心设计，以确保从相同的输入图像具有不同的分辨率CAM的一致性。这种新的尺度等变正则化可以指导整个网络学习更准确的类激活。这种正则化的CAM可以嵌入到最新的高级弱监督语义分割框架中。在PASCAL VOC 2012数据集上进行的大量实验表明，该方法在弱监督语义分割的定量和定性方面都达到了最先进的性能。代码已可用。
2019-09-09 cs.CV
Learning a Weakly-Supervised Video Actor-Action Segmentation Model with a Wise Selection
University of Rochester（罗切斯特大学）
我们解决了弱监督视频演员动作分割（VAAS），它扩展了一般的视频对象分割（VOS），以额外考虑演员的动作标签。VOS上最成功的方法是合成一个伪注释池（PA），然后迭代地对其进行优化。然而，他们面临的挑战是如何从大量的PA中选择高质量的PA，如何为弱监督训练设置适当的停止条件，以及如何初始化与VAAS相关的PA。为了克服这些挑战，我们提出了一个通用的弱监督框架，该框架具有明智的训练样本选择和模型评估标准（WS^2）。WS^2不是盲目信任质量不一致的PA，而是采用基于学习的选择来选择有效的PA，并采用新的区域完整性标准作为弱监督训练的停止条件。此外，一个3D-Conv GCAM的设计，以适应VAAS任务。大量的实验表明，WS^2在弱监督的VOS和VAAS任务上都达到了最先进的性能，并且与VAAS上最好的全监督方法相当。
2020-03-29 cs.CV
CAMEL: A Weakly Supervised Learning Framework for Histopathology Image Segmentation
Tsinghua University（清华大学）；The Chinese PLA General Hospital（中国人民解放军总医院）；Thorough Images；Fudan University（复旦大学）
组织学图像分析在癌症诊断和治疗中起着至关重要的作用。为了自动分割癌变区域，完全监督分割算法需要在像素级进行劳动密集型和耗时的标记。在这项研究中，我们提出了CAMEL，一个弱监督学习框架的组织病理学图像分割只使用图像级标签。使用基于多实例学习（MIL）的标签丰富，CAMEL将图像拆分为网格实例并自动生成实例级标签。在标签丰富之后，实例级标签被进一步分配给相应的像素，产生近似的像素级标签，并使分割模型的完全监督训练成为可能。CAMEL在CAMELYON 16和结直肠腺瘤数据集上的实例级分类和像素级分割方面与完全监督方法具有相当的性能。此外，自动标记方法的通用性可能有利于未来的弱监督学习研究的组织病理学图像分析。
2019-08-28 cs.CV cs.LG eess.IV
Decoupling Makes Weakly Supervised Local Feature Better
Sun Yat-Sen University（中山大学）；The Shenzhen Campus of Sun Yat-Sen University（中山大学深圳校区）；National University of Defense Technology（国防科技大学）；University of Oulu（奥卢大学）；Alibaba Group（阿里巴巴集团）
弱监督学习可以帮助局部特征方法克服获取具有密集标记对应的大规模数据集的障碍。然而，由于弱监督不能区分由检测和描述步骤引起的损失，因此在联合描述-然后-检测流水线内直接进行弱监督学习会受到性能的限制。在本文中，我们提出了一种专为弱监督局部特征学习而设计的解耦描述然后检测管道。在我们的流水线中，检测步骤与描述步骤解耦，并推迟到学习了有区别的和鲁棒的描述符。此外，我们引入了一个线到窗口的搜索策略，明确地使用相机的姿态信息，更好的描述符学习。大量的实验表明，我们的方法，即PoSFeat（摄像机姿态监督特征），优于以前的完全和弱监督方法，并在广泛的下游任务上实现了最先进的性能。
2022-03-26 cs.CV
Weakly-Supervised 3D Pose Estimation from a Single Image using Multi-View Consistency
University of Surrey（萨里大学）
我们提出了一种新的数据驱动的正则化弱监督学习的三维人体姿态估计，消除了漂移问题，影响现有的方法。我们通过将立体声重建问题转移到网络本身的损失中来做到这一点。这避免了在训练之前重建3D数据的需要，并且与之前的半监督方法不同，避免了监督训练的预热期的需要。我们的方法的概念和实现的简单性是其吸引力的基础。它不仅可以简单地用我们额外的基于重投影的损失来增强许多弱监督方法，而且很明显它如何塑造重建和防止漂移。因此，我们相信这将是一个有价值的工具，任何研究人员在弱监督的3D重建工作。在Panoptic上进行评估，这是最大的多相机和无标记数据集，我们获得的准确性与在训练中充分利用3D地面实况的强监督方法基本上无法区分。
2019-09-13 cs.CV
Weakly-supervised segmentation of referring expressions
Inria（法国国家信息与自动化研究所）；Ecole normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）
视觉基础在图像中定位与给定指称表达相对应的区域（框或段）。在这项工作中，我们解决了图像分割从引用表达式，一个问题，到目前为止，只有在一个完全监督的设置得到解决。然而，完全监督的设置需要逐像素的监督，并且由于手动注释的费用而难以扩展。因此，我们引入了一个新的任务，弱监督图像分割的引用表达式，并提出文本接地语义分割（TSEG），学习分割掩模直接从图像级的引用表达式没有像素级的注释。我们的基于transformer的方法计算补丁文本的相似性，并在训练过程中指导分类目标与一个新的多标签补丁分配机制。得到的视觉接地模型分割图像区域对应于给定的自然语言表达式。我们的方法TSEG在具有挑战性的PhraseCut和RefCOCO数据集上展示了弱监督指代表达分割的良好结果。TSEG在Pascal VOC上的语义分割的zero-shot设置中进行评估时也显示出有竞争力的性能。
2022-05-12 cs.AI cs.CV cs.LG
Distribution Guidance Network for Weakly Supervised Point Cloud Semantic Segmentation
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）；Tencent（腾讯）；SECE, Peking University（北京大学电子学院）；Media Laboratory, Tencent（腾讯媒体实验室）
本文提出分布引导网络DGNet，通过moVMF分布对齐弱监督特征空间，在多个点云语义分割数据集和弱监督设置下取得最先进性能。
2024-10-18 cs.CV
LoGAN: Latent Graph Co-Attention Network for Weakly-Supervised Video Moment Retrieval
Boston University（波士顿大学）；University of California, Berkeley（加州大学伯克利分校）
弱监督视频矩检索的目标是定位与给定自然语言查询最相关的视频片段，而无需在训练期间访问时间注释。之前的强监督和弱监督方法通常利用共同注意力机制来学习用于本地化的视觉语义表示。然而，虽然这样的方法倾向于集中于识别视频的元素和语言模态之间的关系，但在给定查询的语义上下文的情况下，对视频帧之间的关系上下文建模的强调较少。因此，建立在局部框架特征上的上述视觉语义表示不包含太多上下文信息。为了解决这一限制，我们提出了一个潜在的图形共同注意力网络（LoGAN），利用细粒度的逐词交互帧之间的对应关系的原因，给定的语义上下文的查询。在两个数据集DiDeMo和Charades-Sta上进行的综合实验证明了我们提出的潜在共同注意力模型的有效性，它比当前最先进的（SOTA）弱监督方法有很大的优势。值得注意的是，它甚至比DiDeMo上的强监督SOTA方法的Recall@1准确率提高了11%。
2020-03-28 cs.CV cs.LG eess.IV
Self-supervised Multi-scale Consistency for Weakly Supervised Segmentation Learning
IMT School for Advanced Studies Lucca（卢卡IMT高等研究院）；University of Edinburgh（爱丁堡大学）
收集具有细粒度注释的大规模医学数据集非常耗时，需要专家。因此，弱监督学习旨在使用较弱形式的注释（如涂鸦）优化机器学习模型，这些注释更容易收集，更快。不幸的是，使用弱标签进行训练具有挑战性，需要正则化。在这里，我们介绍了一种新的自我监督的多尺度一致性损失，再加上一个注意力机制，鼓励分割器学习对象之间的多尺度关系，提高性能。我们在几个医疗和非医疗数据集上展示了最先进的性能。用于实验的代码可在https://vios-s.github.io/multiscale-pyag上获得。
2021-08-26 cs.CV
Weakly Supervised Deep Functional Map for Shape Matching
LIX, École Polytechnique（巴黎综合理工学院LIX实验室（LIX, École Polytechnique））
最近已经提出了各种各样的深度功能映射，从完全监督到完全无监督，具有一系列损失函数以及不同的正则化项。然而，目前还不清楚什么是深度功能图管道的最低成分，以及这些成分是否统一或概括了所有最近在深度功能图上的工作。我们显示经验最小的组件，以获得不同的损失函数，监督以及无监督的最先进的结果。此外，我们提出了一种新的框架，设计用于全到全以及部分到全形状匹配，在几个基准数据集上实现了最先进的结果，甚至比完全监督的方法有很大的优势。我们的代码可在https://github.com/Not-IITian/Weakly-supervised-Functional-map上公开获取
2020-09-28 cs.CV cs.GR cs.LG
Min-Entropy Latent Model for Weakly Supervised Object Detection
University of Chinese Academy of Sciences（中国科学院大学）；Sun Yat-sen University（中山大学）
弱监督目标检测是一个具有挑战性的任务时，提供了图像类别的监督，但需要学习，在同一时间，对象的位置和对象检测器。弱监督和学习目标之间的不一致性引入了显着的随机性对象的位置和模糊性的检测器。提出了一种用于弱监督目标检测的最小熵潜在模型（MELM）。最小熵作为学习对象位置的模型和度量学习过程中对象定位的随机性的度量。它的目的是主要减少学习的实例的方差和减轻检测器的歧义。MELM被分解为三个组件，包括建议团划分，对象团发现，对象定位。MELM是优化与经常性的学习算法，利用连续优化来解决具有挑战性的非凸性问题。实验表明，MELM显着提高性能的弱监督目标检测，弱监督目标定位，和图像分类，对国家的最先进的方法。
2019-02-16 cs.CV
Weakly and Self-Supervised Class-Agnostic Motion Prediction for Autonomous Driving
College of Computing and Data Science, Nanyang Technological University, Singapore（计算与数据科学学院，南洋理工大学，新加坡）；SenseTime Research, Hong Kong, China（时光科技研究院，香港，中国）
本文提出基于LiDAR点云的弱监督与自监督类无关运动预测方法，利用前景/背景或非地面/地面掩码替代运动标注，并设计鲁棒一致性感知Chamfer Distance损失抑制异常值，在降低标注成本的同时保持优异性能。
2025-09-16 cs.CV
WOAD: Weakly Supervised Online Action Detection in Untrimmed Videos
Salesforce Research（赛富时研究院）
未裁剪视频中的在线动作检测旨在识别发生的动作，这对于实时应用非常重要。以前的方法依赖于繁琐的时间动作边界的注释进行训练，这阻碍了在线动作检测系统的可扩展性。我们提出了WOAD，这是一个弱监督框架，可以只使用视频类标签进行训练。WOAD包含两个联合训练模块，即，时间建议生成器（TPG）和在线动作识别器（OAR）。在视频类标签的监督下，TPG离线工作，目标是准确挖掘OAR的伪帧级标签。通过TPG的监督信号，OAR学习以在线方式进行动作检测。在THUMOS'14，ActivityNet1.2和ActivityNet1.3上的实验结果表明，我们的弱监督方法在很大程度上优于弱监督基线，并实现了与以前的强监督方法相当的性能。除此之外，WOAD还可以灵活地利用强有力的监督。当强监督时，我们的方法在在线每帧动作识别和在线动作开始检测的任务中获得了最先进的结果。
2021-05-18 cs.CV
Polar Transformation Based Multiple Instance Learning Assisting Weakly Supervised Image Segmentation With Loose Bounding Box Annotations
Delta Micro Technology, Inc.（达美微科技公司）；Shenzhen SiBright Co. Ltd.（深圳硅基仿生科技有限公司）
本文研究了基于松散限界框监督的弱监督图像分割。提出了一种基于极坐标变换的多示例学习策略，以辅助松散包围盒作为监督的图像分割。在该策略中，引入加权平滑最大值近似，以结合观察到的像素更接近极坐标变换的原点更可能属于限界框中的对象。在公共医疗数据集上使用Dice系数对所提出的方法进行了评估。结果表明其优越的性能。代码可在\url{https://github.com/wangjuan313/wsis-polartransform}上获得。
2022-03-03 cs.CV cs.LG eess.IV
Weakly-Supervised Arbitrary-Shaped Text Detection with Expectation-Maximization Algorithm
University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence of Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
异形文字检测是计算机视觉中一个重要而又具有挑战性的课题。大多数现有的方法需要大量的数据标记工作，以产生用于监督训练的文本区域标签。为了降低数据标记的成本，我们研究了弱监督任意形状文本检测，以结合各种弱监督形式（例如，图像级标签、粗略的、松散的和紧密的边界框），这对于注释来说要容易得多。我们提出了一个基于期望最大化（EM）的弱监督学习框架，训练一个准确的任意形状的文本检测器，只使用少量的文本级注释数据结合大量的弱注释数据。同时，我们提出了一个基于轮廓的任意形状的文本检测器，这是适合于结合弱监督学习。在CTW 1500、Total-Text和ICDAR-ArT三个任意形状的文本基准测试上的实验表明：（1）仅使用10%的强注释数据和90%的弱注释数据，我们的方法的性能与现有方法相当;（2）在100%的强注释数据下，我们的方法在所有三个基准测试上的性能都优于现有方法。我们将在未来公开弱注释数据集。
2020-12-01 cs.CV
Active Learning Strategies for Weakly-supervised Object Detection
Inria（法国国家信息与自动化研究所）；DI/ENS (ENS-PSL, CNRS, Inria)（巴黎高等师范学院计算机系（巴黎高等师范学院-巴黎文理研究大学、法国国家科学研究中心、法国国家信息与自动化研究所））；New York University（纽约大学）
用弱注释训练的对象检测器是完全监督的替代品。然而，它们之间仍然存在很大的性能差距。我们建议通过微调一个基本的预训练的弱监督检测器，使用"盒中盒“（BiB）自动从训练集中选择一些完全注释的样本来缩小这一差距，这是一种新的主动学习策略，专门用于解决弱监督检测器的有据可查的故障模式。在VOC07和COCO基准测试上的实验表明，BiB优于其他主动学习技术，并且在每个类只有少量完全注释图像的情况下，显著提高了基本弱监督检测器的性能。BiB达到了全监督快速RCNN性能的97%，而VOC 07上只有10%的完全注释图像。在COCO上，平均每个类使用10个完全注释的图像，或相当于训练集的1%，BiB还将弱监督检测器和全监督快速RCNN之间的性能差距（在AP中）减少了70%以上，显示了性能和数据效率之间的良好权衡。我们的代码可在https://github.com/huyvvo/BiB上公开获取。
2022-07-25 cs.CV
NoPeopleAllowed: The Three-Step Approach to Weakly Supervised Semantic Segmentation
SoftServe（SoftServe公司）；Ukrainian Catholic University（乌克兰天主教大学）
我们提出了一种新的方法，弱监督语义分割，其中包括三个连续的步骤。前两步从图像级注释数据中提取高质量的伪掩模，然后在第三步中使用伪掩模来训练分割模型。该方法还解决了数据中的两个问题：类不平衡和缺少标签。仅使用图像级注释作为监督，我们的方法能够分割各种类别和复杂对象。它在测试集上实现了37.34的平均IoU，在弱监督语义分割任务中的LID挑战中排名第三。
2020-06-13 cs.CV
Weakly Supervised Human-Object Interaction Detection in Video via Contrastive Spatiotemporal Regions
MIT（麻省理工学院）；CIIRC CTU（捷克理工大学计算机科学与人工智能研究所）；Adobe（奥多比）
我们介绍了弱监督学习的任务，用于检测视频中的人和对象的交互。我们的任务带来了独特的挑战，因为系统不知道视频中存在什么类型的人与物体的交互，也不知道人与物体的实际时空位置。为了解决这些挑战，我们引入了一种对比性弱监督训练损失，旨在将视频中的时空区域与动作和对象词汇相关联，并鼓励移动对象的视觉外观的时间连续性作为自我监督的一种形式。为了训练我们的模型，我们引入了一个数据集，该数据集包括超过6.5k个带有人机交互注释的视频，这些注释是从与视频相关的句子标题中半自动策划的。我们证明了在弱监督基线上改进的性能，这些基线适合我们在视频数据集上的任务。
2021-10-07 cs.CV
Weakly Supervised Deep Detection Networks
University of Oxford（牛津大学）
目标检测的弱监督学习是图像理解中的一个重要问题，至今仍没有一个令人满意的解决方案。在本文中，我们通过利用在大规模图像级分类任务上预训练的深度卷积神经网络的能力来解决这个问题。我们提出了一种弱监督深度检测架构，该架构修改了一个这样的网络，使其在图像区域级别上运行，同时执行区域选择和分类。作为图像分类器训练，该架构隐式地学习对象检测器，其优于PASCAL VOC数据上的替代弱监督检测系统。该模型是一个简单而优雅的端到端架构，其性能优于标准的数据增强和图像级分类任务的微调技术。
2016-12-19 cs.CV
CaCL: Class-aware Codebook Learning for Weakly Supervised Segmentation on Diffuse Image Patterns
Vanderbilt University（范德堡大学）；Vanderbilt University Medical Center（范德堡大学医学中心）
弱监督学习在生物医学图像分析中得到了快速发展，以从图像标注（分类）实现像素标签（分割），因为生物医学图像在许多情况下自然包含图像标签。来自计算机视觉界的当前弱监督学习算法主要是针对焦点对象（例如，狗和猫）。然而，这样的算法没有针对生物医学成像中的漫射图案（例如，染色和显微成像中的荧光）。在本文中，我们提出了一种新的类感知码本学习（CaCL）算法进行弱监督学习扩散图像模式。具体而言，CaCL算法被部署到从人类十二指肠的组织学图像中分割蛋白质表达的刷状缘区域。我们的贡献是三方面的：（1）我们从一个新的码本学习的角度来处理弱监督分割;（2）CaCL算法分割扩散图像模式，而不是焦点对象;（3）所提出的算法是在一个多任务框架的基础上实现的矢量量化-变分自编码器（VQ-VAE）通过联合图像重建，分类，特征嵌入，和分割。实验结果表明，我们的方法取得了优越的性能相比，基线弱监督算法。该代码可在https://github.com/ddrrnn123/CaCL上获得。
2022-04-13 cs.CV
On Evaluating Weakly Supervised Action Segmentation Methods
University of Bonn（波恩大学）；Toyota Motor Europe（丰田汽车欧洲公司）
动作分割是在时间上分割未修剪视频的每一帧的任务。弱监督的动作分割方法，特别是从成绩单一直相当感兴趣的计算机视觉社区。在这项工作中，我们专注于弱监督动作分割方法的使用和评估的两个方面，这两个方面经常被忽视：多个训练运行的性能差异和选择特征提取器对这项任务的影响。为了解决第一个问题，我们在Breakfast数据集上对每个方法进行了5次训练，并提供了结果的平均值和标准差。我们的实验表明，这些重复的标准偏差在1和2.5%之间，并显着影响不同方法之间的比较。此外，我们对特征提取的研究表明，对于所研究的弱监督动作分割方法，更高级别的I3D特征比经典的IDT特征表现更差。
2021-10-21 cs.CV
Weakly Supervised Change Detection Using Guided Anisotropic Difusion
ETH Zurich（苏黎世联邦理工学院）
从众包标签或公开可用数据创建的大规模数据集对于为大规模学习算法提供训练数据至关重要。虽然这些数据集更容易获得，但数据通常是嘈杂和不可靠的，这激发了对弱监督学习技术的研究。在本文中，我们提出了原创的想法，帮助我们在变化检测的背景下利用这些数据集。首先，我们提出了引导各向异性扩散（GAD）算法，它改善了语义分割结果使用的输入图像作为指导进行边缘保持滤波。然后，我们展示了它的潜力，在两个弱监督的学习策略量身定制的变化检测。第一种策略是一种迭代学习方法，它结合了模型优化和数据清洗，使用GAD从开放向量数据生成的大规模变化检测数据集中提取有用的信息。第二个将GAD纳入一个新的空间注意力层，提高了弱监督网络的准确性，该网络经过训练，可以从图像级标签执行像素级预测。在4个不同的公共数据集上证明了对最先进技术的改进。
2021-12-31 cs.CV cs.LG eess.IV
Weakly- and Semi-Supervised Object Detection with Expectation-Maximization Algorithm
Tsinghua University（清华大学）
当提供图像级标签而不是实例级标签时的目标检测（即，边界框）是计算机视觉中的一个重要问题，因为获得具有实例级标签的大规模图像数据集的成本极高。在本文中，我们通过使用深度卷积神经网络（CNN）开发基于期望最大化（EM）的目标检测方法来解决这个具有挑战性的问题。我们的方法适用于弱监督和半监督的设置。在PASCAL VOC 2007 benchmark上进行的大量实验表明：（1）在弱监督设置下，我们的方法比当前最先进的方法提供了显着的检测性能改进，（2）可以访问少量的强（实例级）注释图像，我们的方法几乎可以与完全监督的Fast RCNN的性能相匹配。我们在https://github.com/ZiangYan/EM-WSD上共享源代码。
2017-02-28 cs.CV
Simple Does It: Weakly Supervised Instance and Semantic Segmentation
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland University（萨尔大学）
语义标记和实例分割是需要特别昂贵的注释的两个任务。从弱监督的形式限界框检测注释，我们提出了一种新的方法，不需要修改的分割训练过程。我们表明，当从给定的边界框中仔细设计输入标签时，即使是一轮训练也足以改善先前报告的弱监督结果。总的来说，我们的弱监督方法达到了完全监督模型质量的95%，无论是语义标记还是实例分割。
2016-11-23 cs.CV
Decoupled Spatial Neural Attention for Weakly Supervised Semantic Segmentation
Nanyang Technological University（南洋理工大学）；The University of Adelaide（阿德莱德大学）
弱监督的语义分割得到了很多研究的关注，因为它强调了需要获得大量的密集像素明智的地面实况注释的训练图像。与其他形式的弱监督相比，图像标签的获取效率相当高。在我们的工作中，我们专注于弱监督语义分割与图像标签标注。这项任务的最新进展在很大程度上取决于生成的伪注释的质量。在这项工作中，灵感来自空间神经注意图像描述，我们提出了一个解耦的空间神经注意网络生成伪注释。我们的解耦注意力结构可以同时识别目标区域和定位有区别的部分，在一个前向路径中生成高质量的伪注释，生成的伪注释导致分割结果，达到了最先进的弱监督语义分割。
2018-03-07 cs.CV
Improving Weakly-Supervised Object Localization By Micro-Annotation
IST Austria（奥地利科学技术研究所）
弱监督的对象定位方法往往会失败的对象类，始终与相同的背景元素，如火车上的轨道。我们提出了一种方法来克服这些故障，通过添加一个非常少量的模型特定的附加注释。其主要思想是将深度网络的中层表示聚类，并为每个聚类分配对象或干扰项标签。实验表明，在具有挑战性的ILSVC 2014数据集上进行限界框检测和在PASCAL VOC 2012数据集上进行语义分割的定位结果得到了显著改善。
2016-05-18 cs.CV
What Matters in Autonomous Driving Anomaly Detection: A Weakly Supervised Horizon
INRIA（法国国家信息与自动化研究所）
针对自动驾驶移动相机场景下弱监督视频异常检测研究不足的问题，本文重构DoTA数据集验证现有方法，提出特征变换模块以提升检测性能，并将开源相关资源。
2024-08-10 cs.CV
Transformer based multiple instance learning for weakly supervised histopathology image segmentation
Beihang University（北京航空航天大学）；China Pharmaceutical University（中国药科大学）；Zhejiang University（浙江大学）；Microsoft Research（微软研究院）；Xiaomi Corporation（小米公司）
病理图像分割算法在计算机辅助诊断技术中占有重要地位。弱监督分割算法的发展解决了医学图像标注费时费力的问题。作为弱监督学习的一个子集，多实例学习（MIL）在分割中被证明是有效的。然而，MIL中实例之间缺乏相关信息，这限制了分割性能的进一步提高。在本文中，我们提出了一种新的弱监督的方法，在组织病理学图像的像素级分割，它引入Transformer到MIL框架，以捕获全局或长期的依赖关系。Transformer中的多头自注意建立了实例之间的关系，解决了MIL中实例之间相互独立的缺点。此外，引入深度监督，克服了弱监督方法中标注的局限性，更好地利用了层次信息。结肠癌数据集上的最新结果表明，与其他弱监督方法相比，该方法具有优越性。值得相信的是，我们的方法在医学图像的各种应用中有潜力。
2022-05-18 cs.CV
Closed-Loop Adaptation for Weakly-Supervised Semantic Segmentation
Huazhong University of Science and Technology（华中科技大学）；University of Florida（佛罗里达大学）
弱监督语义分割的目标是在弱监督下为每个像素分配一个语义类别，例如图像级标签。现有的大多数弱监督语义分割方法不使用来自分割输出的任何反馈，并且可以被认为是开环系统。由于种子的静态性和结构信息的敏感性，它们容易产生累积错误。本文针对现有的弱监督语义分割方法，通过引入两条反馈链，提出了一种通用的自适应机制，从而构成一个闭环系统。具体地，第一链通过合并跨图像结构信息来迭代地产生动态种子，而第二链通过定制的随机游走过程来进一步扩展种子区域，以协调由超像素表征的内部图像结构信息。在PASCAL VOC 2012上的实验表明，我们的网络比最先进的方法性能更好，计算和内存负担更少。
2019-05-29 cs.CV
Fully Convolutional Change Detection Framework with Generative Adversarial Network for Unsupervised, Weakly Supervised and Regional Supervised Change Detection
基于深度学习的变化检测是当前遥感领域的研究热点之一。然而，大多数端到端网络都是针对有监督的变化检测而提出的，而无监督的变化检测模型依赖于传统的预检测方法。因此，我们提出了一个具有生成对抗网络的完全卷积变化检测框架，将无监督，弱监督，区域监督和完全监督的变化检测任务归纳到一个框架中。一个基本的Unet分割器被用来获得变化检测地图，一个图像到图像生成器被实现来模拟多时间图像之间的光谱和空间变化，并提出了一个用于改变和不变的建模语义变化弱和区域监督变化检测任务。分割器和生成器的迭代优化可以构建一个端到端的无监督变化检测网络，分割器和生成器之间的对抗过程可以为弱监督和区域监督的变化检测提供解决方案，分割器本身可以被训练用于完全监督的任务。实验结果表明，该框架在无监督、弱监督和区域监督的变化检测中是有效的。本文对无监督、弱监督和区域监督的变化检测任务进行了理论定义，展示了端到端网络在遥感变化检测中的巨大潜力。
2022-01-16 cs.AI cs.CV eess.IV
Discriminative Localization in CNNs for Weakly-Supervised Segmentation of Pulmonary Nodules
Columbia University（哥伦比亚大学）；Imperial College（帝国理工学院）
在肺部计算机断层扫描（CT）扫描上自动检测和分割肺结节可以促进早期肺癌诊断。用于CT扫描上的自动结节分割的现有监督方法需要用于训练的基于体素的注释，这是耗费人力和时间的。在这项工作中，我们提出了一种弱监督方法，该方法仅使用图像级标签进行训练，生成准确的体素级结节分割。通过调整为图像分类训练的卷积神经网络（CNN），我们所提出的方法从不同尺度的卷积单元的激活图中学习有区别的区域，并使用新的候选筛选框架来识别真正的结节位置。在公共LIDC-IDRI数据集上的实验结果表明，与基于CNN的全监督分割方法相比，我们的弱监督结节分割框架具有竞争力的性能。
2018-02-22 cs.CV
Weakly Supervised Semantic Segmentation for Large-Scale Point Cloud
Xiamen University（厦门大学）；East China Normal University（华东师范大学）；JD AI Research（京东人工智能研究院）
现有的大规模点云语义分割方法需要昂贵、繁琐且容易出错的手动逐点注释。直观的弱监督训练是降低标签成本的直接解决方案。然而，对于弱监督的大规模点云语义分割，标注过少必然导致网络学习效果不佳。我们提出了一个有效的弱监督方法包含两个组件来解决上述问题。首先，我们构建一个借口任务，\textit{i.e.,}点云着色，与自监督学习转移学习的先验知识，从大量的未标记的点云到一个弱监督网络。通过这种方式，弱监督网络的表示能力可以通过异构任务的指导来提高。此外，为了给未标记数据生成伪标签，提出了一种稀疏标签传播机制，利用生成的类原型来度量未标记点的分类置信度。我们的方法进行了评估大规模点云数据集与不同的场景，包括室内和室外。实验结果表明，大的增益对现有的弱监督和可比的结果完全监督的方法\footnote{Code based on mindspore: https://github.com/dmcv-ecnu/MindSpore\_ModelZoo/tree/main/WS3\_MindSpore}。
2022-12-09 cs.AI cs.CV
Self-Transfer Learning for Fully Weakly Supervised Object Localization
Lunit Inc.（Lunit公司）
深度学习的最新进展在各种具有挑战性的计算机视觉任务中取得了显着的表现。特别是在对象定位方面，深度卷积神经网络优于基于提取数据/任务驱动特征而不是手工特征的传统方法。虽然感兴趣区域（ROI）的位置信息为对象定位提供了良好的先验，但它需要大量的人力资源注释工作。因此，一个弱监督框架的目标定位。术语“弱”意味着该框架仅使用图像级标记的数据集来训练网络。在采用预训练网络的权值参数的迁移学习的帮助下，用于目标定位的弱监督学习框架表现良好，因为预训练网络已经具有良好训练的类特定特征。然而，这些方法不能用于没有预先训练的网络或良好局部化的大规模图像的一些应用。医学图像分析是这些应用中的代表，因为不可能获得这样的预训练网络。在这项工作中，我们提出了一个“完全”弱监督框架的对象定位（“半”-弱是对应的使用预训练的过滤器弱监督定位）命名为自迁移学习（STL）。它同时优化分类和定位网络。通过控制定位网络的监督级别，STL帮助定位网络在没有任何类型的先验的情况下聚焦于正确的ROI。我们使用两个医学图像数据集，胸部X光片和乳房X光片评估拟议的STL框架，并实现显着更好的定位性能相比，以前的弱监督方法。
2016-02-04 cs.CV
Self-Supervised Difference Detection for Weakly-Supervised Semantic Segmentation
Artificial Intelligence eXploration Research Center, The University of Electro Communications（电气通信大学人工智能探索研究中心）
为了最小化与语义分割模型训练相关的标注成本，研究人员广泛研究了弱监督分割方法。在目前的弱监督分割方法中，最广泛采用的方法是基于可视化的。然而，可视化结果并不等于语义分割。因此，为了在弱监督条件下执行精确的语义分割，需要考虑将可视化结果转换为语义分割的映射函数。对于这样的映射函数，通常使用条件随机场和使用分割模型的输出的迭代再训练。然而，这些方法并不总是保证精度的提高;因此，如果我们多次迭代地应用这些映射函数，最终精度不会提高或会降低。为了充分利用这类映射函数，本文假设映射函数的结果中含有噪声，通过去除噪声来提高精度。为了实现我们的目标，我们提出了自我监督的差异检测模块，它通过预测映射前后的分割掩模之间的差异来估计映射函数结果中的噪声。通过在PASCAL Visual Object Classes 2012数据集上的实验，验证了该方法的有效性，在val集和测试集上分别达到了64.9%和65.5%。这两个结果在弱监督语义分割的相同设置下成为新的最先进的。
2019-11-12 cs.CV
Weakly Supervised Multi-Object Tracking and Segmentation
Computer Vision Center, UAB（巴塞罗那自治大学计算机视觉中心）；Facebook（脸书）
本文提出了弱监督多目标跟踪与分割问题，即联合弱监督实例分割和多目标跟踪，其中不提供任何类型的模板标注。为了解决这个问题，我们设计了一种新的协同训练策略，利用多任务学习，即分类和跟踪任务指导训练的无监督实例分割。为此，我们提取Grad-CAM热图提供的弱前景定位信息，以生成部分地面实况以供学习。此外，RGB图像级信息被用来细化对象边缘处的掩模预测。我们在KITTI MOTS上评估了我们的方法，这是这项任务最具代表性的基准，将完全监督和弱监督方法之间的MOTSP指标的性能差距分别缩小到12%和12.7%。
2021-01-03 cs.CV
