Learning to discover and localize visual objects with open vocabulary
University of Pittsburgh（匹兹堡大学）；Google Research（谷歌研究院）
为了减轻获得用于训练当今最先进的目标检测模型的准确边界框的成本，最近的弱监督检测工作提出了从图像级标签学习的技术。然而，需要离散的图像级标签是限制性的和次优的。现实世界的“监督”通常由更多的非结构化文本组成，如标题。在这项工作中，我们学习图像和字幕之间的关联映射。然后，我们使用一种新的对象性标准来对所得到的候选框进行排名，使得高排名的框沿着所有边缘都具有很强的梯度。因此，我们可以检测超出固定对象类别词汇表的对象，如果这些对象足够频繁和独特。我们表明，我们的对象标准，提高了建议的边界框有关以前的弱监督检测方法。此外，我们只从图像级字幕的目标检测令人鼓舞的结果。
2018-11-25 cs.CV
Pairwise Similarity Knowledge Transfer for Weakly Supervised Object Localization
ANU（澳大利亚国立大学）；ACRV（澳大利亚机器人视觉研究中心）；Georgia Tech（佐治亚理工学院）；Google Research（谷歌研究院）；University of Washington（华盛顿大学）
弱监督对象定位（WSOL）方法只需要图像级标签，而不是完全监督算法所需的昂贵的限界框注释。我们研究了在具有弱监督图像标签的目标类上学习定位模型的问题，并在完全注释的源数据集的帮助下。通常，WSOL模型首先被训练来预测现成的完全监督源数据集上的类通用对象性得分，然后逐渐适应学习弱监督目标数据集中的对象。在这项工作中，我们认为，只学习一个对象函数是一种弱形式的知识转移，并建议学习一个类的成对相似性函数，直接比较两个输入的建议，以及。组合的定位模型和估计的对象注释在交替优化范例中联合学习，如在标准WSOL方法中通常所做的。与现有的学习成对相似性的工作相比，我们的方法优化了一个统一的目标，并保证收敛，对于大规模应用来说，它是计算效率高的。在COCO和ILSVRC 2013检测数据集上的实验表明，引入成对相似度函数后，定位模型的性能得到了显著提高。例如，在ILSVRC数据集中，正确定位（CorLoc）性能从72.8%提高到78.2%，这是知识转移背景下WSOL任务的最新技术水平。
2020-07-19 cs.CV
Revisiting knowledge transfer for training object class detectors
Google AI Perception（谷歌人工智能感知（Google AI Perception））
我们建议重新审视知识转移，从弱监督训练图像中训练目标类上的对象检测器，这得益于一组带有边界框注释的源类。我们提出了一个统一的知识转移框架的基础上训练一个单一的神经网络多类对象检测器在所有源类，组织在一个语义层次结构。这将生成具有层次结构中多个级别的分数的建议，我们使用这些建议来探索广泛的一般性知识转移，从特定类别（自行车到摩托车）到类别通用（任何类别的对象）。在ILSVRC 2013检测数据集中的200个对象类上的实验表明，我们的技术：（1）在目标类上的性能（70.3%CorLoc，36.9%mAP）比使用手动设计对象的弱监督基线（50.5%CorLoc，25.4%mAP）好得多。(2)提供的目标对象检测器达到其完全监督的同类产品的80%的mAP。(3)优于该数据集上报告的最佳迁移学习结果（CorLoc +41%，mAP +3%[18，46]，mAP +16.2%[32]）。此外，我们还进行了几个跨数据集的知识转移实验[27，24，35]，并发现（4）我们的技术在所有数据集对中的表现都优于弱监督基线1.5倍-1.9倍，建立了其普遍适用性。
2018-03-28 cs.CV
The Emergence of Objectness: Learning Zero-Shot Segmentation from Videos
Microsoft Research Asia（微软亚洲研究院）；John Hopkins University（约翰斯·霍普金斯大学）；UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
人类可以很容易地分割移动的物体，而不知道它们是什么。连续的视觉观察可以产生对象，这促使我们从未标记的视频中同时建模分组和运动。我们的前提是，一个视频有不同的意见，相同的场景相关的移动组件，和正确的区域分割和区域流将允许相互视图合成，可以检查从数据本身没有任何外部监督。我们的模型从两个独立的路径开始：一个外观路径，为单个图像输出基于特征的区域分割，一个运动路径，为一对图像输出运动特征。然后，它将它们绑定在一个称为分段流的联合表示中，该表示将每个区域上的流偏移合并起来，并为整个场景提供移动区域的总体特征。通过训练模型，以最大限度地减少基于段流的视图合成错误，我们的外观和运动路径自动学习区域分割和流估计，而无需分别从低级别边缘或光流建立它们。我们的模型展示了令人惊讶的出现在外观路径中的对象，超越了以前的作品从图像中的zero-shot对象分割，从视频中的运动对象分割与无监督测试时自适应，和语义图像分割的监督微调。我们的工作是第一个真正的端到端的zero-shot对象分割视频。它不仅为分割和跟踪开发了通用对象，而且在没有增强工程的情况下优于流行的基于图像的对比学习方法。
2021-11-11 cs.CV cs.LG
Interpolation-based semi-supervised learning for object detection
Seoul National University（首尔国立大学）；Aalto University（阿尔托大学）；Mila Université de Montréal（蒙特利尔大学米拉研究所）；SK hynix（SK海力士）
尽管目标检测任务的数据标记成本远高于分类任务，但用于目标检测的半监督学习方法还没有得到太多的研究。本文提出了一种基于插值的半监督学习目标检测方法（ISD），该方法考虑并解决了传统的插值正则化（IR）直接应用于目标检测所带来的问题。我们根据IR中混合的两个原始补丁的对象性得分将模型的输出分为两种类型。然后，我们以无监督的方式应用适合于每种类型的单独损失。提出的损失显着提高性能的半监督学习以及监督学习。在监督学习设置中，我们的方法显著地改进了基线方法。在半监督学习环境中，我们的算法提高了性能的基准数据集（PASCAL VOC和MSCOCO）在基准架构（SSD）。
2020-12-29 cs.CV
Weakly Supervised Object Localization with Multi-fold Multiple Instance Learning
Bilkent University（比尔肯特大学）；Inria Grenoble Rhône-Alpes（法国国家信息与自动化研究所格勒诺布尔-罗讷-阿尔卑斯分所）；Laboratoire Jean Kuntzmann（让·孔茨曼实验室）；CNRS（法国国家科学研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
目标类别定位是计算机视觉中一个具有挑战性的问题。标准监督训练需要对象实例的限界框注释。这种耗时的注释过程在弱监督学习中被回避了。在这种情况下，监督信息被限制为指示图像中对象实例的不存在/存在的二进制标签，而没有它们的位置。我们遵循多实例学习方法，迭代地训练检测器并推断正训练图像中的对象位置。我们的主要贡献是一个多重多实例学习过程，它可以防止训练过早锁定错误的对象位置。当使用高维表示时，例如Fisher向量和卷积神经网络特征，该过程尤其重要。我们还提出了一个窗口细化方法，提高了定位精度，通过将对象的先验。我们提出了一个详细的实验评估使用PASCAL VOC 2007数据集，验证了我们的方法的有效性。
2016-02-22 cs.CV
Mixed Supervised Object Detection by Transferring Mask Prior and Semantic Similarity
Shanghai Jiao Tong University（上海交通大学）
目标检测已经取得了令人鼓舞的成功，但需要大规模的完全注释的数据，这是耗时和劳动密集型。因此，我们认为目标检测与混合监督，学习新的对象类别使用弱注释与现有的基础对象类别的完整注释的帮助。以前使用混合监督的工作主要是从完全注释的类别中学习类不可知的对象性，可以将其转移到新类别的弱注释升级为伪完全注释。在本文中，我们进一步转移掩码先验和语义相似度，以弥合新类别和基础类别之间的差距。具体地说，使用面具之前，帮助检测对象的能力是从基本类别和转移到新的类别。此外，从基本类别学习的对象之间的语义相似性被转移到去噪的伪完整的注释为新的类别。在三个基准数据集上的实验结果证明了该方法的有效性。代码可在https://github.com/bcmi/TraMaS-Weak-Shot-Object-Detection上获得。
2021-10-27 cs.CV
Learning to Exploit the Prior Network Knowledge for Weakly-Supervised Semantic Segmentation
University of Alcalá（阿尔卡拉大学）
训练用于语义分割的卷积神经网络（CNN）通常需要收集大量准确的像素级注释，这是一项困难且昂贵的任务。相比之下，简单的图像标签更容易收集。在本文中，我们介绍了一种新的弱监督语义分割模型，能够从图像标签学习，只是图像标签。我们的模型使用的图像识别训练的网络的先验知识，采用这些图像注释作为注意力机制，以确定图像中的语义区域。然后，我们提出了一种方法，建立准确的类特定的分割掩模从这些地区，既不需要外部对象，也不需要显着性算法。我们描述了如何将这种掩码生成策略整合到一个完全端到端的可训练过程中，在这个过程中，网络联合学习对图像进行分类和分割。我们在PASCAL VOC 2012数据集上的实验表明，利用这些生成的特定于类的掩码与我们新颖的端到端学习过程相结合，优于最近几种仅使用图像标签的弱监督语义分割方法，甚至优于一些利用额外监督或训练数据的模型。
2019-02-22 cs.CV
I$^2$OL-Net: Intra-Inter Objectness Learning Network for Point-Supervised X-Ray Prohibited Item Detection
本文提出I$^2$OL-Net，通过模态内与模态间目标性学习，在点监督下实现高效X射线违禁品检测，显著降低标注成本并提升性能。
2025-01-03 cs.CV
Learning Open-World Object Proposals without Learning to Classify
KAIST（韩国科学技术院）；Google Brain（谷歌大脑）
目标检测已经成为目标检测、弱监督检测、目标发现、跟踪等视觉流程中不可或缺的预处理步骤。与无学习方法相比，由于人们对目标检测的兴趣越来越大，基于学习的目标检测方法最近变得流行起来。常见的范例是从标记有一组对象区域及其相应类别的数据中学习对象建议。然而，这种方法经常与训练集中不存在的开放世界中的新对象进行斗争。在本文中，我们发现问题在于现有建议方法中的二进制分类器倾向于过拟合训练类别。因此，我们提出了一种无分类的对象定位网络（OLN），它纯粹通过区域的位置和形状与任何地面真实对象（例如，中心和IoU）。这个简单的策略学习了可概括的对象，并优于COCO上现有的跨类别概括建议，以及RoboNet，Object365和EpicKitchen上的跨数据集评估。最后，我们证明了OLN的优点长尾目标检测的大词汇量数据集，LVIS，我们注意到在罕见和常见的类别有明显的改善。
2021-08-15 cs.CV
Weakly Supervised 3D Instance Segmentation without Instance-level Annotations
Nanyang Technological University（南洋理工大学）
提出首个仅需类别语义标签的弱监督3D实例分割方法，通过分解点云学习实例质心、构建伪实例重组数据集及非对称目标推理算法生成高质量伪标签，实现与全监督方法相当的性能并降低标注成本。
2023-08-03 cs.CV
Point-supervised Segmentation of Microscopy Images and Volumes via Objectness Regularization
New York University（纽约大学）；Ludwigshafen Hospital（路德维希港医院）；University Hospital Bonn（波恩大学医院）；University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）
注释是显微图像和体积的语义分割的主要障碍，由于其先决条件的专业知识和努力。这项工作使语义分割网络在图像上的训练成为可能，每个实例只有一个训练点，这是一种弱监督的极端情况，大大减轻了注释的负担。我们的方法有两个关键方面：（1）我们使用在训练过程中在正则化器中使用的单个种子来构建图论软分割;（2）我们使用一个目标函数，可以从构建的软标签中学习。我们在数字病理学中具有挑战性的数据集上实现了点监督语义分割的竞争结果。最后，我们将我们的方法扩展到3D荧光显微镜体积中的点监督分割，避免了繁重的手动体积描绘的需要。我们的代码是免费提供的。
2021-03-19 cs.CV
RaSP: Relation-aware Semantic Prior for Weakly Supervised Incremental Segmentation
LTCI, Télécom-Paris（巴黎电信学院LTCI实验室）；Intitute Polytechnique de Paris（巴黎综合理工学院）；NAVER LABS Europe（NAVER欧洲实验室）
本文提出RaSP方法，利用类别间的语义关系将旧类别的对象性先验迁移到新类别，在仅使用图像级标签的弱监督类增量分割中显著提升新旧类别的分割质量。
2023-05-31 cs.CV
Triply Supervised Decoder Networks for Joint Detection and Segmentation
Tianjin University（天津大学）；Xi’an Institute of Optics and Precision Mechanics, Chinese Academy of Sciences（中国科学院西安光学精密机械研究所）
联合目标检测和语义分割可以应用于许多领域，例如自动驾驶汽车和无人水面船只。通过简单地共享两个任务的深度卷积特征，实现了这一目标的初步和重要进展。然而，这种简单的方案无法充分利用检测和分割是互利的这一事实。为了克服这个缺点，我们提出了一个框架，称为TripleNet的三重监督，包括面向检测的监督，类感知的分割监督，和类不可知的分割监督施加在解码器网络的每一层。类无关的分割监督为语义分割和目标检测提供对象性先验知识。除了三种类型的监督，两个轻量级模块（即，内连接模块和注意力跳过层融合）也被结合到解码器的每一层中。在所提出的框架中，检测和分割可以充分地相互促进。此外，在测试阶段不执行每个解码器层上的类不可知和类感知分段。因此，在测试阶段不会引入额外的计算成本。在VOC2007和VOC2012数据集上的实验结果表明，所提出的TripleNet能够在不增加额外计算成本的情况下提高检测和分割精度。
2018-09-25 cs.CV
3DIoUMatch: Leveraging IoU Prediction for Semi-Supervised 3D Object Detection
Stanford University（斯坦福大学）；Tsinghua University（清华大学）；NVIDIA（英伟达）
3D目标检测是一项重要但要求很高的任务，它严重依赖于难以获得的3D注释。为了减少所需的监督量，我们提出了3DIoUMatch，适用于室内和室外场景的三维目标检测的一种新的半监督方法。我们利用师生相互学习的框架，从标记的训练集的伪标签的形式传播信息。然而，由于高任务复杂性，我们观察到伪标签遭受显著的噪声，因此不能直接使用。为此，我们引入了一个基于信任的过滤机制，灵感来自FixMatch。我们根据预测的对象和类概率设置置信度阈值，以过滤低质量的伪标签。虽然有效，但我们观察到这两种措施不足以捕获本地化质量。因此，我们建议使用估计的3D IoU作为本地化度量，并设置类别感知的自调整阈值来过滤本地化较差的提案。我们采用VoteNet作为室内数据集的骨干检测器，而我们在自动驾驶数据集KITTI上使用PV-RCNN。我们的方法在ScanNet和SUN-RGBD基准测试中持续改进了最先进的方法，在所有标签比率（包括完全标记设置）下都有显著的优势。例如，当在ScanNet上仅使用10%的标记数据进行训练时，3DIoUMatch在现有技术上实现了对mAP@0.25的7.7%的绝对改进和对mAP@0.5的8.5%的绝对改进。我们是第一个展示半监督3D目标检测的人，我们的方法在不同的标签比率和类别下超过了1.8%到7.6%的完全监督基线。
2021-07-06 cs.CV
MixTeacher: Mining Promising Labels with Mixed Scale Teacher for Semi-Supervised Object Detection
Ningbo Research Institute, Zhejiang University（浙江大学宁波研究院）；Rongcheer Co., Ltd（融澈有限公司）；Youtu Lab, Tencent（腾讯优图实验室）；Shanghai Jiao Tong University（上海交通大学）
跨对象实例的尺度变化仍然是目标检测任务中的关键挑战。尽管现代检测模型取得了显着的进步，但这种挑战在半监督的情况下尤其明显。虽然现有的半监督目标检测方法依赖于严格的条件来过滤网络预测中的高质量伪标签，但我们观察到，具有极端规模的对象往往具有较低的置信度，从而导致缺乏对这些对象的积极监督。在本文中，我们提出了一种新的框架，通过引入混合规模教师来改善伪标签生成和规模不变学习，从而解决规模变化问题。此外，我们建议使用跨尺度预测的分数提升来挖掘伪标签，这得益于混合尺度特征的更好预测。我们在各种半监督设置下对MS COCO和PASCAL VOC基准进行了广泛的实验，证明我们的方法达到了最先进的性能。代码和型号可在\url{https://github.com/lliuz/MixTeacher}上获得。
2023-03-16 cs.CV
Mixed-Supervised Dual-Network for Medical Image Segmentation
Tsinghua University（清华大学）；Huadong Hospital affiliated to Fudan University（复旦大学附属华东医院）；Harvard Medical School（哈佛医学院）；Microsoft AI & Research（微软人工智能研究院）
基于深度学习的医学图像分割模型通常需要具有高质量密集分割的大型数据集来进行训练，这是非常耗时且昂贵的准备。解决这一挑战的一种方法是使用混合监督学习框架，其中只有一部分数据用分割标签进行密集注释，其余部分用边界框进行弱标记。该模型在多任务学习环境中进行联合训练。在本文中，我们提出了混合监督双网络（MSDN），一种新的架构，它由两个独立的网络分别为检测和分割任务，和一系列的连接模块之间的两个网络的层。这些连接模块用于从辅助检测任务传输有用的信息，以帮助分割任务。我们建议在连接模块中使用一种称为“挤压和激励”的新技术来促进传输。我们在两个医学图像分割数据集上进行了实验。建议的MSDN模型优于多个基线。
2019-08-26 cs.CV
Domain-invariant Mixed-domain Semi-supervised Medical Image Segmentation with Clustered Maximum Mean Discrepancy Alignment
Carnegie Mellon University（卡内基梅隆大学）；Ho Chi Minh University of Science（胡志明科学大学）；Northwestern University（西北大学）；University of North Carolina at Charlotte（北卡罗来纳州夏洛特大学）
本文提出一种领域不变的混合域半监督分割框架，通过Copy-Paste机制和聚类最大均值差异对齐，提升数据多样性并缓解域偏移，实现高精度分割。
2026-01-23 cs.CV
A Teacher-Student Framework for Semi-supervised Medical Image Segmentation From Mixed Supervision
Xiamen University（厦门大学）；Chinese PLA General Hospital（中国人民解放军总医院）；Deepwise AI Laboratory（深度智耀人工智能实验室）
基于全监督卷积网络的医学图像标准分割需要精确的密集注释。这种学习框架建立在费力的手动注释上，对专业知识的要求有限，导致高质量标签不足。为了克服这种局限性，利用大量的弱标记数据，我们放松了严格的标记要求，并开发了一个半监督学习框架的基础上，教师-学生的时尚与部分密集标记的监督和补充松散的边界盒监督，更容易获得的器官和病变分割。在大多数情况下，观察器官及其内部病变的几何关系，我们提出了一个分层的器官病变（O2 L）注意模块在教师分割器产生伪标签。然后，用手动标记和伪标记注释的组合训练学生分割器。我们进一步提出了一个定位分支，通过在深度解码器中聚合高级特征来预测器官和病变的位置，从而丰富了学生分割器的精确定位信息。我们通过消融研究在LiTS挑战数据集上验证了我们模型中的每个设计，并与最近的方法相比显示了其最先进的性能。我们证明了我们的模型对限界框的质量是鲁棒的，并且与全监督学习方法相比具有相当的性能。
2020-10-23 cs.CV
Class-agnostic Object Detection with Multi-modal Transformer
Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）；Australian National University（澳大利亚国立大学）；Linköping University（林雪平大学）；Aalto University（阿尔托大学）；University of California, Merced（加州大学默塞德分校）；Yonsei University（延世大学）；Google Research（谷歌研究院）
什么构成一个对象？这是计算机视觉中一个长期存在的问题。为了实现这一目标，已经开发了许多免学习和基于学习的方法来对客观性进行评分。然而，它们通常不能很好地跨新领域和新对象扩展。在本文中，我们主张，现有的方法缺乏一个自上而下的监督信号由人类可理解的语义。在文献中，我们首次证明了用对齐的图像-文本对训练的多模态视觉Transformer（MViT）可以有效地弥合这一差距。我们在各个领域和新对象的广泛实验显示了MViTs在图像中定位通用对象的最新性能。基于现有的MViT不包括多尺度特征处理，通常需要更长的训练时间表的观察，我们开发了一个有效的MViT架构，使用多尺度变形注意力和后期视觉语言融合。我们展示了MViT建议在各种应用中的重要性，包括开放世界目标检测、突出和伪装目标检测、监督和自监督检测任务。此外，MViT可以在给定特定语言查询的情况下自适应地生成建议，从而提供增强的交互性。代码：\url{https://git.io/J1HPY}。
2022-07-19 cs.CV
Unleashing the Power of Intermediate Domains for Mixed Domain Semi-Supervised Medical Image Segmentation
State Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学）；National Institute of Healthcare Data Science, Nanjing University（健康数据科学国家研究院，南京大学）；Nanjing Drum Tower Hospital, Nanjing, Jiangsu, China（南京鼓楼医院，南京，江苏，中国）
针对医学图像分割中标注受限与域偏移共存的MiDSS场景，提出UST-RUN框架，利用中间域信息促进知识转移，在四个数据集上表现优异，Prostate数据集Dice提升12.94%。
2025-05-30 cs.CV
Self-Supervised Visual Representation Learning with Semantic Grouping
University of Hong Kong（香港大学）；MEGVII Technology（旷视科技）；University of Edinburgh（爱丁堡大学）；LunarAI
在本文中，我们解决了学习视觉表示从未标记的场景为中心的数据的问题。现有的作品已经证明了利用场景为中心的数据中的底层复杂结构的潜力;尽管如此，他们通常依赖于手工制作的对象先验或专门的借口任务来构建学习框架，这可能会损害泛化能力。相反，我们提出了从数据驱动的语义槽，即SlotCon，联合语义分组和表示学习的对比学习。语义分组是通过将像素分配给一组可学习的原型来执行的，这些原型可以通过对特征进行集中处理来适应每个样本并形成新的槽。基于学习到的数据相关槽，采用对比目标进行表示学习，这增强了特征的可区分性，并且相反地促进了将语义上一致的像素分组在一起。与以前的努力相比，通过同时优化语义分组和对比学习的两个耦合目标，我们的方法绕过手工制作的先验的缺点，并能够从以场景为中心的图像学习对象/组级表示。实验结果表明，该方法能有效地将复杂场景分解为语义组进行特征学习，并对后续的目标检测、实例分割和语义分割等任务有很大的帮助。代码可从以下网址获得：https://github.com/CVMI-Lab/SlotCon。
2022-10-10 cs.CV cs.LG
Teach me to segment with mixed supervision: Confident students become masters
ETS Montreal（蒙特利尔高等工程学院）
深度分割神经网络需要具有逐像素分割的大型训练数据集，这在实践中获得是昂贵的。混合监督可以减轻这种困难，其中一小部分数据包含完整的像素级注释，而其余部分则较少受到监督，例如，只有少数像素被标记。在这项工作中，我们提出了一个双分支架构，其中上层分支（教师）接收强大的注释，而底部的（学生）是由有限的监督和指导的上层分支。结合标记像素上的标准交叉熵，我们的新公式集成了两个重要的术语：（i）在较少监督的图像上定义的香农熵损失，这鼓励了底部分支的自信学生预测;以及（ii）Kullback-Leibler（KL）发散，其将来自由强监督分支生成的预测的知识转移到较少监督分支，并引导熵（学生置信度）项以避免平凡解。非常有趣的是，我们表明，熵和KL发散之间的协同作用产生了显着的性能改善。此外，我们讨论了香农熵最小化和标准的伪掩模生成之间的一个有趣的联系，并认为前者应该优先于后者利用未标记像素的信息。通过一系列的定量和定性实验，我们证明了所提出的配方在分割MRI图像中的左心室内膜的有效性。我们证明，我们的方法显着优于其他策略，以解决混合监督框架内的语义分割。更有趣的是，根据最近的观察分类，我们表明，分支训练减少监督大大优于老师。
2020-12-15 cs.CV
FedMix: Mixed Supervised Federated Learning for Medical Image Segmentation
The Hong Kong University of Science and Technology（香港科技大学）；Huazhong University of Science and Technology（华中科技大学）
联邦学习的目的是使多个客户端能够联合训练机器学习模型，而无需共享数据。然而，用于训练图像分割模型的现有方法基于不切实际的假设，即每个本地客户端的训练集以类似的方式被注释，因此遵循相同的图像监督级别。为了放宽这一假设，在这项工作中，我们提出了一个与标签无关的统一联邦学习框架，名为FedMix，用于基于混合图像标签的医学图像分割。在FedMix中，每个客户端通过集成和有效利用所有可用的标记数据来更新联邦模型，这些数据包括强像素级标签、弱限界框标签和最弱图像级类标签。基于这些局部模型，我们进一步提出了一个自适应的权重分配过程，在本地客户端，每个客户端在全局模型更新过程中学习聚合权重。与现有方法相比，FedMix不仅突破了单一图像监督级别的限制，而且可以动态调整每个本地客户端的聚合权重，实现了丰富而有区别的特征表示。为了评估其有效性，已经在两个具有挑战性的医学图像分割任务上进行了实验，即，乳腺肿瘤分割和皮肤病变分割。结果验证了我们所提出的FedMix的性能大大优于最先进的方法。
2022-05-04 cs.CV
Steady Progress Beats Stagnation: Mutual Aid of Foundation and Conventional Models in Mixed Domain Semi-Supervised Medical Image Segmentation
Nanjing University（南京大学）；Southeast University（东南大学）；State Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；National Institute of Healthcare Data Science（国家医疗数据科学研究院）
针对带域偏移的半监督医学图像分割中基础模型过自信预测导致误差累积的问题，提出SynFoC框架让基础模型与传统模型互助训练，结合共识-散度一致性正则化，在多数据集上实现性能提升。
2025-03-21 cs.CV
Mixed-domain Training Improves Multi-Mission Terrain Segmentation
North Carolina State University（北卡罗来纳州立大学）；Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）；Mississippi State University（密西西比州立大学）
行星漫游者任务必须利用基于机器学习的感知，在几乎没有人类存在的情况下继续进行地外探索。火星地形分割对于漫游者导航和避免危险以执行进一步的探索任务至关重要，例如土壤样本收集和寻找有机化合物。目前的火星地形分割模型需要大量的标记数据来实现可接受的性能，并且还需要重新训练以用于跨不同领域的部署，即不同的漫游任务，或不同的任务，即地质识别和导航。本研究提出了一种半监督学习方法，利用无监督的对比预训练的骨干多任务语义分割火星表面。该模型将通过利用确保特征多样性的混合域训练集，扩展当前的火星分割能力，能够部署在不同的火星探测器任务中进行地形导航。使用平均像素精度的评估结果表明，与单域训练和监督训练相比，半监督混合域方法提高了准确性，火星科学实验室的Cursley Rover和火星2020 Perseverance Rover的准确率分别达到97%和79.6%。此外，为损失函数提供不同的加权方法，与标准交叉熵损失相比，使用召回度量将模型对少数或罕见类别的正确预测提高了30%以上。这些结果可以通知未来的多任务和多任务语义分割漫游任务的数据高效的方式。
2022-09-27 cs.CV
Mixed Prototype Consistency Learning for Semi-supervised Medical Image Segmentation
University of Macau（澳门大学）
针对半监督医学图像分割中原型因标记数据不足表达受限的问题，提出含均值教师与辅助网络的混合原型一致性学习框架，通过融合多类原型优化隐藏嵌入分布，在两个医学数据集上取得超越现有SOTA的性能。
2024-04-16 cs.AI cs.CV
Seeing Objects in a Cluttered World: Computational Objectness from Motion in Video
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
本研究提出一种基于运动线索和时空注意力的计算物体性方法，采用双R(2+1)U-Net结构，无需物体模型即可在杂乱场景中鲁棒感知被关注物体，且能有效迁移至真实视频，为模块化视频物体感知框架提供基础。
2024-02-02 cs.CV
MUM : Mix Image Tiles and UnMix Feature Tiles for Semi-Supervised Object Detection
SNUAILAB（首尔大学人工智能实验室）；Seoul National University（首尔国立大学）
最近的许多半监督学习（SSL）研究建立教师-学生体系结构和训练的学生网络从教师产生的监督信号。数据增强策略在SSL框架中起着重要的作用，因为很难在不丢失标签信息的情况下创建弱-强增强输入对。特别是当将SSL扩展到半监督目标检测（SSOD）时，许多与图像几何和插值正则化相关的强增强方法很难使用，因为它们可能会破坏目标检测任务中限界框的位置信息。为了解决这个问题，我们引入了一个简单而有效的数据增强方法，混合/UnMix（MUM），它为SSOD框架的混合图像块解混特征块。我们提出的方法使混合输入图像瓦片，并在特征空间中重建它们。因此，MUM可以享受非插值伪标签的插值正则化效果，并成功地生成有意义的弱-强对。此外，MUM可以很容易地安装在各种SSOD方法之上。在MS-COCO和PASCAL VOC数据集上进行的大量实验证明了MUM的优越性，在所有测试的SSOD基准协议中，MUM都能持续提高mAP性能。
2022-03-15 cs.CV
Automatic Video Object Segmentation via Motion-Appearance-Stream Fusion and Instance-aware Segmentation
Seoul National University（首尔国立大学）
提出了一种融合运动流、外观流和实例感知分割的视频对象自动分割方法。该方案由一个双流融合网络和一个实例分割网络组成。双流融合网络再次由运动和外观流网络组成，它们分别提取长期的时间和空间信息。与现有的两个流融合方法不同，所提出的融合网络在原始分辨率下混合两个流，以获得准确的分割边界。我们开发了一个循环的双向多尺度结构与跳跃连接的流融合网络提取长期的时间信息。此外，多尺度结构使得能够在网络的末端获得原始分辨率特征。作为双流融合的结果，我们有一个像素级的概率分割图，它具有较高的值在像素属于前景对象。通过结合前景图的概率和实例分割掩模的对象性得分，我们最终获得视频序列的前景分割结果，而无需任何用户干预，即，我们实现了成功的自动视频分割。所提出的结构显示了自动视频对象分割任务的最先进的性能，也实现了近半监督的性能。
2019-12-03 cs.CV
Bidirectional Copy-Paste for Semi-Supervised Medical Image Segmentation
East China Normal University（华东师范大学）；Shanghai Jiao Tong University（上海交通大学）
针对半监督医学图像分割中标记与未标记数据分布失配的问题，提出基于Mean Teacher架构的双向复制粘贴方法，通过双向混合数据与一致监督缩小分布差距，在多个数据集上取得显著性能提升。
2023-05-01 cs.CV
Mixed Pseudo Labels for Semi-Supervised Object Detection
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；S-Lab, Nanyang Technological University（南洋理工大学S-Lab）；Shanghai AI Laboratory（上海人工智能实验室）；SenseTime Research（商汤科技研究院）
针对半监督目标检测中伪标签方法存在小目标与尾部类别漏检的问题，提出结合Mixup、Mosaic增强和标注数据重采样的MixPL方法，在多个基准和检测器上取得SOTA结果，大模型上也有良好扩展性。
2023-12-12 cs.AI cs.CV
Identification of Novel Classes for Improving Few-Shot Object Detection
University of Southern California（南加州大学）
深度神经网络的传统训练需要大量的注释图像，这是一项费力且耗时的任务，特别是对于稀有对象。Few-Shot目标检测（FSOD）方法通过每类仅使用少量训练样本实现鲁棒的目标检测来提供补救。FSOD的一个未探索的挑战是，来自不属于固定训练类集合的未标记新类的实例出现在背景中。这些对象的行为类似于标签噪声，导致FSOD性能下降。我们开发了一种半监督算法来检测这些未标记的新对象，然后在训练过程中将其用作阳性样本，以提高FSOD性能。具体来说，我们提出了一个层次三元分类区域建议网络（HTRPN）本地化潜在的未标记的新对象，并为它们分配新的对象标签。我们改进的区域建议网络（RPN）的分层采样策略也提高了目标检测模型对大目标的感知能力。我们的实验结果表明，我们的方法是有效的，优于现有的国家的最先进的（SOTA）FSOD方法。
2023-03-18 cs.AI cs.CV
Mixed-UNet: Refined Class Activation Mapping for Weakly-Supervised Semantic Segmentation with Multi-scale Inference
Shandong University（山东大学）；Institute of Tsinghua-Berkeley Shenzhen, Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院清华-伯克利深圳学院）；Hangzhou Dianzi University（杭州电子科技大学）；Shenzhen ZNV Technology Co., Ltd（深圳中兴网信科技有限公司）；Shenzhen Graduate School of Harbin Institute of Technology（哈尔滨工业大学深圳研究生院）；Institute of Biopharmaceutical and Health Engineering, Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院生物医药与健康工程研究院）
深度学习技术在医学图像处理中显示出巨大的潜力，特别是通过对磁共振成像（MRI）扫描或计算机断层扫描（CT）扫描进行准确可靠的图像分割，从而实现病变的定位和诊断。然而，训练这些分割模型需要大量的手动注释的像素级标签，这是耗时和劳动密集型的，相比之下，更容易获得的图像级标签。必须通过使用图像级标签作为监督的弱监督语义分割模型来解决这个问题，因为它可以显着减少人工注释工作。大多数高级解决方案都利用了类激活映射（CAM）。然而，原始CAM很少捕获病变的精确边界。在这项研究中，我们提出了多尺度推理的策略，通过减少单尺度推理中的细节损失来细化CAM。对于分割，我们开发了一种名为Mixed-UNet的新模型，该模型在解码阶段有两个并行分支。将两个分支提取的特征进行融合后得到结果。我们在从当地医院和公共数据集收集的数据集上评估了设计的Mixed-UNet与几种流行的基于深度学习的分割方法。验证结果表明，我们的模型优于现有的方法在相同的监督水平下，在分割的各种病变的脑成像。
2022-05-06 cs.CV eess.IV
Multimodal-Enhanced Objectness Learner for Corner Case Detection in Autonomous Driving
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）
本文提出MENOL，通过多模态半监督学习缩小已知与未知类差异，在仅5100张标注图像下显著提升自动驾驶边角案例检测召回率，分别超越基线ORE 71.3%和60.6%。
2024-09-28 cs.AI cs.CV
Many-shot from Low-shot: Learning to Annotate using Mixed Supervision for Object Detection
University of Oxford（牛津大学）；Mila Montréal（蒙特利尔米拉研究所）
目标检测通过依赖于大的、手动注释的数据集已经见证了显著的进步。注释这样的数据集是非常耗时和昂贵的，这激发了弱监督和Few-Shot目标检测方法的发展。然而，这些方法相对于其强监督对应物在很大程度上表现不佳，因为弱训练信号\emph{often}导致部分或过大的检测。为了解决这个问题，我们介绍，第一次，在线注释模块（OAM），学习生成一个多镜头集的\emph{reliable}注释从一个更大的体积弱标记的图像。我们的OAM可以与任何完全监督的两阶段目标检测方法进行联合训练，从而在运行中提供额外的训练注释。这导致了一个完全端到端的策略，只需要一组低镜头的完全注释的图像。OAM与Fast（er）R-CNN的集成在PASCAL VOC 2007和MS-COCO基准测试中通过$17\%$ mAP、$9\%$ AP 50提高了它们的性能，并且显著优于使用混合监督的竞争方法。
2020-08-26 cs.CV eess.IV
Outlier detection by ensembling uncertainty with negative objectness
针对离群点检测中不确定性与负类识别混淆的问题，本文提出集成分布内不确定性和负目标性后验的新异常分数，并在密集预测架构中实现，显著提升图像级与像素级检测性能。
2024-09-08 cs.CV cs.LG
GuidedMix-Net: Learning to Improve Pseudo Masks Using Labeled Images as Reference
Southern University of Science and Technology（南方科技大学）；Xiamen University（厦门大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Inception Institute of Artificial Intelligence（因赛普雄人工智能研究院）
半监督学习是一个具有挑战性的问题，其目的是通过从有限数量的标记样本中学习来构建模型。已经提出了许多方法来解决这个问题，大多数方法都集中在利用未标记实例的预测一致性来正则化网络。然而，单独处理标记和未标记的数据往往会导致丢弃大量的先验知识，从标记的例子，并未能挖掘标记和未标记的图像对之间的特征相互作用。在本文中，我们提出了一种新的半监督语义分割的方法命名为GuidedMix-Net，利用标记的信息来指导学习的未标记的实例。具体来说，我们首先在标记和未标记数据之间引入特征对齐目标，以捕获潜在相似的图像对，然后从它们生成混合输入。建议的互信息传输（MITrans），基于聚类假设，被证明是一个强大的知识模块，用于进一步逐步细化混合数据空间中未标记数据的特征。为了充分利用已标记的样本并指导未标记数据的学习，我们进一步提出了一个掩码生成模块来为未标记数据生成高质量的伪掩码。随着对标记数据的监督学习，未标记数据的预测与从混合数据生成的伪掩码联合学习。在PASCAL VOC 2012、PASCAL-Context和Cityscapes上进行的大量实验证明了我们的GuidedMix-Net的有效性，与以前的最先进方法相比，它实现了具有竞争力的分割精度，并将mIoU显著提高了+7 $\%$。
2021-06-30 cs.CV
Constructing and Exploring Intermediate Domains in Mixed Domain Semi-supervised Medical Image Segmentation
Nanjing University（南京大学）；Southeast University（东南大学）；Shandong Women’s University（山东女子学院）；State Key Laboratory for Novel Software Technology（现代软件技术国家重点实验室）；National Institute of Healthcare Data Science（国家医疗数据科学研究院）
针对医学图像分割中标注有限与域偏移共存的问题，提出混合域半监督分割场景MiDSS，通过UCP构建中间域、SymGD策略与TP-RAM方法提升性能，在Prostate数据集上Dice系数较现有最优方法提升13.57%。
2024-04-13 cs.CV cs.LG
SupeRGB-D: Zero-shot Instance Segmentation in Cluttered Indoor Environments
Technical University of Munich（慕尼黑工业大学）；Amazon Inc.（亚马逊公司）；Google Inc.（谷歌公司）
本文提出SupeRGB-D方法，通过基于几何线索的像素分块与深度凝聚聚类，在RGB-D数据上实现零样本实例分割，以轻量级设计在杂乱室内环境中有效识别未见物体。
2023-05-25 cs.CV
Background-Mixed Augmentation for Weakly Supervised Change Detection
School of Computer Science and Technology, Civil Aviation University of China（中国民航大学计算机科学与技术学院）；Agency for Science, Technology and Research（新加坡科技研究局）；Zhejiang Sci-Tech University（浙江理工大学）；Nanyang Technological University（南洋理工大学）
本文首次从数据增强角度解决弱监督变化检测的泛化问题，提出背景混合增强和一致性损失，仅需图像级标签，能增强现有检测器，在两个公开数据集上验证了优势。
2023-06-20 cs.AI cs.CV
Weakly-supervised DCNN for RGB-D Object Recognition in Real-World Applications Which Lack Large-scale Annotated Training Data
University of Birmingham（伯明翰大学）
本文解决了RGBD对象识别在现实世界中的应用，其中大量的注释训练数据通常是不可用的问题。为了克服这个问题，我们提出了一种新的弱监督学习架构（DCNN-GPC），其将参数模型（用于RGB和D模态的一对深度卷积神经网络（DCNN））与非参数模型（高斯过程分类）相结合。我们的系统最初使用少量的标记数据进行训练，然后自动将标签推广到大规模的未标记数据。我们首先对RGBD视频运行基于3D的对象检测，以获得许多未标记的对象建议，然后使用DCNN-GPC对它们进行标记。因此，我们的多模态DCNN可以仅使用少量人类注释进行端到端训练。最后，我们的基于3D的对象检测和多模态DCNN被集成到实时检测和识别管道中。在我们的方法中，边界框注释是不需要和边界感知检测实现。我们还提出了一种新的方法来预训练深度模态的DCNN，通过训练从CAD模型投影的虚拟深度图像。我们在公共3D数据集上预训练我们的多模态DCNN，实现了与华盛顿RGBS数据集上最先进方法相当的性能。然后，我们通过进一步训练来自我们新的工业对象数据集（核废料模拟物）的少量注释数据来微调网络。我们的弱监督方法已被证明是非常有效的解决一个新的RGBD对象识别应用程序，缺乏人类注释。
2017-03-19 cs.CV
SC3D: Label-Efficient Outdoor 3D Object Detection via Single Click Annotation
Xiamen University（厦门大学）；University of Queensland（昆士兰大学）
本文提出SC3D，一种仅需单次粗略点击的标签高效室外3D目标检测方法，通过混合伪标签生成与师生网络渐进式学习，在nuScenes和KITTI上以0.2%标注成本达到SOTA性能。
2024-11-15 cs.AI cs.CV
MixSup: Mixed-grained Supervision for Label-efficient LiDAR-based 3D Object Detection
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
针对基于LiDAR的三维目标检测标签效率问题，提出混合粒度监督范式MixSup，用粗聚类标签学语义、少量框标签学几何，搭配自动粗标注工具PointSAM，仅用10%框标注即可达到全监督性能的97.31%。
2024-01-29 cs.CV cs.RO
Saliency Detection by Forward and Backward Cues in Deep-CNNs
National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）；School of Information Technology, Jiangxi University of Finance and Economics（江西财经大学信息管理学院）
由于对象或对象特征的先验知识有助于我们在注意力任务中建立类似对象的关系，因此预训练的深度卷积神经网络（CNN）可用于检测图像上的显著对象，而不管对象类是否在网络知识中。在本文中，我们提出了一个自顶向下的显着性模型，使用CNN，一个弱监督的CNN模型训练1000个对象标记任务从RGB图像。该模型根据CNN中选定的特征预测的对象分数来检测注意区域。为了有效地估计显著对象，我们结合了前向和后向特征，同时证明部分引导的反向传播将为从CNN模型的前向运行中选择特征提供足够的信息。最后，这些自上而下的线索被一个最先进的自下而上的模型增强，作为对整体显着性的补充。由于所提出的模型是通过客观性对向前和向后线索的有效整合，而无需对地面真实数据进行任何监督或回归，因此与两个不同数据集中的最先进模型相比，它给出了有希望的结果。
2017-06-21 cs.CV
Scene Recognition with Objectness, Attribute and Category Learning
North University of China（中北大学）；Southwest Petroleum University（西南石油大学）；Shanxi Research Center of Software Engineering Technology（山西省软件工程技术研究中心）
场景分类是一个具有挑战性的研究课题。与单个对象的图像相比，场景图像在语义上可能更加复杂和抽象。它们的区别主要在于识别粒度的高低。然而，图像识别作为场景识别的良好性能的关键支柱，因为从对象图像中获得的知识可以用于场景的准确识别。现有的场景识别方法只考虑了场景的类别标签。然而，我们发现，包含详细的本地描述的上下文信息也有利于使场景识别模型更具鉴别力。在本文中，我们的目标是提高场景识别使用属性和类别标签信息编码的对象。基于属性和类别标签的互补性，我们提出了一个多任务属性-场景识别（MASR）网络，学习类别嵌入，同时预测场景属性。属性获取和对象标注是繁琐且耗时的任务。我们通过提出一种部分监督的注释策略来解决这个问题，在该策略中，人类干预显着减少。该策略为现实世界的场景提供了更具成本效益的解决方案，并且需要相当少的注释工作。此外，我们考虑到对象检测分数指示的重要性水平，重新加权属性预测。使用所提出的方法，我们有效地注释四个大规模的数据集的属性标签，并系统地研究如何场景和属性识别受益于彼此。实验结果表明，与现有方法相比，MASR学习到了更具区分性的表示，并取得了有竞争力的识别性能
2022-07-20 cs.AI cs.CV
Coarse Is Better? A New Pipeline Towards Self-Supervised Learning with Uncurated Images
State Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；Nanjing University（南京大学）
针对未筛选场景图像不满足以对象为中心假设的问题，提出先裁剪粗糙对象区域再进行 SSL 的新流程及对象框生成策略，在多任务上优于 MoCo-v2、DenseCL 和 MAE。
2023-09-29 cs.CV
Betrayed by Attention: A Simple yet Effective Approach for Self-supervised Video Object Segmentation
The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文利用DINO预训练Transformer的自注意力建立时空对应，并通过层次聚类与一致性训练实现自监督视频对象分割，在多个无监督基准上达到最先进性能。
2024-07-08 cs.CV
MNN: Mixed Nearest-Neighbors for Self-Supervised Learning
Nanjing University of Posts and Telecommunications（南京邮电大学）
本文提出MNN框架，通过加权和图像混合优化最近邻样本对正样本的影响，解决对比自监督学习中假邻居问题，在四个基准数据集上展现卓越泛化性能和训练效率。
2023-11-13 cs.CV
Mixed supervision for surface-defect detection: from weakly to fully supervised learning
University of Ljubljana（卢布尔雅那大学）
深度学习方法最近开始用于解决工业质量控制中的表面缺陷检测问题。然而，由于学习需要大量的数据，通常需要高精度的标签，许多工业问题无法轻松解决，或者由于注释要求，解决方案的成本会显着增加。在这项工作中，我们放松了对完全监督学习方法的严格要求，并减少了对高度详细注释的需求。通过提出一个深度学习架构，我们探索了在表面缺陷检测任务中使用不同细节的注释，从弱（图像级）标签到混合监督到完整（像素级）注释。建议的端到端架构是由两个子网络产生的缺陷分割和分类结果。该方法在工业质量检测数据集KolektorSDD、DAGM和Severstal Steel Defect上进行了评估。我们还提出了一个名为KolektorSDD2的新数据集，其中包含3000多个包含几种类型缺陷的图像，这些图像是在解决实际工业问题时获得的。我们在所有四个数据集上展示了最先进的结果。该方法在完全监督设置中优于所有相关方法，并且在仅图像级标签可用时也优于弱监督方法。我们还表明，混合监督，只有少数完全注释的样本添加到弱标记的训练图像可以导致性能与完全监督模型的性能相当，但在显着降低注释成本。
2021-04-20 cs.CV
PointMoment:Mixed-Moment-based Self-Supervised Representation Learning for 3D Point Clouds
School of Information Science and Technology, Northwest University（西北大学信息科学与技术学院）；National and Local Joint Engineering Research Center for Cultural Heritage Digitization（文化遗产数字化国家地方联合工程研究中心）
针对自监督点云表征学习中的模型坍塌问题，提出PointMoment框架，通过高阶混合矩损失增强特征独立性并结合对比学习，在分类和分割任务上优于既有无监督方法。
2023-12-06 cs.CV
SS-SfP:Neural Inverse Rendering for Self Supervised Shape from (Mixed) Polarization
Indian Institute of Technology Gandhinagar（印度理工学院甘地纳格尔分校）
针对现有偏振形状恢复方法的多重限制，提出自监督逆渲染框架SS-SfP，通过分离混合偏振的反射分量、同步估计形状与折射率，在两类数据集上实现了无监督的高精度3D形状恢复。
2024-07-12 cs.CV
Self-supervised Deep Reconstruction of Mixed Strip-shredded Text Documents
Instituto Federal do Espírito Santo (IFES)（埃斯皮里图桑托联邦学院）；Universidade Federal do Espírito Santo (UFES)（埃斯皮里图桑托联邦大学）；École de Technologie Supérieure (ÉTS)（高等技术学院）；Université du Québec（魁北克大学）
破碎文档的重建包括连贯地排列纸张碎片（碎片）以恢复原始文档。计算重建中的一个巨大挑战是正确评估碎片之间的兼容性。虽然传统的基于像素的方法对真正的切碎不鲁棒，但更复杂的解决方案会显著损害时间性能。本工作中提出的解决方案将我们之前用于单页重建的深度学习方法扩展到更现实/复杂的场景：一次重建几个混合切碎的文档。在我们的方法中，兼容性评估建模为两个类（有效或无效）的模式识别问题。该模型以自监督的方式对从模拟切碎的文档中提取的样本进行训练，从而避免了手动注释。在三个数据集上的实验结果--包括为这项工作产生的100个带状粉碎文档的新集合--表明，所提出的方法在复杂场景中的性能优于竞争对手，准确率超过90%。
2020-07-01 cs.CV
Detecting Human-Object Interaction with Mixed Supervision
Univ Le Mans（勒芒大学）；CNRS（法国国家科学研究中心）；IRISA（IRISA研究所）；King’s College London（伦敦国王学院）；Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）
人类对象交互检测是图像理解和推理中的一个重要任务。它采用HOI三元组<human; verb; object>的形式，需要人和对象的边界框，以及它们之间的动作来完成任务。换句话说，这项任务需要对培训进行强有力的监督，而培训是很难获得的。克服这个问题的一个自然的解决方案是追求弱监督学习，在这种情况下，我们只知道图像中某些HOI三元组的存在，但它们的确切位置是未知的。大多数弱监督学习方法在强监督数据可用时不提供利用数据;实际上，在HOI检测中这两种范式的天真组合无法相互贡献。在这方面，我们提出了一个混合监督的HOI检测管道：这要归功于动量独立学习的特定设计，它可以在这两种类型的监督中无缝学习。此外，针对混合监督中的注释不足，我们引入了HOI元素交换技术来合成图像之间的多样性和硬底片，并提高了模型的鲁棒性。我们的方法进行了评估具有挑战性的HICO-DET数据集。通过使用混合量的强和弱注释，它的性能接近甚至优于许多全监督方法;此外，在相同的监督下，它的性能优于代表性的弱和全监督方法。
2020-11-12 cs.CV
