4D Unsupervised Object Discovery
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Centre for Artificial Intelligence and Robotics, HKISI_CAS（中国科学院香港创新研究院人工智能与机器人中心）
目标发现是计算机视觉的核心任务。虽然有监督的目标检测已经取得了快速的进展，但其无监督的对应物仍然在很大程度上未被探索。随着数据量的增长，昂贵的注释成本是阻碍进一步研究的主要限制。因此，发现没有注释的对象具有重要意义。然而，这个任务似乎是不切实际的静态图像或点云单独由于缺乏判别信息。以往的研究忽视了多模态输入背后的重要时间信息和约束。在本文中，我们提出了4D无监督的对象发现，联合发现对象的4D数据-三维点云和二维RGB图像的时间信息。我们通过提出3D点云上的ClusterNet来提出这项任务的第一个实用方法，该点云与2D定位网络联合迭代优化。在大规模Waymo Open Dataset上进行的大量实验表明，定位网络和定位网络在类无关的2D目标检测和3D实例分割方面都具有竞争力的性能，弥合了无监督方法和全监督方法之间的差距。代码和模型将在https://github.com/Robertwyq/LSMOL上提供。
2022-10-10 cs.CV
OV-SCAN: Semantically Consistent Alignment for Novel Object Discovery in Open-Vocabulary 3D Object Detection
University of Waterloo（滑铁卢大学）
OV-SCAN通过语义一致性对齐解决开放词汇3D检测中跨模态特征对不一致问题，利用精确3D标注和噪声过滤策略，在nuScenes上取得最优性能。
2025-03-09 cs.CV
Ensemble Foreground Management for Unsupervised Object Discovery
University of Nottingham（诺丁汉大学）
针对无监督目标发现中前景判断难、发现次数难确定的问题，提出基于最小割与集成的鲁棒前景先验UnionCut及蒸馏模型UnionSeg，助力现有方法提升多类视觉任务性能。
2025-07-28 cs.CV
Object Discovery via Contrastive Learning for Weakly Supervised Object Detection
Pohang University of Science and Technology（浦项科技大学）；University of British Columbia（不列颠哥伦比亚大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
弱监督目标检测（WSOD）是一种使用仅在图像级注释上训练的模型来检测图像中的对象的任务。当前最先进的模型受益于自我监督的实例级监督，但由于弱监督不包括计数或位置信息，最常见的“argmax”标记方法通常会忽略许多对象实例。为了缓解这个问题，我们提出了一种新的多实例标记方法，称为对象发现。我们进一步介绍了一种新的对比损失弱监督下，没有实例级信息可用于采样，称为弱监督对比损失（WSCL）。WSCL的目标是构建一个可信的相似性阈值的对象发现，利用一致的特征嵌入向量在同一个类。因此，我们在MS-COCO 2014和2017以及PASCAL VOC 2012上取得了最新的成果，并在PASCAL VOC 2007上取得了具有竞争力的成果。
2022-09-02 cs.CV
HEAP: Unsupervised Object Discovery and Localization with Contrastive Grouping
National University of Singapore（新加坡国立大学）；Huawei International Pte Ltd（华为国际私人有限公司）
提出基于对比分组的分层合并框架HEAP，通过轻量级交叉注意力头和区域级、图像级对比损失实现高效的分层图像分解，在无监督目标发现与定位任务上取得最先进性能。
2024-01-04 cs.CV
CoDA: Collaborative Novel Box Discovery and Cross-modal Alignment for Open-vocabulary 3D Object Detection
Hong Kong University of Science Technology（香港科技大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
针对开放词汇3D目标检测中新类目标定位与分类难题，本文提出CoDA框架，通过3D新框发现与点云、图像/文本跨模态对齐的联合迭代学习，在SUN-RGBD和ScanNet上实现显著性能提升。
2023-10-04 cs.CV
Improving Open-World Object Localization by Discovering Background
Univ. of Mass.-Amherst（马萨诸塞大学阿姆赫斯特分校）；Mitsubishi Electric Research Labs（三菱电机研究实验室）；Univ.of Mass.-Amherst（马萨诸塞大学阿姆赫斯特分校）
本文提出通过发现背景区域来引导目标性学习，训练目标提议网络忽略冗余低信息区域，从而在开放世界目标定位任务上超越现有方法。
2025-04-24 cs.CV
Learning to discover and localize visual objects with open vocabulary
University of Pittsburgh（匹兹堡大学）；Google Research（谷歌研究院）
为了减轻获得用于训练当今最先进的目标检测模型的准确边界框的成本，最近的弱监督检测工作提出了从图像级标签学习的技术。然而，需要离散的图像级标签是限制性的和次优的。现实世界的“监督”通常由更多的非结构化文本组成，如标题。在这项工作中，我们学习图像和字幕之间的关联映射。然后，我们使用一种新的对象性标准来对所得到的候选框进行排名，使得高排名的框沿着所有边缘都具有很强的梯度。因此，我们可以检测超出固定对象类别词汇表的对象，如果这些对象足够频繁和独特。我们表明，我们的对象标准，提高了建议的边界框有关以前的弱监督检测方法。此外，我们只从图像级字幕的目标检测令人鼓舞的结果。
2018-11-25 cs.CV
Discovery-and-Selection: Towards Optimal Multiple Instance Learning for Weakly Supervised Object Detection
Xi’an Jiaotong University（西安交通大学）
弱监督目标检测（WSOD）是一项具有挑战性的任务，它需要在图像类别标签的监督下同时学习目标分类器和估计目标位置。WSOD方法的一个主要路线是基于多实例学习，将图像视为实例包，并从每个包中选择阳性实例来学习检测器。然而，一个巨大的挑战出现时，检测器倾向于收敛到歧视的部分对象，而不是整个对象。在局部极小点包含最优解的假设下，提出了一种融合多示例学习的发现与选择方法（DS-MIL），该方法发现丰富的局部极小点，并从多个局部极小点中选择最优解.为了实现DS-MIL，提出了一个注意力模块，以便更多的上下文信息可以捕获的特征图和更有价值的建议，可以收集在训练过程中。与建议候选人，提出了一个选择模块，选择信息的实例对象检测器。常用的基准测试的实验结果表明，我们提出的DS-MIL方法可以不断提高基线，报告国家的最先进的性能。
2022-05-05 cs.CV
MOST: Multiple Object localization with Self-supervised Transformers for object discovery
Meta；University of Maryland, College Park（马里兰大学帕克分校）；Johns Hopkins University（约翰斯·霍普金斯大学）
本研究提出基于自监督Transformer的多目标定位方法MOST，通过盒计数法分析特征相似性图识别前景token并聚类生成边界框，可单图定位多目标，在多个基准上超越SOTA，还可用于目标检测器自监督预训练提升性能。
2023-08-26 cs.CV
Unsupervised Discovery of the Long-Tail in Instance Segmentation Using Hierarchical Self-Supervision
Stanford University（斯坦福大学）
实例分割是计算机视觉中的一个活跃话题，通常通过在由对象级掩模组成的非常大的数据集上使用监督学习方法来解决。为任何新领域获得这样的数据集可能非常昂贵和耗时。此外，在某些带注释的类别上训练的模型不能很好地推广到看不见的对象。本文的目标是提出一种方法，可以执行无监督发现的长尾类别的实例分割，通过学习的掩蔽区域的实例嵌入。利用图像中对象之间丰富的关系和层次结构，我们提出了用于学习掩码嵌入的自监督损失。在COCO数据集上进行训练，没有对长尾对象进行额外的注释，我们的模型能够发现比COCO中常见类别更新颖和更细粒度的对象。我们表明，该模型实现了竞争力的定量结果LVIS相比，监督和部分监督的方法。
2021-04-02 cs.CV
Collaborative Novel Object Discovery and Box-Guided Cross-Modal Alignment for Open-Vocabulary 3D Object Detection
Department of Computer Science and Engineering, The Hong Kong University of Science and Technology（计算机科学与工程系，香港科技大学）；Huawei Noah’s Ark Lab（华为诺亚实验室）
针对开放词汇3D目标检测的新类别定位与分类难题，提出CoDAv2框架，通过3D-NODE新目标发现策略和Box-DCMA跨模态对齐模块，在SUN-RGBD、ScanNetv2数据集上的新类别检测精度大幅超越现有最优方法。
2025-08-03 cs.CV
Open-Vocabulary Object Detection via Scene Graph Discovery
Monash University（莫纳什大学）
本文提出基于场景图的发现网络SGDN，通过场景图引导注意力、偏移回归和跨模态学习，利用场景图线索提升开放词汇目标检测性能，并首次实现OV场景图检测。
2023-07-07 cs.CV
Enhancing Object Discovery for Unsupervised Instance Segmentation and Object Detection
College of Computer Science and Artificial Intelligence, Wenzhou University（计算机科学与人工智能学院，温州大学）；Oujiang Laboratory (Zhejiang Lab for Regenerative Medicine, Vision and Brain Health), Eye Hospital, Wenzhou Medical University（瓯江实验室（浙江省再生医学、视觉与脑健康实验室），温州医科大学眼医院）
COLER是一种无监督实例分割和目标检测方法，通过CutOnce生成伪标签并利用自监督模型提升性能，无需复杂损失函数。
2025-12-12 cs.CV
Learning Background Prompts to Discover Implicit Knowledge for Open Vocabulary Object Detection
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；The University of Hong Kong（香港大学）；SECE, Shenzhen Graduate School, Peking University（北京大学深圳研究生院电子与计算机工程学院）；Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）；Research Institute, Sun Yat-sen University, Shenzhen（中山大学深圳研究院）
针对开放词汇目标检测中背景解释和模型过拟合导致背景知识丢失的问题，提出LBP框架，通过学习背景提示并设计三个模块来发现和利用隐式背景知识，在OV-COCO和OV-LVIS上优于现有方法。
2024-06-01 cs.CV
Learning to Discover and Detect Objects
Microsoft Azure AI（微软Azure人工智能）；Technical University of Munich（慕尼黑工业大学）；Carnegie Mellon University（卡内基梅隆大学）
我们解决了新的类发现和本地化（NCDL）的问题。在此设置中，我们假设源数据集仅对某些对象类进行监督。其他类别的分类需要在没有任何人为监督的情况下基于视觉相似性自动发现、分类和定位。为了解决NCDL，我们提出了一个两阶段的目标检测网络基于区域的NCDL（RNCDL），使用区域建议网络定位感兴趣的区域（ROI）。然后，我们训练我们的网络来学习对每个RoI进行分类，要么作为源数据集中的已知类之一，要么作为新类之一，对类分配进行长尾分布约束，反映现实世界中类的自然频率。通过以端到端的方式训练我们的检测网络，它可以学习对各种类别的所有区域建议进行分类，包括那些不属于标记对象类别词汇的区域。我们使用COCO和LVIS数据集进行的实验表明，我们的方法比依赖于传统聚类算法的多级管道更有效。此外，我们通过将我们的方法应用于大规模的Visual Genome数据集来证明我们方法的通用性，在该数据集中，我们的网络成功地学会了在没有直接监督的情况下检测各种语义类。
2022-11-30 cs.CV
CuVLER: Enhanced Unsupervised Object Discoveries through Exhaustive Self-Supervised Transformers
Technion - Israel Institute of Technology（以色列理工学院）
本研究提出无监督目标发现方法VoteCut与零样本模型CuVLER，通过多自监督模型特征、归一化割图划分、像素投票及软目标损失提升分割精度，在多数据集上超越现有最优水平，为图像分割发展提供新思路。
2024-03-12 cs.CV
Unsupervised Object Discovery and Co-Localization by Deep Descriptor Transforming
The University of Adelaide（阿德莱德大学）；Nanjing University（南京大学）
随着计算机视觉和机器学习应用的快速发展，可重用模型设计变得越来越重要。在本文中，我们专注于预训练深度卷积模型的可重用性。具体来说，与将预训练模型视为特征提取器不同，我们揭示了卷积层下的更多宝藏，即，卷积激活可以用作图像共同定位问题中的公共对象的检测器。我们提出了一种简单而有效的方法，称为深度描述符变换（DDT），用于评估描述符的相关性，然后获得类别一致的区域，该区域可以准确地定位一组未标记图像中的公共对象，即，无监督的对象发现。实证研究验证了所提出的DDT方法的有效性。在基准图像共定位数据集上，DDT始终大幅优于现有的最先进的方法。此外，DDT还表现出良好的泛化能力，不可见的类别和处理噪声数据的鲁棒性。除此之外，DDT还可以用于将Web图像收集到有效的外部数据源中，以提高图像识别和目标检测的性能。
2017-07-20 cs.CV
SURGIVID: Annotation-Efficient Surgical Video Object Discovery
Carl Zeiss AG（卡尔蔡司公司）；Technical University of Munich（慕尼黑工业大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
针对手术场景语义分割全监督方法标注成本高的问题，提出标注高效的SURGIVID框架，结合自监督目标发现与少量标注微调，在CaDIS数据集上实现了接近全监督的性能，弱标签还可进一步提升器械定位效果。
2024-09-12 cs.CV
OSR-ViT: A Simple and Modular Framework for Open-Set Object Detection and Discovery
Duke University（杜克大学）；Air Force Research Laboratory（空军研究实验室）
针对现有开放目标检测研究零散、难兼顾已知精度与未知召回的问题，提出OSODD新任务与模块化OSR-ViT框架，性能远超监督SOTA且小数据场景表现优异。
2024-04-16 cs.CV
Discovering A Variety of Objects in Spatio-Temporal Human-Object Interactions
Shanghai Jiao Tong University（上海交通大学）；Sensetime（商汤科技）
时空人-物交互检测是从视频中检测人-物交互的一种方法，对活动理解具有重要意义。在日常HOI中，人类经常与各种对象交互，例如，拿着和触摸几十件家居用品进行清洁。然而，现有的全身对象交互视频基准通常提供有限的对象类。在这里，我们介绍了一个基于AVA的新基准：发现交互对象（DIO），包括51个交互和1,000多个对象。因此，提出了一个ST-HOI学习任务，期望视觉系统跟踪人类演员，检测交互，并同时发现交互对象。即使今天的检测器/跟踪器在目标检测/跟踪任务中表现出色，但它们在DIO中定位不同/不可见的对象方面表现不令人满意。这深刻地揭示了现有视觉系统的局限性，提出了巨大的挑战。因此，如何利用时空线索，以解决对象发现的探索，和层次探测网络（HPN）的设计，以发现交互的对象，利用层次时空人/上下文线索。在广泛的实验中，HPN表现出令人印象深刻的性能。数据和代码可在https://github.com/DirtyHarryLYL/HAKE-AVA上获得。
2022-11-18 cs.AI cs.CV cs.LG
Looking Beyond the Known: Towards a Data Discovery Guided Open-World Object Detection
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对开放世界目标检测中存在的已知与未知类别语义混淆、灾难性遗忘问题，提出CROWD框架，通过组合式数据发现与表示学习缓解上述问题，在多个基准上实现准确率与未知召回率的显著提升。
2025-09-30 cs.CV cs.LG
Relaxed Multiple-Instance SVM with Application to Object Discovery
Huazhong University of Science and Technology（华中科技大学）
多实例学习（MIL）已经成为广泛的视觉应用的重要工具，例如，图像分类、目标检测和视觉跟踪。在本文中，我们提出了一种新的方法来解决经典的MIL问题，命名为松弛多实例支持向量机（RMI-SVM）。我们将实例的积极性作为一个连续变量，使用Noisy-OR模型来加强MIL约束，并在一个统一的框架中联合优化包标签和实例标签。利用随机梯度下降法可以有效地解决优化问题。大量的实验表明，RMI-SVM在各种MIL基准测试中始终取得优异的性能。此外，我们简单地将RMI-SVM应用于具有挑战性的视觉任务，常见对象发现。Pascal VOC数据集上对象发现的最新结果进一步证实了所提出方法的优势。
2015-10-05 cs.CV cs.LG
Ego-Object Discovery
Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）
生活记录设备每天都在以更快的速度传播。这种增长对于开发用于提取关于佩戴设备的用户及其环境的有意义的信息的方法来说可以代表巨大的益处。在本文中，我们提出了一种半监督策略，可以轻松地发现与佩戴第一人称相机的人相关的对象。给定一个以自我为中心的视频/图像序列的摄像机获取，我们的算法使用的外观提取的卷积神经网络和对象的填充方法，允许发现对象，即使在少量的对象外观的情况下，在收集的图像。应用支持向量机过滤策略来处理大多数最先进的对象检测器发现的大部分假阳性对象候选。我们验证了我们的方法上的一个新的自我中心的数据集，4912日常图像采集4人以及PASCAL 2012年和MSRC数据集。我们获得的所有结果在很大程度上优于最先进的方法。我们公开了EDUB数据集和算法代码。
2015-07-08 cs.AI cs.CV
Open-Vocabulary 3D Object Detection with Co-Distillation Discovery and Dual Guidance Robust Training
School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）；Singapore University of Technology and Design（新加坡科技设计大学）；School of Computer Science and Technology, Hainan University（海南大学计算机科学与技术学院）
本研究提出含协同蒸馏发现与双引导训练的开放词汇3D目标检测框架，在SUN RGB-D等数据集上性能优于现有最优方法。
2026-08-21 cs.AI cs.CV
Object discovery and representation networks
DeepMind（深度思维）
自监督学习（SSL）的承诺是利用大量未标记的数据来解决复杂的任务。虽然在简单的图像级学习方面取得了很大的进展，但最近的方法显示出包含图像结构知识的优势。然而，通过引入手工制作的图像分割来定义感兴趣的区域，或专门的增强策略，这些方法牺牲了使SSL如此强大的简单性和通用性。相反，我们提出了一个自监督学习范式，发现这个图像结构本身。我们的方法Odin将对象发现和表示网络结合起来，在没有任何监督的情况下发现有意义的图像分割。由此产生的学习范式更简单，更不脆弱，更通用，并在COCO上实现了目标检测和实例分割的最新迁移学习结果，以及PASCAL和Cityscapes上的语义分割，同时大大超过了DAVIS上视频分割的监督预训练。
2022-07-27 cs.AI cs.CV cs.LG
Self-Supervised Transformers for Unsupervised Object Discovery using Normalized Cut
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；Tencent AI Lab（腾讯人工智能实验室）；LIGM（加斯帕尔·蒙日信息学实验室）；Ecole des Ponts（巴黎桥路学院）；Samsung AI Center, Cambridge（三星剑桥人工智能中心）；MIT（麻省理工学院）
使用自蒸馏损失（DINO）的自监督学习训练的Transformers已被证明可以产生突出突出前景对象的注意力图。在本文中，我们展示了一个基于图的方法，使用自我监督的Transformer功能，发现一个对象从图像。视觉标记被视为加权图中的节点，其边表示基于标记的相似性的连接性得分。前景对象，然后可以分割使用规范化的图形切割组自相似区域。我们使用谱聚类与广义特征分解来解决图切割问题，并表明第二小特征向量提供了切割解决方案，因为其绝对值表示令牌属于前景对象的可能性。尽管它很简单，但这种方法显着提高了无监督对象发现的性能：我们在VOC 07，VOC 12和COCO 20 K上分别比最新的LOST提高了6.9%，8.1%和8.1%。通过增加第二阶段类不可知检测器（CAD），可以进一步提高性能。我们提出的方法可以很容易地扩展到无监督显著性检测和弱监督目标检测。对于无监督显著性检测，我们在ECSSD，DUTS，DUT-OMRON上分别提高了4.9%，5.2%，12.9%。对于弱监督目标检测，我们在CUB和ImageNet上实现了竞争性的性能。
2022-03-24 cs.CV stat.ML
Co-Occurring of Object Detection and Identification towards unlabeled object discovery
University of Central Florida（中佛罗里达大学）
提出一种基于深度学习的两阶段方法，通过检测边界框和共现矩阵分析识别多标签图像中与基础目标共现的目标，并在Pascal VOC和MS-COCO数据集上验证，进一步扩展至未标记和遮挡目标场景。
2024-03-25 cs.AI cs.CV cs.LG
YOLOOC: YOLO-based Open-Class Incremental Object Detection with Novel Class Discovery
针对开放世界目标检测中新类发现与增量学习问题，提出基于YOLO架构的YOLOOC检测器，通过引入标签平滑防止新类误判，并构建仅推理阶段遇新类的基准验证了有效性。
2024-04-22 cs.AI cs.CV cs.LG
Loss Function Discovery for Object Detection via Convergence-Simulation Driven Search
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Sun Yat-Sen University（中山大学）
为视觉任务设计合适的损失函数是提高现有模型性能的一个长期研究方向。对于目标检测，通过考虑不同的学习挑战，精心设计了完善的分类和回归损失函数。受网络结构搜索的最新进展的启发，探索通过直接搜索原始操作组合来发现新的损失函数公式的可能性是有趣的。从而使学习的损失不仅适合于不同的目标检测挑战，以减轻巨大的人力，但也有更好的对齐与评价指标和良好的数学收敛性能。除了以前的自动损失工作的人脸识别和图像分类，我们的工作首次尝试发现新的损失函数具有挑战性的目标检测从原始的操作水平。我们提出了一种有效的收敛模拟驱动的进化搜索算法，称为CSE-Autoloss，通过收敛性验证和模型优化模拟来规范损失候选的数学合理性，从而加快搜索进度。CSE-Autoloss涉及的搜索空间涵盖了现有损失的各种可能的变体，并在短时间内（约1.5个挂钟日）发现搜索最佳的损失函数组合。我们对流行检测器上的损失函数搜索进行了广泛的评估，并验证了在不同架构和数据集上搜索损失的良好泛化能力。我们的实验表明，最佳发现的损失函数组合优于默认组合的1.1%和0.8%的mAP方面的两阶段和一阶段检测器COCO分别。我们的搜索损失可在https://github.com/PerdonLiu/CSE-Autoloss上找到。
2021-02-09 cs.AI cs.CV cs.NE
Large-Scale Object Mining for Object Discovery from Unlabeled Video
RWTH Aachen University（亚琛工业大学）
本文讨论了对象发现的问题，从未标记的驾驶视频捕捉在一个现实的汽车设置。识别这种原始视频流中的重复出现的对象类别是一个非常具有挑战性的问题。不仅候选对象首先必须在输入图像中定位，而且许多有趣的对象类别相对不频繁地出现。因此，对象发现将不得不处理在对象分布的长尾中操作的困难。我们证明了在这样的设置中进行全自动对象发现的可行性，通过使用通用对象跟踪器挖掘对象轨迹。为了促进对象发现的进一步研究，我们发布了一个从10多个小时的视频数据（560，000帧）中自动挖掘的超过360，000个对象轨迹的集合。我们使用这个数据集来评估不同的特征表示和聚类策略对对象发现的适用性。
2019-04-29 cs.CV
Large-Scale Object Discovery and Detector Adaptation from Unlabeled Video
Computer Vision Group（计算机视觉组）；Visual Computing Institute（视觉计算研究所）；RWTH Aachen University（亚琛工业大学）
我们探索对象发现和检测器自适应的基础上从移动平台上捕获的未标记的视频序列。我们提出了一个全自动的方法，从视频对象挖掘，建立在一个通用的对象跟踪方法。通过将该方法应用于自动驾驶和移动机器人场景中的三个大型视频数据集，我们证明了其鲁棒性和通用性。基于对象挖掘的结果，我们提出了一种新的方法，无监督的对象发现基于外观的聚类。我们表明，这种方法成功地发现有趣的对象相关的驾驶场景。此外，我们执行自监督检测器自适应，以提高现有类别的KITTI数据集上的检测性能。我们的方法与实现自动驾驶的大规模对象学习直接相关。
2017-12-23 cs.CV
Self-supervisory Signals for Object Discovery and Detection
Google Brain（谷歌大脑）
在机器人应用中，我们经常面临发现新对象的挑战，而只有很少或没有标记的训练数据。在本文中，我们将探讨使用的自我监督所提供的机器人穿越环境中学习遇到的对象的表示。自我运动和深度感知的知识，使代理有效地关联多个对象的建议，作为训练数据学习对象表示从未标记的图像。我们以两种方式证明了这种表示的实用性。首先，我们可以通过在学习的嵌入空间中执行聚类来自动发现对象。每个生成的聚类包含从不同视角和尺度看到的一个实例的示例。其次，给定少量标记图像，我们可以有效地学习这些标记的检测器。在Few-Shot方案中，这些检测器具有0.22的显著更高的mAP，相比之下，在该有限数据上训练的现成标准检测器为0.12。因此，所提出的自我监督导致有效的环境特定的对象发现和检测，在没有或非常小的人类标记成本。
2018-06-08 cs.CV
Betrayed by Motion: Camouflaged Object Discovery via Motion Segmentation
University of Oxford（牛津大学）
本文的目标是设计一种计算架构，用于发现视频中的伪装对象，特别是通过利用运动信息来执行对象分割。我们作出以下三项贡献：（i）我们提出了一种新的架构，该架构由两个基本组件组成，用于打破伪装，即，基于背景对齐连续帧的可区分配准模块，其有效地强调了差异图像中的对象边界，以及具有发现移动对象的存储器的运动分割模块，同时保持物体恒存性，即使在某一点上没有运动。(ii)我们收集了第一个大规模的移动摄影年龄动物（MoCA）视频数据集，其中包括超过140个片段，涵盖各种动物（67个类别）。(iii)我们在MoCA上证明了所提出的模型的有效性，并且仅依靠运动在DAVIS2016上的无监督分割协议上实现了具有竞争力的性能。
2020-11-23 cs.CV
Large-Scale Unsupervised Object Discovery
INRIA（法国国家信息与自动化研究所）；ENS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL University（巴黎文理研究大学）；New York University（纽约大学）
现有的无监督对象发现（UOD）方法在没有近似的情况下无法扩展到大型数据集，这会影响其性能。我们提出了一种新的配方UOD作为一个排名问题，服从于武器库的分布式方法可用于特征值问题和链接分析。通过使用自监督功能，我们还展示了UOD的第一个有效的完全无监督管道。COCO和OpenImages上的大量实验表明，在每个图像中寻找单个突出对象的单对象发现设置中，所提出的LOD（大规模对象发现）方法与中等规模数据集（高达120K图像）的最新技术水平相当或更好，并且比能够扩展到1.7M图像的唯一其他算法好37%以上。在每个图像中寻找多个对象的多对象发现设置中，对于从20K到1.7M图像的数据集，所提出的LOD的平均精度（AP）比所有其他方法高出14%以上。使用自监督特征，我们还表明，该方法获得了最先进的UOD性能OpenImages。我们的代码可在https://github.com/huyvvo/LOD上公开获取。
2021-11-16 cs.CV
Real-time Unsupervised Object Discovery from Asynchronous Event Streams
School of Engineering and Technology（工程与技术学院）；University of New South Wales（新南威尔士大学）
本文提出一种轻量型、无需训练的异步事件流运动目标发现框架，含SPEF与EMCC两项核心组件，在多数据集上实现优异的去噪与目标发现性能，为资源受限视觉感知提供新方案。
2026-08-28 cs.CV
Discover, Segment, and Select: A Progressive Mechanism for Zero-shot Camouflaged Object Segmentation
Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（多媒体可信感知与高效计算重点实验室，教育部，厦门大学）
本文提出DSS机制，通过特征一致的对象发现、分割细化和语义驱动的掩码选择，提升零样本伪装物体分割的性能。
2026-02-23 cs.CV
Structure from Action: Learning Interactions for Articulated Object 3D Structure Discovery
Columbia University（哥伦比亚大学）；Allen Institute for AI（艾伦人工智能研究所）
本文提出SfA框架，通过选择信息量大的交互并结合3D感知，准确分割、重建未见铰接物体的部件几何并推断关节参数，在未见类别上显著优于现有方法。
2023-04-07 cs.CV
Intrinsic Physical Concepts Discovery with Object-Centric Predictive Models
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出PHYCINE系统，通过以对象为中心的预测模型在无监督条件下自下而上地发现质量和电荷等内在物理概念，提升因果推理任务表现。
2023-04-09 cs.CV
Object Discovery From a Single Unlabeled Image by Mining Frequent Itemset With Multi-scale Features
Beijing Jiaotong University（北京交通大学）；Stony Brook University（石溪大学）
针对单张无标签图像的目标发现难题，提出结合预训练CNN特征与模式挖掘的OLM方法，在定位、显著性检测及细粒度分类任务上均取得有竞争力的结果。
2020-08-08 cs.CV
LOCATE: Self-supervised Object Discovery via Flow-guided Graph-cut and Bootstrapped Self-training
Adobe（奥多比公司）；Media and Data Science Research（媒体与数据科学研究院）
LOCATE利用运动与外观信息改进图割生成伪标签，并通过自训练提升分割网络，在多个视频物体分割和显著性检测基准上达到或超越最先进方法。
2023-12-02 cs.CV
Object Discovery with a Copy-Pasting GAN
DeepMind（深度思维）；University of Oxford（牛津大学）
我们解决了对象发现的问题，其中对象针对给定的输入图像进行分割，并且系统在不使用任何直接监督的情况下进行训练。提出了一种新的复制-粘贴GAN框架，其中生成器通过将一个图像合成到另一个图像中来学习发现一个对象，从而使生成器不能分辨出所得到的图像是假的。在仔细解决了一些微妙的问题之后，比如防止生成器“作弊”，这个游戏的结果是生成器学习选择对象，因为复制粘贴对象最有可能欺骗生成器。该系统在四个非常不同的数据集上工作良好，包括在具有挑战性的杂乱背景中的大型物体外观变化。
2019-05-27 cs.AI cs.CV cs.LG
The Pursuit of Knowledge: Discovering and Localizing Novel Categories using Dual Memory
University of Maryland, College Park（马里兰大学帕克分校）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们处理对象类别发现，这是在一个大型的未标记的数据集中发现和定位新对象的问题。虽然现有的方法显示数据集上的结果，每个图像的场景不那么杂乱，对象实例更少，但我们在具有挑战性的COCO数据集上展示了我们的结果。此外，我们认为，而不是从头开始发现新的类别，发现算法可以受益于识别什么是已知的，并将注意力集中在未知的。我们提出了一种方法，利用先验知识的某些对象类型，发现新的类别，利用两个内存模块，即工作和语义记忆。我们展示了我们的检测器在COCO minival数据集上的性能，以证明其在野外的能力。
2021-09-15 cs.AI cs.CV
DiffusionSeg: Adapting Diffusion Towards Unsupervised Object Discovery
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
从大量的数据中学习，预训练模型现在已经取得了令人印象深刻的进展。扩散模型是一种流行的生成式预训练方法，它既能捕捉低级视觉知识，又能捕捉高级语义关系。在本文中，我们建议利用这种知识型扩散模型来处理主流的判别任务，即，无监督对象发现：显著性分割和对象定位。然而，挑战仍然存在，因为生成模型和判别模型之间存在一个结构差异，这限制了直接使用。此外，缺乏显式标记的数据显着限制了在无监督环境中的性能。为了解决这些问题，我们介绍了DiffusionSeg，一种新的合成开发框架，包含两个阶段的战略。为了缓解数据不足，我们合成了大量的图像，并提出了一种新的无训练AttentionCut在第一个合成阶段获得掩模。在第二个开发阶段，为了弥合结构差距，我们使用反演技术，将给定的图像映射回扩散特征。这些功能可以直接由下游架构使用。大量的实验和消融研究表明，自适应扩散无监督对象发现的优越性。
2023-03-17 cs.AI cs.CV
Perceiving Unseen 3D Objects by Poking the Objects
Zhejiang University（浙江大学）
我们提出了一种新的方法来交互式的3D物体感知机器人。不同于以往的感知算法，依赖于已知的对象模型或大量的注释训练数据，我们提出了一个戳为基础的方法，自动发现和重建3D对象。戳过程不仅使机器人能够发现看不见的3D对象，而且还产生用于对象的3D重建的多视图观察。重建后的目标通过神经网络的定期监督学习记忆，并可以在新的测试图像中识别。在真实数据上的实验表明，该方法可以无监督地发现和重建高质量的不可见3D对象，并有助于机器人抓取等实际应用。代码和补充材料可在项目页面上获得：https://zju3dv.github.io/poking_perception。
2023-02-26 cs.CV cs.RO
Contrastive Training of Complex-Valued Autoencoders for Object Discovery
The Swiss AI Lab, IDSIA, USI & SUPSI（瑞士AI实验室，IDSIA，USI与SUPSI）；Center for Brain Science, Harvard University（哈佛大学脑科学中心）；AI Initiative, KAUST（阿卜杜拉国王科技大学AI计划）
针对现有以目标为中心的槽注意力模型存在的槽数固定、容量均等、训练成本高等局限，本文通过架构改进和新型对比学习方法优化基于同步的复值激活模型，首次实现其在多目标彩色数据集上的无监督目标发现及三个以上目标的同时表征。
2023-11-09 cs.AI cs.CV cs.LG
Jointly Discovering Visual Objects and Spoken Words from Raw Sensory Input
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们探讨神经网络模型，学习相关联的语音字幕段与语义相关的自然图像，他们所指的部分。我们证明，这些视听关联定位出现从网络内部表示学习作为一个副产品的训练，以执行图像-音频检索任务。我们的模型直接对图像像素和语音波形进行操作，并且在训练期间不依赖于任何传统的标签，分割或模态之间对齐形式的监督。我们使用Places 205和ADE 20 k数据集进行分析，证明我们的模型隐式地学习语义耦合的对象和单词检测器。
2018-04-04 cs.CL cs.CV cs.SD
