Motion-Refined DINOSAUR for Unsupervised Multi-Object Discovery
TU Darmstadt（图宾根大学）；TU Munich（慕尼黑大学）；MCML（MCML研究所）；ELIZA（ELIZA研究所）
针对现有无监督多目标发现方法需监督生成伪标签的问题，提出MR-DINOSAUR方法，通过无监督光流运动分割生成伪标签细化槽位表示，在完全无监督下于TRI-PD、KITTI数据集上超越现有最优水平。
2025-09-02 cs.CV
Foreground Guidance and Multi-Layer Feature Fusion for Unsupervised Object Discovery with Transformers
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
无监督对象发现（UOD）最近通过采用预训练的Transformer特征取得了令人鼓舞的进展。然而，基于Transformers的当前方法主要集中于设计定位头（例如，种子选择-扩展和标准化切割），而忽略了改进Transformer特性的重要性。在这项工作中，我们从特征增强的角度处理UOD任务，并提出FOREground指导和多层特征融合的无监督对象发现，称为FORMULA。首先，我们提出了一种前景指导策略，使用现成的UOD检测器来突出特征图上的前景区域，然后以迭代的方式细化对象位置。此外，为了解决目标检测中的尺度变化问题，我们设计了一个多层特征融合模块，将不同尺度下的目标特征进行融合。在VOC 07、VOC 12和COCO 20 k上的实验表明，所提出的FORMULA算法在无监督对象发现方面取得了新的成果。该代码将在https://github.com/VDIGPKU/FORMULA上发布。
2022-10-24 cs.CV
Unsupervised Object Discovery: A Comprehensive Survey and Unified Taxonomy
ÉTS Montréal（蒙特利尔高等技术学院）
本文针对无监督目标发现领域现有研究零散、缺乏系统梳理的问题，全面综述相关方法，按任务与技术族系分类，梳理数据集与指标并指出评估难点，为领域研究者提供参考并推动新研究。
2024-10-30 cs.CV
Unsupervised Learning and Segmentation of Complex Activities from Video
University of Bonn（波恩大学）；Germany（德国（注意：这里“Germany”是国家，不是机构，原问题中“University of Bonn, Germany”整体是机构地址，但根据提取规则，机构粒度到大学/学院级别即可，所以正确的机构是“University of Bonn”，“Germany”是国家，不应作为机构提取。原输入中“Affiliation: University of Bonn, Germany”，其中“University of Bonn”是机构，“Germany”是国家，所以正确提取的机构是“University of Bonn”，对应的中文翻译是“波恩大学”。）]} 修正：原输入中“Affiliation: University of Bonn, Germany”，其中“University of Bonn”是机构，“Germany”是国家，所以正确提取的机构是“University of Bonn”，对应的中文翻译是“波恩大学”。因此正确的输出应该是：{）
本文提出了一种新的方法，用于将视频中的复杂活动无监督分割成多个步骤或子活动，而无需任何文本输入。我们提出了一种迭代的判别生成方法，该方法在判别学习从视频的视觉特征到子活动标签的子活动的外观和使用广义Mallow模型对子活动的时间结构进行生成建模之间交替。此外，我们引入了一个模型的背景占帧无关的实际活动。我们的方法在具有挑战性的早餐动作和Inria教学视频数据集上得到了验证，并且优于无监督和弱监督的最新技术水平。
2018-03-26 cs.CV
Unsupervised Discovery of Object-Centric Neural Fields
Cornell University（康奈尔大学）；Stanford University（斯坦福大学）
本文提出 uOCF，通过分离对象内在属性与外在位姿，从单张真实图像无监督学习高保真3D对象中心表示，并实现对未见对象的零样本泛化。
2025-02-14 cs.CV
Unsupervised Discovery of 3D Hierarchical Structure with Generative Diffusion Features
University of North Carolina（北卡罗来纳大学）
利用生成扩散模型的多阶段特征，通过三种损失训练无监督分割网络，将三维生物医学图像分解为嵌套层次结构，在合成及真实脑肿瘤MRI数据上优于现有方法。
2023-10-10 cs.CV
Unsupervised Part Discovery by Unsupervised Disentanglement
Heidelberg Collaboratory for Image Processing / IWR, Heidelberg University（海德堡大学图像处理合作实验室 / IWR）
我们解决的问题，发现部分分割的铰接对象没有监督。与关键点相比，零件分割提供关于各个像素级别上的零件定位的信息。它们捕获位置和语义，是监督学习方法的有吸引力的目标。然而，大的注释成本限制了监督算法对人类以外的其他对象类别的可扩展性。无监督方法可能允许以更低的成本使用更多的数据。大多数现有的无监督方法都专注于学习抽象表示，并在监督下将其细化为最终表示。我们的方法利用了生成模型组成的两个解纠缠表示对象的形状和外观和一个潜在的变量的部分分割。从单个图像，训练的模型推断出语义部分分割图。在实验中，我们将我们的方法与以前最先进的方法进行比较，并观察到分割精度和形状一致性的显着提高。我们的工作证明了在没有监督的情况下发现语义部分分割的可行性。
2020-09-10 cs.CV
Unsupervised Object Discovery and Localization in the Wild: Part-based Matching with Bottom-up Region Proposals
Inria（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
本文讨论了无监督的发现和定位的主要对象从嘈杂的图像集合与多个对象类。这个问题的设置是完全无监督的，甚至没有图像级注释或任何单一主导类的假设。这比典型的共定位、共分割或弱监督定位任务更普遍。我们使用基于部件的区域匹配方法来解决发现和定位问题：我们使用现成的区域建议来形成对象和对象部件的一组候选边界框。这些区域使用概率Hough变换有效地在图像之间进行匹配，该概率Hough变换考虑外观和空间一致性来评估每个候选对应的置信度。通过比较候选区域的分数并选择比包含它们的其他区域突出的区域来发现和定位主导对象。在标准基准上进行的大量实验评估表明，该方法在共定位方面的性能明显优于当前最先进的方法，并在具有挑战性的混合类数据集上实现了鲁棒的对象发现。
2015-05-04 cs.CV
Unsupervised Semantic Action Discovery from Video Collections
Cornell University（康奈尔大学）；Stanford University（斯坦福大学）；Brain of Things Inc（Brain of Things公司）
人类交流有多种形式，包括语音，文本和教学视频。它通常有一个基本结构，有一个起点，终点，以及它们之间的某些客观步骤。在本文中，我们考虑的教学视频，其中有数以千万计的互联网上。我们提出了一种方法，用于解析视频到这样的语义步骤，在一个无监督的方式。我们的方法是能够提供一个语义的“故事情节”的视频组成的客观步骤。我们在一个联合生成模型中使用视觉和语言线索来实现这一点。我们的方法还可以为每个识别的语义步骤和视频片段提供文本描述。我们评估我们的方法在大量复杂的YouTube视频，并表明我们的方法发现语义正确的指令，各种任务。
2016-05-11 cs.CV cs.RO stat.ML
Large-Scale Unsupervised Object Discovery
INRIA（法国国家信息与自动化研究所）；ENS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL University（巴黎文理研究大学）；New York University（纽约大学）
现有的无监督对象发现（UOD）方法在没有近似的情况下无法扩展到大型数据集，这会影响其性能。我们提出了一种新的配方UOD作为一个排名问题，服从于武器库的分布式方法可用于特征值问题和链接分析。通过使用自监督功能，我们还展示了UOD的第一个有效的完全无监督管道。COCO和OpenImages上的大量实验表明，在每个图像中寻找单个突出对象的单对象发现设置中，所提出的LOD（大规模对象发现）方法与中等规模数据集（高达120K图像）的最新技术水平相当或更好，并且比能够扩展到1.7M图像的唯一其他算法好37%以上。在每个图像中寻找多个对象的多对象发现设置中，对于从20K到1.7M图像的数据集，所提出的LOD的平均精度（AP）比所有其他方法高出14%以上。使用自监督特征，我们还表明，该方法获得了最先进的UOD性能OpenImages。我们的代码可在https://github.com/huyvvo/LOD上公开获取。
2021-11-16 cs.CV
UDIS: Unsupervised Discovery of Bias in Deep Visual Recognition Models
Georgia Institute of Technology（佐治亚理工学院）
深度学习模型已经被证明可以从数据中学习虚假的相关性，有时会导致某些亚群的系统性失败。先前的工作通常通过众包各种受保护属性的注释和测量性能来诊断这一点，这既昂贵又难以扩展。在这项工作中，我们提出了UDIS，一个无监督的算法，表面和分析这些故障模式。UDIS通过数据集嵌入的分层聚类来识别亚群，并通过可视化低性能聚类及其梯度加权类激活图来显示系统故障模式。我们证明了UDIS在识别CelebA和MSCOCO数据集上图像分类训练模型的故障模式方面的有效性。
2021-10-29 cs.CV
4D Unsupervised Object Discovery
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Centre for Artificial Intelligence and Robotics, HKISI_CAS（中国科学院香港创新研究院人工智能与机器人中心）
目标发现是计算机视觉的核心任务。虽然有监督的目标检测已经取得了快速的进展，但其无监督的对应物仍然在很大程度上未被探索。随着数据量的增长，昂贵的注释成本是阻碍进一步研究的主要限制。因此，发现没有注释的对象具有重要意义。然而，这个任务似乎是不切实际的静态图像或点云单独由于缺乏判别信息。以往的研究忽视了多模态输入背后的重要时间信息和约束。在本文中，我们提出了4D无监督的对象发现，联合发现对象的4D数据-三维点云和二维RGB图像的时间信息。我们通过提出3D点云上的ClusterNet来提出这项任务的第一个实用方法，该点云与2D定位网络联合迭代优化。在大规模Waymo Open Dataset上进行的大量实验表明，定位网络和定位网络在类无关的2D目标检测和3D实例分割方面都具有竞争力的性能，弥合了无监督方法和全监督方法之间的差距。代码和模型将在https://github.com/Robertwyq/LSMOL上提供。
2022-10-10 cs.CV
Unsupervised Place Discovery for Visual Place Classification
Univ. of FUKUI（福井大学）
在这项研究中，我们探讨了深度卷积神经网络（DCNN）在机器人映射和定位的视觉位置分类中的应用。一个悬而未决的问题是如何将机器人的工作空间划分为多个位置以最大化性能（例如，准确度、精确度、召回率）。这是一个先有鸡还是先有蛋的问题：如果我们有一个经过良好训练的DCNN分类器，那么将机器人的工作空间划分为各个地方是相当容易的，但DCNN分类器的训练需要一组预定义的地方类。在这项研究中，我们解决了这个问题，并提出了几种策略，无监督发现的地方类（“时间线索”，“位置线索”，“时间外观线索”，“位置外观线索”）。我们还使用公开的密歇根大学北校区长期（NCLT）数据集评估所提出的方法的有效性。
2016-12-21 cs.CV
Unsupervised learning from video to detect foreground objects in single images
Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）
从视觉数据中进行无监督学习是计算机视觉中最困难的挑战之一，是理解视觉识别如何工作的基本任务。从实践的角度来看，从无监督的视觉输入中学习具有巨大的实用价值，因为可以以低成本收集大量未标记的视频。在本文中，我们解决的任务无监督学习检测和分割前景物体在单一的图像。我们通过训练由深度神经网络组成的学生路径来实现我们的目标。它学习从单个输入图像（视频帧）预测该特定帧的输出，教师路径在视频中执行无监督对象发现。我们的方法是不同的，从已发表的文献中进行无监督的发现在视频或图像的集合在测试时。我们在训练阶段移动无监督发现阶段，而在测试时，我们沿着学生路径应用标准前馈处理。这有双重好处：首先，它原则上允许在训练期间无限的学习和推广可能性，同时在测试时保持非常快。其次，学生不仅能够在单个图像中检测到比无监督视频发现教师更好的效果，而且还在两个重要的当前基准测试（YouTube Objects和Object Discovery数据集）上取得了最先进的结果。此外，在测试时，我们的系统至少比以前的其他方法快两个数量级。
2017-03-31 cs.CV
Unsupervised semantic discovery through visual patterns detection
Ca’ Foscari University（威尼斯大学）
我们提出了一种新的快速完全无监督的方法来发现语义模式。我们的算法是能够分层找到视觉类别，并产生一个分割掩模，以前的方法失败。通过对图像中的视觉模式进行建模，我们引入了“语义级别”的概念，并设计了一个概念框架以及措施和专用的基准数据集，用于未来的比较。我们的算法由两个阶段组成。过滤阶段，其通过累加器空间选择语义热点，然后聚类阶段，其在超像素的基础上传播热点的语义属性。我们提供了定性和定量的实验验证，在对噪声和语义一致性的鲁棒性方面取得了最佳结果。我们还公开了代码和数据集。
2021-02-24 cs.CV
Unsupervised Place Discovery for Place-Specific Change Classifier
University of Fukui（福井大学）
在这项研究中，我们解决了机器人地图学习应用程序的监督变化检测问题，其目的是训练特定于地点的变化分类器（例如，支持向量机（SVM））来预测来自机器人的视图图像的变化。一个悬而未决的问题是如何将机器人的工作空间划分为多个位置（例如，SVM），以最大限度地提高变化分类器的整体性能。这是一个先有鸡还是先有蛋的问题：如果我们有一个经过良好训练的变化分类器，那么将机器人的工作空间划分为不同的位置是相当容易的。然而，训练变化分类器需要一组特定于地点的训练数据。在这项研究中，我们解决这个新的问题，我们称之为无监督的地方发现。此外，我们提出了一个基于卷积特征的视觉位置识别的解决方案，并通过将其应用于两个特定于位置的变化分类器（即滋扰和异常预测器）来验证我们的方法。
2017-06-07 cs.CV
Joint Visual-Temporal Embedding for Unsupervised Learning of Actions in Untrimmed Sequences
University of Notre Dame（圣母大学）；Max-Planck-Institute for Informatics（马克斯·普朗克信息学研究所）
在动作识别领域，理解未修剪视频中复杂动作的结构是一项具有挑战性的任务。这里的一个问题是，该任务通常需要大量手动注释的分钟甚至小时长的视频数据，但是注释这样的数据非常耗时，并且不容易自动化或扩展。为了解决这个问题，本文提出了一种基于联合视觉-时间嵌入空间的未裁剪视频序列动作无监督学习方法。为此，我们将基于预测U-Net架构的视觉嵌入与时间连续函数相结合。由此产生的表示空间允许检测相关的动作集群的基础上，他们的视觉以及他们的时间外观。该方法在三个标准基准数据集上进行了评估，早餐动作，INRIA YouTube教学视频和50沙拉。我们表明，所提出的方法是能够提供一个有意义的视觉和时间嵌入的视觉线索存在于连续的视频帧，是适合的任务，无监督的时间分割的行动。
2020-09-30 cs.CV
Unsupervised Discovery of the Long-Tail in Instance Segmentation Using Hierarchical Self-Supervision
Stanford University（斯坦福大学）
实例分割是计算机视觉中的一个活跃话题，通常通过在由对象级掩模组成的非常大的数据集上使用监督学习方法来解决。为任何新领域获得这样的数据集可能非常昂贵和耗时。此外，在某些带注释的类别上训练的模型不能很好地推广到看不见的对象。本文的目标是提出一种方法，可以执行无监督发现的长尾类别的实例分割，通过学习的掩蔽区域的实例嵌入。利用图像中对象之间丰富的关系和层次结构，我们提出了用于学习掩码嵌入的自监督损失。在COCO数据集上进行训练，没有对长尾对象进行额外的注释，我们的模型能够发现比COCO中常见类别更新颖和更细粒度的对象。我们表明，该模型实现了竞争力的定量结果LVIS相比，监督和部分监督的方法。
2021-04-02 cs.CV
Learning the Latent "Look": Unsupervised Discovery of a Style-Coherent Embedding from Fashion Images
UT-Austin（德克萨斯大学奥斯汀分校）
什么定义了视觉风格？时尚风格是从人们如何组合服装中有机地产生的，这使得它们很难用计算模型来确定。低层次的视觉相似性可能过于具体，无法检测到风格相似的图像，而手工制作的风格类别可能过于抽象，无法捕捉细微的风格差异。我们提出了一种无监督的方法来学习风格一致的表示。我们的方法利用基于视觉属性的概率多语言主题模型来发现一组潜在的风格因素。给定一组未标记的时尚图像，我们的方法挖掘潜在的风格，然后通过他们如何混合这些风格来总结服装。我们的方法可以按风格组织服装画廊，而不需要任何风格标签。在超过10万张图像上的实验证明了它在检索、混合和总结时尚图像方面的潜力。
2017-08-03 cs.CV
Toward unsupervised, multi-object discovery in large-scale image collections
INRIA（法国国家信息与自动化研究所）；Département d’informatique de l’ENS, ENS, CNRS, PSL University（巴黎高等师范学院计算机科学系、法国国家科学研究中心、巴黎文理研究大学）
本文解决了在没有任何监督的情况下发现图像集合中存在的对象的问题。我们建立在Vo等人的优化方法的基础上。（CVPR'19）具有几个关键的新颖性：（1）我们提出了一种新的基于显着性的区域建议算法，与其他竞争方法相比，该算法与地面实况对象的重叠明显更高。该过程利用了在分类任务上训练的现成的CNN特征，而没有任何限界框信息，但在其他方面是无监督的。(2)我们利用提议的固有层次结构作为Vo等人的对象发现方法的有效正则化器，提升其性能，以在几个标准基准上显著改善现有技术。(3)我们采用两阶段策略，首先使用小的随机图像集来选择有希望的建议，然后使用整个图像集来发现它所描绘的对象，使我们能够首次处理（据我们所知），在构成多达20，000张图像的数据集的每张图片中发现多个对象，与现有方法相比增加了五倍以上，也是迈向真正的大规模无监督图像判读的第一步。
2020-08-25 cs.CV
HEAP: Unsupervised Object Discovery and Localization with Contrastive Grouping
National University of Singapore（新加坡国立大学）；Huawei International Pte Ltd（华为国际私人有限公司）
提出基于对比分组的分层合并框架HEAP，通过轻量级交叉注意力头和区域级、图像级对比损失实现高效的分层图像分解，在无监督目标发现与定位任务上取得最先进性能。
2024-01-04 cs.CV
Real-time Unsupervised Object Discovery from Asynchronous Event Streams
School of Engineering and Technology（工程与技术学院）；University of New South Wales（新南威尔士大学）
本文提出一种轻量型、无需训练的异步事件流运动目标发现框架，含SPEF与EMCC两项核心组件，在多数据集上实现优异的去噪与目标发现性能，为资源受限视觉感知提供新方案。
2026-08-28 cs.CV
Unsupervised Primitive Discovery for Improved 3D Generative Modeling
Inception Institute of Artificial Intelligence（起点人工智能研究院）；National University of Defense Technology（国防科技大学）；Australian National University（澳大利亚国立大学）；Sun Yat-sen University（中山大学）；University of Canberra（堪培拉大学）；Data61, Commonwealth Scientific and Industrial Research Organization（联邦科学与工业研究组织Data61）
三维形状生成是一个具有挑战性的问题，由于高维的输出空间和复杂的部分配置的现实世界中的对象。因此，现有的算法在3D形状的精确生成建模中遇到困难。在这里，我们提出了一种新的因式分解生成模型的3D形状生成，依次从粗过渡到细尺度的形状生成。为此，我们引入了一个无监督的原始发现算法的基础上高阶条件随机场模型。在第一阶段中，使用形状的基本部分作为属性，对参数化的3D表示进行建模。在下一阶段，通过向形状添加精细比例细节来进一步细化该表示。我们的研究结果表明，改进的表示能力的生成模型和新生成的3D形状更好的质量样本。此外，我们的原语生成方法可以准确地解析到一个简化的表示常见的对象。
2019-06-09 cs.CV
Unsupervised routine discovery in egocentric photo-streams
University of Groningen（格罗宁根大学）；University of Barcelona（巴塞罗那大学）
一个人的日常生活是由不同日子的活动定义的，可以直接影响人的健康。在这项工作中，我们解决了日常相关的日子的认识。为此，我们依靠以自我为中心的图像，这些图像由可穿戴相机记录，并允许从第一人称视角监控用户的生活。我们提出了一个无监督的模型，确定日常相关的日子，离群值检测方法。我们在总共72天的时间内以照片流的形式测试了所提出的框架，这些照片流覆盖了5个不同相机佩戴者的大约2周的生活。我们的模型为所有用户实现了平均76%的准确率和68%的加权F分数。因此，我们表明，我们的框架能够识别日常相关的日子，并打开大门，了解人们的行为。
2019-05-10 cs.CV
Unsupervised object discovery for instance recognition
Inria Rennes VRG, FEE, CTU in Prague（法国国家信息与自动化研究所雷恩分所VRG、费尔科学院（FEE）、捷克技术大学布拉格分校（CTU in Prague））；Inria（法国国家信息与自动化研究所）；CTU in Prague（捷克技术大学布拉格分校）
严重的背景杂波在许多计算机视觉任务中是具有挑战性的，包括大规模图像检索。由于其内存和搜索效率而流行的全局描述符特别容易被这种混乱破坏。消除杂乱对图像描述符的影响增加了检索相关图像的机会，并防止了由于在查询扩展的情况下实际检索杂乱而导致的主题漂移。在这项工作中，我们提出了一种新的显着区域检测方法。它以无监督的方式捕获数据集中既有区别又常见的模式。显着性基于从数据集图像的区域CNN表示构造的最近邻图的中心性度量。从显著区域导出的描述符提高了特定对象的检索，在包含小对象的大型集合中最明显。
2018-01-24 cs.CV
Unsupervised Deep Learning by Neighbourhood Discovery
Queen Mary University of London（伦敦玛丽女王大学）；Vision Semantics Limited（Vision Semantics有限公司）
深度卷积神经网络（CNN）通过监督学习强视觉特征表示，在计算机视觉中取得了显着的成功。然而，训练CNN在很大程度上依赖于详尽的训练数据注释的可用性，这大大限制了它们在许多应用场景中的部署和可扩展性。在这项工作中，我们引入了一种通用的无监督深度学习方法来训练深度模型，而无需任何手动标签监督。具体来说，我们逐步发现样本锚定/中心邻域的原因，并学习底层类决策边界迭代和累积。每个邻域都是专门制定的，以便所有成员样本可以以高概率共享相同的不可见类标签，以便于在训练过程中提取类判别特征表示。图像分类实验表明，该方法的性能优势，国家的最先进的无监督学习模型的六个基准，包括粗粒度和细粒度的目标图像分类。
2019-05-30 cs.CV
Neural Activation Constellations: Unsupervised Part Model Discovery with Convolutional Networks
University of Jena（耶拿大学）
对象类别的部分模型对于具有挑战性的识别任务是必不可少的，其中类别的差异是微妙的，并且仅反映在对象的小部分的外观上。我们提出了一种能够以完全无监督的方式学习零件模型的方法，没有零件注释，甚至在学习过程中没有给定的边界框。其关键思想是找到使用卷积神经网络计算的神经激活模式的星座。在我们的实验中，我们优于现有的细粒度识别方法的CUB 200 -2011，NA鸟，牛津PETS和牛津花数据集的情况下，没有部分或限界框注释是可用的，并达到最先进的性能斯坦福狗数据集。我们还展示了神经星座模型作为一种用于微调的数据增强技术的好处。此外，我们的论文统一了通用和细粒度分类的领域，因为我们的方法适用于这两种情况。我们的方法的源代码可以在http://www.inf-cv.uni-jena.de/part_discovery上在线获得
2015-12-05 cs.CV
Unsupervised Object Discovery and Tracking in Video Collections
Inria（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
本文讨论了自动定位占主导地位的对象作为时空管在一个嘈杂的视频收集与最小甚至没有监督的问题。我们制定的问题作为两个互补的过程：发现和跟踪的组合。第一个建立视频中突出区域之间的对应关系，第二个将同一视频中连续的相似对象区域关联起来。有趣的是，我们的算法还发现了与跨不同视频的相同对象类的实例相关联的帧的隐式拓扑结构，这一角色通常留给传统图像和视频理解方法中的类标签形式的监督信息。事实上，正如我们的实验所证明的那样，我们的方法可以处理具有多个对象类的视频集合，并且在共定位方面大大优于现有技术，尽管它可以用更少的监督来解决更广泛的问题。
2015-05-14 cs.CV
Unsupervised Discovery of Disentangled Manifolds in GANs
University of California at Merced（加州大学默塞德分校）
由于最近的生成模型可以生成照片般逼真的图像，人们试图了解生成过程背后的机制。可解释的生成过程有利于各种图像编辑应用。在这项工作中，我们提出了一个框架，发现潜在空间中的任意预训练的生成对抗网络可解释的方向。我们建议学习从表示不同属性的先前独热向量到预训练模型使用的潜在空间的转换。此外，我们应用一个质心损失函数，以提高一致性和平滑性，同时通过不同的方向遍历。我们证明了所提出的框架在广泛的数据集上的有效性。所发现的方向向量被示出为在视觉上对应于各种不同的属性，并且因此使得能够进行属性编辑。
2020-11-29 cs.CV
Enhancing Object Discovery for Unsupervised Instance Segmentation and Object Detection
College of Computer Science and Artificial Intelligence, Wenzhou University（计算机科学与人工智能学院，温州大学）；Oujiang Laboratory (Zhejiang Lab for Regenerative Medicine, Vision and Brain Health), Eye Hospital, Wenzhou Medical University（瓯江实验室（浙江省再生医学、视觉与脑健康实验室），温州医科大学眼医院）
COLER是一种无监督实例分割和目标检测方法，通过CutOnce生成伪标签并利用自监督模型提升性能，无需复杂损失函数。
2025-12-12 cs.CV
Weakly-supervised Contrastive Learning for Unsupervised Object Discovery
Northwestern Polytechnical University（西北工业大学）；Australian National University（澳大利亚国立大学）
本文针对无监督物体发现任务，提出通过弱监督对比学习微调DINO特征编码器以增强语义特征，并结合主成分分析定位物体区域，在基准数据集上验证了有效性。
2023-07-07 cs.CV
Unsupervised bias discovery in medical image segmentation
Research Institute for Signals, Systems and Computational Intelligence, sinc(i)（信号、系统与计算智能研究所sinc(i)）；CONICET（国家科学技术研究委员会）；Universidad Nacional del Litoral（国立滨海大学）
针对医学图像分割中缺乏真实标注时难以审计模型公平性的问题，提出一种利用反向分类准确性框架的无监督偏差发现方法，可在无真实标签下预测偏差，实验验证有效。
2023-09-01 cs.CV
Unsupervised learning of foreground object detection
Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）；University "Politehnica" of Bucharest（布加勒斯特理工大学）
无监督学习是当今计算机视觉中最困难的挑战之一。该任务具有巨大的实用价值，在人工智能和新兴技术中有许多应用，因为可以以相对较低的成本收集大量未标记的视频。在本文中，我们解决了无监督学习问题的背景下，检测的主要前景物体在单一的图像。我们训练一个学生深度网络来预测教师路径的输出，该路径在视频或大型图像集中执行无监督对象发现。我们的方法是不同的无监督对象发现的方法。我们在训练时移动无监督学习阶段，然后在测试时，我们沿着学生路径应用标准的前馈处理。这种策略的好处是在训练过程中增加泛化的可能性，同时在测试中保持快速。我们的无监督学习算法可以运行几代学生-教师培训。因此，在第一代中训练的一组学生网络共同创建了下一代的老师。在实验中，我们的方法在三个当前的视频对象发现，无监督图像分割和显着性检测数据集上取得了最好的结果。在测试时，所提出的系统是快速的，是一个到两个数量级的速度比公布的无监督的方法。
2018-08-14 cs.CV
Hierarchical Vector Quantization for Unsupervised Action Segmentation
University of Bonn（波恩大学）；Toyota Motor Europe（丰田汽车欧洲公司）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究院）
提出层次向量量化（HVQ）方法，通过两级量化实现层次聚类，解决无监督时间动作分割中同类片段变异大的问题，并在三个数据集上以F1、召回率和JSD指标超越现有技术。
2025-01-24 cs.CV
From Keypoints to Object Landmarks via Self-Training Correspondence: A novel approach to Unsupervised Landmark Discovery
University of Nottingham（诺丁汉大学）；Samsung AI Center Cambridge（三星剑桥人工智能中心）；Hartpury University（哈特伯瑞大学）；Queen Mary University of London（伦敦玛丽女王大学）
本文提出了一种新的范例的无监督学习的目标地标检测器。与现有的建立在辅助任务（如图像生成或等方差）上的方法相反，我们提出了一种自训练方法，在该方法中，从通用关键点出发，训练地标检测器和描述符以改进自身，将关键点调整为独特的地标。为此，我们提出了一种迭代算法，通过特征聚类产生新的伪标签，并通过对比学习学习每个伪类的独特功能。通过地标检测器和描述符的共享主干，关键点位置逐渐收敛到稳定的地标，过滤掉那些不太稳定的地标。与以前的作品相比，我们的方法可以学习在捕捉大的视点变化方面更灵活的点。我们在各种困难的数据集上验证了我们的方法，包括LS3D，BBCPose，Human3.6M和PennAction，实现了最先进的结果。
2023-02-25 cs.CV
HP-Capsule: Unsupervised Face Part Discovery by Hierarchical Parsing Capsule Network
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
胶囊网络通过一组部分及其相互关系来呈现物体，这提供了对视觉感知过程的洞察。虽然最近的工作已经表明胶囊网络在数字等简单对象上取得了成功，但具有类似结构的人脸，适合胶囊描述，尚未被探索。在本文中，我们提出了一个层次解析胶囊网络（HP-Capsule）的无监督人脸子部分发现。当浏览没有标签的大规模人脸图像时，网络首先用一组可解释的子部分胶囊对经常观察到的模式进行编码。然后，通过基于转换器的解析模块（TPM）将子部分胶囊组装成部分级胶囊，以学习它们之间的组合关系。在训练过程中，随着面部层次结构的逐步建立和细化，部分胶囊自适应地对具有语义一致性的面部部分进行编码。HP-Capsule将胶囊网络的应用从数字扩展到人脸，并向前迈出了一步，展示了神经网络如何在没有人为干预的情况下理解同源对象。此外，HP-Capsule通过部分胶囊的覆盖区域给出无监督的人脸分割结果，从而实现定性和定量评价。在BP 4D和Multi-PIE数据集上的实验表明了该方法的有效性。
2022-03-21 cs.CV
Unsupervised Discovery of Object Landmarks as Structural Representations
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Google Brain（谷歌大脑）
深度神经网络可以用丰富的潜在表征对图像进行建模，但它们不能以人类可感知的方式自然地概念化对象类别的结构。本文讨论了在没有监督的图像建模过程中学习对象结构的问题。我们提出了一个自动编码公式来发现地标作为显式的结构表示。编码模块输出地标坐标，其有效性由反映地标的必要属性的约束来确保。解码模块将地标作为端到端可微分框架中的可学习输入表示的一部分。我们发现的地标是语义上有意义的，更预测手动注释的地标比以前的方法发现的。地标的坐标也是预训练的深度神经网络表示在识别视觉属性时的补充特征。此外，所提出的方法自然地创建了一个无监督的，可感知的界面，以操纵对象的形状和解码具有可控结构的图像。该项目的网页是http://ytzhang.net/projects/lmdis-rep
2018-04-12 cs.CV
Reward Finetuning for Faster and More Accurate Unsupervised Object Discovery
Cornell University（康奈尔大学）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本研究将RLHF思路引入无监督LiDAR目标发现，用整合多启发式规则的奖励函数替代标签指导训练，实现了比现有方法更高的精度与快数个数量级的训练速度。
2023-11-05 cs.CV
Unsupervised Discovery of Semantic Latent Directions in Diffusion Models
Seoul National University（首尔国立大学）；Yonsei University（延世大学）
尽管扩散模型（DM）取得了成功，但我们仍然缺乏对其潜在空间的透彻理解。虽然使用GANs的图像编辑建立在潜在空间上，但DM依赖于编辑文本提示等条件。我们提出了一个无监督的方法来发现可解释的编辑方向的潜变量$\mathbf{x}_t \in \mathcal{X}$的DM。我们的方法采用黎曼几何之间的$\mathcal{X}$和中间特征映射$\mathcal{H}$的U-网提供了一个深刻的理解的几何结构的$\mathcal{X}$。所发现的语义潜在方向大多产生分离的属性变化，并且它们在不同样本之间是全局一致的。此外，在较早的时间步中进行编辑会编辑粗略的属性，而在较晚的时间步中进行编辑则会关注高频细节。我们定义了样本之间线段的曲率，以表明$\mathcal{X}$是一个弯曲的流形。在不同基线和数据集上的实验证明了该方法在稳定扩散上的有效性。我们的源代码将公开提供给未来的研究人员。
2023-02-24 cs.CV
Unsupervised Part Discovery via Descriptor-Based Masked Image Restoration with Optimized Constraints
Faculty of Engineering and IT, University of Technology Sydney（技术悉尼大学工程与信息学院）；Dept. of Comp. Sci. and Eng., Southern University of Science and Technology（南方科技大学计算机科学与工程系）
本文提出掩码部件自编码器MPAE，通过部件描述符恢复掩码补丁并施加优化约束，实现跨类别和场景的鲁棒无监督部件发现。
2025-07-16 cs.CV
TraND: Transferable Neighborhood Discovery for Unsupervised Cross-domain Gait Recognition
Hangzhou Dianzi University（杭州电子科技大学）；AI Research of JD.com（京东人工智能研究院）；Ryerson University（瑞尔森大学）
步态，即，运动过程中人体肢体的运动模式是一种很有前途的身份识别生物特征。尽管深度学习在步态识别方面有了显着的改进，但现有的研究仍然忽略了一个更实用但具有挑战性的场景-无监督跨域步态识别，其目的是在标记数据集上学习模型，然后将其适应于未标记数据集。由于域转移和类差距，直接将在一个源数据集上训练的模型应用于其他目标数据集通常会获得非常差的结果。因此，本文提出了一个可转移的邻域发现（TraND）框架，以弥合领域的差距，无监督跨域步态识别。为了学习有效的步态表示先验知识，我们首先采用一个骨干网络预训练标记的源数据在监督的方式。然后，我们设计了一种端到端的可训练方法，自动发现潜在空间中未标记样本的置信邻域。在训练过程中，采用类一致性指标，根据样本的熵度量选择样本的置信邻域。此外，我们探索了一种高熵优先的邻居选择策略，它可以有效地将先验知识转移到目标领域。我们的方法在两个公共数据集上实现了最先进的结果，即，CASIA-B和OU-LP。
2021-02-09 cs.CV
Unsupervised Object Discovery and Co-Localization by Deep Descriptor Transforming
The University of Adelaide（阿德莱德大学）；Nanjing University（南京大学）
随着计算机视觉和机器学习应用的快速发展，可重用模型设计变得越来越重要。在本文中，我们专注于预训练深度卷积模型的可重用性。具体来说，与将预训练模型视为特征提取器不同，我们揭示了卷积层下的更多宝藏，即，卷积激活可以用作图像共同定位问题中的公共对象的检测器。我们提出了一种简单而有效的方法，称为深度描述符变换（DDT），用于评估描述符的相关性，然后获得类别一致的区域，该区域可以准确地定位一组未标记图像中的公共对象，即，无监督的对象发现。实证研究验证了所提出的DDT方法的有效性。在基准图像共定位数据集上，DDT始终大幅优于现有的最先进的方法。此外，DDT还表现出良好的泛化能力，不可见的类别和处理噪声数据的鲁棒性。除此之外，DDT还可以用于将Web图像收集到有效的外部数据源中，以提高图像识别和目标检测的性能。
2017-07-20 cs.CV
Future Slot Prediction for Unsupervised Object Discovery in Surgical Video
PCASO Laboratory, Department of Surgery, University of Pennsylvania（匹兹堡大学外科实验室、外科系、匹兹堡大学）；Department of Computer and Information Science, University of Pennsylvania（计算机与信息科学系、匹兹堡大学）
针对手术视频中无监督对象发现，提出动态时间槽变换器（DTST），通过时间推理与未来槽初始化预测，在多个手术数据库上达到最先进性能。
2025-07-08 cs.CV
Ensemble Foreground Management for Unsupervised Object Discovery
University of Nottingham（诺丁汉大学）
针对无监督目标发现中前景判断难、发现次数难确定的问题，提出基于最小割与集成的鲁棒前景先验UnionCut及蒸馏模型UnionSeg，助力现有方法提升多类视觉任务性能。
2025-07-28 cs.CV
Gaussian-Constrained LeJEPA Representations for Unsupervised Scene Discovery and Pose Consistency
Computer Vision Researcher（计算机视觉研究员）
本文提出基于高斯约束的LeJEPA表示方法，通过改进的管道提升无监督场景重建中场景分离和姿态估计的鲁棒性。
2026-01-31 cs.CV
Multimodal Pretraining for Dense Video Captioning
Mila；University of Montreal（蒙特利尔大学）；Google Research（谷歌研究院）
学习具体的动手技能，如烹饪，汽车维修和家庭维修越来越多地通过教学视频发生。已知通过元信息（诸如针对所涉及的主要步骤的带时间戳的注释）来改善这种视频的用户体验。自动生成这样的注释是具有挑战性的，我们在这里描述两个相关的贡献。首先，我们构建并发布了一个新的密集视频描述数据集，视频时间轴标签（ViTT），具有各种教学视频连同时间戳注释。其次，我们探索了几种多模态序列到序列预训练策略，这些策略利用了大型无监督视频和标题类文本数据集。我们使用YouCook2和ViTT预训练并随后微调密集视频描述模型。我们表明，这样的模型推广良好，并在各种各样的教学视频是强大的。
2020-11-10 cs.CL cs.CV cs.LG
Consistent Supervised-Unsupervised Alignment for Generalized Category Discovery
National Key Laboratory of Human-Machine Hybrid Augmented Intelligence, National Engineering Research Center for Visual Information and Applications, Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（国家人类-机器混合增强智能重点实验室、视觉信息与应用国家工程研究中心、人工智能与机器人研究院、西安交通大学）；School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen（计算机科学与技术学院、哈尔滨工业大学深圳校区）；School of Software Engineering, Xi’an Jiaotong University（软件工程学院、西安交通大学）；Kuaishou Technology（快手科技）；Faculty of Microelectronics, Shenzhen University of Advanced Technology（微电子学院、深圳先进技术大学）
本文提出NC-GCD框架，通过预分配ETF原型和引入一致ETF对齐损失，提升通用类别发现任务中新类别识别的性能。
2026-02-04 cs.CV
Target-Aware Object Discovery and Association for Unsupervised Video Multi-Object Segmentation
ETH Zurich（苏黎世联邦理工学院）；Beijing Institute of Technology（北京理工大学）；Inception Institute of Artificial Intelligence（起源人工智能研究院）
本文研究了无监督视频多目标分割问题。目前的方法遵循两个阶段的范式：1）使用预训练的Mask R-CNN检测对象建议，2）使用重新识别技术进行通用特征匹配以进行时间关联。然而，在这两个阶段中广泛使用的通用特征对于表征看不见的对象是不可靠的，导致泛化能力差。为了解决这个问题，我们引入了一种新的方法，更准确，更有效的时空分割。特别是，为了解决\textbf{instance discrimination}，我们建议在一个网络中将前景区域估计和实例分组结合在一起，并另外引入用于分割每个帧的时间指导，从而实现更准确的对象发现。对于\textbf{temporal association}，我们补充了当前的视频对象分割架构的歧视性外观模型，能够捕捉更细粒度的目标特定的信息。给定来自实例判别网络的对象提议，采用三个基本策略来实现准确分割：1）使用记忆增强的外观模型的目标特定跟踪; 2）目标不可知验证以跟踪提议的可能轨迹; 3）使用经验证的片段的自适应记忆更新。我们在DAVIS $_{17}$和YouTube-VIS上对所提出的方法进行了评估，结果表明，它在分割精度和推理速度方面都优于最先进的方法。
2021-04-10 cs.CV
Unsupervised Landmark Discovery Using Consistency Guided Bottleneck
Australian National University（澳大利亚国立大学）
本文提出一致性引导瓶颈，通过跨图像地标对应获得伪监督并生成自适应热图，在无监督地标发现任务中显著提升了鲁棒性和性能。
2023-09-19 cs.CV
Unsupervised Discovery of 3D Physical Objects from Video
MIT（麻省理工学院）；Harvard University（哈佛大学）；Stanford University（斯坦福大学）
我们研究了无监督的物理对象发现问题。虽然现有的框架旨在根据每个对象的外观将场景分解为2D片段，但我们探索了物理学，特别是对象交互，如何以无监督的方式从视频中解开3D几何形状和对象位置。从发展心理学中汲取灵感，我们的物理对象发现网络（POD-Net）使用多尺度像素线索和物理运动线索来准确分割不同大小的可观察和部分遮挡对象，并推断这些对象的属性。我们的模型可靠地分割合成和真实场景中的对象。发现的对象属性也可以用于推理物理事件。
2021-03-23 cs.CV cs.LG
Simultaneous Localization, Mapping, and Manipulation for Unsupervised Object Discovery
University of Colorado at Boulder（科罗拉多大学博尔德分校）
我们提出了一个无监督的框架，同时基于外观的对象发现，检测，跟踪和重建使用RGBD相机和机器人机械手。该系统执行密集的三维同时定位与地图构建与无监督的对象发现。空间和视觉上连贯的假定对象由机器人操纵以获得额外的运动提示。机器人仅使用外观，然后是结构和运动线索，以联合发现，验证，学习和改进对象的模型。诱导运动分割增强了学习模型，这些模型隐式地表示为2D和3D水平集，以捕获形状和外观。我们比较了三种不同的基于外观的对象发现方法，发现一种新形式的时空超像素在精度和召回率方面提供了最高质量的候选对象模型。Baxter机器人的现场实验展示了一个完整的管道，能够自动发现，验证，检测，跟踪和重建未知物体。
2014-11-04 cs.CV cs.RO
LatentCLR: A Contrastive Learning Approach for Unsupervised Discovery of Interpretable Directions
EPFL（洛桑联邦理工学院）；Technical University of Munich（慕尼黑工业大学）；Boğaziçi University（博阿齐奇大学）
最近的研究表明，在预训练的生成对抗网络（GANs）的潜在空间中找到可解释的方向是可能的。这些方向实现了可控的图像生成，并支持广泛的语义编辑操作，如缩放或旋转。这种方向的发现通常以监督或半监督的方式进行，并且需要手动注释，这限制了它们在实践中的使用。相比之下，无监督发现允许发现难以先验检测的微妙方向。在这项工作中，我们提出了一种基于对比学习的方法，以自我监督的方式在预训练的GANs的潜在空间中发现语义方向。我们的方法发现语义上有意义的尺寸与国家的最先进的方法。
2021-10-06 cs.CV cs.LG
Unsupervised Object Discovery and Segmentation of RGBD-images
Centre for Autonomous System at KTH Royal Institute of Technology（瑞典皇家理工学院自主系统中心）
在本文中，我们介绍了一个系统的RGBD图像的无监督对象发现和分割。该系统直接从数据中对传感器噪声进行建模，允许精确分割，而无需使用最近引入的统计内点估计（SIE）方法对测量噪声模型进行传感器特定的手动调整。通过完全概率的公式化，该系统能够应用概率推理，从而在先前具有挑战性的场景中实现可靠的分割。此外，我们还引入了新的方法来滤除误报，显著提高了信噪比。我们表明，该系统在具有挑战性的现实世界数据集上的表现显着优于最先进的。
2017-10-18 cs.CV cs.RO
DiffusionSeg: Adapting Diffusion Towards Unsupervised Object Discovery
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
从大量的数据中学习，预训练模型现在已经取得了令人印象深刻的进展。扩散模型是一种流行的生成式预训练方法，它既能捕捉低级视觉知识，又能捕捉高级语义关系。在本文中，我们建议利用这种知识型扩散模型来处理主流的判别任务，即，无监督对象发现：显著性分割和对象定位。然而，挑战仍然存在，因为生成模型和判别模型之间存在一个结构差异，这限制了直接使用。此外，缺乏显式标记的数据显着限制了在无监督环境中的性能。为了解决这些问题，我们介绍了DiffusionSeg，一种新的合成开发框架，包含两个阶段的战略。为了缓解数据不足，我们合成了大量的图像，并提出了一种新的无训练AttentionCut在第一个合成阶段获得掩模。在第二个开发阶段，为了弥合结构差距，我们使用反演技术，将给定的图像映射回扩散特征。这些功能可以直接由下游架构使用。大量的实验和消融研究表明，自适应扩散无监督对象发现的优越性。
2023-03-17 cs.AI cs.CV
