Shadow-Mapping for Unsupervised Neural Causal Discovery
University of Surrey（萨里大学）
大多数科学领域的一个重要目标是发现一组观察结果的因果结构。遗憾的是，基于相关性或互信息的因果发现方法常常不能识别呈现动态关系的系统中的因果链接。这种动态系统（包括著名的耦合逻辑斯蒂映射）表现出“海市蜃楼”的相关性，其出现和消失取决于观察窗口。这不仅意味着相关性不是因果关系，而且可能与直觉相反，因果关系可能在没有相关性的情况下发生。在本文中，我们描述了神经阴影映射，一个基于神经网络的方法，将高维视频数据嵌入到一个低维的阴影表示，随后的因果关系的估计。我们展示了它的性能在发现因果关系的动态系统的视频表示。
2021-04-28 cs.CV stat.AP stat.ML
Unsupervised Discovery of 3D Physical Objects from Video
MIT（麻省理工学院）；Harvard University（哈佛大学）；Stanford University（斯坦福大学）
我们研究了无监督的物理对象发现问题。虽然现有的框架旨在根据每个对象的外观将场景分解为2D片段，但我们探索了物理学，特别是对象交互，如何以无监督的方式从视频中解开3D几何形状和对象位置。从发展心理学中汲取灵感，我们的物理对象发现网络（POD-Net）使用多尺度像素线索和物理运动线索来准确分割不同大小的可观察和部分遮挡对象，并推断这些对象的属性。我们的模型可靠地分割合成和真实场景中的对象。发现的对象属性也可以用于推理物理事件。
2021-03-23 cs.CV cs.LG
Unsupervised Object Discovery: A Comprehensive Survey and Unified Taxonomy
ÉTS Montréal（蒙特利尔高等技术学院）
本文针对无监督目标发现领域现有研究零散、缺乏系统梳理的问题，全面综述相关方法，按任务与技术族系分类，梳理数据集与指标并指出评估难点，为领域研究者提供参考并推动新研究。
2024-10-30 cs.CV
Unsupervised Discovery of Object-Centric Neural Fields
Cornell University（康奈尔大学）；Stanford University（斯坦福大学）
本文提出 uOCF，通过分离对象内在属性与外在位姿，从单张真实图像无监督学习高保真3D对象中心表示，并实现对未见对象的零样本泛化。
2025-02-14 cs.CV
Unsupervised Discovery of 3D Hierarchical Structure with Generative Diffusion Features
University of North Carolina（北卡罗来纳大学）
利用生成扩散模型的多阶段特征，通过三种损失训练无监督分割网络，将三维生物医学图像分解为嵌套层次结构，在合成及真实脑肿瘤MRI数据上优于现有方法。
2023-10-10 cs.CV
Unsupervised Discovery of Actions in Instructional Videos
Robotics at Google（谷歌机器人部门）；Google Research（谷歌研究院）
在本文中，我们解决的问题，自动发现原子的行动在无监督的方式从教学视频。教学视频包含复杂的活动，是智能代理的丰富信息源，例如，自主机器人或虚拟助手，它们可以自动“读取”教学视频中的步骤并执行它们。然而，视频很少用原子活动、它们的边界或持续时间来注释。我们提出了一种无监督的方法来学习原子动作的结构化的人类任务，从各种教学视频。我们提出了一个序列随机自回归模型的时间分割的视频，学习表示和发现的顺序关系的任务的不同原子动作，并提供自动和无监督的自标记的视频。我们的方法优于最先进的无监督方法，具有很大的利润率。我们将开放源代码。
2021-06-28 cs.CV
Unsupervised Part Discovery by Unsupervised Disentanglement
Heidelberg Collaboratory for Image Processing / IWR, Heidelberg University（海德堡大学图像处理合作实验室 / IWR）
我们解决的问题，发现部分分割的铰接对象没有监督。与关键点相比，零件分割提供关于各个像素级别上的零件定位的信息。它们捕获位置和语义，是监督学习方法的有吸引力的目标。然而，大的注释成本限制了监督算法对人类以外的其他对象类别的可扩展性。无监督方法可能允许以更低的成本使用更多的数据。大多数现有的无监督方法都专注于学习抽象表示，并在监督下将其细化为最终表示。我们的方法利用了生成模型组成的两个解纠缠表示对象的形状和外观和一个潜在的变量的部分分割。从单个图像，训练的模型推断出语义部分分割图。在实验中，我们将我们的方法与以前最先进的方法进行比较，并观察到分割精度和形状一致性的显着提高。我们的工作证明了在没有监督的情况下发现语义部分分割的可行性。
2020-09-10 cs.CV
Unsupervised Object Discovery and Localization in the Wild: Part-based Matching with Bottom-up Region Proposals
Inria（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
本文讨论了无监督的发现和定位的主要对象从嘈杂的图像集合与多个对象类。这个问题的设置是完全无监督的，甚至没有图像级注释或任何单一主导类的假设。这比典型的共定位、共分割或弱监督定位任务更普遍。我们使用基于部件的区域匹配方法来解决发现和定位问题：我们使用现成的区域建议来形成对象和对象部件的一组候选边界框。这些区域使用概率Hough变换有效地在图像之间进行匹配，该概率Hough变换考虑外观和空间一致性来评估每个候选对应的置信度。通过比较候选区域的分数并选择比包含它们的其他区域突出的区域来发现和定位主导对象。在标准基准上进行的大量实验评估表明，该方法在共定位方面的性能明显优于当前最先进的方法，并在具有挑战性的混合类数据集上实现了鲁棒的对象发现。
2015-05-04 cs.CV
Unsupervised Discovery of Interpretable Directions in the GAN Latent Space
Yandex（扬德克斯）；National Research University Higher School of Economics（国立研究型大学高等经济学院）
GAN模型的潜在空间通常具有语义上有意义的方向。在这些方向上移动对应于人类可解释的图像变换，例如缩放或缩放，从而实现更可控的生成过程。然而，这些方向的发现目前是以监督的方式执行的，需要人类标签，预训练模型或某种形式的自我监督。这些要求严重限制了现有方法可以发现的方向范围。在本文中，我们引入了一种无监督的方法来识别预训练的GAN模型的潜在空间中的可解释方向。通过一个简单的模型不可知的程序，我们发现方向对应于明智的语义操作，没有任何形式的（自我）监督。此外，我们揭示了几个非平凡的发现，这将是很难获得现有的方法，例如，对应于背景去除的方向。作为我们工作的直接实际好处，我们展示了如何利用这一发现来实现弱监督显着性检测的竞争性能。
2020-06-24 cs.CV cs.LG stat.ML
Icentia11K: An Unsupervised Representation Learning Dataset for Arrhythmia Subtype Discovery
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；Icentia（Icentia公司）；Polytechnique Montréal（蒙特利尔综合理工学院）
我们发布了最大的连续原始信号的公共ECG数据集，用于表示学习，包含1.1万名患者和20亿个标记的心跳。我们的目标是使半监督ECG模型，以及发现未知的心律失常和异常ECG信号事件的亚型。为此，我们提出了一个无监督的表示学习任务，以半监督的方式进行评估。我们为不同的特征提取器提供了一组基线，可以在此基础上构建。此外，我们对PCA嵌入的结果进行了定性评估，其中我们识别了一些已知亚型的聚类，表明在心律失常子类型发现中进行表征学习的潜力。
2019-10-21 cs.CV eess.SP q-bio.QM
Unsupervised Object Discovery and Tracking in Video Collections
Inria（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
本文讨论了自动定位占主导地位的对象作为时空管在一个嘈杂的视频收集与最小甚至没有监督的问题。我们制定的问题作为两个互补的过程：发现和跟踪的组合。第一个建立视频中突出区域之间的对应关系，第二个将同一视频中连续的相似对象区域关联起来。有趣的是，我们的算法还发现了与跨不同视频的相同对象类的实例相关联的帧的隐式拓扑结构，这一角色通常留给传统图像和视频理解方法中的类标签形式的监督信息。事实上，正如我们的实验所证明的那样，我们的方法可以处理具有多个对象类的视频集合，并且在共定位方面大大优于现有技术，尽管它可以用更少的监督来解决更广泛的问题。
2015-05-14 cs.CV
Unsupervised Semantic Parsing of Video Collections
Stanford University（斯坦福大学）；Cornell University（康奈尔大学）；Brain of Things Inc.（Brain of Things公司）
人类交流通常有一个基本结构。这反映在以下事实中：在许多用户生成的视频中，可以识别起点、终点和这两者之间的某些客观步骤。在本文中，我们提出了一种方法来解析视频到这样的语义步骤，在无监督的方式。所提出的方法是能够提供一个语义的“故事情节”的视频组成的目标步骤。我们在一个联合生成模型中使用视觉和语言线索来实现这一点。所提出的方法还可以为所识别的语义步骤和视频片段中的每一个提供文本描述。我们在大量复杂的YouTube视频上评估了这种方法，并为这个复杂而有影响力的问题展示了前所未有的质量结果。
2016-01-27 cs.CV
LatentCLR: A Contrastive Learning Approach for Unsupervised Discovery of Interpretable Directions
EPFL（洛桑联邦理工学院）；Technical University of Munich（慕尼黑工业大学）；Boğaziçi University（博阿齐奇大学）
最近的研究表明，在预训练的生成对抗网络（GANs）的潜在空间中找到可解释的方向是可能的。这些方向实现了可控的图像生成，并支持广泛的语义编辑操作，如缩放或旋转。这种方向的发现通常以监督或半监督的方式进行，并且需要手动注释，这限制了它们在实践中的使用。相比之下，无监督发现允许发现难以先验检测的微妙方向。在这项工作中，我们提出了一种基于对比学习的方法，以自我监督的方式在预训练的GANs的潜在空间中发现语义方向。我们的方法发现语义上有意义的尺寸与国家的最先进的方法。
2021-10-06 cs.CV cs.LG
Transfer Learning via Unsupervised Task Discovery for Visual Question Answering
POSTECH（浦项科技大学）；OpenAI；Seoul National University（首尔国立大学）
本文研究了在视觉问答任务中，如何利用现成的视觉和语言数据来处理词汇外答案。现有的大规模视觉数据集与注释，如图像类标签，边界框和区域描述是学习丰富多样的视觉概念的良好来源。然而，由于问题相关回答模型和没有问题的视觉数据之间的链接缺失，如何捕获视觉概念并将其转移到视觉问答模型并不简单。我们通过两个步骤来解决这个问题：1）学习任务条件视觉分类器，它能够解决各种特定于问题的视觉识别任务，基于无监督任务发现和2）将任务条件视觉分类器转移到视觉问答模型。具体来说，我们采用语言知识源，如结构化的词汇数据库（如WordNet）和视觉描述的无监督任务发现，并转移学习任务条件视觉分类器作为一个回答单元的视觉问答模型。我们的经验表明，该算法推广到词汇表外的答案成功地使用从视觉数据集转移的知识。
2019-04-07 cs.CL cs.CV cs.LG
Large-Scale Unsupervised Object Discovery
INRIA（法国国家信息与自动化研究所）；ENS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL University（巴黎文理研究大学）；New York University（纽约大学）
现有的无监督对象发现（UOD）方法在没有近似的情况下无法扩展到大型数据集，这会影响其性能。我们提出了一种新的配方UOD作为一个排名问题，服从于武器库的分布式方法可用于特征值问题和链接分析。通过使用自监督功能，我们还展示了UOD的第一个有效的完全无监督管道。COCO和OpenImages上的大量实验表明，在每个图像中寻找单个突出对象的单对象发现设置中，所提出的LOD（大规模对象发现）方法与中等规模数据集（高达120K图像）的最新技术水平相当或更好，并且比能够扩展到1.7M图像的唯一其他算法好37%以上。在每个图像中寻找多个对象的多对象发现设置中，对于从20K到1.7M图像的数据集，所提出的LOD的平均精度（AP）比所有其他方法高出14%以上。使用自监督特征，我们还表明，该方法获得了最先进的UOD性能OpenImages。我们的代码可在https://github.com/huyvvo/LOD上公开获取。
2021-11-16 cs.CV
UDIS: Unsupervised Discovery of Bias in Deep Visual Recognition Models
Georgia Institute of Technology（佐治亚理工学院）
深度学习模型已经被证明可以从数据中学习虚假的相关性，有时会导致某些亚群的系统性失败。先前的工作通常通过众包各种受保护属性的注释和测量性能来诊断这一点，这既昂贵又难以扩展。在这项工作中，我们提出了UDIS，一个无监督的算法，表面和分析这些故障模式。UDIS通过数据集嵌入的分层聚类来识别亚群，并通过可视化低性能聚类及其梯度加权类激活图来显示系统故障模式。我们证明了UDIS在识别CelebA和MSCOCO数据集上图像分类训练模型的故障模式方面的有效性。
2021-10-29 cs.CV
Unsupervised and interpretable scene discovery with Discrete-Attend-Infer-Repeat
University of Cambridge（剑桥大学）
在这项工作中，我们提出了离散注意推断重复（离散空气），一个经常性的自动编码器与结构化的潜在分布包含离散分类分布，连续属性分布，和分解空间注意。离散空气模型的灵感来自于原始空气模型和保留空气模型的能力，在识别图像中的对象，离散空气提供了直接解释的潜在代码。我们表明，对于多MNIST和多对象版本的dSprites数据集，离散空气模型只需要一个分类的潜在变量，一个属性变量（仅适用于多MNIST），以及空间注意力变量，有效的推理。我们进行分析表明，学习的分类分布有效地捕捉多MNIST和多精灵的场景中的对象的类别。
2019-03-14 cs.CV cs.LG stat.ML
4D Unsupervised Object Discovery
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Centre for Artificial Intelligence and Robotics, HKISI_CAS（中国科学院香港创新研究院人工智能与机器人中心）
目标发现是计算机视觉的核心任务。虽然有监督的目标检测已经取得了快速的进展，但其无监督的对应物仍然在很大程度上未被探索。随着数据量的增长，昂贵的注释成本是阻碍进一步研究的主要限制。因此，发现没有注释的对象具有重要意义。然而，这个任务似乎是不切实际的静态图像或点云单独由于缺乏判别信息。以往的研究忽视了多模态输入背后的重要时间信息和约束。在本文中，我们提出了4D无监督的对象发现，联合发现对象的4D数据-三维点云和二维RGB图像的时间信息。我们通过提出3D点云上的ClusterNet来提出这项任务的第一个实用方法，该点云与2D定位网络联合迭代优化。在大规模Waymo Open Dataset上进行的大量实验表明，定位网络和定位网络在类无关的2D目标检测和3D实例分割方面都具有竞争力的性能，弥合了无监督方法和全监督方法之间的差距。代码和模型将在https://github.com/Robertwyq/LSMOL上提供。
2022-10-10 cs.CV
DiffusionSeg: Adapting Diffusion Towards Unsupervised Object Discovery
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
从大量的数据中学习，预训练模型现在已经取得了令人印象深刻的进展。扩散模型是一种流行的生成式预训练方法，它既能捕捉低级视觉知识，又能捕捉高级语义关系。在本文中，我们建议利用这种知识型扩散模型来处理主流的判别任务，即，无监督对象发现：显著性分割和对象定位。然而，挑战仍然存在，因为生成模型和判别模型之间存在一个结构差异，这限制了直接使用。此外，缺乏显式标记的数据显着限制了在无监督环境中的性能。为了解决这些问题，我们介绍了DiffusionSeg，一种新的合成开发框架，包含两个阶段的战略。为了缓解数据不足，我们合成了大量的图像，并提出了一种新的无训练AttentionCut在第一个合成阶段获得掩模。在第二个开发阶段，为了弥合结构差距，我们使用反演技术，将给定的图像映射回扩散特征。这些功能可以直接由下游架构使用。大量的实验和消融研究表明，自适应扩散无监督对象发现的优越性。
2023-03-17 cs.AI cs.CV
Unsupervised Place Discovery for Visual Place Classification
Univ. of FUKUI（福井大学）
在这项研究中，我们探讨了深度卷积神经网络（DCNN）在机器人映射和定位的视觉位置分类中的应用。一个悬而未决的问题是如何将机器人的工作空间划分为多个位置以最大化性能（例如，准确度、精确度、召回率）。这是一个先有鸡还是先有蛋的问题：如果我们有一个经过良好训练的DCNN分类器，那么将机器人的工作空间划分为各个地方是相当容易的，但DCNN分类器的训练需要一组预定义的地方类。在这项研究中，我们解决了这个问题，并提出了几种策略，无监督发现的地方类（“时间线索”，“位置线索”，“时间外观线索”，“位置外观线索”）。我们还使用公开的密歇根大学北校区长期（NCLT）数据集评估所提出的方法的有效性。
2016-12-21 cs.CV
Toward unsupervised, multi-object discovery in large-scale image collections
INRIA（法国国家信息与自动化研究所）；Département d’informatique de l’ENS, ENS, CNRS, PSL University（巴黎高等师范学院计算机科学系、法国国家科学研究中心、巴黎文理研究大学）
本文解决了在没有任何监督的情况下发现图像集合中存在的对象的问题。我们建立在Vo等人的优化方法的基础上。（CVPR'19）具有几个关键的新颖性：（1）我们提出了一种新的基于显着性的区域建议算法，与其他竞争方法相比，该算法与地面实况对象的重叠明显更高。该过程利用了在分类任务上训练的现成的CNN特征，而没有任何限界框信息，但在其他方面是无监督的。(2)我们利用提议的固有层次结构作为Vo等人的对象发现方法的有效正则化器，提升其性能，以在几个标准基准上显著改善现有技术。(3)我们采用两阶段策略，首先使用小的随机图像集来选择有希望的建议，然后使用整个图像集来发现它所描绘的对象，使我们能够首次处理（据我们所知），在构成多达20，000张图像的数据集的每张图片中发现多个对象，与现有方法相比增加了五倍以上，也是迈向真正的大规模无监督图像判读的第一步。
2020-08-25 cs.CV
Unsupervised learning from video to detect foreground objects in single images
Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）
从视觉数据中进行无监督学习是计算机视觉中最困难的挑战之一，是理解视觉识别如何工作的基本任务。从实践的角度来看，从无监督的视觉输入中学习具有巨大的实用价值，因为可以以低成本收集大量未标记的视频。在本文中，我们解决的任务无监督学习检测和分割前景物体在单一的图像。我们通过训练由深度神经网络组成的学生路径来实现我们的目标。它学习从单个输入图像（视频帧）预测该特定帧的输出，教师路径在视频中执行无监督对象发现。我们的方法是不同的，从已发表的文献中进行无监督的发现在视频或图像的集合在测试时。我们在训练阶段移动无监督发现阶段，而在测试时，我们沿着学生路径应用标准前馈处理。这有双重好处：首先，它原则上允许在训练期间无限的学习和推广可能性，同时在测试时保持非常快。其次，学生不仅能够在单个图像中检测到比无监督视频发现教师更好的效果，而且还在两个重要的当前基准测试（YouTube Objects和Object Discovery数据集）上取得了最先进的结果。此外，在测试时，我们的系统至少比以前的其他方法快两个数量级。
2017-03-31 cs.CV
Unsupervised Representation Learning for Diverse Deformable Shape Collections
Fraunhofer SCAI（弗劳恩霍夫算法与科学计算研究所）；University of Bonn（波恩大学）；École Polytechnique（巴黎综合理工学院）；Institut Polytechnique de Paris（巴黎综合理工学院联盟）
本文提出一种无监督三维网格表示学习方法，通过谱池化和函数映射构建通用潜在空间，摆脱网格连通性与形状类别限制，在多样化可变形形状上实现高质量重建与平滑插值。
2023-10-27 cs.CV cs.LG
Self-Supervised Transformers for Unsupervised Object Discovery using Normalized Cut
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；Tencent AI Lab（腾讯人工智能实验室）；LIGM（加斯帕尔·蒙日信息学实验室）；Ecole des Ponts（巴黎桥路学院）；Samsung AI Center, Cambridge（三星剑桥人工智能中心）；MIT（麻省理工学院）
使用自蒸馏损失（DINO）的自监督学习训练的Transformers已被证明可以产生突出突出前景对象的注意力图。在本文中，我们展示了一个基于图的方法，使用自我监督的Transformer功能，发现一个对象从图像。视觉标记被视为加权图中的节点，其边表示基于标记的相似性的连接性得分。前景对象，然后可以分割使用规范化的图形切割组自相似区域。我们使用谱聚类与广义特征分解来解决图切割问题，并表明第二小特征向量提供了切割解决方案，因为其绝对值表示令牌属于前景对象的可能性。尽管它很简单，但这种方法显着提高了无监督对象发现的性能：我们在VOC 07，VOC 12和COCO 20 K上分别比最新的LOST提高了6.9%，8.1%和8.1%。通过增加第二阶段类不可知检测器（CAD），可以进一步提高性能。我们提出的方法可以很容易地扩展到无监督显著性检测和弱监督目标检测。对于无监督显著性检测，我们在ECSSD，DUTS，DUT-OMRON上分别提高了4.9%，5.2%，12.9%。对于弱监督目标检测，我们在CUB和ImageNet上实现了竞争性的性能。
2022-03-24 cs.CV stat.ML
SlotGNN: Unsupervised Discovery of Multi-Object Representations and Visual Dynamics
University of Minnesota（明尼苏达大学）
该研究提出包含SlotTransport和SlotGNN的无监督框架，可从视觉数据中发现多目标表征并预测动力学，在机器人重排等任务及真实场景中均表现优异。
2023-10-06 cs.AI cs.CV cs.LG
Unsupervised semantic discovery through visual patterns detection
Ca’ Foscari University（威尼斯大学）
我们提出了一种新的快速完全无监督的方法来发现语义模式。我们的算法是能够分层找到视觉类别，并产生一个分割掩模，以前的方法失败。通过对图像中的视觉模式进行建模，我们引入了“语义级别”的概念，并设计了一个概念框架以及措施和专用的基准数据集，用于未来的比较。我们的算法由两个阶段组成。过滤阶段，其通过累加器空间选择语义热点，然后聚类阶段，其在超像素的基础上传播热点的语义属性。我们提供了定性和定量的实验验证，在对噪声和语义一致性的鲁棒性方面取得了最佳结果。我们还公开了代码和数据集。
2021-02-24 cs.CV
FineGAN: Unsupervised Hierarchical Disentanglement for Fine-Grained Object Generation and Discovery
University of California, Davis（加州大学戴维斯分校）
我们提出了FineGAN，一种新的无监督GAN框架，它将背景，对象形状和对象外观进行分解，分层生成细粒度对象类别的图像。为了在没有监督的情况下解开这些因素，我们的关键思想是使用信息论将每个因素与潜在代码相关联，并以特定的方式调节代码之间的关系，以诱导所需的层次结构。通过大量的实验，我们证明了FineGAN实现了所需的解纠缠，生成了属于鸟类、狗和汽车等细粒度类别的逼真且多样化的图像。使用FineGAN的自动学习功能，我们还对真实图像进行聚类，作为解决无监督细粒度对象类别发现新问题的第一次尝试。我们的代码/模型/演示可以在https://github.com/kkanshul/finegan上找到
2019-04-09 cs.AI cs.CV cs.GR
Unsupervised Discovery of Object Radiance Fields
Stanford University（斯坦福大学）
我们研究了从单个图像推断以对象为中心的场景表示的问题，旨在导出解释图像形成过程的表示，捕获场景的3D性质，并且在没有监督的情况下学习。大多数现有的场景分解方法缺乏这些特征中的一个或多个，这是由于将复杂的3D到2D图像形成过程集成到强大的推理方案（如深度网络）中的根本挑战。在本文中，我们提出了对象辐射场（uORF）的无监督发现，将神经3D场景表示和渲染的最新进展与无监督3D场景分解的深度推理网络相结合。在没有注释的多视图RGB图像上训练，uORF学会从单个图像中分解具有不同纹理背景的复杂场景。我们表明，uORF使新的任务，如场景分割和3D编辑，它在这些任务和三个数据集上的新视图合成上表现良好。
2022-03-16 cs.AI cs.CV
Unsupervised Kinematic Motion Detection for Part-segmented 3D Shape Collections
Brown University（布朗大学）
制造对象的3D模型对于填充虚拟世界以及用于视觉和机器人的合成数据生成非常重要。最有用的是，这些对象应该是铰接的：当与它们交互时，它们的部分应该移动。虽然存在铰接对象数据集，但创建它们是劳动密集型的。基于学习的零件运动预测可以提供帮助，但所有现有方法都需要带注释的训练数据。在本文中，我们提出了一种无监督的方法来发现关节运动的部分分割的3D形状集合。我们的方法是基于一个概念，我们称之为类别封闭：任何有效的表达一个对象的部分应该保持在同一个语义类别的对象（例如，椅子保持椅子）。我们操作这个概念的算法，优化形状的部分运动参数，使它可以转换成其他形状的集合。我们评估我们的方法，使用它来重新发现部分运动的PartNet-Mobility数据集。对于几乎所有形状类别，我们的方法的预测运动参数相对于地面实况注释的误差较低，优于两种有监督的运动预测方法。
2022-06-17 cs.CV cs.GR
Unsupervised Place Discovery for Place-Specific Change Classifier
University of Fukui（福井大学）
在这项研究中，我们解决了机器人地图学习应用程序的监督变化检测问题，其目的是训练特定于地点的变化分类器（例如，支持向量机（SVM））来预测来自机器人的视图图像的变化。一个悬而未决的问题是如何将机器人的工作空间划分为多个位置（例如，SVM），以最大限度地提高变化分类器的整体性能。这是一个先有鸡还是先有蛋的问题：如果我们有一个经过良好训练的变化分类器，那么将机器人的工作空间划分为不同的位置是相当容易的。然而，训练变化分类器需要一组特定于地点的训练数据。在这项研究中，我们解决这个新的问题，我们称之为无监督的地方发现。此外，我们提出了一个基于卷积特征的视觉位置识别的解决方案，并通过将其应用于两个特定于位置的变化分类器（即滋扰和异常预测器）来验证我们的方法。
2017-06-07 cs.CV
Unsupervised Discovery of the Long-Tail in Instance Segmentation Using Hierarchical Self-Supervision
Stanford University（斯坦福大学）
实例分割是计算机视觉中的一个活跃话题，通常通过在由对象级掩模组成的非常大的数据集上使用监督学习方法来解决。为任何新领域获得这样的数据集可能非常昂贵和耗时。此外，在某些带注释的类别上训练的模型不能很好地推广到看不见的对象。本文的目标是提出一种方法，可以执行无监督发现的长尾类别的实例分割，通过学习的掩蔽区域的实例嵌入。利用图像中对象之间丰富的关系和层次结构，我们提出了用于学习掩码嵌入的自监督损失。在COCO数据集上进行训练，没有对长尾对象进行额外的注释，我们的模型能够发现比COCO中常见类别更新颖和更细粒度的对象。我们表明，该模型实现了竞争力的定量结果LVIS相比，监督和部分监督的方法。
2021-04-02 cs.CV
StampNet: unsupervised multi-class object discovery
Eindhoven University of Technology（埃因霍温理工大学）
图像中的无监督对象发现涉及发现定义对象并将其与背景区分开的重复模式。这比图像聚类更具挑战性，因为对象的大小和位置是未知的：这增加了额外的自由度并增加了问题的复杂性。在这项工作中，我们提出了StampNet，一种新型的自动编码神经网络，它可以在图像中的简单背景上定位形状（对象），并同时对它们进行分类。StampNet由一个离散的潜在空间组成，用于对对象进行分类并确定对象的位置。对象类别是在训练过程中形成的，从而发现了一组固定的对象。我们提出了一组实验，证明StampNet能够本地化和聚类多个重叠的形状，具有不同的复杂性，包括从MNIST数据集的数字。我们还提出了一个应用StampNet在架空深度图中的行人定位。
2019-02-07 cs.CV cs.LG
Learning the Latent "Look": Unsupervised Discovery of a Style-Coherent Embedding from Fashion Images
UT-Austin（德克萨斯大学奥斯汀分校）
什么定义了视觉风格？时尚风格是从人们如何组合服装中有机地产生的，这使得它们很难用计算模型来确定。低层次的视觉相似性可能过于具体，无法检测到风格相似的图像，而手工制作的风格类别可能过于抽象，无法捕捉细微的风格差异。我们提出了一种无监督的方法来学习风格一致的表示。我们的方法利用基于视觉属性的概率多语言主题模型来发现一组潜在的风格因素。给定一组未标记的时尚图像，我们的方法挖掘潜在的风格，然后通过他们如何混合这些风格来总结服装。我们的方法可以按风格组织服装画廊，而不需要任何风格标签。在超过10万张图像上的实验证明了它在检索、混合和总结时尚图像方面的潜力。
2017-08-03 cs.CV
SegDiscover: Visual Concept Discovery via Unsupervised Semantic Segmentation
Duke University（杜克大学）
视觉概念发现一直被认为是提高神经网络可解释性的重要手段，因为一组语义上有意义的概念将为我们构建具有可理解推理过程的机器学习模型提供起点。以前的方法有缺点：要么他们依赖于标记的支持集，其中包含人类对“有用”对象的偏见，要么他们无法识别单个图像中出现的多个概念。我们重新定义的概念发现任务作为一个无监督的语义分割问题，并提出SegDiscover，一个新的框架，发现语义有意义的视觉概念，从图像数据集的复杂场景，而无需监督。我们的方法包含三个重要部分：从原始图像生成概念基元，通过在自监督预训练编码器的潜在空间中聚类来发现概念，以及通过神经网络平滑进行概念细化。实验结果证明，我们的方法可以在单个图像中发现多个概念，并且在Cityscapes和COCO-Stuff等复杂数据集上的性能优于最先进的无监督方法。我们的方法可以进一步作为一个神经网络的解释工具，通过比较不同的编码器得到的结果。
2022-04-22 cs.AI cs.CV cs.LG
Pretrained equivariant features improve unsupervised landmark discovery
National University of Singapore（新加坡国立大学）
定位语义上有意义的标志点是大量计算机视觉管道的关键组成部分。由于具有真实地标注释的可用数据集数量很少，因此设计鲁棒的无监督和半监督地标检测方法非常重要。最近的许多无监督学习方法依赖于地标的等方差特性来合成图像变形。我们的工作集中在这些广泛使用的方法上，并揭示了其核心问题，即无法产生等变中间卷积特征。这一发现使我们制定了一个两步的无监督方法，通过首先学习强大的基于像素的特征，然后使用预先训练的特征通过传统的等方差方法学习地标检测器来克服这一挑战。我们的方法在几个具有挑战性的地标检测数据集（如BBC Pose数据集和Cat-Head数据集）中产生了最先进的结果。它在一系列其他基准测试中进行了测试。
2021-04-07 cs.AI cs.CV cs.LG
An unsupervised approach to Geographical Knowledge Discovery using street level and street network images
The Alan Turing Institute（艾伦·图灵研究所）；University College London（伦敦大学学院）
最近的研究表明，机器学习方法在地理和城市分析中的使用越来越多，主要是使用监督方法从空间和时间数据中提取特征和模式。将地理过程整合到机器学习模型中以及使用无监督方法对地理数据进行知识发现的研究一直很少。这项研究有助于阶梯，在那里我们展示了如何从城市图像的无监督学习方法中学习到的潜在变量可以用于地理知识发现。特别是，我们提出了一种简单的方法称为卷积PCA（ConvPCA），适用于街道水平和街道网络图像，以找到一组不相关和有序的视觉latentcomponents。该方法允许有意义的解释，使用地理和生成可视化的组合来探索潜在的空间，并显示如何学习表示可以用来预测城市特征，如街道质量和街道网络属性。研究还发现，与可解释性较低的降维技术相比，ConvPCA模型的视觉组件达到了相似的精度。
2019-10-11 cs.CV cs.CY cs.LG
HEAP: Unsupervised Object Discovery and Localization with Contrastive Grouping
National University of Singapore（新加坡国立大学）；Huawei International Pte Ltd（华为国际私人有限公司）
提出基于对比分组的分层合并框架HEAP，通过轻量级交叉注意力头和区域级、图像级对比损失实现高效的分层图像分解，在无监督目标发现与定位任务上取得最先进性能。
2024-01-04 cs.CV
Real-time Unsupervised Object Discovery from Asynchronous Event Streams
School of Engineering and Technology（工程与技术学院）；University of New South Wales（新南威尔士大学）
本文提出一种轻量型、无需训练的异步事件流运动目标发现框架，含SPEF与EMCC两项核心组件，在多数据集上实现优异的去噪与目标发现性能，为资源受限视觉感知提供新方案。
2026-08-28 cs.CV
Unsupervised Primitive Discovery for Improved 3D Generative Modeling
Inception Institute of Artificial Intelligence（起点人工智能研究院）；National University of Defense Technology（国防科技大学）；Australian National University（澳大利亚国立大学）；Sun Yat-sen University（中山大学）；University of Canberra（堪培拉大学）；Data61, Commonwealth Scientific and Industrial Research Organization（联邦科学与工业研究组织Data61）
三维形状生成是一个具有挑战性的问题，由于高维的输出空间和复杂的部分配置的现实世界中的对象。因此，现有的算法在3D形状的精确生成建模中遇到困难。在这里，我们提出了一种新的因式分解生成模型的3D形状生成，依次从粗过渡到细尺度的形状生成。为此，我们引入了一个无监督的原始发现算法的基础上高阶条件随机场模型。在第一阶段中，使用形状的基本部分作为属性，对参数化的3D表示进行建模。在下一阶段，通过向形状添加精细比例细节来进一步细化该表示。我们的研究结果表明，改进的表示能力的生成模型和新生成的3D形状更好的质量样本。此外，我们的原语生成方法可以准确地解析到一个简化的表示常见的对象。
2019-06-09 cs.CV
Unsupervised 3D Shape Learning from Image Collections in the Wild
University of Bern（伯尔尼大学）
我们提出了一种直接从图像集合中学习物体3D表面的方法。以前的工作实现了这种能力，利用额外的手动注释，如对象姿态，3D表面模板，视频的时间连续性，手动选择的地标，和前景/背景掩模。相比之下，我们的方法不使用任何这样的注释。相反，它建立了一个生成模型，一个卷积神经网络，给定一个噪声向量样本，输出物体的3D表面和纹理以及背景图像。然后，将这3个分量与附加的随机视点向量相结合，馈送到差分渲染器，以产生采样对象和背景的视图。我们的一般原则是，如果渲染器的输出（生成的图像）是真实的，那么它的输入（生成的3D和纹理）也应该是真实的。为了实现真实感，生成模型是针对试图区分渲染器的输出和来自给定数据集的真实图像的训练器进行对抗训练的。此外，我们的生成模型可以与编码器配对，并作为自动编码器进行训练，以自动提取图像中对象的3D形状，纹理和姿态。我们训练的生成模型和编码器在真实数据和合成数据上都显示出令人鼓舞的结果，这首次证明了从图像集合中进行完全无监督的3D学习是可能的。
2018-11-27 cs.CV
Unsupervised routine discovery in egocentric photo-streams
University of Groningen（格罗宁根大学）；University of Barcelona（巴塞罗那大学）
一个人的日常生活是由不同日子的活动定义的，可以直接影响人的健康。在这项工作中，我们解决了日常相关的日子的认识。为此，我们依靠以自我为中心的图像，这些图像由可穿戴相机记录，并允许从第一人称视角监控用户的生活。我们提出了一个无监督的模型，确定日常相关的日子，离群值检测方法。我们在总共72天的时间内以照片流的形式测试了所提出的框架，这些照片流覆盖了5个不同相机佩戴者的大约2周的生活。我们的模型为所有用户实现了平均76%的准确率和68%的加权F分数。因此，我们表明，我们的框架能够识别日常相关的日子，并打开大门，了解人们的行为。
2019-05-10 cs.CV
LOTUS: Continual Imitation Learning for Robot Manipulation Through Unsupervised Skill Discovery
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Peking University（北京大学）
LOTUS通过无监督技能发现和元控制器组合技能，使机器人仅凭少量演示即可持续学习新操作任务，成功率比现有最佳方法高11%以上。
2024-11-23 cs.CV cs.LG cs.RO
Unsupervised object discovery for instance recognition
Inria Rennes VRG, FEE, CTU in Prague（法国国家信息与自动化研究所雷恩分所VRG、费尔科学院（FEE）、捷克技术大学布拉格分校（CTU in Prague））；Inria（法国国家信息与自动化研究所）；CTU in Prague（捷克技术大学布拉格分校）
严重的背景杂波在许多计算机视觉任务中是具有挑战性的，包括大规模图像检索。由于其内存和搜索效率而流行的全局描述符特别容易被这种混乱破坏。消除杂乱对图像描述符的影响增加了检索相关图像的机会，并防止了由于在查询扩展的情况下实际检索杂乱而导致的主题漂移。在这项工作中，我们提出了一种新的显着区域检测方法。它以无监督的方式捕获数据集中既有区别又常见的模式。显着性基于从数据集图像的区域CNN表示构造的最近邻图的中心性度量。从显著区域导出的描述符提高了特定对象的检索，在包含小对象的大型集合中最明显。
2018-01-24 cs.CV
Unsupervised Deep Learning by Neighbourhood Discovery
Queen Mary University of London（伦敦玛丽女王大学）；Vision Semantics Limited（Vision Semantics有限公司）
深度卷积神经网络（CNN）通过监督学习强视觉特征表示，在计算机视觉中取得了显着的成功。然而，训练CNN在很大程度上依赖于详尽的训练数据注释的可用性，这大大限制了它们在许多应用场景中的部署和可扩展性。在这项工作中，我们引入了一种通用的无监督深度学习方法来训练深度模型，而无需任何手动标签监督。具体来说，我们逐步发现样本锚定/中心邻域的原因，并学习底层类决策边界迭代和累积。每个邻域都是专门制定的，以便所有成员样本可以以高概率共享相同的不可见类标签，以便于在训练过程中提取类判别特征表示。图像分类实验表明，该方法的性能优势，国家的最先进的无监督学习模型的六个基准，包括粗粒度和细粒度的目标图像分类。
2019-05-30 cs.CV
Neural Activation Constellations: Unsupervised Part Model Discovery with Convolutional Networks
University of Jena（耶拿大学）
对象类别的部分模型对于具有挑战性的识别任务是必不可少的，其中类别的差异是微妙的，并且仅反映在对象的小部分的外观上。我们提出了一种能够以完全无监督的方式学习零件模型的方法，没有零件注释，甚至在学习过程中没有给定的边界框。其关键思想是找到使用卷积神经网络计算的神经激活模式的星座。在我们的实验中，我们优于现有的细粒度识别方法的CUB 200 -2011，NA鸟，牛津PETS和牛津花数据集的情况下，没有部分或限界框注释是可用的，并达到最先进的性能斯坦福狗数据集。我们还展示了神经星座模型作为一种用于微调的数据增强技术的好处。此外，我们的论文统一了通用和细粒度分类的领域，因为我们的方法适用于这两种情况。我们的方法的源代码可以在http://www.inf-cv.uni-jena.de/part_discovery上在线获得
2015-12-05 cs.CV
Unsupervised Discovery of Disentangled Manifolds in GANs
University of California at Merced（加州大学默塞德分校）
由于最近的生成模型可以生成照片般逼真的图像，人们试图了解生成过程背后的机制。可解释的生成过程有利于各种图像编辑应用。在这项工作中，我们提出了一个框架，发现潜在空间中的任意预训练的生成对抗网络可解释的方向。我们建议学习从表示不同属性的先前独热向量到预训练模型使用的潜在空间的转换。此外，我们应用一个质心损失函数，以提高一致性和平滑性，同时通过不同的方向遍历。我们证明了所提出的框架在广泛的数据集上的有效性。所发现的方向向量被示出为在视觉上对应于各种不同的属性，并且因此使得能够进行属性编辑。
2020-11-29 cs.CV
Unsupervised Discovery of Toxoplasma gondii Motility Phenotypes
The University of Georgia（佐治亚大学）
弓形虫是一种寄生性原生动物，可引起播散性弓形虫病，这种疾病折磨着世界上大约三分之一的人口。其毒力取决于其运动性和进出有核细胞的能力;因此，阐明其运动机制，特别是其裂解周期背景下的运动模式的研究对于最终开发治疗策略至关重要。在这里，我们提出了一个端到端的计算管道，用于识别T。弓形虫运动性表型在一个完全无人监督，数据驱动的方式。我们跟踪的寄生虫之前和之后，除了细胞外的Ca 2+，研究其对寄生虫运动模式的影响，并使用这些信息来parameterized的运动和分组，根据时空动力学的相似性。
2018-01-11 cs.CV q-bio.QM
Enhancing Object Discovery for Unsupervised Instance Segmentation and Object Detection
College of Computer Science and Artificial Intelligence, Wenzhou University（计算机科学与人工智能学院，温州大学）；Oujiang Laboratory (Zhejiang Lab for Regenerative Medicine, Vision and Brain Health), Eye Hospital, Wenzhou Medical University（瓯江实验室（浙江省再生医学、视觉与脑健康实验室），温州医科大学眼医院）
COLER是一种无监督实例分割和目标检测方法，通过CutOnce生成伪标签并利用自监督模型提升性能，无需复杂损失函数。
2025-12-12 cs.CV
Unsupervised deep clustering for predictive texture pattern discovery in medical images
Computational Imaging Research Lab (CIR)（计算成像研究实验室（CIR））；Department of Biomedical Imaging and Image-guided Therapy（生物医学成像与影像引导治疗系）；Medical University of Vienna（维也纳医科大学）
成像数据中的预测标记模式是量化疾病和进展的一种手段，但如果对潜在的生物学知之甚少，则其识别具有挑战性。在这里，我们提出了一种方法来识别预测的医学图像中的纹理模式，在无监督的方式。基于深度聚类网络，我们在低维潜在空间中同时编码和聚类医学图像块。由此产生的聚类作为疾病分期的特征，将它们与潜在疾病联系起来。我们对70例不同阶段肝脂肪变性患者的T1加权磁共振图像进行了评估。深度聚类方法能够找到具有稳定排名的预测聚类，区分F1评分为0.78的低脂肪变性和高脂肪变性。
2020-01-31 cs.CV cs.LG
Unsupervised Discovery of Multimodal Links in Multi-image, Multi-sentence Documents
Cornell University（康奈尔大学）
图像和文本经常在网络上同时出现，但图像和句子（或其他文档内文本单元）之间的显式链接通常不存在。我们提出了发现图像-句子关系的算法，而不依赖于训练中的显式多模态注释。我们在七个不同难度的数据集上进行了实验，从由众包工作者事后标题的图像组组成的文档到自然发生的用户生成的多模态文档。我们发现，一个结构化的训练目标的基础上，确定是否收集的图像和句子共同出现在文档中，可以足以预测特定的句子和特定的图像之间的链接在同一个文件在测试时间。
2019-08-31 cs.CL cs.CV
Weakly-supervised Contrastive Learning for Unsupervised Object Discovery
Northwestern Polytechnical University（西北工业大学）；Australian National University（澳大利亚国立大学）
本文针对无监督物体发现任务，提出通过弱监督对比学习微调DINO特征编码器以增强语义特征，并结合主成分分析定位物体区域，在基准数据集上验证了有效性。
2023-07-07 cs.CV
KeypointDeformer: Unsupervised 3D Keypoint Discovery for Shape Control
University of Oxford（牛津大学）；UC Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）；Google Research（谷歌研究院）
我们介绍了KeypointDeformer，这是一种通过自动发现3D关键点进行形状控制的新型无监督方法。我们将其转换为将源3D对象与来自相同对象类别的目标3D对象对齐的问题。我们的方法通过比较两个对象的潜在表示来分析它们的形状之间的差异。这种潜在的表示形式是以无监督的方式学习的3D关键点。然后，源对象和目标对象的3D关键点之间的差异通知将源对象变形为目标对象的形状变形算法。整个模型是端到端学习的，同时发现3D关键点，同时学习使用它们来变形对象形状。我们的方法产生直观和语义一致的控制形状变形。此外，我们发现的3D关键点在对象类别实例中是一致的，尽管形状变化很大。由于我们的方法是无监督的，它可以很容易地部署到新的对象类别，而不需要3D关键点和变形的注释。
2021-04-22 cs.CV cs.GR
Object landmark discovery through unsupervised adaptation
Samsung AI Centre（三星人工智能中心）；University of Nottingham（诺丁汉大学）
本文提出了一种方法，以减轻无监督学习的目标地标检测器。与以前的方法类似，我们的方法在某种意义上是完全无监督的，即它不需要或不使用目标对象类别的注释地标。与以前的作品相反，我们假设一个地标检测器，它已经学会了一个结构化的表示为一个给定的对象类别在一个完全监督的方式，是可用的。在这种设置下，我们的主要思想归结为以完全无监督的方式使给定的预训练网络适应目标对象类别。为此，我们的方法使用预训练的网络作为核心，在训练过程中保持冻结并且不更新，并且以无监督的方式只学习投影矩阵来适应目标类别。通过建立在以监督方式学习的现有结构化表示的基础上，由我们的方法解决的优化问题受到更多的约束，需要学习的参数显著减少，这对于无监督学习的情况似乎很重要。我们表明，我们的方法超越了从头开始训练的完全无监督技术以及基于微调的强大基线，并在几个数据集上产生了最先进的结果。代码可以在https://github.com/ESanchezLozano/SAIC-Unsupervised-landmark-detection-NeurIPS2019上找到。
2019-10-21 cs.CV cs.LG eess.IV
Unsupervised bias discovery in medical image segmentation
Research Institute for Signals, Systems and Computational Intelligence, sinc(i)（信号、系统与计算智能研究所sinc(i)）；CONICET（国家科学技术研究委员会）；Universidad Nacional del Litoral（国立滨海大学）
针对医学图像分割中缺乏真实标注时难以审计模型公平性的问题，提出一种利用反向分类准确性框架的无监督偏差发现方法，可在无真实标签下预测偏差，实验验证有效。
2023-09-01 cs.CV
