Unsupervised Landmark Discovery Using Consistency Guided Bottleneck
Australian National University（澳大利亚国立大学）
本文提出一致性引导瓶颈，通过跨图像地标对应获得伪监督并生成自适应热图，在无监督地标发现任务中显著提升了鲁棒性和性能。
2023-09-19 cs.CV
Unsupervised Domain Adaptation for Anatomical Landmark Detection
The Hong Kong University of Science and Technology（香港科技大学）
针对解剖标志点检测中的域偏移问题，提出结合动态阈值自训练与域对抗学习的无监督域自适应框架，在头影测量、肺部标志点检测任务上效果优于现有方法。
2023-08-25 cs.CV
CyLKs: Unsupervised Cycle Lucas-Kanade Network for Landmark Tracking
Carnegie Mellon University（卡内基梅隆大学）
在大多数现代基于学习的跟踪系统中，需要昂贵的注释来实现最先进的性能。相比之下，Lucas-Kanade（LK）算法在没有任何注释的情况下工作得很好。然而，LK对图像强度的光度（亮度）一致性有很强的假设，并且由于大的运动、遮挡和孔径问题而容易漂移。为了放松假设并缓解漂移问题，我们提出了CyLK，这是一种以无监督方式训练Lucas-Kanade的数据驱动方式。CyLKs通过CNN学习特征变换，将输入图像变换到特别有利于LK跟踪的特征空间。在训练过程中，我们在卷积特征图上向前和向后执行可微的Lucas-Kanade，然后最小化重新投影误差。在测试过程中，我们对学习的功能执行LK跟踪。我们将我们的模型应用于地标跟踪的任务，并在THUMOS和300 VW的数据集上进行实验。
2019-05-21 cs.CV
Unsupervised Learning of Landmarks by Descriptor Vector Exchange
Unitary；VGG, University of Oxford（牛津大学VGG）；University of Edinburgh（爱丁堡大学）
随机图像变换的等方差是一种有效的方法来学习对象类别的地标，例如面部中的眼睛和鼻子，而无需人工监督。然而，这种方法并不能明确地保证所学习的地标与同一对象的不同实例之间的变化（例如不同的面部身份）一致。在本文中，我们开发了一个新的视角的等方差的方法，注意到密集的地标检测器可以被解释为本地图像描述符配备了不变性的类别内的变化。然后，我们提出了一个直接的方法来执行这样的标准等变损失的不变性。我们这样做，交换描述符向量之间的图像不同的对象实例之前，匹配它们的几何。以这种方式，相同的向量必须工作，而不管所考虑的特定对象标识。我们使用这种方法来学习可以同时被解释为局部描述符和密集地标的向量，结合两者的优点。在标准基准上的实验表明，这种方法可以匹配，在某些情况下，超过了现有的方法，学习地标没有监督的最先进的性能。代码可在www.robots.ox.ac.uk/~vgg/research/DVE/上获得。
2019-08-18 cs.CV
Unsupervised Learning of Object Landmarks through Conditional Image Generation
University of Oxford（牛津大学）；University of Edinburgh（爱丁堡大学）
我们提出了一种学习视觉对象（如眼睛和鼻子在脸上）的地标检测器，而无需任何人工监督的方法。我们将此转换为生成图像的问题，所述图像将如在第一示例图像中看到的对象的外观与如在第二示例图像中看到的对象的几何形状相结合，其中两个示例的不同之处在于视点改变和/或对象变形。为了分解外观和几何形状，我们在选择和提取几何相关特征的几何提取过程中引入了一个紧密的瓶颈。与通常使用生成对抗网络的标准图像生成问题相比，我们的生成任务以外观和几何形状为条件，因此不那么模糊，以至于采用简单的感知损失公式就足够了。我们证明了我们的方法可以从合成图像变形或视频中学习对象地标，所有这些都无需人工监督，同时优于最先进的无监督地标检测器。我们进一步表明，我们的方法适用于各种各样的数据集-人脸，人，3D对象和数字-没有任何修改。
2018-12-13 cs.CV
Unsupervised learning of object landmarks by factorized spatial embeddings
University of Oxford（牛津大学）；University of Edinburgh（爱丁堡大学）
自动学习物体类别的结构一直是计算机视觉中一个重要的开放性问题。在本文中，我们提出了一种新的无监督方法，可以发现和学习对象类别中的地标，从而表征其结构。我们的方法是基于因式分解图像变形，如由视点变化或对象变形引起的，通过学习深度神经网络来检测与这种视觉效果一致的地标。此外，我们表明，学习的地标建立有意义的对应关系，在一个类别中的不同对象实例之间，而不必明确地施加这一要求。我们评估的方法定性的各种对象类型，自然和人造。我们还表明，我们的无监督地标在人脸基准数据集中对手动注释的地标具有高度的预测性，并且可以用于以高度的准确性回归这些地标。
2017-08-06 cs.CV stat.ML
Supervision-by-Registration: An Unsupervised Approach to Improve the Precision of Facial Landmark Detectors
University of Technology Sydney（悉尼科技大学）；Facebook Reality Labs（脸书现实实验室）
在本文中，我们提出了监督注册，一种无监督的方法，以提高图像和视频上的面部标志检测器的精度。我们的关键观察是，相邻帧中相同地标的检测应该与配准一致，即，光流。有趣的是，光流的相干性是不需要手动标记的监督源，并且可以在检测器训练期间利用。例如，我们可以在训练损失函数中强制在帧$_{t-1}$处检测到的界标，随后是从帧$_{t-1}$到帧$_t$的光流跟踪，应当与在帧$_t$处的检测的位置一致。从本质上讲，配准监督通过配准损失来增强训练损失函数，从而训练检测器以具有不仅接近标记图像中的注释，而且与大量未标记视频上的配准一致的输出。具有配准丢失的端到端训练通过可微分的Lucas-Kanade操作而成为可能，该操作在前向传递中计算光流配准，并且反向传播促进检测器中的时间相干性的梯度。我们的方法的输出是一个更精确的基于图像的面部标志检测器，它可以应用于单个图像或视频。通过配准监督，我们证明了（1）图像（300 W，ALFW）和视频（300 VW，Youtube-Celebrity）上的面部标志检测的改进，以及（2）视频检测中抖动的显着减少。
2018-07-04 cs.CV
Pretrained equivariant features improve unsupervised landmark discovery
National University of Singapore（新加坡国立大学）
定位语义上有意义的标志点是大量计算机视觉管道的关键组成部分。由于具有真实地标注释的可用数据集数量很少，因此设计鲁棒的无监督和半监督地标检测方法非常重要。最近的许多无监督学习方法依赖于地标的等方差特性来合成图像变形。我们的工作集中在这些广泛使用的方法上，并揭示了其核心问题，即无法产生等变中间卷积特征。这一发现使我们制定了一个两步的无监督方法，通过首先学习强大的基于像素的特征，然后使用预先训练的特征通过传统的等方差方法学习地标检测器来克服这一挑战。我们的方法在几个具有挑战性的地标检测数据集（如BBC Pose数据集和Cat-Head数据集）中产生了最先进的结果。它在一系列其他基准测试中进行了测试。
2021-04-07 cs.AI cs.CV cs.LG
Unsupervised Performance Analysis of 3D Face Alignment with a Statistically Robust Confidence Test
Centre Inria（法国国家信息与自动化研究所中心）；Université de Lorraine（洛林大学）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
本文提出一种3D人脸对齐的无监督性能分析方法，通过鲁棒估计预测与模型关键点间的刚性变换并计算统计鲁棒置信度分数，在无需人工标注的情况下有效评估关键点定位和数据集标注的准确性。
2023-10-30 cs.CV
Learning the Imaging Landmarks: Unsupervised Key point Detection in Lung Ultrasound Videos
Indian Institute of Technology Palakkad（帕拉卡德印度理工学院）；La Paz Hospital（拉巴斯医院）；Government Medical College Thiruvananthapuram（特里凡得琅医学院）
肺部超声（LUS）是一种越来越受欢迎的诊断成像模式，用于连续和定期监测肺部感染，具有非侵入性、非电离性、便携性和易于消毒的优点。临床医生使用LUS进行分类的主要标志是胸膜、A线和B线。已经有许多努力来自动检测这些地标。然而，限制于几个预定义的标志可能无法揭示实际的成像生物标志物，特别是在新的病理学如COVID-19的情况下。相反，鉴于大量神经网络算法的可用性，关键地标的识别应该由数据驱动。这项工作是首次尝试在感染的各个阶段对COVID-19受试者的LUS视频中的关键LUS标志进行无监督检测。我们采用了相对较新的转运神经网络方法，根据胸膜、A线和B线的周期性运动和视频中相对稳定的外观自动标记和跟踪胸膜、A线和B线。无监督胸膜检测的初步结果显示，采用1081 LUS视频帧的准确率为91.8%。
2021-06-13 cs.CV eess.IV
Object landmark discovery through unsupervised adaptation
Samsung AI Centre（三星人工智能中心）；University of Nottingham（诺丁汉大学）
本文提出了一种方法，以减轻无监督学习的目标地标检测器。与以前的方法类似，我们的方法在某种意义上是完全无监督的，即它不需要或不使用目标对象类别的注释地标。与以前的作品相反，我们假设一个地标检测器，它已经学会了一个结构化的表示为一个给定的对象类别在一个完全监督的方式，是可用的。在这种设置下，我们的主要思想归结为以完全无监督的方式使给定的预训练网络适应目标对象类别。为此，我们的方法使用预训练的网络作为核心，在训练过程中保持冻结并且不更新，并且以无监督的方式只学习投影矩阵来适应目标类别。通过建立在以监督方式学习的现有结构化表示的基础上，由我们的方法解决的优化问题受到更多的约束，需要学习的参数显著减少，这对于无监督学习的情况似乎很重要。我们表明，我们的方法超越了从头开始训练的完全无监督技术以及基于微调的强大基线，并在几个数据集上产生了最先进的结果。代码可以在https://github.com/ESanchezLozano/SAIC-Unsupervised-landmark-detection-NeurIPS2019上找到。
2019-10-21 cs.CV cs.LG eess.IV
Pose-Guided Self-Training with Two-Stage Clustering for Unsupervised Landmark Discovery
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；University of Heidelberg（海德堡大学）；Information Technology University of Punjab（旁遮普信息技术大学）
本文探索扩散模型在无监督关键点发现中的潜力，提出基于扩散特征的ZeroShot基线、自训练聚类算法及两阶段聚类机制生成潜在姿态码伪标签，在四个基准上显著优于现有方法。
2024-03-24 cs.CV
Video Interpolation and Prediction with Unsupervised Landmarks
NVIDIA Corporation（英伟达公司）
长距离视频数据的预测和插值涉及对每个可见对象的运动轨迹、遮挡和非遮挡以及由于视点和照明引起的外观变化进行建模的复杂任务。基于光流的技术一般化，但仅适用于短时间范围。许多方法选择将视频帧投影到低维潜在空间，实现远程预测。然而，这些潜在的表征通常是不可解释的，因此难以操纵。这项工作提出了视频预测和插值作为无监督的潜在结构推理，然后在这个潜在空间的时间预测。潜在的表示捕捉前景语义，而没有显式的监督，如关键点或姿势。此外，由于每个地标可以被映射到指示语义部分位于何处的坐标，因此我们可以在坐标域内可靠地插值以实现可预测的运动插值。鉴于图像解码器能够将这些地标映射回图像域，我们能够通过在地标表示空间上操作来实现高质量的长距离视频内插和外插。
2019-09-06 cs.CV cs.LG stat.ML
Unsupervised Landmark Detection Based Spatiotemporal Motion Estimation for 4D Dynamic Medical Images
Shanghai Jiao Tong University（上海交通大学）；University of Sydney（悉尼大学）；Ruijin Hospital, Shanghai Jiao Tong University School of Medicine（上海交通大学医学院瑞金医院）
运动估计是动态医学图像处理中用于评估靶器官解剖结构和功能的基本步骤。然而，现有的基于图像的运动估计方法，通过评估局部图像相似性来优化运动场，容易产生令人难以置信的估计，特别是在存在大的运动。在这项研究中，我们提供了一个新的运动估计框架的密集-稀疏-密集（DSD），其中包括两个阶段。在第一阶段中，我们处理原始的密集图像，以提取稀疏的地标来表示目标器官的解剖拓扑结构，并丢弃冗余的信息，是不必要的运动估计。为此，我们引入了一个无监督的3D地标检测网络提取空间稀疏，但代表性的地标的目标器官运动估计。在第二阶段中，我们从不同时间点的两幅图像的提取的稀疏地标推导出稀疏运动位移。然后，我们提出了一个运动重建网络，通过将稀疏地标位移投影回稠密图像域来构建运动场。此外，我们采用从我们的两阶段DSD框架的估计的运动场作为初始化和提高运动估计质量在轻量级但有效的迭代优化。我们评估我们的方法对两个动态医学成像任务，分别模拟心脏运动和肺呼吸运动。与现有的比较方法相比，我们的方法产生了优越的运动估计精度。此外，大量的实验结果表明，我们的解决方案可以很好地提取代表性的解剖标志，而不需要任何手动注释。我们的代码在网上公开。
2021-11-08 cs.CV eess.IV
Correctable Landmark Discovery via Large Models for Vision-Language Navigation
Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）；PengCheng Laboratory（鹏城实验室）；Dataa Robotics（达闼机器人公司）；Shenzhen Institute of Advanced Technology（深圳先进技术研究院）
提出CONSOLE范式，将VLN转化为开放世界序列地标发现问题，利用ChatGPT和CLIP提供常识先验并进行地标发现，通过可学习共现评分模块纠正噪声，在多个基准上取得显著优势。
2024-06-05 cs.AI cs.CL cs.CV
Self-Supervised Discovery of Anatomical Shape Landmarks
Scientific Computing and Imaging Institute, University of Utah（犹他大学科学计算与成像研究所）；School of Computing, University of Utah（犹他大学计算学院）
统计形状分析在广泛的医学和生物学应用中是非常有用的工具。然而，它通常依赖于产生相对少量的特征的能力，这些特征可以捕获群体中的相关变异性。用于获得这样的解剖特征的现有技术方法依赖于广泛的预处理或分割和/或显著的调谐和后处理。这些缺点限制了形状统计的广泛应用。我们建议，有效的形状表示应该提供足够的信息来对齐/注册图像。利用这一假设，我们提出了一个自我监督，神经网络方法自动定位和检测图像中的地标，可用于后续分析。该网络发现对应于解剖形状特征的界标，这些特征在特定类别的变换的背景下促进良好的图像配准。此外，我们还对所提出的网络提出了一种正则化方法，可以使这些发现的地标均匀分布。在本文中，我们提出了一个完整的框架，它只需要一组输入图像，并产生可立即用于统计形状分析的地标。我们评估的性能幻影数据集以及2D和3D图像。
2020-06-13 cs.CV cs.LG
Leveraging Unsupervised Image Registration for Discovery of Landmark Shape Descriptor
University of Utah（犹他大学）
在当前的生物学和医学研究中，统计形状建模（SSM）为解剖学/形态学的表征提供了一个重要的框架。这种分析通常是通过识别在总体样本中发现的相对少量的几何一致特征来驱动的。这些特征随后可以提供关于群体形状变化的信息。密集对应模型可以提供计算的便利性，并在随后进行降维时产生可解释的低维形状描述符。然而，用于获得这种对应关系的自动方法通常需要图像分割，然后进行显著的预处理，这在计算和人力资源方面都是繁重的。在许多情况下，分割和后续处理需要人工指导和解剖学特定领域的专业知识。本文提出了一种自监督的深度学习方法，用于从图像中发现地标，这些地标可以直接用作后续分析的形状描述符。我们使用地标驱动的图像配准作为主要任务，迫使神经网络发现地标，配准图像。我们还提出了一个正则化项，它允许神经网络的鲁棒优化，并确保地标均匀地跨越图像域。所提出的方法绕过分割和预处理，并直接产生一个可用的形状描述符，只使用2D或3D图像。此外，我们还提出了两个变量的训练损失函数，允许事先的形状信息被集成到模型中。我们将此框架应用于几个2D和3D数据集，以获得它们的形状描述符，并分析它们在各种应用中的实用性。
2021-11-13 cs.CV cs.LG eess.IV
On Equivariant and Invariant Learning of Object Landmark Representations
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
给定一组图像，人类能够通过对实例之间共享的几何结构进行建模来发现地标。这种几何等变性的思想已被广泛用于对象地标表示的无监督发现。在本文中，我们开发了一个简单而有效的方法，结合实例判别和空间判别对比学习。我们表明，当深度网络被训练为对几何和光度变换不变性时，其中间层中会出现对对象地标具有高度预测性的表示。将这些跨层堆叠在“超列”中并使用空间对比学习来投影它们，进一步提高了它们在匹配和Few-Shot地标回归任务上的性能。我们还提出了一个统一的观点，现有的等变和不变的表示学习方法，通过对比学习的镜头，阐明了学习的不变性的性质。在地标学习的标准基准上进行的实验，以及我们提出的一个新的具有挑战性的实验，表明所提出的方法超越了现有的最先进的方法。
2021-04-02 cs.CV
Improving Landmark Localization with Semi-Supervised Learning
MILA-University of Montreal（蒙特利尔大学MILA研究所）；NVIDIA（英伟达）；Ecole Polytechnique of Montreal（蒙特利尔高等理工学院）；CIFAR（加拿大高等研究院）；Facebook AI Research（脸书人工智能研究院）
我们提出了两种技术，以提高部分注释数据集的图像中的地标定位。我们的主要目标是利用常见的情况下，精确的地标位置只提供了一个小的数据子集，但分类或回归任务的类标签与地标更丰富。首先，我们提出了顺序多任务处理的框架，并通过地标定位的架构来探索它，其中使用类标签的训练作为辅助信号来指导未标记数据上的地标定位。我们的方法的一个关键方面是，错误可以通过一个完整的地标定位模型反向传播。其次，我们提出并探索了一个无监督学习技术的地标定位的基础上有一个模型预测同变地标相对于应用到图像的变换。我们表明，这些技术大大提高了地标预测，即使只有一小部分数据集具有地标标签，也可以学习有效的检测器。我们在两个玩具数据集和四个真实数据集上展示了结果，包括手和脸，并在两个野外数据集上报告了新的最先进的技术，例如，只有5%的标记图像，我们的表现优于先前在AFLW数据集上训练的最先进的技术。
2018-10-28 cs.CV
Image Segmentation-based Unsupervised Multiple Objects Discovery
Université Paris-Saclay（巴黎萨克雷大学）；CEA List（法国原子能和替代能源委员会列表研究所）
无监督对象发现旨在定位图像中的对象，同时消除大多数基于深度学习的方法所需的对注释的依赖。为了解决这个问题，我们提出了一个完全无监督的，自底向上的方法，多个对象的发现。拟议的办法是一个两阶段框架。首先，利用自监督局部特征之间的图像内相似性分割对象部分的实例。第二步合并和过滤对象部分以形成完整的对象实例。后者由两个CNN模型执行，这些模型从整个数据集中捕获对象的语义信息。我们证明，我们的方法产生的伪标签提供了一个更好的精度召回权衡比现有的单一和多个对象的发现方法。特别是，我们提供了国家的最先进的无监督类不可知的目标检测和无监督图像分割的结果。
2022-12-20 cs.CV
Unsupervised Image Matching and Object Discovery as Optimization
ENS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL University（巴黎文理研究大学）；INRIA（法国国家信息与自动化研究所）；POSTECH（浦项科技大学）；University of Oxford（牛津大学）；New York University（纽约大学）
完全或部分监督的学习是强大的，但依赖于不断增长的人类注释工作。作为缓解这一严重问题的一种方法，以及为特定的应用服务，无监督学习已成为一个重要的研究领域。在计算机视觉中，无监督学习有各种各样的形式。在Cho et al. 2015的工作之后，我们在这里专注于集合中图像之间对象类别的无监督发现和匹配。我们表明，原来的方法可以重新制定和解决作为一个适当的优化问题。几个基准的实验建立我们的方法的优点。
2019-04-05 cs.CV
Motion-Refined DINOSAUR for Unsupervised Multi-Object Discovery
TU Darmstadt（图宾根大学）；TU Munich（慕尼黑大学）；MCML（MCML研究所）；ELIZA（ELIZA研究所）
针对现有无监督多目标发现方法需监督生成伪标签的问题，提出MR-DINOSAUR方法，通过无监督光流运动分割生成伪标签细化槽位表示，在完全无监督下于TRI-PD、KITTI数据集上超越现有最优水平。
2025-09-02 cs.CV
Foreground Guidance and Multi-Layer Feature Fusion for Unsupervised Object Discovery with Transformers
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
无监督对象发现（UOD）最近通过采用预训练的Transformer特征取得了令人鼓舞的进展。然而，基于Transformers的当前方法主要集中于设计定位头（例如，种子选择-扩展和标准化切割），而忽略了改进Transformer特性的重要性。在这项工作中，我们从特征增强的角度处理UOD任务，并提出FOREground指导和多层特征融合的无监督对象发现，称为FORMULA。首先，我们提出了一种前景指导策略，使用现成的UOD检测器来突出特征图上的前景区域，然后以迭代的方式细化对象位置。此外，为了解决目标检测中的尺度变化问题，我们设计了一个多层特征融合模块，将不同尺度下的目标特征进行融合。在VOC 07、VOC 12和COCO 20 k上的实验表明，所提出的FORMULA算法在无监督对象发现方面取得了新的成果。该代码将在https://github.com/VDIGPKU/FORMULA上发布。
2022-10-24 cs.CV
Unsupervised Object Discovery: A Comprehensive Survey and Unified Taxonomy
ÉTS Montréal（蒙特利尔高等技术学院）
本文针对无监督目标发现领域现有研究零散、缺乏系统梳理的问题，全面综述相关方法，按任务与技术族系分类，梳理数据集与指标并指出评估难点，为领域研究者提供参考并推动新研究。
2024-10-30 cs.CV
Joint Learning of Semantic Alignment and Object Landmark Detection
Yonsei University（延世大学）；Ewha Womans University（梨花女子大学）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
基于卷积神经网络（CNN）的语义对齐和目标地标检测方法显着提高了它们的性能。目前这两项任务的努力集中在通过弱或无监督学习框架来解决缺乏大量训练数据的问题。在本文中，我们提出了一种联合学习方法，用于从语义相似的图像中获得密集的对应关系和发现对象地标。基于这两个任务可以相互提供监督的关键见解，我们的网络通过联合损失函数来实现这一点，该函数在两个任务之间交替施加一致性约束，从而提高性能并以原则性的方式解决缺乏训练数据的问题。据我们所知，这是首次尝试通过联合学习解决这两项任务缺乏训练数据的问题。为了进一步提高我们的框架的鲁棒性，我们引入了一个概率学习公式，只允许在联合学习过程中使用可靠的匹配。与所提出的方法，国家的最先进的性能达到几个标准的基准语义匹配和地标检测，包括新引入的数据集，JLAD，其中包含更多的挑战性的图像对比现有的数据集。
2019-10-02 cs.CV
Unsupervised Discovery of Object-Centric Neural Fields
Cornell University（康奈尔大学）；Stanford University（斯坦福大学）
本文提出 uOCF，通过分离对象内在属性与外在位姿，从单张真实图像无监督学习高保真3D对象中心表示，并实现对未见对象的零样本泛化。
2025-02-14 cs.CV
Unsupervised Discovery of 3D Hierarchical Structure with Generative Diffusion Features
University of North Carolina（北卡罗来纳大学）
利用生成扩散模型的多阶段特征，通过三种损失训练无监督分割网络，将三维生物医学图像分解为嵌套层次结构，在合成及真实脑肿瘤MRI数据上优于现有方法。
2023-10-10 cs.CV
Unsupervised Discovery of Actions in Instructional Videos
Robotics at Google（谷歌机器人部门）；Google Research（谷歌研究院）
在本文中，我们解决的问题，自动发现原子的行动在无监督的方式从教学视频。教学视频包含复杂的活动，是智能代理的丰富信息源，例如，自主机器人或虚拟助手，它们可以自动“读取”教学视频中的步骤并执行它们。然而，视频很少用原子活动、它们的边界或持续时间来注释。我们提出了一种无监督的方法来学习原子动作的结构化的人类任务，从各种教学视频。我们提出了一个序列随机自回归模型的时间分割的视频，学习表示和发现的顺序关系的任务的不同原子动作，并提供自动和无监督的自标记的视频。我们的方法优于最先进的无监督方法，具有很大的利润率。我们将开放源代码。
2021-06-28 cs.CV
Unsupervised Part Discovery by Unsupervised Disentanglement
Heidelberg Collaboratory for Image Processing / IWR, Heidelberg University（海德堡大学图像处理合作实验室 / IWR）
我们解决的问题，发现部分分割的铰接对象没有监督。与关键点相比，零件分割提供关于各个像素级别上的零件定位的信息。它们捕获位置和语义，是监督学习方法的有吸引力的目标。然而，大的注释成本限制了监督算法对人类以外的其他对象类别的可扩展性。无监督方法可能允许以更低的成本使用更多的数据。大多数现有的无监督方法都专注于学习抽象表示，并在监督下将其细化为最终表示。我们的方法利用了生成模型组成的两个解纠缠表示对象的形状和外观和一个潜在的变量的部分分割。从单个图像，训练的模型推断出语义部分分割图。在实验中，我们将我们的方法与以前最先进的方法进行比较，并观察到分割精度和形状一致性的显着提高。我们的工作证明了在没有监督的情况下发现语义部分分割的可行性。
2020-09-10 cs.CV
Unsupervised Object Discovery and Localization in the Wild: Part-based Matching with Bottom-up Region Proposals
Inria（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
本文讨论了无监督的发现和定位的主要对象从嘈杂的图像集合与多个对象类。这个问题的设置是完全无监督的，甚至没有图像级注释或任何单一主导类的假设。这比典型的共定位、共分割或弱监督定位任务更普遍。我们使用基于部件的区域匹配方法来解决发现和定位问题：我们使用现成的区域建议来形成对象和对象部件的一组候选边界框。这些区域使用概率Hough变换有效地在图像之间进行匹配，该概率Hough变换考虑外观和空间一致性来评估每个候选对应的置信度。通过比较候选区域的分数并选择比包含它们的其他区域突出的区域来发现和定位主导对象。在标准基准上进行的大量实验评估表明，该方法在共定位方面的性能明显优于当前最先进的方法，并在具有挑战性的混合类数据集上实现了鲁棒的对象发现。
2015-05-04 cs.CV
Large-Scale Unsupervised Object Discovery
INRIA（法国国家信息与自动化研究所）；ENS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL University（巴黎文理研究大学）；New York University（纽约大学）
现有的无监督对象发现（UOD）方法在没有近似的情况下无法扩展到大型数据集，这会影响其性能。我们提出了一种新的配方UOD作为一个排名问题，服从于武器库的分布式方法可用于特征值问题和链接分析。通过使用自监督功能，我们还展示了UOD的第一个有效的完全无监督管道。COCO和OpenImages上的大量实验表明，在每个图像中寻找单个突出对象的单对象发现设置中，所提出的LOD（大规模对象发现）方法与中等规模数据集（高达120K图像）的最新技术水平相当或更好，并且比能够扩展到1.7M图像的唯一其他算法好37%以上。在每个图像中寻找多个对象的多对象发现设置中，对于从20K到1.7M图像的数据集，所提出的LOD的平均精度（AP）比所有其他方法高出14%以上。使用自监督特征，我们还表明，该方法获得了最先进的UOD性能OpenImages。我们的代码可在https://github.com/huyvvo/LOD上公开获取。
2021-11-16 cs.CV
UDIS: Unsupervised Discovery of Bias in Deep Visual Recognition Models
Georgia Institute of Technology（佐治亚理工学院）
深度学习模型已经被证明可以从数据中学习虚假的相关性，有时会导致某些亚群的系统性失败。先前的工作通常通过众包各种受保护属性的注释和测量性能来诊断这一点，这既昂贵又难以扩展。在这项工作中，我们提出了UDIS，一个无监督的算法，表面和分析这些故障模式。UDIS通过数据集嵌入的分层聚类来识别亚群，并通过可视化低性能聚类及其梯度加权类激活图来显示系统故障模式。我们证明了UDIS在识别CelebA和MSCOCO数据集上图像分类训练模型的故障模式方面的有效性。
2021-10-29 cs.CV
4D Unsupervised Object Discovery
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Centre for Artificial Intelligence and Robotics, HKISI_CAS（中国科学院香港创新研究院人工智能与机器人中心）
目标发现是计算机视觉的核心任务。虽然有监督的目标检测已经取得了快速的进展，但其无监督的对应物仍然在很大程度上未被探索。随着数据量的增长，昂贵的注释成本是阻碍进一步研究的主要限制。因此，发现没有注释的对象具有重要意义。然而，这个任务似乎是不切实际的静态图像或点云单独由于缺乏判别信息。以往的研究忽视了多模态输入背后的重要时间信息和约束。在本文中，我们提出了4D无监督的对象发现，联合发现对象的4D数据-三维点云和二维RGB图像的时间信息。我们通过提出3D点云上的ClusterNet来提出这项任务的第一个实用方法，该点云与2D定位网络联合迭代优化。在大规模Waymo Open Dataset上进行的大量实验表明，定位网络和定位网络在类无关的2D目标检测和3D实例分割方面都具有竞争力的性能，弥合了无监督方法和全监督方法之间的差距。代码和模型将在https://github.com/Robertwyq/LSMOL上提供。
2022-10-10 cs.CV
Unsupervised Place Discovery for Visual Place Classification
Univ. of FUKUI（福井大学）
在这项研究中，我们探讨了深度卷积神经网络（DCNN）在机器人映射和定位的视觉位置分类中的应用。一个悬而未决的问题是如何将机器人的工作空间划分为多个位置以最大化性能（例如，准确度、精确度、召回率）。这是一个先有鸡还是先有蛋的问题：如果我们有一个经过良好训练的DCNN分类器，那么将机器人的工作空间划分为各个地方是相当容易的，但DCNN分类器的训练需要一组预定义的地方类。在这项研究中，我们解决了这个问题，并提出了几种策略，无监督发现的地方类（“时间线索”，“位置线索”，“时间外观线索”，“位置外观线索”）。我们还使用公开的密歇根大学北校区长期（NCLT）数据集评估所提出的方法的有效性。
2016-12-21 cs.CV
Unsupervised learning from video to detect foreground objects in single images
Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）
从视觉数据中进行无监督学习是计算机视觉中最困难的挑战之一，是理解视觉识别如何工作的基本任务。从实践的角度来看，从无监督的视觉输入中学习具有巨大的实用价值，因为可以以低成本收集大量未标记的视频。在本文中，我们解决的任务无监督学习检测和分割前景物体在单一的图像。我们通过训练由深度神经网络组成的学生路径来实现我们的目标。它学习从单个输入图像（视频帧）预测该特定帧的输出，教师路径在视频中执行无监督对象发现。我们的方法是不同的，从已发表的文献中进行无监督的发现在视频或图像的集合在测试时。我们在训练阶段移动无监督发现阶段，而在测试时，我们沿着学生路径应用标准前馈处理。这有双重好处：首先，它原则上允许在训练期间无限的学习和推广可能性，同时在测试时保持非常快。其次，学生不仅能够在单个图像中检测到比无监督视频发现教师更好的效果，而且还在两个重要的当前基准测试（YouTube Objects和Object Discovery数据集）上取得了最先进的结果。此外，在测试时，我们的系统至少比以前的其他方法快两个数量级。
2017-03-31 cs.CV
Unsupervised semantic discovery through visual patterns detection
Ca’ Foscari University（威尼斯大学）
我们提出了一种新的快速完全无监督的方法来发现语义模式。我们的算法是能够分层找到视觉类别，并产生一个分割掩模，以前的方法失败。通过对图像中的视觉模式进行建模，我们引入了“语义级别”的概念，并设计了一个概念框架以及措施和专用的基准数据集，用于未来的比较。我们的算法由两个阶段组成。过滤阶段，其通过累加器空间选择语义热点，然后聚类阶段，其在超像素的基础上传播热点的语义属性。我们提供了定性和定量的实验验证，在对噪声和语义一致性的鲁棒性方面取得了最佳结果。我们还公开了代码和数据集。
2021-02-24 cs.CV
Unsupervised Place Discovery for Place-Specific Change Classifier
University of Fukui（福井大学）
在这项研究中，我们解决了机器人地图学习应用程序的监督变化检测问题，其目的是训练特定于地点的变化分类器（例如，支持向量机（SVM））来预测来自机器人的视图图像的变化。一个悬而未决的问题是如何将机器人的工作空间划分为多个位置（例如，SVM），以最大限度地提高变化分类器的整体性能。这是一个先有鸡还是先有蛋的问题：如果我们有一个经过良好训练的变化分类器，那么将机器人的工作空间划分为不同的位置是相当容易的。然而，训练变化分类器需要一组特定于地点的训练数据。在这项研究中，我们解决这个新的问题，我们称之为无监督的地方发现。此外，我们提出了一个基于卷积特征的视觉位置识别的解决方案，并通过将其应用于两个特定于位置的变化分类器（即滋扰和异常预测器）来验证我们的方法。
2017-06-07 cs.CV
Unsupervised Discovery of the Long-Tail in Instance Segmentation Using Hierarchical Self-Supervision
Stanford University（斯坦福大学）
实例分割是计算机视觉中的一个活跃话题，通常通过在由对象级掩模组成的非常大的数据集上使用监督学习方法来解决。为任何新领域获得这样的数据集可能非常昂贵和耗时。此外，在某些带注释的类别上训练的模型不能很好地推广到看不见的对象。本文的目标是提出一种方法，可以执行无监督发现的长尾类别的实例分割，通过学习的掩蔽区域的实例嵌入。利用图像中对象之间丰富的关系和层次结构，我们提出了用于学习掩码嵌入的自监督损失。在COCO数据集上进行训练，没有对长尾对象进行额外的注释，我们的模型能够发现比COCO中常见类别更新颖和更细粒度的对象。我们表明，该模型实现了竞争力的定量结果LVIS相比，监督和部分监督的方法。
2021-04-02 cs.CV
Learning the Latent "Look": Unsupervised Discovery of a Style-Coherent Embedding from Fashion Images
UT-Austin（德克萨斯大学奥斯汀分校）
什么定义了视觉风格？时尚风格是从人们如何组合服装中有机地产生的，这使得它们很难用计算模型来确定。低层次的视觉相似性可能过于具体，无法检测到风格相似的图像，而手工制作的风格类别可能过于抽象，无法捕捉细微的风格差异。我们提出了一种无监督的方法来学习风格一致的表示。我们的方法利用基于视觉属性的概率多语言主题模型来发现一组潜在的风格因素。给定一组未标记的时尚图像，我们的方法挖掘潜在的风格，然后通过他们如何混合这些风格来总结服装。我们的方法可以按风格组织服装画廊，而不需要任何风格标签。在超过10万张图像上的实验证明了它在检索、混合和总结时尚图像方面的潜力。
2017-08-03 cs.CV
Toward unsupervised, multi-object discovery in large-scale image collections
INRIA（法国国家信息与自动化研究所）；Département d’informatique de l’ENS, ENS, CNRS, PSL University（巴黎高等师范学院计算机科学系、法国国家科学研究中心、巴黎文理研究大学）
本文解决了在没有任何监督的情况下发现图像集合中存在的对象的问题。我们建立在Vo等人的优化方法的基础上。（CVPR'19）具有几个关键的新颖性：（1）我们提出了一种新的基于显着性的区域建议算法，与其他竞争方法相比，该算法与地面实况对象的重叠明显更高。该过程利用了在分类任务上训练的现成的CNN特征，而没有任何限界框信息，但在其他方面是无监督的。(2)我们利用提议的固有层次结构作为Vo等人的对象发现方法的有效正则化器，提升其性能，以在几个标准基准上显著改善现有技术。(3)我们采用两阶段策略，首先使用小的随机图像集来选择有希望的建议，然后使用整个图像集来发现它所描绘的对象，使我们能够首次处理（据我们所知），在构成多达20，000张图像的数据集的每张图片中发现多个对象，与现有方法相比增加了五倍以上，也是迈向真正的大规模无监督图像判读的第一步。
2020-08-25 cs.CV
HEAP: Unsupervised Object Discovery and Localization with Contrastive Grouping
National University of Singapore（新加坡国立大学）；Huawei International Pte Ltd（华为国际私人有限公司）
提出基于对比分组的分层合并框架HEAP，通过轻量级交叉注意力头和区域级、图像级对比损失实现高效的分层图像分解，在无监督目标发现与定位任务上取得最先进性能。
2024-01-04 cs.CV
Real-time Unsupervised Object Discovery from Asynchronous Event Streams
School of Engineering and Technology（工程与技术学院）；University of New South Wales（新南威尔士大学）
本文提出一种轻量型、无需训练的异步事件流运动目标发现框架，含SPEF与EMCC两项核心组件，在多数据集上实现优异的去噪与目标发现性能，为资源受限视觉感知提供新方案。
2026-08-28 cs.CV
Unsupervised Primitive Discovery for Improved 3D Generative Modeling
Inception Institute of Artificial Intelligence（起点人工智能研究院）；National University of Defense Technology（国防科技大学）；Australian National University（澳大利亚国立大学）；Sun Yat-sen University（中山大学）；University of Canberra（堪培拉大学）；Data61, Commonwealth Scientific and Industrial Research Organization（联邦科学与工业研究组织Data61）
三维形状生成是一个具有挑战性的问题，由于高维的输出空间和复杂的部分配置的现实世界中的对象。因此，现有的算法在3D形状的精确生成建模中遇到困难。在这里，我们提出了一种新的因式分解生成模型的3D形状生成，依次从粗过渡到细尺度的形状生成。为此，我们引入了一个无监督的原始发现算法的基础上高阶条件随机场模型。在第一阶段中，使用形状的基本部分作为属性，对参数化的3D表示进行建模。在下一阶段，通过向形状添加精细比例细节来进一步细化该表示。我们的研究结果表明，改进的表示能力的生成模型和新生成的3D形状更好的质量样本。此外，我们的原语生成方法可以准确地解析到一个简化的表示常见的对象。
2019-06-09 cs.CV
Unsupervised routine discovery in egocentric photo-streams
University of Groningen（格罗宁根大学）；University of Barcelona（巴塞罗那大学）
一个人的日常生活是由不同日子的活动定义的，可以直接影响人的健康。在这项工作中，我们解决了日常相关的日子的认识。为此，我们依靠以自我为中心的图像，这些图像由可穿戴相机记录，并允许从第一人称视角监控用户的生活。我们提出了一个无监督的模型，确定日常相关的日子，离群值检测方法。我们在总共72天的时间内以照片流的形式测试了所提出的框架，这些照片流覆盖了5个不同相机佩戴者的大约2周的生活。我们的模型为所有用户实现了平均76%的准确率和68%的加权F分数。因此，我们表明，我们的框架能够识别日常相关的日子，并打开大门，了解人们的行为。
2019-05-10 cs.CV
Unsupervised object discovery for instance recognition
Inria Rennes VRG, FEE, CTU in Prague（法国国家信息与自动化研究所雷恩分所VRG、费尔科学院（FEE）、捷克技术大学布拉格分校（CTU in Prague））；Inria（法国国家信息与自动化研究所）；CTU in Prague（捷克技术大学布拉格分校）
严重的背景杂波在许多计算机视觉任务中是具有挑战性的，包括大规模图像检索。由于其内存和搜索效率而流行的全局描述符特别容易被这种混乱破坏。消除杂乱对图像描述符的影响增加了检索相关图像的机会，并防止了由于在查询扩展的情况下实际检索杂乱而导致的主题漂移。在这项工作中，我们提出了一种新的显着区域检测方法。它以无监督的方式捕获数据集中既有区别又常见的模式。显着性基于从数据集图像的区域CNN表示构造的最近邻图的中心性度量。从显著区域导出的描述符提高了特定对象的检索，在包含小对象的大型集合中最明显。
2018-01-24 cs.CV
Unsupervised Deep Learning by Neighbourhood Discovery
Queen Mary University of London（伦敦玛丽女王大学）；Vision Semantics Limited（Vision Semantics有限公司）
深度卷积神经网络（CNN）通过监督学习强视觉特征表示，在计算机视觉中取得了显着的成功。然而，训练CNN在很大程度上依赖于详尽的训练数据注释的可用性，这大大限制了它们在许多应用场景中的部署和可扩展性。在这项工作中，我们引入了一种通用的无监督深度学习方法来训练深度模型，而无需任何手动标签监督。具体来说，我们逐步发现样本锚定/中心邻域的原因，并学习底层类决策边界迭代和累积。每个邻域都是专门制定的，以便所有成员样本可以以高概率共享相同的不可见类标签，以便于在训练过程中提取类判别特征表示。图像分类实验表明，该方法的性能优势，国家的最先进的无监督学习模型的六个基准，包括粗粒度和细粒度的目标图像分类。
2019-05-30 cs.CV
Neural Activation Constellations: Unsupervised Part Model Discovery with Convolutional Networks
University of Jena（耶拿大学）
对象类别的部分模型对于具有挑战性的识别任务是必不可少的，其中类别的差异是微妙的，并且仅反映在对象的小部分的外观上。我们提出了一种能够以完全无监督的方式学习零件模型的方法，没有零件注释，甚至在学习过程中没有给定的边界框。其关键思想是找到使用卷积神经网络计算的神经激活模式的星座。在我们的实验中，我们优于现有的细粒度识别方法的CUB 200 -2011，NA鸟，牛津PETS和牛津花数据集的情况下，没有部分或限界框注释是可用的，并达到最先进的性能斯坦福狗数据集。我们还展示了神经星座模型作为一种用于微调的数据增强技术的好处。此外，我们的论文统一了通用和细粒度分类的领域，因为我们的方法适用于这两种情况。我们的方法的源代码可以在http://www.inf-cv.uni-jena.de/part_discovery上在线获得
2015-12-05 cs.CV
Unsupervised Object Discovery and Tracking in Video Collections
Inria（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
本文讨论了自动定位占主导地位的对象作为时空管在一个嘈杂的视频收集与最小甚至没有监督的问题。我们制定的问题作为两个互补的过程：发现和跟踪的组合。第一个建立视频中突出区域之间的对应关系，第二个将同一视频中连续的相似对象区域关联起来。有趣的是，我们的算法还发现了与跨不同视频的相同对象类的实例相关联的帧的隐式拓扑结构，这一角色通常留给传统图像和视频理解方法中的类标签形式的监督信息。事实上，正如我们的实验所证明的那样，我们的方法可以处理具有多个对象类的视频集合，并且在共定位方面大大优于现有技术，尽管它可以用更少的监督来解决更广泛的问题。
2015-05-14 cs.CV
Unsupervised Discovery of Disentangled Manifolds in GANs
University of California at Merced（加州大学默塞德分校）
由于最近的生成模型可以生成照片般逼真的图像，人们试图了解生成过程背后的机制。可解释的生成过程有利于各种图像编辑应用。在这项工作中，我们提出了一个框架，发现潜在空间中的任意预训练的生成对抗网络可解释的方向。我们建议学习从表示不同属性的先前独热向量到预训练模型使用的潜在空间的转换。此外，我们应用一个质心损失函数，以提高一致性和平滑性，同时通过不同的方向遍历。我们证明了所提出的框架在广泛的数据集上的有效性。所发现的方向向量被示出为在视觉上对应于各种不同的属性，并且因此使得能够进行属性编辑。
2020-11-29 cs.CV
Deforming Autoencoders: Unsupervised Disentangling of Shape and Appearance
Stony Brook University（石溪大学）；CentraleSupélec（高等电力学院）；INRIA（法国国家信息与自动化研究所）；Therapanacea；University College London（伦敦大学学院）；Facebook AI Research（Facebook人工智能研究院）
在这项工作中，我们介绍了变形自动编码器，一个生成模型的图像，从外观中解开形状在一个无监督的方式。如在可变形模板范例中那样，形状被表示为规范坐标系（“模板”）和观察到的图像之间的变形，而外观在“规范”模板坐标中被建模，从而丢弃由于变形而引起的可变性。我们介绍了新的技术，允许这种方法被部署在自动编码器的设置，并表明这种方法可以用于无监督的组明智的图像对齐。我们展示了人类，手部和手指，面部操作，如形状和外观插值，以及无监督地标定位的表达变形实验。在模板坐标中，一种更强大的无监督解缠形式成为可能，使我们能够成功地将人脸图像分解为阴影和阴影，并进一步操作人脸图像。
2018-06-18 cs.CV
Enhancing Object Discovery for Unsupervised Instance Segmentation and Object Detection
College of Computer Science and Artificial Intelligence, Wenzhou University（计算机科学与人工智能学院，温州大学）；Oujiang Laboratory (Zhejiang Lab for Regenerative Medicine, Vision and Brain Health), Eye Hospital, Wenzhou Medical University（瓯江实验室（浙江省再生医学、视觉与脑健康实验室），温州医科大学眼医院）
COLER是一种无监督实例分割和目标检测方法，通过CutOnce生成伪标签并利用自监督模型提升性能，无需复杂损失函数。
2025-12-12 cs.CV
Weakly-supervised Contrastive Learning for Unsupervised Object Discovery
Northwestern Polytechnical University（西北工业大学）；Australian National University（澳大利亚国立大学）
本文针对无监督物体发现任务，提出通过弱监督对比学习微调DINO特征编码器以增强语义特征，并结合主成分分析定位物体区域，在基准数据集上验证了有效性。
2023-07-07 cs.CV
Unsupervised bias discovery in medical image segmentation
Research Institute for Signals, Systems and Computational Intelligence, sinc(i)（信号、系统与计算智能研究所sinc(i)）；CONICET（国家科学技术研究委员会）；Universidad Nacional del Litoral（国立滨海大学）
针对医学图像分割中缺乏真实标注时难以审计模型公平性的问题，提出一种利用反向分类准确性框架的无监督偏差发现方法，可在无真实标签下预测偏差，实验验证有效。
2023-09-01 cs.CV
Unsupervised learning of foreground object detection
Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）；University "Politehnica" of Bucharest（布加勒斯特理工大学）
无监督学习是当今计算机视觉中最困难的挑战之一。该任务具有巨大的实用价值，在人工智能和新兴技术中有许多应用，因为可以以相对较低的成本收集大量未标记的视频。在本文中，我们解决了无监督学习问题的背景下，检测的主要前景物体在单一的图像。我们训练一个学生深度网络来预测教师路径的输出，该路径在视频或大型图像集中执行无监督对象发现。我们的方法是不同的无监督对象发现的方法。我们在训练时移动无监督学习阶段，然后在测试时，我们沿着学生路径应用标准的前馈处理。这种策略的好处是在训练过程中增加泛化的可能性，同时在测试中保持快速。我们的无监督学习算法可以运行几代学生-教师培训。因此，在第一代中训练的一组学生网络共同创建了下一代的老师。在实验中，我们的方法在三个当前的视频对象发现，无监督图像分割和显着性检测数据集上取得了最好的结果。在测试时，所提出的系统是快速的，是一个到两个数量级的速度比公布的无监督的方法。
2018-08-14 cs.CV
