Design Pseudo Ground Truth with Motion Cue for Unsupervised Video Object Segmentation
University of Southern California（南加州大学）；National Taiwan University（国立台湾大学）
视频对象分割中的一个主要技术缺陷是为训练实例标记对象掩码。因此，我们建议准备廉价的，但高质量的伪真值校正与运动提示的视频对象分割训练。我们的方法进行语义分割使用实例分割网络，然后，选择感兴趣的分割对象作为伪真值的基础上的运动信息。然后，利用伪真值来微调预训练的对象网络，以促进视频的剩余帧中的对象分割。我们表明，伪真值可以有效地提高分割性能。这种简单的无监督视频对象分割方法比现有的方法更有效。DAVIS和FBMS上的实验结果表明，该方法优于国家的最先进的无监督分割方法在各种基准数据集。与类别无关的伪真值具有很大的潜力，可以扩展到多个任意目标跟踪。
2018-12-13 cs.CV
Voronoi Region-Based Adaptive Unsupervised Color Image Segmentation
University of Manitoba（曼尼托巴大学）；Adiyaman University（阿迪亚曼大学）
彩色图像分割是许多计算机视觉和模式识别应用中的关键步骤。提出了一种基于Voronoi区域的自适应无监督聚类方法，用于解决彩色图像分割问题。该方法在Dirichlet Tessellated图像（也称为沃罗诺伊图）的Voronoi区域内进行区域分裂和合并，提高了聚类数和聚类中心估计过程的效率和准确性。此外，所提出的方法使用聚类质心邻近合并邻近的聚类，以找到最终的聚类和聚类质心的数量。与现有的自适应无监督聚类图像分割算法相比，该方法采用K-means聚类算法代替模糊C-means算法来寻找最终的分割图像。在三个不同的无监督图像分割评价基准上对该方法进行了评价，并将其结果与其他两种自适应无监督聚类图像分割算法进行了比较。实验结果表明，该方法在图像分割质量方面优于现有算法。此外，所提出的方法的结果在最低的平均执行时间每幅图像相比，现有的方法在这篇文章中报道。
2016-04-02 cs.CV
Contrastive Registration for Unsupervised Medical Image Segmentation
University of Cambridge（剑桥大学）
医学图像分割是一个相关的任务，因为它是许多诊断过程的第一步，因此在临床应用中是不可缺少的。虽然使用监督技术已经取得了重大成功，但它们假设了一个大型且具有代表性的标记集。这是医学领域的一个强有力的假设，在医学领域，注释是昂贵的，耗时的，并且是人类偏见所固有的。为了解决这个问题，文献中已经提出了无监督技术，但由于学习任何转换模式的困难，它仍然是一个开放的问题。在这项工作中，我们提出了一种新的优化模型框架到一个新的基于CNN的对比注册架构的无监督医学图像分割。我们的方法的核心是利用图像级配准和特征级的对比学习机制，执行基于配准的分割。首先，我们提出了一个架构，捕捉图像到图像的转换模式，通过注册的无监督医学图像分割。其次，我们在注册结构中嵌入了一个对比学习机制，以提高网络在特征层的识别能力。我们表明，我们提出的技术减轻了现有的无监督技术的主要缺点。我们通过数值和视觉实验证明，我们的技术在两个主要的医学图像数据集上的性能大大优于当前最先进的无监督分割方法。
2022-07-20 cs.CV
UnScene3D: Unsupervised 3D Instance Segmentation for Indoor Scenes
Technical University of Munich（慕尼黑工业大学）；Technion（以色列理工学院）；NVIDIA（英伟达）
UnScene3D提出首个全无监督室内三维实例分割方法，利用自监督颜色与几何特征生成伪掩码并结合几何过分割与自训练，将平均精度提升超过300%。
2024-04-30 cs.CV
An Unsupervised Dynamic Image Segmentation using Fuzzy Hopfield Neural Network based Genetic Algorithm
提出了一种基于遗传算法的灰度图像自动分割方法。该方法主要包括空间无监督灰度图像分割，将图像划分为区域。该算法的目的是产生精确的分割图像的强度信息以及邻域关系。本文采用模糊Hopfield神经网络（FHNN）聚类方法，生成遗传算法的种群，并利用该种群对图像进行自动分割。该技术是一种强大的图像分割方法，适用于具有空间信息的单特征和多特征数据。有效性指数已被用于引入一个强大的技术，找到最佳数量的组件在图像中。实验结果表明，该算法生成的分割图像质量较好。
2012-05-30 cs.CV
W-Net: A Deep Model for Fully Unsupervised Image Segmentation
Boston University（波士顿大学）
虽然最近已经将大量注意力集中在设计用于视觉任务的监督深度语义分割算法上，但是在许多领域中难以获得足够的监督像素级标签。在本文中，我们重新审视了纯无监督图像分割的问题，并为此问题提出了一种新的深度架构。我们从监督语义分割方法中借用了最近的想法，特别是通过将两个完全卷积的网络连接在一起成为一个自动编码器-一个用于编码，一个用于解码。编码层产生k路逐像素预测，并且自动编码器的重建误差以及编码器产生的归一化切割在训练期间共同最小化。当结合适当的后处理，包括条件随机场平滑和分层分割，我们得到的算法取得了令人印象深刻的结果在基准伯克利分割数据集，优于一些竞争的方法。
2017-11-22 cs.CV
Scene-Centric Unsupervised Video Panoptic Segmentation
TU Munich（慕尼黑技术大学）；TU Darmstadt（达姆施塔特技术大学）；NVIDIA（英伟达）；University of Oxford（牛津大学）；MCML；ELIZA
提出无监督视频全景分割任务及首个方法VideoCUPS，利用深度、运动和视觉线索生成伪标签，并通过Video DropLoss训练，在无监督条件下实现准确分割。
2026-06-03 cs.CV
Joint Color-Spatial-Directional clustering and Region Merging (JCSD-RM) for unsupervised RGB-D image segmentation
Laboratoire Hubert Curien, Université Jean Monnet（让·莫奈大学于贝尔·居里实验室）
深度成像传感器的最新进展提供了对与颜色同步的深度（称为RGB-D图像）的容易访问。本文提出了一种无监督的室内RGB-D图像分割和分析方法。我们考虑一个统计图像生成模型的基础上的颜色和几何的场景。我们的方法包括一个联合颜色空间方向聚类方法，然后统计平面区域合并方法。我们在纽约大学深度数据库上评估了我们的方法，并将其与现有的无监督RGB-D分割方法进行了比较。结果表明，该方法与现有方法相比，计算时间更短。此外，它打开了有趣的视角，以无监督的方式融合颜色和几何形状。
2015-09-06 cs.CV
Understanding Self-Supervised Features for Learning Unsupervised Instance Segmentation
University of Oxford（牛津大学）
本文研究无监督实例分割中的自监督特征，发现不同SSL方法的实例感知水平存在差异，DINO特征在分离实例的敏感性上落后于MAE特征。
2023-11-24 cs.CV
Image Segmentation-based Unsupervised Multiple Objects Discovery
Université Paris-Saclay（巴黎萨克雷大学）；CEA List（法国原子能和替代能源委员会列表研究所）
无监督对象发现旨在定位图像中的对象，同时消除大多数基于深度学习的方法所需的对注释的依赖。为了解决这个问题，我们提出了一个完全无监督的，自底向上的方法，多个对象的发现。拟议的办法是一个两阶段框架。首先，利用自监督局部特征之间的图像内相似性分割对象部分的实例。第二步合并和过滤对象部分以形成完整的对象实例。后者由两个CNN模型执行，这些模型从整个数据集中捕获对象的语义信息。我们证明，我们的方法产生的伪标签提供了一个更好的精度召回权衡比现有的单一和多个对象的发现方法。特别是，我们提供了国家的最先进的无监督类不可知的目标检测和无监督图像分割的结果。
2022-12-20 cs.CV
Scene-Centric Unsupervised Panoptic Segmentation
TU Darmstadt（图宾根大学）；TU Munich（慕尼黑工业大学）；University of Oxford（牛津大学）；MCML；ELIZA
该研究针对无监督全景分割问题，提出首个直接基于以场景为中心图像训练的方法，结合视觉表示、深度和运动线索生成伪标签并采用自训练策略，在Cityscapes数据集上PQ指标较现有技术提升9.4个百分点。
2025-04-02 cs.CV
FlowCut: Unsupervised Video Instance Segmentation via Temporal Mask Matching
Computer Vision Group University of Bern（伯尔尼大学计算机视觉组）
本研究提出无监督视频实例分割方法FlowCut，通过三阶段框架构建带伪标签的数据集，在多个基准上实现了当前最优性能。
2025-05-19 cs.CV
Image Segmentation using Unsupervised Watershed Algorithm with an Over-segmentation Reduction Technique
University of Moratuwa（莫拉图瓦大学）
图像分割是将图像分割成有意义的片段的过程。由于同质性的定义根据用户的观点而变化，因此分段的含义是主观的，因此分段的自动化具有挑战性。分水岭是一种流行的分割技术，它假设图像中的地形图，每个像素的亮度代表其高度，并找到沿着山脊顶部的线条。由于缺乏对被分类对象的了解，该算法的结果通常会受到过度分割的影响。本文提出了一种通过假设目标的相邻分割段具有相似的颜色分布来减少分水岭算法过分割的方法。该方法证明了传统的分水岭算法的改进。
2018-10-09 cs.CV
Large-scale Unsupervised Semantic Segmentation
Nankai University（南开大学）；UC Merced（加州大学默塞德分校）；Northwestern Polytechnical University（西北工业大学）；Oxford University（牛津大学）
由大型数据集提供支持，例如，ImageNet，大规模数据的无监督学习，为分类任务带来了重大进步。然而，大规模的无监督语义分割是否能够实现仍然是未知数。有两个主要挑战：i）我们需要一个大规模的基准来评估算法; ii）我们需要开发以无监督方式同时学习类别和形状表示的方法。在这项工作中，我们提出了一个新的问题，大规模无监督语义分割（LUSS）与新创建的基准数据集，以帮助研究进展。在ImageNet数据集的基础上，我们提出了ImageNet-S数据集，其中包含120万张训练图像和50 k个高质量的语义分割注释用于评估。我们的基准测试具有高度的数据多样性和明确的任务目标。我们还提出了一个简单而有效的方法，令人惊讶的LUSS工作得很好。此外，我们相应地对相关的无监督/弱监督/完全监督方法进行了基准测试，确定了LUSS的挑战和可能的方向。基准测试和源代码可在https://github.com/LUSSeg上公开获得。
2022-11-03 cs.CV
Part2Object: Hierarchical Unsupervised 3D Instance Segmentation
School of Information Science and Technology（信息科学与技术学院）；ShanghaiTech University（上海科技大学）
针对无监督3D实例分割中聚类松紧不当导致的分割误差问题，提出带物体引导的分层聚类方法Part2Object及配套的Hi-Mask3D模型，利用2D帧的3D物体性先验引导多层聚类，在多场景下取得优于现有最优模型的性能。
2024-07-14 cs.CV
Guess What Moves: Unsupervised Video and Image Segmentation by Anticipating Motion
University of Oxford（牛津大学）
通过光流测量的运动为发现和学习图像和视频中的对象提供了强大的线索。然而，与使用外观相比，它有一些盲点，例如物体如果不移动就会变得不可见。在这项工作中，我们提出了一种方法，结合了基于运动和基于外观的分割的优势。我们建议监督图像分割网络的借口任务预测区域可能包含简单的运动模式，从而可能对应于对象。由于该模型仅使用单个图像作为输入，因此我们可以将其应用于两种设置：无监督视频分割和无监督图像分割。我们实现了国家的最先进的视频结果，并证明了我们的方法的可行性，包含新的对象的静态图像。此外，我们用不同的运动模型和光流骨干进行实验，发现该方法对这些变化具有鲁棒性。项目页面和代码可在https://www.robots.ox.ac.uk/~vgg/research/gwm获得。
2022-10-13 cs.CV
DenseMP: Unsupervised Dense Pre-training for Few-shot Medical Image Segmentation
Carnegie Mellon University（卡内基梅隆大学）；Austin Peay State University（奥斯汀佩伊州立大学）
针对小样本医学图像分割训练数据稀缺易过拟合的问题，提出含两阶段无监督稠密预训练的DenseMP流水线，可提升PA-Net性能，在Abd-CT、Abd-MRI数据集上达SOTA。
2023-07-13 cs.CV
Deep Superpixel Cut for Unsupervised Image Segmentation
College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机与软件学院）；Institute of Computer Mathematics and Information Technologies, Kazan Federal University（喀山联邦大学计算机数学与信息技术研究所）
图像分割是视觉领域的一项重要任务，已经被研究了很多年。大多数早期的算法都是无监督的方法，它们使用手工制作的特征将图像划分为许多区域。近年来，由于深度学习技术的巨大成功，基于CNN的方法在图像分割方面表现出优越的性能。然而，这些方法依赖于大量的人类注释，这是昂贵的收集。在本文中，我们提出了一种深度无监督的图像分割方法，它包含以下两个阶段。首先设计一个超像素自动编码器（SuperAE）来学习深度嵌入并重建平滑图像，然后传递平滑图像生成超像素。其次，我们提出了一种新的聚类算法，称为深度超像素切割（DSC），它衡量超像素之间的深度相似性，并制定了一个软分区问题的图像分割。通过反向传播，DSC自适应地将超像素划分为感知区域。在BSDS 500数据集上的实验结果表明了该方法的有效性。
2021-03-10 cs.CV
Ultra: Unsupervised Cross-Task Optimization for Reliable Restoration Segmentation Collaboration under Adverse Weather
Wuhan University（武汉大学）；Beijing Institute of Technology（北京理工大学）；Zhongguancun Academy（中关村学院）；Tsinghua University（清华大学）
本研究针对恶劣天气下修复-分割协作的无监督跨任务优化问题，提出Ultra框架，含CTDN与CMIL模块，在UDA-ASS基准上实现最优分割性能，还可泛化至修复与检测协作任务。
2026-08-18 cs.CV
Unsupervised Image Semantic Segmentation through Superpixels and Graph Neural Networks
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
无监督图像分割是一个重要的任务，在许多现实世界的情况下，标记的数据是稀缺的。在本文中，我们提出了一种新的方法，利用最新的进展，在无监督学习中使用的组合的互信息最大化（MIM），神经超像素分割和图神经网络（GNNs）在一个端到端的方式，一种方法，尚未探索。我们利用超像素的紧凑表示，并将其与GNN相结合，以学习强大且语义有意义的图像表示。具体来说，我们证明了我们基于GNN的方法允许对图像中遥远像素之间的相互作用进行建模，并作为现有CNN的强先验，以提高准确性。我们的实验揭示了我们的方法相比，目前的最先进的方法在四个流行的数据集的定性和定量优势。
2022-10-21 cs.CV
Boosting Unsupervised Semantic Segmentation with Principal Mask Proposals
TU Darmstadt（达姆施塔特工业大学）；TU Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
该研究提出PriMaPs主掩码提议及PriMaPs-EM算法，基于自监督预训练模型实现无监督语义分割，在多模型多数据集上取得有竞争力的结果，还可正交提升现有SOTA流水线性能。
2024-10-06 cs.CV
Unsupervised Segmentation of Hyperspectral Remote Sensing Images with Superpixels
Istituto Nazionale di Fisica Nucleare（意大利国家核物理研究所）；Università Milano−Bicocca（米兰比可卡大学）
本文提出了一种无监督的高光谱遥感图像分割方法。该方法利用均值漂移聚类算法，作为输入的初步高光谱超像素分割连同光谱像素信息。所提出的方法不需要分割类的数量作为输入参数，它不利用任何先验知识的类型的土地覆盖或土地利用被分割（如水，植被，建筑物等）。在Salinas、SalinasA、Pavia Center和Pavia University数据集上进行了实验。性能的衡量标准化的互信息，调整后的兰德指数和F1得分。结果表明，所提出的方法的有效性与最先进的比较。
2022-08-26 cs.CV
EAGLE: Eigen Aggregation Learning for Object-Centric Unsupervised Semantic Segmentation
Yonsei University（延世大学）
EAGLE提出EiCue谱线索与以对象为中心的对比损失，学习对象级表示以解决无监督语义分割中块级特征缺乏对象语义编码的问题，并在多个数据集上取得最优结果。
2024-04-05 cs.CV
Segmentation of VHR EO Images using Unsupervised Learning
Technical University of Munich（慕尼黑工业大学）；German Aerospace Center (DLR)（德国航空航天中心）
语义分割是许多地球观测任务中的关键步骤。需要大量的像素级注释来训练深度网络以进行语义分割。地球观测技术应用于各种应用，并且由于类别根据应用而变化很大，因此，通常需要领域知识来标记地球观测图像，这阻碍了在许多地球观测应用中标记的训练数据的可用性。为了应对这些挑战，在本文中，我们提出了一种无监督的语义分割方法，可以使用一个单一的未标记的场景进行训练。遥感场景一般都很大。所提出的方法利用该属性从较大场景中采样较小的补丁，并使用深度聚类和对比学习来细化由一系列卷积层以及嵌入式通道注意力组成的轻量级深度模型的权重。在对目标图像/场景进行无监督训练后，该模型自动分离场景中存在的主要类别并生成分割图。在Vaihingen数据集上的实验结果证明了该方法的有效性。
2021-08-10 cs.CV
Iterative, Deep, and Unsupervised Synthetic Aperture Sonar Image Segmentation
Pennsylvania State University（宾夕法尼亚州立大学）
深度学习还没有被常规地用于合成孔径声纳（SAS）图像的海底环境的语义分割，这是由于这种方法所必需的大量训练数据的隐含需要。丰富的训练数据，特别是所有图像的像素级标签，由于复杂的物流（例如，潜水员测量、追踪船、精确位置信息）。已经提出了许多手工制作的基于特征的算法来以无监督的方式分割SAS。然而，由于这些方法的特征提取步骤是固定的，因此仍有改进的空间。在这项工作中，我们提出了一种新的迭代无监督算法，用于学习SAS图像分割的深度特征。我们提出的算法在聚类超像素和更新卷积神经网络（CNN）的参数之间交替，以便可以优化用于图像分割的特征提取。我们证明了我们的方法在一个现实的基准数据集的有效性。我们的研究结果表明，我们提出的方法的性能是大大优于目前国家的最先进的方法在SAS图像分割。
2021-07-30 cs.CV
S2D: Sparse-To-Dense Keymask Distillation for Unsupervised Video Instance Segmentation
Ulm University（乌尔姆大学）；Google（谷歌）；KAUST（卡尔斯鲁厄大学）；TU Vienna（维也纳技术大学）
S2D通过稀疏到密集关键掩码蒸馏方法，利用深度运动先验提升无监督视频实例分割的性能。
2025-12-16 cs.CV
Shallow Features Guide Unsupervised Domain Adaptation for Semantic Segmentation at Class Boundaries
University of Bologna（博洛尼亚大学）
尽管深度神经网络在语义分割任务方面取得了显著的成果，但它们通常无法推广到新的领域，特别是在执行合成到真实的适应时。这样的域转移沿着类边界特别明显，使包括获得尖锐的分割掩模的语义分割的主要目标之一无效。在这项工作中，我们专门解决这个核心问题的背景下，无监督领域自适应，并提出了一种新的低层次的适应策略，使我们能够获得尖锐的预测。此外，受最近的自训练技术的启发，我们引入了一种有效的数据增强，它消除了采用伪标签进行自训练时通常存在于语义边界的噪声。我们的贡献可以很容易地集成到其他流行的自适应框架中，大量的实验表明，它们有效地提高了类边界的性能。
2021-10-06 cs.CV
UNIT: Unsupervised Online Instance Segmentation through Time
Ecole des Ponts（巴黎路桥学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）
针对激光雷达点云在线实例分割与追踪人工标注成本高的问题，提出基于伪标签训练的无监督类别无关在线实例分割方法，在两个户外激光雷达数据集上优于强基线。
2024-09-12 cs.CV
Unsupervised Semantic Segmentation with Self-supervised Object-centric Representations
Max-Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zürich（苏黎世联邦理工学院）；Amazon Web Services（亚马逊云科技）；University of Freiburg（弗赖堡大学）
该研究提出结合无监督显著性掩码与自监督特征聚类的无监督语义分割方法，在PASCAL VOC上远超现有前沿水平，还首次在MS COCO全81类上取得了相应结果。
2023-04-30 cs.CV
Unsupervised Domain Adaptation for Semantic Segmentation by Content Transfer
Yonsei University（延世大学）
在本文中，我们解决了语义分割的无监督领域自适应（UDA），其目的是使用标记的合成数据分割未标记的真实数据。UDA用于语义分割的主要问题依赖于减小真实图像和合成图像之间的域间隙。为了解决这个问题，我们专注于将图像中的信息分为内容和风格。在这里，只有内容具有语义分割的线索，而风格则构成了域间隙。因此，即使在利用合成数据进行学习时，图像中的内容和风格的精确分离也导致作为对真实数据的监督的效果。为了充分利用这种效果，我们提出了零式损失。即使我们在真实领域中完美地提取内容用于语义分割，另一个主要挑战，类不平衡问题，仍然存在于用于语义分割的UDA中。我们通过将尾类的内容从合成域转移到实域来解决这个问题。实验结果表明，该方法在两种主要的UDA设置下，均达到了最佳的语义分割性能。
2020-12-23 cs.CV
Unsupervised Domain Adaptation in Semantic Segmentation Based on Pixel Alignment and Self-Training
Peking University（北京大学）；National Engineering Laboratory for Big Data Analysis and Applications（大数据分析与应用国家工程实验室）；Center for Data Science（数据科学中心）；Beijing International Center for Mathematical Research (BICMR)（北京国际数学研究中心）；Center for Data Science in Health and Medicine（健康医疗数据科学中心）
提出了一种基于像素对齐和自训练的无监督跨模态领域自适应方法。像素对齐将ceT1扫描转换为hrT2模态，有助于减少训练分割模型中的域偏移。自训练调整分割网络的决策边界以适应hrT2扫描的分布。实验结果表明，PAST显著优于非UDA基线，在CrossMoDA验证阶段排行榜上获得了2级，平均Dice得分为0.8395。
2021-09-29 cs.CV
Zero-shot Unsupervised Transfer Instance Segmentation
University of Cambridge（剑桥大学）；Shanghai Jiao Tong University（上海交通大学）；University of Oxford（牛津大学）
本文提出ZUTIS框架，无需实例级或像素级标注且不访问目标数据分布，即可零样本统一完成语义与实例分割，并在COCO-20K和ImageNet-S上显著超越现有无监督方法。
2023-04-27 cs.CV
Expand-and-Quantize: Unsupervised Semantic Segmentation Using High-Dimensional Space and Product Quantization
Seoul National University（首尔大学）
针对无监督语义分割中降维压缩阻碍聚类的问题，提出结合高维空间聚类与乘积量化压缩的EQUSS框架，在三个基准上达SOTA，并首次从信息论熵角度分析USS特征。
2023-12-12 cs.CV
A Lightweight Clustering Framework for Unsupervised Semantic Segmentation
The University of Hong Kong（香港大学）
提出轻量级聚类框架，利用自监督ViT注意力特征区分前景背景，通过多级聚类生成伪掩码，在PASCAL VOC和MS COCO上达到最先进性能。
2023-12-29 cs.CV
Autoregressive Unsupervised Image Segmentation
Université Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）
在这项工作中，我们提出了一种新的无监督图像分割方法的基础上互信息最大化之间的不同构造的意见的输入。从自回归生成模型中获得灵感，该模型以掩码卷积创建的光栅扫描排序从过去的像素预测当前像素，我们建议使用各种形式的掩码卷积对输入使用不同的排序来构建数据的不同视图。对于给定的输入，该模型产生一对具有两个有效排序的预测，然后进行训练以最大化两个输出之间的互信息。这些输出可以是用于表示学习的低维特征，也可以是与用于聚类的语义标签相对应的输出聚类。虽然在训练过程中使用了掩蔽卷积，但在推理中，没有应用掩蔽，我们回到标准卷积，模型可以访问完整的输入。所提出的方法优于当前国家的最先进的无监督图像分割。它简单且易于实现，可以扩展到其他视觉任务，并无缝集成到需要不同数据视图的现有无监督学习方法中。
2020-07-16 cs.CV
DARCNN: Domain Adaptive Region-based Convolutional Neural Network for Unsupervised Instance Segmentation in Biomedical Images
Stanford University（斯坦福大学）
在生物医学领域，存在大量密集、复杂的数据，其中感兴趣的对象可能难以检测或受到人类知识的限制。用于监督任务的标记域特定数据集的获得通常是昂贵的，并且此外，发现新颖的不同对象对于无偏见的科学发现可能是期望的。因此，我们建议利用基准计算机视觉数据集中丰富的注释，对不同的生物医学数据集进行无监督的实例分割。因此，关键的障碍是克服从普通图像到生物医学图像的大范围转移。我们提出了一个域自适应区域为基础的卷积神经网络（DARCNN），适应知识的对象定义COCO，一个大的标记的视觉数据集，多个生物医学数据集。我们在DARCNN中引入了一个域分离模块、一个自监督表示一致性损失和一个增强的伪标签阶段，以有效地在如此大的域偏移中执行领域自适应。我们展示了DARCNN在许多生物医学数据集上进行无监督实例分割的性能。
2021-04-03 cs.CV
Unsupervised Video Object Segmentation with Distractor-Aware Online Adaptation
University of Southern California（南加州大学）；Google AI Perception（谷歌人工智能感知部）；Facebook（脸书）；National Taiwan University（国立台湾大学）
无监督视频对象分割是视频分析中的一个重要应用，它不需要知道关于对象的任何先验信息。当多个对象出现并在给定的视频剪辑中交互时，它变得非常具有挑战性。本文提出了一种新的无监督的视频对象分割方法，通过干扰感知在线自适应（DOA）。DOA通过捕获相邻帧的背景相关性来对视频序列中的时空一致性进行建模。实例建议由实例分割网络为每个帧生成，然后由运动信息选择为硬底片（如果它们存在）和正片。为了采用高质量的硬底片，然后将块匹配算法应用于先前帧以跟踪相关联的硬底片。一般否定也被引入的情况下，有没有硬否定的序列和实验证明这两种否定（干扰）是互补的。最后，我们使用正、负和硬负掩模进行DOA来更新前景/背景分割。所提出的方法在两个基准数据集DAVIS 2016和FBMS-59数据集上实现了最先进的结果。
2018-12-19 cs.CV
Unsupervised Domain Adaptive Fundus Image Segmentation with Few Labeled Source Data
University of Sydney（悉尼大学）
基于深度学习的分割方法已被广泛用于自动青光眼诊断和预后。在实践中，由不同眼底相机获得的眼底图像在照明和强度方面显著变化。尽管最近的无监督领域自适应（UDA）方法增强了模型在未标记目标眼底数据集上的泛化能力，但它们通常需要来自源域的足够标记数据，从而带来辅助数据采集和注释成本。为了进一步提高眼底图像跨域分割方法的数据效率，我们在这项工作中使用少量标记的源数据来探索UDA视盘和视杯分割问题。我们首先设计了一个基于搜索的多风格不变机制，以增加源数据的风格和数据量。其次，提出了一种前景物体的原型一致性机制，以便于在不同图像风格下对每种组织进行特征对齐。此外，交叉风格的自监督学习阶段的进一步设计，以提高对目标图像的分割性能。我们的方法已经优于几个国家的最先进的UDA分割方法下的UDA眼底分割与标记的源数据很少。
2022-10-10 cs.CV
VVitCutLER: Towards Unsupervised Object Detection and Segmentation in Videos
RPTU University of Kaiserslautern-Landau（莱茵-瓦尔德大学凯撒斯劳滕-兰道分校）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
该研究提出VVitCutLER框架，通过引入时间一致性提升视频中伪标签的质量，从而改进目标检测和实例分割的性能，减少时间不稳定性。
2026-05-11 cs.CV
Labeling, Cutting, Grouping: an Efficient Text Line Segmentation Method for Medieval Manuscripts
University of Fribourg（弗里堡大学）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Luleå University of Technology（吕勒奥理工大学）
本文介绍了一种通过集成基于深度学习的预分类和最先进的分割方法来提取文本行的新方法。复杂手写文档中的文本行提取是一个重大的挑战，即使是最现代的计算机视觉算法。历史手稿是一类特别难处理的文件，因为它们呈现出多种形式的噪音，如退化，渗透，行间注释和精心制作的脚本。在这项工作中，我们提出了一种新的方法，它使用语义分割在像素级的中间任务，其次是文本行提取步骤。我们在最近的一个具有挑战性的中世纪手稿数据集上测量了我们方法的性能，并通过将错误减少80.7%而超过了最先进的结果。此外，我们证明了我们的方法在不同脚本编写的各种其他数据集上的有效性。因此，我们的贡献是双重的。首先，我们证明了语义像素分割可以用作强去噪预处理步骤之前，执行文本行提取。其次，我们介绍了一种新颖的，简单的和强大的算法，利用高质量的语义分割，以实现99.42%行IU的文本行提取性能的一个具有挑战性的数据集。
2019-07-01 cs.CL cs.CV
Unsupervised Hierarchical Semantic Segmentation with Multiview Cosegmentation and Clustering Transformers
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
无监督语义分割的目的是发现图像内和图像间的分组，这些分组在没有外部监督的情况下捕获类别的对象和视图不变性。自然地，分割具有不同的粒度级别，在无监督分割中产生了歧义。现有的方法避免了这种模糊性，并将其视为建模之外的一个因素，而我们拥抱它，并希望无监督分割的分层分组一致性。我们将无监督分割作为一个逐像素的特征学习问题。我们的想法是，一个好的表示不仅应该揭示特定的分组级别，而且应该以一致和可预测的方式揭示任何分组级别。我们通过同一图像的多个视图之间的共同分割来执行分组和引导特征学习的空间一致性，并通过粗粒度和细粒度特征之间的聚类Transformers来执行分组层次结构的语义一致性。我们提供了第一个数据驱动的无监督分层语义分割方法，称为分层分割（HSG）。通过捕获视觉相似性和统计共现，HSG在五个主要的以对象和场景为中心的基准测试中也大大优于现有的无监督分割方法。我们的代码可在https://github.com/twke18/HSG上公开获取。
2022-04-25 cs.CV cs.LG
Segmentation by Factorization: Unsupervised Semantic Segmentation for Pathology by Factorizing Foundation Model Features
本文提出 F-SEG，无需训练或微调即可将预训练模型（尤其病理学基础模型）的空间特征分解为掩码与概念特征，实现稳健的 H&E 病理图像无监督语义分割。
2024-09-09 cs.CV cs.LG
CUS3D :CLIP-based Unsupervised 3D Segmentation via Object-level Denoise
Beihang University（北京航空航天大学）；Tokyo Institute of Technology（东京工业大学）；Beijing Technology and Business University（北京工商大学）
本文提出CUS3D框架，通过物体级去噪投影模块和多模态蒸馏学习模块，解决2D到3D特征投影中的噪声问题，实现更准确的无监督和开放词汇3D语义分割。
2024-09-21 cs.CV cs.MM
Top-Down Unsupervised Image Segmentation (it sounds like oxymoron, but actually it is not)
模式识别通常被认为是两个反向图像处理流的交互：自下而上的信息细节收集和定位（分割）流，以及自上而下的信息特征聚合，关联和解释（识别）流。受生物视觉研究的最新证据和Kolmogorov复杂性理论的启发，我们提出了一个新的，自上而下的初始图像分割过程。我们认为，传统的自上而下的认知推理，这是应该引导分割过程的最终结果，是不是在所有的图像信息内容评估的一部分。初始图像分割当然是一个无监督的过程。我们提出了一些说明性的例子，支持我们的主张。
2005-03-01 cs.CV cs.IR
Unsupervised Medical Image Segmentation with Adversarial Networks: From Edge Diagrams to Segmentation Maps
Vector Institute（向量研究所）；McMaster University（麦克马斯特大学）
我们开发和接近无监督语义医学图像分割，扩展了以前的工作与生成对抗网络。我们使用现有的边缘检测方法来构建简单的边缘图，训练生成模型将其转换为合成医学图像，并使用提取的边缘图上的变化构建具有已知分割的合成图像的数据集。然后使用该合成数据集来训练监督图像分割模型。我们在肾脏超声图像的临床数据集和基准ISIC 2018皮肤病变数据集上测试了我们的方法。我们证明了我们的无监督方法比以前的无监督方法更准确，并且与监督图像分割模型相比表现合理。所有代码和训练模型都可以在https://github.com/kiretd/Unsupervised-MIseg上找到。
2019-11-12 cs.AI cs.CV cs.LG
Consistent estimation of the max-flow problem: Towards unsupervised image segmentation
Texas A&M University（德克萨斯农工大学）
复杂生物和制造过程的基于图像的诊断的进步使无监督图像分割成为实现自动化、动态决策的最前沿。然而，大多数现有的无监督分割方法或者计算复杂或者需要手动参数选择（例如，最大流量/最小切割分段中的流量容量）。在这项工作中，我们提出了一个完全无监督的分割方法，使用连续的最大流公式在图像域，同时最佳地估计流量参数的图像特征。更具体地说，我们表明，最大后验估计的图像标签可以制定为一个连续的最大流问题的流量是已知的。然后，通过采用一种新的马尔可夫随机场之前的图像域迭代获得的流量。我们提出的理论结果，建立后的一致性的流量。我们比较了我们的方法在两个真实案例研究中的性能，包括使用电子显微镜图像的增材制造组件中的脑肿瘤图像分割和缺陷识别。与几种最先进的监督方法以及无监督方法的比较结果表明，本方法在统计上与监督方法相似，但与最先进的无监督方法相比，Dice分数提高了90%以上。
2019-06-29 cs.CV eess.IV
HUNIS: High-Performance Unsupervised Nuclei Instance Segmentation
University of Southern California（南加州大学）
提出了一种高性能的无监督核实例分割方法。HUNIS由两个阶段的块操作组成。第一阶段包括：1）像素强度的自适应阈值化，2）核尺寸/形状先验的结合，以及3）假阳性核实例的去除。然后，HUNIS通过接收第一阶段分割的指导来进行第二阶段分割。第二阶段利用第一阶段中获得的分割掩模，并利用颜色和形状分布进行更准确的分割。两阶段设计的主要目的是提供从第一阶段到第二阶段的逐像素伪标签。这种自我监督机制新颖有效。在MoNuSeg数据集上的实验结果表明，HUNIS的性能远远优于所有其他无监督方法。它在最先进的监督方法中也具有竞争力。
2022-03-28 cs.CV eess.IV
Unsupervised Image Segmentation using Mutual Mean-Teaching
CUHK（香港中文大学）；Xiamen University（厦门大学）；Yunnan University（云南大学）
无监督图像分割的目的是将具有相似特征的像素不加标注地分配到同一个类中，是计算机视觉的一项重要任务。由于缺乏先验知识，大多数现有的模型通常需要多次训练才能获得合适的结果。为了解决这个问题，我们提出了一个无监督的图像分割模型的基础上的相互意义教学（MMT）框架，以产生更稳定的结果。此外，由于两个模型像素的标签不匹配，提出了一种基于匈牙利算法的标签对齐算法来匹配聚类标签。实验结果表明，该模型能够分割各种类型的图像，并取得了更好的性能比现有的方法。
2020-12-16 cs.AI cs.CV
Discovering Object Masks with Transformers for Unsupervised Semantic Segmentation
KU Leuven（鲁汶大学）；ETH Zurich（苏黎世联邦理工学院）
无监督语义分割的任务旨在将像素聚类成语义上有意义的组。具体来说，分配给同一个集群的像素应该共享高级语义属性，如它们的对象或部件类别。本文介绍了MaskDistill：一个新的框架，无监督的语义分割的基础上的三个关键思想。首先，我们提倡一种数据驱动的策略来生成对象掩码，作为语义分割的像素分组之前。这种方法省略了手工制作的先验，这些先验通常是为特定的场景组合而设计的，并且限制了竞争框架的适用性。其次，MaskDistill对对象掩码进行聚类，以获得用于训练初始对象分割模型的伪地面实况。第三，我们利用这个模型来过滤掉低质量的对象掩码。这种策略减轻了我们的像素分组之前的噪声，并导致一个干净的收集的面具，我们使用训练最终的分割模型。通过结合这些组件，我们可以大大优于以前的工作，无监督语义分割的PASCAL（+11% mIoU）和COCO（+4%掩码AP50）。有趣的是，与现有的方法相反，我们的框架不依赖于低级别的图像线索，也不限于以对象为中心的数据集。将提供代码和模型。
2022-06-13 cs.CV cs.LG
Pixel-Level Clustering Network for Unsupervised Image Segmentation
Seoul National University of Science and Technology（首尔科学技术院）
本文提出一种无需真实标注的像素级聚类框架，通过特征嵌入、超像素分割及多级一致性训练策略实现无监督图像分割，并在三个公开数据集上超越现有最先进方法。
2023-10-24 cs.AI cs.CV
Deep Spectral Methods: A Surprisingly Strong Baseline for Unsupervised Semantic Segmentation and Localization
University of Oxford（牛津大学）
无监督定位和分割是长期存在的计算机视觉挑战，涉及将图像分解为没有任何标记数据的语义有意义的片段。由于获得密集图像注释的难度和成本，这些任务在无监督设置中特别有趣，但现有的无监督方法难以处理包含多个对象的复杂场景。与纯粹基于深度学习的现有方法不同，我们通过将图像分解重新构造为图分割问题，从传统的光谱分割方法中获得灵感。具体来说，我们研究了自监督网络的特征亲和矩阵的拉普拉斯算子的特征向量。我们发现，这些特征向量已经分解成有意义的片段的图像，并可以很容易地用来定位场景中的对象。此外，通过在数据集上聚类与这些片段相关联的特征，我们可以获得良好描绘的可命名区域，即语义分割。在复杂数据集（Pascal VOC，MS-COCO）上的实验表明，我们的简单谱方法在无监督定位和分割方面的性能明显优于最先进的方法。此外，我们的方法可以很容易地用于各种复杂的图像编辑任务，如背景去除和合成。
2022-05-16 cs.AI cs.CV
An Unsupervised Ensemble-based Markov Random Field Approach to Microscope Cell Image Segmentation
University of Debrecen（德布勒森大学）
在本文中，我们提出了一种方法，使用马尔可夫随机场的图像无监督分割。所提出的方法是基于位平面切片的思想。我们使用的飞机作为初始标记的分割合奏。与像素投票，一个强大的分割方法，可以实现，我们证明显微镜细胞图像。我们在一个公开的数据库上测试了我们的方法，在那里它被证明是与其他方法和手动分割竞争。
2014-10-27 cs.AI cs.CV q-bio.QM
TransFGU: A Top-down Approach to Fine-Grained Unsupervised Semantic Segmentation
Hunan University（湖南大学）；Alibaba Group（阿里巴巴集团）
无监督语义分割的目标是在不需要人工标注的情况下，获得低层视觉特征的高层语义表示。大多数现有的方法都是自下而上的方法，试图根据像素的视觉线索或某些预定义的规则将像素分组为区域。因此，对于这些自下而上的方法来说，当遇到具有多个对象和一些对象共享相似视觉外观的复杂场景时，很难生成细粒度的语义分割。相比之下，我们提出了第一个自上而下的无监督语义分割框架，用于在极其复杂的场景中进行细粒度分割。具体而言，我们首先获得丰富的高层次结构化的语义概念信息，从大规模的视觉数据中的自监督学习的方式，并使用这些信息作为先验发现潜在的语义类别的目标数据集。其次，发现的高层语义类别映射到低级别的像素特征，通过计算类激活图（CAM）相对于某些发现的语义表示。最后，将获得的CAM作为伪标签来训练分割模块并产生最终的语义分割。在多个语义分割基准上的实验结果表明，该方法对不同语义粒度下的对象和场景数据集都具有较好的鲁棒性，并且优于现有的自底向上方法.我们的代码可在\url{https://github.com/damo-cv/TransFGU}上获得。
2022-07-22 cs.AI cs.CV
Boundary-aware Information Maximization for Self-supervised Medical Image Segmentation
ETS Montreal（蒙特利尔高等技术学院）
无监督预训练已被证明是一种有效的方法，可以在有限的标记数据下提高各种下游任务。在各种方法中，对比学习通过构建正负对来学习区分性表示。然而，以无监督的方式为分割任务构建合理的对并不是微不足道的。在这项工作中，我们提出了一种新的无监督预训练框架，避免了对比学习的缺点。我们的框架由两个原则组成：无监督过分割作为预训练任务，使用互信息最大化和边界感知保持学习。两个基准的医学分割数据集上的实验结果表明，我们的方法在提高分割性能的有效性时，很少有注释的图像。
2022-02-16 cs.CV eess.IV
