Unsupervised Salient Object Detection with Spectral Cluster Voting
University of Oxford（牛津大学）；University of Cambridge（剑桥大学）；Shanghai Jiao Tong University（上海交通大学）
在本文中，我们解决了具有挑战性的任务，无监督的显着目标检测（SOD），利用谱聚类自监督功能。我们做出了以下贡献：（i）我们重新审视谱聚类，并展示了其对显着对象的像素进行分组的潜力;（ii）从各种自监督模型计算的图像特征上的谱聚类的多个应用中给出了掩模建议，例如，MoCov 2，SwAV，DINO，我们提出了一个简单但有效的赢家通吃的投票机制，用于选择显着的面具，利用对象先验的框架和独特性的基础上;（iii）使用选定的对象分割伪地面实况面具，我们训练显着的对象检测器，称为SelfMask，它优于以前的方法在三个无监督的SOD基准。代码可在https://github.com/NoelShin/selfmask上公开获取。
2022-03-23 cs.CV
MergeSAM: Unsupervised change detection of remote sensing images based on the Segment Anything Model
School of Geography and Planning, Sun Yat-sen University（中山大学地理科学与规划学院）；Unit 33269 of the PLA（中国人民解放军33269部队）；Intelligent Science & Technology Academy Limited of CASIC（中国航天科工集团智能科技研究院有限公司）
本文提出MergeSAM，一种基于SAM的无监督遥感图像变化检测方法，通过MaskMatching和MaskSplitting策略处理物体分裂合并等复杂变化，利用SAM分割能力构建多时相掩码以提升检测性能。
2025-08-26 cs.CV
Unsupervised Discovery of the Long-Tail in Instance Segmentation Using Hierarchical Self-Supervision
Stanford University（斯坦福大学）
实例分割是计算机视觉中的一个活跃话题，通常通过在由对象级掩模组成的非常大的数据集上使用监督学习方法来解决。为任何新领域获得这样的数据集可能非常昂贵和耗时。此外，在某些带注释的类别上训练的模型不能很好地推广到看不见的对象。本文的目标是提出一种方法，可以执行无监督发现的长尾类别的实例分割，通过学习的掩蔽区域的实例嵌入。利用图像中对象之间丰富的关系和层次结构，我们提出了用于学习掩码嵌入的自监督损失。在COCO数据集上进行训练，没有对长尾对象进行额外的注释，我们的模型能够发现比COCO中常见类别更新颖和更细粒度的对象。我们表明，该模型实现了竞争力的定量结果LVIS相比，监督和部分监督的方法。
2021-04-02 cs.CV
CutS3D: Cutting Semantics in 3D for 2D Unsupervised Instance Segmentation
Ulm University（乌尔姆大学）；KAUST（科罗Swiss阿尔特姆大学）；TU Vienna（维也纳技术大学）
针对无监督2D实例分割中重叠实例难分离及伪掩码歧义问题，本文提出CutS3D，借助点云在3D中切割语义并引入空间重要性与三类空间置信度分量，在多个基准上取得领先性能。
2025-07-24 cs.CV
Unsupervised Domain Adaptation for Semantic Segmentation by Content Transfer
Yonsei University（延世大学）
在本文中，我们解决了语义分割的无监督领域自适应（UDA），其目的是使用标记的合成数据分割未标记的真实数据。UDA用于语义分割的主要问题依赖于减小真实图像和合成图像之间的域间隙。为了解决这个问题，我们专注于将图像中的信息分为内容和风格。在这里，只有内容具有语义分割的线索，而风格则构成了域间隙。因此，即使在利用合成数据进行学习时，图像中的内容和风格的精确分离也导致作为对真实数据的监督的效果。为了充分利用这种效果，我们提出了零式损失。即使我们在真实领域中完美地提取内容用于语义分割，另一个主要挑战，类不平衡问题，仍然存在于用于语义分割的UDA中。我们通过将尾类的内容从合成域转移到实域来解决这个问题。实验结果表明，该方法在两种主要的UDA设置下，均达到了最佳的语义分割性能。
2020-12-23 cs.CV
S2D: Sparse-To-Dense Keymask Distillation for Unsupervised Video Instance Segmentation
Ulm University（乌尔姆大学）；Google（谷歌）；KAUST（卡尔斯鲁厄大学）；TU Vienna（维也纳技术大学）
S2D通过稀疏到密集关键掩码蒸馏方法，利用深度运动先验提升无监督视频实例分割的性能。
2025-12-16 cs.CV
Learning Content-enhanced Mask Transformer for Domain Generalized Urban-Scene Segmentation
University of Amsterdam（阿姆斯特丹大学）
针对域泛化城市场景语义分割，本文提出 CMFormer，通过融合多分辨率图像特征的内容增强型掩码注意力提升风格鲁棒性，mIoU 最高提升 14.00%。
2023-12-17 cs.CV
Enhancing Object Discovery for Unsupervised Instance Segmentation and Object Detection
College of Computer Science and Artificial Intelligence, Wenzhou University（计算机科学与人工智能学院，温州大学）；Oujiang Laboratory (Zhejiang Lab for Regenerative Medicine, Vision and Brain Health), Eye Hospital, Wenzhou Medical University（瓯江实验室（浙江省再生医学、视觉与脑健康实验室），温州医科大学眼医院）
COLER是一种无监督实例分割和目标检测方法，通过CutOnce生成伪标签并利用自监督模型提升性能，无需复杂损失函数。
2025-12-12 cs.CV
MaskSplit: Self-supervised Meta-learning for Few-shot Semantic Segmentation
MonolithAI；Middle East Technical University（中东技术大学）；Hacettepe University（哈切特佩大学）
就像其他少样本学习问题一样，Few-Shot分割旨在最大限度地减少对手动注释的需求，这在分割任务中成本特别高。即使Few-Shot设置降低了新测试类的成本，仍然需要注释训练数据。为了缓解这一需求，我们提出了一种自监督训练方法来学习Few-Shot分割模型。我们首先使用无监督显著性估计来获得图像上的伪掩模。然后，我们训练一个简单的原型为基础的模型在不同的分裂的伪掩模和增强的图像。我们广泛的实验表明，所提出的方法取得了可喜的成果，突出了自我监督训练的潜力。据我们所知，这是第一个工作，解决无监督的Few-Shot分割问题的自然图像。
2021-11-03 cs.CV
Excite, Attend and Segment (EASe): Domain-Agnostic Fine-Grained Mask Discovery with Feature Calibration and Self-Supervised Upsampling
University of Houston（休斯顿大学）
EASe通过引入语义感知上采样与通道激发（SAUCE）和自监督上采样（CAFE）方法，实现了在复杂场景中精确的细粒度遮罩发现，优于现有最先进方法。
2026-03-31 cs.CV
SegAssess: Panoramic quality mapping for robust and transferable unsupervised segmentation assessment
School of Remote Sensing and Information Engineering, Wuhan University（武汉大学遥感与信息工程学院）；College of Electronic Science and Technology, National University of Defense Technology（国防科技大学电子科学学院）；Hubei Luojia Laboratory（湖北珞珈实验室）
SegAssess通过全景质量映射方法实现鲁棒且可迁移的无监督分割质量评估，采用四类细粒度分割任务和增强SAM架构提升跨域鲁棒性与零样本迁移能力。
2025-12-05 cs.CV
Unsupervised Object Localization: Observing the Background to Discover Objects
Czech Institute of Informatics, Robotics and Cybernetics, CTU（捷克理工大学捷克信息学、机器人学与控制论研究所）
自监督视觉表示学习的最新进展为无监督方法处理诸如对象发现和实例分割等任务铺平了道路。然而，在没有监督的情况下发现图像中的对象是一项非常困难的任务;所需的对象是什么，何时将它们分成部分，有多少个，以及属于什么类？这些问题的答案取决于评价的任务和数据集。在这项工作中，我们采取了不同的方法，并建议寻找背景。通过这种方式，突出的对象作为副产品出现，而没有任何关于对象应该是什么的强烈假设。我们提出了FOUND，一个简单的模型，由一个单一的$conv1\times1$初始化与粗糙的背景掩模提取自监督补丁为基础的表示。在快速训练和改进这些种子掩码之后，该模型在无监督显著性检测和对象发现基准上达到了最先进的结果。此外，我们表明，我们的方法在无监督的语义分割检索任务产生了良好的效果。可在https://github.com/valeoai/FOUND上获得重现我们结果的代码。
2023-03-29 cs.CV
Unsupervised Instance Segmentation with Superpixels
Department of Electronic Engineering, Seoul National University of Science and Technology（电子工程系，科学技术厅首尔国立大学）
提出一种无需人工标注的实例分割框架，利用MultiCut算法、超像素引导损失和自适应自训练，在公开数据集上超越现有最先进方法。
2025-09-03 cs.AI cs.CV
Unsupervised Semantic Segmentation by Contrasting Object Mask Proposals
KU Leuven（鲁汶大学）；ETH Zurich（苏黎世联邦理工学院）
能够在没有监督的情况下学习图像的密集语义表示是计算机视觉中的一个重要问题。然而，尽管它的重要性，这个问题仍然相当未被探索，除了少数例外，认为无监督的语义分割的小规模数据集与狭窄的视觉域。在本文中，我们首次尝试解决传统上用于监督情况的数据集上的问题。为了实现这一点，我们引入了一个两步框架，采用了一个预先确定的中间级之前的对比优化目标，学习像素嵌入。这标志着与依赖于代理任务或端到端集群的现有工作的巨大偏离。此外，我们还讨论了拥有包含有关对象或其部分信息的先验知识的重要性，并讨论了以无监督方式获得此类先验知识的几种可能性。实验评估表明，我们的方法来与现有的作品的关键优势。首先，学习的像素嵌入可以使用PASCAL上的K-Means直接聚类到语义组中。在完全无监督的设置下，在这样一个具有挑战性的基准上解决语义分割任务没有先例。其次，当转移到新的数据集（例如COCO和DAVIS）时，我们的表示可以在强基线上进行改进。代码可用。
2021-08-03 cs.CV cs.LG
Part2Object: Hierarchical Unsupervised 3D Instance Segmentation
School of Information Science and Technology（信息科学与技术学院）；ShanghaiTech University（上海科技大学）
针对无监督3D实例分割中聚类松紧不当导致的分割误差问题，提出带物体引导的分层聚类方法Part2Object及配套的Hi-Mask3D模型，利用2D帧的3D物体性先验引导多层聚类，在多场景下取得优于现有最优模型的性能。
2024-07-14 cs.CV
Masked Multi-Query Slot Attention for Unsupervised Object Discovery
Jadavpur University（贾达普大学）；ÉTS Montréal（蒙特利尔工程学院）
本文提出掩码多查询槽注意力方法，通过掩码背景和扩展多查询槽注意力，在PASCAL-VOC 2012上提升无监督目标定位性能。
2024-04-30 cs.AI cs.CV cs.LG
Segmentation by Factorization: Unsupervised Semantic Segmentation for Pathology by Factorizing Foundation Model Features
本文提出 F-SEG，无需训练或微调即可将预训练模型（尤其病理学基础模型）的空间特征分解为掩码与概念特征，实现稳健的 H&E 病理图像无监督语义分割。
2024-09-09 cs.CV cs.LG
ProMerge: Prompt and Merge for Unsupervised Instance Segmentation
Meta Reality Labs（元宇宙实验室（Meta Reality Labs））；Visual Geometry Group, University of Oxford（牛津大学视觉几何组）
提出无监督实例分割方法ProMerge，利用自监督特征进行图像块初始分组与战略合并，在大幅减少推理时间的同时取得有竞争力的结果，生成的伪标签训练出的检测器超越现有领先无监督模型。
2024-09-27 cs.AI cs.CV
Cut and Learn for Unsupervised Object Detection and Instance Segmentation
FAIR, Meta AI（元人工智能公司基础人工智能研究院）；UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）；University of Michigan（密歇根大学）
我们提出了Cut-and-LEaRn（CutLER），这是一种用于训练无监督目标检测和分割模型的简单方法。我们利用自监督模型的属性来“发现”没有监督的对象，并将其放大到训练一个没有任何人类标签的最先进的本地化模型。CutLER首先使用我们提出的MaskCut方法为图像中的多个对象生成粗糙掩模，然后使用我们强大的损失函数在这些掩模上学习检测器。我们通过对模型的预测进行自我训练来进一步提高性能。与以前的工作相比，CutLER更简单，兼容不同的检测架构，并检测多个对象。CutLER也是一个zero-shot无监督检测器，在视频帧，绘画，草图等领域的11个基准上将检测性能AP 50提高了2.7倍以上。通过微调，CutLER作为一个低拍摄检测器，在使用5%标签进行训练时，在COCO上超过MoCo-v2 7.3% APbox和6.6% APmask。
2023-01-26 cs.AI cs.CV cs.LG
Applying Unsupervised Semantic Segmentation to High-Resolution UAV Imagery for Enhanced Road Scene Parsing
University of Maryland（马里兰大学）
本文提出一种无监督道路解析框架，结合视觉语言模型与SAM生成掩码，通过自监督学习与聚类生成伪标签进行迭代自训练，无需人工标注即在无人机图像上达到89.96%的mIoU。
2024-04-27 cs.CV cs.LG
Content Masked Loss: Human-Like Brush Stroke Planning in a Reinforcement Learning Painting Agent
Carnegie Mellon University（卡内基梅隆大学）
大多数强化学习绘画代理的目标是最小化目标图像和画布之间的损失。人类画家的艺术性强调目标图像的重要特征，而不是简单地复制它（DiPaola 2007）。在RL绘画模型中使用对抗性或L2损失，尽管其最终输出通常是精细的工作，但产生的笔划序列与人类产生的笔划序列大不相同，因为模型不知道目标图像中的抽象特征。为了在不使用昂贵的人类数据的情况下增加模型的人性化规划，我们引入了一个新的损失函数与模型的奖励函数一起使用：内容掩蔽损失。在机器人绘画的上下文中，内容掩蔽丢失采用目标检测模型来提取特征，这些特征用于将较高权重分配给人类将发现对于识别内容重要的画布区域。基于332名人类评估者的结果表明，由我们的内容掩蔽模型产生的数字绘画在笔划序列中比现有方法更早地显示可检测的主题，而不会影响最终绘画的质量。我们的代码可在https://github.com/pschaldenbrand/ContentMaskedLoss上获得。
2021-02-27 cs.AI cs.CV cs.LG
DatUS^2: Data-driven Unsupervised Semantic Segmentation with Pre-trained Self-supervised Vision Transformer
本研究提出基于预训练自监督视觉Transformer的无监督语义分割方法DatUS^2，可生成无标注数据的伪分割掩码以评估自监督特征质量，在SUIM、COCO数据集上取得优异表现。
2024-01-23 cs.CV cs.LG
Boosting Low-Data Instance Segmentation by Unsupervised Pre-training with Saliency Prompt
Northwestern Polytechnical University（西北工业大学）；Zhejiang Lab（之江实验室）；Inception Institute of Artificial Intelligence（起源人工智能研究院）；University of Chinese Academy of Sciences（中国科学院大学）；NetEase（网易）；Huazhong University of Science and Technology（华中科技大学）
最近，受DETR变体的启发，基于查询的端到端实例分割（QEIS）方法在大规模数据集上的性能优于基于CNN的模型。然而，当只有少量训练数据可用时，它们会失去效率，因为关键查询/内核很难学习本地化和形状先验。为此，这项工作为低数据机制提供了一种新的无监督预训练解决方案。受最近成功的预训练技术的启发，我们引入了一种新的预训练方法，通过为查询/内核提供显着提示来增强QEIS模型。我们的方法包括三个部分：1）显著性掩模建议负责生成伪掩模从未标记的图像的基础上的显着性机制。2)核匹配将伪掩码转移到提示中，并将相应的定位和形状先验注入到最佳匹配的核中。3)核监督用于在内核级提供监督，以实现鲁棒学习。从实践的角度来看，我们的预训练方法可以帮助QEIS模型在低数据状态下实现与基于CNN的模型相似的收敛速度和相当的性能。实验结果表明，我们的方法显着提高几个QEIS模型在三个数据集。代码将提供。
2023-02-02 cs.AI cs.CV
Mask as Supervision: Leveraging Unified Mask Information for Unsupervised 3D Pose Estimation
Fudan University（复旦大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出以无监督分割掩码作为监督的统一3D人体姿态估计框架，通过骨骼与体格表示实现由粗到细推理，并在多个基准上达到先进性能。
2024-07-08 cs.CV
GANSeg: Learning to Segment by Unsupervised Hierarchical Image Generation
University of British Columbia（不列颠哥伦比亚大学）
将图像分割成各个部分是高级视觉任务（如图像编辑）的常见预处理。然而，为监督训练注释掩码是昂贵的。存在弱监督和无监督方法，但它们依赖于图像对的比较，例如来自多视图、视频帧和图像增强，这限制了它们的适用性。为了解决这个问题，我们提出了一种基于GAN的方法，该方法生成以潜在掩码为条件的图像，从而减轻了以前方法所需的完整或弱注释。我们表明，这样的掩模条件的图像生成可以忠实地学习时，条件的面具在一个层次的方式上的潜在的关键点，明确定义的位置的部分。在不需要监督掩模或点的情况下，该策略增加了对视点和对象位置变化的鲁棒性。它还允许我们生成用于训练分割网络的图像掩码对，该分割网络在已建立的基准上优于最先进的无监督分割方法。
2022-10-09 cs.CV
Free-ATM: Exploring Unsupervised Learning on Diffusion-Generated Images with Free Attention Masks
National University of Singapore（新加坡国立大学）；CUHKSZ（香港中文大学（深圳））；ByteDance（字节跳动）
本文提出 Free-ATM，利用文本到图像扩散模型交叉注意力层免费生成的无标注对齐掩码，改进对比学习、掩码建模和视觉-语言预训练，从而提升合成图像无监督预训练在多类下游任务中的表现。
2023-08-13 cs.CV
Self-Supervised Masking for Unsupervised Anomaly Detection and Localization
Cooperative Medianet Innovation Center（未来媒体网络协同创新中心）；Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
近年来，多媒体数据中的异常检测和定位在机器学习界受到了极大的关注。在医学诊断和工业缺陷检测等实际应用中，异常只存在于一小部分图像中。为了将基于重构的异常检测体系结构扩展到局部异常，我们提出了一种通过随机掩蔽然后恢复的自监督学习方法，称为自监督掩蔽（SSM），用于无监督异常检测和定位。SSM不仅增强了修复网络的训练，而且大大提高了推理时的掩码预测效率。通过随机掩蔽，每个图像被增强为一组不同的训练三元组，从而使自动编码器能够在训练期间学习使用各种大小和形状的掩码进行重建。为了提高异常检测和定位推理的效率和有效性，我们提出了一种新的渐进掩模细化方法，逐步揭示正常区域，并最终定位异常区域。所提出的SSM方法在异常检测和异常定位方面优于几种最先进的方法，分别在视网膜OCT上实现98.3% AUC，在MVTec AD上实现93.9% AUC。
2022-05-13 cs.CV
Adversarially Masked Video Consistency for Unsupervised Domain Adaptation
Carnegie Mellon University（卡内基梅隆大学）；HKUST（香港科技大学）；FAIR, Meta（Meta FAIR实验室）
针对第一人称视频无监督域适应问题，提出基于transformer的模型，通过对抗掩码对齐网络和掩码一致性学习模块学习域不变与类判别特征，并构建U-Ego4D基准，取得最先进性能。
2024-03-24 cs.CV
MASQ: Mask-Aware Spatiotemporal Quantization for Unsupervised Skeleton Action Segmentation
University of Science and Technology of China（中国科学技术大学）
该研究针对无监督骨骼动作分割中空间掩码与离散量化引发的不稳定问题，提出MASQ框架，通过JLSD机制与掩码感知速度损失优化，在三个数据集上实现优于现有方法的帧均值准确率。
2026-09-01 cs.CV
Unsupervised Part Discovery via Descriptor-Based Masked Image Restoration with Optimized Constraints
Faculty of Engineering and IT, University of Technology Sydney（技术悉尼大学工程与信息学院）；Dept. of Comp. Sci. and Eng., Southern University of Science and Technology（南方科技大学计算机科学与工程系）
本文提出掩码部件自编码器MPAE，通过部件描述符恢复掩码补丁并施加优化约束，实现跨类别和场景的鲁棒无监督部件发现。
2025-07-16 cs.CV
OMUDA: Omni-level Masking for Unsupervised Domain Adaptation in Semantic Segmentation
School of Mechanical Engineering, Chengdu University（成都大学机械工程学院）；School of Information Science and Technology, Harbin Institute of Technology（哈尔滨工业大学信息科学与技术学院）；School of Computer Science and Informatics, Cardiff University（卡的夫大学计算机科学与信息学院）；School of Artificial Intelligence and Computer Science, Jiangnan University（江南大学人工智能与计算机科学学院）；College of Intelligence Science and Technology, National University of Defense Technology（国防科技大学智能科学与技术学院）
OMUDA通过多级遮蔽策略提升无监督领域适应在语义分割中的性能，实现跨领域泛化和精度提升。
2025-12-13 cs.CV
Learning Unsupervised Gaze Representation via Eye Mask Driven Information Bottleneck
Shanghai Jiao Tong University（上海交通大学）
本文提出一种无监督注视预训练框架，通过交替眼部掩码训练、注入瓶颈和对比损失，从全脸图像中学习低维注视表示，在多个基准上优于现有无监督方法。
2024-06-29 cs.CV
UMAD: Unsupervised Mask-Level Anomaly Detection for Autonomous Driving
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
针对自动驾驶中非典型场景检测难题，提出UMAD方法，结合生成式世界模型与无监督图像分割，在无需异常样本和标注数据的情况下实现优于现有方法的无监督异常检测。
2024-09-30 cs.CV cs.RO
Separating Content and Style for Unsupervised Image-to-Image Translation
Peng Cheng Laboratory（鹏城实验室）；Beihang University（北京航空航天大学）
无监督图像到图像翻译的目的是学习两个视觉域之间的映射与未配对的样本。现有的工作集中在解开域不变的内容代码和域特定的风格代码分别为多模式的目的。然而，很少有人注意到翻译图像的解释和操作。在本文中，我们建议在一个统一的框架中同时分离内容代码和风格代码。基于潜在特征和高级域不变任务之间的相关性，所提出的框架在多模态翻译，翻译图像的可解释性和操作方面表现出优越的性能。实验结果表明，该方法在视觉质量和多样性方面优于现有的无监督图像翻译方法。
2021-10-27 cs.CV
Unsupervised Learning of 3D Scene Flow with 3D Odometry Assistance
Shanghai Jiao Tong University（上海交通大学）；China University of Mining and Technology（中国矿业大学）
场景流表示场景中每个点的3D运动，它明确地描述了每个点移动的距离和方向。场景流估计用于各种应用，诸如自动驾驶领域、活动识别和虚拟现实领域。由于用真实数据来注释场景流是具有挑战性的，因此这使得没有真实数据集可用于为场景流估计提供具有真实数据的大量数据。因此，许多作品使用合成数据来预训练网络，并使用真实世界的LiDAR数据进行微调。与以前的点云中场景流的无监督学习不同，我们建议使用里程信息来辅助场景流的无监督学习，并使用真实世界的LiDAR数据来训练我们的网络。监督里程为场景流提供更准确的分担成本量。此外，该网络具有掩码加权的翘曲层，以获得更准确的预测点云。扭曲操作是指将估计的姿态变换或场景流应用于源点云以获得预测点云，并且是从粗到细细化场景流的关键。当执行扭曲操作时，处于不同状态的点使用不同的权重进行姿势变换和场景流变换。我们将点的状态分为静态、动态和被遮挡三种，其中静态掩码用于划分静态点和动态点，遮挡掩码用于划分被遮挡点。遮罩加权扭曲层指示在执行扭曲操作时使用静态遮罩和遮挡遮罩作为权重。在烧蚀实验中，我们的设计是有效的。实验结果表明，里程计辅助的无监督学习方法在真实世界数据的三维场景流有很好的应用前景。
2022-09-11 cs.CV
Iteratively Selecting an Easy Reference Frame Makes Unsupervised Video Object Segmentation Easier
School of Electrical and Electronic Engineering, Yonsei University（延世大学电气与电子工程学院）
无监督视频对象分割（UVOS）是一个逐像素的二值标记问题，其目的是在不使用前景对象的地面真值（GT）掩模的情况下将视频中的前景对象从背景中分离出来。大多数以前的UVOS模型使用第一帧或整个视频作为参考帧来指定前景对象的遮罩。我们的问题是为什么第一帧应该被选为参考帧，或者为什么整个视频应该被用来指定掩码。我们相信，我们可以选择一个更好的参考帧，以实现更好的UVOS性能，而不是只使用第一帧或整个视频作为参考帧。在我们的论文中，我们提出了简单的框架搜索（EFS）。EFS使我们能够选择一个“简单”的参考框架，使随后的VOS变得容易，从而提高VOS的性能。此外，我们提出了一个新的框架命名为迭代掩码预测（IMP）。在框架中，我们重复将EFS应用于给定的视频，并从视频中选择一个比上一次迭代更容易的参考帧，从而逐步提高VOS性能。IMP包括EFS、双向掩码预测（BMP）和时间信息更新（TIU）。从所提出的框架，我们实现了最先进的性能在三个UVOS基准集：DAVIS 16，FBMS和SegTrack-V2。
2021-12-23 cs.CV
Unsupervised Region-Growing Network for Object Segmentation in Atmospheric Turbulence
Clemson University（克莱姆森大学）；Arizona State University（亚利桑那州立大学）；George Mason University（乔治梅森大学）
提出无监督“先检测后生长”区域生长网络，利用刚性几何一致性、Sampson距离及时空损失，在大气湍流视频中鲁棒分割运动目标，并发布首个真实远距离湍流真值数据集。
2024-08-05 cs.CV
Unsupervised Learning of Monocular Depth and Ego-Motion Using Multiple Masks
Shanghai Jiao Tong University（上海交通大学）
提出了一种基于多模板的单目视频深度和自运动无监督学习方法。根据无真值的深度和自运动约束训练深度估计网络和自运动估计网络。我们的方法的主要贡献是仔细考虑相邻帧相互投影时产生的像素的遮挡，以及投影目标成像平面中产生的空白问题。设计了两个精细掩模，解决了大部分由摄像机运动引起的图像像素失配问题。此外，考虑了一些相对罕见的情况，并提出了重复掩蔽。从某种程度上说，该方法是利用一种几何关系来过滤不匹配的像素进行训练，使无监督学习更加高效和准确。在KITTI数据集上的实验表明，该方法在深度和自我运动方面取得了良好的性能。通过在低质量的未校准自行车视频数据集上进行训练和在KITTI数据集上进行评估，证明了该方法的泛化能力，结果仍然很好。
2021-04-01 cs.CV cs.RO
Boosting Unsupervised Segmentation Learning
University of Bern（伯尔尼大学）；Institute of Science and Technology Austria（奥地利科学技术研究所）
针对无监督分割学习中现有方法分割图分辨率和准确性不足的问题，提出图像后处理细化掩码、多尺度一致性准则匹配不同分辨率掩码两种技术，经多个基准验证有效。
2024-11-28 cs.CV
DualContrast: Unsupervised Disentangling of Content and Transformations with Implicit Parameterization
Carnegie Mellon University（卡内基梅隆大学）
本文提出 DualContrast，通过在数据空间和潜空间构建内容与变换的正负对比对，实现无监督隐式解耦，并在科学图像上优于显式参数化及自监督方法。
2025-02-16 cs.CV
Self-Masking Networks for Unsupervised Adaptation
University of Amsterdam（阿姆斯特丹大学）；Google Research（谷歌研究院）
针对计算机视觉中缺标注数据难微调基础模型的问题，提出通过学习二值掩码自监督适配预训练模型的SMNs方法，存储效率最高提79倍，在多数据集、架构和标注高效场景中性能显著提升。
2024-09-11 cs.CV cs.LG
Unsupervised Structural Scene Decomposition via Foreground-Aware Slot Attention with Pseudo-Mask Guidance
Tsinghua University（清华大学）；Beijing Jiaotong University（北京交通大学）；Xi’an Jiaotong University（西安交通大学）
FASA通过两阶段框架和伪掩码指导，提升无监督场景分解的精度和鲁棒性。
2025-12-10 cs.CV
Unsupervised Video Domain Adaptation with Masked Pre-Training and Collaborative Self-Training
Johns Hopkins University（约翰斯·霍普金斯大学）；DEVCOM U.S. Army Research Laboratory（DEVCOM美国陆军研究实验室）
本文提出UNITE方法解决视频动作识别的无监督域适应问题，通过图像教师模型引导视频学生模型，结合自监督掩码预训练与协同自训练生成伪标签，在多个基准上显著提升了跨域迁移性能。
2025-03-04 cs.CV cs.LG
Less is More: Masking Elements in Image Condition Features Avoids Content Leakages in Style Transfer Diffusion Models
Shanghai Jiao Tong University（上海交通大学）；Chinese Academy of Sciences（中国科学院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对文本到图像扩散模型风格迁移中内容泄露问题，提出无需调参的图像特征元素掩盖方法，通过减少条件引导避免内容流入，经理论与多风格实验验证其有效性，提升风格迁移性能。
2025-02-11 cs.CV
AdaDepth: Unsupervised Content Congruent Adaptation for Depth Estimation
Indian Institute of Science（印度科学学院）
监督式深度学习方法在单目深度估计任务中显示出了有希望的结果;但获取地面实况的成本很高，并且容易产生噪声和不准确性。虽然合成数据集已被用来规避上述问题，由于固有的域转移，所得到的模型不能很好地推广到自然场景。最近的对抗性域自适应方法在减轻源域和目标域之间的差异方面表现良好。但是这些方法大多局限于分类设置，并且不能很好地扩展全卷积架构。在这项工作中，我们提出了AdaDepth -单目深度估计的逐像素回归任务的无监督领域自适应策略。所提出的方法通过a）对抗性学习和b）对适应的目标表示明确施加内容一致性而没有上述限制。我们的无监督方法与其他已建立的方法在深度估计任务上具有竞争力，并在半监督设置中实现了最先进的结果。
2018-06-07 cs.CV
ADMP: An Adversarial Double Masks Based Pruning Framework For Unsupervised Cross-Domain Compression
Tsinghua University（清华大学）
尽管近年来网络修剪技术取得了一定的进展，但将其直接应用于物联网（IoT）应用仍然面临两大挑战，即端和云数据之间的分布差异和端设备上数据标签的缺失。一个简单的解决方案是结合无监督领域自适应（UDA）技术和修剪。例如，模型首先在云上修剪，然后通过UDA从云传输到端。然而，这种简单的组合面临着高性能降级。因此，这项工作提出了一个基于双掩码的修剪（AMDO）这样的跨域压缩。在Aesthetics中，我们构建了一个知识蒸馏框架，不仅产生伪标签，而且还提供了一个测量领域分歧的输出之间的差异，全尺寸的教师和修剪的学生。与现有的基于掩码的修剪工作不同，ANOM采用了两种对抗性掩码，即软掩码和硬掩码。因此，April可以有效地修剪模型，同时仍然允许模型提取强大的域不变特征和鲁棒的分类边界。在训练过程中，交替方向乘法器方法被用来克服{0，1}-掩码的二进制约束。在ImageCLEF-DA数据集上，该算法可以分别以0.2%和0.3%的平均精度损失修剪60%的通道。与现有技术相比，我们可以实现约1.63倍的参数减少和4.1%和5.1%的精度提高。
2020-06-07 cs.CV cs.LG
Mask Consistency Regularization in Object Removal
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；AI Lab, Lenovo Research（联想研究院人工智能实验室）
针对扩散模型在目标移除任务中的掩膜幻觉和掩膜形状偏置问题，提出掩膜一致性正则化（MCR）训练策略，通过引入膨胀和重塑掩膜扰动并强制输出一致性，显著提升了修复结果的稳健性与上下文连贯性。
2025-09-12 cs.CV
Automatic Semantic Style Transfer using Deep Convolutional Neural Networks and Soft Masks
Hengyang Normal University（衡阳师范学院）；Cardiff University（卡迪夫大学）
本文提出了一种自动图像合成方法，将示例图像的风格转换为内容图像。当使用标准的神经风格传递方法时，风格图像的不同语义区域中的纹理和颜色经常被不适当地应用于内容图像，忽略其语义布局，并且破坏传递结果。为了减少或避免这种影响，我们提出了一种新的方法，自动分割的对象，并提取其软语义面具的风格和内容的图像，以保持结构的内容图像，同时有风格转移的基础上。样式图像的每个软掩模表示样式图像的特定部分，对应于具有相同语义的内容图像的软掩模。软掩模和源图像都作为多通道输入提供给增强的深度CNN框架以用于风格转移，该框架结合了生成马尔可夫随机场（MRF）模型。各种图像上的结果表明，我们的方法优于最新的技术。
2017-08-31 cs.CV
D-MASTER: Mask Annealed Transformer for Unsupervised Domain Adaptation in Breast Cancer Detection from Mammograms
Indian Institute of Technology Delhi（印度德里理工学院）；AIIMS, Delhi（德里全印度医学科学学院）
针对跨域乳腺钼靶乳腺癌检测中UDA方法假阳性高、伪标签噪声大的问题，提出D-MASTER框架，通过多尺度自适应掩码重建和伪标签精炼提升性能，还发布了RSNA-BSD1K标注数据集，在多个基准上取得显著精度提升。
2024-07-09 cs.CV
RGI: robust GAN-inversion for mask-free image inpainting and unsupervised pixel-wise anomaly detection
Georgia Institute of Technology（佐治亚理工学院）；Apple（苹果公司）
在大规模图像数据集上训练的生成对抗网络（GANs）可以很好地逼近自然图像流形。使用预训练的生成器作为深度生成先验的GAN反演是损坏情况下图像复原的有前途的工具。然而，GAN反演的性能可能受到对未知总损坏缺乏鲁棒性的限制，即，所恢复的图像可能容易偏离地面实况。在本文中，我们提出了一种鲁棒GAN反演（RGI）方法，该方法具有可证明的鲁棒性保证，可以在未知的\textit{gross}损坏情况下实现图像复原，其中一小部分像素完全损坏。在温和的假设下，我们证明了恢复的图像和确定的损坏区域掩模渐近收敛到地面真相。此外，我们将RGI扩展到松弛RGI（R-RGI），用于生成器微调，以减轻GAN学习流形和真实图像流形之间的差距，同时避免对受损输入图像的平凡过拟合，这进一步提高了图像复原和受损区域掩模识别性能。所提出的RGI/R-RGI方法统一了两个具有最先进（SOTA）性能的重要应用：（i）无掩模语义修复，其中损坏是未知的缺失区域，恢复的背景可以用于恢复缺失的内容;（ii）无监督的像素异常检测，其中损坏是未知的异常区域，检索到的掩模可以用作异常区域的分割掩模。
2023-02-24 cs.CV stat.ML
Unsupervised Video Object Segmentation via Prototype Memory Network
Yonsei University（延世大学）
无监督视频对象分割的目的是在初始帧中没有地面真实掩模的情况下分割视频中的目标对象。这个具有挑战性的任务需要提取视频序列中最显著的常见对象的特征。这个困难可以通过使用诸如光流的运动信息来解决，但是仅使用相邻帧之间的信息导致远距离帧之间的差的连接性和差的性能。为了解决这个问题，我们提出了一种新的原型存储网络架构。该模型通过从输入RGB图像和光流图中提取基于超像素的组件原型，有效地提取RGB和运动信息。此外，该模型基于自学习算法对每个帧中的组件原型的有用性进行评分，并自适应地将最有用的原型存储在存储器中并丢弃过时的原型。我们使用存储体中的原型来预测下一个查询帧掩码，这增强了遥远帧之间的关联，以帮助准确的掩码预测。我们的方法在三个数据集上进行了评估，达到了最先进的性能。我们证明了所提出的模型与各种消融研究的有效性。
2022-09-08 cs.CV
COCO-FUNIT: Few-Shot Unsupervised Image Translation with a Content Conditioned Style Encoder
Boston University（波士顿大学）；NVIDIA（英伟达）
无监督图像到图像翻译旨在学习给定域中的图像到不同域中的类似图像的映射，而无需对映射进行显式监督。Few-Shot无监督图像到图像转换进一步尝试通过利用在推理时提供的未见过域的示例图像来将模型推广到未见过域。虽然非常成功，但现有的Few-Shot图像到图像翻译模型发现难以在模拟看不见的域的外观的同时保留输入图像的结构，我们将其称为内容丢失问题。当输入图像和示例图像中的对象的姿态非常不同时，这是特别严重的。为了解决这个问题，我们提出了一个新的Few-Shot图像翻译模型，COCO-FUNIT，它计算的输入图像和一个新的模块称为恒定的风格偏差的条件下的示例图像的风格嵌入。通过大量的实验验证与比较的国家的最先进的，我们的模型显示出有效性，在解决内容丢失的问题。有关代码和预训练模型，请访问https://nvlabs.github.io/COCO-FUNIT/。
2020-07-29 cs.CV
Less is More: Unsupervised Mask-guided Annotated CT Image Synthesis with Minimum Manual Segmentations
National Heart and Lung Institute, Imperial College London（帝国理工学院国家心肺研究所）；Royal Brompton Hospital（皇家布朗普顿医院）；Centre for Cardiovascular Science, University of Edinburgh（爱丁堡大学心血管科学中心）；School of Computer Science and Electronic Engineering, University of Essex（埃塞克斯大学计算机科学与电子工程学院）
作为一种实用的数据增强工具，数据合成通常会为基于深度学习的医学图像分析带来性能回报。然而，为合成医学图像生成相应的分割掩模是费力且主观的。为了获得成对的合成医学图像和分割，提出了使用分割掩模作为合成条件的条件生成模型。然而，这些分割掩码条件生成模型仍然依赖于大型，多样和标记的训练数据集，并且它们只能对人体解剖结构提供有限的约束，导致不切实际的图像特征。此外，不变的像素级条件可能会减少合成病变的多样性，从而降低数据增强的有效性。为了解决这些问题，在这项工作中，我们提出了一种新的策略，医学图像合成，即无监督掩模（UM）引导的合成，以获得合成图像和分割使用有限的手动分割标签。我们首先开发了一个基于超像素的算法来生成无监督的结构指导，然后设计了一个条件生成模型，在半监督的多任务设置中同时从这些无监督的掩模合成图像和注释。此外，我们设计了多尺度多任务Fréchet起始距离（MM-FID）和多尺度多任务标准差（MM-STD）来利用合成CT图像的保真度和多样性评估。通过在不同尺度上进行多重分析，我们可以产生具有高重现性的稳定图像质量测量结果。与分割掩模引导合成相比，我们的UM引导合成提供了高质量的合成图像，具有显著更高的保真度、多样性和实用性（$p<0.05$通过Wilcoxon符号秩检验）。
2023-03-19 cs.CV cs.LG eess.IV
MaskAdapt: Unsupervised Geometry-Aware Domain Adaptation Using Multimodal Contextual Learning and RGB-Depth Masking
University of Regina（里贾纳大学）；University Canada West（加拿大西部大学）；The University of Western Australia（西澳大学）
针对农田作物杂草语义分割的域偏移与遮挡问题，提出MaskAdapt方法，通过多模态上下文学习融合深度梯度与RGB特征，并采用几何感知掩码策略，有效提升了无监督域自适应在复杂农田条件下的分割精度。
2025-05-29 cs.AI cs.CV
