RbA: Segmenting Unknown Regions Rejected by All
Koç University（科奇大学）；University of Oxford（牛津大学）
标准语义分割模型的成功归功于具有固定语义类别集的策划数据集，而没有考虑从新类别中识别未知对象的可能性。由于逐像素分类范式的限制，现有的离群点检测方法在预测中缺乏平滑性和客观性。此外，用于检测离群值的额外训练损害了已知类的性能。在本文中，我们探索了另一种模式，区域级分类，以更好地分割未知对象。我们表明，在掩模分类的对象查询往往表现得像一个\vs所有分类器。基于这一发现，我们提出了一种新的离群值评分函数称为RbA定义的事件是一个离群值被拒绝的所有已知的类。我们的大量实验表明，掩模分类提高了现有的离群点检测方法的性能，并取得了最好的结果与建议的RbA。我们还提出了一个目标，使用最小离群值监督优化RbA。对离群值的进一步微调提高了未知性能，并且与以前的方法不同，它不会降低内点性能。
2023-03-29 cs.CV
Segmenting Unknown 3D Objects from Real Depth Images using Mask R-CNN Trained on Synthetic Data
Department of Electrical Engineering and Computer Science（电气工程与计算机科学系）；Department of Industrial Engineering and Operations Research（工业工程与运筹学系）；The AUTOLAB at UC Berkeley（加州大学伯克利分校AUTOLAB）
在深度图像中分割未知物体的能力有可能提高机器人在抓取和物体跟踪方面的技能。最近的计算机视觉研究表明，Mask R-CNN可以被训练来分割RGB图像中的特定类别的对象，当大量的手工标记数据集可用时。由于生成这些数据集是耗时的，我们改为使用合成深度图像进行训练。许多机器人现在使用深度传感器，最近的结果表明，对合成深度数据的训练可以成功地转移到现实世界中。我们提出了一种自动生成数据集的方法，并使用3D CAD模型的模拟堆快速生成50，000个深度图像和320，000个对象掩模的合成训练数据集。我们训练Mask R-CNN的一个变体，在生成的数据集上进行域随机化，以在没有任何手动标记数据的情况下执行类别不可知的实例分割，并在一组真实的高分辨率深度图像上评估训练的网络，我们将其称为合成深度（SD）Mask R-CNN，这些图像具有挑战性，密集杂乱的bin包含具有高度变化的几何形状的对象。在COCO基准测试中，SD Mask R-CNN的平均精度和平均召回率分别比点云聚类基线高出15%和20%，并且达到了类似于Mask R-CNN的性能水平，该Mask R-CNN在大量手动标记的RGB数据集上进行了训练，并在实验设置的真实图像上进行了微调。我们部署在一个特定于实例的抓取管道模型，以证明其在机器人应用程序的有用性。代码、合成训练数据集和补充材料可在https://bit.ly/2letCuE上获…
2019-03-03 cs.CV cs.RO
RefineMask: Towards High-Quality Instance Segmentation with Fine-Grained Features
Tsinghua University（清华大学）；SenseTime Research（商汤科技研究院）；Tongji University（同济大学）；UCAS（中国科学院大学）
用于实例分割的两阶段方法，例如Mask R-CNN，最近取得了优异的性能。然而，由于特征金字塔和实例池化过程中的下采样操作，分割的掩模仍然非常粗糙，特别是对于大对象。在这项工作中，我们提出了一种新的方法，称为RefineMask高质量的对象和场景的实例分割，它结合了细粒度的功能，在实例的分割过程中，在一个多阶段的方式。通过逐步融合更详细的信息，RefineMask能够始终如一地提炼出高质量的面具。RefineMask成功地分割了硬情况，例如大多数以前的方法过度平滑的对象的弯曲部分，并输出准确的边界。在没有花里胡哨的情况下，RefineMask在COCO、LVIS和Cityscapes基准测试中分别比Mask R-CNN获得了2.6、3.4、3.8 AP的显著增益，而且只需要少量的额外计算成本。此外，我们的单一模型结果在LVIS测试开发集上比2020年LVIS挑战赛的获胜者高出1.3分，并建立了一个新的最先进的水平。代码将在https://github.com/zhanggang001/RefineMask上提供。
2021-04-17 cs.CV
SOTR: Segmenting Objects with Transformers
China Agricultural University（中国农业大学）；University of California, Berkeley（加州大学伯克利分校）
最新的基于transformer的模型在视觉任务上表现出令人印象深刻的性能，甚至比卷积神经网络（CNN）更好。在这项工作中，我们提出了一种新的，灵活的，有效的基于变换的模型，高质量的实例分割。所提出的方法，用Transformers分割对象（SOTR），简化了分割管道，建立在附加有两个并行子任务的替代CNN骨干上：（1）通过Transformer预测每个实例类别和（2）使用多级上采样模块动态生成分割掩码。SOTR分别通过特征金字塔网络（FPN）和双Transformer有效地提取低层特征表示和捕获长距离上下文依赖。同时，与原始的Transformer相比，所提出的双Transformer是时间和资源有效的，因为只有一行和一列的注意参与编码像素。此外，SOTR易于与各种CNN骨干和Transformer模型变体结合，从而在分割精度和训练收敛性方面做出相当大的改进。大量的实验表明，我们的SOTR在MS COCO数据集上表现良好，并超过了最先进的实例分割方法。我们希望我们简单但强大的框架可以作为实例级识别的首选基线。我们的代码可在https://github.com/easton-cau/SOTR上获得。
2021-08-17 cs.CV
PointInst3D: Segmenting 3D Instances by Points
The University of Adelaide（阿德莱德大学）；Zhejiang University（浙江大学）；Shanghai AI Lab（上海人工智能实验室）；DJI（大疆创新）
3D实例分割中的当前最先进的方法通常涉及聚类步骤，尽管倾向于聚类、贪心算法并且缺乏对数据统计中的变化的鲁棒性。相比之下，我们提出了一种全卷积3D点云实例分割方法，该方法以逐点预测的方式工作。在这样做的过程中，它避免了基于聚类的方法所面临的挑战：在模型的不同任务之间引入依赖关系。我们发现它成功的关键是为每个采样点分配一个合适的目标。而不是常用的静态或基于距离的分配策略，我们建议使用一个最佳的运输方法，根据动态匹配成本最佳分配目标掩模的采样点。我们的方法在ScanNet和S3DIS基准测试中都取得了令人满意的结果。所提出的方法消除了任务间的依赖关系，从而代表了一个更简单，更灵活的三维实例分割框架比其他竞争的方法，同时实现了提高分割精度。
2022-07-13 cs.CV
Masking Salient Object Detection, a Mask Region-based Convolutional Neural Network Analysis for Segmentation of Salient Objects
Federal University of Paraná（巴拉那联邦大学）
在本文中，我们提出了一个广泛的比较全卷积网络（FCN）和掩模区域为基础的卷积神经网络（Mask-RCNN）应用在显着的目标检测（SOD）的上下文中。SOD文献中的研究通常探索基于FCNs的架构，以检测视觉场景中的显著区域和对象。然而，除了取得的可喜成果外，FCN在一些具有挑战性的场景中也出现了问题。最近，SOD文献中的研究提出了使用Mask-RCNN方法来克服这些问题。然而，在SOD文献中没有对这两种网络进行广泛的比较，以证明Mask-RCNN在分割显著对象时优于FCN。为了有效地显示Mask-RCNN在SOD背景下优于FCN，我们在文献中广泛使用的8个数据集和4个度量中比较了Mask-RCNN的两种变体和FCN的两种变体。我们的研究结果表明，在这种情况下，Mask-RCNN在F-测量上比FCN提高了47%。
2019-09-17 cs.CV
Segmenting Object Affordances: Reproducibility and Sensitivity to Scale
University of Genoa, Italy（意大利热那亚大学）；Queen Mary University of London, United Kingdom（英国伦敦女王玛丽大学）；Idiap Research Institute, Switzerland（瑞士Idiap研究 institute）；École Polytechnique Fédérale de Lausanne, Switzerland（瑞士洛桑联邦理工学院）
本文在可复现设置下基准测试视觉可供性分割方法，发现Mask2Former表现最佳，且模型对尺度变化不鲁棒。
2024-09-03 cs.CV
Masked Supervised Learning for Semantic Segmentation
Concordia University（康考迪亚大学）
自注意在语义分割中至关重要，因为它能够对长距离上下文进行建模，从而提高性能。我们认为，这是同样重要的建模短程上下文，特别是要解决的情况下，不仅感兴趣的区域是小而模糊的，而且当存在语义类之间的不平衡。为此，我们提出了掩蔽监督学习（MaskSup），一个有效的单阶段学习范式，模型的短期和长期的背景下，通过随机掩蔽捕捉像素之间的上下文关系。实验结果证明了MaskSup在三个标准基准数据集上的二进制和多类分割任务中对强基线的竞争性能，特别是在处理模糊区域和保留少数类的更好分割方面，而不增加推理成本。除了即使在大部分输入被掩蔽时也能分割目标区域之外，MaskSup也是通用的，可以轻松集成到各种语义分割方法中。我们还表明，所提出的方法是计算效率高，产生了10\%的平均交叉联合（mIoU）的性能提高，同时需要$3\times$较少的可学习参数。
2022-11-08 cs.CV
Segmenting two-dimensional structures with strided tensor networks
University of Copenhagen（哥本哈根大学）；Rigshospitalet（哥本哈根大学医院）
张量网络提供了一个有效的近似操作，涉及高维张量，并已被广泛用于量子多体系统的建模。最近，监督学习已经尝试了张量网络，主要集中在任务，如图像分类。在这项工作中，我们提出了一种新的制定张量网络的监督图像分割，使他们能够操作高分辨率的医学图像。我们使用矩阵乘积状态（MPS）张量网络对给定输入图像的非重叠补丁，通过在高维空间中学习逐像素线性分类规则来预测分割掩模。所提出的模型是端到端的训练使用反向传播。它被实现为一个跨步张量网络，以降低参数的复杂性。所提出的方法的性能进行了评估，在两个公共的医学成像数据集，并与相关的基线。评估表明，与基于CNN的模型相比，跨步张量网络在使用更少资源的同时产生了具有竞争力的性能。此外，基于实验，我们讨论了使用完全线性模型的分割任务的可行性。
2021-06-30 cs.CV
ContrastMask: Contrastive Learning to Segment Every Thing
Tencent（腾讯）；Shanghai Jiao Tong University（上海交通大学）
部分监督的实例分割是一种通过对有限的已见类别进行学习，从而消除繁重的注释负担，从而从新的未见类别中分割对象的任务。解决这个问题的关键是建立一个有效的类无关掩码分割模型。与以前只在可见类别上学习这种模型的方法不同，在本文中，我们提出了一种新的方法，名为ContrastMask，它在统一的像素级对比学习框架下学习可见和不可见类别上的掩码分割模型。在这个框架中，已看到的类别的注释掩码和未看到的类别的伪掩码用作对比学习的先验，其中来自掩码区域（前景）的特征被拉在一起，并且与来自背景的特征进行对比，反之亦然。通过该框架，前景和背景之间的特征区分度得到了很大的提高，有利于学习与类别无关的掩模分割模型。COCO数据集上的详尽实验证明了我们的方法的优越性，它优于以前的最先进的。
2022-03-24 cs.CV
Segmenting, Fast and Slow: Real-Time Open-Vocabulary Video Instance Segmentation with Dual-Path Processing
Google TU Munich（谷歌慕尼黑分校）；Munich Center for Machine Learning University of Modena（慕尼黑机器学习中心莫德纳大学）
提出SegFS双流快慢框架，通过稀疏关键帧的开放词汇对象模型预测实例表示，并在特征空间条件化轻量快速网络，实现高效时域传播，在保持分割性能的同时将延迟降低至MOBIUS的1/14。
2026-07-02 cs.CV
Open-Vocabulary Instance Segmentation via Robust Cross-Modal Pseudo-Labeling
Northeastern University（东北大学）；Adobe Research（奥多比研究院）
开放词汇表实例分割的目标是在没有掩码注释的情况下分割新的类。这是朝着减少费力的人工监督迈出的重要一步。大多数现有的作品首先在覆盖许多新类的标题图像上预训练模型，然后在具有掩码注释的有限基类上对其进行微调。然而，仅从字幕预训练中学习的高级文本信息不能有效地编码像素分割所需的细节。为了解决这个问题，我们提出了一个跨模态伪标签框架，它通过将标题中的单词语义与图像中对象掩码的视觉特征对齐来生成训练伪掩码。因此，我们的框架能够通过标题中的单词语义来标记新的类，以自我训练学生模型。为了解释伪掩模中的噪声，我们设计了一个强大的学生模型，该模型通过估计掩模噪声水平来选择性地提取掩模知识，从而减轻噪声伪掩模的不利影响。通过大量的实验，我们证明了我们的框架的有效性，其中我们显着提高了4.5%的MS-COCO和5.1%的大规模开放图像和概念字幕数据集相比，最先进的mAP得分。
2022-04-19 cs.CV
Mask2Anomaly: Mask Transformer for Universal Open-set Segmentation
Politecnico di Torino（都灵理工大学）
提出基于掩码分类的 Mask2Anomaly 框架，通过全局掩码注意力、对比学习、掩码细化和未知实例挖掘等技术，联合解决异常分割、开集语义与全景分割，并在多个基准上取得 SOTA 结果。
2023-09-12 cs.CV
MaskRIS: Semantic Distortion-aware Data Augmentation for Referring Image Segmentation
AI Center, Samsung Electronics（三星电子人工智能中心）；NAVER AI Lab（NAVER人工智能实验室）；Korea Advanced Institute of Science & Technology (KAIST)（韩国科学技术院）
针对指代图像分割任务现有数据增强方法不足的问题，提出结合图文掩码与失真感知上下文学习的MaskRIS训练框架，可适配多类模型，在全/弱监督设置下于三个主流数据集取得SOTA性能。
2025-11-19 cs.CV
Referring Camouflaged Object Detection
School of Computer Science, Nankai University（南开大学计算机学院）；BNRist, Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系BNRist（注：BNRist为北京信息科学与技术国家研究中心的英文缩写））
本文提出参考式伪装目标检测新任务，构建R2C7K大规模数据集，研发带参考掩码生成与特征增强模块的R2CNet双分支框架，实验证明其在指定伪装目标分割上优于传统COD方法。
2025-03-22 cs.CV
O-MaMa: Learning Object Mask Matching between Egocentric and Exocentric Views
O-MaMa将跨视角分割重构为掩码匹配任务，结合掩码上下文编码器、交叉注意力与对比损失，在Ego-Exo4D基准上以极低参数实现最先进性能。
2025-09-24 cs.CV
Boundary-aware Instance Segmentation
Australian National University（澳大利亚国立大学）；Data61/CSIRO（澳大利亚联邦科学与工业研究组织Data61）；EPFL（洛桑联邦理工学院）
我们解决的问题，实例级的语义分割，其目的是在联合检测，分割和分类图像中的每一个单独的对象。在这种情况下，现有的方法通常提出候选对象，通常作为边界框，并直接预测每个这样的建议内的二进制掩码。因此，它们无法从对象候选生成过程中的错误中恢复，例如太小或移位的框。在本文中，我们介绍了一种新的对象段表示的基础上的距离变换的对象掩模。然后，我们设计了一个对象掩码网络（OMN）与一个新的残差反卷积架构，推断这样的表示，并将其解码成最终的二进制对象掩码。这使我们能够预测超出边界框范围的遮罩，从而对不准确的候选对象具有鲁棒性。我们将OMN集成到多任务网络级联框架中，并以端到端的方式学习所得到的边界感知实例分割（BAIS）网络。我们在PASCAL VOC 2012和Cityscapes数据集上的实验证明了我们的方法的好处，它在对象建议生成和实例分割方面都优于最先进的方法。
2017-04-07 cs.CV
SOLOv2: Dynamic and Fast Instance Segmentation
The University of Adelaide（阿德莱德大学）；Tongji University（同济大学）；ByteDance AI Lab（字节跳动人工智能实验室）
在这项工作中，我们的目标是建立一个简单，直接，快速的实例分割框架具有强大的性能。我们遵循Wang等人的SOLO方法的原理“SOLO：segmenting objects by locations”。重要的是，我们通过动态地学习对象分割器的掩模头进一步采取步骤，使得掩模头以位置为条件。具体地，掩码分支被解耦为掩码核分支和掩码特征分支，其分别负责学习卷积核和卷积特征。此外，我们提出矩阵NMS（非最大抑制），以显着减少由于NMS的掩码的推理时间开销。我们的矩阵NMS执行NMS与并行矩阵运算在一个镜头，并产生更好的结果。我们展示了一个简单的直接实例分割系统，在速度和准确性方面优于一些最先进的方法。轻量级版本的SOLOv2执行速度为31.3 FPS，产生37.1% AP。此外，我们在目标检测（来自我们的掩模副产品）和全景分割方面的最新结果显示，除了实例分割之外，还可以作为许多实例级识别任务的新的强基线。代码可在：https://git.io/AdelaiDet
2020-10-23 cs.CV
Exclusivity-Guided Mask Learning for Semi-Supervised Crowd Instance Segmentation and Counting
Harbin Institute of Technology（哈尔滨工业大学）；City University of Hong Kong（香港城市大学）
本文提出Exclusivity-Guided Mask Learning方法，通过判别性掩码目标实现空间分离，结合高斯平滑和可微中心采样策略提升特征连续性和训练稳定性，从而在统一框架下实现人群实例分割与计数的半监督学习。
2026-08-18 cs.CV
Segmenting Visuals With Querying Words: Language Anchors For Semi-Supervised Image Segmentation
University of Regina, Canada（里嘉大学）；The University of Western Australia, Australia（西澳大学）；University Canada West, Canada（加拿大西大学）
本文提出HVLFormer，通过生成多尺度文本查询和引入跨视角一致性正则化，提升视觉与文本对齐，以实现更准确的半监督图像分割。
2026-03-22 cs.AI cs.CV
LIP: Learning Instance Propagation for Video Object Segmentation
University of Twente（特文特大学）；Wuhan University（武汉大学）
近年来，视频对象分割（VOS），即从背景中分割出前景对象的任务，受到了相当大的关注。在本文中，我们提出了一个端到端的可训练深度神经网络，卷积门控递归Mask-RCNN，用于解决半监督VOS任务。我们利用实例分割网络（Mask-RCNN）和视觉记忆模块（Conv-GRU）来处理VOS任务。实例分割网络为实例预测掩模，而视觉记忆模块学习同时为多个实例选择性地传播信息，处理外观变化、尺度和姿态变化以及对象之间的遮挡。在纯实例分割损失下进行离线和在线训练后，我们的方法能够在没有任何后处理或合成视频数据增强的情况下获得令人满意的结果。在DAVIS 2016数据集和DAVIS 2017数据集上的实验结果证明了该方法对视频对象分割任务的有效性。
2019-09-30 cs.CV
Video Mask Transfiner for High-Quality Video Instance Segmentation
The Hong Kong University of Science and Technology（香港科技大学）；ETH Zürich（苏黎世联邦理工学院）；Kuaishou Technology（快手科技）
虽然视频实例分割（VIS）已经取得了快速的进展，但当前的方法难以预测具有准确边界细节的高质量掩模。此外，预测的分割往往随着时间的推移而波动，这表明时间一致性线索被忽视或没有充分利用。在本文中，我们着手解决这些问题，目的是实现VIS的高度详细和时间上更稳定的掩模预测。我们首先提出了视频掩码Transfiner（VMT）的方法，能够利用细粒度的高分辨率功能，由于一个高效的视频Transformer结构。我们的VMT检测和组稀疏的容易出错的时空区域的视频片段中的每个轨迹，然后使用本地和实例级线索进行细化。其次，我们发现流行的YouTube-VIS数据集的粗糙边界注释构成了一个主要的限制因素。因此，基于我们的VMT架构，我们设计了一个自动化的注释细化方法，通过迭代训练和自我校正。为了对VIS的高质量掩模预测进行基准测试，我们引入了HQ-YTVIS数据集，该数据集由手动重新注释的测试集和我们自动细化的训练数据组成。我们将VMT与HQ-YTVIS以及Youtube-VIS、OVIS和BDD 100 K MOTS基准测试中最新的最先进方法进行了比较。实验结果清楚地表明，我们的方法分割复杂和动态的对象，通过捕捉精确的细节的功效和有效性。
2022-07-28 cs.CV
SCNet: Training Inference Sample Consistency for Instance Segmentation
Korea Advanced Institute of Science and Technology（韩国科学技术院）
级联架构在目标检测和实例分割方面带来了显著的性能提升。然而，关于训练和推理之间样本的交集（IoU）分布的差异，仍然存在一些挥之不去的问题。这种差异可能会加剧检测精度。本文提出了一种称为样本一致性网络（SCNet）的架构，以确保样本在训练时的IoU分布接近推理时的分布。此外，SCNet采用特征中继，并利用全局上下文信息，以进一步加强分类，检测和分割子任务之间的相互关系。在标准COCO数据集上进行的大量实验表明，该方法在多个评估指标上都是有效的，包括框AP，掩码AP和推理速度。特别是，在运行速度提高38%的同时，与强大的Cascade Mask R-CNN基线相比，所提出的SCNet将框和掩码预测的AP分别提高了1.3和2.3个点。代码可在\url{https://github.com/thangvubk/SCNet}上获得。
2020-12-18 cs.CV
Commonality-Parsing Network across Shape and Appearance for Partially Supervised Instance Segmentation
Hong Kong University of Science and Technology（香港科技大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Kwai Inc.（快手公司）
部分监督的实例分割旨在对有限的掩码注释数据类别进行学习，从而消除昂贵且详尽的掩码注释。学习的模型预计将推广到新的类别。现有的方法要么学习从检测到分割的传递函数，要么学习用于分割新类别的聚类形状先验。我们建议学习潜在的类不可知的共性，可以概括为从掩码注释的类别到新的类别。具体来说，我们解析两种类型的共性：1）形状共性，通过对实例边界预测执行监督学习来学习; 2）外观共性，通过对特征图像素之间的成对亲和力建模来捕获，以优化实例和背景之间的可分性。在COCO数据集上，我们的模型在部分监督设置和Few-Shot设置上的实例分割方面都显着优于最先进的方法。
2020-07-24 cs.CV
Open3DIS: Open-Vocabulary 3D Instance Segmentation with 2D Mask Guidance
VinAI Research（VinAI研究院）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；UMass Amherst（马萨诸塞大学阿默斯特分校）；Posts & Telecommunications Inst. of Tech.（邮电技术学院）
提出 Open3DIS，通过跨帧聚合2D实例掩码并映射为几何一致的3D物体提议，与3D类别无关提议融合，提升小尺度及模糊物体的开放词汇分割性能。
2024-04-06 cs.CV
Lung Nodules Detection and Segmentation Using 3D Mask-RCNN
Algotec LTD, a Carestream Co（Algotec有限公司（锐珂公司旗下企业））
肺结节的准确评估是放射科医师解释工作中耗时且容易出错的部分。自动化3D体积检测和分割可以改善工作流程以及患者护理。以前的工作集中在检测肺结节从一个完整的CT扫描或分割他们从一个小的ROI。我们采用了最先进的2D对象检测和分割架构MaskRCNN来处理3D图像，并将其用于从CT扫描中检测和分割肺结节。我们报告了LUNA 16数据集上肺结节检测的竞争结果。我们的方法的附加值是，除了肺结节检测，我们的框架产生检测到的结节的3D分割。
2019-07-17 cs.CV cs.LG eess.IV
Object Detection for Understanding Assembly Instruction Using Context-aware Data Augmentation and Cascade Mask R-CNN
Gwangju Institute of Science and Technology (GIST)（光州科学技术院）
理解装配指令有可能提高机器人的任务规划能力，并使先进的机器人应用。为了从二维装配指令图像中识别出关键部件，我们主要对包含大量指令信息的语音气泡区域进行分割。为此，我们应用Cascade Mask R-CNN并开发了一种用于语音气泡分割的上下文感知数据增强方案，该方案通过考虑汇编指令的上下文随机组合图像切割。我们表明，所提出的增强方案实现了更好的分割性能相比，现有的增强算法，通过增加可训练数据的多样性，同时考虑组件位置的分布。此外，我们表明，深度学习可以通过检测装配指令中的基本对象（如工具和零件）来帮助理解装配指令。
2021-01-08 cs.CV cs.RO
Pseudo-Label Quality Decoupling and Correction for Semi-Supervised Instance Segmentation
Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University, China（中国教育部多媒体可信感知与高效计算重点实验室，厦门大学）；Tencent Youtu Lab（腾讯云视频实验室）
针对半监督实例分割中伪标签噪声导致性能不稳定的问题，提出PL-DC框架，通过解耦双阈值筛选、动态类别校正、像素级掩码重加权三重机制，在COCO和Cityscapes数据集上实现SOTA性能，少标注场景下增益显著。
2025-05-16 cs.CV
Boosting Mask R-CNN Performance for Long, Thin Forensic Traces with Pre-Segmentation and IoU Region Merging
AIUI GmbH（AIUI有限公司）
Mask R-CNN最近在实例分割领域取得了巨大的成功。然而，该算法的弱点也被反复指出，特别是在分割方向不完全是水平或垂直的长而稀疏的对象时。在这里，我们提出了一种方法，显着提高了算法的性能，首先预分割的图像与PSPNet算法。为了进一步提高其预测能力，我们以训练策略的形式开发了自己的成本函数和算法，可以防止所谓的（早期）过拟合，实现更有针对性的收敛。此外，由于图像的高方差，特别是对于PSPNet，我们的目标是开发高鲁棒性和泛化的策略，这也在这里提出。
2022-03-08 cs.AI cs.CV cs.RO
Predicting Future Instance Segmentation by Forecasting Convolutional Features
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）；New York University（纽约大学）；Facebook AI Research（Facebook人工智能研究院）
预测未来事件是智能行为的重要前提。视频预测已被研究作为一个代理任务，实现这一目标。最近的工作已经表明，为了预测未来帧的语义分割，在语义级的预测比预测RGB帧然后分割这些帧更有效。在本文中，我们考虑更具挑战性的问题，未来的实例分割，另外分割出个别对象。为了处理每个图像不同数量的输出标签，我们在Mask R-CNN实例分割模型的固定大小卷积特征空间中开发了一个预测模型。我们将Mask R-CNN的“检测头”应用于预测的特征，以产生未来帧的实例分割。实验表明，该方法显着提高了基于光流和重新利用的实例分割架构的强基线。
2018-10-03 cs.CV
Tuning-free Universally-Supervised Semantic Segmentation
Zhejiang University（浙江大学）
提出基于CLIP分类SAM掩码的免调参语义分割框架，通过判别偏差对齐和全局-局部一致分类器，在多种监督下达到SOTA性能。
2024-05-23 cs.CV
When SAM2 Meets Video Shadow and Mirror Detection
Faculty of Mathematics and Computer Science, Guangdong Ocean University（广东海洋大学数学与计算机学院）
本文评估了 SAM2 在视频阴影检测和视频镜面检测任务上的表现，发现其在点提示下效果不佳，并公开了相关代码。
2024-12-26 cs.CV
Classifying and Segmenting Microscopy Images Using Convolutional Multiple Instance Learning
University of Toronto（多伦多大学）
卷积神经网络（CNN）在分类和分割任务上都达到了最先进的性能。将CNN应用于显微图像是具有挑战性的，因为缺乏在单细胞水平上标记的数据集。我们使用多实例学习（MIL）将CNN的应用扩展到显微镜图像分类和分割。我们提出了自适应噪声和MIL池功能，一个新的MIL运营商，是强大的离群值。将CNN与MIL相结合，可以使用具有全局标签的全分辨率显微图像来训练CNN。我们的方法基于MIL中使用的聚合函数和CNN中使用的池化层之间的相似性。我们表明，在哺乳动物和酵母显微镜图像上，训练MIL CNN端到端的性能优于以前的几种方法，而不需要任何分割步骤。
2015-11-17 cs.CV q-bio.SC stat.ML
Meticulous Object Segmentation
Johns Hopkins University（约翰斯·霍普金斯大学）；Adobe Inc.（奥多比公司）
与针对低分辨率图像的普通图像分割任务相比，更高分辨率的详细图像分割受到的关注要少得多。在本文中，我们提出并研究了一个名为Meetings对象分割（MOS）的任务，该任务的重点是在高分辨率图像（例如2k - 4k）中分割具有精细形状的定义明确的前景对象。为此，我们提出了MeticulousNet，它利用一个专用的解码器来捕获对象的边界细节。具体来说，我们设计了一个分层逐点细化（HierPR）块，以更好地描绘对象边界，并重新制定的解码过程作为一个递归的粗到细细化的对象掩码。为了评估对象边界附近的分割质量，我们提出了细致质量（MQ）分数，同时考虑掩模覆盖率和边界精度。此外，我们收集了一个MOS基准数据集，包括600个高质量的图像与复杂的对象。我们提供了全面的经验证据，表明MeticulousNet可以揭示像素精确的分割边界，并且优于高分辨率对象分割任务的最新方法。
2020-12-13 cs.CV
Leveraging Multi-View Weak Supervision for Occlusion-Aware Multi-Human Parsing
Department of Information Engineering, University of Padova, Italy（意大利帕多瓦大学信息工程系）；University of Amsterdam, The Netherlands（荷兰阿姆斯特丹大学）
针对多人体解析在身体重叠场景下表现不佳的问题，提出利用多视图弱监督和多视图一致性损失的新型训练框架，并构建多视图RGB+D数据集，在遮挡场景下实现4.20%的相对提升。
2025-09-12 cs.CV
NoPeopleAllowed: The Three-Step Approach to Weakly Supervised Semantic Segmentation
SoftServe（SoftServe公司）；Ukrainian Catholic University（乌克兰天主教大学）
我们提出了一种新的方法，弱监督语义分割，其中包括三个连续的步骤。前两步从图像级注释数据中提取高质量的伪掩模，然后在第三步中使用伪掩模来训练分割模型。该方法还解决了数据中的两个问题：类不平衡和缺少标签。仅使用图像级注释作为监督，我们的方法能够分割各种类别和复杂对象。它在测试集上实现了37.34的平均IoU，在弱监督语义分割任务中的LID挑战中排名第三。
2020-06-13 cs.CV
E-SAM: Training-Free Segment Every Entity Model
HKUST (GZ)（香港科技大学（广州））；HKUST（香港科技大学）；Nanyang Technological University（南洋理工大学）
针对开放世界实体分割依赖标注与训练的问题，本文提出无需训练的 E-SAM，通过 MMG、EMR 和 USR 改进 SAM 掩码，显著缓解过分割与欠分割，基准性能提升 30.1。
2025-03-15 cs.CV
Soil Image Segmentation Based on Mask R-CNN
Chongqing Normal University（重庆师范大学）；Chongqing Center of Engineering Technology Research on Digital Agricultural Service（重庆数字农业服务工程技术研究中心）；Agriculture and Rural Committee of Nanan District（南岸区农业农村委员会）；Agriculture and Rural Committee of Banan District（巴南区农业农村委员会）
首次将深度学习应用于土壤图像分割，选用Mask R-CNN模型进行土壤区域定位与分割，实验表明模型精度高且满足野外实时检测需求。
2023-09-02 cs.CV
SOLO: A Simple Framework for Instance Segmentation
The University of Adelaide（阿德莱德大学）；Monash University（莫纳什大学）；Tongji University（同济大学）；ByteDance AI Lab（字节跳动人工智能实验室）
与许多其他密集预测任务相比，例如，在语义分割中，任意数量的实例使得实例分割更具挑战性。为了预测每个实例的掩码，主流方法或者遵循“检测然后分段”策略（例如，Mask R-CNN），或者首先预测嵌入向量，然后将像素聚类到单个实例中。在本文中，我们认为实例分割的任务，从一个全新的角度，通过引入“实例类别”的概念，它分配类别的实例内的每个像素根据实例的位置。有了这个概念，我们提出了分割对象的位置（SOLO），一个简单，直接，快速的框架实例分割具有强大的性能。我们推导出一些SOLO变体（例如，Vanilla SOLO、Decoupled SOLO、Dynamic SOLO）的基本原理。我们的方法直接将原始输入图像映射到所需的对象类别和实例掩码，消除了分组后处理或限界框检测的需要。我们的方法实现了最先进的结果实例分割在速度和准确性方面，同时比现有的方法要简单得多。除了实例分割之外，我们的方法在目标检测（来自我们的掩模副产品）和全景分割方面产生了最先进的结果。我们进一步证明了SOLO的灵活性和高质量的分割，通过扩展它来执行一个阶段的实例级图像抠图。代码可在：https://git.io/AdelaiDet
2021-06-30 cs.CV
Lightweight Transformer-Driven Segmentation of Hotspots and Snail Trails in Solar PV Thermal Imagery
ABB Ability Innovation Center（ABB能力创新中心）；Department of Electrical Engineering（电气工程系）；Indian Institute of Technology（印度理工学院）
提出基于SegFormer的轻量级分割模型，利用277幅无人机红外热成像识别光伏组件热点与蜗牛纹，在准确率、效率及小缺陷分割上优于多种基线。
2025-07-28 cs.CV
Segment Everything Everywhere All at Once
在这项工作中，我们提出了SEEM，一个可扩展的和交互式的模型，用于分割图像中的所有地方，如图1所示。在SEEM中，我们提出了一种新的解码机制，使不同的提示所有类型的分割任务，旨在通用的分割接口，表现得像大语言模型（LLM）。更具体地说，SEEM的设计有四个必要条件：i）多功能性。我们引入了一个新的视觉提示，以统一不同的空间查询，包括点，框，涂鸦和面具，它可以进一步推广到不同的参考图像; ii）组合性。我们学习文本和视觉提示之间的联合视觉语义空间，这有利于各种分割任务所需的两种提示类型的动态组合; iii）交互性。我们进一步将可学习的记忆提示纳入解码器中，以通过从解码器到图像特征的掩码引导的交叉注意来保留分割历史;以及iv）语义感知。我们使用一个文本编码器来编码文本查询和掩码标签到同一个语义空间的开放词汇分割。我们进行了全面的实证研究，以验证SEEM在不同细分任务中的有效性。值得注意的是，我们的单一SEEM模型在9个数据集上的交互式分割、通用分割、引用分割和视频对象分割方面都取得了有竞争力的性能，并且至少有1/100的监督。此外，SEEM展示了一个显着的能力，推广到新的提示或其组合，使其成为一个容易通用的图像分割接口。
2023-07-11 cs.CV
Medical Referring Image Segmentation via Next-Token Mask Prediction
School of Electrical and Computer Engineering, University of Sydney（悉尼大学电气与计算机工程学院）
本文提出 NTP-MRISeg，将医学指代图像分割重构为统一多模态序列上的自回归下一令牌预测，并结合 NkTP、TCL 和 HET 三种策略解决曝光偏差、长尾分布和细粒度边缘问题，在 QaTa-COV19 和 MosMedData+ 上取得最优性能。
2025-11-07 cs.CV
Performance Evaluation of Segment Anything Model with Variational Prompting for Application to Non-Visible Spectrum Imagery
Durham University（杜伦大学）
本研究评估分段任意模型（SAM）在X射线和红外图像上的零样本分割性能，发现其框提示效果良好，但点提示对细长物体和低对比度红外目标表现不佳，需关注跨模态泛化。
2024-04-18 cs.CV
Deformable VisTR: Spatio temporal deformable attention for video instance segmentation
University at Buffalo（布法罗大学）；OPPO US Research Center, InnoPeak Technology Inc.（OPPO美国研究中心，InnoPeak科技公司）
视频实例分割（VIS）任务需要对视频剪辑中的所有帧上的对象实例进行分类、分割和跟踪。最近，VisTR已被提出作为端到端基于变压器的VIS框架，同时展示了最先进的性能。然而，VisTR在训练期间收敛缓慢，由于其Transformer注意力模块的高计算成本，需要大约1000个GPU小时。为了提高训练效率，我们提出了可变形VisTR，利用时空可变形注意力模块，只关注参考点周围的一小部分固定的关键时空采样点。这使得可变形VisTR能够实现时空特征图大小的线性计算。此外，它可以实现与原始VisTR相当的性能，但GPU训练时间减少了10个$\times$。我们在Youtube-VIS基准上验证了我们方法的有效性。代码可在https://github.com/skrya/DefVIS上获得。
2022-03-12 cs.CV
Deep Learning based Defect classification and detection in SEM images: A Mask R-CNN approach
在这项研究工作中，我们展示了Mask-RCNN（区域卷积神经网络），一种用于计算机视觉的深度学习算法，特别是目标检测，在半导体缺陷检测领域的应用。半导体制造期间的随机缺陷检测和分类已经发展成为具有挑战性的任务，因为我们不断缩小电路图案尺寸（例如，对于小于32 nm的间距）。通过最先进的光学和电子束检测工具进行的缺陷检测和分析通常由一些基于规则的技术驱动，这又常常导致错误分类，从而需要人类专家的干预。在这项工作中，我们重新审视并扩展了我们以前的基于深度学习的缺陷分类和检测方法，以改进SEM图像中的缺陷实例分割，具有精确的缺陷范围，并为每个缺陷类别/实例生成掩模。这也使得能够提取和校准每个分割的掩模，并量化构成每个掩模的像素，这反过来又使我们能够对每个分类缺陷实例进行计数，并以像素为单位计算表面积。我们的目标是检测和分割不同类型的类间随机缺陷模式，如桥接，断裂和线塌陷，以及准确区分类内多类别缺陷桥接场景（如薄/单/多线/水平/非水平），用于侵略性间距以及薄抗蚀剂（高NA应用）。我们提出的方法证明了其有效性定量和定性。
2022-11-03 cs.AI cs.CV
One-Shot Segmentation in Clutter
University of Tübingen（图宾根大学）；Bernstein Centre for Computational Neuroscience（伯恩斯坦计算神经科学中心）；Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）；Baylor College of Medicine（贝勒医学院）
我们解决了一次分割的问题：发现和分割一个以前看不见的对象在一个混乱的场景基于一个单一的指令的例子。我们提出了一个新的数据集，我们称之为$\textit{cluttered Omniglot}$。使用一个基准架构相结合的连体嵌入检测与U-网分割，我们表明，越来越多的混乱程度，使任务越来越难。使用Oracle模型访问各种数量的地面实况信息，我们评估了问题的不同方面，并表明在这种视觉搜索任务中，检测和分割是两个交织在一起的问题，每个问题的解决方案都有助于解决其他问题。因此，我们引入$\textit{MaskNet}$，一个改进的模型，出席多个候选位置，产生分割建议，掩盖了背景杂波和选择之间的分割对象。我们的研究结果表明，这样的图像识别模型的基础上迭代细化的目标检测和前景分割可能提供一种方法来处理高度混乱的场景。
2018-06-13 cs.CV
Weak-to-Strong Generalization Enables Fully Automated De Novo Training of Multi-head Mask-RCNN Model for Segmenting Densely Overlapping Cell Nuclei in Multiplex Whole-slice Brain Images
Department of Electrical and Computer Engineering, University of Houston（电子与计算机工程系，休斯顿大学）；National Institute of Neurological Disorders and Stroke（国家神经疾病与中风研究所）；Department of Neurobiology and Anatomy, UT McGovern Medical School（神经生物学与解剖学系，UT麦戈文医学学校）；Canva Pty Ltd.
通过弱到强泛化方法，实现多头Mask-RCNN模型全自动训练，有效分割多重免疫荧光整张图像中的重叠细胞核。
2025-12-12 cs.CV
RHRSegNet: Relighting High-Resolution Night-Time Semantic Segmentation
MSA University（MSA大学）
针对夜间低光照等复杂条件下语义分割精度低的问题，提出融合残差卷积补光模块与高分辨率分割网络的RHRSegNet，在多个夜间数据集上较HRnet分割性能提升5%。
2024-07-08 cs.CV
SG-One: Similarity Guidance Network for One-Shot Semantic Segmentation
University of Technology Sydney（悉尼科技大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
单镜头图像语义分割提出了一个具有挑战性的任务，识别对象区域从看不见的类别，只有一个注释的例子作为监督。在本文中，我们提出了一个简单而有效的相似性指导网络来解决单次（SG-One）分割问题。我们的目标是预测的分割掩模的查询图像的参考一个密集标记的支持图像的同一类别。为了获得支持图像的鲁棒代表性特征，我们首先采用屏蔽平均池化策略，通过只考虑属于支持图像的像素来产生引导特征。然后，我们利用余弦相似度来建立引导特征和查询图像中像素特征之间的关系。以这种方式，嵌入在所产生的相似性图中的可能性可以适于指导分割对象的过程。此外，我们的SG-One是一个统一的框架，可以在一个网络内有效地处理支持和查询图像，并以端到端的方式进行学习。我们在Pascal VOC 2012上进行了广泛的实验。特别是，我们的SGOne实现了46.3%的mIoU得分，超过了基线方法。
2020-05-12 cs.CV
Impact of imperfect annotations on CNN training and performance for instance segmentation and classification in digital pathology
Université Libre de Bruxelles（布鲁塞尔自由大学）；LISA；CMMI
本文研究数字病理学中不完美标注对细胞核检测、分割与分类CNN训练的影响，发现使用小型正确标注验证集和预训练可有效抑制对标注噪声的过拟合并保持模型性能。
2024-10-18 cs.CV
Curriculum Point Prompting for Weakly-Supervised Referring Image Segmentation
School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院）
针对弱监督指代图像分割中噪声和过度关注问题，提出点提示框架PPT，结合课程学习策略，利用CLIP和SAM生成正负点提示，在三个基准上显著提升mIoU。
2024-04-18 cs.CV
RISeg: Robot Interactive Object Segmentation via Body Frame-Invariant Features
Rice University（莱斯大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出 RISeg，利用机器人交互产生的机身坐标系不变运动特征纠正静态 UOIS 掩码，在杂乱场景中以约 2–3 次交互将分割准确率提升至 80.7%。
2024-03-04 cs.CV cs.RO
Automatic Recognition of Mammal Genera on Camera-Trap Images using Multi-Layer Robust Principal Component Analysis and Mixture Neural Networks
Universidad de Antioquia（安蒂奥基亚大学）
从相机陷阱图像中分割和分类动物是由于拍摄图像的条件，这是一项困难的任务。提出了一种从相机陷阱图像中分类和分割哺乳动物属的方法。我们的方法使用多层鲁棒主成分分析（RPCA）进行分割，使用卷积神经网络（CNN）提取特征，使用最小绝对收缩和选择运算符（LASSO）选择特征，使用人工神经网络（ANN）或支持向量机（SVM）对哥伦比亚森林中的哺乳动物属进行分类。我们评估了我们的方法与亚历山大冯洪堡生物资源研究所的相机陷阱图像。我们获得了92.65%的准确率分类8哺乳动物属和假阳性（FP）类，使用自动分割的图像。另一方面，我们达到了90.32%的准确率分类10哺乳动物属，仅使用地面实况图像。与以往的工作不同，我们在相机陷阱识别中遇到了动物分割和属分类问题。这种方法显示了一种新的方法，对一个全自动检测的动物从相机陷阱图像。
2017-05-08 cs.CV
SeqSAM: Autoregressive Multiple Hypothesis Prediction for Medical Image Segmentation using SAM
School of Computer Science, University of Nottingham（诺丁汉大学计算机科学学院）；Nokia Bell Labs（诺基亚贝尔实验室）
本文提出 SeqSAM，将 SAM 扩展为受 RNN 启发的自回归顺序多假设分割框架，通过二分匹配损失保证每个掩码的临床相关性，并可生成任意数量的掩码，在两个公开医学数据集上显著提升各掩码质量。
2025-03-12 cs.AI cs.CV cs.LG
