Controlling False Positives in Image Segmentation via Conformal Prediction
IRT Saint Exupéry（伊尔-德-圣埃克苏佩里研究院）
通过置信预测控制图像分割中的假阳性，提供无分布的图像层面控制和有限样本保证。
2025-11-19 cs.CV cs.LG
Semantic Segmentation-Assisted Instance Feature Fusion for Multi-Level 3D Part Instance Segmentation
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
从三维点云中识别三维零件实例对于三维结构和场景理解具有重要意义。几种基于学习的方法使用语义分割和实例中心预测作为训练任务，并且未能进一步利用形状语义和零件实例之间的内在关系。提出了一种三维零件实例分割的新方法。我们的方法利用语义分割来融合非局部实例特征，如中心预测，并进一步增强了融合方案的多层次和跨层次的方式。我们还提出了一个语义区域中心预测任务来训练，并利用预测结果来提高实例点的聚类。我们的方法优于现有的方法，在PartNet基准测试中有很大的改进。我们还表明，我们的特征融合方案可以应用到其他现有的方法，以提高其性能在室内场景实例分割任务。
2022-08-09 cs.CV
BiSeg: Simultaneous Instance Segmentation and Semantic Segmentation with Fully Convolutional Networks
我们提出了一个简单而有效的框架，同时语义分割和实例分割与全卷积网络（FCN）。该方法称为BiSeg，预测实例分割作为贝叶斯推理的后验，其中语义分割用作先验。我们扩展了最近的方法中使用的位置敏感的得分地图的想法，在不同的尺度和分区模式的多个得分地图的融合，并采用它作为一个强大的可能性实例分割推理。由于贝叶斯推理和地图融合都是按像素执行的，因此BiSeg是一种完全卷积的端到端解决方案，继承了FCN的所有优点。我们展示了PASCAL VOC的最先进的实例分割精度。
2017-07-18 cs.CV
CONSIGN: Conformal Segmentation Informed by Spatial Groupings via Decomposition
Department of Mathematics and Scientific Computing（数学与科学计算系）；University of Graz（格拉茨大学）；BioTechMed-Graz（BioTechMed-格拉茨）；IDea_Lab
CONSIGN通过分解的空间分组指导，改进图像分割的不确定性量化，采用符合性预测框架，结合空间相关性，提升分割性能和不确定性估计质量。
2026-05-08 cs.CV cs.LG
Learning Panoptic Segmentation from Instance Contours
University of Michigan-Dearborn（密歇根大学迪尔伯恩分校）；University of Maryland-College Park（马里兰大学帕克分校）；Valeo Vision Systems（法雷奥视觉系统公司）
全景分割的目的是在像素级别上提供对背景（素材）和对象（事物）实例的理解。它结合了语义分割（像素级分类）和实例分割的单独任务，以构建一个统一的场景理解任务。通常，通过组合单独或联合学习的语义和实例分割任务（多任务网络）来导出全景分割。通常，通过在对象检测器之上添加前景掩模估计层或使用将像素分配给实例中心的实例聚类方法来构建实例分割网络。在这项工作中，我们提出了一个完全卷积的神经网络，它可以从语义分割和实例轮廓（事物的边界）中学习实例分割。实例轮廓与语义分割一起产生事物的边界感知语义分割。在这些结果上的连通分量标记产生实例分割。我们合并语义和实例分割结果以输出全景分割。我们在CityScapes数据集上评估了我们提出的方法，以证明定性和定量性能以及几项消融研究。我们的概述视频可以从URL访问：https://youtu.be/wBtcxRhG3e0.
2021-04-06 cs.CV cs.RO
End-to-End Instance Segmentation with Recurrent Attention
University of Toronto（多伦多大学）；Canadian Institute for Advanced Research（加拿大高级研究院）
虽然卷积神经网络最近在解决语义分割等结构化预测问题方面取得了令人印象深刻的成功，但区分场景中的单个对象实例仍然是一个挑战。实例分割在各种应用中非常重要，例如自动驾驶、图像字幕和视觉问答。已经提出了将大型图形模型与低级视觉相结合的技术来解决这个问题;然而，我们提出了一个端到端的递归神经网络（RNN）架构，该架构具有注意力机制来模拟类似人类的计数过程，并产生详细的实例分割。该网络被联合训练以顺序地产生感兴趣的区域以及每个区域内的主要对象分割。该模型在CVPPP、KITTI和Cityscapes数据集上取得了有竞争力的结果。
2017-07-13 cs.CV cs.LG
CASNet: Common Attribute Support Network for image instance and panoptic segmentation
Tsinghua University（清华大学）；Intel Labs China（英特尔中国研究院）
实例分割和全景分割是近年来研究的热点。与基于限界框的目标检测和语义分割相比，实例分割可以提供更多的像素级分析结果。针对同一实例中的像素点具有当前实例的一个或多个公共属性的特点，提出了一种单级实例分割网络--公共属性支持网络（CASNet），通过对公共属性的预测和聚类实现实例分割。CASNet采用全卷积的方式设计，可以实现端到端的训练和推理。CASNet能够在预测实例时避免当前大多数实例分割算法存在的重叠和空洞问题。此外，它可以很容易地扩展到全景分割，通过较小的修改与很少的计算开销。CASNet从查找像素类ID到通过对公共属性的操作获得类ID和实例ID，在语义分割和实例分割之间架起了一座桥梁。通过实例实验和全景分割，CASNet在Cityscapes验证数据集上采用联合训练的方法得到mAP 32.8%，PQ 59.0%，采用分离训练的方法得到mAP 36.3%，PQ 66.1%.对于全景分割，CASNet在Cityscapes验证数据集上获得了最先进的性能。
2020-07-17 cs.CV
ISCUTE: Instance Segmentation of Cables Using Text Embedding
Bosch Center for Artificial Intelligence（博世人工智能中心）
本文提出ISCUTE，融合CLIPSeg的文本条件语义分割与SAM的零样本泛化能力，实现可文本提示的DLO实例分割，并构建专用数据集，mIoU达91.21%。
2024-02-27 cs.CV cs.LG
Ensembling Instance and Semantic Segmentation for Panoptic Segmentation
Siemens Mobility（西门子交通）
本文提出分别进行实例分割与语义分割再融合的COCO全景分割方案，通过Mask R-CNN专家模型、HTC和多骨干语义模型集成，在test-dev上达到PQ 47.1。
2023-04-20 cs.CV
Consistent Video Instance Segmentation with Inter-Frame Recurrent Attention
Microsoft Cloud & AI（微软云计算与人工智能部门）
视频实例分割的目标是预测每个帧的对象分割掩模，以及跨多个帧关联实例。最近的端到端视频实例分割方法能够在直接并行序列解码/预测框架中一起执行对象分割和实例关联。虽然这些方法通常预测更高质量的对象分割掩模，但它们可能无法在具有挑战性的情况下关联实例，因为它们没有明确地对相邻帧的时间实例一致性进行建模。我们提出了一个一致的端到端的视频实例分割框架与帧间循环注意力模型的时间实例一致性相邻帧和全局时间上下文。我们广泛的实验表明，帧间递归注意显着提高时间实例的一致性，同时保持对象分割掩模的质量。我们的模型在YouTubeVIS-2019（62.1\%）和YouTubeVIS-2021（54.7\%）数据集上都达到了最先进的准确率。此外，定量和定性的结果表明，所提出的方法预测更多的时间一致的实例分割掩模。
2022-06-14 cs.CV
Anatomically-aware conformal prediction for medical image segmentation with random walks
École de Technologie Supérieure；Mila - Quebec AI Institute；Polytechnique Montréal
本文提出RW-CP方法，通过随机游走扩散不确定性，提升医学图像分割的解剖学一致性与预测稳定性。
2026-01-26 cs.CV cs.LG
Vec2Instance: Parameterization for Deep Instance Segmentation
Asian Institute of Technology（亚洲理工学院）
目前深度学习的进展正在使计算机视觉任务（如对象分类、定位、语义分割和实例分割）达到人类水平的准确性。在本文中，我们描述了一种新的深度卷积神经网络架构，称为Vec2Instance，用于实例分割。Vec2Instance为实例的参数化提供了一个框架，允许卷积神经网络有效地估计实例在其质心周围的复杂形状。我们证明了所提出的架构的可行性，卫星图像上的实例分割任务，有广泛的应用。此外，我们证明了新方法的实用性，从卫星图像中提取建筑物的足迹。我们的方法的总像素精度为89%，接近最先进的Mask RCNN的精度（91%）。Vec2Instance是复杂实例分割管道的另一种方法，提供了简单性和直观性。根据本研究开发的代码可在Vec2Instance GitHub存储库中获得，https://github.com/lakmalnd/Vec2Instance
2020-10-06 cs.CV cs.LG eess.IV
Instance Segmentation GNNs for One-Shot Conformal Tracking at the LHC
Princeton Institute for Computational Science and Engineering（普林斯顿计算科学与工程研究所）；Princeton University（普林斯顿大学）；Department of Physics（物理系）
三维实例分割一直是计算机视觉中一个具有挑战性的问题。在对撞机（如LHC）上的粒子跟踪可以被概念化为一个实例分割任务：从粒子检测器中的点云开始，算法必须识别哪些命中属于单个粒子轨迹并提取轨迹属性。图神经网络（GNN）在标准实例分割任务上表现出了良好的性能。在这项工作中，我们证明了实例分割GNN架构对粒子跟踪的适用性;此外，我们重新想象了传统的笛卡尔空间寻迹方法，而是在保形几何中工作，允许GNN在Single Shot中识别轨迹并提取参数。
2021-03-11 cs.CV hep-ex
A Survey on Instance Segmentation: State of the art
目标检测或定位是从粗略到精细数字图像推断的渐进步骤。它不仅提供了图像对象的类别，而且还提供了已分类的图像对象的位置。位置以边界框或质心的形式给出。语义分割通过预测输入图像中每个像素的标签来提供精细的推断。每个像素都根据其所包含的对象类进行标记。为了进一步发展，实例分割为属于同一类的对象的不同实例提供了不同的标签。因此，实例分割可以被定义为同时解决目标检测问题和语义分割问题的技术。在这篇关于实例分割的综述论文中，讨论了它的背景、问题、技术、演变、流行的数据集、相关的工作、最新的技术水平和未来的范围。本文的研究成果为实例分割领域的研究提供了有价值的参考。
2020-06-28 cs.CV cs.LG eess.IV
H-EMD: A Hierarchical Earth Mover's Distance Method for Instance Segmentation
University of Notre Dame（圣母大学）；Nanjing University of Science and Technology（南京理工大学）；Leibniz-Institut für Analytische Wissenschaften–ISAS–e.V.（莱布尼茨分析科学研究所）
基于深度学习（DL）的语义分割方法在生物医学图像分割中取得了优异的性能，产生了高质量的概率图，允许提取丰富的实例信息，以促进良好的实例分割。虽然大量的努力投入到开发新的DL语义分割模型，很少注意到一个关键问题，即如何有效地探索其概率图，以达到最佳的可能实例分割。我们观察到，概率图DL语义分割模型可以用来生成许多可能的实例候选人，和准确的实例分割，可以通过选择一组“优化”的候选人作为输出实例。此外，所生成的实例候选形成行为良好的分层结构（森林），其允许以优化的方式选择实例。因此，我们提出了一种新的框架，称为分层地球移动的距离（H-EMD），实例分割在生物医学的2D+时间视频和3D图像，明智地采用了一致的实例选择与语义分割生成的概率图。H-EMD包含两个主要阶段。(1)实例候选生成：通过在森林结构中生成许多实例候选来捕获概率图中的实例结构化信息。(2)实例候选选择：从候选集合中选择实例进行最终的实例分割。我们制定了一个关键的实例选择问题的实例候选森林作为一个优化问题的基础上的推土机的距离（EMD），并解决它的整数线性规划。在8个生物医学视频或3D数据集上的大量实验表明，H-EMD始终提高DL语义分割模型，并且与最先进的方法具有很强的竞争力。
2022-06-02 cs.CV
Instance Segmentation XXL-CT Challenge of a Historic Airplane
Fraunhofer IIS（弗劳恩霍夫集成电路研究所）；Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Fraunhofer Research Institution for Individualized and Cell-Based Medical Engineering (IMTE)（弗劳恩霍夫个性化与基于细胞的医学工程研究所）；Institute of Medical Engineering, University of Lübeck（吕贝克大学医学工程研究所）
针对XXL-CT图像中复合物体实例分割的挑战，举办历史飞机挑战赛，探索自动与交互式分割方法以高效描绘飞机部件，并报告了组织、结果及方法优劣。
2024-02-05 cs.CV cs.LG
Conformal confidence sets for biomedical image segmentation
针对生物医学图像分割黑盒模型的空间不确定性问题，提出适配成像场景的共形置信集方法，通过分数变换与校准获取阈值，在polpys数据集上验证可在控错率下实现肿瘤位置紧致边界。
2024-10-08 cs.LG stat.ML
Efficient Conformal Volumetry for Template-Based Segmentation
Department of Electrical & Computer Engineering（电气与计算机工程系）
ConVOLT通过利用模板基分割的变形场属性，实现了高效的体积不确定性量化，提高了医学影像分割的准确性与可靠性。
2026-02-28 cs.CV cs.LG eess.IV
Occlusion-Ordered Semantic Instance Segmentation
School of Computer Science, University of Waterloo（滑铁卢大学计算机科学学院）
提出遮挡有序语义实例分割（OOSIS）任务，联合提取实例及其遮挡顺序，利用有向遮挡边界和语义分割，以标记问题简洁求解，并在KINS和COCOA数据集上优于强基线。
2025-04-18 cs.AI cs.CV cs.LG
Sparse Object-level Supervision for Instance Segmentation with Pixel Embeddings
European Molecular Biology Laboratory (EMBL)（欧洲分子生物学实验室（EMBL））
大多数最先进的实例分割方法必须在密集注释的图像上进行训练。虽然一般来说很困难，但这一要求对于生物医学图像尤其令人生畏，因为在生物医学图像中，注释通常需要领域专业知识，并且没有大型公共数据汇集可用于预训练。我们建议通过引入基于非空间嵌入的无命题分割方法来解决密集注释瓶颈，该方法利用学习的嵌入空间的结构以可区分的方式提取单个实例。然后可以将分割损失直接应用于实例，并且可以以完全或弱监督的方式训练整个管道。我们考虑了正未标记监督的挑战性案例，其中为训练数据的未标记部分引入了新型的自监督一致性损失。我们评估所提出的方法在不同的显微镜模式，以及在城市景观和CVPPP实例分割基准的2D和3D分割问题，后者实现国家的最先进的结果。代码可在以下网址获得：https://github.com/kreshuklab/spoco
2022-04-04 cs.CV cs.LG
Bounding Box Embedding for Single Shot Person Instance Segmentation
Octi Inc.（Octi公司）
我们提出了一个自下而上的方法，使用单镜头模型的对象实例分割的任务。该模型采用了一个完全卷积的网络，该网络经过训练，可以预测类分割掩码以及每个像素所属的对象实例的边界框。这允许我们将对象像素分组到各个实例中。我们的网络架构基于DeepLabv3+模型，只需要最少的额外计算就可以实现像素级的实例分配。我们应用我们的方法的任务的人实例分割，一个共同的任务相关的许多应用程序。我们用COCO数据训练我们的模型，并报告COCO实例分割任务中person类的竞争结果。
2018-07-20 cs.CV
Synthetic Instance Segmentation from Semantic Image Segmentation Masks
Nanjing Forestry University（南京林业大学）；Hong Kong University of Science and Technology（香港科技大学）；Hefei University of Technology（合肥工业大学）；Chinese Academy of Forestry（中国林业科学研究院）
针对全监督实例分割标注成本高、弱监督方法精度不足的问题，提出SISeg范式，利用现有语义分割掩码计算位移场向量并结合可学习边界分支实现实例分割，无需额外训练与实例标注，在两个数据集上取得媲美最优方法的效果。
2024-10-08 cs.CV
Panoptic Segmentation with a Joint Semantic and Instance Segmentation Network
Eindhoven University of Technology（埃因霍温理工大学）
我们提出了一个单一的网络方法的全景分割。该方法结合了来自联合训练的语义和实例分割网络的预测。联合训练是实现端到端全景分割网络的第一步，并且比使用两个网络进行训练和预测更快，更高效。该架构由语义分割和实例分割分支共享的ResNet-50特征提取器组成。对于实例分割，使用Mask R-CNN类型的架构，而语义分割分支则使用金字塔池化模块进行扩充。该方法的结果提交给COCO和Mapillary联合识别挑战赛2018。我们的方法在Mapillary Vistas验证集上实现了17.6的PQ评分，在COCO测试开发集上实现了27.2的PQ评分。
2019-02-07 cs.CV
Joint Learning of Instance and Semantic Segmentation for Robotic Pick-and-Place with Heavy Occlusions in Clutter
University of Tokyo（东京大学）；JSK Laboratory（JSK实验室）
我们提出了联合学习的实例和语义分割的可见和遮挡区域掩模。将特征提取器与实例遮挡分割器共用，将语义遮挡分割引入到实例分割模型中。这种联合学习融合了不同分割任务上的掩模预测的实例级和图像级推理，这在以前仅学习实例分割的工作中是缺失的。在实验中，我们在测试数据集上评估了所提出的联合学习与仅实例学习的比较。我们还将联合学习模型应用于2种不同类型的机器人拾取和放置任务（随机和目标拾取），并评估其实现真实世界机器人任务的有效性。
2020-01-21 cs.CV cs.RO
COMPASS: Robust Feature Conformal Prediction for Medical Segmentation Metrics
COMPASS通过利用深度神经网络的归纳偏差，为医学图像分割提供高效的基于度量的不确定性量化方法。
2026-02-28 cs.CV cs.LG eess.IV
Contextual Guided Segmentation Framework for Semi-supervised Video Instance Segmentation
National Institute of Informatics（国立信息学研究所）；University of Dayton（代顿大学）；University of Science and Vietnam National University, Ho Chi Minh（胡志明市越南国家大学科学大学）
在本文中，我们提出了上下文引导分割（CGS）框架的视频实例分割在三个回合。在第一遍中，即，预览分割，我们提出实例重新识别流程来估计每个实例的主要属性（即，人类/非人类、刚性/可变形、已知/未知类别）。在第二遍中，即，上下文分割，我们介绍多个上下文分割方案。对于人类的例子，我们开发了一个帧中的对象流引导分割，以纠正和完善跨帧的结果。对于非人类实例，如果实例在外观上有很大的变化，并且属于已知类别（可以从初始掩码中推断），则采用实例分割。如果非人类实例几乎是刚性的，则我们对来自视频序列的第一帧的合成图像进行训练FCN。在最后一遍中，即，引导分割，我们开发了一种新的细粒度的非矩形感兴趣区域（ROI）的分割方法。自然形状的ROI通过应用来自当前帧的相邻帧的引导注意来生成，以减少不同重叠实例的分割中的模糊性。前向掩码传播之后是后向掩码传播，以进一步恢复由于重新出现的实例、快速运动、遮挡或严重变形而丢失的实例片段。最后，每个帧中的实例根据它们的深度值、人类和非人类对象交互以及稀有实例优先级进行合并。在DAVIS测试挑战数据集上进行的实验证明了我们提出的框架的有效性。我们在2017-2019年DAVIS挑战赛中连续获得第三名，全球得分、区域相似性和轮廓准确性分别为75.4%、72.4%和78.4%。
2022-04-11 cs.CV
Amodal Instance Segmentation
University of California, Berkeley（加州大学伯克利分校）
我们考虑非模态实例分割的问题，其目的是预测的区域，包括可见和被遮挡的部分，每个对象。到目前为止，缺乏公开可用的非模态分割注释阻碍了非模态分割方法的发展。在本文中，我们回避了这个问题，仅仅依靠标准的模态实例分割注释来训练我们的模型。其结果是一种新的非模态实例分割的方法，这是第一个这样的方法，以我们所知。我们证明了所提出的方法的有效性定性和定量。
2016-08-17 cs.CV
Applying Eigencontours to PolarMask-Based Instance Segmentation
Korea University（高丽大学）
特征轮廓是第一个基于奇异值分解的数据驱动轮廓描述符。在实现ESE-Seg的基础上，将特征轮廓成功地应用于实例分割任务。在这份报告中，我们将特征轮廓纳入PolarMask网络进行实例分割。在COCO 2017和SBD两个实例分割数据集上的实验结果表明，该算法的分割效果优于PolarMask。此外，我们定性地分析了特征轮廓的特点。我们的代码可在https://github.com/dnjs3594/Eigencontours上获得。
2022-08-24 cs.CV
Conditional Convolutions for Instance Segmentation
The University of Adelaide（阿德莱德大学）
我们提出了一个简单而有效的实例分割框架，称为CondInst（条件卷积实例分割）。性能最佳的实例分割方法（如Mask R-CNN）依赖于ROI操作（通常为ROIPool或ROIAlign）来获得最终的实例掩码。相反，我们提出从一个新的角度来解决实例分割。我们采用动态实例感知网络，以实例为条件，而不是使用实例ROI作为固定权重网络的输入。CondInst有两个优势：1）实例分割通过全卷积网络解决，无需ROI裁剪和特征对齐。2)由于动态生成的条件卷积的能力大大提高，掩模头可以非常紧凑（例如，3 conv.层，每个层仅具有8个通道），从而导致显著更快的推理。我们展示了一个更简单的实例分割方法，可以实现提高性能的准确性和推理速度。在COCO数据集上，我们的表现优于最近的一些方法，包括精心调整的Mask RCNN基线，而不需要更长的训练时间表。代码可用：https://github.com/aim-uofa/adet
2020-07-26 cs.CV
Bridging Category-level and Instance-level Semantic Image Segmentation
The University of Adelaide（阿德莱德大学）
我们提出了一种建立在类别级分割之上的实例级图像分割方法。具体地，对于语义类别掩码中的每个像素，使用深度全卷积回归网络来预测其对应的实例限界框。因此，它遵循与流行的检测然后分割方法不同的流水线，该方法首先预测实例的边界框，这是实例分割中的当前最先进技术。我们表明，通过利用我们的国家的最先进的语义分割模型的力量，所提出的方法可以实现可比的，甚至更好的结果，检测，然后段的方法。我们做出以下贡献。(i)首先，我们提出了一个简单而有效的方法来语义实例分割。(ii)其次，我们提出了一种在线自举方法在训练过程中，这是至关重要的实现语义类别分割和实例级分割的良好性能。(iii)由于语义类别分割的性能对实例级分割有很大的影响，这是我们方法的第二步，我们训练完全卷积的残差网络，以达到最佳的语义类别分割精度。在PASCAL VOC 2012数据集上，我们获得了目前最好的平均交叉-联合评分为79.1%。(iv)我们还实现了国家的最先进的实例级分割的结果。
2016-05-23 cs.CV
CellSegmenter: unsupervised representation learning and instance segmentation of modular images
Broad Institute（博德研究所）
我们介绍了CellSegmenter，一个结构化的深度生成模型和一个用于无监督表示学习和实例分割任务的摊销推理框架。所提出的推理算法是卷积和并行化的，没有任何循环机制，并且能够解决对象-对象遮挡，同时独立地处理远处的非遮挡对象。这导致了极快的训练时间，同时允许外推到任意数量的实例。我们还引入了一个透明的后验正则化策略，鼓励场景重建与最少的本地化对象和低复杂度的背景。我们在具有结构化背景的具有挑战性的合成多MNIST数据集上评估了我们的方法，并且仅用几百个训练时期就达到了近乎完美的准确度。最后，我们展示了细胞核成像数据集的分割结果，证明了我们的方法能够提供高质量的分割，同时还能处理涉及大量实例的实际用例。
2020-11-25 cs.CV cs.LG
3D Instance Segmentation of MVS Buildings
Zhejiang University of Technology（浙江工业大学）
我们提出了一种新的三维实例分割框架多视图立体视觉（MVS）的城市场景中的建筑物。与现有的作品侧重于城市场景的语义分割，这项工作的重点在于检测和分割的三维建筑物的实例，即使他们是附加和嵌入在一个大的和不精确的三维表面模型。首先通过添加高度图将多视图RGB图像增强为RGBH图像，并使用微调的2D实例分割神经网络分割以获得所有屋顶实例。然后，将来自不同多视图图像的实例掩码聚类为全局掩码。我们的掩模聚类占空间遮挡和重叠，这可以消除多视图图像之间的分割歧义。在此基础上，通过模板反投影分割出三维屋顶实例，并通过马尔可夫随机场优化扩展到整个建筑实例。提供了一个新的数据集，其中包含3D城市场景（屋顶和建筑物）和无人机图像（屋顶）的实例级注释。据我们所知，它是第一个专门用于3D实例分割的户外数据集，其中附加的3D建筑物的注释比现有数据集多得多。定量评估和消融研究表明，所有主要步骤的有效性和优势，我们的多视图框架的正射影像为基础的方法。
2022-06-22 cs.AI cs.CV cs.LG
Mask2Former for Video Instance Segmentation
University of Illinois at Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校）；Facebook AI Research (FAIR)（Facebook 人工智能研究院）
我们发现Mask 2Former在视频实例分割上也实现了最先进的性能，而无需修改架构，损失甚至训练管道。在这份报告中，我们展示了通用的图像分割架构，通过直接预测3D分割体积来简单地推广到视频分割。具体来说，Mask 2Former在YouTubeVIS-2019上设定了60.4 AP的最新水平，在YouTubeVIS-2021上设定了52.6 AP。我们相信Mask 2Former也能够处理视频语义和全景分割，因为它在图像分割方面具有多功能性。我们希望这将使国家的最先进的视频分割研究更容易获得，并带来更多的关注，设计通用的图像和视频分割架构。
2021-12-20 cs.AI cs.CV cs.LG
JSNet: Joint Instance and Semantic Segmentation of 3D Point Clouds
Huazhong University of Science and Technology（华中科技大学）
在本文中，我们提出了一种新的联合实例和语义分割的方法，这是所谓的JSNet，以解决实例和语义分割的三维点云同时进行。首先，我们建立了一个有效的骨干网络，从原始点云提取强大的功能。其次，为了获得更具鉴别力的特征，提出了一种点云特征融合模块，用于融合骨干网的不同层次特征。此外，还开发了一个联合实例语义分割模块，将语义特征转换到实例嵌入空间中，然后将转换后的特征与实例特征进行融合，以利于实例分割。同时，该模块还将实例特征聚合到语义特征空间中，以促进语义分割。最后，通过对实例嵌入应用简单的均值漂移聚类来生成实例预测。因此，我们评估建议的JSNet上的大规模三维室内点云数据集S3DIS和部分数据集ShapeNet，并将其与现有的方法进行比较。实验结果表明，该方法在3D实例分割方面优于现有方法，在3D语义预测方面有明显的改善，同时该方法也有利于零件分割。这个工作的源代码可以在https://github.com/dlinzhao/JSNet上找到。
2019-12-20 cs.CV
Insight Any Instance: Promptable Instance Segmentation for Remote Sensing Images
Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；University of Chinese Academy of Sciences（中国科学院大学）；School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences（中国科学院大学电子电气与通信工程学院）
针对遥感图像实例分割中前景背景失衡、实例尺寸小及下采样影响性能的问题，提出含局部提示、全局到局部提示模块与候选框面积损失的提示范式，可实现40ms的可提示实例分割，在多个数据集上验证了有效性。
2024-09-11 cs.CV
Instance segmentation with the number of clusters incorporated in embedding learning
City University of Hong Kong（香港城市大学）
语义和实例分割算法是由卷积神经网络提供支持的两种通用但不同的图像分割解决方案。虽然语义分割广泛受益于端到端的训练策略，但实例分割通常被视为一个多阶段的任务，由基于学习的区分和后处理聚类支持。子阶段上的独立优化煽动分割错误的积累。在这项工作中，我们提出了将先验聚类信息嵌入到嵌入式学习框架FCRNet中，刺激单阶段实例分割。FCRNet通过将聚类组的数量并入嵌入空间来减轻后处理的复杂性。在核数据集BBBC006上验证了FCRNet的优越性能，并与其他方法进行了比较。
2021-03-27 cs.CV
Object-Guided Instance Segmentation for Biological Images
Rutgers University（罗格斯大学）；Tencent Hippocrates Research Labs（腾讯希波克拉底研究实验室）；Lieber Institute for Brain Development（利伯大脑发育研究所）
生物图像的实例分割是研究目标行为和属性的基础。诸如对象的聚类、遮挡和粘附问题的挑战使得实例分割成为一项不平凡的任务。当前无框实例分割方法通常依赖于局部像素级信息。由于缺乏全局对象视图，这些方法易于过分割或欠分割。相反，基于框的实例分割方法将目标检测结合到分割中，在识别个体实例方面表现更好。本文提出了一种新的基于框的实例分割方法。主要是从对象的中心点定位对象的边界框。对象特征随后在分割分支中被重用，作为在RoI补丁内分离聚类实例的指南。通过实例归一化，该模型能够恢复目标对象的分布并抑制相邻附着对象的分布。因此，该模型在分割聚类对象，同时保留目标对象的细节表现出色。所提出的方法在三个生物数据集上实现了最先进的性能：细胞核，植物表型数据集和神经细胞。
2019-11-20 cs.CV
Semantic Attention and Scale Complementary Network for Instance Segmentation in Remote Sensing Images
在本文中，我们专注于具有挑战性的多类别实例分割问题的遥感图像（RSIs），其目的是预测的类别的所有实例和定位它们与像素级的面具。尽管许多地标框架在实例分割方面表现出了良好的性能，但背景和尺度变化实例的复杂性仍然对RSIs的实例分割具有挑战性。针对上述问题，本文提出了一种端到端的多类别实例分割模型，即语义注意力和尺度互补网络模型。该模型主要由语义注意力（SEA）模块和尺度互补掩码分支（SCMB）组成。SEA模块包含一个简单的全卷积语义分割分支，并具有额外的监督，以加强特征图上感兴趣实例的激活并减少背景噪声的干扰。为了处理具有大变化尺度的地理空间实例的欠分割，我们设计了SCMB，将原始的单掩码分支扩展为三叉掩码分支，并在不同尺度上引入互补掩码监督以充分利用多尺度信息。在iSAID数据集和NWPU实例分割数据集上进行了全面的实验，评估了所提出方法的有效性，并取得了良好的性能。
2021-07-25 cs.CV
Multi-scale Cell Instance Segmentation with Keypoint Graph based Bounding Boxes
Rutgers University（罗格斯大学）；JD Digits（京东数字科技）；Lieber Institute for Brain Development（利伯大脑发育研究所）
大多数现有方法直接处理细胞实例分割问题，而不依赖于额外的检测框。由于缺乏对物体的全局理解，这些方法通常无法分离接触细胞。相比之下，基于框的实例分割通过将目标检测与分割相结合来解决这个问题。然而，现有的方法通常利用基于锚盒的检测器，这将导致较差的实例分割性能由于类不平衡的问题。本文提出了一种新的基于盒的细胞实例分割方法。特别地，我们首先通过关键点检测来检测细胞的五个预定义点。然后，我们根据关键点图对这些点进行分组，并随后提取每个单元的限界框。最后，在边界框内的特征图上执行单元分割。我们验证了我们的方法在两个细胞数据集与不同的对象形状，经验证明我们的方法相比，其他实例分割技术的优越性。代码可在：https://github.com/yijingru/KG_Instance_Segmentation.
2019-07-25 cs.CV
Instance Search via Instance Level Segmentation and Feature Representation
Xiamen University（厦门大学）
实例搜索是一个有趣的任务，也是一个具有挑战性的问题，由于缺乏有效的特征表示。本文提出了一种基于完全卷积实例感知分割的实例级特征表示方法。该特征是从分割的实例区域中提取的ROI池。因此，不同大小和布局的实例由统一长度的深度特征表示。通过使用可变形的ResNeXt块进一步增强了这种表示。在我们自己构建的具有挑战性的评估数据集上观察到其独特性和可扩展性方面的卓越性能。此外，所提出的网络结构上的增强也表现出优越的性能上的实例分割任务。
2019-05-09 cs.CV cs.IR
SOLO: A Simple Framework for Instance Segmentation
The University of Adelaide（阿德莱德大学）；Monash University（莫纳什大学）；Tongji University（同济大学）；ByteDance AI Lab（字节跳动人工智能实验室）
与许多其他密集预测任务相比，例如，在语义分割中，任意数量的实例使得实例分割更具挑战性。为了预测每个实例的掩码，主流方法或者遵循“检测然后分段”策略（例如，Mask R-CNN），或者首先预测嵌入向量，然后将像素聚类到单个实例中。在本文中，我们认为实例分割的任务，从一个全新的角度，通过引入“实例类别”的概念，它分配类别的实例内的每个像素根据实例的位置。有了这个概念，我们提出了分割对象的位置（SOLO），一个简单，直接，快速的框架实例分割具有强大的性能。我们推导出一些SOLO变体（例如，Vanilla SOLO、Decoupled SOLO、Dynamic SOLO）的基本原理。我们的方法直接将原始输入图像映射到所需的对象类别和实例掩码，消除了分组后处理或限界框检测的需要。我们的方法实现了最先进的结果实例分割在速度和准确性方面，同时比现有的方法要简单得多。除了实例分割之外，我们的方法在目标检测（来自我们的掩模副产品）和全景分割方面产生了最先进的结果。我们进一步证明了SOLO的灵活性和高质量的分割，通过扩展它来执行一个阶段的实例级图像抠图。代码可在：https://git.io/AdelaiDet
2021-06-30 cs.CV
Instance Segmentation by Deep Coloring
Skolkovo Institute of Science and Technology (Skoltech)（斯科尔科沃科学技术学院）；Yandex（Yandex（俄罗斯搜索引擎公司））；Samsung AI Center（三星人工智能中心）
我们提出了一个新的，可以说，一个非常简单的减少实例分割的语义分割。这种减少允许使用已经为语义分割提出的架构以端到端的方式训练前馈非递归深度实例分割系统。我们的方法通过引入固定数量的标签（颜色），然后在训练（着色）过程中动态地将对象实例分配给这些标签来进行。然后使用标准的语义分割目标来训练一个网络，该网络可以为以前看不见的图像着色。在测试时，可以使用简单的连接分量分析从训练的卷积网络的输出中恢复单个对象实例。在实验验证中，着色方法被证明能够解决自动驾驶（Cityscapes基准），植物表型（CVPPP叶分割挑战）和高通量显微镜图像分析中出现的各种实例分割任务。源代码是公开的：https://github.com/kulikovv/DeepColoring。
2018-07-26 cs.CV
Robust Online Video Instance Segmentation with Track Queries
University of Illinois at Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校）
最近，基于变换的方法在视频实例分割（VIS）上取得了令人印象深刻的结果。然而，这些性能最好的方法中的大多数以离线方式运行，即一次处理整个视频剪辑以预测实例掩码体积。这使得他们无法处理出现在具有挑战性的新视频实例分割数据集中的长视频，如UVO和OVIS。我们提出了一个完全在线的基于transformer的视频实例分割模型，该模型在YouTube-VIS 2019基准测试中执行了最佳离线方法，并且在UVO和OVIS上的性能大大优于它们。这种方法，称为鲁棒在线视频分割（ROVIS），增强了Mask 2Former图像实例分割模型与跟踪查询，一个轻量级的机制进行跟踪信息从帧到帧，最初介绍了TrackFormer方法的多对象跟踪。我们表明，当与足够强大的图像分割架构相结合时，跟踪查询可以表现出令人印象深刻的准确性，同时不限于短视频。
2022-11-16 cs.CV
GSPN: Generative Shape Proposal Network for 3D Instance Segmentation in Point Cloud
Stanford University（斯坦福大学）；Tsinghua University（清华大学）
本文提出了一种新的用于点云数据实例分割的三维物体建议方法--生成形状建议网络（GSPN）。而不是把对象的建议作为一个直接的限界框回归问题，我们采取的分析合成策略，并生成建议重建的形状从嘈杂的观察场景。我们将GSPN到一个新的三维实例分割框架命名为基于区域的PointNet（R-PointNet），它允许灵活的建议细化和实例分割生成。我们在几个3D实例分割任务上实现了最先进的性能。GSPN的成功很大程度上来自于它强调对象建议过程中的几何理解，这大大减少了低对象性的建议。
2018-12-08 cs.CV
Pose2Instance: Harnessing Keypoints for Person Instance Segmentation
Google Research（谷歌研究院）；UC San Diego（加州大学圣地亚哥分校）；Google Inc.（谷歌公司）；Cornell University（康奈尔大学）
人体关键点是一个很好的研究表示的人。我们探讨如何使用关键点模型，以改善实例级的人分割。主要思想是利用oracle提供的关键点或估计的关键点热图的距离变换的概念作为深度神经网络内的人实例分割任务的先验。对于训练和评估，我们考虑来自COCO的所有那些图像，其中实例分割和人类关键点注释都可用。我们首先展示了Oracle关键点如何在没有任何训练的情况下在推理过程中提高现有人类分割模型的性能。接下来，我们提出了一个框架来直接学习以人体姿势为条件的深度实例分割模型。实验结果表明，在不同的交集超过联合（IOU）阈值，在一个约束环境中与甲骨文关键点，实例分割的准确性实现了10%至12%的相对提高超过一个强大的基线的甲骨文边界框。在更现实的环境中，在没有oracle关键点的情况下，所提出的以人体姿势为条件的深度人实例分割模型与仅为分割而训练的深度网络的最强基线相比实现了3.8%至10.5%的相对改进。
2017-04-04 cs.CV
Joint COCO and Mapillary Workshop at ICCV 2019: COCO Instance Segmentation Challenge Track
Megvii Technology（旷视科技）
在这份报告中，我们提出了我们的目标检测/实例分割系统，MegDetV 2，它的工作原理是两遍的方式，首先检测实例，然后获得分割。我们的基线检测器主要构建在一个新设计的RPN上，称为RPN++。在COCO-2019检测/实例分割测试开发数据集上，我们的系统实现了61.0/53.1 mAP，分别超过了我们2018年的获奖结果5.0/4.2。我们在COCO Challenge 2019和2020中取得了最好的成绩。
2020-10-06 cs.CV
Instance-Specific Feature Propagation for Referring Segmentation
Nanyang Technological University（南洋理工大学）
引用分割旨在为由自然语言表达式指示的目标实例生成分割掩码。现有的方法主要有两种：一种是直接对融合后的视觉和语言特征进行分割的单阶段方法;另一种是首先利用实例分割模型进行实例建议，然后通过实例与语言特征的匹配来选择实例的两阶段方法。在这项工作中，我们提出了一种新的框架，同时检测目标的兴趣，通过特征传播，并生成一个细粒度的分割掩模。在我们的框架中，每个实例是由一个实例特定的功能（ISF），和目标的指的是通过交换信息之间的所有ISF使用我们提出的特征传播模块（FPM）。我们的实例感知方法学习所有对象之间的关系，这有助于比一阶段方法更好地定位感兴趣的目标。与两阶段方法相比，我们的方法协同和交互地利用视觉和语言信息进行同步识别和分割。在实验测试中，我们的方法在所有三个RefCOCO系列数据集上的性能优于以前的最先进的方法。
2022-04-26 cs.CV
Spatial Semantic Embedding Network: Fast 3D Instance Segmentation with Deep Metric Learning
Seoul National University（首尔大学）
我们提出了空间语义嵌入网络（SSEN），这是一种使用深度度量学习进行3D实例分割的简单而有效的算法。室内环境的原始3D重建遭受遮挡、噪声，并且在各个实体之间没有任何有意义的区别的情况下产生。对于来自大规模场景的高级智能任务，3D实例分割识别对象的各个实例。我们通过简单地学习正确的嵌入空间来实现实例分割，该嵌入空间将对象的各个实例映射到反映空间和语义信息的不同聚类中。与以前需要复杂的预处理或后处理的方法不同，我们的实现紧凑，快速，具有竞争力的性能，在具有高分辨率体素的大型场景中保持可扩展性。我们展示了我们的算法在ScanNet 3D实例分割基准AP得分的最先进的性能。
2020-07-07 cs.CV
Distance to Center of Mass Encoding for Instance Segmentation
University of Sao Paulo（圣保罗大学）
实例分割可以被认为是目标检测问题的扩展，其中边界框被对象轮廓代替。严格地说，这个问题需要识别每个像素实例和类独立于用于此平均值的技巧。与通常的目标检测相比，实例分割的优点在于精确地描绘了对象，改善了对象定位。此外，对象轮廓允许用基本图像处理算法评估部分遮挡。这项工作的实例分割问题的注释问题，并提出了一种新的技术来编码和解码地面实况注释。我们提出了一个数学表示的实例，任何深度语义分割模型可以学习和推广。每一个单独的实例都由一个质心和一个指向它的矢量场来表示，这种编码技术被命名为质心距离编码（DCME）。
2017-11-24 cs.CV
Deep Learning Based Instance Segmentation in 3D Biomedical Images Using Weak Annotation
University of Notre Dame（圣母大学）
三维图像中的实例分割是生物医学图像分析中的一项基本任务。虽然深度学习模型通常适用于2D实例分割，但3D实例分割仍然面临着严峻的挑战，例如由于3D生物医学图像中的各种注释困难而导致的训练数据不足。常见的3D注释方法（例如，全体素注释）导致标记足够的实例以训练深度学习3D实例分割模型的高工作量和成本。在本文中，我们提出了一种新的弱注释方法，用于在不使用完整体素掩码注释的情况下训练快速深度学习3D实例分割模型。我们的方法只需要3D边界框的所有实例和完整的体素注释的一小部分的实例，并使用一种新的两阶段的3D实例分割模型，分别利用这两种注释。我们在多个生物医学图像数据集上评估了我们的方法，实验结果表明：（1）在完整注释框和少量掩模的情况下，我们的方法可以实现与使用完整注释的最佳已知方法相似的性能，以及（2）在相似的注释时间下，我们的方法优于使用完整注释的最佳已知方法。
2018-06-28 cs.CV
Pixelwise Instance Segmentation with a Dynamically Instantiated Network
University of Oxford（牛津大学）
语义分割和目标检测的研究近年来取得了长足的进展。然而，前一个任务没有相同对象的不同实例的概念，后者在粗略的边界框级别上操作。我们提出了一个实例分割系统，产生一个分割图，每个像素被分配一个对象类和实例身份标签。大多数方法使对象检测器适应于产生段而不是框。相比之下，我们的方法是基于一个初始的语义分割模块，它提供给一个实例子网络。该子网络使用初始类别级分割，以及来自对象检测器输出的线索，在端到端CRF中预测实例。我们模型的这一部分是动态实例化的，每个图像产生可变数量的实例。我们的端到端方法不需要后期处理，而是从整体上考虑图像，而不是处理独立的建议。因此，与某些相关工作不同，一个像素不能属于多个实例。此外，实现了更精确的分割，正如我们在Pascal VOC和Cityscapes数据集上的最新结果（特别是在高IoU阈值下）所示。
2017-04-07 cs.CV
Foundation Models for Amodal Video Instance Segmentation in Automated Driving
Institute for Communications Technology（通信技术研究所）；Technische Universität Braunschweig（布伦瑞克工业大学）
针对自动驾驶中非模态视频实例分割标注成本高及分割与跟踪性能权衡的问题，提出基于SAM微调的S-AModal方法，利用点记忆与点跟踪实现视频级非模态分割，无需视频标签即达SOTA。
2024-09-21 cs.CV
Beyond Semantic to Instance Segmentation: Weakly-Supervised Instance Segmentation via Semantic Knowledge Transfer and Self-Refinement
NAVER CLOVA；NAVER AI Lab（NAVER人工智能实验室）；Inha University（仁荷大学）；KAIST（韩国科学技术院）
弱监督实例分割（WSIS）被认为是一个比弱监督语义分割（WSSS）更具挑战性的任务。与WSSS相比，WSIS需要实例本地化，这很难从图像级标签中提取。为了解决这个问题，大多数WSIS方法使用现成的建议技术，这些技术需要使用实例或对象级别标签进行预训练，偏离了完全图像级别监督设置的基本定义。在本文中，我们提出了一种新的方法，包括两个创新的组成部分。首先，我们提出了一个语义知识转移，以获得伪实例标签的知识转移WSSS到WSIS，同时消除了需要的现成的建议。其次，我们提出了一种自我改进的方法来改进的伪实例标签在一个自我监督的计划，并使用改进的标签进行训练，在一个在线的方式。在这里，我们发现了一个错误的现象，语义漂移，发生的伪实例标签分类为背景类的缺失的实例。这种语义漂移会造成训练过程中背景和实例之间的混淆，从而降低分割性能。我们将此问题称为语义漂移问题，并表明我们提出的自求精方法消除了语义漂移问题。在PASCAL VOC 2012和MS COCO上的大量实验证明了我们方法的有效性，并且我们在没有现成建议技术的情况下实现了相当大的性能。该代码可在https://github.com/clovaai/BESTIE上获得。
2022-03-29 cs.CV
3D-BEVIS: Bird's-Eye-View Instance Segmentation
RWTH Technical University Aachen（亚琛工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
最近的深度学习模型通过直接在非结构化点云上操作，在3D景物分析任务上取得了令人印象深刻的结果。在目标分类和语义分割领域取得了很大的进展。然而，实例分割的任务较少探索。在这项工作中，我们提出了3D-BEVIS，一个深度学习框架，用于点云上的3D语义实例分割。遵循以前的无命题实例分割方法的思想，我们的模型学习一个特征嵌入，并将获得的特征空间分组为语义实例。当前基于点的方法通过单独处理场景的局部子部分而随着点的数量线性缩放。然而，为了通过聚类执行实例分割，需要全局一致的特征。因此，我们建议将局部点几何与全局上下文信息相结合，从中间鸟瞰图表示。
2019-08-01 cs.CV
