H-EMD: A Hierarchical Earth Mover's Distance Method for Instance Segmentation
University of Notre Dame（圣母大学）；Nanjing University of Science and Technology（南京理工大学）；Leibniz-Institut für Analytische Wissenschaften–ISAS–e.V.（莱布尼茨分析科学研究所）
基于深度学习（DL）的语义分割方法在生物医学图像分割中取得了优异的性能，产生了高质量的概率图，允许提取丰富的实例信息，以促进良好的实例分割。虽然大量的努力投入到开发新的DL语义分割模型，很少注意到一个关键问题，即如何有效地探索其概率图，以达到最佳的可能实例分割。我们观察到，概率图DL语义分割模型可以用来生成许多可能的实例候选人，和准确的实例分割，可以通过选择一组“优化”的候选人作为输出实例。此外，所生成的实例候选形成行为良好的分层结构（森林），其允许以优化的方式选择实例。因此，我们提出了一种新的框架，称为分层地球移动的距离（H-EMD），实例分割在生物医学的2D+时间视频和3D图像，明智地采用了一致的实例选择与语义分割生成的概率图。H-EMD包含两个主要阶段。(1)实例候选生成：通过在森林结构中生成许多实例候选来捕获概率图中的实例结构化信息。(2)实例候选选择：从候选集合中选择实例进行最终的实例分割。我们制定了一个关键的实例选择问题的实例候选森林作为一个优化问题的基础上的推土机的距离（EMD），并解决它的整数线性规划。在8个生物医学视频或3D数据集上的大量实验表明，H-EMD始终提高DL语义分割模型，并且与最先进的方法具有很强的竞争力。
2022-06-02 cs.CV
Bounding Box Embedding for Single Shot Person Instance Segmentation
Octi Inc.（Octi公司）
我们提出了一个自下而上的方法，使用单镜头模型的对象实例分割的任务。该模型采用了一个完全卷积的网络，该网络经过训练，可以预测类分割掩码以及每个像素所属的对象实例的边界框。这允许我们将对象像素分组到各个实例中。我们的网络架构基于DeepLabv3+模型，只需要最少的额外计算就可以实现像素级的实例分配。我们应用我们的方法的任务的人实例分割，一个共同的任务相关的许多应用程序。我们用COCO数据训练我们的模型，并报告COCO实例分割任务中person类的竞争结果。
2018-07-20 cs.CV
Synthetic Instance Segmentation from Semantic Image Segmentation Masks
Nanjing Forestry University（南京林业大学）；Hong Kong University of Science and Technology（香港科技大学）；Hefei University of Technology（合肥工业大学）；Chinese Academy of Forestry（中国林业科学研究院）
针对全监督实例分割标注成本高、弱监督方法精度不足的问题，提出SISeg范式，利用现有语义分割掩码计算位移场向量并结合可学习边界分支实现实例分割，无需额外训练与实例标注，在两个数据集上取得媲美最优方法的效果。
2024-10-08 cs.CV
Panoptic Segmentation with a Joint Semantic and Instance Segmentation Network
Eindhoven University of Technology（埃因霍温理工大学）
我们提出了一个单一的网络方法的全景分割。该方法结合了来自联合训练的语义和实例分割网络的预测。联合训练是实现端到端全景分割网络的第一步，并且比使用两个网络进行训练和预测更快，更高效。该架构由语义分割和实例分割分支共享的ResNet-50特征提取器组成。对于实例分割，使用Mask R-CNN类型的架构，而语义分割分支则使用金字塔池化模块进行扩充。该方法的结果提交给COCO和Mapillary联合识别挑战赛2018。我们的方法在Mapillary Vistas验证集上实现了17.6的PQ评分，在COCO测试开发集上实现了27.2的PQ评分。
2019-02-07 cs.CV
Contextual Guided Segmentation Framework for Semi-supervised Video Instance Segmentation
National Institute of Informatics（国立信息学研究所）；University of Dayton（代顿大学）；University of Science and Vietnam National University, Ho Chi Minh（胡志明市越南国家大学科学大学）
在本文中，我们提出了上下文引导分割（CGS）框架的视频实例分割在三个回合。在第一遍中，即，预览分割，我们提出实例重新识别流程来估计每个实例的主要属性（即，人类/非人类、刚性/可变形、已知/未知类别）。在第二遍中，即，上下文分割，我们介绍多个上下文分割方案。对于人类的例子，我们开发了一个帧中的对象流引导分割，以纠正和完善跨帧的结果。对于非人类实例，如果实例在外观上有很大的变化，并且属于已知类别（可以从初始掩码中推断），则采用实例分割。如果非人类实例几乎是刚性的，则我们对来自视频序列的第一帧的合成图像进行训练FCN。在最后一遍中，即，引导分割，我们开发了一种新的细粒度的非矩形感兴趣区域（ROI）的分割方法。自然形状的ROI通过应用来自当前帧的相邻帧的引导注意来生成，以减少不同重叠实例的分割中的模糊性。前向掩码传播之后是后向掩码传播，以进一步恢复由于重新出现的实例、快速运动、遮挡或严重变形而丢失的实例片段。最后，每个帧中的实例根据它们的深度值、人类和非人类对象交互以及稀有实例优先级进行合并。在DAVIS测试挑战数据集上进行的实验证明了我们提出的框架的有效性。我们在2017-2019年DAVIS挑战赛中连续获得第三名，全球得分、区域相似性和轮廓准确性分别为75.4%、72.4%和78.4%。
2022-04-11 cs.CV
Amodal Instance Segmentation
University of California, Berkeley（加州大学伯克利分校）
我们考虑非模态实例分割的问题，其目的是预测的区域，包括可见和被遮挡的部分，每个对象。到目前为止，缺乏公开可用的非模态分割注释阻碍了非模态分割方法的发展。在本文中，我们回避了这个问题，仅仅依靠标准的模态实例分割注释来训练我们的模型。其结果是一种新的非模态实例分割的方法，这是第一个这样的方法，以我们所知。我们证明了所提出的方法的有效性定性和定量。
2016-08-17 cs.CV
Applying Eigencontours to PolarMask-Based Instance Segmentation
Korea University（高丽大学）
特征轮廓是第一个基于奇异值分解的数据驱动轮廓描述符。在实现ESE-Seg的基础上，将特征轮廓成功地应用于实例分割任务。在这份报告中，我们将特征轮廓纳入PolarMask网络进行实例分割。在COCO 2017和SBD两个实例分割数据集上的实验结果表明，该算法的分割效果优于PolarMask。此外，我们定性地分析了特征轮廓的特点。我们的代码可在https://github.com/dnjs3594/Eigencontours上获得。
2022-08-24 cs.CV
Conditional Convolutions for Instance Segmentation
The University of Adelaide（阿德莱德大学）
我们提出了一个简单而有效的实例分割框架，称为CondInst（条件卷积实例分割）。性能最佳的实例分割方法（如Mask R-CNN）依赖于ROI操作（通常为ROIPool或ROIAlign）来获得最终的实例掩码。相反，我们提出从一个新的角度来解决实例分割。我们采用动态实例感知网络，以实例为条件，而不是使用实例ROI作为固定权重网络的输入。CondInst有两个优势：1）实例分割通过全卷积网络解决，无需ROI裁剪和特征对齐。2)由于动态生成的条件卷积的能力大大提高，掩模头可以非常紧凑（例如，3 conv.层，每个层仅具有8个通道），从而导致显著更快的推理。我们展示了一个更简单的实例分割方法，可以实现提高性能的准确性和推理速度。在COCO数据集上，我们的表现优于最近的一些方法，包括精心调整的Mask RCNN基线，而不需要更长的训练时间表。代码可用：https://github.com/aim-uofa/adet
2020-07-26 cs.CV
Bridging Category-level and Instance-level Semantic Image Segmentation
The University of Adelaide（阿德莱德大学）
我们提出了一种建立在类别级分割之上的实例级图像分割方法。具体地，对于语义类别掩码中的每个像素，使用深度全卷积回归网络来预测其对应的实例限界框。因此，它遵循与流行的检测然后分割方法不同的流水线，该方法首先预测实例的边界框，这是实例分割中的当前最先进技术。我们表明，通过利用我们的国家的最先进的语义分割模型的力量，所提出的方法可以实现可比的，甚至更好的结果，检测，然后段的方法。我们做出以下贡献。(i)首先，我们提出了一个简单而有效的方法来语义实例分割。(ii)其次，我们提出了一种在线自举方法在训练过程中，这是至关重要的实现语义类别分割和实例级分割的良好性能。(iii)由于语义类别分割的性能对实例级分割有很大的影响，这是我们方法的第二步，我们训练完全卷积的残差网络，以达到最佳的语义类别分割精度。在PASCAL VOC 2012数据集上，我们获得了目前最好的平均交叉-联合评分为79.1%。(iv)我们还实现了国家的最先进的实例级分割的结果。
2016-05-23 cs.CV
JSNet: Joint Instance and Semantic Segmentation of 3D Point Clouds
Huazhong University of Science and Technology（华中科技大学）
在本文中，我们提出了一种新的联合实例和语义分割的方法，这是所谓的JSNet，以解决实例和语义分割的三维点云同时进行。首先，我们建立了一个有效的骨干网络，从原始点云提取强大的功能。其次，为了获得更具鉴别力的特征，提出了一种点云特征融合模块，用于融合骨干网的不同层次特征。此外，还开发了一个联合实例语义分割模块，将语义特征转换到实例嵌入空间中，然后将转换后的特征与实例特征进行融合，以利于实例分割。同时，该模块还将实例特征聚合到语义特征空间中，以促进语义分割。最后，通过对实例嵌入应用简单的均值漂移聚类来生成实例预测。因此，我们评估建议的JSNet上的大规模三维室内点云数据集S3DIS和部分数据集ShapeNet，并将其与现有的方法进行比较。实验结果表明，该方法在3D实例分割方面优于现有方法，在3D语义预测方面有明显的改善，同时该方法也有利于零件分割。这个工作的源代码可以在https://github.com/dlinzhao/JSNet上找到。
2019-12-20 cs.CV
Insight Any Instance: Promptable Instance Segmentation for Remote Sensing Images
Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；University of Chinese Academy of Sciences（中国科学院大学）；School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences（中国科学院大学电子电气与通信工程学院）
针对遥感图像实例分割中前景背景失衡、实例尺寸小及下采样影响性能的问题，提出含局部提示、全局到局部提示模块与候选框面积损失的提示范式，可实现40ms的可提示实例分割，在多个数据集上验证了有效性。
2024-09-11 cs.CV
Instance segmentation with the number of clusters incorporated in embedding learning
City University of Hong Kong（香港城市大学）
语义和实例分割算法是由卷积神经网络提供支持的两种通用但不同的图像分割解决方案。虽然语义分割广泛受益于端到端的训练策略，但实例分割通常被视为一个多阶段的任务，由基于学习的区分和后处理聚类支持。子阶段上的独立优化煽动分割错误的积累。在这项工作中，我们提出了将先验聚类信息嵌入到嵌入式学习框架FCRNet中，刺激单阶段实例分割。FCRNet通过将聚类组的数量并入嵌入空间来减轻后处理的复杂性。在核数据集BBBC006上验证了FCRNet的优越性能，并与其他方法进行了比较。
2021-03-27 cs.CV
Object-Guided Instance Segmentation for Biological Images
Rutgers University（罗格斯大学）；Tencent Hippocrates Research Labs（腾讯希波克拉底研究实验室）；Lieber Institute for Brain Development（利伯大脑发育研究所）
生物图像的实例分割是研究目标行为和属性的基础。诸如对象的聚类、遮挡和粘附问题的挑战使得实例分割成为一项不平凡的任务。当前无框实例分割方法通常依赖于局部像素级信息。由于缺乏全局对象视图，这些方法易于过分割或欠分割。相反，基于框的实例分割方法将目标检测结合到分割中，在识别个体实例方面表现更好。本文提出了一种新的基于框的实例分割方法。主要是从对象的中心点定位对象的边界框。对象特征随后在分割分支中被重用，作为在RoI补丁内分离聚类实例的指南。通过实例归一化，该模型能够恢复目标对象的分布并抑制相邻附着对象的分布。因此，该模型在分割聚类对象，同时保留目标对象的细节表现出色。所提出的方法在三个生物数据集上实现了最先进的性能：细胞核，植物表型数据集和神经细胞。
2019-11-20 cs.CV
Semantic Attention and Scale Complementary Network for Instance Segmentation in Remote Sensing Images
在本文中，我们专注于具有挑战性的多类别实例分割问题的遥感图像（RSIs），其目的是预测的类别的所有实例和定位它们与像素级的面具。尽管许多地标框架在实例分割方面表现出了良好的性能，但背景和尺度变化实例的复杂性仍然对RSIs的实例分割具有挑战性。针对上述问题，本文提出了一种端到端的多类别实例分割模型，即语义注意力和尺度互补网络模型。该模型主要由语义注意力（SEA）模块和尺度互补掩码分支（SCMB）组成。SEA模块包含一个简单的全卷积语义分割分支，并具有额外的监督，以加强特征图上感兴趣实例的激活并减少背景噪声的干扰。为了处理具有大变化尺度的地理空间实例的欠分割，我们设计了SCMB，将原始的单掩码分支扩展为三叉掩码分支，并在不同尺度上引入互补掩码监督以充分利用多尺度信息。在iSAID数据集和NWPU实例分割数据集上进行了全面的实验，评估了所提出方法的有效性，并取得了良好的性能。
2021-07-25 cs.CV
Multi-scale Cell Instance Segmentation with Keypoint Graph based Bounding Boxes
Rutgers University（罗格斯大学）；JD Digits（京东数字科技）；Lieber Institute for Brain Development（利伯大脑发育研究所）
大多数现有方法直接处理细胞实例分割问题，而不依赖于额外的检测框。由于缺乏对物体的全局理解，这些方法通常无法分离接触细胞。相比之下，基于框的实例分割通过将目标检测与分割相结合来解决这个问题。然而，现有的方法通常利用基于锚盒的检测器，这将导致较差的实例分割性能由于类不平衡的问题。本文提出了一种新的基于盒的细胞实例分割方法。特别地，我们首先通过关键点检测来检测细胞的五个预定义点。然后，我们根据关键点图对这些点进行分组，并随后提取每个单元的限界框。最后，在边界框内的特征图上执行单元分割。我们验证了我们的方法在两个细胞数据集与不同的对象形状，经验证明我们的方法相比，其他实例分割技术的优越性。代码可在：https://github.com/yijingru/KG_Instance_Segmentation.
2019-07-25 cs.CV
SOLO: A Simple Framework for Instance Segmentation
The University of Adelaide（阿德莱德大学）；Monash University（莫纳什大学）；Tongji University（同济大学）；ByteDance AI Lab（字节跳动人工智能实验室）
与许多其他密集预测任务相比，例如，在语义分割中，任意数量的实例使得实例分割更具挑战性。为了预测每个实例的掩码，主流方法或者遵循“检测然后分段”策略（例如，Mask R-CNN），或者首先预测嵌入向量，然后将像素聚类到单个实例中。在本文中，我们认为实例分割的任务，从一个全新的角度，通过引入“实例类别”的概念，它分配类别的实例内的每个像素根据实例的位置。有了这个概念，我们提出了分割对象的位置（SOLO），一个简单，直接，快速的框架实例分割具有强大的性能。我们推导出一些SOLO变体（例如，Vanilla SOLO、Decoupled SOLO、Dynamic SOLO）的基本原理。我们的方法直接将原始输入图像映射到所需的对象类别和实例掩码，消除了分组后处理或限界框检测的需要。我们的方法实现了最先进的结果实例分割在速度和准确性方面，同时比现有的方法要简单得多。除了实例分割之外，我们的方法在目标检测（来自我们的掩模副产品）和全景分割方面产生了最先进的结果。我们进一步证明了SOLO的灵活性和高质量的分割，通过扩展它来执行一个阶段的实例级图像抠图。代码可在：https://git.io/AdelaiDet
2021-06-30 cs.CV
Instance Segmentation by Deep Coloring
Skolkovo Institute of Science and Technology (Skoltech)（斯科尔科沃科学技术学院）；Yandex（Yandex（俄罗斯搜索引擎公司））；Samsung AI Center（三星人工智能中心）
我们提出了一个新的，可以说，一个非常简单的减少实例分割的语义分割。这种减少允许使用已经为语义分割提出的架构以端到端的方式训练前馈非递归深度实例分割系统。我们的方法通过引入固定数量的标签（颜色），然后在训练（着色）过程中动态地将对象实例分配给这些标签来进行。然后使用标准的语义分割目标来训练一个网络，该网络可以为以前看不见的图像着色。在测试时，可以使用简单的连接分量分析从训练的卷积网络的输出中恢复单个对象实例。在实验验证中，着色方法被证明能够解决自动驾驶（Cityscapes基准），植物表型（CVPPP叶分割挑战）和高通量显微镜图像分析中出现的各种实例分割任务。源代码是公开的：https://github.com/kulikovv/DeepColoring。
2018-07-26 cs.CV
PCSCNet: Fast 3D Semantic Segmentation of LiDAR Point Cloud for Autonomous Car using Point Convolution and Sparse Convolution Network
Hanyang University（汉阳大学）；Chonnam University（全南大学）；Konkuk University（建国大学）
自动驾驶汽车必须快速识别驾驶环境以确保安全驾驶。随着激光雷达（Light Detection And Range，LiDAR）传感器在自动驾驶汽车中的广泛应用，对传感器帧速率范围内的点云进行逐点分类的快速语义分割在驾驶环境识别中引起了人们的关注。基于体素和融合的语义分割模型是目前点云语义分割的主流模型，但由于体素分辨率高，计算量大，影响了其实时性。本文提出了一种基于点卷积和三维稀疏卷积的快速体素语义分割模型（PCSCNet）。所提出的模型的设计优于在高和低体素分辨率使用点卷积为基础的特征提取。此外，该模型在特征提取后使用3D稀疏卷积加速特征传播。实验结果表明，该模型在语义分割方面优于SemanticKITTI和nuScenes的实时模型，在LiDAR点云推理方面达到了实时性要求。
2022-02-21 cs.CV
Robust Online Video Instance Segmentation with Track Queries
University of Illinois at Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校）
最近，基于变换的方法在视频实例分割（VIS）上取得了令人印象深刻的结果。然而，这些性能最好的方法中的大多数以离线方式运行，即一次处理整个视频剪辑以预测实例掩码体积。这使得他们无法处理出现在具有挑战性的新视频实例分割数据集中的长视频，如UVO和OVIS。我们提出了一个完全在线的基于transformer的视频实例分割模型，该模型在YouTube-VIS 2019基准测试中执行了最佳离线方法，并且在UVO和OVIS上的性能大大优于它们。这种方法，称为鲁棒在线视频分割（ROVIS），增强了Mask 2Former图像实例分割模型与跟踪查询，一个轻量级的机制进行跟踪信息从帧到帧，最初介绍了TrackFormer方法的多对象跟踪。我们表明，当与足够强大的图像分割架构相结合时，跟踪查询可以表现出令人印象深刻的准确性，同时不限于短视频。
2022-11-16 cs.CV
GSPN: Generative Shape Proposal Network for 3D Instance Segmentation in Point Cloud
Stanford University（斯坦福大学）；Tsinghua University（清华大学）
本文提出了一种新的用于点云数据实例分割的三维物体建议方法--生成形状建议网络（GSPN）。而不是把对象的建议作为一个直接的限界框回归问题，我们采取的分析合成策略，并生成建议重建的形状从嘈杂的观察场景。我们将GSPN到一个新的三维实例分割框架命名为基于区域的PointNet（R-PointNet），它允许灵活的建议细化和实例分割生成。我们在几个3D实例分割任务上实现了最先进的性能。GSPN的成功很大程度上来自于它强调对象建议过程中的几何理解，这大大减少了低对象性的建议。
2018-12-08 cs.CV
Pose2Instance: Harnessing Keypoints for Person Instance Segmentation
Google Research（谷歌研究院）；UC San Diego（加州大学圣地亚哥分校）；Google Inc.（谷歌公司）；Cornell University（康奈尔大学）
人体关键点是一个很好的研究表示的人。我们探讨如何使用关键点模型，以改善实例级的人分割。主要思想是利用oracle提供的关键点或估计的关键点热图的距离变换的概念作为深度神经网络内的人实例分割任务的先验。对于训练和评估，我们考虑来自COCO的所有那些图像，其中实例分割和人类关键点注释都可用。我们首先展示了Oracle关键点如何在没有任何训练的情况下在推理过程中提高现有人类分割模型的性能。接下来，我们提出了一个框架来直接学习以人体姿势为条件的深度实例分割模型。实验结果表明，在不同的交集超过联合（IOU）阈值，在一个约束环境中与甲骨文关键点，实例分割的准确性实现了10%至12%的相对提高超过一个强大的基线的甲骨文边界框。在更现实的环境中，在没有oracle关键点的情况下，所提出的以人体姿势为条件的深度人实例分割模型与仅为分割而训练的深度网络的最强基线相比实现了3.8%至10.5%的相对改进。
2017-04-04 cs.CV
Iterative Deep Convolutional Encoder-Decoder Network for Medical Image Segmentation
在本文中，我们提出了一种新的医学图像分割使用迭代深度学习框架。我们结合了迭代学习方法和编码器-解码器网络来改善分割结果，这使得能够以迭代方式精确定位包括医学图像的复杂形状或详细纹理的感兴趣区域（ROI）。所提出的迭代深度卷积编码器-解码器网络由两个主要路径组成：卷积编码器路径和具有迭代学习的卷积解码器路径。实验结果表明，所提出的迭代深度学习框架能够为各种医学图像产生优异的医学图像分割性能。通过与现有医学图像分割方法的比较，证明了该方法的有效性。
2017-08-11 cs.CV
Joint COCO and Mapillary Workshop at ICCV 2019: COCO Instance Segmentation Challenge Track
Megvii Technology（旷视科技）
在这份报告中，我们提出了我们的目标检测/实例分割系统，MegDetV 2，它的工作原理是两遍的方式，首先检测实例，然后获得分割。我们的基线检测器主要构建在一个新设计的RPN上，称为RPN++。在COCO-2019检测/实例分割测试开发数据集上，我们的系统实现了61.0/53.1 mAP，分别超过了我们2018年的获奖结果5.0/4.2。我们在COCO Challenge 2019和2020中取得了最好的成绩。
2020-10-06 cs.CV
Instance-Specific Feature Propagation for Referring Segmentation
Nanyang Technological University（南洋理工大学）
引用分割旨在为由自然语言表达式指示的目标实例生成分割掩码。现有的方法主要有两种：一种是直接对融合后的视觉和语言特征进行分割的单阶段方法;另一种是首先利用实例分割模型进行实例建议，然后通过实例与语言特征的匹配来选择实例的两阶段方法。在这项工作中，我们提出了一种新的框架，同时检测目标的兴趣，通过特征传播，并生成一个细粒度的分割掩模。在我们的框架中，每个实例是由一个实例特定的功能（ISF），和目标的指的是通过交换信息之间的所有ISF使用我们提出的特征传播模块（FPM）。我们的实例感知方法学习所有对象之间的关系，这有助于比一阶段方法更好地定位感兴趣的目标。与两阶段方法相比，我们的方法协同和交互地利用视觉和语言信息进行同步识别和分割。在实验测试中，我们的方法在所有三个RefCOCO系列数据集上的性能优于以前的最先进的方法。
2022-04-26 cs.CV
Spatial Semantic Embedding Network: Fast 3D Instance Segmentation with Deep Metric Learning
Seoul National University（首尔大学）
我们提出了空间语义嵌入网络（SSEN），这是一种使用深度度量学习进行3D实例分割的简单而有效的算法。室内环境的原始3D重建遭受遮挡、噪声，并且在各个实体之间没有任何有意义的区别的情况下产生。对于来自大规模场景的高级智能任务，3D实例分割识别对象的各个实例。我们通过简单地学习正确的嵌入空间来实现实例分割，该嵌入空间将对象的各个实例映射到反映空间和语义信息的不同聚类中。与以前需要复杂的预处理或后处理的方法不同，我们的实现紧凑，快速，具有竞争力的性能，在具有高分辨率体素的大型场景中保持可扩展性。我们展示了我们的算法在ScanNet 3D实例分割基准AP得分的最先进的性能。
2020-07-07 cs.CV
Distance to Center of Mass Encoding for Instance Segmentation
University of Sao Paulo（圣保罗大学）
实例分割可以被认为是目标检测问题的扩展，其中边界框被对象轮廓代替。严格地说，这个问题需要识别每个像素实例和类独立于用于此平均值的技巧。与通常的目标检测相比，实例分割的优点在于精确地描绘了对象，改善了对象定位。此外，对象轮廓允许用基本图像处理算法评估部分遮挡。这项工作的实例分割问题的注释问题，并提出了一种新的技术来编码和解码地面实况注释。我们提出了一个数学表示的实例，任何深度语义分割模型可以学习和推广。每一个单独的实例都由一个质心和一个指向它的矢量场来表示，这种编码技术被命名为质心距离编码（DCME）。
2017-11-24 cs.CV
Deep Learning Based Instance Segmentation in 3D Biomedical Images Using Weak Annotation
University of Notre Dame（圣母大学）
三维图像中的实例分割是生物医学图像分析中的一项基本任务。虽然深度学习模型通常适用于2D实例分割，但3D实例分割仍然面临着严峻的挑战，例如由于3D生物医学图像中的各种注释困难而导致的训练数据不足。常见的3D注释方法（例如，全体素注释）导致标记足够的实例以训练深度学习3D实例分割模型的高工作量和成本。在本文中，我们提出了一种新的弱注释方法，用于在不使用完整体素掩码注释的情况下训练快速深度学习3D实例分割模型。我们的方法只需要3D边界框的所有实例和完整的体素注释的一小部分的实例，并使用一种新的两阶段的3D实例分割模型，分别利用这两种注释。我们在多个生物医学图像数据集上评估了我们的方法，实验结果表明：（1）在完整注释框和少量掩模的情况下，我们的方法可以实现与使用完整注释的最佳已知方法相似的性能，以及（2）在相似的注释时间下，我们的方法优于使用完整注释的最佳已知方法。
2018-06-28 cs.CV
Pixelwise Instance Segmentation with a Dynamically Instantiated Network
University of Oxford（牛津大学）
语义分割和目标检测的研究近年来取得了长足的进展。然而，前一个任务没有相同对象的不同实例的概念，后者在粗略的边界框级别上操作。我们提出了一个实例分割系统，产生一个分割图，每个像素被分配一个对象类和实例身份标签。大多数方法使对象检测器适应于产生段而不是框。相比之下，我们的方法是基于一个初始的语义分割模块，它提供给一个实例子网络。该子网络使用初始类别级分割，以及来自对象检测器输出的线索，在端到端CRF中预测实例。我们模型的这一部分是动态实例化的，每个图像产生可变数量的实例。我们的端到端方法不需要后期处理，而是从整体上考虑图像，而不是处理独立的建议。因此，与某些相关工作不同，一个像素不能属于多个实例。此外，实现了更精确的分割，正如我们在Pascal VOC和Cityscapes数据集上的最新结果（特别是在高IoU阈值下）所示。
2017-04-07 cs.CV
Foundation Models for Amodal Video Instance Segmentation in Automated Driving
Institute for Communications Technology（通信技术研究所）；Technische Universität Braunschweig（布伦瑞克工业大学）
针对自动驾驶中非模态视频实例分割标注成本高及分割与跟踪性能权衡的问题，提出基于SAM微调的S-AModal方法，利用点记忆与点跟踪实现视频级非模态分割，无需视频标签即达SOTA。
2024-09-21 cs.CV
Beyond Semantic to Instance Segmentation: Weakly-Supervised Instance Segmentation via Semantic Knowledge Transfer and Self-Refinement
NAVER CLOVA；NAVER AI Lab（NAVER人工智能实验室）；Inha University（仁荷大学）；KAIST（韩国科学技术院）
弱监督实例分割（WSIS）被认为是一个比弱监督语义分割（WSSS）更具挑战性的任务。与WSSS相比，WSIS需要实例本地化，这很难从图像级标签中提取。为了解决这个问题，大多数WSIS方法使用现成的建议技术，这些技术需要使用实例或对象级别标签进行预训练，偏离了完全图像级别监督设置的基本定义。在本文中，我们提出了一种新的方法，包括两个创新的组成部分。首先，我们提出了一个语义知识转移，以获得伪实例标签的知识转移WSSS到WSIS，同时消除了需要的现成的建议。其次，我们提出了一种自我改进的方法来改进的伪实例标签在一个自我监督的计划，并使用改进的标签进行训练，在一个在线的方式。在这里，我们发现了一个错误的现象，语义漂移，发生的伪实例标签分类为背景类的缺失的实例。这种语义漂移会造成训练过程中背景和实例之间的混淆，从而降低分割性能。我们将此问题称为语义漂移问题，并表明我们提出的自求精方法消除了语义漂移问题。在PASCAL VOC 2012和MS COCO上的大量实验证明了我们方法的有效性，并且我们在没有现成建议技术的情况下实现了相当大的性能。该代码可在https://github.com/clovaai/BESTIE上获得。
2022-03-29 cs.CV
3D-BEVIS: Bird's-Eye-View Instance Segmentation
RWTH Technical University Aachen（亚琛工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
最近的深度学习模型通过直接在非结构化点云上操作，在3D景物分析任务上取得了令人印象深刻的结果。在目标分类和语义分割领域取得了很大的进展。然而，实例分割的任务较少探索。在这项工作中，我们提出了3D-BEVIS，一个深度学习框架，用于点云上的3D语义实例分割。遵循以前的无命题实例分割方法的思想，我们的模型学习一个特征嵌入，并将获得的特征空间分组为语义实例。当前基于点的方法通过单独处理场景的局部子部分而随着点的数量线性缩放。然而，为了通过聚类执行实例分割，需要全局一致的特征。因此，我们建议将局部点几何与全局上下文信息相结合，从中间鸟瞰图表示。
2019-08-01 cs.CV
Unifying Instance and Panoptic Segmentation with Dynamic Rank-1 Convolutions
The University of Adelaide（阿德莱德大学）
最近，与用于实例分割的两阶段框架相比，全卷积一阶段网络已经显示出优越的性能，因为通常它们可以用更少的计算生成更高质量的掩码预测。此外，它们简单的设计为联合多任务学习提供了新的机会。在本文中，我们证明了为语义分割添加单个分类层，全卷积实例分割网络可以实现最先进的全景分割质量。这是可能的，我们的新的动态秩1卷积（DR 1Conv），一种新的动态模块，可以有效地合并高层次的上下文信息与低层次的详细功能，这是有益的语义和实例分割。重要的是，所提出的新方法，称为DR 1 Mask，可以通过添加单层来执行全景分割。据我们所知，DR 1 Mask是第一个全景分割框架，它通过考虑功效和效率，为实例和语义分割利用共享特征图。我们的框架不仅效率更高--是以前最好的两个分支方法的两倍，而且统一的框架为使用相同的上下文模块来提高两个任务的性能提供了机会。作为副产品，当单独执行实例分割时，DR 1 Mask比以前最先进的实例分割网络BlendMask快10%，并且在mAP中更精确1个点。代码可在：https://git.io/AdelaiDet
2020-11-19 cs.CV
Efficient Smoothing of Dilated Convolutions for Image Segmentation
扩张卷积已被证明是非常有用的图像分割任务。通过在卷积滤波器中引入间隙，它们可以使用更大的感受野，而不会增加原始的内核大小。尽管这允许以不同尺度廉价地捕获特征，但扩张卷积滤波器的结构导致信息丢失。我们假设对扩张卷积神经网络进行廉价的修改，例如额外的平均层，可以克服这一限制。在这个项目中，我们测试这个假设，通过评估这些修改的效果，最先进的图像分割系统，并将它们与现有的方法具有相同的目标。实验结果表明，我们提出的方法提高了扩张卷积图像分割的性能。至关重要的是，我们的修改实现这些结果在一个更低的计算成本比以前的平滑方法。
2019-03-19 cs.CV
Fully Convolutional Instance-aware Semantic Segmentation
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
我们为实例感知语义分割任务提出了第一个完全卷积的端到端解决方案。它继承了FCN在语义分割和实例掩码建议方面的所有优点。它联合执行实例掩码预测和分类。底层卷积表示在两个子任务之间以及所有感兴趣区域之间完全共享。所提出的网络是高度集成的，并实现了最先进的性能，在准确性和效率。在COCO 2016细分市场竞争中以较大优势胜出。代码将在\url{https://github.com/daijifeng001/TA-FCN}发布。
2017-04-10 cs.CV
Mask Encoding for Single Shot Instance Segmentation
Tongji University（同济大学）；University of Adelaide（阿德莱德大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
迄今为止，实例分割主要由两阶段方法主导，如Mask R-CNN所开创的。相比之下，一阶段替代方案在掩模AP中无法与掩模R-CNN竞争，主要是由于复杂表示掩模的困难，使得一阶段方法的设计非常具有挑战性。在这项工作中，我们提出了一个简单的singleshot实例分割框架，称为掩码编码为基础的实例分割（MEInst）。MEInst不是直接预测二维掩模，而是将其提取为紧凑且固定维的表示向量，这允许将实例分割任务并入到一级边界框检测器中，并导致简单而有效的实例分割框架。所提出的一阶段MEInst在MS-COCO基准测试中使用单模型（ResNeXt-101-FPN主干）和单尺度测试实现了36.4%的掩模AP。我们表明，更简单和灵活的一步实例分割方法，也可以达到竞争力的性能。该框架可以很容易地适应其他实例级识别任务。代码可在：https://git.io/AdelaiDet
2020-05-06 cs.CV
OBSeg: Accurate and Fast Instance Segmentation Framework Using Segmentation Foundation Models with Oriented Bounding Box Prompts
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，自动化研究所，中国科学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学）
OBSeg通过引入定向边界框提示，提升了实例分割的准确性和速度，同时优化了轻量级基础模型的性能。
2024-09-29 cs.CV
Explicit Shape Encoding for Real-Time Instance Segmentation
Shanghai Jiao Tong University（上海交通大学）
在本文中，我们提出了一种新的自顶向下的实例分割框架的基础上明确的形状编码，命名为\textbf{ESE-Seg}。该算法通过张量运算对多个目标形状进行显式解码，大大减少了实例分割的计算量，从而使实例分割的速度与目标检测的速度几乎相同。ESE-Seg是基于一种新的形状特征内中心半径（IR），切比雪夫多项式拟合和强大的现代目标检测器。使用YOLOv 3的ESE-Seg在Pascal VOC 2012上以mAP $^r$的性能优于Mask R-CNN，同时快7倍。
2019-08-12 cs.CV
MaskLab: Instance Segmentation by Refining Object Detection with Semantic and Direction Features
Google Inc.（谷歌公司）；RWTH Aachen University（亚琛工业大学）；UCLA（加利福尼亚大学洛杉矶分校）
在这项工作中，我们解决的问题，实例分割，同时解决目标检测和语义分割的任务。为了实现这一目标，我们提出了一个模型，称为MaskLab，它产生三个输出：框检测，语义分割和方向预测。在Faster-RCNN对象检测器的基础上，预测框提供了对象实例的准确定位。在每个感兴趣的区域内，MaskLab通过结合语义和方向预测来执行前景/背景分割。语义分割有助于模型区分不同语义类别的对象，包括背景，而方向预测，估计每个像素的方向，其相应的中心，允许分离相同的语义类别的实例。此外，我们还探讨了将最近成功的分割和检测方法（即atrous卷积和hypercolumn）结合起来的效果。我们提出的模型进行评估的COCO实例分割基准，并显示出与其他国家的最先进的模型相媲美的性能。
2017-12-13 cs.CV
SGPN: Similarity Group Proposal Network for 3D Point Cloud Instance Segmentation
University of Southern California（南加州大学）；University of California, San Diego（加州大学圣地亚哥分校）
我们介绍了相似性组建议网络（SGPN），这是一个简单直观的深度学习框架，用于点云上的3D对象实例分割。SGPN使用单个网络来预测点分组建议和每个建议的对应语义类，我们可以直接从中提取实例分割结果。SGPN的有效性的重要的是它的三维实例分割结果的新颖表示形式的相似性矩阵，表示在嵌入的特征空间中的每对点之间的相似性，从而产生一个准确的分组建议为每个点。据我们所知，SGPN是第一个在点云上学习3D实例感知语义分割的框架。在不同的三维场景上的实验结果表明了该方法在三维实例分割上的有效性，并评估了SGPN在提高三维目标检测和语义分割效果方面的能力。我们还通过将2D CNN功能无缝集成到框架中以提高性能来展示其灵活性。
2019-05-30 cs.CV
Bottom-up Instance Segmentation using Deep Higher-Order CRFs
University of Oxford（牛津大学）
由于采用了深度学习，目标检测和语义分割等传统场景理解问题近年来取得了突破性进展。然而，前一个任务不能在像素级定位对象，后一个任务没有同一类对象的不同实例的概念。我们专注于实例分割的任务，识别和本地化的对象到一个像素级。我们的模型是基于一个经过语义分割训练的深度神经网络。该网络结合了一个条件随机场，具有基于对象检测器输出的端到端可训练高阶电位。这允许我们从初始的类别级语义分割中推理实例。我们简单的方法有效地利用了最近在语义分割和目标检测方面取得的巨大进展。我们的网络产生的准确的实例级分割反映在以前的工作中获得的相当大的改进。
2016-09-08 cs.CV
Instance segmentation of buildings using keypoints
German Aerospace Center (DLR)（德国航空航天中心）；Remote Sensing Technology Institute (IMF), German Aerospace Center (DLR)（德国航空航天中心遥感技术研究所）；Technical University of Munich (TUM)（慕尼黑工业大学）
建筑物分割是遥感图像解译中的一项重要任务。然而，现有的语义分割和实例分割方法往往会导致边界模糊的分割模板。在本文中，我们提出了一种新的实例分割网络的高分辨率遥感图像中的建筑物分割。更具体地说，我们认为分割单个建筑物是检测几个关键点。检测到的关键点随后被重新表达为封闭的多边形，这是建筑物的语义边界。这样一来，建筑物的尖锐边界就可以保留下来。在选定的航空影像屋顶分割（AIRS）数据集上进行了实验，与现有方法相比，我们的方法在定量和定性结果上都取得了更好的性能。我们的网络是一个自底向上的实例分割方法，可以很好地保持几何细节。
2020-06-06 cs.CV
Combining Fully Convolutional and Recurrent Neural Networks for 3D Biomedical Image Segmentation
University of Notre Dame（圣母大学）
三维图像分割是生物医学图像分析中的一个基本问题。深度学习（DL）方法已经实现了最先进的分割性能。为了利用使用神经网络的3D上下文，已知的DL分割方法（包括3D卷积、与2D图像切片正交的平面上的2D卷积以及多个方向上的LSTM）都与常见3D生物医学图像中的高度各向异性尺寸不兼容。在本文中，我们提出了一种新的用于3D图像分割的DL框架，该框架基于全卷积网络（FCN）和递归神经网络（RNN）的组合，它们分别负责利用切片内和切片间上下文。据我们所知，这是第一个明确利用3D图像各向异性的3D图像分割DL框架。使用ISBI神经元结构分割挑战赛的数据集和内部图像堆栈进行3D真菌分割进行评估，与已知的基于DL的3D分割方法相比，我们的方法取得了令人鼓舞的结果。
2016-09-06 cs.CV
IMP: Instance Mask Projection for High Accuracy Semantic Segmentation of Things
Facebook AI（Facebook人工智能）
在这项工作中，我们提出了一个新的运营商，称为实例掩码投影（IMP），预测实例分割作为一个新的功能语义分割。它还支持反向传播，因此是可训练的端到端。我们的实验表明IMP在服装解析（具有复杂分层，大变形和非凸对象）和街道场景分割（具有许多重叠实例和小对象）上的有效性。在Varied Clothing Parsing数据集（VCP）上，我们展示了实例掩码投影可以从最先进的Panoptic FPN分割方法中提高mIOU上的3个点。在ModaNet服装解析数据集上，与现有的基线语义分割结果相比，我们显示出20.4%的绝对显着改进。此外，实例掩码投影运算符在其他（非服装）数据集上运行良好，在最先进的方法之上，在Cityscapes的mIOU on Thing类中提供了3个点的改进，Cityscapes是一个自动驾驶数据集。
2019-06-15 cs.CV
Fully Convolutional Networks for Semantic Segmentation
UC Berkeley（加州大学伯克利分校）
卷积网络是一种强大的视觉模型，可以产生层次结构的特征。我们证明了卷积网络本身，经过端到端，像素到像素的训练，在语义分割方面超过了最先进的技术。我们的关键见解是构建“全卷积”网络，该网络接受任意大小的输入，并通过有效的推理和学习产生相应大小的输出。我们定义并详细描述了全卷积网络的空间，解释了它们在空间密集预测任务中的应用，并绘制了与先验模型的连接。我们将当代分类网络（AlexNet，VGG网络和GoogLeNet）适应于完全卷积网络，并通过微调将其学习的表示转移到分割任务中。然后，我们定义了一种新的架构，结合语义信息从一个深，粗层与外观信息从一个浅，细层，以产生准确和详细的分割。我们的全卷积网络实现了PASCAL VOC（2012年平均IU为62.2%，相对提高了20%），NYUDv2和SIFT Flow的最先进分割，而典型图像的推理时间为三分之一秒。
2015-03-08 cs.CV
Instance-aware 3D Semantic Segmentation powered by Shape Generators and Classifiers
UT Austin（德克萨斯大学奥斯汀分校）；Westlake University（西湖大学）
针对现有3D语义分割模型在实例级别表现不佳的问题，提出一种结合形状生成器和分类器的实例感知方法，通过实例级监督的形状重建与分类任务增强特征表示，在多个公共基准上显著优于现有方法。
2023-11-21 cs.CV
Deep Variational Instance Segmentation
CoRIS Institute（CoRIS研究所）；Oregon State University（俄勒冈州立大学）；Stony Brook University（石溪大学）
实例分割是计算机视觉中的一项具有挑战性的任务，它试图为输入图像中的每个像素获得类别和实例标签。最先进的算法通常采用两个独立的阶段，第一个阶段生成对象建议，第二个阶段识别和细化边界。此外，建议通常基于检测器，例如更快的R-CNN，其在整个图像中彻底搜索框。在本文中，我们提出了一种新的算法，直接利用全卷积网络（FCN）来预测实例标签。具体来说，我们提出了一个变分松弛的实例分割最小化的分段常数分割问题，它可以用来训练的FCN端到端的优化功能。它扩展了经典的Mumford-Shah变分分割问题，使其能够处理实例分割的地面真值中的置换不变标签。在PASCAL VOC 2012、语义边界数据集（SBD）和MSCOCO 2017数据集上的实验表明，该方法有效地解决了实例分割任务。源代码和训练模型将与论文一起发布。
2020-10-24 cs.CV
Proposal-Free Volumetric Instance Segmentation from Latent Single-Instance Masks
Heidelberg University（海德堡大学）；EMBL（欧洲分子生物学实验室）
这项工作介绍了一种新的建议免费实例分割方法，建立在单实例分割掩模预测整个图像中的滑动窗口风格。与相关方法相比，我们的方法同时预测所有掩码，每个像素一个，从而解决整个图像中的任何冲突。具体而言，来自重叠掩码的预测被组合成带符号图的边权重，该带符号图随后被分区以并发地获得所有最终实例。其结果是一种无参数方法，对噪声具有很强的鲁棒性，并优先考虑在重叠掩模中具有最高共识的预测。所有的掩模都是从低维潜在表示中解码的，这导致了大体积图像应用所严格要求的极大的内存节省。我们在具有挑战性的CREMI 2016神经元分割基准测试中测试了我们的方法，在该测试中，我们获得了有竞争力的分数。
2020-09-10 cs.CV
UnScene3D: Unsupervised 3D Instance Segmentation for Indoor Scenes
Technical University of Munich（慕尼黑工业大学）；Technion（以色列理工学院）；NVIDIA（英伟达）
UnScene3D提出首个全无监督室内三维实例分割方法，利用自监督颜色与几何特征生成伪掩码并结合几何过分割与自训练，将平均精度提升超过300%。
2024-04-30 cs.CV
LIP: Learning Instance Propagation for Video Object Segmentation
University of Twente（特文特大学）；Wuhan University（武汉大学）
近年来，视频对象分割（VOS），即从背景中分割出前景对象的任务，受到了相当大的关注。在本文中，我们提出了一个端到端的可训练深度神经网络，卷积门控递归Mask-RCNN，用于解决半监督VOS任务。我们利用实例分割网络（Mask-RCNN）和视觉记忆模块（Conv-GRU）来处理VOS任务。实例分割网络为实例预测掩模，而视觉记忆模块学习同时为多个实例选择性地传播信息，处理外观变化、尺度和姿态变化以及对象之间的遮挡。在纯实例分割损失下进行离线和在线训练后，我们的方法能够在没有任何后处理或合成视频数据增强的情况下获得令人满意的结果。在DAVIS 2016数据集和DAVIS 2017数据集上的实验结果证明了该方法对视频对象分割任务的有效性。
2019-09-30 cs.CV
Nuclei instance segmentation and classification in histopathology images with StarDist
EPFL（洛桑联邦理工学院）
细胞核的实例分割和分类是计算病理学中的一项重要任务。我们表明，StarDist，一种最初为荧光显微镜开发的深度学习细胞核分割方法，可以扩展并成功应用于组织病理学图像。这一点通过在Lancet数据集上进行实验以及参加2022年结肠细胞核识别和计数（CoNIC）挑战赛得到了证实，在该挑战赛中，我们的方法在初步和最终测试阶段的分割和分类任务中均获得了第一名。
2022-08-19 cs.CV
SOLO: Segmenting Objects by Locations
The University of Adelaide（阿德莱德大学）；ByteDance AI Lab（字节跳动人工智能实验室）
我们提出了一种新的，非常简单的方法来实例分割的图像。与许多其他密集预测任务相比，例如，在语义分割中，任意数量的实例使得实例分割更具挑战性。为了预测每个实例的掩码，主流方法要么遵循Mask R-CNN使用的“检测-然后分割”策略，要么首先预测类别掩码，然后使用聚类技术将像素分组到单个实例中。我们从一个全新的角度来看实例分割的任务，通过引入“实例类别”的概念，根据实例的位置和大小将类别分配给实例中的每个像素，从而很好地将实例掩码分割转换为分类可解决的问题。现在，实例分割被分解为两个分类任务。我们展示了一个更简单，更灵活的实例分割框架，具有强大的性能，实现了与Mask R-CNN相当的准确性，并在准确性上优于最近的单镜头实例分割器。我们希望这个非常简单而强大的框架可以作为除了实例分割之外的许多实例级识别任务的基线。
2020-07-19 cs.CV
OSIS: Efficient One-stage Network for 3D Instance Segmentation
Jilin University（吉林大学）
当前的三维实例分割模型一般采用多阶段的方法来提取实例对象，包括聚类、特征提取和后处理过程。然而，这些多阶段方法依赖于超参数设置和手工制作的过程，这限制了模型的推理速度。提出了一种新的三维点云实例分割网络OSIS。OSIS是一个单级网络，它使用神经网络直接从三维点云数据中分割实例。为了直接从网络中分割实例，我们提出了一个实例解码器，它将来自网络的实例特征解码为实例片段。我们提出的OSIS通过二分匹配实现了端到端的训练，因此，我们的网络不需要计算昂贵的后处理步骤，如非最大抑制（NMS）和推理过程中的聚类。实验结果表明，在常用的室内场景实例分割数据集上，该网络最终取得了优异的性能，推理速度平均仅为138 ms/场景，大大超过了以往最快的方法。
2023-03-13 cs.CV
Recurrent Fully Convolutional Networks for Video Segmentation
University of Alberta（阿尔伯塔大学）
图像分割是大多数视觉任务中的重要步骤。虽然卷积神经网络已被证明在单个图像分割上表现良好，但据我们所知，尚未对利用递归门控架构进行视频分割进行研究。因此，我们提出了一种新的方法，结合时间数据的视频序列的在线分割。该网络是由完全卷积的元素和递归单元构建的，该单元在时间数据上的滑动窗口上工作。我们还介绍了一种新的卷积门控递归单元，它保留了空间信息并减少了学习的参数。我们的方法的优点是，它可以在线工作，而不是在整个输入批次的视频帧操作。该网络在变化检测数据集上进行了测试，并被证明在每帧分割方面比普通全卷积网络的F-测量提高了5.5%。与我们称之为FCN 12的基线网络相比，它的F测量值也提高了1.4%。
2016-10-31 cs.CV
Instance Segmentation and Tracking with Cosine Embeddings and Recurrent Hourglass Networks
Graz University of Technology（格拉茨工业大学）；Ludwig Boltzmann Institute for Clinical Forensic Imaging（路德维希·玻尔兹曼临床法医成像研究所）；BioTechMed-Graz（格拉茨生物医学技术中心）
与语义分割不同，实例分割为同一类的每个实例分配唯一的标签。在这项工作中，我们提出了一种新的经常性的全卷积网络架构，用于跟踪这种实例分割随着时间的推移。该网络架构将卷积门控递归单元（ConvGRU）集成到堆栈沙漏网络中，以利用时间视频信息。此外，我们还训练了一种基于余弦相似性的新型嵌入损失网络，这样网络就可以为整个视频中的每个实例预测唯一的嵌入。然后，这些嵌入在后续视频帧中被聚类以创建最终跟踪的实例分割。我们通过分割心脏MR视频中的左心室来评估复发性沙漏网络，它优于不包含视频信息的网络。此外，我们证明了余弦嵌入损失的适用性分割叶实例上的静止图像的植物。最后，我们评估的框架实例分割和跟踪六个数据集的ISBI细胞跟踪的挑战，它显示了国家的最先进的性能。
2018-07-30 cs.CV
