Few-Shot 3D Point Cloud Semantic Segmentation via Stratified Class-Specific Attention Based Transformer Network
University of South Carolina(南卡罗来纳大学)
三维点云语义分割的目的是将所有的点按不同的语义分类,有利于点云场景重建和理解等重要应用。现有的监督点云语义分割方法通常需要大规模的标注点云进行训练,并且不能处理新的类别。虽然最近提出了一种少样本学习方法来解决这两个问题,但它存在由图构造引起的高计算复杂性以及由于使用池化操作而无法学习点之间的细粒度关系。在本文中,我们进一步解决这些问题,通过开发一个新的多层Transformer网络的Few-Shot点云语义分割。在该网络中,查询点云特征基于不同尺度下的类特定支持特征进行聚合。在不使用池操作的情况下,我们的方法充分利用了支持样本中的所有像素级特征。通过更好地利用支持功能的少样本学习,所提出的方法实现了新的国家的最先进的性能,与现有的Few-Shot 3D点云分割模型的S3DIS数据集和ScanNet数据集的推理时间减少了15\%。
2023-03-28 cs.CV
Refining Segmentation On-the-Fly: An Interactive Framework for Point Cloud Semantic Segmentation
Nanjing University of Science and Technology(南京理工大学)
本文针对交互式点云语义分割任务,提出首个无需离线重训练的实时交互式框架InterPCSeg,通过测试时稀疏交互训练与稳定能量项约束,结合定制交互模拟方案,有效借助用户交互提升点云语义分割效果。
2024-03-11 cs.CV
DEAL: Difficulty-aware Active Learning for Semantic Segmentation
Zhejiang University(浙江大学)
主动学习的目标是通过寻找信息量最大的样本来解决标记数据的缺乏问题。然而,现有方法在应用于语义分割时,忽略了不同语义区域的分割难度,导致对细小、细长等硬语义区域的分割效果不佳。为了解决这个问题,我们提出了一个语义难度-awarE主动学习(DEAL)网络由两个分支组成:共同分割分支和语义难度分支。对于后一个分支,与分割结果和GT之间的分割误差的监督,逐像素的概率注意模块被引入到学习不同的语义区域的语义难度分数。最后,设计了两个获取函数来选择语义困难的最有价值的样本。在语义分割基准测试上的竞争结果表明,DEAL实现了最先进的主动学习性能,特别是提高了硬语义区域的性能。
2020-10-17 cs.CV
Highway Driving Dataset for Semantic Video Segmentation
场景理解是语义分割中的一项关键技术。虽然存在几个可用于语义分割的数据集,但它们主要集中在大型深度神经网络的语义图像分割上。因此,这些网络对于实时的应用是无用的,特别是在自动驾驶系统中。为了解决这个问题,我们在语义分割任务上做了两个贡献。第一个贡献是我们引入了语义视频数据集,高速公路驾驶数据集,这是一个语义视频分割任务的密集注释基准。高速公路驾驶数据集由20个具有30 Hz帧速率的视频序列组成,并且每个帧都被密集注释。其次,我们提出了一个基线算法,利用时间相关性。结合我们分析时间相关性的尝试,我们希望高速公路驾驶数据集能够鼓励对语义视频分割的研究。
2020-11-02 cs.CV
JSNet: Joint Instance and Semantic Segmentation of 3D Point Clouds
Huazhong University of Science and Technology(华中科技大学)
在本文中,我们提出了一种新的联合实例和语义分割的方法,这是所谓的JSNet,以解决实例和语义分割的三维点云同时进行。首先,我们建立了一个有效的骨干网络,从原始点云提取强大的功能。其次,为了获得更具鉴别力的特征,提出了一种点云特征融合模块,用于融合骨干网的不同层次特征。此外,还开发了一个联合实例语义分割模块,将语义特征转换到实例嵌入空间中,然后将转换后的特征与实例特征进行融合,以利于实例分割。同时,该模块还将实例特征聚合到语义特征空间中,以促进语义分割。最后,通过对实例嵌入应用简单的均值漂移聚类来生成实例预测。因此,我们评估建议的JSNet上的大规模三维室内点云数据集S3DIS和部分数据集ShapeNet,并将其与现有的方法进行比较。实验结果表明,该方法在3D实例分割方面优于现有方法,在3D语义预测方面有明显的改善,同时该方法也有利于零件分割。这个工作的源代码可以在https://github.com/dlinzhao/JSNet上找到。
2019-12-20 cs.CV
Nighttime sky/cloud image segmentation
Nanyang Technological University (NTU)(南洋理工大学);Advanced Digital Sciences Center (ADSC)(高级数字科学中心);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
使用地基天空相机对大气成像是研究各种大气现象的流行方法。但它通常集中在白天。夜间的天空/云图像更暗,噪音更大,因此更难分析。由于云的非刚性结构和大小,天空/云图像的准确分割已经是具有挑战性的,并且夜空的较低和较不稳定的照明增加了难度。尽管如此,夜间云成像在某些应用中是必不可少的,例如连续天气分析和卫星通信。在本文中,我们提出了一种基于超像素的方法来分割夜间天空/云图像。我们还向研究界发布了第一个夜间天空/云图像分割数据库。实验结果表明,我们提出的算法的夜间图像的有效性。
2017-05-30 cs.CV
Ensembling Instance and Semantic Segmentation for Panoptic Segmentation
Siemens Mobility(西门子交通)
本文提出分别进行实例分割与语义分割再融合的COCO全景分割方案,通过Mask R-CNN专家模型、HTC和多骨干语义模型集成,在test-dev上达到PQ 47.1。
2023-04-20 cs.CV
Compositional Prototype Network with Multi-view Comparision for Few-Shot Point Cloud Semantic Segmentation
Nanjing University of Science and Technology(南京理工大学);Nanyang Technological University(南洋理工大学)
点云分割是三维视觉中一项基本的视觉理解任务。完全监督的点云分割网络通常需要大量带有逐点注释的数据,这是昂贵的。在这项工作中,我们提出的组合原型网络,可以进行点云分割,只有少量的标记训练数据。受图像中的少样本学习文献的启发,我们的网络直接将标签信息从有限的训练数据转移到未标记的测试数据进行预测。该网络将复杂点云数据的表示分解为一组局部区域表示,并利用它们来计算视觉概念的组成原型。我们的网络包括一个关键的多视图比较组件,它利用了支持集的冗余视图。为了评估所提出的方法,我们创建了一个新的分割基准数据集,ScanNet- $6^i$,这是建立在ScanNet数据集。大量的实验表明,我们的方法优于基线具有显着的优势。此外,当我们使用我们的网络来处理完全监督点云分割数据集中的长尾问题时,它也可以有效地提高Few-Shot类的性能。
2020-12-28 cs.CV
Pixel Level Data Augmentation for Semantic Image Segmentation using Generative Adversarial Networks
Beihang University(北京航空航天大学);Keep Inc(Keep公司)
语义分割是计算机视觉的基本课题之一,它的目的是为图像中的每个像素分配语义标签。不平衡的语义标签分布可能对分割精度产生负面影响。在本文中,我们研究使用数据增强方法来平衡语义标签分布,以提高分割性能。我们建议使用生成对抗网络(GANs)来生成逼真的图像,以提高语义分割网络的性能。实验结果表明,该方法不仅可以提高对低精度类的分割性能,而且平均分割精度提高了1.3%~ 2.1%。实验结果表明,这种增强方法可以提高分割精度,并且可以很容易地应用到其他分割模型中。
2019-11-26 cs.CV
RIU-Net: Embarrassingly simple semantic segmentation of 3D LiDAR point cloud
Bordeaux INP(波尔多国立高等物理、数学与化学学院);IGN(法国国家地理林业信息研究所);ENSG(国立地理科学学院)
本文提出了RIU-Net(用于Range-Image U-Net),它是一种流行的语义分割网络的改编,用于3D LiDAR点云的语义分割。利用传感器的拓扑结构,将点云转换为二维距离图像。然后将该图像用作U形网络的输入。该体系结构已经证明了其有效性的医学图像的语义分割的任务。我们演示了它如何也可以用于3D激光雷达点云的准确语义分割,以及它如何代表图像处理和3D点云处理之间的有效桥梁。我们的模型是在从KITTI 3D目标检测数据集构建的距离图像上训练的。实验表明,RIU-Net尽管非常简单,但提供的结果与最先进的基于距离图像的方法相当。最后,我们证明了这种架构能够在单个GPU上以90 fps的速度运行,从而实现实时分割的部署。
2019-06-17 cs.CV
GSPN: Generative Shape Proposal Network for 3D Instance Segmentation in Point Cloud
Stanford University(斯坦福大学);Tsinghua University(清华大学)
本文提出了一种新的用于点云数据实例分割的三维物体建议方法--生成形状建议网络(GSPN)。而不是把对象的建议作为一个直接的限界框回归问题,我们采取的分析合成策略,并生成建议重建的形状从嘈杂的观察场景。我们将GSPN到一个新的三维实例分割框架命名为基于区域的PointNet(R-PointNet),它允许灵活的建议细化和实例分割生成。我们在几个3D实例分割任务上实现了最先进的性能。GSPN的成功很大程度上来自于它强调对象建议过程中的几何理解,这大大减少了低对象性的建议。
2018-12-08 cs.CV
BiSeg: Simultaneous Instance Segmentation and Semantic Segmentation with Fully Convolutional Networks
我们提出了一个简单而有效的框架,同时语义分割和实例分割与全卷积网络(FCN)。该方法称为BiSeg,预测实例分割作为贝叶斯推理的后验,其中语义分割用作先验。我们扩展了最近的方法中使用的位置敏感的得分地图的想法,在不同的尺度和分区模式的多个得分地图的融合,并采用它作为一个强大的可能性实例分割推理。由于贝叶斯推理和地图融合都是按像素执行的,因此BiSeg是一种完全卷积的端到端解决方案,继承了FCN的所有优点。我们展示了PASCAL VOC的最先进的实例分割精度。
2017-07-18 cs.CV
Panoptic Segmentation with a Joint Semantic and Instance Segmentation Network
Eindhoven University of Technology(埃因霍温理工大学)
我们提出了一个单一的网络方法的全景分割。该方法结合了来自联合训练的语义和实例分割网络的预测。联合训练是实现端到端全景分割网络的第一步,并且比使用两个网络进行训练和预测更快,更高效。该架构由语义分割和实例分割分支共享的ResNet-50特征提取器组成。对于实例分割,使用Mask R-CNN类型的架构,而语义分割分支则使用金字塔池化模块进行扩充。该方法的结果提交给COCO和Mapillary联合识别挑战赛2018。我们的方法在Mapillary Vistas验证集上实现了17.6的PQ评分,在COCO测试开发集上实现了27.2的PQ评分。
2019-02-07 cs.CV
PCSCNet: Fast 3D Semantic Segmentation of LiDAR Point Cloud for Autonomous Car using Point Convolution and Sparse Convolution Network
Hanyang University(汉阳大学);Chonnam University(全南大学);Konkuk University(建国大学)
自动驾驶汽车必须快速识别驾驶环境以确保安全驾驶。随着激光雷达(Light Detection And Range,LiDAR)传感器在自动驾驶汽车中的广泛应用,对传感器帧速率范围内的点云进行逐点分类的快速语义分割在驾驶环境识别中引起了人们的关注。基于体素和融合的语义分割模型是目前点云语义分割的主流模型,但由于体素分辨率高,计算量大,影响了其实时性。本文提出了一种基于点卷积和三维稀疏卷积的快速体素语义分割模型(PCSCNet)。所提出的模型的设计优于在高和低体素分辨率使用点卷积为基础的特征提取。此外,该模型在特征提取后使用3D稀疏卷积加速特征传播。实验结果表明,该模型在语义分割方面优于SemanticKITTI和nuScenes的实时模型,在LiDAR点云推理方面达到了实时性要求。
2022-02-21 cs.CV
Effective Cloud Detection and Segmentation using a Gradient-Based Algorithm for Satellite Imagery; Application to improve PERSIANN-CCS
The Pennsylvania State University(宾夕法尼亚州立大学);University of California, Irvine(加州大学欧文分校)
能够有效地识别云并监测其演变是实现更准确的定量降水估计和预报的重要一步。在这项研究中,一个新的基于梯度的云图像分割技术开发使用的工具,从图像处理技术。该方法将形态学图像的梯度幅度集成到可分离的云系统和补丁边界。为了降低图像分割对噪声的敏感性,并捕获具有各种边缘精细度的遥感图像中的目标,实现了一种变尺度核。所提出的方法是灵活的和可扩展的单到多光谱图像。通过将所提出的分割算法应用于由高分辨率天气预报模型模拟的地球同步业务环境卫星(GOES-R)通道的合成辐射度,进行了案例研究以验证该算法。所提出的方法相比,毫不逊色于现有的云补丁为基础的分割技术实现的PERSIANN-CCS(降水估计从遥感信息使用人工神经网络-云分类系统)降雨反演算法。基于事件的图像的评估表明,该算法有可能提高降雨检测和估计技能,与PERSIANN-CCS中使用的分割技术相比,平均增益超过45%,并将云区域识别为准确率高达98%的对象。
2018-09-27 cs.CV
An Underwater Image Semantic Segmentation Method Focusing on Boundaries and a Real Underwater Scene Semantic Segmentation Dataset
Dalian University of Technology(大连理工大学)
随着水下目标抓取技术的发展,对水下目标进行高精度的识别和分割成为一个挑战。现有的水下目标检测技术只能给出物体的大致位置,无法给出物体的轮廓等更详细的信息,严重影响抓取效率。为了解决这个问题,我们标记并建立了第一个真实场景的水下语义分割数据集(DUT-USEG:DUT Underwater Segmentation Dataset)。DUT- USEG数据集包括6617幅图像,其中1487幅具有语义分割和实例分割注释,其余5130幅图像具有目标检测框注释。基于此数据集,我们提出了一个半监督的水下语义分割网络(US-Net:水下分割网络)的边界为重点。该网络通过设计伪标签生成器和边界检测子网络,实现了水下目标与背景边界的精细学习,提高了边界区域的分割效果。实验结果表明,该方法在DUT-USEG数据集上对海参、海胆、海星三种鱼类的分类效果提高了6.7%,达到了最佳的分类效果。DUT- USEG数据集将在https://github.com/baxiyi/DUT-USEG上发布。
2021-08-26 cs.CV
SGPN: Similarity Group Proposal Network for 3D Point Cloud Instance Segmentation
University of Southern California(南加州大学);University of California, San Diego(加州大学圣地亚哥分校)
我们介绍了相似性组建议网络(SGPN),这是一个简单直观的深度学习框架,用于点云上的3D对象实例分割。SGPN使用单个网络来预测点分组建议和每个建议的对应语义类,我们可以直接从中提取实例分割结果。SGPN的有效性的重要的是它的三维实例分割结果的新颖表示形式的相似性矩阵,表示在嵌入的特征空间中的每对点之间的相似性,从而产生一个准确的分组建议为每个点。据我们所知,SGPN是第一个在点云上学习3D实例感知语义分割的框架。在不同的三维场景上的实验结果表明了该方法在三维实例分割上的有效性,并评估了SGPN在提高三维目标检测和语义分割效果方面的能力。我们还通过将2D CNN功能无缝集成到框架中以提高性能来展示其灵活性。
2019-05-30 cs.CV
Better Image Segmentation by Exploiting Dense Semantic Predictions
Beihang University(北京航空航天大学);UCL(伦敦大学学院)
人们普遍认为,图像分割可以受益于利用多级线索。本文重点研究了在自底向上的图像分割中利用基于模糊神经网络的密集语义预测,认为从一开始就考虑语义线索。通过这种方式,我们可以避免合并外观相似但语义类别不同的区域。语义效率低下的问题得到了解决。我们还提出了一种简单的方法来使用轮廓线索来抑制多级线索中的噪声,从而提高分割的鲁棒性。在BSDS500上的性能评估表明,本文的算法得到了竞争区域和边界性能。此外,由于在计算过程中可以为所有单独的区域分配适当的语义标签,因此我们能够提取调整后的语义分割。在Pascal VOC 2012上的实验表明,我们对直接来自密集预测的原始语义分割进行了改进。
2016-06-05 cs.CV
Know What Your Neighbors Do: 3D Semantic Segmentation of Point Clouds
RWTH Aachen University(亚琛工业大学)
在本文中,我们提出了一种深度学习架构,解决了非结构化点云的3D语义分割问题。与以前的工作相比,我们引入了分组技术,在初始世界空间和学习的特征空间中定义点邻域。邻域是重要的,因为它们允许根据邻域的空间延伸来计算局部或全局点特征。此外,我们还引入了专用的损失函数来进一步构建学习点特征空间:成对距离损失和质心损失。我们将展示如何将这些机制应用于点云的3D语义分割任务,并报告室内和室外数据集的最新性能。
2018-12-08 cs.CV
Attention-based fusion of semantic boundary and non-boundary information to improve semantic segmentation
Universidade Federal da Bahia(巴伊亚联邦大学);Universidade Federal do Maranhão(马拉尼昂联邦大学)
提出了一种基于深度卷积神经网络的图像语义分割方法。我们建议的主要目标是探索对象边界信息,以提高整体分割性能。与以前的作品,结合边界和分割功能,或那些使用边界信息来规范语义分割,我们提出了一种新的方法,体现到分割的边界信息。为此,我们的语义分割方法使用两个流,它们通过注意力门组合在一起,形成端到端的Y模型。据我们所知,我们的工作是第一次表明,边界检测可以提高语义分割时,通过语义融合门(注意力模型)融合。我们在公共数据集上对我们的方法进行了广泛的评估。在考虑相同的训练条件下,将我们提出的模型与其他12个最先进的分割器进行比较后,我们发现所有数据集上的结果都具有竞争力。我们提出的模型在CityScapes、CamVid和Pascal Context数据集上实现了最佳mIoU,在Mapillary Vistas上次之。
2021-08-05 cs.CV
A Survey of Semantic Segmentation
本综述概述了用于像素级语义分割的不同技术。描述了用于评估分割算法和传统分割方法(如无监督方法,决策森林和SVM)的数据集和数据集,并给出了相关论文的指针。最近发表的方法与卷积神经网络提到和典型的问题的情况下,分割算法进行检查。给出了分割算法的分类。
2016-05-11 cs.CV
Exploring Spatial Context for 3D Semantic Segmentation of Point Clouds
RWTH Aachen University(亚琛工业大学)
在过去的几年里,深度学习方法在语义分割领域取得了巨大的进步。然而,大多数当前方法在2D图像空间中操作。非结构化三维点云的直接语义分割仍是一个开放的研究课题。最近提出的PointNet架构提出了一个有趣的进步,因为它可以在非结构化点云上操作,实现令人鼓舞的分割结果。然而,它将输入点细分为块的网格,并单独处理每个这样的块。在本文中,我们调查的问题,这样的架构可以扩展到更大规模的空间背景。我们建立在PointNet,并提出了两个扩展,扩大了3D场景的感受野。我们评估了具有挑战性的室内和室外数据集上提出的策略,并在这两种情况下显示出改进的结果。
2019-12-18 cs.CV
MaskLab: Instance Segmentation by Refining Object Detection with Semantic and Direction Features
Google Inc.(谷歌公司);RWTH Aachen University(亚琛工业大学);UCLA(加利福尼亚大学洛杉矶分校)
在这项工作中,我们解决的问题,实例分割,同时解决目标检测和语义分割的任务。为了实现这一目标,我们提出了一个模型,称为MaskLab,它产生三个输出:框检测,语义分割和方向预测。在Faster-RCNN对象检测器的基础上,预测框提供了对象实例的准确定位。在每个感兴趣的区域内,MaskLab通过结合语义和方向预测来执行前景/背景分割。语义分割有助于模型区分不同语义类别的对象,包括背景,而方向预测,估计每个像素的方向,其相应的中心,允许分离相同的语义类别的实例。此外,我们还探讨了将最近成功的分割和检测方法(即atrous卷积和hypercolumn)结合起来的效果。我们提出的模型进行评估的COCO实例分割基准,并显示出与其他国家的最先进的模型相媲美的性能。
2017-12-13 cs.CV
Joint Learning of Intrinsic Images and Semantic Segmentation
University of Amsterdam(阿姆斯特丹大学);DUniversum B.V.(3DUniversum B.V.)
当成像条件存在变化时,室外场景的语义分割是有问题的。众所周知,反射率对各种照明效果都是不变的。因此,使用反射图像进行语义分割任务可能是有利的。此外,不仅分割可以受益于反射率,而且分割可以用于反射率计算。因此,在本文中,任务的语义分割和内在的图像分解被认为是一个联合的过程,通过探索他们的相互关系,在联合的方式。为此,我们提出了一种有监督的端到端CNN架构,以联合学习内在图像分解和语义分割。我们分析了共同解决这两个问题的好处。此外,提出了新的级联CNN架构的内在分割和分割的内在作为单一的任务。此外,还创建了一个35 K自然环境合成图像的数据集,其中包含相应的阴影和阴影(内在),以及分配给每个对象/场景的语义标签(分割)。实验表明,联合学习的内在图像分解和语义分割是有益的自然场景的任务。数据集和模型可在https://ivi.fnwi.uva.nl/cv/intrinseg上获得
2018-07-31 cs.CV
Point Cloud Semantic Segmentation
Sveučilište u Zagrebu, Fakultet elektrotehnike i računarstva(萨格勒布大学电气工程与计算学院)
本文针对点云语义分割任务,在S3DIS室内房间点云数据集上训练5种主流点云分割模型,通过标准分割指标和推理速度开展模型对比分析。
2023-05-01 cs.CV
LEST: Large-scale LiDAR Semantic Segmentation with Transformer
LiangDao GmbH(亮道智能);Ilmenau University of Technology(伊尔梅瑙工业大学)
针对大规模激光雷达点云语义分割任务,提出纯Transformer架构LEST,包含空间填充曲线分组策略和距离余弦线性Transformer两个创新组件,在nuScenes和SemanticKITTI数据集上性能超越现有最优方法。
2023-07-14 cs.CV
Context-aware Feature Generation for Zero-shot Semantic Segmentation
Shanghai Jiao Tong University(上海交通大学)
现有的语义分割模型严重依赖于密集的逐像素注释。为了减少标注的压力,我们专注于一个具有挑战性的任务命名为zero-shot语义分割,其目的是分割看不见的零注释对象。这个任务可以通过语义词嵌入跨类别传递知识来完成。在本文中,我们提出了一种新的上下文感知的zero-shot分割称为CaGNet的特征生成方法。特别是,观察到一个像素级的功能高度依赖于其上下文信息,我们插入一个上下文模块在分割网络捕捉像素级的上下文信息,这指导了从语义词嵌入生成更多样化和上下文感知功能的过程。我们的方法在三个基准数据集上实现了最先进的结果,用于zero-shot分割。代码可在https://github.com/bcmi/CaGNet-Zero-Shot-Semantic-Segmentation上获得。
2020-08-16 cs.CV
Novel Class Discovery for 3D Point Cloud Semantic Segmentation
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学)
语义分割的新类发现(NCD)是学习一个模型的任务,该模型可以只使用来自标记(基本)类的监督来分割未标记(新)类。这个问题最近已经率先用于2D图像数据,但对于3D点云数据还没有工作。事实上,在这种情况下,对2D所做的假设大致适用于3D。本文从四个方面介绍了点云数据分析的最新进展。首先,我们解决了点云语义分割的NCD新问题。其次,我们表明,唯一现有的NCD方法的2D语义分割到3D数据的换位是次优的。第三,我们提出了一种新的方法,NCD的基础上在线聚类,利用不确定性量化产生的原型伪标记的点的新的类。最后,我们引入了一个新的评估协议来评估点云语义分割的NCD的性能。我们在SemanticKITTI和SemanticPOSS数据集上彻底评估了我们的方法,表明它可以显着优于基线。项目页面在此链接:https://github.com/LuigiRiz/NOPS.
2023-03-21 cs.CV
Superpoint-guided Semi-supervised Semantic Segmentation of 3D Point Clouds
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences(中国科学院脑科学与智能技术卓越创新中心)
三维点云语义分割是计算机视觉领域的一个具有挑战性的课题。现有文献中的大多数方法都需要大量的完全标注的训练数据,而通过人工标注海量点云来获取这些训练数据是极其耗时的。为了解决这个问题,我们提出了一个用于3D点云的超点引导半监督分割网络,该网络联合利用一小部分标记场景点云和大量未标记点云进行网络训练。建议的网络迭代更新其预测的伪标签,其中的超点生成模块被引入用于从3D点云提取超点,和伪标签优化模块被探索用于自动分配伪标签的约束下提取的超点的未标记的点。此外,还有一些没有伪标签监督的3D点。我们提出了一个边缘预测模块来约束边缘点的特征。通过引入叠加点特征聚合模块和叠加点特征一致性损失函数来平滑叠加点特征。在两个3D公共数据集上的大量实验结果表明,我们的方法可以达到更好的性能比几个国家的最先进的点云分割网络和几个流行的半监督分割方法,很少标记的场景。
2021-09-09 cs.CV
Human Vision Based 3D Point Cloud Semantic Segmentation of Large-Scale Outdoor Scene
York University(约克大学);Lassonde School of Engineering(拉松德工程学院)
针对点云语义分割中覆盖区域大小易被忽视的问题,受人类周边视觉启发提出EyeNet网络,通过多轮廓输入和带连接块的并行处理结构,在稠密点云处理上表现优异,在相关数据集达SOTA水平。
2023-06-12 cs.CV
Joint Semantic Segmentation and Boundary Detection using Iterative Pyramid Contexts
Hong Kong University of Science and Technology(香港科技大学);Microsoft Research Asia(微软亚洲研究院);Everest Innovation Technology(珠科创新技术)
在本文中,我们提出了一个联合多任务学习框架的语义分割和边界检测。框架中的关键组件是迭代金字塔上下文模块(PCM),它耦合两个任务并存储共享的潜在语义以在两个任务之间进行交互。对于语义边界检测,我们提出了新的空间梯度融合抑制非语义边缘。由于语义边界检测是语义分割的双重任务,本文引入了一个带有边界一致性约束的损失函数,以提高语义分割的边界像素精度。我们广泛的实验表明,优越的性能超过国家的最先进的作品,不仅在语义分割,但也在语义边界检测。特别是,Cityscapes测试集上的平均IoU得分为81:8%,无需使用粗数据或任何外部数据进行语义分割。对于语义边界检测,我们在AP和MF(ODS)方面比以前的最先进的作品提高了9.9%和6:8%。
2020-04-16 cs.CV
Segmentation in Style: Unsupervised Semantic Image Segmentation with Stylegan and CLIP
Johns Hopkins University(约翰斯·霍普金斯大学)
我们介绍了一种方法,允许自动分割图像到语义有意义的区域,而无需人工监督。衍生区域在不同的图像中是一致的,并且与某些数据集上的人类定义的语义类一致。在语义区域可能很难为人类定义和一致的标签的情况下,我们的方法仍然能够找到有意义的和一致的语义类。在我们的工作中,我们使用预训练的StyleGAN2生成模型:生成模型的特征空间中的聚类允许发现语义类。一旦发现了类别,就可以创建具有生成的图像和对应的分割掩模的合成数据集。之后,在合成数据集上训练分割模型,并能够推广到真实图像。此外,通过使用CLIP,我们能够使用自然语言中定义的提示来发现一些所需的语义类。我们在公开的数据集上测试了我们的方法,并展示了最先进的结果。
2021-11-18 cs.CV
Context Tricks for Cheap Semantic Segmentation
University College London(伦敦大学学院)
图像像素的精确语义标记是困难的,因为类内变化通常大于类间变化。反过来,快速的语义分割是困难的,因为准确的模型通常太复杂,无法在测试时快速运行。我们在构建和运行语义分割系统方面的经验也表明,由于小的训练数据集,模型复杂性存在相当明显的瓶颈。因此,我们提出了两个简单的互补策略,利用上下文提供更好的语义分割,同时扩大或缩小到不同大小的数据集上的训练。作为现有的语义分割算法的简单修改,我们引入解相关的语义文本元森林,上下文敏感的图像水平优先级。提出的修改使用语义Texton森林(STF)系统进行测试,并在两个标准的基准数据集,MSRC-21和PascalVOC-2010的修改进行验证。在基于Python的比较中,我们的系统在测试时比STF慢得不明显,但总体上产生了优越的语义分割,只需按钮训练。
2015-02-17 cs.CV
SSSegmenation: An Open Source Supervised Semantic Segmentation Toolbox Based on PyTorch
The University of Hong Kong(香港大学)
本文提出基于PyTorch的开源有监督语义分割工具箱SSSegmenation,其依赖更少、使用更简便且性能优于MMSegmentation,并提供多种主流方法的预训练权重。
2023-05-26 cs.CV
GSIP: Green Semantic Segmentation of Large-Scale Indoor Point Clouds
University of Southern California(南加州大学);Tencent Media Lab(腾讯媒体实验室);Tencent America(腾讯美国)
针对大规模室内场景点云的语义分割问题,提出了一种有效的解决方案。它被命名为GSIP(室内点云的绿色分割),其性能在一个代表性的大规模基准-斯坦福大学3D室内分割(S3 DIS)数据集上进行了评估。GSIP有两个新的组成部分:1)房间式数据预处理方法,选择适当的点子集进行进一步处理,以及2)从PointHop扩展的新特征提取器。对于前者,每个房间的采样点形成输入设备。对于后者,PointHop的特征提取的弱点时,将其扩展到大规模的点云识别和修复一个更简单的处理管道。与基于深度学习的先锋解决方案PointNet相比,GSIP是绿色的,因为它具有显著更低的计算复杂性和更小的模型大小。实验结果表明,GSIP在S3 DIS数据集上的分割性能优于PointNet。
2022-11-14 cs.CV
Channelized Axial Attention for Semantic Segmentation -- Considering Channel Relation within Spatial Attention for Semantic Segmentation
University of Technology Sydney(悉尼科技大学);Tencent AI LAB(腾讯AI实验室);University of Sydney(悉尼大学)
空间和通道注意力分别在空间和通道维度上对语义相互依赖性进行建模,最近已被广泛用于语义分割。然而,单独计算空间和通道注意力有时会导致错误,特别是对于那些困难的情况。在本文中,我们提出了一种新的轴向注意力(CAA),将通道注意力和空间注意力无缝集成到一个单一的操作中,计算开销可以忽略不计。具体来说,我们将空间注意力的点积操作分解为两个部分,并在其间插入通道关系,允许在每个空间位置上独立优化通道注意力。我们进一步开发了分组向量化,这使得我们的模型可以在不降低运行速度的情况下以非常少的内存消耗运行。在多个基准数据集(包括Cityscapes,PASCAL Context和COCO-Stuff)上进行的比较实验表明,我们的CAA在所有测试数据集上的性能优于许多最先进的分割模型(包括双重注意力)。
2021-09-12 cs.CV
CNN-aware Binary Map for General Semantic Segmentation
University of Genova(热那亚大学);Istituto Italiano di Tecnologia(意大利技术研究院);University of Trento(特伦托大学);Allen Institute for AI(艾伦人工智能研究所)
在本文中,我们介绍了一种新的方法,一般语义分割,可以受益于一般语义的卷积神经网络(CNN)。我们的分割提出了视觉和语义连贯的图像段。我们使用CNN特征的二进制编码来克服在高维CNN特征空间上聚类的困难。这些二进制代码对图像中的噪声和非语义变化非常鲁棒。这些二进制编码可以嵌入到CNN中,作为网络末端的额外层。这导致实时分割。据我们所知,我们的方法是第一次尝试一般语义图像分割使用CNN。所有以前的论文都局限于少数几个类别的图像(例如PASCAL VOC)。实验表明,我们的分割算法优于国家的最先进的非语义分割方法的大幅度。
2016-09-29 cs.CV
Bridging Category-level and Instance-level Semantic Image Segmentation
The University of Adelaide(阿德莱德大学)
我们提出了一种建立在类别级分割之上的实例级图像分割方法。具体地,对于语义类别掩码中的每个像素,使用深度全卷积回归网络来预测其对应的实例限界框。因此,它遵循与流行的检测然后分割方法不同的流水线,该方法首先预测实例的边界框,这是实例分割中的当前最先进技术。我们表明,通过利用我们的国家的最先进的语义分割模型的力量,所提出的方法可以实现可比的,甚至更好的结果,检测,然后段的方法。我们做出以下贡献。(i)首先,我们提出了一个简单而有效的方法来语义实例分割。(ii)其次,我们提出了一种在线自举方法在训练过程中,这是至关重要的实现语义类别分割和实例级分割的良好性能。(iii)由于语义类别分割的性能对实例级分割有很大的影响,这是我们方法的第二步,我们训练完全卷积的残差网络,以达到最佳的语义类别分割精度。在PASCAL VOC 2012数据集上,我们获得了目前最好的平均交叉-联合评分为79.1%。(iv)我们还实现了国家的最先进的实例级分割的结果。
2016-05-23 cs.CV
EADNet: Efficient Asymmetric Dilated Network for Semantic Segmentation
Fudan University(复旦大学);Shanghai Huawei Technologies Co., Ltd.(上海华为技术有限公司)
由于实时图像语义分割需要在功率受限的边缘设备上进行,因此越来越希望设计轻量级的语义分割神经网络,以同时降低计算成本并提高推理速度。本文提出了一种高效的非对称扩张语义分割网络EADNet,它由多个具有不同扩张率的非对称卷积分支组成,以捕获图像的可变形状和尺度信息。特别地,多尺度多形状感受野卷积(MMRFC)块只有几个参数的设计,以捕捉这些信息。在Cityscapes数据集上的实验结果表明,我们提出的EADNet在主流轻量级语义分割网络中以最少的参数(仅0.35 M)实现了67.1的分割mIoU。
2021-03-16 cs.CV
Rethinking Semantic Segmentation Evaluation for Explainability and Model Selection
University of Washington(华盛顿大学)
语义分割的目标是鲁棒地预测图像的整个区域的相干类标签。这是一个场景理解任务,为现实世界的应用提供动力(例如,自主导航)。一个重要的应用,使用图像的行人环境的自动语义理解,提供了远程地图的街道环境中的无障碍功能。这个应用程序(以及其他类似的应用程序)需要地理对象的详细几何信息。语义分割是此任务的先决条件,因为它将同一类的连续区域映射为单个实体。重要的是,像我们这样的语义分割使用不是逐像素的结果;然而,它们的大多数定量评估指标(例如,平均交集超过并集)是基于与地面实况的逐像素相似性,其未能强调分割模型的过度分割和欠分割属性。在这里,我们引入了一个新的指标来评估基于区域的过度分割和欠分割。我们分析和比较它与其他指标,证明我们的度量的使用借给更大的解释语义分割模型在现实世界中的应用程序的性能。
2023-02-15 cs.CV
Synergy Between Semantic Segmentation and Image Denoising via Alternate Boosting
University of Science and Technology of China(中国科学技术大学)
图像语义分割的能力可能会由于噪声输入图像而恶化,其中在分割之前的图像去噪有所帮助。随着深度学习的发展,图像去噪和语义分割都得到了显著的发展。因此,我们感兴趣的是它们之间的协同作用,通过使用一个整体的深度模型。我们观察到,不仅去噪有助于对抗由于噪声而导致的分割精度下降,而且像素级语义信息也提高了去噪的能力。然后,我们提出了一个boosting网络来交替执行去噪和分割。该网络由多个分割和去噪块(SDB)组成,每个块估计语义映射,然后使用该映射来正则化去噪。实验结果表明,去噪后的图像质量有了明显的提高,分割精度也提高到接近干净图像的水平。我们的代码和模型将公开提供。
2021-02-24 cs.CV
Semantic Segmentation-Assisted Instance Feature Fusion for Multi-Level 3D Part Instance Segmentation
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
从三维点云中识别三维零件实例对于三维结构和场景理解具有重要意义。几种基于学习的方法使用语义分割和实例中心预测作为训练任务,并且未能进一步利用形状语义和零件实例之间的内在关系。提出了一种三维零件实例分割的新方法。我们的方法利用语义分割来融合非局部实例特征,如中心预测,并进一步增强了融合方案的多层次和跨层次的方式。我们还提出了一个语义区域中心预测任务来训练,并利用预测结果来提高实例点的聚类。我们的方法优于现有的方法,在PartNet基准测试中有很大的改进。我们还表明,我们的特征融合方案可以应用到其他现有的方法,以提高其性能在室内场景实例分割任务。
2022-08-09 cs.CV
Bi-Directional Attention for Joint Instance and Semantic Segmentation in Point Clouds
Shandong University(山东大学)
点云中的实例分割是理解3D场景的最细粒度的方法之一。由于它与语义分割的密切关系,许多作品同时处理这两个任务,并利用多任务学习的好处。然而,他们中的大多数人只考虑简单的策略,如元素的功能融合,这可能不会导致相互促进。在这项工作中,我们建立了一个双向注意力模块的骨干神经网络的三维点云感知,它使用的相似性矩阵测量的功能为一个任务,以帮助聚合非本地信息的其他任务,避免潜在的功能排除和任务冲突。通过对S3DIS数据集和PartNet数据集的综合实验和消融研究,验证了该方法的优越性。此外,本文还分析了双向注意模块帮助实例分割和语义分割联合的机制。
2020-03-11 cs.CV
JOPP-3D: Joint Open Vocabulary Semantic Segmentation on Point Clouds and Panoramas
本文提出JOPP-3D框架,通过联合利用点云和全景图像数据实现语言驱动的场景理解,提升开放词汇下点云和全景图像的语义分割性能。
2026-10-21 cs.CV
Generative Semantic Segmentation
Fudan University(复旦大学);University of Surrey(萨里大学)
本文提出生成式语义分割(GSS),将语义分割转化为以图像为条件的掩码生成问题,通过隐变量先验学习和条件网络实现分割,在标准设置下表现优异,并在跨域设置中取得新最优。
2023-08-10 cs.CV
Deep Metric Learning for Open World Semantic Segmentation
The Hong Kong University of Science and Technology(香港科技大学)
经典的闭集语义分割网络检测分布外(OOD)对象的能力有限,这对于自动驾驶等安全关键型应用非常重要。增量学习这些带有少量注释的OOD对象是扩大深度学习模型知识库的理想方法。在本文中,我们提出了一个开放世界的语义分割系统,它包括两个模块:(1)一个开放集语义分割模块,检测分布和OOD对象。(2)增量式少样本学习模块,用于逐渐将这些OOD对象合并到其现有知识库中。这个开放世界的语义分割系统表现得像一个人,它能够识别OOD对象,并在相应的监督下逐渐学习它们。我们采用深度度量学习网络(DMLNet)与对比聚类实现开集语义分割。与其他开集语义分割方法相比,我们的DMLNet在三个具有挑战性的开集语义分割数据集上实现了最先进的性能,而无需使用额外的数据或生成模型。在此基础上,进一步提出了两种增量式少样本学习方法,利用面向对象对象的标注对DMLNet进行渐进式改进。
2021-08-10 cs.CV
Combining the Best of Graphical Models and ConvNets for Semantic Segmentation
Virginia Tech(弗吉尼亚理工大学)
我们提出了一个两模块的方法,结合卷积网络(CNN)和图形模型的语义分割。图形模型用于生成一个小的(5-30)集不同的分割建议,使得这个集合具有高召回。由于所需提案的数量如此之少,我们可以提取相当复杂的特征来对它们进行排名。我们选择的复杂特征是一种名为SegNet的新型CNN,它直接输出(粗略的)语义分割。重要的是,SegNet经过专门训练,可以优化语料库级别的PASCAL IOU损失函数。据我们所知,这是第一个专门为语义分割设计的CNN。这种双模块方法在PASCAL 2012分割挑战中实现了$52.5\%$。
2014-12-16 cs.CV
Learning Pixel-level Semantic Affinity with Image-level Supervision for Weakly Supervised Semantic Segmentation
DGIST(韩国基础科学研究院);POSTECH(浦项科技大学)
切分标签的不足是语义分割的主要障碍之一。为了缓解这个问题,我们提出了一个新的框架,生成分割标签的图像给出了他们的图像级类标签。在这种弱监督的设置中,训练的模型已经被称为分割局部区分部分,而不是整个对象区域。我们的解决方案是传播这样的本地响应到附近的地区属于同一个语义实体。为此,我们提出了一种称为AffinityNet的深度神经网络(DNN),它可以预测一对相邻图像坐标之间的语义相似度。然后,语义传播通过随机游走与AffinityNet预测的亲和力来实现。更重要的是,用于训练AffinityNet的监督由初始判别部分分割给出,其作为分割注释是不完整的,但足以学习小图像区域内的语义亲和力。因此,整个框架只依赖于图像级的类标签,不需要任何额外的数据或注释。在PASCAL VOC 2012数据集上,使用我们的方法生成的分割标签学习的DNN优于使用相同监督级别训练的先前模型,甚至与那些依赖于更强监督的模型一样具有竞争力。
2018-04-09 cs.CV
CPSeg: Cluster-free Panoptic Segmentation of 3D LiDAR Point Clouds
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);University of Toronto(多伦多大学)
快速准确的激光雷达点云全景分割系统对于自动驾驶车辆理解周围物体和场景至关重要。现有的方法通常依赖于建议或聚类来分割前景实例。因此,它们很难实现实时性能。在本文中,我们提出了一种新的实时端到端的激光雷达点云全景分割网络,称为CPSeg。特别地,CPSeg包括共享编码器、双解码器和无簇实例分割头,其能够根据学习的嵌入来动态地柱化前景点。然后,它通过使用成对嵌入比较找到连接的柱子来获取实例标签。因此,传统的基于建议或基于聚类的实例分割转化为成对嵌入比较矩阵上的二进制分割问题。为了帮助网络回归实例的嵌入,提出了一种快速确定性的深度补全算法,实时计算每个点云的表面法线。该方法在两个大规模自动驾驶数据集SemanticKITTI和nuScenes上进行了基准测试。值得注意的是,大量的实验结果表明,CPSeg在两个数据集上的实时方法中取得了最先进的结果。
2023-02-03 cs.CV
Joint Optical Flow and Temporally Consistent Semantic Segmentation
TU Darmstadt(达姆施塔特工业大学)
随着自主系统的发展,视觉场景理解的重要性和需求不断增加。因此,已经有大量的研究致力于语义分割和密集运动估计。在本文中,我们提出了一种方法,联合估计光流和时间一致的语义分割,这两个问题域紧密相连,并相互利用。语义分割向其相关联的像素提供关于合理物理运动的信息,并且准确的像素级时间对应性增强了时间域中的语义分割的准确性。我们展示了我们的方法的好处KITTI基准,在那里我们观察流和分割的性能增益。我们实现了最先进的光流结果,并在具有挑战性但至关重要的动态对象上大幅优于所有已发表的算法。
2016-07-26 cs.CV
Semantic Segmentation using Adversarial Networks
Facebook AI Research(Facebook 人工智能研究院);INRIA(法国国家信息与自动化研究所);Laboratoire Jean Kuntzmann(让·昆兹曼实验室)
对抗训练已被证明可以为生成图像建模产生最先进的结果。在本文中,我们提出了一个对抗性的训练方法训练语义分割模型。我们训练一个卷积语义分割网络以及一个对抗网络,该网络区分来自地面实况或来自分割网络的分割图。我们的方法的动机是,它可以检测和纠正地面实况分割图和分割网络产生的分割图之间的高阶不一致。我们的实验表明,我们的对抗训练方法提高了斯坦福背景和PASCAL VOC 2012数据集的准确性。
2016-11-25 cs.CV
Learning High-level Prior with Convolutional Neural Networks for Semantic Segmentation
University of Science and Technology of China(中国科学技术大学);Tsinghua University(清华大学);The Hong Kong University of Science and Technology(香港科技大学)
提出了一种融合高层先验信息的卷积神经网络用于图像语义分割。受人类视觉识别系统的启发,我们设计了一个由高层编码、中层分割和底层图像组成的三层生成结构,为语义分割引入全局先验。基于这种结构,我们提出了一个生成模型,称为条件变分自动编码器(CVAE),可以建立这三个层背后的链接。这些重要环节包括从图像中提取高层信息的图像编码器、从分割中提取高层信息的分割编码器和从高层先验图像和输入图像中输出语义分割的混合解码器。我们从理论上推导出的语义分割作为这些链接参数化的优化问题。最后,优化问题使我们能够利用最先进的全卷积网络结构来实现上述编码器和解码器。在几个有代表性的数据集上的实验结果表明,我们的最高性能的语义分割。
2015-11-22 cs.CV
Semantic Diffusion Network for Semantic Segmentation
Baidu Research(百度研究院)
对边界区域的精确和准确的预测对于语义分割是必不可少的。然而,常用的卷积算子往往会平滑和模糊局部细节线索,使深度模型难以生成准确的边界预测。在本文中,我们引入了一个操作员级的方法来提高语义边界意识,从而提高预测的深层语义分割模型。具体来说,我们首先制定的边界特征增强作为一个各向异性扩散过程。然后,我们提出了一种新的可学习的方法,称为语义扩散网络(SDN),以近似的扩散过程,其中包含一个参数化的语义差异卷积算子,其次是一个特征融合模块。我们的SDN的目的是构建一个可区分的映射,从原始功能的类间边界增强功能。所提出的SDN是一种高效且灵活的模块,可以很容易地插入到现有的编码器-解码器分割模型中。大量的实验表明,我们的方法可以实现几个典型的和国家的最先进的分割基线模型上具有挑战性的公共基准一致的改进。代码将很快发布。
2023-02-04 cs.CV
Prototype Guided Network for Anomaly Segmentation
语义分割方法不能直接识别图像中的异常对象。异常分割算法可以区分分布内对象和分布外(OOD)对象,并输出像素的异常概率。本文提出了一种原型引导的异常分割网络(PGAN),用于从有限的标注图像中提取分布式训练数据的语义原型。在模型中,原型被用来建模的层次类别语义信息和区分OOD像素。提出的PGAN模型包括一个语义分割网络和一个原型抽取网络。采用相似性度量对原型进行优化。将学习到的语义原型作为类别语义,与从测试图像中提取的特征进行相似度比较,然后生成语义分割预测。提出的原型提取网络也可以集成到大多数语义分割网络和识别OOD像素。在StreetHazards数据集上,所提出的PGAN模型产生了53.4%的mIoU用于异常分割。实验结果表明,PGAN在异常分割任务中可以达到SOTA的性能。
2022-03-15 cs.CV