GSVNet: Guided Spatially-Varying Convolution for Fast Semantic Segmentation on Video
National Yang Ming Chiao Tung University（台湾阳明交通大学）
本文研究了视频的快速语义分割，视频分割通常要求实时甚至比实时更快的处理。用于保存由特征提取引起的计算的一个常见配方是传播少数选定关键帧的特征。然而，快速图像分割的最新进展使得这些解决方案不那么有吸引力。为了利用快速图像分割进一步的视频分割，我们提出了一个简单而有效的传播框架。具体来说，我们在1/8缩小的图像空间中进行轻量级流估计，以在分割空间中进行时间扭曲。此外，我们引入了一个引导的空间变化的卷积融合分割来自以前和当前帧，以减轻传播误差，并使轻量级的特征提取非关键帧。在Cityscapes和CamVid上的实验结果表明，该算法在视频分割上达到了最佳的精度和吞吐量的平衡。
2021-06-08 cs.CV cs.LG
Semantic Segmentation Alternative Technique: Segmentation Domain Generation
University of Bucharest（布加勒斯特大学）；ETH Zürich（苏黎世联邦理工学院）
在图像中检测感兴趣的对象一直是一项强制性的自动化任务。近年来，越来越多地使用深度学习技术来探索这项任务，主要是使用基于区域的卷积网络。在这个项目中，我们提出了一种替代的语义分割技术，利用生成对抗网络。我们认为语义分割是一个域转移问题。因此，我们训练前馈网络（FFNN）接收作为输入的种子真实图像，并生成作为输出的分割掩模。
2021-07-06 cs.CV cs.LG eess.IV
SLAMs: Semantic Learning based Activation Map for Weakly Supervised Semantic Segmentation
Shenzhen University（深圳大学）
目前主流的弱监督语义分割（WSSS）方法主要依赖于图像级的分类学习，其表示能力有限。在本文中，我们提出了一种新的语义学习为基础的框架，命名为SLAMs（基于语义学习激活图），WSSS。
2022-11-10 cs.CV
Training Semantic Segmentation on Heterogeneous Datasets
Eindhoven University of Technology（埃因霍温理工大学）
本文在传统的单数据集同质训练的基础上，对语义分割进行了探索，提出了语义分割的异质训练问题。HTSS涉及多个异构数据集的同时训练，即从语义分割的角度来看，具有冲突标签空间和不同（弱）注释类型的数据集。HTSS公式将深度网络暴露给更大且以前未探索的信息聚合，这些信息可以在三个方向上潜在地增强语义分割：i）性能：在可见数据集上增加分割度量，ii）泛化：在不可见数据集上改进分割度量，以及iii）知识性：增加可识别语义概念的数量。为了研究HTSS的这些好处，我们提出了一个统一的框架，该框架将异构数据集纳入一个单一的网络训练管道，遵循既定的FCN标准。我们的框架首先管理异构数据集，将它们转换为通用格式，然后同时在所有数据集上训练单一骨干FCN。为了实现这一点，它转换弱注释，这是不兼容的语义分割，每像素的标签，并分层到一个通用的分类标签空间。经过训练的HTSS模型在广泛的数据集上展示了性能和泛化增益，并扩展了推理标签空间，从而产生了数百个语义类。
2023-01-18 cs.AI cs.CV cs.LG
Visual Semantic Segmentation Based on Few/Zero-Shot Learning: An Overview
East China University of Science and Technology（华东理工大学）；Tongji University（同济大学）；Swinburne University of Technology（斯威本科技大学）
视觉语义分割的目的是将视觉样本分割成具有特定语义属性的不同块，并确定每个块的类别，它在环境感知中起着至关重要的作用。传统的基于学习的视觉语义分割方法严重依赖于具有密集注释的大规模训练数据，并且始终无法为不可见的类别估计准确的语义标签。这一障碍激发了在少量/零样本学习的帮助下研究视觉语义分割的热潮。少/zero-shot视觉语义分割的出现和迅速发展，使得从少量标记或零标记的样本中学习不可见的类别成为可能，从而推动了该方法向实际应用的扩展。因此，本文重点研究了近年来发表的几种基于少量/zero-shot的二维到三维空间的视觉语义分割方法，探讨了不同分割环境下技术解决方案的共性和差异。具体而言，少数/zero-shot视觉语义分割的问题，包括定义，典型的数据集，和技术补救措施，简要回顾和讨论。此外，还涉及三个典型的实例来揭示少/零样本学习与视觉语义分割的相互作用，包括图像语义分割、视频对象分割和3D分割。最后，讨论了少/zero-shot视觉语义分割的未来挑战。
2022-11-13 cs.CV
SemSegDepth: A Combined Model for Semantic Segmentation and Depth Completion
Tampere University（坦佩雷大学）
针对自主机器的整体场景理解需求，提出名为SemSegDepth的端到端多任务模型，联合处理语义分割与深度补全，在Virtual KITTI 2数据集上验证了联合学习可同时提升两项任务的性能。
2024-03-06 cs.AI cs.CV cs.LG
Rethinking Convolutional Semantic Segmentation Learning
IIT Guwahati（印度理工学院古瓦哈提分校）；ARTELUS（ARTELUS公司）
深度卷积语义分割（DCSS）学习不会收敛到随机参数初始化的最优局部最小值;在同一域上的预训练模型成为实现收敛的必要条件。在这项工作中，我们提出了一种用于DCSS的联合协作端到端学习方法。它解决了现有深度语义分割学习的许多缺点;所提出的方法同时学习分割和分类;消除了预训练模型对学习收敛的基本需求。我们提出了一种改进的基于部分注意门控（PAG）编码器信息的架构。PAG还增加了分割任务的收敛速度和准确性。我们将展示这种学习在糖尿病视网膜病变分类和分割数据集上的有效性。
2017-10-22 cs.CV cs.LG stat.ML
DEAL: Difficulty-aware Active Learning for Semantic Segmentation
Zhejiang University（浙江大学）
主动学习的目标是通过寻找信息量最大的样本来解决标记数据的缺乏问题。然而，现有方法在应用于语义分割时，忽略了不同语义区域的分割难度，导致对细小、细长等硬语义区域的分割效果不佳。为了解决这个问题，我们提出了一个语义难度-awarE主动学习（DEAL）网络由两个分支组成：共同分割分支和语义难度分支。对于后一个分支，与分割结果和GT之间的分割误差的监督，逐像素的概率注意模块被引入到学习不同的语义区域的语义难度分数。最后，设计了两个获取函数来选择语义困难的最有价值的样本。在语义分割基准测试上的竞争结果表明，DEAL实现了最先进的主动学习性能，特别是提高了硬语义区域的性能。
2020-10-17 cs.CV
Highway Driving Dataset for Semantic Video Segmentation
场景理解是语义分割中的一项关键技术。虽然存在几个可用于语义分割的数据集，但它们主要集中在大型深度神经网络的语义图像分割上。因此，这些网络对于实时的应用是无用的，特别是在自动驾驶系统中。为了解决这个问题，我们在语义分割任务上做了两个贡献。第一个贡献是我们引入了语义视频数据集，高速公路驾驶数据集，这是一个语义视频分割任务的密集注释基准。高速公路驾驶数据集由20个具有30 Hz帧速率的视频序列组成，并且每个帧都被密集注释。其次，我们提出了一个基线算法，利用时间相关性。结合我们分析时间相关性的尝试，我们希望高速公路驾驶数据集能够鼓励对语义视频分割的研究。
2020-11-02 cs.CV
Ensembling Instance and Semantic Segmentation for Panoptic Segmentation
Siemens Mobility（西门子交通）
本文提出分别进行实例分割与语义分割再融合的COCO全景分割方案，通过Mask R-CNN专家模型、HTC和多骨干语义模型集成，在test-dev上达到PQ 47.1。
2023-04-20 cs.CV
LabelBank: Revisiting Global Perspectives for Semantic Segmentation
University of Southern California（南加州大学）；Simon Fraser University（西蒙菲莎大学）；Oracle Labs（甲骨文实验室）
语义分割需要按对象类别对图像像素进行详细标记。从局部图像块导出的信息对于描述单个对象的详细形状是必要的。然而，这些信息是模糊的，并且可能导致噪声标签。图像内容的全局推断可以替代地捕获存在的一般语义概念。我们主张图像概念的整体推理为详细的像素标记提供有价值的信息。我们提出了一个通用的框架，以利用整体信息的形式的LabelBank像素级分割。我们展示了我们的框架在各种环境中提高语义分割性能的能力。我们学习从视觉线索，属性和/或文本描述中提取整体LabelBank的模型。我们展示了在标准数据集上的语义分割准确性的改进，这些数据集跨越了一系列最先进的分割架构和整体推理方法。
2017-03-29 cs.AI cs.CV cs.LG
Pixel Level Data Augmentation for Semantic Image Segmentation using Generative Adversarial Networks
Beihang University（北京航空航天大学）；Keep Inc（Keep公司）
语义分割是计算机视觉的基本课题之一，它的目的是为图像中的每个像素分配语义标签。不平衡的语义标签分布可能对分割精度产生负面影响。在本文中，我们研究使用数据增强方法来平衡语义标签分布，以提高分割性能。我们建议使用生成对抗网络（GANs）来生成逼真的图像，以提高语义分割网络的性能。实验结果表明，该方法不仅可以提高对低精度类的分割性能，而且平均分割精度提高了1.3%~ 2.1%。实验结果表明，这种增强方法可以提高分割精度，并且可以很容易地应用到其他分割模型中。
2019-11-26 cs.CV
Tilted Cross Entropy (TCE): Promoting Fairness in Semantic Segmentation
Shell Global Solutions International B.V.（壳牌全球解决方案国际公司）；Delft University of Technology (TU Delft)（代尔夫特理工大学）
传统的经验风险最小化（ERM）的语义分割可以不成比例的优势或劣势，有利于（不公平的，但）改善整体性能的某些目标类。受最近引入的倾斜ERM（TERM）的启发，我们提出了倾斜交叉熵（TCE）损失，并将其适应于语义分割设置，以最大限度地减少目标类之间的性能差异，促进公平性。通过定量和定性的性能分析，我们证明了所提出的用于语义分割的随机TCE可以有效地改善使用多类交叉熵（MCCE）训练的Cityscapes和ADE 20 k数据集的低性能类，并且还可以提高整体公平性。
2021-03-25 cs.AI cs.CV cs.LG
BiSeg: Simultaneous Instance Segmentation and Semantic Segmentation with Fully Convolutional Networks
我们提出了一个简单而有效的框架，同时语义分割和实例分割与全卷积网络（FCN）。该方法称为BiSeg，预测实例分割作为贝叶斯推理的后验，其中语义分割用作先验。我们扩展了最近的方法中使用的位置敏感的得分地图的想法，在不同的尺度和分区模式的多个得分地图的融合，并采用它作为一个强大的可能性实例分割推理。由于贝叶斯推理和地图融合都是按像素执行的，因此BiSeg是一种完全卷积的端到端解决方案，继承了FCN的所有优点。我们展示了PASCAL VOC的最先进的实例分割精度。
2017-07-18 cs.CV
Panoptic Segmentation with a Joint Semantic and Instance Segmentation Network
Eindhoven University of Technology（埃因霍温理工大学）
我们提出了一个单一的网络方法的全景分割。该方法结合了来自联合训练的语义和实例分割网络的预测。联合训练是实现端到端全景分割网络的第一步，并且比使用两个网络进行训练和预测更快，更高效。该架构由语义分割和实例分割分支共享的ResNet-50特征提取器组成。对于实例分割，使用Mask R-CNN类型的架构，而语义分割分支则使用金字塔池化模块进行扩充。该方法的结果提交给COCO和Mapillary联合识别挑战赛2018。我们的方法在Mapillary Vistas验证集上实现了17.6的PQ评分，在COCO测试开发集上实现了27.2的PQ评分。
2019-02-07 cs.CV
An Underwater Image Semantic Segmentation Method Focusing on Boundaries and a Real Underwater Scene Semantic Segmentation Dataset
Dalian University of Technology（大连理工大学）
随着水下目标抓取技术的发展，对水下目标进行高精度的识别和分割成为一个挑战。现有的水下目标检测技术只能给出物体的大致位置，无法给出物体的轮廓等更详细的信息，严重影响抓取效率。为了解决这个问题，我们标记并建立了第一个真实场景的水下语义分割数据集（DUT-USEG：DUT Underwater Segmentation Dataset）。DUT- USEG数据集包括6617幅图像，其中1487幅具有语义分割和实例分割注释，其余5130幅图像具有目标检测框注释。基于此数据集，我们提出了一个半监督的水下语义分割网络（US-Net：水下分割网络）的边界为重点。该网络通过设计伪标签生成器和边界检测子网络，实现了水下目标与背景边界的精细学习，提高了边界区域的分割效果。实验结果表明，该方法在DUT-USEG数据集上对海参、海胆、海星三种鱼类的分类效果提高了6.7%，达到了最佳的分类效果。DUT- USEG数据集将在https://github.com/baxiyi/DUT-USEG上发布。
2021-08-26 cs.CV
Better Image Segmentation by Exploiting Dense Semantic Predictions
Beihang University（北京航空航天大学）；UCL（伦敦大学学院）
人们普遍认为，图像分割可以受益于利用多级线索。本文重点研究了在自底向上的图像分割中利用基于模糊神经网络的密集语义预测，认为从一开始就考虑语义线索。通过这种方式，我们可以避免合并外观相似但语义类别不同的区域。语义效率低下的问题得到了解决。我们还提出了一种简单的方法来使用轮廓线索来抑制多级线索中的噪声，从而提高分割的鲁棒性。在BSDS500上的性能评估表明，本文的算法得到了竞争区域和边界性能。此外，由于在计算过程中可以为所有单独的区域分配适当的语义标签，因此我们能够提取调整后的语义分割。在Pascal VOC 2012上的实验表明，我们对直接来自密集预测的原始语义分割进行了改进。
2016-06-05 cs.CV
DooDLeNet: Double DeepLab Enhanced Feature Fusion for Thermal-color Semantic Segmentation
AnotherBrain（AnotherBrain公司）
在本文中，我们提出了一种新的方法之间的RGB和长波红外热图像的语义分割的驾驶感知任务的特征融合。我们提出了DooDLeNet，这是一个双DeepLab架构，具有用于热和颜色模态的专用编码器-解码器以及用于最终分割的共享解码器。我们结合两种策略的特征融合：置信度加权和相关加权。我们报告了MF数据集上最先进的平均IoU结果。
2022-04-21 cs.CV cs.LG eess.IV
Attention-based fusion of semantic boundary and non-boundary information to improve semantic segmentation
Universidade Federal da Bahia（巴伊亚联邦大学）；Universidade Federal do Maranhão（马拉尼昂联邦大学）
提出了一种基于深度卷积神经网络的图像语义分割方法。我们建议的主要目标是探索对象边界信息，以提高整体分割性能。与以前的作品，结合边界和分割功能，或那些使用边界信息来规范语义分割，我们提出了一种新的方法，体现到分割的边界信息。为此，我们的语义分割方法使用两个流，它们通过注意力门组合在一起，形成端到端的Y模型。据我们所知，我们的工作是第一次表明，边界检测可以提高语义分割时，通过语义融合门（注意力模型）融合。我们在公共数据集上对我们的方法进行了广泛的评估。在考虑相同的训练条件下，将我们提出的模型与其他12个最先进的分割器进行比较后，我们发现所有数据集上的结果都具有竞争力。我们提出的模型在CityScapes、CamVid和Pascal Context数据集上实现了最佳mIoU，在Mapillary Vistas上次之。
2021-08-05 cs.CV
A Survey of Semantic Segmentation
本综述概述了用于像素级语义分割的不同技术。描述了用于评估分割算法和传统分割方法（如无监督方法，决策森林和SVM）的数据集和数据集，并给出了相关论文的指针。最近发表的方法与卷积神经网络提到和典型的问题的情况下，分割算法进行检查。给出了分割算法的分类。
2016-05-11 cs.CV
MaskLab: Instance Segmentation by Refining Object Detection with Semantic and Direction Features
Google Inc.（谷歌公司）；RWTH Aachen University（亚琛工业大学）；UCLA（加利福尼亚大学洛杉矶分校）
在这项工作中，我们解决的问题，实例分割，同时解决目标检测和语义分割的任务。为了实现这一目标，我们提出了一个模型，称为MaskLab，它产生三个输出：框检测，语义分割和方向预测。在Faster-RCNN对象检测器的基础上，预测框提供了对象实例的准确定位。在每个感兴趣的区域内，MaskLab通过结合语义和方向预测来执行前景/背景分割。语义分割有助于模型区分不同语义类别的对象，包括背景，而方向预测，估计每个像素的方向，其相应的中心，允许分离相同的语义类别的实例。此外，我们还探讨了将最近成功的分割和检测方法（即atrous卷积和hypercolumn）结合起来的效果。我们提出的模型进行评估的COCO实例分割基准，并显示出与其他国家的最先进的模型相媲美的性能。
2017-12-13 cs.CV
Robust Semantic Segmentation of Brain Tumor Regions from 3D MRIs
NVIDIA（英伟达）
多模态脑肿瘤分割挑战（BraTS）汇集了研究人员，以改进3D MRI脑肿瘤分割的自动化方法。肿瘤分割是疾病诊断和治疗计划所必需的基本视觉任务之一。前几年的获奖方法都是基于深度学习的，这要归功于现代GPU的出现，它允许快速优化深度卷积神经网络架构。在这项工作中，我们探索了3D语义分割的最佳实践，包括传统的编码器-解码器架构，以及组合损失函数，试图进一步提高分割精度。我们在BraTS 2019挑战赛上评估了该方法。
2020-01-06 cs.CV cs.LG eess.IV
Joint Learning of Intrinsic Images and Semantic Segmentation
University of Amsterdam（阿姆斯特丹大学）；DUniversum B.V.（3DUniversum B.V.）
当成像条件存在变化时，室外场景的语义分割是有问题的。众所周知，反射率对各种照明效果都是不变的。因此，使用反射图像进行语义分割任务可能是有利的。此外，不仅分割可以受益于反射率，而且分割可以用于反射率计算。因此，在本文中，任务的语义分割和内在的图像分解被认为是一个联合的过程，通过探索他们的相互关系，在联合的方式。为此，我们提出了一种有监督的端到端CNN架构，以联合学习内在图像分解和语义分割。我们分析了共同解决这两个问题的好处。此外，提出了新的级联CNN架构的内在分割和分割的内在作为单一的任务。此外，还创建了一个35 K自然环境合成图像的数据集，其中包含相应的阴影和阴影（内在），以及分配给每个对象/场景的语义标签（分割）。实验表明，联合学习的内在图像分解和语义分割是有益的自然场景的任务。数据集和模型可在https://ivi.fnwi.uva.nl/cv/intrinseg上获得
2018-07-31 cs.CV
LEST: Large-scale LiDAR Semantic Segmentation with Transformer
LiangDao GmbH（亮道智能）；Ilmenau University of Technology（伊尔梅瑙工业大学）
针对大规模激光雷达点云语义分割任务，提出纯Transformer架构LEST，包含空间填充曲线分组策略和距离余弦线性Transformer两个创新组件，在nuScenes和SemanticKITTI数据集上性能超越现有最优方法。
2023-07-14 cs.CV
Context-aware Feature Generation for Zero-shot Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）
现有的语义分割模型严重依赖于密集的逐像素注释。为了减少标注的压力，我们专注于一个具有挑战性的任务命名为zero-shot语义分割，其目的是分割看不见的零注释对象。这个任务可以通过语义词嵌入跨类别传递知识来完成。在本文中，我们提出了一种新的上下文感知的zero-shot分割称为CaGNet的特征生成方法。特别是，观察到一个像素级的功能高度依赖于其上下文信息，我们插入一个上下文模块在分割网络捕捉像素级的上下文信息，这指导了从语义词嵌入生成更多样化和上下文感知功能的过程。我们的方法在三个基准数据集上实现了最先进的结果，用于zero-shot分割。代码可在https://github.com/bcmi/CaGNet-Zero-Shot-Semantic-Segmentation上获得。
2020-08-16 cs.CV
Joint Semantic Segmentation and Boundary Detection using Iterative Pyramid Contexts
Hong Kong University of Science and Technology（香港科技大学）；Microsoft Research Asia（微软亚洲研究院）；Everest Innovation Technology（珠科创新技术）
在本文中，我们提出了一个联合多任务学习框架的语义分割和边界检测。框架中的关键组件是迭代金字塔上下文模块（PCM），它耦合两个任务并存储共享的潜在语义以在两个任务之间进行交互。对于语义边界检测，我们提出了新的空间梯度融合抑制非语义边缘。由于语义边界检测是语义分割的双重任务，本文引入了一个带有边界一致性约束的损失函数，以提高语义分割的边界像素精度。我们广泛的实验表明，优越的性能超过国家的最先进的作品，不仅在语义分割，但也在语义边界检测。特别是，Cityscapes测试集上的平均IoU得分为81：8%，无需使用粗数据或任何外部数据进行语义分割。对于语义边界检测，我们在AP和MF（ODS）方面比以前的最先进的作品提高了9.9%和6：8%。
2020-04-16 cs.CV
Segmentation in Style: Unsupervised Semantic Image Segmentation with Stylegan and CLIP
Johns Hopkins University（约翰斯·霍普金斯大学）
我们介绍了一种方法，允许自动分割图像到语义有意义的区域，而无需人工监督。衍生区域在不同的图像中是一致的，并且与某些数据集上的人类定义的语义类一致。在语义区域可能很难为人类定义和一致的标签的情况下，我们的方法仍然能够找到有意义的和一致的语义类。在我们的工作中，我们使用预训练的StyleGAN2生成模型：生成模型的特征空间中的聚类允许发现语义类。一旦发现了类别，就可以创建具有生成的图像和对应的分割掩模的合成数据集。之后，在合成数据集上训练分割模型，并能够推广到真实图像。此外，通过使用CLIP，我们能够使用自然语言中定义的提示来发现一些所需的语义类。我们在公开的数据集上测试了我们的方法，并展示了最先进的结果。
2021-11-18 cs.CV
D-PLS: Decoupled Semantic Segmentation for 4D-Panoptic-LiDAR-Segmentation
Mannheim University of Applied Sciences（曼海姆应用技术大学）
本文提出D-PLS方法，通过解耦语义与实例分割并利用单次扫描语义预测作为先验指导实例分割，在SemanticKITTI数据集上显著提升了4D全景LiDAR分割的LSTQ指标。
2025-01-27 cs.AI cs.CV
Context Tricks for Cheap Semantic Segmentation
University College London（伦敦大学学院）
图像像素的精确语义标记是困难的，因为类内变化通常大于类间变化。反过来，快速的语义分割是困难的，因为准确的模型通常太复杂，无法在测试时快速运行。我们在构建和运行语义分割系统方面的经验也表明，由于小的训练数据集，模型复杂性存在相当明显的瓶颈。因此，我们提出了两个简单的互补策略，利用上下文提供更好的语义分割，同时扩大或缩小到不同大小的数据集上的训练。作为现有的语义分割算法的简单修改，我们引入解相关的语义文本元森林，上下文敏感的图像水平优先级。提出的修改使用语义Texton森林（STF）系统进行测试，并在两个标准的基准数据集，MSRC-21和PascalVOC-2010的修改进行验证。在基于Python的比较中，我们的系统在测试时比STF慢得不明显，但总体上产生了优越的语义分割，只需按钮训练。
2015-02-17 cs.CV
SSSegmenation: An Open Source Supervised Semantic Segmentation Toolbox Based on PyTorch
The University of Hong Kong（香港大学）
本文提出基于PyTorch的开源有监督语义分割工具箱SSSegmenation，其依赖更少、使用更简便且性能优于MMSegmentation，并提供多种主流方法的预训练权重。
2023-05-26 cs.CV
Channelized Axial Attention for Semantic Segmentation -- Considering Channel Relation within Spatial Attention for Semantic Segmentation
University of Technology Sydney（悉尼科技大学）；Tencent AI LAB（腾讯AI实验室）；University of Sydney（悉尼大学）
空间和通道注意力分别在空间和通道维度上对语义相互依赖性进行建模，最近已被广泛用于语义分割。然而，单独计算空间和通道注意力有时会导致错误，特别是对于那些困难的情况。在本文中，我们提出了一种新的轴向注意力（CAA），将通道注意力和空间注意力无缝集成到一个单一的操作中，计算开销可以忽略不计。具体来说，我们将空间注意力的点积操作分解为两个部分，并在其间插入通道关系，允许在每个空间位置上独立优化通道注意力。我们进一步开发了分组向量化，这使得我们的模型可以在不降低运行速度的情况下以非常少的内存消耗运行。在多个基准数据集（包括Cityscapes，PASCAL Context和COCO-Stuff）上进行的比较实验表明，我们的CAA在所有测试数据集上的性能优于许多最先进的分割模型（包括双重注意力）。
2021-09-12 cs.CV
CNN-aware Binary Map for General Semantic Segmentation
University of Genova（热那亚大学）；Istituto Italiano di Tecnologia（意大利技术研究院）；University of Trento（特伦托大学）；Allen Institute for AI（艾伦人工智能研究所）
在本文中，我们介绍了一种新的方法，一般语义分割，可以受益于一般语义的卷积神经网络（CNN）。我们的分割提出了视觉和语义连贯的图像段。我们使用CNN特征的二进制编码来克服在高维CNN特征空间上聚类的困难。这些二进制代码对图像中的噪声和非语义变化非常鲁棒。这些二进制编码可以嵌入到CNN中，作为网络末端的额外层。这导致实时分割。据我们所知，我们的方法是第一次尝试一般语义图像分割使用CNN。所有以前的论文都局限于少数几个类别的图像（例如PASCAL VOC）。实验表明，我们的分割算法优于国家的最先进的非语义分割方法的大幅度。
2016-09-29 cs.CV
Bridging Category-level and Instance-level Semantic Image Segmentation
The University of Adelaide（阿德莱德大学）
我们提出了一种建立在类别级分割之上的实例级图像分割方法。具体地，对于语义类别掩码中的每个像素，使用深度全卷积回归网络来预测其对应的实例限界框。因此，它遵循与流行的检测然后分割方法不同的流水线，该方法首先预测实例的边界框，这是实例分割中的当前最先进技术。我们表明，通过利用我们的国家的最先进的语义分割模型的力量，所提出的方法可以实现可比的，甚至更好的结果，检测，然后段的方法。我们做出以下贡献。(i)首先，我们提出了一个简单而有效的方法来语义实例分割。(ii)其次，我们提出了一种在线自举方法在训练过程中，这是至关重要的实现语义类别分割和实例级分割的良好性能。(iii)由于语义类别分割的性能对实例级分割有很大的影响，这是我们方法的第二步，我们训练完全卷积的残差网络，以达到最佳的语义类别分割精度。在PASCAL VOC 2012数据集上，我们获得了目前最好的平均交叉-联合评分为79.1%。(iv)我们还实现了国家的最先进的实例级分割的结果。
2016-05-23 cs.CV
EADNet: Efficient Asymmetric Dilated Network for Semantic Segmentation
Fudan University（复旦大学）；Shanghai Huawei Technologies Co., Ltd.（上海华为技术有限公司）
由于实时图像语义分割需要在功率受限的边缘设备上进行，因此越来越希望设计轻量级的语义分割神经网络，以同时降低计算成本并提高推理速度。本文提出了一种高效的非对称扩张语义分割网络EADNet，它由多个具有不同扩张率的非对称卷积分支组成，以捕获图像的可变形状和尺度信息。特别地，多尺度多形状感受野卷积（MMRFC）块只有几个参数的设计，以捕捉这些信息。在Cityscapes数据集上的实验结果表明，我们提出的EADNet在主流轻量级语义分割网络中以最少的参数（仅0.35 M）实现了67.1的分割mIoU。
2021-03-16 cs.CV
Rethinking Semantic Segmentation Evaluation for Explainability and Model Selection
University of Washington（华盛顿大学）
语义分割的目标是鲁棒地预测图像的整个区域的相干类标签。这是一个场景理解任务，为现实世界的应用提供动力（例如，自主导航）。一个重要的应用，使用图像的行人环境的自动语义理解，提供了远程地图的街道环境中的无障碍功能。这个应用程序（以及其他类似的应用程序）需要地理对象的详细几何信息。语义分割是此任务的先决条件，因为它将同一类的连续区域映射为单个实体。重要的是，像我们这样的语义分割使用不是逐像素的结果;然而，它们的大多数定量评估指标（例如，平均交集超过并集）是基于与地面实况的逐像素相似性，其未能强调分割模型的过度分割和欠分割属性。在这里，我们引入了一个新的指标来评估基于区域的过度分割和欠分割。我们分析和比较它与其他指标，证明我们的度量的使用借给更大的解释语义分割模型在现实世界中的应用程序的性能。
2023-02-15 cs.CV
Synergy Between Semantic Segmentation and Image Denoising via Alternate Boosting
University of Science and Technology of China（中国科学技术大学）
图像语义分割的能力可能会由于噪声输入图像而恶化，其中在分割之前的图像去噪有所帮助。随着深度学习的发展，图像去噪和语义分割都得到了显著的发展。因此，我们感兴趣的是它们之间的协同作用，通过使用一个整体的深度模型。我们观察到，不仅去噪有助于对抗由于噪声而导致的分割精度下降，而且像素级语义信息也提高了去噪的能力。然后，我们提出了一个boosting网络来交替执行去噪和分割。该网络由多个分割和去噪块（SDB）组成，每个块估计语义映射，然后使用该映射来正则化去噪。实验结果表明，去噪后的图像质量有了明显的提高，分割精度也提高到接近干净图像的水平。我们的代码和模型将公开提供。
2021-02-24 cs.CV
Semantic Segmentation-Assisted Instance Feature Fusion for Multi-Level 3D Part Instance Segmentation
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
从三维点云中识别三维零件实例对于三维结构和场景理解具有重要意义。几种基于学习的方法使用语义分割和实例中心预测作为训练任务，并且未能进一步利用形状语义和零件实例之间的内在关系。提出了一种三维零件实例分割的新方法。我们的方法利用语义分割来融合非局部实例特征，如中心预测，并进一步增强了融合方案的多层次和跨层次的方式。我们还提出了一个语义区域中心预测任务来训练，并利用预测结果来提高实例点的聚类。我们的方法优于现有的方法，在PartNet基准测试中有很大的改进。我们还表明，我们的特征融合方案可以应用到其他现有的方法，以提高其性能在室内场景实例分割任务。
2022-08-09 cs.CV
Generative Semantic Segmentation
Fudan University（复旦大学）；University of Surrey（萨里大学）
本文提出生成式语义分割（GSS），将语义分割转化为以图像为条件的掩码生成问题，通过隐变量先验学习和条件网络实现分割，在标准设置下表现优异，并在跨域设置中取得新最优。
2023-08-10 cs.CV
Deep Metric Learning for Open World Semantic Segmentation
The Hong Kong University of Science and Technology（香港科技大学）
经典的闭集语义分割网络检测分布外（OOD）对象的能力有限，这对于自动驾驶等安全关键型应用非常重要。增量学习这些带有少量注释的OOD对象是扩大深度学习模型知识库的理想方法。在本文中，我们提出了一个开放世界的语义分割系统，它包括两个模块：（1）一个开放集语义分割模块，检测分布和OOD对象。(2)增量式少样本学习模块，用于逐渐将这些OOD对象合并到其现有知识库中。这个开放世界的语义分割系统表现得像一个人，它能够识别OOD对象，并在相应的监督下逐渐学习它们。我们采用深度度量学习网络（DMLNet）与对比聚类实现开集语义分割。与其他开集语义分割方法相比，我们的DMLNet在三个具有挑战性的开集语义分割数据集上实现了最先进的性能，而无需使用额外的数据或生成模型。在此基础上，进一步提出了两种增量式少样本学习方法，利用面向对象对象的标注对DMLNet进行渐进式改进。
2021-08-10 cs.CV
Combining the Best of Graphical Models and ConvNets for Semantic Segmentation
Virginia Tech（弗吉尼亚理工大学）
我们提出了一个两模块的方法，结合卷积网络（CNN）和图形模型的语义分割。图形模型用于生成一个小的（5-30）集不同的分割建议，使得这个集合具有高召回。由于所需提案的数量如此之少，我们可以提取相当复杂的特征来对它们进行排名。我们选择的复杂特征是一种名为SegNet的新型CNN，它直接输出（粗略的）语义分割。重要的是，SegNet经过专门训练，可以优化语料库级别的PASCAL IOU损失函数。据我们所知，这是第一个专门为语义分割设计的CNN。这种双模块方法在PASCAL 2012分割挑战中实现了$52.5\%$。
2014-12-16 cs.CV
Learning Pixel-level Semantic Affinity with Image-level Supervision for Weakly Supervised Semantic Segmentation
DGIST（韩国基础科学研究院）；POSTECH（浦项科技大学）
切分标签的不足是语义分割的主要障碍之一。为了缓解这个问题，我们提出了一个新的框架，生成分割标签的图像给出了他们的图像级类标签。在这种弱监督的设置中，训练的模型已经被称为分割局部区分部分，而不是整个对象区域。我们的解决方案是传播这样的本地响应到附近的地区属于同一个语义实体。为此，我们提出了一种称为AffinityNet的深度神经网络（DNN），它可以预测一对相邻图像坐标之间的语义相似度。然后，语义传播通过随机游走与AffinityNet预测的亲和力来实现。更重要的是，用于训练AffinityNet的监督由初始判别部分分割给出，其作为分割注释是不完整的，但足以学习小图像区域内的语义亲和力。因此，整个框架只依赖于图像级的类标签，不需要任何额外的数据或注释。在PASCAL VOC 2012数据集上，使用我们的方法生成的分割标签学习的DNN优于使用相同监督级别训练的先前模型，甚至与那些依赖于更强监督的模型一样具有竞争力。
2018-04-09 cs.CV
Joint Optical Flow and Temporally Consistent Semantic Segmentation
TU Darmstadt（达姆施塔特工业大学）
随着自主系统的发展，视觉场景理解的重要性和需求不断增加。因此，已经有大量的研究致力于语义分割和密集运动估计。在本文中，我们提出了一种方法，联合估计光流和时间一致的语义分割，这两个问题域紧密相连，并相互利用。语义分割向其相关联的像素提供关于合理物理运动的信息，并且准确的像素级时间对应性增强了时间域中的语义分割的准确性。我们展示了我们的方法的好处KITTI基准，在那里我们观察流和分割的性能增益。我们实现了最先进的光流结果，并在具有挑战性但至关重要的动态对象上大幅优于所有已发表的算法。
2016-07-26 cs.CV
Semantic Segmentation using Adversarial Networks
Facebook AI Research（Facebook 人工智能研究院）；INRIA（法国国家信息与自动化研究所）；Laboratoire Jean Kuntzmann（让·昆兹曼实验室）
对抗训练已被证明可以为生成图像建模产生最先进的结果。在本文中，我们提出了一个对抗性的训练方法训练语义分割模型。我们训练一个卷积语义分割网络以及一个对抗网络，该网络区分来自地面实况或来自分割网络的分割图。我们的方法的动机是，它可以检测和纠正地面实况分割图和分割网络产生的分割图之间的高阶不一致。我们的实验表明，我们的对抗训练方法提高了斯坦福背景和PASCAL VOC 2012数据集的准确性。
2016-11-25 cs.CV
Learning High-level Prior with Convolutional Neural Networks for Semantic Segmentation
University of Science and Technology of China（中国科学技术大学）；Tsinghua University（清华大学）；The Hong Kong University of Science and Technology（香港科技大学）
提出了一种融合高层先验信息的卷积神经网络用于图像语义分割。受人类视觉识别系统的启发，我们设计了一个由高层编码、中层分割和底层图像组成的三层生成结构，为语义分割引入全局先验。基于这种结构，我们提出了一个生成模型，称为条件变分自动编码器（CVAE），可以建立这三个层背后的链接。这些重要环节包括从图像中提取高层信息的图像编码器、从分割中提取高层信息的分割编码器和从高层先验图像和输入图像中输出语义分割的混合解码器。我们从理论上推导出的语义分割作为这些链接参数化的优化问题。最后，优化问题使我们能够利用最先进的全卷积网络结构来实现上述编码器和解码器。在几个有代表性的数据集上的实验结果表明，我们的最高性能的语义分割。
2015-11-22 cs.CV
Semantic Diffusion Network for Semantic Segmentation
Baidu Research（百度研究院）
对边界区域的精确和准确的预测对于语义分割是必不可少的。然而，常用的卷积算子往往会平滑和模糊局部细节线索，使深度模型难以生成准确的边界预测。在本文中，我们引入了一个操作员级的方法来提高语义边界意识，从而提高预测的深层语义分割模型。具体来说，我们首先制定的边界特征增强作为一个各向异性扩散过程。然后，我们提出了一种新的可学习的方法，称为语义扩散网络（SDN），以近似的扩散过程，其中包含一个参数化的语义差异卷积算子，其次是一个特征融合模块。我们的SDN的目的是构建一个可区分的映射，从原始功能的类间边界增强功能。所提出的SDN是一种高效且灵活的模块，可以很容易地插入到现有的编码器-解码器分割模型中。大量的实验表明，我们的方法可以实现几个典型的和国家的最先进的分割基线模型上具有挑战性的公共基准一致的改进。代码将很快发布。
2023-02-04 cs.CV
Prototype Guided Network for Anomaly Segmentation
语义分割方法不能直接识别图像中的异常对象。异常分割算法可以区分分布内对象和分布外（OOD）对象，并输出像素的异常概率。本文提出了一种原型引导的异常分割网络（PGAN），用于从有限的标注图像中提取分布式训练数据的语义原型。在模型中，原型被用来建模的层次类别语义信息和区分OOD像素。提出的PGAN模型包括一个语义分割网络和一个原型抽取网络。采用相似性度量对原型进行优化。将学习到的语义原型作为类别语义，与从测试图像中提取的特征进行相似度比较，然后生成语义分割预测。提出的原型提取网络也可以集成到大多数语义分割网络和识别OOD像素。在StreetHazards数据集上，所提出的PGAN模型产生了53.4%的mIoU用于异常分割。实验结果表明，PGAN在异常分割任务中可以达到SOTA的性能。
2022-03-15 cs.CV
Weak-shot Semantic Segmentation via Dual Similarity Transfer
Shanghai Jiao Tong University（上海交通大学）；SenseTime Research（商汤科技研究院）；SenseTime（商汤科技）
语义分割是一项重要而普遍的任务，但在更广泛的应用中扩展到更多的类时，严重遭受像素级注释的高成本。为此，我们专注于名为弱杆语义分割的问题，其中新的类是从便宜的图像级标签的支持下，具有现成的像素级标签的基类学习。为了解决这个问题，我们提出了SimFormer，它在MaskFormer上执行双重相似性转移。具体来说，MaskFormer将语义分割任务分解为两个子任务：提案分类和每个提案的提案分割。建议分割允许建议像素相似性从基类转移到新类，这使得新类的掩码学习成为可能。我们还从基本类中学习像素-像素相似性，并将这种类不可知的语义相似性提取到新类的语义掩码中，从而使分割模型与图像之间的像素级语义关系规则化。此外，我们提出了一个补充损失，以促进新类的学习。在具有挑战性的COCO-Stuff-10 K和ADE 20 K数据集上的综合实验证明了该方法的有效性。代码可在https://github.com/bcmi/SimFormer-Weak-Shot-Semantic-Segmentation上获得。
2022-10-05 cs.CV
Evaluating Bayesian Deep Learning Methods for Semantic Segmentation
University of Oxford（牛津大学）
深度学习对于计算机视觉和语义分割来说是革命性的，特别是贝叶斯深度学习（BDL）用于在预测语义类别时从深度模型中获得不确定性图。例如，在将语义分割用于自动驾驶时，此信息至关重要。标准的语义分割系统具有完善的评估度量。然而，随着BDL在计算机视觉中的日益普及，我们需要新的指标来评估BDL方法是否比另一种方法产生更好的不确定性估计。在这项工作中，我们提出了三个这样的指标来评估专门为语义分割的任务设计的BDL模型。我们修改了DeepLab-v3+，最先进的深度神经网络之一，并使用MC dropout和Concrete dropout作为推理技术创建了贝叶斯对等体。然后，我们使用我们建议的指标在著名的Cityscapes数据集上比较和测试这两种推理技术。我们的研究结果为研究人员提供了新的基准，以比较和评估他们的改进不确定性量化追求更安全的语义分割。
2019-03-23 cs.CV
Unsupervised Domain Adaptation for Semantic Segmentation by Content Transfer
Yonsei University（延世大学）
在本文中，我们解决了语义分割的无监督领域自适应（UDA），其目的是使用标记的合成数据分割未标记的真实数据。UDA用于语义分割的主要问题依赖于减小真实图像和合成图像之间的域间隙。为了解决这个问题，我们专注于将图像中的信息分为内容和风格。在这里，只有内容具有语义分割的线索，而风格则构成了域间隙。因此，即使在利用合成数据进行学习时，图像中的内容和风格的精确分离也导致作为对真实数据的监督的效果。为了充分利用这种效果，我们提出了零式损失。即使我们在真实领域中完美地提取内容用于语义分割，另一个主要挑战，类不平衡问题，仍然存在于用于语义分割的UDA中。我们通过将尾类的内容从合成域转移到实域来解决这个问题。实验结果表明，该方法在两种主要的UDA设置下，均达到了最佳的语义分割性能。
2020-12-23 cs.CV
Semantic Segmentation Using Super Resolution Technique as Pre-Processing
Tamkang University（淡江大学）；Crean Lutheran High School（克里安路德高中）
本文提出将图像超分辨率技术作为预处理步骤集成到语义分割中，用于文档图像二值化，有效提升了分割结果与性能。
2023-06-27 cs.CV
Semantic Video Segmentation : Exploring Inference Efficiency
University of California San Diego（加州大学圣地亚哥分校）；Cornell NYC Tech（康奈尔纽约科技学院）；Korea Electronics Technology Institute（韩国电子技术研究院）
我们探索CRF推理的效率超越图像级语义分割，并在视频帧中执行联合推理。其核心思想是将两个世界的最佳组合：语义共同标记和更具表达力的模型。我们的公式使我们能够在几秒钟内执行超过一万个图像的推理，并使系统能够最有效地执行视频语义分割。在CamVid数据集上，使用TextonBoost一元数，我们提出的方法在没有额外时间开销的情况下，比单个语义图像分割的准确率提高了8%。源代码可在https://github.com/subtri/video_inference上获得
2015-09-04 cs.CV
Differentiable Meta-learning Model for Few-shot Semantic Segmentation
Nanjing University（南京大学）；University of Wollongong（伍伦贡大学）
为了解决语义分割的某些情况下的注释稀缺问题，已经有一些尝试来开发少样本学习范例中的分割模型。然而，大多数现有方法仅关注传统的单向分割设置（即，一个图像仅包含单个对象）。这与实际的语义分割任务相距甚远，在实际的语义分割任务中，通过执行精确的多对象分割通常需要K路设置（K>1）。为了解决这个问题，我们制定了Few-Shot语义分割任务作为一个基于学习的像素分类问题，并提出了一个新的框架称为MetaSegNet基于元学习。在MetaSegNet中，嵌入模块的结构由全局和局部特征分支组成，以提取适当的元知识用于Few-Shot分割。此外，我们将一个线性模型作为基础学习器集成到MetaSegNet中，以直接预测多对象分割的每个像素的标签。此外，我们的MetaSegNet可以从头开始以端到端的方式通过情景训练机制进行训练。在两个流行的语义分割数据集上的实验，即，PASCAL VOC和COCO，揭示了所提出的MetaSegNet在K-way Few-Shot语义分割任务中的有效性。
2019-11-23 cs.CV
Multi-Scale Semantic Segmentation with Modified MBConv Blocks
Princeton University（普林斯顿大学）
本文针对语义分割定制改进MBConv块，使U-Net各分支具备等效分割能力，在Cityscapes测试和验证集上分别达到84.5%和84.0%的mIoU。
2024-02-07 cs.CV
JSNet: Joint Instance and Semantic Segmentation of 3D Point Clouds
Huazhong University of Science and Technology（华中科技大学）
在本文中，我们提出了一种新的联合实例和语义分割的方法，这是所谓的JSNet，以解决实例和语义分割的三维点云同时进行。首先，我们建立了一个有效的骨干网络，从原始点云提取强大的功能。其次，为了获得更具鉴别力的特征，提出了一种点云特征融合模块，用于融合骨干网的不同层次特征。此外，还开发了一个联合实例语义分割模块，将语义特征转换到实例嵌入空间中，然后将转换后的特征与实例特征进行融合，以利于实例分割。同时，该模块还将实例特征聚合到语义特征空间中，以促进语义分割。最后，通过对实例嵌入应用简单的均值漂移聚类来生成实例预测。因此，我们评估建议的JSNet上的大规模三维室内点云数据集S3DIS和部分数据集ShapeNet，并将其与现有的方法进行比较。实验结果表明，该方法在3D实例分割方面优于现有方法，在3D语义预测方面有明显的改善，同时该方法也有利于零件分割。这个工作的源代码可以在https://github.com/dlinzhao/JSNet上找到。
2019-12-20 cs.CV
