BiSeg: Simultaneous Instance Segmentation and Semantic Segmentation with Fully Convolutional Networks
我们提出了一个简单而有效的框架，同时语义分割和实例分割与全卷积网络（FCN）。该方法称为BiSeg，预测实例分割作为贝叶斯推理的后验，其中语义分割用作先验。我们扩展了最近的方法中使用的位置敏感的得分地图的想法，在不同的尺度和分区模式的多个得分地图的融合，并采用它作为一个强大的可能性实例分割推理。由于贝叶斯推理和地图融合都是按像素执行的，因此BiSeg是一种完全卷积的端到端解决方案，继承了FCN的所有优点。我们展示了PASCAL VOC的最先进的实例分割精度。
2017-07-18 cs.CV
Panoptic Segmentation with a Joint Semantic and Instance Segmentation Network
Eindhoven University of Technology（埃因霍温理工大学）
我们提出了一个单一的网络方法的全景分割。该方法结合了来自联合训练的语义和实例分割网络的预测。联合训练是实现端到端全景分割网络的第一步，并且比使用两个网络进行训练和预测更快，更高效。该架构由语义分割和实例分割分支共享的ResNet-50特征提取器组成。对于实例分割，使用Mask R-CNN类型的架构，而语义分割分支则使用金字塔池化模块进行扩充。该方法的结果提交给COCO和Mapillary联合识别挑战赛2018。我们的方法在Mapillary Vistas验证集上实现了17.6的PQ评分，在COCO测试开发集上实现了27.2的PQ评分。
2019-02-07 cs.CV
An Underwater Image Semantic Segmentation Method Focusing on Boundaries and a Real Underwater Scene Semantic Segmentation Dataset
Dalian University of Technology（大连理工大学）
随着水下目标抓取技术的发展，对水下目标进行高精度的识别和分割成为一个挑战。现有的水下目标检测技术只能给出物体的大致位置，无法给出物体的轮廓等更详细的信息，严重影响抓取效率。为了解决这个问题，我们标记并建立了第一个真实场景的水下语义分割数据集（DUT-USEG：DUT Underwater Segmentation Dataset）。DUT- USEG数据集包括6617幅图像，其中1487幅具有语义分割和实例分割注释，其余5130幅图像具有目标检测框注释。基于此数据集，我们提出了一个半监督的水下语义分割网络（US-Net：水下分割网络）的边界为重点。该网络通过设计伪标签生成器和边界检测子网络，实现了水下目标与背景边界的精细学习，提高了边界区域的分割效果。实验结果表明，该方法在DUT-USEG数据集上对海参、海胆、海星三种鱼类的分类效果提高了6.7%，达到了最佳的分类效果。DUT- USEG数据集将在https://github.com/baxiyi/DUT-USEG上发布。
2021-08-26 cs.CV
Better Image Segmentation by Exploiting Dense Semantic Predictions
Beihang University（北京航空航天大学）；UCL（伦敦大学学院）
人们普遍认为，图像分割可以受益于利用多级线索。本文重点研究了在自底向上的图像分割中利用基于模糊神经网络的密集语义预测，认为从一开始就考虑语义线索。通过这种方式，我们可以避免合并外观相似但语义类别不同的区域。语义效率低下的问题得到了解决。我们还提出了一种简单的方法来使用轮廓线索来抑制多级线索中的噪声，从而提高分割的鲁棒性。在BSDS500上的性能评估表明，本文的算法得到了竞争区域和边界性能。此外，由于在计算过程中可以为所有单独的区域分配适当的语义标签，因此我们能够提取调整后的语义分割。在Pascal VOC 2012上的实验表明，我们对直接来自密集预测的原始语义分割进行了改进。
2016-06-05 cs.CV
Attention-based fusion of semantic boundary and non-boundary information to improve semantic segmentation
Universidade Federal da Bahia（巴伊亚联邦大学）；Universidade Federal do Maranhão（马拉尼昂联邦大学）
提出了一种基于深度卷积神经网络的图像语义分割方法。我们建议的主要目标是探索对象边界信息，以提高整体分割性能。与以前的作品，结合边界和分割功能，或那些使用边界信息来规范语义分割，我们提出了一种新的方法，体现到分割的边界信息。为此，我们的语义分割方法使用两个流，它们通过注意力门组合在一起，形成端到端的Y模型。据我们所知，我们的工作是第一次表明，边界检测可以提高语义分割时，通过语义融合门（注意力模型）融合。我们在公共数据集上对我们的方法进行了广泛的评估。在考虑相同的训练条件下，将我们提出的模型与其他12个最先进的分割器进行比较后，我们发现所有数据集上的结果都具有竞争力。我们提出的模型在CityScapes、CamVid和Pascal Context数据集上实现了最佳mIoU，在Mapillary Vistas上次之。
2021-08-05 cs.CV
A Survey of Semantic Segmentation
本综述概述了用于像素级语义分割的不同技术。描述了用于评估分割算法和传统分割方法（如无监督方法，决策森林和SVM）的数据集和数据集，并给出了相关论文的指针。最近发表的方法与卷积神经网络提到和典型的问题的情况下，分割算法进行检查。给出了分割算法的分类。
2016-05-11 cs.CV
MaskLab: Instance Segmentation by Refining Object Detection with Semantic and Direction Features
Google Inc.（谷歌公司）；RWTH Aachen University（亚琛工业大学）；UCLA（加利福尼亚大学洛杉矶分校）
在这项工作中，我们解决的问题，实例分割，同时解决目标检测和语义分割的任务。为了实现这一目标，我们提出了一个模型，称为MaskLab，它产生三个输出：框检测，语义分割和方向预测。在Faster-RCNN对象检测器的基础上，预测框提供了对象实例的准确定位。在每个感兴趣的区域内，MaskLab通过结合语义和方向预测来执行前景/背景分割。语义分割有助于模型区分不同语义类别的对象，包括背景，而方向预测，估计每个像素的方向，其相应的中心，允许分离相同的语义类别的实例。此外，我们还探讨了将最近成功的分割和检测方法（即atrous卷积和hypercolumn）结合起来的效果。我们提出的模型进行评估的COCO实例分割基准，并显示出与其他国家的最先进的模型相媲美的性能。
2017-12-13 cs.CV
Joint Learning of Intrinsic Images and Semantic Segmentation
University of Amsterdam（阿姆斯特丹大学）；DUniversum B.V.（3DUniversum B.V.）
当成像条件存在变化时，室外场景的语义分割是有问题的。众所周知，反射率对各种照明效果都是不变的。因此，使用反射图像进行语义分割任务可能是有利的。此外，不仅分割可以受益于反射率，而且分割可以用于反射率计算。因此，在本文中，任务的语义分割和内在的图像分解被认为是一个联合的过程，通过探索他们的相互关系，在联合的方式。为此，我们提出了一种有监督的端到端CNN架构，以联合学习内在图像分解和语义分割。我们分析了共同解决这两个问题的好处。此外，提出了新的级联CNN架构的内在分割和分割的内在作为单一的任务。此外，还创建了一个35 K自然环境合成图像的数据集，其中包含相应的阴影和阴影（内在），以及分配给每个对象/场景的语义标签（分割）。实验表明，联合学习的内在图像分解和语义分割是有益的自然场景的任务。数据集和模型可在https://ivi.fnwi.uva.nl/cv/intrinseg上获得
2018-07-31 cs.CV
LEST: Large-scale LiDAR Semantic Segmentation with Transformer
LiangDao GmbH（亮道智能）；Ilmenau University of Technology（伊尔梅瑙工业大学）
针对大规模激光雷达点云语义分割任务，提出纯Transformer架构LEST，包含空间填充曲线分组策略和距离余弦线性Transformer两个创新组件，在nuScenes和SemanticKITTI数据集上性能超越现有最优方法。
2023-07-14 cs.CV
Context-aware Feature Generation for Zero-shot Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）
现有的语义分割模型严重依赖于密集的逐像素注释。为了减少标注的压力，我们专注于一个具有挑战性的任务命名为zero-shot语义分割，其目的是分割看不见的零注释对象。这个任务可以通过语义词嵌入跨类别传递知识来完成。在本文中，我们提出了一种新的上下文感知的zero-shot分割称为CaGNet的特征生成方法。特别是，观察到一个像素级的功能高度依赖于其上下文信息，我们插入一个上下文模块在分割网络捕捉像素级的上下文信息，这指导了从语义词嵌入生成更多样化和上下文感知功能的过程。我们的方法在三个基准数据集上实现了最先进的结果，用于zero-shot分割。代码可在https://github.com/bcmi/CaGNet-Zero-Shot-Semantic-Segmentation上获得。
2020-08-16 cs.CV
Joint Semantic Segmentation and Boundary Detection using Iterative Pyramid Contexts
Hong Kong University of Science and Technology（香港科技大学）；Microsoft Research Asia（微软亚洲研究院）；Everest Innovation Technology（珠科创新技术）
在本文中，我们提出了一个联合多任务学习框架的语义分割和边界检测。框架中的关键组件是迭代金字塔上下文模块（PCM），它耦合两个任务并存储共享的潜在语义以在两个任务之间进行交互。对于语义边界检测，我们提出了新的空间梯度融合抑制非语义边缘。由于语义边界检测是语义分割的双重任务，本文引入了一个带有边界一致性约束的损失函数，以提高语义分割的边界像素精度。我们广泛的实验表明，优越的性能超过国家的最先进的作品，不仅在语义分割，但也在语义边界检测。特别是，Cityscapes测试集上的平均IoU得分为81：8%，无需使用粗数据或任何外部数据进行语义分割。对于语义边界检测，我们在AP和MF（ODS）方面比以前的最先进的作品提高了9.9%和6：8%。
2020-04-16 cs.CV
Segmentation in Style: Unsupervised Semantic Image Segmentation with Stylegan and CLIP
Johns Hopkins University（约翰斯·霍普金斯大学）
我们介绍了一种方法，允许自动分割图像到语义有意义的区域，而无需人工监督。衍生区域在不同的图像中是一致的，并且与某些数据集上的人类定义的语义类一致。在语义区域可能很难为人类定义和一致的标签的情况下，我们的方法仍然能够找到有意义的和一致的语义类。在我们的工作中，我们使用预训练的StyleGAN2生成模型：生成模型的特征空间中的聚类允许发现语义类。一旦发现了类别，就可以创建具有生成的图像和对应的分割掩模的合成数据集。之后，在合成数据集上训练分割模型，并能够推广到真实图像。此外，通过使用CLIP，我们能够使用自然语言中定义的提示来发现一些所需的语义类。我们在公开的数据集上测试了我们的方法，并展示了最先进的结果。
2021-11-18 cs.CV
Context Tricks for Cheap Semantic Segmentation
University College London（伦敦大学学院）
图像像素的精确语义标记是困难的，因为类内变化通常大于类间变化。反过来，快速的语义分割是困难的，因为准确的模型通常太复杂，无法在测试时快速运行。我们在构建和运行语义分割系统方面的经验也表明，由于小的训练数据集，模型复杂性存在相当明显的瓶颈。因此，我们提出了两个简单的互补策略，利用上下文提供更好的语义分割，同时扩大或缩小到不同大小的数据集上的训练。作为现有的语义分割算法的简单修改，我们引入解相关的语义文本元森林，上下文敏感的图像水平优先级。提出的修改使用语义Texton森林（STF）系统进行测试，并在两个标准的基准数据集，MSRC-21和PascalVOC-2010的修改进行验证。在基于Python的比较中，我们的系统在测试时比STF慢得不明显，但总体上产生了优越的语义分割，只需按钮训练。
2015-02-17 cs.CV
SSSegmenation: An Open Source Supervised Semantic Segmentation Toolbox Based on PyTorch
The University of Hong Kong（香港大学）
本文提出基于PyTorch的开源有监督语义分割工具箱SSSegmenation，其依赖更少、使用更简便且性能优于MMSegmentation，并提供多种主流方法的预训练权重。
2023-05-26 cs.CV
Channelized Axial Attention for Semantic Segmentation -- Considering Channel Relation within Spatial Attention for Semantic Segmentation
University of Technology Sydney（悉尼科技大学）；Tencent AI LAB（腾讯AI实验室）；University of Sydney（悉尼大学）
空间和通道注意力分别在空间和通道维度上对语义相互依赖性进行建模，最近已被广泛用于语义分割。然而，单独计算空间和通道注意力有时会导致错误，特别是对于那些困难的情况。在本文中，我们提出了一种新的轴向注意力（CAA），将通道注意力和空间注意力无缝集成到一个单一的操作中，计算开销可以忽略不计。具体来说，我们将空间注意力的点积操作分解为两个部分，并在其间插入通道关系，允许在每个空间位置上独立优化通道注意力。我们进一步开发了分组向量化，这使得我们的模型可以在不降低运行速度的情况下以非常少的内存消耗运行。在多个基准数据集（包括Cityscapes，PASCAL Context和COCO-Stuff）上进行的比较实验表明，我们的CAA在所有测试数据集上的性能优于许多最先进的分割模型（包括双重注意力）。
2021-09-12 cs.CV
CNN-aware Binary Map for General Semantic Segmentation
University of Genova（热那亚大学）；Istituto Italiano di Tecnologia（意大利技术研究院）；University of Trento（特伦托大学）；Allen Institute for AI（艾伦人工智能研究所）
在本文中，我们介绍了一种新的方法，一般语义分割，可以受益于一般语义的卷积神经网络（CNN）。我们的分割提出了视觉和语义连贯的图像段。我们使用CNN特征的二进制编码来克服在高维CNN特征空间上聚类的困难。这些二进制代码对图像中的噪声和非语义变化非常鲁棒。这些二进制编码可以嵌入到CNN中，作为网络末端的额外层。这导致实时分割。据我们所知，我们的方法是第一次尝试一般语义图像分割使用CNN。所有以前的论文都局限于少数几个类别的图像（例如PASCAL VOC）。实验表明，我们的分割算法优于国家的最先进的非语义分割方法的大幅度。
2016-09-29 cs.CV
Bridging Category-level and Instance-level Semantic Image Segmentation
The University of Adelaide（阿德莱德大学）
我们提出了一种建立在类别级分割之上的实例级图像分割方法。具体地，对于语义类别掩码中的每个像素，使用深度全卷积回归网络来预测其对应的实例限界框。因此，它遵循与流行的检测然后分割方法不同的流水线，该方法首先预测实例的边界框，这是实例分割中的当前最先进技术。我们表明，通过利用我们的国家的最先进的语义分割模型的力量，所提出的方法可以实现可比的，甚至更好的结果，检测，然后段的方法。我们做出以下贡献。(i)首先，我们提出了一个简单而有效的方法来语义实例分割。(ii)其次，我们提出了一种在线自举方法在训练过程中，这是至关重要的实现语义类别分割和实例级分割的良好性能。(iii)由于语义类别分割的性能对实例级分割有很大的影响，这是我们方法的第二步，我们训练完全卷积的残差网络，以达到最佳的语义类别分割精度。在PASCAL VOC 2012数据集上，我们获得了目前最好的平均交叉-联合评分为79.1%。(iv)我们还实现了国家的最先进的实例级分割的结果。
2016-05-23 cs.CV
EADNet: Efficient Asymmetric Dilated Network for Semantic Segmentation
Fudan University（复旦大学）；Shanghai Huawei Technologies Co., Ltd.（上海华为技术有限公司）
由于实时图像语义分割需要在功率受限的边缘设备上进行，因此越来越希望设计轻量级的语义分割神经网络，以同时降低计算成本并提高推理速度。本文提出了一种高效的非对称扩张语义分割网络EADNet，它由多个具有不同扩张率的非对称卷积分支组成，以捕获图像的可变形状和尺度信息。特别地，多尺度多形状感受野卷积（MMRFC）块只有几个参数的设计，以捕捉这些信息。在Cityscapes数据集上的实验结果表明，我们提出的EADNet在主流轻量级语义分割网络中以最少的参数（仅0.35 M）实现了67.1的分割mIoU。
2021-03-16 cs.CV
Rethinking Semantic Segmentation Evaluation for Explainability and Model Selection
University of Washington（华盛顿大学）
语义分割的目标是鲁棒地预测图像的整个区域的相干类标签。这是一个场景理解任务，为现实世界的应用提供动力（例如，自主导航）。一个重要的应用，使用图像的行人环境的自动语义理解，提供了远程地图的街道环境中的无障碍功能。这个应用程序（以及其他类似的应用程序）需要地理对象的详细几何信息。语义分割是此任务的先决条件，因为它将同一类的连续区域映射为单个实体。重要的是，像我们这样的语义分割使用不是逐像素的结果;然而，它们的大多数定量评估指标（例如，平均交集超过并集）是基于与地面实况的逐像素相似性，其未能强调分割模型的过度分割和欠分割属性。在这里，我们引入了一个新的指标来评估基于区域的过度分割和欠分割。我们分析和比较它与其他指标，证明我们的度量的使用借给更大的解释语义分割模型在现实世界中的应用程序的性能。
2023-02-15 cs.CV
Synergy Between Semantic Segmentation and Image Denoising via Alternate Boosting
University of Science and Technology of China（中国科学技术大学）
图像语义分割的能力可能会由于噪声输入图像而恶化，其中在分割之前的图像去噪有所帮助。随着深度学习的发展，图像去噪和语义分割都得到了显著的发展。因此，我们感兴趣的是它们之间的协同作用，通过使用一个整体的深度模型。我们观察到，不仅去噪有助于对抗由于噪声而导致的分割精度下降，而且像素级语义信息也提高了去噪的能力。然后，我们提出了一个boosting网络来交替执行去噪和分割。该网络由多个分割和去噪块（SDB）组成，每个块估计语义映射，然后使用该映射来正则化去噪。实验结果表明，去噪后的图像质量有了明显的提高，分割精度也提高到接近干净图像的水平。我们的代码和模型将公开提供。
2021-02-24 cs.CV
Semantic Segmentation-Assisted Instance Feature Fusion for Multi-Level 3D Part Instance Segmentation
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
从三维点云中识别三维零件实例对于三维结构和场景理解具有重要意义。几种基于学习的方法使用语义分割和实例中心预测作为训练任务，并且未能进一步利用形状语义和零件实例之间的内在关系。提出了一种三维零件实例分割的新方法。我们的方法利用语义分割来融合非局部实例特征，如中心预测，并进一步增强了融合方案的多层次和跨层次的方式。我们还提出了一个语义区域中心预测任务来训练，并利用预测结果来提高实例点的聚类。我们的方法优于现有的方法，在PartNet基准测试中有很大的改进。我们还表明，我们的特征融合方案可以应用到其他现有的方法，以提高其性能在室内场景实例分割任务。
2022-08-09 cs.CV
Generative Semantic Segmentation
Fudan University（复旦大学）；University of Surrey（萨里大学）
本文提出生成式语义分割（GSS），将语义分割转化为以图像为条件的掩码生成问题，通过隐变量先验学习和条件网络实现分割，在标准设置下表现优异，并在跨域设置中取得新最优。
2023-08-10 cs.CV
Deep Metric Learning for Open World Semantic Segmentation
The Hong Kong University of Science and Technology（香港科技大学）
经典的闭集语义分割网络检测分布外（OOD）对象的能力有限，这对于自动驾驶等安全关键型应用非常重要。增量学习这些带有少量注释的OOD对象是扩大深度学习模型知识库的理想方法。在本文中，我们提出了一个开放世界的语义分割系统，它包括两个模块：（1）一个开放集语义分割模块，检测分布和OOD对象。(2)增量式少样本学习模块，用于逐渐将这些OOD对象合并到其现有知识库中。这个开放世界的语义分割系统表现得像一个人，它能够识别OOD对象，并在相应的监督下逐渐学习它们。我们采用深度度量学习网络（DMLNet）与对比聚类实现开集语义分割。与其他开集语义分割方法相比，我们的DMLNet在三个具有挑战性的开集语义分割数据集上实现了最先进的性能，而无需使用额外的数据或生成模型。在此基础上，进一步提出了两种增量式少样本学习方法，利用面向对象对象的标注对DMLNet进行渐进式改进。
2021-08-10 cs.CV
Combining the Best of Graphical Models and ConvNets for Semantic Segmentation
Virginia Tech（弗吉尼亚理工大学）
我们提出了一个两模块的方法，结合卷积网络（CNN）和图形模型的语义分割。图形模型用于生成一个小的（5-30）集不同的分割建议，使得这个集合具有高召回。由于所需提案的数量如此之少，我们可以提取相当复杂的特征来对它们进行排名。我们选择的复杂特征是一种名为SegNet的新型CNN，它直接输出（粗略的）语义分割。重要的是，SegNet经过专门训练，可以优化语料库级别的PASCAL IOU损失函数。据我们所知，这是第一个专门为语义分割设计的CNN。这种双模块方法在PASCAL 2012分割挑战中实现了$52.5\%$。
2014-12-16 cs.CV
Learning Pixel-level Semantic Affinity with Image-level Supervision for Weakly Supervised Semantic Segmentation
DGIST（韩国基础科学研究院）；POSTECH（浦项科技大学）
切分标签的不足是语义分割的主要障碍之一。为了缓解这个问题，我们提出了一个新的框架，生成分割标签的图像给出了他们的图像级类标签。在这种弱监督的设置中，训练的模型已经被称为分割局部区分部分，而不是整个对象区域。我们的解决方案是传播这样的本地响应到附近的地区属于同一个语义实体。为此，我们提出了一种称为AffinityNet的深度神经网络（DNN），它可以预测一对相邻图像坐标之间的语义相似度。然后，语义传播通过随机游走与AffinityNet预测的亲和力来实现。更重要的是，用于训练AffinityNet的监督由初始判别部分分割给出，其作为分割注释是不完整的，但足以学习小图像区域内的语义亲和力。因此，整个框架只依赖于图像级的类标签，不需要任何额外的数据或注释。在PASCAL VOC 2012数据集上，使用我们的方法生成的分割标签学习的DNN优于使用相同监督级别训练的先前模型，甚至与那些依赖于更强监督的模型一样具有竞争力。
2018-04-09 cs.CV
Joint Optical Flow and Temporally Consistent Semantic Segmentation
TU Darmstadt（达姆施塔特工业大学）
随着自主系统的发展，视觉场景理解的重要性和需求不断增加。因此，已经有大量的研究致力于语义分割和密集运动估计。在本文中，我们提出了一种方法，联合估计光流和时间一致的语义分割，这两个问题域紧密相连，并相互利用。语义分割向其相关联的像素提供关于合理物理运动的信息，并且准确的像素级时间对应性增强了时间域中的语义分割的准确性。我们展示了我们的方法的好处KITTI基准，在那里我们观察流和分割的性能增益。我们实现了最先进的光流结果，并在具有挑战性但至关重要的动态对象上大幅优于所有已发表的算法。
2016-07-26 cs.CV
Semantic Segmentation using Adversarial Networks
Facebook AI Research（Facebook 人工智能研究院）；INRIA（法国国家信息与自动化研究所）；Laboratoire Jean Kuntzmann（让·昆兹曼实验室）
对抗训练已被证明可以为生成图像建模产生最先进的结果。在本文中，我们提出了一个对抗性的训练方法训练语义分割模型。我们训练一个卷积语义分割网络以及一个对抗网络，该网络区分来自地面实况或来自分割网络的分割图。我们的方法的动机是，它可以检测和纠正地面实况分割图和分割网络产生的分割图之间的高阶不一致。我们的实验表明，我们的对抗训练方法提高了斯坦福背景和PASCAL VOC 2012数据集的准确性。
2016-11-25 cs.CV
Learning High-level Prior with Convolutional Neural Networks for Semantic Segmentation
University of Science and Technology of China（中国科学技术大学）；Tsinghua University（清华大学）；The Hong Kong University of Science and Technology（香港科技大学）
提出了一种融合高层先验信息的卷积神经网络用于图像语义分割。受人类视觉识别系统的启发，我们设计了一个由高层编码、中层分割和底层图像组成的三层生成结构，为语义分割引入全局先验。基于这种结构，我们提出了一个生成模型，称为条件变分自动编码器（CVAE），可以建立这三个层背后的链接。这些重要环节包括从图像中提取高层信息的图像编码器、从分割中提取高层信息的分割编码器和从高层先验图像和输入图像中输出语义分割的混合解码器。我们从理论上推导出的语义分割作为这些链接参数化的优化问题。最后，优化问题使我们能够利用最先进的全卷积网络结构来实现上述编码器和解码器。在几个有代表性的数据集上的实验结果表明，我们的最高性能的语义分割。
2015-11-22 cs.CV
Semantic Diffusion Network for Semantic Segmentation
Baidu Research（百度研究院）
对边界区域的精确和准确的预测对于语义分割是必不可少的。然而，常用的卷积算子往往会平滑和模糊局部细节线索，使深度模型难以生成准确的边界预测。在本文中，我们引入了一个操作员级的方法来提高语义边界意识，从而提高预测的深层语义分割模型。具体来说，我们首先制定的边界特征增强作为一个各向异性扩散过程。然后，我们提出了一种新的可学习的方法，称为语义扩散网络（SDN），以近似的扩散过程，其中包含一个参数化的语义差异卷积算子，其次是一个特征融合模块。我们的SDN的目的是构建一个可区分的映射，从原始功能的类间边界增强功能。所提出的SDN是一种高效且灵活的模块，可以很容易地插入到现有的编码器-解码器分割模型中。大量的实验表明，我们的方法可以实现几个典型的和国家的最先进的分割基线模型上具有挑战性的公共基准一致的改进。代码将很快发布。
2023-02-04 cs.CV
Prototype Guided Network for Anomaly Segmentation
语义分割方法不能直接识别图像中的异常对象。异常分割算法可以区分分布内对象和分布外（OOD）对象，并输出像素的异常概率。本文提出了一种原型引导的异常分割网络（PGAN），用于从有限的标注图像中提取分布式训练数据的语义原型。在模型中，原型被用来建模的层次类别语义信息和区分OOD像素。提出的PGAN模型包括一个语义分割网络和一个原型抽取网络。采用相似性度量对原型进行优化。将学习到的语义原型作为类别语义，与从测试图像中提取的特征进行相似度比较，然后生成语义分割预测。提出的原型提取网络也可以集成到大多数语义分割网络和识别OOD像素。在StreetHazards数据集上，所提出的PGAN模型产生了53.4%的mIoU用于异常分割。实验结果表明，PGAN在异常分割任务中可以达到SOTA的性能。
2022-03-15 cs.CV
Weak-shot Semantic Segmentation via Dual Similarity Transfer
Shanghai Jiao Tong University（上海交通大学）；SenseTime Research（商汤科技研究院）；SenseTime（商汤科技）
语义分割是一项重要而普遍的任务，但在更广泛的应用中扩展到更多的类时，严重遭受像素级注释的高成本。为此，我们专注于名为弱杆语义分割的问题，其中新的类是从便宜的图像级标签的支持下，具有现成的像素级标签的基类学习。为了解决这个问题，我们提出了SimFormer，它在MaskFormer上执行双重相似性转移。具体来说，MaskFormer将语义分割任务分解为两个子任务：提案分类和每个提案的提案分割。建议分割允许建议像素相似性从基类转移到新类，这使得新类的掩码学习成为可能。我们还从基本类中学习像素-像素相似性，并将这种类不可知的语义相似性提取到新类的语义掩码中，从而使分割模型与图像之间的像素级语义关系规则化。此外，我们提出了一个补充损失，以促进新类的学习。在具有挑战性的COCO-Stuff-10 K和ADE 20 K数据集上的综合实验证明了该方法的有效性。代码可在https://github.com/bcmi/SimFormer-Weak-Shot-Semantic-Segmentation上获得。
2022-10-05 cs.CV
Evaluating Bayesian Deep Learning Methods for Semantic Segmentation
University of Oxford（牛津大学）
深度学习对于计算机视觉和语义分割来说是革命性的，特别是贝叶斯深度学习（BDL）用于在预测语义类别时从深度模型中获得不确定性图。例如，在将语义分割用于自动驾驶时，此信息至关重要。标准的语义分割系统具有完善的评估度量。然而，随着BDL在计算机视觉中的日益普及，我们需要新的指标来评估BDL方法是否比另一种方法产生更好的不确定性估计。在这项工作中，我们提出了三个这样的指标来评估专门为语义分割的任务设计的BDL模型。我们修改了DeepLab-v3+，最先进的深度神经网络之一，并使用MC dropout和Concrete dropout作为推理技术创建了贝叶斯对等体。然后，我们使用我们建议的指标在著名的Cityscapes数据集上比较和测试这两种推理技术。我们的研究结果为研究人员提供了新的基准，以比较和评估他们的改进不确定性量化追求更安全的语义分割。
2019-03-23 cs.CV
Unsupervised Domain Adaptation for Semantic Segmentation by Content Transfer
Yonsei University（延世大学）
在本文中，我们解决了语义分割的无监督领域自适应（UDA），其目的是使用标记的合成数据分割未标记的真实数据。UDA用于语义分割的主要问题依赖于减小真实图像和合成图像之间的域间隙。为了解决这个问题，我们专注于将图像中的信息分为内容和风格。在这里，只有内容具有语义分割的线索，而风格则构成了域间隙。因此，即使在利用合成数据进行学习时，图像中的内容和风格的精确分离也导致作为对真实数据的监督的效果。为了充分利用这种效果，我们提出了零式损失。即使我们在真实领域中完美地提取内容用于语义分割，另一个主要挑战，类不平衡问题，仍然存在于用于语义分割的UDA中。我们通过将尾类的内容从合成域转移到实域来解决这个问题。实验结果表明，该方法在两种主要的UDA设置下，均达到了最佳的语义分割性能。
2020-12-23 cs.CV
Semantic Segmentation Using Super Resolution Technique as Pre-Processing
Tamkang University（淡江大学）；Crean Lutheran High School（克里安路德高中）
本文提出将图像超分辨率技术作为预处理步骤集成到语义分割中，用于文档图像二值化，有效提升了分割结果与性能。
2023-06-27 cs.CV
Semantic Video Segmentation : Exploring Inference Efficiency
University of California San Diego（加州大学圣地亚哥分校）；Cornell NYC Tech（康奈尔纽约科技学院）；Korea Electronics Technology Institute（韩国电子技术研究院）
我们探索CRF推理的效率超越图像级语义分割，并在视频帧中执行联合推理。其核心思想是将两个世界的最佳组合：语义共同标记和更具表达力的模型。我们的公式使我们能够在几秒钟内执行超过一万个图像的推理，并使系统能够最有效地执行视频语义分割。在CamVid数据集上，使用TextonBoost一元数，我们提出的方法在没有额外时间开销的情况下，比单个语义图像分割的准确率提高了8%。源代码可在https://github.com/subtri/video_inference上获得
2015-09-04 cs.CV
Differentiable Meta-learning Model for Few-shot Semantic Segmentation
Nanjing University（南京大学）；University of Wollongong（伍伦贡大学）
为了解决语义分割的某些情况下的注释稀缺问题，已经有一些尝试来开发少样本学习范例中的分割模型。然而，大多数现有方法仅关注传统的单向分割设置（即，一个图像仅包含单个对象）。这与实际的语义分割任务相距甚远，在实际的语义分割任务中，通过执行精确的多对象分割通常需要K路设置（K>1）。为了解决这个问题，我们制定了Few-Shot语义分割任务作为一个基于学习的像素分类问题，并提出了一个新的框架称为MetaSegNet基于元学习。在MetaSegNet中，嵌入模块的结构由全局和局部特征分支组成，以提取适当的元知识用于Few-Shot分割。此外，我们将一个线性模型作为基础学习器集成到MetaSegNet中，以直接预测多对象分割的每个像素的标签。此外，我们的MetaSegNet可以从头开始以端到端的方式通过情景训练机制进行训练。在两个流行的语义分割数据集上的实验，即，PASCAL VOC和COCO，揭示了所提出的MetaSegNet在K-way Few-Shot语义分割任务中的有效性。
2019-11-23 cs.CV
Multi-Scale Semantic Segmentation with Modified MBConv Blocks
Princeton University（普林斯顿大学）
本文针对语义分割定制改进MBConv块，使U-Net各分支具备等效分割能力，在Cityscapes测试和验证集上分别达到84.5%和84.0%的mIoU。
2024-02-07 cs.CV
JSNet: Joint Instance and Semantic Segmentation of 3D Point Clouds
Huazhong University of Science and Technology（华中科技大学）
在本文中，我们提出了一种新的联合实例和语义分割的方法，这是所谓的JSNet，以解决实例和语义分割的三维点云同时进行。首先，我们建立了一个有效的骨干网络，从原始点云提取强大的功能。其次，为了获得更具鉴别力的特征，提出了一种点云特征融合模块，用于融合骨干网的不同层次特征。此外，还开发了一个联合实例语义分割模块，将语义特征转换到实例嵌入空间中，然后将转换后的特征与实例特征进行融合，以利于实例分割。同时，该模块还将实例特征聚合到语义特征空间中，以促进语义分割。最后，通过对实例嵌入应用简单的均值漂移聚类来生成实例预测。因此，我们评估建议的JSNet上的大规模三维室内点云数据集S3DIS和部分数据集ShapeNet，并将其与现有的方法进行比较。实验结果表明，该方法在3D实例分割方面优于现有方法，在3D语义预测方面有明显的改善，同时该方法也有利于零件分割。这个工作的源代码可以在https://github.com/dlinzhao/JSNet上找到。
2019-12-20 cs.CV
Refining Segmentation On-the-Fly: An Interactive Framework for Point Cloud Semantic Segmentation
Nanjing University of Science and Technology（南京理工大学）
本文针对交互式点云语义分割任务，提出首个无需离线重训练的实时交互式框架InterPCSeg，通过测试时稀疏交互训练与稳定能量项约束，结合定制交互模拟方案，有效借助用户交互提升点云语义分割效果。
2024-03-11 cs.CV
Task-Adaptive Feature Transformer with Semantic Enrichment for Few-Shot Segmentation
Ulsan National Institute of Science and Technology（蔚山科学技术院）
少样本学习允许机器仅使用少量标记样本对新类别进行分类。近年来，针对低样本数据的语义分割的Few-Shot分割也引起了人们极大的兴趣。在本文中，我们提出了一个可学习的模块，可以放置在现有的分割网络进行Few-Shot分割。该模块称为任务自适应特征Transformer（TAFT），将特定于任务的高级特征线性转换为一组非常适合进行Few-Shot分割的任务不可知特征。任务条件的特征变换允许有效利用新类中的语义信息来生成紧密的分割掩模。我们还提出了一个语义丰富（SE）模块，利用像素级的注意力模块的高层次功能和辅助损失的辅助分割网络进行语义分割的所有训练类。$5^i$和$20^i$数据集上的实验证实，添加的模块成功地扩展了现有分割器的能力，以产生具有高度竞争力的Few-Shot分割性能。
2022-02-14 cs.CV
Hypergraph Convolutional Networks for Weakly-Supervised Semantic Segmentation
Télécom Paris - Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院）；Università di Napoli Parthenope（那不勒斯帕泰诺佩大学）；La Rochelle Université（拉罗谢尔大学）
语义分割是计算机视觉中的一个基本课题。已经提出了几种深度学习方法用于语义分割，并取得了出色的效果。然而，这些模型需要大量密集注释的图像。为了解决这个问题，我们提出了一种新的算法，使用超图卷积网络弱监督语义分割（HyperGCN-WSS）。我们的算法从数据集中的图像构造空间和k-最近邻（k-NN）图来生成超图。然后，我们训练一个专门的超图卷积网络（HyperGCN）架构，使用一些微弱的信号。HyperGCN的输出被命名为伪标签，稍后用于训练DeepLab模型以进行语义分割。HyperGCN-WSS在PASCAL VOC 2012数据集上进行语义分割评估，使用涂鸦或点击作为弱信号。我们的算法表现出竞争力的性能对以前的方法。
2022-10-11 cs.CV
LidarMultiNet: Unifying LiDAR Semantic Segmentation, 3D Object Detection, and Panoptic Segmentation in a Single Multi-task Network
TuSimple（图森未来）；University of Central Florida（中佛罗里达大学）
本技术报告介绍了Waymo Open Dataset 3D语义分割挑战赛2022的第一名获奖解决方案。我们的网络，称为LidarMultiNet，统一了主要的激光雷达感知任务，如3D语义分割，目标检测和全景分割在一个单一的框架。LidarMultiNet的核心是一个强大的基于3D体素的编码器-解码器网络，具有一个新颖的全局上下文池（GCP）模块，从LiDAR帧中提取全局上下文特征以补充其局部特征。提出了可选的第二阶段以细化第一阶段分割或生成准确的全景分割结果。我们的解决方案实现了71.13的mIoU，并且是Waymo 3D语义分割测试集上22个类中大多数的最佳，优于官方排行榜上的所有其他3D语义分割方法。我们首次证明，主要的LiDAR感知任务可以统一在一个可以端到端训练的强大网络中。
2022-06-24 cs.CV
From Pixel to Patch: Synthesize Context-aware Features for Zero-shot Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）
为了减轻图像标注的负担，零样本学习已经被积极地研究用于图像分类任务。有趣的是，语义分割任务需要更多的劳动密集型像素方式的注释，但zero-shot语义分割只吸引了有限的研究兴趣。因此，我们专注于zero-shot语义分割，其目的是分割看不见的对象，只有类别级的语义表示提供了看不见的类别。在本文中，我们提出了一种新的上下文感知特征生成网络（CaGNet），它可以合成上下文感知像素视觉特征的基础上看不见的类别类别级的语义表示和像素的上下文信息。合成的特征用于微调分类器，以能够分割看不见的对象。此外，我们将逐像素特征生成和微调扩展到逐块特征生成和微调，其另外考虑像素间关系。在Pascal-VOC、Pascal-Context和COCO-stuff上的实验结果表明，该方法明显优于现有的zero-shot语义分割方法。代码可在https://github.com/bcmi/CaGNetv2-Zero-Shot-Semantic-Segmentation上获得。
2022-01-21 cs.CV
Semi-Supervised Confidence-Level-based Contrastive Discrimination for Class-Imbalanced Semantic Segmentation
The Chinese University of Hong Kong（香港中文大学）
为了克服数据饥饿的挑战，我们提出了一个半监督的对比学习框架的类不平衡的语义分割的任务。首先，为了使模型能够以半监督的方式运行，提出了基于置信度的对比学习方法，以显式的方式实现实例判别，并使低置信度的低质量特征与高置信度的特征相匹配。此外，针对裂缝分割和道路成分提取中的类不平衡问题，提出了数据不平衡损失代替传统的像素级语义分割中的交叉熵损失。最后，我们还提出了一种有效的多级融合网络结构，以提高语义分割的性能。在实际工业裂缝分割和道路分割上的大量实验证明了该框架的优越性。我们提出的方法可以提供令人满意的分割结果，即使只有3.5%的标记数据。
2022-11-28 cs.CV
Three Ways to Improve Semantic Segmentation with Self-Supervised Depth Estimation
ETH Zurich（苏黎世联邦理工学院）；University of Bonn（波恩大学）；KU Leuven（鲁汶大学）
训练用于语义分割的深度网络需要大量标记的训练数据，这在实践中提出了一个重大挑战，因为标记分割掩码是一个高度劳动密集型的过程。为了解决这个问题，我们提出了一个框架，半监督语义分割，这是增强了自监督单目深度估计从未标记的图像序列。特别是，我们提出三个关键贡献：（1）我们将知识从自监督深度估计期间学习的特征转移到语义分割，（2）我们通过使用场景的几何形状混合图像和标签来实现强数据增强，以及（3）我们利用深度特征多样性以及学生学习深度的难度水平-教师框架来选择最有用的样本进行语义分割的注释。我们在Cityscapes数据集上验证了所提出的模型，其中所有三个模块都表现出显着的性能增益，并且我们实现了半监督语义分割的最新结果。该实现可在www.example.com上获得。
2021-04-05 cs.CV
Improving Semantic Segmentation through Spatio-Temporal Consistency Learned from Videos
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Google（谷歌）
我们利用无监督学习的深度，自我运动，和相机的本质，以提高单图像语义分割的性能，通过强制执行3D几何和时间的一致性分割掩模跨视频帧。预测的深度、自运动和相机本征函数用于向分割模型提供额外的监督信号，从而显著提高其质量，或者减少分割模型所需的标签数量。我们的实验在ScanNet数据集上进行。
2020-05-20 cs.CV
Improving Semantic Image Segmentation via Label Fusion in Semantically Textured Meshes
Fraunhofer IOSB（弗劳恩霍夫光学、电子与精密工程研究所）
用于语义分割的模型需要大量手工标记的训练数据，这是昂贵且耗时的。为此，我们提出了一个标签融合框架，能够提高视频序列的语义像素标签在无监督的方式。我们利用一个三维网格表示的环境和融合的预测不同的帧到一个一致的表示使用语义网格纹理。使用原始的内在和外在相机参数渲染语义网格产生一组改进的语义分割图像。由于我们优化的CUDA实现，我们能够利用整个$c$维概率分布的注释在$c$类的不确定性感知的方式。我们在Scannet数据集上评估了我们的方法，在该数据集上，我们将最先进的分割网络ESANet产生的注释从$52.05 \%$提高到$58.25 \%$像素精度。我们在线发布我们的框架的源代码，以促进未来在这一领域的研究（\url{https://github.com/fferflo/semantic-meshes}）。据我们所知，这是第一个公开可用的标签融合框架的语义图像分割的基础上网格与语义纹理。
2021-11-22 cs.CV
Distilling Inter-Class Distance for Semantic Segmentation
Wuhan University（武汉大学）；Wormpex AI Research（Wormpex人工智能研究院）
知识蒸馏是语义分割中广泛采用的一种降低计算代价的方法，以往的语义分割知识知识蒸馏方法主要集中在像素级特征对齐和类内特征差异提取，而忽略了对语义分割至关重要的类间距离知识的传递。为了解决这个问题，我们提出了一个类间距离蒸馏（IDD）的方法来转移教师网络的特征空间中的类间距离的学生网络。此外，语义分割是一个位置相关的任务，因此我们开发了一个位置信息蒸馏模块，以帮助学生网络编码更多的位置信息。在Cityscapes、Pascal VOC和ADE 20 K三个常用数据集上的实验表明，该方法有助于提高语义分割模型的准确率，达到了最新的性能。例如，它在Cityscapes数据集上将基准模型（“PSPNet+ResNet18”）的准确性提高了7.50%。
2022-07-15 cs.CV
Improved-Flow Warp Module for Remote Sensing Semantic Segmentation
遥感图像语义分割的目的是为航空影像上的每个像元自动分配特定的标签。在这封信中，我们提出了一个新的模块，称为改进流翘曲模块（IFWM），调整语义特征图在不同尺度的遥感语义分割。在卷积神经网络的特征提取过程中应用改进的流扭曲模块。首先，IFWM通过可学习的方式计算像素的偏移量，这可以减轻多尺度特征的错位。其次，偏移量有助于低分辨率深度特征上采样过程，以提高特征一致性，从而提高语义分割的准确性。在多个遥感数据集上进行了验证，结果证明了该方法的有效性。
2022-05-09 cs.CV
Discovering Latent Classes for Semi-Supervised Semantic Segmentation
University of Bonn（波恩大学）；EyewareTech（EyewareTech公司）
高标注成本是语义分割系统训练的主要瓶颈。因此，具有较少注释工作的方法是特别感兴趣的。研究了半监督语义分割问题。这意味着只有一小部分训练图像被注释，而其他训练图像不包含任何注释。为了利用未标记图像中的信息，我们建议学习第二个任务，该任务与语义分割相关，但更容易。在标记的图像上，我们学习与语义类一致的潜在类，以便分配给潜在类的语义类的种类尽可能少。在未标记的图像上，我们预测潜在类别的概率图，并将其用作监督信号来学习语义分割。潜在类，以及语义类，同时预测的两个分支网络。在我们对Pascal VOC和Cityscapes的实验中，我们表明，以这种方式学习的潜在类具有直观的意义，并且所提出的方法实现了半监督语义分割的最新结果。
2021-03-08 cs.CV
Incorporating Feature Pyramid Tokenization and Open Vocabulary Semantic Segmentation
Zhejiang University（浙江大学）
本文提出特征金字塔词元化（PAT），通过可学习码本聚类多分辨率特征并联合学习像素重构与语义分割，以统一的感知与语义词元压缩促进开放词汇语义分割，在提升基线性能的同时保持参数高效性。
2024-12-18 cs.CV
Boosting Semantic Segmentation with Semantic Boundaries
Keio University（庆应义塾大学）
提出模型无关的SBCB多任务训练框架，以语义边界检测为辅助任务条件化骨干，在不增加推理参数的情况下提升多种CNN与ViT分割模型的边界及整体性能。
2023-04-19 cs.CV
Learning Class-Agnostic Pseudo Mask Generation for Box-Supervised Semantic Segmentation
Harbin Institute of Technology（哈尔滨工业大学）
最近，几种弱监督学习方法已经致力于利用限界框监督来训练深度语义分割模型。大多数现有方法通常利用通用提议生成器（例如，密集CRF和MCG）以产生用于进一步训练分割模型的增强的分割掩模。然而，这些建议生成器是通用的，并且不是专门为框监督的语义分割设计的，从而为改进分割性能留下了一些余地。在本文中，我们的目标是寻求一个更准确的基于学习的类无关的伪掩码生成器定制的框监督语义分割。为此，我们采用像素级注释的辅助数据集，其中类标签与框注释数据集的标签不重叠。为了从辅助数据集学习伪掩码生成器，我们提出了一种双层优化公式。特别地，下部子问题用于学习框监督的语义分割，而上部子问题用于学习最优的类无关伪掩码生成器。然后可以将学习的伪分割掩码生成器部署到框注释数据集，以改进弱监督语义分割。在PASCAL VOC 2012数据集上的实验表明，学习的伪掩码生成器在提高分割性能方面是有效的，我们的方法可以进一步缩小框监督模型和全监督模型之间的性能差距。我们的代码将在https://github.com/Vious/LPG_BBox_Segmentation上公开。
2022-03-02 cs.CV
False Negative Reduction in Semantic Segmentation under Domain Shift using Depth Estimation
Ruhr University Bochum（博尔塔伦大学波恩姆大学）；University of Wuppertal（乌珀塔尔大学）；EPFL（瑞士联邦理工学院）
通过单目深度估计减少域移时语义分割中的假阴性，提升分割精度和泛化能力。
2022-12-07 cs.CV
