CycleSegNet: Object Co-segmentation with Cycle Refinement and Region Correspondence
Nanyang Technological University（南洋理工大学）；South China University of Technology（华南理工大学）；Pazhou Lab（琶洲实验室）；China University of Mining and Technology（中国矿业大学）
图像联合分割是一种主动的计算机视觉任务，其目的是从一组图像中分割出共同的目标。近年来，研究者们设计了各种基于学习的算法来进行联合分割。该任务的主要困难在于如何有效地在图像之间传递信息以进行条件预测。在本文中，我们提出了CycleSegNet，一个新的框架的共同分割任务。我们的网络设计有两个关键组成部分：一个区域对应模块，这是局部图像区域之间交换信息的基本操作，以及一个循环细化模块，它利用ConvLSTM逐步更新图像表示并以循环和迭代的方式交换信息。大量的实验表明，我们提出的方法显着优于最先进的方法在四个流行的基准数据集- PASCAL VOC数据集，MSRC数据集，互联网数据集，iCoseg数据集，分别为2.6%，7.7%，2.2%和2.9%。
2021-06-02 cs.CV
SLAMs: Semantic Learning based Activation Map for Weakly Supervised Semantic Segmentation
Shenzhen University（深圳大学）
目前主流的弱监督语义分割（WSSS）方法主要依赖于图像级的分类学习，其表示能力有限。在本文中，我们提出了一种新的语义学习为基础的框架，命名为SLAMs（基于语义学习激活图），WSSS。
2022-11-10 cs.CV
Visual Semantic Segmentation Based on Few/Zero-Shot Learning: An Overview
East China University of Science and Technology（华东理工大学）；Tongji University（同济大学）；Swinburne University of Technology（斯威本科技大学）
视觉语义分割的目的是将视觉样本分割成具有特定语义属性的不同块，并确定每个块的类别，它在环境感知中起着至关重要的作用。传统的基于学习的视觉语义分割方法严重依赖于具有密集注释的大规模训练数据，并且始终无法为不可见的类别估计准确的语义标签。这一障碍激发了在少量/零样本学习的帮助下研究视觉语义分割的热潮。少/zero-shot视觉语义分割的出现和迅速发展，使得从少量标记或零标记的样本中学习不可见的类别成为可能，从而推动了该方法向实际应用的扩展。因此，本文重点研究了近年来发表的几种基于少量/zero-shot的二维到三维空间的视觉语义分割方法，探讨了不同分割环境下技术解决方案的共性和差异。具体而言，少数/zero-shot视觉语义分割的问题，包括定义，典型的数据集，和技术补救措施，简要回顾和讨论。此外，还涉及三个典型的实例来揭示少/零样本学习与视觉语义分割的相互作用，包括图像语义分割、视频对象分割和3D分割。最后，讨论了少/zero-shot视觉语义分割的未来挑战。
2022-11-13 cs.CV
SEGIC: Unleashing the Emergent Correspondence for In-Context Segmentation
Fudan University（复旦大学）；NVIDIA（英伟达）；University of Maryland（马里兰大学）
SEGIC提出基于单一视觉基础模型的端到端上下文分割框架，利用涌现对应关系提取几何、视觉和元指令，实现一次分割最先进性能，并可泛化至视频及开放词汇分割。
2024-07-22 cs.CV
Mask-HybridGNet: Graph-based segmentation with emergent anatomical correspondence from pixel-level supervision
Biomedical Image Technologies, ETSI Telecomunicación, Universidad Politécnica de Madrid, Madrid, Spain（生物医学影像技术，电信工程学院，马德里理工大学，马德里，西班牙）；IHU PRISM National Precision Medicine Center in Oncology, Cancer Data Science Unit, CentraleSupélec, Gustave Roussy, INSERM, Université Paris-Saclay, Gif-sur-Yvette, France（IHU PRISM国家精准医学中心（肿瘤学），癌症数据科学单元，中央圣艾尔布兰，格斯塔夫·罗西，国家医学研究所，巴黎-萨克雷大学，法国）
Mask-HybridGNet通过像素级监督训练图模型，实现无需人工标注的解剖结构分割，并生成稳定的解剖图谱。
2026-02-24 cs.CV
A Spatiotemporal Correspondence Approach to Unsupervised LiDAR Segmentation with Traffic Applications
University of Florida（佛罗里达大学）；Auburn University（奥本大学）
针对交通场景室外LiDAR点云无监督语义分割问题，提出基于时空对应、结合聚类与伪标签学习的方法，在多个基准上取得媲美全监督方法的性能，可支撑通用点云表示学习。
2023-08-23 cs.CV
DEAL: Difficulty-aware Active Learning for Semantic Segmentation
Zhejiang University（浙江大学）
主动学习的目标是通过寻找信息量最大的样本来解决标记数据的缺乏问题。然而，现有方法在应用于语义分割时，忽略了不同语义区域的分割难度，导致对细小、细长等硬语义区域的分割效果不佳。为了解决这个问题，我们提出了一个语义难度-awarE主动学习（DEAL）网络由两个分支组成：共同分割分支和语义难度分支。对于后一个分支，与分割结果和GT之间的分割误差的监督，逐像素的概率注意模块被引入到学习不同的语义区域的语义难度分数。最后，设计了两个获取函数来选择语义困难的最有价值的样本。在语义分割基准测试上的竞争结果表明，DEAL实现了最先进的主动学习性能，特别是提高了硬语义区域的性能。
2020-10-17 cs.CV
Highway Driving Dataset for Semantic Video Segmentation
场景理解是语义分割中的一项关键技术。虽然存在几个可用于语义分割的数据集，但它们主要集中在大型深度神经网络的语义图像分割上。因此，这些网络对于实时的应用是无用的，特别是在自动驾驶系统中。为了解决这个问题，我们在语义分割任务上做了两个贡献。第一个贡献是我们引入了语义视频数据集，高速公路驾驶数据集，这是一个语义视频分割任务的密集注释基准。高速公路驾驶数据集由20个具有30 Hz帧速率的视频序列组成，并且每个帧都被密集注释。其次，我们提出了一个基线算法，利用时间相关性。结合我们分析时间相关性的尝试，我们希望高速公路驾驶数据集能够鼓励对语义视频分割的研究。
2020-11-02 cs.CV
Human Correspondence Consensus for 3D Object Semantic Understanding
Shanghai Jiao Tong University（上海交通大学）
3D对象的语义理解在诸如对象操作等许多应用中是至关重要的。然而，很难给出一个普遍的定义，每个人都同意的点级语义。我们观察到，人们有一个共识，从不同的对象之间的两个区域之间的语义对应，但不确定每个区域的确切语义。因此，我们认为，通过提供人类标记的对应关系，而不是明确的语义标签，从同一类别的不同对象之间，可以恢复丰富的语义信息的对象。在本文中，我们介绍了一个新的数据集名为CorresPondenceNet。基于这个数据集，我们能够学习密集的语义嵌入与一个新的测地线一致性损失。因此，几个国家的最先进的网络进行评估，这个对应基准。我们进一步表明，CorresPondenceNet不仅可以提高异构对象的细粒度理解，而且还可以进行跨对象配准和部分对象匹配。
2020-11-26 cs.CV
Ensembling Instance and Semantic Segmentation for Panoptic Segmentation
Siemens Mobility（西门子交通）
本文提出分别进行实例分割与语义分割再融合的COCO全景分割方案，通过Mask R-CNN专家模型、HTC和多骨干语义模型集成，在test-dev上达到PQ 47.1。
2023-04-20 cs.CV
Pixel Level Data Augmentation for Semantic Image Segmentation using Generative Adversarial Networks
Beihang University（北京航空航天大学）；Keep Inc（Keep公司）
语义分割是计算机视觉的基本课题之一，它的目的是为图像中的每个像素分配语义标签。不平衡的语义标签分布可能对分割精度产生负面影响。在本文中，我们研究使用数据增强方法来平衡语义标签分布，以提高分割性能。我们建议使用生成对抗网络（GANs）来生成逼真的图像，以提高语义分割网络的性能。实验结果表明，该方法不仅可以提高对低精度类的分割性能，而且平均分割精度提高了1.3%~ 2.1%。实验结果表明，这种增强方法可以提高分割精度，并且可以很容易地应用到其他分割模型中。
2019-11-26 cs.CV
BiSeg: Simultaneous Instance Segmentation and Semantic Segmentation with Fully Convolutional Networks
我们提出了一个简单而有效的框架，同时语义分割和实例分割与全卷积网络（FCN）。该方法称为BiSeg，预测实例分割作为贝叶斯推理的后验，其中语义分割用作先验。我们扩展了最近的方法中使用的位置敏感的得分地图的想法，在不同的尺度和分区模式的多个得分地图的融合，并采用它作为一个强大的可能性实例分割推理。由于贝叶斯推理和地图融合都是按像素执行的，因此BiSeg是一种完全卷积的端到端解决方案，继承了FCN的所有优点。我们展示了PASCAL VOC的最先进的实例分割精度。
2017-07-18 cs.CV
Panoptic Segmentation with a Joint Semantic and Instance Segmentation Network
Eindhoven University of Technology（埃因霍温理工大学）
我们提出了一个单一的网络方法的全景分割。该方法结合了来自联合训练的语义和实例分割网络的预测。联合训练是实现端到端全景分割网络的第一步，并且比使用两个网络进行训练和预测更快，更高效。该架构由语义分割和实例分割分支共享的ResNet-50特征提取器组成。对于实例分割，使用Mask R-CNN类型的架构，而语义分割分支则使用金字塔池化模块进行扩充。该方法的结果提交给COCO和Mapillary联合识别挑战赛2018。我们的方法在Mapillary Vistas验证集上实现了17.6的PQ评分，在COCO测试开发集上实现了27.2的PQ评分。
2019-02-07 cs.CV
An Underwater Image Semantic Segmentation Method Focusing on Boundaries and a Real Underwater Scene Semantic Segmentation Dataset
Dalian University of Technology（大连理工大学）
随着水下目标抓取技术的发展，对水下目标进行高精度的识别和分割成为一个挑战。现有的水下目标检测技术只能给出物体的大致位置，无法给出物体的轮廓等更详细的信息，严重影响抓取效率。为了解决这个问题，我们标记并建立了第一个真实场景的水下语义分割数据集（DUT-USEG：DUT Underwater Segmentation Dataset）。DUT- USEG数据集包括6617幅图像，其中1487幅具有语义分割和实例分割注释，其余5130幅图像具有目标检测框注释。基于此数据集，我们提出了一个半监督的水下语义分割网络（US-Net：水下分割网络）的边界为重点。该网络通过设计伪标签生成器和边界检测子网络，实现了水下目标与背景边界的精细学习，提高了边界区域的分割效果。实验结果表明，该方法在DUT-USEG数据集上对海参、海胆、海星三种鱼类的分类效果提高了6.7%，达到了最佳的分类效果。DUT- USEG数据集将在https://github.com/baxiyi/DUT-USEG上发布。
2021-08-26 cs.CV
Better Image Segmentation by Exploiting Dense Semantic Predictions
Beihang University（北京航空航天大学）；UCL（伦敦大学学院）
人们普遍认为，图像分割可以受益于利用多级线索。本文重点研究了在自底向上的图像分割中利用基于模糊神经网络的密集语义预测，认为从一开始就考虑语义线索。通过这种方式，我们可以避免合并外观相似但语义类别不同的区域。语义效率低下的问题得到了解决。我们还提出了一种简单的方法来使用轮廓线索来抑制多级线索中的噪声，从而提高分割的鲁棒性。在BSDS500上的性能评估表明，本文的算法得到了竞争区域和边界性能。此外，由于在计算过程中可以为所有单独的区域分配适当的语义标签，因此我们能够提取调整后的语义分割。在Pascal VOC 2012上的实验表明，我们对直接来自密集预测的原始语义分割进行了改进。
2016-06-05 cs.CV
Attention-based fusion of semantic boundary and non-boundary information to improve semantic segmentation
Universidade Federal da Bahia（巴伊亚联邦大学）；Universidade Federal do Maranhão（马拉尼昂联邦大学）
提出了一种基于深度卷积神经网络的图像语义分割方法。我们建议的主要目标是探索对象边界信息，以提高整体分割性能。与以前的作品，结合边界和分割功能，或那些使用边界信息来规范语义分割，我们提出了一种新的方法，体现到分割的边界信息。为此，我们的语义分割方法使用两个流，它们通过注意力门组合在一起，形成端到端的Y模型。据我们所知，我们的工作是第一次表明，边界检测可以提高语义分割时，通过语义融合门（注意力模型）融合。我们在公共数据集上对我们的方法进行了广泛的评估。在考虑相同的训练条件下，将我们提出的模型与其他12个最先进的分割器进行比较后，我们发现所有数据集上的结果都具有竞争力。我们提出的模型在CityScapes、CamVid和Pascal Context数据集上实现了最佳mIoU，在Mapillary Vistas上次之。
2021-08-05 cs.CV
Correspondence as Video: Test-Time Adaption on SAM2 for Reference Segmentation in the Wild
Nanjing University（南京大学）；Southeast University（东南大学）
提出CAV-SAM方法，将参考-目标图像对的对应关系表示为伪视频，利用SAM2的iVOS能力，通过DBST和TTGA模块实现轻量级测试时自适应，在参考分割任务上性能提升超5%。
2025-08-11 cs.CV
A Survey of Semantic Segmentation
本综述概述了用于像素级语义分割的不同技术。描述了用于评估分割算法和传统分割方法（如无监督方法，决策森林和SVM）的数据集和数据集，并给出了相关论文的指针。最近发表的方法与卷积神经网络提到和典型的问题的情况下，分割算法进行检查。给出了分割算法的分类。
2016-05-11 cs.CV
Dense Semantic Correspondence where Every Pixel is a Classifier
Queensland University of Technology（昆士兰科技大学）；Carnegie Mellon University（卡内基梅隆大学）
确定对象和场景之间的密集语义对应关系是支撑许多更高级别计算机视觉算法的难题。与考虑空间或时间相邻的图像的规范密集对应问题不同，语义对应的特征在于共享相似的高级结构的图像，其确切的外观和几何形状可能不同。受对象识别文献和最近的工作快速估计线性分类器的启发，我们把语义对应作为一个约束检测问题，学习每个像素的一个示例LDA分类器。LDA分类器有两个明显的好处：（i）它们表现出比对应问题中通常使用的相似性度量更高的平均精度，以及（ii）与示例SVM不同，可以在没有校准的情况下输出全局可解释的后验概率，同时训练也明显更快。我们提出的对应问题作为一个图形模型，其中一元电位计算通过卷积与一组样本分类器，和联合电位执行平滑变化的对应分配。
2015-05-15 cs.CV
MaskLab: Instance Segmentation by Refining Object Detection with Semantic and Direction Features
Google Inc.（谷歌公司）；RWTH Aachen University（亚琛工业大学）；UCLA（加利福尼亚大学洛杉矶分校）
在这项工作中，我们解决的问题，实例分割，同时解决目标检测和语义分割的任务。为了实现这一目标，我们提出了一个模型，称为MaskLab，它产生三个输出：框检测，语义分割和方向预测。在Faster-RCNN对象检测器的基础上，预测框提供了对象实例的准确定位。在每个感兴趣的区域内，MaskLab通过结合语义和方向预测来执行前景/背景分割。语义分割有助于模型区分不同语义类别的对象，包括背景，而方向预测，估计每个像素的方向，其相应的中心，允许分离相同的语义类别的实例。此外，我们还探讨了将最近成功的分割和检测方法（即atrous卷积和hypercolumn）结合起来的效果。我们提出的模型进行评估的COCO实例分割基准，并显示出与其他国家的最先进的模型相媲美的性能。
2017-12-13 cs.CV
Semantic-Aware Fine-Grained Correspondence
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）
在图像之间建立视觉对应是一项具有挑战性和必要的任务。最近，已经提出了大量的自监督方法来更好地学习视觉对应的表示。然而，我们发现，这些方法往往无法利用语义信息和过度依赖于低级别的功能匹配。相比之下，人类视觉能够区分不同的物体作为跟踪的借口。受这种范式的启发，我们提出学习语义感知的细粒度对应。首先，我们证明了语义对应是隐含地通过一组丰富的图像级自监督方法。我们进一步设计了一个像素级的自监督学习目标，专门针对细粒度的对应关系。对于下游任务，我们将这两种互补的对应表示融合在一起，证明它们协同提高性能。我们的方法超越了以前使用卷积网络进行各种视觉对应任务的最先进的自监督方法，包括视频对象分割，人体姿势跟踪和人体部位跟踪。
2022-07-22 cs.CV
Semantic Correspondence via 2D-3D-2D Cycle
Shanghai Jiao Tong University（上海交通大学）
视觉语义对应是计算机视觉中的一个重要课题，可以帮助机器理解我们日常生活中的物体。然而，大多数以前的方法直接训练在2D图像中的对应，这是端到端的，但丢失了大量的信息在3D空间。在本文中，我们提出了一种新的方法来预测语义对应关系，利用它到3D域，然后投影相应的3D模型回到2D域，其语义标签。我们的方法利用了3D视觉的优势，可以明确地推理对象的自遮挡和可见性。我们表明，我们的方法提供了比较，甚至优于标准的语义基准的结果。我们还进行了全面和详细的实验来分析我们的网络组件。代码和实验可在www.example.com上公开获得。
2021-04-13 cs.CV
Joint Learning of Intrinsic Images and Semantic Segmentation
University of Amsterdam（阿姆斯特丹大学）；DUniversum B.V.（3DUniversum B.V.）
当成像条件存在变化时，室外场景的语义分割是有问题的。众所周知，反射率对各种照明效果都是不变的。因此，使用反射图像进行语义分割任务可能是有利的。此外，不仅分割可以受益于反射率，而且分割可以用于反射率计算。因此，在本文中，任务的语义分割和内在的图像分解被认为是一个联合的过程，通过探索他们的相互关系，在联合的方式。为此，我们提出了一种有监督的端到端CNN架构，以联合学习内在图像分解和语义分割。我们分析了共同解决这两个问题的好处。此外，提出了新的级联CNN架构的内在分割和分割的内在作为单一的任务。此外，还创建了一个35 K自然环境合成图像的数据集，其中包含相应的阴影和阴影（内在），以及分配给每个对象/场景的语义标签（分割）。实验表明，联合学习的内在图像分解和语义分割是有益的自然场景的任务。数据集和模型可在https://ivi.fnwi.uva.nl/cv/intrinseg上获得
2018-07-31 cs.CV
LEST: Large-scale LiDAR Semantic Segmentation with Transformer
LiangDao GmbH（亮道智能）；Ilmenau University of Technology（伊尔梅瑙工业大学）
针对大规模激光雷达点云语义分割任务，提出纯Transformer架构LEST，包含空间填充曲线分组策略和距离余弦线性Transformer两个创新组件，在nuScenes和SemanticKITTI数据集上性能超越现有最优方法。
2023-07-14 cs.CV
Context-aware Feature Generation for Zero-shot Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）
现有的语义分割模型严重依赖于密集的逐像素注释。为了减少标注的压力，我们专注于一个具有挑战性的任务命名为zero-shot语义分割，其目的是分割看不见的零注释对象。这个任务可以通过语义词嵌入跨类别传递知识来完成。在本文中，我们提出了一种新的上下文感知的zero-shot分割称为CaGNet的特征生成方法。特别是，观察到一个像素级的功能高度依赖于其上下文信息，我们插入一个上下文模块在分割网络捕捉像素级的上下文信息，这指导了从语义词嵌入生成更多样化和上下文感知功能的过程。我们的方法在三个基准数据集上实现了最先进的结果，用于zero-shot分割。代码可在https://github.com/bcmi/CaGNet-Zero-Shot-Semantic-Segmentation上获得。
2020-08-16 cs.CV
Fine-Grained Image-Text Correspondence with Cost Aggregation for Open-Vocabulary Part Segmentation
KAIST, Republic of Korea（韩国科学技术院）；Samsung Electronics, Republic of Korea（三星电子）
本文提出PartCATSeg框架，通过对象感知部件级代价聚合、组合损失和DINO结构指导解决开放词汇部件分割中的图文对齐与结构理解问题，显著提升了未见类别部件分割的泛化性能。
2025-08-08 cs.CV
Joint Semantic Segmentation and Boundary Detection using Iterative Pyramid Contexts
Hong Kong University of Science and Technology（香港科技大学）；Microsoft Research Asia（微软亚洲研究院）；Everest Innovation Technology（珠科创新技术）
在本文中，我们提出了一个联合多任务学习框架的语义分割和边界检测。框架中的关键组件是迭代金字塔上下文模块（PCM），它耦合两个任务并存储共享的潜在语义以在两个任务之间进行交互。对于语义边界检测，我们提出了新的空间梯度融合抑制非语义边缘。由于语义边界检测是语义分割的双重任务，本文引入了一个带有边界一致性约束的损失函数，以提高语义分割的边界像素精度。我们广泛的实验表明，优越的性能超过国家的最先进的作品，不仅在语义分割，但也在语义边界检测。特别是，Cityscapes测试集上的平均IoU得分为81：8%，无需使用粗数据或任何外部数据进行语义分割。对于语义边界检测，我们在AP和MF（ODS）方面比以前的最先进的作品提高了9.9%和6：8%。
2020-04-16 cs.CV
Segmentation in Style: Unsupervised Semantic Image Segmentation with Stylegan and CLIP
Johns Hopkins University（约翰斯·霍普金斯大学）
我们介绍了一种方法，允许自动分割图像到语义有意义的区域，而无需人工监督。衍生区域在不同的图像中是一致的，并且与某些数据集上的人类定义的语义类一致。在语义区域可能很难为人类定义和一致的标签的情况下，我们的方法仍然能够找到有意义的和一致的语义类。在我们的工作中，我们使用预训练的StyleGAN2生成模型：生成模型的特征空间中的聚类允许发现语义类。一旦发现了类别，就可以创建具有生成的图像和对应的分割掩模的合成数据集。之后，在合成数据集上训练分割模型，并能够推广到真实图像。此外，通过使用CLIP，我们能够使用自然语言中定义的提示来发现一些所需的语义类。我们在公开的数据集上测试了我们的方法，并展示了最先进的结果。
2021-11-18 cs.CV
Self Correspondence Distillation for End-to-End Weakly-Supervised Semantic Segmentation
NLPR, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）；School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
使用图像级标签有效训练用于弱监督语义分割（WSSS）的准确深度模型具有挑战性和重要性。近年来，端到端WSSS方法由于其高训练效率而成为研究的热点。然而，目前的方法遭受从全面的语义信息的提取不足，导致低质量的伪标签和次优的解决方案的端到端WSSS。为此，我们提出了一种简单而新颖的自对应蒸馏（SCD）方法来改进伪标签，而无需引入外部监督。我们的SCD使网络能够利用来自自身的特征对应作为蒸馏目标，这可以通过补充语义信息来增强网络的特征学习过程。此外，为了进一步提高分割精度，我们设计了一个变异感知的细化模块，通过计算像素级变异来增强伪标签的局部一致性。最后，我们提出了一个有效的端到端的基于transformer的框架（TSCD）通过SCD和变异感知细化模块的准确WSSS任务。在PASCAL VOC 2012和MS COCO 2014数据集上进行的大量实验表明，我们的方法显着优于其他最先进的方法。我们的代码可以在{https：//github.com/Rongtao-Xu/RepresentationLearning/tree/main/SCD-AAAI2023}上找到。
2023-02-27 cs.CV
Context Tricks for Cheap Semantic Segmentation
University College London（伦敦大学学院）
图像像素的精确语义标记是困难的，因为类内变化通常大于类间变化。反过来，快速的语义分割是困难的，因为准确的模型通常太复杂，无法在测试时快速运行。我们在构建和运行语义分割系统方面的经验也表明，由于小的训练数据集，模型复杂性存在相当明显的瓶颈。因此，我们提出了两个简单的互补策略，利用上下文提供更好的语义分割，同时扩大或缩小到不同大小的数据集上的训练。作为现有的语义分割算法的简单修改，我们引入解相关的语义文本元森林，上下文敏感的图像水平优先级。提出的修改使用语义Texton森林（STF）系统进行测试，并在两个标准的基准数据集，MSRC-21和PascalVOC-2010的修改进行验证。在基于Python的比较中，我们的系统在测试时比STF慢得不明显，但总体上产生了优越的语义分割，只需按钮训练。
2015-02-17 cs.CV
SSSegmenation: An Open Source Supervised Semantic Segmentation Toolbox Based on PyTorch
The University of Hong Kong（香港大学）
本文提出基于PyTorch的开源有监督语义分割工具箱SSSegmenation，其依赖更少、使用更简便且性能优于MMSegmentation，并提供多种主流方法的预训练权重。
2023-05-26 cs.CV
A Cross-Scale Hierarchical Transformer with Correspondence-Augmented Attention for inferring Bird's-Eye-View Semantic Segmentation
Zhejiang University（浙江大学）
针对多相机图像推断 BEV 语义分割中的尺度差距与多视图融合问题，提出跨尺度层级 Transformer 和对应增强注意力，实现最先进性能。
2023-08-17 cs.CV
Channelized Axial Attention for Semantic Segmentation -- Considering Channel Relation within Spatial Attention for Semantic Segmentation
University of Technology Sydney（悉尼科技大学）；Tencent AI LAB（腾讯AI实验室）；University of Sydney（悉尼大学）
空间和通道注意力分别在空间和通道维度上对语义相互依赖性进行建模，最近已被广泛用于语义分割。然而，单独计算空间和通道注意力有时会导致错误，特别是对于那些困难的情况。在本文中，我们提出了一种新的轴向注意力（CAA），将通道注意力和空间注意力无缝集成到一个单一的操作中，计算开销可以忽略不计。具体来说，我们将空间注意力的点积操作分解为两个部分，并在其间插入通道关系，允许在每个空间位置上独立优化通道注意力。我们进一步开发了分组向量化，这使得我们的模型可以在不降低运行速度的情况下以非常少的内存消耗运行。在多个基准数据集（包括Cityscapes，PASCAL Context和COCO-Stuff）上进行的比较实验表明，我们的CAA在所有测试数据集上的性能优于许多最先进的分割模型（包括双重注意力）。
2021-09-12 cs.CV
CNN-aware Binary Map for General Semantic Segmentation
University of Genova（热那亚大学）；Istituto Italiano di Tecnologia（意大利技术研究院）；University of Trento（特伦托大学）；Allen Institute for AI（艾伦人工智能研究所）
在本文中，我们介绍了一种新的方法，一般语义分割，可以受益于一般语义的卷积神经网络（CNN）。我们的分割提出了视觉和语义连贯的图像段。我们使用CNN特征的二进制编码来克服在高维CNN特征空间上聚类的困难。这些二进制代码对图像中的噪声和非语义变化非常鲁棒。这些二进制编码可以嵌入到CNN中，作为网络末端的额外层。这导致实时分割。据我们所知，我们的方法是第一次尝试一般语义图像分割使用CNN。所有以前的论文都局限于少数几个类别的图像（例如PASCAL VOC）。实验表明，我们的分割算法优于国家的最先进的非语义分割方法的大幅度。
2016-09-29 cs.CV
Bridging Category-level and Instance-level Semantic Image Segmentation
The University of Adelaide（阿德莱德大学）
我们提出了一种建立在类别级分割之上的实例级图像分割方法。具体地，对于语义类别掩码中的每个像素，使用深度全卷积回归网络来预测其对应的实例限界框。因此，它遵循与流行的检测然后分割方法不同的流水线，该方法首先预测实例的边界框，这是实例分割中的当前最先进技术。我们表明，通过利用我们的国家的最先进的语义分割模型的力量，所提出的方法可以实现可比的，甚至更好的结果，检测，然后段的方法。我们做出以下贡献。(i)首先，我们提出了一个简单而有效的方法来语义实例分割。(ii)其次，我们提出了一种在线自举方法在训练过程中，这是至关重要的实现语义类别分割和实例级分割的良好性能。(iii)由于语义类别分割的性能对实例级分割有很大的影响，这是我们方法的第二步，我们训练完全卷积的残差网络，以达到最佳的语义类别分割精度。在PASCAL VOC 2012数据集上，我们获得了目前最好的平均交叉-联合评分为79.1%。(iv)我们还实现了国家的最先进的实例级分割的结果。
2016-05-23 cs.CV
EADNet: Efficient Asymmetric Dilated Network for Semantic Segmentation
Fudan University（复旦大学）；Shanghai Huawei Technologies Co., Ltd.（上海华为技术有限公司）
由于实时图像语义分割需要在功率受限的边缘设备上进行，因此越来越希望设计轻量级的语义分割神经网络，以同时降低计算成本并提高推理速度。本文提出了一种高效的非对称扩张语义分割网络EADNet，它由多个具有不同扩张率的非对称卷积分支组成，以捕获图像的可变形状和尺度信息。特别地，多尺度多形状感受野卷积（MMRFC）块只有几个参数的设计，以捕捉这些信息。在Cityscapes数据集上的实验结果表明，我们提出的EADNet在主流轻量级语义分割网络中以最少的参数（仅0.35 M）实现了67.1的分割mIoU。
2021-03-16 cs.CV
Rethinking Semantic Segmentation Evaluation for Explainability and Model Selection
University of Washington（华盛顿大学）
语义分割的目标是鲁棒地预测图像的整个区域的相干类标签。这是一个场景理解任务，为现实世界的应用提供动力（例如，自主导航）。一个重要的应用，使用图像的行人环境的自动语义理解，提供了远程地图的街道环境中的无障碍功能。这个应用程序（以及其他类似的应用程序）需要地理对象的详细几何信息。语义分割是此任务的先决条件，因为它将同一类的连续区域映射为单个实体。重要的是，像我们这样的语义分割使用不是逐像素的结果;然而，它们的大多数定量评估指标（例如，平均交集超过并集）是基于与地面实况的逐像素相似性，其未能强调分割模型的过度分割和欠分割属性。在这里，我们引入了一个新的指标来评估基于区域的过度分割和欠分割。我们分析和比较它与其他指标，证明我们的度量的使用借给更大的解释语义分割模型在现实世界中的应用程序的性能。
2023-02-15 cs.CV
Synergy Between Semantic Segmentation and Image Denoising via Alternate Boosting
University of Science and Technology of China（中国科学技术大学）
图像语义分割的能力可能会由于噪声输入图像而恶化，其中在分割之前的图像去噪有所帮助。随着深度学习的发展，图像去噪和语义分割都得到了显著的发展。因此，我们感兴趣的是它们之间的协同作用，通过使用一个整体的深度模型。我们观察到，不仅去噪有助于对抗由于噪声而导致的分割精度下降，而且像素级语义信息也提高了去噪的能力。然后，我们提出了一个boosting网络来交替执行去噪和分割。该网络由多个分割和去噪块（SDB）组成，每个块估计语义映射，然后使用该映射来正则化去噪。实验结果表明，去噪后的图像质量有了明显的提高，分割精度也提高到接近干净图像的水平。我们的代码和模型将公开提供。
2021-02-24 cs.CV
Semantic Segmentation-Assisted Instance Feature Fusion for Multi-Level 3D Part Instance Segmentation
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
从三维点云中识别三维零件实例对于三维结构和场景理解具有重要意义。几种基于学习的方法使用语义分割和实例中心预测作为训练任务，并且未能进一步利用形状语义和零件实例之间的内在关系。提出了一种三维零件实例分割的新方法。我们的方法利用语义分割来融合非局部实例特征，如中心预测，并进一步增强了融合方案的多层次和跨层次的方式。我们还提出了一个语义区域中心预测任务来训练，并利用预测结果来提高实例点的聚类。我们的方法优于现有的方法，在PartNet基准测试中有很大的改进。我们还表明，我们的特征融合方案可以应用到其他现有的方法，以提高其性能在室内场景实例分割任务。
2022-08-09 cs.CV
Generative Semantic Segmentation
Fudan University（复旦大学）；University of Surrey（萨里大学）
本文提出生成式语义分割（GSS），将语义分割转化为以图像为条件的掩码生成问题，通过隐变量先验学习和条件网络实现分割，在标准设置下表现优异，并在跨域设置中取得新最优。
2023-08-10 cs.CV
Deep Metric Learning for Open World Semantic Segmentation
The Hong Kong University of Science and Technology（香港科技大学）
经典的闭集语义分割网络检测分布外（OOD）对象的能力有限，这对于自动驾驶等安全关键型应用非常重要。增量学习这些带有少量注释的OOD对象是扩大深度学习模型知识库的理想方法。在本文中，我们提出了一个开放世界的语义分割系统，它包括两个模块：（1）一个开放集语义分割模块，检测分布和OOD对象。(2)增量式少样本学习模块，用于逐渐将这些OOD对象合并到其现有知识库中。这个开放世界的语义分割系统表现得像一个人，它能够识别OOD对象，并在相应的监督下逐渐学习它们。我们采用深度度量学习网络（DMLNet）与对比聚类实现开集语义分割。与其他开集语义分割方法相比，我们的DMLNet在三个具有挑战性的开集语义分割数据集上实现了最先进的性能，而无需使用额外的数据或生成模型。在此基础上，进一步提出了两种增量式少样本学习方法，利用面向对象对象的标注对DMLNet进行渐进式改进。
2021-08-10 cs.CV
Combining the Best of Graphical Models and ConvNets for Semantic Segmentation
Virginia Tech（弗吉尼亚理工大学）
我们提出了一个两模块的方法，结合卷积网络（CNN）和图形模型的语义分割。图形模型用于生成一个小的（5-30）集不同的分割建议，使得这个集合具有高召回。由于所需提案的数量如此之少，我们可以提取相当复杂的特征来对它们进行排名。我们选择的复杂特征是一种名为SegNet的新型CNN，它直接输出（粗略的）语义分割。重要的是，SegNet经过专门训练，可以优化语料库级别的PASCAL IOU损失函数。据我们所知，这是第一个专门为语义分割设计的CNN。这种双模块方法在PASCAL 2012分割挑战中实现了$52.5\%$。
2014-12-16 cs.CV
Learning Pixel-level Semantic Affinity with Image-level Supervision for Weakly Supervised Semantic Segmentation
DGIST（韩国基础科学研究院）；POSTECH（浦项科技大学）
切分标签的不足是语义分割的主要障碍之一。为了缓解这个问题，我们提出了一个新的框架，生成分割标签的图像给出了他们的图像级类标签。在这种弱监督的设置中，训练的模型已经被称为分割局部区分部分，而不是整个对象区域。我们的解决方案是传播这样的本地响应到附近的地区属于同一个语义实体。为此，我们提出了一种称为AffinityNet的深度神经网络（DNN），它可以预测一对相邻图像坐标之间的语义相似度。然后，语义传播通过随机游走与AffinityNet预测的亲和力来实现。更重要的是，用于训练AffinityNet的监督由初始判别部分分割给出，其作为分割注释是不完整的，但足以学习小图像区域内的语义亲和力。因此，整个框架只依赖于图像级的类标签，不需要任何额外的数据或注释。在PASCAL VOC 2012数据集上，使用我们的方法生成的分割标签学习的DNN优于使用相同监督级别训练的先前模型，甚至与那些依赖于更强监督的模型一样具有竞争力。
2018-04-09 cs.CV
Joint Optical Flow and Temporally Consistent Semantic Segmentation
TU Darmstadt（达姆施塔特工业大学）
随着自主系统的发展，视觉场景理解的重要性和需求不断增加。因此，已经有大量的研究致力于语义分割和密集运动估计。在本文中，我们提出了一种方法，联合估计光流和时间一致的语义分割，这两个问题域紧密相连，并相互利用。语义分割向其相关联的像素提供关于合理物理运动的信息，并且准确的像素级时间对应性增强了时间域中的语义分割的准确性。我们展示了我们的方法的好处KITTI基准，在那里我们观察流和分割的性能增益。我们实现了最先进的光流结果，并在具有挑战性但至关重要的动态对象上大幅优于所有已发表的算法。
2016-07-26 cs.CV
Semantic Segmentation using Adversarial Networks
Facebook AI Research（Facebook 人工智能研究院）；INRIA（法国国家信息与自动化研究所）；Laboratoire Jean Kuntzmann（让·昆兹曼实验室）
对抗训练已被证明可以为生成图像建模产生最先进的结果。在本文中，我们提出了一个对抗性的训练方法训练语义分割模型。我们训练一个卷积语义分割网络以及一个对抗网络，该网络区分来自地面实况或来自分割网络的分割图。我们的方法的动机是，它可以检测和纠正地面实况分割图和分割网络产生的分割图之间的高阶不一致。我们的实验表明，我们的对抗训练方法提高了斯坦福背景和PASCAL VOC 2012数据集的准确性。
2016-11-25 cs.CV
Learning High-level Prior with Convolutional Neural Networks for Semantic Segmentation
University of Science and Technology of China（中国科学技术大学）；Tsinghua University（清华大学）；The Hong Kong University of Science and Technology（香港科技大学）
提出了一种融合高层先验信息的卷积神经网络用于图像语义分割。受人类视觉识别系统的启发，我们设计了一个由高层编码、中层分割和底层图像组成的三层生成结构，为语义分割引入全局先验。基于这种结构，我们提出了一个生成模型，称为条件变分自动编码器（CVAE），可以建立这三个层背后的链接。这些重要环节包括从图像中提取高层信息的图像编码器、从分割中提取高层信息的分割编码器和从高层先验图像和输入图像中输出语义分割的混合解码器。我们从理论上推导出的语义分割作为这些链接参数化的优化问题。最后，优化问题使我们能够利用最先进的全卷积网络结构来实现上述编码器和解码器。在几个有代表性的数据集上的实验结果表明，我们的最高性能的语义分割。
2015-11-22 cs.CV
Semantic Diffusion Network for Semantic Segmentation
Baidu Research（百度研究院）
对边界区域的精确和准确的预测对于语义分割是必不可少的。然而，常用的卷积算子往往会平滑和模糊局部细节线索，使深度模型难以生成准确的边界预测。在本文中，我们引入了一个操作员级的方法来提高语义边界意识，从而提高预测的深层语义分割模型。具体来说，我们首先制定的边界特征增强作为一个各向异性扩散过程。然后，我们提出了一种新的可学习的方法，称为语义扩散网络（SDN），以近似的扩散过程，其中包含一个参数化的语义差异卷积算子，其次是一个特征融合模块。我们的SDN的目的是构建一个可区分的映射，从原始功能的类间边界增强功能。所提出的SDN是一种高效且灵活的模块，可以很容易地插入到现有的编码器-解码器分割模型中。大量的实验表明，我们的方法可以实现几个典型的和国家的最先进的分割基线模型上具有挑战性的公共基准一致的改进。代码将很快发布。
2023-02-04 cs.CV
Prototype Guided Network for Anomaly Segmentation
语义分割方法不能直接识别图像中的异常对象。异常分割算法可以区分分布内对象和分布外（OOD）对象，并输出像素的异常概率。本文提出了一种原型引导的异常分割网络（PGAN），用于从有限的标注图像中提取分布式训练数据的语义原型。在模型中，原型被用来建模的层次类别语义信息和区分OOD像素。提出的PGAN模型包括一个语义分割网络和一个原型抽取网络。采用相似性度量对原型进行优化。将学习到的语义原型作为类别语义，与从测试图像中提取的特征进行相似度比较，然后生成语义分割预测。提出的原型提取网络也可以集成到大多数语义分割网络和识别OOD像素。在StreetHazards数据集上，所提出的PGAN模型产生了53.4%的mIoU用于异常分割。实验结果表明，PGAN在异常分割任务中可以达到SOTA的性能。
2022-03-15 cs.CV
Weak-shot Semantic Segmentation via Dual Similarity Transfer
Shanghai Jiao Tong University（上海交通大学）；SenseTime Research（商汤科技研究院）；SenseTime（商汤科技）
语义分割是一项重要而普遍的任务，但在更广泛的应用中扩展到更多的类时，严重遭受像素级注释的高成本。为此，我们专注于名为弱杆语义分割的问题，其中新的类是从便宜的图像级标签的支持下，具有现成的像素级标签的基类学习。为了解决这个问题，我们提出了SimFormer，它在MaskFormer上执行双重相似性转移。具体来说，MaskFormer将语义分割任务分解为两个子任务：提案分类和每个提案的提案分割。建议分割允许建议像素相似性从基类转移到新类，这使得新类的掩码学习成为可能。我们还从基本类中学习像素-像素相似性，并将这种类不可知的语义相似性提取到新类的语义掩码中，从而使分割模型与图像之间的像素级语义关系规则化。此外，我们提出了一个补充损失，以促进新类的学习。在具有挑战性的COCO-Stuff-10 K和ADE 20 K数据集上的综合实验证明了该方法的有效性。代码可在https://github.com/bcmi/SimFormer-Weak-Shot-Semantic-Segmentation上获得。
2022-10-05 cs.CV
Semantically Adaptive Image-to-image Translation for Domain Adaptation of Semantic Segmentation
University of Parma（帕尔马大学）
领域转移是语义分割中一个非常具有挑战性的问题。任何模型都可以在人工生成图像和标签的合成数据上轻松训练，但在真实环境中部署时性能会很差。在本文中，我们解决的问题领域自适应语义分割的街道场景。许多国家的最先进的方法集中在翻译的源图像，同时强加的结果应该是语义上与输入一致。然而，我们主张，图像语义也可以用来指导翻译算法。为此，我们重新考虑生成模型，以加强这一假设，并加强像素级和特征级域对齐之间的联系。我们进行了广泛的实验，通过训练常见的语义分割模型与我们的方法，并表明，我们得到的结果上的合成到真正的基准超越了最先进的。
2020-09-02 cs.CV
Towards Robust Semantic Correspondence: A Benchmark and Insights
该研究构建了含14种恶劣成像场景的语义对应鲁棒性评估基准，通过实验揭示现有方法的性能下降规律、不同视觉模型的鲁棒性差异，并指出通用数据增强对该任务鲁棒性提升无效，需设计任务专属策略。
2025-08-01 cs.CV
Learning Space-Time Semantic Correspondences
Samsung Research America（三星美国研究院）；UC Berkeley（加州大学伯克利分校）
提出视频时空语义对应预测新任务，在Penn Action和Pouring基准上提供标注，实验表明联合时空处理优于分解方法。
2023-06-16 cs.CV
Evaluating Bayesian Deep Learning Methods for Semantic Segmentation
University of Oxford（牛津大学）
深度学习对于计算机视觉和语义分割来说是革命性的，特别是贝叶斯深度学习（BDL）用于在预测语义类别时从深度模型中获得不确定性图。例如，在将语义分割用于自动驾驶时，此信息至关重要。标准的语义分割系统具有完善的评估度量。然而，随着BDL在计算机视觉中的日益普及，我们需要新的指标来评估BDL方法是否比另一种方法产生更好的不确定性估计。在这项工作中，我们提出了三个这样的指标来评估专门为语义分割的任务设计的BDL模型。我们修改了DeepLab-v3+，最先进的深度神经网络之一，并使用MC dropout和Concrete dropout作为推理技术创建了贝叶斯对等体。然后，我们使用我们建议的指标在著名的Cityscapes数据集上比较和测试这两种推理技术。我们的研究结果为研究人员提供了新的基准，以比较和评估他们的改进不确定性量化追求更安全的语义分割。
2019-03-23 cs.CV
Unsupervised Domain Adaptation for Semantic Segmentation by Content Transfer
Yonsei University（延世大学）
在本文中，我们解决了语义分割的无监督领域自适应（UDA），其目的是使用标记的合成数据分割未标记的真实数据。UDA用于语义分割的主要问题依赖于减小真实图像和合成图像之间的域间隙。为了解决这个问题，我们专注于将图像中的信息分为内容和风格。在这里，只有内容具有语义分割的线索，而风格则构成了域间隙。因此，即使在利用合成数据进行学习时，图像中的内容和风格的精确分离也导致作为对真实数据的监督的效果。为了充分利用这种效果，我们提出了零式损失。即使我们在真实领域中完美地提取内容用于语义分割，另一个主要挑战，类不平衡问题，仍然存在于用于语义分割的UDA中。我们通过将尾类的内容从合成域转移到实域来解决这个问题。实验结果表明，该方法在两种主要的UDA设置下，均达到了最佳的语义分割性能。
2020-12-23 cs.CV
