MCIBI++: Soft Mining Contextual Information Beyond Image for Semantic Segmentation
共现视觉模式使得上下文聚合成为语义分割的一个重要范式，现有的研究主要集中在图像内部的上下文建模上，而忽略了图像外部相应范畴的有价值的语义。为此，我们提出了一种新的软挖掘上下文信息超越图像范例命名为MCIBI++，以进一步提高像素级表示。具体来说，我们首先建立了一个动态更新的内存模块来存储不同类别的目录级分布信息，然后在网络转发过程中利用这些信息来产生目录级类别表示。之后，我们为每个像素表示生成类概率分布，并以类概率分布为权重进行文本级上下文聚合。最后，原始的像素表示与聚合的文本级和传统的图像级上下文信息进行增强。此外，在推理阶段，我们还设计了一个由粗到细的迭代推理策略，以进一步提高分割结果。MCIBI++可以毫不费力地集成到现有的细分框架中，并带来一致的性能改进。此外，MCIBI++可以扩展到视频语义分割框架中，在基线上有相当大的改进。借助MCIBI++，我们在七个具有挑战性的图像或视频语义分割基准测试中实现了最先进的性能。
2022-09-09 cs.CV
Contextual Hourglass Networks for Segmentation and Density Estimation
NEC Labs Europe（日本电气欧洲实验室）
沙漏网络（如U-Net和V-Net）是用于医学图像分割和计数问题的流行神经架构。沙漏网络的典型实例包含镜像层之间的快捷连接。这些快捷连接提高了性能，并且假设这是由于减轻了对消失梯度问题的影响以及模型将早期和后期层的特征图组合起来的能力。我们提出了一种方法，不仅结合镜像层的特征图，但也具有不同的空间维度的层的特征图。例如，该方法使得能够将瓶颈特征图与重构层的瓶颈特征图集成。所提出的方法适用于任何沙漏架构。我们评估了上下文沙漏网络在医学领域的图像分割和对象计数问题。我们实现了竞争性的结果，超过流行的沙漏网络高达17个百分点。
2018-06-08 cs.CV
Segmentation Transformer: Object-Contextual Representations for Semantic Segmentation
Key Lab of Intelligent Information Processing of Chinese Academy of Sciences (CAS), Institute of Computing Technology, CAS（中国科学院智能信息处理重点实验室，中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Microsoft Research Asia（微软亚洲研究院）
在本文中，我们解决的语义分割问题，重点放在上下文聚合策略。我们的动机是像素的标签是像素所属的对象的类别。我们提出了一个简单而有效的方法，对象上下文表示，通过利用相应的对象类的表示来表征像素。首先，我们在地面实况分割的监督下学习对象区域。其次，我们计算对象区域表示聚集的像素位于对象区域的表示。最后，计算每个像素和每个对象区域之间的关系，并使用对象上下文表示来增强每个像素的表示，该对象上下文表示是所有对象区域表示根据它们与像素的关系的加权聚合。我们的经验表明，所提出的方法在各种具有挑战性的语义分割基准：Cityscapes，ADE 20 K，LIP，PASCAL上下文，COCO的东西，实现了有竞争力的性能。Cityscapes、ADE20K、LIP、PASCAL-Context和COCO-Stuff。我们提交的“HRNet + OCR + SegFix”在提交时在Cityscapes排行榜上排名第一。代码可在https://git.io/openseg和https://git.io/HRNet.OCR上获得。我们使用Transformer编码器-解码器框架重新表述对象上下文表示方案。详情见第3.3节。
2021-04-30 cs.CV
Mining Contextual Information Beyond Image for Semantic Segmentation
University of Science and Technology of China（中国科学技术大学）；ByteDance（字节跳动）
研究了语义图像分割中的上下文聚合问题。现有的研究主要集中在通过聚集单个图像中的上下文信息来改进像素表示。虽然令人印象深刻，这些方法忽略了输入图像之外的相应类的像素表示的重要性。为了解决这个问题，本文提出了挖掘的上下文信息超出个别图像，以进一步增强像素表示。我们首先建立了一个特征记忆模块，在训练过程中动态更新，以存储各种类别的标签级表示。然后，我们学习类概率分布的监督下，每个像素表示的地面实况分割。最后，通过基于相应类别概率分布聚合像素级表示来增强每个像素的表示。此外，通过利用存储的表级表示，我们还提出了一个表示一致的学习策略，使分类头更好地解决类内紧凑性和类间分散性。所提出的方法可以毫不费力地并入现有的分割框架（例如，FCN、PSPNet、OCRNet和DeepLabV 3），并带来一致的性能改进。挖掘图像之外的上下文信息使我们能够在各种基准测试中报告最先进的性能：ADE 20 K、LIP、Cityscapes和COCO-Stuff。
2021-08-26 cs.CV
Contextrast: Contextual Contrastive Learning for Semantic Segmentation
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Kookmin University（国民大学）
针对语义分割中局部/全局上下文及其关联缺失的问题，提出含上下文对比学习与边界感知负样本采样的Contextrast方法，在多数据集上以相同推理成本超越现有对比学习SOTA。
2024-10-08 cs.CV
SegET: Deep Neural Network with Rich Contextual Features for Cellular Structures Segmentation in Electron Tomography Image
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
电子断层扫描（ET）允许高分辨率重建的大分子复合物在近天然状态。电子断层图像重建数据中的细胞结构分割通常需要用于分析和可视化生物结构，使其成为定量描述整个细胞结构和理解生物功能的有力工具。然而，由于复杂的分子环境和ET重建数据的局限性，这些细胞结构很难从视图中自动分离或量化。在本文中，我们提出了一个端到端的深度全卷积语义分割网络，称为SegET，它具有丰富的上下文特征，充分利用了多尺度和多层次的上下文信息，减少了ET图像中细胞结构细节的丢失。我们训练和评估我们的网络上的电子断层扫描的CTL免疫突触从细胞图像库。我们的研究结果表明，SegET可以自动准确地分割，并在ET数据集中的每个结构上优于所有其他基线方法。
2018-11-28 cs.CV
Exploiting Local and Global Structure for Point Cloud Semantic Segmentation with Contextual Point Representations
Shenzhen University（深圳大学）；Tencent AI Lab（腾讯人工智能实验室）
在本文中，我们提出了一种新的模型，点云语义分割，利用本地和全局结构的点云的基础上的上下文点表示。具体来说，我们丰富了每一个点表示，通过执行一个新的门控融合点本身和它的上下文点。然后，基于丰富的表示，我们提出了一种新的图形点网络模块，依赖于图形的注意块动态地组成和更新每个点表示在本地点云结构。最后，我们诉诸于空间明智的和通道明智的注意力策略，利用点云的全球结构，从而产生每个点的语义标签。在公共点云数据库（即S3DIS和ScanNet数据集）上的广泛结果证明了我们提出的模型的有效性，优于最先进的方法。本文的代码可以在https://github.com/fly519/ELGS上找到。
2019-11-13 cs.CV
CI-Net: Contextual Information for Joint Semantic Segmentation and Depth Estimation
South China University of Technology（华南理工大学）；Shantou University（汕头大学）；University of Leeds（利兹大学）；China University of Geosciences（中国地质大学）
单目深度估计和语义分割是场景理解的两个基本目标。由于任务交互的优点，许多工作研究联合任务学习算法。然而，大多数现有的方法未能充分利用语义标签，忽略了提供的上下文结构，只使用它们来监督分割分割的预测，这限制了这两个任务的性能。在本文中，我们提出了一个网络注入上下文信息（CI-Net）来解决这个问题。具体来说，我们在编码器中引入自注意力块来生成注意力图。在语义标签创建的理想注意力地图的监督下，网络嵌入了上下文信息，以便更好地理解场景并利用相关特征进行准确预测。此外，通过构造特征共享模块，实现了任务特征的深度融合，并设计了一致性损失机制，实现了特征间的相互指导。我们在NYU-Depth-v2和SUN-RGBD数据集上评估了拟议的CI-Net。实验结果表明，提出的CI-Net能有效地提高语义分割和深度估计的准确率。
2021-09-01 cs.CV
A combined Approach Based on Fuzzy Classification and Contextual Region Growing to Image Segmentation
SAGE Research Unit ENISo, University of Sousse（苏塞大学 ENISo SAGE 研究单元）
本文提出了一种结合模糊语义区域分类和基于上下文的区域生长的图像分割方法。首先对输入图像进行过分割。然后，使用先验领域知识对这些区域进行模糊分类，以提供模糊语义标记。这使得所提出的方法，而不是使用低级别的功能，从而弥补语义差距的问题，在高级别上操作。每个过分割区域由一个向量表示，该向量给出其对不同主题标签的相应隶属度，因此整个图像由区域划分矩阵表示。通过两个主要阶段：聚焦和传播，在该矩阵上而不是图像像素上实现分割。聚焦的目的是选择种子区域，从这些区域将执行信息传播。传播阶段允许向其他区域传播，并使用模糊上下文信息，确保语义分割所需的知识。所提出的方法在乳房X线照片上的应用显示出有希望的结果
2016-08-08 cs.CV
GCUNet: A GNN-Based Contextual Learning Network for Tertiary Lymphoid Structure Semantic Segmentation in Whole Slide Image
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences (UCAS)（中国科学院大学人工智能学院）；Clinical Oncology School of Fujian Medical University（福建医科大学临床肿瘤学院）；Fujian Cancer Hospital（福建省肿瘤医院）；School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）
针对全视野数字切片中基于图像块的三级淋巴结构语义分割无法获取块外上下文的问题，提出基于GNN的GCUNet网络，通过聚合长程上下文并融合细节特征提升性能，构建并公开3个数据集，mF1较SOTA至少提升7.41%。
2024-12-09 cs.CV
Contextual Pyramid Attention Network for Building Segmentation in Aerial Imagery
Eindhoven University of Technology（埃因霍温理工大学）
从航空图像中提取建筑物在城市规划、变化检测和灾害管理等问题中有着广泛的应用。随着数据可用性的不断提高，近年来，用于遥感图像语义分割的卷积神经网络（CNN）得到了显著的改进。然而，卷积在局部邻域中操作，并且未能捕获在航空图像的语义理解中必不可少的非局部特征。在这项工作中，我们建议通过使用上下文金字塔注意力（CPA）捕获长距离依赖关系来改善不同大小的建筑分割。这些路径有效地处理多个尺度的输入，并以加权的方式将它们组合起来，类似于集成模型。所提出的方法获得国家的最先进的性能的Inria航空图像标注数据集以最小的计算成本。我们的方法比目前最先进的方法提高了1.8个点，比现有的交集超过并集（IoU）度量基准高出12.6个点，而无需任何后处理。代码和模型将公开发布。
2020-04-15 cs.CV
Context-aware Feature Generation for Zero-shot Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）
现有的语义分割模型严重依赖于密集的逐像素注释。为了减少标注的压力，我们专注于一个具有挑战性的任务命名为zero-shot语义分割，其目的是分割看不见的零注释对象。这个任务可以通过语义词嵌入跨类别传递知识来完成。在本文中，我们提出了一种新的上下文感知的zero-shot分割称为CaGNet的特征生成方法。特别是，观察到一个像素级的功能高度依赖于其上下文信息，我们插入一个上下文模块在分割网络捕捉像素级的上下文信息，这指导了从语义词嵌入生成更多样化和上下文感知功能的过程。我们的方法在三个基准数据集上实现了最先进的结果，用于zero-shot分割。代码可在https://github.com/bcmi/CaGNet-Zero-Shot-Semantic-Segmentation上获得。
2020-08-16 cs.CV
MACMD: Multi-dilated Contextual Attention and Channel Mixer Decoding for Medical Image Segmentation
School of Computing, University of Portsmouth（普森大学计算学院）；Department of Computer Science, Aberystwyth University（阿伯里斯特威斯大学计算机科学系）
针对医学图像分割中长程依赖建模与局部细节保留难以兼顾的问题，提出MACMD解码器，通过多膨胀上下文注意力、注意力驱动调制和跨通道混合模块，在多个Transformer编码器上实现了超越现有方法的Dice分数与计算效率。
2025-11-08 cs.CV
Cross Attention Network for Semantic Segmentation
The University of Manchester（曼彻斯特大学）
在本文中，我们解决了语义分割任务与深度网络，结合上下文特征和空间信息。交叉注意网络由两个分支和一个特征交叉注意（FCA）模块组成。具体地说，浅分支用于保存低级别的空间信息，深分支用于提取高级别的上下文特征。然后引入FCA模块将这两个分支结合起来。与现有的大多数注意力机制不同，FCA模块分别从两个分支获取空间注意力图和通道注意力图，然后将它们进行融合。上下文特征用于在融合特征图中提供全局上下文指导，并且空间特征用于细化定位。该网络在Cityscapes和CamVid数据集上的性能优于其他实时方法，速度更快，具有轻量级骨干，并通过深层骨干实现了最先进的性能。
2019-07-25 cs.CV
BiCANet: Bi-directional Contextual Aggregating Network for Image Semantic Segmentation
Nanjing University of Posts & Telecommunications（南京邮电大学）；Kyushu Institute of Technology（九州工业大学）；Temple University（天普大学）
近年来，在卷积神经网络（CNN）中探索上下文信息对于语义分割获得了大量关注。本文介绍了一个双向上下文聚合网络，称为BiCANet，语义分割。与以往在特征空间中编码上下文的方法不同，BiCANet从范畴的角度聚合上下文线索，主要由三部分组成：上下文凝聚投影块（CCPB）、双向上下文交互块（BCIB）和多尺度上下文融合块（MCFB）。更具体地说，CCPB通过分裂-转换-合并架构学习基于类别的映射，该架构将来自中间层的具有不同感受野的上下文线索浓缩。另一方面，BCIB采用密集的跳过连接来增强类级上下文交换。最后，MCFB通过调查短期和长期的空间依赖性来整合多尺度的上下文线索。为了评估BiCANet，我们对三个语义分割数据集进行了广泛的实验：PASCAL VOC 2012，Cityscapes和ADE 20 K。实验结果表明，BiCANet优于最近的国家的最先进的网络，没有任何后处理技术。特别是，BiCANet在PASCAL VOC 2012、Cityscapes和ADE 20 K测试集上的mIoU得分分别为86.7%、82.4%和38.66%。
2020-03-21 cs.CV eess.IV
Scene Labeling with Contextual Hierarchical Models
University of Utah（犹他大学）；Scientific Computing and Imaging Institute（科学计算与成像研究所）
场景标签是指为每个像素分配对象标签的问题。它统一了图像分割和目标识别问题。在场景标记框架中使用上下文信息的重要性已经在该领域中被广泛认识到。我们提出了一个上下文框架，称为上下文层次模型（CHM），它学习场景标记的层次框架中的上下文信息。在层次结构的每个级别，基于下采样的输入图像和先前级别的输出来训练分类器。然后，我们的模型将得到的多分辨率上下文信息纳入分类器中，以原始分辨率分割输入图像。这种训练策略允许通过层次结构在多个分辨率下优化联合后验概率。上下文层次模型纯粹基于输入图像块，不使用任何片段或形状示例。因此，它适用于各种问题，如对象分割和边缘检测。我们证明，CHM优于斯坦福背景和魏茨曼马数据集的最先进的。它还优于纽约大学深度数据集上最先进的边缘检测方法，并在伯克利分割数据集（BSDS 500）上达到最先进的水平。
2014-02-04 cs.CV
Evidence fusion with contextual discounting for multi-modality medical image segmentation
Heudiasyc（Heudiasyc实验室）；CNRS（法国国家科学研究中心）；Université de technologie de Compiègne（贡比涅技术大学）；Quantif（Quantif团队）；LITIS（LITIS实验室）；University of Rouen Normandy（鲁昂诺曼底大学）；Institut universitaire de France（法国大学研究院）；Henri Becquerel Cancer Center（亨利·贝克勒尔癌症中心）
由于信息源通常是不完善的，因此在多源信息融合任务中需要考虑其可靠性。在本文中，我们提出了一个新的深度框架，使我们能够合并多MR图像分割结果使用Dempster-Shafer理论的形式主义，同时考虑到不同的模态相对于不同的类的可靠性。该框架是由一个编码器-解码器特征提取模块，一个证据分割模块，计算每个模态的每个体素的置信函数，和一个多模态证据融合模块，它分配一个向量的折扣率的每个模态证据，并结合使用Dempster的规则折扣的证据。整个框架通过最小化基于折扣Dice指数的新损失函数来训练，以提高分割精度和可靠性。在包含1251例脑肿瘤患者的BraTs 2021数据库上对该方法进行了评估。定量和定性的结果表明，我们的方法优于最先进的，并实现了一个有效的新的想法，融合多信息的深度神经网络。
2022-11-22 cs.CV
Full Contextual Attention for Multi-resolution Transformers in Semantic Segmentation
Conservatoire National des Arts et Métiers（法国国立工艺学院）；IRCAD（消化外科研究所）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；ISIR（巴黎智能系统与机器人研究所）
Transformers已被证明对视觉识别任务非常有效。特别地，视觉Transformer通过自我注意和可学习的类标记来构造压缩的全局表示。多分辨率Transformers最近在语义分割方面取得了成功，但只能捕获高分辨率特征图中的局部交互。本文扩展了全局令牌的概念，以构建全局注意力多分辨率（GLAM）Transformers。GLAM是一个通用模块，可以集成到大多数现有的Transformer主干中。GLAM包括可学习的全局令牌，与以前的方法不同，它可以对所有图像区域之间的交互进行建模，并在训练期间提取强大的表示。大量的实验表明，GLAM-Swin或GLAM-Swin-UNet在ADE 20 K和Cityscapes上表现出比它们的香草对应物更好的性能。此外，GLAM可用于分割大型3D医学图像，GLAM-nnFormer在BCV数据集上实现了最先进的性能。
2022-12-15 cs.CV
Deep LOGISMOS: Deep Learning Graph-based 3D Segmentation of Pancreatic Tumors on CT scans
National Institutes of Health Clinical Center（美国国立卫生研究院临床中心）
本文报告了通过将来自深度上下文学习的边界信息合并到LOGISMOS（多个对象和表面的分层最佳图形图像分割）的3D肿瘤分割的深度LOGISMOS方法。准确可靠的肿瘤分割对于肿瘤生长分析和治疗选择至关重要。首先使用以肿瘤为中心的三个相邻2D补丁训练全卷积网络（FCN）UNet，为每个2D补丁提供上下文UNet分割和概率图。然后通过高斯混合模型（GMM）和形态学操作对UNet分割进行细化。使用改进的UNet分割来提供初始形状边界以构建分割图。图中每个节点的成本由UNet概率图确定。最后，最大流算法是用来寻找全局最优解，从而获得最终的分割。为了进行评估，我们将该方法应用于51个CT扫描数据集上的胰腺肿瘤分割，其中30个扫描用于训练，21个用于测试。使用深度LOGISMOS，DICE相似系数（DSC）和相对体积差异（RVD）分别达到83.2 ± 7.8%和18.6 ± 17.4%，与单独的上下文UNet和/或LOGISMOS相比，两者均显著改善（p<0.05）。
2018-01-25 cs.CV
Patch Network for medical image Segmentation
Beihang University（北京航空航天大学）；Carnegie Mellon University（卡内基梅隆大学）；Nankai University（南开大学）
医学图像的准确快速分割是临床上必不可少的，但目前的研究方法包括卷积神经网络推理速度快但难以学习图像上下文特征，Transformer性能好但硬件要求高。在本文中，我们提出了一个补丁网络（PNet），它将Swin Transformer概念融入卷积神经网络，使其能够收集更丰富的上下文信息，同时实现速度和准确性的平衡。我们在息肉（CVC-ClinicDB和ETIS- LaribPolypDB），皮肤（ISIC-2018皮肤病变分割挑战数据集）分割数据集上测试了我们的PNet。我们的PNet在速度和准确性方面都达到了SOTA性能。
2023-02-23 cs.CV
Weakly-supervised Semantic Segmentation via Dual-stream Contrastive Learning of Cross-image Contextual Information
针对弱监督语义分割忽视跨图像语义信息的问题，提出 DSCNet 端到端框架，通过 PGCL、SGCL 与 DSCL 联合建模像素级和语义级上下文，并在 PASCAL VOC、MS COCO 上优于 SOTA。
2024-05-08 cs.CV
Bridging spatial awareness and global context in medical image segmentation
Concordia Institute for Information Systems Engineering（康科德信息系统工程研究所）；Concordia University（康科德大学）
本文提出U-CycleMLP模型，通过改进的编码器-解码器架构，有效融合局部和全局上下文信息，提升医学图像分割的精度与鲁棒性。
2025-12-06 cs.CV
Smart Hypothesis Generation for Efficient and Robust Room Layout Estimation
Graz University of Technology（格拉茨工业大学）；University of Bordeaux（波尔多大学）
我们提出了一种新的方法来有效地估计一个房间的空间布局从一个单一的单目RGB图像。由于现有的方法基于低级别的特征提取，其次是消失点估计是非常缓慢的，往往在现实的情况下是不可靠的，我们建立在输入图像的语义分割。为了获得更好的分割，我们引入了一个强大的，准确的和非常有效的假设和测试计划。其关键思想是使用三个分割假设，每个假设基于不同数量的可见墙壁。对于每个假设，我们预测房间角落的图像位置，并选择从房间角落估计的布局与分割一致的假设。我们在三个具有挑战性的基准数据集上展示了我们方法的效率和鲁棒性，在这些数据集上，我们的表现明显优于最先进的方法。
2019-10-27 cs.CV
Contextual Embedding Learning to Enhance 2D Networks for Volumetric Image Segmentation
Shenzhen University（深圳大学）；Shenzhen University Medical School（深圳大学医学院）；School of Biomedical Engineering（生物医学工程学院）；Huawei Cloud Computing Technologies Company Limited（华为云计算技术有限公司）；Shenzhen University General Hospital（深圳大学总医院）
针对传统2D CNN难以利用体数据空间相关性、3D CNN内存计算开销大的问题，提出上下文嵌入学习方法，通过逐切片邻域匹配传递上下文信息，以即插即用且内存高效的方式增强2D网络的体数据医学图像分割性能，在PROMISE12和CHAOS数据集上验证有效。
2024-05-18 cs.CV eess.IV
ConSeg: Contextual Backdoor Attack Against Semantic Segmentation
School of Information and Technology（信息科技学院）；Deakin University（德肯大学）；School of Information and Communication Technology（信息与通信技术学院）；Griffith University（格里菲斯大学）；School of Computer Science（计算机科学学院）；University of Technology Sydney（技术大学悉尼分校）
本文提出ConSeg后门攻击，通过模拟并重建目标类别与受害者区域间的共现上下文关系，提升语义分割攻击效果，ASR较现有方法提高15.55%，并能抵抗先进防御。
2025-07-26 cs.CR cs.CV
Learning to Predict Context-adaptive Convolution for Semantic Segmentation
CUHK-SenseTime Joint Laboratory, The Chinese University of Hong Kong（香港中文大学-商汤科技联合实验室）；Shenzhen Key Lab of Computer Vision and Pattern Recognition, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院计算机视觉与模式识别深圳市重点实验室）；SenseTime Research（商汤科技研究院）
长距离上下文信息对于实现高性能的语义分割是必不可少的。以往的特征重加权方法表明，使用全局上下文重加权特征通道可以有效地提高语义分割的准确性。然而，全局共享特征重新加权向量对于输入图像中的不同类别的区域可能不是最佳的。在本文中，我们提出了一个上下文自适应卷积网络（CaC-Net）预测的语义特征地图的每个空间位置的空间变化的特征权重向量。在CaC-Net中，以参数有效的方式从全局上下文信息预测一组上下文自适应卷积核。当用于与语义特征图的卷积时，预测的卷积核可以生成捕获全局和局部上下文信息两者的空间变化特征加权因子。综合实验结果表明，我们的CaC-Net在三个公共数据集，PASCAL Context，PASCAL VOC 2012和ADE 20 K上取得了优异的分割性能。
2020-08-26 cs.CV
Sparse Spatial Attention Network for Semantic Segmentation
The University of Manchester（曼彻斯特大学）
空间注意力机制通过将全局上下文信息聚合到每个查询位置来捕获长距离依赖性，这有利于语义分割。在本文中，我们提出了一个稀疏空间注意力网络（SSANet），以提高空间注意力机制的效率，而不牺牲性能。具体而言，提出了一种稀疏非本地（SNL）块采样每个查询元素的键和值元素的子集，以自适应地捕获长程关系，并生成稀疏亲和矩阵，以有效地聚合上下文信息。在Cityscapes、PASCAL Context和ADE 20K数据集上的实验结果表明，该方法的性能优于其他上下文聚合方法，达到了最先进的性能。
2021-09-04 cs.CV
Context-Aware Mixup for Domain Adaptive Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；SenseTime Research（商汤科技研究院）；Deakin University（迪肯大学）
无监督领域自适应（UDA）的目的是使已标记源域的模型适应未标记的目标域。现有的基于UDA的语义分割方法通常在像素级、特征级和输出级上减少域偏移。然而，几乎所有的方法都在很大程度上忽略了上下文依赖性，这通常是在不同的领域共享，导致不理想的性能。在本文中，我们提出了一种新的上下文感知混合（CAMix）框架的领域自适应语义分割，它利用上下文依赖的这一重要线索作为明确的先验知识，在一个完全端到端的可训练的方式，以提高对目标领域的适应性。首先，我们提出了一个上下文掩码生成策略，利用积累的空间分布和先验上下文关系。生成的上下文掩码在这项工作中至关重要，它将在三个不同的级别上指导上下文感知域混淆。此外，在提供上下文知识的情况下，我们引入了一个重要性重新加权的一致性损失来惩罚混合学生预测和混合教师预测之间的不一致性，这消除了适应的负迁移，例如，早期性能下降。大量的实验和分析表明，我们的方法对国家的最先进的方法广泛使用的UDA基准的有效性。
2022-09-11 cs.CV
Contextual Hourglass Network for Semantic Segmentation of High Resolution Aerial Imagery
University of Michigan（密歇根大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
针对航空图像语义分割中目标尺寸多变和类别不平衡的挑战，提出Contextual Hourglass Network，通过结合注意力机制的上下文沙漏模块和堆叠编码器-解码器结构提取多尺度特征，在Potsdam和Vaihingen数据集上取得最佳总体性能。
2024-06-05 cs.AI cs.CV cs.LG
Semi-Supervised Semantic Segmentation via Marginal Contextual Information
Technion（以色列理工学院）；NVIDIA AI（英伟达人工智能部门）
本文提出S4MC方法，通过利用分割图中相邻像素标签的空间上下文信息来精炼伪标签，在保持伪标签质量的同时增加无标签数据的使用量，从而以可忽略的计算开销提升半监督语义分割性能。
2024-07-03 cs.CV cs.LG
Context Patch Fusion With Class Token Enhancement for Weakly Supervised Semantic Segmentation
School of Cyber Science and Engineering, Wuxi University（网络安全科学与工程学院，无锡大学）；School of Informatics, Xiamen University（信息学院，厦门大学）；School of Computer Science, University of Liverpool（计算机科学学院，利物浦大学）
CPF-CTE通过上下文补丁融合与类令牌增强，提升弱监督语义分割的准确性和鲁棒性。
2026-01-21 cs.CV
DCANet: Dense Context-Aware Network for Semantic Segmentation
Zhejiang University（浙江大学）
随着上下文信息的优势在高级语义分割中逐渐显现，学习捕捉紧凑的上下文关系有助于理解复杂场景。与以前的一些利用多尺度上下文融合的作品相比，我们提出了一种新的模块，命名为密集上下文感知（DCA）模块，自适应地将局部细节信息与全局依赖性相结合。在上下文关系的驱动下，DCA模块可以更好地实现上下文信息的聚合，生成更强大的特征。此外，我们特意设计了两个扩展结构的DCA模块的基础上，进一步捕捉远程上下文依赖信息。通过级联或并行组合DCA模块，我们的网络使用渐进策略来改进多尺度特征表示，以实现稳健的分割。我们通过对三个具有挑战性的数据集（包括PASCAL VOC 2012，Cityscapes和ADE 20K）进行广泛的实验，实证证明了我们的方法（DCANet）的良好性能。
2021-04-06 cs.CV
Classifier Enhancement Using Extended Context and Domain Experts for Semantic Segmentation
School of Electrical and Data Engineering, University of Technology Sydney（电子与数据工程学院，技术悉尼大学）；Department of Computer Science, University of Central Florida（计算机科学系，中央佛罗里达大学）
针对语义分割中普通分类器无法适配单图特征、类别不平衡导致少数类分割效果差的问题，提出结合记忆库与师生网络的扩展上下文感知分类器，动态调整分类器实现精准像素标注，在多个数据集上达到SOTA性能。
2025-10-29 cs.CV
Attention Toward Neighbors: A Context Aware Framework for High Resolution Image Segmentation
Independent University, Bangladesh（孟加拉国独立大学）
由于中间特征图的巨大尺寸，高分辨率图像分割仍然具有挑战性且容易出错。传统的方法避免了这个问题，通过使用基于补丁的方法，其中每个补丁是独立分割。然而，独立的补丁分割会引起错误，特别是在补丁边界，由于缺乏上下文信息在非常高分辨率的图像中，补丁大小是小得多相比，完整的图像。为了克服这些局限性，在本文中，我们提出了一种新的框架分割一个特定的补丁，将上下文信息从其相邻的补丁。这允许分割网络以更宽的视野看到目标块，而不需要更大的特征图。从一些实验的比较分析表明，我们提出的框架是能够分割高分辨率的图像，显着提高平均交集超过工会和整体精度。
2021-06-24 cs.CV
CPCM: Contextual Point Cloud Modeling for Weakly-supervised Point Cloud Semantic Segmentation
South China University of Technology（华南理工大学）；Pazhou Lab（琶洲实验室）；Baidu Inc.（百度公司）
针对稀疏标注下弱监督点云语义分割的上下文与目标信息提取难题，提出由区域级掩码策略和上下文掩码训练方法组成的CPCM，在两大基准上超越现有最优水平。
2023-07-19 cs.CV eess.IV
CCNet: Criss-Cross Attention for Semantic Segmentation
Huazhong University of Science and Technology（华中科技大学）；University of Technology Sydney（悉尼科技大学）；Horizon Robotics（地平线机器人）；University of Oregon（俄勒冈大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
上下文信息在诸如语义分割和目标检测等视觉理解问题中是至关重要的。我们提出了一个十字交叉网络（CCNet），用于以非常有效和高效的方式获取完整图像上下文信息。具体地说，对于每个像素，一个新的交叉注意力模块收集其交叉路径上所有像素的上下文信息，通过进一步的递归操作，每个像素最终可以捕获整个图像的依赖关系。此外，提出了一种类别一致性损失，以加强交叉注意模块，以产生更多的歧视性特征。总体而言，CCNet具有以下优点：1）GPU内存友好。与非局部块相比，所提出的循环交叉注意模块需要的GPU内存使用量减少了11倍。2)计算效率高。反复的交叉注意显著地减少了约85%的非局部块的FLOP。3)最先进的表演我们在语义分割基准测试中进行了大量的实验，包括Cityscapes，ADE 20 K，人类解析基准测试LIP，实例分割基准测试COCO，视频分割基准测试CamVid。特别是，我们的CCNet在Cityscapes测试集、ADE20K验证集和LIP验证集上的mIoU得分分别为81.9%、45.76%和55.47%，这是最新的最先进的结果。源代码可从\url{https://github.com/speedinghzl/CCNet}获得。
2020-07-09 cs.CV
Contextual Peano Scan and Fast Image Segmentation Using Hidden and Evidential Markov Chains
Segula Matra Automotive（赛科拉马特拉汽车公司）；Télécom SudParis（南巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）
本文提出了一种结合上下文皮亚诺扫描和证据马尔可夫链的新型模型，用于高效且精确的图像分割。
2025-12-12 cs.CV math.ST stat.AP
Esri（环境系统研究所公司）；SeerAI
In applied image segmentation tasks, the ability to provide numerous and precise labels for training is paramount to the accuracy of the model at inference time. However, this overhead is often neglected, and recently proposed segmentation architectures rely heavily on the availability and fidelity of ground truth labels to achieve state-of-the-art accuracies. Failure to acknowledge the difficulty in creating adequate ground truths can lead to an over-reliance on pre-trained models or a lack of adoption in real-world applications. We introduce Points2Polygons (P2P), a model which makes use of …
2021-06-05 cs.CV
Contextualising Implicit Representations for Semantic Tasks
University of Oxford（牛津大学）
提出一种上下文化模块，将仅用于重构的隐式表示编码转化为可用于语义分割等下游任务的语义信息，在保持重构性能的同时提升分割效果，并支持未来基础模型在未见任务上的微调。
2023-05-22 cs.CV
Context Prior for Scene Segmentation
Huazhong University of Science and Technology（华中科技大学）；The University of Adelaide（阿德莱德大学）；The Chinese University of Hong Kong（香港中文大学）；Tencent（腾讯）
最近的工作已经广泛地探索了上下文依赖性，以实现更准确的分割结果。然而，大多数方法很少区分不同类型的上下文依赖，这可能会污染场景理解。在这项工作中，我们直接监督的特征聚合，以区分类内和类间的上下文清楚。具体来说，我们开发了一个上下文先验与监督的亲和力损失。给定输入图像和相应的地面真值，Affinity Loss构造了一个理想的亲和图来监督上下文先验的学习。学习的上下文先验提取属于同一类别的像素，而反向先验则关注不同类别的像素。嵌入到传统的深CNN，所提出的上下文先验层可以选择性地捕获类内和类间上下文依赖关系，从而产生鲁棒的特征表示。为了验证其有效性，我们设计了一个有效的上下文先验网络（CPNet）。大量的定量和定性评估表明，该模型表现良好，对国家的最先进的语义分割的方法。更具体地说，我们的算法在ADE 20 K上实现了46.3%的mIoU，在PASCAL-Context上实现了53.9%的mIoU，在Cityscapes上实现了81.3%的mIoU。代码可在https://git.io/ContextPrior上获得。
2020-04-03 cs.CV
CAVIS: Context-Aware Video Instance Segmentation
DGIST
提出上下文感知视频实例分割框架CAVIS，通过上下文感知实例跟踪器和原型跨帧对比损失增强实例关联，在VIS和VPS基准上超越现有方法，尤其擅长OVIS挑战性视频。
2025-07-09 cs.CV
AlignSeg: Feature-Aligned Segmentation Networks
School of Electronic Information and Communications, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院）；AAII, University of Technology Sydney（悉尼科技大学人工智能高级研究院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；University of Oregon（俄勒冈大学）；Picsart AI Research（Picsart人工智能研究院）
根据不同的卷积块或上下文嵌入来聚合特征已被证明是加强用于语义分割的特征表示的有效方式。然而，目前流行的网络架构往往忽略了在特征聚合过程中由1）逐步下采样操作和2）不加选择的上下文信息融合引起的失准问题。在本文中，我们探讨了解决这些特征不对齐问题的原则，并创造性地提出了一种基于特征对齐的分割网络（AlignSeg）。AlignSeg由两个主要模块组成，即，Aligned Feature Aggregation（AlignFA）模块和Aligned Context Modeling（AlignCM）模块。首先，AlignFA采用一种简单的可学习的插值策略来学习像素的变换偏移量，可以有效地缓解多分辨率特征聚合引起的特征错位问题。其次，有了上下文嵌入，AlignCM使每个像素能够以自适应的方式选择私人自定义上下文信息，使上下文嵌入更好地对齐，以提供适当的指导。我们通过在Cityscapes和ADE 20K上进行的广泛实验验证了AlignSeg网络的有效性，分别获得了82.6%和45.95%的最新mIoU分数。我们的源代码将提供。
2021-03-02 cs.CV eess.IV
Polarimetric SAR Image Semantic Segmentation with 3D Discrete Wavelet Transform and Markov Random Field
University of Bristol（布里斯托大学）；Shanghai Em-Data Technology Co., Ltd.（上海数慧科技股份有限公司）；China University of Mining and Technology（中国矿业大学）；University of Derby（德比大学）
极化合成孔径雷达（PolSAR）图像分割是当前遥感应用中图像处理的重要内容。然而，由于两个主要原因，这是一项具有挑战性的任务。首先，由于标注成本高，标签信息难以获取。其次，相干斑效应嵌入在极化SAR成像过程中显着降低了分割性能。针对这两个问题，本文提出了一种上下文PolSAR图像语义分割方法，以新定义的通道一致性特征集为输入，利用三维离散小波变换（3D-DWT）技术提取对相干斑噪声具有鲁棒性的多尺度判别特征。然后，马尔可夫随机场（MRF）进一步应用于执行标签的平滑空间分割。通过首次同时利用3D-DWT特征和MRF先验，在分割过程中完全集成了上下文信息，以确保准确和平滑的分割。为了证明所提出的方法的有效性，我们进行了广泛的实验上的三个真正的基准极化SAR图像数据集。实验结果表明，该方法使用最少的标记像素数，获得了较好的分割精度和较好的空间一致性。
2020-08-05 cs.CV
segDeepM: Exploiting Segmentation and Context in Deep Neural Networks for Object Detection
University of Toronto（多伦多大学）
在本文中，我们提出了一种方法，利用对象分割，以提高目标检测的准确性。我们框架的问题，在马尔可夫随机场的推理，其中每个检测假设得分对象的外观以及上下文信息使用卷积神经网络，并允许该假设选择和评分的一个大池的准确的对象分割建议的一段。这使得探测器能够在获得额外证据时将其纳入，从而导致更准确的探测。我们的实验显示，在PASCAL VOC 2010上，mAP比R-CNN基线提高了4.1%，比目前最先进的提高了3.4%，证明了我们方法的强大性。
2015-02-15 cs.CV
AdapToPASS: Ambiguity-aware Adaptive Spherical Transformer for Panoramic Semantic Segmentation
NTU Singapore（新加坡南洋理工大学）；HKUST（香港科技大学）
AdapToPASS是一种生物启发的球形Transformer，通过自适应建模歧义提升全景语义分割性能，在未见过的球形变换下较次优方法相对mIoU提升最高18.77%，轻量变体参数不足2M且性能优于紧凑基线。
2026-09-28 cs.CV
Class-wise Dynamic Graph Convolution for Semantic Segmentation
Peking University（北京大学）；SenseTime Group Limited（商汤科技集团有限公司）；Beijing University of Posts and Telecommunications（北京邮电大学）
最近的工作已经在语义分割方面取得了很大的进展，这些工作通过以局部或全局的方式利用上下文信息，使用扩张卷积、金字塔池或自注意力机制。为了避免潜在的误导性上下文信息聚合在以前的作品中，我们提出了一个类明智的动态图卷积（CDGC）模块自适应地传播信息。在同一类中的像素之间执行图推理。在提出的CDGC模块的基础上，我们进一步介绍了类动态图卷积网络（CDGCNet），它由两个主要部分组成，包括CDGC模块和基本分割网络，形成了一个由粗到细的范例。CDGC模块将粗分割结果作为类掩码，提取节点特征用于图的构建，并对构建的图进行动态图卷积，学习特征聚合和权值分配。然后将细化后的特征与原始特征进行融合，得到最终的预测结果。我们对三个流行的语义分割基准测试进行了广泛的实验，包括Cityscapes，PASCAL VOC 2012和COCO Stuff，并在所有三个基准测试中实现了最先进的性能。
2020-07-19 cs.CV
Efficient Smoothing of Dilated Convolutions for Image Segmentation
扩张卷积已被证明是非常有用的图像分割任务。通过在卷积滤波器中引入间隙，它们可以使用更大的感受野，而不会增加原始的内核大小。尽管这允许以不同尺度廉价地捕获特征，但扩张卷积滤波器的结构导致信息丢失。我们假设对扩张卷积神经网络进行廉价的修改，例如额外的平均层，可以克服这一限制。在这个项目中，我们测试这个假设，通过评估这些修改的效果，最先进的图像分割系统，并将它们与现有的方法具有相同的目标。实验结果表明，我们提出的方法提高了扩张卷积图像分割的性能。至关重要的是，我们的修改实现这些结果在一个更低的计算成本比以前的平滑方法。
2019-03-19 cs.CV
MEDOE: A Multi-Expert Decoder and Output Ensemble Framework for Long-tailed Semantic Segmentation
Zhejiang University（浙江大学）；The Hong Kong University of Science and Technology（香港科技大学）
针对长尾语义分割中尾部类别性能差的问题，提出模型无关的 MEDOE 框架，通过多专家解码与可学习输出集成保留上下文信息，在 Cityscapes 和 ADE20K 上显著提升 mIoU 与 mAcc。
2023-08-16 cs.CV
Lite-HDSeg: LiDAR Semantic Segmentation Using Lite Harmonic Dense Convolutions
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
自动驾驶车辆和机器人系统依赖于对其周围环境的准确感知。场景理解是感知模块的重要组成部分。在所有可用的传感器中，LiDAR是自动驾驶系统的基本传感方式之一，因为它们具有高分辨率的传感器读数的主动传感特性。为了充分利用LiDAR传感器进行场景理解，需要准确快速的语义分割方法。在本文中，我们提出了Lite-HDSeg，一种新的实时卷积神经网络的完整$3$ D激光雷达点云的语义分割。Lite-HDSeg在SemanticKitti基准测试中可以实现最佳的精度与计算复杂性的权衡，并且是基于一种新的编码器-解码器架构设计的，该架构以轻量级谐波密集卷积为核心。此外，我们引入ICM，一个改进的全球上下文模块，以捕捉多尺度的上下文特征，和MCSPN，一个多类空间传播网络，以进一步细化语义边界。实验结果表明，该方法优于最先进的语义分割方法，可以实时运行，因此适用于机器人和自动驾驶应用。
2021-03-16 cs.CV
Hierarchical Pyramid Representations for Semantic Segmentation
Hiroshima University（广岛大学）；Gifu University（岐阜大学）
对于语义分割来说，理解复杂和杂乱场景的上下文是一个具有挑战性的问题。然而，在没有事先和额外监督的情况下，很难对上下文进行建模，因为场景的因素，例如对象的规模、形状和外观，在这些场景中变化很大。为了解决这个问题，我们建议学习对象的结构和对象之间的层次结构，因为上下文是基于这些内在属性。在这项研究中，我们设计了新的层次结构，上下文，和多尺度的金字塔表示捕捉输入图像的属性。我们的核心思想是递归分割在不同的层次区域的基础上预定义的区域数量和聚合的上下文在这些地区。聚集的上下文被用来预测区域之间的上下文关系，并在下面的层次结构中划分区域。最后，通过构造金字塔表示从递归聚集的上下文，多尺度和层次性质。在实验中，我们证实了我们提出的方法在PASCAL上下文中达到了最先进的性能。
2021-04-05 cs.CV
Contextrast++: Robust Multi-Scale Contextual Contrastive Learning for Semantic Segmentation
Information & Electronics Research Institute, KAIST（韩国科学技术院信息与电子研究院）；Zoox Inc.（Zoox公司）；KAIST (Korea Advanced Institute of Science and Technology)（韩国科学技术院）；Hanwha Aerospace（韩华宇航）；School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）
针对语义分割中上下文捕捉与长尾分布问题，提出含CCL、BANE采样的Contextrast++，在无额外推理开销下提升了基于对比学习的SOTA方法性能。
2026-08-25 cs.CV cs.RO
AMMNet: An Asymmetric Multi-Modal Network for Remote Sensing Semantic Segmentation
School of Computer Science, The University of Sydney（计算机科学学院，悉尼大学）；School of Computer and Artificial Intelligence, Beijing Technology and Business University（计算机与人工智能学院，北京技术与商业大学）
针对RGB与DSM融合中的架构冗余和模态不对齐问题，提出AMMNet，通过非对称双编码器、先验融合与分布对齐实现高效鲁棒的遥感语义分割，并在两个ISPRS基准上达到先进精度。
2025-07-22 cs.CV
Hierarchical Point-Edge Interaction Network for Point Cloud Semantic Segmentation
The Chinese University of Hong Kong（香港中文大学）；Tencent YouTu Lab（腾讯优图实验室）
我们实现了3D语义场景标注，通过边缘探索每个点和它的上下文邻居之间的语义关系。除了用于预测点标签的编码器-解码器分支之外，我们还构建了边缘分支来分层整合点特征并生成边缘特征。为了在边缘分支中加入点特征，我们建立了一个分层图框架，其中图从粗层初始化，并沿着点解码过程逐渐丰富。对于最终图中的每条边，我们预测一个标签来指示两个连接点的语义一致性，以增强点预测。在不同的层，边缘特征也被馈送到相应的点模块，以集成上下文信息，用于局部区域中的消息传递增强。这两个分支相互作用，在分割中相互合作。在多个3D语义标注数据集上的实验结果证明了本文工作的有效性。
2019-09-23 cs.CV
Vanishing-Point-Guided Video Semantic Segmentation of Driving Scenes
ETH Zürich（苏黎世联邦理工学院）；Nankai University（南开大学）；Nankai International Advanced Research Institute (SHENZHEN FUTIAN)（南开大学深圳福田国际高级研究院）
本文首次提出利用消失点先验的VPSeg网络，通过DenseVP和MotionVP模块结合上下文-细节框架，有效解决驾驶场景视频语义分割中的跨帧对应和计算成本问题，在Cityscapes和ACDC基准上超越SOTA。
2024-04-26 cs.CV
