DiSa: Saliency-Aware Foreground-Background Disentangled Framework for Open-Vocabulary Semantic Segmentation
Department of Computer Science and Engineering, Lehigh University（计算机科学与工程系，莱恩大学）；Department of Computer Science（计算机科学系）；Engineering, Lehigh University（工程系，莱恩大学）；Qualcomm AI Research（高通人工智能研究）
DiSa通过显著性感知解耦框架和分层细化模块，有效解决开放词汇语义分割中前景偏见和空间定位不足的问题，提升分割精度。
2026-01-27 cs.CV
LooseCut: Interactive Image Segmentation with Loosely Bounded Boxes
University of South Carolina（南卡罗来纳大学）；Zhejiang University（浙江大学）；Utah State University（犹他州立大学）
从图像中交互地分割感兴趣的前景对象的一种流行方法是注释覆盖前景对象的限界框。然后，执行二进制标记以实现精细分割。用于这种交互式图像分割的现有算法的一个主要问题是它们对紧密包围前景对象的输入限界框的偏好。这增加了注释负担，并阻止这些算法利用自动检测到的边界框。在本文中，我们开发了一个新的LooseCut算法，可以处理的情况下，输入的限界框只松散地覆盖前景对象。我们提出了一个新的马尔可夫随机场（MRF）模型分割松散的有界框，包括一个全局相似性约束，以更好地区分前景和背景，和一个额外的能量项，以鼓励一致的标签相似外观的像素。这个MRF模型，然后解决了迭代最大流算法。在实验中，我们在三个公开的图像数据集中评估LooseCut，并将其性能与几种最先进的交互式图像分割算法进行比较。我们还表明，LooseCut可用于增强无监督视频分割和图像显著性检测的性能。
2015-11-22 cs.CV
Visual Boundary Knowledge Translation for Foreground Segmentation
Zhejiang University（浙江大学）；Zhejiang Lab（之江实验室）；Stevens Institute of Technology（斯蒂文斯理工学院）；Jiangsu University of Science and Technology（江苏科技大学）
当面对图像中未知类型的物体时，人类可以毫不费力地精确地说出它们的视觉边界。这种识别机制和潜在的泛化能力似乎与依赖于大规模类别感知注释训练样本的最先进的图像分割网络形成对比。在本文中，我们尝试构建明确考虑视觉边界知识的模型，希望减少分割未见过类别的训练工作。具体来说，我们研究了一个新的任务，称为边界知识翻译（BKT）。给定一组完全标记的类别，BKT的目标是将从标记类别中学习到的视觉边界知识转换为一组新的类别，每个类别仅提供少量标记样本。为此，我们提出了一个翻译分割网络（Trans-Net），它包括一个分割网络和两个边界判别器。分割网络结合边界感知的自监督机制进行前景分割，而两个判别器以对抗的方式共同工作，以确保在轻监督下准确分割新类别。详尽的实验表明，只有几十个标记样本作为指导，Trans-Net实现了与完全监督方法相当的接近结果。
2021-08-01 cs.CV
Built-in Foreground/Background Prior for Weakly-Supervised Semantic Segmentation
Commonwealth Science and Industrial Research Organization (CSIRO)（澳大利亚联邦科学与工业研究组织）；EPFL（瑞士洛桑联邦理工学院）；The Australian National University (ANU)（澳大利亚国立大学）
像素级注释的获取成本高且耗时。因此，仅使用图像标签的弱监督可能在语义分割中具有显著影响。最近，基于CNN的方法已经提出使用图像标签来微调预训练的网络。在没有附加信息的情况下，这导致较差的定位精度。然而，这个问题得到缓解，利用对象先验生成前景/背景掩模。不幸的是，这些先验要么需要训练像素级注释/边界框，要么仍然产生不准确的对象边界。在这里，我们提出了一种新的方法，从预先训练的网络本身中提取出明显更准确的掩码，放弃了外部对象模块。这是通过激活更高级别的卷积层来实现的，由密集的CRF平滑。我们证明了我们的方法，基于这些面具和弱监督损失，优于最先进的基于标签的弱监督语义分割技术。此外，我们引入了一种新形式的廉价的弱监督产生额外的准确性提高。
2016-09-02 cs.CV
Progressively Dual Prior Guided Few-shot Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）；Eastern Institute for Advanced Study（东方理工高等研究院）；Northwestern Polytechnical University（西北工业大学）
Few-Shot语义分割任务的目的是在查询图像中使用少量带注释的支持样本进行分割。目前，Few-Shot分割方法主要集中在利用前景信息，而没有充分利用丰富的背景信息，这可能会导致错误激活类似前景的背景区域，并且不适应支持-查询图像对的剧烈场景变化。同时，由于原型处理对象外观变化的能力有限，细节挖掘机制的缺乏可能导致粗糙的解析结果，没有一些语义成分或边缘区域。为了解决这些问题，我们提出了一个渐进的双重先验引导的Few-Shot语义分割网络。首先设计了双先验模板生成（DPMG）模块，将背景作为辅助细化信息，以前景-背景比较的方式抑制错误激活。在此基础上，提出了一种渐进式语义细节丰富（PSDE）模块，通过迭代删除高置信度的前景区域并激活其余区域中的细节，使解析模型能够捕获隐藏的语义细节。DPMG和PSDE的合作制定了一个新的Few-Shot分割网络，可以以端到端的方式学习。在PASCAL-5i和MS COCO上的综合实验表明，该算法具有较好的性能。
2022-11-20 cs.CV
Screen Content Image Segmentation Using Robust Regression and Sparse Decomposition
本文考虑如何从屏幕内容和混合文档图像中的平滑背景中分离文本和/或图形，并提出了两种方法来执行此分割任务。所提出的方法利用这样的事实，即在每个块中的背景通常是平滑变化的，可以很好地建模由几个平滑变化的基函数的线性组合，而前景的文本和图形创建尖锐的不连续性。该算法通过尝试使用两种不同的方案将块中的背景像素值拟合到平滑函数中来分离背景和前景像素。一种是基于鲁棒回归，其中内点像素将被视为背景，而剩余的离群点像素将被视为前景。第二种方法使用稀疏分解框架，其中背景和前景层分别用平滑和稀疏分量建模。这些算法已经在从用于屏幕内容编码的HEVC标准测试序列中提取的图像上进行了测试，并且显示出比以前的方法具有更优越的性能。所提出的方法可以用于不同的应用，如文本提取，单独的编码的背景和前景的屏幕内容的压缩，和医学图像分割。
2016-07-08 cs.CV
A Fully Convolutional Two-Stream Fusion Network for Interactive Image Segmentation
Loughborough University（拉夫堡大学）；The ICE Agency（ICE机构）
在本文中，我们提出了一种新的全卷积双流融合网络（FCTSFN）的交互式图像分割。所提出的网络包括两个子网络：双流后期融合网络（TSLFN），以降低的分辨率预测前景，以及多尺度细化网络（MSRN），以全分辨率细化前景。TSLFN包括两个不同的深度流，然后是融合网络。直觉是，由于用户交互是关于前景/背景的比图像本身更直接的信息，TSLFN的双流结构减少了纯用户交互特征和网络输出之间的层数，允许用户交互对分割结果产生更直接的影响。MSRN融合了TSLFN不同层次的不同尺度的特征，以寻求局部到全局的前景信息，从而在全分辨率下改进分割结果。我们在四个基准数据集上进行了全面的实验。实验结果表明，与目前最先进的交互式图像分割方法相比，该网络具有很好的性能
2018-10-02 cs.CV
I Can See Clearly Now : Image Restoration via De-Raining
Oxford Robotics Institute, University of Oxford（牛津大学牛津机器人研究所）
我们提出了一种方法，用于改善受粘附雨滴和条纹影响的图像分割任务。我们介绍了一种新的立体数据集记录使用的系统，允许一个镜头受到真实的水滴，同时保持其他镜头清晰。我们使用该数据集训练一个去噪生成器，并表明在图像重建和道路标记分割的背景下，它可以有效地去除真实水滴的影响。为了进一步测试我们的去噪方法，我们描述了一种方法，添加计算机生成的粘附水滴和条纹的任何图像，并使用这种技术作为代理，以证明我们的模型在一般的语义分割的上下文中的有效性。我们使用CamVid道路标记分割数据集，Cityscapes语义分割数据集和我们自己的真实降雨数据集对我们的结果进行基准测试，并在所有任务上显示出显着的改进。
2019-01-03 cs.CV
Image Segmentation Using Overlapping Group Sparsity
稀疏分解在声源分离、图像分类和图像去噪等方面有着广泛的应用。本文提出了一种新的算法分割图像的背景和前景的文字和图形使用稀疏分解。首先，使用合适的平滑模型表示背景，该平滑模型是几个平滑变化的基函数的线性组合，并且前景文本和图形被建模为覆盖在平滑背景上的稀疏分量。然后利用稀疏分解框架，通过引入一定的先验信息，实现了背景和前景的分离，提高了背景的平滑性和前景像素的稀疏性和连通性。该算法已经在从HEVC标准测试序列中提取的用于屏幕内容编码的图像数据集上进行了测试，并且表现出优于现有方法，包括最小绝对偏差拟合，DjVu中基于k均值聚类的分割，以及形状图元提取和编码算法。
2016-12-21 cs.CV
Static object detection and segmentation in videos based on dual foregrounds difference with noise filtering
Umea University（于默奥大学）
本文提出了一种从复杂场景中提取静态目标检测和分割的方法。在许多监控应用中，由于运动目标的存在，鲁棒的静态目标检测仍然是一项具有挑战性的任务。难度的高低取决于你如何将待识别的对象标记为静态的，这些静态对象没有建立原始背景，而是在不同的时间出现在视频中。在此背景下，基于帧差概念的背景减除技术被应用于静态目标的识别。首先，我们估计帧差分前景掩模图像通过计算相对于一个静态参考帧的每一帧的差异。采用混合高斯MOG方法检测运动粒子，并从帧差前景模板中减去结果前景模板。应用预处理技术、照明均衡和去雾方法来处理低对比度并减少来自空气中散射材料（例如水滴和灰尘颗粒）的噪声。最后，应用数学形态学运算和最大连通分量分析对目标进行分割和噪声抑制。所提出的方法是建立岩石破碎站的应用程序，并有效地验证了真实的，合成的和两个公共数据集。实验结果表明，该方法在没有任何跟踪先验信息的情况下，能够鲁棒地检测、分割出静止目标。
2020-12-19 cs.CV
Foreground Segmentation Using a Triplet Convolutional Neural Network for Multiscale Feature Encoding
Ankara University（安卡拉大学）
场景中运动对象分割的一种常用方法是执行背景减除。在这一领域已经提出了几种方法。然而，他们缺乏处理各种困难的情况下，如光照变化，背景或摄像机运动，伪装效果，阴影等，为了解决这些问题的能力，我们提出了一个强大的和灵活的编码器-解码器类型的神经网络为基础的方法。我们在编码器部分的三元组框架下采用预训练的卷积网络，即VGG-16 Net，将多尺度的图像嵌入特征空间，并在解码器部分使用转置卷积网络来学习从特征空间到图像空间的映射。我们只使用少量的训练样本对这个网络进行端到端的训练。我们的网络以三种不同的尺度拍摄RGB图像，并为相应的图像生成前景分割概率掩模。为了评估我们的模型，我们参加了Change Detection 2014 Challenge（changedetection.net），我们的方法比所有现有的最先进的方法都要好，平均F-Measure为0.9770。我们的源代码将在https://github.com/lim-anggun/FgSegNet上公开。
2018-01-07 cs.CV
Bringing Background into the Foreground: Making All Classes Equal in Weakly-supervised Video Semantic Segmentation
Australian National University（澳大利亚国立大学）；Smart Vision Systems, CSIRO（澳大利亚联邦科学与工业研究组织智能视觉系统）；CVLab, EPFL（洛桑联邦理工学院计算机视觉实验室）
像素级注释的获取成本高且耗时。因此，仅使用图像标签的弱监督可能在语义分割中具有显著影响。近年来，无论是从单个图像还是从视频中，弱监督语义分割都取得了很大的进展。然而，大多数现有的方法被设计为处理单个后台类。在实际应用中，例如自主导航，推理多个背景类通常是至关重要的。在本文中，我们介绍了一种通过使用分类器热图来实现这一点的方法。然后，我们开发了一个双流深度架构，共同利用外观和运动，并根据我们的热图设计一个损失来训练它。我们的实验证明了我们的分类器热图和我们的双流架构在具有挑战性的城市场景数据集和YouTube-Objects基准测试中的优势，我们在那里获得了最先进的结果。
2017-08-15 cs.CV
Screen Content Image Segmentation Using Sparse Decomposition and Total Variation Minimization
稀疏分解已被广泛用于不同的应用，如声源分离，图像分类，图像去噪等。本文提出了一种新的算法分割图像的背景和前景的文字和图形使用稀疏分解和总变分最小化。所提出的方法是基于这样的假设，即图像的背景部分是平滑变化的，可以表示为几个平滑变化的基函数的线性组合，而前景的文本和图形可以建模与稀疏的组件覆盖在平滑的背景。使用稀疏分解框架分离背景和前景，该框架用几个合适的正则化项正则化，从而提高前景像素的稀疏性和连通性。该算法已经在从HEVC标准测试序列中提取的图像数据集上进行了测试，用于屏幕内容编码，并且被证明具有优于一些现有方法的性能，包括最小绝对偏差拟合，DjVu中基于k均值聚类的分割和形状基元提取和编码（SPEC）算法。
2016-07-26 cs.CV
Automatic Video Object Segmentation via Motion-Appearance-Stream Fusion and Instance-aware Segmentation
Seoul National University（首尔国立大学）
提出了一种融合运动流、外观流和实例感知分割的视频对象自动分割方法。该方案由一个双流融合网络和一个实例分割网络组成。双流融合网络再次由运动和外观流网络组成，它们分别提取长期的时间和空间信息。与现有的两个流融合方法不同，所提出的融合网络在原始分辨率下混合两个流，以获得准确的分割边界。我们开发了一个循环的双向多尺度结构与跳跃连接的流融合网络提取长期的时间信息。此外，多尺度结构使得能够在网络的末端获得原始分辨率特征。作为双流融合的结果，我们有一个像素级的概率分割图，它具有较高的值在像素属于前景对象。通过结合前景图的概率和实例分割掩模的对象性得分，我们最终获得视频序列的前景分割结果，而无需任何用户干预，即，我们实现了成功的自动视频分割。所提出的结构显示了自动视频对象分割任务的最先进的性能，也实现了近半监督的性能。
2019-12-03 cs.CV
Explicit Visual Prompting for Universal Foreground Segmentations
University of Macau（澳门大学）；Tencent AI Lab（腾讯人工智能实验室）
本文提出显式视觉提示（EVP）统一框架，通过冻结预训练模型并利用少量可调参数聚焦单张图像的显式视觉内容，在五个前景分割任务的十四个数据集上以极简设计超越任务特定方法和全量微调。
2023-05-29 cs.CV
EAA-Net: Rethinking the Autoencoder Architecture with Intra-class Features for Medical Image Segmentation
Tianjin University（天津大学）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Central South University（中南大学）
图像自动分割技术是视觉分析的关键。自动编码器结构在各种图像分割任务中具有令人满意的性能。然而，基于卷积神经网络（CNN）的自动编码器在提高语义分割的准确性方面似乎遇到了瓶颈。增加前景和背景之间的类间距离是分割网络的固有特性。然而，分割网络过于关注前景和背景之间的主要视觉差异，而忽略了详细的边缘信息，这导致边缘分割的准确性降低。在本文中，我们提出了一个轻量级的端到端的分割框架的基础上多任务学习，称为边缘注意自动编码器网络（EAA-Net），以提高边缘分割能力。我们的方法不仅利用分割网络来获得类间特征，而且还应用重建网络来提取前景之间的类内特征。进一步设计了类内类间特征融合模块-- I2融合模块。I2融合模块用于融合类内和类间特征，并使用软注意力机制去除无效背景信息。实验结果表明，我们的方法在医学图像分割任务中表现良好。EAA-Net易于实现，计算量小。
2022-08-19 cs.CV
Screen Content Image Segmentation Using Sparse-Smooth Decomposition
NYU School of Engineering（纽约大学工程学院）
稀疏分解已被广泛用于不同的应用，包括信号压缩和去噪以及文档分析。本文将稀疏分解用于图像分割。该算法利用稀疏-平滑分解技术分离背景和前景，使得平滑和稀疏分量分别对应于背景和前景。该算法在HEVC测试序列的几个测试图像上进行了测试，并显示出比其他方法（如DjVu中的分层k均值聚类）具有更优越的性能。该分割算法也可用于文本提取、视频压缩和医学图像分割。
2015-11-21 cs.CV
Foreground-Aware Relation Network for Geospatial Object Segmentation in High Spatial Resolution Remote Sensing Imagery
Wuhan University（武汉大学）
地理空间目标分割作为一种特殊的语义分割任务，在高空间分辨率遥感图像中往往面临着背景尺度变化大、类内方差大、前景-背景不平衡等问题。然而，一般的语义分割方法主要针对自然场景中的尺度变化，对大面积对地观测场景中的其他两个问题考虑不足。本文认为问题在于缺乏前景建模，并从基于关系和基于优化的前景建模的角度提出了一种前景感知关系网络（FarSeg），以缓解上述两个问题。FarSeg从关系的角度出发，通过学习前景-场景关系，将前景相关的上下文关联起来，增强了前景特征的区分度。同时，从优化的角度，提出了一种前景感知的优化，在训练过程中关注前景示例和背景硬示例，以实现均衡优化。使用大规模数据集获得的实验结果表明，该方法优于最先进的通用语义分割方法，并且在速度和准确性之间取得了更好的权衡。代码已在以下网址提供：\url{https://github.com/Z-Zheng/FarSeg}。
2020-11-19 cs.CV cs.LG eess.IV
Right Regions, Wrong Labels: Semantic Label Flips in Segmentation under Correlation Shift
School of Biomedical Engineering & Imaging Sciences, King’s College London, UK（伦敦国王学院生物医学工程与成像科学学院）
研究语义分割中因非因果特征与标签的虚假相关性导致的标签翻转问题，提出翻转诊断指标和基于熵的无标签翻转风险评分。
2026-06-11 cs.CV
Background Matters: A Cross-view Bidirectional Modeling Framework for Semi-supervised Medical Image Segmentation
State Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学）；College of Physics and Information Engineering, Fuzhou University（福州大学物理与信息工程学院）；National Institute of Healthcare Data Science, Nanjing University（健康数据科学国家研究院，南京大学）；Nanjing Drum Tower Hospital（南京鼓楼医院）
提出跨视图双向建模（CVBM）框架，通过显式建模背景区域并引入双向一致性机制，提升半监督医学图像分割性能，在多个数据集上达到最先进水平，且仅用20%标注数据超越全监督方法。
2025-05-22 cs.CV
Weakly Supervised Semantic Segmentation using Out-of-Distribution Data
Seoul National University（首尔国立大学）；NAVER AI Lab（NAVER人工智能实验室）；University of Tübingen（图宾根大学）；Sogang University（西江大学）
弱监督语义分割（WSSS）方法通常建立在从分类器获得的像素级定位图上。然而，仅在类别标签上训练，分类器遭受前景和背景线索（例如训练和铁路）之间的虚假相关，从根本上限制了WSSS的性能。以前曾努力通过额外的监督来解决这个问题。我们提出了一种新的信息源来区分前景和背景：分布外（OoD）数据，或没有前景对象类的图像。特别是，我们利用分类器可能做出假阳性预测的硬OoD。这些样本通常在背景（例如铁轨）上携带关键的视觉特征，分类器经常将其混淆为前景（例如训练），因此这些线索让分类器正确地抑制虚假的背景线索。获取这样的硬OoD不需要大量的注释工作;它只会在最初收集类标签的工作之上产生一些额外的图像级标签成本。我们提出了一种方法，W-OoD，利用硬OoDs。W-OoD在Pascal VOC 2012上实现了最先进的性能。
2022-03-08 cs.CV
Weakly Supervised Segmentation Framework for Thyroid Nodule Based on High-confidence Labels and High-rationality Losses
Faculty of Robot Science and Engineering, Northeastern University（机器人科学与工程学院，东北大学）；Harbin Institute of Technology（哈尔滨工业大学）；Department of Ultrasound, Shengjing Hospital of China Medical University（中国医科大学附属盛京医院超声科）
本文针对甲状腺结节弱监督分割中的标签噪声和损失函数不合理问题，提出融合四点标注与MedSAM生成高置信度伪标签，并设计对齐、对比和原型相关三类高合理性损失，在TN3K和DDTI上取得最优性能。
2025-07-07 cs.CV
Text and Click inputs for unambiguous open vocabulary instance segmentation
Georgia Institute of Technology（佐治亚理工学院）；Google, Inc.（谷歌公司）
提出Text + Click分割方法，结合文本提示与单次前景点击输入，利用开放词汇图文模型提升对未见类别的分割准确度，并有效消除重叠语义类别的歧义。
2023-11-24 cs.CV
Contrastive learning of Class-agnostic Activation Map for Weakly Supervised Object Localization and Semantic Segmentation
Shenzhen University（深圳大学）；Wenzhou-Kean University（温州肯恩大学）；Shenzhen Institute of Artificial Intelligence of Robotics of Society（深圳市人工智能与机器人研究院）
虽然由图像分类网络生成的类激活图（CAM）已被广泛用于弱监督对象定位（WSOL）和语义分割（WSSS），但此类分类器通常集中于可区分的对象区域。在本文中，我们提出了对比学习类不可知激活地图（C $^2$ AM）生成只使用未标记的图像数据，而不涉及图像级的监督。核心思想来自以下观察：i）前景对象的语义信息通常与其背景不同; ii）具有相似外观的前景对象或具有相似颜色/纹理的背景在特征空间中具有相似的表示。我们基于上述关系形成正对和负对，并使用一种新的对比损失，迫使网络使用类不可知的激活图来解开前景和背景。当引导网络区分跨图像前景-背景时，通过我们的方法学习的类别不可知激活映射会生成更完整的对象区域。我们成功地从C $^2$ AM中提取了与类别无关的对象边界框，用于对象定位和背景线索，以改进由分类网络生成的CAM，用于语义分割。在CUB-200-2011、ImageNet-1 K和PASCAL VOC 2012数据集上的大量实验表明，WSOL和WSSS都可以从所提出的C $^2$ AM中受益。
2022-12-22 cs.CV
Frequency Domain Unlocks New Perspectives for Abdominal Medical Image Segmentation
School of Computer Science and Communication Engineering, Jiangsu University（江苏大学计算机科学与通信工程学院）
针对基础模型在复杂低对比度医学图像中难以聚焦前景的问题，提出FASS框架，通过前景感知、小波变换高频增强和边缘约束模块，显著提升了肿瘤分割的鲁棒性与精细结构识别能力。
2025-10-13 cs.CV
Filter Design and Performance Evaluation for Fingerprint Image Segmentation
Institute for Mathematical Stochastics, University of Göttingen（哥廷根大学数学随机过程研究所）；Felix-Bernstein-Institute for Mathematical Statistics in the Biosciences, University of Göttingen（哥廷根大学生物科学数学统计费利克斯·伯恩斯坦研究所）
指纹识别在许多商业应用中发挥着重要作用，每天有数百万人使用，例如用于解锁手机。指纹图像分割通常是大多数指纹算法的第一个处理步骤，它将图像分为前景，感兴趣区域和背景。在此步骤期间可能发生两种类型的错误，这两种错误都对识别性能产生负面影响：“真实”前景可能被标记为背景，并且可能丢失细节点等特征，或者相反地，“真实”背景可能被误分类为前景，并且可能引入虚假特征。本文的贡献是三倍：首先，我们提出了一种新的因式分解方向带通（FDB）纹理提取方法的基础上的方向希尔伯特变换的巴特沃斯带通（DHBB）滤波器交织软阈值。其次，我们提供了一个手动标记的地面真值分割10560图像作为评估基准。第三，我们进行了系统的性能比较FDB方法和四个最常被引用的指纹分割算法，FDB分割方法明显优于这四个广泛使用的方法。基准和FDB方法的实施是公开的。
2015-01-09 cs.CV
Enhancing Foreground Boundaries for Medical Image Segmentation
NVIDIA（英伟达）
目标分割在现代医学图像分析中起着重要的作用，对临床研究、疾病诊断、手术规划等都有重要意义。鉴于医学图像的各种模态，自动或半自动分割方法已被用于识别和解析器官、骨骼、肿瘤和其他感兴趣区域（ROI）。然而，这些当代的分割方法往往无法预测的ROI的边界区域，因为模糊的外观对比度在成像过程中造成的。为了进一步提高边界区域的分割质量，我们提出了边界增强损失，以加强对优化机器学习模型的额外约束。所提出的损失函数是轻量级的，易于实现，无需任何预处理或后处理。我们的实验结果验证了我们的损失函数在分割精度方面优于或至少与其他最先进的损失函数相当。
2020-05-29 cs.CV eess.IV
Background Activation Suppression for Weakly Supervised Object Localization and Semantic Segmentation
University of Science and Technology of China（中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
本文提出背景激活抑制（BAS）方法，通过激活图约束模块抑制背景激活值，并结合前景区域引导与面积约束学习完整目标区域，显著提升弱监督目标定位与语义分割性能。
2023-09-22 cs.CV
Prototypical Kernel Learning and Open-set Foreground Perception for Generalized Few-shot Semantic Segmentation
Alibaba Group（阿里巴巴集团）
针对GFSS中表示分裂与嵌入偏见问题，提出联合原型核学习和开集前景感知的分割框架，并扩展至CIFSS，在PASCAL-5i与COCO-20i上超越现有最先进方法。
2023-08-19 cs.AI cs.CV
Predicting Signed Distance Functions for Visual Instance Segmentation
Linköping University（林雪平大学）；Saab（萨博公司）；Zenseact（Zenseact公司）
该研究针对视觉实例分割中物体形状不受约束变化的难题，提出训练神经网络计算距离图以近似带符号距离函数（SDF）的方法，在COCO数据集上较YOLACT实现了更高的前景IoU，是实例分割的有前景研究方向。
2026-08-14 cs.CV
Foreground Clustering for Joint Segmentation and Localization in Videos and Images
本文提出了一种新的框架，在该框架中，视频/图像分割和定位被转换成一个单一的优化问题，该问题将低级别的外观线索的信息与高级别的定位线索在一个非常弱的监督方式。该框架利用两种不同层次的表示，利用边界框和超像素之间的空间关系作为线性约束，同时在限界框和超像素层次上区分前景和背景。不同于以往的方法，主要依赖于判别聚类，我们采用了前景模型，最大限度地减少了所有图像帧的对象的直方图差异。利用超像素和边界框之间的几何关系使得分割线索的传递能够改善定位输出，反之亦然。包括前景模型将我们的判别框架推广到背景往往相似的视频数据，因此没有判别力。我们证明了我们的统一框架的YouTube对象视频数据集，互联网对象发现数据集和Pascal VOC 2007的有效性。
2018-11-26 cs.CV cs.GR cs.LG
Incorporating Network Built-in Priors in Weakly-supervised Semantic Segmentation
College of Engineering and Computer Science, Australian National University（澳大利亚国立大学工程与计算机科学学院）；Data61-CSIRO（澳大利亚联邦科学与工业研究组织 Data61）；CVLab, EPFL（洛桑联邦理工学院计算机视觉实验室）
像素级注释的获取成本高且耗时。因此，仅使用图像标签的弱监督可能在语义分割中具有显著影响。最近，基于CNN的方法已经提出使用图像标签来微调预训练的网络。在没有附加信息的情况下，这导致较差的定位精度。然而，这个问题得到缓解，利用对象先验生成前景/背景掩模。不幸的是，这些先验要么需要像素级注释/边界框，要么仍然产生不准确的对象边界。在这里，我们提出了一种新的方法，从为对象识别任务预先训练的网络中提取准确的掩码，从而放弃了外部对象模块。我们首先展示了如何从网络的高级卷积层的激活中获得前景/背景掩码。然后，我们展示了如何获得多类掩模融合的前景/背景的信息提取的弱监督定位网络。我们的实验证明，利用这些面具结合弱监督训练损失产生最先进的基于标签的弱监督语义分割结果。
2017-06-06 cs.CV
Ensemble Foreground Management for Unsupervised Object Discovery
University of Nottingham（诺丁汉大学）
针对无监督目标发现中前景判断难、发现次数难确定的问题，提出基于最小割与集成的鲁棒前景先验UnionCut及蒸馏模型UnionSeg，助力现有方法提升多类视觉任务性能。
2025-07-28 cs.CV
OFD-Net: Teacher-Free Reliable Semi-supervised Medical Image Segmentation with Orthogonal Feature Disentanglement Net of Foreground-Background
Key Laboratory of Nondestructive Testing, Ministry of Education, Nanchang Hangkong University（南昌航空大学无损检测技术教育部重点实验室）
研究针对医学图像分割标注有限问题，提出无教师单网络框架OFD-Net。通过正交特征解缠模块和引导模块，有效减少误差积累。并开发可靠性感知伪标签学习机制，降低不可靠区域权重。实验验证其有效性，建立了高效可靠的训练范式。
2026-07-21 cs.AI cs.CV
Background Subtraction with Real-time Semantic Segmentation
Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences（中国科学院长春光学精密机械与物理研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Fraunhofer IGD（弗劳恩霍夫计算机图形学研究所）；TU Darmstadt（达姆施塔特工业大学）
准确、快速地提取前景目标对于视频监控中的目标跟踪和识别至关重要。虽然许多背景减除（BGS）方法已被提出在最近的过去，它仍然被视为一个棘手的问题，由于各种各样的挑战性的情况下，发生在现实世界的场景。在本文中，我们从一个新的角度来探讨这个问题，并提出了一种新的背景减除框架与实时的【形】语义分割（RTSS）。我们提出的框架包括两个组件，一个传统的BGS分割器$\mathcal{B}$和一个实时的【形】语义分割器$\mathcal{S}$。BGS分割器$\mathcal{B}$的目标是构建背景模型并分割前景对象。实时的【形】语义分割器$\mathcal{S}$用于细化前景分割输出作为反馈，以提高模型更新精度。$\mathcal{B}$和$\mathcal{S}$在两个线程上并行工作。对于每个输入帧$I_t$，BGS分割器$\mathcal{B}$计算初步前景/背景（FG/BG）掩模$B_t$。同时，实时的【形】语义分割器$\mathcal{S}$提取对象级语义${S}_t$。然后，在${B}_t$和${S}_t$上应用一些特定的规则以生成最终检测${D}_t$。最后，反馈改进的FG/BG掩模${D}_t$以更新背景模型。在CDnet 2014数据集上进行的综合实验表明，我们提出的方法在实时的【形】操作时，在所有无监督背景减除方法中达到了最先进的性能，甚至比一些基于深度学习的监督算法表现得更…
2018-12-12 cs.CV
Learning Shape Priors by Pairwise Comparison for Robust Semantic Segmentation
Xiamen University（厦门大学）；Tencent Jarvis Lab（腾讯优图实验室）；Jilin University（吉林大学）
语义分割在医学图像分析中具有重要意义。受传统图像分析技术在捕获形状先验和主体间相似性方面的强大能力的启发，最近提出了许多深度学习（DL）模型来利用这些先验信息并实现鲁棒性能。然而，这两种类型的重要的先验信息通常是单独研究在现有的模型。在本文中，我们提出了一种新的DL模型在一个单一的框架内建模这两种类型的先验。具体来说，我们引入一个额外的编码器到经典的编码器-解码器结构中，以形成一个连体结构的编码器，其中一个以目标图像作为输入（图像编码器），另一个连接模板图像及其前景区域作为输入（模板编码器）。模板编码器对模板图像中每个前景类的形状先验和外观特征进行编码。提出了一种基于余弦相似度的注意力模块，融合来自两个编码器的信息，利用模板编码器编码的两种类型的先验信息，并为每个前景类建模主题间的相似度。在两个公共数据集上的实验表明，我们提出的方法可以产生更好的性能。
2022-04-23 cs.CV
False Negative Reduction in Semantic Segmentation under Domain Shift using Depth Estimation
Ruhr University Bochum（博尔塔伦大学波恩姆大学）；University of Wuppertal（乌珀塔尔大学）；EPFL（瑞士联邦理工学院）
通过单目深度估计减少域移时语义分割中的假阴性，提升分割精度和泛化能力。
2022-12-07 cs.CV
SimPropNet: Improved Similarity Propagation for Few-shot Image Segmentation
IIIT Hyderabad（海得拉巴国际信息技术学院）；Adobe（奥多比）
Few-Shot分割（FSS）方法使用（支持）图像掩模对的小集合对目标（查询）图像中的特定对象类执行图像分割。最近的基于深度神经网络的FSS方法利用支持图像的前景特征与查询图像特征之间的高维特征相似性。在这项工作中，我们展示了现有方法中利用这种相似性信息的差距，并提出了一个框架- SimPropNet，以弥合这些差距。我们建议联合预测的支持和查询掩码，以迫使支持功能，以共享特性的查询功能。我们还建议使用一种新型的前景-背景注意力融合机制来利用查询和支持图像的背景区域中的相似性。我们的方法在PASCAL-5i数据集上实现了单次和五次分割的最新结果。本文包括详细的分析和消融研究提出的改进和定量比较与当代方法。
2020-05-02 cs.CV
Background-Aware Pooling and Noise-Aware Loss for Weakly-Supervised Semantic Segmentation
Yonsei University（延世大学）
我们解决的问题，弱监督语义分割（WSSS）使用限界框注释。虽然对象边界框是分割相应对象的良好指示器，但它们不指定对象边界，使得难以训练卷积神经网络（CNN）进行语义分割。我们发现，背景区域在图像中部分是感知一致的，这可以用来区分对象边界框内的前景和背景区域。为了实现这一想法，我们提出了一种新的池化方法，称为背景感知池化（BAP），它更侧重于使用注意力地图聚合边界框内的前景特征。这允许提取高质量的伪分割标签来训练CNN进行语义分割，但标签仍然包含噪声，特别是在对象边界处。为了解决这个问题，我们还引入了噪声感知损失（NAL），使网络不太容易受到错误标签的影响。实验结果表明，在PASCAL VOC 2012数据集上，使用我们的伪标签学习的性能已经超过了最先进的弱监督和半监督方法，NAL进一步提高了性能。
2021-04-02 cs.CV
Relevant Intrinsic Feature Enhancement Network for Few-Shot Semantic Segmentation
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Alibaba group（阿里巴巴集团）
本文提出 RiFeNet，通过训练期无标注分支增强类内语义一致性，并利用多层级全局与局部原型交互扩大类间差异，在 PASCAL-5i 和 COCO 上超越现有方法。
2023-12-11 cs.CV
Generalized 3D Self-supervised Learning Framework via Prompted Foreground-Aware Feature Contrast
本文提出FAC++框架，通过前景片段内正样本构建、片段级前景背景区分及前景提示区域采样，解决三维对比学习偏向背景点的问题，提升点云预训练表示在多种下游任务中的性能。
2023-12-01 cs.CV
Image Segmentation Using Subspace Representation and Sparse Decomposition
NEW YORK UNIVERSITY TANDON SCHOOL OF ENGINEERING（纽约大学坦登工程学院）；Sharif University of Technology（沙里夫理工大学）；Huawei Research Labs（华为研究实验室）
图像前景提取是图像处理和视觉中的经典问题，有着广泛的应用。在这篇论文中，我们专注于混合内容图像中的文字和图形的提取，并针对这个问题的各个方面设计了新的方法。我们首先提出了一个稀疏分解框架，该框架通过包含平滑基向量的子空间对背景进行建模，并将前景作为稀疏和连接的分量。然后，我们制定了一个优化框架来解决这个问题，通过添加适当的正则化的成本函数，以促进每个组件的期望特性。我们提出了两种技术来解决建议的优化问题，一个基于交替方向的方法的乘数（ADMM），和其他一个基于鲁棒回归。将该算法应用于屏幕内容图像分割，取得了较好的效果.然后，我们提出了一个强大的子空间学习算法的背景成分的表示使用训练图像，可以包含背景和前景成分，以及噪声。与使用固定子空间相比，使用学习的背景子空间，我们可以进一步改善分割结果。最后，我们研究了一类不同的信号/图像分解问题，其中只有一个信号分量是活跃的每个信号元素。在这种情况下，除了估计每个组件，我们需要找到它们的支持，这可以通过二进制掩码来指定。我们提出了一个混合整数规划问题，联合估计的两个组件和他们的支持，通过交替优化方案。我们展示了该算法在各种问题上的应用，包括图像分割，视频运动分割，以及从纹理图像中分离文本。
2018-04-06 cs.CV
CPSeg: Cluster-free Panoptic Segmentation of 3D LiDAR Point Clouds
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Toronto（多伦多大学）
快速准确的激光雷达点云全景分割系统对于自动驾驶车辆理解周围物体和场景至关重要。现有的方法通常依赖于建议或聚类来分割前景实例。因此，它们很难实现实时性能。在本文中，我们提出了一种新的实时端到端的激光雷达点云全景分割网络，称为CPSeg。特别地，CPSeg包括共享编码器、双解码器和无簇实例分割头，其能够根据学习的嵌入来动态地柱化前景点。然后，它通过使用成对嵌入比较找到连接的柱子来获取实例标签。因此，传统的基于建议或基于聚类的实例分割转化为成对嵌入比较矩阵上的二进制分割问题。为了帮助网络回归实例的嵌入，提出了一种快速确定性的深度补全算法，实时计算每个点云的表面法线。该方法在两个大规模自动驾驶数据集SemanticKITTI和nuScenes上进行了基准测试。值得注意的是，大量的实验结果表明，CPSeg在两个数据集上的实时方法中取得了最先进的结果。
2023-02-03 cs.CV
Coarse-to-fine Semantic Segmentation from Image-level Labels
The City University of New York（纽约市立大学）；Northwestern Polytechnical University（西北工业大学）；The City College of New York（纽约市立学院）
基于深度神经网络的语义分割通常需要大规模成本扩展的注释用于训练以获得更好的性能。为了避免大多数方法所需的逐像素分割注释，最近一些研究人员尝试使用对象级标签（例如边界框）或图像级标签（例如图像类别）。在本文中，我们提出了一种新的递归粗到细语义分割框架的基础上，只有图像级的类别标签。对于每幅图像，首先通过基于卷积神经网络的无监督前景分割模型生成初始粗掩模，然后通过图模型增强。将增强的粗掩模馈送到全卷积神经网络以递归地细化。与现有的图像级基于标签的语义分割方法不同，该框架只需要为每幅图像标注一个标签，就可以处理包含多类对象的图像。仅在ImageNet上训练，我们的框架在PASCAL VOC数据集上实现了与其他基于图像级标签的最先进的语义分割相当的性能。此外，我们的框架可以很容易地扩展到前景对象分割任务，并实现了与互联网对象数据集上最先进的监督方法相当的性能。
2018-12-28 cs.CV
Seg-R1: Segmentation Can Be Surprisingly Simple with Reinforcement Learning
Fudan University（复旦大学）
本文提出Seg-R1，通过引入GRPO强化学习训练大型多模态模型生成提示引导SAM2进行分割，无需复杂修改即在COD10K上达.873 S-measure，并展现出强大的零样本泛化能力。
2025-06-27 cs.CV
Background-Foreground Segmentation for Interior Sensing in Automotive Industry
University of Wuppertal（伍珀塔尔大学）；Aptiv Services Deutschland GmbH（安波福德国服务有限公司）
为了确保自动驾驶的安全性，正确感知车内的情况与其环境同样重要。因此，座位占用检测和检测到的实例的分类在内部感测中起着重要作用。通过了解座位占用状态，例如，自动化气囊展开控制。此外，可以验证驾驶员的存在，这对于自动化级别2至4的部分自动驾驶汽车是必要的。在这项工作中，我们比较了不同的统计方法，从图像分割领域来解决基于摄像机的内部感知中的背景-前景分割问题。近年来，基于不同技术的几种方法已经被开发并应用于来自不同应用的图像或视频。给定的内部感知场景的特点是，前景实例和背景都包含静态和动态元素。在这项工作中考虑的数据，甚至相机的位置是不完全固定的。我们审查和基准三种不同的方法，即，高斯混合模型（GMM），形态蛇和深度神经网络，即掩码R-CNN。特别是，经典的方法，GMM和形态蛇，内部检测的局限性。此外，通过深度学习可以克服这些限制，例如，使用Mask R-CNN。虽然只有少量的地面真实数据可用于训练，但我们使Mask R-CNN能够通过迁移学习产生高质量的背景-前景掩码。此外，我们证明了某些增强以及预处理和后处理方法进一步提高了所研究方法的性能。
2021-09-20 cs.CV cs.LG
SIM: Semantic-aware Instance Mask Generation for Box-Supervised Instance Segmentation
The Hong Kong Polytechnic University（香港理工大学）
仅使用限界框注释的弱监督实例分割最近引起了很多研究关注。目前的大多数努力都利用低级别的图像特征作为额外的监督，而没有明确地利用对象的高级语义信息，当前景对象与背景或附近的其他对象具有相似的外观时，这将变得无效。我们提出了一个新的框监督实例分割方法，通过开发一个语义感知的实例掩码（SIM）生成范式。而不是严重依赖于相邻像素之间的局部成对的亲和力，我们构建了一组类别的特征质心作为原型来识别前景对象，并为它们分配语义级的伪标签。考虑到语义感知原型无法区分相同语义的不同实例，我们提出了一种自校正机制，以纠正错误激活的区域，同时增强正确的。此外，为了处理对象之间的遮挡，我们为弱监督实例分割任务定制了复制-粘贴操作，以增加具有挑战性的训练数据。大量的实验结果表明，我们提出的SIM方法比其他国家的最先进的方法的优越性。源代码：https://github.com/lslrh/SIM。
2023-03-14 cs.CV
Multi-Text Guided Few-Shot Semantic Segmentation
State Key Laboratory of Electromechanical Integrated Manufacturing of High-Performance Electronic Equipments（高性能电子设备机电一体化制造国家重点实验室）；Center for Complex Systems（复杂系统中心）；School of Mechano-Electronic Engineering（机械电子工程学院）；Xidian University（西安电子科技大学）
MTGNet通过融合多文本提示提升少样本语义分割性能，采用多文本先验细化、文本锚点特征融合和前景置信度加权注意力模块，有效增强分割鲁棒性与语义一致性。
2025-11-19 cs.CV
Real-time Instance Segmentation with Discriminative Orientation Maps
Zhejiang University（浙江大学）
虽然实例分割在近几年取得了长足的进步，但设计具有实时的【形】性能的高精度算法仍然是一个挑战。在本文中，我们提出了一个实时的【形】实例分割框架OrienMask。在一级目标检测器YOLOv3上，添加掩模头以预测一些有区别的方向图，这些方向图被明确定义为前景和背景像素的空间偏移向量。由于方向图的辨别能力，可以恢复掩模，而无需额外的前景分割。与相同锚点大小匹配的所有实例共享一个公共方向图。这种特殊的共享策略减少了用于掩码预测的摊销内存利用率，但不会损失掩码粒度。给定NMS之后的幸存框预测，实例掩码可以以低复杂度从对应的方向图并发地构造。由于掩模表示的简洁设计及其与基于锚的对象检测器的有效集成，我们的方法在实时的【形】条件下是合格的，同时保持竞争力的准确性。在COCO基准测试上的实验表明，OrienMask在单台RTX 2080 Ti上以42.7 fps的速度实现了34.8掩模AP。该代码可在https://github.com/duwt/OrienMask上获得。
2021-08-02 cs.CV
Video Prediction Models as General Visual Encoders
Carnegie Mellon University（卡内基梅隆大学）
本研究提出将视频预测模型作为通用视觉编码器，利用3D VQVAE捕捉时空信息，在BAIR数据集上实现前景-背景分割，展示了生成式预训练对下游任务的潜力。
2024-05-25 cs.CV
EM-Paste: EM-guided Cut-Paste with DALL-E Augmentation for Image-level Weakly Supervised Instance Segmentation
University of Southern California（南加州大学）；Microsoft Research（微软研究院）
我们建议EM-PASTE：期望最大化（EM）引导的剪切-粘贴组合数据集增强方法，用于仅使用图像级监督的弱监督实例分割。所提出的方法包括三个主要组成部分。第一个组件生成高质量的前景对象遮罩。为此，提出了一种类似EM的方法，该方法迭代地细化由通用区域建议方法生成的初始对象掩模建议集。接下来，在第二部分中，使用文本到图像合成方法（如DALL-E）生成高质量的上下文感知背景图像。最后，第三组件通过将前景对象遮罩合成到原始和生成的背景图像上来创建大规模伪标记的实例分割训练数据集。该方法通过仅使用图像级弱标签信息，在PASCAL VOC 2012和MS COCO数据集上实现了最先进的弱监督实例分割结果。特别是，它在PASCAL和COCO上分别比最佳基线高出+7.4和+2.8 mAP 0.50。此外，该方法提供了一种新的解决方案，长尾弱监督实例分割问题（当许多类可能只有很少的训练样本），通过选择性地增加代表不足的类。
2022-12-15 cs.CV
CP2: Copy-Paste Contrastive Pretraining for Semantic Segmentation
Tsinghua University（清华大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Shanghai Jiao Tong University（上海交通大学）
自监督对比学习的最新进展产生了良好的图像级表示，这有利于分类任务，但通常忽略了像素级的详细信息，导致向密集预测任务（如语义分割）的传输性能不令人满意。在这项工作中，我们提出了一种称为CP 2（复制粘贴对比预训练）的像素级对比学习方法，它有助于图像和像素级表示学习，因此更适合下游密集预测任务。详细地说，我们从图像中复制粘贴随机裁剪CP 2将前景像素（前景像素）映射到不同的背景图像上，并预训练一个语义分割模型，目标是1）区分前景像素和背景像素，2）识别共享同一前景的合成图像。实验表明，CP 2在下游语义分割中具有很强的性能：通过在PASCAL VOC 2012上微调CP 2预训练模型，我们使用ResNet-50获得了78.6%的mIoU，使用ViT-S获得了79.5%的mIoU。
2022-08-09 cs.AI cs.CV
A Lightweight Clustering Framework for Unsupervised Semantic Segmentation
The University of Hong Kong（香港大学）
提出轻量级聚类框架，利用自监督ViT注意力特征区分前景背景，通过多级聚类生成伪掩码，在PASCAL VOC和MS COCO上达到最先进性能。
2023-12-29 cs.CV
GP-S3Net: Graph-based Panoptic Sparse Semantic Segmentation Network
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
全景分割作为静态环境理解和动态目标识别的综合任务，近年来开始受到广泛的研究兴趣。在本文中，我们提出了一个新的计算效率的激光雷达为基础的全景分割框架，称为GP-S3网。GP-S3 Net是一种无需建议的方法，与传统的两级全景系统相比，不需要对象建议来识别对象，其中检测网络用于捕获实例信息。我们的新设计包括一个新的实例级网络，通过构建一个图卷积网络来识别对象（前景），然后将其与背景类融合，从而处理语义结果。通过来自语义分割主干的前景对象的细粒度聚类，生成过分割先验，并随后通过3D稀疏卷积处理以嵌入每个聚类。每个聚类被视为图中的一个节点，其对应的嵌入被用作其节点特征。然后，GCNN预测每个聚类对之间是否存在边缘。我们利用实例标签为每个构建的图生成地面真值边缘标签，以监督学习。广泛的实验表明，GP-S3 Net优于当前最先进的方法，在可用的数据集（如nuScenes和SemanticPOSS）中有显著的优势，在出版后的竞争性公共SemanticKITTI排行榜上排名第一。
2021-08-18 cs.CV
