FGN: Fully Guided Network for Few-Shot Instance Segmentation
South China University of Technology（华南理工大学）；Guangzhou Laboratory（广州实验室）；Wuhan University（武汉大学）
Few-Shot实例分割（FSIS）将少样本学习范式与一般实例分割结合起来，为在缺乏丰富标记数据的情况下解决实例分割问题提供了一种可能的方法。提出了一种用于Few-Shot实例分割的完全引导网络（FGN）。FGN将FSIS视为引导模型，其中所谓的支持集被编码并用于引导基本实例分割网络的预测（即，Mask R-CNN），其中关键的是指导机制。从这个角度来看，FGN在Mask R-CNN中的各个关键组件中引入了不同的指导机制，包括Attention-Guided RPN，Attention-Guided Detector和Attention-Guided FCN，以充分利用支持集的指导作用，更好地适应类间泛化。在公共数据集上的实验表明，我们提出的FGN可以优于最先进的方法。
2020-03-31 cs.CV
Self-Guided and Cross-Guided Learning for Few-Shot Segmentation
XJTLU（西交利物浦大学）；University of Liverpool（利物浦大学）；Dinnar Automation Technology（迪纳自动化技术公司）
Few-Shot分割由于其能够有效地分割具有少量注释样本的不可见对象类而受到了广泛关注。大多数现有的方法使用掩码全局平均池（GAP）编码的注释支持图像的特征向量，以促进查询图像分割。然而，由于平均操作，该流水线不可避免地丢失了一些判别信息。在本文中，我们提出了一个简单而有效的自我引导学习方法，其中丢失的关键信息被挖掘。具体地，通过对带注释的支持图像进行初始预测，使用掩蔽的GAP将覆盖的和未覆盖的前景区域分别编码为主支持向量和辅助支持向量。通过聚合主支持向量和辅助支持向量，在查询图像上获得更好的分割性能。受我们用于单镜头分割的自引导模块的启发，我们提出了一个用于多镜头分割的交叉引导模块，其中使用来自多个注释样本的预测融合最终掩码，其中高质量的支持向量贡献更多，反之亦然。该模块在推理阶段改进了最终预测，而无需重新训练。大量的实验表明，我们的方法在PASCAL-5i和COCO-20 i数据集上都实现了新的最先进的性能。
2021-03-30 cs.CV
Augment Before Copy-Paste: Data and Memory Efficiency-Oriented Instance Segmentation Framework for Sport-scenes
National Cheng Kung University（成功大学）；Institute of Data Science, National Cheng Kung University（成功大学数据科学学院）
针对VIPriors2023挑战赛中有限数据与内存约束下的篮球场个体定位任务，提出基于视觉归纳先验流传播的内存高效实例分割框架，将先验信息融入数据预处理、增强及推理阶段，取得0.509 AP@0.50:0.95的性能。
2024-03-18 cs.CV cs.MM
ICFRNet: Image Complexity Prior Guided Feature Refinement for Real-time Semantic Segmentation
College of Computer Science, Nankai University（南开大学计算机学院）；Institute of Mathematics and Informatics, Bulgarian Academy of Sciences（保加利亚科学院数学与信息学研究所）
本文提出ICFRNet，利用图像复杂度作为先验引导特征精炼，通过ICGA模块生成注意力图优化分割特征，在Cityscapes和CamViD数据集上实现了更高精度与竞争性效率的实时语义分割。
2024-08-25 cs.CV
Superpixel-guided Iterative Learning from Noisy Labels for Medical Image Segmentation
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）
由于难以获得高质量的标注，从噪声标签中学习分割是医学图像分析的一项重要任务。大多数现有的方法忽略了像素的相关性和结构的先验分割，往往产生噪声预测周围的对象边界。为了解决这个问题，我们采用了超像素表示，并开发了一种强大的迭代学习策略，该策略结合了分割网络的噪声感知训练和噪声标签细化，两者都由超像素指导。这种设计使我们能够利用分割标签中的结构约束，并有效地减轻标签噪声对学习的影响。两个基准测试的实验表明，我们的方法优于最近的国家的最先进的方法，并在广泛的标签噪声实现卓越的鲁棒性。代码可在https://github.com/gaozhitong/SP_guided_Noisy_Label_Seg上获得。
2021-07-21 cs.CV
Contextual Guided Segmentation Framework for Semi-supervised Video Instance Segmentation
National Institute of Informatics（国立信息学研究所）；University of Dayton（代顿大学）；University of Science and Vietnam National University, Ho Chi Minh（胡志明市越南国家大学科学大学）
在本文中，我们提出了上下文引导分割（CGS）框架的视频实例分割在三个回合。在第一遍中，即，预览分割，我们提出实例重新识别流程来估计每个实例的主要属性（即，人类/非人类、刚性/可变形、已知/未知类别）。在第二遍中，即，上下文分割，我们介绍多个上下文分割方案。对于人类的例子，我们开发了一个帧中的对象流引导分割，以纠正和完善跨帧的结果。对于非人类实例，如果实例在外观上有很大的变化，并且属于已知类别（可以从初始掩码中推断），则采用实例分割。如果非人类实例几乎是刚性的，则我们对来自视频序列的第一帧的合成图像进行训练FCN。在最后一遍中，即，引导分割，我们开发了一种新的细粒度的非矩形感兴趣区域（ROI）的分割方法。自然形状的ROI通过应用来自当前帧的相邻帧的引导注意来生成，以减少不同重叠实例的分割中的模糊性。前向掩码传播之后是后向掩码传播，以进一步恢复由于重新出现的实例、快速运动、遮挡或严重变形而丢失的实例片段。最后，每个帧中的实例根据它们的深度值、人类和非人类对象交互以及稀有实例优先级进行合并。在DAVIS测试挑战数据集上进行的实验证明了我们提出的框架的有效性。我们在2017-2019年DAVIS挑战赛中连续获得第三名，全球得分、区域相似性和轮廓准确性分别为75.4%、72.4%和78.4%。
2022-04-11 cs.CV
Prototype Guided Network for Anomaly Segmentation
语义分割方法不能直接识别图像中的异常对象。异常分割算法可以区分分布内对象和分布外（OOD）对象，并输出像素的异常概率。本文提出了一种原型引导的异常分割网络（PGAN），用于从有限的标注图像中提取分布式训练数据的语义原型。在模型中，原型被用来建模的层次类别语义信息和区分OOD像素。提出的PGAN模型包括一个语义分割网络和一个原型抽取网络。采用相似性度量对原型进行优化。将学习到的语义原型作为类别语义，与从测试图像中提取的特征进行相似度比较，然后生成语义分割预测。提出的原型提取网络也可以集成到大多数语义分割网络和识别OOD像素。在StreetHazards数据集上，所提出的PGAN模型产生了53.4%的mIoU用于异常分割。实验结果表明，PGAN在异常分割任务中可以达到SOTA的性能。
2022-03-15 cs.CV
Object Boundary Guided Semantic Segmentation
语义分割是图像内容理解和目标定位的关键。全卷积神经网络（FCN）的最新发展使得能够进行精确的像素级标记。在以前的作品中的一个问题是，基于FCN的方法不利用对象边界信息来描绘分割细节，因为对象边界标签在网络训练中被忽略。为了解决这个问题，我们引入了一个双分支全卷积神经网络，它将学习所需的语义类标签与重新标记边界指导的掩码级对象建议分开。这个网络被称为对象边界引导的FCN（OBG-FCN），能够以完全卷积的方式将对象形状和类特征的不同属性与设计的掩蔽架构优雅地集成在一起。我们在PASCAL VOC分割基准上进行了实验，并表明端到端可训练的OBG-FCN系统在优化目标语义分割质量方面提供了很大的改进。
2016-07-06 cs.CV
SGSeg: Enabling Text-free Inference in Language-guided Segmentation of Chest X-rays via Self-guidance
The University of Sydney（悉尼大学）
本文提出SGSeg自引导分割框架，通过定位增强报告生成模块在训练时利用语言引导、推理时无需文本，首次实现胸部X光片语言引导分割中的无文本推理，并在QaTa-COV19数据集上超越现有单模态方法、接近多模态方法性能。
2024-09-07 cs.CV
Guided Upsampling Network for Real-Time Semantic Segmentation
University of Milano-Bicocca（米兰比可卡大学）
语义分割架构主要建立在编码器-解码器结构上。这些模型在编码器中执行后续的下采样操作。由于对高分辨率激活图的操作在计算上是昂贵的，因此解码器通常通过使用无参数运算符（如双线性或最近邻）进行上采样来产生输出分割图。我们提出了一个神经网络命名为引导上采样网络，它由一个多分辨率架构，联合利用高分辨率和大的上下文信息。然后，我们引入了一个新的模块，名为引导上采样模块（GUM），通过引入语义映射的可学习转换来丰富上采样运算符。它可以插入到任何现有的编码器-解码器架构中，只需很少的修改和较低的额外计算成本。我们展示了定量和定性的实验，我们的网络如何受益于使用GUM模块。在公开的Cityscapes数据集上进行的一系列实验表明，引导上采样网络可以有效地实时的【形】处理高分辨率图像，同时达到最先进的性能。
2018-07-19 cs.CV
Object-Guided Instance Segmentation With Auxiliary Feature Refinement for Biological Images
Rutgers University（罗格斯大学）；Tencent Hippocrates Research Labs（腾讯希波克拉底研究实验室）；Lieber Institute for Brain Development（利伯大脑发育研究所）
实例分割在许多生物学应用中具有重要意义，如神经细胞相互作用的研究、植物表型分析以及定量测量细胞对药物处理的反应等。本文提出了一种新的基于框的实例分割方法。基于框的实例分割方法通过边界框捕获对象，然后在每个限界框区域内执行单独的分割。然而，现有的方法很难区分目标从它的相邻物体在同一个限界框区域内，由于它们的相似的纹理和低对比度的边界。针对这一问题，本文提出了一种基于对象引导的实例分割方法。我们的方法首先检测对象的中心点，然后预测的限界框参数。为了执行分割，对象引导的粗到细分割分支与检测分支一起构建。分割分支重用对象特征作为指导，以将目标对象与同一限界框区域内的相邻对象分离。为了进一步提高分割质量，我们设计了一个辅助特征细化模块，该模块在边界区域中密集采样和细化逐点特征。在三个生物图像数据集上的实验结果证明了该方法的优越性。该代码将在https://github.com/yijingru/ObjGuided-Instance-Segmentation上提供。
2021-06-14 cs.CV
Generating Self-Guided Dense Annotations for Weakly Supervised Semantic Segmentation
National Tsing Hua University（国立清华大学）
在图像级监督下学习语义分割模型比在完全监督设置下更具挑战性。在不知道确切的像素-标签对应关系的情况下，大多数弱监督方法依赖于外部模型来推断伪像素级标签以用于训练语义分割模型。在本文中，我们的目标是开发一个单一的神经网络，而不诉诸任何外部模型。我们提出了一种新的自我引导策略，充分利用在多个级别上学习的特征，逐步生成密集的伪标签。首先，我们使用高级特征作为类特定的本地化映射来粗略定位类。接下来，我们提出了一个亲和度指导的方法，鼓励每个本地化地图是一致的，他们的中间水平的功能。第三，我们采用训练图像本身作为指导，并提出一种自我指导的细化，以进一步将图像的固有结构转移到地图中。最后，我们从这些本地化地图中获得伪像素级标签，并使用伪标签作为地面实况来训练语义分割模型。我们提出的自指导策略是一个统一的框架，它建立在单个网络上，并在训练过程中交替更新特征表示和细化定位图。在PASCAL VOC 2012分割基准上的实验结果表明，在相同的设置下，我们的方法优于其他弱监督方法。
2018-10-16 cs.CV
UCAD: Uncertainty-guided Contour-aware Displacement for semi-supervised medical image segmentation
University of Science and Technology of China（科学技术大学）；Suzhou Institute for Advanced Research（苏州先进研究院）；State Key Laboratory of Precision and Intelligent Chemistry（精密与智能化学国家重点实验室）
UCAD通过基于不确定性的轮廓感知位移框架，提升半监督医学图像分割的准确性和一致性学习效果。
2026-01-24 cs.CV
Spatial Information Guided Convolution for Real-Time RGBD Semantic Segmentation
Nankai University（南开大学）；University of Sydney（悉尼大学）；University of Bath（巴斯大学）
已知3D空间信息对语义分割任务是有益的。大多数现有的方法将3D空间数据作为额外的输入，从而导致分别处理RGB和3D空间信息的双流分割网络。这种解决方案大大增加了推理时间，并严重限制了其实时的【形】应用范围。为了解决这个问题，我们提出了空间信息引导卷积（S-Conv），它允许有效的RGB特征和3D空间信息集成。S-Conv能够推断出由3D空间信息引导的卷积核的采样偏移，帮助卷积层调整感受野并适应几何变换。S-Conv还通过生成空间自适应卷积权重将几何信息纳入特征学习过程。在不影响参数数量和计算量的情况下，极大地增强了感知几何的能力。我们进一步将S-Conv嵌入到一个语义分割网络中，称为空间信息引导卷积网络（SGNet），从而在NYUDv 2和SNOGGBD数据集上实现了实时的【形】推理和最先进的性能。
2021-01-08 cs.CV
Language-guided Medical Image Segmentation with Target-informed Multi-level Contrastive Alignments
School of Computer Science, The University of Sydney（悉尼大学计算机科学学院）；Institute of Translational Medicine, Shanghai Jiao Tong University（上海交通大学转化医学研究院）；Zhongguancun Academy & Zhongguancun Institute of Artificial Intelligence, Beijing, China（北京中关村学院及中关村人工智能研究院）；Department of Molecular Imaging, Royal Prince Alfred Hospital（皇家珀斯阿尔弗雷德医院分子成像部）
研究针对医学图像分割，提出目标感知多级对比对齐框架，通过引入目标敏感语义距离模块、多级对比对齐策略和语言引导目标增强模块，弥合图文模态差距，实现细粒度文本引导，实验证明性能优于现有方法。
2026-07-07 cs.CV
Linguistic Query-Guided Mask Generation for Referring Image Segmentation
Alibaba Group（阿里巴巴集团）
参考图像分割的目的是根据给定的语言表达分割出感兴趣的图像区域，这是一个典型的多模态任务。现有的方法要么采用基于像素分类的框架或基于可学习查询的框架来生成掩码，这两种方法都不足以处理具有固定数量的参数化原型的各种文本-图像对。在这项工作中，我们提出了一个端到端的框架建立在Transformer执行语言查询引导掩码生成，被称为LGFormer。该方法将语言特征看作查询，为任意输入的图像文本对生成专门的原型，从而生成更加一致的分割结果。此外，我们在编码器和解码器中设计了几个跨模态交互模块（\eg，视觉语言双向注意模块，VLBA），以实现更好的跨模态对齐。
2023-03-22 cs.CV
Saliency guided deep network for weakly-supervised image segmentation
Jilin University（吉林大学）
弱监督图像分割是计算机视觉中的一项重要任务。如何从图像级分类中获得高质量的目标定位是一个关键问题。分类激活映射是一种常用的方法，可以用来产生高精度的目标定位线索。然而这些位置线索通常是非常稀疏和小的，使得它们不能为图像分割提供有效的信息。在本文中，我们提出了一个显着性引导的图像分割网络来解决这个问题。我们采用自注意显著性方法来生成精细的显著性图，并通过种子区域生长方法将位置线索作为种子进行生长，以扩展像素级标签的范围。在种子的生长过程中，我们使用显著性值来加权像素之间的相似性，以控制生长。因此，显著性信息可以帮助生成有区别的对象区域，并且可以有效地抑制错误显著像素的影响。在PASCAL VOC2012数据集上的实验结果表明了该方法的有效性。
2018-10-19 cs.CV
Alleviating Textual Reliance in Medical Language-guided Segmentation via Prototype-driven Semantic Approximation
The University of Sydney（悉尼大学）；Macquarie University（麦觉瑞大学）
针对医学语言引导分割对成对图像-文本输入的依赖问题，本文提出首个原型驱动学习框架ProLearn，通过原型驱动语义近似模块为无文本图像提供语义指导，在有限文本条件下优于现有方法。
2025-07-19 cs.CV
LMSeg: Language-guided Multi-dataset Segmentation
Alibaba Group（阿里巴巴集团）；East China Normal University（华东师范大学）；University of the Chinese Academy of Sciences（中国科学院大学）
构建一个通用的、包容性的、能够在各种场景下识别更多类别的细分模型是一个有意义和有吸引力的话题。一种简单的方法是组合现有的碎片分割数据集并训练多数据集网络。然而，多数据集分割存在两个主要问题：（1）不一致的分类法需要手动协调以构建统一的分类法;（2）不灵活的单一热门公共分类法导致耗时的模型重新训练和未标记类别的监督缺陷。在本文中，我们研究了多数据集分割，并提出了一个可扩展的图像引导的多数据集分割框架，称为LMSeg，它支持语义和全景分割。具体来说，我们引入了一个预训练的文本编码器，将类别名称映射到文本嵌入空间作为统一的分类法，而不是使用不灵活的one-hot标签。该模型动态地将段查询与类别嵌入对齐。不是用统一的分类法重新标记每个数据集，而是设计了类别引导解码模块来动态地引导对每个数据集分类法的预测。此外，我们采用了一种基于数据集的增强策略，为每个数据集分配一个特定的图像增强管道，以适应来自不同数据集的图像的属性。大量的实验表明，我们的方法取得了显着的改善四个语义和三个全景分割数据集，消融研究评估每个组件的有效性。
2023-02-27 cs.CV
ProPL: Universal Semi-Supervised Ultrasound Image Segmentation via Prompt-Guided Pseudo-Labeling
MedAI Technology (Wuxi) Co. Ltd.（MedAI技术（无锡）有限公司）
本文针对现有超声分割方法泛用性不足的问题，提出通用半监督分割框架ProPL，配套构建多器官多任务超声数据集，实验证明其性能优于现有最优方法。
2025-11-19 cs.CV
Attention-guided Unified Network for Panoptic Segmentation
Institute of Automation, CAS（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Horizon Robotics, Inc.（地平线机器人公司）；Johns Hopkins University（约翰斯·霍普金斯大学）；Noah’s Ark Lab, Huawei Inc.（华为公司诺亚方舟实验室）
本文研究了全景分割，最近提出的任务，分割前景（FG）的对象在实例级别以及背景（BG）的内容在语义级别。现有的方法大多分别处理这两个问题，但在本文中，我们揭示了它们之间的潜在关系，特别是FG对象提供互补的线索，以帮助BG的理解。我们的方法，命名为注意力引导的统一网络（AUNet），是一个统一的框架，具有两个分支的FG和BG分割同时进行。BG分支中增加了两个关注源，即RPN和FG分割掩码，分别提供对象级和像素级关注。我们的方法被推广到不同的骨干，在FG和BG分割中具有一致的准确性增益，并且在MS-COCO（46.5%PQ）和Cityscapes（59.0%PQ）基准中也设置了新的最先进的技术。
2019-04-17 cs.CV
Semi-supervision semantic segmentation with uncertainty-guided self cross supervision
Chinese Academy of Military Science（中国军事科学院）；National University of Defense Technology（国防科技大学）
交叉监督方法是实现半监督分割的一种有效方法，它利用大量未标记图像，基于独立集成模型学习交叉一致性。然而，交叉监督产生的错误伪标记信息会混淆训练过程，并对分割模型的有效性产生负面影响。此外，这种方法中集成模型的训练过程也增加了计算资源的消耗，降低了训练效率。为了解决这些问题，我们提出了一种新的交叉监督方法，即不确定性引导的自我交叉监督（USCS）。除了集成模型之外，我们首先设计了一个多输入多输出（MIMO）分割模型，该模型可以使用共享模型生成多个输出，从而对输出施加一致性，节省了参数和计算成本。另一方面，我们采用不确定性作为指导信息，鼓励模型专注于伪标签的高置信区域，并减轻自交叉监督中错误伪标签的影响，提高分割模型的性能。大量的实验表明，我们的方法达到了最先进的性能，同时节省了40.5%和49.1%的参数和计算成本。
2022-03-15 cs.CV
UCC: Uncertainty guided Cross-head Co-training for Semi-Supervised Semantic Segmentation
Tsinghua-Berkeley Shenzhen Institute, Tsinghua University（清华大学深圳国际研究生院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
深度神经网络（DNN）在语义分割方面取得了巨大的成功，这需要大量的标记数据进行训练。我们提出了一种新的学习框架，称为不确定性引导十字头协同训练（UCC）的半监督语义分割。我们的框架在共享编码器中引入了弱增强和强增强，以实现协同训练，从而自然地结合了一致性和自我训练的优点。每个分段头与其对等体交互，弱增强结果用于监督强增强结果。通过动态交叉集复制粘贴（DCSCP）提高了一致性训练样本的多样性，解决了分布不匹配和类不平衡问题。此外，我们提出的不确定性引导的重新加权模块（UGRM）通过建模不确定性来抑制来自其对等体的低质量伪标签的影响，从而增强了自训练伪标签。在Cityscapes和PASCAL VOC 2012上的大量实验证明了我们的UCC的有效性。我们的方法显着优于其他国家的最先进的半监督语义分割方法。在1/16协议下，Cityscapes和PASCAL VOC 2012数据集上分别获得77.17 $\%$、76.49 $\%$ mIoU，比监督基线分别好+10.1 $\%$、+7.91 $\%$。
2023-02-23 cs.CV
CGAM: Click-Guided Attention Module for Interactive Pathology Image Segmentation via Backpropagating Refinement
Korea University（高丽大学）
本文提出一种交互式病理图像分割方法，通过点击引导注意力模块（CGAM）将交互式分割转化为优化问题，结合用户点击约束与特征图语义信息精修网络输出，避免对用户点击过拟合且模型大小与输入无关，性能优于现有最先进方法。
2023-07-03 cs.CV
Language-guided Few-shot Semantic Segmentation
DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团）；East China Normal University（华东师范大学）
针对少样本语义分割像素级标注成本高的问题，提出仅用图像级文本标签的语言引导方法，通过视觉-语言预训练模型与掩码细化器生成伪掩码，结合分布式原型监督与互补关联匹配模块挖掘语义关系，在两个基准上达到与视觉引导方法相竞争的效果。
2023-11-23 cs.CV
Deeply Shape-guided Cascade for Instance Segmentation
Johns Hopkins University（约翰斯·霍普金斯大学）；Shanghai Jiao Tong University（上海交通大学）
一个成功的级联架构，精确的实例分割的关键是充分利用之间的关系，限界框检测和掩码分割跨多个阶段。尽管现代实例分割级联实现了领先的性能，但是它们主要利用单向关系，即，掩模分割可以受益于迭代地细化的限界框检测。在本文中，我们研究了另一个方向，即，如何在级联架构中利用精确掩码分割进行限界框检测。提出了一种深度形状引导的级联算法（DSC），用于实例分割，该算法将前一阶段模板预测中提取的形状引导信息迭代地应用于当前阶段的限界框检测.它通过引入三个关键组件在两个任务之间形成双向关系：（1）初始形状指导：具有生成类别不可知掩码能力的掩码监督区域建议网络（mPRN）;（2）显式形状指导：一种掩模引导的感兴趣区域（RoI）特征提取器，其在前一阶段采用掩模分割以在当前阶段将特征提取集中在与感兴趣实例的形状而不是矩形ROI很好地对准的区域内;（3）隐式形状引导：特征融合操作，其将前一阶段的中间掩模特征馈送到当前阶段的限界框头部。实验结果表明，DSC在COCO测试开发平台上的性能明显优于现有的实例分割级联混合任务级联（HTC），达到了51.8个框AP和45.5个掩码AP。代码发布于：https://github.com/hding2455/DSC。
2021-03-27 cs.CV
CGNet: A Light-weight Context Guided Network for Semantic Segmentation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
在移动设备上应用语义分割模型的需求正在迅速增长。当前最先进的网络具有大量参数，因此不适合移动设备，而其他小内存占用模型遵循分类网络的精神，忽略了语义分割的固有特征。为了解决这个问题，我们提出了一种新的上下文引导网络（CGNet），这是一个轻量级和高效的网络语义分割。我们首先提出了上下文引导（CG）块，它学习局部特征和周围上下文的联合特征，并进一步改进与全局上下文的联合特征。基于CG块，我们开发了CGNet，它可以捕获网络各个阶段的上下文信息，并专门为提高分割精度而量身定制。CGNet还经过精心设计，以减少参数数量并节省内存占用。在相同数量的参数下，建议的CGNet显着优于现有的分割网络。在Cityscapes和CamVid数据集上的实验验证了该方法的有效性。具体来说，在没有任何后处理和多尺度测试的情况下，拟议的CGNet在Cityscapes上实现了64.8%的平均IoU，参数小于0.5 M。完整系统的源代码可以在https://github.com/wutianyiRosun/CGNet上找到。
2019-04-12 cs.CV
CC-Net: Image Complexity Guided Network Compression for Biomedical Image Segmentation
University of Notre Dame（圣母大学）
用于生物医学图像分析的卷积神经网络（CNN）通常具有非常大的尺寸，导致高存储需求和高操作延迟。为特定成像应用搜索基础CNN的可接受压缩表示通常涉及一系列耗时的训练/验证实验，以在网络大小和准确性之间实现良好的折衷。为了解决这一挑战，我们提出了CC-Net，一种新的图像复杂度引导的CNN压缩方案，用于生物医学图像分割。给定一个CNN模型，CC-Net根据从训练数据计算的平均图像复杂度预测不同大小网络的最终精度。然后，它选择一个乘法因子，以产生具有可接受的网络精度和大小的期望网络。实验表明，CC-Net可以有效地生成压缩的分割网络，保持高达95%的基本网络分割精度，并且在最佳情况下仅利用全尺寸网络的0.1%的可训练参数。
2019-09-08 cs.CV
FreqDINO: Frequency-Guided Adaptation for Generalized Boundary-Aware Ultrasound Image Segmentation
University of Nottingham Ningbo China（诺丁汉大学宁波校区）；University of Nottingham（诺丁汉大学）；University of Lincoln（林肯大学）；Yale University（耶鲁大学）
FreqDINO通过频率引导方法提升超声图像分割的边界感知与结构一致性，实现更优的泛化能力。
2025-12-12 cs.CV
2nd Place Solution for MeViS Track in CVPR 2024 PVUW Workshop: Motion Expression guided Video Segmentation
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences (UCAS)（中国科学院大学人工智能学院）；Beijing Academy of Artificial Intelligence (BAAI)（北京人工智能研究院）；University of Science and Technology Beijing (USTB)（北京科技大学）
针对运动表达引导的视频分割任务，团队基于RVOS方法引入视频实例分割掩码信息做时序增强、用SAM做空间细化，在CVPR 2024 PVUW挑战赛MeViS赛道取得第二名。
2024-06-20 cs.CV
Topological Data Analysis Guided Segment Anything Model Prompt Optimization for Zero-Shot Segmentation in Biological Imaging
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
本文提出拓扑数据分析引导的SAM提示优化方法，基于拓扑显著性寻找点位置取代标准网格搜索，在生物图像零样本分割中更利于寻找小目标并大幅降低计算复杂度。
2023-06-30 cs.CV
Localization-Infused Vision-Language Semantic Fusion for Text-Guided Medical Image Segmentation
Air Force Engineering University（空军工程大学）；Harbin Institute of Technology（哈尔滨工业大学）；University of Sydney（悉尼大学）；Institute of Translational Medicine, Shanghai Jiao Tong University（上海交通大学转化医学研究院）；Zhongguancun Institute of Artificial Intelligence（中关村人工智能研究院）
研究针对文本引导医学图像分割，提出LoG框架，通过联合执行多尺度目标定位任务，实现三级定位注入语义融合，在三个基准数据集实验中表现出色，优于现有医学图像分割方法。
2026-08-25 cs.CV
Self-guided Few-shot Semantic Segmentation for Remote Sensing Imagery Based on Large Vision Models
Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences（中国科学院大学电子电气与通信工程学院）
本研究针对遥感图像少样本语义分割任务，提出一种基于SAM的结构化框架，通过新颖的自动提示学习方法生成像素级提示，实现高效自动化分割，并在DLRSD数据集上超越现有方法。
2023-11-22 cs.CV
FGSSNet: Feature-Guided Semantic Segmentation of Real World Floorplans
School of Information Technology, Halmstad University, Sweden（信息科技学院，哈姆斯塔德大学，瑞典）
提出FGSSNet架构，通过多头专用特征提取器提取墙壁图块的纹理与宽度特征并注入U-Net潜在空间，有效提升了真实世界平面图墙壁分割的泛化能力与性能。
2025-07-14 cs.CV
Saliency Guided Inter- and Intra-Class Relation Constraints for Weakly Supervised Semantic Segmentation
弱监督语义分割，只有图像级标签的目的是减少分割任务的注释成本。现有的方法通常利用类激活图（CAM）来定位用于伪标签生成的对象区域。然而，CAM只能发现对象的最有区别的部分，从而导致劣质像素级伪标签。为了解决这个问题，我们提出了一个显着性指导的类间和类内关系约束（I $^2$ CRC）框架，以协助扩大激活的对象区域CAM。具体来说，我们提出了一个显着性指导类不可知的距离模块，拉类内的功能更接近对齐功能，他们的类原型。此外，我们提出了一个类特定的距离模块，以推动类间的功能分开，并鼓励对象区域具有比背景更高的激活。除了加强分类网络的能力，以激活CAM中更多完整的对象区域外，我们还引入了一个对象引导的标签细化模块，以充分利用分割预测和初始标签来获得更好的伪标签。在PASCAL VOC 2012和COCO数据集上进行的大量实验证明了I $^2$ CRC优于其他最先进的CRC的有效性。源代码、模型和数据已在\url{https://github.com/NUST-Machine-Intelligence-Laboratory/I2CRC}上提供。
2022-06-20 cs.CV
SAM-pose2seg: Pose-Guided Human Instance Segmentation in Crowds
Visual Recognition Group（视觉识别组）；Department of Cybernetics（cybernetics系）；Faculty of Electrical Engineering（电气工程系）；Czech Technical University in Prague（布拉格捷克技术大学）
SAM-pose2seg通过姿态引导微调提升遮挡下的人类实例分割性能，保留模型泛化能力。
2026-01-16 cs.CV
Transmission-Guided Bayesian Generative Model for Smoke Segmentation
The Australian National University（澳大利亚国立大学）
烟雾分割对于精确定位野火至关重要，以便在早期阶段将其扑灭。尽管深度神经网络在图像分割任务上取得了令人鼓舞的结果，但由于其非刚性形状和透明外观，它们容易对烟雾分割过于自信。这是由知识水平的不确定性和标记水平的不确定性引起的，知识水平的不确定性是由于用于精确烟雾分割的有限训练数据和标记水平的不确定性，标记水平的不确定性表示标记地面实况的困难。为了有效地模拟这两种类型的不确定性，我们引入了贝叶斯生成模型来同时估计模型参数及其预测的后验分布。此外，烟雾图像具有低对比度和模糊性，受基于物理的图像去雾方法的启发，我们设计了一种传输引导的局部相干性损失，以引导网络基于像素距离和传输特征学习成对关系。为了促进这一领域的发展，我们还提供了一个高质量的烟雾分割数据集SMOKE 5K，由1，400个真实图像和4，000个合成图像组成，并带有像素级注释。基准测试数据集上的实验结果表明，我们的模型实现了准确的预测和可靠的不确定性地图表示模型对其预测的无知。我们的代码和数据集可在https://github.com/redlessme/Transmission-BVM上公开获取。
2023-03-02 cs.CV
SemFormer: Semantic Guided Activation Transformer for Weakly Supervised Semantic Segmentation
Shenzhen University（深圳大学）
目前主流的弱监督语义分割（WSSS）方法主要基于由基于CNN（卷积神经网络）的图像分类器生成的类激活图（CAM）。在本文中，我们提出了一种新的基于transformer的框架，命名为语义引导激活Transformer（SemFormer），WSSS。我们设计了一个基于transformer的类感知自动编码器（CAAE）来提取输入图像的类嵌入，并学习数据集的所有类的类语义。然后使用类嵌入和学习的类语义来指导具有四个损失的激活图的生成，即，类前景、类背景、激活抑制和激活互补损失。在PASCAL VOC 2012数据集上的实验结果表明，该算法实现了\textbf{74.3} \% mIoU，并在很大程度上超过了目前主流的WSSS算法.代码将在\url{https://github.com/JLChen-C/SemFormer}上提供。
2022-10-26 cs.CV
A Language-Guided Benchmark for Weakly Supervised Open Vocabulary Semantic Segmentation
Indian Institute of Technology（印度理工学院）
越来越多的注意力被转移到数据高效的问题设置，如开放词汇语义分割（OVSS），它处理分割在训练过程中可能会或可能不会看到的任意对象。与OVSS相关的最接近的标准问题是Zero-Shot和Few-Shot Segmentation（ZSS，FSS）及其跨数据集变体，其中需要零到很少的注释来分割新的类。现有的FSS和ZSS方法利用完全监督的像素标记的可见类来分割不可见类。像素级标签很难获得，使用廉价的图像级标签形式的弱监督通常更实用。为此，我们提出了一种新的统一的弱监督OVSS管道，可以在新的类上执行ZSS，FSS和跨数据集分割，而无需在归纳设置中使用基础（可见）或新（不可见）类的像素级标签。我们提出了弱监督语义引导分割网络（WLSegNet），这是一种新型的语言引导分割管道，i）使用批量聚合（平均值）学习可概括的上下文向量，以使用冻结CLIP（一种视觉语言模型）将类提示映射到图像特征，ii）将弱ZSS/FSS转换为弱语义分割和Zero-Shot分割。学习的上下文向量避免了在训练期间对已看到的类的过拟合，并且在测试期间更好地转移到新的类。WLSegNet避免了在训练过程中进行微调和使用外部数据集。所提出的流水线在PASCAL VOC上分别以39和3 mIOU点击败了用于弱广义Zero-Shot和弱Few-Shot语义分割的现有方法，在MS COCO上以5 mIOU点击败了弱Few-Sho…
2023-02-27 cs.CV
Saliency Guided Self-attention Network for Weakly and Semi-supervised Semantic Segmentation
Zhejiang University（浙江大学）
弱监督语义分割（WSSS）只使用图像级标签可以大大降低标注成本，因此吸引了相当大的研究兴趣。然而，其性能仍然不如完全监督的同行。为了缓解性能差距，我们提出了一个显着性引导的自我注意力网络（SGAN）来解决WSSS问题。引入的自我注意力机制能够捕获丰富而广泛的上下文信息，但可能会将注意力错误地传播到意想不到的区域。为了使该机制能够在弱监督下有效地工作，我们将类不可知的显着性先验集成到自我注意力机制中，并利用类特定的注意力线索作为SGAN的额外监督。我们的SGAN能够产生密集和准确的定位线索，从而提高分割性能。此外，通过简单地用部分标记的地面实况替换额外的监督，SGAN也有效地用于半监督语义分割。在PASCAL VOC 2012和COCO数据集上的实验表明，我们的方法在弱监督和半监督环境下的性能优于所有其他最先进的方法。
2020-01-12 cs.CV
Text-to-seed generation: Training-free open-vocabulary seeded semantic segmentation via re-purposing diffusion as text-guided seed generator
Hanyang University（汉阳大学）
本研究提出免训练框架T2S，利用Stable Diffusion生成文本引导的种子点，结合SAM实现开放词汇语义分割，在标准基准上取得优异性能。
2026-08-28 cs.CV
Adversarial-Prediction Guided Multi-task Adaptation for Semantic Segmentation of Electron Microscopy Images
College of Computer Science and Technology, Huaqiao University（华侨大学计算机科学与技术学院）
语义分割是电子显微镜图像分析的重要步骤。尽管监督模型已经取得了重大进展，但需要劳动密集型像素级注释是一个主要限制。更复杂的是，由于域转移，监督学习模型可能无法在新数据集上很好地推广。在这项研究中，我们引入了一个对抗预测引导的多任务网络来学习一个经过良好训练的模型在一个新的未标记目标域上的适应。由于目标域上没有标签，因此我们学习了一种编码表示，不仅用于源域上的监督分割，而且用于目标数据的无监督重建。为了提高几何线索的区分能力，我们进一步指导表示学习在语义预测空间的多级对抗学习。公共基准的比较和消融研究证明了我们的方法的最先进的性能和有效性。
2020-04-05 cs.CV
Distance Guided Channel Weighting for Semantic Segmentation
Nanyang Technological University（南洋理工大学）；Beihang University（北京航空航天大学）
最近的工作在通过利用深度神经网络捕获具有高通道数的特征来提高多个计算机视觉任务的性能方面取得了巨大成功。然而，许多通道提取的特征是没有区别的，包含大量的冗余信息。在本文中，我们解决上述问题，通过引入距离导引信道加权（DGCW）模块。DGCW模块是以逐像素上下文提取的方式构建的，其通过在建模其与其他像素的关系时对每个像素的特征向量的不同通道进行加权来增强特征的区分度。该方法可以充分利用特征图中的高区分度信息，而忽略特征图中的低区分度信息，并能捕捉到特征图中的长距离依赖关系。此外，通过将DGCW模块与基线分割网络相结合，我们提出了距离引导信道加权网络（DGCWNet）。我们进行了大量的实验，以证明DGCWNet的有效性。特别是，它在Cityscapes上实现了81.6%的mIoU，只有精细的注释数据用于训练，并且在另外两个语义分割数据集上也获得了令人满意的性能，即Pascal Context和ADE 20 K。代码将很快在https://github.com/LanyunZhu/DGCWNet上提供。
2022-05-13 cs.CV
Object-Guided Instance Segmentation for Biological Images
Rutgers University（罗格斯大学）；Tencent Hippocrates Research Labs（腾讯希波克拉底研究实验室）；Lieber Institute for Brain Development（利伯大脑发育研究所）
生物图像的实例分割是研究目标行为和属性的基础。诸如对象的聚类、遮挡和粘附问题的挑战使得实例分割成为一项不平凡的任务。当前无框实例分割方法通常依赖于局部像素级信息。由于缺乏全局对象视图，这些方法易于过分割或欠分割。相反，基于框的实例分割方法将目标检测结合到分割中，在识别个体实例方面表现更好。本文提出了一种新的基于框的实例分割方法。主要是从对象的中心点定位对象的边界框。对象特征随后在分割分支中被重用，作为在RoI补丁内分离聚类实例的指南。通过实例归一化，该模型能够恢复目标对象的分布并抑制相邻附着对象的分布。因此，该模型在分割聚类对象，同时保留目标对象的细节表现出色。所提出的方法在三个生物数据集上实现了最先进的性能：细胞核，植物表型数据集和神经细胞。
2019-11-20 cs.CV
Position-Guided Point Cloud Panoptic Segmentation Transformer
Shanghai AI Laboratory（上海人工智能实验室）；S-Lab, NTU（南洋理工大学S实验室）；The Chinese University of Hong Kong（香港中文大学）
检测Transformer（DETR）开始了一种趋势，使用一组可学习的查询来实现统一的视觉感知。这项工作首先将这种吸引人的范例应用于基于LiDAR的点云分割，并获得了一个简单而有效的基线。虽然朴素自适应获得了公平的结果，实例分割的性能明显不如以前的作品。通过深入细节，我们观察到稀疏点云中的实例相对于整个场景来说相对较小，并且通常具有相似的几何形状，但缺乏用于分割的独特外观，这在图像域中是罕见的。考虑到3D中的实例更多的是其位置信息，我们强调他们在建模过程中的作用，并设计了一个强大的混合参数化位置嵌入（MPE）来指导分割过程。它被嵌入到主干特征中，然后迭代地指导掩码预测和查询更新过程，从而产生位置感知分割（PA-Seg）和掩蔽焦点注意力（MFA）。所有这些设计促使查询关注特定区域并识别各种实例。该方法被命名为位置引导点云全景分割Transformer（P3 Former），在SemanticKITTI和nuScenes基准上分别比先前的最先进的方法高出3.4%和1.2%PQ。源代码和模型可以在https://github.com/SmartBot-PJLab/P3Former上找到。
2023-03-23 cs.CV
SpiderMesh: Spatial-aware Demand-guided Recursive Meshing for RGB-T Semantic Segmentation
Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））
针对复杂光照下 RGB-T 语义分割，提出 SpiderMesh 框架，结合需求引导掩码、递归网格化、M-CutOut 与半监督学习，在 MFNet 和 PST900 上达到最先进性能。
2023-09-27 cs.CV
Quality-Guided Semi-Supervised Learning for Medical Image Segmentation
School of Computing Science, Simon Fraser University, Canada（Simon Fraser大学计算机科学学院）
提出一种质量引导的半监督学习框架，通过专用网络估计分割质量，并利用质量感知正则化和伪标签重加权提升医学图像分割性能。
2026-06-01 cs.CV
Fast Semantic Image Segmentation with High Order Context and Guided Filtering
Peking University（北京大学）
本文描述了一种快速准确的语义图像分割方法，该方法不仅编码来自深层神经网络的判别特征，而且编码相邻对象之间的高阶上下文兼容性以及低级别图像特征。我们制定的基本问题的条件随机场，嵌入本地特征提取，集团潜在的建设，并在同一框架内引导过滤，并提供了一个有效的粗到细的求解器。在粗层次上，我们使用深度卷积网络将局部特征表示和上下文交互结合起来，并使用消息传递例程直接从高阶集团中学习交互，避免了耗时的联合概率分布显式图推理。在精细层面，我们为平均场算法引入了引导式过滤解释，并以比经典学习方法快100+的速度实现了准确的对象边界。这两个部分以端到端的方式连接并联合训练。在Pascal VOC 2012数据集上的实验结果表明，该算法的性能优于现有技术，并且在提交时达到了rank 1的性能，这两者都证明了该统一框架用于语义图像分割的有效性。
2016-05-13 cs.CV
A Spatial Guided Self-supervised Clustering Network for Medical Image Segmentation
The University of Sydney（悉尼大学）；Med-X Research Institute, Shanghai Jiao Tong University（上海交通大学Med-X研究院）
医学图像的分割是自动化临床决策支持系统中的一个基本步骤。然而，现有的基于监督式深度学习的医学图像分割方法仍然存在问题，因为它们依赖于大量标记的训练数据。尽管医学成像数据存储库继续扩展，但注释数据的量并没有相应地增加。因此，我们提出了一种新的空间引导自监督聚类网络（SGSCN）的医学图像分割，在那里我们引入了多个损失函数，旨在帮助分组图像像素的空间连接，并具有类似的功能表示。它从单个图像中以端到端的方式迭代学习每个像素的特征表示和聚类分配。我们还提出了一个基于上下文的一致性损失，更好地描绘图像区域的形状和边界。它强制属于一个聚类的所有像素在空间上靠近聚类中心。我们评估了我们的方法对2个公共医学图像数据集，并将其与现有的传统和自监督聚类方法进行比较。实验结果表明，该方法对医学图像分割的准确性最高。
2021-07-11 cs.CV
A Holistically-Guided Decoder for Deep Representation Learning with Applications to Semantic Segmentation and Object Detection
The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）；Shandong Normal University（山东师范大学）
高层次和高分辨率的特征表示在各种视觉理解任务中都非常重要。为了获得具有高层次语义信息的高分辨率特征图，一种常用的策略是在骨干网络中采用扩张卷积来提取高分辨率特征图，例如基于扩张模糊控制网络的语义分割方法。然而，由于许多卷积运算是在高分辨率特征图上进行的，这样的方法具有较大的计算复杂性和存储器消耗。在本文中，我们提出了一种新的整体引导解码器，它被引入到获得高分辨率的语义丰富的特征地图，通过多尺度的功能，从编码器。解码通过新颖的整体码字生成和码字组装操作来实现，该操作利用了来自编码器特征的高级和低级特征。利用所提出的整体引导解码器，我们实现了用于语义分割的EfficientFCN架构和用于目标检测和实例分割的HGD-FPN。EfficientFCN在PASCAL Context、PASCAL VOC、ADE 20 K数据集上实现了与最先进的方法相当甚至更好的性能，而语义分割的计算成本仅为它们的1/3。同时，所提出的HGD-FPN实现$>2\%$更高的平均平均精度（mAP）时，集成到几个目标检测框架与ResNet-50编码骨干。
2020-12-18 cs.CV
Diffusion-Guided Knowledge Distillation for Weakly-Supervised Low-Light Semantic Segmentation
Nanjing University of Science and Technology（南京理工大学）；The Hong Kong University of Science and Technology（香港科学与技术大学）；Nanjing Forestry University（南京林业大学）
针对低光下弱监督语义分割受图像退化与弱标注约束导致伪标签不可靠的问题，提出DGKD-WLSS框架，融合扩散知识蒸馏与深度先验，实现最先进性能。
2025-07-23 cs.CV
GuidedMix-Net: Semi-supervised Semantic Segmentation by Using Labeled Images as Reference
Shenzhen Microbt Electronics Technology Co., Ltd（深圳比特微电子科技有限公司）；Tencent Jarvis Lab（腾讯贾维斯实验室）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Xiamen University（厦门大学）；National Center for Artificial Intelligence, Saudi Data and Artificial Intelligence Authority（沙特数据和人工智能管理局国家人工智能中心）
半监督学习是一个具有挑战性的问题，其目的是通过从有限的标记样本中学习来构建模型。许多用于此任务的方法都集中在仅利用未标记实例一致性的预测来正则化网络。然而，单独处理标记和未标记的数据往往会导致丢弃从标记的例子中学习到的大量先验知识。%，以及未能挖掘标记和未标记图像对之间的特征交互。在本文中，我们提出了一种新的半监督语义分割的方法命名为GuidedMix-Net，利用标记的信息来指导学习的未标记的实例。具体来说，GuidedMix-Net采用三种操作：1）相似的标记-未标记图像对的插值; 2）互信息的传递; 3）伪掩码的泛化。它通过将标记样本的知识转移到未标记数据中，使分割模型能够学习未标记数据的更高质量的伪掩模。随着对标记数据的监督学习，未标记数据的预测与从混合数据生成的伪掩码联合学习。在PASCAL VOC 2012和Cityscapes上进行的大量实验证明了我们的GuidedMix-Net的有效性，与以前的方法相比，它实现了具有竞争力的分割精度，并将mIoU显著提高了+7 $\%$。
2021-12-28 cs.CV
Progressive Prompt-Guided Cross-Modal Reasoning for Referring Image Segmentation
School of Computer Science and Artificial Intelligence, Wuhan University of Technology（武汉理工大学计算机科学与人工智能学院）；School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院）；University of Electronic Science and Technology of China（电子科技大学）；Wuhan Vocational College of Software and Engineering（武汉软件工程职业学院）
本文提出PPCR框架，通过语义理解-空间定位-实例分割流程，改进指代图像分割中语言描述与视觉表示的连接，提升分割精度。
2026-03-30 cs.CV
3D Guided Weakly Supervised Semantic Segmentation
Australian National University（澳大利亚国立大学）；CSIRO Data61（澳大利亚联邦科学与工业研究组织 Data61）
逐像素的干净注释对于全监督的语义分割是必要的，这是费力且昂贵的。在本文中，我们提出了一个弱监督的二维语义分割模型，将稀疏的限界框标签与可用的三维信息，这是更容易获得先进的传感器。我们用边界框手动标记2D-3D语义（2D-3D-S）数据集的子集，并引入我们的2D-3D推理模块来生成精确的逐像素分段建议掩码。在3D信息的指导下，我们首先生成对象的点云，并计算每个点的对象概率得分。然后，我们将具有对象概率的点云投影回2D图像，然后进行细化步骤以获得分割建议，这些分割建议被视为伪标签以训练语义分割网络。我们的方法以递归方式工作，以逐步完善上述细分建议。在2D-3D-S数据集上的大量实验结果表明，当限界框标签仅在一小部分训练图像上可用时，该方法可以生成准确的分割建议。与最近的国家的最先进的方法的性能比较进一步说明了我们的方法的有效性。
2020-12-01 cs.CV
