Self-Guided and Cross-Guided Learning for Few-Shot Segmentation
XJTLU(西交利物浦大学);University of Liverpool(利物浦大学);Dinnar Automation Technology(迪纳自动化技术公司)
Few-Shot分割由于其能够有效地分割具有少量注释样本的不可见对象类而受到了广泛关注。大多数现有的方法使用掩码全局平均池(GAP)编码的注释支持图像的特征向量,以促进查询图像分割。然而,由于平均操作,该流水线不可避免地丢失了一些判别信息。在本文中,我们提出了一个简单而有效的自我引导学习方法,其中丢失的关键信息被挖掘。具体地,通过对带注释的支持图像进行初始预测,使用掩蔽的GAP将覆盖的和未覆盖的前景区域分别编码为主支持向量和辅助支持向量。通过聚合主支持向量和辅助支持向量,在查询图像上获得更好的分割性能。受我们用于单镜头分割的自引导模块的启发,我们提出了一个用于多镜头分割的交叉引导模块,其中使用来自多个注释样本的预测融合最终掩码,其中高质量的支持向量贡献更多,反之亦然。该模块在推理阶段改进了最终预测,而无需重新训练。大量的实验表明,我们的方法在PASCAL-5i和COCO-20 i数据集上都实现了新的最先进的性能。
2021-03-30 cs.CV
MedCondDiff: Lightweight, Robust, Semantically Guided Diffusion for Medical Image Segmentation
MedCondDiff通过语义引导的扩散模型实现高效、稳健的多器官医学图像分割,适用于多种成像模态和解剖区域。
2025-11-29 cs.AI cs.CV cs.LG
ICFRNet: Image Complexity Prior Guided Feature Refinement for Real-time Semantic Segmentation
College of Computer Science, Nankai University(南开大学计算机学院);Institute of Mathematics and Informatics, Bulgarian Academy of Sciences(保加利亚科学院数学与信息学研究所)
本文提出ICFRNet,利用图像复杂度作为先验引导特征精炼,通过ICGA模块生成注意力图优化分割特征,在Cityscapes和CamViD数据集上实现了更高精度与竞争性效率的实时语义分割。
2024-08-25 cs.CV
Superpixel-guided Iterative Learning from Noisy Labels for Medical Image Segmentation
ShanghaiTech University(上海科技大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程技术研究中心)
由于难以获得高质量的标注,从噪声标签中学习分割是医学图像分析的一项重要任务。大多数现有的方法忽略了像素的相关性和结构的先验分割,往往产生噪声预测周围的对象边界。为了解决这个问题,我们采用了超像素表示,并开发了一种强大的迭代学习策略,该策略结合了分割网络的噪声感知训练和噪声标签细化,两者都由超像素指导。这种设计使我们能够利用分割标签中的结构约束,并有效地减轻标签噪声对学习的影响。两个基准测试的实验表明,我们的方法优于最近的国家的最先进的方法,并在广泛的标签噪声实现卓越的鲁棒性。代码可在https://github.com/gaozhitong/SP_guided_Noisy_Label_Seg上获得。
2021-07-21 cs.CV
Contextual Guided Segmentation Framework for Semi-supervised Video Instance Segmentation
National Institute of Informatics(国立信息学研究所);University of Dayton(代顿大学);University of Science and Vietnam National University, Ho Chi Minh(胡志明市越南国家大学科学大学)
在本文中,我们提出了上下文引导分割(CGS)框架的视频实例分割在三个回合。在第一遍中,即,预览分割,我们提出实例重新识别流程来估计每个实例的主要属性(即,人类/非人类、刚性/可变形、已知/未知类别)。在第二遍中,即,上下文分割,我们介绍多个上下文分割方案。对于人类的例子,我们开发了一个帧中的对象流引导分割,以纠正和完善跨帧的结果。对于非人类实例,如果实例在外观上有很大的变化,并且属于已知类别(可以从初始掩码中推断),则采用实例分割。如果非人类实例几乎是刚性的,则我们对来自视频序列的第一帧的合成图像进行训练FCN。在最后一遍中,即,引导分割,我们开发了一种新的细粒度的非矩形感兴趣区域(ROI)的分割方法。自然形状的ROI通过应用来自当前帧的相邻帧的引导注意来生成,以减少不同重叠实例的分割中的模糊性。前向掩码传播之后是后向掩码传播,以进一步恢复由于重新出现的实例、快速运动、遮挡或严重变形而丢失的实例片段。最后,每个帧中的实例根据它们的深度值、人类和非人类对象交互以及稀有实例优先级进行合并。在DAVIS测试挑战数据集上进行的实验证明了我们提出的框架的有效性。我们在2017-2019年DAVIS挑战赛中连续获得第三名,全球得分、区域相似性和轮廓准确性分别为75.4%、72.4%和78.4%。
2022-04-11 cs.CV
Prototype Guided Network for Anomaly Segmentation
语义分割方法不能直接识别图像中的异常对象。异常分割算法可以区分分布内对象和分布外(OOD)对象,并输出像素的异常概率。本文提出了一种原型引导的异常分割网络(PGAN),用于从有限的标注图像中提取分布式训练数据的语义原型。在模型中,原型被用来建模的层次类别语义信息和区分OOD像素。提出的PGAN模型包括一个语义分割网络和一个原型抽取网络。采用相似性度量对原型进行优化。将学习到的语义原型作为类别语义,与从测试图像中提取的特征进行相似度比较,然后生成语义分割预测。提出的原型提取网络也可以集成到大多数语义分割网络和识别OOD像素。在StreetHazards数据集上,所提出的PGAN模型产生了53.4%的mIoU用于异常分割。实验结果表明,PGAN在异常分割任务中可以达到SOTA的性能。
2022-03-15 cs.CV
Object Boundary Guided Semantic Segmentation
语义分割是图像内容理解和目标定位的关键。全卷积神经网络(FCN)的最新发展使得能够进行精确的像素级标记。在以前的作品中的一个问题是,基于FCN的方法不利用对象边界信息来描绘分割细节,因为对象边界标签在网络训练中被忽略。为了解决这个问题,我们引入了一个双分支全卷积神经网络,它将学习所需的语义类标签与重新标记边界指导的掩码级对象建议分开。这个网络被称为对象边界引导的FCN(OBG-FCN),能够以完全卷积的方式将对象形状和类特征的不同属性与设计的掩蔽架构优雅地集成在一起。我们在PASCAL VOC分割基准上进行了实验,并表明端到端可训练的OBG-FCN系统在优化目标语义分割质量方面提供了很大的改进。
2016-07-06 cs.CV
SGSeg: Enabling Text-free Inference in Language-guided Segmentation of Chest X-rays via Self-guidance
The University of Sydney(悉尼大学)
本文提出SGSeg自引导分割框架,通过定位增强报告生成模块在训练时利用语言引导、推理时无需文本,首次实现胸部X光片语言引导分割中的无文本推理,并在QaTa-COV19数据集上超越现有单模态方法、接近多模态方法性能。
2024-09-07 cs.CV
Guided Upsampling Network for Real-Time Semantic Segmentation
University of Milano-Bicocca(米兰比可卡大学)
语义分割架构主要建立在编码器-解码器结构上。这些模型在编码器中执行后续的下采样操作。由于对高分辨率激活图的操作在计算上是昂贵的,因此解码器通常通过使用无参数运算符(如双线性或最近邻)进行上采样来产生输出分割图。我们提出了一个神经网络命名为引导上采样网络,它由一个多分辨率架构,联合利用高分辨率和大的上下文信息。然后,我们引入了一个新的模块,名为引导上采样模块(GUM),通过引入语义映射的可学习转换来丰富上采样运算符。它可以插入到任何现有的编码器-解码器架构中,只需很少的修改和较低的额外计算成本。我们展示了定量和定性的实验,我们的网络如何受益于使用GUM模块。在公开的Cityscapes数据集上进行的一系列实验表明,引导上采样网络可以有效地实时的【形】处理高分辨率图像,同时达到最先进的性能。
2018-07-19 cs.CV
Object-Guided Instance Segmentation With Auxiliary Feature Refinement for Biological Images
Rutgers University(罗格斯大学);Tencent Hippocrates Research Labs(腾讯希波克拉底研究实验室);Lieber Institute for Brain Development(利伯大脑发育研究所)
实例分割在许多生物学应用中具有重要意义,如神经细胞相互作用的研究、植物表型分析以及定量测量细胞对药物处理的反应等。本文提出了一种新的基于框的实例分割方法。基于框的实例分割方法通过边界框捕获对象,然后在每个限界框区域内执行单独的分割。然而,现有的方法很难区分目标从它的相邻物体在同一个限界框区域内,由于它们的相似的纹理和低对比度的边界。针对这一问题,本文提出了一种基于对象引导的实例分割方法。我们的方法首先检测对象的中心点,然后预测的限界框参数。为了执行分割,对象引导的粗到细分割分支与检测分支一起构建。分割分支重用对象特征作为指导,以将目标对象与同一限界框区域内的相邻对象分离。为了进一步提高分割质量,我们设计了一个辅助特征细化模块,该模块在边界区域中密集采样和细化逐点特征。在三个生物图像数据集上的实验结果证明了该方法的优越性。该代码将在https://github.com/yijingru/ObjGuided-Instance-Segmentation上提供。
2021-06-14 cs.CV
Generating Self-Guided Dense Annotations for Weakly Supervised Semantic Segmentation
National Tsing Hua University(国立清华大学)
在图像级监督下学习语义分割模型比在完全监督设置下更具挑战性。在不知道确切的像素-标签对应关系的情况下,大多数弱监督方法依赖于外部模型来推断伪像素级标签以用于训练语义分割模型。在本文中,我们的目标是开发一个单一的神经网络,而不诉诸任何外部模型。我们提出了一种新的自我引导策略,充分利用在多个级别上学习的特征,逐步生成密集的伪标签。首先,我们使用高级特征作为类特定的本地化映射来粗略定位类。接下来,我们提出了一个亲和度指导的方法,鼓励每个本地化地图是一致的,他们的中间水平的功能。第三,我们采用训练图像本身作为指导,并提出一种自我指导的细化,以进一步将图像的固有结构转移到地图中。最后,我们从这些本地化地图中获得伪像素级标签,并使用伪标签作为地面实况来训练语义分割模型。我们提出的自指导策略是一个统一的框架,它建立在单个网络上,并在训练过程中交替更新特征表示和细化定位图。在PASCAL VOC 2012分割基准上的实验结果表明,在相同的设置下,我们的方法优于其他弱监督方法。
2018-10-16 cs.CV
UCAD: Uncertainty-guided Contour-aware Displacement for semi-supervised medical image segmentation
University of Science and Technology of China(科学技术大学);Suzhou Institute for Advanced Research(苏州先进研究院);State Key Laboratory of Precision and Intelligent Chemistry(精密与智能化学国家重点实验室)
UCAD通过基于不确定性的轮廓感知位移框架,提升半监督医学图像分割的准确性和一致性学习效果。
2026-01-24 cs.CV
Spatial Information Guided Convolution for Real-Time RGBD Semantic Segmentation
Nankai University(南开大学);University of Sydney(悉尼大学);University of Bath(巴斯大学)
已知3D空间信息对语义分割任务是有益的。大多数现有的方法将3D空间数据作为额外的输入,从而导致分别处理RGB和3D空间信息的双流分割网络。这种解决方案大大增加了推理时间,并严重限制了其实时的【形】应用范围。为了解决这个问题,我们提出了空间信息引导卷积(S-Conv),它允许有效的RGB特征和3D空间信息集成。S-Conv能够推断出由3D空间信息引导的卷积核的采样偏移,帮助卷积层调整感受野并适应几何变换。S-Conv还通过生成空间自适应卷积权重将几何信息纳入特征学习过程。在不影响参数数量和计算量的情况下,极大地增强了感知几何的能力。我们进一步将S-Conv嵌入到一个语义分割网络中,称为空间信息引导卷积网络(SGNet),从而在NYUDv 2和SNOGGBD数据集上实现了实时的【形】推理和最先进的性能。
2021-01-08 cs.CV
Language-guided Medical Image Segmentation with Target-informed Multi-level Contrastive Alignments
School of Computer Science, The University of Sydney(悉尼大学计算机科学学院);Institute of Translational Medicine, Shanghai Jiao Tong University(上海交通大学转化医学研究院);Zhongguancun Academy & Zhongguancun Institute of Artificial Intelligence, Beijing, China(北京中关村学院及中关村人工智能研究院);Department of Molecular Imaging, Royal Prince Alfred Hospital(皇家珀斯阿尔弗雷德医院分子成像部)
研究针对医学图像分割,提出目标感知多级对比对齐框架,通过引入目标敏感语义距离模块、多级对比对齐策略和语言引导目标增强模块,弥合图文模态差距,实现细粒度文本引导,实验证明性能优于现有方法。
2026-07-07 cs.CV
Adaptive Diffusion Denoised Smoothing : Certified Robustness via Randomized Smoothing with Differentially Private Guided Denoising Diffusion
University of British Columbia, Vancouver, Canada(不列颠哥伦比亚大学);ServiceNow Research(ServiceNow研究)
本文提出Adaptive Diffusion Denoised Smoothing方法,将引导去噪扩散模型重解释为自适应GDP机制序列,通过GDP隐私过滤器分析端到端鲁棒性,在ImageNet上针对$\ell_2$威胁模型同时提升了认证与标准准确率。
2025-07-10 cs.CR cs.CV cs.LG
Linguistic Query-Guided Mask Generation for Referring Image Segmentation
Alibaba Group(阿里巴巴集团)
参考图像分割的目的是根据给定的语言表达分割出感兴趣的图像区域,这是一个典型的多模态任务。现有的方法要么采用基于像素分类的框架或基于可学习查询的框架来生成掩码,这两种方法都不足以处理具有固定数量的参数化原型的各种文本-图像对。在这项工作中,我们提出了一个端到端的框架建立在Transformer执行语言查询引导掩码生成,被称为LGFormer。该方法将语言特征看作查询,为任意输入的图像文本对生成专门的原型,从而生成更加一致的分割结果。此外,我们在编码器和解码器中设计了几个跨模态交互模块(\eg,视觉语言双向注意模块,VLBA),以实现更好的跨模态对齐。
2023-03-22 cs.CV
Saliency guided deep network for weakly-supervised image segmentation
Jilin University(吉林大学)
弱监督图像分割是计算机视觉中的一项重要任务。如何从图像级分类中获得高质量的目标定位是一个关键问题。分类激活映射是一种常用的方法,可以用来产生高精度的目标定位线索。然而这些位置线索通常是非常稀疏和小的,使得它们不能为图像分割提供有效的信息。在本文中,我们提出了一个显着性引导的图像分割网络来解决这个问题。我们采用自注意显著性方法来生成精细的显著性图,并通过种子区域生长方法将位置线索作为种子进行生长,以扩展像素级标签的范围。在种子的生长过程中,我们使用显著性值来加权像素之间的相似性,以控制生长。因此,显著性信息可以帮助生成有区别的对象区域,并且可以有效地抑制错误显著像素的影响。在PASCAL VOC2012数据集上的实验结果表明了该方法的有效性。
2018-10-19 cs.CV
Alleviating Textual Reliance in Medical Language-guided Segmentation via Prototype-driven Semantic Approximation
The University of Sydney(悉尼大学);Macquarie University(麦觉瑞大学)
针对医学语言引导分割对成对图像-文本输入的依赖问题,本文提出首个原型驱动学习框架ProLearn,通过原型驱动语义近似模块为无文本图像提供语义指导,在有限文本条件下优于现有方法。
2025-07-19 cs.CV
Bidirectional Fusion Guided by Cardiac Patterns for Semi-Supervised ECG Segmentation
VUNO Inc.(VUNO公司)
本文提出CardioMix框架,通过心脏模式引导的双向CutMix策略提升ECG分割性能,实验表明其在多种数据集和标注比例下均优于现有方法。
2026-05-15 cs.AI cs.CV cs.LG
BEN: Using Confidence-Guided Matting for Dichotomous Image Segmentation
Prama(普拉玛)
针对二分图像分割任务,提出结合图像抠图与分割的置信度引导抠图架构BEN,包含初始分割与置信度细化模块,在DIS5K数据集上显著提升了边界预测质量。
2025-11-01 cs.CV eess.IV
Polyp-SAM++: Can A Text Guided SAM Perform Better for Polyp Segmentation?
Optiks Innovations Pvt. Ltd(奥普蒂克斯创新私人有限公司)
本文提出 Polyp-SAM++,利用文本提示增强 SAM 用于息肉分割,并在基准数据集上对比无提示 SAM,以提升分割的鲁棒性与精确性。
2023-08-12 cs.CV eess.IV
LMSeg: Language-guided Multi-dataset Segmentation
Alibaba Group(阿里巴巴集团);East China Normal University(华东师范大学);University of the Chinese Academy of Sciences(中国科学院大学)
构建一个通用的、包容性的、能够在各种场景下识别更多类别的细分模型是一个有意义和有吸引力的话题。一种简单的方法是组合现有的碎片分割数据集并训练多数据集网络。然而,多数据集分割存在两个主要问题:(1)不一致的分类法需要手动协调以构建统一的分类法;(2)不灵活的单一热门公共分类法导致耗时的模型重新训练和未标记类别的监督缺陷。在本文中,我们研究了多数据集分割,并提出了一个可扩展的图像引导的多数据集分割框架,称为LMSeg,它支持语义和全景分割。具体来说,我们引入了一个预训练的文本编码器,将类别名称映射到文本嵌入空间作为统一的分类法,而不是使用不灵活的one-hot标签。该模型动态地将段查询与类别嵌入对齐。不是用统一的分类法重新标记每个数据集,而是设计了类别引导解码模块来动态地引导对每个数据集分类法的预测。此外,我们采用了一种基于数据集的增强策略,为每个数据集分配一个特定的图像增强管道,以适应来自不同数据集的图像的属性。大量的实验表明,我们的方法取得了显着的改善四个语义和三个全景分割数据集,消融研究评估每个组件的有效性。
2023-02-27 cs.CV
ProPL: Universal Semi-Supervised Ultrasound Image Segmentation via Prompt-Guided Pseudo-Labeling
MedAI Technology (Wuxi) Co. Ltd.(MedAI技术(无锡)有限公司)
本文针对现有超声分割方法泛用性不足的问题,提出通用半监督分割框架ProPL,配套构建多器官多任务超声数据集,实验证明其性能优于现有最优方法。
2025-11-19 cs.CV
Attention Guided Network for Retinal Image Segmentation
South China University of Technology(华南理工大学);Inception Institute of Artificial Intelligence(启元人工智能研究院);Peng Cheng Laboratory(鹏城实验室);CVTE Research(视源股份研究院);Cixi Institute of Biomedical Engineering, Ningbo Institute of Materials Technology and Engineering, Chinese Academy of Sciences(中国科学院宁波材料技术与工程研究所慈溪生物医学工程研究所)
在视网膜图像分割中,结构信息的学习是获得理想结果的关键。最近,卷积神经网络已经显示出提取有效表示的强大能力。然而,卷积和池化操作会过滤掉一些有用的结构信息。在本文中,我们提出了一个注意力引导网络(AG-Net),以保持结构信息和指导扩展操作。在我们的AG-Net中,引导滤波器被利用作为结构敏感的扩展路径,从以前的特征图中传递结构信息,并引入注意力块来排除噪声,进一步减少背景的负面影响。对两个视网膜图像分割任务(即,血管分割、视盘和视杯分割)证明了我们所提出的方法的有效性。
2019-10-23 cs.CV eess.IV
Attention-guided Unified Network for Panoptic Segmentation
Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Horizon Robotics, Inc.(地平线机器人公司);Johns Hopkins University(约翰斯·霍普金斯大学);Noah’s Ark Lab, Huawei Inc.(华为公司诺亚方舟实验室)
本文研究了全景分割,最近提出的任务,分割前景(FG)的对象在实例级别以及背景(BG)的内容在语义级别。现有的方法大多分别处理这两个问题,但在本文中,我们揭示了它们之间的潜在关系,特别是FG对象提供互补的线索,以帮助BG的理解。我们的方法,命名为注意力引导的统一网络(AUNet),是一个统一的框架,具有两个分支的FG和BG分割同时进行。BG分支中增加了两个关注源,即RPN和FG分割掩码,分别提供对象级和像素级关注。我们的方法被推广到不同的骨干,在FG和BG分割中具有一致的准确性增益,并且在MS-COCO(46.5%PQ)和Cityscapes(59.0%PQ)基准中也设置了新的最先进的技术。
2019-04-17 cs.CV
Semi-supervision semantic segmentation with uncertainty-guided self cross supervision
Chinese Academy of Military Science(中国军事科学院);National University of Defense Technology(国防科技大学)
交叉监督方法是实现半监督分割的一种有效方法,它利用大量未标记图像,基于独立集成模型学习交叉一致性。然而,交叉监督产生的错误伪标记信息会混淆训练过程,并对分割模型的有效性产生负面影响。此外,这种方法中集成模型的训练过程也增加了计算资源的消耗,降低了训练效率。为了解决这些问题,我们提出了一种新的交叉监督方法,即不确定性引导的自我交叉监督(USCS)。除了集成模型之外,我们首先设计了一个多输入多输出(MIMO)分割模型,该模型可以使用共享模型生成多个输出,从而对输出施加一致性,节省了参数和计算成本。另一方面,我们采用不确定性作为指导信息,鼓励模型专注于伪标签的高置信区域,并减轻自交叉监督中错误伪标签的影响,提高分割模型的性能。大量的实验表明,我们的方法达到了最先进的性能,同时节省了40.5%和49.1%的参数和计算成本。
2022-03-15 cs.CV
On Certified Generalization in Structured Prediction
Heidelberg University(海德堡大学)
针对结构化预测中违反独立同分布假设的挑战,提出一种基于Knothe-Rosenblatt重排的PAC-Bayesian风险界,其泛化速率同时依赖样本数量与规模,并利用Wasserstein依赖矩阵显式刻画输出变量间结构。
2023-10-16 cs.LG stat.ML
UCC: Uncertainty guided Cross-head Co-training for Semi-Supervised Semantic Segmentation
Tsinghua-Berkeley Shenzhen Institute, Tsinghua University(清华大学深圳国际研究生院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
深度神经网络(DNN)在语义分割方面取得了巨大的成功,这需要大量的标记数据进行训练。我们提出了一种新的学习框架,称为不确定性引导十字头协同训练(UCC)的半监督语义分割。我们的框架在共享编码器中引入了弱增强和强增强,以实现协同训练,从而自然地结合了一致性和自我训练的优点。每个分段头与其对等体交互,弱增强结果用于监督强增强结果。通过动态交叉集复制粘贴(DCSCP)提高了一致性训练样本的多样性,解决了分布不匹配和类不平衡问题。此外,我们提出的不确定性引导的重新加权模块(UGRM)通过建模不确定性来抑制来自其对等体的低质量伪标签的影响,从而增强了自训练伪标签。在Cityscapes和PASCAL VOC 2012上的大量实验证明了我们的UCC的有效性。我们的方法显着优于其他国家的最先进的半监督语义分割方法。在1/16协议下,Cityscapes和PASCAL VOC 2012数据集上分别获得77.17 $\%$、76.49 $\%$ mIoU,比监督基线分别好+10.1 $\%$、+7.91 $\%$。
2023-02-23 cs.CV
EdgeFlow: Achieving Practical Interactive Segmentation with Edge-Guided Flow
Baidu, Inc.(百度公司);NYU(纽约大学);CQJTU(重庆交通大学)
高质量的训练数据在图像分割任务中起着关键作用。通常,像素级标注对于大容量的训练数据是昂贵的,费力的和耗时的。为了降低标记成本并提高分割质量,已经提出了交互式分割方法,只需点击几下即可提供结果。然而,它们的性能不符合实际分割任务的要求,在速度和准确性方面。在这项工作中,我们提出了EdgeFlow,一种新的架构,充分利用用户点击与边缘引导流的交互信息。我们的方法实现了最先进的性能,没有任何后处理或迭代优化方案。在基准上的综合实验也证明了我们的方法的优越性。此外,与所提出的方法,我们开发了一个有效的交互式分割工具,实际的数据标注任务。源代码和工具可在https://github.com/PaddlePaddle/PaddleSeg上获得。
2021-10-26 cs.CV cs.HC
CGAM: Click-Guided Attention Module for Interactive Pathology Image Segmentation via Backpropagating Refinement
Korea University(高丽大学)
本文提出一种交互式病理图像分割方法,通过点击引导注意力模块(CGAM)将交互式分割转化为优化问题,结合用户点击约束与特征图语义信息精修网络输出,避免对用户点击过拟合且模型大小与输入无关,性能优于现有最先进方法。
2023-07-03 cs.CV
Language-guided Few-shot Semantic Segmentation
DAMO Academy, Alibaba Group(达摩院,阿里巴巴集团);East China Normal University(华东师范大学)
针对少样本语义分割像素级标注成本高的问题,提出仅用图像级文本标签的语言引导方法,通过视觉-语言预训练模型与掩码细化器生成伪掩码,结合分布式原型监督与互补关联匹配模块挖掘语义关系,在两个基准上达到与视觉引导方法相竞争的效果。
2023-11-23 cs.CV
Deeply Shape-guided Cascade for Instance Segmentation
Johns Hopkins University(约翰斯·霍普金斯大学);Shanghai Jiao Tong University(上海交通大学)
一个成功的级联架构,精确的实例分割的关键是充分利用之间的关系,限界框检测和掩码分割跨多个阶段。尽管现代实例分割级联实现了领先的性能,但是它们主要利用单向关系,即,掩模分割可以受益于迭代地细化的限界框检测。在本文中,我们研究了另一个方向,即,如何在级联架构中利用精确掩码分割进行限界框检测。提出了一种深度形状引导的级联算法(DSC),用于实例分割,该算法将前一阶段模板预测中提取的形状引导信息迭代地应用于当前阶段的限界框检测.它通过引入三个关键组件在两个任务之间形成双向关系:(1)初始形状指导:具有生成类别不可知掩码能力的掩码监督区域建议网络(mPRN);(2)显式形状指导:一种掩模引导的感兴趣区域(RoI)特征提取器,其在前一阶段采用掩模分割以在当前阶段将特征提取集中在与感兴趣实例的形状而不是矩形ROI很好地对准的区域内;(3)隐式形状引导:特征融合操作,其将前一阶段的中间掩模特征馈送到当前阶段的限界框头部。实验结果表明,DSC在COCO测试开发平台上的性能明显优于现有的实例分割级联混合任务级联(HTC),达到了51.8个框AP和45.5个掩码AP。代码发布于:https://github.com/hding2455/DSC。
2021-03-27 cs.CV
CGNet: A Light-weight Context Guided Network for Semantic Segmentation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
在移动设备上应用语义分割模型的需求正在迅速增长。当前最先进的网络具有大量参数,因此不适合移动设备,而其他小内存占用模型遵循分类网络的精神,忽略了语义分割的固有特征。为了解决这个问题,我们提出了一种新的上下文引导网络(CGNet),这是一个轻量级和高效的网络语义分割。我们首先提出了上下文引导(CG)块,它学习局部特征和周围上下文的联合特征,并进一步改进与全局上下文的联合特征。基于CG块,我们开发了CGNet,它可以捕获网络各个阶段的上下文信息,并专门为提高分割精度而量身定制。CGNet还经过精心设计,以减少参数数量并节省内存占用。在相同数量的参数下,建议的CGNet显着优于现有的分割网络。在Cityscapes和CamVid数据集上的实验验证了该方法的有效性。具体来说,在没有任何后处理和多尺度测试的情况下,拟议的CGNet在Cityscapes上实现了64.8%的平均IoU,参数小于0.5 M。完整系统的源代码可以在https://github.com/wutianyiRosun/CGNet上找到。
2019-04-12 cs.CV
CC-Net: Image Complexity Guided Network Compression for Biomedical Image Segmentation
University of Notre Dame(圣母大学)
用于生物医学图像分析的卷积神经网络(CNN)通常具有非常大的尺寸,导致高存储需求和高操作延迟。为特定成像应用搜索基础CNN的可接受压缩表示通常涉及一系列耗时的训练/验证实验,以在网络大小和准确性之间实现良好的折衷。为了解决这一挑战,我们提出了CC-Net,一种新的图像复杂度引导的CNN压缩方案,用于生物医学图像分割。给定一个CNN模型,CC-Net根据从训练数据计算的平均图像复杂度预测不同大小网络的最终精度。然后,它选择一个乘法因子,以产生具有可接受的网络精度和大小的期望网络。实验表明,CC-Net可以有效地生成压缩的分割网络,保持高达95%的基本网络分割精度,并且在最佳情况下仅利用全尺寸网络的0.1%的可训练参数。
2019-09-08 cs.CV
FreqDINO: Frequency-Guided Adaptation for Generalized Boundary-Aware Ultrasound Image Segmentation
University of Nottingham Ningbo China(诺丁汉大学宁波校区);University of Nottingham(诺丁汉大学);University of Lincoln(林肯大学);Yale University(耶鲁大学)
FreqDINO通过频率引导方法提升超声图像分割的边界感知与结构一致性,实现更优的泛化能力。
2025-12-12 cs.CV
2nd Place Solution for MeViS Track in CVPR 2024 PVUW Workshop: Motion Expression guided Video Segmentation
Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences (UCAS)(中国科学院大学人工智能学院);Beijing Academy of Artificial Intelligence (BAAI)(北京人工智能研究院);University of Science and Technology Beijing (USTB)(北京科技大学)
针对运动表达引导的视频分割任务,团队基于RVOS方法引入视频实例分割掩码信息做时序增强、用SAM做空间细化,在CVPR 2024 PVUW挑战赛MeViS赛道取得第二名。
2024-06-20 cs.CV
Topological Data Analysis Guided Segment Anything Model Prompt Optimization for Zero-Shot Segmentation in Biological Imaging
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
本文提出拓扑数据分析引导的SAM提示优化方法,基于拓扑显著性寻找点位置取代标准网格搜索,在生物图像零样本分割中更利于寻找小目标并大幅降低计算复杂度。
2023-06-30 cs.CV
Localization-Infused Vision-Language Semantic Fusion for Text-Guided Medical Image Segmentation
Air Force Engineering University(空军工程大学);Harbin Institute of Technology(哈尔滨工业大学);University of Sydney(悉尼大学);Institute of Translational Medicine, Shanghai Jiao Tong University(上海交通大学转化医学研究院);Zhongguancun Institute of Artificial Intelligence(中关村人工智能研究院)
研究针对文本引导医学图像分割,提出LoG框架,通过联合执行多尺度目标定位任务,实现三级定位注入语义融合,在三个基准数据集实验中表现出色,优于现有医学图像分割方法。
2026-08-25 cs.CV
Prompt Group-Aware Training for Robust Text-Guided Nuclei Segmentation
Fudan University, Shanghai, China(复旦大学,上海,中国)
本文提出基于提示组的鲁棒文本引导核分割训练方法,通过组内一致性约束和质量引导正则化提升分割鲁棒性和泛化能力。
2026-03-06 cs.AI cs.CV
Self-guided Few-shot Semantic Segmentation for Remote Sensing Imagery Based on Large Vision Models
Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院空天信息创新研究院);School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences(中国科学院大学电子电气与通信工程学院)
本研究针对遥感图像少样本语义分割任务,提出一种基于SAM的结构化框架,通过新颖的自动提示学习方法生成像素级提示,实现高效自动化分割,并在DLRSD数据集上超越现有方法。
2023-11-22 cs.CV
FGSSNet: Feature-Guided Semantic Segmentation of Real World Floorplans
School of Information Technology, Halmstad University, Sweden(信息科技学院,哈姆斯塔德大学,瑞典)
提出FGSSNet架构,通过多头专用特征提取器提取墙壁图块的纹理与宽度特征并注入U-Net潜在空间,有效提升了真实世界平面图墙壁分割的泛化能力与性能。
2025-07-14 cs.CV
Guided interactive image segmentation using machine learning and color based data set clustering
Leipzig University(莱比锡大学);IfADo - Leibniz Research Centre for Working Environment and Human Factors(莱布尼茨工作环境与人因研究中心);INRIA Paris(法国国家信息与自动化研究所巴黎中心);Sorbonne Université(索邦大学)
我们提出了一种新的方法,结合了基于机器学习的交互式图像分割,使用超体素与聚类方法的自动识别类似的彩色图像在大数据集,使指导重用的分类器。我们的方法解决了在生物和医学图像中普遍存在且通常不可避免的显著颜色变化的问题,这通常会导致分割和量化精度恶化,从而大大减少了必要的训练工作。这种效率的提高促进了大量图像的量化,从而使得能够针对高通量成像中的最新技术进步进行交互式图像分析。所提出的方法是适用于几乎任何类型的图像,并代表了一个有用的工具,图像分析任务一般。
2022-06-21 cs.CV eess.IV
Saliency Guided Inter- and Intra-Class Relation Constraints for Weakly Supervised Semantic Segmentation
弱监督语义分割,只有图像级标签的目的是减少分割任务的注释成本。现有的方法通常利用类激活图(CAM)来定位用于伪标签生成的对象区域。然而,CAM只能发现对象的最有区别的部分,从而导致劣质像素级伪标签。为了解决这个问题,我们提出了一个显着性指导的类间和类内关系约束(I $^2$ CRC)框架,以协助扩大激活的对象区域CAM。具体来说,我们提出了一个显着性指导类不可知的距离模块,拉类内的功能更接近对齐功能,他们的类原型。此外,我们提出了一个类特定的距离模块,以推动类间的功能分开,并鼓励对象区域具有比背景更高的激活。除了加强分类网络的能力,以激活CAM中更多完整的对象区域外,我们还引入了一个对象引导的标签细化模块,以充分利用分割预测和初始标签来获得更好的伪标签。在PASCAL VOC 2012和COCO数据集上进行的大量实验证明了I $^2$ CRC优于其他最先进的CRC的有效性。源代码、模型和数据已在\url{https://github.com/NUST-Machine-Intelligence-Laboratory/I2CRC}上提供。
2022-06-20 cs.CV
SAM-pose2seg: Pose-Guided Human Instance Segmentation in Crowds
Visual Recognition Group(视觉识别组);Department of Cybernetics(cybernetics系);Faculty of Electrical Engineering(电气工程系);Czech Technical University in Prague(布拉格捷克技术大学)
SAM-pose2seg通过姿态引导微调提升遮挡下的人类实例分割性能,保留模型泛化能力。
2026-01-16 cs.CV
Transmission-Guided Bayesian Generative Model for Smoke Segmentation
The Australian National University(澳大利亚国立大学)
烟雾分割对于精确定位野火至关重要,以便在早期阶段将其扑灭。尽管深度神经网络在图像分割任务上取得了令人鼓舞的结果,但由于其非刚性形状和透明外观,它们容易对烟雾分割过于自信。这是由知识水平的不确定性和标记水平的不确定性引起的,知识水平的不确定性是由于用于精确烟雾分割的有限训练数据和标记水平的不确定性,标记水平的不确定性表示标记地面实况的困难。为了有效地模拟这两种类型的不确定性,我们引入了贝叶斯生成模型来同时估计模型参数及其预测的后验分布。此外,烟雾图像具有低对比度和模糊性,受基于物理的图像去雾方法的启发,我们设计了一种传输引导的局部相干性损失,以引导网络基于像素距离和传输特征学习成对关系。为了促进这一领域的发展,我们还提供了一个高质量的烟雾分割数据集SMOKE 5K,由1,400个真实图像和4,000个合成图像组成,并带有像素级注释。基准测试数据集上的实验结果表明,我们的模型实现了准确的预测和可靠的不确定性地图表示模型对其预测的无知。我们的代码和数据集可在https://github.com/redlessme/Transmission-BVM上公开获取。
2023-03-02 cs.CV
SemFormer: Semantic Guided Activation Transformer for Weakly Supervised Semantic Segmentation
Shenzhen University(深圳大学)
目前主流的弱监督语义分割(WSSS)方法主要基于由基于CNN(卷积神经网络)的图像分类器生成的类激活图(CAM)。在本文中,我们提出了一种新的基于transformer的框架,命名为语义引导激活Transformer(SemFormer),WSSS。我们设计了一个基于transformer的类感知自动编码器(CAAE)来提取输入图像的类嵌入,并学习数据集的所有类的类语义。然后使用类嵌入和学习的类语义来指导具有四个损失的激活图的生成,即,类前景、类背景、激活抑制和激活互补损失。在PASCAL VOC 2012数据集上的实验结果表明,该算法实现了\textbf{74.3} \% mIoU,并在很大程度上超过了目前主流的WSSS算法.代码将在\url{https://github.com/JLChen-C/SemFormer}上提供。
2022-10-26 cs.CV
A Language-Guided Benchmark for Weakly Supervised Open Vocabulary Semantic Segmentation
Indian Institute of Technology(印度理工学院)
越来越多的注意力被转移到数据高效的问题设置,如开放词汇语义分割(OVSS),它处理分割在训练过程中可能会或可能不会看到的任意对象。与OVSS相关的最接近的标准问题是Zero-Shot和Few-Shot Segmentation(ZSS,FSS)及其跨数据集变体,其中需要零到很少的注释来分割新的类。现有的FSS和ZSS方法利用完全监督的像素标记的可见类来分割不可见类。像素级标签很难获得,使用廉价的图像级标签形式的弱监督通常更实用。为此,我们提出了一种新的统一的弱监督OVSS管道,可以在新的类上执行ZSS,FSS和跨数据集分割,而无需在归纳设置中使用基础(可见)或新(不可见)类的像素级标签。我们提出了弱监督语义引导分割网络(WLSegNet),这是一种新型的语言引导分割管道,i)使用批量聚合(平均值)学习可概括的上下文向量,以使用冻结CLIP(一种视觉语言模型)将类提示映射到图像特征,ii)将弱ZSS/FSS转换为弱语义分割和Zero-Shot分割。学习的上下文向量避免了在训练期间对已看到的类的过拟合,并且在测试期间更好地转移到新的类。WLSegNet避免了在训练过程中进行微调和使用外部数据集。所提出的流水线在PASCAL VOC上分别以39和3 mIOU点击败了用于弱广义Zero-Shot和弱Few-Shot语义分割的现有方法,在MS COCO上以5 mIOU点击败了弱Few-Sho…
2023-02-27 cs.CV
Saliency Guided Self-attention Network for Weakly and Semi-supervised Semantic Segmentation
Zhejiang University(浙江大学)
弱监督语义分割(WSSS)只使用图像级标签可以大大降低标注成本,因此吸引了相当大的研究兴趣。然而,其性能仍然不如完全监督的同行。为了缓解性能差距,我们提出了一个显着性引导的自我注意力网络(SGAN)来解决WSSS问题。引入的自我注意力机制能够捕获丰富而广泛的上下文信息,但可能会将注意力错误地传播到意想不到的区域。为了使该机制能够在弱监督下有效地工作,我们将类不可知的显着性先验集成到自我注意力机制中,并利用类特定的注意力线索作为SGAN的额外监督。我们的SGAN能够产生密集和准确的定位线索,从而提高分割性能。此外,通过简单地用部分标记的地面实况替换额外的监督,SGAN也有效地用于半监督语义分割。在PASCAL VOC 2012和COCO数据集上的实验表明,我们的方法在弱监督和半监督环境下的性能优于所有其他最先进的方法。
2020-01-12 cs.CV
Reference-guided Pseudo-Label Generation for Medical Semantic Segmentation
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University Medicine Essen(埃森大学医学院)
对于医学成像应用来说,产生密集注释的数据是一项困难而繁琐的任务。为了解决这个问题,我们提出了一种新的方法来产生监督半监督语义分割。我们认为,标记和未标记的图像之间的视觉相似的区域可能包含相同的语义,因此应该共享它们的标签。遵循这一思想,我们使用少量的标记图像作为参考材料,并将未标记图像中的像素与参考集中最佳拟合像素的语义进行匹配。通过这种方式,我们避免了在纯粹基于预测的伪标签中常见的确认偏差等陷阱。由于我们的方法不需要任何架构更改或伴随的网络,因此可以轻松地将其插入到现有的框架中。我们在X射线解剖分割上实现了与标准完全监督模型相同的性能,尽管标记图像减少了95%。除了对我们提出的方法的不同方面进行深入分析外,我们还通过将我们的方法与现有的视网膜流体分割方法进行比较,进一步证明了我们的参考引导学习范式的有效性,因为我们在最近的工作中提高了高达15%的平均IoU。
2021-12-01 cs.AI cs.CV cs.LG
Semantic-guided Disentangled Representation for Unsupervised Cross-modality Medical Image Segmentation
Tsinghua University(清华大学)
在医学图像分析中,解纠缠表示是一种有效的无监督域自适应处理方法,但以往的方法只注重提取域不变特征,而忽略了提取的特征对后续任务是否有意义。本文提出了一种语义引导的解纠缠表示框架(SGDR),一种有效的方法,以准确的语义有意义的特征的分割任务,以提高性能的跨模态医学图像分割在无监督域自适应设置。为了提取不同模态的有意义的域不变特征,我们引入内容鉴别器来强制内容表示嵌入到同一空间,并引入特征鉴别器来精确有意义的表示。我们还使用像素-我们在两个公开的数据集上验证了我们的方法,实验结果表明,我们的方法优于传统的方法最先进的方法对两个评价指标的一个显着的边际。
2023-03-04 cs.CV eess.IV
Text-to-seed generation: Training-free open-vocabulary seeded semantic segmentation via re-purposing diffusion as text-guided seed generator
Hanyang University(汉阳大学)
本研究提出免训练框架T2S,利用Stable Diffusion生成文本引导的种子点,结合SAM实现开放词汇语义分割,在标准基准上取得优异性能。
2026-08-28 cs.CV
Adversarial-Prediction Guided Multi-task Adaptation for Semantic Segmentation of Electron Microscopy Images
College of Computer Science and Technology, Huaqiao University(华侨大学计算机科学与技术学院)
语义分割是电子显微镜图像分析的重要步骤。尽管监督模型已经取得了重大进展,但需要劳动密集型像素级注释是一个主要限制。更复杂的是,由于域转移,监督学习模型可能无法在新数据集上很好地推广。在这项研究中,我们引入了一个对抗预测引导的多任务网络来学习一个经过良好训练的模型在一个新的未标记目标域上的适应。由于目标域上没有标签,因此我们学习了一种编码表示,不仅用于源域上的监督分割,而且用于目标数据的无监督重建。为了提高几何线索的区分能力,我们进一步指导表示学习在语义预测空间的多级对抗学习。公共基准的比较和消融研究证明了我们的方法的最先进的性能和有效性。
2020-04-05 cs.CV
Distance Guided Channel Weighting for Semantic Segmentation
Nanyang Technological University(南洋理工大学);Beihang University(北京航空航天大学)
最近的工作在通过利用深度神经网络捕获具有高通道数的特征来提高多个计算机视觉任务的性能方面取得了巨大成功。然而,许多通道提取的特征是没有区别的,包含大量的冗余信息。在本文中,我们解决上述问题,通过引入距离导引信道加权(DGCW)模块。DGCW模块是以逐像素上下文提取的方式构建的,其通过在建模其与其他像素的关系时对每个像素的特征向量的不同通道进行加权来增强特征的区分度。该方法可以充分利用特征图中的高区分度信息,而忽略特征图中的低区分度信息,并能捕捉到特征图中的长距离依赖关系。此外,通过将DGCW模块与基线分割网络相结合,我们提出了距离引导信道加权网络(DGCWNet)。我们进行了大量的实验,以证明DGCWNet的有效性。特别是,它在Cityscapes上实现了81.6%的mIoU,只有精细的注释数据用于训练,并且在另外两个语义分割数据集上也获得了令人满意的性能,即Pascal Context和ADE 20 K。代码将很快在https://github.com/LanyunZhu/DGCWNet上提供。
2022-05-13 cs.CV
Object-Guided Instance Segmentation for Biological Images
Rutgers University(罗格斯大学);Tencent Hippocrates Research Labs(腾讯希波克拉底研究实验室);Lieber Institute for Brain Development(利伯大脑发育研究所)
生物图像的实例分割是研究目标行为和属性的基础。诸如对象的聚类、遮挡和粘附问题的挑战使得实例分割成为一项不平凡的任务。当前无框实例分割方法通常依赖于局部像素级信息。由于缺乏全局对象视图,这些方法易于过分割或欠分割。相反,基于框的实例分割方法将目标检测结合到分割中,在识别个体实例方面表现更好。本文提出了一种新的基于框的实例分割方法。主要是从对象的中心点定位对象的边界框。对象特征随后在分割分支中被重用,作为在RoI补丁内分离聚类实例的指南。通过实例归一化,该模型能够恢复目标对象的分布并抑制相邻附着对象的分布。因此,该模型在分割聚类对象,同时保留目标对象的细节表现出色。所提出的方法在三个生物数据集上实现了最先进的性能:细胞核,植物表型数据集和神经细胞。
2019-11-20 cs.CV