A Class-wise Non-salient Region Generalized Framework for Video Semantic Segmentation
Shenzhen University（深圳大学）；Univ Rennes（雷恩大学）；INSA Rennes（雷恩国立应用科学学院）；CNRS（法国国家科学研究中心）
视频语义分割（VSS）由于真实环境的连续性，有利于处理动态场景。一方面，一些方法缓解了连续帧之间的预测不一致问题。另一方面，其他方法采用先前帧作为先验信息来帮助分割当前帧。虽然以前的方法在独立同分布（i.i.d）数据上取得了优异的性能，但它们不能很好地推广到其他未知的领域。因此，我们探索一个新的任务，视频概括语义分割（VGSS）的任务，同时考虑连续帧和领域泛化。在本文中，我们提出了一个类明智的非显着区域广义（CNSG）框架的VGSS任务。具体地说，我们首先定义了类非显着特征，它描述了类非显着区域的特征，携带更多的概括信息。然后，我们提出了一个类明智的非显着特征推理策略，选择和增强最广义的通道自适应。最后，我们提出了一个帧间非显着的质心对齐损失，以减轻预测不一致的问题，在VGSS任务。我们还扩展了我们的基于视频的框架，以图像为基础的广义语义分割（IGSS）的任务。实验表明，我们的CNSG框架在VGSS和IGSS任务中产生了显着的改善。
2022-12-29 cs.CV
MP-Former: Mask-Piloted Transformer for Image Segmentation
The Hong Kong University of Science and Technology（香港科技大学）；The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）；International Digital Economy Academy (IDEA)（国际数字经济研究院（IDEA））；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
我们提出了一个掩码引导的Transformer，它提高了Mask 2Former的图像分割的掩蔽注意力。这种改进是基于我们的观察，即Mask 2Former在连续的解码器层之间遭受不一致的掩码预测，这导致不一致的优化目标和解码器查询的低利用率。为了解决这个问题，我们提出了一种mask-piloted训练方法，该方法还在masked-attention中提供噪声地面真实掩码，并训练模型以重建原始模型。与mask-attention中使用的预测面具相比，地面真实面具作为试点，有效地减轻了Mask 2Former中不准确面具预测的负面影响。基于这种技术，我们的\M在所有三个图像分割任务（实例，全景和语义）上实现了显着的性能改进，在Cityscapes实例上生成了$+2.3$ AP和$+1.6$ mIoU，并使用ResNet-50主干完成了语义分割任务。我们的方法还显著加快了训练速度，在使用ResNet-50和Swin-L主干的ADE 20 K上，其训练epoch数仅为前者的一半，优于Mask 2Former。此外，我们的方法在训练过程中只引入了很少的计算，在推理过程中没有额外的计算。我们的代码将在\url{https://github.com/IDEA-Research/MP-Former}上发布。
2023-03-15 cs.CV
BANet: Bidirectional Aggregation Network with Occlusion Handling for Panoptic Segmentation
Zhejiang University（浙江大学）；Zhengzhou University（郑州大学）
全景分割旨在同时对前景实例执行实例分割和对背景材料执行语义分割。典型的自上而下的流水线集中在两个关键问题上：1）如何有效地对语义分割和实例分割之间的内在交互进行建模，以及2）如何适当地处理用于全景分割的遮挡。直观地说，语义分割和实例分割之间的互补性可以用来提高性能。此外，我们注意到，使用检测/掩模分数不足以解决遮挡问题。受这些观察的启发，我们提出了一种新的基于双向学习管道的深度全景分割方案。此外，我们引入了一个即插即用的遮挡处理算法来处理不同对象实例之间的遮挡。在COCO panoptic基准上的实验结果验证了该方法的有效性。代码将很快在https://github.com/Mooonside/BANet上发布。
2020-03-31 cs.CV
L-SNet: from Region Localization to Scale Invariant Medical Image Segmentation
Tongji University（同济大学）
从粗到精模型和级联分割结构被广泛采用来解决医学图像分割中的大尺度变化问题。然而，这些方法有两个主要的局限性：第一阶段分割成为性能瓶颈;缺乏整体可区分性使得两个阶段的训练过程异步和不一致。在本文中，我们提出了一个可区分的两阶段网络架构来解决这些问题。在第一阶段，定位网络（L-Net）以检测方式定位感兴趣区域（RoIs）;在第二阶段，分割网络（S-Net）对重新校准的RoIs进行精细分割; L-Net和S-Net之间的RoI重新校准模块消除了不一致性。在公共数据集上的实验结果表明，我们的方法优于最先进的粗到细模型，计算开销可以忽略不计。
2021-02-11 cs.CV
Localized Interactive Instance Segmentation
Institute of Computer Science II（计算机科学第二研究所）；University of Bonn, Germany（德国波恩大学）；School of Computing（计算机学院）；National University of Singapore（新加坡国立大学）
在当前的交互式实例分割工作中，当提供点击以分割对象时，用户被授予自由的手;在背景像素和远离目标对象的其他对象实例上允许点击。这种形式的交互与有效隔离感兴趣对象的最终目标非常不一致。在我们的工作中，我们提出了一个点击方案，其中用户交互被限制在对象的接近度。此外，我们提出了一种新的变换用户提供的点击生成一个弱本地化之前的对象，这是一致的图像结构，如边缘，纹理等，我们证明了我们提出的点击方案和本地化策略的有效性，通过详细的实验中，我们提出了国家的最先进的几个标准的交互式分割基准。
2020-10-20 cs.CV
Cascaded Scene Flow Prediction using Semantic Segmentation
Brown University（布朗大学）；NVIDIA（英伟达）；UC Irvine（加州大学欧文分校）
给定来自一对立体相机的两个连续帧，3D场景流方法同时估计所观察场景的3D几何形状和运动。许多现有的方法使用超像素进行正则化，但可能会预测刚性移动对象内部不一致的形状和运动。相反，我们假设场景由在静态背景前面刚性移动的前景对象组成，并使用语义线索来产生像素精确的场景流估计。我们的级联分类框架通过迭代地改进语义分割掩模、立体对应、3D刚性运动估计和光流场来精确地建模3D场景。我们在具有挑战性的KITTI自动驾驶基准上评估了我们的方法，并表明考虑分段车辆的运动会带来最先进的性能。
2017-10-05 cs.CV
Learning structure-aware semantic segmentation with image-level supervision
College of Engineering and Computer Science（工程与计算机科学学院）；Australian National University（澳大利亚国立大学）
与昂贵的像素级注释相比，图像级标签可以以弱监督的方式学习语义分割。在该流水线内，类激活图（CAM）被获得并被进一步处理以用作伪标签，从而以完全监督的方式训练语义分割模型。在本文中，我们认为，CAM中丢失的结构信息限制了其在下游语义分割的应用，导致恶化的预测。此外，同一对象内部不一致的类激活分数与同一对象的每个区域应该属于同一语义类别的常识相矛盾。为了产生清晰的预测与结构信息，我们引入了一个辅助的语义边界检测模块，惩罚恶化的预测。此外，我们采用平滑损失来鼓励对象内部的预测是一致的。在PASCAL-VOC数据集上的实验结果表明了该方法的有效性。
2021-04-15 cs.CV
Human Perception-based Evaluation Criterion for Ultra-high Resolution Cell Membrane Segmentation
计算机视觉技术广泛应用于生物和医学数据的分析和理解。然而，细胞膜分割领域仍存在两大瓶颈，严重阻碍了进一步的研究：缺乏足够的高质量数据和缺乏合适的评价标准。为了解决这两个问题，本文首先提出了一个超高分辨率的细胞膜图像分割数据集，称为U-RISC，最大的注释电子显微镜（EM）数据集的细胞膜与多个迭代注释和未压缩的高分辨率原始数据。在对U-RISC的分析过程中，我们发现目前流行的分割评价标准与人类的感知不一致。这个有趣的现象被一个涉及20个人的主观实验所证实。此外，为了解决这种不一致性，我们提出了一个新的评价标准，称为感知Hausdorff距离（PHD）来衡量细胞膜分割结果的质量。给出了经典分割方法的详细性能比较和讨论，以及在现有评估标准和PHD下的两个迭代手动注释结果。
2020-10-16 cs.CV
Multi-domain semantic segmentation with pyramidal fusion
University of Zagreb Faculty of Electrical Engineering and Computing（萨格勒布大学电气工程与计算学院）
我们提交了我们提交的语义分割竞赛的鲁棒视觉挑战在ECCV 2020举行。比赛要求提交相同的模型到来自三个不同领域的七个基准测试。我们的方法是基于金字塔融合的SwiftNet架构。我们解决了不一致的分类与单级193维softmax输出。我们努力用大批量进行训练，以稳定硬识别问题的优化，并有利于batchnorm统计的平滑演变。我们通过使用log-sum-prob loss实现自定义的向后步骤，并在冻结人口统计数据之前使用小作物来实现这一点。我们的模型在RVC语义分割挑战和WildDash 2排行榜上排名第一。这表明金字塔融合不仅在轻量级骨干的高效推理方面具有竞争力，而且在多领域应用的大规模设置中也具有竞争力。
2021-10-07 cs.CV
Rethinking Video Segmentation with Masked Video Consistency: Did the Model Learn as Intended?
Chinese Academy of Sciences, Institute of Automation（中国科学院自动化研究所）；Meitu Inc.（美图公司）；University of Chinese Academy of Sciences（中国科学院大学）
针对视频分割跨帧不一致问题，提出掩码视频一致性与对象掩码注意力策略，在不增参数下于五个数据集上达到最先进性能。
2024-08-20 cs.CV
Inter- and Intra-image Refinement for Few Shot Segmentation
Department of Biomedical Engineering, Peking University（北京大学生物医学工程系）；Institute of Medical Technology, Peking University Health Science Center, Peking University（北京大学医学部医学技术研究所）；National Biomedical Imaging Center, Peking University（北京大学国家生物医学成像中心）
IIR通过跨图像和图像内细化方法提升少样本分割性能，解决原型表示导致的类内差距和类间干扰问题，实现更准确的先验图生成和解码器优化。
2025-12-16 cs.CV
Object Propagation via Inter-Frame Attentions for Temporally Stable Video Instance Segmentation
Birla Institute of Technology and Science Pilani（比尔拉技术与科学学院皮拉尼分校）；Harvard University（哈佛大学）；University of Oxford（牛津大学）
视频实例分割的目的是检测、分割和跟踪视频中的对象。当前的方法将图像级分割算法扩展到时域。然而，这导致时间上不一致的掩模。在这项工作中，我们确定的掩模质量由于时间稳定性作为性能瓶颈。基于此，我们提出了一种视频实例分割方法，解决了由于检测缺失而导致的问题。由于这不能简单地使用空间信息来解决，因此我们使用帧间注意力来利用时间上下文。这使得我们的网络能够使用来自相邻帧的框预测来重新关注丢失的对象，从而克服丢失的检测。我们的方法在YouTube-VIS基准测试中实现了36.0%的mAP，显著优于使用Mask R-CNN主干的先前最先进的算法。此外，我们的方法是完全在线的，不需要未来的帧。我们的代码可在https://github.com/anirudh-chakravarthy/ObjProp上公开获取。
2021-12-14 cs.CV
Automatic Landmark-Based Segmentation of Human Subcortical Structures in MRI
École de technologie supérieure (ÉTS)（埃克塞尔技术高等学院）；Boston University School of Medicine（波士顿大学医学学院）；Signal and Smart Systems Lab (L3S)（信号与智能系统实验室）；National School of Engineering of Tunis, University of Tunis El Manar（突尼斯国家工程学院，突尼斯El Manar大学）
本文提出一种基于地标引导的3D脑分割方法，通过全局到局部网络检测16个关键皮层下参考点，并结合语义分割模型和后处理步骤，提升皮层下结构分割的准确性。
2026-05-14 cs.CV
Inconsistency-aware Uncertainty Estimation for Semi-supervised Medical Image Segmentation
Nanjing University（南京大学）；Tsinghua University（清华大学）；Tencent Jarvis Lab（腾讯Jarvis实验室）；Shandong Women’s University（山东女子学院）；Southeast University（东南大学）
在半监督医学图像分割中，大多数以前的工作都基于一个共同的假设，即较高的熵意味着较高的不确定性。在本文中，我们研究了一种新的方法来估计不确定性。我们观察到，当在一定程度上分配不同的误分类成本时，如果像素的分割结果变得不一致，则该像素在其分割中表现出相对的不确定性。因此，我们提出了一种新的半监督分割模型，即基于我们的不确定性估计和单独的自训练策略的保守-激进网络（CoraNet）。特别是，我们的CoraNet模型由三个主要组件组成：保守-激进模块（CRM），特定区域分割网络（C-SN）和不确定区域分割网络（UC-SN），它们可以以端到端的方式进行交替训练。我们已经广泛评估了我们的方法在各种分割任务与公开可用的基准数据集，包括CT胰腺，MR内镜，和MR多结构分割的ACDC数据集。与目前的技术水平相比，我们的CoraNet表现出了卓越的性能。此外，我们还分析了它与传统的半监督医学图像分割中的不确定性估计方法的联系和区别。
2021-10-17 cs.CV
A spatio-temporal network for video semantic segmentation in surgical videos
Medtronic Digital Surgery（美敦力数字外科）；Wellcome/EPSRC Centre for Internventional and Surgical Sciences, University College London（伦敦大学学院惠康/工程与物理科学研究委员会介入与外科学中心）
针对手术视频语义分割中时间一致性问题，提出含时空解码器的网络，提升帧间一致性，在公开和私有数据集上验证了性能改进。
2023-06-19 cs.CV
Railroad is not a Train: Saliency as Pseudo-pixel Supervision for Weakly Supervised Semantic Segmentation
Yonsei University（延世大学）；Sungkyunkwan University（成均馆大学）
现有的弱监督语义分割（WSSS）研究中使用图像级弱监督有几个局限性：稀疏的对象覆盖，不准确的对象边界，和来自非目标对象的共现像素。为了克服这些挑战，我们提出了一种新的框架，即显式伪像素监督（EPS），它通过结合两个弱监督从像素级反馈中学习;图像级标签通过本地化映射提供对象身份，显着性映射来自现成的显着性检测模型提供了丰富的边界。我们设计了一个联合训练策略，充分利用两者之间的信息互补关系。我们的方法可以获得准确的对象边界和丢弃共现像素，从而显着提高伪掩模的质量。实验结果表明，该方法通过解决WSSS的关键挑战，显著优于现有方法，并在PASCAL VOC 2012和MS COCO 2014数据集上实现了新的最先进性能。
2021-05-19 cs.CV
Semantic Segmentation on 3D Point Clouds with High Density Variations
Australian Institute for Machine Learning - University of Adelaide（阿德莱德大学澳大利亚机器学习研究所）；Maptek（迈普泰克）
针对测量级LiDAR点云局部密度变化大的问题，本文提出HDVNet，通过嵌套编码器-解码器通路分别处理不同密度范围，并以约一半权重超越现有模型的分割精度。
2023-07-04 cs.CV
UGformer for Robust Left Atrium and Scar Segmentation Across Scanners
Xi’an Jiaotong-Liverpool University（西交利物浦大学）
视觉Transformer和可变形卷积由于其对不规则形状的鲁棒性和长距离依赖性，成为图像分割的有力工具，而图卷积网络（Graph Convolution Networks，GCN）则基于全局拓扑关系模型优化局部特征。特别是，他们已被证明是有效的，在解决问题的医学成像分割任务，包括多领域泛化低质量的图像。在本文中，我们提出了一种新的，有效的，和强大的框架，医学图像分割，即UGformer。它统一了源自U-Net的新型Transformer块、GCN桥和卷积解码器，以预测左心房（LA）和LA疤痕。我们已经确定了拟议的UGformer的两个吸引人的发现：1）。具有可变形卷积的增强型Transformer模块，以改善Transformer信息与卷积信息的混合，并帮助预测不规则LA和疤痕形状。2）。使用结合GCN的桥接器来进一步克服在具有各种不一致域信息的不同磁共振图像扫描仪之间捕获条件不一致的困难。所提出的UGformer模型在LAScarQS 2022数据集上表现出分割左心房和瘢痕的出色能力，优于最近的几种最先进的模型。
2022-10-11 cs.CV
Contextrast: Contextual Contrastive Learning for Semantic Segmentation
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Kookmin University（国民大学）
针对语义分割中局部/全局上下文及其关联缺失的问题，提出含上下文对比学习与边界感知负样本采样的Contextrast方法，在多数据集上以相同推理成本超越现有对比学习SOTA。
2024-10-08 cs.CV
Hierarchical Multi-Scale Attention for Semantic Segmentation
Nvidia（英伟达）
多尺度推理通常用于改善语义分割的结果。多个图像尺度通过网络传递，然后将结果与平均或最大池化相结合。在这项工作中，我们提出了一种基于注意力的方法来结合多尺度预测。我们表明，在某些尺度上的预测更好地解决特定的故障模式，并且网络学会了在这种情况下支持这些尺度，以便生成更好的预测。我们的注意力机制是分层的，这使得它的训练内存效率比其他最近的方法高出大约4倍。除了实现更快的训练外，这还允许我们使用更大的作物尺寸进行训练，从而提高模型精度。我们在两个数据集上展示了我们的方法的结果：Cityscapes和Mapillary Vistas。对于具有大量弱标记图像的Cityscapes，我们还利用自动标记来提高泛化能力。使用我们的方法，我们在Mapillary（61.1 IOU值）和Cityscapes（85.1 IOU测试）中实现了新的最先进的结果。
2020-05-21 cs.CV
Assessing Test-time Variability for Interactive 3D Medical Image Segmentation with Diverse Point Prompts
Vanderbilt University（范德堡大学）
针对交互式3D医学图像分割中提示选择的变异性问题，提出基于点位置分类的测试时最优提示选择策略，并在结肠肿瘤分割任务上验证其有效性。
2023-11-13 cs.CV
LMSeg: Language-guided Multi-dataset Segmentation
Alibaba Group（阿里巴巴集团）；East China Normal University（华东师范大学）；University of the Chinese Academy of Sciences（中国科学院大学）
构建一个通用的、包容性的、能够在各种场景下识别更多类别的细分模型是一个有意义和有吸引力的话题。一种简单的方法是组合现有的碎片分割数据集并训练多数据集网络。然而，多数据集分割存在两个主要问题：（1）不一致的分类法需要手动协调以构建统一的分类法;（2）不灵活的单一热门公共分类法导致耗时的模型重新训练和未标记类别的监督缺陷。在本文中，我们研究了多数据集分割，并提出了一个可扩展的图像引导的多数据集分割框架，称为LMSeg，它支持语义和全景分割。具体来说，我们引入了一个预训练的文本编码器，将类别名称映射到文本嵌入空间作为统一的分类法，而不是使用不灵活的one-hot标签。该模型动态地将段查询与类别嵌入对齐。不是用统一的分类法重新标记每个数据集，而是设计了类别引导解码模块来动态地引导对每个数据集分类法的预测。此外，我们采用了一种基于数据集的增强策略，为每个数据集分配一个特定的图像增强管道，以适应来自不同数据集的图像的属性。大量的实验表明，我们的方法取得了显着的改善四个语义和三个全景分割数据集，消融研究评估每个组件的有效性。
2023-02-27 cs.CV
Tuning Vision Foundation Model via Test-Time Prompt-Guided Training for VFSS Segmentations
University of Bristol（布里斯托大学）；Queen Elizabeth Hospital（伊丽莎白女王医院）
提出测试时点提示引导的半自监督训练范式，无需完全标注即可微调视觉基础模型，在VFSS-5k数据集上实现0.868平均Dice系数。
2025-01-30 cs.CV
Spectral Analysis for Semantic Segmentation with Applications on Feature Truncation and Weak Annotation
National Yang Ming Chiao Tung University（国立阳明交通大学）
本文提出频谱分析研究语义分割中下采样分辨率、损失函数与准确性的关系，发现低频分量主导，并应用于特征截断和弱标注以节省成本。
2023-05-11 cs.CV
LoveDA: A Remote Sensing Land-Cover Dataset for Domain Adaptive Semantic Segmentation
Wuhan University（武汉大学）
深度学习方法在遥感高空间分辨率（HSR）土地覆盖制图中显示出有希望的结果。然而，城市和农村场景可以显示完全不同的地理景观，这些算法的泛化能力不足阻碍了城市级或国家级的制图。现有的HSR土地覆盖数据集大多侧重于学习语义表示的研究，而忽略了模型的可移植性。在本文中，我们引入了Land-cOVEr域自适应语义分割（LoveDA）数据集，以推进语义和可转移学习。LoveDA数据集包含来自三个不同城市的5987张HSR图像和166768个注释对象。与现有数据集相比，LoveDA数据集包含两个域（城市和农村），这带来了相当大的挑战，因为：1）多尺度对象; 2）复杂的背景样本; 3）不一致的类分布。LoveDA数据集适用于土地覆盖语义分割和无监督领域自适应（UDA）任务。因此，我们在11种语义分割方法和8种UDA方法上对LoveDA数据集进行了基准测试。为了应对这些挑战，还进行了一些探索性研究，包括多尺度架构和策略，额外的背景监督和伪标签分析。代码和数据可在https://github.com/Junjue-Wang/LoveDA上获得。
2022-05-31 cs.CV
Unsupervised Domain Adaptation for Video Semantic Segmentation
KAIST（韩国科学技术院）
用于语义分割的无监督领域自适应已经获得了极大的普及，因为它可以通过在很大程度上减少真实的每像素标记工作来将知识从模拟转移到真实（Sim2Real）。在这项工作中，我们提出了一个新的视频扩展这项任务，即无监督领域自适应视频语义分割。由于通过模拟获得大规模视频标签变得很容易，我们相信尝试最大限度地提高Sim2Real知识的可转移性是解决视频中基本数据饥饿问题的有希望的方向之一。为了解决这个新问题，我们提出了一种新的两阶段适应计划。在第一步中，我们使用监督损失函数详尽地提取源域知识。同时，视频对抗训练（VAT）是用来对齐的功能，从源到目标，利用视频上下文。在第二步中，我们应用视频自训练（VST），只关注目标数据。为了构造鲁棒的伪标签，我们利用视频中的时间信息，这在以前的基于图像的自训练方法中很少被探索。我们在“VIPER to CityscapeVPS”适应场景上设置了强基线分数。我们表明，我们的建议显着优于以前的基于图像的UDA方法的图像级（mIoU）和视频级（VPQ）的评估指标。
2021-09-13 cs.CV
RSRefSeg: Referring Remote Sensing Image Segmentation with Foundation Models
Beihang University（北京航空航天大学）
针对现有指代式遥感图像分割方法细粒度语义对齐弱、跨模态表征不一致的问题，提出结合CLIP与SAM的基础模型RSRefSeg，通过全局局部文本语义滤波生成激活特征引导SAM分割，在RRSIS-D数据集上取得更优性能。
2025-01-12 cs.CV
Foundation Models for Amodal Video Instance Segmentation in Automated Driving
Institute for Communications Technology（通信技术研究所）；Technische Universität Braunschweig（布伦瑞克工业大学）
针对自动驾驶中非模态视频实例分割标注成本高及分割与跟踪性能权衡的问题，提出基于SAM微调的S-AModal方法，利用点记忆与点跟踪实现视频级非模态分割，无需视频标签即达SOTA。
2024-09-21 cs.CV
Fully Attentional Network for Semantic Segmentation
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）
最近的非局部自注意方法已被证明是有效的，在捕获长距离的依赖语义分割。这些方法通常形成RC*C（通过压缩空间维度）或RHW*HW（通过压缩通道）的相似性图来描述沿通道或空间维度的特征关系，其中C是通道的数量，H和W是输入特征图的空间维度。然而，这样的实践倾向于沿着其他维度压缩特征依赖性，因此导致注意力缺失，这可能导致小/薄类别的较差结果或大对象内部的不一致分割。为了解决这个问题，我们提出了一种新的方法，即全注意网络（FLANet），在一个单一的相似性映射编码空间和信道的注意，同时保持高的计算效率。具体来说，对于每个通道地图，我们的FLANet可以收获所有其他通道地图的特征响应，以及相关的空间位置，通过一个新的完全注意力模块。我们的新方法在三个具有挑战性的语义分割数据集上实现了最先进的性能，即，在Cityscapes测试集、ADE 20 K验证集和PASCAL VOC测试集上分别为83.6%、46.99%和88.5%。
2022-07-11 cs.CV
Versatile Medical Image Segmentation Learned from Multi-Source Datasets via Model Self-Disambiguation
University of Pennsylvania（宾夕法尼亚大学）
本文提出一种利用多源部分标注数据训练通用医学图像分割模型的方法，通过模型自消歧、先验知识融合和不平衡缓解策略解决标签歧义及多源不平衡问题，在八源腹部多模态数据集上验证了其优于现有方法的性能与成本效益。
2024-03-29 cs.CV
A Novel Incremental Learning Driven Instance Segmentation Framework to Recognize Highly Cluttered Instances of the Contraband Items
Khalifa University（哈利法大学）；Intel R&D UK（英特尔英国研发中心）；The University of Western Australia（西澳大学）；Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
从行李X光扫描中筛选杂乱和闭塞的违禁品即使对于专业的安全人员来说也是一项繁琐的任务。本文提出了一种新的策略，扩展了传统的编码器-解码器架构，执行实例感知分割和提取合并的违禁品的情况下，不使用任何额外的子网络或对象检测器。编码器-解码器网络首先执行传统的语义分割并检索杂乱的行李项。然后，该模型在训练过程中逐步演变，以使用显著减少的训练批次来识别单个实例。为了避免灾难性遗忘，一种新的目标函数，通过保留以前获得的知识，同时学习新的类表示和解决其复杂的结构相互依赖性，通过贝叶斯推理，最大限度地减少每次迭代中的网络损失。对我们的框架在两个公开的X射线数据集上进行的全面评估表明，它的性能优于最先进的方法，特别是在具有挑战性的杂乱场景中，同时在检测精度和效率之间实现了最佳权衡。
2022-01-10 cs.CV
Pathological Image Segmentation with Noisy Labels
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Guanghua School of Management, Peking University（北京大学光华管理学院）；Peking University Third Hospital（北京大学第三医院）
病理图像的分割对于准确的疾病诊断是必不可少的。手动标签的质量在分割准确性中起着关键作用;然而，在实践中，病理学家之间的标签可能不一致，从而混淆了训练过程。在这项工作中，我们提出了一种新的标签重新加权框架，以考虑不同的专家的标签的可靠性，根据其周围的功能，每个像素。我们进一步设计了一个新的注意力热图，它将粗糙度作为先验知识来引导模型关注重要区域。我们的方法在Gleason 2019公共数据集上进行了评估。结果表明，我们的方法有效地提高了模型对噪声标签的鲁棒性，并优于最先进的方法。
2021-03-20 cs.CV eess.IV
Hybrid Tracker with Pixel and Instance for Video Panoptic Segmentation
Zhejiang University（浙江大学）
本文提出轻量级 HybridTracker，通过并行像素与实例跟踪、矩阵融合、可微匹配及一致性约束，提升 VPS 在遮挡和变形场景下的跟踪性能。
2023-12-11 cs.CV
Automatic Temporal Segmentation for Post-Stroke Rehabilitation: A Keypoint Detection and Temporal Segmentation Approach for Small Datasets
Arizona State University（亚利桑那州立大学）；University of Southern California（南加利福尼亚大学）
针对卒中后康复评估主观耗时的问题，提出一种结合2D关键点检测与1D时间序列分割的框架，利用运动生物力学实现小数据集下的自动标注，提升评估速度与准确性。
2025-02-27 cs.CV
Benchmarking Foundation and Large Language Models for Few-Shot Medical Image Segmentation
该研究推出统一基准FAME，涵盖四类模型，含14958个样本，评估得出小样本分割的关键规律，助力开发更有效的小样本医学分割方法。
2026-08-18 cs.CV
Improving Semantic Segmentation in Transformers using Hierarchical Inter-Level Attention
University of Toronto（多伦多大学）；Nvidia（英伟达）；Vector Institute（向量研究所）
现有的基于变换器的图像主干通常在一个方向上从较低级别向较高级别传播特征信息。这可能不是理想的，因为描绘准确对象边界的定位能力在较低的高分辨率特征图中最突出，而可以消除属于一个对象与另一个对象的图像信号的歧义的语义通常出现在更高级别的处理中。我们提出了层次间注意力（HILA），一种基于注意力的方法，捕获不同级别的功能之间的自下而上和自上而下的更新。HILA通过在骨干编码器的较高和较低级别的特征之间添加本地连接来扩展分层视觉Transformer架构。在每一次迭代中，我们构建了一个层次结构，通过让较高级别的功能竞争分配，以更新属于它们的较低级别的功能，迭代解决对象部分的关系。这些改进的较低级别特征然后用于重新更新较高级别特征。HILA可以集成到大多数分层架构中，而不需要对基础模型进行任何更改。我们将HILA添加到SegFormer和Swin Transformer中，并在语义分割中以更少的参数和FLOPS显示出显著的准确性改进。项目网址及代码：https://www.cs.toronto.edu/~garyleung/hila/
2022-07-05 cs.CV
Terrain-Enhanced Resolution-aware Refinement Attention for Off-Road Segmentation
Gachon University（嘉泉大学）
提出一种分辨率感知token解码器，通过低分辨率瓶颈、门控交叉注意力与类别感知点细化，结合边界带一致性正则化，在噪声标签下平衡全局语义、局部一致性与边界保真度，实现越野语义分割的竞争性能与稳定性提升。
2025-11-03 cs.CV
Beyond Background Shift: Rethinking Instance Replay in Continual Semantic Segmentation
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；New Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）
本文针对持续语义分割中存储图像导致的背景混淆问题，提出增强实例回放（EIR）方法，通过实例存储与整合缓解背景偏移，显著超越现有最先进方法。
2025-03-28 cs.CV
UnderOneFacade: Worldwide Facade Semantic Segmentation Benchmark Dataset
Technical University of Munich（慕尼黑工业大学）；University of Cambridge（剑桥大学）；University of Nottingham（诺丁汉大学）；National University of Singapore（新加坡国立大学）
针对现有立面解析数据集地理范围窄、语义不一致的问题，提出全球最大跨国家、跨洲的3D立面基准UnderOneFacade，包含27亿标注点，评估多种模型并揭示其跨域性能下降，为鲁棒可迁移的3D分割模型提供基准。
2026-07-03 cs.CV
CycleMix: A Holistic Strategy for Medical Image Segmentation from Scribble Supervision
Fudan University（复旦大学）
管理大量的完全注释的训练数据可能是昂贵的，特别是对于医学图像分割的任务。涂鸦是一种较弱的注释形式，在实践中更容易获得，但从有限的涂鸦监督中训练分割模型仍然具有挑战性。为了解决这些困难，我们提出了一个新的框架，涂鸦学习为基础的医学图像分割，这是由混合增强和周期一致性，因此被称为CycleMix。为了加强监督，CycleMix采用了混合策略，并采用了专门的随机遮挡设计，以执行涂鸦的增量和减量。对于监督的规则化，CycleMix强化了训练目标，一致性损失惩罚不一致的分割，这导致分割性能的显着提高。两个开放数据集的结果，即，ACDC和MSCMRseg表明，所提出的方法实现了令人振奋的性能，表现出与完全监督方法相当甚至更好的准确性。在https://github.com/BWGZK/CycleMix上可以公开获得MSCMRseg的代码和专家制作的潦草注释。
2022-03-12 cs.CV eess.IV
Full-Duplex Strategy for Video Object Segmentation
Nankai University（南开大学）；Wuhan University（武汉大学）；Sichuan University（四川大学）；Peng Cheng Laboratory（鹏城实验室）；IIAI（人工智能研究院）
提出全双工策略网络FSNet，通过关系交叉注意力模块和双向净化模块实现运动与表观特征的双向传播与净化，在视频目标分割与显著目标检测任务中取得优异性能。
2021-09-03 cs.CV
MV3DIS: Multi-View Mask Matching via 3D Guides for Zero-Shot 3D Instance Segmentation
College of Computer Science, Nankai University（南开大学计算机科学学院）；School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院）
本文提出MV3DIS框架，通过引入3D引导的掩码匹配策略，利用粗略3D段作为参考，匹配多视图掩码并提升3D分割一致性，同时引入深度一致性加权方案以增强鲁棒性。
2026-04-10 cs.CV
SAMST: A Transformer framework based on SAM pseudo label filtering for remote sensing semi-supervised semantic segmentation
Zhejiang University（浙江大学）；Zhejiang Dahua Technology Co., Ltd（浙江大华技术有限公司）
本文提出SAMST，一种基于SAM伪标签过滤的遥感半监督语义分割Transformer框架，通过结合大模型泛化能力与小模型训练效率迭代优化伪标签，提升分割性能。
2025-07-16 cs.CV
Towards PerSense++: Advancing Training-Free Personalized Instance Segmentation in Dense Images
Department of Computer Vision（计算机视觉系）；Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
针对密集视觉场景分割的挑战，提出无需训练的个性化实例分割框架PerSense及增强版PerSense++，通过密度图生成候选提示、过滤假阳性等模块提升性能，并构建专用基准PerSense-D，实验证明其在密集场景中优于现有方法。
2025-08-20 cs.CV
MSeg: A Composite Dataset for Multi-domain Semantic Segmentation
Georgia Institute of Technology（佐治亚理工学院）；University of California, Berkeley（加州大学伯克利分校）；Intel Labs（英特尔研究院）
我们提出了MSeg，一个复合数据集，统一了来自不同领域的语义分割数据集。由于不一致的分类法和注释实践，组成数据集的简单合并会产生较差的性能。我们协调分类，并通过重新标记80，000多张图像中的220，000多个对象掩码来调整像素级注释，需要超过1.34年的集体注释工作。由此产生的复合数据集能够训练单个语义分割模型，该模型在各个领域中有效地发挥作用，并推广到训练期间未看到的数据集。我们采用zero-shot交叉数据集传输作为基准来系统地评估模型的鲁棒性，并表明与在单个数据集上训练或在没有所呈现的贡献的情况下天真地混合数据集相比，MSeg训练产生了更强大的模型。在MSeg上训练的模型在WildDash-v1排行榜上排名第一，具有强大的语义分割，在训练期间不会暴露于WildDash数据。我们在2020年鲁棒视觉挑战赛（RVC）中评估了我们的模型，作为一个极端的泛化实验。MSeg训练集只包括RVC中七个数据集中的三个;更重要的是，RVC的评估分类法不同且更详细。令人惊讶的是，我们的模型表现出了竞争力，排名第二。为了评估我们离强大，高效和完整的场景理解的宏伟目标有多近，我们超越了语义分割，使用我们的数据集训练实例分割和全景分割模型。此外，我们还评估各种工程设计决策和指标，包括分辨率和计算效率。虽然我们的模型离这个宏伟目标还很远，但我们的全面评估对取得进展至关重要。我们与社区共享所有模型和代码…
2021-12-27 cs.CV
TACS: Taxonomy Adaptive Cross-Domain Semantic Segmentation
ETH Zurich（苏黎世联邦理工学院）；MPI for Informatics（马克斯·普朗克信息学研究所）；KU Leuven（鲁汶大学）
传统的领域自适应语义分割解决了在有限的或没有额外的监督下使模型适应新目标领域的任务。在处理输入域间隙时，标准领域自适应设置假定输出空间中没有域变化。在语义预测任务中，不同的数据集通常根据不同的语义分类进行标记。在许多实际环境中，目标域任务需要与源域所强加的分类不同的分类。因此，我们引入了更一般的分类自适应跨域语义分割（TACS）的问题，允许两个域之间的不一致的分类。我们进一步提出了一种方法，共同解决图像级和标签级的领域自适应。在标签级，我们采用双边混合抽样策略来扩大目标域，并重新标记的方法来统一和对齐标签空间。我们通过提出一种不确定性校正的对比学习方法来解决图像级的域差距，从而获得更多的域不变和类判别特征。我们广泛地评估我们的框架在不同的TACS设置的有效性：开放分类，粗到细分类，和隐式重叠分类。我们的方法优于以前的国家的最先进的大幅度，同时能够适应目标分类。我们的实现可以在www.example.com上公开获得。
2022-07-28 cs.CV
Adaptive Spatial Augmentation for Semi-supervised Semantic Segmentation
Shaanxi Provincial Key Laboratory of Speech and Image Information Processing（陕西语音图像信息处理省级重点实验室）；National Engineering Laboratory for Integrated Aerospace-Ground-Ocean Big Data Application Technology（集成空天海大数据应用技术国家工程实验室）；School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院）；College of Information Engineering, Northwest A&F University（西北农林科技大学信息工程学院）
本文提出一种用于半监督语义分割的自适应空间增强方法（ASAug），通过基于熵动态调整每个实例的空间增强，作为可插拔模块持续提升现有方法性能，并在多个基准数据集上取得最先进结果。
2025-05-29 cs.CV
PanSR: An Object-Centric Mask Transformer for Panoptic Segmentation
University of Ljubljana（卢布尔雅那大学）
PanSR 是一种以对象为中心的掩码 Transformer，通过改进查询生成与监督，缓解实例合并、增强小物体检测，在 LaRS 基准上提升 PQ 3.4，达到 Cityscapes 最先进水平。
2024-12-13 cs.CV
VISAGE: Video Instance Segmentation with Appearance-Guided Enhancement
Yonsei University（延世大学）；Carnegie Mellon University（卡内基梅隆大学）；Adobe Research（奥多比研究院）
针对在线视频实例分割方法过度依赖位置信息导致物体关联错误的问题，提出外观引导的解码器扩展方案，同时构建合成数据集验证，最终在多个基准上取得SOTA结果。
2024-03-08 cs.CV
UMSS: Towards Unsupervised Multi-modal Semantic Segmentation
EmPACT Lab, School of EEE, Nanyang Technological University（电气与电子工程学院电磁脉冲与天线研究室，南洋理工大学）；The University of Hong Kong（香港大学）
本文针对无监督多模态语义分割问题，提出基于DINOv3的UniM2框架，通过跨模态对应协同学习统一潜在空间提取语义线索，并引入跨模态协调器缓解冲突，实验证明该框架相比现有框架有明显优势。
2026-07-15 cs.CV
Chan-Vese Reformulation for Selective Image Segmentation
AstraZeneca（阿斯利康）；University of Liverpool（利物浦大学）；University of Exeter（埃克塞特大学）
针对现有选择性图像分割方法引入额外约束常与图像常见假设不一致的问题，重构Chan-Vese模型，提出支持多不均匀背景区域的新拟合项，经对比实验验证了方法优势并拓宽了应用场景。
2019-07-05 cs.CV cs.NA math.NA
pFLFE: Cross-silo Personalized Federated Learning via Feature Enhancement on Medical Image Segmentation
School of Software and Microelectronics, Peking University（北京大学软件与微电子学院）；National Engineering Research Center for Software Engineering, Peking University（北京大学国家软件工程研究中心）；State University of New York at Buffalo（纽约州立大学布法罗分校）
针对医学图像分割中跨孤岛个性化联邦学习的客户端漂移问题，提出pFLFE框架，通过特征增强与监督学习两阶段设计及低通信成本训练策略，在三个医学分割任务上取得优于现有方法的性能。
2024-06-29 cs.AI cs.CV
Frame-To-Frame Consistent Semantic Segmentation
Graz University of Technology（格拉茨技术大学）
在这项工作中，我们的目标是时间上一致的语义分割在整个视频帧。许多语义分割算法单独地处理图像，这导致由于照明变化、遮挡和其他随时间的变化而导致不一致的场景解释。为了实现时间上一致的预测，我们训练卷积神经网络（CNN），其使用卷积长短期记忆（ConvLSTM）单元通过视频中的连续帧传播特征。除了时间特征传播之外，我们还在损失函数中惩罚不一致。我们在实验中表明，与单帧预测相比，利用视频信息时的性能有所提高。Cityscapes验证集上的平均交集（mIoU）度量从单帧的45.2%增加到视频数据的57.9%，这是在实现ConvLSTM以在ESPNet上通过时间传播特征之后。最重要的是，不一致性从4.5%下降到1.3%，减少了71.1%。我们的研究结果表明，增加的时间信息产生一个帧到帧的一致性和更准确的图像理解相比，单帧处理。代码和视频可在https://github.com/mrebol/f2f-consistent-semantic-segmentation上获得
2020-08-27 cs.CV cs.LG
Prompt Group-Aware Training for Robust Text-Guided Nuclei Segmentation
Fudan University, Shanghai, China（复旦大学，上海，中国）
本文提出基于提示组的鲁棒文本引导核分割训练方法，通过组内一致性约束和质量引导正则化提升分割鲁棒性和泛化能力。
2026-03-06 cs.AI cs.CV
