ISINet: An Instance-Based Approach for Surgical Instrument Segmentation
Center for Research and Formation in Artificial Intelligence, Universidad de los Andes（安第斯大学人工智能研究与培训中心）
研究了机器人辅助手术场景中手术器械的语义分割任务。我们提出了基于实例的手术器械分割网络（ISINet），一种从基于实例的分割角度解决这一任务的方法。我们的方法包括一个时间的一致性模块，考虑到以前被忽视的问题和固有的时间信息。我们在任务的现有基准（Endoscopic Vision 2017 Robotic Instrument Segmentation Dataset）和2018年版本的数据集上验证了我们的方法，我们扩展了该数据集的注释以用于精细版本的器械分割。我们的结果表明，ISINet的性能明显优于最先进的方法，我们的基线版本复制了以前方法的交集（IoU），我们的完整模型将IoU复制了三倍。
2020-07-10 cs.CV
Light-Weight RefineNet for Real-Time Semantic Segmentation
The University of Adelaide（阿德莱德大学）
我们认为有效且高效的语义图像分割是一项重要任务。特别是，我们适应了一个强大的语义分割架构，称为精炼网，到更紧凑的，甚至适合的任务，需要高分辨率输入的实时的【形】性能。为此，我们确定了计算昂贵的块在原来的设置，并提出了两个修改，旨在减少参数和浮点运算的数量。通过这样做，我们实现了超过两倍的模型减少，同时保持性能水平几乎不变。我们最快的模型在512x512输入的通用GPU卡上从20 FPS显著加速到55 FPS，在PASCAL VOC测试集上平均iou性能为81.1%，而我们最慢的模型为32 FPS（从原始的17 FPS），在同一数据集上平均iou性能为82.7%。或者，我们展示了我们的方法很容易与轻量级分类网络混合：我们使用仅包含3.3M参数并仅执行9.3B浮点运算的模型在PASCAL VOC上获得了79.2%的平均iou。
2018-10-08 cs.CV
Location-Sensitive Visual Recognition with Cross-IOU Loss
University of Chinese Academy of Sciences（中国科学院大学）；Huawei Inc（华为公司）；Huazhong University of Science and Technology（华中科技大学）
目标检测、实例分割和姿态估计是流行的视觉识别任务，其需要通过内部或边界界标来定位目标。本文将这些任务归纳为位置敏感视觉识别，并提出了一个统一的解决方案，命名为位置敏感网络（LSNet）。LSNet以深度神经网络为主干，预测一个锚点和一组地标，它们共同定义了目标对象的形状。优化LSNet的关键在于拟合各种尺度的能力，为此，我们设计了一种新的损失函数，称为交叉IOU损失，该损失函数计算每个锚点-地标对的交叉IOU，以近似预测和地面实况之间的全局IOU。灵活定位和准确预测的地标也使LSNet能够整合更丰富的上下文信息进行视觉识别。在MS-COCO数据集上进行评估，LSNet为无锚目标检测（53.5%的框AP）和实例分割（40.2%的掩模AP）设置了新的最先进的准确性，并在检测多尺度人体姿势方面表现出良好的性能。代码可在https://github.com/Duankaiwen/LSNet上获得
2021-04-11 cs.CV
Interactive Full Image Segmentation by Considering All Regions Jointly
Google Research（谷歌研究院）
我们解决了交互式全图像注释，其目标是准确地分割图像中的所有对象和填充区域。我们提出了一个交互式的，基于涂鸦的注释框架，它对整个图像产生分割的所有区域。这使得能够跨区域共享涂鸦校正，并允许注释器专注于机器在整个图像中产生的最大错误。为了实现这一点，我们将Mask-RCNN适配到一个快速交互式分割框架中，并在完整图像画布中引入一个在像素级测量的实例感知损失，这使得对附近区域的预测能够正确地竞争空间。最后，我们比较COCO panoptic数据集上的交互式单对象分割。我们证明了我们的交互式完整图像分割方法可以获得5%的IoU增益，在每个区域四次极端点击和四次纠正涂鸦的预算下达到90%的IoU。
2019-04-10 cs.CV
Exploiting CNNs for Semantic Segmentation with Pascal VOC
University of California, San Diego（加州大学圣地亚哥分校）
本文针对Pascal VOC语义分割任务，在FCN基线基础上提出三项训练改进，探索三种架构，发现数据增强贡献最大，基于ResNet的迁移学习性能最优。
2023-05-05 cs.AI cs.CV
Boosting Mask R-CNN Performance for Long, Thin Forensic Traces with Pre-Segmentation and IoU Region Merging
AIUI GmbH（AIUI有限公司）
Mask R-CNN最近在实例分割领域取得了巨大的成功。然而，该算法的弱点也被反复指出，特别是在分割方向不完全是水平或垂直的长而稀疏的对象时。在这里，我们提出了一种方法，显着提高了算法的性能，首先预分割的图像与PSPNet算法。为了进一步提高其预测能力，我们以训练策略的形式开发了自己的成本函数和算法，可以防止所谓的（早期）过拟合，实现更有针对性的收敛。此外，由于图像的高方差，特别是对于PSPNet，我们的目标是开发高鲁棒性和泛化的策略，这也在这里提出。
2022-03-08 cs.AI cs.CV cs.RO
DFANet: Deep Feature Aggregation for Real-Time Semantic Segmentation
Megvii Technology（旷视科技）
本文介绍了一个非常有效的CNN架构命名DFANet的语义分割资源限制下。我们提出的网络从一个轻量级的骨干开始，分别通过子网络和子阶段级联聚合判别特征。DFANet基于多尺度特征传播，在大幅度减少参数数量的同时，仍能获得足够的感受野，增强模型学习能力，在速度和分割性能之间取得了平衡。在Cityscapes和CamVid数据集上的实验表明，DFANet的性能优越，与现有的最先进的实时的【形】语义分割方法相比，具有8个$\times$更少的FLOP和2个$\times$更快，同时提供相当的准确性。具体来说，它在Cityscapes测试数据集上实现了70.3\%的平均IOU，在一张NVIDIA Titan X卡上只有1.7 GFLOPs和160 FPS的速度，在推断更高分辨率图像时，平均IOU为71.3\%，GFLOPs为3.4。
2019-04-03 cs.CV
DCFFSNet: Deep Connectivity Feature Fusion Separation Network for Medical Image Segmentation
School of Software Yunnan University（软件学院云南大学）；School of Information Yunnan University（信息学院云南大学）
本文提出DCFFSNet，通过特征空间解耦策略量化连通性特征强度并构建融合分离架构，在ISIC2018、DSB2018和MoNuSeg数据集上以Dice和IoU指标超越现有主流方法，有效改善医学图像分割的边缘精度与区域一致性。
2025-09-22 cs.CV
A Data-Centric Approach to 3D Semantic Segmentation of Railway Scenes
SETLabs Research GmbH（SETLabs研究公司）；Graz University of Technology（格拉茨技术大学）；EPFL - Swiss Federal Technology Institute of Lausanne（洛桑联邦理工学院）
本文提出两种数据增强方法（人物实例粘贴与轨道稀疏化），在OSDaR23数据集上提升远距离分割性能，并建立首个3D语义分割基准，验证数据中心方法对铁路场景的有效性。
2025-04-25 cs.CV
PNM: Pixel Null Model for General Image Segmentation
Tsinghua University（清华大学）；ByteDance Group（字节跳动集团）
图像分割中的一个主要挑战是对对象边界进行分类。最近的努力提出了改进的分割结果与边界掩模。然而，即使模型正确地捕获了对象轮廓，它们仍然容易对边界像素进行错误分类。在这种情况下，即使是完美的边界图也无助于分割细化。在本文中，我们认为，分配适当的先验权重，容易出错的像素，如对象边界，可以显着提高分割质量。具体而言，我们提出了\textit{pixel null model}（PNM），先验模型，根据其被正确分类的随机分割器的概率加权每个像素。实证分析表明，PNM捕获的错误分类分布的不同国家的最先进的（SOTA）分割。在三个数据集（Cityscapes，ADE 20 K，MS COCO）上进行的语义，实例和全景分割任务的广泛实验证实，PNM始终提高了大多数SOTA方法（包括视觉Transformer）的分割质量，并大大优于基于边界的方法。我们还观察到，广泛使用的平均IoU（mIoU）度量对不同锐度的边界不敏感。作为一个副产品，我们提出了一个新的度量，\textit{PNM IoU}，它感知边界的清晰度，更好地反映了模型分割性能的易错区域。
2022-03-13 cs.CV
Scene-Centric Unsupervised Panoptic Segmentation
TU Darmstadt（图宾根大学）；TU Munich（慕尼黑工业大学）；University of Oxford（牛津大学）；MCML；ELIZA
该研究针对无监督全景分割问题，提出首个直接基于以场景为中心图像训练的方法，结合视觉表示、深度和运动线索生成伪标签并采用自训练策略，在Cityscapes数据集上PQ指标较现有技术提升9.4个百分点。
2025-04-02 cs.CV
Learning a Discriminative Feature Network for Semantic Segmentation
Key Laboratory of Ministry of Education for Image Processing and Intelligent ControlSchool of Automation, Huazhong University of Science and Technology（华中科技大学自动化学院图像处理与智能控制教育部重点实验室）；Key Laboratory of Machine Perception, Peking University（北京大学机器感知重点实验室）；Megvii Inc. (Face++)（旷视科技（Face++））
现有的大多数语义分割方法仍然受到两个方面的挑战：类内不一致和类间模糊。为了解决这两个问题，我们提出了一个判别特征网络（DFN），它包含两个子网络：平滑网络和边界网络。具体来说，为了处理类内不一致问题，我们专门设计了一个带有通道注意块和全局平均池的平滑网络来选择更具鉴别力的特征。此外，我们提出了一个边界网络，使边界的双边特征可区分的深层语义边界监督。基于我们提出的DFN，我们在PASCAL VOC 2012上实现了86.2%的平均IOU，在Cityscapes数据集上实现了80.3%的平均IOU。
2018-04-25 cs.CV
Collaborative Learning for Annotation-Efficient Volumetric MR Image Segmentation
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）
针对3D MR图像标注成本高的问题，提出融合半监督与自监督的协同学习方法，仅需单张2D切片标注即可训练，在前列腺与左心房分割任务上准确率显著优于现有方法。
2023-12-18 cs.CV eess.IV
LMMs Meet Object-Centric Vision: Understanding, Segmentation, Editing and Generation
Zhejiang University（浙江大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
本文探讨了LMMs与以物体为中心的视觉结合，总结了在理解、分割、编辑和生成方面的新进展，提出了开放挑战和未来方向。
2026-04-20 cs.CV
EAGLE: Eigen Aggregation Learning for Object-Centric Unsupervised Semantic Segmentation
Yonsei University（延世大学）
EAGLE提出EiCue谱线索与以对象为中心的对比损失，学习对象级表示以解决无监督语义分割中块级特征缺乏对象语义编码的问题，并在多个数据集上取得最优结果。
2024-04-05 cs.CV
Multi Receptive Field Network for Semantic Segmentation
Samsung Research China（三星中国研究院）
语义分割是计算机视觉中的关键任务之一，即为图像中的每个像素分配一个类别标签。尽管最近取得了重大进展，但大多数现有方法仍然存在两个具有挑战性的问题：1）图像中对象和东西的大小可能非常多样化，需要将多尺度特征纳入全卷积网络（FCN）; 2）由于卷积网络的固有弱点，靠近或位于对象/东西边界处的像素难以分类。为了解决第一个问题，我们提出了一个新的多感受场模块（MRFM），明确考虑到多尺度功能。对于第二个问题，我们设计了一个边缘感知的损失，这是有效的区分对象/东西的边界。通过这两个设计，我们的多接收场网络在两个广泛使用的语义分割基准数据集上实现了新的最先进的结果。具体来说，我们在Cityscapes数据集上实现了83.0的平均IoU，在Pascal VOC 2012数据集上实现了88.4的平均IoU。
2022-09-07 cs.CV
Adaptive Frequency Domain Alignment Network for Medical image segmentation
College of Intelligence and Computing（智能与计算学院）；Tianjin University（天津大学）
AFDAN通过自适应频域对齐技术提升医学图像分割的准确性和鲁棒性，有效解决数据稀缺问题。
2025-12-20 cs.CV
Ingredient-Level Food Image Segmentation for Nutrition Awareness
Jarvis College of Computing and Digital Media（计算与数字媒体学院）；DePaul University（德保罗大学）
研究FoodSeg103上的食材级语义分割，微调SegFormer-B0和B1模型，B1在像素精度和平均IoU上分别达到0.7929和0.3204，并输出食材面积百分比作为营养提示。
2026-06-25 cs.CV
Comparative Assessment of Deep Learning Architectures for Underwater Subsurface Kelp Forest Segmentation with The Kelp-o-Tron
该研究评估三种深度学习分割框架对水下海带林的分割性能，发现ResNet50-DeepLabV3（即Kelp-O-Tron）在准确率、鲁棒性和泛化性上表现最优，相关资源可用于水下生境制图与生态监测。
2026-08-26 cs.CV
Learning Transferable Object-Centric Diffeomorphic Transformations for Data Augmentation in Medical Image Segmentation
Rochester Institute of Technology（罗切斯特理工学院）；West Virginia University（西弗吉尼亚大学）；Qualcomm Inc（高通公司）
针对医学图像分割数据标注困难，提出以对象为中心的微分同胚变换增强模型，学习形状变化并原位增强，跨数据集迁移有效提升肾脏肿瘤分割。
2023-07-25 cs.CV
Rank & Sort Loss for Object Detection and Instance Segmentation
Middle East Technical University（中东技术大学）
我们提出了Rank & Sort（RS）Loss，这是一种基于排名的损失函数，用于训练深度目标检测和实例分割方法（即视觉检测器）。RS Loss监督分类器，这些方法的一个子网络，将每个阳性排列在所有阴性之上，并根据（wrt.）它们的本地化质量（例如Intersection-over-Union - IoU）。为了解决排名和排序的不可微性质，我们将错误驱动更新与反向传播的结合重新表述为身份更新，这使我们能够在阳性之间建模我们的新排序错误。通过RS Loss，我们大大简化了培训：（i）由于我们的分类目标，分类器在没有额外辅助头的情况下对阳性进行优先排序（ii）由于其基于排名的性质，RS Loss对类别不平衡是鲁棒的，因此，不需要采样启发式，以及（iii）我们使用免调谐任务平衡系数来解决视觉检测器的多任务性质。使用RS Loss，我们仅通过调整学习率来训练七种不同的视觉检测器，并表明它始终优于基线：例如，我们的RS Loss改进了（i）更快的R-CNN，约3盒AP和aLRP Loss（基于排名的基线）通过COCO数据集上的~ 2箱AP，（ii）在LVIS数据集上通过3.5掩码AP（对于罕见类别，约7 AP）使用重复因子采样（RFS）掩码R-CNN;并且也优于所有同行。代码可在：https://github.com/kemaloksuz/RankSortLoss
2021-08-30 cs.CV
SCNet: Training Inference Sample Consistency for Instance Segmentation
Korea Advanced Institute of Science and Technology（韩国科学技术院）
级联架构在目标检测和实例分割方面带来了显著的性能提升。然而，关于训练和推理之间样本的交集（IoU）分布的差异，仍然存在一些挥之不去的问题。这种差异可能会加剧检测精度。本文提出了一种称为样本一致性网络（SCNet）的架构，以确保样本在训练时的IoU分布接近推理时的分布。此外，SCNet采用特征中继，并利用全局上下文信息，以进一步加强分类，检测和分割子任务之间的相互关系。在标准COCO数据集上进行的大量实验表明，该方法在多个评估指标上都是有效的，包括框AP，掩码AP和推理速度。特别是，在运行速度提高38%的同时，与强大的Cascade Mask R-CNN基线相比，所提出的SCNet将框和掩码预测的AP分别提高了1.3和2.3个点。代码可在\url{https://github.com/thangvubk/SCNet}上获得。
2020-12-18 cs.CV
Generalization vs. Specialization: Evaluating Segment Anything Model (SAM3) Zero-Shot Segmentation Against Fine-Tuned YOLO Detectors
Cornell University, Department of Biological and Environmental Engineering（康奈尔大学生物与环境工程系）；University of the Peloponnese, Department of Informatics and Telecommunications（希腊皮埃里亚大学信息与电信系）
本文评估了SAM3在零样本分割中的性能，与微调的YOLO检测器相比，展示了SAM3在遮罩精度上的优势。
2025-12-09 cs.CV
Hierarchical Multi-Scale Attention for Semantic Segmentation
Nvidia（英伟达）
多尺度推理通常用于改善语义分割的结果。多个图像尺度通过网络传递，然后将结果与平均或最大池化相结合。在这项工作中，我们提出了一种基于注意力的方法来结合多尺度预测。我们表明，在某些尺度上的预测更好地解决特定的故障模式，并且网络学会了在这种情况下支持这些尺度，以便生成更好的预测。我们的注意力机制是分层的，这使得它的训练内存效率比其他最近的方法高出大约4倍。除了实现更快的训练外，这还允许我们使用更大的作物尺寸进行训练，从而提高模型精度。我们在两个数据集上展示了我们的方法的结果：Cityscapes和Mapillary Vistas。对于具有大量弱标记图像的Cityscapes，我们还利用自动标记来提高泛化能力。使用我们的方法，我们在Mapillary（61.1 IOU值）和Cityscapes（85.1 IOU测试）中实现了新的最先进的结果。
2020-05-21 cs.CV
MetaBox+: A new Region Based Active Learning Method for Semantic Segmentation using Priority Maps
Aptiv（安波福）；University of Wuppertal（伍珀塔尔大学）
我们提出了一种新的基于区域的主动学习语义图像分割方法，称为MetaBox+。对于采集，我们训练Meta回归模型来估计未标记图像的每个预测段的逐段交联（IoU）。这可以被理解为逐段预测质量的估计。被查询的区域应该最小化竞争目标，即，低预测IoU值/分割质量和低估计注释成本。为了估计后者，我们提出了一个简单而实用的方法来估计注释成本。我们将我们的方法与基于熵的方法进行比较，其中我们将熵视为预测的不确定性。结果的比较和分析提供了对注释成本以及方法的鲁棒性和方差的见解。在Cityscapes数据集上使用两个不同网络进行的数值实验清楚地表明，与随机采集相比，注释工作量减少了。值得注意的是，使用MetaBox+与使用完整数据集进行训练时相比，我们实现了95%的平均交集（mIoU），两个网络的注释工作量分别为10.47% / 32.01%。
2020-10-05 cs.CV
Semantic Segmentation of Transparent and Opaque Drinking Glasses with the Help of Zero-shot Learning
TU Darmstadt（达姆施塔特工业大学）；Fraunhofer IGD（弗劳恩霍夫图形数据处理研究所）
针对透明水杯分割难、部分品类样本少的问题，研究提出改进零样本模型TransCaGNet，构建合成与真实数据集，结合SAM 2并采用多类别分配策略，显著提升了分割的平均交并比与准确率。
2025-03-19 cs.CV
Convolutional Gated Recurrent Networks for Video Segmentation
University of Alberta（阿尔伯塔大学）
语义分割最近取得了重大进展，其中全卷积神经网络表现良好。然而，大多数以前的工作集中在改善单图像分割。据我们所知，没有以前的工作已经利用了时间视频信息的循环网络。在本文中，我们介绍了一种新的方法，隐式地利用时间数据的视频在线语义分割。该方法依赖于嵌入到门控递归架构中的完全卷积网络。该设计接收一系列连续的视频帧，并输出最后一帧的分割。卷积门控递归网络用于递归部分，以保持图像中的空间连通性。我们提出的方法可以应用于在线和批量分割。该架构进行了测试的二进制和语义视频分割任务。实验在SegTrack V2、Davis、CityScapes和Synthia的最新基准上进行。在我们所有的实验中，使用递归的全卷积网络提高了基线网络的性能。也就是说，SegTrack 2和Davis的F测量值分别提高了5%和3%，Synthia的平均IoU提高了5.7%，CityScapes的分类平均IoU提高了3.5%。RFCN网络的性能取决于其基准全卷积网络。因此，RFCN架构可以被看作是一种通过利用视频中的时空信息来改进其基线分割网络的方法。
2016-11-21 cs.CV
Erase to Retain: Low Rank Adaptation Guided Selective Unlearning in Medical Segmentation Networks
BRAC University（布拉克大学）；Bangladesh University of Engineering and Technology (BUET)（孟加拉国工程与技术大学）
Erase to Retain通过低秩适应实现医学分割网络中的可控选择性遗忘，有效降低敏感数据的影响力同时保持性能。
2025-11-20 cs.CV
Shape Constrained Network for Eye Segmentation in the Wild
Imperial College London（帝国理工学院）；Samsung AI Centre（三星人工智能中心）
眼睛的语义分割一直是许多生物识别应用中至关重要的预处理步骤。大部分的工作只集中在高分辨率的眼睛图像，而很少有人做分割的眼睛从低质量的图像在野外。然而，这是一个特别有趣和有意义的话题，因为眼睛在传达一个人的情绪状态和心理健康方面起着至关重要的作用。在这项工作中，我们采取了两个步骤来解决这个问题：（1）我们收集和注释了一个具有挑战性的眼睛分割数据集，包含8882个眼睛补丁，从4461个不同分辨率，照明条件和头部姿势的面部图像;（2）我们开发了一种新的眼睛分割方法，形状约束网络（SCN），将形状之前的分割网络训练过程。具体来说，我们使用VAE-GAN从我们的数据集中学习形状，并利用预训练的编码器和编码器来规范SegNet的训练。为了提高预测掩码的准确性和质量，我们用三个新的损失来代替SegNet的损失：交集（IoU）损失，形状嵌入损失和形状嵌入损失。大量的实验表明，我们的方法优于国家的最先进的分割和地标检测方法的平均IoU（mIoU）的准确性和质量的分割掩模。眼睛分割数据库可在https://www.dropbox.com/s/yvveouvxsvti08x/Eye_Segmentation_Database.zip?上获得dl=0。
2019-10-11 cs.CV
Unsupervised Domain Adaptation Network with Category-Centric Prototype Aligner for Biomedical Image Segmentation
School of Medical Imaging, Xuzhou Medical University（徐州医科大学医学影像学院）；The Hong Kong Polytechnic University（香港理工大学）
随着深度学习在生物医学图像分割中的广泛成功，域偏移成为一个关键且具有挑战性的问题，因为当部署到具有异构特征的不可见数据时，两个域之间的差距会严重影响模型性能。为了缓解这个问题，我们提出了一种新的无监督领域自适应网络，用于将从标记的源域学习到未标记的目标域的模型推广到跨模态生物医学图像分割。具体来说，我们的方法包括两个关键模块，一个条件域对齐器~（CDD）和一个以类别为中心的原型对齐器~（CCPA）。CDD是在分类器任务中从条件域对抗网络扩展而来的，在处理复杂的跨模态生物医学图像时是有效和鲁棒的。CCPA是在跨领域目标检测中基于图的原型对齐机制的基础上改进而来的，它通过一种精细的原型表示来挖掘精确的实例级特征。此外，它还可以通过基于熵的损失来解决类不平衡的负面影响。在心脏子结构分割任务的公共基准上进行的大量实验表明，我们的方法显着提高了目标域的性能。
2021-03-03 cs.CV
UCP-Net: Unstructured Contour Points for Instance Segmentation
Université Paris-Saclay（巴黎萨克雷大学）；CEA（法国原子能和替代能源委员会）；List（利斯特实验室）
交互式分割的目标是帮助用户尽可能快速和准确地生成分割掩码。交互必须简单直观，并且产生令人满意的分割掩模所需的交互次数应尽可能少。在本文中，我们提出了一种新的方法，交互式分割的基础上无约束的轮廓点击初始分割和分割细化。我们的方法是类不可知的，并产生准确的分割掩码（IoU > 85%），与流行的分割数据集（COCO MVal，SBD和Berkeley）上的最新方法相比，用户交互次数更少。
2021-09-15 cs.CV
Real-Time Semantic Segmentation via Multiply Spatial Fusion Network
Beihang University（北京航空航天大学）；Megvii Technology（旷视科技）；Peng Cheng Laboratory（鹏城实验室）
实时的【形】语义分割在自动驾驶、机器人等工业应用中有着重要的作用，同时需要兼顾效率和性能，是一项具有挑战性的任务。为了解决这样一个复杂的任务，本文提出了一个高效的CNN称为多空间融合网络（MSFNet），以实现快速，准确的感知。提出的MSFNet使用类边界监督处理相关的边界信息的基础上，我们提出的多特征融合模块，可以获得空间信息，扩大感受野。因此，1/8原始图像大小的特征图的最终上采样可以在保持高速的同时实现令人印象深刻的结果。在Cityscapes和Camvid数据集上的实验表明，该方法与现有方法相比具有明显的优势。具体来说，它在Cityscapes测试数据集上实现了77.1%的平均IOU，速度为41 FPS，输入为1024*2048，在Camvid测试数据集上实现了75.4%的平均IOU，速度为91 FPS。
2019-11-17 cs.CV
Class-independent sequential full image segmentation, using a convolutional net that finds a segment within an attention region, given a pointer pixel within this segment
Vaya Vision（瓦亚视觉）
这项工作研究了使用全卷积网络（FCN）来找到图像片段，给定此片段区域内的像素。该网络接收图像、图像中的点和感兴趣区域（RoI）掩模。净输出是点所在段的二进制掩码。可以找到片段的区域包含在输入RoI掩码中。完整的图像分割可以通过在图像上逐个区域地顺序运行该网络，并将输出片段拼接到单个分割图中来实现。这种简单的方法解决了图像分割的两个主要挑战：1）分割未包含在训练集中的未知类别。2)分割单个对象实例（事物）和非对象（素材），如天空和植被。因此，如果指针像素位于组中的一个人内，则网络将输出覆盖该个人的掩码;如果指针点位于天空区域内，则网络返回图像中的天空区域。即使在训练集中没有出现天空或人的例子，这也是正确的。该网络在COCO panoptic数据集上进行了测试和训练，并实现了67%的IOU用于分割熟悉的类（这是网络训练集的一部分），53%的IOU用于分割不熟悉的类（不包括在训练中）。
2019-02-23 cs.CV
Dual Graph Convolutional Network for Semantic Segmentation
University of Oxford（牛津大学）；Peking University（北京大学）；DeepMotion AI Research（DeepMotion AI研究院）
利用长距离上下文信息是逐像素预测任务（如语义分割）的关键。与以前使用多尺度特征融合或扩张卷积的工作相比，我们提出了一种新的图卷积网络（GCN）来解决这个问题。我们的双图卷积网络（DGCNet）通过在单个框架中对两个正交图进行建模，对输入特征的全局上下文进行建模。第一个组件对图像中像素之间的空间关系进行建模，而第二个组件对网络特征图的通道维度上的相互依赖性进行建模。这是通过将特征投影到一个新的低维空间中来有效地完成的，在该空间中，所有成对的相互作用都可以被建模，然后再重新投影到原始空间中。我们的简单方法在强大的基线上提供了实质性的好处，并在Cityscapes（平均IoU为82.0%）和Pascal Context（平均IoU为53.7%）数据集上实现了最先进的结果。代码和模型可用于促进任何进一步的研究（\url{https://github.com/lxtGH/GALD-DGCNet}）。
2020-08-26 cs.CV
Scene-Centric Unsupervised Video Panoptic Segmentation
TU Munich（慕尼黑技术大学）；TU Darmstadt（达姆施塔特技术大学）；NVIDIA（英伟达）；University of Oxford（牛津大学）；MCML；ELIZA
提出无监督视频全景分割任务及首个方法VideoCUPS，利用深度、运动和视觉线索生成伪标签，并通过Video DropLoss训练，在无监督条件下实现准确分割。
2026-06-03 cs.CV
Convolutional Neural Networks based automated segmentation and labelling of the lumbar spine X-ray
Zentralklinik Bad Berka（巴特贝尔卡中央临床医院）
本研究的目的是调查730手动注释的腰椎侧位X线片上训练的不同分割网络的分割精度。实例分割网络进行了比较，语义分割网络。研究队列包括病变脊柱和金属植入物术后图像。对于性能最好的实例分割模型，平均平均准确度和平均交集（IoU）最多提高3%，对于性能最好的语义分割模型，平均像素准确度和加权IoU稍好。此外，实例分割模型的推理更容易实现，用于临床决策支持中的进一步处理管道。
2020-04-04 cs.CV cs.LG eess.IV
Focus on Background: Exploring SAM's Potential in Few-shot Medical Image Segmentation with Background-centric Prompting
Nanjing University of Science and Technology（南京理工大学）；University of New South Wales（新南威尔士大学）；Data61 CSIRO
本文提出FoB，通过背景中心提示生成解决SAM在医学图像分割中的过度分割问题，实验表明其在少样本分割任务中表现优异，具有良好的跨领域泛化能力。
2026-03-22 cs.CV
Striking the Right Balance: Recall Loss for Semantic Segmentation
SRI（斯坦福国际研究院）
类不平衡是计算机视觉应用中的一个基本问题，如语义分割。具体来说，训练数据集中不均匀的类分布通常会导致代表性不足的类的性能不理想。许多工作已经提出了加权的标准交叉熵损失函数与预先计算的权重的基础上的类统计，如样本的数量和类的边缘。这些方法存在两个主要缺点：1）不断地增加少数类的权重会在语义分割中引入过多的假阳性; 2）少数类不一定是硬类。结果是由于过多的假阳性而导致精度低。在这方面，我们提出了一个硬类挖掘损失重塑香草交叉熵损失，使其权重的损失为每个类动态的基础上瞬时召回性能。我们发现，新的召回损失之间的标准交叉熵损失和逆频率加权损失逐渐变化。召回损失还导致平均准确度的提高，同时提供具有竞争力的平均交集超过并集（IoU）性能。在Synthia数据集上，与交叉熵损失相比，召回损失实现了$9\%$相对的平均准确度提高，使用DeepLab-ResNet 18的竞争性平均IoU。代码可在https://github.com/PotatoTian/recall-semseg获得。
2022-02-03 cs.CV
Hyperspectral vs. RGB for Pedestrian Segmentation in Urban Driving Scenes: A Comparative Study
School of Engineering, University of Galway（Galway大学工程学院）；Ryan Institute, University of Galway（Galway大学Ryan学院）；Valeo Vision Systems（Valeo视觉系统）
本研究比较了高光谱与RGB在城市驾驶场景中行人分割的效果，发现CSNR-JMIM方法在行人和骑手分割中均取得显著提升。
2025-08-15 cs.CV
PlantSAM: An Object Detection-Driven Segmentation Pipeline for Herbarium Specimens
IRD（法国国家科研机构）；Sorbonne Université（索邦大学）；UMMISCO（乌姆米索）；Laboratoire ETIS（ETIS实验室）；UMR 8051 CNRS（法国国家科学研究中心（CNRS））；CY Cergy Paris Université（巴黎中央理工-高等师范学院）；INSERM（法国国家卫生研究院）；NutriOmique（营养组学）；Hôpital Pitié-Salpêtrière（皮蒂埃-萨拉佩特里医院）
PlantSAM结合YOLOv10与SAM2实现植物标本图像自动分割，通过去除背景噪声显著提升植物性状分类性能，取得最先进分割结果。
2025-07-22 cs.CV
SCI-CLIP: Segment-Centric Inference with Reference Memory for Training-Free Open-Vocabulary Segmentation
该研究提出SCI-CLIP框架，以段为中心推理，无需训练即可将CLIP特征转化为高质量密集预测，在八个基准测试中提升开放词汇分割性能。
2026-08-07 cs.CV
Face Mask Extraction in Video Sequence
Imperial College London（帝国理工学院）
受基于深度网络的方法在语义图像分割中的最新发展的启发，我们引入了一种用于视频序列中人脸面具提取的端到端可训练模型。与基于特征点的稀疏人脸形状表示方法相比，该方法可以生成单个人脸部分的分割模板，更好地反映其细节形状变化。通过将卷积LSTM（ConvLSTM）算法与全卷积网络（FCN）集成，我们的新ConvLSTM-FCN模型基于每个序列工作，并利用视频片段中的时间相关性。此外，我们还提出了一种新的损失函数，称为分割损失，直接优化交并（IoU）性能。在实践中，为了进一步提高分割精度，一个主要模型和两个额外的模型被训练成分别关注面部、眼睛和嘴巴区域。我们的实验表明，在300个视频（300 VW）数据集上，该方法比基线FCN模型实现了16.99%的相对改进（从54.50%到63.76%的平均IoU）。
2021-02-27 cs.CV
Semantic Segmentation With Multi Scale Spatial Attention For Self Driving Cars
Vellore Institute of Technology（韦洛尔理工学院）
在本文中，我们提出了一种新的神经网络使用多尺度特征融合在不同的尺度准确和有效的语义图像分割。我们使用基于ResNet的特征提取器，在下采样部分使用膨胀卷积层，在上采样部分使用atrous卷积层，并使用concat操作合并它们。提出了一种新的注意模块，以编码更多的上下文信息，增强网络的感受野。我们对我们的网络进行了深入的理论分析，并提供了训练和优化细节。我们的网络在Camvid数据集和Cityscapes数据集上进行了训练和测试，使用每类平均准确度和Intersection Over Union（IOU）作为评估指标。我们的模型在语义分割方面优于以前最先进的方法，在>100 FPS的速度下运行时，平均IOU值为74.12。
2020-09-30 cs.CV cs.LG
Prediction Error Meta Classification in Semantic Segmentation: Detection via Aggregated Dispersion Measures of Softmax Probabilities
University of Wuppertal（伍珀塔尔大学）；University Leipzig（莱比锡大学）；Volkswagen Group Innovation（大众汽车集团创新中心）
我们提出了一种方法，“Meta”分类是否段预测的语义分割神经网络与地面真理相交。为此，我们采用预测像素类概率分布的分散度测量，如分类熵，产生输入场景大小的热图。我们将这些分散度量分段汇总，并导出与预测和地面实况的分段IoU良好相关的度量。这个过程产生了一个几乎即插即用的后处理工具，以评价段级别上的语义分割网络的预测质量。这对于监控在线应用中的神经网络尤其重要，例如自动驾驶或医学成像，其中可靠性至关重要。在我们的测试中，我们使用了在Cityscapes数据集和BraTS2017数据集上训练的公开可用的最先进的网络，并分析了不同指标以及不同指标集的预测能力。为此，我们计算逻辑LASSO回归拟合，用于对每个片段的IoU=0与IoU>0进行分类，并获得高达91.55%的AUROC值。我们用线性回归拟合来补充这些测试，以预测分段IoU，并获得低至0.130的预测标准差以及高达84.15%的$R^2$值。我们表明，这些结果明显优于标准方法。
2019-10-02 cs.CV cs.LG stat.ML
Open-Vocabulary Segmentation with Semantic-Assisted Calibration
Shenzhen International Graduate School Tsinghua University（清华大学深圳国际研究生院）；Sun Yat-sen University（中山大学）；ByteDance Inc.（字节跳动公司）
针对开放词汇分割中视觉-文本语义对齐瓶颈，提出语义辅助校准网络（SCAN），通过CLIP语义先验校准嵌入空间并优化预测，在主流基准上实现SOTA性能，还提出SG-IoU指标解决评估缺陷。
2024-11-26 cs.CV
ReME: A Data-Centric Framework for Training-Free Open-Vocabulary Segmentation
University of California, Davis（加州大学戴维斯分校）
本文提出一种面向数据质量的免训练开放词汇分割框架ReME，通过构建高质量参考集和简单相似度检索，在十个基准数据集上超越现有方法，证明数据中心设计的重要性。
2025-06-27 cs.CV
Combining the Best of Graphical Models and ConvNets for Semantic Segmentation
Virginia Tech（弗吉尼亚理工大学）
我们提出了一个两模块的方法，结合卷积网络（CNN）和图形模型的语义分割。图形模型用于生成一个小的（5-30）集不同的分割建议，使得这个集合具有高召回。由于所需提案的数量如此之少，我们可以提取相当复杂的特征来对它们进行排名。我们选择的复杂特征是一种名为SegNet的新型CNN，它直接输出（粗略的）语义分割。重要的是，SegNet经过专门训练，可以优化语料库级别的PASCAL IOU损失函数。据我们所知，这是第一个专门为语义分割设计的CNN。这种双模块方法在PASCAL 2012分割挑战中实现了$52.5\%$。
2014-12-16 cs.CV
NoPeopleAllowed: The Three-Step Approach to Weakly Supervised Semantic Segmentation
SoftServe（SoftServe公司）；Ukrainian Catholic University（乌克兰天主教大学）
我们提出了一种新的方法，弱监督语义分割，其中包括三个连续的步骤。前两步从图像级注释数据中提取高质量的伪掩模，然后在第三步中使用伪掩模来训练分割模型。该方法还解决了数据中的两个问题：类不平衡和缺少标签。仅使用图像级注释作为监督，我们的方法能够分割各种类别和复杂对象。它在测试集上实现了37.34的平均IoU，在弱监督语义分割任务中的LID挑战中排名第三。
2020-06-13 cs.CV
COSTA: A Cluster-Centric Paradigm for Annotation-Free Open-Set Semantic Segmentation of Aerial Point Clouds with Domain Shifts
Fujian Institute of Research on the Structure of Matter, Chinese Academy of Sciences（中国科学院福建物质结构研究所）；Institute of Urban Environment, Chinese Academy of Sciences（中国科学院城市环境研究所）；University of Chinese Academy of Sciences（中国科学院大学）；School of Resource and Environmental Sciences, Wuhan University（武汉大学资源与环境科学学院）
COSTA提出以聚类为中心的范式，无需额外训练即可在推理阶段将预训练航拍点云分割模型适配到偏移目标域，在三个基准上实现按需分割，mIoU达70.09%。
2026-08-20 cs.CV
Real-time Human-Centric Segmentation for Complex Video Scenes
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Northwestern University（西北大学）
现有的大多数与“人”相关的视频任务都集中在显著人物的分割上，而忽略了视频中未指定的其他人。很少有研究集中在分割和跟踪复杂视频中的所有人，包括行人和其他状态的人（例如，坐着的、骑着的或闭塞的）。在本文中，我们提出了一个新的框架，简称HVISNet，分割和跟踪所有提出的人在给定的视频的基础上一个阶段的检测器。为了更好地评估复杂的场景，我们提供了一个新的基准称为HVIS（人类视频实例分割），其中包括1447人的实例面具在805个高分辨率的视频在不同的场景。大量的实验表明，我们提出的HVISNet优于国家的最先进的方法在准确性方面的实时的【形】推理速度（30 FPS），特别是在复杂的视频场景。我们还注意到，使用限界框的中心来区分不同的个体严重恶化了分割精度，特别是在严重遮挡的条件下。这种常见的现象被称为模糊正样本问题。为了缓解这个问题，我们提出了一种名为内部中心采样的机制，以提高实例分割的准确性。这种即插即用的内中心采样机制可以结合在任何基于一级检测器的实例分割模型中，以提高性能。特别是，它获得了4.1 mAP的最先进的方法在闭塞的人的情况下的改善。代码和数据可在https://github.com/IIGROUP/HVISNet上获得。
2021-08-16 cs.CV
Optical Flow augmented Semantic Segmentation networks for Automated Driving
CDV AI Research（CDV人工智能研究院）；Valeo Vision Systems（法雷奥视觉系统公司）；Valeo R&D DVS（法雷奥研发DVS中心）；Nile University（尼罗河大学）
运动是自动驾驶系统中的主要线索。通常计算光流以检测移动对象并使用三角测量来估计深度。在本文中，我们的动机是利用现有的密集光流，以提高性能的语义分割。为了提供一个系统的研究，我们构建了四种不同的架构，使用RGB，流，RGBF级联和两个流RGB +流。我们使用最先进的流量估计器FlowNet v2在两个汽车数据集上评估这些网络，即Virtual KITTI和Cityscapes。我们还利用虚拟KITTI中的地面实况光流作为一个理想的估计器和标准的Farneback光流算法来研究噪声的影响。在Virtual KITTI中使用流地面实况，双流架构实现了最佳结果，IoU提高了4%。正如预期的那样，卡车、货车和汽车等移动物体的IoU分别增加了38%、28%和6%。FlowNet的平均IoU提高了2.4%，移动物体的改善幅度更大，卡车、货车和汽车分别提高了26%、11%和5%。在Cityscapes中，流动增强为摩托车和训练等移动物体提供了改善，IoU增加了17%和7%。
2019-01-11 cs.CV cs.LG stat.ML
SoftPQ: Robust Instance Segmentation Evaluation via Soft Matching and Tunable Thresholds
Harvard Medical School（哈佛医学院）
SoftPQ提出一种基于软匹配和可调IoU阈值的实例分割评估指标，将评估视为连续体，增强对结构性错误的稳健性，提供更平滑、更具信息量的反馈，优于现有指标。
2025-05-27 cs.AI cs.CV cs.LG
Towards an Efficient Semantic Segmentation Method of ID Cards for Verification Systems
da/sec-Biometrics and Internet Security Research Group, Hochschule Darmstadt（达姆施塔特应用技术大学生物识别与互联网安全研究组）；TOC Biometrics（TOC生物识别公司）
去除身份证图像中的背景对于远程验证系统来说是一个真正的挑战，因为许多重新数字化的图像呈现出杂乱的背景、较差的照明条件、失真和遮挡。身份证图像的背景干扰了分类器和文本提取。由于缺乏可供研究的图像，这一领域代表了当今计算机视觉的一个开放问题。提出了一种基于身份证语义分割的背景去除方法。最后，使用了在野外从真实操作中捕获的图像，使用了由45，007张图像组成的手动标记数据集，其中包括来自三个国家（智利，阿根廷和墨西哥）的五种类型的ID卡，包括典型的演示攻击场景。该方法可以帮助改进常规身份验证或文档篡改检测系统中的以下阶段。基于MobileUNet和DenseNet 10探索了两种深度学习方法。使用MobileUNet获得了最佳结果，有650万个参数。智利身份证的平均交集超过联盟（IoU）是0.9926在私人测试数据集的4,988张图像。来自智利、阿根廷和墨西哥的身份证图像的融合多国数据集的最佳结果达到了0.9911的IoU。所提出的方法是轻量级的，足以用于在移动设备上的实时操作。
2021-11-24 cs.CV
Mask Scoring R-CNN
Institute of AI, School of EIC, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院人工智能研究院）；Horizon Robotics Inc.（地平线机器人技术有限公司（Horizon Robotics Inc.））
让深度网络意识到自己预测的质量是一个有趣但重要的问题。在实例分割任务中，大多数实例分割框架都使用实例分类的置信度作为掩模质量分数。然而，掩模质量，量化为实例掩模和其基础事实之间的IoU，通常与分类分数没有很好的相关性。在本文中，我们研究了这个问题，并提出了掩码评分R-CNN，它包含一个网络块来学习预测实例掩码的质量。所提出的网络块将实例特征和对应的预测掩码一起回归掩码IoU。掩模评分策略校准掩模质量和掩模评分之间的不对准，并通过在COCO AP评估期间优先考虑更准确的掩模预测来提高实例分割性能。通过对COCO数据集的广泛评估，Mask Scoring R-CNN为不同模型带来了一致和显著的增益，并优于最先进的Mask R-CNN。我们希望我们的简单而有效的方法将提供一个新的方向，改善实例分割。我们的方法的源代码可在\url{https://github.com/zjhuang22/maskscoring_rcnn}上获得。
2019-03-01 cs.CV
