Improving Panoptic Segmentation for Nighttime or Low-Illumination Urban Driving Scenes
Queen Mary University of London(伦敦玛丽女王大学)
针对夜间或低照度城市驾驶场景全景分割性能差的问题,提出两种基于CycleGAN域转换的新方法,通过白天图像生成夜间数据重训练模型,在Cityscapes数据集上实现PQ、mIoU等指标显著提升并增强鲁棒性。
2023-06-23 cs.AI cs.CV
JSMNet Improving Indoor Point Cloud Semantic and Instance Segmentation through Self-Attention and Multiscale
Capital Normal University(首都师范大学);College of Resource Environment and Tourism, Capital Normal University(首都师范大学资源环境与旅游学院)
本文提出JSMNet,通过全局特征自注意力模块和多分辨率特征自适应融合,联合提升室内点云语义与实例分割性能,并在S3DIS数据集上取得优于PointNet、ASIS和JSPNet的结果。
2023-09-25 cs.AI cs.CV
Implanting Synthetic Lesions for Improving Liver Lesion Segmentation in CT Exams
IBM Research(IBM研究院)
使用计算机断层扫描(CT)检查的监督病变分割算法的成功在很大程度上取决于可用于训练的样本的数量和可变性。虽然注释这些数据本身构成了挑战,但数据集中病变的变异性也取决于不同类型病变的患病率。这种现象给病变分割算法增加了固有的偏差,在不同的可能性中,可以使用积极的数据增强方法来消除这种偏差。在本文中,我们提出了一种在CT切片中植入真实病变的方法,以提供丰富且可控的训练样本集,并最终提高语义分割网络在CT检查中描绘病变的性能。我们的研究结果表明,植入合成病变不仅提高了(约12%)的分割性能,考虑到不同的架构,而且这种改善是一致的不同的图像合成网络。我们的结论是,综合增加病变的大小,密度,形状和位置的变化似乎提高了CT切片中肝脏病变分割的分割模型的性能。
2020-08-11 cs.CV eess.IV
Improving Semantic Image Segmentation via Label Fusion in Semantically Textured Meshes
Fraunhofer IOSB(弗劳恩霍夫光学、电子与精密工程研究所)
用于语义分割的模型需要大量手工标记的训练数据,这是昂贵且耗时的。为此,我们提出了一个标签融合框架,能够提高视频序列的语义像素标签在无监督的方式。我们利用一个三维网格表示的环境和融合的预测不同的帧到一个一致的表示使用语义网格纹理。使用原始的内在和外在相机参数渲染语义网格产生一组改进的语义分割图像。由于我们优化的CUDA实现,我们能够利用整个$c$维概率分布的注释在$c$类的不确定性感知的方式。我们在Scannet数据集上评估了我们的方法,在该数据集上,我们将最先进的分割网络ESANet产生的注释从$52.05 \%$提高到$58.25 \%$像素精度。我们在线发布我们的框架的源代码,以促进未来在这一领域的研究(\url{https://github.com/fferflo/semantic-meshes})。据我们所知,这是第一个公开可用的标签融合框架的语义图像分割的基础上网格与语义纹理。
2021-11-22 cs.CV
KPRNet: Improving projection-based LiDAR semantic segmentation
TomTom
语义分割是自主车辆感知系统的重要组成部分。在这项工作中,我们采用了图像和点云分割的最新进展,以实现更好的精度分割激光雷达扫描的任务。KPRNet改进了2D投影方法的卷积神经网络架构,并利用KPConv用可学习的逐点分量取代常用的后处理技术,使我们能够获得更准确的3D标签。通过这些改进,我们的模型在SemanticKITTI基准测试中的表现优于目前最好的方法,达到了63.1的mIoU。
2020-08-21 cs.CV cs.LG
Improving the Reliability of Semantic Segmentation of Medical Images by Uncertainty Modeling with Bayesian Deep Networks and Curriculum Learning
Hiroshima University(广岛大学);Nagoya Institute of Technology(名古屋工业大学)
在本文中,我们提出了一种新的方法,该方法通过课程学习利用贝叶斯深度网络提供的不确定性度量,以便将不确定性估计反馈给系统,从而在不确定性较高的区域更密集地重新采样训练数据。我们表明,在具体设置的语义分割任务(iPS细胞集落分割),该系统能够显着增加模型的可靠性。
2021-08-26 cs.CV cs.LG cs.NE
Improving Panoptic Segmentation at All Scales
Facebook(脸书)
基于裁剪的训练策略将训练分辨率与GPU内存消耗分离,允许在多百万像素图像上使用大容量全景分割网络。但是,使用裁剪可能会导致偏向于截断或丢失大型对象。为了解决这个问题,我们提出了一种新的作物感知的限界框回归损失(CABB损失),它促进预测与裁剪对象的可见部分一致,而不是过度惩罚它们扩展到作物之外。我们进一步引入了一种新的数据采样和增强策略,通过抵消对象大小的不平衡分布来提高跨尺度的泛化能力。将这两个贡献与精心设计的自上而下的全景分割架构相结合,我们在具有挑战性的Mapillary Vistas(MVD),Indian Driving和Cityscapes数据集上获得了新的最先进的结果,超过了MVD的+4.5%PQ和+5.2%mAP。
2021-03-23 cs.CV
Improving Dermoscopic Image Segmentation with Enhanced Convolutional-Deconvolutional Networks
Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院)
皮肤镜图像上的皮肤病灶自动分割是黑色素瘤计算机辅助诊断的重要步骤。然而,由于不同患者的病变外观存在显著差异,因此这项任务具有挑战性。当处理大量图像数据时,这一挑战会进一步加剧。在本文中,我们扩展了我们以前的工作,开发了一个更深的网络架构,具有更小的内核,以提高其判别能力。此外,我们显式地包含来自多个颜色空间的颜色信息,以便于网络训练,从而进一步提高分割性能。我们在ISBI 2017皮肤病变分割挑战中广泛评估了我们的方法。通过对2000幅挑战训练图像的训练,我们的方法在600幅挑战测试图像上获得了0.765的平均Jaccard指数(JA),在挑战中排名第一
2017-09-28 cs.CV
Improving Semi-Supervised and Domain-Adaptive Semantic Segmentation with Self-Supervised Depth Estimation
ETH Zurich(苏黎世联邦理工学院);MPI for Informatics(马克斯·普朗克信息学研究所);KU Leuven(鲁汶大学)
训练用于语义分割的深度网络需要大量标记的训练数据,这在实践中提出了一个重大挑战,因为标记分割掩码是一个高度劳动密集型的过程。为了解决这个问题,我们提出了一个框架,半监督和域自适应语义分割,这是增强了自我监督的单眼深度估计(ESTA)只训练未标记的图像序列。特别地,我们在整个学习框架中全面地利用标注作为辅助任务:首先,基于标注和语义分割之间的样本多样性和难度的相关性,我们自动选择最有用的样本进行语义分割。其次,我们实现了强大的数据增强混合图像和标签使用场景的几何形状。第三,通过迁移和多任务学习,将学习到的特征知识迁移到语义分割中。第四,我们利用跨域深度混合和匹配几何采样来对齐合成数据和真实数据,从而利用附加的标记合成数据。我们在Cityscapes数据集上验证了所提出的模型,其中所有四个贡献都表现出显着的性能增益,并实现了半监督语义分割和半监督领域自适应的最新结果。特别是,只有1/30的Cityscapes标签,我们的方法实现了92%的完全监督基线性能,甚至在利用GTA的额外数据时达到了97%。源代码可在https://github.com/lhoyer/improving_segmentation_with_selfsupervised_depth上获得。
2021-08-28 cs.CV
Improving Spatial Codification in Semantic Segmentation
Insight Centre for Data Analytics, Dublin City University (DCU)(都柏林城市大学洞察数据分析中心(DCU))
本文探讨了新的方法,以改善空间编码的本地描述符池,以解决语义分割问题。我们建议将图像划分为三个区域,每个对象进行描述:图,边界和地面。这种划分的目的是通过在对象轮廓周围引入中间区域来最小化图像上下文对对象描述的影响,反之亦然。此外,我们还提出了一个更丰富的视觉描述符的对象,通过应用空间金字塔的图区域。探索了两种新颖的空间金字塔配置:基于笛卡尔的空间金字塔和基于王冠的空间金字塔。我们测试这些方法与国家的最先进的技术,并表明他们提高了基于图形的池在Pascal VOC 2011年和2012年语义分割的挑战。
2015-05-27 cs.CV
Noisy-LSTM: Improving Temporal Awareness for Video Semantic Segmentation
语义视频分割是各种应用的关键挑战。本文提出了一种名为Noisy-LSTM的新模型,它可以端到端的方式进行训练,使用卷积LSTM(ConvLSTM)来利用视频帧中的时间相干性。我们还提出了一个简单而有效的训练策略,它取代了视频序列中的一帧噪声。该策略破坏了训练期间视频帧中的时间相干性,从而使得ConvLSTM中的时间链接不可靠,这因此可以改进从视频帧的特征提取,以及用作正则化器以避免过拟合,而不需要额外的数据注释或计算成本。实验结果表明,该模型在CityScapes和EndoVis 2018数据集上都能达到最先进的性能。
2020-10-19 cs.CV
Improving Lidar-Based Semantic Segmentation of Top-View Grid Maps by Learning Features in Complementary Representations
FZI Research Center for Information Technology(FZI信息技术研究中心);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
在本文中,我们介绍了一种新的方法来预测语义信息的稀疏,单次激光雷达测量的自动驾驶的背景下。特别是,我们融合了互补表示的学习特征。该方法的目的是专门在提高顶视图网格地图的语义分割。为了实现这一目标,3D LiDAR点云被投影到两个正交的2D表示上。对于每个表示,开发了定制的深度学习架构以有效地提取语义信息,该语义信息由上级深度神经网络融合。这项工作的贡献是三方面的:(1)我们检查了融合分割网络中的不同阶段。(2)我们量化了嵌入不同特征的影响。(3)我们使用这项调查的结果来设计一个量身定制的深度神经网络架构,利用不同表示的各自优势。我们的方法使用SemanticKITTI数据集进行评估,该数据集提供了超过23.000个LiDAR测量的逐点语义注释。
2022-03-02 cs.CV
Doppler-Enhanced Deep Learning: Improving Thyroid Nodule Segmentation with YOLOv5 Instance Segmentation
Department of Computer Engineering, Istanbul Medipol University(计算机工程系,伊斯坦布尔梅迪波尔大学)
本研究利用YOLOv5实例分割方法,通过引入多普勒图像显著提升了甲状腺结节分割性能,为自动化诊断系统提供有效实时检测方案。
2025-11-29 cs.AI cs.CE cs.CV
Improving Performance of Semantic Segmentation CycleGANs by Noise Injection into the Latent Segmentation Space
Technische Universität Braunschweig(布伦瑞克工业大学)
近年来,语义分割得到了计算机视觉领域的广泛应用。受非常通用的CycleGAN架构的启发,我们将语义分割与循环一致性的概念相结合,以实现多任务训练协议。然而,学习在很大程度上被所谓的隐写效应所阻止,隐写效应在潜在的分割域中表现为水印,使图像重建成为一项过于简单的任务。为了解决这个问题,我们提出了一个噪声注入,基于量化噪声或高斯噪声,以避免这种不利的信息流的循环架构。我们发现,噪声注入显着减少水印的生成,从而允许识别高度相关的类,如“交通标志”,这是很难检测到的ERFNet基线。我们报告mIoU和PSNR结果的城市景观数据集的语义分割和图像重建,分别。所提出的方法允许在没有噪声注入的情况下,在相同的CycleGAN上实现Cityscapes验证集5.7%的绝对mIoU改进,并且在ERFNet非循环基线上仍然是绝对4.9%。
2022-01-17 cs.CV eess.IV
GIBLy: Improving 3D Semantic Segmentation through an Architecture-Agnostic Lightweight Geometric Inductive Bias Layer
NOVA School of Science and Technology(诺瓦科学与技术学校);Università degli Studi di Milano(米兰大学)
提出一种轻量级几何归纳偏置层GIBLy,通过集成可学习的几何先验提升3D分割性能,仅增加少量参数即可在多个基准上获得一致提升。
2026-05-22 cs.AI cs.CV stat.ML
Improving Sketch Colorization using Adversarial Segmentation Consistency
Hacettepe University(哈斯特帕大学);Ecole des Ponts(巴黎路桥学院);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心);Middle East Technical University(中东技术大学)
我们提出了一种新的方法来产生彩色图像的草图。草图着色中的当前解决方案需要额外的用户指令或者限于“配对”翻译策略。我们利用语义图像分割从一个通用的全景分割网络生成一个额外的对抗损失函数。所提出的损失函数与任何GAN模型兼容。我们的方法不限于带有分割标签的数据集,也可以应用于不成对的翻译任务。使用定性和定量分析,并根据用户研究,我们证明了我们的方法对四个不同的图像数据集的有效性。在FID指标上,我们的模型将基线提高了35个点。我们的代码,预训练模型,脚本,以产生新引入的数据集和相应的草图图像可在https://github.com/giddyyupp/AdvSegLoss。
2023-01-20 cs.CV
Improving the Segmentation of Scanning Probe Microscope Images using Convolutional Neural Networks
Loughborough University(拉夫堡大学)
广泛的技术可以考虑用于纳米结构表面的图像的分割。手动分割这些图像是耗时的,并导致依赖于用户的分割偏差,而目前还没有共识的最佳自动分割方法的特定技术,图像类别和样本。任何图像分割方法都必须最大限度地减少图像中的噪声,以确保可以进行准确和有意义的统计分析。在这里,我们开发的协议,通过从有机溶剂沉积在硅表面上形成的金纳米粒子的2D组件的图像分割。溶剂的蒸发驱动颗粒远离平衡的自组织,产生各种各样的纳米和微米结构的图案。我们表明,使用U-Net卷积神经网络的分割策略优于传统的自动化方法,并且在处理纳米结构系统的图像方面具有特别的潜力。
2020-08-27 cs.CV eess.IV
Cars Can't Fly up in the Sky: Improving Urban-Scene Segmentation via Height-driven Attention Networks
LG Electronics(LG电子);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);Korea University(高丽大学);KAIST(韩国科学技术院)
本文利用城市场景图像的内在特征,提出了一个通用的附加模块,称为高度驱动的注意力网络(HANet),用于改善城市场景图像的语义分割。它根据像素的垂直位置有选择地强调信息特征或类别。在城市场景图像的水平分割部分中,像素级分布彼此之间存在显著差异。同样,城市场景图像也有其独特的特征,但大多数语义分割网络并没有在架构中反映这些独特的属性。建议的网络架构采用的能力,利用属性,有效地处理城市场景数据集。我们验证了一致的性能(mIoU)增加的各种语义分割模型在两个数据集时,采用HANet。这种广泛的定量分析表明,将我们的模块添加到现有模型中是简单且具有成本效益的。我们的方法在Cityscapes基准测试中实现了新的最先进的性能,在基于ResNet-101的分割模型中具有很大的优势。此外,我们表明,所提出的模型是一致的,在城市场景中观察到的事实,通过可视化和解释的注意力地图。我们的代码和训练模型可在https://github.com/shachoi/HANet上公开获取
2020-04-07 cs.CV
Boundary IoU: Improving Object-Centric Image Segmentation Evaluation
UIUC(伊利诺伊大学厄巴纳-香槟分校);Facebook AI Research (FAIR)(Facebook人工智能研究院)
我们提出了边界IoU(Intersection-over-Union),这是一种新的分割评估方法,专注于边界质量。我们对不同的错误类型和对象大小进行了广泛的分析,并表明边界IoU对大型对象的边界错误比标准的Mask IoU测量更敏感,并且不会过度惩罚较小对象的错误。新的质量测量显示了几个理想的特性,如对称性w.r.t.预测/地面真值对和跨尺度的平衡响应,这使得它比其他以边界为中心的度量(如Trimap IoU和F-measure)更适合于分割评估。基于边界IoU,我们分别通过提出边界AP(平均精度)和边界PQ(全景质量)度量来更新实例和全景分割任务的标准评估协议。我们的实验表明,新的评估指标跟踪边界质量的改善,通常被忽视的当前掩模IoU为基础的评估指标。我们希望,采用新的边界敏感的评价指标将导致快速进步的分割方法,提高边界质量。
2021-03-30 cs.CV
Improving Semantic Segmentation via Video Propagation and Label Relaxation
University of California at Merced(加州大学默塞德分校);Nvidia Corporation(英伟达公司)
语义分割需要大量的逐像素注释来学习准确的模型。在本文中,我们提出了一种基于视频预测的方法,通过合成新的训练样本来扩大训练集,以提高语义分割网络的准确性。我们利用视频预测模型预测未来帧的能力,以便预测未来的标签。还提出了一种联合传播策略,以减轻合成样本中的错位。我们证明了在由合成样本增强的数据集上训练分割模型可以显著提高准确性。此外,我们引入了一种新的边界标签松弛技术,使训练鲁棒注释噪声和沿对象边界的传播伪影。我们提出的方法在Cityscapes上实现了83.5%的最新mIoU,在CamVid上实现了82.9%。我们的单个模型,没有模型集成,在KITTI语义分割测试集上实现了72.8%的mIoU,超过了2018年ROB挑战赛的获奖作品。我们的代码和视频可以在https://nv-adlr.github.io/publication/2018-Segmentation上找到。
2019-07-03 cs.AI cs.CV cs.MM
Improving Semantic Segmentation via Dilated Affinity
Zhejiang University(浙江大学);FABU Tech(FABU科技)
在结构预测中引入显式约束是提高语义分割模型性能的有效途径。现有的方法主要是基于不足的手工制作的规则,只有部分捕获的图像结构,一些方法也可能遭受效率问题。因此,大多数最先进的全卷积网络都没有采用这些技术。在这项工作中,我们提出了一个简单,快速而有效的方法,利用结构信息,通过直接监督与微小的额外费用。具体来说,我们的方法明确要求网络预测语义分割以及扩张的亲和力,这是成对像素亲和力的稀疏版本。该方法将像素间关系的判断能力直接嵌入模型中,分两个阶段提高分割质量。1)具有扩张亲和力的联合训练可以提供鲁棒的特征表示,从而导致更精细的分割结果。2)可以进一步利用亲和度信息的额外输出来利用快速传播过程来细化原始分割。当将我们的框架应用于现有的最先进的模型时,在各种基准数据集上观察到一致的改进。代码将很快发布。
2019-07-27 cs.CV
ISSAFE: Improving Semantic Segmentation in Accidents by Fusing Event-based Data
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
确保所有交通参与者的安全是让智能汽车更接近实际应用的前提。辅助系统不仅要在正常情况下实现高精度,而且要在极端情况下获得强大的感知。然而,涉及物体碰撞、变形、倾覆等的交通事故,然而在大多数训练集中看不见,这将在很大程度上损害现有语义分割模型的性能。为了解决这个问题,我们提出了一个很少解决的任务,关于语义分割在意外的情况下,随着事故数据集DADA-seg。它包含313个不同的事故序列,每个40帧,其中的时间窗口位于交通事故之前和期间。每第11帧被手动注释,用于对分割性能进行基准测试。此外,我们提出了一种新的基于事件的多模态分割架构ISSAFE。我们的实验表明,基于事件的数据可以提供补充信息,以稳定语义分割在不利的条件下,通过保持细粒度运动的快速移动的前景(碰撞对象)的事故。我们的方法在建议的评估集上实现了+8.2%的mIoU性能增益,超过了10多种最先进的分割方法。建议的ISSAFE架构被证明是一致有效的模型学习多个源数据库,包括Cityscapes,KITTI-360,BDD和ApolloScape。
2021-12-09 cs.CV
OpenSeg-R: Improving Open-Vocabulary Segmentation via Step-by-Step Visual Reasoning
Mohamed Bin Zayed University of Artificial Intelligence(莫扎德大学人工智能学院);Tianjin University(天津大学);Nanjing University(南京大学);Aalto University(艾尔沃斯大学)
针对现有开放词汇分割方法缺乏显式推理、难以区分相似类别的问题,提出OpenSeg-R框架,借助大型多模态模型进行分层逐步视觉推理生成提示,在多个基准的语义与全景分割任务上取得性能提升,同时增强了可解释性。
2025-08-01 cs.CV
Improving Semantic Segmentation via Self-Training
Amazon Web Services(亚马逊云科技);University of California, Davis(加州大学戴维斯分校)
深度学习通常在完全监督的情况下达到最佳效果。在语义分割的情况下,这意味着需要大量的逐像素注释来学习准确的模型。在本文中,我们表明,我们可以获得国家的最先进的结果,使用半监督的方法,特别是自我训练的范例。我们首先在标记数据上训练教师模型,然后在大量未标记数据上生成伪标签。我们强大的训练框架可以联合消化人工注释和伪标签,并在Cityscapes,CamVid和KITTI数据集上实现最佳性能,同时需要更少的监督。我们还证明了自我训练在具有挑战性的跨领域泛化任务上的有效性,大大优于传统的微调方法。最后,为了减轻大量伪标签造成的计算负担,我们提出了一种快速训练计划,可以将分割模型的训练速度加快2倍,而不会降低性能。
2020-05-06 cs.CV
Improving Point Cloud Semantic Segmentation by Learning 3D Object Detection
ETH Zurich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
点云语义分割在自动驾驶中起着至关重要的作用,它提供了有关可驾驶表面和附近物体的重要信息,可以帮助执行更高级别的任务,如路径规划和碰撞避免。虽然当前的3D语义分割网络专注于卷积架构,对于表现良好的类表现出色,但对于共享相似几何特征的代表性不足的类,它们的性能显着下降。我们提出了一种新的检测感知三维语义分割(DASS)框架,明确利用本地化功能,从辅助三维目标检测任务。通过利用多任务训练,网络的共享特征表示被引导以了解每类检测特征,这些特征有助于处理几何相似类的区分。我们还提供了一个管道,使用DASS生成现有的2阶段检测器的高召回建议,并证明添加的监督信号可用于提高3D方向估计能力。在SemanticKITTI和KITTI对象数据集上的大量实验表明,DASS可以将图像FOV中几何相似类的3D语义分割结果提高到37.8% IoU,同时保持高精度的鸟瞰图(BEV)检测结果。
2020-11-07 cs.CV
Using depth information and colour space variations for improving outdoor robustness for instance segmentation of cabbage
University of Hohenheim(霍恩海姆大学)
基于图像的农业产量检测可以提高农场的收获效率和耕作性能。基于此目标,本研究致力于改进田间作物在不同环境条件下的实例分割。五个数据集的卷心菜植物记录在不同的光照条件下的室外。使用商业单色照相机获取图像。此外,深度信息是用运动恢复结构(SfM)从图像流中生成的。使用Mask R-CNN来检测和分割卷心菜头。分析了深度信息和不同颜色空间表示的影响。结果表明,深度与颜色信息相结合,导致分割精度提高了7.1%。通过使用光和饱和度信息与深度信息相结合的颜色空间来描述颜色信息,可以达到16.5%的额外分割改进。CIELAB颜色空间与深度信息层相结合显示出最佳结果,达到75的平均精度。
2021-03-31 cs.CV cs.LG cs.RO
Street to Cloud: Improving Flood Maps With Crowdsourcing and Semantic Segmentation
Cloud to Street;Rutgers University(罗格斯大学);European Space Agency(欧洲空间局)
为了解决气候脆弱地区洪水造成的日益严重的破坏,我们提出了Street to Cloud,这是一个机器学习管道,用于将众包的地面实况数据整合到洪水卫星图像的分割中。我们提出这种方法作为一种解决方案,以产生高质量的劳动密集型任务,手工标记的训练数据,并证明在我们的模型中不同的合理的众包方法的成功和失败。Street to Cloud利用社区报告和机器学习生成新颖的、接近实时的洪水范围洞察,用于应急响应。
2020-11-05 cs.CV cs.LG
Improving Online Performance Prediction for Semantic Segmentation
Technische Universität Braunschweig(布伦瑞克工业大学)
在这项工作中,我们解决了在线操作期间观察语义分割深度神经网络(DNN)的性能的任务,即,在推理过程中,这在自动驾驶等安全关键应用中非常重要。在这里,许多高级决策依赖于这样的DNN,这些DNN通常是离线评估的,而它们在在线操作中的性能仍然未知。为了解决这个问题,我们提出了一种改进的在线性能预测方案,建立在最近提出的概念预测的主要语义分割任务的性能。这可以通过利用由LiDAR传感器提供的测量来评估单目深度估计的辅助任务以及随后回归到语义分割性能来实现。特别是,我们提出了(i)在多任务训练设置中用于两个任务的顺序训练方法,(ii)在两个任务的网络之间共享编码器以及解码器的部分以提高效率,以及(iii)时间统计聚合方法,该方法以小的算法延迟为代价显著降低了性能预测误差。在KITTI数据集上的评估表明,与以前的方法相比,这三个方面都提高了性能预测。
2021-04-12 cs.CV
Classification With an Edge: Improving Semantic Image Segmentation with Boundary Detection
German Aerospace Center(德国航空航天中心);ETH Zurich(苏黎世联邦理工学院);TU München(慕尼黑工业大学)
我们提出了一种端到端可训练的深度卷积神经网络(DCNN),用于语义分割,具有内置的语义有意义的边界意识。语义分割是一项基本的遥感任务,大多数最先进的方法都依赖于DCNN作为其主力。他们成功的一个主要原因是,深度网络学会了在非常大的窗口(感受野)上积累上下文信息。然而,这种成功是有代价的,因为有效空间分辨率的相关损失会洗掉高频细节并导致模糊的对象边界。在这里,我们建议通过将语义分割与语义信息边缘检测相结合来对抗这种影响,从而在模型中明确类边界。首先,我们通过将边界检测添加到Segnet编码器-解码器架构中来构建一个相对简单,内存效率高的模型。其次,我们还将边界检测包含在FCN类型的模型中,并建立了一个高端分类器集成。我们表明,边界检测显着提高了CNN的语义分割。在ISPRS Vaihingen基准测试中,我们的高端组合达到了> 90%的整体精度。
2017-12-21 cs.CV
Informing selection of performance metrics for medical image segmentation evaluation using configurable synthetic errors
United States Food and Drug Administration(美国食品药品监督管理局)
医学成像中基于机器学习的分割广泛用于从诊断到放射治疗计划的临床应用。具有地面实况的分割的医学图像对于研究不同分割性能度量的属性以告知度量选择是有用的。规则的几何形状通常用于合成分割误差并说明性能度量的属性,但它们缺乏真实图像中解剖变化的复杂性。在这项研究中,我们提出了一种工具,通过调整从真实医学图像中提取的解剖对象的参考(真相)掩模来模拟分割。我们的工具旨在修改定义的真轮廓,并模拟不同类型的分割错误与一组用户可配置的参数。我们从放射治疗的胶质瘤图像分割(GLIS-RT)数据库中的230个患者图像中定义了地面真实对象。对于每个对象,我们使用我们的分割合成工具来合成10个版本的分割(即,10个模拟分割器或算法),其中每个版本具有分割误差的预定义组合。然后,我们应用20个性能指标来评估所有合成分割。我们展示了这些指标的属性,包括它们捕获特定类型分割错误的能力。通过分析这些指标的内在属性和分类的分割错误,我们正在努力的目标是开发一个决策树工具,以协助选择分割性能指标。
2022-12-30 cs.CV eess.IV
Dual Atrous Separable Convolution for Improving Agricultural Semantic Segmentation
Electrical and Computer. Engg.(电气与计算机工程系);Software Engg.(软件工程系);Applied Science University of Alabama Huntsville(阿拉巴马大学亨茨维尔应用科学学院)
本研究提出一种基于DeepLabV3框架并集成双空洞可分离卷积模块的轻量级图像分割方法,通过优化膨胀率与跳跃连接,在Agriculture Vision数据集上以更低复杂度实现媲美SOTA模型的性能。
2025-06-27 cs.CV
Context Label Learning: Improving Background Class Representations in Semantic Segmentation
Imperial College London(帝国理工学院);University of Birmingham(伯明翰大学);University of Oxford(牛津大学);HeartFlow, Inc.(HeartFlow公司)
背景样本为分割感兴趣区域(ROI)提供关键的上下文信息。然而,它们总是覆盖一组不同的结构,导致分割模型难以以高灵敏度和精度学习良好的决策边界。这个问题涉及背景类的高度异质性,导致多模态分布。从经验上讲,我们发现用异质背景训练的神经网络很难将相应的上下文样本映射到特征空间中的紧凑聚类。因此,在背景logit激活上的分布可能跨越决策边界移动,导致跨不同数据集和任务的系统性过度分割。在这项研究中,我们提出了上下文标签学习(CoLab),以改善上下文表示分解成几个子类的背景类。具体来说,我们训练一个辅助网络作为任务生成器,以及主要的分割模型,自动生成上下文标签,积极影响ROI分割精度。在几个具有挑战性的分割任务和数据集上进行了广泛的实验。实验结果表明,CoLab可以引导分割模型将背景样本的logit映射到远离决策边界的位置,从而显著提高分割精度。代码可用。
2022-12-16 cs.CV cs.LG
Per-Pixel Feedback for improving Semantic Segmentation
Indian Institute of Technology Roorkee(印度理工学院鲁尔基分校)
语义分割是为图像中的每个像素分配标签的任务,近年来,深度卷积神经网络一直在推动与认知相关的多个任务的进步。虽然DCNN带来了前所未有的视觉识别性能,但它们几乎没有透明度。为了理解基于DCNN的模型如何在语义分割任务中工作,我们尝试分析语义分割中的DCNN模型。我们试图找到全局图像信息标记像素的重要性。基于对区分区域的实验和注视点的建模,我们提出了一组新的训练损失函数,用于微调基于DCNN的模型。所提出的训练方案已经显示出针对PASCAL VOC 2012数据集的DeepLab Large FOV(VGG-16)分割模型的性能改进。然而,仍需进一步测试,以最终评价拟议的损失函数在模型和数据集上的受益。提交的部分履行应用数学科学综合硕士学位的要求。更新:进一步的实验显示出最小的好处。代码可用[这里](https://github.com/BardOfCodes/Seg-Unravel).
2017-12-07 cs.CV cs.LG
Semantic Instance Segmentation via Deep Metric Learning
Google Inc.(谷歌公司);UCLA(加利福尼亚大学洛杉矶分校)
我们提出了一种新的语义实例分割的方法,首先计算两个像素是如何可能属于同一个对象,然后通过分组相似的像素在一起。我们的相似性度量是基于一个深度的、完全卷积的嵌入模型。我们的分组方法是基于选择与一组“种子点”足够相似的所有点,这些点是从一个深度的、完全卷积的评分模型中选择的。我们在Pascal VOC实例分割基准测试中显示了具有竞争力的结果。
2017-03-30 cs.CV
Improving Semantic Segmentation via Decoupled Body and Edge Supervision
Peking University(北京大学);Zhejiang Lab(之江实验室);University of Oxford(牛津大学);SenseTime Research(商汤科技研究院)
现有的语义分割方法要么通过对全局上下文建模来提高对象的内部一致性,要么通过多尺度特征融合来沿边界细化对象细节。本文提出了一种新的语义分割范例。我们的见解是,有吸引力的性能语义分割需要\textit{explicitly}建模对象\textit{body}和\textit{edge},这对应于高和低频率的图像。为此,我们首先通过学习流场来扭曲图像特征,以使对象部分更加一致。通过显式采样不同部分(身体或边缘)像素,在解耦监督下进一步优化所得到的身体特征和残留边缘特征。我们表明,所提出的框架与各种基线或骨干网络导致更好的对象内部一致性和对象边界。在\textit{Cityscapes}、\textit{CamVid}、\textit{KIITI}和\textit{BDD}四个主要道路场景语义分割基准上的实验表明,该方法在保持高推理效率的同时,建立了新的技术水平.特别是,我们在Cityscape上实现了83.7 mIoU \%,只有精细注释的数据。代码和模型可用于促进任何进一步的研究(\url{https://github.com/lxtGH/DecoupleSegNets})。
2020-08-18 cs.CV
Disconnect to Connect: A Data Augmentation Method for Improving Topology Accuracy in Image Segmentation
DTU Compute, Technical University of Denmark(丹麦技术大学DTU计算学院);A.I. Virtanen Institute, University of Eastern Finland(东芬兰大学人工智能维尔塔宁研究所);Aarhus University(奥胡斯大学)
本文提出数据增强方法CoLeTra,通过生成看似断开但标签保持连接的图像,将结构连通性先验注入模型,从而在不依赖精确标注的情况下提升管状结构分割的拓扑精度,并改善Dice系数和Hausdorff距离。
2026-10-22 cs.CV
Improving Video Instance Segmentation via Temporal Pyramid Routing
Institute of Automation(自动化研究所);JD Explore Academy(京东探索研究院);SenseTime Research(商汤科技研究院);ETH Zurich(苏黎世联邦理工学院);Xiaomi(小米)
视频实例分割(VIS)是一个新的多任务问题,其目标是检测、分割和跟踪视频序列中的每个实例。现有的方法主要是基于单帧或多帧的单尺度特征,忽略了时间信息或多尺度信息。为了结合时间和尺度信息,我们提出了一个时间金字塔路由(TPR)策略,有条件地对齐和进行像素级聚合从两个相邻帧的特征金字塔对。具体来说,TPR包含两个新的组件,包括动态对齐单元路由(DACR)和交叉金字塔路由(CPR),其中DACR被设计用于跨时间维度对齐和门控金字塔特征,而CPR跨尺度维度传输时间聚合特征。此外,我们的方法是一个轻量级和即插即用的模块,可以很容易地应用到现有的实例分割方法。在包括YouTube-VIS(2019,2021)和Cityscapes-VPS在内的三个数据集上的大量实验证明了所提出的方法在几种最先进的视频实例和全景分割方法上的有效性和效率。代码将在\url{https://github.com/lxtGH/TemporalPyramidRouting}上公开。
2022-09-22 cs.CV
Improving Facial Attribute Prediction using Semantic Segmentation
University of Central Florida(中佛罗里达大学)
属性是语义上有意义的特征,其适用性广泛跨越类别边界。它们在描述和识别没有给出明确训练样本的概念时特别重要,\textit{e.g., zero-shot learning}。此外,由于属性是人类可描述的,因此它们可以用于有效的人机交互。在本文中,我们提出采用语义分割,以改善面部属性预测。其核心思想在于许多面部属性描述了局部属性。换句话说,属性出现在面部图像中的概率在空间域中远非均匀。我们建立我们的面部属性预测模型与深度语义分割网络。这利用由语义分割学习的定位线索来引导属性预测的注意力到不同属性自然出现的区域。由于这种方法,除了识别之外,我们还能够定位属性,尽管在训练期间只能访问图像级标签(弱监督)。我们在CelebA和LFWA数据集上评估了我们提出的方法,并取得了优于现有技术的结果。此外,我们表明,在反向问题,语义人脸解析改善时,面部属性。这再次表明,需要对这两项相互关联的任务进行联合建模。
2017-04-27 cs.CV
Improving EO Foundation Models with Confidence Assessment for enhanced Semantic segmentation
European Space Agency (ESA)(欧洲空间局(ESA))
本文提出CAS模型,通过片段级和像素级组合置信度度量识别错误预测片段并精化模型,在Sentinel-2土地覆盖分类等地球观测语义分割任务中优于基线模型。
2024-11-22 cs.CV cs.LG
Improving Object Detection Performance through YOLOv8: A Comprehensive Training and Evaluation Study
该研究开展综合训练与评估,验证了基于YOLOv8的分割模型可用于人脸图像皱纹检测与分割,助力目标检测性能提升。
2025-05-16 cs.AI cs.CV cs.LG
From Gradient Clipping to Structural Refinement: Improving DPSGD for Medical Image Segmentation
University of Basel(巴塞尔大学)
针对医学图像分割中差分隐私带来的效用下降问题,评估了多种DPSGD变体,并提出结合形态学细化的自适应DP-Morph方法,提升多类分割性能。
2026-06-23 cs.CR cs.CV
SortedAP: Rethinking evaluation metrics for instance segmentation
RWTH Aachen University(亚琛工业大学);University of Regensburg(雷根斯堡大学)
本文指出现有实例分割评估指标在敏感性、连续性和平等方面存在局限,提出新指标sortedAP,能随目标级和像素级缺陷严格递减,并在整个域上保持不间断惩罚尺度。
2023-09-09 cs.CV
Improving Anomaly Segmentation with Multi-Granularity Cross-Domain Alignment
Southwest Jiaotong University(西南交通大学);Engineering Research Center of Sustainable Urban Intelligent Transportation, Ministry of Education(教育部可持续城市智能交通工程研究中心);Carnegie Mellon University(卡内基梅隆大学)
针对合成与真实数据域差异,提出多粒度跨域对齐框架,通过多源对抗训练和异常感知对比学习,在Fishyscapes和RoadAnomaly数据集上实现优越的异常分割性能。
2023-10-16 cs.AI cs.CV cs.MM
Every Component Counts: Rethinking the Measure of Success for Medical Semantic Segmentation in Multi-Instance Segmentation Tasks
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);HIDSS4Health - Helmholtz Information and Data Science School for Health(HIDSS4Health——亥姆霍兹健康信息与数据科学学院);University Hospital Essen(埃森大学医院);University of Duisburg-Essen(杜伊斯堡-埃森大学);German Cancer Consortium (DKTK)(德国癌症联盟(DKTK))
本文提出 CC-Metrics 评估协议,通过逐连通组件匹配与局部计算分割指标,消除大病灶对 Dice、Hausdorff 等指标的偏差,使多实例医学分割评估更符合临床价值。
2024-10-24 cs.CV
Towards High-Quality Image Segmentation: Improving Topology Accuracy by Penalizing Neighbor Pixels
Technical University of Denmark(丹麦技术大学)
本文提出SCNP方法,通过惩罚最差分类的邻近像素 logits 来提升拓扑准确性,已在13个数据集上验证有效性,并集成至三种分割框架。
2026-03-19 cs.CV
Improving Multimodal Distillation for 3D Semantic Segmentation under Domain Shift
CNRS, IRISA, Univ. Bretagne Sud(CNRS、IRISA、布列塔尼大学);LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS(LIGM、巴黎理工学院、古斯塔夫·埃菲尔大学、CNRS)
本研究提出改进多模态蒸馏方法,通过冻结预训练主干网络并训练MLP头,提升激光雷达语义分割在域移位下的性能。
2025-11-21 cs.CV
Improving Pixel Embedding Learning through Intermediate Distance Regression Supervision for Instance Segmentation
Institute of Imaging and Computer Vision(成像与计算机视觉研究所)
本文提出通过中间距离回归监督改进像素嵌入学习,以提升实例分割的性能,实验显示在CVPPP叶分割挑战中mSBD分数提升超过8%。
2020-07-13 cs.CV
Improving Unsupervised Video Object Segmentation via Fake Flow Generation
Yonsei University(延世大学)
提出通过从单张图像模拟伪造光流来生成大规模训练数据,改进无监督视频对象分割,并在所有公开基准上取得最先进性能。
2024-07-16 cs.CV
Vortex Pooling: Improving Context Representation in Semantic Segmentation
National Key Laboratory for Novel Software Technology(新型软件技术国家重点实验室);Nanjing University(南京大学)
语义分割是计算机视觉中的一项基本任务,可以看作是一个逐像素的分类问题。最近,尽管完全基于卷积神经网络(FCN)的方法在这样的任务中取得了显著的进展,但是在卷积特征图中聚合局部和上下文信息仍然是一个具有挑战性的问题。在本文中,我们认为,在预测一个给定的像素的类别时,靠近目标的区域比远离它的区域更重要。为了解决这个问题,我们提出了一种有效的方法命名为涡池,有效地利用上下文信息。最后通过实例验证了该方法的有效性。具体来说,我们的方法在PASCAL VOC 2012 val集上比之前名为DeepLab v3的最先进模型的性能高出1.5%,在测试集上比DeepLab v3的Atrous Spatial Pyramid Pooling(ASPP)模块高出0.6%,这是通过将DeepLab v3中的Atrous Spatial Pyramid Pooling(ASPP)模块替换为Vortex Pooling来实现的。此外,我们的模型(10.13FPS)与DeepLab v3(10.37 FPS)具有相似的计算成本。
2018-04-22 cs.CV
Improving Replay-Based Continual Semantic Segmentation with Smart Data Selection
Porsche Engineering Group GmbH(保时捷工程集团有限公司);Fraunhofer Institute of Optronics, Systems Technologies and Image Exploitation IOSB(弗劳恩霍夫光电、系统技术与图像利用研究所IOSB);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
用于语义分割(CSS)的持续学习是一个快速新兴的领域,其中通过学习新类或新域来逐步改进分割模型的能力。持续学习的一个核心挑战是克服灾难性遗忘的影响,这是指在新的类或域上训练模型后,先前学习的任务的准确性突然下降。在连续分类中,这个挑战通常通过从以前的任务中重放一小部分样本来克服,但是在CSS中很少考虑重放。因此,我们调查的影响,各种重放策略的语义分割,并评估他们在类和域增量设置。我们的研究结果表明,在类增量设置,这是至关重要的,以实现在缓冲区中的不同类的均匀分布,以避免对新学习的类的偏见。在域增量设置中,通过从学习的特征表示的分布中均匀采样或通过选择具有中值熵的样本来选择缓冲样本是最有效的。最后,我们观察到有效的采样方法有助于减少早期层中的表示移位,这是域增量学习中遗忘的主要原因。
2022-09-20 cs.CV
MISm: A Medical Image Segmentation Metric for Evaluation of weak labeled Data
University of Augsburg(奥格斯堡大学);University Hospital Augsburg(奥格斯堡大学医院)
性能指标是评估和比较不同医学图像分割算法的重要工具。不幸的是,目前的措施在评估某些边缘情况时有其弱点。当评估具有非常小的感兴趣区域或根本没有感兴趣区域的图像时,这些限制就会出现。作为这些限制的解决方案,我们提出了一个新的医学图像分割度量:MISm。为了评估MISm,在医学图像分割和MISm的流行指标进行了比较,使用磁共振断层扫描图像从几个场景。为了允许在社区中的应用和实验结果的再现性,我们将MISm包括在公开可用的评估框架MISeval中:https://github.com/frankkramer-lab/miseval/tree/master/miseval
2022-10-24 cs.CV
Spatial Semantic Embedding Network: Fast 3D Instance Segmentation with Deep Metric Learning
Seoul National University(首尔大学)
我们提出了空间语义嵌入网络(SSEN),这是一种使用深度度量学习进行3D实例分割的简单而有效的算法。室内环境的原始3D重建遭受遮挡、噪声,并且在各个实体之间没有任何有意义的区别的情况下产生。对于来自大规模场景的高级智能任务,3D实例分割识别对象的各个实例。我们通过简单地学习正确的嵌入空间来实现实例分割,该嵌入空间将对象的各个实例映射到反映空间和语义信息的不同聚类中。与以前需要复杂的预处理或后处理的方法不同,我们的实现紧凑,快速,具有竞争力的性能,在具有高分辨率体素的大型场景中保持可扩展性。我们展示了我们的算法在ScanNet 3D实例分割基准AP得分的最先进的性能。
2020-07-07 cs.CV
Improving Aleatoric Uncertainty Quantification in Multi-Annotated Medical Image Segmentation with Normalizing Flows
Eindhoven University of Technology(埃因霍温理工大学)
量化医学图像分割应用中的不确定性是必不可少的,因为它通常与重要的决策有关。在量化图像分割架构中的不确定性方面已经做出了令人信服的尝试,例如,学习以输入图像为条件的密度分割模型。在这一领域的典型工作限制这些学习的密度是严格的高斯。在本文中,我们建议通过引入归一化流(NF)来使用更灵活的方法,这使得学习的密度更加复杂,并有助于对不确定性进行更准确的建模。我们通过采用ProbabilityU-Net并使用NF增强后验密度来证明这一假设,使其更具表达力。我们分别对多注释和单注释LIDC-IDRI和Kvasir-SEG分割数据集进行的定性和定量(GED和IoU)评估显示出明显的改进。这在任意不确定性的量化和高达14%的预测性能提高中最为明显。这一结果强烈表明,一个更灵活的密度模型,应认真考虑在架构,试图捕捉分割模糊通过密度建模。这种改进的建模的好处将增加人们对注释和分割的信心,并使该技术在实践中得到广泛采用。
2021-08-05 cs.CV cs.LG
A Labeled Array Distance Metric for Measuring Image Segmentation Quality
SEE-Insight Research Lab, Michigan State University, East Lansing, MI, USA(密歇根州立大学SEE-Insight研究实验室);University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Smith College(史密斯学院)
本文提出LAD和MADLAD两种线性复杂度距离度量,用于比较标记数组,以评估图像分割算法输出与地面真值的相似度,助力遗传算法搜索最优分割方案。
2024-06-12 cs.CV