Synthetic Convolutional Features for Improved Semantic Segmentation
CISPA Helmholtz Center for Information Security(CISPA 亥姆霍兹信息安全中心);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
最近,基于学习的图像合成已经能够生成高分辨率图像,无论是应用流行的对抗训练还是强大的感知损失。然而,成功地利用合成数据来改进具有附加合成图像的语义分割仍然具有挑战性。因此,我们建议生成中间卷积特征,并提出第一种适合这种中间卷积特征的合成方法。这使我们能够从标签掩码中生成新的特征,并将它们成功地包含到训练过程中,以提高语义分割的性能。在两个具有挑战性的数据集Cityscapes和ADE20K上的实验结果和分析表明,我们生成的特征提高了分割任务的性能。
2020-09-18 cs.CV
Improved Breast Mass Segmentation in Mammograms with Conditional Residual U-net
University of Edinburgh(爱丁堡大学);Western General Hospital(西部总医院)
我们探索使用深度学习进行乳房X线照片中的乳房肿块分割。通过将残差学习和概率图建模的优点与标准U-Net相结合,我们提出了一种新的深度网络,条件残差U-Net(CRU-Net),以提高U-Net分割性能。得益于概率图形建模在像素级标记中的优势,以及深度残差网络在特征提取中的结构洞察,CRU-Net提供了出色的质量分割性能。基于INbreast和DDSM-BCRP数据集的评价表明,与最先进的方法相比,CRU-Net实现了最佳的肿块分割性能。此外,在我们的算法中,既不繁琐的预处理,也不需要后处理技术。
2018-08-27 cs.CV
Fine-Grained Segmentation Networks: Self-Supervised Segmentation for Improved Long-Term Visual Localization
Chalmers University of Technology(查尔姆斯理工大学)
长期视觉定位是在外观随时间变化的场景中估计给定查询图像的相机姿态的问题。这是实践中的一个重要问题,例如在自动驾驶中遇到的问题。为了获得对这种变化的鲁棒性,长期定位方法通常使用分段分割作为不变的场景表示,因为每个场景部分的语义含义不应受到季节和其他变化的影响。然而,由于可用类别的数量有限,这些表示通常不是非常有区别的。在本文中,我们提出了一种新的神经网络,细粒度分割网络(FGSN),可用于提供图像分割与大量的标签,并可以在一个自我监督的方式进行训练。此外,我们还展示了如何训练FGSN在季节变化中输出一致的标签。我们通过大量的实验证明,将我们的FGSN产生的细粒度分割集成到现有的定位算法中,可以大大提高定位性能。
2019-08-18 cs.CV
LISA++: An Improved Baseline for Reasoning Segmentation with Large Language Model
The Chinese University of Hong Kong(香港中文大学);SmartMore
本文提出 LISA++,在不改变 LISA 架构和新增数据源的前提下,通过整理现有分割数据增强实例分割、多轮对话及 SiD 能力。
2024-01-22 cs.CV
A Novel Focal Tversky loss function with improved Attention U-Net for lesion segmentation
Ryerson University(瑞尔森大学)
针对医学图像分割中的数据不平衡问题,提出了一种基于Tversky指数的广义焦点损失函数。与常用的Dice损失相比,我们的损失函数在对病变等小结构进行训练时,在准确率和召回率之间实现了更好的权衡。为了评估我们的损失函数,我们改进了注意力U-网络模型,通过加入图像金字塔来保留上下文特征。我们在BUS 2017数据集和ISIC 2018数据集上进行了实验,其中病变分别占图像面积的4.84%和21.4%,与标准U-Net相比,分割精度分别提高了25.7%和3.6%。
2018-10-18 cs.CV
Semantic Segmentation by Improved Generative Adversarial Networks
Shandong University of Science and Technology(山东科技大学);University of Florida(佛罗里达大学)
现有的分割方法通常将CNN强大的特征提取能力与条件随机场(CRFs)后处理相结合,但结果往往受到CRFs缺陷的限制。由于CRF计算速度慢、效率低,近年来CRF后处理已逐渐被淘汰。本文提出了一种用于图像语义分割任务(Semantic Segmentation by GANs,Seg-GAN)的改进的生成对抗网络(Generative Adversarial Networks,GANs)。此外,我们引入卷积CRF(ConvCRFs)作为图像语义分割任务的有效改进解决方案。为了将分割结果与地面真值分布区分开来并改善输出图像的细节,所提出的卷积神经网络以完全卷积的方式与级联ConvCRF相结合进行了专门设计。此外,对抗性损失积极鼓励输出图像接近地面真实的分布。我们的方法不仅学习从输入图像到相应输出图像的端到端映射,而且还学习损失函数来训练该映射。实验表明,我们的方法取得了更好的性能比国家的最先进的方法。
2021-04-20 cs.CV
Rethinking Early-Fusion Strategies for Improved Multimodal Image Segmentation
School of Information and Control Engineering, China University of Mining and Technology(中国矿业大学信息与控制工程学院)
针对现有RGB-T多模态分割方法参数和计算开销大的问题,提出基于早期融合与特征聚类的EFNet网络及轻量级多尺度解码器,以更低成本超越现有最优方法。
2025-01-19 cs.CV
ISIM: Iterative Self-Improved Model for Weakly Supervised Segmentation
Adevinta(阿德温塔);Bahcesehir University(巴赫切谢希尔大学)
弱监督语义分割(WSSS)是一个具有挑战性的任务,旨在从类级别的标签学习分割标签。在文献中,利用类激活图(CAMs)获得的信息被广泛用于WSSS研究。然而,由于CAM是从分类网络中获得的,因此它们对对象的最有区别的部分感兴趣,从而产生用于分割任务的不完整先验信息。在这项研究中,为了获得更连贯的CAM与分割标签,我们提出了一个框架,采用迭代方法在修改后的编码器-解码器为基础的分割模型,同时支持分类和分割任务。由于没有给出真实的分割标签,同一模型还在密集条件随机场(dCRF)的帮助下生成伪分割标签。因此,所提出的框架成为一个迭代的自我改进的模型。使用DeepLabv 3和UNet模型进行的实验显示Pascal VOC 12数据集有显著的增益,DeepLabv 3应用程序将当前最先进的指标提高了%2.5。与实验相关的实现可以在https://github.com/cenkbircanoglu/isim上找到。
2022-11-23 cs.CV
Uncertainty-weighted Loss Functions for Improved Adversarial Attacks on Semantic Segmentation
Technical University of Berlin(柏林工业大学);Ruhr University Bochum(波鸿鲁尔大学)
本文提出基于不确定性的加权损失函数,改进对抗攻击在语义分割中的性能。
2023-10-26 cs.CV
Improved Inference via Deep Input Transfer
Simon Fraser University(西蒙弗雷泽大学)
尽管在使用卷积神经网络的图像分割领域中已经做出了许多改进,但是这些改进中的大多数依赖于使用较大数据集的训练、模型架构修改、新颖的损失函数和更好的优化器。在本文中,我们提出了一种新的分割性能提升范式,该范式依赖于最佳修改网络的输入,而不是网络本身。特别是,我们利用经过训练的分割网络相对于输入的梯度,将其转移到分割精度提高的空间。我们在三个公开可用的医学图像分割数据集上测试了所提出的方法:ISIC 2017皮肤病变分割数据集,深圳胸部X射线数据集和CVC-ColonDB数据集,我们的方法在平均Dice分数上分别提高了5.8%,0.5%和4.8%。
2019-07-10 cs.CV
VoteNet+ : An Improved Deep Learning Label Fusion Method for Multi-atlas Segmentation
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
在这项工作中,我们通过将最近提出的VoteNet模型与联合标签融合(JLF)方法相结合来提高多图谱分割(MAS)的性能。具体来说,我们首先说明使用深度卷积神经网络来预测图谱概率可以更好地区分正确的图谱标签与不正确的标签,而不是像JLF中典型的那样依赖于图像强度差异。基于这一发现,我们提出了VoteNet+,这是一种改进的深度网络,可以在本地预测图谱标签与目标图像标签不同的概率。此外,我们表明,JLF是更适合的VoteNet框架作为一个标签融合方法比多数投票。最后,我们使用Platt标度来校准我们新模型的概率。在LPBA40 3D MR脑图像上的实验结果表明,该方法比VoteNet具有更好的性能。
2020-01-13 cs.CV
Sensor Adaptation for Improved Semantic Segmentation of Overhead Imagery
The Johns Hopkins University - Applied Physics Laboratory(约翰斯·霍普金斯大学应用物理实验室)
语义分割是促进视觉场景理解的有力方法。每个像素根据对象类和语义实体的预定义列表被分配一个标签。这是一种非常有用的方法来总结大规模的架空图像。在本文中,我们提出了我们的工作语义分割与应用程序的开销图像。我们提出了一种基于DeepLab框架构建和扩展的算法,能够细化和解析车辆等小对象(相对于图像大小)。我们还研究了传感器自适应作为一种手段,以增加可用的训练数据,以便能够减少神经网络部署在新的环境和新的传感器时的一些缺点。我们报告了几个数据集的结果,并与其他最先进的架构进行了性能比较。
2018-11-20 cs.CV
Improved Noise and Attack Robustness for Semantic Segmentation by Using Multi-Task Training with Self-Supervised Depth Estimation
Technische Universität Braunschweig(布伦瑞克工业大学)
虽然当前的神经网络训练方法通常旨在提高性能,但较少关注针对不同噪声条件或对抗性示例的定向攻击的鲁棒性的训练方法。在本文中,我们建议通过多任务训练来提高鲁棒性,该训练通过对未标记视频的自监督单目深度估计来扩展监督语义分割。这个额外的任务仅在训练期间执行,以在若干输入扰动下在测试时提高语义分割模型的鲁棒性。此外,我们甚至发现,我们的联合训练方法也提高了模型在原始(监督)语义分割任务上的性能。我们的评估表现出一种特别的新颖性,因为它允许相互比较输入噪声和对抗攻击对语义分割的鲁棒性的影响。我们在Cityscapes数据集上展示了我们的方法的有效性,其中我们的多任务训练方法在鲁棒性与噪声和对抗攻击方面始终优于单任务语义分割基线,而无需在训练中使用深度标签。
2020-04-23 cs.CV
Improved Real-Time Monocular SLAM Using Semantic Segmentation on Selective Frames
Handong Global University(韩东国际大学);Sungkyunkwan University(成均馆大学);Institute for Basic Science(基础科学研究院)
单目同时定位与地图构建(SLAM)正在高级驾驶员辅助系统和自动驾驶中兴起,因为单个摄像头便宜且易于安装。传统的单目SLAM有两个主要的挑战,导致不准确的定位和映射。首先,在定位和映射中估计尺度是具有挑战性的。其次,传统的单目SLAM在映射中使用不适当的映射因素,诸如动态对象和低视差区域。本文提出了一种改进的实时的【形】单目SLAM,其通过有效地使用基于深度学习的语义分割来解决上述挑战。为了实现所提出的方法的实时的【形】执行,我们只应用语义分割与映射过程并行的下采样关键帧。此外,所提出的方法校正相机姿势和三维(3D)点的比例,使用估计的地平面从道路标记的3D点和真实的相机高度。该方法还去除了标记为移动对象和低视差区域的不适当的角特征。八个视频序列的实验表明,所提出的单目SLAM系统实现显着改善和可比的轨迹跟踪精度相比,现有的最先进的单目和立体SLAM系统,分别。所提出的系统可以在标准CPU上实现实时的【形】跟踪,可能具有标准GPU支持,而现有的分割辅助单目SLAM则没有。
2022-12-15 cs.CV
SimPropNet: Improved Similarity Propagation for Few-shot Image Segmentation
IIIT Hyderabad(海得拉巴国际信息技术学院);Adobe(奥多比)
Few-Shot分割(FSS)方法使用(支持)图像掩模对的小集合对目标(查询)图像中的特定对象类执行图像分割。最近的基于深度神经网络的FSS方法利用支持图像的前景特征与查询图像特征之间的高维特征相似性。在这项工作中,我们展示了现有方法中利用这种相似性信息的差距,并提出了一个框架- SimPropNet,以弥合这些差距。我们建议联合预测的支持和查询掩码,以迫使支持功能,以共享特性的查询功能。我们还建议使用一种新型的前景-背景注意力融合机制来利用查询和支持图像的背景区域中的相似性。我们的方法在PASCAL-5i数据集上实现了单次和五次分割的最新结果。本文包括详细的分析和消融研究提出的改进和定量比较与当代方法。
2020-05-02 cs.CV
SEMI-PointRend: Improved Semiconductor Wafer Defect Classification and Segmentation as Rendering
imec;University of Ulsan(蔚山大学);KU Leuven(鲁汶大学)
本文提出 SEMI-PointRend,将 PointRend 模块用于半导体晶圆缺陷分割,并在多种缺陷类型上相较 Mask-RCNN 最高提升18.8%的分割 mAP。
2023-02-19 cs.CV
Improved post-hoc probability calibration for out-of-domain MRI segmentation
Imperial College London(帝国理工学院);Fudan University(复旦大学);Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Technical University of Munich(慕尼黑工业大学)
在医学成像等安全关键应用中,深度模型的概率校准是非常需要的。它通过将预测概率与测试数据中的实际准确度对齐,使深度网络的输出概率变得可解释。在图像分割中,良好校准的概率允许放射科医生识别模型预测分割不可靠的区域。这些不可靠的预测通常发生在由成像伪影或看不见的成像协议引起的域外(OOD)图像中。不幸的是,大多数以前的图像分割的校准方法执行次优OOD图像。为了减少OOD图像时的校准误差,我们提出了一种新的事后校准模型。我们的模型利用像素的敏感性对扰动在局部水平上,在全球范围内的形状先验信息。该模型在心脏MRI分割数据集上进行测试,这些数据集包含看不见的成像伪影和来自看不见的成像协议的图像。我们证明减少校准误差相比,国家的最先进的校准算法。
2022-09-15 cs.CV
Improved Block Merging for 3D Point Cloud Instance Segmentation
Vrije Universiteit Brussel(布鲁塞尔自由大学)
本文提出一种新型3D点云实例分割块合并算法,通过标签传播修正已处理块的错标像素,无需块间实例重叠即可取得理想效果,且在各类架构和评估指标下均能稳定提升精度。
2024-07-09 cs.CV
SqueezeSegV2: Improved Model Structure and Unsupervised Domain Adaptation for Road-Object Segmentation from a LiDAR Point Cloud
UC Berkeley(加州大学伯克利分校)
早期的工作证明了基于深度学习的点云分割方法的前景;然而,这些方法需要改进才能实用。为此,我们引入了一个新的模型SqueezeSegV 2,它对LiDAR点云中的丢失噪声更具鲁棒性。通过改进模型结构、训练损失、批量归一化和额外的输入通道,SqueezeSegV 2在真实数据上训练时实现了显著的准确性提高。用于点云分割的训练模型需要大量标记的点云数据,这是昂贵的获得。为了避免收集和注释的成本,可以使用GTA-V等模拟器来创建无限量的标记合成数据。然而,由于域转移,在合成数据上训练的模型通常不能很好地推广到现实世界。我们通过一个域自适应训练管道来解决这个问题,该管道由三个主要部分组成:1)学习的强度渲染,2)测地线相关对齐,以及3)渐进域校准。当在真实数据上进行训练时,我们的新模型比原始SqueezeSeg的分割精度提高了6.0-8.6%。当使用所提出的领域自适应管道在合成数据上训练我们的新模型时,我们在真实数据上的测试准确率几乎翻了一番,从29.0%提高到57.4%。我们的源代码和合成数据集将是开源的。
2018-09-22 cs.CV
IDEAL: Improved DEnse locAL Contrastive Learning for Semi-Supervised Medical Image Segmentation
Stony Brook University(石溪大学);Jadavpur University(贾达普大学);University of Toronto(多伦多大学);Kyungpook National University(庆北国立大学)
由于标记数据的稀缺性,对比自监督学习(SSL)框架最近在一些医学图像分析任务中显示出巨大的潜力。然而,现有的对比机制是次优的密集像素级分割任务,由于他们无法挖掘本地功能。为此,我们将度量学习的概念扩展到分割任务,使用密集(不)相似性学习来预训练深度编码器网络,并采用半监督范式来微调下游任务。具体来说,我们提出了一个简单的卷积投影头来获得密集的像素级特征,以及一个新的对比损失来利用这些密集的投影,从而改善局部表示。下游任务设计了一个双向一致性正则化机制,包括两个流模型训练。经过比较,我们的IDEAL方法在心脏MRI分割上的公平边缘优于SoTA方法。可用代码:https://github.com/hritam-98/IDEAL-ICASSP23
2023-03-02 cs.CV
Soft labeling by Distilling Anatomical knowledge for Improved MS Lesion Segmentation
Tel Aviv University(特拉维夫大学);Bar-Ilan University(巴伊兰大学)
本文探讨了使用软地面真实掩模(“软掩模”)来训练用于分割多发性硬化(MS)病变的全卷积神经网络(FCNN)。MS病变的检测和分割是一项复杂的任务,主要是由于极端不平衡的数据,可用于训练的病变像素数量非常少。利用病变周围像素也可能包括一些病变水平信息的解剖学知识,我们建议增加具有相邻像素数据的病变类的数据集-具有降低的置信度权重。通过由给定专家提供的二进制分割掩模的形态膨胀来构造软掩模,其中专家标记的体素接收标签1,并且膨胀区域的体素被分配软标签。在所提出的方法中,使用软掩码训练FCNN。在ISBI 2015挑战数据集上,这被证明提供了更好的精确度-召回率权衡,并实现了更高的平均Dice相似系数。我们还表明,通过使用这种软掩模方案,我们可以提高网络分割性能相比,第二个独立的专家。
2019-01-26 cs.CV
Improved Image Deblurring based on Salient-region Segmentation
Shanghai Jiao Tong University(上海交通大学);Beihang University(北京航空航天大学);Zhengzhou University(郑州大学)
图像去模糊技术在许多图像处理应用中起着重要的作用。由于模糊在图像平面上是空间变化的,因此需要鲁棒且有效的方法来处理空间变化的模糊问题。本文提出了一种基于显著性检测的图像去模糊方法,用于显著区域的分割,并给出了相应的补偿方法。我们还提出了一种基于偏微分方程(PDE)的去模糊方法,该方法引入了各向异性偏微分方程(PDE)模型的潜像预测,并采用自适应优化模型的内核估计和反卷积步骤。实验结果证明了该算法的有效性。
2015-02-28 cs.CV
DMSA: Dynamic Multi-scale Unsupervised Semantic Segmentation Based on Adaptive Affinity
Heilongjiang University(黑龙江大学);Jiaxiang Industrial Technology Research Institute of HLJU(黑龙江大学嘉祥工业技术研究院)
本文提出了一种基于四个损失函数的端到端无监督语义分割结构DMSA。该框架使用Atrous空间金字塔池(ASPP)模块来增强特征提取。同时,为了更好地捕捉多尺度上下文信息,设计了一种动态膨胀策略。其次,引入了一个像素自适应细化(PAR)模块,它可以自适应地细化特征融合后的初始伪标签,以获得高质量的伪标签。实验结果表明,提出的DSMA框架优于现有的方法显着性数据集。在COCO 80数据集上,MIoU提高了2.0,准确度提高了5.39。在Pascal VOC 2012增强数据集上,MIoU提高了4.9,准确度提高了3.4。此外,PAR模块的引入也大大提高了模型的收敛速度。
2023-03-01 cs.CV
PolarNet: An Improved Grid Representation for Online LiDAR Point Clouds Semantic Segmentation
University of Central Florida(中佛罗里达大学);U.S. Army Research Laboratory(美国陆军研究实验室);University of California, Berkeley(加州大学伯克利分校);Google(谷歌)
自动驾驶系统中对细粒度感知的需求导致最近增加了对单扫描LiDAR的在线语义分割的研究。尽管出现了新兴的数据集和技术进步,但由于以下三个原因,它仍然具有挑战性:(1)需要在有限的硬件下实现近实时延迟;(2)LiDAR点在空间中的不均匀甚至长尾分布;以及(3)越来越多的极细粒度语义类。为了共同应对上述所有挑战,我们提出了一种新的激光雷达专用的无最近邻分割算法- PolarNet。我们的极坐标鸟瞰图表示不是使用普通的球面或鸟瞰图投影,而是在极坐标系中平衡网格单元上的点,间接地将分割网络的注意力与沿径向轴的点的长尾分布对齐。我们发现,我们的编码方案大大增加了真实城市激光雷达单次扫描的三个截然不同的分割数据集的mIoU,同时保持近实时的吞吐量。
2020-04-26 cs.CV
Microscopic Nuclei Classification, Segmentation and Detection with improved Deep Convolutional Neural Network (DCNN) Approaches
University of Dayton(代顿大学)
由于细胞的异质性,细胞核的分类,分割和检测病理图像是具有挑战性的任务。在过去的几年中,深度卷积神经网络(DCNN)方法已在不同的研究中显示出最先进的(SOTA)组织病理学成像性能。在这项工作中,我们提出了不同的高级DCNN模型,并对细胞核分类、分割和检测进行了评估。首先,密集连接递归卷积网络(DCRN)模型用于细胞核分类。其次,采用递归残差U-网(R2 U-网)进行细胞核分割。第三,将R2 U-Net回归模型(UD-Net)用于病理图像的细胞核检测。实验使用不同的数据集进行,包括常规结肠癌(RCC)分类和检测数据集以及Nuclei Segmentation Challenge 2018数据集。实验结果表明,与现有的核分类、分割和检测任务方法相比,所提出的DCNN模型提供了优越的性能。使用不同的性能指标评估结果,包括精确度,召回率,Dice系数(DC),均方误差(MSE),F1分数和整体准确度。与最近发表的基于DCNN的方法相比,我们在细胞核分类和检测任务中的F-1得分分别提高了3.4%和4.5%。此外,R2 U-Net在DC方面的测试准确率约为92.15%。这些改进的方法将有助于病理学实践更好地定量分析全载玻片图像(WSI)中的细胞核,最终将有助于在临床工作流程中更好地了解不同类型的癌症。
2018-11-08 cs.CV
Mask Mining for Improved Liver Lesion Segmentation
Medical Faculty Mannheim(曼海姆医学院);Heidelberg University(海德堡大学);Tooploox
我们提出了一种新的程序,以改善肝脏和病变分割CT扫描的U-Net为基础的模型。我们的方法扩展了标准的分割管道,专注于更高的目标召回率或减少噪声假阳性预测,提高整体分割性能。为了实现这一目标,我们将分割错误纳入到附加到主训练设置的新学习过程中,使模型能够找到解释先前错误的特征。我们在语义上不同的架构上对此进行了评估:级联的二维和三维以及用于多任务分割的组合学习设置。肝脏和病变分割数据由肝脏肿瘤分割挑战(LiTS)提供,骰子分数最多增加2分。
2020-03-11 cs.CV eess.IV
SAM2-UNeXT: An Improved High-Resolution Baseline for Adapting Foundation Models to Downstream Segmentation Tasks
Sun Yat-sen University(中山大学);Jiangxi Normal University(江西师范大学);Hainan University(海南大学);Shandong Inspur Database Technology Co., Ltd(山东 Inspur 数据库技术有限公司)
提出SAM2-UNeXT,通过集成DINOv2编码器和双分辨率策略,以简单架构提升SAM2在下游分割任务中的性能,在四个基准上表现优越。
2025-08-05 cs.CV
Leveraging Clinical Characteristics for Improved Deep Learning-Based Kidney Tumor Segmentation on CT
Image Sciences Institute, UMC Utrecht, Utrecht University(乌得勒支大学医学中心影像科学研究所)
本文评估了除了成像之外,使用临床特征是否可以改善对比增强计算机断层扫描(CT)上肾癌的自动分割。共纳入300例肾癌患者的CT增强扫描和临床特征。使用3D U-Net进行肾癌的基线分割。U-Net的输入是对比增强CT图像,输出是肾脏、肾脏肿瘤和肾囊肿的分割。使用认知采样策略来利用临床特征以改进分割。为此,使用最小绝对收缩和选择算子(LASSO)。使用Dice和Surface Dice评价分割。使用Wilcoxon符号秩检验评估分割的改善。基线3D U-Net显示肾脏和肾脏肿块的分割性能为0.90,即,肾脏,肿瘤和囊肿,肾脏肿块为0.29,肾脏肿瘤为0.28,而使用认知采样训练的3D U-Net增强了分割性能,分别达到0.90,0.39和0.38的Dice分数。总之,利用临床特征的认知采样策略显著改善了肾癌分割。
2021-09-13 cs.CV eess.IV
Density Matters: Improved Core-set for Active Domain Adaptive Segmentation
Shanghai Jiao Tong University(上海交通大学);Tencent Youtu Lab(腾讯优图实验室)
针对主动域自适应分割中现有方法忽略样本局部特征关联、标注预算利用率低的问题,研究提出结合动态掩码卷积局部密度估计与密度感知贪心算法的改进核心集方法,在极少标注下达到接近全监督的性能。
2023-12-15 cs.CV
Colour augmentation for improved semi-supervised semantic segmentation
University of East Anglia(东英吉利大学)
一致性正则化描述了一类已经产生了最先进的半监督分类结果的方法。虽然半监督语义分割被证明是更具挑战性的,但最近已经提出了许多成功的方法。最近的工作探讨了使用一致性正则化分割问题所涉及的挑战。Chen等人在他们的自监督工作中发现,颜色增强阻止了分类网络使用图像颜色统计作为通过实例判别进行自监督学习的捷径。从中汲取灵感,我们发现类似的问题阻碍了半监督语义分割,并提供颜色增强作为解决方案,提高了半监督语义分割在具有挑战性的摄影图像上的性能。
2021-10-09 cs.CV cs.LG
Improved Stability of Whole Brain Surface Parcellation with Multi-Atlas Segmentation
Vanderbilt University(范德堡大学)
全脑分割和皮层表面包裹是理解脑的解剖功能关系的必要条件。多图谱分割已被认为是全脑分割的主要方法之一。在我们最近的工作中,多图集技术已被调整为使用称为多图集CRUISE(MACRUISE)的方法进行表面重建。与FreeSurfer方法相比,MaCRUISE方法不仅能进行一致的体-面分析,而且在鲁棒性方面也具有优势。然而,MaCRUISE没有提供详细的表面分块,这阻碍了基于表面的感兴趣区域(ROI)分析。本文提出了一种基于MaCRUISE的表面分块方法(MaCRUISEsp),对由MaCRUISE重构的内、中、外表面进行分块。MaCRUISEsp使用基于体积分割的表面分割(VSBSP),在拓扑校正步骤之后,分别用98个皮质标签对内、中、外表面进行分割。为了验证MaCRUISEsp的性能,使用来自Kirby 21数据集的21个扫描-再扫描磁共振成像(MRI)T1体积对进行再现性分析。对于中心表面,MaCRUISEsp的中值骰子相似系数(DSC)达到0.948。同时,FreeSurfer实现了内表面的0.905 DSC和外表面的0.881 DSC,而所提出的方法实现了内表面的0.929 DSC和外表面的0.835 DSC。定性,结果是令人鼓舞的,但不能直接比较,因为这两种方法使用不同的定义皮层标签。
2017-12-02 cs.CV
Improved lung segmentation based on U-Net architecture and morphological operations
National University of Sciences and Technology(国立科技大学)
计算机辅助诊断胸部X射线的一个重要阶段是自动肺部分割。由于胸腔和每个人的肺部的独特模式,它是必不可少的,以构建一个有效的自动肺分割模型。本文提出了一个可靠的模型分割肺部在胸部X光片。我们的模型通过学习忽略源胸片中的不重要区域并强调肺部分割的重要特征来克服这些挑战。我们评估我们的模型在公共数据集,蒙哥马利和深圳。所提出的模型具有98.1%的DICE系数,这证明了我们的模型的可靠性。
2022-10-19 cs.CV eess.IV
CrackUDA: Incremental Unsupervised Domain Adaptation for Improved Crack Segmentation in Civil Structures
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院)
针对跨数据集域偏移导致裂缝分割精度下降的问题,提出基于对抗学习的增量无监督域自适应深度网络CrackUDA,通过编码器-解码器架构结合域不变与域特定参数,并引入BuildCrack数据集,在源域和目标域上分别提升0.65和2.7 mIoU。
2024-12-20 cs.CV
DVIS++: Improved Decoupled Framework for Universal Video Segmentation
Wuhan University(武汉大学);Y-tech, Kuaishou Technology(快手科技Y-tech)
DVIS++通过将视频分割解耦为分割、跟踪和细化三个子任务,并引入引用跟踪器和时间细化器,在六个基准上显著超越现有方法,并支持开放词汇分割。
2023-12-20 cs.CV
Semi-Supervised Learning for Eye Image Segmentation
Rochester Institute of Technology(罗切斯特理工学院)
基于外观的模型的最新进展表明,在困难的场景中,如由于睫毛、眼睑或相机放置造成的遮挡,以及角膜和眼镜上的环境反射,眼动追踪性能有所改善。改进的关键原因是对眼睛部分(瞳孔、虹膜和巩膜区域)的准确和鲁棒的识别。准确性的提高通常是以标记庞大的数据集为代价的,这是复杂和耗时的。本文提出了两个半监督学习框架,利用标记数据集稀缺的未标记图像来识别眼睛部位。有了这些框架,利用特定于域的增强和新颖的空间变化变换的图像分割,我们在各种测试用例中表现出更好的性能。例如,对于仅使用48个标记图像训练的模型,这些框架在分割性能上比仅使用标记数据集训练的基线模型提高了0.38%和0.65%。
2021-03-17 cs.CV
Improved Workflow for Unsupervised Multiphase Image Segmentation
U.S. Army Corps of Engineers Cold Regions Research and Engineering Laboratory(美国陆军工程兵寒冷地区研究与工程实验室)
定量图像分析通常依赖于通过分割过程对像素的准确分类。然而,成像伪影,如部分容积效应和传感器噪声复杂的分类过程。这些效应增加了每个组成类的像素强度方差,导致一类的强度与另一类重叠。由于像素强度分布中的模糊重叠区域,这种增加的方差使得基于阈值的分割方法不足。对于具有两个以上成分的系统,例如不饱和潮湿颗粒介质,类别模糊性变得更加复杂。在本文中,我们提出了一个图像处理工作流程,提高了多相系统的分割精度。首先,类之间的模糊过渡区域被识别和删除,这允许全局阈值的单类区域。然后利用距离函数对过渡区域进行分类,最后将两种分割结果合并为一幅分类图像。这个工作流程包括三种方法来识别过渡像素,我们证明了各种合成图像,这些方法能够准确地分离模糊的过渡像素从单类区域。对于典型的图像噪声量的情况下,误分类误差和区域之间的差异计算的每一类的合成图像和所得到的分割图像的范围分别从0.69-1.48%和0.01- 0.74%,显示这种方法的分割精度。我们证明,我们能够使用这些计算效率高的方法准确地分割潮湿颗粒介质的X射线显微层析图像。
2017-10-26 cs.CV
Motion-Corrected Moving Average: Including Post-Hoc Temporal Information for Improved Video Segmentation
Ostbayerische Technische Hochschule Regensburg (OTH Regensburg)(雷根斯堡东巴伐利亚应用技术大学);Klinikum rechts der Isar, Technical University of Munich(慕尼黑工业大学右岸医院);Imperial College London(伦敦帝国学院);Regensburg Medical Image Computing (ReMIC)(雷根斯堡医学影像计算中心);Regensburg Center of Health Sciences and Technology (RCHST)(雷根斯堡健康科学与技术中心)
针对医学视频分割的帧间预测噪声问题,提出无需修改训练或额外标注的运动校正移动平均方法,用光流对齐先验项提升性能,且无显著运行损耗,在多数据集上优于基线。
2024-03-05 cs.CV
Improved Part Segmentation Performance by Optimising Realism of Synthetic Images using Cycle Generative Adversarial Networks
Wageningen University & Research(瓦赫宁根大学及研究中心)
在本文中,我们使用卷积神经网络,以减少对大量的手动注释的经验图像的依赖,提高了部分分割性能的报告。这是通过优化合成农业images.In第一部分的视觉现实主义,一个周期一致的生成对抗网络应用于合成和经验图像的目标,以生成更逼真的合成图像,通过将它们转换到经验域。我们首先假设并确认,植物部分图像的特征,如颜色和纹理变得更相似的经验域后的合成images.Results翻译证实了这一点与改进的平均颜色分布相关的经验数据前0.62和翻译后的0.90。此外,平均图像特征的对比度,均匀性,能量和熵移动更接近的经验平均值,翻译后。在第二部分中,使用卷积神经网络进行了7个实验,这些网络具有合成、合成翻译为经验和经验图像的不同组合。我们假设翻译后的图像可以用于(i)改进经验图像的学习,以及(ii)通过翻译后的图像自举而不是合成图像自举来改进没有任何微调经验图像的学习。结果证实了我们的第二和第三个假设。首先,当使用翻译图像进行自举并使用经验图像进行微调时,最大的交集性能达到0.52;与仅使用合成图像相比,增加了8%。其次,在没有任何经验微调的情况下进行训练,平均IOU为0.31;比以前只使用合成图像的方法性能提高了55%。
2018-03-16 cs.CV
BuyTheDips: PathLoss for improved topology-preserving deep learning-based image segmentation
捕获图像的全局拓扑结构对于提出其域的准确分割是必不可少的。然而,大多数现有的分割方法不保留给定输入的初始拓扑结构,这对于许多下游基于对象的任务是不利的。这对于大多数在局部尺度上工作的深度学习模型来说更是如此。在本文中,我们提出了一种新的拓扑保持深度图像分割方法,它依赖于一个新的泄漏损失:路径损失。我们的方法是BALoss [1]的扩展,其中我们希望改进泄漏检测以更好地恢复图像分割的接近性。这种损失使我们能够正确地定位和修复预测中可能发生的关键点(边界泄漏),并且基于最短路径搜索算法。这样,损失最小化仅在必要时强制连接,并最终提供图像中对象边界的良好定位。此外,根据我们的研究,与不使用拓扑保持损失的方法相比,我们的Pathloss学习保留更强的细长结构。使用我们的拓扑损失函数进行训练,我们的方法在两个不同性质的代表性数据集上的性能优于最先进的拓扑感知方法:电子显微镜和历史地图。
2022-08-18 cs.CV
MixModule: Mixed CNN Kernel Module for Medical Image Segmentation
Tsinghua University(清华大学);University of San Francisco(旧金山大学);Boston University(波士顿大学);University of Southern California(南加州大学)
卷积神经网络(CNN)已成功应用于医学图像分类、分割和相关任务。在众多的CNN架构中,U-Net及其改进版本近年来得到了广泛的应用,并取得了最先进的性能。这些改进的架构专注于结构改进,卷积核的大小通常是固定的。在本文中,我们提出了一个模块,结合了多个内核大小的好处,我们将所提出的模块应用于U-Net及其变体。我们在三个分割基准数据集上测试了我们的模块,实验结果显示出显着的改善。
2020-02-26 cs.CV
Research on Improved U-net Based Remote Sensing Image Segmentation Algorithm
University of Washington(华盛顿大学);Nanjing University of Posts and Telecommunications(南京邮电大学);National Higher School of Advanced Techniques (ENSTA)(国立高等先进技术学院(ENSTA))
针对U-Net在遥感图像分割中的性能瓶颈,本文提出引入SimAM和CBAM注意力机制,实验证明融合后模型MIoU提升19.11%,显著增强了分割精度与鲁棒性。
2024-08-22 cs.CV cs.DC
NeRF-HuGS: Improved Neural Radiance Fields in Non-static Scenes Using Heuristics-Guided Segmentation
Sun Yat-sen University(中山大学);Cardiff University(卡迪夫大学);University of Pennsylvania(宾夕法尼亚大学);SmartMore Corporation(思谋科技)
本文提出NeRF-HuGS,通过结合手工启发式与先进分割模型,显著提升非静态场景中静态与瞬态干扰物的分离,有效减少NeRF伪影。
2024-03-26 cs.CV
Active Learning for Improved Semi-Supervised Semantic Segmentation in Satellite Images
Orbital Insight(轨道洞察公司);Yale University(耶鲁大学)
遥感数据对于从监测森林火灾和森林砍伐到跟踪城市化的各种应用至关重要。这些任务中的大多数都需要模型的密集像素级注释,以便从这些卫星图像可用的有限标记数据中解析视觉信息。由于缺乏高质量的标记训练数据在这个领域,有必要集中在半监督技术。这些技术从一小组标记的示例中生成伪标签,这些示例用于增强标记的训练集。这就需要有一个高度代表性和多样性的标记训练集。因此,我们建议使用基于主动学习的采样策略来选择具有高度代表性的标记训练数据集。我们证明了我们提出的方法的有效性,现有的两个语义分割数据集包含卫星图像:UC Merced土地利用分类数据集和DeepGlobe土地覆盖分类数据集。我们报告了27%的改进mIoU与少至2%的标记数据,使用主动学习采样策略随机采样标记的训练数据的小集合。
2021-10-15 cs.CV
Transferring Styles for Reduced Texture Bias and Improved Robustness in Semantic Segmentation Networks
Department of Computer Science Heinrich-Heine-University Düsseldorf(计算机科学系 汉诺威-海因希-恩斯特大学);Department of Mathematics University of Wuppertal(数学系 威斯巴登大学)
通过风格迁移减少语义分割网络对纹理的依赖,提升其在图像损坏和对抗攻击下的鲁棒性。
2025-08-25 cs.CV
Improved Baselines with Synchronized Encoding for Universal Medical Image Segmentation
Xi’an Jiaotong University(西安交通大学);School of Information and Communications Engineering(信息与通信工程学院);School of Mathematics(数学学院);School of Mathematics and Statistics(数学与统计学学院);Pazhou Laboratory (Huangpu)(黄埔实验室)
针对医学图像分割的领域差距,提出SyncSAM模型,采用同步双分支编码器与多尺度双分支解码器,在两大数据集上训练,实现最先进性能与强零样本能力。
2025-06-23 cs.CV
Cost-efficient segmentation of electron microscopy images using active learning
Ghent University(根特大学);Flanders Institute for Biotechnology(佛兰德斯生物技术研究所)
在过去的十年中,电子显微镜已经改进到生成高质量的千兆像素大小的数据集只需要几个小时。然而,自动图像分析,特别是图像分割,并没有以同样的速度发展。尽管U-Net和DeepLab等最先进的方法大大提高了分割性能,但所需的标签数量仍然过于昂贵。主动学习是机器学习的一个子领域,旨在通过以智能方式选择需要标记的样本来减轻这种负担。已经提出了许多技术,特别是用于图像分类,以增加学习曲线的陡度。在这项工作中,我们将这些技术扩展到基于深度CNN的图像分割。我们在三个不同的电子显微镜数据集上的实验表明,与标准随机抽样相比,主动学习可以将分割质量提高10%到15%。
2019-11-13 cs.CV
SA Unet Improved
Budapest University(布达佩斯大学)
本文提出结合StyleGAN2与SA-Unet的新方法,用于视网膜血管分割,解决小数据集分割难题,并在DRIVE挑战赛中验证。
2023-08-18 cs.CV eess.IV
Recursive Class Connectivity Classification (R3C) Applied to Binary Image Segmentation for Improved Infant Fingerprint Enhancement
Infant.ID Ltda(Infant.ID公司);Graduate Program in Production and Systems Engineering (PPGEPS), Federal University of Technology-Paran (UTFPR)(生产与系统工程硕士项目,联邦技术大学-巴拉那(UTFPR))
提出递归类连接分类(R3C)框架,通过迭代扩展脊线结构改进现有增强方法的二值分割输出,无需训练数据即可提升婴儿指纹识别率。
2026-05-25 cs.CV
MA-Unet: An improved version of Unet based on multi-scale and attention mechanism for medical image segmentation
Beijing University of Technology(北京工业大学)
虽然卷积神经网络(CNN)正在推动医学图像语义分割的发展,但标准模型仍存在一些不足。首先,在跳过连接操作中来自编码器和解码器子网络的特征映射具有较大的语义差异。第二,远程特征依赖没有被有效地建模。第三,忽略了不同尺度的全局上下文信息。在本文中,我们试图消除语义歧义的跳过连接操作中添加注意门(AG),并使用注意机制,结合本地功能与其相应的全球依赖关系,显式建模通道之间的依赖关系,并使用多尺度预测融合,利用全球信息在不同的尺度。与其他最先进的分割网络相比,我们的模型获得了更好的分割性能,同时引入更少的参数。
2020-12-20 cs.CV eess.IV
Combining Shape Priors with Conditional Adversarial Networks for Improved Scapula Segmentation in MR images
IMT Atlantique(大西洋国立高等矿业电信学院);LaTIM UMR 1101, Inserm(法国国家健康与医学研究院 1101 联合研究单位(医学影像治疗实验室))
本文提出了一种利用深度学习从磁共振(MR)图像中自动分割肩胛骨的方法。这项工作的目的是将解剖先验纳入条件对抗框架,给定有限数量的异构注释图像。我们的方法鼓励分割模型通过学习的非线性形状表示来遵循底层解剖结构的全局解剖特性,而对抗性贡献通过促进逼真的描绘来细化模型。这些贡献进行了评估的15个儿科肩关节检查的数据集,并比较国家的最先进的架构,包括UNet和最近的衍生物。所取得的重大进展为肌肉骨骼疾病的术前管理带来了新的前景。
2020-01-23 cs.CV eess.IV
Combining Multi-Sequence and Synthetic Images for Improved Segmentation of Late Gadolinium Enhancement Cardiac MRI
Universitat de Barcelona(巴塞罗那大学);Barts Health NHS Trust(巴特兹健康国民保健服务信托基金);Queen Mary University of London(伦敦玛丽女王大学);Universitat Pompeu Fabra(庞培法布拉大学);ICREA(加泰罗尼亚研究与高级研究院)
在晚期钆增强磁共振图像(LGE-MRI)中准确分割心脏边界是准确量化瘢痕组织的基本步骤。然而,尽管有许多用于电影图像的自动心脏分割的解决方案,但疤痕组织的存在可能使LGE-MRI中心肌的正确描绘具有挑战性,即使对于人类专家也是如此。作为多序列心脏MR分割挑战的一部分,我们提出了一种基于两个组件的LGE-MRI分割解决方案。首先,生成对抗网络被训练用于电影和LGE-MRI序列之间的模态到模态转换的任务,以获得两种模态的额外合成图像。第二,训练深度学习模型,以使用原始序列、增强序列和合成序列的不同组合进行分割。我们基于来自45名不同患者的三个磁共振序列(LGE,bSSFP和T2)的结果表明,与使用真实数据集的传统训练相比,集成合成图像和数据增强的多序列模型训练在分割方面有所改善。总之,LGE-MRI图像的分割的准确性可以通过使用由非对比MRI序列提供的互补信息来提高。
2020-01-13 cs.CV eess.IV
Rethinking Space-Time Networks with Improved Memory Coverage for Efficient Video Object Segmentation
The Hong Kong University of Science and Technology(香港科技大学)
本文提出了一种简单而有效的方法来建模视频对象分割的背景下的时空对应关系。与大多数现有的方法不同,我们直接在帧之间建立对应关系,而无需对每个对象的掩码特征进行重新编码,从而形成了一个高效且强大的框架。有了对应关系,当前查询框架中的每个节点都是通过以关联方式聚合过去的特征来推断的。我们投的聚合过程作为一个投票问题,发现现有的内积亲和力导致内存使用不良的内存节点占主导地位的选票的一个小(固定)子集,无论查询。鉴于这种现象,我们建议使用负平方欧几里德距离来计算亲和度。我们验证了每个记忆节点现在都有机会做出贡献,并通过实验表明,这种多样化的投票有利于记忆效率和推理准确性。通信网络和多样化投票的协同作用非常好,在DAVIS和YouTubeVOS数据集上实现了新的最先进的结果,同时在20+ FPS的速度下运行多个对象,没有铃声和口哨声。
2021-10-08 cs.CV
CTI-Unet: Cascaded Threshold Integration for Improved U-Net Segmentation of Pathology Images
Shanghai Jiao Tong University(上海交通大学);Fudan University(复旦大学);Vanderbilt University(范德堡大学)
本文提出CTI-Unet,通过级联集成多个阈值化输出克服单阈值分割局限,在KPIs2024数据集上优于nnU-Net、Swin-Unet和CE-Net,实现肾脏病理图像的稳健分割。
2025-04-08 cs.CV eess.IV
Conditional Convolutions for Instance Segmentation
The University of Adelaide(阿德莱德大学)
我们提出了一个简单而有效的实例分割框架,称为CondInst(条件卷积实例分割)。性能最佳的实例分割方法(如Mask R-CNN)依赖于ROI操作(通常为ROIPool或ROIAlign)来获得最终的实例掩码。相反,我们提出从一个新的角度来解决实例分割。我们采用动态实例感知网络,以实例为条件,而不是使用实例ROI作为固定权重网络的输入。CondInst有两个优势:1)实例分割通过全卷积网络解决,无需ROI裁剪和特征对齐。2)由于动态生成的条件卷积的能力大大提高,掩模头可以非常紧凑(例如,3 conv.层,每个层仅具有8个通道),从而导致显著更快的推理。我们展示了一个更简单的实例分割方法,可以实现提高性能的准确性和推理速度。在COCO数据集上,我们的表现优于最近的一些方法,包括精心调整的Mask RCNN基线,而不需要更长的训练时间表。代码可用:https://github.com/aim-uofa/adet
2020-07-26 cs.CV