MRI Brain Tumor Segmentation using Random Forests and Fully Convolutional Networks
School of Computer Science, University of Lincoln(林肯大学计算机科学学院);National Heart & Lung Institute, Imperial College London(帝国理工学院国家心肺研究所)
在本文中,我们提出了一种新的基于学习的方法自动分割脑肿瘤的多模态MRI图像,它结合了两套机器学习和手工制作的功能。全卷积网络(FCN)形成机器学习的特征,基于纹理基元的特征被认为是手工制作的特征。随机森林(RF)用于将MRI图像体素分类为正常脑组织和肿瘤的不同部分,即水肿、坏死和增强肿瘤。在BRATS 2017挑战数据集上评价了该方法。结果表明,该方法提供了有前途的分割。对于整个肿瘤、核心和增强肿瘤,针对地面实况的自动脑肿瘤分割的平均Dice重叠度量分别为0.86、0.78和0.66。
2019-09-13 cs.CV
Retinal Fluid Segmentation and Detection in Optical Coherence Tomography Images using Fully Convolutional Neural Network
Simon Fraser University(西蒙弗雷泽大学)
光学相干断层扫描(OCT)作为一种非侵入性成像方式,可以提供视网膜结构的微米级分辨率的3D图像。因此,它通常用于诊断与视网膜层中和视网膜层下水肿相关的视网膜疾病。在本文中,提出了一个新的框架,视网膜OCT图像中的流体分割和检测的任务。基于图切割算法分割的原始图像和层,训练全卷积神经网络来识别和标记流体像素。对分割的流体区域进行随机森林分类,以检测和拒绝错误标记的流体区域。在RETOUCH数据库上的留一交叉验证实验表明,我们的方法在分割(平均Dice:0.7317)和检测(平均AUC:0.985)任务中表现良好。
2017-10-13 cs.CV
A Combined Deep-Learning and Deformable-Model Approach to Fully Automatic Segmentation of the Left Ventricle in Cardiac MRI
University of California, Irvine(加州大学欧文分校)
从心脏磁共振成像(MRI)数据集分割左心室(LV)是计算心室容积和射血分数等临床指标的重要步骤。在这项工作中,我们采用深度学习算法与可变形模型相结合,开发和评估一个全自动分割工具,从短轴心脏MRI数据集的LV。该方法采用深度学习算法从地面真实数据学习分割任务。卷积网络被用来自动检测MRI数据集中的左心室。堆叠的自动编码器用于推断LV的形状。推断的形状被并入到可变形模型中,以提高分割的准确性和鲁棒性。我们使用从MICCAI 2009 LV分割挑战中获取的45个心脏MR数据集验证了我们的方法,并表明它优于最先进的方法。实现了与地面实况的极好一致。验证指标,良好轮廓的百分比,Dice指标,平均垂直距离和符合性,计算为96.69%,0.94,1.81 mm和0.86,与79.2%-95.62%,0.87-0.9,1.76- 2.97 mm和0.67-0.78,分别通过其他方法获得。
2015-12-25 cs.CV
Automated Segmentation of the Optic Disk and Cup using Dual-Stage Fully Convolutional Networks
University of Sydney(悉尼大学);Shanghai Jiao Tong University(上海交通大学);Med-X Research Institute, Shanghai Jiao Tong University(上海交通大学Med-X研究院);Royal Prince Alfred Hospital(皇家阿尔弗雷德王子医院)
视网膜眼底图像上视杯和视盘的自动分割是青光眼自动检测/分析的基础。传统的分割方法严重依赖于手工制作的功能和用户的先验知识。因此,这些方法难以适应临床环境。最近,基于全卷积网络(FCN)的深度学习方法已成功解决分割问题。然而,在处理医学图像时,依赖于大的注释训练数据是有问题的。如果没有足够数量的带注释的训练数据来覆盖所有可能的变化,则FCN不提供准确的分割。此外,FCNs在卷积层中具有较大的感受野,因此会产生边界的粗略输出。因此,我们提出了一种新的全自动方法,我们称之为双阶段全卷积网络(DSFCN)。我们的方法利用了深层残留架构和FCNs,并通过细粒度的细节以逐步的方式学习和推断视杯和视盘的位置。在训练过程中,我们的方法从训练数据和来自前一次迭代的估计结果中学习。从先前迭代学习的能力优化了视杯和盘边界的学习。在测试(预测)期间,DSFCN使用测试(输入)图像和从先前迭代中导出的估计概率图来逐渐提高分割精度。我们的方法实现了平均Dice系数为0.8488和0.9441的视杯和视盘分割和0.9513的曲线下面积(AUC)青光眼检测。
2019-02-13 cs.CV
Fully Automatic Segmentation and Objective Assessment of Atrial Scars for Longstanding Persistent Atrial Fibrillation Patients Using Late Gadolinium-Enhanced MRI
Royal Brompton Hospital(皇家布朗普顿医院);National Heart and Lung Institute, Imperial College London(帝国理工学院国家心肺研究所);Fudan University(复旦大学);Shanghai Jiao Tong University(上海交通大学);University of Lincoln(林肯大学);City University London(伦敦城市大学)
目的:心房颤动(AF)是最常见的心律失常,与发病率和死亡率的增加相关。它与心房纤维化有关,可以使用晚期钆增强(LGE)磁共振成像(MRI)进行无创评估,其中瘢痕组织被视为信号增强区域。在这项研究中,我们提出了一种新的全自动管道,以实现准确和客观的心房瘢痕分割和评估房颤患者的LGE MRI扫描。研究方法:我们的全自动流水线独特地结合了:(1)基于多图谱的全心脏分割(MA-WHS),以根据MRI Roadmap采集确定心脏解剖结构,然后将其映射到LGE MRI,以及(2)基于超像素和监督学习的方法,以描绘LGE MRI中心房瘢痕的分布和程度。结果如下:我们的MA-WHS和心房瘢痕分割分别显示了心脏解剖结构(平均Dice = 89%)和心房瘢痕(平均Dice =79%)的准确描绘,与手动分割的既定基础事实相比。与先前研究的手动干预方法相比,我们的创新管道显示了相当的结果,但完全自动计算。结论:所提出的分割方法允许LGE MRI用作心房瘢痕的定位、可视化和量化的客观评估工具。
2017-05-26 cs.CV
Interactive segmentation of medical images through fully convolutional neural networks
Oslo University Hospital(奥斯陆大学医院);Mayo Clinic(梅奥诊所);Nvidia Corporation(英伟达公司)
图像分割在医学诊断和介入任务中起着至关重要的作用。分割方法可以是手动、半自动或全自动的。手动分割提供了对结果质量的完全控制,但是繁琐、耗时并且容易受到操作员偏差的影响。完全自动化的方法不需要人工,但通常会提供次优结果,而不向用户提供进行校正的方法。半自动化方法通过提供交互手段来保持用户对结果的控制,但主要挑战是在精度和所需交互之间提供良好的权衡。在本文中,我们提出了一个基于深度学习(DL)的半自动分割方法,旨在成为一个“智能”的交互式工具,在医学图像中的感兴趣区域划定。我们证明了它的使用分割多个器官的腹部计算机断层扫描(CT)。我们的方法解决了一些最紧迫的临床挑战:(i)它只需要一个到几个用户点击,以快速和可靠的方式提供优秀的2D分割;(ii)它可以推广到以前看不见的结构和“角落情况”;(iii)它提供可以以智能和直观的方式快速校正到用户选择的任意精度的结果,以及(iv)确保高精度。我们提出了我们的方法,并将其与其他技术和以前的工作进行比较,以显示我们的方法所带来的优势。
2019-03-19 cs.CV
On the influence of Dice loss function in multi-class organ segmentation of abdominal CT using 3D fully convolutional networks
Nagoya University(名古屋大学);Aichi Cancer Center Hospital(爱知县癌症中心医院)
基于深度学习的方法在医学图像分割方面取得了令人印象深刻的结果。随着3D全卷积网络(FCN)的发展,为3D计算机断层扫描(CT)图像的多器官分割产生改进的结果已经变得可行。使用基于深度学习的方法的多器官分割的结果不仅取决于网络架构的选择,而且还强烈依赖于损失函数的选择。在本文中,我们提出了一个讨论的影响,基于骰子的损失函数多类器官分割使用腹部CT体积的数据集。我们研究了三种不同类型的加权骰子损失函数的基础上类标签频率(均匀,简单和广场),并评估其对分割精度的影响。此外,我们比较了不同的初始学习率的影响。当学习率为0.001时,对于均匀、简单和方形类型的加权,我们实现了81.3%、59.5%和31.7%的平均Dice分数,当学习率为0.01时,对于每个加权,我们实现了78.2%、81.0%和58.5%的平均Dice分数。我们的实验表明,类的平衡权重和初始学习率在训练中有很强的关系。
2018-01-18 cs.CV
3D fully convolutional networks for subcortical segmentation in MRI: A large-scale study
École de technologie supérieure(高等技术学院)
本研究探讨一种3D全卷积神经网络(CNN)用于MRI皮层下脑结构分割。3D CNN架构由于其在推理期间的计算和存储器要求而通常被避免。我们通过小内核来解决这个问题,从而允许更深入的架构。我们通过在最终预测中嵌入中间层输出来进一步对局部和全局上下文进行建模,这鼓励了在不同尺度下提取的特征之间的一致性,并直接在分割过程中嵌入细粒度信息。我们的模型在图形处理单元(GPU)上进行了端到端的有效训练,在单个阶段中,利用了完全CNN的密集推理能力。我们在两个公开的数据集上进行了全面的实验。首先,我们在ISBR数据集上展示了最先进的性能。然后,我们报告了一个{ \em large-scale}多站点评估,包括从17个不同站点(ABIDE数据集)获取的1112个未注册受试者数据集,年龄范围从7岁到64岁,表明我们的方法对各种采集协议、人口统计学和临床因素具有鲁棒性。我们的方法产生的分割与标准的基于图谱的方法高度一致,同时运行的时间是基于图谱的方法所需的一小部分,并避免了配准/归一化步骤。这使得它方便了大量的多部位神经解剖成像研究。据我们所知,我们的工作是第一个研究皮层下结构分割这样大规模和异构数据。
2017-04-20 cs.CV
V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation
Technische Universität München(慕尼黑工业大学);Johns Hopkins University(约翰斯·霍普金斯大学);Klinikum Grosshadern(大哈登医院);Ludwig-Maximilians-Universität München(慕尼黑大学)
卷积神经网络(CNN)最近已被用于解决来自计算机视觉和医学图像分析领域的问题。尽管它们很受欢迎,但大多数方法只能处理2D图像,而临床实践中使用的大多数医学数据由3D体积组成。在这项工作中,我们提出了一种基于体积,完全卷积,神经网络的三维图像分割方法。我们的CNN在描绘前列腺的MRI体积上进行端到端的训练,并学习一次预测整个体积的分割。我们引入了一个新的目标函数,我们在训练过程中优化,基于骰子系数。通过这种方式,我们可以处理前景体素和背景体素的数量之间存在强烈不平衡的情况。为了应对可用于训练的有限数量的注释卷,我们应用随机非线性变换和直方图匹配来增强数据。我们在我们的实验评估中表明,我们的方法在具有挑战性的测试数据上实现了良好的性能,同时只需要其他以前的方法所需的处理时间的一小部分。
2016-06-15 cs.CV
Self-supervised blur detection from synthetically blurred scenes
TECNALIA(特克纳利亚研究院);CVC - Universitat Autònoma de Barcelona(巴塞罗那自治大学计算机视觉中心);École de Technologie Supérieure(高等技术学院)
模糊检测的目的是分割出给定图像的模糊区域。最近的基于深度学习的方法通过学习模糊输入和表示其模糊区域的定位的二进制掩码之间的端到端映射来解决这个问题。然而,这种深度模型的有效性是有限的,这是由于缺乏在模糊分割方面注释的数据集,因为模糊注释是劳动密集型的。在这项工作中,我们绕过了对端到端学习的注释数据集的需求,而是依赖于对象建议和模糊生成模型,以生成合成模糊图像的数据集。这使我们能够使用CNN对生成的图像和地面真实模糊掩模对执行自监督学习,定义了一个可以在纯自监督、弱监督或半监督配置中使用的框架。有趣的是,这种设置在最大的模糊分割数据集上的实验结果表明,即使没有观察到任何真实的模糊图像,这种方法也可以实现模糊分割的最新结果。
2019-08-28 cs.CV
Automatic brain tissue segmentation in fetal MRI using convolutional neural networks
University Medical Center Utrecht(乌得勒支大学医学中心);Wilhelmina Children’s Hospital(威廉明娜儿童医院);Utrecht University(乌得勒支大学)
胎儿的磁共振图像使临床医生能够在发育的早期阶段发现大脑异常。胎儿MRI中体积和形态分析的基础是将胎儿脑分割成不同的组织类别。手动分割是繁琐和耗时的,因此自动分割可以大大简化程序。然而,这些扫描中的自动脑组织分割是具有挑战性的,这是由于包括强度不均匀性的伪影,特别是由扫描期间的自发胎动引起的。与估计偏置场以去除强度不均匀性作为分割预处理步骤的方法不同,我们建议使用卷积神经网络进行分割,该卷积神经网络利用具有综合引入的强度不均匀性的图像作为数据增强。该方法首先使用CNN来提取颅内体积。然后,采用另一个具有相同结构的CNN将提取的体积分割成七个脑组织类别:小脑、基底节和丘脑、脑室脑脊液、白质、脑干、皮质灰质和脑外脑脊液。为了使该方法适用于显示强度不均匀性伪影的切片,通过将具有随机偏移和方向的线性梯度的组合应用于没有伪影的图像切片来增强训练数据。
2019-06-11 cs.CV eess.IV
Anatomically-Informed Deep Learning on Contrast-Enhanced Cardiac MRI for Scar Segmentation and Clinical Feature Extraction
Johns Hopkins University School of Medicine(约翰斯·霍普金斯大学医学院);Johns Hopkins University(约翰斯·霍普金斯大学);Johns Hopkins Hospital(约翰斯·霍普金斯医院)
在心脏磁共振(CMR)成像中使用对比增强(LGE)可视化心脏中疾病诱导的瘢痕形成和纤维化对于表征疾病进展和量化心律失常的病理生理学底物至关重要。然而,LGE-CMR的分割和瘢痕/纤维化识别是一个密集的手动过程,易于产生较大的观察者间差异。在这里,我们提出了一种新的全自动解剖学深度学习解决方案,用于左心室(LV)和瘢痕/纤维化分割以及LGE-CMR的临床特征提取。该技术涉及三个级联卷积神经网络,可从原始LGE-CMR图像中分割心肌和瘢痕/纤维化,并将这些分割限制在解剖学指南内,从而促进无缝推导具有临床意义的参数。除了可用的LGE-CMR图像外,训练还使用了“LGE样”合成增强电影扫描。结果显示,在分割($96\%$和$75\%$用于LV和瘢痕分割的平衡准确性)、临床特征(平均瘢痕-LV壁体积分数的$2\%$差异)和解剖保真度方面,与经过培训的专家的结果非常一致。我们的分割技术可扩展到其他计算机视觉医疗应用,以及需要遵守预测输出准则的问题。
2021-01-08 cs.CV eess.IV
Functional Segmentation through Dynamic Mode Decomposition: Automatic Quantification of Kidney Function in DCE-MRI Images
University of Surrey(萨里大学);University College London(伦敦大学学院);Middlesex University(密德萨斯大学)
动态对比增强磁共振成像(DCE-MRI)中肾功能的量化需要仔细分割肾感兴趣区域(ROI)。传统上,需要人类专家在动态序列中的多个图像上手动描绘肾脏ROI。这种方法成本高、耗时且劳动密集,因此限制了患者的整个过程,并成为限制DCR-MRI在临床实践中更广泛采用的因素之一。因此,为了解决这个问题,我们提出了第一次使用的动态模式分解(DMD)的基础上自动分割的动态序列,在这种情况下,肾ROI的DCE-MRI。使用DMD耦合结合阈值和连接分量分析,首先在具有已知地面真实的合成生成的数据上进行验证,然后应用于10名健康志愿者的DCE-MRI数据集。我们发现,从我们提出的DMD框架获得的分割结果是可比的专家观察员和非常显着优于先验的边界框分割。我们的结果给出了一个平均Jaccard系数为0.87,相比之下,从三个独立的手动注释产生的平均分数为0.85,0.88和0.87。这是DMD首次作为一种强大的自动数据驱动分割方法使用,无需任何人为干预。这是一种可行的,有效的替代方法,目前的手动方法分离的肾功能的DCE-MRI。
2019-05-24 cs.CV eess.IV
Improving prostate whole gland segmentation in t2-weighted MRI with synthetically generated data
前列腺全腺体(WG)分割在前列腺癌(PCa)的检测、分期和治疗规划中起着至关重要的作用。尽管深度学习(DL)方法显示出了希望,但它们依赖于大量注释数据的可用性。图像平移和旋转等增强技术为提高数据可用性提供了一种替代方法。然而,由于生成的数据和原始数据之间的相关性,由变换的数据提供的信息量是有限的。基于最近生成对抗网络(GAN)在为其他领域以及医疗领域生成合成图像方面的成功,我们提出了一种基于公开可用的多中心数据集生成WG分割掩模并合成前列腺T2加权MRI的管道。接下来,我们使用生成的数据作为数据增强的一种形式。结果表明,改进的质量相比,标准的增强技术的WG分割。
2021-03-27 cs.CV cs.LG eess.IV
RatLesNetv2: A Fully Convolutional Network for Rodent Brain Lesion Segmentation
University of Eastern Finland(东芬兰大学);Charles River Discovery Services(查尔斯河发现服务公司);Centro Fermi - Museo Storico della Fisica e Centro Studi e Ricerche Enrico Fermi(费米中心——恩里科·费米物理历史博物馆与研究中心);Sapienza Università di Roma(罗马第一大学)
我们提出了一个完全卷积神经网络(ConvNet),命名为RatLesNetv2,用于分割啮齿动物磁共振(MR)脑图像中的病变。RatLesNetv2架构类似于自动编码器,它包含了便于优化的残差块。RatLesNetv2在三维图像上进行端到端训练,不需要预处理。我们在一个非常大的数据集上评估了RatLesNetv2,该数据集由671只大鼠的916个T2加权大鼠脑MRI扫描组成,这些大鼠处于9个不同的病变阶段,用于研究药物开发的局灶性脑缺血。此外,我们还将其性能与其他三种专门为医学图像分割设计的ConvNets进行了比较。RatLesNetv2获得了类似于比其他ConvNets更高的Dice系数值,并且它产生了更真实和紧凑的分割,具有更少的孔和更低的Hausdorff距离。RatLesNetv2分割的Dice评分也超过了手动分割的评分者间一致性。总之,RatLesNetv2可用于自动病变分割,减少人工工作量并提高再现性。RatLesNetv2可在https://github.com/jmlipman/RatLesNetv2上公开获得。
2020-12-30 cs.CV eess.IV
Recurrent Fully Convolutional Neural Networks for Multi-slice MRI Cardiac Segmentation
King's College London(伦敦国王学院)
在心脏磁共振成像中,心脏的全自动分割使得能够进行精确的结构和功能测量,例如,从左心室的短轴MR图像。在这项工作中,我们提出了一个循环的全卷积网络(RFCN),它可以从整个2D切片堆栈中学习图像表示,并能够通过内部存储单元利用切片间的空间依赖性。RFCN将解剖检测和分割结合到一个单一的架构中,该架构是端到端训练的,从而大大减少了计算时间,简化了分割管道,并有可能实现实时应用。我们使用两个数据集,包括公开的MICCAI 2009挑战数据集的RFCN的调查报告。已经在全卷积网络和深度限制玻尔兹曼机之间进行了比较,包括利用切片间空间相关性的递归版本。我们的研究表明,RFCN产生国家的最先进的结果,并可以大大提高轮廓附近的心尖的描绘。
2016-08-13 cs.CV cs.LG stat.ML
Learning to Segment Human Body Parts with Synthetically Trained Deep Convolutional Networks
FlexSight Srl(FlexSight有限公司);University of Padova(帕多瓦大学);PlayCast Srl(PlayCast有限公司)
本文提出了一种新的框架,用于人体部位分割的基础上,深度卷积神经网络训练,只用合成数据。所提出的方法实现了尖端的结果,而不需要训练的模型与真实的注释数据的人体部位。我们的贡献包括一个数据生成管道,利用游戏引擎创建用于训练网络的合成数据,以及一个新的预处理模块,结合边缘响应图和自适应直方图均衡来引导网络学习人体部位的形状,确保对光照条件变化的鲁棒性。为了选择最佳的候选架构,我们进行详尽的测试,手动注释的图像真实的人体四肢。我们进一步将我们的方法与身体部位分割任务中的几种高端商业分割工具进行比较。结果表明,我们的方法优于其他模型的显着保证金。最后,我们提出了一个消融研究,以验证我们的预处理模块。在本文中,我们发布了所提出的方法的实现以及获得的数据集。
2022-06-07 cs.CV
Multimodal MRI brain tumor segmentation using random forests with features learned from fully convolutional neural network
University of Lincoln(林肯大学)
在本文中,我们提出了一种新的学习为基础的方法自动分割脑肿瘤的多模态MRI图像。机器学习的功能从全卷积神经网络(FCN)和手工设计的纹理特征被用来分类的MRI图像体素。具有逐像素预测的分数图被用作使用FCN从多模态MRI训练数据集学习的特征图。然后将学习到的特征应用于随机Forest,以将每个MRI图像体素分类为正常脑组织和肿瘤的不同部分。在BRATS 2013挑战数据集上评价了该方法。结果表明,随机森林分类器的应用程序,多模态MRI图像使用机器学习的功能的基础上FCN和手工设计的功能的基础上的纹理基元提供了有前途的分割。对于完整肿瘤、核心肿瘤和增强肿瘤,针对地面真实的自动脑肿瘤分割的Dice重叠度量分别为0.88、080和0.73。
2017-04-26 cs.CV cs.LG
Automatic Liver and Tumor Segmentation of CT and MRI Volumes using Cascaded Fully Convolutional Neural Networks
Technical University of Munich(慕尼黑工业大学);LMU Hospital Grosshadern(路德维希-马克西米利安-慕尼黑大学格罗斯哈德恩医院)
肝脏和肝脏病变的自动分割是获得用于准确临床诊断和计算机辅助决策支持系统的定量生物标志物的重要一步。本文提出了一种方法,自动分割肝脏和病变的CT和MRI腹部图像使用级联全卷积神经网络(CFCN),使分割的大规模医疗试验或定量图像分析。我们训练和级联两个FCN的肝脏及其病变的联合分割。在第一步中,我们训练FCN以分割肝脏作为第二个FCN的ROI输入。第二FCN仅分割步骤1的预测肝脏ROI内的病变。CFCN模型在包括100个肝肿瘤体积的腹部CT数据集上训练。进一步的数据集上的验证表明,基于CFCN的语义肝脏和病变分割实现了肝脏的Dice评分超过94%,计算时间低于100秒/体积。我们进一步通过实验证明了所提出的方法在38个MRI肝脏肿瘤体积和公共3DIRCAD数据集上的鲁棒性。
2017-02-23 cs.AI cs.CV
Automatic Rodent Brain MRI Lesion Segmentation with Fully Convolutional Networks
AI Virtanen Institute for Molecular Sciences, University of Eastern Finland(东芬兰大学AI·维尔塔宁分子科学研究所);Charles River Discovery Services(查尔斯河发现服务公司);Centro Fermi - Museo Storico della Fisica e Centro Studi e Ricerche Enrico Fermi(费米中心——恩里科·费米物理历史博物馆与研究中心)
从磁共振图像(MRI)中手动分割啮齿动物脑病变是一项艰巨、耗时和主观的任务,在临床前研究中非常重要。针对不同的人脑MRI分割,已经开发了几种自动方法,但很少有研究针对自动啮齿动物病变分割。现有的用于在啮齿动物中执行自动病变分割的工具受到关于数据的严格假设的约束。深度学习已成功用于医学图像分割。然而,目前还没有专门设计用于处理啮齿动物脑病变分割的深度学习方法。在这项工作中,我们提出了一种新的全卷积网络(FCN),RatLesNet,用于上述任务。我们的数据集包括131个T2加权的大鼠脑扫描,来自4个不同的研究,其中缺血性中风是由短暂的大脑中动脉闭塞引起的。我们将我们的方法与最初为解剖分割开发的另外两个3D FCN(VoxResNet和3D-U-Net)进行了比较,并在单个研究和泛化测试中进行了5倍交叉验证,其中训练是在单个研究中完成的,并在其余三项研究中进行了测试。我们的方法产生的标签在定量和定性上都优于比较方法的预测。在5倍交叉验证实验中,所提出的方法的平均Dice系数为0.88,比比较架构高3.7%至38%。所提出的架构在推广不同研究方面也优于其他FCN,实现了0.79的平均Dice系数。
2019-08-23 cs.CV eess.IV
Towards Fully Automated Segmentation of Rat Cardiac MRI by Leveraging Deep Learning Frameworks
AstraZeneca(阿斯利康)
近年来,人类心脏磁共振数据集的自动分割一直在稳步提高。然而,由于数据集有限和图像分辨率较低,这些方法不能直接应用于临床前环境。大鼠心脏分割的深度架构的成功应用,虽然心脏功能的临床前评价至关重要,但据我们所知尚未报道。我们开发了在标准U-Net架构上扩展的分割模型,并评估了收缩期和舒张期的单独模型2 MSA和所有时间点的一个模型1 MSA。此外,我们使用基于高斯过程(GP)的先验来校准模型输出,以改进相位选择。在1 MSA和2 MSA设置下,所得模型在左心室分割质量和射血分数(EF)估计方面接近人类性能(Sørensen-Dice评分分别为0.91 +/- 0.072和0.93 +/- 0.032)。2 MSA的估计EF和参考EF之间的平均绝对差为3.5 +/-2.5%,而1 MSA的结果为4.1 +/-3.0%。将高斯过程应用于1 MSA允许自动选择收缩期和舒张期。结合一种新的心脏相位选择策略,我们的工作为在大鼠心脏分析的背景下实现全自动分割管道迈出了重要的第一步。
2021-09-09 cs.CV cs.LG eess.IV
Fully Automated Tumor Segmentation for Brain MRI data using Multiplanner UNet
University of Copenhagen(哥本哈根大学)
本文评估了多平面U-Net(MPUnet)在PED、MET和SSA三个脑肿瘤数据集上的分割性能,发现肿瘤核心分割精度较高,而水肿和增强肿瘤区域分割存在变异性,表明该方法仍需进一步改进并纳入更多MRI数据。
2024-01-12 cs.CV cs.LG eess.IV
Multi-Contrast MRI Segmentation Trained on Synthetic Images
Northwestern University Feinberg School of Medicine(西北大学范伯格医学院);Hacettepe University(哈塞特佩大学)
在我们的综合实验和评估,我们表明,它是可能的,以产生多个对比度(甚至所有综合),并使用综合生成的图像训练图像分割引擎。我们展示了在真实的多对比度MRI扫描上测试的有希望的分割结果,当描绘肌肉,脂肪,骨骼和骨髓时,所有这些都是在合成图像上训练的。基于合成图像训练,我们对肌肉、脂肪、骨骼和骨髓轮廓的分割结果分别高达93.91%、94.11%、91.63%、95.33%。结果与使用真实图像进行分割训练时获得的结果无显著差异:分别为94.68%,94.67%,95.91%和96.82%。
2022-07-06 cs.CV cs.LG eess.IV
SAM for Robust Mitochondria Instance Segmentation in Fluorescence Microscopy
UiT The Arctic University of Norway(UiT北极大学)
通过仅在合成荧光显微镜数据上微调 SAM,解决了真实数据稀缺问题,提高了线粒体实例分割的精度和平均 Dice 分数。
2026-05-29 cs.AI cs.CV
Object segmentation in depth maps with one user click and a synthetically trained fully convolutional network
Université de Lyon(里昂大学);CNRS(法国国家科学研究中心);École Centrale de Lyon(里昂中央理工学院);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔国立高等物理、数学与信息学院);LIRIS(图像与信息系统科学实验室);LIG(格勒诺布尔信息学实验室);Siléane(Siléane公司)
随着越来越多的家用物品按计划报废并被快速增长的人口消费,危险废物回收已成为一项重大挑战。鉴于家庭垃圾的巨大可变性,当前的回收平台主要依赖于人类操作员来分析场景,通常由大量堆积的对象实例组成。帮助他们实现酉提取的自动化是加快这一繁琐过程的关键挑战。而监督式深度学习已经证明对于这种对象级场景理解非常有效,例如,尽管在日常场景中进行一般的目标检测和分割,但是它需要大量的每像素标记图像,这对于包括工业机器人在内的许多应用环境来说几乎不可用。因此,我们提出了一个实际的交互式应用程序的步骤,用于生成面向对象的机器人把握,只需要一个深度图的场景和一个用户点击下一个对象提取的输入。更确切地说,我们在本文中解决的中间问题的对象分割在顶视图的成堆的散装对象给定的像素位置,即种子,提供交互式的人类操作员。我们提出了一个双重的框架生成边驱动的实例段。首先,我们重新设计了一个国家的最先进的完全卷积对象轮廓检测器的种子为基础的实例分割通过引入边缘掩模对偶的概念与一个新的补丁免费和面向轮廓的损失函数。其次,我们只使用合成场景来训练一个模型,而不是手动标记的训练数据。我们的实验结果表明,考虑边缘掩码对偶训练编码器-解码器网络,正如我们所建议的那样,在目前的应用背景下,优于最先进的基于补丁的网络。
2018-09-24 cs.CV cs.LG cs.RO
Deep Semantic Instance Segmentation of Tree-like Structures Using Synthetic Data
IBM Research(IBM研究院)
树状结构(如血管)通常以非常精细的尺度表达复杂性,需要高分辨率的网格来充分描述其形状。这样的稀疏形态可以替代地由中心线点的位置表示,但是由于它是无序的并且是排列不变的,因此利用深度学习从这种类型的数据中学习是具有挑战性的。在这项工作中,我们提出了一个深度神经网络,它直接消耗沿分支结构中心线的无序点,以识别单次拍摄中所表示的结构的拓扑结构。我们的方法的关键是使用一个新的多任务损失函数,使任意复杂的分支结构的实例分割。我们训练网络单独使用综合生成的数据,利用域随机化,以促进真正的2D和3D数据的传输。结果表明,我们的网络可以可靠地提取有关分支位置、分叉和端点的有意义的信息,并为分支结构中的语义实例分割树立了新的基准。
2018-11-08 cs.CV
NutritionVerse-Synth: An Open Access Synthetically Generated 2D Food Scene Dataset for Dietary Intake Estimation
University of Waterloo(滑铁卢大学);Waterloo Artificial Intelligence Institute(滑铁卢人工智能研究院)
本文提出开放的大规模合成食物图像数据集 NV-Synth,含84,984张多视角照片级餐食图像及丰富真值标注,并公开生成框架代码,以支撑计算机视觉膳食摄入评估。
2023-12-11 cs.CV
Approximate Size Targets Are Sufficient for Accurate Semantic Segmentation
University of Waterloo(滑铁卢大学)
本文提出将二值类别标签扩展为近似目标尺寸分布,结合零避免KL散度损失,使现成网络在仅图像级监督下实现与像素级监督相当甚至更优的分割精度,并验证了其对尺寸误差的鲁棒性。
2025-03-10 cs.CV
BiSeg: Simultaneous Instance Segmentation and Semantic Segmentation with Fully Convolutional Networks
我们提出了一个简单而有效的框架,同时语义分割和实例分割与全卷积网络(FCN)。该方法称为BiSeg,预测实例分割作为贝叶斯推理的后验,其中语义分割用作先验。我们扩展了最近的方法中使用的位置敏感的得分地图的想法,在不同的尺度和分区模式的多个得分地图的融合,并采用它作为一个强大的可能性实例分割推理。由于贝叶斯推理和地图融合都是按像素执行的,因此BiSeg是一种完全卷积的端到端解决方案,继承了FCN的所有优点。我们展示了PASCAL VOC的最先进的实例分割精度。
2017-07-18 cs.CV
Automatic Skin Lesion Segmentation Using Deep Fully Convolutional Networks
Cleveland Clinic(克利夫兰诊所)
本文总结了我们的方法和验证结果的ISIC挑战2018 -皮肤病变分析对黑色素瘤检测-任务1:病变分割
2018-07-17 cs.CV
DeSTSeg: Segmentation Guided Denoising Student-Teacher for Anomaly Detection
Tsinghua University(清华大学);Apple(苹果公司)
视觉异常检测是计算机视觉中的一个重要问题,通常被表述为一类分类和分割任务。学生-教师(S-T)框架已被证明是解决这一挑战的有效方法。然而,以前的工作的基础上S-T只经验性地施加正常数据和融合的多层次信息的约束。在这项研究中,我们提出了一种名为DeSTSeg的改进模型,它将预训练的教师网络,去噪学生编码器-解码器和分割网络集成到一个框架中。首先,为了加强对异常数据的约束,我们引入了一个去噪过程,允许学生网络学习更鲁棒的表示。从合成损坏的正常图像,我们训练学生网络匹配教师网络的相同的图像没有损坏的功能。其次,为了自适应地融合多层次的S-T特征,我们训练一个分割网络,从合成的异常掩模丰富的监督,实现了实质性的性能改善。在工业检测基准数据集上的实验表明,我们的方法达到了最先进的性能,图像级AUC为98.6%,像素级平均精度为75.8%,实例级平均精度为76.4%。
2023-03-21 cs.CV
Automatic skin lesion segmentation with fully convolutional-deconvolutional networks
Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院)
本文总结了我们的方法和验证结果的ISBI挑战2017 -皮肤病变分析对黑色素瘤检测-第一部分:病变分割
2017-09-28 cs.CV
FocusNet: An attention-based Fully Convolutional Network for Medical Image Segmentation
University of York(约克大学)
我们提出了一种新的技术,将注意力纳入卷积神经网络使用由一个单独的卷积自动编码器生成的特征图。我们的注意力架构非常适合与深度卷积网络结合。我们在皮肤癌分割和肺部病变分割的基准分割数据集上评估了我们的模型。结果显示,与U-Net及其残差变体相比,具有很强的竞争力。
2019-02-08 cs.CV
Fully Automatic Segmentation of Lumbar Vertebrae from CT Images using Cascaded 3D Fully Convolutional Networks
Institute for Surgical Technology \& Biomechanics, University of Bern, Bern, Switzerland. Contact
我们提出了一种方法来解决具有挑战性的问题,从不同的视野采集的CT图像腰椎分割。我们的方法是基于级联的3D全卷积网络(FCN)组成的本地化FCN和分割FCN。更具体地说,在第一步中,我们训练一个回归3D FCN(我们称之为“LocalizationNet”)来找到腰椎区域的限界框。之后,开发了一个像FCN这样的3D U-网络(我们称之为“SegmentationNet”),在训练后,它可以执行像素级多类分割,将裁剪的木材区域体积数据映射到其体积标签。在公开可用的数据集上进行评估,我们的方法实现了95.77 $\pm$ 0.81%的平均Dice系数和0.37 $\pm$ 0.06 mm的平均对称表面距离。
2017-12-05 cs.CV
Fully Convolutional Instance-aware Semantic Segmentation
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
我们为实例感知语义分割任务提出了第一个完全卷积的端到端解决方案。它继承了FCN在语义分割和实例掩码建议方面的所有优点。它联合执行实例掩码预测和分类。底层卷积表示在两个子任务之间以及所有感兴趣区域之间完全共享。所提出的网络是高度集成的,并实现了最先进的性能,在准确性和效率。在COCO 2016细分市场竞争中以较大优势胜出。代码将在\url{https://github.com/daijifeng001/TA-FCN}发布。
2017-04-10 cs.CV
Play and Learn: Using Video Games to Train Computer Vision Models
University of British Columbia(不列颠哥伦比亚大学)
视频游戏是注释数据的一个引人注目的来源,因为它们可以很容易地为不同的任务提供细粒度的地面实况。然而,目前还不清楚合成生成的数据是否与真实世界的图像有足够的相似性,以提高计算机视觉模型在实践中的性能。我们目前的实验评估从视频游戏中提取的合成RGB图像上训练的系统对真实世界数据的有效性。我们从现代视频游戏中收集了超过60000个合成样本,这些样本的条件与现实世界的CamVid和Cityscapes数据集相似。我们提供了几个实验来证明合成生成的RGB图像可以用于提高深度神经网络在图像分割和深度估计方面的性能。这些结果表明,对于密集图像分类,在合成数据上训练的卷积网络实现了与在真实世界数据上训练的网络相似的测试误差。此外,如果应用简单的领域自适应技术,则合成生成的RGB图像可以提供与真实世界数据集相比类似或更好的结果。我们的研究结果表明,与游戏开发人员合作,提供一个可访问的界面来收集数据,可能是计算机视觉未来工作的一个富有成效的方向。
2016-08-15 cs.CV
Segmenting Objects in Day and Night:Edge-Conditioned CNN for Thermal Image Semantic Segmentation
Anhui University(安徽大学);Texas State University(德克萨斯州立大学)
尽管图像语义分割的研究取得了很大的进展,但在可见光成像的局限性所导致的恶劣环境条件下,它仍然具有挑战性。虽然热红外相机具有几个优于可见光谱相机的优点,例如在完全黑暗中操作,对照明变化不敏感,对阴影效果鲁棒,以及穿透薄雾和烟雾的能力强。热红外摄像机的这些优点使得语义目标的分割在白天和夜晚都可以实现。在本文中,我们提出了一种新的网络架构,称为边缘条件卷积神经网络(EC-CNN),热图像语义分割。特别地,我们精心设计了EC-CNN中的门控特征变换层,以自适应地结合边缘先验知识。整个EC-CNN是端到端训练的,可以在边缘指导下生成高质量的分割结果。同时,我们还引入了一个新的基准数据集“白天和黑夜中的分割对象”(SODA),用于热图像语义分割的综合评价。SODA包含超过7,168个手动注释和合成生成的热图像,具有20个语义区域标签,并且来自广泛的视角和场景复杂性。在SODA上的大量实验证明了所提出的EC-CNN对最先进方法的有效性。
2019-07-24 cs.CV
CBCTLiTS: A Synthetic, Paired CBCT/CT Dataset For Segmentation And Style Transfer
Salzburg University of Applied Sciences(萨尔茨堡应用科技大学);University of Salzburg(萨尔茨堡大学);MedPhoton GmbH(MedPhoton 有限公司)
本文提出CBCTLiTS,一个合成生成的配对CBCT/CT分割数据集,提供5种质量等级,支持分割、多任务学习和风格转换研究,并附带基线结果。
2024-07-20 cs.CV
Improving Fully Convolution Network for Semantic Segmentation
Nanyang Technological University(南洋理工大学)
全卷积网络(FCN)在密集预测任务(包括语义分割)中取得了巨大的成功。在本文中,我们从讨论FCN开始,了解它在构建强大的分段网络方面的架构限制。接下来,我们介绍我们的改进的全卷积网络(IFCN)。与FCN相反,IFCN引入了一个上下文网络,可以逐步扩展特征地图的接收域。此外,增加了密集跳跃连接,从而可以有效地优化上下文网络。更重要的是,这些密集的跳跃连接使IFCN能够融合丰富的上下文来做出可靠的预测。实践证明,这些架构修改对提高分割性能具有重要意义。IFCN在不涉及任何上下文后处理的情况下,显著推进了ADE 20 K(ImageNet场景解析),Pascal Context,Pascal VOC 2012和SUN-RGBD分割数据集的最新技术。
2016-11-28 cs.CV
Transparency Distortion Robustness for SOTA Image Segmentation Tasks
Technical University of Darmstadt(达姆施塔特工业大学);Fraunhofer Institute for Computer Graphics Research IGD(弗劳恩霍夫计算机图形学研究所);CGV Institute, Graz University of Technology(格拉茨工业大学CGV研究所)
针对不均匀玻璃或热空气折射导致的空间变化径向畸变,本文提出合成数据增强方法,评估其对 SOTA 分割模型的影响,并发现预训练与扩大模型容量比畸变微调更能缓解性能下降。
2024-05-21 cs.CV
Semantic Segmentation of highly class imbalanced fully labelled 3D volumetric biomedical images and unsupervised Domain Adaptation of the pre-trained Segmentation Network to segment another fully unlabelled Biomedical 3D Image stack
Indian Institute of Science(印度科学学院)
我们工作的目标是对三维生物医学体数据进行像素标签语义分割。对于大型的生物医学数据集,人工标注一直是一个难题。因此,我们考虑两种情况,其中一个数据集是完全标记的,另一个数据集假设是完全未标记的。我们首先对完全标记的各向同性生物医学源数据(FIBSEM)执行语义分割,并尝试将训练模型用于分割目标未标记数据集(SNEMI3D),该数据集在不同类型的细胞体和其他细胞成分的背景下与源数据集具有一些相似性。虽然,细胞成分的大小和形状各不相同。因此,在本文中,我们提出了一种新的方法,在无监督的领域自适应的上下文中,同时分类到细胞边界和细胞体的目标体数据的每个像素。此外,我们提出了一种新的方法,给予非均匀的权重,以不同的像素在训练图像中,同时执行像素级的语义分割的存在下,相应的像素明智的标签地图以及在源域中的训练原始图像。我们已经使用了熵图或距离变换矩阵从给定的地面真值标签图检索,这有助于克服医学图像数据中的类不平衡问题,其中细胞边界非常薄,因此非常容易被误分类为非边界。
2020-03-13 cs.CV
Fully Convolutional Networks for Semantic Segmentation
UC Berkeley(加州大学伯克利分校)
卷积网络是一种强大的视觉模型,可以产生层次结构的特征。我们证明了卷积网络本身,经过端到端,像素到像素的训练,在语义分割方面超过了最先进的技术。我们的关键见解是构建“全卷积”网络,该网络接受任意大小的输入,并通过有效的推理和学习产生相应大小的输出。我们定义并详细描述了全卷积网络的空间,解释了它们在空间密集预测任务中的应用,并绘制了与先验模型的连接。我们将当代分类网络(AlexNet,VGG网络和GoogLeNet)适应于完全卷积网络,并通过微调将其学习的表示转移到分割任务中。然后,我们定义了一种新的架构,结合语义信息从一个深,粗层与外观信息从一个浅,细层,以产生准确和详细的分割。我们的全卷积网络实现了PASCAL VOC(2012年平均IU为62.2%,相对提高了20%),NYUDv2和SIFT Flow的最先进分割,而典型图像的推理时间为三分之一秒。
2015-03-08 cs.CV
Automatic Brain Tumor Detection and Segmentation Using U-Net Based Fully Convolutional Networks
Data Science Institute, Imperial College London(伦敦帝国理工学院数据科学研究所);National Heart and Lung Institute, Imperial College London(伦敦帝国理工学院国家心肺研究所)
脑肿瘤治疗计划和定量评估的一个主要挑战是确定肿瘤范围。无创磁共振成像(MRI)技术已成为无电离辐射脑肿瘤的一线诊断工具。从3D MRI体积中手动分割脑肿瘤范围是一项非常耗时的任务,并且性能高度依赖于操作者的经验。在这种情况下,一个可靠的全自动分割方法的脑肿瘤分割是必要的肿瘤范围的有效测量。在这项研究中,我们提出了一种全自动的脑肿瘤分割方法,该方法使用基于U-Net的深度卷积网络开发。我们的方法在多模态脑肿瘤图像分割(BRATS 2015)数据集上进行了评估,该数据集包含220个高级别脑肿瘤和54个低级别肿瘤病例。交叉验证表明,我们的方法可以有效地获得有前途的分割。
2017-06-03 cs.CV
Reference Setup for Quantitative Comparison of Segmentation Techniques for Short Glass Fiber CT Data
Heidelberg University(海德堡大学);University Medical Center Mannheim(曼海姆大学医学中心);Interdisciplinary Center for Scientific Computing (IWR)(跨学科科学计算中心(IWR));Volume Graphics GmbH(Volume Graphics有限公司);University of Padova(帕多瓦大学)
由于缺乏标准的参考数据集,比较工业计算机断层扫描(CT)扫描中分割玻璃纤维的不同算法是困难的。在这项工作中,我们介绍了一组注释扫描的短纤维增强聚合物(SFRP)以及综合创建的CT体积数据与评价指标。我们建议这两个指标和这个数据集作为研究不同算法的性能的参考。用Nikon MCT 225 X射线CT系统进行实际扫描。通过使用内部计算模型和第三方商业软件创建模拟扫描。对于这两种类型的数据,已经准备了相应的地面实况注释,包括用于真实扫描的手工注释和用于合成扫描的STL模型。此外,基于Hessian的Frangi血管性滤波器用于纤维分割已经实现并开源,以作为比较的参考。
2019-01-04 cs.CV
W-Net: A Deep Model for Fully Unsupervised Image Segmentation
Boston University(波士顿大学)
虽然最近已经将大量注意力集中在设计用于视觉任务的监督深度语义分割算法上,但是在许多领域中难以获得足够的监督像素级标签。在本文中,我们重新审视了纯无监督图像分割的问题,并为此问题提出了一种新的深度架构。我们从监督语义分割方法中借用了最近的想法,特别是通过将两个完全卷积的网络连接在一起成为一个自动编码器-一个用于编码,一个用于解码。编码层产生k路逐像素预测,并且自动编码器的重建误差以及编码器产生的归一化切割在训练期间共同最小化。当结合适当的后处理,包括条件随机场平滑和分层分割,我们得到的算法取得了令人印象深刻的结果在基准伯克利分割数据集,优于一些竞争的方法。
2017-11-22 cs.CV
Texture segmentation with Fully Convolutional Networks
Dublin City University(都柏林城市大学)
在过去的十年中,深度学习为包括纹理分析在内的广泛计算机视觉任务的进步做出了贡献。本文提出了一种基于深度卷积神经网络的纹理分割新方法,该方法与经典的基于滤波器组的纹理分割方法具有相同的思想。本文提出了几种训练全卷积网络的方法,用于纹理的分割.我们特别指出,这些网络可以学习识别和分割一种类型的纹理,例如从纹理识别数据集(没有训练分割)中识别木材和草。我们证明了全卷积网络可以从重复模式中学习,从单个图像甚至图像的一部分中分割出特定的纹理。我们利用这些发现开发了一种方法,该方法在一系列监督和无监督实验中进行评估,并在布拉格纹理分割数据集上改进了现有技术。
2017-03-15 cs.CV
Fully Convolutional Networks for Semantic Segmentation
UC Berkeley(加州大学伯克利分校)
卷积网络是一种强大的视觉模型,可以产生层次结构的特征。我们证明了卷积网络本身,经过端到端,像素到像素的训练,在语义分割中改善了以前的最佳结果。我们的关键见解是构建“全卷积”网络,该网络接受任意大小的输入,并通过有效的推理和学习产生相应大小的输出。我们定义并详细描述了全卷积网络的空间,解释了它们在空间密集预测任务中的应用,并绘制了与先验模型的连接。我们将当代分类网络(AlexNet,VGG网络和GoogLeNet)适应于完全卷积网络,并通过微调将其学习的表示转移到分割任务中。然后,我们定义了一个跳过架构,结合语义信息从一个深,粗层与外观信息从一个浅,细层,以产生准确和详细的分割。我们的全卷积网络实现了PASCAL VOC的改进分割(相对于2012年的67.2%平均IU提高了30%),NYUDv 2,SIFT Flow和PASCAL-Context,而对于典型图像,推理需要十分之一秒。
2016-05-20 cs.CV
Fully Convolutional Neural Networks for Crowd Segmentation
The Chinese University of Hong Kong(香港中文大学)
在本文中,我们提出了一个快速的全卷积神经网络(FCNN)的人群分割。通过将CNN中的全连接层替换为1乘1卷积核,FCNN将整个图像作为输入,并通过一次前向传播直接输出分割图。它具有像逐块扫描一样的平移不变性,但计算量要小得多。一旦学习了FCNN,它就可以处理任何尺寸的输入图像,而不会将它们扭曲到标准尺寸。这些有吸引力的性质使其可扩展到其他一般的图像分割问题。基于FCNN,提出了一种多阶段深度学习,以整合外观和运动线索进行人群分割。外观过滤器和运动过滤器都是逐阶段预训练的,然后联合优化。不同的组合方法进行了研究。我们的方法和组件明智的分析的有效性进行评估,我们创建的两个人群分割数据集,其中包括图像帧从235和11个场景,分别。它们是目前最大的人群细分数据集,并将向公众发布。
2014-11-17 cs.CV
Fully Self-Supervised Learning for Semantic Segmentation
Tsinghua University(清华大学);Tencent(腾讯)
在这项工作中,我们提出了一个完全自我监督的框架语义分割(FS ^4)。一个完全自举的语义分割策略,它节省了大量的注释工作,对于构建开放世界域的端到端定制模型至关重要。在现实场景中迫切需要这个应用程序。尽管最近的自监督语义分割方法已经取得了很大的进展,但是这些工作严重依赖于完全监督的预训练模型,并且不可能完全自监督的管道。为了解决这个问题,我们提出了一个自举训练计划的语义分割,充分利用全局语义知识的自我监督与我们提出的PGG策略和CAE模块。特别是,我们执行像素聚类和分配分割监督。为了防止它聚类混乱,我们提出了1)一种全局引导(PGG)训练策略,用金字塔图像/块级伪标签来监督学习,这些伪标签是通过对无监督特征进行分组而生成的。稳定的全局和金字塔语义伪标签可以防止分割学习太多的杂波区域或退化为一个背景区域; 2)此外,我们提出了上下文感知嵌入(CAE)模块,以非平凡的方式生成全局特征嵌入,考虑其在空间和外观上都接近的邻居。我们在大规模COCO-Stuff数据集上评估了我们的方法,并在事物和东西对象上实现了7.19 mIoU的改进
2022-02-24 cs.CV
Recurrent Fully Convolutional Networks for Video Segmentation
University of Alberta(阿尔伯塔大学)
图像分割是大多数视觉任务中的重要步骤。虽然卷积神经网络已被证明在单个图像分割上表现良好,但据我们所知,尚未对利用递归门控架构进行视频分割进行研究。因此,我们提出了一种新的方法,结合时间数据的视频序列的在线分割。该网络是由完全卷积的元素和递归单元构建的,该单元在时间数据上的滑动窗口上工作。我们还介绍了一种新的卷积门控递归单元,它保留了空间信息并减少了学习的参数。我们的方法的优点是,它可以在线工作,而不是在整个输入批次的视频帧操作。该网络在变化检测数据集上进行了测试,并被证明在每帧分割方面比普通全卷积网络的F-测量提高了5.5%。与我们称之为FCN 12的基线网络相比,它的F测量值也提高了1.4%。
2016-10-31 cs.CV
A Fully Convolutional Neural Network based Structured Prediction Approach Towards the Retinal Vessel Segmentation
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
从眼底图像中自动分割视网膜血管在视网膜疾病的计算机辅助诊断中起着重要的作用。血管分割的任务是具有挑战性的,由于极端变化的形态的血管对噪声背景。在本文中,我们将分割任务制定为多标签推理任务,并利用卷积神经网络和结构化预测相结合的隐含优势。我们提出的基于卷积神经网络的模型实现了强大的性能,并显着优于最先进的自动视网膜血管分割的DRIVE数据集上的95.33%的准确率和0.974 AUC得分。
2016-11-16 cs.CV
Implanting Synthetic Lesions for Improving Liver Lesion Segmentation in CT Exams
IBM Research(IBM研究院)
使用计算机断层扫描(CT)检查的监督病变分割算法的成功在很大程度上取决于可用于训练的样本的数量和可变性。虽然注释这些数据本身构成了挑战,但数据集中病变的变异性也取决于不同类型病变的患病率。这种现象给病变分割算法增加了固有的偏差,在不同的可能性中,可以使用积极的数据增强方法来消除这种偏差。在本文中,我们提出了一种在CT切片中植入真实病变的方法,以提供丰富且可控的训练样本集,并最终提高语义分割网络在CT检查中描绘病变的性能。我们的研究结果表明,植入合成病变不仅提高了(约12%)的分割性能,考虑到不同的架构,而且这种改善是一致的不同的图像合成网络。我们的结论是,综合增加病变的大小,密度,形状和位置的变化似乎提高了CT切片中肝脏病变分割的分割模型的性能。
2020-08-11 cs.CV eess.IV
Combining Fully Convolutional and Recurrent Neural Networks for 3D Biomedical Image Segmentation
University of Notre Dame(圣母大学)
三维图像分割是生物医学图像分析中的一个基本问题。深度学习(DL)方法已经实现了最先进的分割性能。为了利用使用神经网络的3D上下文,已知的DL分割方法(包括3D卷积、与2D图像切片正交的平面上的2D卷积以及多个方向上的LSTM)都与常见3D生物医学图像中的高度各向异性尺寸不兼容。在本文中,我们提出了一种新的用于3D图像分割的DL框架,该框架基于全卷积网络(FCN)和递归神经网络(RNN)的组合,它们分别负责利用切片内和切片间上下文。据我们所知,这是第一个明确利用3D图像各向异性的3D图像分割DL框架。使用ISBI神经元结构分割挑战赛的数据集和内部图像堆栈进行3D真菌分割进行评估,与已知的基于DL的3D分割方法相比,我们的方法取得了令人鼓舞的结果。
2016-09-06 cs.CV
Star Shape Prior in Fully Convolutional Networks for Skin Lesion Segmentation
Simon Fraser University(西蒙弗雷泽大学)
语义分割是实现医学图像判读自动化的重要基础。最近,深度卷积神经网络已成为逐像素类别预测任务的首选。虽然在传统的基于能量的分割方法中已经证明合并关于目标对象的结构的先验知识是有效的,但是还没有将先验知识编码到深度学习框架中的明确方式。在这项工作中,我们提出了一个新的损失项,将星形先验编码到端到端可训练全卷积网络(FCN)框架的损失函数中。我们惩罚FCN预测图中的非星形段,以保证分割结果的全局结构。我们的实验证明了通过星形先验正则化FCN参数的优势,并且我们在ISBI 2017皮肤分割挑战数据集上的结果在$21$参与团队中的分割任务中获得了第一名。
2018-06-21 cs.CV