A Fully Convolutional Neural Network based Structured Prediction Approach Towards the Retinal Vessel Segmentation
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
从眼底图像中自动分割视网膜血管在视网膜疾病的计算机辅助诊断中起着重要的作用。血管分割的任务是具有挑战性的,由于极端变化的形态的血管对噪声背景。在本文中,我们将分割任务制定为多标签推理任务,并利用卷积神经网络和结构化预测相结合的隐含优势。我们提出的基于卷积神经网络的模型实现了强大的性能,并显着优于最先进的自动视网膜血管分割的DRIVE数据集上的95.33%的准确率和0.974 AUC得分。
2016-11-16 cs.CV
Isointense infant brain MRI segmentation with a dilated convolutional neural network
Eindhoven University of Technology(埃因霍温理工大学)
由于白质和灰质之间的对比有限,因此在6个月大时进行脑MRI定量分析是困难的。在这项研究中,我们使用扩张的三平面卷积神经网络结合非扩张的3D卷积神经网络分割婴儿脑MR图像中的白质,灰质和脑脊液,如MICCAI 6个月婴儿脑MRI分割的大挑战所提供的。
2017-08-09 cs.CV
Fully Convolutional Instance-aware Semantic Segmentation
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
我们为实例感知语义分割任务提出了第一个完全卷积的端到端解决方案。它继承了FCN在语义分割和实例掩码建议方面的所有优点。它联合执行实例掩码预测和分类。底层卷积表示在两个子任务之间以及所有感兴趣区域之间完全共享。所提出的网络是高度集成的,并实现了最先进的性能,在准确性和效率。在COCO 2016细分市场竞争中以较大优势胜出。代码将在\url{https://github.com/daijifeng001/TA-FCN}发布。
2017-04-10 cs.CV
Fully Convolutional Networks for Semantic Segmentation
UC Berkeley(加州大学伯克利分校)
卷积网络是一种强大的视觉模型,可以产生层次结构的特征。我们证明了卷积网络本身,经过端到端,像素到像素的训练,在语义分割方面超过了最先进的技术。我们的关键见解是构建“全卷积”网络,该网络接受任意大小的输入,并通过有效的推理和学习产生相应大小的输出。我们定义并详细描述了全卷积网络的空间,解释了它们在空间密集预测任务中的应用,并绘制了与先验模型的连接。我们将当代分类网络(AlexNet,VGG网络和GoogLeNet)适应于完全卷积网络,并通过微调将其学习的表示转移到分割任务中。然后,我们定义了一种新的架构,结合语义信息从一个深,粗层与外观信息从一个浅,细层,以产生准确和详细的分割。我们的全卷积网络实现了PASCAL VOC(2012年平均IU为62.2%,相对提高了20%),NYUDv2和SIFT Flow的最先进分割,而典型图像的推理时间为三分之一秒。
2015-03-08 cs.CV
Recurrent Fully Convolutional Networks for Video Segmentation
University of Alberta(阿尔伯塔大学)
图像分割是大多数视觉任务中的重要步骤。虽然卷积神经网络已被证明在单个图像分割上表现良好,但据我们所知,尚未对利用递归门控架构进行视频分割进行研究。因此,我们提出了一种新的方法,结合时间数据的视频序列的在线分割。该网络是由完全卷积的元素和递归单元构建的,该单元在时间数据上的滑动窗口上工作。我们还介绍了一种新的卷积门控递归单元,它保留了空间信息并减少了学习的参数。我们的方法的优点是,它可以在线工作,而不是在整个输入批次的视频帧操作。该网络在变化检测数据集上进行了测试,并被证明在每帧分割方面比普通全卷积网络的F-测量提高了5.5%。与我们称之为FCN 12的基线网络相比,它的F测量值也提高了1.4%。
2016-10-31 cs.CV
Fully Convolutional Networks for Semantic Segmentation
UC Berkeley(加州大学伯克利分校)
卷积网络是一种强大的视觉模型,可以产生层次结构的特征。我们证明了卷积网络本身,经过端到端,像素到像素的训练,在语义分割中改善了以前的最佳结果。我们的关键见解是构建“全卷积”网络,该网络接受任意大小的输入,并通过有效的推理和学习产生相应大小的输出。我们定义并详细描述了全卷积网络的空间,解释了它们在空间密集预测任务中的应用,并绘制了与先验模型的连接。我们将当代分类网络(AlexNet,VGG网络和GoogLeNet)适应于完全卷积网络,并通过微调将其学习的表示转移到分割任务中。然后,我们定义了一个跳过架构,结合语义信息从一个深,粗层与外观信息从一个浅,细层,以产生准确和详细的分割。我们的全卷积网络实现了PASCAL VOC的改进分割(相对于2012年的67.2%平均IU提高了30%),NYUDv 2,SIFT Flow和PASCAL-Context,而对于典型图像,推理需要十分之一秒。
2016-05-20 cs.CV
Multi Modal Convolutional Neural Networks for Brain Tumor Segmentation
Istanbul Technical University(伊斯坦布尔理工大学)
在这项工作中,我们提出了一个多模态卷积神经网络(CNN)的方法来分割脑肿瘤。我们研究了如何在CNN框架下有效地结合不同的模态。我们将以前用于视频识别问题的各种融合方法应用于脑肿瘤分割问题,并从内存和性能方面研究了它们的效率。我们的实验在BRATS数据集上进行,引导我们得出这样的结论,即学习每种模态的单独表示并将它们组合用于脑肿瘤分割可以提高CNN系统的性能。
2018-09-20 cs.CV
Prostate Segmentation from Ultrasound Images using Residual Fully Convolutional Network
基于医学成像的前列腺癌诊断程序使用术中经直肠超声(TRUS)成像来可视化前列腺形状和位置以收集组织样本。从前列腺进行正确的组织采样需要在TRUS图像中进行准确的前列腺分割。为了实现这一目标,本研究使用了一种基于残差连接的全卷积网络。这种分割技术的优点是,它不需要对TRUS图像进行预处理来执行分割。因此,它提供了一个更快和直接的前列腺分割TRUS图像。结果表明,该技术可以实现约86%的骰子相似性的准确性,只有很少的TRUS数据集。
2019-03-21 cs.CV
3D segmentation of mandible from multisectional CT scans by convolutional neural networks
University Medical Centre Groningen(格罗宁根大学医学中心)
在虚拟手术规划过程中,下颌骨CT扫描的分割对于三维手术规划至关重要,以便获得患者骨骼的详细表面表示。由于下颌骨的形状和大小在个体之间存在很大差异,因此在CT扫描中自动分割下颌骨是一项具有挑战性的任务。为了解决这一挑战,我们提出了一个卷积神经网络的方法,通过考虑连续的解剖结构,通过不同的平面在CT扫描的下颌骨分割。所提出的卷积神经网络采用了U-Net的架构,然后将来自三个不同平面的所得2D分割组合成3D分割。我们实现了这样的分割方法对11颈部CT扫描,然后评估性能。我们在两个测试下颌骨分割上实现了平均骰子系数$ 0.89 $。实验结果表明,我们提出的方法在CT扫描下颌骨分割具有较高的准确性。
2018-09-18 cs.CV
3D Densely Convolutional Networks for Volumetric Segmentation
Sungkyunkwan University(成均馆大学)
在等强度阶段,由于组织之间的低对比度,准确的体积图像分割是一项具有挑战性的任务。在本文中,我们提出了一种基于密集卷积网络的新型深度网络架构,用于体积脑分割。所提出的网络架构提供了层之间的密集连接,旨在改善网络中的信息流。通过连接精细和粗糙密集块的特征图,它允许捕获多尺度上下文信息。实验结果表明,所提出的方法优于现有的方法,在分割精度和参数效率方面的MICCAI大挑战6个月的婴儿大脑MRI分割。
2017-09-13 cs.CV
Dense Pooling layers in Fully Convolutional Network for Skin Lesion Segmentation
Isfahan University of Technology(伊斯法罕理工大学);University of British Columbia(不列颠哥伦比亚大学);University of Michigan(密歇根大学);McMaster University(麦克马斯特大学)
医学图像分析的一个基本任务是图像的分割和准确的边界检测。皮肤图像中的病变分割是计算机检测皮肤癌的重要步骤。然而,许多国家的最先进的分割方法在其边界检测阶段的不足之处。本文提出了一种新的全卷积网络,具有新的密集池层,用于皮肤图像中病变区域的分割。该网络导致皮肤病变数据集上的病变的高度准确的分割,其在皮肤病变分割中优于最先进的算法。
2019-08-31 cs.CV
Texture segmentation with Fully Convolutional Networks
Dublin City University(都柏林城市大学)
在过去的十年中,深度学习为包括纹理分析在内的广泛计算机视觉任务的进步做出了贡献。本文提出了一种基于深度卷积神经网络的纹理分割新方法,该方法与经典的基于滤波器组的纹理分割方法具有相同的思想。本文提出了几种训练全卷积网络的方法,用于纹理的分割.我们特别指出,这些网络可以学习识别和分割一种类型的纹理,例如从纹理识别数据集(没有训练分割)中识别木材和草。我们证明了全卷积网络可以从重复模式中学习,从单个图像甚至图像的一部分中分割出特定的纹理。我们利用这些发现开发了一种方法,该方法在一系列监督和无监督实验中进行评估,并在布拉格纹理分割数据集上改进了现有技术。
2017-03-15 cs.CV
Semantic Binary Segmentation using Convolutional Networks without Decoders
Department of Computer Science(计算机科学系);University of Saskatchewan, Canada(萨斯喀彻温大学)
在本文中,我们提出了一个有效的架构,语义图像分割使用的深度到空间(D2 S)操作。我们的D2 S模型由标准的CNN编码器组成,然后是最终卷积特征映射的深度到空间重新排序。我们的方法消除了传统的编码器-解码器分割模型的解码器部分,并减少了几乎一半的计算量。作为DeepGlobe道路提取竞赛的参与者,我们在相应的道路分割数据集上评估了我们的模型。我们高效的D2 S模型表现出与标准分割模型相当的性能,计算成本低得多。
2018-05-25 cs.CV
Synthetic Convolutional Features for Improved Semantic Segmentation
CISPA Helmholtz Center for Information Security(CISPA 亥姆霍兹信息安全中心);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
最近,基于学习的图像合成已经能够生成高分辨率图像,无论是应用流行的对抗训练还是强大的感知损失。然而,成功地利用合成数据来改进具有附加合成图像的语义分割仍然具有挑战性。因此,我们建议生成中间卷积特征,并提出第一种适合这种中间卷积特征的合成方法。这使我们能够从标签掩码中生成新的特征,并将它们成功地包含到训练过程中,以提高语义分割的性能。在两个具有挑战性的数据集Cityscapes和ADE20K上的实验结果和分析表明,我们生成的特征提高了分割任务的性能。
2020-09-18 cs.CV
BoxSup: Exploiting Bounding Boxes to Supervise Convolutional Networks for Semantic Segmentation
Microsoft Research(微软研究院)
最近领先的语义分割方法依赖于使用人工注释的像素级分割掩码训练的深度卷积网络。这种像素精确的监督需要昂贵的标记工作,并限制了通常受益于更多训练数据的深度网络的性能。在本文中,我们提出了一种方法,达到竞争力的准确性,但只需要容易获得的限界框注释。其基本思想是在自动生成区域建议和训练卷积网络之间进行切换。这两个步骤逐渐恢复分割掩码以改善网络,反之亦然。我们的方法称为BoxSup,仅由框监督产生有竞争力的结果,与相同设置下完全由掩码监督的强基线相当。通过利用大量的边界框,BoxSup进一步释放了深度卷积网络的力量,并在PASCAL VOC 2012和PASCAL-CONTEXT上产生了最先进的结果。
2015-05-18 cs.CV
Convolutional Gated Recurrent Networks for Video Segmentation
University of Alberta(阿尔伯塔大学)
语义分割最近取得了重大进展,其中全卷积神经网络表现良好。然而,大多数以前的工作集中在改善单图像分割。据我们所知,没有以前的工作已经利用了时间视频信息的循环网络。在本文中,我们介绍了一种新的方法,隐式地利用时间数据的视频在线语义分割。该方法依赖于嵌入到门控递归架构中的完全卷积网络。该设计接收一系列连续的视频帧,并输出最后一帧的分割。卷积门控递归网络用于递归部分,以保持图像中的空间连通性。我们提出的方法可以应用于在线和批量分割。该架构进行了测试的二进制和语义视频分割任务。实验在SegTrack V2、Davis、CityScapes和Synthia的最新基准上进行。在我们所有的实验中,使用递归的全卷积网络提高了基线网络的性能。也就是说,SegTrack 2和Davis的F测量值分别提高了5%和3%,Synthia的平均IoU提高了5.7%,CityScapes的分类平均IoU提高了3.5%。RFCN网络的性能取决于其基准全卷积网络。因此,RFCN架构可以被看作是一种通过利用视频中的时空信息来改进其基线分割网络的方法。
2016-11-21 cs.CV
Accurate Lung Segmentation via Network-Wise Training of Convolutional Networks
Lunit Inc.(Lunit 公司)
本文介绍了一种基于深度卷积神经网络的胸部X光片肺部精确分割模型。我们的模型是基于atrous卷积层,以有效地增加过滤器的视野。为了进一步提高分割性能,我们还提出了一个多阶段的训练策略,网络明智的训练,当前阶段的网络是由输入图像和前阶段网络的输出。结果表明,这种策略有能力减少错误的预测标签,并产生光滑的边界的肺野。我们评估了一个共同的基准数据集,JSRT,并实现了国家的最先进的分割性能与更少的模型参数。
2017-08-02 cs.CV
3D Semantic Segmentation with Submanifold Sparse Convolutional Networks
Facebook AI Research(Facebook人工智能研究院);University of Oxford(牛津大学)
卷积网络是分析图像、视频和3D形状等时空数据的事实标准。虽然其中一些数据自然很密集(例如,照片),许多其他数据源本质上是稀疏的。示例包括使用LiDAR扫描仪或RGB-D相机获得的3D点云。卷积网络的标准“密集”实现在应用于这种稀疏数据时非常低效。我们引入了新的稀疏卷积运算,旨在更有效地处理空间稀疏数据,并使用它们来开发空间稀疏卷积网络。我们展示了强大的性能所产生的模型,称为子流形稀疏卷积网络(SSCN),在两个任务,涉及语义分割的三维点云。特别是,我们的模型在最近的语义分割竞赛的测试集上优于所有现有的最先进的模型。
2017-11-28 cs.CV
Star Shape Prior in Fully Convolutional Networks for Skin Lesion Segmentation
Simon Fraser University(西蒙弗雷泽大学)
语义分割是实现医学图像判读自动化的重要基础。最近,深度卷积神经网络已成为逐像素类别预测任务的首选。虽然在传统的基于能量的分割方法中已经证明合并关于目标对象的结构的先验知识是有效的,但是还没有将先验知识编码到深度学习框架中的明确方式。在这项工作中,我们提出了一个新的损失项,将星形先验编码到端到端可训练全卷积网络(FCN)框架的损失函数中。我们惩罚FCN预测图中的非星形段,以保证分割结果的全局结构。我们的实验证明了通过星形先验正则化FCN参数的优势,并且我们在ISBI 2017皮肤分割挑战数据集上的结果在$21$参与团队中的分割任务中获得了第一名。
2018-06-21 cs.CV
A Multiscale Patch Based Convolutional Network for Brain Tumor Segmentation
Stryker Corporation(史赛克公司)
本文提出了一种基于多尺度块的卷积神经网络,用于多模态3D MR图像中脑肿瘤的自动分割。我们使用多尺度深度监督和输入来训练卷积网络。我们评估了所提出的方法在BRATS 2017分割挑战中的有效性,在该挑战中,我们分别获得了增强肿瘤核心、整个肿瘤和肿瘤核心的0.755、0.900、0.782和95% Hausdorff距离(3.63 mm、4.10 mm和6.81 mm)的骰子分数。
2017-10-06 cs.CV q-bio.NC
Timestamp-Supervised Action Segmentation with Graph Convolutional Networks
Retrocausal, Inc.(Retrocausal公司)
我们介绍了一种新的方法与时间戳监督的时间活动分割。我们的主要贡献是一个图卷积网络,它以端到端的方式学习,利用帧特征和相邻帧之间的连接,从稀疏的时间戳标签生成密集的逐帧标签。所生成的密集逐帧标记然后可以用于训练分割模型。此外,我们还提出了一个框架,用于交替学习分割模型和图卷积模型,首先对学习的模型进行迭代,然后迭代地细化。在四个公共数据集上进行的详细实验,包括50个沙拉,GTEA,早餐和桌面组装,表明我们的方法优于多层感知器基线,同时在时间戳监督的时间活动分割方面与最先进的技术相当或更好。
2022-08-02 cs.CV
Hypergraph Convolutional Networks for Weakly-Supervised Semantic Segmentation
Télécom Paris - Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院);Università di Napoli Parthenope(那不勒斯帕泰诺佩大学);La Rochelle Université(拉罗谢尔大学)
语义分割是计算机视觉中的一个基本课题。已经提出了几种深度学习方法用于语义分割,并取得了出色的效果。然而,这些模型需要大量密集注释的图像。为了解决这个问题,我们提出了一种新的算法,使用超图卷积网络弱监督语义分割(HyperGCN-WSS)。我们的算法从数据集中的图像构造空间和k-最近邻(k-NN)图来生成超图。然后,我们训练一个专门的超图卷积网络(HyperGCN)架构,使用一些微弱的信号。HyperGCN的输出被命名为伪标签,稍后用于训练DeepLab模型以进行语义分割。HyperGCN-WSS在PASCAL VOC 2012数据集上进行语义分割评估,使用涂鸦或点击作为弱信号。我们的算法表现出竞争力的性能对以前的方法。
2022-10-11 cs.CV
Automatic Liver Segmentation with Adversarial Loss and Convolutional Neural Network
Ortadoğu Teknik Üniversitesi(中东技术大学)
医学图像的自动分割是医学信息领域的一项重要工作,它节省了专家的时间,避免了人为因素的影响。在这项工作中,提出了一种基于条件对抗网络和全卷积网络的方法用于肝脏MRI的自动分割。该方法无需任何后处理,在2018年SIU肝脏分割挑战赛中获得第二名,其数据由Dokuz Eylül大学提供。在本文中,还提出了一些改进的后处理步骤,它表明,与这些补充,该方法优于其他基线方法。
2018-11-28 cs.CV
Learning High-level Prior with Convolutional Neural Networks for Semantic Segmentation
University of Science and Technology of China(中国科学技术大学);Tsinghua University(清华大学);The Hong Kong University of Science and Technology(香港科技大学)
提出了一种融合高层先验信息的卷积神经网络用于图像语义分割。受人类视觉识别系统的启发,我们设计了一个由高层编码、中层分割和底层图像组成的三层生成结构,为语义分割引入全局先验。基于这种结构,我们提出了一个生成模型,称为条件变分自动编码器(CVAE),可以建立这三个层背后的链接。这些重要环节包括从图像中提取高层信息的图像编码器、从分割中提取高层信息的分割编码器和从高层先验图像和输入图像中输出语义分割的混合解码器。我们从理论上推导出的语义分割作为这些链接参数化的优化问题。最后,优化问题使我们能够利用最先进的全卷积网络结构来实现上述编码器和解码器。在几个有代表性的数据集上的实验结果表明,我们的最高性能的语义分割。
2015-11-22 cs.CV
Recurrent Residual Convolutional Neural Network based on U-Net (R2U-Net) for Medical Image Segmentation
University of Dayton(代顿大学);Comcast Labs(康卡斯特实验室)
基于深度学习(DL)的语义分割方法在过去几年中一直提供最先进的性能。更具体地,这些技术已经成功地应用于医学图像分类、分割和检测任务。其中一种深度学习技术U-Net已成为这些应用程序中最受欢迎的技术之一。本文提出了一种基于U-Net的递归卷积神经网络(RCNN)和一种基于U-Net模型的递归残差卷积神经网络(RRCNN),分别命名为RU-Net和R2 U-Net。所提出的模型利用了U-Net、残差网络以及RCNN的强大功能。这些建议的架构分割任务有几个优点。首先,残差单元有助于训练深层架构。其次,使用递归残差卷积层进行特征积累,确保了分割任务的更好特征表示。第三,它允许我们设计更好的U-Net架构,具有相同数量的网络参数,具有更好的医学图像分割性能。所提出的模型进行了测试,在三个基准数据集,如视网膜图像中的血管分割,皮肤癌分割,肺部病变分割。实验结果表明,与包括U-Net和残差U-Net(ResU-Net)在内的等效模型相比,该模型在分割任务上具有更好的性能。
2018-05-29 cs.CV
Projective Skip-Connections for Segmentation Along a Subset of Dimensions in Retinal OCT
Medical University of Vienna(维也纳医科大学)
在医学成像中,存在临床相关的分割任务,其中输出掩模是到输入图像维度的子集的投影。在这项工作中,我们提出了一种新的卷积神经网络架构,可以有效地学习生成比输入图像更低维的分割掩码。该网络仅在输入空间维度的子集中恢复编码表示,并在其他维度中保持表示不变。新提出的投影跳跃连接允许链接的编码器和解码器在一个UNet的结构。我们评估了所提出的方法在视网膜光学相干断层扫描(OCT)的两个临床相关的任务:地图状萎缩和视网膜血管分割。所提出的方法优于当前最先进的方法上使用的所有OCT数据集,包括3D体积和相应的2D en-face掩模。所提出的架构填补了图像分类和ND图像分割之间的方法差距。
2021-08-02 cs.CV eess.IV
3D Global Convolutional Adversarial Network\\ for Prostate MR Volume Segmentation
Northwestern Polytechnical University(西北工业大学);University of Sydney(悉尼大学);University of Pittsburgh(匹兹堡大学);Royal Prince Alfred Hospital(皇家阿尔弗雷德亲王医院)
已经开发了先进的深度学习方法,以2D或3D全卷积方式进行前列腺MR体积分割。然而,2D方法往往具有有限的分割性能,因为在逐切片分割过程中丢弃了大量的前列腺体积的空间信息;并且3D方法也有改进的空间,因为它们使用各向同性核来执行3D卷积,而大多数前列腺MR体积具有各向异性的空间分辨率。此外,全卷积结构方法在定位问题上取得了良好的性能,但忽略了分割任务的逐体素分类。在本文中,我们提出了一个3D全局卷积对抗网络(3D GCA-Net),以解决有效的前列腺MR体积分割。我们首先设计了一个3D ResNet编码器来从前列腺扫描中提取3D特征,然后开发了由多尺度3D全局卷积块和3D边界细化块组成的解码器,以同时解决体积分割的分类和定位问题。此外,我们在训练阶段将编码器-解码器分割网络与对抗网络相结合,以加强长期空间预测的连续性。在整个提出的模型中,我们使用各向异性卷积处理来更好地对前列腺MR扫描进行特征学习。我们在两个公共前列腺MR数据集上评估了我们的3D GCA-Net模型,并实现了最先进的性能。
2018-07-18 cs.CV
Review on Indoor RGB-D Semantic Segmentation with Deep Convolutional Neural Networks
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);IMT Lille-Douai(里尔-杜埃国立高等矿业电信学校);Institut Mines-Télécom(法国国立高等矿业电信学校联盟)
许多研究工作都集中在利用室内深度传感器的互补几何信息来执行深度卷积神经网络的视觉任务,特别是语义分割。这些工作处理被称为“RGB-D室内语义分割“的特定视觉任务。这项任务的挑战和解决方案不同于其标准RGB对应。这就产生了一个新的活跃的研究课题。本文的目的是介绍用于RGB-D室内语义分割的深度卷积神经网络领域。这篇评论介绍了最流行的公共数据集,提出了最近的贡献所采用的策略的分类,评估了当前最先进的性能,并讨论了剩余的挑战和未来工作的有希望的方向。
2021-05-25 cs.CV
Learning Transferrable Knowledge for Semantic Segmentation with Deep Convolutional Neural Network
POSTECH(浦项科技大学);University of Michigan(密歇根大学)
提出了一种基于深度卷积神经网络(DCNN)的弱监督语义分割算法。与现有的弱监督方法相反,我们的算法利用可用于不同类别的辅助分割注释来指导仅具有图像级类别标签的图像的分割。为了使分割知识跨类别的可移植性,我们设计了一个解耦的编码器-解码器架构与注意力模型。在这种架构中,该模型使用注意力模型生成图像中呈现的每个类别的空间高光,随后使用解码器为每个高光区域生成前景分割。结合注意力模型,我们表明,在不同类别的分割注释训练的解码器可以提高弱监督语义分割的性能。当我们的模型使用Microsoft COCO数据集中60个专有类别的注释进行训练时,与挑战PASCAL VOC 2012数据集的最新弱监督技术相比,该算法表现出显着提高的性能。
2015-12-24 cs.CV
RiFCN: Recurrent Network in Fully Convolutional Network for Semantic Segmentation of High Resolution Remote Sensing Images
Remote Sensing Technology Institute (IMF), German Aerospace Center (DLR)(德国航空航天中心(DLR)遥感技术研究所(IMF));Signal Processing in Earth Observation (SiPEO), Technical University of Munich (TUM)(慕尼黑工业大学(TUM)地球观测信号处理(SiPEO))
高分辨率遥感图像的语义分割是一项基础性的、具有挑战性的工作。卷积神经网络(CNN),如全卷积网络(FCN)和SegNet,在许多分割任务中表现出出色的性能。这些成功的一个关键支柱是从卷积层的特征中挖掘有用的信息,以生成高分辨率的分割图。例如,FCN非线性地组合了从最后一个卷积层提取的高级特征;而SegNet利用了一个解卷积网络,该网络只接受最后一个卷积层的粗糙的高级特征图作为输入。然而,如何更好地融合多层次卷积特征映射用于遥感图像的语义分割还有待探索。在这项工作中,我们提出了一种新的双向网络,称为全卷积网络中的递归网络(RiFCN),它是端到端可训练的。它有一个前向流和一个后向流。前者是一种用于特征提取的分类CNN架构,它取一幅输入图像,产生从浅到深的多级卷积特征图;而在后一种方法中,为了实现精确的边界推断和语义分割,较浅层中的边界感知高分辨率特征图和高级别但低分辨率的特征被递归地嵌入到学习框架中(从深到浅)来生成融合的特征表示,该特征表示不仅绘制了高级语义信息的整体图,而且还绘制了低级细粒度细节的整体图。两个广泛使用的高分辨率遥感数据集的语义分割任务,ISPRS波茨坦和Inria航空影像标注数据集的实验结果表明,所提出的方法相比,其他研究方法的竞争力的性能。
2018-05-05 cs.CV
ReLayNet: Retinal Layer and Fluid Segmentation of Macular Optical Coherence Tomography using Fully Convolutional Network
Technische Universität München(慕尼黑工业大学);Ludwig-Maximilians-University(路德维希-马克西米利安大学);Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校);Johns Hopkins University(约翰斯·霍普金斯大学)
光学相干断层扫描(OCT)用于评估视网膜层的糖尿病黄斑水肿的非侵入性诊断。在本文中,我们提出了一种新的全卷积深度架构,称为ReLayNet,用于眼睛OCT扫描中视网膜层和流体块的端到端分割。ReLayNet使用卷积块(编码器)的收缩路径来学习上下文特征的层次结构,然后使用卷积块(解码器)的扩展路径进行语义分割。ReLayNet被训练来优化由加权逻辑回归和Dice重叠损失组成的联合损失函数。该框架在公开的基准数据集上进行了验证,并与五种最先进的分割方法进行了比较,包括两种基于深度学习的方法,以证实其有效性。
2017-07-07 cs.CV
Anatomical Priors in Convolutional Networks for Unsupervised Biomedical Segmentation
MIT(麻省理工学院);MGH(麻省总医院);Cornell University(康奈尔大学)
我们考虑将生物医学图像分割成感兴趣的解剖区域的问题。我们专门解决了常见的情况下,我们没有配对的训练数据,包含图像和它们的手动分割。相反,我们采用不成对的分割图像来建立解剖先验。重要的是,这些分割可以从来自与当前任务不同的数据集和成像模态的成像数据导出。我们引入了一种生成概率模型,该模型采用通过卷积神经网络学习的先验知识来计算无监督设置中的分割。我们在结构脑MRI分割的背景下对所提出的方法进行了实证分析,使用了超过14,000次扫描的多研究数据集。我们的研究结果表明,解剖先验可以实现快速无监督分割,这通常是不可能使用标准卷积网络。解剖先验的集成可以促进在一系列新的临床问题中基于CNN的解剖分割,其中很少或没有注释可用,因此标准网络不可训练。该代码可在http://github.com/adalca/neuron上免费获得。
2019-03-07 cs.CV
3-D Convolutional Neural Networks for Glioblastoma Segmentation
Stanford University(斯坦福大学)
卷积神经网络(CNN)已经成为学习判别图像特征的强大工具。在本文中,我们提出了一个框架的三维全CNN模型胶质母细胞瘤分割的多模态MRI数据。通过将CNN模型推广到学习3-D肿瘤MRI数据的真正3-D卷积,所提出的方法利用独特的网络架构来解耦图像像素。具体来说,我们设计了一个具有预定义的高斯差分(DoG)滤波器的卷积层,以执行真正的3-D卷积,并在每个像素处结合局部邻域信息。然后,我们使用三个经过训练的卷积层来将体素与初始的3D卷积解耦。所提出的框架允许在MRI上识别高级别肿瘤结构。我们评估了274个肿瘤样本的BRATS分割数据集的分割性能。大量的实验结果表明,令人鼓舞的性能相比,国家的最先进的方法所提出的方法。我们的数据驱动方法在整个肿瘤胶质母细胞瘤分割中实现了89%的中位Dice评分准确度,揭示了从中等大小的MRI数据集学习的普遍低偏倚可能性。
2016-11-14 cs.CV
Microscopy Cell Segmentation via Convolutional LSTM Networks
Ben-Gurion University(本-古里安大学);The Kreitman School of Advanced Graduate Studies(克雷特曼高级研究生学院)
活细胞显微镜序列具有复杂的空间结构和复杂的时间行为,使其分析成为一项具有挑战性的任务。考虑到细胞分割问题,这在分析中起着重要的作用,可以使用卷积神经网络(CNN)捕获数据的空间特性。最近的方法使用卷积编码器-解码器(如U-Net)显示出有希望的分割结果。然而,这些方法受限于它们不能结合时间信息,这可以促进单独的触摸细胞或部分可见的细胞的分割。为了利用细胞动力学,我们提出了一种新的分割架构,该架构将卷积长短期记忆(C-LSTM)与U-Net集成在一起。该网络的独特架构使其能够在C-LSTM存储单元中捕获多尺度,紧凑,时空编码。该方法在细胞跟踪挑战中进行了评估,并获得了最先进的结果(Fluo-N2 DH-SIM+上第一,DIC-C2 DL-HeLa数据集上第二)。代码可在https://github.com/arbellea/LSTM-UNet.git上免费获得
2019-01-06 cs.CV
A Fully Convolutional Neural Network for Cardiac Segmentation in Short-Axis MRI
从磁共振成像数据集自动心脏分割是心脏病理的及时诊断和管理的重要步骤。我们建议通过应用深度全卷积神经网络架构来解决自动左心室和右心室分割的问题。我们的模型在单个学习阶段中从整个图像输入和地面事实进行端到端的有效训练,以在每个像素上进行推理。据我们所知,这是第一次应用完全卷积神经网络架构在心脏磁共振成像中进行逐像素标记。数值实验表明,我们的模型是鲁棒的,在一系列心脏数据集上的多个评价指标上优于以前的全自动方法。此外,我们的模型速度很快,可以利用图形处理单元等商品计算资源,实现大规模的最先进心脏分割。模型和代码可在https://github.com/vuptran/cardiac-segmentation上获得
2017-04-27 cs.CV
A Fast Learning Algorithm for Image Segmentation with Max-Pooling Convolutional Networks
IDSIA -- USI -- SUPSI(IDSIA人工智能研究所——瑞士意大利语区大学——瑞士意大利语区应用科学大学);ArcelorMittal(安赛乐米塔尔)
我们提出了一个快速的算法训练MaxPooling卷积网络分割图像。这种类型的网络在各种任务中产生破纪录的性能,但通常是在计算昂贵的逐补丁基础上训练的。我们的新方法在单次通过中处理每个训练图像,这是非常有效的。我们在不同的场景中验证了该方法,并报告了1500倍的速度。在一个钢铁缺陷自动检测和分割的应用中,我们以较短的训练时间获得了优异的性能。
2013-02-07 cs.CV
Convolutional Neural Networks for the segmentation of microcalcification in Mammography Imaging
IMT School for Advanced Studies Lucca(卢卡IMT高等研究院);Fondazione Gabriele Monasterio(加布里埃莱·莫纳斯特里奥基金会);Azienda USL Toscana Nord Ovest (ATNO)(托斯卡纳西北部地方卫生局(ATNO))
微钙化簇可能是乳腺癌的早期征兆。在本文中,我们提出了一种新的方法,基于卷积神经网络的检测和分割的微钙化簇。在这项工作中,我们使用了283个乳房X线照片训练和验证我们的模型,获得了98.22%的准确率在初步可疑区域的检测和97.47%的分割任务。我们的研究结果表明,深度学习如何成为一种有效的工具,在乳房X光检查期间有效地支持放射科医生。
2018-09-11 cs.CV
PAN: Projective Adversarial Network for Medical Image Segmentation
University of Central Florida(中佛罗里达大学);Mayo Clinic Cancer Center(妙佑医疗国际癌症中心)
对抗性学习已被证明是有效的捕获长距离和高级别的标签识别在语义分割。独特的医学成像,捕捉3D语义在一个有效的计算效率的方式仍然是一个悬而未决的问题。在这项研究中,我们通过提出一种新的投影对抗网络(PAN)来解决这种计算负担,该网络通过2D投影融合了高级3D信息。此外,我们在我们的框架中引入了一个注意力模块,这有助于直接从我们的分割器到我们的对抗网络的全局信息的选择性整合。对于临床应用,我们选择从CT扫描中分割胰腺。我们提出的框架实现了最先进的性能,而不增加分割器的复杂性。
2019-06-11 cs.CV cs.LG eess.IV
Building Segmentation through a Gated Graph Convolutional Neural Network with Deep Structured Feature Embedding
Technical University of Munich(慕尼黑工业大学);German Aerospace Center (DLR)(德国航空航天中心)
由于建筑物形状的复杂性,从光学图像中自动提取建筑物仍然是一个挑战。语义分割是一种有效的方法。深度卷积神经网络(DCNN)的最新发展使精确的像素级分类任务成为可能。然而,一个核心问题仍然存在:边界的精确划定。深度架构通常无法产生具有准确边界的细粒度分割,因为它们是渐进式下采样的。因此,我们引入了一个通用的框架来克服这个问题,将图卷积网络(GCN)和深度结构化特征嵌入(DSFE)集成到端到端的工作流程中。此外,我们提出了一种门控图卷积网络,而不是使用经典的图卷积神经网络,它能够细化弱和粗语义预测,以生成清晰的边界和细粒度的像素级分类。以建筑物足迹的语义分割为例,比较了不同的特征嵌入结构和图神经网络。我们提出的框架与新的GCN架构优于国家的最先进的方法。虽然我们在这项工作中的主要任务是建筑足迹提取,所提出的方法可以普遍适用于其他二进制或多标签分割任务。
2019-11-08 cs.CV
Combining Fully Convolutional and Recurrent Neural Networks for 3D Biomedical Image Segmentation
University of Notre Dame(圣母大学)
三维图像分割是生物医学图像分析中的一个基本问题。深度学习(DL)方法已经实现了最先进的分割性能。为了利用使用神经网络的3D上下文,已知的DL分割方法(包括3D卷积、与2D图像切片正交的平面上的2D卷积以及多个方向上的LSTM)都与常见3D生物医学图像中的高度各向异性尺寸不兼容。在本文中,我们提出了一种新的用于3D图像分割的DL框架,该框架基于全卷积网络(FCN)和递归神经网络(RNN)的组合,它们分别负责利用切片内和切片间上下文。据我们所知,这是第一个明确利用3D图像各向异性的3D图像分割DL框架。使用ISBI神经元结构分割挑战赛的数据集和内部图像堆栈进行3D真菌分割进行评估,与已知的基于DL的3D分割方法相比,我们的方法取得了令人鼓舞的结果。
2016-09-06 cs.CV
Convolutional Simplex Projection Network (CSPN) for Weakly Supervised Semantic Segmentation
University of Bonn(波恩大学);University of Siegen(锡根大学)
由于完全注释的图像的稀缺性,弱监督语义分割已经成为人们越来越感兴趣的主题。我们介绍了一种新的方法来解决弱监督语义分割与深度卷积神经网络(CNN)。该方法引入了一种新的层,该层利用类对象的面积约束对神经网络的输出应用单纯形投影。所提出的方法是通用的,可以无缝集成到任何CNN架构。此外,投影层允许强监督模型通过替换地面真值标签轻松地适应弱监督模型。我们的实验表明,在CNN的输出上应用这样的操作可以提高图像级标签的弱监督设置中语义分割的准确性。
2018-07-24 cs.CV
2D-3D Fully Convolutional Neural Networks for Cardiac MR Segmentation
在本文中,我们使用深度卷积神经网络(CNN)开发了一个用于全自动心脏MR图像分割的2D和3D分割管道。我们的模型是使用ACD Challenge 2017数据集从头开始进行端到端训练的,该数据集由100项研究组成,每项研究都包含舒张末期和收缩末期的心脏MR图像。我们表明,我们的分割模型在距离度量方面达到了接近最先进的性能分数,并且在临床参数方面具有令人信服的准确性。通过引入一种新的骰子损失函数及其与交叉熵损失的组合,提供了一个比较分析。通过探索不同的网络结构和综合实验,我们讨论了获得最佳模型性能的几个关键见解,这也是本次挑战的核心主题。
2017-07-31 cs.CV
3DConvCaps: 3DUnet with Convolutional Capsule Encoder for Medical Image Segmentation
University of Arkansas(阿肯色大学)
卷积神经网络(CNN)在医学图像分割中取得了很好的效果。然而,CNN需要大量的训练数据,并且无法处理对象的姿态和变形。此外,它们的池化层倾向于丢弃重要信息,例如位置,并且CNN对旋转和仿射变换敏感。胶囊网络是最近的一种新架构,通过用动态路由和卷积步幅取代池化层,在部分-整体表示学习中实现了更好的鲁棒性,这在数字分类和对象分割等流行任务上显示出了潜在的结果。在本文中,我们提出了一种带有卷积胶囊编码器(称为3DConvCaps)的3D编码器-解码器网络,用于使用卷积层学习较低级别的特征(短程注意力),同时使用胶囊层对较高级别的特征(长程依赖性)进行建模。我们在iSeg-2017、Hippocampus和Cardiac等多个数据集上的实验表明,我们的3D 3DConvCaps网络的性能大大优于以前的胶囊网络和3D-UNets。我们进一步在收缩和扩展路径下的卷积层和胶囊层的各种配置下对网络效率和分割性能进行了消融研究。
2022-06-26 cs.CV
Predicting Future Instance Segmentation by Forecasting Convolutional Features
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立高等物理、数学与信息学院);New York University(纽约大学);Facebook AI Research(Facebook人工智能研究院)
预测未来事件是智能行为的重要前提。视频预测已被研究作为一个代理任务,实现这一目标。最近的工作已经表明,为了预测未来帧的语义分割,在语义级的预测比预测RGB帧然后分割这些帧更有效。在本文中,我们考虑更具挑战性的问题,未来的实例分割,另外分割出个别对象。为了处理每个图像不同数量的输出标签,我们在Mask R-CNN实例分割模型的固定大小卷积特征空间中开发了一个预测模型。我们将Mask R-CNN的“检测头”应用于预测的特征,以产生未来帧的实例分割。实验表明,该方法显着提高了基于光流和重新利用的实例分割架构的强基线。
2018-10-03 cs.CV
Fusing Hierarchical Convolutional Features for Human Body Segmentation and Clothing Fashion Classification
School of Computer Science, Wuhan University(武汉大学计算机学院)
服装时尚反映了人们在穿着上的共同审美观。识别服装的流行时间对个人和行业都有意义。本文在服装款式逐年变化的假设下,将服装款式识别问题映射为服装款式分类问题。具体而言,提出了一种新型的深度神经网络,该网络通过在全卷积网络中融合多尺度卷积特征来实现准确的人体分割,然后对分割的部分进行特征学习和时尚分类,避免图像背景的影响。在实验中,收集了连续8年的9,339个时尚图像用于性能评估。实验结果验证了本文提出的人体分割和服装分类方法的有效性。
2018-03-13 cs.CV
Comparison of U-net-based Convolutional Neural Networks for Liver Segmentation in CT
Fraunhofer MEVIS(弗劳恩霍夫医学图像计算研究所);University of Bremen(不来梅大学);Radboud University(拉德堡德大学);Yokohama City University(横滨市立大学)
在CT肝脏分割的各种方法已被提出:除了统计形状模型,这在这一研究领域发挥了重要作用,新的方法的基础上,卷积神经网络最近已经推出。使用一组219肝脏CT数据集与参考分割肝脏手术计划,我们评估了几个神经网络分类器的性能的基础上,二维和三维U-网络架构。一个有趣的观察结果是,切片方式的方法表现惊人地好,平均和中值Dice系数高于0.97,并且在给定当前硬件和软件限制的情况下可能优于3D方法。
2018-10-09 cs.CV
Segmentation of Drosophila Heart in Optical Coherence Microscopy Images Using Convolutional Neural Networks
Lehigh University(理海大学);Hainan University(海南大学);Tianjin University(天津大学);Wuhan University(武汉大学);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院)
卷积神经网络是图像分割和分类的有力工具。在这里,我们使用这种方法来识别和标记果蝇的心脏区域在不同的发展阶段,在由自定义的光学相干显微镜(OCM)系统获得的横截面图像。使用我们训练有素的卷积神经网络模型,可以通过约86%的交集(IOU)标记多个心跳周期的心脏区域。自动分割的心脏区域可以准确地量化各种形态学和动力学心脏参数。本研究展示一种有效的心脏分割方法,以分析果蝇跳动心脏的OCM图像。
2018-07-21 cs.CV
Automatic Airway Segmentation in chest CT using Convolutional Neural Networks
Erasmus MC(伊拉斯谟大学医学中心);Erasmus MC-Sophia Children Hospital(伊拉斯谟大学医学中心-索菲亚儿童医院);University of Copenhagen(哥本哈根大学)
从胸部计算机断层扫描(CT)图像中分割气道树对于包括支气管扩张和慢性阻塞性肺疾病(COPD)在内的气道疾病的定量评估至关重要。然而,由于气道结构的高度复杂性,从CT扫描获得气道的准确分割是困难的。最近,深度卷积神经网络(CNN)已经成为许多分割任务的最新技术,特别是用于生物医学图像的所谓Unet架构。然而,其应用于气道的分割仍然是一个具有挑战性的任务。这项工作提出了一种简单但强大的方法,基于3D Unet进行分割的气道胸部CT。该方法在由12个CT组成的数据集上进行训练,并在另外6个CT上进行测试。我们评估了不同损失函数和数据增强技术的影响,并在地面实况和我们的自动分割之间达到了0.8的平均骰子系数。
2018-08-14 cs.CV
Joint Background Reconstruction and Foreground Segmentation via A Two-stage Convolutional Neural Network
University of Chinese Academy of Sciences(中国科学院大学)
视频序列中的前景分割是计算机视觉的一个经典课题。由于缺乏语义和先验知识,现有的方法很难很好地处理复杂场景。因此,在本文中,我们提出了一个端到端的两阶段深度卷积神经网络(CNN)框架,用于视频序列中的前景分割。在第一阶段,卷积编码器-解码器子网络被用来重建背景图像和编码丰富的背景场景的先验知识。在第二阶段,重建的背景和当前帧输入到一个多通道全卷积子网络(MCFCN)进行准确的前景分割。在两级CNN中,重建损失和分割损失被联合优化。背景图像和前景对象以端到端的方式同时输出。此外,通过在预训练过程中结合前景和背景的先验语义知识,该方法可以在抑制背景噪声的同时保持前景对象的完整性。在CDNet 2014上的实验表明,我们的方法比最先进的方法高出4.9%。
2017-07-24 cs.CV
Automatic Liver Lesion Segmentation Using A Deep Convolutional Neural Network Method
Elekta Inc.(医科达公司)
肝脏病灶分割是肝癌诊断、治疗计划制定和治疗效果评价的重要环节。LiTS(Liver Tumor Segmentation Challenge)为比较不同的自动肝脏病变分割方法提供了一个通用的测试平台。我们通过开发深度卷积神经网络(DCNN)方法参与这一挑战。特定的DCNN模型在2.5D中工作,因为它将相邻切片的堆栈作为输入,并产生与中心切片对应的分割图。该模型共有32层,利用了U-Net [1]的长距离级联连接和ResNet [2]的短距离残差连接。该模型使用130个LiTS训练数据集进行训练,并在70次测试CT扫描中获得了0.67的平均Dice得分,在ISBI 2017会议上排名第一。
2017-04-24 cs.CV
Low complexity convolutional neural network for vessel segmentation in portable retinal diagnostic devices
Isfahan University of Technology(伊斯法罕理工大学);University of Michigan(密歇根大学)
视网膜血管信息有助于视网膜疾病的筛查和诊断。视网膜血管分割提供了关于血管的有用信息,并且可以由医生在眼内手术和视网膜诊断操作期间使用。卷积神经网络(CNN)是医学图像分类和分割的有力工具。CNN的复杂性使得它们难以在便携式设备(例如双目间接检眼镜)中实现。本文提出了一种基于量化和剪枝相结合的CNN简化方法。全连接层被量化,卷积层被修剪,以具有简单有效的网络结构。STARE数据集上的实验表明,我们的简化网络能够分割视网膜血管,具有可接受的精度和低复杂度。
2018-02-21 cs.CV
TricorNet: A Hybrid Temporal Convolutional and Recurrent Network for Video Action Segmentation
University of Rochester(罗切斯特大学)
近年来,动作分割作为构建自动系统以理解未修剪视频的里程碑受到了相当大的关注。它通常被建模为序列标记问题,但包含与文本解析或语音处理相比的内在和充分的差异。在本文中,我们介绍了一种新的混合时间卷积和递归网络(TricorNet),它具有编码器-解码器架构:编码器由一个层次的时间卷积内核组成,可以捕获不同动作的局部运动变化;解码器是一个层次的递归神经网络,能够在编码阶段之后学习和记忆长期动作依赖关系。我们的模型很简单,但在视频序列标记方面非常有效。在三个公共行为分割数据集上的实验结果表明,该模型的性能优于现有技术。
2017-05-22 cs.CV
Knowledge-based Fully Convolutional Network and Its Application in Segmentation of Lung CT Images
Shanghai Jiao Tong University(上海交通大学)
多种深度神经网络已被应用于医学图像分割,并取得了良好的效果。与自然图像不同,相同成像模态的医学图像的特征在于相同的图案,其指示相同的正常器官或组织位于图像中的相似位置。因此,在本文中,我们试图将医学图像的先验知识纳入神经网络的结构,以便先验知识可以用于准确的分割。基于这个想法,我们提出了一种新的深度网络,称为基于知识的全卷积网络(KFCN),用于医学图像分割。分析了分割函数和相应的误差。我们证明了KFCN存在一个渐近稳定的区域,这是传统的FCN不具备的。实验验证了我们的知识假设,先验知识纳入卷积核的KFCN,并表明KFCN可以实现合理的分割和令人满意的精度。
2018-05-22 cs.CV
Automatic Brain Tumor Detection and Segmentation Using U-Net Based Fully Convolutional Networks
Data Science Institute, Imperial College London(伦敦帝国理工学院数据科学研究所);National Heart and Lung Institute, Imperial College London(伦敦帝国理工学院国家心肺研究所)
脑肿瘤治疗计划和定量评估的一个主要挑战是确定肿瘤范围。无创磁共振成像(MRI)技术已成为无电离辐射脑肿瘤的一线诊断工具。从3D MRI体积中手动分割脑肿瘤范围是一项非常耗时的任务,并且性能高度依赖于操作者的经验。在这种情况下,一个可靠的全自动分割方法的脑肿瘤分割是必要的肿瘤范围的有效测量。在这项研究中,我们提出了一种全自动的脑肿瘤分割方法,该方法使用基于U-Net的深度卷积网络开发。我们的方法在多模态脑肿瘤图像分割(BRATS 2015)数据集上进行了评估,该数据集包含220个高级别脑肿瘤和54个低级别肿瘤病例。交叉验证表明,我们的方法可以有效地获得有前途的分割。
2017-06-03 cs.CV