Leveraging Uncertainty in Deep Learning for Pancreatic Adenocarcinoma Grading
Brunel University(布鲁内尔大学);University College London(伦敦大学学院)
与其他癌症相比,胰腺癌是最严重的癌症之一,因为它们是在癌症进展到晚期时被诊断出来的。目前诊断胰腺癌的手动组织学分级是费时的,往往导致误诊。在数字病理学中,基于人工智能的癌症分级必须在预测和不确定性量化方面非常准确,以提高可靠性和可解释性,这对于获得临床医生对该技术的信任至关重要。我们提出了贝叶斯卷积神经网络用于MGG和HE染色图像的胰腺癌自动分级,以估计模型预测中的不确定性。我们发现,估计的不确定性与预测误差。具体而言,它是有用的,在设置接受阈值使用的度量,加权分类精度拒绝权衡和误分类成本控制的超参数,并可以在临床设置。
2022-06-15 cs.CV cs.LG eess.IV
CNN-based Survival Model for Pancreatic Ductal Adenocarcinoma in Medical Imaging
University of Toronto(多伦多大学);Lunenfeld-Tanenbaum Research Institute, Sinai Health System(西奈卫生系统卢嫩菲尔德-塔南鲍姆研究所);McMaster University(麦克马斯特大学);Hamilton Health Sciences(汉密尔顿健康科学中心);Sunnybrook Health Sciences Centre(桑尼布鲁克健康科学中心);Sunnybrook Research Institute(桑尼布鲁克研究所)
Cox比例风险模型(CPH)是临床研究中常用的生存分析模型。在定量医学成像(放射组学)研究中,CPH在特征约简和建模中起着重要作用。然而,CPH模型的基本线性假设限制了预测性能。此外,辐射组学特征的多重共线性和多重检验问题进一步阻碍了CPH模型的性能。在这项工作中,使用迁移学习,建立了基于卷积神经网络(CNN)的生存模型,并在可切除的胰腺导管腺癌(PDAC)患者的术前CT图像上进行了测试。提出的基于CNN的生存模型在一致性指数方面比传统的基于CPH的放射组学方法高出22%,为患者的生存模式提供了更好的拟合。所提出的基于CNN的生存模型在PDAC预后中优于基于CPH的放射组学管道。这种方法提供了一个更好的适合生存模式的基础上CT图像,并克服了传统的生存模型的局限性。
2019-06-25 cs.CV cs.LG eess.IV
Fully Automatic Deep Learning Framework for Pancreatic Ductal Adenocarcinoma Detection on Computed Tomography
Radboud University Medical Center(拉德堡德大学医学中心);Radboud Institute for Health Sciences(拉德堡德健康科学研究所)
早期发现可改善胰腺导管腺癌(PDAC)的预后,但具有挑战性,因为病变通常较小,并且在对比增强计算机断层扫描(CE-CT)上定义不清。深度学习可以促进PDAC诊断,但目前的模型仍然无法识别小(<2cm)病变。在这项研究中,使用最先进的深度学习模型来开发PDAC检测的自动框架,重点关注小病变。此外,还研究了整合周围解剖结构的影响。使用来自119名经病理证实的PDAC患者的队列和123名未患PDAC的患者的队列的CE-CT扫描来训练nnUnet以进行自动病变检测和分割(nnUnet_T)。训练另外两个nnUnet以研究解剖结构整合的影响:(1)分割胰腺和肿瘤(nnUnet_TP),(2)分割胰腺、肿瘤和多个周围解剖结构(nnUnet_MS)。一个外部的,公开的测试集被用来比较三个网络的性能。nnUnet_MS实现了最佳性能,整个测试集的接收器操作特征曲线下面积为0.91,<2cm的肿瘤为0.88,这表明最先进的深度学习可以检测到小PDAC并受益于解剖信息。
2021-12-02 cs.CV eess.IV q-bio.QM
Prognostic Value of Transfer Learning Based Features in Resectable Pancreatic Ductal Adenocarcinoma
University of Toronto(多伦多大学);Lunenfeld-Tanenbaum Research Institute(卢嫩菲尔德-塔南鲍姆研究所);Sinai Health System(西奈健康系统);McMaster University(麦克马斯特大学);Hamilton Health Sciences(汉密尔顿健康科学);Juravinski Hospital and Cancer Centre(朱拉文斯基医院及癌症中心);Sunnybrook Health Sciences Centre(桑尼布鲁克健康科学中心);Sunnybrook Research Institute(桑尼布鲁克研究所)
胰腺导管腺癌(PDAC)是最具侵袭性的癌症之一,预后极差。放射组学已经显示出在多种类型的癌症(包括PDAC)中的预后能力。然而,仅基于手工制作的放射组学特征的传统放射组学管道的预后价值是有限的。卷积神经网络(CNN)已被证明在计算机视觉任务中优于这些基于特征的模型。然而,从头开始训练CNN需要大样本量,这在大多数医学成像研究中是不可行的。作为一种替代解决方案,基于CNN的迁移学习已经显示出使用小数据集实现合理性能的潜力。在这项工作中,我们开发并验证了一种基于CNN的迁移学习方法,用于使用两个独立的可切除PDAC队列对PDAC患者的总生存率进行预测。提出的用于PDAC验证的深度迁移学习模型实现了0.74的受试者工作特征曲线下面积,显著高于传统放射组学模型(0.56)以及从头开始训练的CNN模型(0.50)。这些结果表明,深度迁移学习可以显着改善医学成像中使用小数据集的预后性能。
2019-08-21 cs.CV cs.LG eess.IV
Hyper-Pairing Network for Multi-Phase Pancreatic Ductal Adenocarcinoma Segmentation
The Johns Hopkins University(约翰斯·霍普金斯大学);Huazhong University of Science and Technology(华中科技大学);The Johns Hopkins University School of Medicine(约翰斯·霍普金斯大学医学院)
胰腺导管腺癌(PDAC)是最致命的癌症之一,总体五年生存率为8%。由于PDAC的细微纹理变化,胰腺双期成像被推荐用于更好地诊断胰腺疾病。在这项研究中,我们的目标是通过整合多相位信息(即,动脉期和静脉期)。为此,我们提出了超配对网络(HPN),这是一种3D全卷积神经网络,可以有效地整合来自不同阶段的信息。所提出的方法包括一个双路径网络,其中两个并行流与超连接互连,以进行密集的信息交换。此外,添加配对损失以鼓励不同阶段的高级特征表示之间的共性。与使用单相数据的现有技术相比,HPN报告了DSC方面高达7.73%(从56.21%到63.94%)的显著改进。
2019-09-03 cs.CV eess.IV
Deep Learning Based Segmentation of Blood Vessels from H&E Stained Oesophageal Adenocarcinoma Whole-Slide Images
University of Warwick(华威大学);Imperial College London(伦敦帝国学院)
提出引导图方法提升H&E染色食管腺癌全切片图像中血管分割的准确性,通过鼓励模型学习代表性特征,应对有限标记数据和大模型过拟合问题。
2025-01-24 cs.CV eess.IV
Cascaded Convolutional Neural Network for Automatic Myocardial Infarction Segmentation from Delayed-Enhancement Cardiac MRI
Beihang University(北京航空航天大学)
自动分割心肌轮廓和相关区域,如梗死和无复流是心肌梗死定量评价的重要步骤。在这项工作中,我们提出了一个级联卷积神经网络自动心肌梗死分割延迟增强心脏MRI。我们首先使用2D U-Net专注于切片内信息来执行初步分割。之后,我们使用一个3D的U-网络,利用体积的空间信息进行微妙的分割。我们的方法在MICCAI 2020 EMIDEC挑战数据集上进行了评估,心肌、梗死和无复流的平均Dice得分分别为0.8786、0.7124和0.7851,优于分割竞赛的所有其他团队。
2020-12-28 cs.CV eess.IV
Segmentation-based Assessment of Tumor-Vessel Involvement for Surgical Resectability Prediction of Pancreatic Ductal Adenocarcinoma
Eindhoven University of Technology(埃因霍温理工大学);Catharina Ziekenhuis(卡塔里娜医院);Philips(飞利浦)
该研究提出基于nnU-Net等分割模型的CT影像工作流程,自动量化PDAC肿瘤与血管接触及受累程度,并用不确定性辅助手术可切除性判断。
2023-10-01 cs.CV eess.IV
A Novel Convolutional-Free Method for 3D Medical Imaging Segmentation
AI Geeks
本文提出一种完全基于Transformer和自注意力的无卷积三维医学图像分割模型,通过联合损失函数解决厚薄层CT域适应问题,并构建薄层多语义分割基准数据集,实验证明其优于传统与混合架构。
2025-02-08 cs.CV eess.IV
LEFM-Nets: Learnable Explicit Feature Map Deep Networks for Segmentation of Histopathological Images of Frozen Sections
医学图像的准确分割对于疾病的诊断和治疗至关重要。这些问题通过高度复杂的模型来解决,例如深度网络(DN),需要大量的标记数据进行训练。因此,许多DN拥有任务或成像模态特定架构,其决策过程通常难以解释和解释。在这里,我们提出了一个框架,嵌入现有的DN到一个低维子空间诱导的可学习显式特征映射(LEFM)层。与现有DN相比,该框架增加了一个超参数,并且仅适度增加了可学习参数的数量。该方法旨在但不限于低维医学图像的分割,例如染色的冷冻切片的彩色组织病理学图像。由于LEFM层中的特征是原始特征的多项式函数,因此所提出的LEFM网络有助于网络决策的可解释性。在这项工作中,我们将LEFM与已知的网络相结合:DeepLabv 3+,UNet,UNet++和MA-net。新的LEFM-Nets应用于从苏木精和伊红(H&E)染色的冷冻切片图像中分割肝脏中的结肠腺癌。LEFM-Nets还测试了10个人体器官的H&E染色冷冻切片图像的细胞核分割。在第一个问题上,LEFM-Nets在微观平衡精度和$F_1$分数方面比原始网络取得了统计上显着的性能改善。在第二个问题上,LEFM网络只取得了比原始网络更好的性能。源代码可在https://github.com/dsitnik/lefm上获得。
2022-04-14 cs.CV cs.LG eess.IV
Medical Image Segmentation via Unsupervised Convolutional Neural Network
Johns Hopkins Medical Institutes(约翰斯·霍普金斯医学院);Johns Hopkins University(约翰斯·霍普金斯大学);Department of Radiology and Radiological Science(放射学与放射科学系);Department of Electrical and Computer Engineering(电气与计算机工程系)
对于大多数基于学习的分割方法,需要大量高质量的训练数据。在本文中,我们提出了一种新的基于学习的分割模型,可以训练半或无监督。具体而言,在无监督设置中,我们通过卷积神经网络(ConvNet)对无边缘活动轮廓(ACWE)框架进行参数化,并使用自监督方法优化ConvNet的参数。在另一种设置(半监督)中,在训练期间使用辅助分割基础事实。我们表明,该方法提供了快速和高质量的骨分割的背景下,单光子发射计算机断层扫描(SPECT)图像。
2020-07-06 cs.CV cs.LG eess.IV
High Fidelity Interactive Video Segmentation Using Tensor Decomposition Boundary Loss Convolutional Tessellations and Context Aware Skip Connections
Intel Corporation(英特尔公司)
我们为交互式视频分割任务提供了一种高保真度深度学习算法(HyperSeg),该算法使用具有上下文感知跳过连接的卷积网络,以及压缩的超列图像特征与卷积曲面细分过程相结合。为了保持高输出保真度,我们的模型以高分辨率处理和渲染所有图像特征,而不使用下采样或池化过程。我们主要通过两种方法在我们的模型中有效地保持这种一致的,高等级的保真度:(1)我们使用一种基于几何原理的张量分解过程来调节超列特征的数量,以及(2)我们使用卷积镶嵌技术以其原生分辨率渲染这些特征。对于改进的像素级分割结果,我们引入了边界损失函数;对于改进的视频数据的时间相干性,我们在模型中包括时间图像信息。通过实验,我们证明了我们的模型对基线模型使用高分辨率视频数据的交互式分割任务的准确性提高。我们还介绍了一个基准视频分割数据集,VFX分割数据集,其中包含超过27,046个高分辨率视频帧,包括绿屏和各种合成场景,以及相应的手工制作的像素级分割。我们的工作提出了一个扩展,以提高最先进的分割保真度与高分辨率数据,并可用于广泛的应用领域,包括视觉特效管道和医学成像学科。
2020-11-23 cs.CV cs.LG eess.IV
Pieces-of-parts for supervoxel segmentation with global context: Application to DCE-MRI tumour delineation
University of Oxford(牛津大学);Oxford University Hospitals NHS Foundation Trust(牛津大学医院国民保健服务基金会信托);King’s College London(伦敦国王学院)
动态对比增强MRI(DCE-MRI)中的直肠肿瘤分割是一项具有挑战性的任务,并且非常需要一种自动且一致的方法来改善组织对比增强特性对患者结局的建模和预测-特别是在常规临床实践中。开发了一个框架来自动化DCE-MRI肿瘤分割,通过引入:灌注超体素,使用动态对比度增强特性对DCE-MRI体积进行过度分割和分类;以及部件图形模型,其添加了全局(解剖学)约束,进一步细化包括肿瘤的超体素组件。在23例直肠腺癌患者的DCE-MRI扫描上对该框架进行了评估,与专家描述相比,该框架的受试者工作特征曲线(AUC)下的体素面积为0.97。通过创建二元肿瘤分割,23例病例中的21例被正确分割,Dice相似系数(DSC)中位数为0.63,接近这项挑战性任务的评分者间变异性。还包括第二项研究,以证明该方法的普适性,并达到DSC为0.71。该框架在DCE-MRI中直肠肿瘤分割的未充分探索区域取得了令人满意的结果,并且该方法具有应用于其他DCE-MRI和超体素分割问题的潜力
2016-04-18 cs.CV
WSSS4LUAD: Grand Challenge on Weakly-supervised Tissue Semantic Segmentation for Lung Adenocarcinoma
Guangdong Provincial People’s Hospital(广东省人民医院);Guangdong Academy of Medical Sciences(广东省医学科学院);Guilin University of Electronic Technology(桂林电子科技大学);Guangdong Provicial People’s Hospital Ganzhou Hospital(广东省人民医院赣州医院)
肺癌是世界范围内癌症死亡的主要原因,腺癌(LUAD)是最常见的亚型。挖掘组织病理学图像的潜在价值可以促进肿瘤学的精准医学。组织分割是组织病理学图像分析的基本上游任务。现有的深度学习模型已经实现了卓越的分割性能,但需要足够的像素级注释,这既耗时又昂贵。为了丰富LUAD的标签资源并减轻注释工作,我们组织了这个挑战WSSS 4LUAD,以呼吁优秀的弱监督语义分割(WSSS)技术用于LUAD的组织病理学图像。参与者必须设计算法,仅用斑块水平的标记来分割肿瘤上皮、肿瘤相关基质和正常组织。该挑战包括来自87个WSI(67个来自GDPH,20个来自TCGA)的10,091个补丁级注释(训练集)和超过1.3亿个标记像素(验证和测试集)。所有标签都是由病理学家在人工智能模型的帮助下生成的,并由标签审查委员会进行检查。在532个注册中,有28个团队在测试阶段提交了结果,提交的结果超过1,000份。最后,第一名团队的mIoU为0.8413(肿瘤:0.8389,基质:0.7931,正常:0.8919)。根据顶级团队的技术报告,CAM仍然是WSSS中最流行的方法。剪切混合数据增强已被广泛采用,以生成更可靠的样本。随着这一挑战的成功,我们相信,WSSS方法与补丁级注释可以补充传统的像素注释,同时减少注释工作。整个数据集已经发布,以鼓励更多关于LUAD中计算病理学的研究和更多新颖的WSSS技术。
2022-04-14 cs.CV eess.IV
Isointense infant brain MRI segmentation with a dilated convolutional neural network
Eindhoven University of Technology(埃因霍温理工大学)
由于白质和灰质之间的对比有限,因此在6个月大时进行脑MRI定量分析是困难的。在这项研究中,我们使用扩张的三平面卷积神经网络结合非扩张的3D卷积神经网络分割婴儿脑MR图像中的白质,灰质和脑脊液,如MICCAI 6个月婴儿脑MRI分割的大挑战所提供的。
2017-08-09 cs.CV
AGD-Autoencoder: Attention Gated Deep Convolutional Autoencoder for Brain Tumor Segmentation
脑肿瘤分割是医学图像分析中的一个具有挑战性的问题。其终点是生成在fMRI筛查中准确识别脑肿瘤区域的显著掩模。在本文中,我们提出了一种新的注意力门(AG模型)脑肿瘤分割,利用边缘检测单元和注意力门控网络突出和分割的功能磁共振成像图像的显着区域。该功能使我们能够消除必须明确指向受损区域(外部组织定位)并按照经典计算机视觉技术进行分类的必要性。AG可以很容易地集成到深度卷积神经网络(CNN)中。最小的计算开销是必需的,而AGs显着提高灵敏度分数。我们表明,边缘检测器与注意力门控机制一起提供了足够的方法,用于脑分割,达到0.78的IOU
2021-07-07 cs.CV cs.LG eess.IV
Prostate Segmentation from Ultrasound Images using Residual Fully Convolutional Network
基于医学成像的前列腺癌诊断程序使用术中经直肠超声(TRUS)成像来可视化前列腺形状和位置以收集组织样本。从前列腺进行正确的组织采样需要在TRUS图像中进行准确的前列腺分割。为了实现这一目标,本研究使用了一种基于残差连接的全卷积网络。这种分割技术的优点是,它不需要对TRUS图像进行预处理来执行分割。因此,它提供了一个更快和直接的前列腺分割TRUS图像。结果表明,该技术可以实现约86%的骰子相似性的准确性,只有很少的TRUS数据集。
2019-03-21 cs.CV
3D segmentation of mandible from multisectional CT scans by convolutional neural networks
University Medical Centre Groningen(格罗宁根大学医学中心)
在虚拟手术规划过程中,下颌骨CT扫描的分割对于三维手术规划至关重要,以便获得患者骨骼的详细表面表示。由于下颌骨的形状和大小在个体之间存在很大差异,因此在CT扫描中自动分割下颌骨是一项具有挑战性的任务。为了解决这一挑战,我们提出了一个卷积神经网络的方法,通过考虑连续的解剖结构,通过不同的平面在CT扫描的下颌骨分割。所提出的卷积神经网络采用了U-Net的架构,然后将来自三个不同平面的所得2D分割组合成3D分割。我们实现了这样的分割方法对11颈部CT扫描,然后评估性能。我们在两个测试下颌骨分割上实现了平均骰子系数$ 0.89 $。实验结果表明,我们提出的方法在CT扫描下颌骨分割具有较高的准确性。
2018-09-18 cs.CV
Dense Pooling layers in Fully Convolutional Network for Skin Lesion Segmentation
Isfahan University of Technology(伊斯法罕理工大学);University of British Columbia(不列颠哥伦比亚大学);University of Michigan(密歇根大学);McMaster University(麦克马斯特大学)
医学图像分析的一个基本任务是图像的分割和准确的边界检测。皮肤图像中的病变分割是计算机检测皮肤癌的重要步骤。然而,许多国家的最先进的分割方法在其边界检测阶段的不足之处。本文提出了一种新的全卷积网络,具有新的密集池层,用于皮肤图像中病变区域的分割。该网络导致皮肤病变数据集上的病变的高度准确的分割,其在皮肤病变分割中优于最先进的算法。
2019-08-31 cs.CV
Accurate Lung Segmentation via Network-Wise Training of Convolutional Networks
Lunit Inc.(Lunit 公司)
本文介绍了一种基于深度卷积神经网络的胸部X光片肺部精确分割模型。我们的模型是基于atrous卷积层,以有效地增加过滤器的视野。为了进一步提高分割性能,我们还提出了一个多阶段的训练策略,网络明智的训练,当前阶段的网络是由输入图像和前阶段网络的输出。结果表明,这种策略有能力减少错误的预测标签,并产生光滑的边界的肺野。我们评估了一个共同的基准数据集,JSRT,并实现了国家的最先进的分割性能与更少的模型参数。
2017-08-02 cs.CV
Adversarial training and dilated convolutions for brain MRI segmentation
Eindhoven University of Technology(埃因霍温理工大学)
卷积神经网络(CNN)已被应用于医学图像分析中的各种自动图像分割任务,包括脑MRI分割。生成对抗网络最近受到欢迎,因为它们能够生成难以与真实图像区分的图像。在这项研究中,我们使用对抗训练方法来改进基于CNN的脑MRI分割。为此,我们包括一个额外的损失函数,它激励网络生成难以与手动分割区分的分割。在训练期间,该损失函数与常规的平均每体素交叉熵损失一起被优化。结果表明,使用这种对抗训练程序对两组不同的图像进行分割,并使用两种不同的网络架构,无论是在视觉上还是在Dice系数方面,都可以提高分割性能。
2017-07-11 cs.CV
Dilated Convolutions in Neural Networks for Left Atrial Segmentation in 3D Gadolinium Enhanced-MRI
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学)
左心房腔的分割和评估其形态对于提高我们对心房颤动(最常见的心律失常类型)的理解至关重要。在3D钆增强MRI(GE-MRI)数据中的该过程的自动化是期望的,因为手动描绘是耗时的、具有挑战性的并且依赖于计算机。最近,深度卷积神经网络(CNN)在医学图像分割方面获得了巨大的吸引力,并取得了最先进的成果。然而,在不使用收缩(池化)层的情况下难以合并局部和全局信息,这反过来降低了较小结构的分割准确性。在本文中,我们提出了一种用于LGE-MRI中左心房腔体积分割的3D CNN。我们的网络基于著名的U-Net架构。我们采用了一个3D全卷积网络,在网络的最低层有膨胀的卷积,编码器块之间的剩余连接可以结合本地和全局知识。结果表明,通过使用扩张卷积包括全局上下文,有助于领域自适应,并且与3D U-网相比,整体分割精度得到提高。
2018-08-05 cs.CV
Automatic Liver Segmentation with Adversarial Loss and Convolutional Neural Network
Ortadoğu Teknik Üniversitesi(中东技术大学)
医学图像的自动分割是医学信息领域的一项重要工作,它节省了专家的时间,避免了人为因素的影响。在这项工作中,提出了一种基于条件对抗网络和全卷积网络的方法用于肝脏MRI的自动分割。该方法无需任何后处理,在2018年SIU肝脏分割挑战赛中获得第二名,其数据由Dokuz Eylül大学提供。在本文中,还提出了一些改进的后处理步骤,它表明,与这些补充,该方法优于其他基线方法。
2018-11-28 cs.CV
ReLayNet: Retinal Layer and Fluid Segmentation of Macular Optical Coherence Tomography using Fully Convolutional Network
Technische Universität München(慕尼黑工业大学);Ludwig-Maximilians-University(路德维希-马克西米利安大学);Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校);Johns Hopkins University(约翰斯·霍普金斯大学)
光学相干断层扫描(OCT)用于评估视网膜层的糖尿病黄斑水肿的非侵入性诊断。在本文中,我们提出了一种新的全卷积深度架构,称为ReLayNet,用于眼睛OCT扫描中视网膜层和流体块的端到端分割。ReLayNet使用卷积块(编码器)的收缩路径来学习上下文特征的层次结构,然后使用卷积块(解码器)的扩展路径进行语义分割。ReLayNet被训练来优化由加权逻辑回归和Dice重叠损失组成的联合损失函数。该框架在公开的基准数据集上进行了验证,并与五种最先进的分割方法进行了比较,包括两种基于深度学习的方法,以证实其有效性。
2017-07-07 cs.CV
Microscopy Cell Segmentation via Convolutional LSTM Networks
Ben-Gurion University(本-古里安大学);The Kreitman School of Advanced Graduate Studies(克雷特曼高级研究生学院)
活细胞显微镜序列具有复杂的空间结构和复杂的时间行为,使其分析成为一项具有挑战性的任务。考虑到细胞分割问题,这在分析中起着重要的作用,可以使用卷积神经网络(CNN)捕获数据的空间特性。最近的方法使用卷积编码器-解码器(如U-Net)显示出有希望的分割结果。然而,这些方法受限于它们不能结合时间信息,这可以促进单独的触摸细胞或部分可见的细胞的分割。为了利用细胞动力学,我们提出了一种新的分割架构,该架构将卷积长短期记忆(C-LSTM)与U-Net集成在一起。该网络的独特架构使其能够在C-LSTM存储单元中捕获多尺度,紧凑,时空编码。该方法在细胞跟踪挑战中进行了评估,并获得了最先进的结果(Fluo-N2 DH-SIM+上第一,DIC-C2 DL-HeLa数据集上第二)。代码可在https://github.com/arbellea/LSTM-UNet.git上免费获得
2019-01-06 cs.CV
A Fully Convolutional Neural Network for Cardiac Segmentation in Short-Axis MRI
从磁共振成像数据集自动心脏分割是心脏病理的及时诊断和管理的重要步骤。我们建议通过应用深度全卷积神经网络架构来解决自动左心室和右心室分割的问题。我们的模型在单个学习阶段中从整个图像输入和地面事实进行端到端的有效训练,以在每个像素上进行推理。据我们所知,这是第一次应用完全卷积神经网络架构在心脏磁共振成像中进行逐像素标记。数值实验表明,我们的模型是鲁棒的,在一系列心脏数据集上的多个评价指标上优于以前的全自动方法。此外,我们的模型速度很快,可以利用图形处理单元等商品计算资源,实现大规模的最先进心脏分割。模型和代码可在https://github.com/vuptran/cardiac-segmentation上获得
2017-04-27 cs.CV
Segmentation of Drosophila Heart in Optical Coherence Microscopy Images Using Convolutional Neural Networks
Lehigh University(理海大学);Hainan University(海南大学);Tianjin University(天津大学);Wuhan University(武汉大学);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院)
卷积神经网络是图像分割和分类的有力工具。在这里,我们使用这种方法来识别和标记果蝇的心脏区域在不同的发展阶段,在由自定义的光学相干显微镜(OCM)系统获得的横截面图像。使用我们训练有素的卷积神经网络模型,可以通过约86%的交集(IOU)标记多个心跳周期的心脏区域。自动分割的心脏区域可以准确地量化各种形态学和动力学心脏参数。本研究展示一种有效的心脏分割方法,以分析果蝇跳动心脏的OCM图像。
2018-07-21 cs.CV
Low complexity convolutional neural network for vessel segmentation in portable retinal diagnostic devices
Isfahan University of Technology(伊斯法罕理工大学);University of Michigan(密歇根大学)
视网膜血管信息有助于视网膜疾病的筛查和诊断。视网膜血管分割提供了关于血管的有用信息,并且可以由医生在眼内手术和视网膜诊断操作期间使用。卷积神经网络(CNN)是医学图像分类和分割的有力工具。CNN的复杂性使得它们难以在便携式设备(例如双目间接检眼镜)中实现。本文提出了一种基于量化和剪枝相结合的CNN简化方法。全连接层被量化,卷积层被修剪,以具有简单有效的网络结构。STARE数据集上的实验表明,我们的简化网络能够分割视网膜血管,具有可接受的精度和低复杂度。
2018-02-21 cs.CV
Automatic Renal Segmentation in DCE-MRI using Convolutional Neural Networks
Northeastern University(东北大学);Boston Children’s Hospital(波士顿儿童医院);Harvard Medical School(哈佛医学院)
应用动态增强MRI(DCE-MRI)评价肾功能有助于儿童肾脏疾病的诊断和治疗。肾实质的自动分割是这一过程中的重要一步。在本文中,我们提出了一种时间和内存高效的全自动分割方法,实现了高分割精度的运行时间在正常肾脏和肾脏与肾积水的顺序为秒。所提出的方法是基于两个3D卷积神经网络,采用空间和时间的信息,在同一时间,以学习肾脏的定位和分割的任务,分别级联应用。分割性能进行评估,正常和异常的肾脏与不同程度的肾积水。我们实现了平均骰子系数为91.4和83.6正常和异常的肾脏的儿科患者,分别。
2017-12-19 cs.CV stat.ML
Open-Source Manually Annotated Vocal Tract Database for Automatic Segmentation from 3D MRI Using Deep Learning: Benchmarking 2D and 3D Convolutional and Transformer Networks
University of Iowa(爱荷华大学);Shenandoah University(谢南多厄大学)
本研究评估深度学习算法从3D MRI自动分割声道的有效性,并发布开源手动标注数据库,基准测试2D/3D卷积及Transformer网络。
2025-02-28 cs.CV cs.SD eess.AS
Clustering and classification of low-dimensional data in explicit feature map domain: intraoperative pixel-wise diagnosis of adenocarcinoma of a colon in a liver
Ruđer Bošković Institute(鲁杰尔·博什科维奇研究所)
人工智能在医学中的应用带来了通过复杂模型实现的高度准确的预测,其推理很难解释。它们的泛化能力可能会降低,因为缺乏在冷冻切片组织分析中出现的逐像素注释的图像。为了部分克服这一差距,本文探讨了近似显式特征映射(aEFM)变换的低维数据到一个低维子空间在希尔伯特空间。在那里,随着计算复杂度的适度增加,线性算法产生了改进的性能并保持可解释性。他们仍然服从增量学习,这对于一些非线性算法来说不是一个微不足道的问题。我们展示了一个非常大规模的问题,术中像素级语义分割和聚类的结肠腺癌在肝脏上的建议方法。与输入空间中的结果相比,logistic分类器在微观平衡准确率和F1得分方面分别实现了12.04%和12.58%的统计显著性能改善。支持向量机分类器的识别率分别为8.04%和9.41%。对于聚类,使用超大规模谱聚类算法获得了0.79%和0.85%的提高。结果支持的可解释性的讨论,使用Shapely添加剂的解释值的线性分类器在输入空间和aEFM诱导空间的预测。
2022-03-07 cs.CV cs.LG eess.IV
Point Cloud Semantic Segmentation using Multi Scale Sparse Convolution Neural Network
Beijing Institute of Technology(北京理工大学)
近年来,随着计算资源和激光雷达的发展,点云语义分割吸引了众多研究者。对于点云的稀疏性,虽然已经有了处理稀疏卷积的方法,但没有考虑多尺度特征。本文提出了基于多尺度稀疏卷积的特征提取模块和基于通道注意力的特征选择模块,并在此基础上构建了点云分割网络框架。通过引入多尺度稀疏卷积,该网络能够基于不同大小的卷积核捕捉到更丰富的特征信息,提高了点云分割的分割效果。在斯坦福大学大规模三维室内空间(S3DIS)数据集和室外空间数据集(SemanticKITTI)上的实验结果表明了该方法的有效性和优越性。
2022-06-30 cs.CV eess.IV
Domain and Content Adaptive Convolution based Multi-Source Domain Generalization for Medical Image Segmentation
Northwestern Polytechnical University(西北工业大学)
主要由可变的医学图像质量引起的域差距在实验室中训练分割模型和将训练的模型应用于看不见的临床数据之间的路径上呈现出主要障碍。为了解决这个问题,已经提出了域泛化方法,然而这些方法通常使用静态卷积并且不太灵活。在本文中,我们提出了一个多源域泛化模型的基础上的域和内容自适应卷积(DCAC)的分割医学图像在不同的方式。具体来说,我们设计了域自适应卷积(DAC)模块和内容自适应卷积(CAC)模块,并将两者合并到一个编码器-解码器骨干。在DAC模块中,动态卷积头以输入的预测域代码为条件,使我们的模型适应看不见的目标域。在CAC模块中,动态卷积头以全局图像特征为条件,使我们的模型适应测试图像。我们针对前列腺分割、COVID-19病变分割和视杯/视盘分割任务的基线和四种最先进的领域泛化方法评估了DCAC模型。我们的研究结果不仅表明,建议的DCAC模型优于所有竞争的方法在每个分割任务,但也证明了DAC和CAC模块的有效性。代码可在\url{https://git.io/DCAC}上获得。
2022-09-25 cs.CV eess.IV
Convolution Neural Networks for Semantic Segmentation: Application to Small Datasets of Biomedical Images
TECHNISCHE UNIVERSITÄT MÜNCHEN(慕尼黑工业大学)
本文研究了卷积神经网络(CNN)产生的分割结果在应用于小型生物医学数据集时如何彼此不同。我们使用不同的架构,参数和超参数,试图找到更好的配置来完成我们的任务,并试图找出潜在的错误。两个工作数据集来自生物医学研究领域。我们对这两种网络进行了大量的实验,得到的结果表明,某些实验条件和网络参数优于其他条件。所有测试结果都在表中给出,为了更好地说明,还显示了一些选定的结果图和分割预测。
2020-11-01 cs.CV eess.IV
Accurate Retinal Vessel Segmentation via Octave Convolution Neural Network
Shantou University(汕头大学);Soochow University(苏州大学)
视网膜血管分割是诊断和筛查各种疾病的关键步骤,包括糖尿病、眼科疾病和心血管疾病。本文提出了一种基于编码器-解码器的倍频程卷积网络的彩色眼底血管分割方法。与其他使用标准卷积进行特征提取的卷积网络相比,该方法利用倍频程卷积和倍频程转置卷积学习多个空间频率特征,从而可以更好地捕获不同大小和形状的视网膜血管。为了使网络具有学习解码多频特征的能力,我们扩展了倍频程卷积,提出了一种新的操作倍频程转置卷积。基于UNet的编码器-解码器结构,提出了一种新的卷积神经网络结构--Octave UNet,该结构集成了倍频程卷积和倍频程转置卷积,能够在一次前馈中生成高分辨率的血管分割,无需后处理步骤。综合实验结果表明,所提出的Octave UNet优于基线UNet,实现更好的或相当的性能,以更快的处理速度的国家的最先进的方法。具体而言,所提出的方法达到0.9664 / 0.9713 / 0.9759 / 0.9698的准确性,0.8374 /0.8664 / 0.8670 / 0.8076的灵敏度,0.9790 / 0.9798 / 0.9840 / 0.9831的特异性,在DRIVE、STARE、CHASE_DB1和HRF数据集上,F1评分分别为0.8127 / 0.8191 / 0.8313 / 0.7963,受试者工作特征曲线下面积分别为0.9835/0.9875/0.9905 / 0.9845。
2020-09-23 cs.CV eess.IV
Bi-Directional ConvLSTM U-Net with Densley Connected Convolutions
Universitat de Barcelona(巴塞罗那大学);Computer Vision Center(计算机视觉中心)
近年来,基于深度学习的网络在医学图像分割方面取得了最先进的性能。在现有的网络中,U-Net已成功应用于医学图像分割。在本文中,我们提出了一个扩展的U-网络,双向ConvLSTM U-Net与密集连接卷积(BCDU-Net),用于医学图像分割,其中我们充分利用U-网络,双向ConvLSTM(BConvLSTM)和密集卷积的机制。我们采用BConvLSTM来以非线性方式组合从相应编码路径和先前解码上卷积层提取的特征图,而不是U-Net的跳过连接中的简单级联。为了加强特征传播和鼓励特征重用,我们在编码路径的最后一个卷积层使用密集连接卷积。最后,我们可以通过使用批归一化(BN)来加快所提出的网络的收敛速度。该模型在三个数据集上进行了评估:视网膜血管分割,皮肤病变分割和肺结节分割,实现了最先进的性能。
2019-08-31 cs.CV eess.IV
Convolution-Free Medical Image Segmentation using Transformers
Harvard Medical School(哈佛医学院)
与计算机视觉中的其他应用一样,医学图像分割是使用依赖卷积运算作为主要构建块的深度学习模型最成功地解决的。卷积具有重要的性质,如稀疏交互,权重共享和平移等方差。这些属性为卷积神经网络(CNN)提供了一个强大而有用的视觉任务归纳偏差。在这项工作中,我们证明了一种不同的方法,完全基于相邻图像块之间的自我注意力,没有任何卷积运算,可以实现竞争力或更好的结果。给定一个3D图像块,我们的网络将其划分为$n^3$ 3D补丁,其中$n=3 \text{ or } 5$并为每个补丁计算1D嵌入。该网络基于这些块嵌入之间的自关注来预测块的中心块的分割图。我们表明,所提出的模型可以在三个数据集上实现比最先进的CNN更好的分割精度。我们还提出了在大型未标记图像语料库上预训练该模型的方法。我们的实验表明,通过预训练,当标记的训练数据很小时,我们提出的网络相对于CNN的优势可能很明显。
2022-04-03 cs.CV eess.IV
Hyper-Convolution Networks for Biomedical Image Segmentation
Cornell University(康奈尔大学);Cornell Tech(康奈尔理工学院);Massachusetts Institute of Technology(麻省理工学院);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院)
卷积运算是广泛用于计算机视觉的神经网络架构的核心构建块。卷积核的大小决定了卷积神经网络(CNN)的表达能力以及可学习参数的数量。增加网络容量以捕获丰富的像素关系需要增加可学习参数的数量,这通常会导致过拟合和/或缺乏鲁棒性。在本文中,我们提出了一个强大的新的构建块,超卷积,它隐含地表示卷积核作为内核坐标的函数。超卷积能够将内核大小以及其感受野与可学习参数的数量解耦。在我们的实验中,专注于具有挑战性的生物医学图像分割任务,我们证明了用超卷积取代常规卷积可以带来更高效的架构,从而提高准确性。我们的分析还表明,学习的超卷积是自然正则化的,这可以提供更好的泛化性能。我们相信超卷积可以成为未来计算机视觉任务神经网络架构的强大构建块。我们在这里提供所有代码:https://github.com/tym002/Hyper-Convolution
2022-10-06 cs.CV eess.IV
ESKNet-An enhanced adaptive selection kernel convolution for breast tumors segmentation
Nankai University(南开大学);Tianjin Medical University(天津医科大学);PLA General Hospital(解放军总医院);Civil Aviation General Hospital(民航总医院)
针对乳腺超声肿瘤形状尺寸多变导致分割困难的问题,提出融合多区域表示并进行通道与空间自适应重校准的增强选择核卷积,嵌入深度监督 U-net,在三个公开数据集上优于12种现有方法。
2024-01-20 cs.CV eess.IV
Instance and Panoptic Segmentation Using Conditional Convolutions
The University of Adelaide(阿德莱德大学);Meituan Inc.(美团公司);Zhejiang University(浙江大学)
我们提出了一个简单而有效的框架,例如和全景分割,称为CondInst(条件卷积例如和全景分割)。在文献中,性能最好的实例分割方法通常遵循Mask R-CNN的范例,并依赖于ROI操作(通常是ROIAlign)来处理每个实例。相比之下,我们建议使用动态条件卷积来处理实例。我们设计动态实例感知掩码头,而不是使用实例式ROI作为固定权重的实例掩码头的输入,以待预测的实例为条件。CondInst有三个优势:1.)实例和全景分割统一到一个完全卷积的网络中,无需ROI裁剪和特征对齐。2.)的情况。ROI裁剪的消除也显著提高了输出实例掩码分辨率。3.)第三章由于动态生成的条件卷积的能力大大提高,掩模头可以非常紧凑(例如,3 conv.层,每个层仅具有8个通道),导致每个实例的推理时间显著更快,并且使总体推理时间几乎恒定,与实例的数量无关。我们展示了一种更简单的方法,可以实现提高精度和推理速度的实例和全景分割任务。在COCO数据集上,我们的表现优于一些最先进的方法。我们希望CondInst可以成为一个强大的基线,例如全景分割。代码可在:https://git.io/AdelaiDet
2022-01-20 cs.CV eess.IV
U-Net Using Stacked Dilated Convolutions for Medical Image Segmentation
Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院)
本文提出了一种新的U-Net变体使用堆叠扩张卷积的医学图像分割(SDU-Net)。SDU-Net采用了vanilla U-Net的架构,并在编码器和解码器操作中进行了修改(一个操作表示相同分辨率的特征映射的所有处理)。与在每个编码器/解码器操作中包含两个标准卷积的vanilla U-Net不同,SDU-Net使用一个标准卷积,然后是多个扩张卷积,并将所有扩张卷积输出连接为下一个操作的输入。实验表明,SDU-Net在所有四个测试的分割任务中的性能优于vanilla U-Net,attention U-Net(AttU-Net)和recurrent residual U-Net(R2 U-Net),而使用的参数约为vanilla U-Net的40%,AttU-Net的17%和R2 U-Net的15%。
2020-04-10 cs.CV cs.LG eess.IV
Self-calibrated convolution towards glioma segmentation
Eldorado Institute(埃尔多拉多研究所);State University of Campinas (UNICAMP)(坎皮纳斯州立大学);São Paulo State University (UNESP)(圣保罗州立大学)
本文在nnU-Net的跳跃连接中引入自校准卷积,显著提升胶质瘤增强肿瘤和肿瘤核心的分割精度,同时保持全肿瘤分割精度不变。
2024-02-07 cs.CV cs.LG eess.IV
Leveraging SO(3)-steerable convolutions for pose-robust semantic segmentation in 3D medical data
Support Center for Advanced Neuroimaging (SCAN), University Institute of Diagnostic and Interventional Neuroradiology, University of Bern, Inselspital, Bern University Hospital(高级神经影像支持中心(SCAN)、伯尔尼大学诊断与介入神经放射学研究所、伯尔尼大学、因塞尔斯皮塔尔医院、伯尔尼大学医院);NVIDIA(英伟达)
针对医学图像分割网络多依赖标准卷积、姿态鲁棒性不足的问题,提出基于球谐函数等变体素卷积的分割网络,无需旋转数据增强,在脑MRI分割任务中性能、小数据鲁棒性和参数效率均更优。
2024-05-17 cs.CV cs.LG eess.IV