arXiv 2404.017232024-05-18eess.IVcs.CV

用于增强二维网络体数据图像分割性能的上下文嵌入学习

Contextual Embedding Learning to Enhance 2D Networks for Volumetric Image Segmentation

Shenzhen University（深圳大学）；Shenzhen University Medical School（深圳大学医学院）；School of Biomedical Engineering（生物医学工程学院）；Huawei Cloud Computing Technologies Company Limited（华为云计算技术有限公司）；Shenzhen University General Hospital（深圳大学总医院）

Zhuoyuan Wang, Dong Sun, Xiangyun Zeng, Ruodai Wu, Yi Wang

备注：: 15 pages, 9 figures

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

针对传统2D CNN难以利用体数据空间相关性、3D CNN内存计算开销大的问题，提出上下文嵌入学习方法，通过逐切片邻域匹配传递上下文信息，以即插即用且内存高效的方式增强2D网络的体数据医学图像分割性能，在PROMISE12和CHAOS数据集上验证有效。

摘要：

体数据医学图像中的器官分割在计算机辅助诊断以及治疗/手术规划中发挥着重要作用。传统的二维卷积神经网络（CNNs）难以利用体数据的空间相关性。当前的三维CNN虽具备提取更强大体数据表征的优势，但通常存在内存占用与计算量过大的问题。本研究旨在通过上下文信息增强二维网络，以实现更优的体数据图像分割。为此，我们提出一种上下文嵌入学习方法，助力二维CNN恰当捕捉空间信息。该方法利用学习到的嵌入以及逐切片邻域匹配作为软线索来引导网络，使上下文信息能够逐切片传递，从而提升网络的体数据表征能力。在具有挑战性的前列腺MRI数据集（PROMISE12）和腹部CT数据集（CHAOS）上的实验表明，我们的上下文嵌入学习方法能够有效利用切片间上下文信息，提升分割性能。所提方法是一种即插即用、内存高效的解决方案，可增强用于体数据分割的二维网络性能。我们的代码已公开于https://github.com/JuliusWang-7/CE_Block。

英文摘要：

The segmentation of organs in volumetric medical images plays an important role in computer-aided diagnosis and treatment/surgery planning. Conventional 2D convolutional neural networks (CNNs) can hardly exploit the spatial correlation of volumetric data. Current 3D CNNs have the advantage to extract more powerful volumetric representations but they usually suffer from occupying excessive memory and computation nevertheless. In this study we aim to enhance the 2D networks with contextual information for better volumetric image segmentation. Accordingly, we propose a contextual embedding learning approach to facilitate 2D CNNs capturing spatial information properly. Our approach leverages the learned embedding and the slice-wisely neighboring matching as a soft cue to guide the network. In such a way, the contextual information can be transferred slice-by-slice thus boosting the volumetric representation of the network. Experiments on challenging prostate MRI dataset (PROMISE12) and abdominal CT dataset (CHAOS) show that our contextual embedding learning can effectively leverage the inter-slice context and improve segmentation performance. The proposed approach is a plug-and-play, and memory-efficient solution to enhance the 2D networks for volumetric segmentation. Our code is publicly available at https://github.com/JuliusWang-7/CE_Block.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。