Streaming Lossless Volumetric Compression of Medical Images Using Gated Recurrent Convolutional Neural Network
College of Biomedical Engineering（生物医学工程学院）；Zhejiang University（浙江大学）
本文提出一种硬件友好的流式无损体积压缩框架，通过门控循环卷积神经网络捕捉医学体积图像切片间依赖，以极低模型权重实现高效熵编码，并在FPGA上实现实时压缩，性能优于现有方法。
2023-11-27 cs.AR cs.LG eess.IV
Random 2.5D U-net for Fully 3D Segmentation
Department of Mathematics, University of Innsbruck（因斯布鲁克大学数学系）
卷积神经网络是各种分割任务的最新技术。虽然对于2D图像，这些网络也具有计算效率，但3D卷积具有巨大的存储需求，因此，端到端训练受到GPU内存和数据大小的限制。为了克服这个问题，我们引入了一个没有3D卷积层的体积数据的网络结构。主要思想是包括来自不同方向的投影，以将体积数据转换为图像序列，其中每个图像包含完整数据的信息。然后，我们将2D卷积应用于这些投影图像，并使用可训练的重建算法将它们再次提升到体积数据。所提出的架构可以应用端到端的非常大的数据量，而无需裁剪或滑动窗口技术。对于测试稀疏二进制分割任务，它优于已知的标准方法，并且更能抵抗伪影的生成。
2019-10-23 cs.CV cs.LG eess.IV
Dual Octree Graph Networks for Learning Adaptive Volumetric Shape Representations
Microsoft Research Asia（微软亚洲研究院）
我们提出了一种自适应的三维形状的体积场的深度表示和一种有效的方法来学习这种深度表示，以实现高质量的三维形状重建和自动编码。我们的方法编码的体积字段的3D形状与自适应特征量组织的八叉树，并应用一个紧凑的多层感知器网络映射的功能，在每个3D位置的字段值。设计了一个编码器-解码器网络来学习基于八叉树节点对偶图上的图卷积的自适应特征量。我们的网络的核心是一个新的图卷积算子定义在一个规则的网格的功能融合不规则的相邻八叉树节点在不同的水平，这不仅减少了计算和内存成本的卷积不规则的相邻八叉树节点，但也提高了性能的特征学习。我们的方法有效地编码形状的细节，使快速的3D形状重建，并表现出良好的通用性建模的训练类别的3D形状。我们评估我们的方法上的一组三维形状和场景的重建任务，并验证其优越性比其他现有的方法。我们的代码、数据和训练模型可以在https://wang-ps.github.io/dualocnn上找到。
2022-05-06 cs.CV cs.GR cs.LG
ILPO-NET: Network for the invariant recognition of arbitrary volumetric patterns in 3D
Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LJK（让·昆廷诺实验室）
针对三维体数据识别的旋转不变性难题，提出基于Wigner矩阵展开的ILPO-Net，其卷积天然对局部模式方向不变，在多数据集上性能超基线且参数量最高减1000倍，为多学科应用提供支撑。
2024-04-24 cs.CV cs.LG
3D-UCaps: 3D Capsules Unet for Volumetric Image Segmentation
VinAI Research（VinAI研究院）；University of Arkansas（阿肯色大学）
迄今为止，卷积神经网络（CNN）在医学图像分割方面取得了可喜的成果。然而，在传统的CNN中，它的池化层倾向于丢弃位置等重要信息。此外，CNN对旋转和仿射变换敏感。胶囊网络是一种数据高效的网络设计，旨在通过用动态路由和卷积步幅取代池化层来克服这些限制，其目的是保留部分-整体关系。胶囊网络在图像识别和自然语言处理方面表现出了很好的性能，但在医学图像分割，特别是体积图像分割方面的应用却很有限。在这项工作中，我们提出了3D-UCaps，一个基于三维体素的胶囊网络的医学体积图像分割。我们通过设计一个具有两条路径的网络将胶囊的概念构建到CNN中：第一条路径由3D胶囊块编码，而第二条路径由3D CNN块解码。因此，3D-UCaps继承了Capsule网络保持空间关系和CNN学习视觉表示的优点。我们在各种数据集上进行了实验，以证明3D-UCaps的鲁棒性，包括iSeg-2017，LUNA 16，Hippocampus和Cardiac，其中我们的方法优于以前的Capsule网络和3D-Unets。
2022-03-16 cs.CV cs.LG eess.IV
Ball Mill Fault Prediction Based on Deep Convolutional Auto-Encoding Network
Huazhong University of Science and Technology（华中科技大学）；Wugang Resources Group Co., Ltd.（武钢资源集团有限公司）
本文提出基于深度卷积自编码神经网络（DCAN）的异常检测方法，利用正常运行振动数据训练，克服标注与数据不平衡问题，有效识别球磨机轴承故障，提高检测效率并降低维护成本。
2023-11-09 cs.AI cs.LG
Contraband Materials Detection Within Volumetric 3D Computed Tomography Baggage Security Screening Imagery
Durham University（杜伦大学）
在文献中，已经研究了在2D/3D X射线计算机断层扫描（CT）中的自动违禁目标检测，以增强在检查站的航空安全筛查。深度卷积神经网络（CNN）在2D X射线成像中表现出卓越的性能。然而，存在非常有限的证据，如何深入神经网络在体积三维CT行李筛查图像内的材料检测。我们试图通过将深度神经网络应用于基于材料特征的3D违禁品检测来缩小这一差距。具体来说，我们制定它作为一个3D语义分割的问题，以确定材料类型的所有体素的基础上，可以检测到违禁品材料。为此，我们首先研究了基于3D CNN的语义分割算法，如3D U-Net及其变体。与体积3D CT数据的原始密集表示形式相反，我们建议将CT体积转换为稀疏点云，从而允许使用点云处理方法，如PointNet++，以实现更有效的处理。在公开数据集（NEU ATR）上的实验结果证明了3D U-Net和PointNet++在行李安检3D CT图像中材料检测的有效性。
2020-12-21 cs.CV cs.LG eess.IV
FaultFace: Deep Convolutional Generative Adversarial Network (DCGAN) based Ball-Bearing Failure Detection Method
University of California, Merced（加州大学默塞德分校）；Beijing University of Chemical Technology（北京化工大学）
在工业中采用故障检测来提高系统性能并降低由于意外故障事件而导致的成本。因此，一个好的数据集的系统是理想的设计自动故障检测系统。然而，工业过程数据集是不平衡的，并且由于这些事件的唯一性以及仅仅为了获得关于不期望的行为的信息而运行系统的高成本而包含关于故障行为的信息很少。因此，对自动故障检测方法进行正确的训练和验证具有挑战性。本文提出了一种名为FaultFace的方法，用于使用深度学习技术创建平衡数据集来检测旋转轴的球轴承关节的故障。FaultFace方法使用通过时频变换技术获得的名为faceportraits的振动信号的2D表示。从获得的人脸画像中，使用深度卷积生成对抗网络来生成标称和故障行为的新人脸画像，以获得平衡的数据集。采用平衡数据集训练卷积神经网络进行故障检测。将FaultFace方法与其他深度学习技术进行比较，以评估其在不平衡数据集故障检测中的性能。实验结果表明，FaultFace方法对于不平衡数据集的故障检测具有良好的性能.
2020-07-30 cs.CV cs.LG eess.IV
Automatic Post-Stroke Lesion Segmentation on MR Images using 3D Residual Convolutional Neural Network
Geisel School of Medicine at Dartmouth（达特茅斯盖泽尔医学院）；Dartmouth College（达特茅斯学院）；Dartmouth-Hitchcock Medical Center（达特茅斯-希区柯克医学中心）
在本文中，我们证明了深度残差神经网络的可行性和性能的体积分割的不可逆损伤的脑组织病变的T1加权MRI扫描慢性中风患者。来自公共数据集的慢性缺血性卒中患者的总共239个T1加权MRI扫描通过具有残余学习的3D深度卷积分割模型进行回顾性分析，使用新的放大和缩小策略。以人工描记病灶为参考标准，测量病灶的Dice相似系数（DSC）、平均对称表面距离（ASSD）和Hausdorff距离（HD）。所有指标均采用自举法估计95%置信区间。在31次扫描的测试集上评估模型。平均DSC为0.64（0.51-0.76），中位数为0.78。ASSD和HD分别为3.6 mm（1.7-6.2 mm）和20.4 mm（10.0-33.3 mm）。据我们所知，这一性能是在这个公共数据集上达到的最高水平。最新的深度学习架构和技术被应用于MRI扫描的3D分割，并被证明对慢性缺血性卒中病变的体积分割有效。
2019-11-25 cs.CV cs.LG eess.IV
Segmentation of MRI head anatomy using deep volumetric networks and multiple spatial priors
City College New York（纽约市立学院）；Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心）
目的：MRI中头部解剖结构的常规自动分割基于图像强度和先验组织概率图（TPM）来区分不同的脑组织和非脑组织。这对于正常的头部解剖结构很有效，但在存在意外病变的情况下失败。深度卷积神经网络利用空间模式，可以学习分割病变，但通常会忽略先验概率。方法：我们将三个先验信息源添加到三维卷积网络中，即具有TPM的空间先验、具有条件随机场的形态先验以及具有更宽视场和更低分辨率的空间背景。我们训练和测试这些网络的3D图像的43中风患者和4个健康的人，已手动分割。结果如下：我们展示了每个先验信息来源的好处，我们表明，新的架构，我们称之为Multiprior网络，提高了现有分割软件的性能，如SPM，FSL和DeepMedic异常解剖结构。不同的先验的相关性进行了比较，TPM被认为是最有益的。添加TPM的好处是通用的，因为它可以提高已建立的分段网络（如DeepMedic和UNet）的性能。我们还提供了额外的47例意识障碍患者的样本外验证和临床应用的方法。我们免费提供代码和经过训练的网络。结论：生物医学图像遵循成像协议，可以将其作为深度卷积神经网络的先验信息，以提高性能。网络分割匹配在3D中执行的人类手动校正，并且在性能上与针对异常大脑解剖结构在2D中从头开始获得的人类分割相当。
2021-05-19 cs.LG eess.IV q-bio.NC
Recurrent neural network-based volumetric fluorescence microscopy
University of California, Los Angeles（加州大学洛杉矶分校）
使用荧光显微镜的样品体积成像在包括物理、医学和生命科学的各个领域中起着重要作用。在这里，我们报告了一个基于深度学习的体积图像推理框架，该框架使用由标准宽视场荧光显微镜在样本体积内的任意轴向位置稀疏捕获的2D图像。通过一个递归卷积神经网络，我们称之为递归MZ，来自样本内几个轴向平面的2D荧光信息被明确地结合起来，以在扩展的景深上数字重建样本体积。利用C.对于Elegans和纳米珠样品，证明了Recurrent-MZ将63 x/1.4 NA物镜的景深增加约50倍，还将对相同样品体积成像所需的轴向扫描次数减少30倍。我们通过显示其对不同成像条件的弹性，进一步说明了这种递归网络对3D成像的推广，包括例如，不同的输入图像序列，覆盖各种轴向排列和未知的轴向定位误差。Recurrent-MZ演示了递归神经网络在显微图像重建中的首次应用，并提供了一个灵活快速的体积成像框架，克服了当前3D扫描显微镜工具的局限性。
2020-10-21 cs.CV cs.LG physics.bio-ph
Deep BV: A Fully Automated System for Brain Ventricle Localization and Segmentation in 3D Ultrasound Images of Embryonic Mice
New York University（纽约大学）；Riverside Research（河滨研究公司）；New York University School of Medicine（纽约大学医学院）
脑室容积分析是研究胚胎小鼠中枢神经系统发育的重要工具。高频超声（HFU）是唯一一种可用于子宫内胚胎快速体积成像的非侵入性实时模式。然而，从HFU体积手动分割BV是繁琐、耗时的，并且需要专业知识。在本文中，我们提出了一种新的基于深度学习的BV分割系统，用于小鼠胚胎的全身HFU图像。我们的全自动系统由两个模块组成：定位和分割。它首先在整个体积上的3D滑动窗口上应用体积卷积神经网络，以识别包含整个BV的3D边界框。然后，它采用完全卷积网络将检测到的边界框分割为BV和背景。该系统在看不见的111 HFU体积测试集上实现了BV分割的Dice相似系数（DSC）为0.8956，超过了先前最先进的方法（DSC为0.7119）25%的裕度。
2018-11-05 cs.CV cs.LG eess.IV
Deep CNN-based Speech Balloon Detection and Segmentation for Comic Books
University of Potsdam（波茨坦大学）
我们开发了一种自动检测和分割漫画书中的讲话气球，包括他们的载体和尾巴的方法。我们的方法是基于一个深度卷积神经网络，该网络是在图形叙事语料库的注释页面上训练的。更准确地说，我们使用的是受U-Net架构启发的全卷积网络方法，结合基于VGG-16的编码器。经过训练的模型提供了最先进的性能，F1得分超过0.94。定性结果表明，摆动的尾巴，弯曲的角落，甚至虚幻的轮廓不会构成一个大问题。此外，该模型还学会了区分讲话气球和字幕。我们比较我们的模型，早期的结果，并讨论了一些可能的应用。
2019-02-21 cs.CV cs.LG q-bio.NC
Volumetric Isosurface Rendering with Deep Learning-Based Super-Resolution
Technical University of Munich（慕尼黑工业大学）
在体积场中绘制等值面的精确图像通常需要大量的数据样本。减少所需样本的数量是体渲染研究的核心。随着深度学习网络的出现，最近已经提出了许多架构来推断多维领域中的缺失样本，用于诸如图像超分辨率和扫描完成之类的应用。在本文中，我们研究了使用这样的架构来学习升级的低分辨率采样的等值面到更高的分辨率，高保真度重建的空间细节和阴影。我们引入了一个完全的卷积神经网络，学习一个潜在的表示生成一个平滑的，边缘感知的正常领域和环境遮挡从一个低分辨率的正常和深度场。通过将帧到帧运动损失添加到学习阶段中，升频可以考虑时间变化并且实现改进的帧到帧相干性。我们展示了在训练过程中从未见过的等值面网络的质量，并讨论了远程和原位可视化以及焦点+上下文可视化作为潜在的应用
2019-06-15 cs.GR cs.LG
Learning Multi-Modal Volumetric Prostate Registration with Weak Inter-Subject Spatial Correspondence
University of Magdeburg（马格德堡大学）；University Hospital Magdeburg（马格德堡大学医院）
最近的研究表明，卷积神经网络（CNN）解决图像配准问题的资格。CNN可以实现更快的转换估计和更大的泛化能力，以便在医疗干预期间提供更好的支持。传统的全监督训练需要大量高质量的地面实况数据，例如体素到体素的转换，这通常是以过于繁琐和容易出错的方式实现的。在我们的工作中，我们使用弱监督学习，它仅通过分割掩码间接优化模型，而分割掩码是比变形场更容易获得的基础事实。关于弱监督，我们研究了两个分割相似性度量：多尺度骰子相似性系数（mDSC）和分割导出的符号距离图（SDM）之间的相似性。我们表明，mDSC和SDM相似性措施的组合，结果在一个更准确和自然的转换模式，以及更强的梯度覆盖。此外，我们引入了一个辅助输入的神经网络的先验信息的前列腺位置的MR序列，这主要是术前。这种方法明显优于标准的双输入模型。使用弱标记的MR-TRUS前列腺数据，我们显示出与最先进的基于深度学习的方法相当的配准质量。
2021-02-09 cs.CV cs.LG eess.IV
CT evaluation of 2D and 3D holistic deep learning methods for the volumetric segmentation of airway lesions
Univ. Bordeaux（波尔多大学）；INSERM（法国国家健康与医学研究院）；CNRS（法国国家科学研究中心）；Bordeaux INP（波尔多综合理工学院）；IMB（数学与计算机科学研究所）；LaBRI（计算机科学、图像与信息学实验室）；CHU de Bordeaux（波尔多大学中心医院）
本研究对比2D与3D CNN在囊性纤维化气道病变CT体积分割中的性能，验证了3D模型的优势，提出适配精细结构的损失函数提升2D模型准确率，并通过外部验证及可解释性评估为临床应用提供参考。
2024-08-12 cs.CV cs.LG eess.IV
Deep Learning-based Type Identification of Volumetric MRI Sequences
Universidade Federal do Espírito Santo（圣埃斯皮里图联邦大学）；Instituto Federal do Espírito Santo（圣埃斯皮里图联邦理工学院）；University of Bern（伯尔尼大学）
磁共振成像（MRI）序列的分析使临床专业人员能够监测脑肿瘤的进展。随着对自动化脑体积MRI分析的兴趣的增加，很好地识别每个序列变得很方便。然而，MRI序列的非标准化命名使得自动化系统难以识别它们，并且使得研究人员难以生成或使用数据集进行机器学习研究。面对这种情况，我们提出了一种基于深度学习的识别大脑MRI序列类型的系统。通过训练基于18层ResNet架构的卷积神经网络（CNN），我们的系统可以将体积脑MRI分类为FLAIR，T1，T1 c或T2序列，或者它是否不属于这些类别。该网络在公开可用的数据集上进行了评估，这些数据集包括预处理（BraTS数据集）和非预处理（TCGA-GBM数据集），具有不同采集协议的图像类型，仅需要几个切片的体积进行训练。我们的系统可以在序列类型之间进行分类，准确率为96.81%。
2021-06-06 cs.LG eess.IV physics.med-ph
A Multi-size Kernel based Adaptive Convolutional Neural Network for Bearing Fault Diagnosis
Shanghai University（上海大学）；University of Hawai‘i at Mānoa（夏威夷大学马诺阿分校）
轴承故障识别与分析是机械故障诊断领域的一个重要研究方向。针对滚动轴承常见故障，提出了一种基于轴承振动特征的数据驱动诊断算法--基于多尺度核的自适应卷积神经网络（MSKACNN）。MSKACNN使用原始轴承振动信号作为输入，提供振动特征学习和信号分类能力，以识别和分析轴承故障。混球是一种球轴承生产质量问题，由于其需要测量信号的高频率分辨率并导致长的分析时间，因此难以使用传统的频域分析方法来识别。实验表明，所提出的MSKACNN可以提高混球诊断的效率和准确性。为了进一步验证MSKACNN在轴承故障识别中的有效性，开发了轴承振动数据采集系统，并对混球等5种不同故障状态下的滚动轴承进行了振动信号采集。由此产生的数据集被用来分析我们提出的模型的性能。为了验证MSKACNN的自适应能力，还使用了凯斯西储大学轴承数据中心的故障测试数据。试验结果表明，MSKACNN能够对不同的轴承状态进行高精度的识别，具有很强的泛化能力。我们提出了一个实现的MSKACNN作为一个轻量级的模块，实时轴承故障诊断系统，是适合生产。
2022-04-15 cs.AI cs.LG eess.SP
