Convolutional Residual Memory Networks
Polytechnique Montréal（蒙特利尔理工学院）；The Montréal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）
非常深的卷积神经网络（CNN）在各种各样的视觉识别问题上产生了最先进的结果。用于图像识别的许多现有技术方法基于具有远远超过100层的网络，并且性能与深度的趋势正朝着超过1000层的网络发展。在这种极深的架构中，梯度消失或爆炸问题成为一个关键问题。最近的证据还表明，卷积网络可以受益于与CNN特征处理层次结构交互的显式构造记忆机制的接口。相应地，我们提出并评估了一个记忆机制增强的卷积神经网络架构的基础上增加了一个长短期记忆机制的卷积残差网络。我们称之为卷积剩余记忆网络。据我们所知，这种方法可以在CIFAR-100基准上产生最先进的性能，并与CIFAR-10和SVHN基准上的其他最先进的技术进行了比较。这是通过使用相对于不具有内存机制的可比深度ResNet而言宽度更大、深度更小、总体计算量更少的网络来实现的。我们的实验和分析探讨了记忆机制，网络深度，广度和预测性能的重要性。
2016-07-14 cs.CV
Memory Bounded Deep Convolutional Networks
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Microsoft Research（微软研究院）
在这项工作中，我们研究了在卷积神经网络（CNN）的训练过程中使用稀疏诱导正则化器。这些正则化器鼓励卷积层和全连接层中较少的连接采用非零值，实际上导致深层网络中隐藏单元之间的稀疏连接。这反过来又减少了部署学习的CNN所涉及的内存和运行时成本。我们表明，这种正则化的训练仍然可以使用随机梯度下降进行，这意味着它可以很容易地在现有的代码库中使用。在MNIST、CIFAR和ImageNet数据集上对我们的方法进行的实验评估表明，我们的正则化器可以显著降低内存需求。例如，当应用于AlexNet时，我们的方法可以将内存消耗减少四倍，同时准确性损失最小。
2014-12-03 cs.CV
Training convolutional neural networks with megapixel images
Radboud University Medical Center（拉德堡德大学医学中心）；Computational Pathology Group（计算病理学小组）
为了训练深度卷积神经网络，需要将输入数据和中间激活保存在存储器中以计算梯度下降步骤。鉴于当前一代加速卡中可用的存储器有限，这限制了输入数据的最大维度。我们展示了一种方法来训练卷积神经网络只持有部分的图像在内存中，同时给出等效的结果。我们定量地比较了这种训练卷积神经网络的新方法与传统的训练方法。此外，作为概念验证，我们用6400万像素的图像训练了一个卷积神经网络，它需要的内存比传统方法少97%。
2018-04-16 cs.CV
Convolutional Long Short-Term Memory Networks for Recognizing First Person Interactions
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
在本文中，我们提出了一种新的基于深度学习的方法，从第一人称的角度来解决交互识别的问题。所提出的方法使用一对卷积神经网络，其参数是共享的，用于从视频的连续帧中提取帧级特征。然后使用卷积长短期记忆来聚合帧级特征。在所有输入视频帧被处理之后，卷积长短期记忆的隐藏状态被用于分类到各个类别中。卷积神经网络的两个分支在短时间间隔上执行特征编码，而卷积长短期记忆在较长的持续时间上对变化进行编码。在我们的网络中，输入的时空结构被保留到最后的处理阶段。实验结果表明，我们的方法优于最新的第一人称交互数据集，涉及复杂的自我运动的最先进的。特别是在UTKinect-FirstPerson上，它与使用深度图像和骨骼关节信息以及RGB图像的方法竞争，同时它在识别准确性上超过了所有以前仅使用RGB图像的方法20%以上。
2017-09-19 cs.CV
Learning to Detect Violent Videos using Convolutional Long Short-Term Memory
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
开发一种自动分析监控录像的技术，以确定暴力的存在，具有广泛的意义。在这项工作中，我们提出了一个深度神经网络，用于识别暴力视频。使用卷积神经网络从视频中提取帧级特征。然后使用使用卷积门的长短期记忆的变体来聚合帧级特征。与卷积长短期记忆一起的卷积神经网络能够捕获局部时空特征，这使得能够分析视频中发生的局部运动。我们还建议使用相邻帧差异作为模型的输入，从而迫使它对视频中发生的变化进行编码。所提出的特征提取流水线的性能进行评估的三个标准的基准数据集的识别精度。与最先进的技术所获得的结果的比较显示，所提出的方法在识别暴力视频的有前途的能力。
2017-09-19 cs.CV
ReStoCNet: Residual Stochastic Binary Convolutional Spiking Neural Network for Memory-Efficient Neuromorphic Computing
Purdue University（普渡大学）
在这项工作中，我们提出了ReStoCNet，一个剩余的随机多层卷积脉冲神经网络（SNN）组成的二进制内核，以减少突触内存足迹，提高复杂的模式识别任务的SNN的计算效率。ReStoCNet由一个输入层、用于分层输入特征提取的堆叠卷积层、用于降维的池化层和用于推理的全连接层组成。此外，我们在堆叠的卷积层之间引入残余连接，以提高深度SNN的分层特征学习能力。我们提出了基于尖峰时间依赖可塑性（STDP）的概率学习算法，简称为混合STDP（HB-STDP），结合Hebbian和反Hebbian学习机制，训练二进制内核形成ReStoCNet在逐层无监督的方式。我们在MNIST和CIFAR-10数据集上证明了ReStoCNet和基于HB-STDP的无监督训练方法的有效性。我们发现，残余连接使更深的卷积层能够自学习有用的高级输入特征，并减轻在没有残余连接的深度SNN中观察到的准确性损失。与全精度（32位）SNN相比，拟议的ReStoCNet提供了> 20倍的内核内存压缩，同时在所选的模式识别任务上产生足够高的分类精度。
2019-02-11 cs.CV
Memory Matters: Convolutional Recurrent Neural Network for Scene Text Recognition
National University of Defense Technology（国防科技大学）
自然场景中的文本识别是一个具有挑战性的问题，因为影响文本外观的因素很多。在本文中，我们提出了一种方法，直接转录场景文本图像的文本，而不需要复杂的字符分割。我们利用深度神经网络的最新进展来模拟具有时间动态的场景文本图像的外观。具体来说，我们集成了卷积神经网络（CNN）和循环神经网络（RNN），这是通过观察两个模型的互补建模能力来实现的。这项工作的主要贡献是调查时间记忆如何帮助在这个特定的问题的分割自由的方式。通过使用长短期记忆（LSTM）块作为隐藏单元，我们的模型可以保留长期记忆，而HSTOM只保持短期状态依赖。我们进行实验街景门牌号码数据集包含高度可变的数字图像。实验结果表明，该方法优于传统的基于HMM的方法。
2016-01-06 cs.CV
Effective, Fast, and Memory-Efficient Compressed Multi-function Convolutional Neural Networks for More Accurate Medical Image Classification
Convolutional Neural Networks (CNNs) usually use the same activation function , such as RELU, for all convolutional layers. There are performance limitations of just using RELU. In order to achieve better classification performance, reduce training and testing times, and reduce power consumption and memory usage, a new "Compressed Multi-function CNN" is developed. Google's Inception-V4, for example, is a very deep CNN that consists of 4 Inception-A blocks, 7 Inception-B blocks, and 3 Inception-C blocks. RELU is used for all convolutional layers. A new "Compressed Multi-function Inception-V4" (…
2018-11-29 cs.CV
Reduced Memory Region Based Deep Convolutional Neural Network Detection
Politecnico di Milano（米兰理工大学）；STMicroelectronics（意法半导体）
准确的行人检测在汽车安全中发挥着重要作用：例如，通过向驾驶员发出警告或主动对汽车刹车采取行动，它有助于降低受伤和人员死亡的概率。为了实现非常高的精度，最近的行人检测器已经基于卷积神经网络（CNN）。不幸的是，这样的方法需要大量的计算能力和存储器，从而阻碍了在嵌入式系统上的有效实现。这项工作提出了一种基于CNN的检测器，使通用卷积网络适应手头的任务。通过深入分析和优化检测流水线的每一步，我们开发了一种架构，该架构优于基于传统图像特征的方法，并在具有低计算复杂性的同时实现了接近最新技术水平的准确性。此外，该模型被压缩，以适应低功耗设备与有限数量的嵌入式存储器的严格约束。本文做出了两个主要贡献：（1）证明了基于区域的深度神经网络可以进行微调，以达到足够的行人检测精度;（2）在不降低加州理工学院行人数据集检测精度的情况下，实现了非常低的内存使用。
2016-09-08 cs.CV
MEC: Memory-efficient Convolution for Deep Neural Network
IBM T. J. Watson Research Center（IBM T. J. Watson 研究中心）
卷积是现代深度神经网络中的关键组成部分，因此已经开发了几种卷积算法。直接卷积是简单的，但遭受较差的性能。作为替代方案，已经提出了多种间接方法，包括基于im 2col的卷积、基于FFT的卷积或基于Winograd的算法。然而，所有这些间接方法都有很高的内存开销，这会导致性能下降，并在性能和内存消耗之间提供了很差的权衡。在这项工作中，我们提出了一个内存有效的卷积或MEC与紧凑的降低，这大大减少了内存开销，加快卷积过程。MEC以简单而有效/紧凑的方式降低输入矩阵（即，少得多的存储器开销），然后并行执行多个小矩阵乘法以完成卷积。此外，减少的内存占用提高了内存子系统的效率，从而提高了性能。我们的实验结果表明，MEC减少了内存消耗显着与良好的加速比在移动和服务器平台上，与其他间接卷积算法相比。
2017-06-21 cs.CV cs.LG
Temporal Performance Prediction for Deep Convolutional Long Short-Term Memory Networks
Volkswagen AG（大众汽车公司）；TU Berlin（柏林工业大学）
针对深度卷积长短期记忆网络在视频语义分割中的预测性能，提出基于时间细胞状态度量的后处理方法，通过预测交并比或分类其是否为零来估计预测质量，并研究细胞状态数量的影响。
2023-11-13 cs.CV
Splitting Convolutional Neural Network Structures for Efficient Inference
Isfahan University of Technology（伊斯法罕理工大学）；McMaster University（麦克马斯特大学）
对于具有大量输入数据的卷积神经网络（CNN），存储管理成为主要关注点。内存成本的降低可以是一个有效的方法来处理这些问题，可以通过不同的技术，如特征图修剪，输入数据分裂，等等，在这一领域的研究中存在的各种方法，分裂的网络结构是一个有趣的研究领域，有一些工作在这方面做。在这项研究中，减少使用网络结构分裂的内存利用率的问题得到解决。提出了一种新的技术，将网络结构分割成比原始网络消耗更低内存的小部分。分割的部分几乎可以单独处理，这为更好的存储管理提供了重要作用。分裂方法已经在两个著名的网络结构VGG16和ResNet18上进行了测试，用于CIFAR10图像的分类。仿真结果表明，分裂方法既减少了计算操作的数量，以及内存消耗量。
2020-02-09 cs.CV
Anomaly Detection in Video Using Predictive Convolutional Long Short-Term Memory Networks
Rochester Institute of Technology（罗切斯特理工学院）
自动检测长视频序列中的异常事件是具有挑战性的，由于这些事件是如何定义的模糊性。我们通过学习生成模型来解决这个问题，这些模型可以在有限的监督下识别视频中的异常。我们提出了端到端可训练的复合卷积长短期记忆（Conv-LSTM）网络，该网络能够从少量输入帧预测视频序列的演变。规则性得分是从具有异常视频序列的一组预测的重构误差中导出的，这些异常视频序列随着时间的推移进一步偏离实际序列，从而产生较低的规则性得分。该模型利用复合结构，并检查条件反射在学习更有意义的表示的影响。基于重建和预测精度选择最佳模型。对Conv-LSTM模型进行了定性和定量评估，展示了异常检测数据集上的竞争结果。Conv-LSTM单元被证明是建模和预测视频序列的有效工具。
2016-12-15 cs.CV
cltorch: a Hardware-Agnostic Backend for the Torch Deep Neural Network Library, Based on OpenCL
ASAPP（ASAPP公司）
本文介绍了cltorch，火炬神经网络框架的硬件无关的后端。cltorch支持在来自不同硬件供应商（包括AMD、NVIDIA和Intel）的GPU上训练深度神经网络。cltorch包含足够的实现来运行AlexNet、VGG、Overfeat和GoogleNet等模型。它是使用OpenCL语言编写的，OpenCL是一种便携式计算语言，由Khronos Group管理。cltorch是Chintala的convnet-benchmarks页面上排名第一的硬件无关机器学习框架。本文介绍了在为Torch创建cltorch后端时遇到的技术挑战，并详细介绍了与快速实现硬件无关的挑战。卷积层被认为是加速硬件不可知框架的关键领域。确定了加速卷积实现的可能方法，包括：使用implicitgemm或winograd算法实现卷积，使用适用于与卷积算法相关联的几何形状的GEMM实现，或使用可插拔的硬件特定卷积实现。
2016-06-15 cs.CV cs.NE
Enabling Memory-efficient Im2win Convolution with Multi-precision Support on GPU CUDA and Tensor Cores
Nanchang Hangkong University（南昌航空大学）；EEO Tech（EEO科技）；University of Washington（华盛顿大学）；AWS（亚马逊云计算服务）
该研究扩展im2win卷积范式，在GPU CUDA核心和Tensor Core上实现多精度支持，经12个CNN基准测试，其性能优于cuDNN等现有方法，内存开销显著降低，成为统一高性能卷积框架。
2026-08-24 cs.CV cs.DC
Depthwise Separable Convolutions Allow for Fast and Memory-Efficient Spectral Normalization
University of Siegen（锡根大学）；University of Cambridge（剑桥大学）
越来越多的模型需要控制神经网络的卷积层的谱范数。虽然有很多方法可以在训练过程中估计和执行上限，但它们通常在内存或时间上都很昂贵。在这项工作中，我们介绍了一个非常简单的方法，谱归一化的dependently可分离卷积，它引入了可以忽略不计的计算和内存开销。我们证明了我们的方法的有效性图像分类任务，使用标准架构，如MobileNetV2。
2021-02-12 cs.CV cs.LG stat.ML
Evolution of Convolutional Neural Network (CNN): Compute vs Memory bandwidth for Edge AI
MagicLeap Inc.（MagicLeap公司）
本文探讨了边缘AI背景下CNN计算需求与内存带宽的关系，分析架构演进中的权衡，为高效架构与硬件加速器设计提供见解。
2023-09-24 cs.CV cs.LG
A Simple Method to Reduce Off-chip Memory Accesses on Convolutional Neural Networks
Samsung Electronics（三星电子）
针对卷积神经网络，提出了一种通过最大限度地利用神经处理单元中的片上存储器来减少片外存储器访问的简单算法。特别是，该算法提供了一种有效的方法来处理一个模块，由多个分支和一个合并层。对于Inception-V3在三星的NPU在Exynos，我们的评估表明，该算法使片外存储器访问减少了1/50，并相应地实现了97.59%的减少量的特征地图数据从/到片外存储器传输。
2019-01-28 cs.CV cs.LG cs.NE
Fast and Memory-Efficient Wavelet Convolutions via I/O-Aware Reformulation
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
该研究针对WTConv受内存限制的问题，通过三种代数重构实现I/O感知融合实现，大幅减少HBM流量，提升训练速度并降低内存占用，保留WTConv优势的同时消除其系统开销。
2026-11-05 cs.AI cs.CV
Damaged Fingerprint Recognition by Convolutional Long Short-Term Memory Networks for Forensic Purposes
Laval University（拉瓦尔大学）
指纹识别通常是建立犯罪证据的关键一步。然而，我们越来越多地发现，犯罪分子故意以各种方式改变他们的指纹，使技术人员和自动传感器难以识别他们的指纹，使调查人员在法医程序中建立有力的证据变得繁琐。从这个意义上说，深度学习是帮助识别受损指纹的主要候选者。特别是卷积算法。本文主要研究基于卷积长短期记忆网络的破损指纹识别。我们提出了我们的模型的架构，并证明其性能超过95%的准确率，99%的精度，并接近95%的召回率和99%的AUC。
2020-12-30 cs.CR cs.CV
Low-Resource Video Super-Resolution using Memory, Wavelets, and Deformable Convolutions
Department of Electrical Engineering, IIT Bombay, India（电子工程系，印度班加罗尔理工学院）
本文提出一种仅230万参数的轻量级VSR架构，结合2D小波分解、单记忆张量和残差可变形卷积，在低资源下实现最先进重建精度。
2025-06-19 cs.CV cs.LG
Lazy Evaluation of Convolutional Filters
Ghent University（根特大学）；iMinds（iMinds研究院）
在本文中，我们提出了一种技术，它避免了在深度神经网络中对某些卷积滤波器进行评估。这允许权衡深度神经网络的准确性与计算和存储器要求。这对于无法在内存中保存网络所有权重的受限设备尤为重要。
2016-05-27 cs.CV cs.NE
Compressing Deep Convolutional Neural Networks by Stacking Low-dimensional Binary Convolution Filters
Hong Kong Baptist University（香港浸会大学）
深度卷积神经网络（CNN）已成功应用于许多现实问题。然而，深度CNN模型的巨大存储器成本对将它们部署在存储器受限的设备（例如，移动电话）。降低深度CNN模型的内存成本的一种流行方法是训练二进制CNN，其中卷积滤波器中的权重为1或-1，因此每个权重可以使用单个位有效地存储。然而，现有的二进制CNN模型的压缩比上限为32左右。为了解决这个问题，我们提出了一种新的方法，通过堆叠低维二进制卷积滤波器来压缩深度CNN模型。我们提出的方法近似一个标准的卷积滤波器，从一组低维二进制卷积滤波器选择和堆叠滤波器。这组低维二进制卷积滤波器在给定卷积层的所有滤波器之间共享。因此，我们的方法将实现比二进制CNN模型更大的压缩比。为了训练我们提出的模型，我们已经从理论上表明，我们提出的模型是等效的选择和堆栈的中间特征图产生的低维二进制过滤器。因此，我们提出的模型可以有效地使用分裂-变换-合并策略进行训练。我们还提供了详细的分析，我们的模型在模型推理的内存和计算成本。我们在两个基准数据集上将该方法与其他五种流行的模型压缩技术进行了比较。我们的实验结果表明，我们提出的方法实现了更高的压缩比现有的方法，同时保持相当的精度。
2020-10-06 cs.CV cs.LG
Improving Memory Utilization in Convolutional Neural Network Accelerators
CSEM SA（瑞士电子与微技术中心）；Swiss Federal Institute of Technology, ETH Zurich（苏黎世联邦理工学院）；University of Bologna（博洛尼亚大学）
虽然通过引入更大更深的网络架构，卷积神经网络的准确性得到了巨大的提高，但存储其参数和激活的内存占用也有所增加。这一趋势尤其挑战了功率和资源有限的加速器设计，这些设计通常限于将所有网络数据存储在片上存储器中，以避免连接高能耗的外部存储器。因此，最大化适合给定加速器的网络大小需要最大化其内存利用率。虽然传统上使用的乒乓缓冲技术是后续激活层映射到分离的内存区域，我们提出了一种映射方法，允许这些区域重叠，从而更有效地利用内存。这项工作提出了计算最大激活内存重叠的数学模型，从而计算在内存有限的加速器上执行卷积神经网络逐层处理所需的片上内存的下限。我们对各种真实世界对象检测器网络的实验表明，与传统的乒乓缓冲相比，所提出的映射技术可以将激活内存减少高达32.9%，将整个网络的总内存减少高达23.9%。对于更高分辨率的去噪网络，我们实现了48.8%的激活内存节省。此外，我们在基于FPGA的摄像头上实现了一个人脸检测器网络，以在一个完整的端到端系统上验证这些内存节省。
2021-04-06 cs.CV cs.LG cs.NE
Memory Efficient 3D U-Net with Reversible Mobile Inverted Bottlenecks for Brain Tumor Segmentation
Cerebras Systems
我们建议将内存节省技术与传统的U-Net架构相结合，以增加脑肿瘤分割（BraTS）挑战模型的复杂性。BraTS挑战包括将240 x240 x155 x4输入图像3D分割为一组肿瘤类别。由于体积大，需要3D卷积层，因此该任务非常占用内存。为了解决这个问题，以前的方法使用较小的裁剪图像，同时限制模型的深度和宽度。我们的3D U-Net使用MobileNetV 2，MnasNet和最近的EfficientNet架构中定义的移动反向瓶颈块的可逆版本，以在训练期间节省激活内存。使用可逆层使模型能够在给定该层输出的情况下重新计算输入激活，通过消除在前向传递期间存储激活的需要来节省内存。反向残差瓶颈块使用轻量级的dependency可分离卷积，通过将卷积分解为逐点卷积和dependency卷积来减少计算。此外，该块通过在输入和输出线性1x 1卷积之间放置中间扩展层来反转传统的瓶颈块，从而减少通道总数。给定固定的内存预算，通过这些内存节省技术，我们能够训练高达3倍大的图像体积，深度增加25%的模型，或者通道数量高达2倍的模型。
2021-04-21 cs.CV cs.LG eess.IV
SpecNet: Spectral Domain Convolutional Neural Network
OPPO US Research Center（OPPO美国研究中心）；University of Wisconsin, Madison（威斯康星大学麦迪逊分校）；New York University（纽约大学）；Harvard University（哈佛大学）
大多数卷积神经网络（CNN）架构的内存消耗随着网络深度的增加而快速增长，这是在内存有限的现代GPU、嵌入式系统和移动设备上进行有效网络训练的主要限制。几项研究表明，特征图（在卷积层之后生成）是这个内存问题的主要瓶颈。通常，这些特征图模仿自然照片，因为它们的能量集中在谱域中。虽然在谱域中嵌入CNN架构被广泛用于加速训练过程，但我们证明了使用谱域来减少内存占用也是可能的，我们称之为谱域卷积神经网络（SpecNet）的方法在谱域中执行卷积和激活操作。SpecNet的性能在三个有竞争力的目标识别基准任务（CIFAR-10，SVHN和ImageNet）上进行了评估，并与几个最先进的实现进行了比较。总体而言，SpecNet能够将内存消耗减少约60%，而不会对所有测试网络的性能造成重大损失。
2021-02-08 cs.CV cs.LG eess.IV
Sequence Modeling with Multiresolution Convolutional Memory
Stanford University（斯坦福大学）；CZ Biohub SF（CZ Biohub 旧金山）
本文提出基于小波多分辨率分析的 MultiresLayer，通过膨胀因果卷积树中的共享滤波器高效建模多尺度长程依赖，并在多个序列分类与密度估计基准上达到最先进性能。
2023-11-02 cs.CV cs.LG stat.ML
Moonshine: Distilling with Cheap Convolutions
University of Edinburgh（爱丁堡大学）；School of Informatics（信息学院）
许多工程师希望在内存有限的环境中部署现代神经网络;但减少内存使用的灵活方法的开发仍处于起步阶段，并且对由此产生的成本效益知之甚少。我们提出了结构模型蒸馏的内存减少使用的策略，产生一个学生的架构，这是一个简单的教师架构的转换：不需要重新设计，可以使用相同的超参数。使用注意力转移，我们提供了帕累托曲线/表蒸馏的残留网络与四个基准数据集，表明内存与准确性的回报。我们表明，大量的内存节省是可能的，几乎没有损失的准确性，并确认蒸馏提供学生网络的性能，这是优于直接在数据上训练的学生架构。
2019-01-17 cs.CV cs.LG stat.ML
TentacleNet: A Pseudo-Ensemble Template for Accurate Binary Convolutional Neural Networks
Politecnico di Torino（都灵理工大学）
二值化是实现轻量级深度卷积神经网络（CNN）的一种有吸引力的策略。尽管提供了毫无疑问的节省，最重要的是内存占用，但它可能会导致过度的准确性损失，从而阻止广泛使用。这项工作详细阐述了这方面的内容，介绍了TentacleNet，这是一种新的模板，旨在通过并行化提高二值化CNN的预测性能。受集成学习理论的启发，它由一个紧凑的拓扑结构组成，该拓扑结构是端到端可训练的，并经过组织以最大限度地减少内存使用。通过三个真实的基准测试收集的实验结果表明，TentacleNet填补了经典二进制模型留下的空白，确保了大量的内存节省。最先进的二元系综方法。
2019-12-26 cs.CV cs.LG cs.NE
Unsupervised inter-frame motion correction for whole-body dynamic PET using convolutional long short-term memory in a convolutional neural network
Yale University（耶鲁大学）；Siemens Medical Solutions USA, Inc.（美国西门子医疗解决方案公司）
在全身动态PET中，受试者运动会引入帧间失配，严重影响参数成像。传统的非刚性配准方法通常计算量大且耗时。深度学习方法在快速实现高准确性方面很有希望，但尚未考虑示踪剂分布变化或全身范围进行研究。在这项工作中，我们开发了一个基于无监督自动深度学习的框架来纠正帧间身体运动。运动估计网络是具有组合的卷积长短期记忆层的卷积神经网络，充分利用动态时间特征和空间信息。我们的数据集包含27名受试者，每名受试者接受90分钟FDG全身动态PET扫描。通过9倍交叉验证，与传统和深度学习基线相比，我们证明了所提出的网络在增强参数$K_{i}$和$V_{b}$图像之间的定性和定量空间对齐方面获得了优异的性能，并且显著降低了参数拟合误差。我们还展示了所提出的运动校正方法用于影响估计参数图像的下游分析的潜力，提高了区分恶性与良性高代谢感兴趣区域的能力。一旦经过训练，我们提出的网络的运动估计推理时间比传统的配准基线快460倍左右，显示出其在临床环境中易于应用的潜力。
2022-06-13 cs.CV cs.LG eess.IV
