Robust MRI Reconstruction by Smoothed Unrolling (SMUG)
Biomedical Engineering (BME) Department at Michigan State University (MSU)(密歇根州立大学生物医学工程系);Mathematics Department at MSU(密歇根州立大学数学系);Computer Science and Engineering (CSE) Department at MSU(密歇根州立大学计算机科学与工程系);Computational Mathematics, Science & Engineering (CMSE) Department at MSU and the Electrical Engineering & Computer Science Department at the University of Michigan(密歇根州立大学计算数学、科学与工程系及密歇根大学电气工程与计算机科学系);CSE Department at MSU(密歇根州立大学计算机科学与工程系);CMSE & BME Departments at MSU(密歇根州立大学计算数学、科学与工程系及生物医学工程系)
针对深度学习MRI重建模型对输入扰动敏感、易出现混叠的问题,提出结合深度展开架构定制随机平滑流程的SMUG框架,在多类不稳定场景下提升重建鲁棒性并完成理论分析。
2025-10-03 cs.AI cs.CV cs.LG
Unsupervised MRI Reconstruction with Generative Adversarial Networks
Stanford University(斯坦福大学)
基于深度学习的图像重建方法在多种MRI应用中取得了令人鼓舞的结果。然而,大多数方法需要大规模的完全采样的地面真实数据进行监督训练。获取完全采样的数据通常是困难的或不可能的,特别是对于动态对比增强(DCE)、3D心脏电影和4D血流。我们提出了一个深度学习框架,用于MRI重建,而无需使用生成对抗网络的任何完全采样数据。我们在两种情况下测试所提出的方法:回顾性欠采样快速自旋回波膝关节检查和前瞻性欠采样腹部DCE。与传统方法相比,该方法恢复更多的解剖结构。
2020-08-29 cs.LG eess.IV stat.ML
Conditional WGANs with Adaptive Gradient Balancing for Sparse MRI Reconstruction
GE Global Research(GE全球研究中心);Tel Aviv University(特拉维夫大学);GE Healthcare(GE医疗)
最近的稀疏MRI重建模型使用深度神经网络(DNN)从高度欠采样的k空间数据重建相对高质量的图像,从而实现更快的MRI扫描。然而,这些技术有时很难重建清晰的图像,在保持自然外观的同时保留精细的细节。在这项工作中,我们通过使用条件Wasserstein生成对抗网络结合一种新的自适应梯度平衡技术来提高图像质量,该技术可以稳定训练并最大限度地减少伪影程度,同时保持高质量的重建,从而产生比其他技术更清晰的图像。
2019-05-02 cs.LG eess.IV stat.ML
Diffusion Modeling with Domain-conditioned Prior Guidance for Accelerated MRI and qMRI Reconstruction
Athinoula A. Martinos Center for Biomedical Imaging(阿西努拉·A·马蒂诺斯生物医学成像中心);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院)
本研究提出一种基于原生数据域条件扩散模型的图像重建方法,利用MRI先验物理知识引导训练和采样,结合梯度下降优化,在高加速因子下实现高精度、高效的静态和定量MRI重建,并具备跨领域泛化潜力。
2023-09-02 cs.LG
Model-based free-breathing cardiac MRI reconstruction using deep learned \& STORM priors: MoDL-STORM
The University of Iowa(爱荷华大学)
我们引入了一个基于模型的重建框架,具有深度学习(DL)和流形上的平滑正则化(STORM)先验,以从高度欠采样的测量中恢复自由呼吸和非门控(FBU)心脏MRI。DL先验使我们能够利用局部相关性,而STORM先验使我们能够利用受试者依赖的广泛的非局部相似性。我们引入了一种新的基于模型的公式,允许无缝集成的深度学习方法与现有的先验信息,目前的深度学习算法是不能够的。实验结果表明,这项工作在加速FBU心脏MRI的初步潜力。
2018-07-10 cs.CV cs.LG stat.ML
XPDNet for MRI Reconstruction: an application to the 2020 fastMRI challenge
CEA(法国原子能与替代能源委员会);Inria(法国国家信息与自动化研究所);AIM(天体物理、物质科学与仪器实验室);CNRS(法国国家科学研究中心);Université Paris-Saclay(巴黎萨克雷大学);Université Paris Diderot(巴黎第七大学);Sorbonne Paris Cité(巴黎索邦西岱大学)
我们提出了一种新的神经网络,XPDNet,用于周期性欠采样多线圈数据的MRI重建。我们通过采用MRI重建和计算机视觉的最佳实践来设计该网络。我们表明,该网络可以实现最先进的重建结果,正如其在fastMRI 2020挑战中排名第二所示。
2021-07-07 cs.CV cs.LG eess.IV
Deep learning for undersampled MRI reconstruction
Yonsei University(延世大学)
本文提出了一种深度学习方法,通过使用亚奈奎斯特采样策略减少k空间数据来实现更快的磁共振成像(MRI),并为所提出的方法的有效性提供了理论依据。在耗时的相位编码方向上使用均匀子采样来捕获高分辨率图像信息,同时允许由泊松求和公式决定的图像折叠问题。为了处理由于图像折叠引起的定位不确定性,添加了非常少的低频k空间数据。训练深度学习网络涉及输入和输出图像,这些图像是子采样和全采样k空间数据的傅立叶变换对。大量的实验表明,该方法的显着性能,只有29%的k空间数据可以生成高质量的图像,有效地作为标准的MRI重建与完全采样的数据。
2019-05-12 cs.LG physics.med-ph stat.ML
Accelerating 3D MULTIPLEX MRI Reconstruction with Deep Learning
United Imaging Intelligence(联影智能);UIH America, Inc.(联影美国公司);United Imaging Healthcare(上海联影医疗科技股份有限公司)
多对比度MRI图像提供关于解剖结构特征的互补对比信息,并且通常用于临床实践。最近,多翻转角(FA)和多回波GRE方法(MULTIPLEX MRI)已被开发出来,只需一次扫描即可同时采集多个参数图像。然而,在3D高分辨率环境中使用MULTIPLEX带来了两个挑战:相对较长的扫描时间和用于重建的大量3D多对比度数据。目前,还没有提出基于DL的方法用于3D MULTIPLEX数据重建。我们提出了一个用于欠采样3D MRI数据重建的深度学习框架,并将其应用于MULTIPLEX MRI。所提出的深度学习方法在图像质量和重建时间方面表现出良好的性能。
2021-05-17 cs.LG eess.IV
Cardiac Functional Analysis with Cine MRI via Deep Learning Reconstruction
United Imaging Intelligence(联影智能);UIH America, Inc.(联影美国公司);United Imaging Healthcare(联影医疗)
逆行门控电影(retro-cine)MRI是心脏功能分析的临床标准。已经提出了基于深度学习(DL)的方法来重建高度欠采样的MRI数据,并且显示出比基于CS的方法更好的图像质量和更快的重建时间。然而,DL重建是否适用于心功能分析仍不清楚。为了解决这一问题,在本研究中,我们评价并比较了使用基于DL的重建算法(DL-电影)从高加速MRI采集中获得的心脏功能值(分别为LV和RV的EDV、ESV和EF)与CS-电影和传统逆向电影的值。据我们所知,这是第一项评估电影MRI与深度学习重建用于心脏功能分析并将其与其他传统方法进行比较的工作。从电影MRI和深度学习重建获得的心脏功能值与临床标准反电影MRI的值一致。
2021-05-17 cs.CV cs.LG eess.IV
Fast Controllable Diffusion Models for Undersampled MRI Reconstruction
School of Electrical Engineering and Computer Science, University of Queensland(昆士兰大学电气工程与计算机科学学院);School of Mathematics and Physics, University of Queensland(昆士兰大学数学与物理学院)
本文提出PPN算法,通过加速扩散模型的可控生成过程,在无需成对数据和重新训练的情况下实现欠采样MRI的高保真快速重建,并适应不同采集参数。
2024-06-11 cs.LG eess.IV
Offset Sampling Improves Deep Learning based Accelerated MRI Reconstructions by Exploiting Symmetry
Facebook AI Research(Facebook人工智能研究);fastMRI team(fastMRI团队)
加速MRI的深度学习方法将采样的傅立叶空间线矩阵作为输入,并生成空间图像作为输出。在这项工作中,我们表明,通过仔细选择在采样过程中使用的偏移量,在k空间中的对称性可以更好地利用,产生更高质量的重建比标准的等距样本或随机样本的动机压缩感知。
2020-02-04 cs.CV cs.LG eess.IV
MRI Image Reconstruction via Learning Optimization Using Neural ODEs
United Imaging Intelligence(联影智能)
我们建议制定MRI图像重建作为一个优化问题和模型的优化轨迹作为一个动态过程,使用常微分方程(ODE)。我们用神经网络对ODE中的动力学进行建模,并用现成的(固定的)求解器求解所需的ODE以获得重建图像。我们扩展了这个模型,并将现成的ODE求解器的知识融入到网络设计中(学习求解器)。我们调查了几个模型的基础上三个ODE求解器和固定求解器和学习求解器的模型进行比较。我们的模型实现了更好的重建结果,并且比其他流行的方法(如UNet和级联CNN)更具参数效率。我们介绍了一种新的方法来解决MRI重建问题的建模连续优化动态使用神经常微分方程。
2020-09-14 cs.LG eess.IV
Computationally Efficient 3D MRI Reconstruction with Adaptive MLP
United Imaging Intelligence(联影智能);University of Minnesota(明尼苏达大学)
本文提出Recon3DMLP,结合小核CNN与自适应MLP并利用循环移位提取全局信息,在降低50%以上GPU内存的同时实现高效高分辨率3D MRI重建。
2023-05-31 cs.CV cs.LG eess.IV
DSFormer: A Dual-domain Self-supervised Transformer for Accelerated Multi-contrast MRI Reconstruction
Yale University(耶鲁大学);New York University(纽约大学);Hyperfine Research(Hyperfine研究公司)
多对比度MRI(MC-MRI)可捕获多种互补成像模式,以辅助放射学决策。鉴于需要降低多次采集的时间成本,当前的深度加速MRI重建网络专注于利用多次对比之间的冗余。然而,现有的工作主要是监督配对数据和/或昂贵的全采样MRI序列。此外,重建网络通常依赖于卷积架构,其在对远程相互作用进行建模的能力方面受到限制,并且可能导致精细解剖细节的次优恢复。为此,我们提出了一个双域自监督Transformer(DSFormer)加速MC-MRI重建。DSFormer开发了一种深度条件级联Transformer(DCCT),由几个级联的Swin Transformer重建网络(SwinRN)组成,在两种深度条件策略下进行训练,以实现MC-MRI信息共享。我们进一步提出了一个双域(图像和k空间)的DCCT自监督学习策略,以减轻获取完全采样的训练数据的成本。DSFormer生成高保真重建,在实验上优于当前的全监督基线。此外,我们发现DSFormer在完全监督或我们提出的双域自监督下训练时达到了几乎相同的性能。
2022-08-17 cs.CV cs.LG eess.IV
Deep MRI Reconstruction: Unrolled Optimization Algorithms Meet Neural Networks
Paul C. Lauterbur Research Center for Biomedical Imaging(保罗·C·劳特伯生物医学成像研究中心);Shenzhen College of Advanced Technology, University of Chinese Academy of Sciences(中国科学院大学深圳先进技术学院);University at Buffalo, the State University of New York(纽约州立大学布法罗分校)
从欠采样的k空间数据重建图像重建在快速MRI中扮演着重要的角色。最近,深度学习在各个领域都取得了巨大的成功,并显示出在减少测量的情况下显着加快MR重建的潜力。本文概述了基于深度学习的MRI图像重建方法。本文综述了三种基于深度学习的方法,即数据驱动、模型驱动和集成方法。每个网络在三种方法的主要结构进行了解释和审查网络和差异之间的共同部分的分析突出。在综述的基础上,讨论了一些信号处理问题,以最大限度地发挥快速MRI深度重建的潜力。从理论的观点来看,该讨论可促进“最佳”网络和性能分析的进一步发展。
2019-07-26 cs.CV cs.LG eess.IV
Joint Calibrationless Reconstruction and Segmentation of Parallel MRI
University of Iowa(爱荷华大学)
从MRI数据中估计脑区域的体积是许多临床应用中的关键问题,其中期望以高空间分辨率采集数据。虽然并行MRI和约束图像重建算法可以加速扫描,但图像重建伪影是不可避免的,特别是在高加速因子下。我们引入了一种新的图像域深度学习框架,用于无校准并行MRI重建,再加上分割网络,以提高图像质量,并减少当前分割算法对加速导致的图像伪影的脆弱性。所提出的图像域深度无校准方法与分割算法的组合提供了改进的图像质量,同时提高了分割的准确性。在重建和分割任务之间共享编码器的新颖架构被认为减少了对分割训练数据集的需求。特别是,所提出的Few-Shot训练策略只需要10%的分割数据集就可以提供良好的性能。
2021-05-19 cs.CV cs.LG eess.IV
MRI Reconstruction via Cascaded Channel-wise Attention Network
Rutgers University(罗格斯大学)
我们考虑一个MRI重建问题,输入的k空间数据在一个非常低的欠采样率。由于减少了MRI扫描的时间,这实际上可以使患者受益,但由于重建的质量可能会受到影响,因此也具有挑战性。目前,基于深度学习的方法在MRI重建中占主导地位,而不是传统的方法,如压缩感知,但它们很少在低欠采样k空间数据的情况下表现出令人满意的性能。一种解释是这些方法平等地对待通道特征,这导致神经网络的表示能力下降。为了解决这个问题,我们提出了一个新的模型,称为MRI级联逐行注意网络(MICCAN),由三个组件突出:(i)具有逐行注意(UCA)模块的U-网的变体,(ii)长跳跃连接和(iii)组合损失。我们的模型能够通过过滤不相关的特征来关注显着信息,并通过强制将低频信息旁路到最终输出来集中于高频信息。我们进行定量评估和定性分析,我们的方法对心脏数据集。实验表明,我们的方法取得了非常有前途的结果,在三个常见的指标对低欠采样k空间数据的MRI重建。
2019-04-09 cs.CV cs.LG
Dual-Domain Self-Supervised Learning for Accelerated Non-Cartesian MRI Reconstruction
Hyperfine Research(Hyperfine研究院);Yale University(耶鲁大学);New York University(纽约大学)
虽然能够加速采集和提高重建精度,但当前的深度MRI重建网络通常是受监督的,需要完全采样的数据,并且限于笛卡尔采样模式。这些因素限制了它们的实际应用,因为全采样MRI在临床上采集非常耗时。此外,非笛卡尔采样模式特别理想,因为它们更容易受到加速度的影响,并且显示出更好的运动鲁棒性。为此,我们提出了一个完全自我监督的方法,加速非笛卡尔MRI重建,利用自我监督在k空间和图像域。在训练中,欠采样数据被分成不相交的k空间域分区。对于k-空间自监督,我们训练一个网络来重建输入欠采样数据从不相交的分区和从本身。对于图像级的自我监督,我们强制从原始欠采样数据和两个分区获得的外观一致性。在我们模拟的多线圈非笛卡尔MRI数据集上的实验结果表明,DDSS可以生成接近完全监督重建精度的高质量重建,优于以前的基线方法。最后,DDSS被证明可以扩展到在便携式低场(0.064 T)MRI扫描仪上采集的极具挑战性的真实世界临床MRI重建,没有数据可用于监督训练,同时证明与传统重建相比,图像质量有所改善,如放射科医生研究所确定的。
2023-02-18 cs.CV cs.LG eess.IV
Enhanced MRI Reconstruction Network using Neural Architecture Search
Rutgers University(罗格斯大学);NVIDIA(英伟达)
使用现代深度学习技术精确重建欠采样的磁共振成像(MRI)数据,需要花费大量精力来设计必要的复杂神经网络架构。级联网络结构在MRI图像重建中得到了广泛的应用,但当网络变深时,存在梯度消失的问题。此外,同构结构降低了网络的表示能力。在这项工作中,我们提出了一个增强的MRI重建网络使用的残差基本块。对于基本块中的每个单元,我们使用可微神经结构搜索(NAS)技术来自动选择密集块的八个变体中的最佳操作。这种新的异构网络在两个公开的数据集上进行了评估,并优于所有当前最先进的方法,这证明了我们所提出的方法的有效性。
2020-08-19 cs.CV cs.LG eess.IV
Unsupervised MRI Reconstruction via Zero-Shot Learned Adversarial Transformers
Bilkent University(比尔肯特大学);National Magnetic Resonance Research Center, Bilkent University(比尔肯特大学国家磁共振研究中心)
监督重建模型在特征上是在匹配的欠采样和全采样数据对上训练的,以捕获MRI先验,以及关于成像操作员的监督,以加强数据一致性。为了减少监督要求,最近的深度图像先验框架在推理期间将未经训练的MRI先验与成像算子结合起来。然而,规范卷积架构在捕获远程关系方面是次优的,并且基于随机初始化网络的先验可能会产生次优性能。为了解决这些局限性,在这里,我们介绍了一种新的无监督MRI重建方法的基础上zero-Shot学习对抗Transformers(SLATER)。SLATER体现了一个深度对抗网络,具有交叉注意力Transformers,可将噪声和潜在变量映射到线圈组合的MR图像上。在预训练期间,该无条件网络在无监督生成建模任务中学习高质量的MRI先验。在推断期间,然后通过结合成像算子并优化先验以最大化欠采样数据的一致性来执行zero-shot重建。在大脑MRI数据集上进行的综合实验清楚地证明了SLATER相对于最先进的无监督方法的优越性能。
2022-01-16 cs.CV cs.LG eess.IV
End-to-End AI-based MRI Reconstruction and Lesion Detection Pipeline for Evaluation of Deep Learning Image Reconstruction
Microsoft Research(微软研究院);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Minnesota(明尼苏达大学);Stanford University(斯坦福大学)
深度学习技术已经成为一种有前途的高加速MRI方法。然而,最近的重建挑战已经显示出当前深度学习方法中的几个缺点,包括即使使用在全局质量度量方面表现良好的模型也会丢失精细图像细节。在这项研究中,我们提出了一个用于图像重建和病理检测的端到端深度学习框架,它可以对深度学习重建质量进行临床感知评估。该解决方案在膝关节MRI研究中检测膝关节撕裂的用例中得到了证明,最终发现普通重建方法丢失了精细图像细节,表现为检测膝关节撕裂等重要病理的能力降低。尽管使用SSIM等指标进行定量重建方法学评价的常见做法,但受损病理检测作为基于病理学的自动重建评价方法表明,现有定量方法无法捕获临床重要的重建结果。
2021-09-23 cs.CV cs.LG eess.IV
Invertible Sharpening Network for MRI Reconstruction Enhancement
Yale University(耶鲁大学);United Imaging Intelligence(联影智能);University of Georgia(佐治亚大学)
高质量的MRI重建在临床应用中起着至关重要的作用。基于深度学习的方法在MRI重建方面取得了可喜的成果。然而,大多数最先进的方法被设计为优化通常用于自然图像的评价指标,如PSNR和SSIM,而不是主要追求视觉质量。与完全采样的图像相比,重建的图像通常是模糊的,其中高频特征可能不够清晰,无法进行可靠的临床诊断。为此,我们提出了一个可逆的锐化网络(InvSharpNet),以提高MRI重建的视觉质量。在训练过程中,与学习将输入数据映射到地面实况的传统方法不同,InvSharpNet采用了一种向后训练策略,该策略学习从地面实况(完全采样图像)到输入数据(模糊重建)的模糊变换。在推理期间,学习的模糊变换可以被反转为利用网络的可逆性的锐化变换。在各种MRI数据集上的实验表明,InvSharpNet可以提高重建清晰度,伪影很少。放射科医生也对结果进行了评估,表明我们提出的方法具有更好的视觉质量和诊断信心。
2022-06-06 cs.CV cs.LG eess.IV
Piecewise Dynamic Diffusion Regularization for Reconstruction of Cardiac Cine MRI
Technical University of Munich(慕尼黑技术大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML))
针对实时心脏电影MRI严重欠采样与运动导致的重建难题,提出PDDR方法,分段融合时空扩散先验,实现高效高质量重建,性能优于现有方法。
2026-07-07 cs.CV cs.LG eess.IV
Unsupervised reconstruction of accelerated cardiac cine MRI using Neural Fields
Pontificia Universidad Católica de Chile(智利天主教大学);Universidad de Chile(智利大学);Millennium Institute for Intelligent Healthcare Engineering(智能医疗工程千年研究所)
针对心脏cine MRI加速采集的重建问题,提出基于隐式神经场表示的无监督方法NF-cMRI,无需大量训练数据,在26x和52x欠采样下实现良好图像质量并改善时间描绘。
2023-07-24 cs.LG eess.IV
Density Compensated Unrolled Networks for Non-Cartesian MRI Reconstruction
CEA/NeuroSpin(法国原子能与替代能源委员会神经自旋中心);CEA(法国原子能与替代能源委员会);CNRS(法国国家科学研究中心);Université Paris-Saclay(巴黎萨克雷大学);Université Paris Diderot(巴黎第七大学);Sorbonne Paris Cité(索邦巴黎西岱大学);Inria Saclay Ile-de-France(法国国家信息与自动化研究所萨克雷-法兰西岛分院)
深度神经网络最近被彻底研究,作为MRI重建的强大工具。然而,缺乏关于它们用于MRI的特定设置(即非笛卡尔采集)的研究。在这项工作中,我们引入了一种新型的深度神经网络来解决这个问题,即密度补偿展开神经网络,它依赖于密度补偿来纠正k空间的不均匀加权。我们在公开的fastMRI数据集上评估了它们的效率,并进行了一项小型消融研究。我们的结果表明,密度补偿展开神经网络优于不同的基线,并且需要设计的所有部分。我们还开源了我们的代码,特别是TensorFlow的非均匀快速傅里叶变换。
2021-02-08 cs.CV cs.LG eess.IV
MRI Reconstruction with Regularized 3D Diffusion Model (R3DM)
IAS-8;INM-4 Forschungszentrum Jülich(INM-4 研究中心);RWTH Aachen University(亚琛工业大学)
本文提出了一种基于正则化3D扩散模型的MRI重建方法,通过结合优化方法提升图像质量与保真度,实验表明其在欠采样数据下的重建性能优于现有方法。
2024-12-25 cs.CV cs.LG eess.IV
Structure Preserving Compressive Sensing MRI Reconstruction using Generative Adversarial Networks
IIT Roorkee(印度理工学院鲁尔基分校);IIT Kharagpur(印度理工学院克勒格布尔分校)
压缩感知磁共振成像(CS-MRI)通过突破奈奎斯特采样限制来加速MR图像的采集。在这项工作中,提出了一种新的生成对抗网络(GAN)为基础的框架CS-MRI重建。我们的模型结合了基于块的重构和基于结构相似性指数的损失,专注于保留重构图像中的高频内容和精细纹理细节。密集和剩余的连接已被纳入一个U型网络为基础的发电机架构,以允许更容易的信息传输以及可变的网络长度。我们表明,我们的算法优于国家的最先进的方法在重建的质量和鲁棒性噪声。此外,毫秒级的重建时间使其非常适合实时临床使用。
2020-04-26 cs.CV cs.LG eess.IV
A scan-specific unsupervised method for parallel MRI reconstruction via implicit neural representation
Shanghai Jiao Tong University(上海交通大学);ShanghaiTech University(上海科技大学)
并行成像是一种广泛使用的加速磁共振成像(MRI)的技术。然而,目前的方法在从高度欠采样的k空间数据重建无伪影的MRI图像方面仍然表现不佳。最近,隐式神经表征(INR)已经成为一种新的深度学习范式,用于学习对象的内部连续性。在本研究中,我们采用INR并行MRI重建。MRI图像被建模为空间坐标的连续函数。该函数由神经网络参数化,并直接从测量的k空间本身学习,而无需额外的完全采样的高质量训练数据。受益于INR提供的强大的连续表示,所提出的方法通过抑制混叠伪影和噪声而优于现有方法,特别是在更高的加速度和更小尺寸的自动校准信号下。高质量的结果和扫描特异性使所提出的方法具有进一步加速并行MRI数据采集的潜力。
2022-10-19 cs.CV cs.LG eess.IV
Federated Learning of Generative Image Priors for MRI Reconstruction
Bilkent University(比尔肯特大学);University of Southern California(南加州大学)
多机构的努力可以促进深度MRI重建模型的训练,尽管在跨站点共享成像数据期间会出现隐私风险。最近引入了联邦学习(FL),通过在不传输成像数据的情况下实现分布式训练来解决隐私问题。用于MRI重建的现有FL方法采用条件模型来经由成像算子的显式知识从欠采样采集映射到全采样采集。由于条件模型在不同的加速率或采样密度下泛化能力较差,因此成像算子在训练和测试之间必须是固定的,并且它们通常在不同的站点之间匹配。为了提高多机构合作的通用性和灵活性,在这里,我们介绍了一种新的方法,用于MRI重建的基础上联邦学习的生成图像先验(FedGIMP)。FedGIMP利用了两个阶段的方法:生成MRI先验的跨站点学习,以及成像操作员的受试者特定注入。全局MRI先验是通过无条件对抗模型学习的,该模型基于潜在变量合成高质量的MR图像。通过产生特定于站点的潜伏期的映射子网络来保留先前的特异性。在推理过程中,先验知识与特定于对象的成像算子相结合,以实现重建,并通过最小化数据一致性损失来进一步适应各个测试样本。多机构数据集上的综合实验清楚地表明,FedGIMP对基于条件模型的特定站点和联邦方法以及传统重建方法的泛化性能有所增强。
2022-04-06 cs.CV cs.LG eess.IV
High-Fidelity Accelerated MRI Reconstruction by Scan-Specific Fine-Tuning of Physics-Based Neural Networks
Department of Electrical and Computer Engineering, University of Minnesota(明尼苏达大学电气与计算机工程系)
长扫描持续时间仍然是高分辨率MRI的一个挑战。通过提供直接从数据中学习的数据驱动正则化器,深度学习已经成为加速MRI重建的强大手段。这些数据驱动的先验知识在训练过程中学习后,通常在测试阶段的未来数据中保持不变。在这项研究中,我们建议使用迁移学习的方法来微调这些正则化的新科目使用自我监督的方法。虽然所提出的方法可能会影响深度学习MRI方法的极快重建时间,但我们在膝关节MRI上的结果表明,这种自适应可以大大减少重建图像中的剩余伪影。此外,所提出的方法有可能降低泛化到罕见病理条件的风险,这可能在训练数据中不可用。
2020-05-12 cs.CV cs.LG eess.IV
Robust Depth Linear Error Decomposition with Double Total Variation and Nuclear Norm for Dynamic MRI Reconstruction
针对动态MRI重建中的多域差异、时空特性及计算成本问题,提出RDLEDM模型,通过线性分解、双重TV和NN正则化及原始-对偶快速算法,实现了更高的重建精度和更低的时间复杂度。
2023-10-23 cs.CV cs.LG eess.IV
Fast MRI Reconstruction: How Powerful Transformers Are?
Imperial College London(帝国理工学院);Royal Brompton Hospital(皇家布朗普顿医院)
磁共振成像(MRI)是一种广泛使用的非辐射和非侵入性的方法,用于器官结构和代谢的临床询问,具有固有的长扫描时间。k空间欠采样和基于深度学习的重建方法已经普及,以加速扫描过程。这项工作的重点是研究如何强大的Transformers是快速MRI利用和比较不同的新型网络架构。特别地,基于生成对抗网络(GAN)的Swin Transformer(ST-GAN)被引入用于快速MRI重建。为了进一步保留边缘和纹理信息,还开发了基于边缘增强的GAN的Swin Transformer(EES-GAN)和基于纹理增强的GAN的Swin Transformer(TES-GAN),其中应用了双边缘GAN结构。我们比较了我们提出的基于GAN的Transformers,独立Swin Transformer和其他基于卷积神经网络的GAN模型的评估指标PSNR,SSIM和FID。我们表明,Transformers工作以及从不同的欠采样条件下的MRI重建。利用GAN的对抗结构可以提高欠采样30%或更高时重建图像的质量。该代码可在https://github.com/ayanglab/SwinGANMR上公开获取。
2022-04-04 cs.CV cs.LG eess.IV
PixCUE: Joint Uncertainty Estimation and Image Reconstruction in MRI using Deep Pixel Classification
Monash University(莫纳什大学)
深度学习(DL)模型能够成功地利用MR数据中的潜在表示,并已成为加速MRI重建的最新技术。然而,k空间中的测量值采样不足以及DL的过度或欠参数化和不透明性质使这些模型暴露于不确定性。因此,不确定性估计已成为DL MRI重建中的主要问题。为了估计不确定性,蒙特卡罗(MC)推断技术已经成为一种常见的实践,其中利用多次重建来计算重建中的方差作为不确定性的测量。然而,这些方法需要高的计算成本,因为它们需要通过DL模型进行多次推断。为此,我们介绍了一种方法来估计在MRI重建过程中使用像素分类框架的不确定性。所提出的方法PixCUE(代表像素分类不确定性估计)在通过DL模型的单个前向传递期间产生重建图像以及不确定性图。我们证明,这种方法产生的不确定性地图,高度相关的重建误差相对于各种MR成像序列和许多敌对条件下。我们还表明,估计的不确定性相关的传统MC方法。我们还提供了使用PixCUE和公认的重建指标,如NMSE,PSNR和SSIM的不确定性估计之间的经验关系。我们的结论是,PixCUE是能够可靠地估计在MRI重建的不确定性,以最小的额外计算成本。
2023-03-08 cs.AI cs.CV cs.LG
Deep variational network for rapid 4D flow MRI reconstruction
University and ETH Zurich(苏黎世大学与苏黎世联邦理工学院)
相衬磁共振成像(MRI)提供了血流动力学的时间分辨量化,可以帮助临床诊断。由于在心脏相位和呼吸周期内重复进行三维(3D)体积采样,体内扫描时间较长,因此需要利用数据相关性的加速成像技术。标准的压缩感知重建方法需要调整超参数,并且在计算上是昂贵的,这减少了检查时间的潜在减少。我们提出了一种有效的基于模型的深度神经重建网络,并评估了其在临床主动脉血流数据上的性能。该网络被证明可以在标准消费者硬件上在一分钟内重建欠采样的4D流MRI数据。值得注意的是,相对少量的可调参数允许网络在来自11个参考扫描的图像上进行训练,同时很好地推广到各种加速因子和解剖结构的回顾性和前瞻性欠采样数据。
2020-04-20 cs.CV cs.LG eess.IV
Harnessing Magnitude-Only and Complex Measurements for Improved Dynamic MRI Reconstruction with Learned Priors
University of Minnesota(明尼苏达大学);Center for Magnetic Resonance Research(磁共振研究中心)
本研究提出$\boldsymbol{\text{C}}+\text{Mag}$方法,结合复值与k空间幅度信息,采用ADMM展开框架实现动态MRI重建,实验表明其在伪影抑制、结构恢复等方面优于传统PD-DL方法。
2026-10-21 cs.AI cs.CV cs.LG
Multi-branch Cascaded Swin Transformers with Attention to k-space Sampling Pattern for Accelerated MRI Reconstruction
Monash Biomedical Imaging, Monash University(莫纳什大学生物医学成像中心);Department of Electrical and Computer Systems Engineering, Monash University(莫纳什大学电气与计算机系统工程系);School of Psychological Sciences, Monash University(莫纳什大学心理科学学院);Department of Data Science and AI, Monash University(莫纳什大学数据科学与人工智能系)
由于组织和骨骼之间的相似性,全局相关性在人类解剖结构中广泛存在。这些相关性反映在磁共振成像(MRI)扫描作为近距离质子密度和T1/T2参数的结果。此外,为了实现加速MRI,k空间数据被欠采样,这导致全局混叠伪影。卷积神经网络(CNN)模型被广泛用于加速MRI重建,但由于卷积运算的固有局部性,这些模型在捕获全局相关性方面受到限制。基于自注意的Transformer模型能够捕捉图像特征之间的全局相关性,然而,目前Transformer模型对MRI重建的贡献很小。现有的贡献主要提供CNN变压器混合解决方案,很少利用MRI的物理特性。在本文中,我们提出了一个基于物理的独立(无卷积)Transformer模型,标题为多头级联Swin Transformers(McSTRA)的加速MRI重建。McSTRA将几个相互关联的MRI物理相关概念与Transformer网络相结合:它通过移位窗口自注意机制利用全局MR特征;它使用多头设置分别提取属于不同频谱分量的MR特征;它通过级联网络在中间去混叠和k空间校正之间迭代,具有k空间中的数据一致性和中间损耗计算;此外,我们提出了一种新的位置嵌入生成机制,利用对应于欠采样掩码的点扩散函数来引导自我注意。我们的模型在视觉上和定量上都明显优于最先进的MRI重建方法,同时描述了提高的分辨率和消除混叠伪影。
2022-12-21 cs.AI cs.CV cs.LG
Single-pass Object-adaptive Data Undersampling and Reconstruction for MRI
Michigan State University(密歇根州立大学)
最近,人们对通过获取有限的测量值来加速MRI中的数据获取过程的技术非常感兴趣。通常部署复杂的重建算法以在这样的设置中保持高图像质量。在这项工作中,我们提出了一个数据驱动的采样器,使用卷积神经网络,MNet,提供对象特定的采样模式自适应每个扫描对象。该网络观察每个对象的非常有限的低频k空间数据,并一次性快速预测所需的欠采样模式,从而实现高图像重建质量。我们提出了一个伴随的交替型训练框架与掩码向后的过程,有效地生成训练标签的采样器网络和联合训练的图像重建网络。在fastMRI膝关节数据集上的实验结果表明,所提出的学习欠采样网络能够在四倍和八倍加速下生成对象特定的掩模,从而实现优于几种现有方案的图像重建性能。所提出的联合采样和重构学习框架的源代码可在https://github.com/zhishenhuang/mri获得。
2022-05-18 cs.CV cs.LG eess.IV
Unveiling Fairness Biases in Deep Learning-Based Brain MRI Reconstruction
The University of Edinburgh(爱丁堡大学);Indiana University School of Medicine(印第安纳大学医学院);The Alan Turing Institute(艾伦·图灵研究所)
本文首次分析基于U-Net的脑部MRI重建模型公平性,发现性别与年龄亚组间存在显著性能偏差,且数据不平衡和训练歧视并非主要来源。
2023-09-25 cs.CV cs.LG eess.IV
Are Natural-Domain Foundation Models Effective for Accelerated Cardiac MRI Reconstruction?
Dublin City University(都柏林城市大学);University College Dublin(都柏林大学)
本文探讨自然域基础模型在加速心脏MRI重建中的有效性,对比了与领域特定模型如BiomedCLIP的性能,并发现基础模型在跨领域场景中更具鲁棒性。
2026-04-24 cs.CV cs.LG eess.IV
MRPD: Undersampled MRI reconstruction by prompting a large latent diffusion model
School of Biomedical Engineering, Division of Life Sciences and Medicine, University of Science and Technology of China (USTC)(中国科学技术大学生命科学与医学部生物医学工程学院);Suzhou Institute for Advance Research, USTC(中国科学技术大学苏州高等研究院);Key Laboratory of Precision and Intelligent Chemistry, USTC(中国科学技术大学精准与智能化学重点实验室);Key Laboratory of Intelligent Information Processing of Chinese Academy of Sciences (CAS), Institute of Computing Technology, CAS(中国科学院计算技术研究所中国科学院智能信息处理重点实验室)
MRPD提出利用自然图像预训练的大型潜在扩散模型实现欠采样MRI重建,通过MRSampler和轻量级MRAdapter支持无监督及数据库可用场景,并在域外采样、对比度和器官上取得最佳泛化能力。
2024-07-05 cs.CV cs.LG eess.IV
A Learnable Variational Model for Joint Multimodal MRI Reconstruction and Synthesis
University of Florida(佛罗里达大学);Georgia State University(佐治亚州立大学)
生成相同解剖结构的多对比/模态MRI丰富了诊断信息,但由于过多的数据采集时间而在实践中受到限制。在本文中,我们提出了一种新的深度学习模型,用于使用几种源模态的不完整k空间数据作为输入的多模态MRI的联合重建和合成。我们的模型的输出包括源模态的重建图像和在目标模态中合成的高质量图像。我们提出的模型被制定为一个变分问题,利用几个可学习的模态特定的特征提取器和多模态合成模块。我们提出了一个可学习的优化算法来解决这个模型,它诱导了一个多相网络,其参数可以使用多模态MRI数据进行训练。此外,一个双层优化框架,用于强大的参数训练。我们证明了我们的方法使用广泛的数值实验的有效性。
2022-06-28 cs.CV cs.LG eess.IV
Joint Edge Optimization Deep Unfolding Network for Accelerated MRI Reconstruction
针对加速MRI扫描中边缘先验利用不足的问题,提出联合边缘优化深度展开网络,通过非边缘概率图和图像—边缘协同正则化提升重建质量,并在多线圈与单线圈数据上验证其优越性。
2024-05-09 cs.CV cs.LG eess.IV
KD-MRI: A knowledge distillation framework for image reconstruction and image restoration in MRI workflow
Indian Institute of Technology Madras(马德拉斯印度理工学院)
深度学习网络正在MRI工作流程的每个阶段中开发,并提供了最先进的结果。然而,这是以增加计算需求和存储为代价的。因此,在MRI工作流程的各个阶段用紧凑模型替换网络可以显著减少所需的存储空间并提供相当大的加速。在计算机视觉中,知识提取是一种常用的模型压缩方法。在我们的工作中,我们提出了一个知识蒸馏(KD)框架的图像到图像的MRI工作流程中的问题,以开发紧凑的,低参数的模型,而不会显着下降的性能。我们提出了基于注意力的特征提取方法和模仿损失的组合,并在流行的MRI重建架构DC-CNN上证明了其有效性。我们使用心脏、大脑和膝关节MRI数据集进行了广泛的实验,分别为4x、5x和8x加速度。我们观察到,使用我们提出的KD框架在教师的帮助下训练的学生网络在所有数据集和加速因子上都比在没有帮助的情况下训练的学生网络有了显着的改进。具体而言,对于Knee数据集,与教师相比,学生网络实现了$65\%$参数减少,CPU运行时间快2倍,GPU运行时间快1.5倍。此外,我们比较了我们的基于注意力的特征提取方法与其他特征提取方法。我们还进行了一项消融性研究,以了解基于注意力的蒸馏和模仿损失的意义。我们还扩展了我们的KD框架用于MRI超分辨率,并显示出令人鼓舞的结果。
2020-04-11 cs.CV cs.LG eess.IV
Resolution-Robust 3D MRI Reconstruction with 2D Diffusion Priors: Diverse-Resolution Training Outperforms Interpolation
Technical University of Munich(慕尼黑工业大学)
针对3D MRI重建中因体素大小变化导致的性能下降问题,本文提出多种分辨率鲁棒方法,发现基于多分辨率训练的数据中心策略优于基于模型的方法,且不牺牲准确性。
2024-12-24 cs.CV cs.LG eess.IV
Analysis of Deep Complex-Valued Convolutional Neural Networks for MRI Reconstruction
Stanford University(斯坦福大学);Apple Inc.(苹果公司);GE Healthcare(GE医疗)
许多真实世界的信号源是复值的,具有实部和虚部。然而,绝大多数现有的深度学习平台和网络架构都不支持使用复值数据。MRI数据本质上是复值的,因此现有方法丢弃了复数据的更丰富的代数结构。在这项工作中,我们研究了端到端复值卷积神经网络-特别是代替双通道实值网络的图像重建。我们将其应用于磁共振成像重建的目的,加速扫描时间,并确定各种有前途的复值激活函数的性能。我们发现,在各种网络架构和数据集上,与具有相同数量可训练参数的实值卷积相比,具有复值卷积的复值CNN提供了更好的重建。
2020-05-12 cs.CV cs.LG eess.IV
GRAPPA-GANs for Parallel MRI Reconstruction
Center for Magnetic Resonance Research (CMRR)(磁共振研究中心);University of Minnesota Twin Cities(明尼苏达大学双城分校)
k空间欠采样是加速MR图像采集的标准技术。重建技术包括GeneRalized Autocalibrating Partial Parallel Acquisition(GRAPPA)及其变体,广泛用于临床和研究环境。开发了一种将GRAPPA与条件生成对抗网络(GAN)相结合的重建模型,并在来自fastMRI数据集的多线圈人脑图像上进行了测试。对于不同的加速度,GAN和GRAPPA重建的峰值信噪比(PSNR)和结构相似性(SSIM)进行了比较。对于R=4的加速率,PSNR从使用正则化GRAPPA的33.88提高到使用GAN的37.65。GAN在各种加速率上的表现都优于GRAPPA。
2021-02-15 cs.CV cs.LG eess.IV
Primitive Representation Learning for Unsupervised Dynamic Contrast Enhanced MRI Reconstruction
Helmholtz Munich(亥姆霍兹慕尼黑);Technical University of Munich(慕尼黑工业大学);Boston Children’s Hospital(波士顿儿童医院);Harvard Medical School(哈佛医学院);Munich Center for Machine Learning(慕尼黑机器学习中心);Imperial College London(伦敦帝国理工学院);King’s College London(伦敦国王学院)
针对无监督动态对比增强MRI重建,提出多维度基元框架解耦动态因素,性能与传统方法相当,可扩展至更高加速率,代码公开。
2026-08-20 cs.CV cs.LG eess.IV