Recurrent Variational Network: A Deep Learning Inverse Problem Solver applied to the task of Accelerated MRI Reconstruction
Netherlands Cancer Institute(荷兰癌症研究所);qurAI group(qurAI团队);University of Amsterdam(阿姆斯特丹大学)
磁共振成像可以产生人体解剖学和生理学的详细图像,可以帮助医生诊断和治疗肿瘤等病理。然而,MRI具有非常长的采集时间,这使其容易受到患者运动伪影的影响,并限制了其提供动态治疗的潜力。诸如并行成像和压缩感知的常规方法允许通过从使用多个接收器线圈采集的子采样MRI数据重建MR图像来提高MRI采集速度。深度学习结合并行成像和压缩感知技术的最新进展有可能从高度加速的MRI数据中产生高保真重建。在这项工作中,我们提出了一种新的基于深度学习的逆问题求解器,应用于加速MRI重建的任务,称为递归变分网络(RecurrentVarNet),通过利用卷积递归神经网络的属性和解逆问题的展开算法。RecurrentVarNet由多个递归块组成,每个块负责展开变分优化方案的一次迭代,以解决多线圈加速MRI重建的逆问题。与传统方法相反,优化步骤在观察域($k$ -空间)而不是图像域中执行。RecurrentVarNet的每个块细化观察到的$k$空间,并且包括数据一致性项和递归单元,该递归单元将学习到的隐藏状态和前一块的预测作为输入。我们提出的方法在来自公共多线圈大脑数据集的5倍和10倍加速数据上实现了最新的定性和定量重建结果,优于以前的传统和基于深度学习的方法。
2022-03-29 cs.CV eess.IV physics.med-ph
Dual-Domain Self-Supervised Learning for Accelerated Non-Cartesian MRI Reconstruction
Hyperfine Research(Hyperfine研究院);Yale University(耶鲁大学);New York University(纽约大学)
虽然能够加速采集和提高重建精度,但当前的深度MRI重建网络通常是受监督的,需要完全采样的数据,并且限于笛卡尔采样模式。这些因素限制了它们的实际应用,因为全采样MRI在临床上采集非常耗时。此外,非笛卡尔采样模式特别理想,因为它们更容易受到加速度的影响,并且显示出更好的运动鲁棒性。为此,我们提出了一个完全自我监督的方法,加速非笛卡尔MRI重建,利用自我监督在k空间和图像域。在训练中,欠采样数据被分成不相交的k空间域分区。对于k-空间自监督,我们训练一个网络来重建输入欠采样数据从不相交的分区和从本身。对于图像级的自我监督,我们强制从原始欠采样数据和两个分区获得的外观一致性。在我们模拟的多线圈非笛卡尔MRI数据集上的实验结果表明,DDSS可以生成接近完全监督重建精度的高质量重建,优于以前的基线方法。最后,DDSS被证明可以扩展到在便携式低场(0.064 T)MRI扫描仪上采集的极具挑战性的真实世界临床MRI重建,没有数据可用于监督训练,同时证明与传统重建相比,图像质量有所改善,如放射科医生研究所确定的。
2023-02-18 cs.CV cs.LG eess.IV
Scale-Equivariant Unrolled Neural Networks for Data-Efficient Accelerated MRI Reconstruction
Stanford University(斯坦福大学)
展开的神经网络为加速磁共振成像(MRI)重建任务提供了最先进的重建性能和快速推理时间。然而,这些方法依赖于完全采样的扫描作为地面实况数据,这在许多临床医学成像应用中是昂贵的或不可能获取的;因此,期望减少对数据的依赖。在这项工作中,我们提出用尺度等变卷积神经网络对展开神经网络的近端算子进行建模,以提高数据效率和对图像尺度漂移的鲁棒性,这些漂移可能源于患者解剖结构的变化或不同MRI扫描仪的视场变化。我们的方法表现出强大的改进,在相同的内存约束下,在分布和分布范围外的缩放图像上都有和没有数据增强,而不会显着增加训练或推理时间的最先进的展开神经网络。
2022-04-21 cs.CV cs.LG eess.IV
Multi-branch Cascaded Swin Transformers with Attention to k-space Sampling Pattern for Accelerated MRI Reconstruction
Monash Biomedical Imaging, Monash University(莫纳什大学生物医学成像中心);Department of Electrical and Computer Systems Engineering, Monash University(莫纳什大学电气与计算机系统工程系);School of Psychological Sciences, Monash University(莫纳什大学心理科学学院);Department of Data Science and AI, Monash University(莫纳什大学数据科学与人工智能系)
由于组织和骨骼之间的相似性,全局相关性在人类解剖结构中广泛存在。这些相关性反映在磁共振成像(MRI)扫描作为近距离质子密度和T1/T2参数的结果。此外,为了实现加速MRI,k空间数据被欠采样,这导致全局混叠伪影。卷积神经网络(CNN)模型被广泛用于加速MRI重建,但由于卷积运算的固有局部性,这些模型在捕获全局相关性方面受到限制。基于自注意的Transformer模型能够捕捉图像特征之间的全局相关性,然而,目前Transformer模型对MRI重建的贡献很小。现有的贡献主要提供CNN变压器混合解决方案,很少利用MRI的物理特性。在本文中,我们提出了一个基于物理的独立(无卷积)Transformer模型,标题为多头级联Swin Transformers(McSTRA)的加速MRI重建。McSTRA将几个相互关联的MRI物理相关概念与Transformer网络相结合:它通过移位窗口自注意机制利用全局MR特征;它使用多头设置分别提取属于不同频谱分量的MR特征;它通过级联网络在中间去混叠和k空间校正之间迭代,具有k空间中的数据一致性和中间损耗计算;此外,我们提出了一种新的位置嵌入生成机制,利用对应于欠采样掩码的点扩散函数来引导自我注意。我们的模型在视觉上和定量上都明显优于最先进的MRI重建方法,同时描述了提高的分辨率和消除混叠伪影。
2022-12-21 cs.AI cs.CV cs.LG
Constrained Probabilistic Mask Learning for Task-specific Undersampled MRI Reconstruction
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML))
本研究提出名为ProM的概率可微约束掩码优化框架,直接从数据学习任务特异性欠采样MRI掩码,经多部位数据集验证,定制掩码可提升下游任务性能且通用性更强。
2023-08-22 cs.CV cs.LG eess.IV
A Few-Shot Learning Approach for Accelerated MRI via Fusion of Data-Driven and Subject-Driven Priors
Bilkent University(比尔肯特大学);National Magnetic Resonance Research Center (UMRAM)(国家磁共振研究中心(UMRAM));Neuroscience Program, Aysel Sabuncu Brain Research Center, Bilkent University(比尔肯特大学艾塞尔·萨本居脑研究中心神经科学项目)
深度神经网络(DNN)最近在加速MRI重建中发现了新的用途。DNN通常从由欠采样和完全采样采集对组成的大型数据集中学习数据驱动的先验知识。然而,获取如此大的数据集可能不切实际。为了减轻这一限制,我们提出了一种用于加速MRI的少样本学习方法,该方法将通过物理信号模型获得的受试者驱动的先验与从一些训练样本获得的数据驱动的先验合并。来自纽约大学fastMRI数据集的脑MR图像的演示表明,所提出的方法只需要几个样本就可以胜过传统的并行成像和DNN算法。
2021-03-13 cs.CV eess.IV
Are Natural-Domain Foundation Models Effective for Accelerated Cardiac MRI Reconstruction?
Dublin City University(都柏林城市大学);University College Dublin(都柏林大学)
本文探讨自然域基础模型在加速心脏MRI重建中的有效性,对比了与领域特定模型如BiomedCLIP的性能,并发现基础模型在跨领域场景中更具鲁棒性。
2026-04-24 cs.CV cs.LG eess.IV
Robustness of Deep Learning for Accelerated MRI: Benefits of Diverse Training Data
Technical University of Munich(慕尼黑工业大学)
本文研究训练数据分布对加速MRI深度学习模型鲁棒性的影响,发现用多扫描仪、多解剖部位的多样化数据训练可在不降低分布内性能的前提下提升跨分布鲁棒性,优于为单一分布分别维护模型。
2024-08-07 cs.CV cs.LG eess.IV
fastMRI: An Open Dataset and Benchmarks for Accelerated MRI
Facebook AI Research(脸书人工智能研究院);NYU School of Medicine(纽约大学医学院);NYU Center for Data Science(纽约大学数据科学中心);University of Florida(佛罗里达大学)
通过采取更少的测量来加速磁共振成像(MRI)有可能降低医疗成本,最大限度地减少对患者的压力,并使MRI在目前非常缓慢或昂贵的应用中成为可能。我们介绍了fastMRI数据集,这是一个大规模的原始MR测量和临床MR图像的集合,可用于训练和评估MR图像重建的机器学习方法。通过引入标准化的评估标准和免费访问的数据集,我们的目标是帮助社区在MR图像重建的最新技术方面取得快速进展。我们还为没有医学成像背景的机器学习研究人员提供了一个独立的MRI介绍。
2019-12-11 cs.CV cs.LG eess.SP
Dense Recurrent Neural Networks for Accelerated MRI: History-Cognizant Unrolling of Optimization Algorithms
University of Minnesota(明尼苏达大学)
加速MRI的逆问题通常包含关于正则化重建框架中的前向编码算子的特定领域知识。最近,物理驱动的深度学习(DL)方法被提出来使用神经网络进行数据驱动的正则化。这些方法展开迭代优化算法来解决反问题目标函数,通过神经网络在特定领域的数据一致性和数据驱动的正则化之间交替。然后,整个展开的网络被端到端地训练,以学习网络的参数。由于梯度下降步骤的数据一致性更新的简单性,近端梯度下降(PGD)是展开物理驱动的DL重建方法的常用方法。然而,PGD方法收敛速度慢,需要更多的展开迭代,导致训练中的内存问题和测试中的重建时间较慢。受PGD方法的有效变体的启发,使用以前的迭代的历史,我们提出了一个历史认知展开的优化算法与密集的连接在迭代中,以提高性能。在我们的方法中,梯度下降步骤是在所有先前正则化单元的输出的可训练组合上计算的。我们也将这一思想应用于二次松弛展开变量分裂方法。我们在fastMRI膝关节数据集重建的结果表明,所提出的历史认知方法减少了残余混叠伪影相比,其传统的展开对应,而不需要额外的计算能力或增加重建时间。
2020-07-08 cs.CV cs.LG eess.IV
Attention Hybrid Variational Net for Accelerated MRI Reconstruction
Boston University(波士顿大学);Boston Medical Center(波士顿医疗中心);Boston University Chobanian & Avedisian School of Medicine(波士顿大学乔巴尼亚与阿夫迪西安医学院)
提出一种在k空间和图像域联合学习的注意力混合变分网络,用于加速MRI重建,在开源和临床中风数据集上优于其他方法。
2023-06-21 cs.CV cs.LG eess.IV
Domain-conditioned and Temporal-guided Diffusion Modeling for Accelerated Dynamic MRI Reconstruction
本研究提出域条件与时间引导的dDiMo扩散建模方法,整合时空与频时先验并结合非线性共轭梯度实现平滑扩散,在心脏和肺部动态MRI重建中性能优于主流方法,适配笛卡尔与非笛卡尔采集。
2025-01-16 cs.CV eess.IV physics.med-ph
SuperMask: Generating High-resolution object masks from multi-view, unaligned low-resolution MRIs
Duke University(杜克大学)
磁共振图像(MRI)中的三维分割反映了对象的真实形状,这是具有挑战性的,因为高分辨率的各向同性MRI是罕见的,并且典型的MRI是各向异性的,其中平面外维度具有低得多的分辨率。这个问题的一个潜在的补救措施在于,通常在不同的平面上采集多个序列。然而,在实践中,这些序列彼此不正交,限制了许多先前解决方案从多个较低分辨率图像重建较高分辨率图像的适用性。我们提出了一种基于弱监督深度学习的解决方案,用于从多个低分辨率图像生成高分辨率掩码。我们的方法结合了分割和无监督注册网络,通过引入两个新的正则化,使注册和分割相互加强。最后,我们介绍了一种多视图融合的方法来产生高分辨率的目标对象掩模。在两个数据集上的实验结果表明了该方法的优越性。重要的是,在训练过程中不使用高分辨率图像的优势使我们的方法适用于各种MRI分割任务。
2023-03-13 cs.CV cs.LG eess.IV
End-to-End Variational Networks for Accelerated MRI Reconstruction
Facebook AI Research (FAIR)(Facebook人工智能研究院(FAIR));NYU School of Medicine(纽约大学医学院)
磁共振成像(MRI)的缓慢采集速度导致了两种互补方法的发展:同时采集解剖结构的多个视图(并行成像)和采集比传统信号处理方法所需的更少的样本(压缩感知)。虽然这些方法的组合具有允许更快的扫描时间的潜力,但是从这种欠采样的多线圈数据进行重建仍然是一个悬而未决的问题。在本文中,我们提出了一种新的方法来解决这个问题,通过学习完全端到端扩展以前提出的变分方法。我们的方法在脑部和膝关节MRI的fastMRI数据集上获得了新的最先进的结果。
2020-04-15 cs.CV eess.IV
GA-HQS: MRI reconstruction via a generically accelerated unfolding approach
Zhejiang University of Technology(浙江工业大学)
针对深度展开网络在压缩感知MRI中依赖一阶优化、信息融合不足及难以捕捉长程关系的问题,提出结合二阶梯度信息、金字塔注意力模块和多尺度分割Transformer的GA-HQS算法,在单线圈MRI加速任务上超越以往方法。
2023-04-06 cs.CV eess.IV
Joint Edge Optimization Deep Unfolding Network for Accelerated MRI Reconstruction
针对加速MRI扫描中边缘先验利用不足的问题,提出联合边缘优化深度展开网络,通过非边缘概率图和图像—边缘协同正则化提升重建质量,并在多线圈与单线圈数据上验证其优越性。
2024-05-09 cs.CV cs.LG eess.IV
UMPIRE-Net: Unrolled Magnitude-Phase Regularization Network for Accelerated MRI
University of Minnesota(明尼苏达大学);Center for Magnetic Resonance Research(磁共振研究中心)
针对加速MRI的不适定逆问题,提出将幅度与相位解耦正则化的UMPIRE-Net,在部分傅里叶成像场景下提升了重建质量,生成更清晰图像并减少伪影。
2026-08-17 cs.CV eess.IV eess.SP
Prostate Lesion Estimation using Prostate Masks from Biparametric MRI
Istanbul Technical University(伊斯坦布尔理工大学);Acibadem Mehmet Ali Aydinlar University School of Medicine(阿吉巴德姆·穆罕默德·阿里·艾丁拉尔大学医学院);Bahcesehir University(巴耶塞特大学)
双参数MRI已成为多参数前列腺MRI的替代方案,它消除了造影剂对患者的潜在伤害。双参数MRI的一个主要问题是难以检测临床显著的前列腺癌(csPCA)。深度学习算法已经成为在队列研究中检测csPCA的替代解决方案。我们提出了一个工作流程,预测双参数前列腺MRI PI-CAI 2022挑战的csPCA,超过10,000次精心策划的前列腺MRI检查。我们建议首先将前列腺分割为中央腺(过渡区+中央区)和外周腺。然后,我们利用这些预测结合T2,ADC和DWI图像训练一个集成nnU-Net模型。最后,我们利用临床指标PSA和病变区域的ADC强度分布,以减少假阳性。我们的方法在开放验证阶段取得了最佳结果,AUROC为0.888,AP为0.732。
2023-01-11 cs.CV eess.IV physics.med-ph
Semi-Supervised Learning of Mutually Accelerated MRI Synthesis without Fully-Sampled Ground Truths
Bilkent University(比尔肯特大学);University of Southern California(南加利福尼亚大学);Hacettepe University(哈杰泰佩大学)
基于学习的合成多对比度MRI通常涉及使用源和目标对比度的高质量图像训练的深度模型,无论源和目标域样本是否配对。这导致对所有MRI对比的完全采样采集的不期望的依赖,由于扫描成本和时间的限制,这可能被证明是不切实际的。在这里,我们提出了一种新的半监督深度生成模型,该模型直接从源和目标对比度的加速采集中学习恢复高质量的目标图像。为了实现这一目标,该模型在图像,k空间和对抗域中引入了新的多线圈张量损失。这些选择性损失仅基于所获取的k空间样本,并且在受试者之间使用随机采样掩码来捕获所获取和非所获取的k空间区域之间的关系。在多对比度神经成像数据集上的综合实验表明,我们的半监督方法与黄金标准的全监督模型具有同等的性能,同时优于级联方法,该方法基于欠采样数据的重建来学习合成。因此,所提出的方法对于提高跨对比度集和k空间相互欠采样的加速MRI采集的可行性和实用性具有很大的希望。
2021-05-12 cs.CV eess.IV
Accelerated MRI with Un-trained Neural Networks
Rice University(莱斯大学);Technical University of Munich(慕尼黑工业大学)
卷积神经网络(CNN)对于图像重建问题是非常有效的。通常,CNN是在大量训练图像上训练的。然而,最近,未经训练的CNN(如深度图像先验和深度解码器)在图像重建问题(如去噪和修复,\emph{without using any training data})方面取得了优异的性能。出于这一发展的动机,我们解决了在加速MRI与未经训练的神经网络中出现的重建问题。我们提出了一种基于深度解码器变体的高度优化的未训练恢复方法,并表明它显著优于其他未训练方法,特别是基于稀疏的经典压缩感知方法和未训练神经网络的朴素应用。我们还比较了训练方法的理想设置中的性能(无论是重建准确性还是计算成本),特别是在fastMRI数据集上,其中训练和测试数据来自相同的分布。我们发现,我们的未经训练的算法实现了与基线训练的神经网络相似的性能,但最先进的训练网络优于未经训练的网络。最后,我们在训练和测试分布略有不同的非理想设置上进行比较,发现我们的未训练方法与最先进的加速MRI重建方法具有相似的性能。
2021-04-27 cs.CV cs.LG eess.IV
GLEAM: Greedy Learning for Large-Scale Accelerated MRI Reconstruction
Stanford University(斯坦福大学);NVIDIA Inc(英伟达公司)
展开的神经网络最近实现了最先进的加速MRI重建。这些网络通过在基于物理的一致性和基于神经网络的正则化之间交替来展开迭代优化算法。然而,它们需要大型神经网络的多次迭代来处理高维成像任务,如3D MRI。这限制了传统的基于反向传播的训练算法,因为计算梯度和存储中间激活的内存和计算要求非常大。为了应对这一挑战,我们提出了贪婪学习加速MRI(GLEAM)重建,一个有效的训练策略,为高维成像设置。GLEAM将端到端网络拆分为解耦的网络模块。每个模块都以贪婪的方式进行优化,并使用解耦的梯度更新,从而减少训练期间的内存占用。我们表明,解耦的梯度更新可以在多个图形处理单元(GPU)上并行执行,以进一步减少训练时间。我们目前的实验与2D和3D数据集,包括多线圈膝关节,大脑和动态心脏电影MRI。我们注意到:i)GLEAM概括了最先进的内存效率基线,如梯度检查点和可逆网络,具有相同的内存占用,但训练速度快1.3倍; ii)对于相同的内存占用,GLEAM在2D和3D中分别产生1.1dB和1.8 dB的端到端基线PSNR增益。
2022-07-18 cs.CV eess.IV
Accurate Prostate Cancer Detection and Segmentation on Biparametric MRI using Non-local Mask R-CNN with Histopathological Ground Truth
目的:我们的目标是开发深度机器学习(DL)模型,通过使用基于全量前列腺切除术的轮廓来改善bp-MRI上前列腺内病变(IL)的检测和分割。我们还旨在研究迁移学习和自我训练是否会改善少量标记数据的结果。研究方法:158例患者在bp-MRI基础上MRI显示可疑病灶,64例患者在全子宫切除标本切片上MRI显示IL,40例患者未标记。提出了一种非局部Mask R-CNN来提高分割精度。通过微调使用基于MRI的描绘与基于脑切除术的描绘训练的模型来研究迁移学习。在自我训练中,研究了两种标签选择策略。以3D检出率、Dice相似系数(DSC)、95百分位Hausdrauff(95 HD,mm)和真阳性率(TPR)评价模型的性能。结果如下:通过基于轮廓的描绘,具有微调和自训练的非局部Mask R-CNN显着改善了所有评估指标。对于具有最高检出率和DSC的模型,在所有Gleason分级组(GGG)中检出80.5%(33/41)的病变,DSC为0.548[0.165],95 HD为5.72[3.17],TPR为0.613[0.193]。其中GGG > 2的病灶检出率为94.7%(18/19),DSC为0.604[0.135],95 HD为6.26[3.44],TPR为0.580[0.190]。结论:DL模型可以实现高的前列腺癌检测和分割准确率的bp-MRI的基础上的注释从组织学图像。为了进一步提高性能,需…
2020-10-28 cs.CV cs.LG eess.IV
Uncertainty Estimation and Propagation in Accelerated MRI Reconstruction
University of Tübingen(图宾根大学);University Hospital of Tübingen(图宾根大学医院)
本文提出基于条件分层变分自编码器的概率重建方法 PHiRec,在保证高质量加速 MRI 重建的同时实现良好校准的不确定性量化,并支持将重建不确定性传播到下游分割任务。
2023-08-04 cs.CV cs.LG eess.IV
DD-CISENet: Dual-Domain Cross-Iteration Squeeze and Excitation Network for Accelerated MRI Reconstruction
Siemens Healthineers(西门子医疗);Yale University(耶鲁大学)
针对MRI采集时间长、稀疏采样易产生混叠伪影的问题,提出双域交叉迭代挤压激励网络DD-CISENet,通过交叉迭代残差连接融合k空间与图像信息,在fastMRI数据集上重建误差显著优于现有深度学习方法。
2023-04-28 cs.CV eess.IV
Stochastic Finite-Transition Learning and Exploration for Accelerated MRI Reconstruction
Bilkent University(比尔肯特大学);Bogazici University(博阿齐奇大学)
FLEX-MRI通过将MRI恢复划分为有限区间并结合支撑松弛的有限转换学习与随机探索,在保持少步采样计算效率的同时,提升了加速MRI重建的性能。
2026-10-12 cs.CV eess.IV eess.SP
Improved Simultaneous Multi-Slice Functional MRI Using Self-supervised Deep Learning
University of Minnesota(明尼苏达大学);Center for Magnetic Resonance Research(磁共振研究中心)
功能性磁共振成像(fMRI)通常用于解释整个大脑的神经活动。许多加速功能磁共振成像技术的目的是提供更好的时空分辨率。其中,同步多切片(SMS)成像已成为一种强大的策略,成为大规模研究的一部分,如人类连接组项目。然而,当SMS成像与平面内加速相结合以获得更高的加速率时,传统的SMS重建方法可能遭受噪声放大和其他伪影。最近,深度学习(DL)技术在改善MRI重建方面引起了人们的兴趣。然而,这些方法通常以监督的方式训练,这需要完全采样的参考数据,这在高加速的fMRI采集中是不可行的。不需要完全采样数据的自监督学习最近被提出,并显示出与监督学习相似的性能。然而,它只适用于面内加速度。此外,DL重建对后续fMRI分析的影响仍不清楚。在这项工作中,我们将自监督DL重建扩展到SMS成像。我们的研究结果表明,前瞻性的10倍加速的7T fMRI数据的自我监督DL减少重建噪声和抑制残留的伪影。随后的功能磁共振成像分析仍然没有改变DL处理,而改善的时间信噪比产生更高的一致性估计之间的任务运行。
2021-05-10 cs.CV cs.LG eess.IV
ReconFormer: Accelerated MRI Reconstruction Using Recurrent Transformer
Johns Hopkins University(约翰斯·霍普金斯大学)
加速磁共振图像(MRI)重建过程是一个具有挑战性的不适定逆问题,由于过度的欠采样操作在k空间。在本文中,我们提出了一个经常性的Transformer模型,即ReconFormer,用于MRI重建,可以迭代地从高度欠采样的k空间数据重建高生育率的磁共振图像。特别是,所提出的架构是建立在递归金字塔Transformer层(RPTL),它联合利用内在的多尺度信息在每个架构单元,以及通过经常性状态的深特征相关性的依赖关系。此外,建议的ReconFormer是轻量级的,因为它采用了其参数效率的递归结构。我们在具有不同磁共振序列的多个数据集上验证了ReconFormer的有效性,并表明它比最先进的方法具有更好的参数效率。实现代码将在https://github.com/guopengf/ReconFormer上提供。
2022-01-28 cs.CV eess.IV
PrIINeR: Towards Prior-Informed Implicit Neural Representations for Accelerated MRI
Institute of Medical Informatics University of Luebeck(医学信息学研究所 拉厄贝克大学)
PrIINeR提出一种基于INR的加速MRI重建方法,通过整合预训练深度学习模型的先验知识、实例优化与双重数据一致性,显著提升了高加速因子下的结构保留与保真度,有效消除混叠伪影。
2025-08-11 cs.CV cs.LG
PILOT: Physics-Informed Learned Optimized Trajectories for Accelerated MRI
Technion(以色列理工学院);Waterloo University(滑铁卢大学)
磁共振成像(MRI)一直被认为是诊断医学成像的“黄金标准”之一。然而,长的采集时间使得MRI易于产生运动伪影,更不用说它们对MRI检查的相对高成本的不利贡献。在过去的几十年里,多项研究都集中在开发用于加速MRI扫描采集的物理和后处理方法上。然而,这两种方法迄今为止是分开处理的。另一方面,最近的工作在光学计算成像已经证明了越来越成功的并行学习为基础的设计数据采集和图像重建计划。这样的方案已经证明了相当大的有效性,导致明显更短的采集时间和改进的图像重建质量。受此初步成功的启发,在这项工作中,我们提出了一种新的方法来学习最佳方案的联合采集和重建的MRI扫描,同时进行的优化方面的时间效率的数据采集和重建的质量。为了具有实用价值,以一般k空间轨迹的形式对方案进行编码,其相关联的磁梯度被约束为服从一组预定义的硬件要求(如根据例如,磁梯度的峰值电流和最大转换速率)。考虑到这一前提条件,我们提出了一种新的算法,用于使用具有可微分前向和反向传播算子的深度神经网络对联合采集重建管道进行端到端训练。我们证明了其有效性的图像重建和图像分割任务,报告的加速因素以及这些任务的质量方面的重大改进。
2021-04-13 cs.CV eess.IV physics.med-ph
Evaluating structural uncertainty in accelerated MRI: are voxelwise measures useful surrogates?
SussexAI Centre, Department of Engineering and Informatics(SussexAI中心,工程与信息学系);Brighton and Sussex Medical School(布莱顿与萨塞克斯医学院)
本研究证明在加速MRI中,体素级不确定性无法反映形态学不确定性,通过分割任务和重建模式集成发现,仅靠体素强度变化无法预测形态结构的变异性与偏差。
2025-08-11 cs.CV eess.IV physics.med-ph
One-dimensional Deep Low-rank and Sparse Network for Accelerated MRI
Xiamen University(厦门大学);Xiamen University of Technology(厦门理工学院);United Imaging Research Institute of Intelligent Imaging(联影智能影像研究院);Nanjing Medical University(南京医科大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
深度学习在加速磁共振成像(MRI)中表现出惊人的性能。大多数最先进的深度学习重建采用强大的卷积神经网络并执行2D卷积,因为许多磁共振图像或其相应的k空间都是2D的。在这项工作中,我们提出了一种探索1D卷积的新方法,使深度网络更容易训练和推广。我们进一步将一维卷积集成到所提出的深度网络中,称为一维深度低秩稀疏网络(ODLS),它展开了低秩稀疏重建模型的迭代过程。在体内膝关节和大脑数据集上的广泛结果表明,所提出的ODLS非常适合于有限训练对象的情况,并且在视觉和定量上提供了比最先进方法更好的重建性能。此外,ODLS对不同的欠采样场景以及训练数据和测试数据之间的一些不匹配也表现出良好的鲁棒性。总之,我们的工作表明,1D深度学习方案在快速MRI中具有内存效率和鲁棒性。
2021-12-09 cs.AI cs.CV eess.IV
MAMOC: MRI Motion Correction via Masked Autoencoding
KTH Royal Institute of Technology(KTH皇家理工学院);Science for Life Laboratory(生命科学实验室)
针对MRI扫描运动伪影问题,提出基于掩码自编码自监督、迁移学习和测试时预测的MAMOC方法,首次用公开真实运动数据集评估,性能优于现有运动校正方法。
2024-11-02 cs.CV eess.IV
MA-RECON: Mask-aware deep-neural-network for robust fast MRI k-space interpolation
Technion IIT(以色列理工学院)
本文提出MA-RECON,一种掩码感知DNN架构及训练方法,通过在模型结构中编码欠采样掩码并利用多种掩码生成数据进行训练,显著提升了从欠采样k空间数据重建MRI的泛化能力和鲁棒性。
2023-11-26 cs.AI cs.CV cs.LG
HUMUS-Net: Hybrid unrolled multi-scale network architecture for accelerated MRI reconstruction
University of Southern California(南加州大学)
在加速MRI重建中,从一组欠采样和噪声测量中恢复患者的解剖结构。深度学习方法已被证明在解决这种不适定的逆问题方面是成功的,并且能够产生非常高质量的重建。然而,目前的架构严重依赖于卷积,卷积是内容无关的,并且难以对图像中的长距离依赖关系进行建模。最近,Transformers作为当代自然语言处理的主力,已经成为众多视觉任务的强大构建模块。这些模型将输入图像分割成不重叠的补丁,将补丁嵌入到低维令牌中,并利用不受卷积架构上述弱点影响的自注意机制。然而,Transformers在1)输入图像分辨率高和2)图像需要被分割成大量的块以保留精细细节信息时会产生极高的计算和存储器成本,这两种情况在诸如MRI重建的低级视觉问题中是典型的,具有复合效应。为了应对这些挑战,我们提出了HUMUS-Net,这是一种混合架构,它将卷积的有益隐式偏差和效率与展开和多尺度网络中的Transformer块的功能相结合。HUMUS-Net通过卷积块提取高分辨率特征,并通过一种新的基于变换器的多尺度特征提取器细化低分辨率特征。然后将来自两个级别的特征合成为高分辨率的输出重建。我们的网络在最大的公开可用MRI数据集fastMRI数据集上建立了最新的技术水平。我们进一步证明了HUMUS-Net在其他两个流行的MRI数据集上的性能,并进行了细粒度消融研究以验证我们的设计。
2023-03-17 cs.CV cs.LG eess.IV
Adaptive Mask-guided K-space Diffusion for Accelerated MRI Reconstruction
Nanchang University(南昌大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Tianjin University(天津大学)
提出一种基于自适应掩码引导 k 空间频率分布的闭环扩散模型(AMDM),通过有效分离高低频分量来提升加速 MRI 重建的图像质量。
2025-06-23 cs.CV eess.IV
Assessment of Data Consistency through Cascades of Independently Recurrent Inference Machines for fast and robust accelerated MRI reconstruction
Amsterdam UMC(阿姆斯特丹大学医学中心);University of Amsterdam(阿姆斯特丹大学);MS Center Amsterdam(阿姆斯特丹多发性硬化中心);Amsterdam Neuroscience(阿姆斯特丹神经科学研究所);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Leiden University(莱顿大学);Delft University of Technology(代尔夫特理工大学)
机器学习方法可以学习如何重建磁共振图像,从而加速采集,这对临床工作流程至关重要。物理信息网络在学习过程中加入了加速MRI重建的前向模型。随着网络复杂性的增加,在重建训练期间看不见的数据时不能确保鲁棒性。我们的目标是在深度网络中嵌入数据一致性(DC),同时平衡网络复杂度。在这样做的同时,我们将评估在不同的网络架构中,显式或隐式执行DC是否更适合优化性能。我们提出了一个方案,称为级联独立递归推理机(CIRIM),以评估DC通过展开优化。在这里,我们评估直流隐式梯度下降和显式的设计术语。CIRIM与CS以及其他方法进行了广泛的比较:E2EVN,CascadeNet,KIKINet,LPDNet,RIM,IRIM和UNet。在T1加权和FLAIR对比脑数据以及T2加权膝关节数据上训练和评估模型。评价了1D和2D欠采样模式。通过重建多发性硬化(MS)伴白质病变患者的7.5倍前瞻性欠采样3D FLAIR MRI数据来测试稳健性。CIRIM表现最好时,隐式执行DC,而E2EVN需要一个明确的DC制定。在重建MS患者数据时,使用模型训练期间未见过的采样模式前瞻性采集,CIRIM保持病变对比度,同时有效地对图像进行降噪。CIRIM显示出非常有前途的泛化能力,在重建图像质量和快速重建时间之间保持非常公平的权衡,这在临床工作流程中至关重要。
2022-04-04 cs.CV cs.LG eess.IV
Data augmentation for deep learning based accelerated MRI reconstruction with limited data
University of Southern California(南加州大学);Technical University of Munich(慕尼黑工业大学);Rice University(莱斯大学)
深度神经网络已经成为图像恢复和重建任务的非常成功的工具。这些网络通常经过端到端的训练,以直接从该图像的噪声或损坏的测量中重建图像。为了实现最先进的性能,在大型和多样化的图像集上进行训练被认为是至关重要的。然而,收集大量的训练图像通常是困难的和/或昂贵的。受数据增强(DA)分类问题的成功启发,在本文中,我们提出了一种用于加速MRI重建的数据增强管道,并研究了其在各种设置中减少所需训练数据的有效性。我们的DA管道MRAugment专门设计用于利用医学成像测量中存在的不变性,因为忽略问题物理学的幼稚DA策略失败了。通过对多个数据集的广泛研究,我们证明了在低数据状态下,DA可以防止过拟合,并且可以匹配甚至超越最先进的技术,同时使用更少的训练数据,而在高数据状态下,它具有递减的收益。此外,我们的研究结果表明,DA可以提高模型的鲁棒性对各种变化的测试分布。
2021-06-28 cs.CV cs.LG eess.IV
Active Sampling for Accelerated MRI with Low-Rank Tensors
University of California, Santa Barbara(加州大学圣塔芭芭拉分校);Oden Institute for Computational Engineering and Sciences(奥登计算工程与科学研究所);University of Texas at Austin(德克萨斯大学奥斯汀分校)
磁共振成像(MRI)是一种强大的成像方式,彻底改变了医学和生物学。由于高维MRI成像速度有限,限制了其实际应用。最近,低秩张量模型已经被利用来实现具有稀疏采样的快速MR成像。大多数现有的方法使用一些预定义的采样设计,并且主动传感尚未被探索用于低秩张量成像。在本文中,我们介绍了一个主动的低秩张量模型的快速MR成像。我们提出了一种主动采样方法的基础上的查询由委员会模型,利用低秩张量结构的好处。在三维MRI数据集上的数值实验表明了该方法的有效性。
2021-05-22 cs.CV cs.IT math.IT
Variational Network with Wavelet-based UNET in Accelerated MRI Reconstruction from Under Sampled K-space Data
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
提出一种结合小波U-Net的变分网络,通过可学习多尺度频率表示和物理引导迭代重建,在单线圈和多线圈设置下有效抑制伪影、保留高频细节,在fastMRI和M4Raw数据集上达到最优性能。
2026-06-16 cs.CV
Compressed sensing MRI using masked DCT and DFT measurements
University of Montenegro(黑山大学)
本文提出了一种改进的压缩感知MRI图像重建的TwIST算法。压缩感知是一种新的信号处理方法,其基本思想是从少量的可用样本中恢复信号。压缩传感技术在生物医学成像中的应用具有重要意义。它允许显著降低采集时间,并且因此使患者免受MR设备的负面影响。TwIST是利用压缩感知原理进行二维信号重建的常用算法。它基于总变差最小化。TwIST的标准版本使用掩蔽的2D离散傅立叶变换系数作为压缩感知测量。在本文中,不同的面具和不同的变换域的系数选择进行了测试。一定百分比的测量值来自掩模,以及掩模外部的少量系数。使用2D DFT和2D DCT系数,与不同的掩模形状进行比较分析。实验结果证明了理论的正确性。
2015-03-25 cs.CV
Robust plug-and-play methods for highly accelerated non-Cartesian MRI reconstruction
提出无监督预处理生成干净复数MRI信号训练去噪DNN,并引入退火HQS算法解决不稳定性,结合预条件技术实现高加速非笛卡尔MRI重建的最先进性能。
2024-11-04 cs.CV eess.IV
Encoding Enhanced Complex CNN for Accurate and Highly Accelerated MRI
针对肺部MRI成像时间长的问题,提出编码增强复数卷积网络(EN2),利用沿编码方向的卷积和复数卷积,从6倍欠采样数据中准确重建129Xe和1H肺部图像,实现高加速成像。
2023-11-13 cs.CV eess.IV
ZECO: ZeroFusion Guided 3D MRI Conditional Generation
Illinois Institute of Technology(伊利诺伊理工学院);University of Michigan(密歇根大学);University of Illinois Chicago(芝加哥伊利诺伊大学)
针对临床MRI分割训练数据稀缺问题,提出ZeroFusion引导的3D MRI条件生成框架ZECO,通过空间变换模块和潜在空间掩码映射,在有限数据下稳健生成带分割掩码的高保真MRI,性能优于现有模型。
2025-03-24 cs.CV eess.IV
Mask-guided Data Augmentation for Multiparametric MRI Generation with a Rare Hepatocellular Carcinoma
Universidad Industrial de Santander(桑坦德工业大学);University of Toulouse(图卢兹大学);Université Paul Sabatier Toulouse 3(图卢兹第三大学(保罗·萨巴蒂埃大学));Bicêtre University Hospital(比塞特尔大学医院);Assistance publique des hôpitaux de Paris(巴黎公共援助医院);Université Claude Bernard Lyon 1(里昂第一大学(克洛德·贝尔纳里昂第一大学))
本文提出一种基于生成式深度学习的掩码引导数据增强架构,通过Pix2Pix网络生成罕见肝细胞癌的多参数MRI合成图像及肿瘤掩码,在有限数据集上生成1000组合成数据,FID分数达86.55,获2021年法国放射学会数据增强挑战赛优胜。
2023-07-30 cs.CV cs.LG eess.IV
Automated Kidney Segmentation by Mask R-CNN in T2-weighted Magnetic Resonance Imaging
UT Southwestern Medical Center(德克萨斯大学西南医学中心)
尽管医学成像中的深度学习算法最近取得了进展,但MRI检查中肾脏的自动分割算法仍然很少。磁共振成像(MRI)检查中肾脏的自动分割对于实现肾脏疾病的放射组学和机器学习分析非常重要。在这项工作中,我们建议使用流行的Mask R-CNN在100次MRI检查的冠状T2加权快速自旋Eco切片中自动分割肾脏。我们提出将形态操作作为后处理,以进一步提高MaskR-CNN执行此任务的性能。使用5倍交叉验证数据,提出的Mask R-CNN在70和10次MRI检查中进行训练和验证,然后在每个折叠中对剩余的20次检查进行评估。我们提出的方法获得了0.904的骰子得分和0.822的IoU。
2021-08-27 cs.CV eess.IV
Modality Cycles with Masked Conditional Diffusion for Unsupervised Anomaly Segmentation in MRI
University of Oxford(牛津大学);Imperial College London(帝国理工学院);University of Birmingham(伯明翰大学)
针对多模态MRI无监督异常分割,提出MMCCD,结合循环模态转换与掩码条件扩散,通过重建失败暴露异常,并在BraTS2021肿瘤代理任务上优于既有方法。
2023-11-02 cs.CV cs.LG eess.IV
Masked Co-attentional Transformer reconstructs 100x ultra-fast/low-dose whole-body PET from longitudinal images and anatomically guided MRI
尽管正电子发射断层扫描(PET)对儿童癌症的诊断、治疗监测和监测具有巨大价值,但全身分期耗时,且与相当大的辐射暴露相关。100倍(标准临床剂量的1%)超低剂量/超快速全身PET重建具有以前所未有的速度和更高的安全性进行癌症成像的潜力,但它无法通过简单地使用机器学习技术来实现。在这项研究中,我们利用基线和后续PET和磁共振(MR)图像之间的全局相似性来开发Masked-LMCTrans,这是一种纵向多模态共注意CNN变换器,可在同一患者的系列PET/MR之间提供交互和联合推理。我们在参考基线PET中掩蔽肿瘤区域并重建后续PET扫描。通过这种方式,Masked-LMCTrans重建了100倍几乎为零的辐射暴露全身PET,这在以前是不可能的。该技术还为纵向放射成像重建开辟了一条新途径,这是迄今为止尚未充分探索的领域。我们的模型通过斯坦福大学对儿童淋巴瘤患者的PET/MRI扫描进行了训练和测试,并在图宾根大学的PET/MRI图像上进行了外部评估。Masked-LMCTrans的应用所产生的重建的100 x全身PET图像的高图像质量将大大促进儿科患者更安全的成像方法和更短的检查持续时间的开发,以及扩大通过PET对这些患者进行频繁纵向监测的可能性。
2022-05-09 cs.CV cs.LG eess.IV
Learning Subject-Specific Anatomical Representations via Manifold Expansion: Application to Accelerated Multi-Contrast MRI
Athinoula A. Martinos Center for Biomedical Imaging, Massachusetts General Hospital(马萨诸塞州总医院阿西诺拉·A·马丁诺斯生物医学成像中心);Harvard Medical School(哈佛医学院);Massachusetts General Hospital(马萨诸塞州总医院)
本文提出MAX框架,通过流形扩展从单个参考对比学习个体特异性解剖表示,用于加速多对比MRI重建,在脑和膝关节数据上显著提升PSNR和SSIM,并保持对噪声和结构差异的鲁棒性。
2026-10-06 cs.CV cs.IR
VS-Net: Variable splitting network for accelerated parallel MRI reconstruction
University of Birmingham(伯明翰大学);Imperial College London(帝国理工学院);MRC London Institute of Medical Sciences(MRC伦敦医学科学研究所)
在这项工作中,我们提出了一种用于并行磁共振成像(MRI)重建的深度学习方法,称为可变分裂网络(VS-Net),用于欠采样多线圈MR数据的高效,高质量重建。将广义并行压缩感知重构问题转化为能量最小化问题,并给出了变量分裂优化方法。基于此公式,我们提出了一种新的端到端可训练的深度神经网络架构,通过展开这种变量分裂方案的迭代过程。VS-Net在复值多线圈膝关节图像上评估4倍和6倍加速因子。我们表明,VS-Net在重建精度和感知质量方面优于最先进的深度学习重建算法。我们的代码可在https://github.com/j-duan/VS-Net上公开获取。
2019-07-19 cs.CV eess.IV
Self-Auditing Residual Drifting for Pathology-Preserving Accelerated Knee MRI
Department of Radiology & Biomedical Imaging, Yale School of Medicine(放射学与生物医学成像系,耶鲁医学院);Department of Biomedical Engineering, Rensselaer Polytechnic Institute(生物医学工程系,伦塞拉尔理工学院)
提出SA-RDM-DC模型,通过物理条件残差漂移生成和自审计机制,在加速膝关节MRI中实现高保真重建并保留病理特征,优于多种基线方法。
2026-07-03 cs.CV eess.IV physics.med-ph
Variable Resolution Sampling and Deep Learning Image Recovery for Accelerated Multi-Spectral MRI Near Metal Implants
Medical College of Wisconsin(威斯康星医学院)
本研究针对金属植入物附近多光谱MRI伪影多、采集效率低的问题,提出可变分辨率采样结合U-Net深度学习重建的方法,可提升约40%采集效率,图像质量优于传统重建,有望优化相关MRI检查。
2024-10-30 cs.AI cs.CV eess.IV
Anatomically Faithful Artifact Suppression in SENSE Accelerated Brain MRI
East China Normal University(华东师范大学);Affiliated Hospital of Guizhou Medical University(贵州医科大学附属医院);West China Hospital, Sichuan University(四川大学华西医院);Chinese Academy of Medical Sciences(中国医学科学院);RadioDynamic Medical(镭动医疗);Lucile Packard Children’s Hospital(露西尔·帕卡德儿童医院)
本文提出解剖感知残差注意力网络(ART-Net),通过广义自注意力和残差伪影正则化抑制SENSE4加速脑MRI的混叠伪影,在保留解剖信息的同时提升图像质量,支持可靠的下游定量分析。
2026-09-22 cs.CV eess.IV
Progressive Divide-and-Conquer via Subsampling Decomposition for Accelerated MRI
Nanyang Technological University(南洋理工大学)
针对加速MRI重建中高度病态退化问题,提出渐进式分治(PDAC)策略,将严重退化分解为多个中等退化并顺序重建,通过退化预测器自适应学习分解,在fastMRI和Stanford2D FSE数据集上取得优越性能。
2024-03-15 cs.CV eess.IV
SKM-TEA: A Dataset for Accelerated MRI Reconstruction with Dense Image Labels for Quantitative Clinical Evaluation
Stanford University(斯坦福大学)
磁共振成像(MRI)是现代医学成像的基石。然而,长的图像采集时间,需要定性专家分析,以及缺乏(和难以提取)的定量指标,是敏感的组织健康已经削减了广泛的临床和研究。虽然最近用于MRI重建和分析的机器学习方法已经显示出减少这种负担的希望,但这些技术主要是通过不完美的图像质量指标进行验证的,这与最终阻碍临床部署和临床医生信任的临床相关措施不一致。为了缓解这一挑战,我们提出了斯坦福膝关节MRI多任务评估(SKM-TEA)数据集,这是一个定量膝关节MRI(qMRI)扫描的集合,可以对MRI重建和分析工具进行端到端的临床相关评估。该1.6TB数据集包括匿名患者MRI扫描的约25,000个切片(155名患者)的原始数据测量结果、相应的扫描仪生成的DICOM图像、4种组织的手动分割以及16种临床相关病理的边界框注释。我们提供了一个使用qMRI参数图的框架,以及图像重建和密集的图像标签,用于测量从MRI重建,分割和检测技术中提取的qMRI生物标志物估计的质量。最后,我们使用这个框架来对这个数据集的最新基线进行基准测试。我们希望我们的SKM-TEA数据集和代码能够以临床知情的方式进行广泛的模块化图像重建和图像分析研究。数据集访问、代码和基准测试可在https://github.com/StanfordMIMI/skm-tea上获得。
2022-03-14 cs.CV eess.IV