Fine-grained MRI Reconstruction using Attentive Selection Generative Adversarial Networks
University of Edinburgh（爱丁堡大学）
压缩感知（CS）利用稀疏性为快速磁共振成像（fastMRI）提供基础。然而，不适定问题的迭代求解器阻碍了它们对时间关键应用的适应。此外，这样的先验既不能丰富地捕获复杂的解剖结构，也不能适用于满足现代MRI中高保真重建的需求。受最先进的图像生成方法的启发，我们提出了一种新的基于注意力的深度学习框架，以提供高质量的MRI重建。我们在生成对抗网络（GAN）框架中集成了大范围上下文特征集成和注意力选择。我们证明，与其他基于深度学习的方法相比，所提出的模型在图像质量以及与极低采样率饮食中的MRI重建相关性方面可以产生更好的结果。
2021-03-13 cs.CV eess.IV
One-shot Generative Prior in Hankel-k-space for Parallel Imaging Reconstruction
Nanchang University（南昌大学）
磁共振成像是临床诊断的重要工具。然而，它的收购时间很长。深度学习的利用，特别是深度生成模型，在磁共振成像中提供了积极的加速和更好的重建。然而，学习的数据分布作为先验知识和重建图像从有限的数据仍然具有挑战性。在这项工作中，我们提出了一种新的Hankel-k-space生成模型（HKGM），它可以从一个k-space数据的训练集生成样本。在先验学习阶段，我们首先从k空间数据中构造一个大的Hankel矩阵，然后从大的Hankel矩阵中提取多个结构化的k空间块，以捕获不同块之间的内部分布。从Hankel矩阵中提取补丁使生成模型能够从冗余和低秩数据空间中学习。在迭代重建阶段，观察到所需的解决方案服从学习的先验知识。通过将中间重建解作为生成模型的输入来更新中间重建解。然后对更新后的结果进行Hankel矩阵低秩惩罚和测量数据一致性约束的交替操作。实验结果证实，单个k空间数据中的补丁的内部统计信息携带了足够的信息来学习强大的生成模型，并提供最先进的重建。
2022-12-08 cs.CV eess.IV
Iterative Reconstruction for Low-Dose CT using Deep Gradient Priors of Generative Model
Nanchang University（南昌大学）；Sichuan University（四川大学）
降低计算机断层扫描（CT）的剂量对于降低临床应用中的辐射风险至关重要。迭代重建是补偿由于光子通量减少而增加的噪声的最有前途的方法之一。而不是大多数现有的先验驱动的算法，受益于手动设计的先验函数或监督学习计划，在这项工作中，我们集成的数据一致性作为一个条件项到低剂量CT的迭代生成模型。在先验学习阶段，直接从正常剂量CT图像中学习数据密度梯度作为先验。然后在迭代重建阶段，随机梯度下降被用来更新退火和条件方案的训练前。重建图像和流形之间的距离与重建期间的数据保真度一起被最小化。实验结果表明，该方法具有较好的降噪和细节保持能力。
2021-03-23 cs.CV eess.IV
Deep Attentive Wasserstein Generative Adversarial Networks for MRI Reconstruction with Recurrent Context-Awareness
Sun Yat-Sen University（中山大学）；University of Edinburgh（爱丁堡大学）；Cardiovascular Research Centre, Royal Brompton Hospital（皇家布朗普顿医院心血管研究中心）；National Heart & Lung Institute, Imperial College London（帝国理工学院国家心肺研究所）
传统的基于压缩感知的MRI（CS-MRI）重建的性能受到其缓慢迭代过程和噪声诱导伪影的影响。尽管已经提出了许多基于深度学习的CS-MRI方法来缓解传统方法的问题，但它们无法在更高的加速因子下实现更稳健的结果。大多数基于深度学习的CS-MRI方法仍然不能完全挖掘k空间的信息，这导致MRI重建结果不理想。在这项研究中，我们提出了一种新的基于深度学习的CS-MRI重建方法，通过将Wasserstein生成对抗网络（WGAN）与递归神经网络耦合，充分利用连续MRI切片之间的关系。进一步发展的一个专注的单位，使我们的模型，以重建更准确的解剖结构的MRI数据。通过在不同的MRI数据集上进行实验，我们已经证明，与最先进的方法相比，我们的方法不仅可以获得更好的结果，而且还可以有效地减少重建过程中产生的残留噪声。
2020-06-23 cs.CV eess.IV
Generative Tomography Reconstruction
University of Pisa（比萨大学）
我们提出了一个端到端的可微分架构的断层扫描重建，直接映射到一个去噪重建的噪声正弦图。与现有的方法相比，我们的端到端架构可以在使用更少的参数和时间的同时产生更准确的重建。我们还提出了一个生成模型，给出了一个嘈杂的正弦图，可以采样现实的重建。该生成模型可以在迭代过程中用作先验，通过考虑物理模型，可以减少重建中的伪影和错误。
2020-11-25 cs.CV cs.LG cs.NA
Generative Priors for MRI Reconstruction Trained from Magnitude-Only Images Using Phase Augmentation
1 Institute for Diagnostic；Interventional Radiology, University Medical Center G\"ottingen, Germany 2 Institute of Biomedical Imaging, Graz University of Technology, Graz, Austria 3 Clinic for Neurology, University Medical Center Göttingen, Germany 4 German Centre for Cardiovascular Research (DZHK), partner site Lower Saxony, Germany 5 Martinos Center for Biomedical Imaging, Massachusetts General Hospital, Harvard Medical School
本研究提出相位增强的工作流程，从仅幅值MR图像训练复数图像生成先验用于MRI重建正则化，实验证实该先验性能优于仅幅值训练先验与L1-小波正则化，且大数据集训练鲁棒性更高。
2024-11-16 cs.CV eess.IV
Recon-GLGAN: A Global-Local context based Generative Adversarial Network for MRI Reconstruction
Indian Institute of Technology Madras (IITM)（印度理工学院马德拉斯分校）；Healthcare Technology Innovation Centre (HTIC)（医疗技术创新中心）
磁共振成像（MRI）是最好的医学成像方式之一，因为它提供了出色的空间分辨率和软组织对比度。但是，MRI的使用受到其缓慢采集时间的限制，这使得其昂贵并导致患者不适。为了加速收购，已经提出了多个深度学习网络。最近，生成对抗网络（GANs）在MRI重建中表现出了很好的效果。所提出的基于GAN的方法的缺点是它没有结合关于最终目标的先验信息，这可以帮助更好地重建。例如，在心脏MRI的情况下，医师将对具有诊断相关性的心脏区域感兴趣，而排除外围区域。在这项工作中，我们表明，在模型中纳入有关感兴趣区域的先验信息将提供更好的性能。因此，我们提出了一种新的基于GAN的架构，重建全局-局部GAN（Recon-GLGAN）的MRI重建。该模型包含一个生成器和一个上下文查询器，它结合了来自图像的全局和局部上下文信息。我们的模型提供了显着的性能改进的基线模型。我们的实验表明，上下文重建的概念可以扩展到现有的基于GAN的重建模型，以提供更好的性能。我们还表明，从所提出的方法的重建分割结果类似于完全采样的图像。
2019-08-25 cs.CV eess.IV
High-Dimensional MR Reconstruction Integrating Subspace and Adaptive Generative Models
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Beckman Institute for Advanced Science and Technology（贝克曼高级科学技术研究所）；Mayo Clinic（梅奥诊所）
本研究提出融合子空间建模与自适应生成图像先验的高维MR重建方法，结合预训练加受试者自适应策略与迭代优化算法，在加速MR参数映射和高分辨率MRSI任务中性能优于现有子空间方法。
2023-06-16 cs.CV eess.IV
PoCGM: Poisson-Conditioned Generative Model for Sparse-View CT Reconstruction
Department of Electrical and Computer Engineering, University of Massachusetts Lowel（电气与计算机工程系，马萨诸塞大学洛伊尔分校）
针对稀疏视角CT重建存在的伪影与细节丢失问题，本文提出泊松条件生成模型PoCGM，将PFGM++改造为条件生成框架，性能优于基线，可有效抑制伪影并保留细节。
2025-11-17 cs.CV eess.IV
Generative Modeling in Sinogram Domain for Sparse-view CT Reconstruction
Nanchang University（南昌大学）；Gannan Normal University（赣南师范大学）
计算机断层扫描（CT）检查中的辐射剂量对患者有害，但可以通过直观地减少投影视图的数量来显著降低。减少投影视图通常会导致重建图像中出现严重的混叠伪影。先前的具有稀疏视图数据的深度学习（DL）技术需要稀疏视图/全视图CT图像对来以监督方式训练网络。当投影视图的数量改变时，DL网络应该用更新的稀疏视图/全视图CT图像对重新训练。为了缓解这一限制，我们提出了一个完全无监督的分数为基础的生成模型，在正弦图域稀疏视图CT重建。具体来说，我们首先训练一个基于分数的生成模型的全视图正弦图数据，并使用多通道策略，形成高维张量作为网络输入，以捕捉他们的先验分布。然后，在推理阶段，迭代执行随机微分方程求解器和数据一致性步骤以实现全视图投影。采用滤波反投影（FBP）算法实现最终的图像重建。定性和定量研究实施了几个CT数据来评估所提出的方法。实验结果表明，我们的方法取得了相当或更好的性能比监督学习同行。
2022-11-25 cs.CV eess.IV
Multibranch Generative Models for Multichannel Imaging with an Application to PET/CT Synergistic Reconstruction
Univ. Brest, LaTIM, INSERM, UMR 1101（布雷斯特大学、LaTIM研究所、法国国家健康与医学研究院、UMR 1101联合研究单位）；Nuclear Medicine Department, Poitiers University Hospital（普瓦捷大学医院核医学科）
本文提出基于多分支变分自编码器的医学图像协同重建方法，通过在正则化器中利用成对图像学习实现去噪与重建，并在MNIST和PET/CT数据上验证了低剂量成像质量提升。
2025-02-03 cs.CV eess.IV physics.med-ph
Self-Attention Generative Adversarial Network for Iterative Reconstruction of CT Images
University of Washington Bothell（华盛顿大学博塞尔分校）
计算机断层扫描（CT）使用从身体周围的传感器获取的X射线测量值来生成人体的断层扫描图像。如果X射线数据被充分采样并且具有高质量，则可以使用传统的重建算法;然而，诸如减少对患者的剂量或对数据采集的几何限制等问题可能导致低质量或不完整的数据。由于噪声和其他伪影，使用传统方法从这些数据重建的图像质量差。本研究的目的是训练一个神经网络，从噪声或不完整的CT扫描数据，包括低剂量，稀疏视图，有限角度的情况下重建高质量的CT图像。为了完成这一任务，我们训练生成对抗网络（GAN）作为信号先验，与CT数据的迭代同时代数重建技术（SART）结合使用。该网络包括一个自注意块，用于对数据中的长期依赖关系进行建模。我们将我们的自注意GAN用于CT图像重建与几种最先进的方法进行了比较，包括去噪循环GAN，CIRCLE GAN和总变分优化算法。我们的方法被证明具有可比的整体性能的圆圈GAN，而优于其他两种方法。
2021-12-23 cs.CV eess.IV
A Point Cloud Generative Model via Tree-Structured Graph Convolutions for 3D Brain Shape Reconstruction
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Shenzhen University（深圳大学）；Renmin University of China（中国人民大学）
融合医学图像和相应的三维形状表示可以提供互补信息和微观结构细节，以提高脑外科手术的操作性能和准确性。然而，与大量的图像数据相比，使用传感器扫描等物理方法几乎不可能获得术中3D形状信息，特别是在微创手术和机器人引导手术中。本文提出了一种基于图卷积网络的通用生成对抗网络（GAN）架构，利用一张二维图像重建大脑的三维点云，从而缓解了手术过程中获取三维形状数据的限制。具体地说，一个树结构的生成机制被构造成有效地使用的潜在向量和隐藏层之间准确地转移功能。该生成模型实现了图像到PC机的自动实时转换。在我们的模型上取得了有竞争力的定性和定量实验结果。在多种评价方法中，该模型优于另一种常见的点云生成模型PointOutNet。
2021-07-21 cs.CV eess.IV
Structure Preserving Compressive Sensing MRI Reconstruction using Generative Adversarial Networks
IIT Roorkee（印度理工学院鲁尔基分校）；IIT Kharagpur（印度理工学院克勒格布尔分校）
压缩感知磁共振成像（CS-MRI）通过突破奈奎斯特采样限制来加速MR图像的采集。在这项工作中，提出了一种新的生成对抗网络（GAN）为基础的框架CS-MRI重建。我们的模型结合了基于块的重构和基于结构相似性指数的损失，专注于保留重构图像中的高频内容和精细纹理细节。密集和剩余的连接已被纳入一个U型网络为基础的发电机架构，以允许更容易的信息传输以及可变的网络长度。我们表明，我们的算法优于国家的最先进的方法在重建的质量和鲁棒性噪声。此外，毫秒级的重建时间使其非常适合实时临床使用。
2020-04-26 cs.CV cs.LG eess.IV
Score-based Generative Models for Photoacoustic Image Reconstruction with Rotation Consistency Constraints
ShanghaiTech University（上海科技大学）；Tsinghua University（清华大学）；Guangdong Academy of Medical Sciences（广东省医学科学院）
提出RCC-SGM，利用Langevin动力学与旋转一致性约束迭代采样恢复PAT图像，泛化性优于有监督方法。
2023-06-24 cs.CV eess.IV
Evaluation of pseudo-healthy image reconstruction for anomaly detection with deep generative models: Application to brain FDG PET
Sorbonne Université（索邦大学）；Institut du Cerveau - Paris Brain Institute - ICM（巴黎大脑研究所）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Inserm（法国国家健康与医学研究院）；AP-HP（巴黎公立医院集团）；Hôpital de la Pitié Salpêtrière（皮提耶-萨勒佩特里医院）
针对无真实病灶掩码时伪健康重建异常检测方法难以评估的问题，提出基于真实异常图像模拟的评估流程，并用卷积变分自编码器在脑部FDG PET上验证了其用于痴呆神经退行性标志物检测的可行性。
2024-01-29 cs.CV eess.IV
Image-to-Image Translation with Generative Adversarial Network for Electrical Resistance Tomography Reconstruction
本研究利用Pix2Pix GAN提升电导率断层成像的图像重建质量，通过改进的算法提高定量和定性指标，实现更清晰的图像重建效果。
2025-12-21 eess.IV
Generative Autoregressive Transformers for Model-Agnostic Federated MRI Reconstruction
Department of Electrical and Electronics Engineering（电子工程系）；National Magnetic Resonance Research Center（国家磁共振研究中心）；Bilkent University（比尔肯特大学）
本文提出模型无关联邦学习方法FedGAT，通过协作训练生成式自回归Transformer先验并结合站点提示与合成数据增强，在保护隐私的同时提升异构模型下的MRI重建泛化性能。
2025-11-06 cs.CV eess.IV
ZeroGVC: Zero-Shot Generative Video Compression with Autoregressive Diffusion Priors
University of Science and Technology of China（中国科学技术大学）；Huawei Inc（华为公司）
提出ZeroGVC，一种零样本生成式视频压缩框架，利用预训练自回归扩散先验，通过码本引导的自回归潜压缩和双向参考模式，在超低码率下实现高质量感知重建，无需额外训练。
2026-06-24 cs.CV eess.IV
SPIRiT-Diffusion: SPIRiT-driven Score-Based Generative Modeling for Vessel Wall imaging
SIAT, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
扩散模型是目前最先进的图像生成方法，并已成功地应用于MRI重建。然而，现有的方法没有考虑MRI数据的多线圈采集的特性。因此，我们给出了一个新的扩散模型，称为SPIRiT-Diffusion，基于SPIRiT迭代重建算法。具体而言，SPIRiT-Diffusion通过分数匹配来表征逐个线圈图像的先验分布，并基于自洽性来表征线圈之间的k空间冗余先验。在充分利用先验约束的情况下，我们在联合颅内和颈动脉血管壁成像数据集上实现了优越的重建结果。
2022-12-14 cs.CV eess.IV
Efficient Structurally-Strengthened Generative Adversarial Network for MRI Reconstruction
Beijing Institute of Technology（北京理工大学）
基于压缩感知的磁共振成像（CS-MRI）为减少MRI扫描时间提供了一种有效的方法。最近，深度学习已被引入CS-MRI，以进一步提高图像质量并缩短重建时间。在本文中，我们提出了一种有效的结构增强生成对抗网络，称为ESSGAN，用于从高度欠采样的k空间数据重建MR图像。ESSGAN由一个结构加强的发电机（SG）和一个整流器组成。在SG中，我们引入了增强连接（SC）来提高所提出的增强卷积自动编码器（SCAE）之间的特征映射的利用率，其中每个SCAE都是典型卷积自动编码器的变体。此外，我们创造性地将残差块中的残差（RIRB）引入到SG中。RIRB增加了SG的深度，从而增强了SG的特征表达能力。此外，它可以给编码块和解码块更丰富的纹理特征。为了进一步减少伪影并保留更多的图像细节，我们引入了增强的结构损失SG。ESSGAN可以在不同子采样掩码的不同欠采样率下，以比最先进的基于深度学习的方法更少的模型参数提供更高的图像质量，并在数十毫秒内重建256*256的MR图像。
2019-08-11 cs.CV eess.IV
Image Super-Resolution Using a Wavelet-based Generative Adversarial Network
本文研究了超分辨率重建问题。由于超分辨率重建在医学、遥感监测、刑事侦查等领域有着广泛的应用，因此成为一个热门话题。与传统算法相比，目前基于深度学习的超分辨率重建算法大大提高了重建图片的清晰度。现有的工作，如超分辨率使用生成对抗网络（SRGAN）可以有效地恢复图像的纹理细节。然而，实验证明，由SRGAN恢复的图像的纹理细节是不鲁棒的。为了得到高频细节更丰富的超分辨率重建图像，改进了网络结构，提出了一种结合小波变换和生成对抗网络的超分辨率重建算法。该算法能有效地重建出具有丰富全局信息和局部纹理细节的高分辨率图像。我们使用PyTorch框架和VOC2012数据集对模型进行了训练，并使用Set5，Set14，BSD 100和Urban100测试数据集对其进行了测试。
2019-07-24 cs.CV eess.IV
Stable Deep MRI Reconstruction using Generative Priors
本文提出一种基于生成式图像先验的统一深度MRI重建框架，通过训练深度神经网络正则化器并结合经典变分方法，在保持对欠采样模式灵活性和不确定性量化的同时，实现了与端到端深度学习方法相当的高质量稳定重建。
2023-06-15 cs.CV cs.LG eess.IV
Federated Learning of Generative Image Priors for MRI Reconstruction
Bilkent University（比尔肯特大学）；University of Southern California（南加州大学）
多机构的努力可以促进深度MRI重建模型的训练，尽管在跨站点共享成像数据期间会出现隐私风险。最近引入了联邦学习（FL），通过在不传输成像数据的情况下实现分布式训练来解决隐私问题。用于MRI重建的现有FL方法采用条件模型来经由成像算子的显式知识从欠采样采集映射到全采样采集。由于条件模型在不同的加速率或采样密度下泛化能力较差，因此成像算子在训练和测试之间必须是固定的，并且它们通常在不同的站点之间匹配。为了提高多机构合作的通用性和灵活性，在这里，我们介绍了一种新的方法，用于MRI重建的基础上联邦学习的生成图像先验（FedGIMP）。FedGIMP利用了两个阶段的方法：生成MRI先验的跨站点学习，以及成像操作员的受试者特定注入。全局MRI先验是通过无条件对抗模型学习的，该模型基于潜在变量合成高质量的MR图像。通过产生特定于站点的潜伏期的映射子网络来保留先前的特异性。在推理过程中，先验知识与特定于对象的成像算子相结合，以实现重建，并通过最小化数据一致性损失来进一步适应各个测试样本。多机构数据集上的综合实验清楚地表明，FedGIMP对基于条件模型的特定站点和联邦方法以及传统重建方法的泛化性能有所增强。
2022-04-06 cs.CV cs.LG eess.IV
Computed Tomography Reconstruction using Generative Energy-Based Priors
Graz University of Technology（格拉茨技术大学）；Johannes Kepler University Linz（约翰内斯·开普勒林茨大学）
在过去的几十年里，计算机断层扫描（CT）已经成为医学中最重要的成像技术之一。今天，CT的适用性仅受沉积辐射剂量的限制，其减少表现在噪声或不完整的测量中。因此，需要强大的重建算法。在这项工作中，我们学习了一个参数正则化与全球的感受野最大化它的参考CT数据的可能性。由于这种无监督学习策略，我们训练的正则化器真正代表了更高级别的域统计，我们通过合成CT图像来实证。此外，该正则化器可以通过将其嵌入到变分框架中来轻松应用于不同的CT重建问题，与基于前馈学习的方法相比，这增加了灵活性和可解释性。此外，伴随的概率视角使专家能够探索完整的后验分布，并可以量化重建方法的不确定性。我们将正则化器应用于有限角度和少视图CT重建问题，在那里它比传统的重建算法有很大的优势。
2022-03-23 cs.CV cs.LG eess.IV
Conditioning Generative Latent Optimization for Sparse-View CT Image Reconstruction
CEA DIF；CEA LIST
本文提出无监督条件生成潜在优化方法cGLO，通过共享解码器网络同时重建多个切片来强化先验，无需或仅需极小的无监督训练数据集，即可在稀疏视图CT重建中取得良好效果。
2024-04-30 cs.CV eess.IV
Compressible Latent-Space Invertible Networks for Generative Model-Constrained Image Reconstruction
仍然非常需要开发能够从欠采样测量结果产生诊断上有用的图像的图像重建方法。例如，在磁共振成像（MRI）中，这样的方法可以促进数据采集时间的减少。基于深度学习的方法具有学习对象先验或约束的潜力，可以减轻数据不完整性对图像重建的影响。一个新兴的研究领域涉及在生成深度神经网络的潜在空间中制定基于优化的重建方法。然而，当采用生成对抗网络（GANs）时，如果所寻求的解决方案不在GAN的范围内，则这种方法可能导致图像重建错误。为了规避这个问题，在这项工作中，提出了一个框架，从不完整的测量重建图像，制定在潜在空间的可逆神经网络为基础的生成模型。引入了一种新的正则化策略，该策略利用了某些可逆神经网络的多尺度结构，这可以导致在传统度量方面优于经典方法的重建性能。所提出的方法进行了研究，重建图像欠采样的MRI数据。所示的方法，以实现可比的性能，一个国家的最先进的生成模型为基础的重建方法，同时受益于确定性的重建过程和更容易控制正则化参数。
2020-12-30 eess.IV eess.SP
Score-Based Generative Models for PET Image Reconstruction
University College London（伦敦大学学院）；University of Bremen（不来梅大学）；The Chinese University of Hong Kong（香港中文大学）
本文针对PET图像重建中的泊松噪声和宽动态范围问题，提出适用于2D和3D的基于分数的生成模型适配方法，并通过仿真实验验证其在无病灶及含病灶数据上的鲁棒性和重建潜力。
2024-01-23 cs.AI cs.CV cs.LG
Unsupervised MRI Reconstruction with Generative Adversarial Networks
Stanford University（斯坦福大学）
基于深度学习的图像重建方法在多种MRI应用中取得了令人鼓舞的结果。然而，大多数方法需要大规模的完全采样的地面真实数据进行监督训练。获取完全采样的数据通常是困难的或不可能的，特别是对于动态对比增强（DCE）、3D心脏电影和4D血流。我们提出了一个深度学习框架，用于MRI重建，而无需使用生成对抗网络的任何完全采样数据。我们在两种情况下测试所提出的方法：回顾性欠采样快速自旋回波膝关节检查和前瞻性欠采样腹部DCE。与传统方法相比，该方法恢复更多的解剖结构。
2020-08-29 cs.LG eess.IV stat.ML
Deep Generative Modeling for Volume Reconstruction in Cryo-Electron Microscopy
Stanford University（斯坦福大学）；SLAC National Accelerator Laboratory（SLAC国家加速器实验室）；Massachusetts Institute of Technology（麻省理工学院）；University of Chicago（芝加哥大学）；University of California Santa Barbara（加州大学圣巴巴拉分校）
近年来，低温电子显微镜（cryo-EM）对溶液中生物分子的高分辨率成像技术取得了突破性进展，为分子体积的重建打开了新的大门，从而有望在生物学、化学和药理学研究方面取得进一步进展。最近的下一代体积重建算法将生成建模与端到端无监督深度学习技术相结合，已经显示出有希望的初步结果，但在应用于实验冷冻EM图像时仍然面临相当大的技术和理论障碍。鉴于这种方法的扩散，我们在这里提出了一个批判性的审查，在该领域的最新进展的深生成建模冷冻EM体积重建。本综述旨在（i）使用一致的统计框架统一和比较这些新方法，（ii）使用机器学习研究人员和计算生物学家熟悉的术语介绍它们，这些研究人员和计算生物学家在cryo-EM中没有特定的背景，以及（iii）提供对当前进展的必要视角，以突出其相对优势和弱点，以及该领域的突出瓶颈和改进途径。这篇综述也可能会引起计算机视觉从业者的兴趣，因为它强调了深度生成模型在低信噪比条件下的重大局限性，因此强调了新的理论和方法发展的必要性。
2022-05-26 cs.CV cs.LG eess.IV
SCATGAN for Reconstruction of Ultrasound Scatterers Using Generative Adversarial Networks
ETH Zurich（苏黎世联邦理工学院）
超声（US）回波描记术的计算机模拟是培训超声医师的必要条件。US与微观组织结构的相互作用的真实模拟通常由点散射体形式的组织表示建模，与空间变化的点扩散函数卷积。这产生了一个现实的美国B模式斑点纹理，给定的散射体表示为一个特定的组织类型是现成的。这通常不是这种情况，散射体是不平凡的确定。在这项工作中，我们建议从组织的样本US B模式图像中估计散射体映射，通过将此逆映射问题制定为图像平移，其中我们使用US模拟软件进行训练，使用生成对抗网络学习映射。我们展示了强大的重建结果，不变的US查看和成像设置，如成像方向和中心频率。我们的方法被证明是泛化超出了训练的成像设置，在体内US数据证明。我们的推理比基于优化的技术快了几个数量级，使未来的扩展能够仅以线性计算复杂度重建3D B模式体积。
2019-02-01 cs.CV cs.LG eess.IV
DensePANet: An improved generative adversarial network for photoacoustic tomography image reconstruction from sparse data
Shiraz University（设拉子大学）
针对光声层析成像稀疏数据重建易产生伪影的问题，提出基于FD-UNet++生成器的端到端生成对抗网络DensePANet，在体内与模拟数据集上表现优于其他主流深度学习技术。
2024-04-19 cs.AI cs.CV cs.LG
Fetal MRI by robust deep generative prior reconstruction and diffeomorphic registration: application to gestational age prediction
Universidad Politécnica de Madrid（马德里理工大学）；Biomedical Research Networking Center in Bioengineering, Biomaterials and Nanomedicine (CIBER-BBN)（生物医学研究网络中心（生物工程、生物材料与纳米医学））；King’s College London（伦敦国王学院）
整个胎儿身体和胎盘的磁共振成像受到影响子宫的不同运动源的限制。解剖扫描技术采用单次激发多切片序列，其中不同切片中的解剖信息可能会受到不同变形、对比度变化或伪影的影响。已经提出了体积重建公式来校正这些因素，但它们必须适应非均匀和非各向同性的采样，因此正则化变得必要。因此，在本文中，我们提出了一个强大的体积重建集成了一个超纯体积切片配准方法的深度生成先验。进行实验以验证我们的贡献，并在$20-36$周胎龄范围内的$72$胎儿数据集队列中与最先进的方法进行比较。结果表明，与最先进的重建方法相比，图像分辨率提高，扫描时胎龄预测更准确。此外，我们的体积重建的胎龄预测结果与现有的基于大脑的方法相比毫不逊色，在整合大脑以外器官的信息时具有更高的准确性。即，当结合胎儿脑和躯干信息时，获得$0.618$周的平均绝对误差（$R^2=0.958$）。
2021-10-29 cs.CV eess.IV physics.med-ph
Generative adversarial network based single pixel imaging
单像素成像可以仅用单像素探测器重建场景的二维图像。它已被广泛用于在非可见带宽（例如，近红外和X射线），其中焦平面阵列传感器的制造具有挑战性。在本文中，我们提出了一种基于生成对抗网络的单像素成像重建算法，该算法在10 ms内实现了高效重建，并具有更高的质量。我们验证了所提出的方法与合成和真实世界的实验，并证明了良好的质量重建的真实世界的石膏使用0.05的采样率。
2021-07-11 eess.IV
Co-VeGAN: Complex-Valued Generative Adversarial Network for Compressive Sensing MR Image Reconstruction
IIT Roorkee（印度理工学院鲁尔基分校）；IIT Kharagpur（印度理工学院卡拉格普尔分校）
压缩感知（CS）被广泛用于减少磁共振成像（MRI）的采集时间。尽管基于深度学习的方法已经能够获得快速、高质量的CS-MR图像重建，但它们的主要缺点是将复值MRI数据视为实值实体。大多数方法要么从复值实体中提取幅度，要么将它们连接为两个实值通道。在这两种情况下，相位内容，其中链接的实部和虚部的复值实体，被丢弃。为了解决实值深度网络的基本问题，即它们无法处理复值数据，我们提出了一种基于复值生成对抗网络（Co-Vegan）的新框架。我们的模型可以处理复值输入，这使它能够执行高质量的重建CS-MR图像。此外，考虑到相位是复值实体的重要组成部分，我们提出了一种新的复值激活函数，它对输入的相位敏感。广泛的评估所提出的方法在不同的数据集上使用各种采样掩码表明，所提出的模型显着优于现有的CS-MRI重建技术的峰值信噪比以及结构相似性指数。此外，与基于实值深度学习的方法相比，它使用的可训练参数要少得多。
2020-09-24 cs.CV cs.LG eess.IV
Medical image reconstruction with image-adaptive priors learned by use of generative adversarial networks
Department of Computer Science and Engineering, Washington University in St. Louis（圣路易斯华盛顿大学计算机科学与工程系）；Department of Electrical and Systems Engineering, Washington University in St. Louis（圣路易斯华盛顿大学电气与系统工程系）；Department of Bioengineering, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校生物工程系）
医学图像重建是一个典型的不适定逆问题。为了解决这种不适定问题，通常通过一些稀疏促进正则化来合并所寻求的对象属性的先验分布。最近，使用生成对抗网络（GANs）估计的图像的先验分布在正则化这些图像重建问题中的一些方面显示出很大的希望。在这项工作中，我们应用一种基于图像自适应GAN的重建方法（IAGAN）从不完整的医学成像数据中重建高保真图像。据观察，IAGAN方法可以潜在地恢复与医学诊断相关的对象中的精细结构，但在使用传统的稀疏促进正则化的重建中可能会过度平滑。
2020-01-27 cs.LG eess.IV stat.ML
Prior image-based medical image reconstruction using a style-based generative adversarial network
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
计算机医学成像系统需要用于图像形成的计算重建过程。为了在记录的测量不完整时恢复待成像物体的有用估计，必须利用关于物体性质的先验知识。为了改善不适定成像逆问题的条件，正在积极研究深度学习方法，以更好地表示对象先验和约束。这项工作提出了使用基于风格的生成对抗网络（StyleGAN），以约束图像重建问题的情况下，额外的信息在一个受追捧的对象的先验图像的形式是可用的。在StyleGAN的中间潜在空间中制定优化问题，该优化问题相对于有意义的图像属性或“样式”（诸如磁共振成像（MRI）中使用的对比度）被解开。在解纠缠的潜在空间中测量所寻求的图像和先前图像之间的离散性，并且用于以解纠缠的潜在空间的特定样式上的约束的形式来正则化逆问题。一个程式化的数值研究的灵感来自MR成像的设计，其中所追求的和以前的图像在结构上是相似的，但属于不同的对比机制。所提出的数值研究表明，所提出的方法相比，传统的度量形式的经典方法的优越性。
2022-02-17 cs.CV eess.IV physics.med-ph
Prior Image-Constrained Reconstruction using Style-Based Generative Models
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
从高度不完整的成像测量中获得对物体的有用估计仍然是成像科学的圣杯。深度学习方法在学习对象先验或约束以改善不适定成像逆问题的条件方面显示出了希望。在这项研究中，提出了一个框架，用于估计一个感兴趣的对象是语义相关的一个已知的先验图像。在基于风格的生成模型的解开的潜在空间中制定优化问题，并使用先前图像的解开的潜在表示施加语义上有意义的约束。从理论上分析了利用先验图像从不完整测量中稳定恢复的方法。数值实验表明，我们的方法相比，相关方法的优越性能。
2021-06-14 cs.CV cs.LG eess.IV
MRI Cross-Modal Synthesis: A Comparative Study of Generative Models for T1-to-T2 Reconstruction
King Fahd University of Petroleum & Minerals（法赫德国王石油与矿业大学）
本文比较了Pix2Pix GAN、CycleGAN和VAE在T1到T2 MRI重建中的性能，发现CycleGAN在PSNR和SSIM上表现最佳，而VAE在潜在空间表示上有优势。
2026-02-05 cs.AI cs.CV eess.IV
DeepRecon: Joint 2D Cardiac Segmentation and 3D Volume Reconstruction via A Structure-Specific Generative Method
Rutgers University（罗格斯大学）；SenseBrain Research（SenseBrain研究院）；University of Arkansas for Medical Sciences（阿肯色大学医学院）；Lund University（隆德大学）；New York University（纽约大学）
联合二维心脏分割和三维体积重建是建立统计心脏解剖模型和从运动模式中理解功能机制的基础。然而，由于电影MR的低通过平面分辨率和高受试者间方差，准确分割心脏图像和重建3D体积是具有挑战性的。在这项研究中，我们提出了一个端到端的基于潜在空间的框架，DeepRecon，它可以生成多个临床基本结果，包括准确的图像分割，合成的高分辨率3D图像和3D重建体积。我们的方法识别包含心脏结构准确语义信息的电影图像的最佳潜在表示。特别是，我们的模型联合生成具有准确语义信息的合成图像和使用最佳潜在表示的心脏结构分割。我们进一步探索了不同潜在空间操作策略在三维形状重建和四维运动模式自适应的下游应用，同时生成的高分辨率图像对评估心脏的形状和运动具有很高的可解释性，实验结果证明了我们的方法在二维分割、三维重建和下游四维运动模式自适应性能等多个方面的有效性。
2022-06-14 cs.CV cs.LG eess.IV
X2CT-FLOW: Maximum a posteriori reconstruction using a progressive flow-based deep generative model for ultra sparse-view computed tomography in ultra low-dose protocols
The University of Tokyo Hospital（东京大学医学部附属医院）；Center for Frontier Medical Engineering, Chiba University（千叶大学前沿医疗工程中心）；Division of Radiology and Biomedical Engineering, Graduate School of Medicine, The University of Tokyo（东京大学医学研究生院放射科与生物医学工程学系）
超稀疏视图计算机断层扫描（CT）算法可以减少患者的辐射暴露，但这些算法在测试中缺乏显式的周期一致性损失最小化和显式的对数似然最大化。在这里，我们提出了X2 CT-FLOW，用于使用基于渐进流的深度生成模型从单个或几个二维（2D）投影图像中重建三维（3D）胸部CT图像的最大后验（MAP）重建，特别是对于超低剂量协议。MAP重建可以同时优化循环一致性损失和对数似然。该算法建立在一个新开发的基于渐进流的深度生成模型之上，该模型具有精确的对数似然估计、高效的采样和渐进式学习的特点。我们应用X2 CT-FLOW从无噪声污染（假设标准剂量协议）和强噪声污染（假设超低剂量协议）的双平面投影图像重建3D胸部CT图像。使用标准剂量方案，我们从2D投影图像和3D地面实况CT图像重建的图像在结构相似性方面显示出良好的一致性（SSIM，平均0.7675），峰值信噪比（PSNR，平均25.89 dB）、平均绝对误差（MAE，平均0.02364）和归一化均方根误差（NRMSE，平均0.05731）。此外，在超低剂量方案下，我们从2D投影图像和3D地面真实CT图像重建的图像在SSIM（平均0.7008）、PSNR（平均23.58 dB）、MAE（平均0.02991）和NRMSE（平均0.07349）方面也表现出良好的一致性。
2021-10-01 cs.CV cs.LG eess.IV
Accurate and Fast reconstruction of Porous Media from Extremely Limited Information Using Conditional Generative Adversarial Network
College of Electronics and Information Engineering, Sichuan University（四川大学电子信息学院）
多孔介质在自然界和工程应用中普遍存在，因此对其建模和理解至关重要。与直接获取这种介质的三维（3D）图像相比，获得其子区域（如二维（2D）图像或几个小区域）可能更可行。因此，在这种情况下，从有限的信息重建整个图像是一个主要的技术。特别是，在实践中，给定的数据通常不能由用户确定，并且可能是不完整的或部分知情的，从而使得现有的重建方法不准确甚至无效。为了克服这个缺点，在这项研究中，我们提出了一个基于深度学习的框架，用于从更小的子区域重建完整图像。特别地，利用条件生成对抗网络（CGAN）来学习输入（部分图像）和输出（完整图像）之间的映射。为了保持重建精度，提出了两个简单但有效的目标函数，然后与其他两个函数耦合，共同约束训练过程。由于这个不适定问题的固有本质，高斯噪声被引入用于产生重建多样性，从而允许提供多个候选输出。该方法在各种多孔材料上进行了广泛测试，并通过目视检查和定量比较进行了证明，结果表明该方法准确、稳定且快速（$\sim0.08s$用于$128 \times 128$图像重建）。我们强调，所提出的方法可以很容易地扩展，如将任何用户定义的条件数据和任意数量的目标函数重建，并与其他重建方法相结合。
2019-04-04 cs.CE cs.CV eess.IV
Self-Validation: Early Stopping for Single-Instance Deep Generative Priors
University of Minnesota（明尼苏达大学）
最近的工作表明，即使没有训练数据，深度生成模型在解决众多图像重建（IR）任务方面也具有惊人的有效性。我们将这些模型，如深度图像先验和深度解码器，统称为单实例深度生成先验（SIDGP）。然而，成功往往取决于适当的早期停止（ES），到目前为止，这在很大程度上是以临时的方式处理的。在本文中，我们提出了第一个原则性的方法ES时，将SIDGPs的IR，利用典型的钟形趋势的重建质量。特别是，我们的方法基于协作训练和自验证：原始重建过程由深度自动编码器监控，该编码器使用历史重建图像在线训练，并用于不断验证重建质量。实验上，在几个IR问题和不同的SIDGP上，我们的自验证方法能够可靠地检测近峰值性能和信号良好的ES点。我们的代码可在https://sun-umn.github.io/Self-Validation/上获得。
2021-10-23 cs.CV cs.LG eess.IV
Hallucination Index: An Image Quality Metric for Generative Reconstruction Models
本文提出幻觉指数，通过Hellinger距离评估生成式重建图像的幻觉程度，实验表明高SNR降低幻觉，适度去噪可减少幻觉，有助于医学图像质量评估。
2024-07-17 eess.IV physics.med-ph
Noise-robust latent vector reconstruction in ptychography using deep generative models
本文提出将预训练自编码器深度生成模型集成到自动微分叠层衍射成像框架中，在低维潜空间而非物体空间搜索解，实现噪声鲁棒的潜向量重建，并可视化优化景观以分析逆问题收敛行为。
2024-01-14 eess.IV physics.comp-ph physics.optics
Pseudoinverse Diffusion Models for Generative CT Image Reconstruction from Low Dose Data
针对传统扩散模型用于低剂量CT重建步骤多、效率低的问题，提出匹配低剂量CT噪声特性的伪逆扩散模型，可减少分数评估次数、保留熟悉噪声纹理，经TCGA-LIHC数据集验证效率和重建质量更优，助力临床实用化。
2025-02-20 eess.IV physics.med-ph
Using Spatial Diffusions for Optoacoustic Tomography Image Reconstruction
本文提出利用条件扩散模型与自编码器生成潜在表示，以延时求和初始重建结果为条件，提升光声断层成像重建质量并恢复细节。
2024-11-08 eess.IV
A Deep Generative Approach to Oversampling in Ptychography
Northwestern University（西北大学）；Argonne National Laboratory（阿贡国家实验室）
重叠关联成像是一种研究得很好的相位成像方法，它使纳米尺度的非侵入性成像成为可能。它已发展成为一种主流技术，在材料科学或国防工业等一系列领域具有各种应用。重叠关联成像的一个主要缺点是由于相邻照明区域之间的高重叠要求而导致的长数据采集时间，以实现合理的重建。传统的方法减少了扫描区域之间的重叠，导致重建时出现伪影。在本文中，我们提出用从深度生成网络采样的数据补充稀疏获取或欠采样的数据，以满足重叠关联分析中的过采样要求。由于深度生成网络是预先训练的，并且可以在我们收集数据时计算其输出，因此可以减少实验数据和获取数据的时间。我们验证的重建质量相比，以前提出的和传统的方法，并评论所提出的方法的优点和缺点的方法。
2022-07-28 cs.CV cs.LG eess.IV
JCCS-PFGM: A Novel Circle-Supervision based Poisson Flow Generative Model for Multiphase CECT Progressive Low-Dose Reconstruction with Joint Condition
针对多期相CECT扫描辐射剂量高、降剂量后图像质量受损的问题，提出结合联合条件与环形监督的JCCS-PFGM模型，通过渐进式重建等策略，在临床数据集上实现了优异的定量指标与可视化效果，具备低剂量临床应用潜力。
2023-06-13 eess.IV
An Unsupervised Reconstruction Method For Low-Dose CT Using Deep Generative Regularization Prior
针对低剂量CT重建依赖大规模高质量数据集的问题，提出一种无需训练数据的方法，利用随机初始化生成神经网络作为先验，在不同损失函数变体下，于分析体模和人体图像上的定性及定量结果均优于FBP、SART等方法。
2025-11-13 eess.IV
Generative Modeling and Inverse Imaging of Cardiac Transmembrane Potential
Rochester Institute of Technology（罗切斯特理工学院）；Dalhouse University（达尔豪斯大学）
从体表心电图（ECG）无创重建心脏跨膜电位（TMP）涉及不适定逆问题。模型约束正则化是强大的，将丰富的生理知识的时空TMP动态。这些模型是由高维物理参数控制的，如果固定的话，可能会引入模型误差并降低TMP重建的精度。然而，由于这些参数的高维性，在TMP重建期间同时适应这些参数是困难的。我们引入了一种新的模型约束推理框架，该框架用经过训练的深度生成模型取代了传统的生理模型，以从低维生成因子生成TMP序列。使用具有长短期记忆（LSTM）网络的变分自动编码器（VAE），我们训练VAE解码器来学习TMP的条件似然，而编码器学习生成因子的先验分布。这两个组件使我们能够开发一种有效的算法，同时推断生成因子和TMP信号从ECG数据。仿真实验和真实数据实验表明，与传统生理模型约束或无生理约束的方法相比，该方法显著提高了TMP重建的精度。
2019-05-12 cs.LG eess.IV eess.SP
Physics-assisted Generative Adversarial Network for X-Ray Tomography
Massachusetts Institute of Technology（麻省理工学院）；Singapore-MIT Alliance for Research and Technology (SMART) Centre（新加坡-麻省理工学院研究与技术联盟中心）；Sandia National Laboratories（桑迪亚国家实验室）；National Institute of Standards and Technology（美国国家标准与技术研究院）
X射线层析成像能够非侵入性地对物体内部进行三维成像，在生物医学成像、材料科学、电子检测和其他领域中具有应用。重建过程可能是一个病态的逆问题，需要正则化，以获得满意的结果。最近，深度学习已被用于断层重建。与需要先验已知分布的迭代算法不同，深度重建网络可以通过对训练分布进行采样来学习先验分布。在这项工作中，我们开发了一个物理辅助生成对抗网络（PGAN），一个两步算法的断层重建。与以前的努力相比，我们的PGAN利用来自测量的最大似然估计，用已知的物理和学习的先验来正则化重建。与较少物理辅助训练的方法相比，PGAN可以在有限的投影角度下减少光子需求，以达到给定的错误率。在X射线断层摄影中使用物理辅助的学习先验的优点可以进一步实现低光子纳米级成像。
2022-06-03 cs.LG eess.IV eess.SP
Robust Semantic Transmission for Low-Altitude UAVs: Predictive Channel-Aware Scheduling and Generative Reconstruction
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出一种鲁棒语义传输方法，通过预测信道感知调度与生成式重建，提升低空无人机在动态信道环境下的传输可靠性与图像质量。
2026-02-11 cs.IT eess.IV math.IT
