We introduce a novel generative smoothness regularization on manifolds (SToRM) model for the recovery of dynamic image data from highly undersampled measurements. The proposed generative framework represents the image time series as a smooth non-linear function of low-dimensional latent vectors that capture the cardiac and respiratory phases. The non-linear function is represented using a deep convolutional neural network (CNN). Unlike the popular CNN approaches that require extensive fully-sampled training data that is not available in this setting, the parameters of the CNN generator as well as the latent vectors are jointly estimated from the undersampled measurements using stochastic gradient descent. We penalize the norm of the gradient of the generator to encourage the learning of a smooth surface/manifold, while temporal gradients of the latent vectors are penalized to encourage the time series to be smooth. The main benefits of the proposed scheme are (a) the quite significant reduction in memory demand compared to the analysis based SToRM model, and (b) the spatial regularization brought in by the CNN model. We also introduce efficient progressive approaches to minimize the computational complexity of the algorithm.
Physics-Inspired Generative Models in Medical Imaging: A Review
KTH Royal Institute of Technology（瑞典皇家理工学院）；Karolinska University Hospital（卡罗林斯卡大学医院）；University of Regensburg（雷根斯堡大学）；Fraunhofer Institute for Digital Medicine MEVIS（弗劳恩霍夫数字医学MEVIS研究所）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
Conformalized Generative Bayesian Imaging: An Uncertainty Quantification Framework for Computational Imaging
Department of Electrical and Computer Engineering, University of Rochester（电气与计算机工程系，罗切斯特大学）；Goergen Institute for Data Science & AI, University of Rochester（数据科学与人工智能研究院，罗切斯特大学）
Generative Artificial Intelligence in Medical Imaging: Foundations, Progress, and Clinical Translation
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Macao Polytechnic University（澳门理工大学）
Multibranch Generative Models for Multichannel Imaging with an Application to PET/CT Synergistic Reconstruction
Univ. Brest, LaTIM, INSERM, UMR 1101（布雷斯特大学、LaTIM研究所、法国国家健康与医学研究院、UMR 1101联合研究单位）；Nuclear Medicine Department, Poitiers University Hospital（普瓦捷大学医院核医学科）
Mining the manifolds of deep generative models for multiple data-consistent solutions of ill-posed tomographic imaging problems
Washington University in St. Louis（圣路易斯华盛顿大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
Applying Conditional Generative Adversarial Networks for Imaging Diagnosis
University of Houston（休斯顿大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Northeastern University（东北大学）；University of Massachusetts Boston（马萨诸塞大学波士顿分校）；Brandeis University（布兰迪斯大学）
SPI-GAN: Towards Single-Pixel Imaging through Generative Adversarial Network
University of Central Florida（中佛罗里达大学）
单像素成像是一种新颖的成像方案，由于其巨大的计算增益和潜在的低成本替代可见光谱以外的成像而受到欢迎。当限制来自空间光调制器的照明图案的数量时，传统的重建方法难以产生清晰的恢复。作为补救措施，已经提出了几种基于深度学习的解决方案，由于架构设置和损失函数，这些解决方案缺乏良好的泛化能力。在本文中，我们提出了一个基于生成对抗网络的单像素成像重建框架，简称为SPI-GAN。即使采样率降至5%，我们的方法也可以重建17.92 dB PSNR和0.487 SSIM的图像。这有利于更快的重建，使我们的方法适用于单像素视频。此外，我们的生成器的ResNet类架构导致有用的表示学习，使我们能够重建完全看不见的对象。实验结果表明，SPI-GAN实现了显着的性能增益，例如，近3dB的PSNR增益，在当前的最先进的方法。
Generative Range Imaging for Learning Scene Priors of 3D LiDAR Data
Kyushu University（九州大学）；Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）
3D LiDAR传感器对于自主移动机器人的强大视觉不可或缺。然而，部署基于LiDAR的感知算法通常会由于与训练环境的域差距而失败，例如不一致的角分辨率和丢失的属性。现有的研究通过学习域间映射来解决这个问题，而可转移性受到训练配置的限制，并且训练容易受到称为射线下降的特殊有损噪声的影响。为了解决这个问题，本文提出了一种适用于数据级域传输的激光雷达距离图像生成模型。由于激光雷达测量是基于逐点距离成像的，因此我们训练了一个基于隐式图像表示的生成对抗网络，并引入了可区分的光线降效应。我们证明了我们的模型的保真度和多样性相比，基于点和基于图像的国家的最先进的生成模型。我们还展示了上采样和恢复应用程序。此外，我们介绍了一个Sim2Real应用激光雷达语义分割。我们证明，我们的方法是有效的，作为一个现实的射线下降模拟器，并优于国家的最先进的方法。
Learning stochastic object models from medical imaging measurements by use of advanced ambient generative adversarial networks
University of California Santa Barbara（加州大学圣巴巴拉分校）；Washington University in St. Louis（圣路易斯华盛顿大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Cancer Center at Illinois（伊利诺伊癌症中心）
Guided Deep Generative Model-based Spatial Regularization for Multiband Imaging Inverse Problems
Northwestern Polytechnical University（西北工业大学）；University of Toulouse（图卢兹大学）；IRIT/INPENSEEIHT（图卢兹计算机研究所/国立图卢兹应用科学学院国立高等电力技术、电子学、计算机、水力学与电信学院）；CNRS（法国国家科学研究中心）；Institut Universitaire de France (IUF)（法国大学研究院）
Generative Adversarial Networks (GAN) Powered Fast Magnetic Resonance Imaging -- Mini Review, Comparison and Perspectives
Imperial College London（伦敦帝国理工学院）；Royal Brompton Hospital（皇家布朗普顿医院）；Yantai University（烟台大学）；University of Cambridge（剑桥大学）；Beijing Institute of Technology（北京理工大学）
A Stability Benchmark of Generative Regularizers for Inverse Problems
Helmholtz Imaging, Deutsches Elektronen-Synchrotron DESY, Germany（德意志电子同步辐射研究中心（Helmholtz Imaging））；ENS Paris & Inria, France（巴黎高等师范学院与法国国家信息与自动化研究所）；Chemnitz University of Technology, Germany（化学工业大学）
Generative AI for Medical Imaging: extending the MONAI Framework
King’s College London（伦敦国王学院）；National Institute of Mental Health（美国国家精神卫生研究所）；The University of Edinburgh（爱丁堡大学）；University of Basel（巴塞尔大学）；Korea Advanced Institute of Science & Technology（韩国科学技术院）；NVIDIA Corporation（英伟达公司）；Stanford University（斯坦福大学）；Icahn School of Medicine at Mount Sinai（西奈山伊坎医学院）
GMENet: Generative Mixture of Experts Network for Multi-Center Glioma Diagnosis with Incomplete Imaging Sequences
School of Biomedical Engineering and Technology Innovation, Fudan University（复旦大学生物医学工程与技术创新学院）；Institute of Science and Technology for Brain-Inspired Intelligence, Fudan University（复旦大学脑启发智能科学技术研究院）；Intelligent Diagnosis and Treatment Laboratory for Brain Diseases, Joint Laboratory of Neurosurgery Department of Huashan Hospital and School of Information Science and Technology, Fudan University（脑病智能诊断与治疗实验室，华山医院神经外科部门联合实验室，复旦大学信息科学学院）
STAN-CT: Standardizing CT Image using Generative Adversarial Network
University of Kentucky（肯塔基大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；UT Southwestern Medical Center（德克萨斯大学西南医学中心）；The University of Texas Health Science Center at Houston（德克萨斯大学休斯顿健康科学中心）
Reconstruct or Generate: Exploring the Spectrum of Generative Modeling for Cardiac MRI
School of Computation, Information and Technology（计算信息学院）；Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；School of Medicine, Klinikum Rechts der Isar（医学院，莱茵河右岸医院）；Department of Quantitative Biomedicine（定量生物医学系）；University of Zurich（苏黎世大学）；Department of Computing（计算系）；Imperial College London（伦敦帝国理工学院）
Direct Energy-resolving CT Imaging via Energy-integrating CT images using a Unified Generative Adversarial Network
Southern Medical University（南方医科大学）；Guangzhou Key Laboratory of Medical Radiation Imaging and Detection Technology（广州市医学辐射成像与检测技术重点实验室）；South China University of Technology（华南理工大学）
