GANs for Medical Image Synthesis: An Empirical Study
University of Bourgogne Franche-Comte（勃艮第-弗朗什孔泰大学）；CASIS inc.（CASIS公司）；University of Sherbrooke（舍布鲁克大学）；University Hospital of Dijon（第戎大学医院）
生成对抗网络（GANs）变得越来越强大，生成令人兴奋的逼真图像，模仿它们训练复制的数据集的内容。医学成像中的一个反复出现的主题是，GANs是否也可以像生成逼真的RGB图像那样有效地生成可用的医学数据。在本文中，我们进行了多GAN和多应用研究，以衡量GANs在医学成像中的优势。我们在三种医学成像模式和器官上测试了各种GAN架构，从基本的DCGAN到更复杂的基于样式的GANs，即：心脏电影MRI，肝脏CT和RGB视网膜图像。GANs在众所周知且广泛使用的数据集上进行训练，从这些数据集计算它们的FID分数以测量它们生成的图像的视觉敏锐度。我们通过测量在这些生成的图像上训练的U-Net的分割准确度来进一步测试它们的有用性。结果表明，GANs远不平等，因为有些不适合医学成像应用，而另一些则更好。性能最好的GANs能够通过FID标准生成逼真的医学图像，这些图像可以在视觉图灵测试中欺骗训练有素的专家，并符合某些指标。然而，分割结果表明，没有GAN能够再现医学数据集的全部丰富性。
2021-07-19 cs.CV cs.LG eess.IV
High-resolution medical image synthesis using progressively grown generative adversarial networks
Massachusetts General Hospital（麻省总医院）；Casey Eye Institute（凯西眼科研究所）；Brigham and Women’s Hospital（布莱根妇女医院）
生成对抗网络（GANs）是一类无监督的机器学习算法，可以从多维空间中的随机采样向量生成逼真的图像。直到最近，还不可能使用GANs生成逼真的高分辨率图像，这限制了它们对包含仅在原始分辨率下可检测的生物标志物的医学图像的适用性。GANs的渐进增长是一种方法，其中图像生成器被训练为初始合成低分辨率合成图像（8x8像素），然后将其馈送到将这些合成图像与真实下采样图像区分开的消隐器。然后迭代地引入额外的卷积层，以产生两倍于先前分辨率的图像，直到达到所需的分辨率。在这项工作中，我们证明了这种方法可以在两个不同的领域产生逼真的医学图像;眼底照片显示血管病变与早产儿视网膜病变（ROP），和多模态磁共振图像的胶质瘤。我们还表明，与病理相关的细粒度细节，如视网膜血管或肿瘤异质性，可以通过包括分割图作为额外的通道来保留和增强。我们设想了几个应用的方法，包括图像增强和无监督分类的病理。
2018-05-09 cs.CV
High-Resolution Mammogram Synthesis using Progressive Generative Adversarial Networks
Kheiron Medical Technologies Ltd.（Kheiron医疗技术有限公司）；Imperial College London（帝国理工学院）
生成合成医学图像的能力对于数据增强、域转移和分布外检测是有用的。然而，由于纹理异质性、精细结构细节和特定组织特性，生成逼真的高分辨率医学图像是具有挑战性的，特别是对于全视野数字乳腺X射线摄影（FFDM）。在本文中，我们探索使用渐进训练的生成对抗网络（GANs）来合成乳房X线照片，克服训练这种对抗模型时的潜在不稳定性。这项工作是第一个表明生成逼真的合成医学图像是可行的，高达1280x1024像素，医学图像合成达到的最高分辨率，使标准乳房摄影悬挂协议内的可视化。我们希望这项工作可以作为一个有用的指导和促进进一步的研究GANs在医学成像领域。
2019-09-03 cs.CV
GANetic Loss for Generative Adversarial Networks with a Focus on Medical Applications
Centre for Artificial Intelligence（人工智能中心）；Public Health Research（公共卫生研究机构）；Robert Koch Institute（罗伯特·科赫研究所）
本文提出用遗传编程自动搜索GAN损失函数，得到GANetic loss，并在医学图像生成与异常检测任务中验证其性能、稳定性和可复现性均优于常用损失。
2024-06-07 cs.CV
Evaluating Procedures for Establishing Generative Adversarial Network-based Stochastic Image Models in Medical Imaging
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Food and Drug Administration（美国食品药品监督管理局）
现代生成模型，如生成对抗网络（GANs），在医学成像的几个领域，如无条件医学图像合成，图像恢复，重建和翻译，以及成像系统的优化，有着巨大的前景。然而，使用GANs建立随机图像模型（SIM）的过程仍然是通用的，并且没有解决与医学成像相关的特定问题。在这项工作中，采用模拟血管造影图像中逼真血管的规范SIM来评估使用GANs建立SIM的过程。基于GAN的SIM与标准SIM进行比较，基于其再现对所考虑的特定医学现实SIM有意义的那些统计数据的能力。结果表明，使用经典度量和医学相关度量评估GANs可能会导致关于训练的GANs的保真度的不同结论。这项工作强调了开发用于评估GANs的客观指标的必要性。
2022-04-07 cs.CV eess.IV physics.med-ph
A review of Generative Adversarial Networks (GANs) and its applications in a wide variety of disciplines -- From Medical to Remote Sensing
New Jersey Institute of Technology（新泽西理工学院）
我们研究了生成对抗网络（GAN），它在许多领域的流行变体和应用。GANs结合了两个使用零和博弈理论相互竞争的神经网络，使它们能够创建许多关键和离散的输出。GANs可用于执行图像处理、视频生成和预测以及其他计算机视觉应用。GANs还可用于各种科学相关活动，包括蛋白质工程、天文数据处理、遥感图像去雾和晶体结构合成。GANs取得进展的其他值得注意的领域包括金融、营销、时装设计、体育和音乐。因此，在本文中，我们将全面概述GANs在各种学科中的应用。我们首先介绍支持GAN的理论、GAN变体以及评估GANs的指标。然后，我们介绍了GAN及其变体如何应用于12个领域，从STEM领域，如天文学和生物学，到商业领域，如市场营销和金融，以及艺术，如音乐。因此，其他领域的研究人员可以掌握GANs的工作原理，并将其应用于自己的研究。据我们所知，本文提供了最全面的调查GAN的应用在不同领域。
2021-10-01 cs.AI cs.CV cs.LG
Uncertainty-Guided Progressive GANs for Medical Image Translation
University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
图像到图像转换在处理各种医学成像任务中起着至关重要的作用，例如衰减校正，运动校正，欠采样重建和去噪。生成对抗网络已被证明在为这些任务生成高保真图像方面达到了最先进的水平。然而，最先进的基于GAN的框架没有估计网络预测的不确定性，这对于医学专家做出明智的医疗决策和随后的修订至关重要，并且最近已被证明可以提高模型的性能和可解释性。在这项工作中，我们提出了一个不确定性指导的渐进式学习计划的图像到图像的翻译。通过将任意的不确定性作为以渐进方式训练的GANs的注意力地图，我们生成了保真度逐渐增加的图像。我们证明了我们的模型对三个具有挑战性的医学图像翻译任务的有效性，包括PET到CT的翻译，欠采样MRI重建和MRI运动伪影校正。我们的模型在三个不同的任务中具有很好的泛化能力，并且在有限数据的情况下，在完全监督和弱监督下，提高了最先进的性能。代码发布于：https://github.com/ExplainableML/UncerGuidedI2I
2021-07-02 cs.CV cs.LG eess.IV
Refacing: reconstructing anonymized facial features using GANs
Linköping University（林雪平大学）
医学图像的匿名化对于保护受试者的身份是必要的，因此是数据共享的重要步骤。然而，深度学习的最新发展可能会提高保证匿名所需的失真量。为了测试这种可能性，我们在T1 MR图像的矢状切片上应用了新的CycleGAN无监督图像到图像转换框架，以便从匿名数据中重建面部特征。我们将CycleGAN框架应用于面部模糊和面部移除的图像。我们的研究结果表明，面部模糊可能无法提供足够的保护，以防止恶意企图识别的主题，而面部删除提供了更强大的匿名化，但仍然是部分可逆的。
2019-01-21 cs.CV
Beware of diffusion models for synthesizing medical images -- A comparison with GANs in terms of memorizing brain MRI and chest x-ray images
Center for Medical Image Science and Visualization (CMIV)（医学影像科学与可视化中心）
本文通过 BRATS 与胸部 X 光数据集比较 StyleGAN 和扩散模型，发现扩散模型更易记忆训练样本，提示共享医学合成图像时需谨慎。
2024-07-07 cs.CV cs.LG eess.IV
Synthesizing Filamentary Structured Images with GANs
Beijing Institute of Technology（北京理工大学）；Bioinformatics Institute, A*STAR（A*STAR生物信息研究所）；National University of Singapore（新加坡国立大学）
本文的目的是合成的结构化图像，如视网膜眼底图像和神经元图像，如下：给定一个地面真理，以产生多个逼真的外观幻影。地面实况可以是包含非结构化形态的二进制分割图，而合成的输出图像与地面实况具有相同的大小，并且具有与训练集中呈现的视觉外观相似的视觉外观。我们的方法受到了生成对抗网络（GANs）以及图像风格转移的最新进展的启发。特别是，它致力于我们的问题背景下，具有以下属性：而不是大规模的数据集，它的工作以及在尽可能少的10个训练样本，这是常见的医学图像分析的存在;它是能够合成不同的图像从相同的地面真理;最后也是最重要的一点是，我们的方法产生的合成图像被证明是有用的，在提高图像分析性能。对眼底和神经元图像的各种基准的经验性检查证明了所提出的方法的优点。
2017-06-07 cs.CV
Progressive GANomaly: Anomaly detection with progressively growing GANs
Image Sciences Institute（图像科学研究所）；UMC Utrecht（乌得勒支大学医学中心）
在医学成像中，获得大量的标记数据通常是一个障碍，因为注释和病理是稀缺的。异常检测是一种方法，它能够检测看不见的异常数据，同时只在正常（未注释）数据上进行训练。基于生成对抗网络（GANs）的几种算法可以执行此任务，但由于GANs的不稳定性，存在某些限制。本文提出了一种新的方法，结合现有的方法，GANomaly，逐步增长的GANs。考虑到其生成高分辨率图像的能力，后者已知更稳定。使用Fashion MNIST、医学分销外分析挑战（MOOD）和内部脑MRI（使用尺寸为16x16和32x32的贴片）对该方法进行了测试。渐进式GANomaly在Fashion MNIST上的表现优于单类SVM或常规GANomaly。在MOOD图像中创建具有不同强度和直径的人工异常。渐进式GANomaly检测到的异常最多，强度和大小各不相同。此外，间歇性重建被证明是更好的渐进GANomaly。在内部大脑MRI数据集上，常规GANomaly优于其他方法。
2022-06-08 cs.CV eess.IV
Medical Image Generation using Generative Adversarial Networks
Jamia Millia Islamia（贾米亚·米利亚·伊斯兰亚大学）
生成对抗网络（GANs）是计算机视觉领域的无监督深度学习方法，在过去几年中，它在识别多模态医学成像数据的内部结构方面获得了极大的关注。对抗网络同时生成逼真的医学图像和相应的注释，这在许多情况下被证明是有用的，例如图像增强，图像配准，医学图像生成，图像重建和图像到图像的翻译。这些特性引起了医学图像分析领域研究人员的注意，我们见证了许多新颖和传统应用的快速适应。本章提供了基于GANs的临床应用在医学图像生成和跨模态合成方面的最新进展。已经讨论了在医学图像解释中获得普及的各种GANs框架，例如深度卷积GAN（DCGAN）、拉普拉斯GAN（LAPGAN）、pix2pix、CycleGAN和无监督图像到图像转换模型（UNIT），这些框架通过结合额外的混合架构来继续提高其性能。此外，这些框架的图像重建和合成，以及在该领域的未来研究方向的一些最新的应用已经涵盖。
2020-05-19 cs.CV cs.LG eess.IV
Assessing the ability of generative adversarial networks to learn canonical medical image statistics
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Center for Devices and Radiological Health, Food and Drug Administration（美国食品药品监督管理局设备与放射健康中心）
近年来，生成对抗网络（GANs）在医学成像领域的潜在应用中获得了巨大的普及，例如医学图像合成，恢复，重建，翻译以及客观的图像质量评估。尽管在生成高分辨率、感知逼真的图像方面取得了令人印象深刻的进展，但目前尚不清楚现代GANs是否可靠地学习对下游医学成像应用有意义的统计数据。在这项工作中，一个国家的最先进的GAN学习统计的规范随机图像模型（SIM卡）的图像质量的客观评估有关的能力进行了研究。结果表明，尽管所采用的GAN成功地学习了所考虑的特定医疗SIM的几个基本的一阶和二阶统计数据，并生成了具有高感知质量的图像，但它未能正确地学习与这些SIM相关的几个逐图像统计数据，突出了迫切需要在图像质量的客观测量方面评估医疗图像GANs。
2022-04-27 cs.CV eess.IV physics.med-ph
Generating Highly Realistic Images of Skin Lesions with GANs
TU Munich（慕尼黑工业大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
与许多其他机器学习驱动的医学图像分析任务一样，皮肤图像分析长期缺乏标记数据和倾斜的类分布，这给训练鲁棒和良好泛化的模型带来了问题。合成皮肤病变的逼真图像的能力可以作为上述问题的缓解剂。生成对抗网络（GANs）已成功用于合成逼真的医学图像，但仅限于低分辨率，而用于皮肤病变分割或分类等具有挑战性的任务的机器学习模型则受益于更高分辨率的数据。在这项工作中，我们成功地合成了具有如此高分辨率的GANs的皮肤病变的逼真图像。因此，我们利用渐进增长的概念，我们定量和定性地比较其他GAN架构，如DCGAN和LAPGAN。我们的研究结果表明，在渐进式生长的帮助下，我们可以合成高度逼真的皮肤病变皮肤镜图像，即使是专家皮肤科医生也很难与真实皮肤区分开来。
2018-09-06 cs.CV eess.IV
One Shot GANs for Long Tail Problem in Skin Lesion Dataset using novel content space assessment metric
Koita Centre for Digital Health, Indian Institute of Technology, Bombay（印度理工学院孟买分校科伊塔数字健康中心）
本文针对医学图像长尾问题，采用One Shot GANs为HAM10000数据集尾部类别生成样本，并提出适配该模型的新型内容空间评估指标以提升检测准确性。
2024-09-30 cs.CV cs.LG eess.IV
Visual Feature Attribution using Wasserstein GANs
ETH Zurich（苏黎世联邦理工学院）
在计算机视觉中，将输入图像的像素归属于某个类别是一个重要且研究得很好的问题，其应用范围从弱监督定位到理解数据中的隐藏效应。近年来，基于解释先前训练的神经网络分类器的方法已经成为事实上的最先进技术，并且通常用于医学以及自然图像数据集。在本文中，我们讨论了这些方法的局限性，这可能会导致只有一个子集的类别特定的功能被检测到。为了解决这个问题，我们开发了一种新的特征归因技术的基础上Wasserstein生成对抗网络（WGAN），不受此限制。我们表明，我们提出的方法在合成数据集和轻度认知障碍（MCI）和阿尔茨海默病（AD）患者的真实3D神经成像数据上的视觉归因方面的表现明显优于最先进的方法。对于AD患者的方法产生令人信服的现实的疾病影响地图是非常接近观察到的效果。
2018-06-26 cs.CV
Pathology-Aware Generative Adversarial Networks for Medical Image Augmentation
The University of Tokyo（东京大学）；National Center for Global Health and Medicine（国立国际医疗研究中心）；Kyushu Medical Center（九州医疗中心）
卷积神经网络（CNN）可以在大规模注释数据集下的医学图像分析中发挥关键作用。然而，准备如此庞大的数据集是非常困难的。在这种情况下，生成对抗网络（GANs）可以生成真实但新颖的样本，从而有效地覆盖真实的图像分布。在插值方面，基于GAN的医学图像增强是可靠的，因为医疗模态可以在固定位置显示人体的强解剖一致性，同时清楚地反映受试者间的变异性;因此，我们建议使用噪声到图像GANs（例如，随机噪声样本到不同的病理图像），用于（i）医学数据增强（DA）和（ii）医师培训。关于DA，GAN生成的图像可以改善基于监督学习的计算机辅助诊断。对于医师培训，GANs可以显示新颖的期望病理图像，并帮助训练医疗受训者，而不管基础设施/法律限制。本论文包含四个GAN项目，旨在与医生合作，展示此类新应用的临床相关性。虽然这些方法更普遍适用，但本文仅探讨了一些肿瘤学应用。
2021-06-03 cs.CV cs.LG eess.IV
Explicit Temporal Embedding in Deep Generative Latent Models for Longitudinal Medical Image Synthesis
University of Copenhagen（哥本哈根大学）；Rigshospitalet（哥本哈根大学国立医院）
医学影像学在现代诊断和治疗中起着至关重要的作用。疾病或治疗进展的时间性质通常导致纵向数据。由于成本和潜在危害，获取深度学习所需的大型医疗数据集可能很困难。医学图像合成可以帮助缓解这个问题。然而，到目前为止，能够合成纵向体积数据的GANs的可用性有限。为了解决这个问题，我们利用基于潜在空间的图像编辑的最新进展，提出了一种新的联合学习方案，以显式地将时间依赖性嵌入到GANs的潜在空间中。与以前的方法相比，这使我们能够在有限的监督下合成连续，平滑和高质量的纵向体积数据。我们展示了我们的方法在三个包含不同纵向依赖关系的数据集上的有效性。也就是说，建模一个简单的图像变换，呼吸运动，肿瘤消退，同时显示最小的解开。该实现可在https://github.com/julschoen/Temp-GAN上在线获得。
2023-01-13 cs.CV cs.LG
Medical Imaging Complexity and its Effects on GAN Performance
Algoverse AI Research（Algoverse人工智能研究院）
本文通过实验基准研究医学影像数据集规模与复杂度对StyleGAN 3和SPADE-GAN生成保真度的影响，发现性能随训练集增大而提升、随影像复杂度增加而下降。
2024-10-23 cs.CV cs.LG eess.IV
An Adversarial Learning Approach to Medical Image Synthesis for Lesion Detection
Xiamen University（厦门大学）；Tel Aviv University（特拉维夫大学）；Columbia University（哥伦比亚大学）
在医学图像数据中识别病变对于诊断、治疗和预后是必要的。分割和分类方法主要基于具有良好配对的图像级或体素级标签的监督学习。然而，标记医学图像中的病变是费力的，需要高度专业化的知识。我们提出了一个医学图像合成模型异常到正常的翻译生成对抗网络（ANT-GAN）生成一个正常的医学图像的基础上，其异常的期待不需要配对的训练数据。与典型的GANs不同，其目的是生成具有变化的真实样本，我们更具限制性的模型旨在生成与包含病变的图像相对应的正常外观图像，因此需要特殊的设计。能够为医学图像提供“正常”对应物可以为医学成像任务提供有用的辅助信息，例如通过我们的实验验证的病变分割或分类。在另一方面，ANT-GAN模型也能够产生与健康图像相对应的高度逼真的包含病变的图像，这显示了在我们的实验中验证的数据增强的潜力。
2019-04-08 cs.CV
Deep Generative Adversarial Neural Networks for Realistic Prostate Lesion MRI Synthesis
STAT Innovations Pty. Ltd.（STAT创新私人有限公司）
将生成对抗神经网络（GANs）应用于前列腺病变MRI图像的合成生成。GANs已应用于各种自然图像，显示相同的技术可用于医疗领域，以创建逼真的合成病变图像。从SPIE ProstateX Challenge 2016的330个MRI扫描中提取16 mm x 16 mm贴片，并使用尖端技术训练深度卷积生成对抗神经网络（DCGAN）。合成输出进行了比较，真实的图像和隐含的潜在表示诱导的GAN进行了探索。训练技术和成功的神经网络架构进行了详细说明。
2017-08-01 cs.CV
Beyond a Single Mode: GAN Ensembles for Diverse Medical Data Generation
Department of Computing Science Umeå University（计算科学系乌梅大学）
本文提出了一种基于GAN集成的方法，用于生成多样化且高效的医学影像数据，以提升下游任务的性能。
2025-03-31 cs.AI cs.CV
Brain tumor segmentation using synthetic MR images -- A comparison of GANs and diffusion models
Linköping University（林雪平大学）；Center for Medical Image Science and Visualization (CMIV), Linköping（林雪平医学影像科学与可视化中心）；Eigenvision（Eigenvision公司）
本文比较了 GANs 和扩散模型生成的合成 MR 图像在脑肿瘤分割任务中的表现，发现合成图像训练的分割网络性能达真实图像的 80%-90%，证明共享合成医学图像是可行选择。
2024-01-05 cs.CV cs.LG eess.IV
Does an ensemble of GANs lead to better performance when training segmentation networks with synthetic images?
Eigenvision（艾根视觉）
训练分割网络需要大型带注释的数据集。在医学成像中，创建这样的数据集通常是困难的、耗时的和昂贵的，并且也可能难以与其他研究人员共享这些数据集。如今，不同的人工智能模型可以生成非常逼真的合成图像，这些图像可以公开共享，因为它们不属于特定的人。然而，最近的研究表明，使用合成图像训练深度网络通常会导致比使用真实图像更差的性能。在这里，我们证明了使用来自20个GANs的集成而不是来自单个GAN的合成图像和注释，可以将真实测试图像上的Dice分数提高4.7%到14.0%。
2023-03-12 cs.CV eess.IV
Perceptual Evaluation of GANs and Diffusion Models for Generating X-rays
Pontificia Universidad Católica de Chile（智利天主教大学）；iHealth - Instituto Milenio en Ingeniería e Inteligencia Artificial para la Salud（iHealth - 毫米级工程与人工智能健康研究所）；CENIA – Centro Nacional de Inteligencia Artificial（国家人工智能中心）
本研究评估了GANs和Diffusion Models在合成四种异常胸部X光片时的有效性与保真度，通过放射科医生的读者研究发现两者在视觉真实感和特定条件准确性上具有互补优势，为生成模型可靠增强AI诊断训练数据提供了见解。
2025-08-10 cs.AI cs.CV
Enhanced Balancing GAN: Minority-class Image Generation
The George Washington University（乔治华盛顿大学）
生成对抗网络（GANs）是最强大的生成模型之一，但总是需要一个大型且平衡的数据集来进行训练。传统的GANs不适用于在高度不平衡的数据集中生成少数类图像。平衡GAN（BAGAN）被提出来缓解这个问题，但是当不同类别中的图像看起来相似时，例如花和细胞，它是不稳定的。在这项工作中，我们提出了一个监督自动编码器与中间嵌入模型分散标记的潜在向量。通过改进的自编码器初始化，我们还建立了一个具有梯度惩罚的BAGAN结构（BAGAN-GP）。我们提出的模型克服了原始BAGAN中的不稳定问题，并且更快地收敛到高质量的世代。我们的模型在MNIST Fashion的不平衡缩小版本、CIFAR-10和一个小规模医学图像数据集上实现了高性能。
2020-10-31 cs.CV
GANsfer Learning: Combining labelled and unlabelled data for GAN based data augmentation
Imperial College London（帝国理工学院）；King’s College London（伦敦国王学院）；Imanova Ltd.（Imanova有限公司）
医学成像是一个缺乏用于学习算法训练的人工标注数据的领域。在像素级手动描绘病理区域是一个耗时的过程，特别是在3D图像中，并且通常需要训练有素的专家的时间。因此，有监督的机器学习解决方案必须处理少量的标记数据，尽管通常还有额外的未标记数据可用。虽然这些未标记图像的价值低于标记图像，但它们可能包含有用的信息。在本文中，我们建议在GAN框架内结合标记和未标记的数据，然后使用生成的网络生成图像，以供训练分割网络时使用。我们探讨了AD数据集中的深灰色物质多类分割的任务，并表明所提出的方法导致分割结果的显着改善，特别是在标记数据量受限的情况下。我们表明，这种改善在很大程度上是由更大的能力，以分割已知的结构是最受AD，从而证明了暴露系统的好处，更多的病理解剖变异的例子。我们还展示了训练数据的域从年轻和健康向老年人和更多病理的例子的转变如何导致后者的情况下，更好的分割，这导致显着改善的能力计算分割分层的情况下AD。
2018-11-26 cs.CV
MediQ-GAN: Quantum-Inspired GAN for High Resolution Medical Image Generation
Independent Researcher（独立研究者）
提出MediQ-GAN，一种融合经典与量子启发分支的双流生成器，通过变分量子电路避免秩塌缩，在三个医学数据集上优于现有GAN和扩散模型，为医学图像生成提供可扩展且数据高效的框架。
2025-11-03 cs.CV cs.LG quant-ph
Combining Noise-to-Image and Image-to-Image GANs: Brain MR Image Augmentation for Tumor Detection
The University of Tokyo（东京大学）；National Institute of Informatics（国立信息学研究所）；University of Cambridge（剑桥大学）；Cancer Research UK Cambridge Institute（英国癌症研究院剑桥研究所）；University of Milano-Bicocca（米兰比可卡大学）；Chubu University（中部大学）；Jikei University School of Medicine（东京慈惠会医科大学）；Kyushu University（九州大学）
卷积神经网络（CNN）通过足够的注释训练数据实现了出色的计算机辅助诊断。然而，大多数医学成像数据集都很小且分散。在这种情况下，生成对抗网络（GANs）可以合成真实/多样化的额外训练图像，以填补真实图像分布中的数据不足;研究人员通过用噪声到图像（例如，随机噪声样本到不同病理图像）或图像到图像GANs（例如，良性图像到恶性图像）。然而，没有研究报告将噪声到图像和图像到图像GANs结合起来以进一步提高性能的结果。因此，为了最大化使用GAN组合的DA效果，我们提出了两步基于GAN的DA，其分别生成和细化有/无肿瘤的脑磁共振（MR）图像：（i）GANs的渐进生长（PGGAN），用于高分辨率MR图像生成的多级噪声到图像GAN，首先生成逼真/多样化的256 X 256图像;（ii）多模态无监督图像到图像转换（MUNIT），其组合了GANs/变分自动编码器或使用DA聚焦的GAN损失的SimGAN，进一步细化了PGGAN生成的图像的纹理/形状，类似于真实图像。我们彻底研究了基于CNN的肿瘤分类结果，同时考虑了预训练对ImageNet的影响，并丢弃了看起来奇怪的GAN生成的图像。结果表明，当与经典DA相结合时，我们的基于GAN的两步DA在肿瘤检测中可以显著优于单独的经典DA（即，将灵敏度提高93.67%至97.48%），并且还用于其他医学成像任务。
2019-10-09 cs.AI cs.CV eess.IV
Frequency Domain Decomposition Translation for Enhanced Medical Image Translation Using GANs
Institute of Medical Technology, Peking University Health Science Center（北京大学医学部医学技术研究院）；Biomedical Engineering Department, Peking University（北京大学生物医学工程系）；School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电气与电子工程学院）；National Engineering Research Center of Oral Biomaterials and Digital Medical Devices（国家口腔生物材料与数字医疗器械工程研究中心）；NMPA Key Laboratory for Dental Materials（国家药监局牙科材料重点实验室）；Beijing Laboratory of Biomedical Materials（北京生物医学材料实验室）；Peking University School and Hospital of Stomatology（北京大学口腔医学院）；Department of Geriatric Dentistry, Peking University School and Hospital of Stomatology（北京大学口腔医学院老年口腔科）
针对GAN类医学图像翻译方法忽略频域信息导致生成图像失真的问题，提出频域分解翻译FDDT方法，通过高低频分量分频段对齐保留身份与风格信息，在多项指标上优于现有方法。
2023-11-06 cs.CV eess.IV
DS@GT ARC at ImageCLEFmed GANs 2026: Geometric Filtering for Privacy-Preserving CT Slice Generation
Georgia Institute of Technology（佐治亚理工学院）
为Image-CLEFmed GANs 2026挑战赛开发隐私保护框架，结合最优传输条件流匹配等，在几何潜在空间过滤候选切片。官方结果显示有真实感与隐私权衡，虽减少泄漏，但防止直接图像复制仍不足以消除患者特定解剖特征，凸显未来隐私保护医学图像生成的重要前沿。
2026-07-24 cs.AI cs.CV
Memory-efficient GAN-based Domain Translation of High Resolution 3D Medical Images
University of Lübeck（吕贝克大学）
生成对抗网络（GANs）目前很少应用于大尺寸的3D医学图像，由于其巨大的计算需求。本工作提出了一种基于多尺度块的GAN方法，用于通过以存储高效的方式生成高分辨率的3D医学图像体积来建立不成对域平移。实现内存高效图像生成的关键思想是首先生成图像的低分辨率版本，然后生成大小不变但分辨率不断增加的补丁。为了避免补丁文物，并纳入全球信息，补丁生成的条件是补丁从以前的分辨率尺度。这些多尺度GANs经过训练，可以从图像草图生成逼真的图像，以便执行不成对的域翻译。这允许保留测试数据的拓扑并生成训练域数据的外观。在尺寸为155x240x240的脑部MRI和尺寸高达512x512x512的胸部CT上执行域平移场景的评价。与常见的基于补丁的方法相比，多分辨率方案能够实现更好的图像质量并防止补丁伪影。此外，它还确保了与图像大小无关的恒定GPU内存需求，允许生成任意大的图像。
2020-10-06 cs.CV cs.LG eess.IV
Infinite Brain MR Images: PGGAN-based Data Augmentation for Tumor Detection
The University of Tokyo（东京大学）；University of Milano-Bicocca（米兰比可卡大学）；Italian National Research Council (CNR)（意大利国家研究委员会）；Chubu University（中部大学）；Kanto Rosai Hospital（关东劳灾医院）；Kyushu University（九州大学）
由于缺乏可用的注释医学图像，准确的计算机辅助诊断需要密集的数据增强（DA）技术，例如原始图像的几何/强度变换;然而，这些变换后的图像本质上具有与原始图像相似的分布，导致性能改进有限。为了填补真实图像分布中的数据不足，我们使用生成对抗网络（GANs）合成大脑对比度增强的磁共振（MR）图像--逼真但与原始图像完全不同。本研究利用GANs的渐进式生长（PGGANs）（一种多阶段生成训练方法）来生成原始大小的256 X 256 MR图像，用于基于卷积神经网络的脑肿瘤检测，这通过传统的GANs是具有挑战性的;由于具有高分辨率的不稳定的GAN训练以及各种大小、位置、形状和对比度的肿瘤而出现困难。我们的初步结果表明，这种新的PGGAN为基础的DA方法可以实现有前途的性能改善，当与经典DA，在肿瘤检测，也在其他医学成像任务。
2019-03-29 cs.AI cs.CV
Video Generative Adversarial Networks: A Review
University of New South Wales（新南威尔士大学）；Princess Nourah bint Abdulrahman University（诺拉·本特·阿卜杜勒拉赫曼公主大学）
随着媒体、教育和娱乐等多个领域对内容创作领域的兴趣日益浓厚，使用AI算法生成图像、视频、音频和文本等内容的论文越来越多。生成对抗网络（GANs）是一种很有前途的模型，它可以合成与真实数据样本相似的数据样本。虽然GANs模型的变化，一般来说，已经在一定程度上涵盖了几个调查文件，据我们所知，这是第一个调查文件，审查国家的最先进的视频GANs模型。本文首先将GANs综述论文分为一般GANs综述论文、图像GANs综述论文和特殊领域GANs综述论文，如异常检测、医学成像或网络安全。然后，本文总结了GANs框架的主要改进，这些框架最初不是为视频域开发的，但已被多种视频GANs变体采用。然后，根据条件的存在或不存在，在两个主要部分下提供视频GANs模型的全面回顾。然后，条件模型根据条件的类型进一步分组为音频、文本、视频和图像。本文最后强调了当前视频GANs模型的主要挑战和局限性。补充材料中提供了数据集、应用的损失函数和评估指标的全面列表。
2020-11-04 cs.CV cs.LG eess.IV
Benchmarking GANs, Diffusion Models, and Flow Matching for T1w-to-T2w MRI Translation
Università degli Studi di Catania（卡塔尼亚大学）；Università degli Studi di Messina（梅斯纳大学）；University College London（伦敦大学学院）
本文系统基准评测了GAN、扩散模型和流匹配在T1w到T2w MRI图像转换中的表现，发现基于GAN的Pix2Pix在结构保真度、图像质量和计算效率上均优于其他方法，并指出流模型在小数据集上易过拟合，为医学图像跨模态合成提供了实用指导。
2025-07-19 cs.AI cs.CV
Deep Generative Models for 3D Medical Image Synthesis
University of Basel（巴塞尔大学）；Technical University Darmstadt（达姆施塔特工业大学）
本章系统综述了VAEs、GANs和DDMs三类深度生成模型在三维医学图像合成中的原理、优缺点、临床应用及评估指标，并指出当前挑战。
2024-10-23 cs.CV eess.IV
Synthetic Augmentation for Anatomical Landmark Localization using DDPMs
Medical University of Graz（格拉茨医科大学）；Graz University of Technology（格拉茨工业大学）
本文提出利用2通道输入的DDPM同时生成医学图像与标志热图以增强解剖标志定位训练数据，并通过MRF和SSM评估生成质量，在手部X光片ALL任务中验证其有效性。
2024-10-17 cs.CV
Synthesizing lesions using contextual GANs improves breast cancer classification on mammograms
DeepHealth, Inc.（DeepHealth公司）
数据稀缺和类别不平衡是许多机器学习应用于医疗保健的两个基本挑战。乳腺X线摄影中的乳腺癌分类克服了这些挑战，筛查人群中的恶性率约为0.5%，恶性病例中病变尺寸相对较小（约占图像的1%）。与此同时，筛查性乳房X光检查的普及创造了大量潜在的非癌症检查用于培训。总之，这些特征导致癌症病例的过度拟合，而非癌症数据的利用不足。在这里，我们提出了一种新的生成对抗网络（GAN）模型，用于数据增强，可以真实地合成和删除乳房X线照片上的病变。通过自我注意和半监督学习组件，基于U网的架构可以生成乳腺X射线摄影所需的高分辨率（256x256px）输出。当用GAN生成的样本增强原始训练集时，我们发现在真实乳房X光片的测试集上恶性肿瘤分类性能有了显着提高。总的来说，我们的算法的经验结果和其他医学成像范例的相关性指向潜在的富有成效的进一步应用。
2020-05-29 cs.CV eess.IV
Generative Adversarial Networks for Image-to-Image Translation on Multi-Contrast MR Images - A Comparison of CycleGAN and UNIT
a Division of Medical Informatics, Department of Biomedical Engineering, Link\" o ping University, Link\" o ping, Sweden b Division of Statistics；Machine Learning, Department of Computer；Information Science, Link\" o ping University, Link\" o ping, Sweden c Center for Medical Image Science；Visualization (CMIV), Link\" o ping University, Link\" o ping, Sweden
在医学成像中，一个普遍的问题是从健康和患病的受试者收集高质量的数据是昂贵和耗时的。生成对抗网络（GANs）是一种深度学习方法，用于合成数据。因此，GANs可以用于生成更真实的训练数据，以提高机器学习算法的分类性能。GANs的另一个应用是图像到图像的转换，例如从计算机断层摄影（CT）图像生成磁共振（MR）图像，其可以用于从单个模态获得多模态数据集。在这里，我们评估两个无监督的GAN模型（循环GAN和UNIT）的图像到图像的T1和T2加权MR图像的翻译，通过比较生成的合成MR图像地面实况图像。我们还评估了两个监督模型; CycleGAN的修改和纯发电机模型。还进行了一个小的感知研究，以评估合成图像的视觉逼真度。结果表明，实现的GAN模型可以合成视觉逼真的MR图像（不正确地标记为真实的人）。它还表明，模型产生更逼真的视觉合成图像不一定有更好的定量误差测量，地面实况数据相比。代码可在https://github.com/simontomaskarlsson/GAN-MRI上获得
2018-06-20 cs.CV
AI-Enhanced Pediatric Pneumonia Detection: A CNN-Based Approach Using Data Augmentation and Generative Adversarial Networks (GANs)
本文提出一种基于CNN的儿科肺炎分类系统，结合数据增强和GANs生成合成图像以缓解数据不足与类别不平衡，并通过Flask部署实现实时诊断，在资源有限场景下提升诊断准确率与效率。
2025-07-13 cs.AI cs.CV eess.IV
Cross-Modal Synthesis of Structural MRI and Functional Connectivity Networks via Conditional ViT-GANs
Tri-institutional Center for Translational Research in Neuroimaging and Data Science（神经成像与数据科学转化研究三机构中心）
本文提出条件ViT-GAN方法，首次从结构MRI合成精神分裂症相关的功能网络连接矩阵，与实际FNC相关性达0.73，并揭示皮层下脑区的结构-功能关联。
2023-09-15 cs.CV eess.IV
Bridging the gap between AI and Healthcare sides: towards developing clinically relevant AI-powered diagnosis systems
The University of Tokyo（东京大学）；LPIXEL Inc.（LPIXEL公司）；National Institute of Informatics（国立信息学研究所）；University of Cambridge（剑桥大学）；Keio University（庆应义塾大学）
尽管基于卷积神经网络的计算机辅助诊断研究取得了成功，但其临床应用仍然具有挑战性。因此，开发适合临床环境的医疗人工智能（AI）需要识别/弥合AI和医疗保健之间的差距。由于医学成像的最大问题在于数据缺乏，因此确认研究证明的图像增强技术的诊断临床相关性至关重要。因此，我们在日本医疗成像专家，医生和医疗保健/信息学的通才之间举办了一个具有临床价值的AI展望研讨会。然后，针对医生的问卷调查从数据增强和医生培训方面评估了我们基于病理感知的生成对抗网络（GAN）的图像增强项目。研讨会揭示了人工智能/医疗保健方面与解决方案之间的内在差距（即，临床意义/解释）和如何（即，数据采集、商业部署和安全/感觉安全）。该分析证实了我们的病理感知GANs作为临床决策支持系统和非专家医生培训工具的临床相关性。我们的研究结果将在连接跨学科研究和临床应用方面发挥关键作用，而不仅限于日本的医学背景和病理感知GANs。
2020-04-06 cs.CV cs.LG eess.IV
Cross-conditioned Diffusion Model for Medical Image to Image Translation
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Xi’an Jiaotong University（西安交通大学）；The Hong Kong Polytechnic University（香港理工大学）；The Hong Kong University of Science and Technology（香港科技大学）
针对多模态MRI数据获取困难导致数据集不完整的问题，提出交叉条件扩散模型CDM，通过模态特定表示建模、解耦扩散网络及带条件嵌入的C-UNet提升合成质量与效率，在两个基准数据集上验证了优越性。
2024-09-13 cs.CV eess.IV
Evaluating the feasibility of using Generative Models to generate Chest X-Ray Data
Lahore University of Management Sciences（拉合尔管理科学大学）
本文评估了使用PG-GANs和Stable Diffusion微调生成胸部X光图像以缓解医学数据不足的可行性，实验表明合成图像可提升分类模型准确率，但仍需解决过拟合和真实数据有限的问题。
2023-05-30 cs.CV cs.LG eess.IV
Multitask Brain Tumor Inpainting with Diffusion Models: A Methodological Report
Mayo Clinic Artificial Intelligence Laboratory, Mayo Clinic（梅奥诊所人工智能实验室，梅奥诊所）；Orthopedic Surgery Artificial Intelligence Laboratory, Mayo Clinic（梅奥诊所骨科手术人工智能实验室）
针对医学数据集稀缺影响深度学习性能的问题，提出基于DDPM的多任务脑肿瘤图像修复方法，在多种脑MRI序列上生成高质量且多样的合成数据，并提供了概念验证与开源接口。
2023-03-30 cs.CV cs.LG eess.IV
Enhancing GANs with Contrastive Learning-Based Multistage Progressive Finetuning SNN and RL-Based External Optimization
Bahria University（巴里亚大学）
针对GAN在高分辨率组织病理学图像合成中训练不稳定、模式崩溃等问题，提出融合对比学习多阶段渐进微调SNN与强化学习外部优化器的框架，多项指标优于SOTA模型。
2024-10-26 cs.AI cs.CV cs.LG
GAN Augmentation: Augmenting Training Data using Generative Adversarial Networks
Imperial College London（帝国理工学院）
在医学成像中使用机器学习面临的最大问题之一是缺乏大型标记数据集的可用性。医学图像的注释不仅昂贵且耗时，而且高度依赖于专家观察者的可用性。有限的训练数据量会抑制监督机器学习算法的性能，监督机器学习算法通常需要非常大量的数据来进行训练以避免过拟合。到目前为止，许多努力都是针对从现有数据中提取尽可能多的信息。生成对抗网络（GANs）通过生成具有真实图像外观的合成样本，提供了一种从数据集中解锁额外信息的新方法。本文证明了在两个脑分割任务中将GAN导出的合成数据引入训练数据集的可行性，导致在不同条件下Dice相似系数（DSC）提高1到5个百分点，最强的效果是少于10个训练图像堆栈。
2018-10-25 cs.CV
Structurally aware bidirectional unpaired image to image translation between CT and MR
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
磁共振（MR）成像和计算机断层扫描（CT）是手术计划和分析中经常使用的主要诊断成像模式。医学成像的一个普遍问题是，采集过程是相当昂贵和耗时的。像生成对抗网络（GANs）这样的深度学习技术可以帮助我们利用多种成像模式之间的图像到图像转换的可能性，这反过来又有助于节省时间和成本。这些技术将有助于根据MRI信息的反馈在CT下进行手术计划。虽然先前的研究已经显示了从MR到CT的配对和非配对图像合成，但是从CT到MR的图像合成仍然是一个挑战，因为它涉及额外的组织信息的添加。在本文中，我们实现了生成对抗网络的两种不同变体，利用骨盆数据集上CT和MR图像模态之间的循环一致性和结构相似性，从而促进这些图像模态之间的内容和风格的双向交换。所提出的GANs通过不同的机制转换输入的医学图像，因此生成的图像不仅看起来逼真，而且在各种比较指标上表现良好，并且这些图像也已经与放射科医生进行了交叉验证。放射科医师验证表明，生成的MR和CT图像中的微小变化可能与其真实对应物不完全相同，但可用于医疗目的。
2020-06-05 cs.CV eess.IV
Better Guider Predicts Future Better: Difference Guided Generative Adversarial Networks
Huazhong University of Science and Technology（华中科技大学）；National University of Singapore（新加坡国立大学）
预测未来是一项充满幻想但很实用的工作。它是智能代理的关键组成部分，如自动驾驶汽车，医疗监控设备和机器人。在这项工作中，我们考虑从以前的obeservations，这是出了名的困难，由于帧动态的不确定性，生成看不见的未来帧。虽然最近基于生成对抗网络（GANs）的工作取得了显着进展，但仍然存在准确和现实预测的障碍。在本文中，我们提出了一种新的GAN帧间差分的基础上，以规避困难。更具体地说，我们的模型是一个多阶段生成网络，被称为差异引导生成对抗网络（DGGAN）。DGGAN学习明确地强制执行由合成帧间差异引导的未来帧预测。给定帧序列，DGGAN首先使用双路径来生成Meta信息。一条路径称为粗帧生成器，预测未来帧的粗细节，另一条路径称为差异指南生成器，生成包含互补细节的差异图像。然后，我们的粗细节，然后将通过差分图像的指导下，GANs的支持下，细化。有了这个模型和新颖的架构，我们实现了国家的最先进的性能，为未来的视频预测UCF-101，KITTI。
2019-01-07 cs.CV
Improved $α$-GAN architecture for generating 3D connected volumes with an application to radiosurgery treatment planning
Toronto Metropolitan University（多伦多都会大学）
生成对抗网络（GANs）在几个计算机视觉任务中获得了极大的关注，用于生成高质量的合成数据。由于该领域的数据稀缺性，包括诊断成像和放射治疗在内的各种医疗应用可以从合成数据生成中受益匪浅。然而，医学图像数据通常保持在3D空间中，并且生成模型在生成这种合成数据时遭受维度问题的灾难。在本文中，我们研究了GANs用于生成连接的3D体积的潜力。我们提出了一个改进版本的3D $α$ -GAN，结合各种架构增强。在连接的3D球体和椭球体的合成数据集上，我们的模型可以生成与训练数据具有相似几何特征的完全连接的3D形状。我们还表明，我们的3D GAN模型可以成功地生成高质量的3D肿瘤体积和相关的治疗规范（例如，等中心点位置）。与训练数据相似的不变矩以及完全连接的3D形状证实了改进的3D $α$ -GAN隐式地学习训练数据分布，并生成逼真的样本。改进的3D $α$ -GAN的能力使其成为生成合成医学图像数据的有价值的来源，可以帮助该领域的未来研究。
2022-07-13 cs.CV cs.LG eess.IV
The (de)biasing effect of GAN-based augmentation methods on skin lesion images
Gdańsk University of Technology（格但斯克工业大学）；Sahlgrenska University Hospital（萨尔格伦斯卡大学医院）；AI Sweden（瑞典人工智能研究院）
新的医学数据集现在对公众更加开放，允许更好和更广泛的研究。尽管准备得非常小心，但新的数据集仍然可能是影响学习过程的虚假相关性的来源。此外，收集的数据通常不够大，而且往往不平衡。缓解数据不平衡的一种方法是使用生成对抗网络（GANs）的数据增强来扩展具有高质量图像的数据集。GANs通常在与目标数据相同的偏差数据集上进行训练，从而导致更多的偏差实例。这项工作探索了无条件和有条件的GANs，以比较它们的偏差遗传以及合成数据如何影响模型。我们提供了广泛的手动数据注释的可能偏置伪影的著名的ISIC数据集与皮肤病变。此外，我们还检查了在真实和合成数据上训练的分类模型，以及反事实偏见解释。我们的实验表明，GANs继承了偏见，有时甚至放大了偏见，导致更强的虚假相关性。手动数据注释和合成图像可公开用于可重复的科学研究。
2022-06-30 cs.CV eess.IV
Leveraging GANs for data scarcity of COVID-19: Beyond the hype
College of Science and Engineering, Hamad Bin Khalifa University（哈马德·本·哈利法大学科学与工程学院）；Umea University（于默奥大学）
本文分析了43篇关于使用GANs生成COVID-19合成医学图像数据的研究，指出其存在数据偏差、可重复性差及缺乏临床反馈等问题，并提出了改进建议以指导未来研究。
2023-04-07 cs.CV cs.LG eess.IV
SkrGAN: Sketching-rendering Unconditional Generative Adversarial Networks for Medical Image Synthesis
University of Chinese Academy of Sciences（中国科学院大学）；Inception Institute of Artificial Intelligence（启元人工智能研究院）；UBTech Research（优必选研究院）；ShanghaiTech University（上海科技大学）；Southern University of Science and Technology（南方科技大学）
生成对抗网络（GANs）具有合成图像的能力，已成功应用于医学图像合成任务。然而，大多数现有的方法仅仅考虑全局上下文信息，而忽略了精细的前景结构，例如，血管、骨骼，其可以包含用于医学图像分析的诊断指示符。受人类绘画过程中笔画和颜色渲染步骤的启发，提出了一种无条件生成对抗网络生成对抗网络（SkrGAN），引入草图先验约束来指导医学图像生成。在我们的SkrGAN中，草图引导模块用于从随机噪声中生成高质量的结构草图，然后使用颜色渲染映射来嵌入基于草图的表示并类似于背景外观。实验结果表明，SkrGAN在合成各种图像模式（包括视网膜彩色眼底、X射线、计算机断层扫描（CT）和磁共振成像（MRI））的图像方面达到了最先进的效果。此外，我们还表明，使用我们的合成图像作为数据增强的医学图像分割方法的性能得到了改善。
2019-08-06 cs.CV eess.IV
A Privacy-Preserving Walk in the Latent Space of Generative Models for Medical Applications
University of Catania（卡塔尼亚大学）；Northwestern University（西北大学）
本文提出一种基于辅助身份分类器引导的潜空间非线性漫游策略，在保护隐私的同时生成多样化合成样本，缓解k-匿名聚合导致的数据缩减和模型性能下降问题。
2023-07-06 cs.AI cs.CV cs.LG
