DeepCalliFont: Few-shot Chinese Calligraphy Font Synthesis by Integrating Dual-modality Generative Models
Peking University（北京大学）
针对书法字形不满足传统字形一致性假设的问题，提出融合双模态生成模型的DeepCalliFont，通过双分支结构、特征重组与预训练策略，实现更优的少样本中国书法字体合成效果。
2023-12-16 cs.CV
SynNet: Structure-Preserving Fully Convolutional Networks for Medical Image Synthesis
Technical University of Munich（慕尼黑工业大学）
交叉模态图像合成由于其能够从给定的源图像集合中估计不同模态的目标图像（如估计MR到MR、MR到CT、CT到PET等）而不需要实际采集的能力而获得显著的兴趣。尽管它们在放射治疗计划、图像超分辨率、图谱构建、图像分割等。合成结果不如实际采集准确。在本文中，我们通过提出一种称为SynNet的全卷积深度学习架构来解决多模态图像合成的问题。我们将所提出的架构扩展为各种输入输出配置。最后，我们提出了一种结构保持的自定义损失函数，并在BRATS数据集上对所提出的SynNet及其扩展框架进行了验证，并与三种最先进的方法进行了比较，同时对所提出的自定义损失函数的结果进行了验证，并与传统的跨模态图像合成方法所使用的损失函数进行了比较。
2018-06-29 cs.CV
MoVieDrive: Urban Scene Synthesis with Multi-Modal Multi-View Video Diffusion Transformer
Huawei Noah’s Ark Lab（华为诺亚实验室）；University of Toronto（多伦多大学）
本文提出MoVieDrive，通过多模态多视角视频扩散变换器生成城市驾驶场景视频，实现多模态数据生成与可控生成。
2026-03-13 cs.CV
X-Drive: Cross-modality consistent multi-sensor data synthesis for driving scenarios
UC Berkeley（加州大学伯克利分校）；UT Austin（德克萨斯大学奥斯汀分校）；Toyota（丰田公司）
针对驾驶场景多模态数据合成中跨模态一致性不足的问题，提出双分支潜扩散模型X-DRIVE，利用极线条件模块联合建模点云与图像分布，实现高保真可控生成。
2024-11-02 cs.CV
CoLa-Diff: Conditional Latent Diffusion Model for Multi-Modal MRI Synthesis
University of Dundee（邓迪大学）；University of Cambridge（剑桥大学）；University of Bath（巴斯大学）；East China Normal University（华东师范大学）
MRI合成有望缓解临床实践中缺失MRI模态的挑战。扩散模型通过模拟复杂多变的数据分布，已成为图像合成的一种有效技术。然而，大多数基于扩散的MRI合成模型使用单一模态。由于它们在原始图像域中操作，因此它们是存储密集型的并且对于多模态合成不太可行。此外，它们通常不能在MRI中保留解剖结构。此外，平衡来自多模态MRI输入的多个条件对于多模态合成至关重要。在这里，我们提出了第一个基于扩散的多模态MRI合成模型，即条件潜在扩散模型（CoLa-Diff）。为了减少内存消耗，我们设计了CoLa-Diff在潜在空间中操作。我们提出了一种新的网络架构，例如，类似于协同滤波，解决了潜在空间中可能存在的压缩和噪声问题。为了更好地保持解剖结构，大脑区域掩模被引入作为密度分布的先验，以指导扩散过程。我们进一步提出了自动权重自适应，以有效地利用多模态信息。我们的实验表明，CoLa-Diff优于其他国家的最先进的MRI合成方法，有望作为一个有效的工具，多模态MRI合成。
2023-03-24 cs.CV eess.IV
M6-UFC: Unifying Multi-Modal Controls for Conditional Image Synthesis via Non-Autoregressive Generative Transformers
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Tsinghua University（清华大学）
条件图像合成的目的是根据一些多模态的指导，以文本描述，参考图像和图像块保存的形式，以及它们的组合来创建图像。在本文中，而不是单独调查这些控制信号，我们提出了一个新的两级架构，M6-UFC，统一任何数量的多模态控制。在M6-UFC中，不同的控制信号和合成图像都被统一表示为要由Transformer处理的离散令牌序列。与已有的DALL-E和VQGAN等两阶段自回归方法不同，M6-UFC在第二阶段采用非自回归生成（NAR），以增强合成图像的整体一致性，支持特定图像块的保持，提高合成速度。此外，我们设计了一个渐进的算法，迭代地提高了非自回归生成的图像，与两个估计开发的控制和评估的合成图像的保真度，分别评估的帮助。在新收集的大规模服装数据集M2 C-Fashion和面部数据集Multi-Modal CelebA-HQ上进行的大量实验验证了M6-UFC可以合成符合灵活多模态控制的高保真图像。
2022-02-19 cs.CV
Unified Brain MR-Ultrasound Synthesis using Multi-Modal Hierarchical Representations
Harvard Medical School（哈佛医学院）；Brigham and Women’s Hospital（布莱根妇女医院）；King’s College London（伦敦国王学院）；Massachusetts Institute of Technology（麻省理工学院）
本研究提出一种名为MHVAE的深度分层变分自编码器，通过分层潜在结构与概率融合策略结合对抗学习实现多模态缺失图像合成，在脑部术中超声与磁共振联合合成任务上性能超越现有主流方法。
2023-09-19 cs.CV
WFM: 3D Wavelet Flow Matching for Ultrafast Multi-Modal MRI Synthesis
Department of Computer Science, Stanford University（斯坦福大学计算机科学系）；Machine and Hybrid Intelligence Lab, Feinberg School of Medicine, Northwestern University（北western大学费因伯格医学院机器与混合智能实验室）
本文提出WFM方法，通过学习基于小波空间条件均值的直接流，实现高效多模态MRI合成，单模型在BraTS 2024上达到26.8 dB PSNR和0.94 SSIM，速度比扩散模型快250-1000倍。
2026-04-22 cs.CV
Med-K2N: Flexible K-to-N Modality Translation for Medical Image Synthesis
University of Science and Technology of China（中国科学技术大学）；Suzhou Institute of Biomedical Engineering and Technology（苏州生物医学工程与技术研究所）；Chinese Academy of Sciences（中国科学院）；The Third Affiliated Hospital of Sun Yat-sen University（中山大学第三附属医院）
针对医学图像K到N模态生成的三大挑战，受SAM2与临床工作流启发提出Med-K2N框架，通过三个协同模块实现自适应模态融合，并借CMIM保障模态身份一致性，性能在多基准上显著优于SOTA方法。
2025-10-03 cs.CV
MRIS: A Multi-modal Retrieval Approach for Image Synthesis on Diverse Modalities
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
多种成像模式通常用于疾病诊断、预测或基于人群的分析。然而，由于成本、不同的研究设计或成像技术的变化，并非所有模式都可用。如果成像类型之间的差异很小，则可以使用数据协调方法;对于较大的变化，已经探索了直接图像合成方法。在本文中，我们开发了一种基于多模态度量学习的方法来合成不同模态的图像。我们通过多模态图像检索使用度量学习，从而产生可以将不同模态的图像关联起来的嵌入。给定一个大型图像数据库，学习的图像嵌入允许我们使用k-最近邻（k-NN）回归进行图像合成。我们的驾驶医疗问题是膝关节骨关节炎（KOA），但我们开发的方法是一般适当的图像对齐后。我们测试我们的方法，通过合成软骨厚度地图获得的3D磁共振（MR）图像，使用2D射线照片。我们的实验表明，所提出的方法优于直接图像合成，合成的厚度图保留相关的下游任务，如进展预测和Kelling-Lawrence分级（KLG）的信息。我们的研究结果表明，检索方法可以用来获得高质量和有意义的图像合成结果，给定的大型图像数据库。
2023-03-17 cs.CV eess.IV
DiffCloth: Diffusion Based Garment Synthesis and Manipulation via Structural Cross-modal Semantic Alignment
Sun Yat-Sen University（中山大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；UiT The Arctic University of Norway（挪威北极大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
针对现有跨模态服装合成方法忽略设计领域图文结构对应的问题，提出DiffCloth扩散流水线，通过部件级二分匹配与语义捆绑交叉注意力实现结构化跨模态对齐，在CM-Fashion基准上取得最优合成效果，还支持区域一致的灵活文本操控。
2023-08-22 cs.CV
Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis
Inception Institute of Artificial Intelligence（人工智能 inception 研究所）
磁共振成像（MRI）是一种广泛使用的神经成像技术，其可以提供不同对比度的图像（即，方式）。事实证明，融合这种多模态数据对于提高许多任务中的模型性能特别有效。然而，由于数据质量差和频繁的患者脱落，收集每个患者的所有模式仍然是一个挑战。医学图像合成已被提出作为一种有效的解决方案，其中任何丢失的模态从现有的模态合成。在本文中，我们提出了一种用于多模态MR图像合成的新型混合融合网络（Hi-Net），该网络从多模态源图像（即，现有的模态）到目标图像（即，缺少模式）。在我们的Hi-Net中，使用特定于模态的网络来学习每个模态的表示，并使用融合网络来学习多模态数据的共同潜在表示。然后，多模态合成网络被设计成密集地将潜在表示与来自每个模态的层次特征相结合，作为生成器来合成目标图像。此外，提出了一种分层多模态融合策略，以有效地利用多模态之间的相关性，其中提出了混合融合块（MFB）来自适应地加权不同的融合策略（即，逐元素求和、乘积和最大化）。大量的实验表明，该模型优于其他国家的最先进的医学图像合成方法。
2020-02-11 cs.CV eess.IV
Wavelet-Fusion Diffusion Model for Multimodal Brain MRI Synthesis with Modality and Metadata Conditioning
Department of Psychology & Neuroscience, Auckland University of Technology（心理学与神经科学系，奥克兰技术大学）；Department of Psychiatry, University of Melbourne（精神病学系，墨尔本大学）
提出一种小波融合扩散模型（WFDM），结合小波融合变分自编码器（WF-VAE）和条件3D U-Net扩散模型，通过显式模态和元数据条件实现多模态脑MRI合成，解决了数据集模态覆盖不均和异质性问题，在分布对齐上优于现有方法。
2026-05-30 cs.CV
Contrast-X: A Multi-Modal Contrast Image Synthesis Benchmark and Universal Modality Flow Matching
University of Cambridge（剑桥大学）；MD Anderson Cancer Center（MD安德森癌症中心）；University of Dundee（邓迪大学）
Contrast-X通过多器官CT和乳腺DCE-MRI数据，提出FlowMI模型解决多模态缺失问题，评估合成图像质量及跨器官泛化能力。
2026-05-07 cs.CV
ARMANI: Part-level Garment-Text Alignment for Unified Cross-Modal Fashion Design
Shenzhen Campus of Sun Yat-Sen University（中山大学深圳校区）；UiT The Arctic University of Norway（挪威北极大学）；ByteDance（字节跳动）；Meituan Inc.（美团公司）；Shidi Inc.（石迪公司）
跨模态时装图像合成已成为最有前途的方向之一，在生成域由于巨大的未开发的潜力，将多种模态和广泛的时装图像的应用。为了便于准确生成，跨模态合成方法通常依赖于对比图像预训练（CLIP）来对齐文本和服装信息。在这项工作中，我们认为，简单地对齐纹理和服装信息是不足以捕捉的视觉信息的语义，因此提出MaskCLIP。MaskCLIP将服装分解为语义部分，确保视觉和文本信息之间的细粒度和语义准确对齐。在MaskCLIP的基础上，我们提出了ARMANI，一个统一的跨模态时装设计师，具有部分级别的服装文本对齐。ARMANI在其第一阶段中基于学习的交叉模态码本将图像离散化为统一的标记，并在其第二阶段中使用Transformer对给定控制信号标记的真实图像的图像标记的分布进行建模。与依赖于两阶段范式的先前方法相反，ARMANI将文本标记引入到码本中，使得模型能够利用细粒度语义信息来生成更逼真的图像。此外，通过引入跨模态Transformer，ARMANI是通用的，可以完成各种控制信号的图像合成，如纯文本，草图图像和部分图像。在我们新收集的跨模态时尚数据集上进行的大量实验表明，ARMANI在各种合成任务中生成照片般逼真的图像，并优于现有的最先进的跨模态图像合成方法。我们的代码可在https://github.com/Harvey594/ARMANI上获得。
2022-08-11 cs.CV
Multi-Modality Generative Adversarial Networks with Tumor Consistency Loss for Brain MR Image Synthesis
Tsinghua University（清华大学）；Tencent Youtu Lab（腾讯优图实验室）
不同模态的磁共振（MR）图像可以为临床诊断提供补充信息，但是获取整个模态通常是昂贵的。大多数现有的方法只专注于合成两个模态之间的丢失图像，这限制了它们的鲁棒性和效率时，多模态丢失。为了解决这个问题，我们提出了一种多模态生成对抗网络（MGAN），可以同时从一种MR模态T2合成三种高质量的MR模态（FLAIR，T1和T1 ce）。实验结果表明，我们提出的方法合成的图像质量优于基线模型，pix 2 pix合成的图像。此外，对于MR脑图像合成，重要的是要保持关键的肿瘤信息在生成的模态，所以我们进一步引入了多模态肿瘤一致性损失的MGAN，称为TC-MGAN。我们使用TC-MGAN合成的模态来提高肿瘤分割的准确性，结果证明了它的有效性。
2020-05-02 cs.CV eess.IV
Self-Supervised Flow Matching for Scalable Multi-Modal Synthesis
Black Forest Labs（黑森林实验室）；MIT（麻省理工学院）
Self-Flow通过自监督流匹配方法，在无需外部监督的情况下提升多模态生成的性能和扩展性。
2026-03-06 cs.CV
StEP: Style-based Encoder Pre-training for Multi-modal Image Synthesis
University of Maryland College Park（马里兰大学学院公园分校）
我们提出了一种新的方法，多模态图像到图像（I2I）的翻译。为了解决输入域和输出域之间的一对多关系，以前的工作使用复杂的训练目标来学习潜在嵌入，与生成器一起，对输出域的可变性进行建模。相比之下，我们直接对图像的风格变化进行建模，独立于图像合成任务。具体来说，我们使用一种新的代理任务来预训练一个通用风格编码器，以学习将图像从任意域嵌入到低维风格潜在空间中。学习的潜在空间介绍了几个优点，比以前的传统方法多模态I2I翻译。首先，它不依赖于目标数据集，并且可以很好地推广到多个领域。第二，它学习了一个更强大和更有表现力的潜在空间，这提高了风格捕捉和转移的保真度。所提出的风格预训练也简化了训练目标，并显着加快了训练速度。此外，我们提供了一个详细的研究不同的损失条款的多模态I2I翻译的任务的贡献，并提出了一个简单的替代VAE，使采样不受约束的潜在空间。最后，我们在六个具有挑战性的基准测试中获得了最先进的结果，其中一个简单的训练目标仅包括GAN损失和重建损失。
2021-04-14 cs.CV
Discrete Contrastive Diffusion for Cross-Modal Music and Image Generation
Illinois Institute of Technology（伊利诺伊理工学院）；Wuhan University（武汉大学）；Snap Inc.（Snap公司）
扩散概率模型（DPMs）已经成为一种流行的方法，条件生成，由于其有前途的结果和跨模态综合的支持。条件合成中的一个关键要求是实现条件输入和生成输出之间的高度对应。大多数现有的方法隐式地学习这样的关系，通过将之前的变分下限。在这项工作中，我们采取了不同的路线-我们显式地通过最大化它们的互信息来增强输入输出连接。为此，我们引入了条件离散对比扩散（CDCD）损失，并设计了两个对比扩散机制，有效地将其纳入去噪过程中，结合扩散训练和对比学习首次通过将其与传统的变分目标。我们证明了我们的方法在评估不同的多模态条件合成任务的有效性：舞蹈到音乐生成，文本到图像合成，以及类条件图像合成。在每一个，我们提高了输入输出对应，并实现更高或有竞争力的综合质量。此外，该方法提高了扩散模型的收敛性，减少了超过35%的两个基准测试所需的扩散步骤的数量，显着提高推理速度。
2023-02-16 cs.CV
Bi-Modality Medical Image Synthesis Using Semi-Supervised Sequential Generative Adversarial Networks
提出一种基于半监督序列生成对抗网络的双模态医学图像合成方法，通过复杂度排序和联合/边缘分布学习，实现优于现有方法的合成效果。
2023-08-29 cs.CV eess.IV
Aligned Novel View Image and Geometry Synthesis via Cross-modal Attention Instillation
NAVER AI Lab（NAVER AI实验室）；KAIST AI（韩国科学技术院人工智能学院）；SNU AIIS（首尔国立大学人工智能研究所）
本文提出了一种基于扩散的框架，通过跨模态注意力蒸馏实现新视角图像和几何的对齐生成，提升几何鲁棒性和重建质量。
2026-02-06 cs.CV
Cross-modality image synthesis from unpaired data using CycleGAN: Effects of gradient consistency loss and training data size
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Osaka University（大阪大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
CT通常用于骨科手术。MRI与CT一起使用，以识别肌肉结构和诊断骨坏死，因为其优越的软组织对比度。然而，MRI对骨结构的对比度较差。显然，如果有相应的CT，这将是有帮助的，因为骨骼边界可以更清楚地看到，CT已经标准化（即，Hounsfield）单位。因此，我们的目标是MR到CT的合成。CycleGAN已成功应用于头部的未配对CT和MR图像，由于关节和肌肉的存在，这些图像的强度对变化不像骨盆区域的图像那样多。在本文中，我们通过添加梯度一致性损失来扩展CycleGAN方法，以提高边界的准确性。我们做了两个实验。为了评估图像合成，我们研究了图像合成精度对1）训练数据的数量和2）梯度一致性损失的依赖性。为了证明我们的方法的适用性，我们还研究了合成图像的分割精度。
2018-07-31 cs.CV
Unified Multi-Modal Image Synthesis for Missing Modality Imputation
School of Biomedical Engineering, Division of Life Sciences and Medicine, University of Science and Technology of China (USTC)（中国科学技术大学生命科学与医学部生物医学工程学院）；Suzhou Institute for Advance Research, USTC（中国科学技术大学苏州高等研究院）
针对临床多模态医学图像易缺失的问题，提出带共性差异敏感编码器和动态特征统一模块的统一生成对抗合成方法，可基于任意可用模态组合补全缺失模态，在两个公开磁共振数据集上性能优于现有方法。
2024-07-09 cs.CV eess.IV
PARASOL: Parametric Style Control for Diffusion Image Synthesis
University of Surrey（萨里大学）；Adobe Research（奥多比研究中心）
PARASOL 提出一种多模态潜扩散模型，通过联合内容与细粒度风格嵌入及解耦引导，实现图像视觉风格的参数化精细控制，并支持生成式搜索中的意图匹配。
2024-05-02 cs.CV
OmniBooth: Learning Latent Control for Image Synthesis with Multi-modal Instruction
HKUST(GZ)（香港科技大学（广州））；HKUST（香港科技大学）
本研究提出OmniBooth图像生成框架，通过潜在控制信号整合空间、文本与图像条件，实现实例级多模态定制的空间可控图像生成，在多任务数据集上提升了合成保真度与对齐度。
2024-10-07 cs.CV
Deformation equivariant cross-modality image synthesis with paired non-aligned training data
Aalto University（阿尔托大学）；University of Turku（图尔库大学）；University of Eastern Finland（东芬兰大学）；Tampere University（坦佩雷大学）
本文提出形变等变损失，通过联合训练合成网络与独立配准网络，解决成对非对齐数据下的跨模态医学图像合成问题。
2023-09-29 cs.CV cs.LG eess.IV
Deep Learning based Multi-modal Computing with Feature Disentanglement for MRI Image Synthesis
Sichuan University（四川大学）；Chengdu University of Information Technology（成都信息工程大学）
目的：需要相同解剖结构的不同磁共振成像（MRI）模态从物理水平呈现不同的病理信息以用于诊断需要。然而，由于时间消耗和高成本等限制，通常难以获得患者的全序列MRI图像。本研究的目的是开发一种高精度的MRI靶序列预测算法，为临床诊断提供更多的信息。方法：我们提出了一种基于深度学习的多模态计算模型，用于MRI合成和特征解纠缠策略。为了充分利用由不同模态提供的互补信息，多模态MRI序列被用作输入。值得注意的是，所提出的方法将每个输入模态分解为具有共享信息的模态不变空间和具有特定信息的模态特定空间，从而分别提取特征以有效地处理输入数据。随后，通过解码器中的自适应实例归一化（AdaIN）层将两者融合。此外，针对测试阶段缺乏目标模态的具体信息的问题，采用局部自适应融合（LAF）模块生成具有与地面真实值相似的具体信息的模态类伪目标。结果：为了评估合成性能，我们在BRATS 2015数据集上验证了我们的方法。实验结果表明，我们的方法显着优于基准方法和其他国家的最先进的医学图像合成方法在定量和定性的措施。与pix2pixGANs方法相比，PSNR从23.68提高到24.8。结论：该方法能有效预测MRI靶序列，为临床诊断和治疗提供参考。
2021-05-06 cs.CV eess.IV
Learning Modality-Aware Representations: Adaptive Group-wise Interaction Network for Multimodal MRI Synthesis
Shanghai AI Lab（上海人工智能实验室）；Faculty of Information Technology, Monash University（莫纳什大学信息技术学院）；SenseTime Research（商汤科技研究院）
针对多模态MRI合成跨模态对齐难的问题，提出AGI-Net，通过自适应滚动卷积与跨组注意力机制显式建模模态间和模态内关系，在IXI与BraTS2023数据集上达到SOTA性能。
2025-04-28 cs.AI cs.CV eess.IV
Cycle-guided Denoising Diffusion Probability Model for 3D Cross-modality MRI Synthesis
Emory University（埃默里大学）；Winship Cancer Institute（温希普癌症研究所）；Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心）；Icahn School of Medicine at Mount Sinai（西奈山伊坎医学院）
本研究提出用于3D跨模态MRI合成的CG-DDPM，通过两个互为条件的DDPM交换反向过程潜在噪声提升转换精度，在BraTS2020数据集上多项指标优于前沿网络，可辅助临床诊断与治疗规划。
2023-04-28 cs.CV eess.IV
Make-A-Volume: Leveraging Latent Diffusion Models for Cross-Modality 3D Brain MRI Synthesis
The University of Hong Kong（香港大学）；The Chinese University of Hong Kong（香港中文大学）；Qilu Hospital of Shandong University（山东大学齐鲁医院）；Nanyang Technological University（南洋理工大学）
针对现有医学图像合成方法存在的模式崩溃、训练不稳定及体数据不一致等问题，提出基于2D骨干的扩散框架Make-A-Volume，通过潜在扩散模型和体层微调实现跨模态3D脑部MRI合成，在两个数据集上取得了具备体一致性的优质合成效果。
2023-07-19 cs.CV eess.IV
AnomalyControl: Learning Cross-modal Semantic Features for Controllable Anomaly Synthesis
提出AnomalyControl框架，通过跨模态语义建模和异常语义增强注意力，利用文本-图像参考提示学习跨模态语义特征，实现可控且真实的异常合成，并在下游任务中达到最优性能。
2025-08-07 cs.AI cs.CV
Cross-Modal Retrieval and Synthesis (X-MRS): Closing the Modality Gap in Shared Representation Learning
Samsung AI Center（三星人工智能中心）
计算食品分析（CFA）自然需要特定食品的多模态证据，例如，使CFA成为可能的关键是多模态共享表示学习，其目的是创建数据的多个视图（文本和图像）的联合表示。在这项工作中，我们提出了一种方法，食品领域的跨模态共享表示学习，保留了巨大的语义丰富性，目前在食品数据。我们提出的方法采用了一个有效的基于变换的多语言配方编码器，加上传统的图像嵌入架构。在这里，我们建议使用不完美的多语言翻译来有效地规范模型，同时添加跨多种语言和字母表的功能。在公共Recipe1M数据集上的实验分析表明，通过所提出的方法学习的表示在检索任务上显着优于当前最先进的（SOTA）。此外，通过食谱嵌入条件下的生成食物图像合成模型证明了所学习的表示的表示能力。合成图像可以有效地再现成对样本的视觉外观，这表明学习的表示捕获了文本配方及其视觉内容的联合语义，从而缩小了模态差距。
2021-09-30 cs.CV cs.IR cs.LG
Generative Adversarial Networks for Brain Images Synthesis: A Review
University of Washington（华盛顿大学）；Institute of Systems Biology（系统生物学研究所）；Islamic Azad University（伊斯兰阿扎德大学）
本文综述了生成对抗网络（GAN）在脑图像跨模态合成中的最新进展，涵盖CT、PET和MRI之间的相互转换，以解决多模态影像获取成本高、耗时的问题。
2023-05-16 cs.CV cs.LG eess.IV
Multi-modal Contrastive Learning for Tumor-specific Missing Modality Synthesis
Korea University（高丽大学）
针对临床多模态MRI获取困难的问题，PLAVE团队提出集成多模态对比学习（基于熵选特征）与同步分割预测的生成模型，聚焦肿瘤区域，通过多损失结合提升图像质量与下游分割性能，在脑MR合成挑战赛中表现优异。
2025-04-12 cs.AI cs.CV eess.IV
MouseGAN++: Unsupervised Disentanglement and Contrastive Representation for Multiple MRI Modalities Synthesis and Structural Segmentation of Mouse Brain
Fudan University（复旦大学）
在磁共振（MR）图像上分割小鼠大脑的精细结构对于描绘形态区域、分析大脑功能以及理解它们之间的关系至关重要。与单一MRI模态相比，多模态MRI数据提供了可由深度学习模型利用的互补组织特征，从而获得更好的分割结果。然而，多模态小鼠大脑MRI数据往往是缺乏的，使得小鼠大脑精细结构的自动分割是一个非常具有挑战性的任务。为了解决这个问题，有必要融合多模态MRI数据，以在不同的大脑结构中产生不同的对比。因此，我们提出了一种新的基于GAN的分解和对比框架，名为MouseGAN++，以结构保留的方式从单个MR模态合成多个MR模态，从而通过输入缺失模态和多模态融合来提高分割性能。我们的结果表明，我们的方法的翻译性能优于国家的最先进的方法。使用随后学习的模态不变信息以及模态转换图像，MouseGAN++可以分割精细的大脑结构，平均骰子系数分别为90.0%（T2w）和87.9%（T1w），与最先进的算法相比，性能提高了约10%。我们的研究结果表明，MouseGAN++作为一种同时进行图像合成和分割的方法，可以用于以不成对的方式融合跨模态信息，并在没有多模态数据的情况下产生更强大的性能。我们将我们的方法作为一个小鼠大脑结构分割工具发布，供免费学术使用。https://github.com/yu02019
2022-12-04 cs.CV eess.IV
Cross-Modal Synthesis of Structural MRI and Functional Connectivity Networks via Conditional ViT-GANs
Tri-institutional Center for Translational Research in Neuroimaging and Data Science（神经成像与数据科学转化研究三机构中心）
本文提出条件ViT-GAN方法，首次从结构MRI合成精神分裂症相关的功能网络连接矩阵，与实际FNC相关性达0.73，并揭示皮层下脑区的结构-功能关联。
2023-09-15 cs.CV eess.IV
HDL: Hybrid Deep Learning for the Synthesis of Myocardial Velocity Maps in Digital Twins for Cardiac Analysis
National Heart and Lung Institute, Imperial College London（帝国理工学院国家心肺研究所）；Royal Brompton Hospital（皇家布朗普顿医院）；University of the Basque Country UPV/EHU（巴斯克大学）；TECNALIA, Basque Research and Technology Alliance（巴斯克研究与技术联盟TECNALIA）；Beihang University（北京航空航天大学）；Shenzhen Second People’s Hospital（深圳市第二人民医院）
基于医疗数据的合成数字双胞胎加速了数字医疗的采集、标记和决策过程。数字医疗双胞胎的核心部分是基于模型的数据合成，它允许生成逼真的医疗信号，而不需要应对现实中产生这些信号的解剖和生化现象的建模复杂性。不幸的是，心脏数据合成的算法迄今为止在文献中几乎没有研究。心脏检查中的一种重要成像模式是三向CINE多层心肌速度标测（3Dir MVM），它提供了左心室三个正交方向上心脏运动的定量评估。由于采集时间长、采集结果复杂，使得数字孪生体的制作更为迫切。在这项研究中，我们提出了一种混合深度学习（HDL）网络，特别是针对合成3Dir MVM数据。我们的算法是由一个混合UNet和一个生成的对抗网络与前景-背景生成方案的特点。实验结果表明，从时间下采样的幅度CINE图像（六次），我们提出的算法仍然可以成功地合成高时间分辨率的3Dir MVM CMR数据（PSNR=42.32）与精确的左心室分割（DICE=0.92）。这些性能分数表明，我们提出的HDL算法可以实现在真实世界的数字孪生心肌速度映射数据模拟。据我们所知，这项工作是研究3Dir MVM CMR的数字孪生的文献中的第一项工作，它显示出通过合成心脏数据提高临床研究效率的巨大潜力。
2022-03-09 cs.AI cs.CV eess.IV
Variable Augmented Network for Invertible Modality Synthesis-Fusion
Nanchang University（南昌大学）
医学图像合成与融合作为一种有效的方法，可以有效地整合不同模态下的多幅医学图像所包含的信息，在疾病诊断和治疗计划等临床应用中得到了广泛的应用。本文提出了一种可逆可变增广网络（iVAN）用于医学图像的合成与融合。在iVAN中，通过变量增广技术使网络输入和输出的通道数相同，增强了数据的相关性，有利于特征化信息的生成。同时，可逆网络被用来实现双向推理过程。由于具有可逆和可变的增广方案，iVAN不仅可以应用于多输入到单输出和多输入到多输出的映射，还可以应用于单输入到多输出的映射。实验结果表明，该方法可以获得竞争力或更优越的性能相比，代表性的医学图像合成和融合方法。
2021-09-02 cs.CV cs.LG eess.IV
Semantic RGB-D Image Synthesis
University of Bonn（波恩大学）；HKUST (Guangzhou)（香港科技大学（广州））
针对RGB-D语义分割训练数据缺乏多样性的问题，本文提出语义RGB-D图像合成方法，通过分离模态无关与模态相关信息的生成器和保证语义一致性的判别器，显著提升了分割精度。
2023-09-19 cs.AI cs.CV
CrossModalityDiffusion: Multi-Modal Novel View Synthesis with Unified Intermediate Representation
University of Arizona（亚利桑那大学）
针对多模态地理空间成像场景几何解读难的问题，提出模块化框架CrossModalityDiffusion，通过统一特征体中间表示结合体渲染与扩散模型实现跨模态新视角合成，在ShapeNet cars数据集上验证了有效性。
2025-01-16 cs.AI cs.CV eess.IV
A Vessel-Segmentation-Based CycleGAN for Unpaired Multi-modal Retinal Image Synthesis
FAU Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）
本文扩展 CycleGAN，在 UNet vision transformer 生成器前加入血管分割网络，并改造 identity loss、引入分割损失，实现可保留血管结构的非配对多模态视网膜图像合成。
2023-06-05 cs.CV eess.IV
cWDM: Conditional Wavelet Diffusion Models for Cross-Modality 3D Medical Image Synthesis
University of Basel（巴塞尔大学）
针对脑肿瘤分割中多模态MR图像缺失问题，提出条件小波扩散模型cWDM，以三幅可用模态图像为条件合成缺失模态图像，支持下游分割，可直接处理全分辨率体数据，避免伪影，还可扩展至其他跨模态转换任务。
2024-11-26 cs.CV eess.IV
Non-isomorphic Inter-modality Graph Alignment and Synthesis for Holistic Brain Mapping
Université de Sousse（苏塞大学）；Ecole Nationale d’Ingénieurs de Sousse（苏塞国立工程师学院）；Istanbul Technical University（伊斯坦布尔理工大学）
脑图合成标志着从源脑图预测目标脑图的新时代，而不会产生神经成像数据的高采集成本和处理时间。然而，现有的多模态图合成框架具有若干限制。首先，它们主要关注从同一域（模态内）生成图形，忽略了大脑连接的丰富多模态表示（模态间）。其次，它们只能处理同构图生成任务，限制了它们的泛化能力，以合成具有不同节点大小和拓扑结构的目标图。更重要的是，目标域和源域可能具有不同的分布，这导致它们之间的域断裂（即，分布未对准）。为了应对这些挑战，我们提出了一个非同构图的模态间对齐器（IMANGraphNet）框架，以基于给定的模态来推断目标图模态。我们的三个核心贡献在于（i）预测目标图（例如，函数）从源图（例如，形态学）;（ii）使用具有不同数量的节点、边和结构的源域和目标域的非同构图;以及（iii）使用图自动编码器来放松所设计的损失优化，从而强制预测的目标分布与地面实况图的分布相匹配。为了处理gGAN的不稳定行为，我们设计了一个新的地面真值保持（GT-P）损失函数来指导生成器学习地面真值脑图的拓扑结构。我们从形态图预测功能的综合实验证明了IMANGraphNet与其变体相比的优越性。这可以进一步用于健康和疾病中的综合和整体脑映射。
2021-06-30 cs.CV cs.LG q-bio.NC
Controllable Motion Synthesis and Reconstruction with Autoregressive Diffusion Models
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文提出MoDiff，一种基于自回归扩散模型的可控运动合成与重建方法，集成跨模态Transformer编码器与解码器，并引入基于扩散前向过程的数据dropout，在可控运动合成与高保真重建中优于基线。
2023-04-03 cs.CV cs.LG
M3GD: Multi-Modal Multi-View Geometric Diffusion for Camera--LiDAR Novel View Synthesis
New York University（纽约大学）；University of California, Berkeley（加州大学伯克利分校）；U.S. Army Combat Capabilities Development Command, Army Research Laboratory（美国陆军作战能力发展司令部陆军研究实验室）
M3GD利用相机-激光雷达多模态几何扩散，通过共享空间结构将激光雷达特征注入图像生成器，在GrandTour数据集上提升新视角RGB和深度合成质量，并支持地面机器人部署。
2026-09-25 cs.CV cs.RO
LISynSeg: Data-Centric Label-to-Image Synthesis for Cross-Modality Whole-Heart Segmentation
Vanderbilt University（范德堡大学）；Mayo Clinic（梅奥诊所）
该研究提出以数据为中心的LISynSeg方法，通过标签到图像合成结合真实图像训练，在不改变nnU-Net架构的情况下改善跨模态全心分割，对MRI的提升更显著。
2026-09-01 cs.CV eess.IV
Multi-scale Transformer Network with Edge-aware Pre-training for Cross-Modality MR Image Synthesis
ShanghaiTech University（上海科技大学）；Nanjing University of Science and Technology（南京理工大学）；Nanjing University（南京大学）；National Institute of Healthcare Data Science at Nanjing University（南京大学医疗健康数据科学国家研究院）；Southeast University（东南大学）；Shanghai United Imaging Intelligence Co., Ltd.（上海联影智能有限公司）；Shanghai Clinical Research and Trial Center（上海临床研究中心）
提出多尺度Transformer网络（MT-Net）结合边缘感知预训练，利用少量配对和大量非配对数据实现跨模态MR图像合成，性能与全数据方法相当。
2023-06-18 cs.CV eess.IV
MIDAS: Multimodal Interactive Digital-humAn Synthesis via Real-time Autoregressive Video Generation
Kling Team, Kuaishou Technology（快手科技 Kling 团队）；Zhejiang University（浙江大学）；Tsinghua University（清华大学）
提出MIDAS自回归视频生成框架，结合多模态条件输入、扩散头、2万小时对话数据集与64倍压缩自编码器，实现低延迟、高可控的实时交互式数字人合成。
2025-08-28 cs.AI cs.CV
Enhancing CT Image synthesis from multi-modal MRI data based on a multi-task neural network framework
Kennedy Krieger Institute（肯尼迪克里格研究所）；Columbia University（哥伦比亚大学）；Johns Hopkins University School of Medicine（约翰斯·霍普金斯大学医学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
本研究针对医学成像中的图像分割、实值预测与跨模态转换难题，提出基于增强Transformer U-Net的多任务框架，将CT合成拆解为多子任务，扩展通道适配多模态MRI，在公开脑影像数据集验证并对比了T1、T2-Flair模态的合成效果。
2023-12-18 cs.CV eess.IV q-bio.QM
FermatSyn: SAM2-Enhanced Bidirectional Mamba with Isotropic Spiral Scanning for Multi-Modal Medical Image Synthesis
USTC（中国科学技术大学）；SII（上海信息研究所）
FermatSyn通过改进的双向Mamba结合Fermat螺旋扫描策略，解决多模态医学图像合成中全局一致性与局部细节的平衡问题，提升合成图像质量与临床应用价值。
2026-10-27 cs.CV eess.IV
Self-Supervised Image-to-Text and Text-to-Image Synthesis
Indian Institute of Technology Patna（印度理工学院巴特那分校）
全面理解视觉和语言及其相互关系对于认识这些模式之间的潜在相似性和差异以及学习更普遍、更有意义的表征至关重要。近年来，大多数与文本到图像合成和图像到文本生成相关的工作都集中在有监督的生成深度架构上来解决这些问题，其中很少有兴趣学习跨模态嵌入空间之间的相似性。在本文中，我们提出了一种新的基于自监督深度学习的方法来学习跨模态嵌入空间;用于图像到文本和文本到图像生成。在我们的方法中，我们首先使用基于StackGAN的自动编码器模型获得图像的密集矢量表示，并使用基于LSTM的文本自动编码器获得图像级的密集矢量表示;然后我们使用GAN和基于最大均值差异的生成网络研究从一种模态的嵌入空间到另一种模态的嵌入空间的映射。我们还证明了我们的模型可以从图像数据中学习生成文本描述，以及从文本数据中定性和定量生成图像。
2021-12-09 cs.CL cs.CV cs.LG
FgC2F-UDiff: Frequency-guided and Coarse-to-fine Unified Diffusion Model for Multi-modality Missing MRI Synthesis
IEEE Publication Technology Group（IEEE出版技术组）
针对多模态 MRI 缺失问题，本文提出 FgC2F-UDiff 统一扩散模型，通过由粗到细去噪、频率引导和加速机制实现高质量多对多合成。
2025-01-07 cs.CV cs.LG eess.IV
MRI Cross-Modal Synthesis: A Comparative Study of Generative Models for T1-to-T2 Reconstruction
King Fahd University of Petroleum & Minerals（法赫德国王石油与矿业大学）
本文比较了Pix2Pix GAN、CycleGAN和VAE在T1到T2 MRI重建中的性能，发现CycleGAN在PSNR和SSIM上表现最佳，而VAE在潜在空间表示上有优势。
2026-02-05 cs.AI cs.CV eess.IV
Generative Adversarial Networks in Human Emotion Synthesis:A Review
Eastern Mediterranean University（东地中海大学）；University of São Paulo（圣保罗大学）
合成真实的数据样本对于学术界和工业界都具有重要价值。深度生成模型已经成为计算机视觉和信号处理等各个研究领域的新兴课题。情感计算是计算机视觉社会中一个广泛关注的话题，它也不例外，并受益于生成模型。事实上，在过去的二十年里，情感计算观察到生成模型的快速衍生。这些模型的应用包括但不限于情感识别和分类、单模态情感合成和跨模态情感合成。因此，我们通过研究现有的数据库，优点和缺点的生成模型以及相关的训练策略，考虑两个主要的人类交流方式，即音频和视频，在人类情感合成的最新进展进行了审查。在此背景下，人脸表情合成，语音情感合成，视听（跨模态）情感合成在不同的应用场景进行了广泛的审查。逐渐地，我们讨论开放的研究问题，以突破该研究领域的界限，以供未来的工作使用。
2020-11-07 cs.AI cs.CV cs.HC
