Conjuring Positive Pairs for Efficient Unification of Representation Learning and Image Synthesis
Universitat de Barcelona（巴塞罗那大学）；NVIDIA Computing（NVIDIA计算）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）
针对现有统一自监督学习方法依赖外部令牌器、计算开销大的问题，提出融合对比-重建目标的Sorcen框架，通过生成回声样本构建正样本对，在多项任务上性能更优且效率大幅提升。
2025-05-20 cs.AI cs.CV
Generative-based Fusion Mechanism for Multi-Modal Tracking
Jiangnan University（江南大学）；University of Surrey（萨里大学）
本文提出一种基于条件生成对抗网络和扩散模型的生成式融合机制，通过向多模态特征注入随机噪声构造更难样本以增强判别性，在多模态跟踪基准上取得最先进性能。
2023-11-30 cs.CV
Unsupervised Generative Adversarial Cross-modal Hashing
Institute of Computer Science and Technology, Peking University（北京大学计算机科学技术研究所）
跨模态哈希算法将异构的多媒体数据映射到一个共同的汉明空间中，实现跨模态的快速、灵活的检索。无监督跨模态哈希比监督方法更灵活和适用，因为不涉及密集的标记工作。然而，现有的无监督方法通过保留内部和内部相关性来学习散列函数，同时忽略了不同模态之间的底层流形结构，这对于捕获不同模态的有意义的最近邻居以用于跨模态检索非常有帮助。为了解决上述问题，在本文中，我们提出了一种无监督的生成对抗跨模态哈希方法（UGACH），它充分利用了GAN的无监督表示学习的能力，以利用跨模态数据的底层流形结构。主要贡献可以概括如下：（1）我们提出了一个生成对抗网络，以无监督的方式对跨模式哈希进行建模。在所提出的UGACH中，给定一种模态的数据，生成模型试图拟合流形结构上的分布，并选择另一种模态的信息数据来挑战判别模型。判别模型学习区分生成的数据和从相关图中采样的真阳性数据，以实现更好的检索精度。这两个模型以对抗的方式进行训练，以相互改进并促进哈希函数学习。(2)我们提出了一种基于相关图的方法来捕获跨不同模态的底层流形结构，使不同模态但在同一流形内的数据可以具有较小的汉明距离，并提高检索精度。与6种最先进的方法进行了大量的实验比较，验证了我们所提出的方法的有效性。
2017-12-01 cs.CV
Diffusion Models For Multi-Modal Generative Modeling
University at Buffalo（布法罗大学）；Amazon（亚马逊公司）
本文提出一种在公共扩散空间构建统一多模态扩散模型的原则性方法，通过共享主干网络与特定模态解码器实现多模态数据生成，并在ImageNet上验证了其有效性。
2024-09-24 cs.CV
The Geometry of Compromise: Unlocking Generative Capabilities via Controllable Modality Alignment
University of Electronic Science and Technology of China（电子科技大学）；University of Bristol（布里斯托大学）
本文通过几何分析揭示模态间隙的两个组成部分，提出TPC-CMA框架以减少两者，显著提升跨模态对齐性能，实验显示在不同目标α下模态间隙大幅降低，同时保持高准确性。
2026-03-31 cs.AI cs.CV
A Multi-Modal Generative Model for Tomato Disease Leaves Understanding
Korea University（高丽大学）；FPT University（FPT大学）
提出SOLAR多模态生成模型，通过融合专家模块对齐视觉与语言特征，将番茄病害分析转化为生成式视觉问答任务，在41,677张图像上优于现有模型，实现多任务诊断理解。
2026-09-18 cs.AI cs.CV
Multi-Modality Generative Adversarial Networks with Tumor Consistency Loss for Brain MR Image Synthesis
Tsinghua University（清华大学）；Tencent Youtu Lab（腾讯优图实验室）
不同模态的磁共振（MR）图像可以为临床诊断提供补充信息，但是获取整个模态通常是昂贵的。大多数现有的方法只专注于合成两个模态之间的丢失图像，这限制了它们的鲁棒性和效率时，多模态丢失。为了解决这个问题，我们提出了一种多模态生成对抗网络（MGAN），可以同时从一种MR模态T2合成三种高质量的MR模态（FLAIR，T1和T1 ce）。实验结果表明，我们提出的方法合成的图像质量优于基线模型，pix 2 pix合成的图像。此外，对于MR脑图像合成，重要的是要保持关键的肿瘤信息在生成的模态，所以我们进一步引入了多模态肿瘤一致性损失的MGAN，称为TC-MGAN。我们使用TC-MGAN合成的模态来提高肿瘤分割的准确性，结果证明了它的有效性。
2020-05-02 cs.CV eess.IV
CM-GANs: Cross-modal Generative Adversarial Networks for Common Representation Learning
Institute of Computer Science and Technology, Peking University（北京大学计算机科学技术研究所）
众所周知，不同模态（如图像和文本）的不一致分布和表示导致异质性差距，这使得将此类异质数据关联起来具有挑战性。生成对抗网络（GANs）具有很强的数据分布建模能力和区分性表示学习能力，现有的基于GANs的工作主要集中在生成问题上，以生成新的数据。我们有不同的目标，旨在通过利用GANs建模跨模态联合分布的能力来关联异构数据。因此，我们提出了跨模态GANs来学习区别性的共同表示，以弥合异质性差距。本文的主要贡献包括：（1）提出了跨模态GANs结构，用于建模不同模态数据的联合分布。生成模型和判别模型可以同时研究通道间和通道内的相关性。两种方法相互作用，促进了跨模态相关学习。(2)提出了一种带权值共享约束的交叉模态卷积自编码器，用于生成模型。它们不仅可以利用跨模态相关性来学习共同的表示，而且还可以保留重构信息以捕获每个模态内的语义一致性。(3)提出了跨通道对抗机制，该机制利用两种识别模型同时进行通道内和通道间的识别。它们可以相互促进，通过对抗训练过程使共同表示更具区分力。据我们所知，我们提出的CM-GANs方法是第一个利用GANs来执行跨模态公共表示学习的方法。在跨模态检索范例上进行了实验，并在3个跨模态数据集上与10种方法进行了比较。
2018-04-26 cs.CV cs.LG cs.MM
SyncGAN: Synchronize the Latent Space of Cross-modal Generative Adversarial Networks
National Cheng Kung University（国立成功大学）
生成对抗网络（GAN）在跨域生成方面取得了令人瞩目的成功，但由于异构数据之间缺乏共同的分布，在跨模态生成方面面临困难。现有的基于条件的跨模态GANs方法大多采用单向传输策略，并在文本到图像的传输上取得了初步的成功。我们的目标不是学习不同模态之间的转换，而是学习一个代表跨模态共同概念的同步潜在空间。提出了一种新的网络组件同步器来判断数据对是否同步/对应，从而约束了GANs中生成器的潜在空间。我们的GAN模型，命名为SyncGAN，可以成功地生成同步数据（例如，一对图像和声音）与相同的随机噪声。为了将数据从一种模态转换为另一种模态，我们通过反转生成器的映射来恢复潜在代码，并使用它来生成不同模态的数据。此外，该模型还可以实现半监督学习，这使得我们的模型在实际应用中更加灵活。
2018-04-02 cs.CV
DiamondGAN: Unified Multi-Modal Generative Adversarial Networks for MRI Sequences Synthesis
Technical University of Munich（慕尼黑工业大学）；Klinikum rechts der Isar（伊萨尔河右岸医院）；Southern University of Science and Technology（南方科技大学）
合成MR成像序列在临床实践中高度相关，因为单个序列通常丢失或质量差（例如，由于运动）。自然地，产生了目标模态将受益于多模态输入的想法，因为各个模态的专有信息可以是协同的。然而，现有的方法无法按比例放大到多个非对准成像模态，面临复杂成像序列的共同缺点。我们提出了一种新颖的，可扩展的和多模式的方法称为DiamondGAN。我们的模型能够执行灵活的非对齐跨模态合成和数据填充，当给定多个模态或其任意子集时，以端到端的方式学习结构化信息。我们合成了两个具有临床相关性的MRI序列（即，双反转恢复（T1）和对比增强T1（T1-c）），从三个常见序列重建。此外，我们进行了一个多评价者的视觉评价实验，发现训练有素的放射科医生无法区分从真实的合成图像。
2019-07-26 cs.CV
CM-Diff: A Single Generative Network for Bidirectional Cross-Modality Translation Diffusion Model Between Infrared and Visible Images
提出CM-Diff，一种单一生成网络，通过双向扩散训练和统计约束推理实现红外与可见光图像的双向跨模态翻译，优于现有方法，可用于生成双模态数据集。
2025-08-07 cs.CV
Towards Multi-Task Multi-Modal Models: A Video Generative Perspective
Google（谷歌）；UC Merced（加州大学默塞德分校）
本文从视频生成视角构建多任务多模态模型，提出高保真潜在表示与掩码多任务Transformer，实现语言模型超越扩散模型及视频分词器优于标准编解码器，并支持多模态生成。
2024-05-26 cs.AI cs.CV cs.LG
MRIComp4Flow: Compression of 3D Brain MRI for Training Multi-Modal Generative Models
Technical University of Munich (TUM)（慕尼黑工业大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Imperial College London（帝国理工学院）；Florida State University（佛罗里达州立大学）；Institute for Advanced Study, TUM (TUM-IAS)（慕尼黑工业大学高等研究院）；TUM University Hospital（慕尼黑工业大学医院）
该研究针对大规模多模态MRI的存储与I/O问题，采用JPEG2000或JPEG-LS压缩三维脑肿瘤MRI，在20:1压缩率下训练Wavelet Flow Matching模型，证实其合成质量与未压缩数据训练的模型相当，为可扩展三维MRI生成建模提供了实用方案。
2026-08-12 cs.AI cs.CV cs.LG
Shape-consistent Generative Adversarial Networks for multi-modal Medical segmentation maps
Tel Aviv University（特拉维夫大学）
跨域图像翻译的不成对数据集最近获得了很大的改进和兴趣。在医学成像中，有多种成像模式，具有非常不同的特征。我们的目标是在CT和MRI全心脏扫描之间使用跨模态适应进行语义分割。我们提出了一个分割网络，使用合成的心脏体积非常有限的数据集。我们的解决方案基于3D跨模态生成对抗网络，以在模态之间共享信息，并使用未配对的数据集生成合成数据。我们的网络利用语义分割来提高生成器形状的一致性，从而在重新训练分割网络时创建更真实的合成体积。我们表明，当使用空间增强来改进生成对抗网络时，可以在小数据集上实现改进的分割。这些增强改进了发生器的能力，从而提高了分段器的性能。仅使用16个CT和16个MRI心血管体积，在使用建议的架构时，显示出优于其他分割方法的改进结果。
2022-02-04 cs.CV cs.LG eess.IV
Multi-Modality Image Inpainting using Generative Adversarial Networks
Ontario Tech University（安大略理工大学）
在过去的几年里，深度学习技术，特别是生成对抗网络（GANs），显著改善了图像修复和图像到图像的翻译任务。据我们所知，将图像修复任务与多模态图像到图像翻译相结合的问题仍然完好无损。在本文中，我们提出了一个模型来解决这个问题。该模型将结合夜间到日常的图像翻译和修复进行评估，以及有希望的定性和定量结果。
2022-06-22 cs.CV cs.LG eess.IV
DeepCalliFont: Few-shot Chinese Calligraphy Font Synthesis by Integrating Dual-modality Generative Models
Peking University（北京大学）
针对书法字形不满足传统字形一致性假设的问题，提出融合双模态生成模型的DeepCalliFont，通过双分支结构、特征重组与预训练策略，实现更优的少样本中国书法字体合成效果。
2023-12-16 cs.CV
GMAIL: Generative Modality Alignment for generated Image Learning
Department of Machine Learning, CMU, USA（卡内基梅隆大学机器学习系）；Department of Machine Learning, MBZUAI, UAE（马斯克大学人工智能研究所）；Department of Artificial Intelligence, Hanyang University ERICA, South Korea（翰阳大学ERICA人工智能系）
GMAIL通过多模态学习方法对齐生成图像与真实图像，提升视觉-语言任务中的生成图像学习效果。
2026-02-17 cs.AI cs.CV cs.LG
DiffDis: Empowering Generative Diffusion Model with Cross-Modal Discrimination Capability
Sun Yat-sen University（中山大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
提出 DiffDis 框架，通过扩散过程统一跨模态生成与判别预训练，并以双流架构融合多尺度图像信息，在图像生成和零样本图文分类上均优于单任务模型。
2023-08-18 cs.CV
MRI Cross-Modal Synthesis: A Comparative Study of Generative Models for T1-to-T2 Reconstruction
King Fahd University of Petroleum & Minerals（法赫德国王石油与矿业大学）
本文比较了Pix2Pix GAN、CycleGAN和VAE在T1到T2 MRI重建中的性能，发现CycleGAN在PSNR和SSIM上表现最佳，而VAE在潜在空间表示上有优势。
2026-02-05 cs.AI cs.CV eess.IV
Multi-Modality Image Super-Resolution using Generative Adversarial Networks
Ontario Tech University（安大略理工大学）
在过去的几年里，基于深度学习的技术，如生成对抗网络（GANs），已经显着改善了图像超分辨率和图像到图像转换问题的解决方案。在本文中，我们提出了一个解决方案的联合问题的图像超分辨率和多模态图像到图像的翻译。这个问题可以说是一个高分辨率的图像在一个模态的恢复，给定的低分辨率观察同一图像在一个替代的模态。我们的论文提供了两个模型来解决这个问题，并将评估高分辨率的白天图像的恢复给定的低分辨率的夜间图像相同的场景。将为每个模型提供有希望的定性和定量结果。
2022-06-22 cs.CV cs.LG eess.IV
DiffX: Guide Your Layout to Cross-Modal Generative Modeling
Zhejiang University（浙江大学）；Monash University（莫纳什大学）；University of Nottingham（诺丁汉大学）；Peking University（北京大学）；Wuhan University（武汉大学）
本文提出DiffX，首个布局引导的跨模态图像生成扩散模型，通过在模态共享潜在空间扩散去噪并引入联合模态嵌入器增强布局与文本交互，在多个数据集上实现鲁棒的RGB+X及更多模态生成。
2024-10-20 cs.CV
Sketch2Prototype: Rapid Conceptual Design Exploration and Prototyping with Generative AI
Massachusetts Institute of Technology（麻省理工学院）
Sketch2Prototype框架通过草图到文本、文本到图像和图像到3D流程，将手绘草图快速转化为多样化的2D和3D原型，以文本为中间模态优于直接草图到3D，支持早期设计探索与迭代。
2024-03-26 cs.AI cs.CV cs.HC
Generative Partial Visual-Tactile Fused Object Clustering
State Key Laboratory of Robotics, Shenyang Institute of Automation, Chinese Academy of Sciences（机器人学国家重点实验室，中国科学院沈阳自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
视觉-触觉融合感知在物体聚类中的应用取得了显著的进展，触觉感知的引入可以有效地提高聚类性能。然而，缺失的数据（即，在数据采集过程中，由于遮挡和噪声的存在，经常会出现数据不完整的问题。这个问题是没有很好地解决大多数现有的部分多视图聚类方法的异构模态的挑战。如果一味地使用这些方法，必然会产生负面影响，进一步损害绩效。为了解决上述挑战，我们提出了一种生成部分视觉-触觉融合（即，GPVTF）框架进行对象聚类。更具体地说，我们首先从部分视觉和触觉数据中分别提取部分视觉和触觉特征，并将提取的特征编码到特定于模态的特征子空间中。一个条件交叉模态聚类生成对抗网络，然后开发合成一个模态条件另一个模态，它可以补偿丢失的样本和对齐的视觉和触觉模态自然对抗学习。最后，采用两个基于伪标签的KL发散损失来更新相应的模态特定编码器。在三个公开的视觉-触觉数据集上进行的大量对比实验证明了该方法的有效性。
2021-02-14 cs.CV cs.RO
Bi-Modality Medical Image Synthesis Using Semi-Supervised Sequential Generative Adversarial Networks
提出一种基于半监督序列生成对抗网络的双模态医学图像合成方法，通过复杂度排序和联合/边缘分布学习，实现优于现有方法的合成效果。
2023-08-29 cs.CV eess.IV
Generative Cross-Modal Retrieval: Memorizing Images in Multimodal Language Models for Retrieval and Beyond
The Hong Kong Polytechnic University（香港理工大学）；National University of Singapore（新加坡国立大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
提出生成式跨模态检索框架，通过训练MLLM记忆图像与标识符的关联并按文本查询生成对应标识符，实现模型参数内的图像记忆与召回，为跨模态检索提供高效的新范式。
2024-02-16 cs.AI cs.CL cs.CV
Multi-Modal Generative Fuzzy System: Fuzzy Inference Guided Large Model Interactive Question Answering Framework
该研究针对多模态问答的模态偏差、知识不确定性与推理深度不足问题，提出多模态生成模糊系统（MMGFS），通过多模态协同沉思机制与模糊规则多跳推理实现性能提升，在多数据集上优于现有方法。
2026-08-18 cs.AI cs.CL
M6-UFC: Unifying Multi-Modal Controls for Conditional Image Synthesis via Non-Autoregressive Generative Transformers
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Tsinghua University（清华大学）
条件图像合成的目的是根据一些多模态的指导，以文本描述，参考图像和图像块保存的形式，以及它们的组合来创建图像。在本文中，而不是单独调查这些控制信号，我们提出了一个新的两级架构，M6-UFC，统一任何数量的多模态控制。在M6-UFC中，不同的控制信号和合成图像都被统一表示为要由Transformer处理的离散令牌序列。与已有的DALL-E和VQGAN等两阶段自回归方法不同，M6-UFC在第二阶段采用非自回归生成（NAR），以增强合成图像的整体一致性，支持特定图像块的保持，提高合成速度。此外，我们设计了一个渐进的算法，迭代地提高了非自回归生成的图像，与两个估计开发的控制和评估的合成图像的保真度，分别评估的帮助。在新收集的大规模服装数据集M2 C-Fashion和面部数据集Multi-Modal CelebA-HQ上进行的大量实验验证了M6-UFC可以合成符合灵活多模态控制的高保真图像。
2022-02-19 cs.CV
Unified Attentional Generative Adversarial Network for Brain Tumor Segmentation From Multimodal Unpaired Images
South China University of Technology（华南理工大学）；University of Utah（犹他大学）
在医学应用中，尽管图像特性不同，但可以在多种模态中观察到相同的解剖结构。目前，用于多模态分割的大多数深度模型依赖于成对的注册图像。然而，多模态配对配准图像在许多情况下是难以获得的。因此，开发一个模型，可以分割的目标对象从不同的模式与不成对的图像是有意义的许多临床应用。在这项工作中，我们提出了一种新的双流翻译和分割统一注意生成对抗网络（UAGAN），它可以执行任何到任何图像模态翻译和分割的目标对象的情况下，两个或两个以上的模态是可用的。平移流用于捕获目标解剖结构的模态不变特征。此外，为了专注于与分割相关的特征，我们添加了注意力块来从翻译流中提取有价值的特征。三模态脑肿瘤分割的实验表明，UAGAN在大多数情况下优于现有的方法。
2019-07-08 cs.CV eess.IV
Plasma-CycleGAN: Plasma Biomarker-Guided MRI to PET Cross-modality Translation Using Conditional CycleGAN
School of Computing and Augmented Intelligence, Arizona State University（亚利桑那州立大学计算与增强智能学院）；Banner Alzheimer’s Institute（班纳阿尔茨海默病研究所）；Basis Scottsdale（斯科茨代尔贝斯机构）；College of Health Solutions, Arizona State University（亚利桑那州立大学健康解决方案学院）；Mayo Clinic Arizona（梅奥诊所亚利桑那州分院）
本文提出Plasma-CycleGAN模型，首次将血液生物标志物作为条件整合至CycleGAN中，实现从MRI到PET的跨模态转换，显著提升了图像生成质量与视觉保真度。
2025-01-24 cs.AI cs.CV q-bio.NC
MMGAN: Generative Adversarial Networks for Multi-Modal Distributions
Institute for Informatics（信息学研究所）；LMU Munich（慕尼黑大学）
在过去的几年里，生成对抗网络（GANs）已经显示出显着的生成性能，特别是在图像合成。不幸的是，它们还以具有不稳定的训练过程而闻名，并且可能会丢失异构输入数据的数据分布的部分。在本文中，我们提出了一种新的GAN扩展多模态分布学习（MM GAN）。在我们的方法中，我们将潜在空间建模为高斯混合模型，其中多个聚类是指观察空间中断开的数据流形的数量，并包括聚类网络，该网络将每个数据流形与一个高斯聚类相关联。因此，训练更加稳定。此外，MMGAN允许根据潜在空间中的学习数据流形对真实数据进行聚类。通过一系列的基准实验，我们表明，MMGAN优于竞争国家的最先进的模型在聚类性能。
2019-11-15 cs.CV cs.LG stat.ML
Generative Adversarial Networks for Brain Images Synthesis: A Review
University of Washington（华盛顿大学）；Institute of Systems Biology（系统生物学研究所）；Islamic Azad University（伊斯兰阿扎德大学）
本文综述了生成对抗网络（GAN）在脑图像跨模态合成中的最新进展，涵盖CT、PET和MRI之间的相互转换，以解决多模态影像获取成本高、耗时的问题。
2023-05-16 cs.CV cs.LG eess.IV
Natural language is not enough: Benchmarking multi-modal generative AI for Verilog generation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences（中国科学院大学杭州高等研究院）；Shanghai Jiao Tong University（上海交通大学）
该研究指出视觉信息对硬件设计的重要性，提出面向Verilog生成的多模态生成AI开源基准与查询框架，实验证明其准确率显著优于纯自然语言方法，为硬件设计提供新路径。
2024-07-11 cs.AI cs.AR
TarGAN: Target-Aware Generative Adversarial Networks for Multi-modality Medical Image Translation
South China University of Technology（华南理工大学）；Rochester Institute of Technology（罗切斯特理工学院）
与单一模态医学图像相比，成对的多模态医学图像可以提供互补信息，帮助医生做出更合理的决策。但是由于实践中的多种因素（例如，时间、成本、辐射剂量）。为了解决这些问题，多模态医学图像翻译近年来引起了越来越多的研究兴趣。然而，现有的工作主要集中在整个图像的平移效果，而不是关键目标区域或感兴趣区域（ROI），例如，这导致了局部目标区域的质量差的翻译，变得模糊、变形甚至具有额外的不合理的纹理。在本文中，我们提出了一种称为TargAN的新型目标感知生成对抗网络，这是一种通用的多模态医学图像翻译模型，能够（1）在不依赖配对数据的情况下学习多模态医学图像翻译，（2）在目标区域标签的帮助下提高目标区域生成的质量。Targan的生成器同时在两个级别上联合学习映射-整个图像平移映射和目标区域平移映射。这两个映射是相互关联的，通过一个建议的交叉损失。定量测量和定性评估的实验表明，TargAN在所有情况下都优于最先进的方法。随后的分割任务进行，以证明在现实世界的应用程序中的TargAN生成的合成图像的有效性。我们的代码可在https://github.com/2165998/TarGAN上获得。
2021-05-19 cs.CV eess.IV
COP-GEN-Beta: Unified Generative Modelling of COPernicus Imagery Thumbnails
University of Edinburgh（爱丁堡大学）；European Space Agency (ESA)（欧洲空间局）；KU Leuven（鲁汶大学）；Asterisk Labs（星号实验室）
针对遥感多模态统一表示的挑战，本文提出COP-GEN-Beta生成扩散模型，基于Major TOM数据集训练，通过序列扩散Transformer实现任意模态子集映射，零样本转换且生成质量高，可作为预训练模型。
2025-04-14 cs.CV cs.GR
Zero-shot-Learning Cross-Modality Data Translation Through Mutual Information Guided Stochastic Diffusion
Centre Inria d’Université Côte d’Azur（蔚蓝海岸大学法国国家信息与自动化研究所中心）
跨模态数据转换在图像计算中引起了极大的兴趣。深度生成模型（\textit{e.g.}，GANs）在解决这些问题方面表现出性能改进。然而，作为图像翻译中的一个基本挑战，具有保真度的零样本学习跨模态数据翻译问题仍然没有得到解决。提出了一种新的无监督零样本学习方法--互信息引导的扩散跨模态数据转换模型（MIDiffusion），它学习将未知的源数据转换到目标域。MIDiffusion利用基于分数匹配的生成模型，该模型学习目标领域中的先验知识。我们提出了一个可微的本地明智的MI层（$LMI$）的条件迭代去噪采样。$LMI$在扩散指导的统计域中捕获相同的跨模态特征;因此，当源域改变时，我们的方法不需要重新训练，因为它不依赖于源域和目标域之间的任何直接映射。这一优势对于在实践中应用跨模态数据转换方法至关重要，因为合理数量的源域数据集并不总是可用于监督训练。我们的经验表明，先进的性能MIDiffusion相比，一组有影响力的生成模型，包括基于对抗和其他分数匹配的模型。
2023-01-31 cs.AI cs.CV cs.LG
DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion
Xi’an Jiaotong University（西安交通大学）；Computer Vision Lab, ETH Zürich（苏黎世联邦理工学院计算机视觉实验室）；Northwestern Polytechnical University（西北工业大学）；Macau University of Science and Technology（澳门科技大学）；University of Würzburg（维尔茨堡大学）
针对多模态图像融合任务，提出基于去噪扩散概率模型的DDFM算法，将融合转化为条件生成问题并分解求解，无需微调预训练模型即可在红外-可见光及医学图像融合中取得优异效果。
2023-08-22 cs.CV
EyeWorld: A Generative World Model of Ocular State and Dynamics
EyeWorld通过统一多模态解析与时间条件状态转移，实现对眼态的鲁棒多模态解释与临床预测模拟。
2026-03-14 cs.CV
Generative Adversarial Networks in Human Emotion Synthesis:A Review
Eastern Mediterranean University（东地中海大学）；University of São Paulo（圣保罗大学）
合成真实的数据样本对于学术界和工业界都具有重要价值。深度生成模型已经成为计算机视觉和信号处理等各个研究领域的新兴课题。情感计算是计算机视觉社会中一个广泛关注的话题，它也不例外，并受益于生成模型。事实上，在过去的二十年里，情感计算观察到生成模型的快速衍生。这些模型的应用包括但不限于情感识别和分类、单模态情感合成和跨模态情感合成。因此，我们通过研究现有的数据库，优点和缺点的生成模型以及相关的训练策略，考虑两个主要的人类交流方式，即音频和视频，在人类情感合成的最新进展进行了审查。在此背景下，人脸表情合成，语音情感合成，视听（跨模态）情感合成在不同的应用场景进行了广泛的审查。逐渐地，我们讨论开放的研究问题，以突破该研究领域的界限，以供未来的工作使用。
2020-11-07 cs.AI cs.CV cs.HC
TransGPT: Multi-modal Generative Pre-trained Transformer for Transportation
Beijing Jiaotong University（北京交通大学）
提出面向交通领域的多模态大语言模型TransGPT，包含单模态变体TransGPT-SM和多模态变体TransGPT-MM，在多个交通任务基准上优于基线模型，并展示其在交通分析与建模中的广泛应用潜力。
2024-02-11 cs.AI cs.CL
A 3D generative model of pathological multi-modal MR images and segmentations
King’s College London（伦敦国王学院）
本文提出 brainSPADE3D，一种可基于病理表型和对比度条件生成脑 MRI 图像及对应分割的 3D 联合生成模型，以缓解数据稀缺及意外病理导致的分割性能下降问题。
2023-11-08 cs.CV eess.IV
Can MiniMax-H3 Reason About the Physical World? An Evaluation of Omni-Modal Generative Model
National University of Singapore（新加坡国立大学）；Fudan University（复旦大学）；Tencent（腾讯）
本研究评估全模态生成模型 MiniMax-H3 的物理世界推理能力，通过四类跨模态任务（517 实例）发现其总体成功率 41.97%，表明多模态整合是提升推理的关键。
2026-09-17 cs.CV
GAN-Tree: An Incrementally Learned Hierarchical Generative Framework for Multi-Modal Data Distributions
Indian Institute of Science（印度科学学院）
尽管生成对抗网络取得了显著的成功，但对于不同的训练集，它们的性能似乎不那么令人印象深刻，需要学习不连续的映射函数。虽然多模式先验或多发电机模型已被提出来缓解这个问题，这样的方法可能会失败，这取决于经验选择的初始模式分量。与这种自下而上的方法相反，我们提出了GAN-Tree，它遵循分层划分策略来处理这种不连续的多模态数据。GAN-Tree不需要对模式的数量做任何假设，它利用一种新的模式分裂算法将父模式有效地分裂为语义上有凝聚力的子模式，从而促进无监督聚类。此外，它还可以通过仅更新树结构的单个分支，将新的数据模式增量添加到已经训练好的GAN树中。与以前的方法相比，所提出的框架在选择称为GAN-Set的各种互斥和穷举树节点方面提供了更高的灵活性。在包括ImageNet在内的合成和自然图像数据集上进行的大量实验证明了GAN-Tree相对于现有技术的优越性。
2019-09-16 cs.CV cs.LG
DUAL-GLOW: Conditional Flow-Based Generative Model for Modality Transfer
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Shandong University（山东大学）；Inception Institute of Artificial Intelligence（起源人工智能研究院）
正电子发射断层扫描（PET）成像是用于诊断许多神经系统疾病的成像模式。与磁共振成像（MRI）相比，PET昂贵，并且需要将放射性物质注入患者体内。出于视觉模态转移的发展，我们研究了从MRI数据生成某些类型的PET图像。我们推导出了新的基于流的生成模型，我们在这种小样本量的情况下表现良好（远小于标准视觉任务中可用的数据集大小）。我们的公式，DUAL-GLOW，是基于两个可逆的网络和一个关系网络，将潜在空间映射到彼此。我们讨论如何给定先验分布，学习条件分布的PET给定的MRI图像减少到获得两个潜在代码之间的条件分布w.r.t.这两种图像类型。我们还扩展了我们的框架，以便在可用时利用“边”信息（或属性）。通过对年龄进行"调节"来控制PET生成，我们的模型还能够捕获大脑FDG-PET（代谢减退）变化，作为年龄的函数。我们目前的实验阿尔茨海默病神经影像学倡议（ADNI）数据集与826名受试者，并获得良好的性能，PET图像合成，定性和定量优于最近的作品。
2019-08-21 cs.CV eess.IV
Cycle-Consistent Generative Rendering for 2D-3D Modality Translation
Samsung AI Centre Toronto（三星多伦多人工智能中心）
对于人类来说，视觉理解具有内在的生成性：给定一个3D形状，我们可以假设它在世界上的样子;给定一个2D图像，我们可以推断出可能导致它的3D结构。因此，我们可以在给定对象的2D视觉和3D结构模态之间进行转换。在计算机视觉的背景下，这对应于一个可学习的模块，用于两个目的：（i）生成3D对象的逼真渲染（形状到图像的转换）和（ii）从图像推断逼真的3D形状（图像到形状的转换）。在本文中，我们学习这样一个模块，同时意识到在获得大型配对的2D-3D数据集的困难。通过利用生成域翻译方法，我们能够定义一个学习算法，只需要弱监督，与未配对的数据。所得到的模型不仅能够从2D图像执行3D形状、姿势和纹理推断，而且还可以生成新颖的纹理3D形状和渲染，类似于图形管道。更具体地说，我们的方法（i）推断出显式的3D网格表示，（ii）利用示例形状来正则化推断，（iii）仅需要图像掩模（没有关键点或相机外部），以及（iv）具有生成能力。虽然先前的工作探索了这些属性的子集，但它们的组合是新颖的。我们展示了我们学习的表示的实用性，以及它在图像生成和不成对的3D形状推理任务上的性能。
2020-11-16 cs.CV cs.LG
Towards Unified Multi-Modal Personalization: Large Vision-Language Models for Generative Recommendation and Beyond
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon（亚马逊公司）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Virginia（弗吉尼亚大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出统一多模态个性化框架UniMP，利用大型视觉-语言模型融合跨模态用户历史，统一处理推荐、搜索、偏好预测、解释生成和图像生成等任务，并构建新基准验证其优于各任务专用方法。
2024-03-27 cs.AI cs.CL cs.IR
Attention-Guided Generative Adversarial Network to Address Atypical Anatomy in Modality Transfer
Wayne State University（韦恩州立大学）；Henry Ford Health System（亨利·福特医疗系统）
最近，在放射治疗中，对使用合成CT（synCT）的仅MR治疗计划的兴趣迅速增长。然而，为包含非典型解剖结构的医学图像开发类解决方案仍然是一个主要的限制。在本文中，我们提出了一种新的空间注意力引导的生成对抗网络（attention-GAN）模型，使用T1加权MRI图像作为输入来生成准确的synCT，以解决非典型解剖结构。对15名脑癌患者的实验结果表明，注意力-GAN优于现有的synCT模型，并在整个头部、骨骼和空气区域分别实现了synCT和CT-SIM之间的平均MAE 85.22 $\pm$ 12.08、232.41 $\pm$ 60.86、246.38 $\pm$ 42.67 Hounsfield单位。定性分析表明，attention-GAN能够使用空间聚焦区域来更好地处理离群值、具有复杂解剖结构的区域或手术后区域，从而为支持近实时仅MR治疗规划提供了强大的潜力。
2021-04-14 cs.CV eess.IV
Generative Translation Priors: Bayesian Imaging with Cross-Modality Image Translation
Johns Hopkins University（约翰斯·霍普金斯大学）；Stanford University（斯坦福大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本研究提出生成式翻译先验（GTP）贝叶斯框架，将扩散式图像翻译模型转化为跨模态先验，推导两种离散化算法，在CT、PET重建任务中验证其可有效融入跨模态信息，欠采样下仍实现高保真重建。
2026-09-01 cs.CV cs.LG eess.IV
Style-Restricted GAN: Multi-Modal Translation with Style Restriction Using Generative Adversarial Networks
Sophia University（上智大学）
使用生成对抗网络（GAN）的不成对图像到图像翻译在多个域之间转换图像是成功的。此外，最近的研究显示了一种使发电机输出多样化的方法。但是，由于生成器对结果的多样化没有限制，因此可能会转换一些意想不到的功能。在本文中，我们提出了风格限制的GAN（SRGAN），以证明控制的编码特征在风格多样化的过程中的重要性。更具体地说，代替KL发散损失，我们采用三种新的损失来限制编码特征的分布：批量KL发散损失，相关性损失和直方图模仿损失。此外，编码器在用于翻译过程之前使用分类任务进行预训练。该研究报告了精确度，召回率，密度和覆盖率的定量和定性结果。所提出的三个损失导致的增强的多样性水平相比，传统的KL损失。特别是，SRGAN被发现是成功的翻译具有更高的多样性，而不改变CelebA人脸数据集中的类无关的功能。总之，通过两个实验证明了编码特征被良好调节的重要性。我们的实现可以在www.example.com上获得。
2021-07-14 cs.CV
MaxFusion: Plug&Play Multi-Modal Generation in Text-to-Image Diffusion Models
Johns Hopkins University（约翰斯·霍普金斯大学）；Stanford University（斯坦福大学）
针对扩散模型新增任务需从头重训的问题，提出即插即用的MaxFusion策略，利用中间特征方差图先验组合多模型对齐特征，以低计算量扩展T2I模型适配新模态条件，可集成至现成模型提升生成能力。
2024-04-15 cs.CV
Elucidating STEM Concepts through Generative AI: A Multi-modal Exploration of Analogical Reasoning
Carnegie Learning（卡内基学习公司）；University of Sheffield（谢菲尔德大学）；Microsoft Research（微软研究院）；University of Maryland, College Park（马里兰大学帕克分校）；University of Georgia（佐治亚大学）；New York University（纽约大学）；Carnegie Mellon University（卡内基梅隆大学）
本研究提出结合生成式AI与多模态类比推理的STEM教育系统，将复杂学科原理转化为视觉隐喻，经随机A/B/C测试验证可提升学习效果与动机，为AI赋能教育系统设计提供参考。
2023-08-21 cs.AI cs.CY cs.HC
Undecidability of the unification and admissibility problems for modal and description logics
我们表明，统一问题`是否有一个替代实例的一个给定的公式，是证明在一个给定的逻辑？对于用泛模态扩充的基本模态逻辑K和K_4，因此，推理规则的容许性问题对于这些逻辑也是不可判定的。这些是标准可判定模态逻辑的第一个例子，其中统一和容许问题是不可判定的。我们还证明了不可判定性的统一和容许问题的K和K4至少有两个模态算子和名（而不是通用模态），从而表明这些问题是不可判定的基本混合逻辑。最近，统一已被引入作为一个重要的推理服务的描述逻辑。带名项的K的不可判定性证明可以用来证明带名项的布尔描述逻辑（如ALCO和SHIQO）的统一的不可判定性。对于具有泛模态的K的不可判定性证明可以用来表明，对于具有传递角色、反向角色和角色层次（如SHI和SHIQ）的布尔描述逻辑，与角色盒相关的统一问题是不可判定的。
2006-09-11 cs.AI cs.LO
Missing MRI Pulse Sequence Synthesis using Multi-Modal Generative Adversarial Network
Simon Fraser University（西蒙弗雷泽大学）
磁共振成像（MRI）越来越多地用于评估，诊断和计划各种疾病的治疗。在单次扫描中以MR脉冲序列的形式以不同对比度可视化组织的能力为医生提供了有价值的见解，并使自动化系统能够执行下游分析。然而，诸如禁止扫描时间、图像损坏、不同采集协议或对某些造影材料过敏的许多问题可能阻碍为患者采集多个序列的过程。这对医生和自动化系统都提出了挑战，因为缺失序列提供的补充信息丢失了。在本文中，我们提出了一种生成对抗网络（GAN）的变体，能够利用多个可用序列中包含的冗余信息，以便为患者扫描生成一个或多个缺失序列。所提出的网络被设计为一个多输入，多输出网络，它结合了所有可用的脉冲序列的信息，隐式推断哪些序列丢失，并在一个单一的前向传递合成丢失的。我们证明和验证我们的方法在两个脑MRI数据集，每个数据集有四个序列，并显示所提出的方法的适用性，同时合成所有丢失的序列在任何可能的情况下，其中一个，两个或三个四个序列可能会丢失。我们比较我们的方法与竞争的单峰和多峰的方法，并表明，我们优于定量和定性。
2019-10-02 cs.AI cs.CV cs.LG
Synthesizing Coupled 3D Face Modalities by Trunk-Branch Generative Adversarial Networks
Imperial College（帝国理工学院）
真实感三维人脸的生成对于计算机图形学和计算机视觉应用具有重要意义。通常，三维人脸生成的研究围绕着面部表面的线性统计模型。然而，这些模型不能忠实地表示人脸的纹理或法线，这是非常重要的照片逼真的人脸合成。最近，有研究表明，生成对抗网络（GANs）可用于生成高质量的人脸纹理。然而，生成过程要么省略几何体和法线，要么使用独立的过程来生成3D形状信息。在本文中，我们提出了第一种方法，产生高品质的纹理，形状和法线联合，可用于照片级逼真的合成。为此，我们提出了一种新的GAN，它可以从不同的模态生成数据，同时利用它们的相关性。此外，我们演示了如何在表情上调节生成，并创建具有各种面部表情的面孔。由于尺寸限制，本文中显示的定性结果被压缩，全分辨率结果和附带的视频可以在补充文件中找到。代码和模型可以在项目页面上找到：https://github.com/barisgecer/TBGAN。
2020-12-02 cs.CV cs.GR
Serial Over Parallel: Learning Continual Unification for Multi-Modal Visual Object Tracking and Benchmarking
Jiangnan University（江南大学）；Nanjing University of Science and Technology（南京理工大学）；University of Surrey（萨里大学）
针对多模态视觉跟踪任务统一中训练测试不一致导致的性能退化，提出统一基准UniBench300并引入持续学习构建串行统一范式，显著提升稳定性并揭示退化规律。
2025-08-14 cs.AI cs.CV
