MoVieDrive: Urban Scene Synthesis with Multi-Modal Multi-View Video Diffusion Transformer
Huawei Noah’s Ark Lab(华为诺亚实验室);University of Toronto(多伦多大学)
本文提出MoVieDrive,通过多模态多视角视频扩散变换器生成城市驾驶场景视频,实现多模态数据生成与可控生成。
2026-03-13 cs.CV
Instruct-Imagen: Image Generation with Multi-modal Instruction
Google DeepMind(谷歌DeepMind);Google Research(谷歌研究院)
本文提出instruct-imagen模型,通过引入多模态指令统一异构图像生成任务,并采用两阶段框架微调扩散模型,在域内任务及未见复杂任务上均展现出优异性能与泛化能力。
2024-01-03 cs.AI cs.CL cs.CV
CodeSCM: Causal Analysis for Multi-Modal Code Generation
Columbia University(哥伦比亚大学)
本文提出结构因果模型 CodeSCM,通过因果中介分析量化自然语言、代码和输入-输出示例等提示模态对代码生成的影响,发现输入-输出示例同样具有显著作用。
2025-02-07 cs.CL
Mogao: An Omni Foundation Model for Interleaved Multi-Modal Generation
ByteDance Seed(字节跳动种子)
本文提出 Mogao 统一框架,通过深度融合、双视觉编码器、交错 RoPE 和多模态 CFG 等设计,实现高质量文本与图像交错生成,并在理解、文生图、零样本编辑及组合生成上表现优异。
2025-05-11 cs.CV
CMCGAN: A Uniform Framework for Cross-Modal Visual-Audio Mutual Generation
视频和音频是视频的两种共生形式,包含共同和互补的信息。如果它们能够被充分挖掘和融合,相关视频任务的性能可以显着提高。然而,由于环境干扰或传感器故障,有时只有一个模态存在,而另一个模态被放弃或丢失。通过利用它们之间共享的共同信息和特定模态的先验信息,从现有的模态中恢复丢失的模态,将为各种视觉任务带来很大的好处。在本文中,我们提出了一个跨模态循环生成对抗网络(CMCGAN)来处理跨模态的视听交互生成。具体来说,CMCGAN由四种子网组成:音频到视频、视频到音频、音频到音频和视频到视频子网,它们以循环结构组织。CMCGAN有几个显著的优点。首先,CMCGAN通过联合对应的对抗损失将视听交互生成统一到一个公共框架中。其次,通过引入高斯分布的特征向量,CMCGAN可以有效地处理视觉和听觉模态的维数和结构不对称性。第三,CMCGAN可以端到端训练,实现更好的便利性。借鉴CMCGAN,我们开发了一个动态的多模态分类网络来处理模态缺失问题。大量的实验结果表明,CMCGAN获得了最先进的跨模态视听生成结果。实验结果表明,所生成的模态与原始模态具有可比性,证明了该方法的有效性和优越性。
2017-12-09 cs.CV
Contrastive Parameter Disentanglement for Multi-modal Remote Sensing Image Generation
School of Information and Communication Engineering, Dalian University of Technology(大连理工大学信息与通信工程学院);Unit 92728 of PLA(中国人民解放军92728部队)
针对现有遥感图像生成方法局限,提出对比参数解缠框架,通过对比参数解缠模块、解缠优化策略及查询-键结构转移机制,实现多模态遥感图像高质量生成,在相关任务中性能优越。
2026-07-28 cs.CV
Multi-modal Generation via Cross-Modal In-Context Learning
Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);Technology Innovation Institute(技术创新研究院)
提出MGCC方法,结合大语言模型与扩散模型,通过跨模态细化与上下文对象定位模块,从复杂多模态提示序列生成图像,在VIST和VisDial基准上超越现有最先进方法。
2024-05-28 cs.CV
Unpaired Image-to-Speech Synthesis with Multimodal Information Bottleneck
SUNY Buffalo(纽约州立大学布法罗分校);Microsoft(微软)
深度生成模型在跨模态生成(如文本到图像合成)方面取得了重大进展。训练这些模型通常需要在模态之间具有直接对应关系的配对数据。我们引入了新的问题,翻译实例从一种模态到另一个没有配对的数据,利用中间模态共享的其他两种模态。为了证明这一点,我们把图像翻译成语音的问题。在这种情况下,可以利用具有一个共享模态的不相交数据集,例如,图像-文本对和文本-语音对,其中文本作为共享模态。我们称这个问题为“跳过模态生成”,因为在生成过程中跳过了共享模态。我们提出了一种多模态信息瓶颈的方法,学习模态之间的对应关系,从不成对的数据(图像和语音),利用共享的模态(文本)。我们解决了跳过模态生成的基本挑战:1)使用单个模型学习多模态表示,2)桥接两个不相关数据集之间的域间隙,以及3)从未配对数据中学习模态之间的对应关系。我们展示了定性的图像到语音合成的结果,这是第一次这样的结果已在文献中报道。我们还表明,我们的方法提高了传统的跨模态生成的性能,这表明它提高了解决单个任务的数据效率。
2019-08-19 cs.CV
MM-LDM: Multi-Modal Latent Diffusion Model for Sounding Video Generation
Institute of Automation, Chinese Academy of Science(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);University of Adelaide(阿德莱德大学)
本文提出多模态潜在扩散模型MM-LDM,通过统一音视频表示为图像并构建分层多模态自编码器,在有声视频生成任务上取得新SOTA,并展现出强泛化能力。
2024-10-02 cs.CV
Collaborative Diffusion for Multi-Modal Face Generation and Editing
S-Lab, Nanyang Technological University(南洋理工大学S-Lab)
本文提出 Collaborative Diffusion,通过元网络 dynamic diffuser 协调多个预训练单模态扩散模型,在无需重训的情况下实现多模态人脸生成与编辑。
2023-04-20 cs.CV
All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation
Bar-Ilan University(巴伊兰大学);NVIDIA(英伟达)
本文提出RecCAR正则化方法,通过对齐视频与伴随模态间的交叉注意力,缩小相互对应差距,提升联合视频生成中运动与音频的同步性和质量。
2026-11-17 cs.CV
Cross-Modal Contrastive Representation Learning for Audio-to-Image Generation
Korea University(高丽大学)
某些信息的多种形式提供了关于该信息的各种观点,这可以改善对信息的理解。因此,从现有数据中生成不同模态的数据以增强理解可能至关重要。在本文中,我们研究了跨模态音频到图像的生成问题,并提出跨模态对比表示学习(CMCRL)提取有用的功能,从音频和使用它在生成阶段。实验结果表明,CMCRL提高了图像质量比以前的研究。
2022-07-20 cs.CV cs.GR cs.SD
MedM2G: Unifying Medical Multi-Modal Generation via Cross-Guided Diffusion with Visual Invariant
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);ZIU-UIUC Institute, Zhejiang University(浙江大学ZIU-UIUC研究院);School of Public Health, Zhejiang University(浙江大学公共卫生学院)
针对现有医学生成模型任务独立、多模态知识不足的问题,提出带视觉不变性的交叉引导扩散框架MedM2G,统一多类医学生成任务,在10个数据集的5项任务上超越现有最优水平。
2024-03-07 cs.CV cs.LG eess.IV
Unified Discrete Diffusion for Simultaneous Vision-Language Generation
Nanyang Technological University(南洋理工大学);JD Explore Academy(京东探索研究院)
最近开发的离散扩散模型在文本到图像的任务中表现得非常好,显示出处理多模态信号的重要承诺。在这项工作中,我们利用这些特点,并提出了一个统一的多模态生成模型,可以进行“模态翻译”和“多模态生成”的任务,使用一个单一的模型,执行基于文本的,基于图像的,甚至视觉语言的同时生成。具体来说,我们统一的离散扩散过程的多模态信号,提出了一个统一的过渡矩阵。此外,我们设计了一个相互注意模块,融合嵌入层和一个统一的目标函数,强调模态间的联系,这是至关重要的多模态生成。大量的实验表明,我们提出的方法可以执行的国家的最先进的解决方案在各种生成任务。
2022-11-27 cs.CV
SignAligner: Harmonizing Complementary Pose Modalities for Coherent Sign Language Generation
Hefei University of Technology(合肥工业大学);University of Science and Technology of China(中国科学技术大学)
本研究扩展了手语数据集PHOENIX14T,提出三阶段SignAligner方法,通过多模态协同生成与校正及视频合成,提升了手语生成的准确性与表现力。
2025-06-13 cs.CV
Text-to-Image Cross-Modal Generation: A Systematic Review
Warsaw University of Technology(华沙理工大学)
本文从跨模态生成视角系统综述2016—2022年文本到视觉生成研究,梳理方法模板、分类与研究空白。
2024-01-21 cs.CL cs.CV cs.LG
Unsupervised Misaligned Infrared and Visible Image Fusion via Cross-Modality Image Generation and Registration
Dalian University of Technology(大连理工大学)
近年来基于学习的图像融合方法在预配准多模态数据方面取得了巨大的进展,但由于空间变形和难以缩小跨模态差异,在处理未对齐的多模态数据时存在严重的重影问题。为了克服这些障碍,在本文中,我们提出了一个强大的跨模态生成配准范式的无监督错位红外和可见光图像融合(IVIF)。具体来说,我们提出了一个跨模态的感知风格转移网络(CPONS)生成一个伪红外图像作为输入的可见光图像。由于CPNN良好的几何保持能力,所生成的伪红外图像具有清晰的结构,更有利于将跨模态图像配准转化为单模态配准,并结合红外图像的结构敏感性。在这种情况下,我们引入了一个多级细化配准网络(MRRN),预测失真和伪红外图像之间的位移矢量场,并重建配准的红外图像下的单模态设置。此外,为了更好地融合注册的红外图像和可见光图像,我们提出了一个功能交互融合模块(IFM),自适应地选择更有意义的功能融合在双路径交互融合网络(DIFN)。大量的实验结果表明,所提出的方法执行不对齐的跨模态图像融合的优越性能。
2022-05-24 cs.CV
Modality Forcing for Scalable Spatial Generation
Carnegie Mellon University(卡内基梅隆大学);World Labs
提出Modality Forcing方法,通过为每个模态分配独立噪声水平,实现单DiT的联合图像-深度生成,利用稀疏深度数据训练,继承T2I预训练的可扩展性,在深度估计上取得竞争性能。
2026-06-12 cs.CV
Deep Cross-Modal Audio-Visual Generation
University of Rochester(罗切斯特大学)
跨通道视听感知一直是心理学和神经学中的一个长期话题,各种研究发现人类对听觉和视觉刺激的感知具有很强的相关性。尽管在计算多模态建模的作品,跨模态视听生成的问题还没有系统地研究在文献中。在本文中,我们首次尝试利用深度生成对抗训练的力量来解决这个跨模态生成问题。具体来说,我们使用条件生成对抗网络来实现音乐表演的跨模态视听生成。我们探索不同的编码方法的音频和视频信号,并在两个场景:面向工具的生成和面向姿势的生成。作为第一个探索这个新问题,我们组成了两个新的数据集对不同乐器的音乐表演的图像和声音。我们使用分类和人类评估的实验表明,我们的模型能够生成一种模态,即,音频/视频,从其他模态,即,视觉/听觉,在很大程度上。我们对各种设计选择以及数据集的实验将促进未来在这个新问题空间的研究。
2017-04-26 cs.CV cs.MM cs.SD
Diff-MM: Exploring Pre-trained Text-to-Image Generation Model for Unified Multi-modal Object Tracking
School of Computer Science and Engineering, Nanjing University of Science and Technology(计算机科学与工程学院,南京理工大学)
针对多模态目标跟踪训练数据稀缺导致性能受限的问题,提出基于预训练Stable Diffusion的统一跟踪器Diff-MM,通过并行特征提取和子模块微调实现多模态互补,在TNL2K上AUC较OneTracker提升8.3%。
2025-05-19 cs.CV
DialogGen: Multi-modal Interactive Dialogue System for Multi-turn Text-to-Image Generation
Chinese University of Hong Kong(香港中文大学);Tencent Hunyuan(腾讯混元);Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区)
针对普通用户难与文本到图像生成模型有效交互、无法多轮生成的问题,提出DialogGen多模态交互式对话系统,通过对齐MLLMs与T2I模型并构建DialogBen基准,提升多轮生成质量与交互性。
2025-04-18 cs.CV
MM-Diffusion: Learning Multi-Modal Diffusion Models for Joint Audio and Video Generation
Renmin University of China(中国人民大学);Peking University(北京大学);Microsoft Research(微软研究院)
我们提出了第一个联合音频视频生成框架,同时带来了引人入胜的观看和收听体验,以实现高质量的逼真视频。为了生成联合音频-视频对,我们提出了一种新的多模态扩散模型(即,MM扩散),具有两个耦合的去噪自动编码器。与现有的单模态扩散模型相比,MM-扩散由一个顺序的多模态U-网络组成,用于设计的联合去噪过程。音频和视频的两个学习器从高斯噪声中逐渐生成对齐的音频-视频对。为了确保跨模态的语义一致性,我们提出了一种新的基于随机移位的注意力块桥接在两个通道上,这使得有效的跨模态对齐,从而加强了彼此的音频-视频保真度。大量的实验显示了无条件音频-视频生成和zero-shot条件任务(例如,视频到音频)。特别是,我们在Landscape和AIST++跳舞数据集上实现了最佳的FVD和FAD。1万票的图灵测试进一步证明了我们模型的主导偏好。代码和预训练模型可以在https://github.com/researchmm/MM-Diffusion下载。
2023-03-24 cs.CV
Any-to-3D Generation via Hybrid Diffusion Supervision
Xiamen University(厦门大学)
本文提出XBind统一框架,通过跨模态预对齐、模态相似性损失、混合扩散监督与三阶段优化,首次实现从文本、图像、音频等任意模态生成三维物体。
2024-11-22 cs.CV
Not Just Text: Uncovering Vision Modality Typographic Threats in Image Generation Models
CVPR Proceedings(CVPR会议)
本文揭示图像生成模型易受视觉模态排版攻击的脆弱性,评估现有防御方法效果不佳,并构建VMT-IGMs数据集作为评估视觉模态漏洞的基准。
2025-04-29 cs.CV cs.PF
G-LLaVA: Solving Geometric Problem with Multi-Modal Large Language Model
Noah’s Ark Lab(诺亚 Ark 实验室);The University of Hong Kong(香港大学);The Hong Kong University of Science and Technology(香港科技大学)
针对当前多模态大语言模型在几何问题解决中难以准确理解几何元素及关系的局限,构建含170K+样本的Geo170K数据集,开发G-LLaVA模型,以7B参数在MathVista基准上显著优于GPT-4-V,实现几何问题的有效解决。
2025-08-20 cs.CL
MMControl: Unified Multi-Modal Control for Joint Audio-Video Generation
Zhejiang University(浙江大学)
本文提出MMControl,通过双流条件注入机制实现联合音频视频生成的多模态控制,支持视觉和听觉信号的精细控制,提升跨模态对齐效果。
2026-06-29 cs.CV
Unified Multi-Modal Interactive & Reactive 3D Motion Generation via Rectified Flow
Department of Computer Science Purdue University(计算机科学系 哈佛大学)
DualFlow通过修正流实现多模态双人运动生成,提升运动质量与节奏同步性。
2026-03-07 cs.CV
IDOL: Unified Dual-Modal Latent Diffusion for Human-Centric Joint Video-Depth Generation
State University of New York at Buffalo(纽约州立大学布法罗分校);Microsoft(微软公司);Advanced Micro Devices(超威半导体公司)
针对以人为中心的视频-深度联合生成研究不足的问题,提出IDOL统一双模态潜在扩散模型,通过统一双模态U-Net和两种一致性损失实现高质量对齐生成,在多个数据集上性能超越现有方法。
2024-07-15 cs.CV
Collaborative Multi-Modal Coding for High-Quality 3D Generation
S-Lab, Nanyang Technological University, Singapore(南洋理工大学S实验室);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
提出TriMM,首个前馈式3D原生生成模型,通过协作多模态编码融合RGB、RGBD和点云特征,结合辅助2D/3D监督和三平面潜在扩散模型,实现高质量3D资产生成。
2026-06-19 cs.CV
MaxFusion: Plug&Play Multi-Modal Generation in Text-to-Image Diffusion Models
Johns Hopkins University(约翰斯·霍普金斯大学);Stanford University(斯坦福大学)
针对扩散模型新增任务需从头重训的问题,提出即插即用的MaxFusion策略,利用中间特征方差图先验组合多模型对齐特征,以低计算量扩展T2I模型适配新模态条件,可集成至现成模型提升生成能力。
2024-04-15 cs.CV
OmniVDiff: Omni Controllable Video Diffusion for Generation and Understanding
本文提出OmniVDiff全可控视频扩散框架,通过色彩空间联合分布学习与自适应控制策略,实现文本条件生成、视频理解及细粒度条件生成三大能力,在生成与理解任务中表现优异且适用于多下游场景。
2025-11-16 cs.CV
IdentiFace: Multi-Modal Iterative Diffusion Framework for Identifiable Suspect Face Generation in Crime Investigations
Southeast University(东南大学);Shenzhen MSU-BIT University(深圳MSU-BIT大学)
本文提出IdentiFace框架,通过多模态输入设计和迭代生成流程提升可识别嫌疑人面部生成的条件控制与特征调整能力,贡献了面部身份损失函数和两个专用数据集,实验证明其在身份检索上的优越性能。
2026-05-01 cs.CV
AlignGen: Boosting Personalized Image Generation with Cross-Modality Prior Alignment
Institute of Information Science, Beijing Jiaotong University(信息科学学院,北京交通大学);MT Lab, Meitu Inc.(美图实验室,美图公司)
针对个性化图像生成中提示词与参考图像不一致导致参考内容丢失的问题,提出跨模态先验对齐机制AlignGen,通过引入可学习token、鲁棒训练策略和选择性跨模态注意力掩码对齐先验,性能超越现有零样本及测试时优化方法。
2025-05-28 cs.CV
An End-to-End Model for Photo-Sharing Multi-modal Dialogue Generation
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));The University of Edinburgh(爱丁堡大学)
本文提出首个照片分享多模态对话生成的端到端模型,集成图像感知与生成于大语言模型,通过动态词汇变换矩阵及直通和Gumbel-Softmax技术实现端到端梯度传播,在PhotoChat和DialogCC数据集上取得最先进性能。
2025-03-29 cs.CL
UnityVideo: Unified Multi-Modal Multi-Task Learning for Enhancing World-Aware Video Generation
HKUST(香港科技大学);CUHK(香港中文大学);Tsinghua University(清华大学);Kling Team, Kuaishou Technology(快手科技 Kling 团队)
UnityVideo通过一体化多模态多任务学习提升视频生成的世界感知能力,引入动态噪声化和模态切换器,实现更全面的世界知识表示。
2025-12-08 cs.CV
Lumina-DiMOO: An Omni Diffusion Large Language Model for Multi-Modal Generation and Understanding
Shanghai AI Laboratory(上海人工智能实验室);Shanghai Innovation Institute(上海创新研究院);Nanjing University(南京大学);The University of Sydney(悉尼大学);Shanghai Jiao Tong University(上海交通大学);Tsinghua University(清华大学);The Chinese University of Hong Kong(香港中文大学)
本文提出Lumina-DiMOO,一个采用完全离散扩散建模的开源基础模型,实现多模态生成与理解,在多个基准上达到最先进性能,并开源代码与检查点。
2025-10-07 cs.CV
FlowMimic: Mask-free Visual Editing and Generation with Pixel-pair Warped Flow Field for Online Video Editing Data Generation and Modality Mimicry
研究探索在单一模型中整合视频和图像模态的生成与编辑能力,开发像素对时间扭曲流场实时生成视频编辑样本,设计模态模仿损失对齐模态能力,引入相关任务及损失让模型内化基于语言的视觉编辑能力。
2026-09-23 cs.CV
UniAVGen: Unified Audio and Video Generation with Asymmetric Cross-Modal Interactions
State Key Laboratory for Novel Software Technology(新型软件技术国家重点实验室);Tencent Hunyuan(腾讯文英);Shanghai Jiao Tong University(上海交通大学);Renmin University of China(中国人民大学);Tsinghua University(清华大学);Shanghai AI Lab(上海人工智能实验室)
UniAVGen通过非对称跨模态交互机制和双分支联合合成架构,实现了音频视频的统一生成,提升同步精度和语义一致性,实验表明其在较少训练样本下表现更优。
2026-03-24 cs.CV
Unified Multi-Modal Latent Diffusion for Joint Subject and Text Conditional Image Generation
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Microsoft Research(微软研究院)
目前,通过使用扩散模型,放射学引导的图像生成已经取得了很大的成功。然而,文本可能不太详细,无法描述高度特定的主题,例如特定的狗或特定的汽车,这使得纯文本到图像的生成不够准确,无法满足用户的要求。在这项工作中,我们提出了一种新的统一多模态潜在扩散(UMM扩散),它需要联合文本和图像包含指定的主题作为输入序列,并生成定制的图像与主题。更具体地说,输入的文本和图像都被编码到一个统一的多模态潜空间中,在该潜空间中,输入的图像被学习以投影到伪词嵌入,并且可以进一步与文本组合以指导图像生成。此外,为了消除输入图像中的背景或光照等不相关部分,我们提出了一种新的扩散模型采样技术,用于图像生成器,融合了多模态输入和纯文本输入的结果。通过利用大规模预训练的文本到图像生成器和设计的图像编码器,我们的方法能够从输入文本和图像两个方面生成具有复杂语义的高质量图像。
2023-03-16 cs.CV
Improving Joint Audio-Video Generation with Cross-Modal Context Learning
Vivix Group Limited(维维克斯集团有限公司)
本文提出跨模态上下文学习方法,解决双流Transformer生成中模态交互不一致、训练不稳定等问题,提升生成质量与效率。
2026-03-19 cs.CV
DiffX: Guide Your Layout to Cross-Modal Generative Modeling
Zhejiang University(浙江大学);Monash University(莫纳什大学);University of Nottingham(诺丁汉大学);Peking University(北京大学);Wuhan University(武汉大学)
本文提出DiffX,首个布局引导的跨模态图像生成扩散模型,通过在模态共享潜在空间扩散去噪并引入联合模态嵌入器增强布局与文本交互,在多个数据集上实现鲁棒的RGB+X及更多模态生成。
2024-10-20 cs.CV
Ripple: Real-Time Streaming Audio-Video Generation With Cross-Modal Recurrent Memory
China Telecom Artificial Intelligence Technology (Beijing) Co., Ltd(中国电信人工智能技术(北京)有限公司)
本文提出Ripple系统,通过跨模态循环记忆机制及三阶段训练方案,实现480P下约28 FPS的实时流音频-视频生成,性能优于现有方法。
2026-07-30 cs.CV
OmniNFT: Modality-wise Omni Diffusion Reinforcement for Joint Audio-Video Generation
University of Science and Technology of China(中国科学技术大学);Peking University(北京大学);JD Explore Academy(京东探索研究院)
本文提出OmniNFT,通过模态感知强化学习框架解决多模态联合生成中的模态一致性、梯度不平衡和信用分配问题,提升音频视频感知质量与同步性能。
2026-05-12 cs.AI cs.CV
Visual-Tactile Cross-Modal Data Generation using Residue-Fusion GAN with Feature-Matching and Perceptual Losses
City University of Hong Kong(香港城市大学);City University of Hong Kong Shenzhen Research Institute(香港城市大学深圳研究院);The University of Tokyo(东京大学)
现有的心理物理学研究表明,跨模态的视觉-触觉感知在人类日常活动中很常见。然而,建立从一个模态空间到另一个模态空间的算法映射仍然具有挑战性,即跨模态视觉-触觉数据转换/生成,这对于机器人操作可能是重要的。在本文中,我们提出了一种基于深度学习的方法,通过利用生成对抗网络(GANs)的框架来生成跨模态的视觉-触觉数据。我们的方法采取的视觉图像的材料表面的视觉数据,和加速度计信号引起的笔滑动运动的表面作为触觉数据。我们采用条件GAN(cGAN)结构和残差融合(RF)模块,通过附加特征匹配(FM)和感知损失对模型进行训练,实现跨模态数据生成。实验结果表明,包括RF模块,FM和感知损失显着提高了跨模态数据生成性能的分类准确性,对生成的数据和地面实况和生成的数据之间的视觉相似性。
2021-07-12 cs.AI cs.CV cs.RO
3D-aware Image Generation and Editing with Multi-modal Conditions
Nanchang Hangkong University(南昌航空大学);Cardiff University(卡迪夫大学);Nanchang Innovation Institute, Peking University(北京大学南昌创新研究院)
针对3D一致图像生成中形状与外观解耦不足及控制模态单一的问题,提出融合噪声、文本和参考图像的端到端3D感知GAN框架,实现多样化生成、文本属性编辑与参考风格迁移。
2024-03-11 cs.CV
Collaborative Reasoning on Multi-Modal Semantic Graphs for Video-Grounded Dialogue Generation
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Center for Data Science, AAIS, Peking University(北京大学人工智能研究院数据科学中心);Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院)
我们研究了基于视频的对话生成,基于对话上下文和相关视频生成响应。该任务的主要挑战在于(1)将视频数据集成到预训练的语言模型(PLM)中的困难,这对利用大规模预训练的力量构成了障碍;(2)在整个推理过程中考虑各种模式的互补性的必要性。虽然在基于视频的对话生成方面取得了显着进展,但现有方法在与PLM集成以允许来自不同模式的信息相互补充时仍然存在不足。为了缓解这些问题,我们首先提出从视频中提取相关信息,并将其转化为PLM可接受的推理路径。此外,我们提出了一种多智能体强化学习方法来协作地对不同的模态进行推理(即,视频和对话上下文)。在两个公开数据集上的实验结果表明,该模型在自动和人工评估方面都能明显优于最先进的模型。
2022-10-22 cs.CL
ROVER: Benchmarking Reciprocal Cross-Modal Reasoning for Omnimodal Generation
University of Maryland, College Park(马里兰大学学院公园分校);University of Pennsylvania(宾夕法尼亚大学);The Hong Kong University of Science and Technology(香港科学与技术大学);University of Michigan(密歇根大学);University of Southern California(南加州大学)
本文提出了ROVER基准,通过1312个人工标注任务评估统一多模态模型在视觉与言语生成中的互惠跨模态推理能力,实验表明跨模态推理决定生成质量且模型在符号推理上存在缺陷。
2025-11-03 cs.CV
Cross-modal RAG: Sub-dimensional Text-to-Image Retrieval-Augmented Generation
Emory University(埃默里大学);University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
针对复杂文生图查询难以由单张检索图像覆盖的问题,提出将查询与图像分解为子维度并混合稀疏、稠密检索的 Cross-modal RAG,在多个基准上提升检索与生成效果。
2025-09-26 cs.AI cs.CL cs.CV
Chameleon: Mixed-Modal Early-Fusion Foundation Models
FAIR at Meta(Meta FAIR研究院)
本研究提出早融合混合模态基础模型Chameleon,通过定制化训练与架构设计,在图像描述、文本生成等多任务上表现优异,可媲美甚至超越更大规模的模型,推动多模态文档统一建模发展。
2025-03-21 cs.CL
Text-to-Code Generation with Modality-relative Pre-training
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文提出在文本到代码生成任务中,通过模态相对训练目标分离自然语言与编程语言的嵌入空间,以避免语义混淆,在多个骨干模型和测试集上取得一致性能提升。
2024-02-12 cs.CL
MetaEarth-MM: Unified Multimodal Remote Sensing Image Generation with Scene-centered Joint Modeling
Department of Aerospace Intelligent Science and Technology, School of Astronautics, Beihang University(航天智能科学与技术系,航天学院,北京航空航天大学);State Key Laboratory of Virtual Reality Technology and Systems, Beihang University(虚拟现实技术与系统国家重点实验室,北京航空航天大学);Shenyuan Honors College, Beihang University(Shen Yuan荣誉学院,北京航空航天大学)
本文提出MetaEarth-MM模型,通过统一的多模态遥感图像生成框架,实现多模态图像的联合生成和任意模态之间的转换,展示了其在多模态遥感观测中的强大生成能力和广泛适用性。
2026-05-19 cs.CV
User-Friendly Customized Generation with Multi-Modal Prompts
Shanghai Jiao Tong University(上海交通大学);AntGroup(蚂蚁集团);Cornell University(康奈尔大学)
本文提出一种基于多模态提示的定制生成方法,仅需单张图像和文本即可实现复杂对象的用户友好定制,优于现有微调方法。
2024-05-26 cs.CV
EchoMotion: Unified Human Video and Motion Generation via Dual-Modality Diffusion Transformer
Tsinghua University(清华大学);Alibaba Group(阿里巴巴集团);Nanyang Technology University(南阳技术大学);Xi’an Jiaotong University(西安交通大学)
EchoMotion通过双模态扩散变换器统一生成人体视频与运动,提升复杂人类动作视频的连贯性与合理性。
2025-12-21 cs.CV
AvatarMMC: 3D Head Avatar Generation and Editing with Multi-Modal Conditioning
KAUST(阿卜杜拉国王科技大学);University College London(伦敦大学学院);Imperial College London(伦敦帝国学院)
提出AvatarMMC,结合3D GAN与潜在扩散模型,实现多模态条件控制的三维头部虚拟形象生成与编辑,性能优于纯GAN方法。
2024-02-08 cs.CV cs.GR