Multi-modal Latent Diffusion
Renault Software Factory(雷诺软件工厂);EURECOM(欧洲通信学院)
针对多模态VAE的生成质量与跨模态连贯性权衡,本文提出用独立单模态确定性自编码器拼接潜空间并结合掩码扩散与多次条件分数训练,显著提升两项指标。
2023-12-18 cs.CV cs.LG
One Transformer Fits All Distributions in Multi-Modal Diffusion at Scale
Tsinghua University(清华大学);ShengShu(生数科技);Renmin University of China(中国人民大学);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院)
本文提出统一扩散框架UniDiffuser,通过一个transformer同时学习多模态数据的边缘、条件和联合分布,以最小修改实现图像、文本及跨模态生成,性能优于通用模型并可比肩专用模型。
2023-05-30 cs.CV cs.LG
MUST: Modality-Specific Representation-Aware Transformer for Diffusion-Enhanced Survival Prediction with Missing Modality
Yonsei University(延世大学);Korea Institute of Science and Technology(韩国科学技术研究院)
MUST通过分解模态特定和跨模态上下文化组件,提高生存预测的准确性,在缺失模态情况下仍能保持稳健预测。
2026-03-27 cs.CV cs.LG
Retrievals Can Be Detrimental: Unveiling the Backdoor Vulnerability of Retrieval-Augmented Diffusion Models
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院,清华大学);Harbin Institute of Technology(哈尔滨工业大学)
本文揭示了检索增强扩散模型(RDM)的后门漏洞,通过多模态对比攻击方法BadRDM,展示了如何利用检索数据库中的毒害代理进行攻击,同时保持模型的正常功能。
2026-04-14 cs.CV
FedDiff: Diffusion Model Driven Federated Learning for Multi-Modal and Multi-Clients
Xidian University(西安电子科技大学);Hunan University(湖南大学)
针对多模态遥感数据融合中的隐私与分布式控制挑战,提出扩散模型驱动的联邦学习框架FedDiff,通过双分支扩散模型提取互补特征并嵌入轻量级通信模块,显著提升了图像质量与条件一致性。
2023-11-16 cs.AI cs.CV cs.LG
Collaborative Diffusion for Multi-Modal Face Generation and Editing
S-Lab, Nanyang Technological University(南洋理工大学S-Lab)
本文提出 Collaborative Diffusion,通过元网络 dynamic diffuser 协调多个预训练单模态扩散模型,在无需重训的情况下实现多模态人脸生成与编辑。
2023-04-20 cs.CV
Diffusion based Zero-shot Medical Image-to-Image Translation for Cross Modality Segmentation
Athinoula A. Martinos Center for Biomedical Imaging(阿西诺拉·A.马蒂诺斯生物医学成像中心);Massachusetts General Hospital(麻省总医院);Harvard University(哈佛大学);Inria centre at Université Côte d’Azur(蔚蓝海岸大学国家信息与自动化研究所中心);Temple University(天普大学);Georg-August-University of Göttingen(哥廷根大学)
针对零样本跨模态医学分割,本文提出利用模态间统计一致性进行扩散引导的无监督图像转换框架,无需源目标域直接映射或重训即可适应未见目标模态。
2024-04-09 cs.CV cs.LG eess.IV
MM-Diffusion: Learning Multi-Modal Diffusion Models for Joint Audio and Video Generation
Renmin University of China(中国人民大学);Peking University(北京大学);Microsoft Research(微软研究院)
我们提出了第一个联合音频视频生成框架,同时带来了引人入胜的观看和收听体验,以实现高质量的逼真视频。为了生成联合音频-视频对,我们提出了一种新的多模态扩散模型(即,MM扩散),具有两个耦合的去噪自动编码器。与现有的单模态扩散模型相比,MM-扩散由一个顺序的多模态U-网络组成,用于设计的联合去噪过程。音频和视频的两个学习器从高斯噪声中逐渐生成对齐的音频-视频对。为了确保跨模态的语义一致性,我们提出了一种新的基于随机移位的注意力块桥接在两个通道上,这使得有效的跨模态对齐,从而加强了彼此的音频-视频保真度。大量的实验显示了无条件音频-视频生成和zero-shot条件任务(例如,视频到音频)。特别是,我们在Landscape和AIST++跳舞数据集上实现了最佳的FVD和FAD。1万票的图灵测试进一步证明了我们模型的主导偏好。代码和预训练模型可以在https://github.com/researchmm/MM-Diffusion下载。
2023-03-24 cs.CV
End-to-End Multi-Modal Diffusion Mamba
China University of Petroleum-Beijing(中国石油大学(北京));Leyard Optoelectronic(莱亚德光电);University of Wisconsin-Milwaukee(威斯康星大学密尔沃基分校)
本文提出MDM架构,利用曼巴多步选择扩散模型和统一变分自编码器,实现端到端多模态联合表示学习,在图像生成、视觉问答等任务上超越现有模型,并可与SOTA模型竞争。
2025-10-15 cs.AI cs.CV cs.LG
MIRAGE: Stealthy Visual Prompt Injection for Vulnerability Detection in Web Agents
SDU(山东大学)
提出MIRAGE框架,利用扩散模型在受限区域生成视觉上无害的对抗图像,实现针对多模态大模型Web代理的隐蔽间接提示注入攻击,以检测其视觉漏洞。
2026-10-16 cs.AI cs.CR cs.CV
A Survey on Adversarial Attacks and Defenses for Diffusion Models Across Multiple Modalities
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Stanford University(斯坦福大学);Georgia Institute of Technology(佐治亚理工学院);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文首次统一综述了图像、视频和3D三种模态下扩散模型的对抗攻击与防御,提出了以任务为中心的分类体系,并分析了评估设置,指出了开放挑战和未来方向。
2026-09-09 cs.CR cs.CV
Cross-Modal Guidance for Fast Diffusion-Based Computed Tomography
本文提出一种无需重新训练扩散模型的跨模态引导方法,用于提升稀疏视图中子CT的重建质量。
2026-03-01 cs.CV
Diffusion Models For Multi-Modal Generative Modeling
University at Buffalo(布法罗大学);Amazon(亚马逊公司)
本文提出一种在公共扩散空间构建统一多模态扩散模型的原则性方法,通过共享主干网络与特定模态解码器实现多模态数据生成,并在ImageNet上验证了其有效性。
2024-09-24 cs.CV
Prompt Diffusion Robustifies Any-Modality Prompt Learning
University of Amsterdam(阿姆斯特丹大学);Cisco Research(思科研究院);Illinois Institute of Technology(伊利诺伊理工学院);Michigan State University(密歇根州立大学)
针对固定提示在分布偏移下泛化不足的问题,本文提出模态无关的 prompt diffusion 即插即用模块,在提示空间中五步生成样本定制提示,显著提升多种提示学习方法在 15 个数据集上的三类泛化鲁棒性。
2024-10-26 cs.CV cs.LG
AMM-Diff: Adaptive Multi-Modality Diffusion Network for Missing Modality Imputation
Quantif(Quantif机构);University of Rouen-Normandy(鲁昂-诺曼底大学);CLCC Henri Becquerel(亨利·贝克勒尔癌症中心)
针对临床中MR模态缺失影响脑肿瘤分割的问题,提出自适应多模态扩散网络AMM-Diff,通过图像-频率融合网络学习统一表示并结合自适应重建策略,在BraTS 2021上实现任意输入配置下的缺失模态补全。
2025-01-22 cs.CV
Noise as a Probe: Membership Inference Attacks on Diffusion Models Leveraging Initial Noise
Southeast University(东南大学);The University of Queensland(昆士兰大学);Nanjing University of Posts and Telecommunications(南京邮电大学)
本文提出利用扩散模型初始噪声中的残余语义信息进行成员推断攻击,揭示了微调模型在隐私保护方面的脆弱性。
2026-08-14 cs.CR cs.LG
CoLa-Diff: Conditional Latent Diffusion Model for Multi-Modal MRI Synthesis
University of Dundee(邓迪大学);University of Cambridge(剑桥大学);University of Bath(巴斯大学);East China Normal University(华东师范大学)
MRI合成有望缓解临床实践中缺失MRI模态的挑战。扩散模型通过模拟复杂多变的数据分布,已成为图像合成的一种有效技术。然而,大多数基于扩散的MRI合成模型使用单一模态。由于它们在原始图像域中操作,因此它们是存储密集型的并且对于多模态合成不太可行。此外,它们通常不能在MRI中保留解剖结构。此外,平衡来自多模态MRI输入的多个条件对于多模态合成至关重要。在这里,我们提出了第一个基于扩散的多模态MRI合成模型,即条件潜在扩散模型(CoLa-Diff)。为了减少内存消耗,我们设计了CoLa-Diff在潜在空间中操作。我们提出了一种新的网络架构,例如,类似于协同滤波,解决了潜在空间中可能存在的压缩和噪声问题。为了更好地保持解剖结构,大脑区域掩模被引入作为密度分布的先验,以指导扩散过程。我们进一步提出了自动权重自适应,以有效地利用多模态信息。我们的实验表明,CoLa-Diff优于其他国家的最先进的MRI合成方法,有望作为一个有效的工具,多模态MRI合成。
2023-03-24 cs.CV eess.IV
CM-Diff: A Single Generative Network for Bidirectional Cross-Modality Translation Diffusion Model Between Infrared and Visible Images
提出CM-Diff,一种单一生成网络,通过双向扩散训练和统计约束推理实现红外与可见光图像的双向跨模态翻译,优于现有方法,可用于生成双模态数据集。
2025-08-07 cs.CV
Federated Dialogue-Semantic Diffusion for Emotion Recognition under Incomplete Modalities
Shenzhen MSU-BIT University(深圳MSU-BIT大学);Beijing Institude of Technology(北京理工大学)
针对不完整模态情感识别问题,提出FedDISC框架,首次将联邦学习引入缺失模态恢复,通过联邦聚合模态特定扩散模型并结合交替冻结聚合策略,在多个数据集上实现了优于现有方法的情感分类性能。
2025-11-01 cs.CV
Multi-Modal Hypergraph Diffusion Network with Dual Prior for Alzheimer Classification
University of Cambridge(剑桥大学);Universite de Bordeaux(波尔多大学)
阿尔茨海默病前驱期的自动早期诊断对于患者治疗以改善生活质量具有重要意义。我们解决这个问题作为一个多模态分类任务。多模态数据提供了更丰富和互补的信息。然而,现有技术仅考虑数据与单/多模态成像数据之间的低阶关系。在这项工作中,我们介绍了一种新的半监督超图学习框架阿尔茨海默氏症的诊断。我们的框架允许多模态成像和非成像数据之间的高阶关系,同时需要一个微小的标记集。首先,我们引入了一种对偶嵌入策略来构造一个保持数据语义的健壮超图。我们实现这一点,通过强制执行扰动不变性在图像和图形级别使用基于对比的机制。其次,我们提出了一个动态调整的超图扩散模型,通过一个半显式流,以改善预测的不确定性。我们证明,通过我们的实验,我们的框架是能够优于目前的技术阿尔茨海默氏症的诊断。
2022-09-06 cs.CV cs.LG eess.IV
When One Modality Rules Them All: Backdoor Modality Collapse in Multimodal Diffusion Models
University of Delaware(德克萨斯大学);Illinois Institute of Technology(伊利诺伊理工学院);Columbia University(哥伦比亚大学)
本文研究了多模态扩散模型中后门攻击的模态崩溃现象,发现攻击常依赖单一模态,跨模态交互反而降低攻击效果,揭示了现有评估的盲点。
2026-03-06 cs.LG
Towards General Modality Translation with Contrastive and Predictive Latent Diffusion Bridge
Bosch AI Center(博世人工智能中心);Ben-Gurion University of the Negev(巴伊兰大学);Technical University of Munich(慕尼黑技术大学)
本文提出LDDBM框架,基于潜扩散桥实现任意模态间翻译,通过对比与预测损失增强语义一致性,在多项任务上表现优异。
2025-10-26 cs.AI cs.CV cs.LG
MedM2G: Unifying Medical Multi-Modal Generation via Cross-Guided Diffusion with Visual Invariant
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);ZIU-UIUC Institute, Zhejiang University(浙江大学ZIU-UIUC研究院);School of Public Health, Zhejiang University(浙江大学公共卫生学院)
针对现有医学生成模型任务独立、多模态知识不足的问题,提出带视觉不变性的交叉引导扩散框架MedM2G,统一多类医学生成任务,在10个数据集的5项任务上超越现有最优水平。
2024-03-07 cs.CV cs.LG eess.IV
BadBlocks: Low-Cost and Stealthy Backdoor Attacks Tailored for Text-to-Image Diffusion Models
Shanghai Polytechnic University(上海理工大学);ShanghaiTech University(上海科技大学)
提出BadBlocks攻击方法,通过仅污染UNet架构中的特定块,在保持其他组件不变的情况下,以30%的计算资源和20%的GPU时间实现高成功率且绕过注意力检测防御,揭示了不同神经层的脆弱性差异。
2026-05-28 cs.CR cs.CV
DAMM-Diffusion: Learning Divergence-Aware Multi-Modal Diffusion Model for Nanoparticles Distribution Prediction
The College of Artificial Intelligence, Nanjing University of Aeronautics and Astronautics(南京航空航天大学人工智能学院);Nanjing Medical University(南京医科大学)
本文提出DAMM-Diffusion模型,通过发散感知机制在统一网络中自适应融合单模态与多模态分支,结合MMFM和UAFM模块,提升纳米颗粒分布预测精度,并在多模态脑图像合成任务中验证了有效性。
2025-03-12 cs.CV eess.IV
Multi-modal Generative AI: Multi-modal LLMs, Diffusions, and the Unification
Department of Computer Science, Beijing Information Science and Technology National Research Center, Tsinghua University(计算机系,北京信息科学与技术国家研究中心,清华大学)
本文综述了多模态生成式AI,涵盖多模态LLMs、扩散模型及统一模型的设计与应用,探讨了统一理解和生成的方法及未来研究方向。
2025-11-25 cs.AI cs.CV
Personalization as a Shortcut for Few-Shot Backdoor Attack against Text-to-Image Diffusion Models
Nanyang Technological University(南洋理工大学);New York University(纽约大学);Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局);East China Normal University(华东师范大学)
本研究揭示文本到图像扩散模型通过个性化方法存在零日后门漏洞,提出基于nouveau-token的高效攻击,较传统方法更精确且隐蔽。
2023-12-20 cs.CV
Multimodal ELBO with Diffusion Decoders
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
针对多模态VAE生成质量低和模态间相干性差的问题,提出结合扩散解码器与辅助分数模型的多模态ELBO变体,实现了端到端训练并在多数据集上取得最先进的高质量与高相干性生成结果。
2025-02-03 cs.CV cs.LG
MoVieDrive: Urban Scene Synthesis with Multi-Modal Multi-View Video Diffusion Transformer
Huawei Noah’s Ark Lab(华为诺亚实验室);University of Toronto(多伦多大学)
本文提出MoVieDrive,通过多模态多视角视频扩散变换器生成城市驾驶场景视频,实现多模态数据生成与可控生成。
2026-03-13 cs.CV
Rethinking the Vulnerability of Concept Erasure and a New Method
School of Mathematics University of Edinburgh(数学学院爱丁堡大学);School of Mathematical and Computer Science Heriot-Watt University(数学与计算机科学学院赫瑞斯大学)
该研究探究概念擦除模型对抗脆弱性的来源,发现其提示嵌入空间的脆弱性继承自原始模型,提出基于坐标下降的RECORD恢复算法,性能远超现有方法并给出加速策略。
2025-10-03 cs.AI cs.CR cs.LG
SyncVP: Joint Diffusion for Synchronous Multi-Modal Video Prediction
University of Bonn(波恩大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所)
针对单RGB帧视频预测信息不足的问题,提出多模态同步视频预测框架SyncVP,结合预训练模态扩散模型与时空交叉注意力模块,在多基准数据集上实现SOTA性能,且单模态场景下仍具鲁棒性。
2025-03-24 cs.CV
Cross-Modality Controlled Molecule Generation with Diffusion Language Model
针对现有SMILES扩散模型仅支持单模态约束且需重新训练的问题,提出CMCM-DLM方法,通过结构和性质控制模块分阶段注入跨模态约束,无需重新训练即可扩展新约束,提升分子生成的适应性与效率。
2026-10-07 cs.AI cs.LG
Zero-shot-Learning Cross-Modality Data Translation Through Mutual Information Guided Stochastic Diffusion
Centre Inria d’Université Côte d’Azur(蔚蓝海岸大学法国国家信息与自动化研究所中心)
跨模态数据转换在图像计算中引起了极大的兴趣。深度生成模型(\textit{e.g.},GANs)在解决这些问题方面表现出性能改进。然而,作为图像翻译中的一个基本挑战,具有保真度的零样本学习跨模态数据翻译问题仍然没有得到解决。提出了一种新的无监督零样本学习方法--互信息引导的扩散跨模态数据转换模型(MIDiffusion),它学习将未知的源数据转换到目标域。MIDiffusion利用基于分数匹配的生成模型,该模型学习目标领域中的先验知识。我们提出了一个可微的本地明智的MI层($LMI$)的条件迭代去噪采样。$LMI$在扩散指导的统计域中捕获相同的跨模态特征;因此,当源域改变时,我们的方法不需要重新训练,因为它不依赖于源域和目标域之间的任何直接映射。这一优势对于在实践中应用跨模态数据转换方法至关重要,因为合理数量的源域数据集并不总是可用于监督训练。我们的经验表明,先进的性能MIDiffusion相比,一组有影响力的生成模型,包括基于对抗和其他分数匹配的模型。
2023-01-31 cs.AI cs.CV cs.LG
UniDiff: Parameter-Efficient Adaptation of Diffusion Models for Land Cover Classification with Multi-Modal Remotely Sensed Imagery and Sparse Annotations
University of Houston(休斯敦大学)
UniDiff通过参数高效的方法适应扩散模型,实现多模态遥感数据在稀疏标注下的有效分类与融合。
2025-11-29 cs.CV
EMMA: Your Text-to-Image Diffusion Model Can Secretly Accept Multi-Modal Prompts
Nanyang Technological University(南洋理工大学);Tencent(腾讯)
本文提出基于 ELLA 的 EMMA,通过多模态特征连接器并冻结原 T2I 模型,使其无需混合提示训练即可接受并平衡文本与参考外观等多模态条件。
2024-06-13 cs.CV
MegActor-$Σ$: Unlocking Flexible Mixed-Modal Control in Portrait Animation with Diffusion Transformer
MEGVII Technology(旷视科技);The University of Hong Kong(香港大学)
提出MegActor-$Σ$,一种混合模态条件扩散Transformer,通过模态解耦控制与幅度调整策略平衡音视觉模态控制强度,仅用公开数据集训练即超越私有数据集方法,实现灵活生动的肖像动画生成。
2024-08-27 cs.CV
Vulnerability-Aware Robust Multimodal Adversarial Training
本文提出VARMAT方法,通过识别各模态的脆弱性提升多模态对抗鲁棒性,实现在多个数据集上显著提升鲁棒性性能。
2025-11-22 cs.CR cs.LG
Unified Multi-Modal Latent Diffusion for Joint Subject and Text Conditional Image Generation
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Microsoft Research(微软研究院)
目前,通过使用扩散模型,放射学引导的图像生成已经取得了很大的成功。然而,文本可能不太详细,无法描述高度特定的主题,例如特定的狗或特定的汽车,这使得纯文本到图像的生成不够准确,无法满足用户的要求。在这项工作中,我们提出了一种新的统一多模态潜在扩散(UMM扩散),它需要联合文本和图像包含指定的主题作为输入序列,并生成定制的图像与主题。更具体地说,输入的文本和图像都被编码到一个统一的多模态潜空间中,在该潜空间中,输入的图像被学习以投影到伪词嵌入,并且可以进一步与文本组合以指导图像生成。此外,为了消除输入图像中的背景或光照等不相关部分,我们提出了一种新的扩散模型采样技术,用于图像生成器,融合了多模态输入和纯文本输入的结果。通过利用大规模预训练的文本到图像生成器和设计的图像编码器,我们的方法能够从输入文本和图像两个方面生成具有复杂语义的高质量图像。
2023-03-16 cs.CV
A Multi-Modal Contrastive Diffusion Model for Therapeutic Peptide Generation
Huazhong Agricultural University(华中农业大学)
提出多模态对比扩散模型MMCD,在扩散框架中融合肽序列与结构模态,通过间对比和内对比策略捕获模态一致性并区分肽功能,在多项指标上优于现有深度生成方法。
2024-01-04 cs.LG q-bio.BM q-bio.QM
Unsupervised Modality Adaptation with Text-to-Image Diffusion Models for Semantic Segmentation
East China University of Science and Technology(华东理工大学);vivo Mobile Communication Co., Ltd(维沃移动通信有限公司);Peng Cheng Laboratory(鹏城实验室);Singapore Management University(新加坡管理大学)
针对现有语义分割无监督域自适应仅适配图像域、难应用于多模态场景的问题,提出MADM方法,通过扩散伪标签生成、标签调色板与潜在回归提升跨模态能力,在多模态任务上取得SOTA性能并开源。
2024-10-29 cs.CV
CMMD: Contrastive Multi-Modal Diffusion for Video-Audio Conditional Modeling
University of California Irvine(加利福尼亚大学欧文分校);Microsoft Research(微软研究院)
本研究提出用于视频音频双向条件生成的多模态扩散模型CMMD,通过联合对比损失和跨模态简易融合模块,在生成质量、速度及音视频对齐上优于基线。
2024-10-09 cs.CV cs.LG cs.MM
FlexiD-Fuse: Flexible number of inputs multi-modal medical image fusion based on diffusion model
School of Physics(物理学院);Optoelectronic Engineering, Foshan University(光电工程学院,佛山大学);Guangdong-HongKong-Macao Joint Laboratory for Intelligent Micro-Nano Optoelectronic Technology(粤港澳联合智能微纳光电技术实验室);Guangdong Provincial Key Laboratory of Industrial Intelligent Inspection Technology(广东省工业智能检测技术重点实验室);School of Information Engineering(信息工程学院);Automation, Kunming University of Science(自动化系,昆明理工大学)
针对现有医学图像融合方法无法处理可变输入数量的问题,提出基于扩散模型和期望最大化算法的FlexiD-Fuse网络,实现灵活数量的双/三模态融合,在哈佛数据集上取得最优性能。
2025-09-11 cs.CV
On Learning Multi-Modal Forgery Representation for Diffusion Generated Video Detection
Shanghai Jiao Tong University(上海交通大学);Michigan State University(密歇根州立大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对扩散生成视频检测,提出多模态检测(MM-Det)算法,利用大型多模态模型生成多模态伪造表示,结合帧内和帧间注意力及动态融合,在构建的DVF数据集上达到最先进性能。
2025-06-19 cs.CV
Unified Discrete Diffusion for Simultaneous Vision-Language Generation
Nanyang Technological University(南洋理工大学);JD Explore Academy(京东探索研究院)
最近开发的离散扩散模型在文本到图像的任务中表现得非常好,显示出处理多模态信号的重要承诺。在这项工作中,我们利用这些特点,并提出了一个统一的多模态生成模型,可以进行“模态翻译”和“多模态生成”的任务,使用一个单一的模型,执行基于文本的,基于图像的,甚至视觉语言的同时生成。具体来说,我们统一的离散扩散过程的多模态信号,提出了一个统一的过渡矩阵。此外,我们设计了一个相互注意模块,融合嵌入层和一个统一的目标函数,强调模态间的联系,这是至关重要的多模态生成。大量的实验表明,我们提出的方法可以执行的国家的最先进的解决方案在各种生成任务。
2022-11-27 cs.CV
GDTS: Goal-Guided Diffusion Model with Tree Sampling for Multi-Modal Pedestrian Trajectory Prediction
The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
提出GDTS模型,通过目标估计引导扩散网络并结合两阶段树采样算法,解决了行人轨迹多模态预测中推理时间长和输入信息利用不足的问题,实现了实时且高精度的预测。
2025-03-03 cs.CV
AV-Link: Temporally-Aligned Diffusion Features for Cross-Modal Audio-Video Generation
Rice University(莱斯大学);Snap Inc(Snap公司)
AV-Link提出统一框架,通过时序对齐自注意力融合冻结的音视频扩散模型特征,同时实现视频到音频和音频到视频生成,在同步性上超越MovieGen等基线。
2025-03-10 cs.CV cs.LG cs.SD
Any-to-3D Generation via Hybrid Diffusion Supervision
Xiamen University(厦门大学)
本文提出XBind统一框架,通过跨模态预对齐、模态相似性损失、混合扩散监督与三阶段优化,首次实现从文本、图像、音频等任意模态生成三维物体。
2024-11-22 cs.CV
VI-Diff: Unpaired Visible-Infrared Translation Diffusion Model for Single Modality Labeled Visible-Infrared Person Re-identification
University of Chinese Academy of Sciences (UCAS)(中国科学院大学);The Center for Research on Intelligent Perception and Computing (CRIPAC)(智能感知与计算研究中心);Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所)
针对可见-红外行人重识别跨模态标注成本高的问题,提出VI-Diff扩散模型实现无配对可见-红外行人图像翻译,构建单模态标注结合翻译数据的训练集,性能优于现有扩散与GAN模型,为该任务提供低成本实用方案。
2023-10-06 cs.CV
Wavelet-Fusion Diffusion Model for Multimodal Brain MRI Synthesis with Modality and Metadata Conditioning
Department of Psychology & Neuroscience, Auckland University of Technology(心理学与神经科学系,奥克兰技术大学);Department of Psychiatry, University of Melbourne(精神病学系,墨尔本大学)
提出一种小波融合扩散模型(WFDM),结合小波融合变分自编码器(WF-VAE)和条件3D U-Net扩散模型,通过显式模态和元数据条件实现多模态脑MRI合成,解决了数据集模态覆盖不均和异质性问题,在分布对齐上优于现有方法。
2026-05-30 cs.CV
De-Diffusion Makes Text a Strong Cross-Modal Interface
Google DeepMind(谷歌DeepMind);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出 De-Diffusion 方法,将图像编码为文本并通过预训练扩散模型解码重建,使文本成为可解释且灵活的跨模态接口,在多种多模态任务上取得最优性能。
2023-11-01 cs.CV
MDMP: Multi-modal Diffusion for supervised Motion Predictions with uncertainty
University of Michigan(密歇根大学)
本文提出多模态扩散模型MDMP,融合骨骼数据与文本描述生成带不确定性量化的长期运动预测,其基于图的transformer框架有效捕捉时空动态,在预测精度上优于现有生成技术,并显著提升人机交互的空间感知。
2025-06-01 cs.CV
OmniVDiff: Omni Controllable Video Diffusion for Generation and Understanding
本文提出OmniVDiff全可控视频扩散框架,通过色彩空间联合分布学习与自适应控制策略,实现文本条件生成、视频理解及细粒度条件生成三大能力,在生成与理解任务中表现优异且适用于多下游场景。
2025-11-16 cs.CV
DiffSDA: Unsupervised Diffusion Sequential Disentanglement Across Modalities
Ben-Gurion University(本-古里安大学);VISTEC(泰国科学技术研究院)
本文提出DiffSDA,一种模态无关的无监督扩散序列解缠框架,利用潜在扩散和高效采样器,在时间序列、视频和音频等真实数据上优于现有最先进方法。
2025-10-07 cs.LG
DiffDis: Empowering Generative Diffusion Model with Cross-Modal Discrimination Capability
Sun Yat-sen University(中山大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
提出 DiffDis 框架,通过扩散过程统一跨模态生成与判别预训练,并以双流架构融合多尺度图像信息,在图像生成和零样本图文分类上均优于单任务模型。
2023-08-18 cs.CV