ShaLa: Multimodal Shared Latent Space Modelling
针对现有多模态方法易掩盖跨模态共享高级语义、多模态VAEs存在后验设计难和合成质量低的问题，提出ShaLa框架，通过新型架构推理模型和扩散先验提升推理与合成性能，在多基准上表现更优且可扩展至更多模态。
2025-08-24 cs.CV cs.LG
Latent Forcing: Reordering the Diffusion Trajectory for Pixel-Space Image Generation
stanford（斯坦福大学）；umich（密歇根大学）
本文提出潜在强制方法，通过重新排列扩散轨迹提升像素空间图像生成效率，实现端到端建模优势，取得ImageNet上的新突破。
2026-02-11 cs.CV cs.LG
Measurement-Consistent Langevin Corrector for Stabilizing Latent Diffusion Inverse Problem Solvers
Sookmyung Women's University（成均馆女子大学）
针对潜在扩散模型逆问题求解器的不稳定性，提出测量一致朗之万校正器（MCLC），通过测量一致的朗之万更新缩小求解器与稳定反向扩散之间的差距，实现稳定可靠的潜在空间求解。
2026-06-05 cs.CV cs.LG
Towards General Modality Translation with Contrastive and Predictive Latent Diffusion Bridge
Bosch AI Center（博世人工智能中心）；Ben-Gurion University of the Negev（巴伊兰大学）；Technical University of Munich（慕尼黑技术大学）
本文提出LDDBM框架，基于潜扩散桥实现任意模态间翻译，通过对比与预测损失增强语义一致性，在多项任务上表现优异。
2025-10-26 cs.AI cs.CV cs.LG
CASL: Concept-Aligned Sparse Latents for Interpreting Diffusion Models
University of Virginia（弗吉尼亚大学）
CASL通过监督框架将扩散模型的稀疏潜在维度与语义概念对齐，提升生成图像的解释性和编辑精度。
2026-01-21 cs.CV cs.LG
A Simple Latent Diffusion Approach for Panoptic Segmentation and Mask Inpainting
INSAIT；Google DeepMind（谷歌DeepMind）
提出基于稳定扩散的潜在扩散方法，简化全景分割架构，无需复杂模块，通过两步训练实现掩膜修复，在COCO和ADE20k上表现优异，并支持多任务。
2024-07-16 cs.CV cs.LG
SyncGAN: Synchronize the Latent Space of Cross-modal Generative Adversarial Networks
National Cheng Kung University（国立成功大学）
生成对抗网络（GAN）在跨域生成方面取得了令人瞩目的成功，但由于异构数据之间缺乏共同的分布，在跨模态生成方面面临困难。现有的基于条件的跨模态GANs方法大多采用单向传输策略，并在文本到图像的传输上取得了初步的成功。我们的目标不是学习不同模态之间的转换，而是学习一个代表跨模态共同概念的同步潜在空间。提出了一种新的网络组件同步器来判断数据对是否同步/对应，从而约束了GANs中生成器的潜在空间。我们的GAN模型，命名为SyncGAN，可以成功地生成同步数据（例如，一对图像和声音）与相同的随机噪声。为了将数据从一种模态转换为另一种模态，我们通过反转生成器的映射来恢复潜在代码，并使用它来生成不同模态的数据。此外，该模型还可以实现半监督学习，这使得我们的模型在实际应用中更加灵活。
2018-04-02 cs.CV
Disentanglement in T-space for Faster and Distributed Training of Diffusion Models with Fewer Latent-states
Amazon（亚马逊）
该研究挑战扩散模型需大量潜态的假设，通过精心设计噪声调度实现少潜态训练，并提出T空间完全解耦的单潜态模型，组合后生成高质量样本且收敛速度快4-6倍。
2025-08-20 cs.CV cs.LG
Harmonized Multimodal Learning with Gaussian Process Latent Variable Models
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Noah’s Ark Lab（诺亚方舟实验室）；The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
多模态学习旨在发现多种模态之间的关系。由于跨模态检索等多模态检索的广泛应用，它已成为一个重要的研究课题。本文试图解决模态异质性问题的基础上高斯过程隐变量模型（GPLVM）表示多模态数据在一个共同的空间。以前的多模态GPLVM扩展通常采用隐表示和核超参数的个体学习方案，忽略了它们之间的内在关系。为了利用不同模态和GPLVM组件之间的强大互补性，我们开发了一种名为Harmonization的新学习方案，其中潜在模型参数相互联合学习。除了在现有研究中广泛使用的相关拟合或模态内结构保存范式之外，协调是以模型驱动的方式导出的，以鼓励模态特定的GP内核之间的协议和潜在表征的相似性。我们提出了一系列的多模态学习模型，将协调机制纳入几个代表性的基于GPLVM的方法。在四个基准数据集上的实验结果表明，所提出的模型在跨模态检索任务中的性能优于强基线，并且协调的多模态学习方法在发现语义一致的潜在表示方面具有优势。
2019-08-14 cs.CV cs.IR cs.LG
Unifying Diffusion Models' Latent Space, with Applications to CycleDiffusion and Guidance
Carnegie Mellon University（卡内基梅隆大学）
扩散模型在生成式建模中取得了前所未有的性能。通常采用的扩散模型的潜在代码的公式是逐渐去噪的样本的序列，与更简单的（例如，高斯）GANs、VAE和归一化流的潜在空间。本文提供了一种替代方案，高斯制定的潜在空间的各种扩散模型，以及一个可逆的DPM编码器，图像映射到潜在空间。虽然我们的配方是纯粹基于扩散模型的定义，我们证明了几个有趣的后果。(1)从经验上讲，我们观察到一个共同的潜在空间出现在两个扩散模型独立训练相关领域。鉴于这一发现，我们提出了CycleDiffusion，它使用DPM编码器进行不成对的图像到图像的翻译。此外，应用CycleDiffusion的文本到图像的扩散模型，我们表明，大规模的文本到图像的扩散模型可以被用作zero-shot图像到图像的编辑器。(2)人们可以通过控制基于能量模型的统一即插即用公式中的潜在代码来指导预先训练的扩散模型和GANs。使用CLIP模型和人脸识别模型作为指导，我们证明了扩散模型比GANs更好地覆盖低密度子群体和个体。该代码可在https://github.com/ChenWu98/cycle-diffusion上公开获取。
2022-12-07 cs.CV cs.GR cs.LG
CoLa-Diff: Conditional Latent Diffusion Model for Multi-Modal MRI Synthesis
University of Dundee（邓迪大学）；University of Cambridge（剑桥大学）；University of Bath（巴斯大学）；East China Normal University（华东师范大学）
MRI合成有望缓解临床实践中缺失MRI模态的挑战。扩散模型通过模拟复杂多变的数据分布，已成为图像合成的一种有效技术。然而，大多数基于扩散的MRI合成模型使用单一模态。由于它们在原始图像域中操作，因此它们是存储密集型的并且对于多模态合成不太可行。此外，它们通常不能在MRI中保留解剖结构。此外，平衡来自多模态MRI输入的多个条件对于多模态合成至关重要。在这里，我们提出了第一个基于扩散的多模态MRI合成模型，即条件潜在扩散模型（CoLa-Diff）。为了减少内存消耗，我们设计了CoLa-Diff在潜在空间中操作。我们提出了一种新的网络架构，例如，类似于协同滤波，解决了潜在空间中可能存在的压缩和噪声问题。为了更好地保持解剖结构，大脑区域掩模被引入作为密度分布的先验，以指导扩散过程。我们进一步提出了自动权重自适应，以有效地利用多模态信息。我们的实验表明，CoLa-Diff优于其他国家的最先进的MRI合成方法，有望作为一个有效的工具，多模态MRI合成。
2023-03-24 cs.CV eess.IV
Unsupervised Deformable Registration for Multi-Modal Images via Disentangled Representations
Imperial College London（帝国理工学院）；Siemens Healthineers（西门子医疗）
我们提出了一种完全无监督的多模态可变形图像配准方法（UMMs），该方法在训练过程中不需要任何地面真实变形场或任何对齐的多模态图像对。多模态配准是医学图像分析中的一个关键问题。由于不同模态之间的关系复杂且未知，因此非常具有挑战性。在本文中，我们提出了一个无监督学习的方法来减少多模式的注册问题，通过图像去纠缠的一个单一的模式。特别是，我们将这两种模式的图像分解为一个共同的潜在形状空间和单独的潜在外观空间，通过无监督的多模态图像到图像的翻译方法。该方法建立在原图像域中存在的固有形状变形保持在该隐空间中的基础上。具体来说，已经提出了两个指标来训练所提出的网络：在公共形状空间中定义的潜在相似性指标和基于对抗性损失的基于学习的图像相似性指标。我们研究了我们提出的方法的不同变化，并将其与传统的最先进的多模态配准方法进行了比较。结果表明，我们提出的方法实现了竞争力的性能对其他方法在大幅减少计算时间。
2019-03-22 cs.CV
PeLAP-A: Adaptive Latent Pruning for Lightweight Latent Diffusion Models
National University of Computer and Emerging Sciences（国立计算机与新兴科学大学）
提出PeLAP-A框架，通过可学习的通道重要性预测器对潜在通道进行自适应剪枝，发现强稀疏正则化下所有通道被抑制但去噪UNet性能反而提升，揭示潜在扩散模型的信息冗余现象。
2026-06-23 cs.LG
Latent Diffusion : Multi-Dimension Stable Diffusion Latent Space Explorer
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））
针对 Stable Diffusion 缺乏直观潜向量控制的问题，本文提出可定制潜空间操作框架，并通过两件生成艺术作品验证其概念融合与动态运动生成能力。
2025-09-26 cs.AI cs.LG
Adaptive Latent Diffusion Model for 3D Medical Image to Image Translation: Multi-modal Magnetic Resonance Imaging Study
Sungkyunkwan University（成均馆大学）
本文提出基于潜在扩散模型和MS-SPADE可切换模块的三维医学图像转换方法，实现单模型一对多模态MRI合成，并在多模态脑MRI和IXI数据集上优于现有模型。
2023-11-01 cs.CV eess.IV
Prompt-tuning latent diffusion models for inverse problems
Google Research（谷歌研究院）；KAIST（韩国科学技术院）
本研究针对现有潜在扩散模型解决成像逆问题时空文本提示性能欠佳、易出伪影的问题，提出实时联合优化文本嵌入的提示调优与潜变量投影方法，组合为P2L，在多类逆任务上性能更优。
2023-10-02 cs.AI cs.CV cs.LG
Unified Multi-Modal Latent Diffusion for Joint Subject and Text Conditional Image Generation
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Microsoft Research（微软研究院）
目前，通过使用扩散模型，放射学引导的图像生成已经取得了很大的成功。然而，文本可能不太详细，无法描述高度特定的主题，例如特定的狗或特定的汽车，这使得纯文本到图像的生成不够准确，无法满足用户的要求。在这项工作中，我们提出了一种新的统一多模态潜在扩散（UMM扩散），它需要联合文本和图像包含指定的主题作为输入序列，并生成定制的图像与主题。更具体地说，输入的文本和图像都被编码到一个统一的多模态潜空间中，在该潜空间中，输入的图像被学习以投影到伪词嵌入，并且可以进一步与文本组合以指导图像生成。此外，为了消除输入图像中的背景或光照等不相关部分，我们提出了一种新的扩散模型采样技术，用于图像生成器，融合了多模态输入和纯文本输入的结果。通过利用大规模预训练的文本到图像生成器和设计的图像编码器，我们的方法能够从输入文本和图像两个方面生成具有复杂语义的高质量图像。
2023-03-16 cs.CV
MM-LDM: Multi-Modal Latent Diffusion Model for Sounding Video Generation
Institute of Automation, Chinese Academy of Science（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；University of Adelaide（阿德莱德大学）
本文提出多模态潜在扩散模型MM-LDM，通过统一音视频表示为图像并构建分层多模态自编码器，在有声视频生成任务上取得新SOTA，并展现出强泛化能力。
2024-10-02 cs.CV
Towards Unified and Lossless Latent Space for 3D Molecular Latent Diffusion Modeling
University of Science and Technology of China（中国科学技术大学）；National University of Singapore（新加坡国立大学）；DP Technology（DP技术）
本文提出统一变分自编码器UAE-3D，将3D分子压缩至无损的统一潜在空间，消除了多模态与等变性处理复杂性，结合Diffusion Transformer在3D分子生成任务中实现了领先的效率与质量。
2025-10-13 cs.LG
Unified Backbone Refinement for Diffusion Models via Internal-Latent Analysis
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；INEEJI
研究扩散模型骨干细化问题，提出DUNE框架，通过分析内部潜变量检测突变偏差，对选定条目进行骨干特定抑制，可自然扩展到基于Transformer的模型，经实验验证该方法能提高保真度并减少幻觉。
2026-07-14 cs.AI cs.CV cs.LG
Hyperbolic Geometric Latent Diffusion Model for Graph Generation
Guangxi Normal University（广西师范大学）；Beihang University（北京航空航天大学）
针对现有潜在扩散模型难以保留图拓扑信息的问题，本文提出基于双曲几何的 HypDiff 框架，通过径向与角度约束的各向异性潜在扩散过程提升图生成效果。
2024-05-06 cs.LG
What Matters for Diffusion-Friendly Latent Manifold? Prior-Aligned Autoencoders for Latent Diffusion
Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究院，中国科学院）；Beihang University（北航）；Sun Yat-sen University（中山大学）；Nankai University（南开大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文研究潜在 manifold 组织对扩散模型生成质量的影响，提出 PAE 显式构建潜在 manifold，提升训练效率和生成质量，达到新状态的 gFID 1.03。
2026-05-08 cs.CV
Single Mesh Diffusion Models with Field Latents for Texture Generation
Google Research（谷歌研究院）；PlayStation
提出直接在3D表面操作的场潜变量扩散模型框架，通过离散向量场编码纹理并学习去噪，实现高质量单网格纹理生成、编辑与迁移。
2024-05-28 cs.CV cs.GR cs.LG
Collaborative Diffusion for Multi-Modal Face Generation and Editing
S-Lab, Nanyang Technological University（南洋理工大学S-Lab）
本文提出 Collaborative Diffusion，通过元网络 dynamic diffuser 协调多个预训练单模态扩散模型，在无需重训的情况下实现多模态人脸生成与编辑。
2023-04-20 cs.CV
FedDiff: Diffusion Model Driven Federated Learning for Multi-Modal and Multi-Clients
Xidian University（西安电子科技大学）；Hunan University（湖南大学）
针对多模态遥感数据融合中的隐私与分布式控制挑战，提出扩散模型驱动的联邦学习框架FedDiff，通过双分支扩散模型提取互补特征并嵌入轻量级通信模块，显著提升了图像质量与条件一致性。
2023-11-16 cs.AI cs.CV cs.LG
Taming Sampling Perturbations with Variance Expansion Loss for Latent Diffusion Models
University of Electronic Science and Technology of China（电子科学与技术大学）
本文提出方差扩展损失，通过对抗重建与方差扩展的交互，提升潜在空间鲁棒性，改进扩散生成质量。
2026-03-22 cs.CV
PiD: Fast and High-Resolution Latent Decoding with Pixel Diffusion
NVIDIA
提出像素扩散解码器PiD，将潜解码重构为条件像素扩散，统一解码与上采样，实现低延迟高分辨率图像生成。
2026-05-22 cs.CV
Smooth Diffusion: Crafting Smooth Latent Spaces in Diffusion Models
Georgia Tech（佐治亚理工学院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Tsinghua University（清华大学）；Picsart AI Research (PAIR)（Picsart人工智能研究院（PAIR））
本文提出 Smooth Diffusion，通过逐步变化正则化和 ISTD 指标构建并评估平滑潜空间，以即插即用 Smooth-LoRA 提升 T2I 生成及下游任务表现。
2023-12-07 cs.CV
Improving Vector-Quantized Image Modeling with Latent Consistency-Matching Diffusion
Sony AI（索尼人工智能研究院）；Stanford University（斯坦福大学）；Sony Group Corporation（索尼集团公司）
针对向量量化图像建模中端到端联合训练易导致嵌入崩溃的问题，提出连续空间潜在扩散框架VQ-LCMD，结合变分下界与一致性匹配损失及噪声调度策略稳定训练，在多个图像生成基准上取得更优效果。
2025-04-01 cs.LG
LatentCRF: Continuous CRF for Efficient Latent Diffusion
Google Research（谷歌研究院）；Stony Brook University（石溪大学）
针对LDM多次推理迭代导致延迟的问题，提出作为神经网络层的连续CRF模型LatentCRF，通过建模潜在向量间关系替代部分计算密集的推理迭代，在无质量和多样性损失下将推理效率提升33%，且无需修改原LDM。
2024-12-24 cs.CV
Zero-Shot Video Restoration and Enhancement with Text-to-Image Latent Diffusion Models and Multi-Modal References
School of Electrical and Information Engineering, Tianjin University（天津大学电气自动化与信息工程学院）；Lappeenranta-Lahti University of Technology LUT（拉彭兰塔-拉赫蒂理工大学（LUT））
该研究针对文本到图像潜在扩散模型用于视频恢复时出现的时间闪烁问题，提出结合多模态参考的零样本视频恢复增强框架，通过双提示调优反演采样等技术提升效率与时间一致性，实验验证其优越性。
2026-08-28 cs.CV
Adaptive Clinical-Aware Latent Diffusion for Multimodal Brain Image Generation and Missing Modality Imputation
ACADiff通过自适应临床感知扩散模型，实现多模态脑图像生成与缺失模态插值，提升阿尔茨海默病诊断的准确性和鲁棒性。
2026-03-10 cs.AI cs.CV
MM-Diffusion: Learning Multi-Modal Diffusion Models for Joint Audio and Video Generation
Renmin University of China（中国人民大学）；Peking University（北京大学）；Microsoft Research（微软研究院）
我们提出了第一个联合音频视频生成框架，同时带来了引人入胜的观看和收听体验，以实现高质量的逼真视频。为了生成联合音频-视频对，我们提出了一种新的多模态扩散模型（即，MM扩散），具有两个耦合的去噪自动编码器。与现有的单模态扩散模型相比，MM-扩散由一个顺序的多模态U-网络组成，用于设计的联合去噪过程。音频和视频的两个学习器从高斯噪声中逐渐生成对齐的音频-视频对。为了确保跨模态的语义一致性，我们提出了一种新的基于随机移位的注意力块桥接在两个通道上，这使得有效的跨模态对齐，从而加强了彼此的音频-视频保真度。大量的实验显示了无条件音频-视频生成和zero-shot条件任务（例如，视频到音频）。特别是，我们在Landscape和AIST++跳舞数据集上实现了最佳的FVD和FAD。1万票的图灵测试进一步证明了我们模型的主导偏好。代码和预训练模型可以在https://github.com/researchmm/MM-Diffusion下载。
2023-03-24 cs.CV
Latent Diffusion for Missing Data
Technical University of Denmark（丹麦技术大学）；Pioneer Centre for Artificial Intelligence（先锋人工智能中心）
提出两阶段框架，先利用鲁棒VAE从缺失数据中学习潜在表示，再训练扩散模型，在MCAR缺失率高达50%时仍保持高质量生成，优于像素空间扩散。
2026-06-23 cs.LG stat.ML
Latent Diffusion Models with Masked AutoEncoders
Seoul National University（首尔国立大学）
针对现有潜在扩散模型的自编码器无法同时满足潜在平滑性、感知压缩质量、重建质量三项关键属性的问题，提出融合掩码自编码器分层特征的变分掩码自编码器，构建新型潜在扩散模型LDMAE并开源代码。
2025-10-22 cs.CV
Decoding Diffusion: A Scalable Framework for Unsupervised Analysis of Latent Space Biases and Representations Using Natural Language Prompts
University of Waterloo（滑铁卢大学）
本文提出一种利用自然语言提示和图像描述映射潜在方向的无监督框架，无需训练特定向量即可自动分析扩散模型潜在空间中的偏差和表示，实现更可扩展和可解释的理解。
2024-11-04 cs.AI cs.CL cs.CV
Principled Latent Diffusion for Graphs via Laplacian Autoencoders
Faculty of Computer Science（计算机科学系）
本文提出LG-Flow框架，通过置换等价自编码器实现图的近无损重建，解决图生成中扩散过程的二次复杂度问题，实现高效生成。
2026-05-12 cs.LG
Diffusion Models already have a Semantic Latent Space
Yonsei University（延世大学）
扩散模型在各个领域都有出色的生成性能。尽管它们取得了巨大的成功，但它们缺乏控制生成过程所必需的语义潜空间。为了解决这个问题，我们提出了非对称反向过程（Aqlp），它可以发现冻结预训练扩散模型中的语义潜在空间。我们的语义潜在空间，命名为h-空间，具有很好的属性，以适应语义图像操作：均匀性，线性，鲁棒性和跨时间步长的一致性。此外，我们介绍了一个原则性的设计生成过程的通用编辑和质量提升的量化措施：编辑强度的时间间隔和质量缺陷的时间步长。我们的方法适用于各种体系结构（DDPM++，iD-网络和ADM）和数据集（CelebA-HQ，AFHQ-狗，LSUN-教堂，LSUN-卧室和METFACES）。项目页面：https://kwonminki.github.io/Asyrp/
2023-03-29 cs.CV
Diffusion As Self-Distillation: End-to-End Latent Diffusion In One Model
Institute of Artificial Intelligence（人工智能研究院）；Peking University（北京大学）
针对标准潜在扩散模型三模块分阶段训练效率低、性能次优的问题，提出DSD框架通过修改训练目标解决潜在崩塌，首次实现单网络端到端训练编码、解码与扩散功能，在ImageNet生成任务上取得优异表现。
2025-11-18 cs.CV
Latent-Reframe: Enabling Camera Control for Video Diffusion Model without Training
University of Rochester（罗切斯特大学）
针对现有视频扩散模型相机控制需微调、成本高且破坏预训练分布的问题，提出Latent-Reframe方法，在采样阶段通过时间感知点云对齐潜码并优化，无需训练即可实现相当或更优的控制精度与视频质量。
2024-12-08 cs.CV
Cross-Modal Guidance for Fast Diffusion-Based Computed Tomography
本文提出一种无需重新训练扩散模型的跨模态引导方法，用于提升稀疏视图中子CT的重建质量。
2026-03-01 cs.CV
DiLaDiff: Distilled Latent-Augmented Diffusion for Language Modeling
NVIDIA（英伟达）
提出DiLaDiff，通过连续潜在空间、潜在扩散模型和一致性蒸馏解决扩散语言模型在解码令牌相关性上的不足，提升采样质量和推理速度。
2026-05-22 cs.AI cs.CL cs.LG
Unleashing the Potential of the Semantic Latent Space in Diffusion Models for Image Dehazing
MoE Key Laboratory of Brain-inspired Intelligent Perception and Cognition（脑启发式智能感知与认知联合实验室）；University of Science and Technology of China（中国科学技术大学）
本文探索冻结预训练扩散模型语义潜空间中的雾天图像特性，提出DiffLI$^2$D去雾网络，整合不同时间步的扩散潜表示以指导去雾，避免重训练和迭代采样，在多个数据集上优于现有方法。
2025-09-24 cs.CV
Latent-Augmented Discrete Diffusion Models
Inria（法国国家信息与自动化技术研究院）；PSL Research University（巴黎社会科学高等研究院）；CMAP（巴黎高等理工学院应用数学与计算科学实验室）；Ecole Polytechnique Palaiseau, France（法国巴黎高等理工学院Palaiseau分校）；Sakana AI Tokyo, Japan（日本东京Sakana AI公司）
本文提出LADD模型，通过引入可学习的辅助潜在通道，在联合（token，latent）空间进行扩散，提升离散扩散模型的性能和效率。
2026-05-12 cs.AI cs.LG stat.ML
Kaleido Diffusion: Improving Conditional Diffusion Models with Autoregressive Latent Modeling
Apple（苹果公司）；Virginia Tech（弗吉尼亚理工大学）
针对扩散模型在高无分类器引导权重下样本多样性受限的问题，提出Kaleido方法，通过自回归语言模型生成多种离散潜在表示作为先验，有效提升了生成图像的多样性与质量，并增强了对生成过程的控制。
2024-05-31 cs.CV
DiffusionCT: Latent Diffusion Model for CT Image Standardization
University of Kentucky（肯塔基大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
计算机断层扫描（CT）是有效的肺癌筛查，诊断，治疗和预后的方式之一。从CT图像中提取的特征现在用于量化肿瘤的空间和时间变化。然而，从具有定制采集协议的各种扫描仪获得的CT图像可能引入纹理特征的相当大的变化，即使对于同一患者。这对下游研究提出了根本性的挑战，需要一致和可靠的特征分析。现有的CT图像协调模型依赖于基于GAN的监督或半监督学习，性能有限。这项工作解决了CT图像协调使用一个新的扩散为基础的模型，命名为DiffusionCT，标准化从不同的供应商和协议获得的CT图像的问题。DiffusionCT通过将潜在的非标准分布映射到标准分布来在潜在空间中操作。DiffusionCT集成了一个基于Unet的编码器-解码器，并通过集成到瓶颈部分的扩散模型进行了增强。该模型分为两个训练阶段。首先训练编码器-解码器，而不嵌入扩散模型，以学习输入数据的潜在表示。然后在下一个训练阶段训练潜在扩散模型，同时固定编码器-解码器。最后，解码器将标准化图像与变换后的潜在表示合成。实验结果表明，使用DiffusionCT的标准化任务的性能显着提高。
2023-03-25 cs.CV eess.IV
Alias-Free Latent Diffusion Models: Improving Fractional Shift Equivariance of Diffusion Latent Space
S-Lab, Nanyang Technological University（南洋理工大学S实验室）；Wangxuan Institute of Computer Technology, Peking University（北京大学王轩计算机技术研究所）
本文针对潜变量扩散模型生成过程不稳定、对输入平移敏感的问题，通过重新设计平移等变注意力模块并提出抑制特征频率带宽的等变性损失，构建了无混叠潜变量扩散模型AF-LDM，在视频编辑和图像转换等任务中显著提升了一致性。
2025-09-22 cs.CV
Diffusion Models For Multi-Modal Generative Modeling
University at Buffalo（布法罗大学）；Amazon（亚马逊公司）
本文提出一种在公共扩散空间构建统一多模态扩散模型的原则性方法，通过共享主干网络与特定模态解码器实现多模态数据生成，并在ImageNet上验证了其有效性。
2024-09-24 cs.CV
StEP: Style-based Encoder Pre-training for Multi-modal Image Synthesis
University of Maryland College Park（马里兰大学学院公园分校）
我们提出了一种新的方法，多模态图像到图像（I2I）的翻译。为了解决输入域和输出域之间的一对多关系，以前的工作使用复杂的训练目标来学习潜在嵌入，与生成器一起，对输出域的可变性进行建模。相比之下，我们直接对图像的风格变化进行建模，独立于图像合成任务。具体来说，我们使用一种新的代理任务来预训练一个通用风格编码器，以学习将图像从任意域嵌入到低维风格潜在空间中。学习的潜在空间介绍了几个优点，比以前的传统方法多模态I2I翻译。首先，它不依赖于目标数据集，并且可以很好地推广到多个领域。第二，它学习了一个更强大和更有表现力的潜在空间，这提高了风格捕捉和转移的保真度。所提出的风格预训练也简化了训练目标，并显着加快了训练速度。此外，我们提供了一个详细的研究不同的损失条款的多模态I2I翻译的任务的贡献，并提出了一个简单的替代VAE，使采样不受约束的潜在空间。最后，我们在六个具有挑战性的基准测试中获得了最先进的结果，其中一个简单的训练目标仅包括GAN损失和重建损失。
2021-04-14 cs.CV
EnergyMoGen: Compositional Human Motion Generation with Energy-Based Diffusion Model in Latent Space
ReLER, AAII, University of Technology Sydney（技术悉尼大学）；CCAI, Zhejiang University（浙江大学）
本文提出 EnergyMoGen，通过隐空间感知能量模型与语义感知能量模型的协同能量融合，解决隐扩散模型在多语义概念组合动作生成中的不一致与失真问题，在文本到动作、组合式及多概念动作生成任务上超越现有最先进模型，并可用于扩展动作数据集。
2025-06-04 cs.CV
Latent-Compressed Variational Autoencoder for Video Diffusion Models
Aalto University（阿alto大学）；ELLIS Institute Finland（ELLIS研究所芬兰）；University of Oulu（奥卢大学）
本文提出一种潜在压缩方法，通过去除视频潜在表示中的高频成分而非直接减少通道数，提升视频生成质量与压缩效率。
2026-04-12 cs.AI cs.CV
Multi-modal Gaussian Process Variational Autoencoders for Neural and Behavioral Data
Fordham University（福特汉姆大学）；Georgia Institute of Technology（佐治亚理工学院）；Icahn School of Medicine at Mount Sinai（Mount Sinai医学院）；University of California, San Diego（加州大学圣地亚哥分校）
本文提出多模态高斯过程变分自编码器，用于分析神经和行为数据的共享与独立潜在结构，提升数据重建和解释性。
2026-02-11 cs.LG q-bio.NC
A Study of Posterior Stability for Time-Series Latent Diffusion
University of Cambridge（剑桥大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本文针对时间序列隐扩散模型中的后验坍缩问题，提出依赖度量方法进行理论分析，并设计具有稳定后验的新框架，在多个真实数据集上显著提升时间序列合成性能。
2024-10-02 cs.LG
AMM-Diff: Adaptive Multi-Modality Diffusion Network for Missing Modality Imputation
Quantif（Quantif机构）；University of Rouen-Normandy（鲁昂-诺曼底大学）；CLCC Henri Becquerel（亨利·贝克勒尔癌症中心）
针对临床中MR模态缺失影响脑肿瘤分割的问题，提出自适应多模态扩散网络AMM-Diff，通过图像-频率融合网络学习统一表示并结合自适应重建策略，在BraTS 2021上实现任意输入配置下的缺失模态补全。
2025-01-22 cs.CV
