Diffusion Models already have a Semantic Latent Space
Yonsei University(延世大学)
扩散模型在各个领域都有出色的生成性能。尽管它们取得了巨大的成功,但它们缺乏控制生成过程所必需的语义潜空间。为了解决这个问题,我们提出了非对称反向过程(Aqlp),它可以发现冻结预训练扩散模型中的语义潜在空间。我们的语义潜在空间,命名为h-空间,具有很好的属性,以适应语义图像操作:均匀性,线性,鲁棒性和跨时间步长的一致性。此外,我们介绍了一个原则性的设计生成过程的通用编辑和质量提升的量化措施:编辑强度的时间间隔和质量缺陷的时间步长。我们的方法适用于各种体系结构(DDPM++,iD-网络和ADM)和数据集(CelebA-HQ,AFHQ-狗,LSUN-教堂,LSUN-卧室和METFACES)。项目页面:https://kwonminki.github.io/Asyrp/
2023-03-29 cs.CV
Diffusion As Self-Distillation: End-to-End Latent Diffusion In One Model
Institute of Artificial Intelligence(人工智能研究院);Peking University(北京大学)
针对标准潜在扩散模型三模块分阶段训练效率低、性能次优的问题,提出DSD框架通过修改训练目标解决潜在崩塌,首次实现单网络端到端训练编码、解码与扩散功能,在ImageNet生成任务上取得优异表现。
2025-11-18 cs.CV
Latent-Reframe: Enabling Camera Control for Video Diffusion Model without Training
University of Rochester(罗切斯特大学)
针对现有视频扩散模型相机控制需微调、成本高且破坏预训练分布的问题,提出Latent-Reframe方法,在采样阶段通过时间感知点云对齐潜码并优化,无需训练即可实现相当或更优的控制精度与视频质量。
2024-12-08 cs.CV
Unleashing the Potential of the Semantic Latent Space in Diffusion Models for Image Dehazing
MoE Key Laboratory of Brain-inspired Intelligent Perception and Cognition(脑启发式智能感知与认知联合实验室);University of Science and Technology of China(中国科学技术大学)
本文探索冻结预训练扩散模型语义潜空间中的雾天图像特性,提出DiffLI$^2$D去雾网络,整合不同时间步的扩散潜表示以指导去雾,避免重训练和迭代采样,在多个数据集上优于现有方法。
2025-09-24 cs.CV
Kaleido Diffusion: Improving Conditional Diffusion Models with Autoregressive Latent Modeling
Apple(苹果公司);Virginia Tech(弗吉尼亚理工大学)
针对扩散模型在高无分类器引导权重下样本多样性受限的问题,提出Kaleido方法,通过自回归语言模型生成多种离散潜在表示作为先验,有效提升了生成图像的多样性与质量,并增强了对生成过程的控制。
2024-05-31 cs.CV
Alias-Free Latent Diffusion Models: Improving Fractional Shift Equivariance of Diffusion Latent Space
S-Lab, Nanyang Technological University(南洋理工大学S实验室);Wangxuan Institute of Computer Technology, Peking University(北京大学王轩计算机技术研究所)
本文针对潜变量扩散模型生成过程不稳定、对输入平移敏感的问题,通过重新设计平移等变注意力模块并提出抑制特征频率带宽的等变性损失,构建了无混叠潜变量扩散模型AF-LDM,在视频编辑和图像转换等任务中显著提升了一致性。
2025-09-22 cs.CV
EnergyMoGen: Compositional Human Motion Generation with Energy-Based Diffusion Model in Latent Space
ReLER, AAII, University of Technology Sydney(技术悉尼大学);CCAI, Zhejiang University(浙江大学)
本文提出 EnergyMoGen,通过隐空间感知能量模型与语义感知能量模型的协同能量融合,解决隐扩散模型在多语义概念组合动作生成中的不一致与失真问题,在文本到动作、组合式及多概念动作生成任务上超越现有最先进模型,并可用于扩展动作数据集。
2025-06-04 cs.CV
Photorealistic and Identity-Preserving Image-Based Emotion Manipulation with Latent Diffusion Models
National Technical University of Athens(雅典国立技术大学)
本文提出一种结合潜在扩散模型与CLIP潜在表示的图像情感操控方法,在AffectNet上验证其在图像质量和真实感方面优于多种GAN方法,并公开代码。
2023-08-06 cs.CV
One Small Step in Latent, One Giant Leap for Pixels: Fast Latent Upscale Adapter for Your Diffusion Models
提出一种轻量级潜在上采样适配器,通过潜在空间单次前向传递实现高分辨率图像合成,提升效率并保持保真度。
2025-11-21 cs.CV
BiSLW: Bi-Spectral Latent Watermarking for Generative Diffusion Models
PDPM Indian Institute of Information Technology, Jabalpur(印度信息技术学院(贾巴尔普尔))
研究针对扩散生成模型易被非法使用且缺乏可靠溯源方法的问题,提出BiSLW框架,利用潜在空间频率结构在互补谱带嵌入身份信号,平衡感知保真度与鲁棒性。
2026-07-07 cs.CV
CAT: Contrastive Adversarial Training for Evaluating the Robustness of Protective Perturbations in Latent Diffusion Models
Department of Computer Science, City University of Hong Kong, Kowloon, Hong Kong SAR(香港城市大学计算机科学系)
该研究揭示潜在扩散模型中保护性对抗样本的起效机制,提出基于轻量适配器的对比对抗训练CAT方法攻击防护手段,证明其鲁棒性不足,推动相关防护的改进。
2025-06-16 cs.CV
Unsupervised Discovery of Semantic Latent Directions in Diffusion Models
Seoul National University(首尔国立大学);Yonsei University(延世大学)
尽管扩散模型(DM)取得了成功,但我们仍然缺乏对其潜在空间的透彻理解。虽然使用GANs的图像编辑建立在潜在空间上,但DM依赖于编辑文本提示等条件。我们提出了一个无监督的方法来发现可解释的编辑方向的潜变量$\mathbf{x}_t \in \mathcal{X}$的DM。我们的方法采用黎曼几何之间的$\mathcal{X}$和中间特征映射$\mathcal{H}$的U-网提供了一个深刻的理解的几何结构的$\mathcal{X}$。所发现的语义潜在方向大多产生分离的属性变化,并且它们在不同样本之间是全局一致的。此外,在较早的时间步中进行编辑会编辑粗略的属性,而在较晚的时间步中进行编辑则会关注高频细节。我们定义了样本之间线段的曲率,以表明$\mathcal{X}$是一个弯曲的流形。在不同基线和数据集上的实验证明了该方法在稳定扩散上的有效性。我们的源代码将公开提供给未来的研究人员。
2023-02-24 cs.CV
CLAD: Constrained Latent Action Diffusion for Vision-Language Procedure Planning
Machine Perception and Interaction group, Örebro University(机器感知与交互组,奥雷布罗大学);Collaborative Artificial Intelligence group, University of Stuttgart(协作人工智能组,斯图加特大学)
提出CLAD模型,利用变分自编码器学习动作和观测的潜在表示作为约束,引导扩散模型生成动作,在三个数据集上大幅超越现有方法。
2026-06-16 cs.CV
Latent Watermark: Inject and Detect Watermarks in Latent Diffusion Space
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
针对图像质量与水印鲁棒性难以兼顾的困境,提出在潜在扩散空间中注入和检测水印的Latent Watermark方法,采用渐进式训练策略缓解二者矛盾,在多项指标和攻击测试下显著优于现有方法。
2024-09-26 cs.CV
Blind Inversion using Latent Diffusion Priors
Peking University(北京大学)
本文提出LatentDEM,在EM框架中结合潜在扩散先验解决盲反问题,通过交替恢复图像与估计前向算子,并引入两种优化技术,在2D盲去模糊和3D稀疏视角重建上优于现有方法。
2024-07-01 cs.CV
Kidney Cancer Detection Using 3D-Based Latent Diffusion Models
Department of Medical Imaging, Radboudumc, Nijmegen, The Netherlands(医学影像系,拉德堡德大学医学中心,尼迈根,荷兰)
本文提出基于3D潜在扩散模型的肾癌检测方法,结合DDPMs、DDIMs和VQ-GANs,通过弱监督实现高效异常检测。
2026-01-09 cs.CV
3D-LDM: Neural Implicit 3D Shape Generation with Latent Diffusion Models
National University of Singapore(新加坡国立大学);Technical University of Munich(慕尼黑工业大学);Bernard M. Baruch College(伯纳德·M·巴鲁克学院);Stanford University(斯坦福大学);Computational Design Institute(计算设计研究所);Adobe(奥多比公司)
扩散模型在图像生成方面表现出了巨大的潜力,在生成多样性方面击败了GANs,并具有相当的图像质量。然而,它们对3D形状的应用仅限于点或体素表示,这些表示在实践中不能准确地表示3D表面。我们提出了一个扩散模型的神经隐式表示的3D形状,在潜在的自动解码器的空间。这使我们能够生成多样化和高质量的3D表面。我们还表明,我们可以在图像或文本上调整我们的模型,以使用CLIP嵌入实现图像到3D的生成和文本到3D的生成。此外,将噪声添加到现有形状的潜在代码中,使我们能够探索形状的变化。
2022-12-15 cs.CV
LDFaceNet: Latent Diffusion-based Network for High-Fidelity Deepfake Generation
Birla Institute of Technology and Science, Pilani Campus(毕拉理工科学技术大学皮拉尼校区)
本文提出 LDFaceNet,一种结合人脸分割、识别引导与方向损失的潜在扩散换脸模型,可免重训练加入额外人脸引导,生成更逼真、连贯且多样的高保真换脸图像。
2024-08-04 cs.CV
Adverse Weather Conditions Augmentation of LiDAR Scenes with Latent Diffusion Models
University of Wuppertal(乌珀塔尔大学);Aptiv Services Deutschland GmbH(Aptiv Services德国公司)
本文提出基于潜在扩散模型的方法,通过生成模型增强激光雷达场景在恶劣天气下的真实性,提升自动驾驶系统的鲁棒性。
2025-01-03 cs.CV
Particle-Filtering-based Latent Diffusion for Inverse Problems
University of Waterloo(滑铁卢大学)
本文提出基于粒子滤波的隐式扩散(PFLD)框架,用于逆问题求解时探索解空间,实验显示其在FFHQ-1K和ImageNet-1K数据集的三类逆问题任务中优于SoTA求解器PSLD。
2026-07-30 cs.CV
Nested Diffusion Models Using Hierarchical Latent Priors
The University of Chicago(芝加哥大学)
本研究提出采用分层隐变量先验的嵌套扩散模型,通过多扩散模型分层生成隐变量并引导生成过程,借助预训练视觉编码器构建隐变量,在多数据集上提升生成质量且计算开销极小。
2024-12-08 cs.CV
Probability Density Geodesics in Image Diffusion Latent Space
Australian National University(澳大利亚国立大学);GE Research(通用电气研究中心)
本文提出在图像扩散潜空间中按概率密度加权计算测地线,并给出求解算法,实现免训练的图像序列插值与外推。
2025-05-07 cs.CV
LaMD: Latent Motion Diffusion for Image-Conditional Video Generation
School of Remote Sensing and Information Engineering, Wuhan University(武汉大学遥感信息工程学院);Microsoft Research Asia(微软亚洲研究院)
针对图像条件视频生成中运动连贯性与采样效率的问题,提出LaMD框架,通过运动分解视频自动编码器压缩运动表示,结合扩散运动生成器高效生成真实运动,在多数据集上实现高质量视频生成并缩短采样时间。
2025-04-18 cs.CV
LVMark: Robust Watermark for Latent Video Diffusion Models
Department of Artificial Intelligence, Korea University, Seoul 02841, Republic of Korea(人工智能系,韩国大学,首尔02841,大韩民国);Google DeepMind, Mountain View, CA 94043, USA(谷歌DeepMind,山景城,加利福尼亚州94043,美国)
针对视频扩散模型现有水印方法的局限,提出LVMark方法,通过学习相邻帧一致性设计新颖水印解码器,结合小波域低频分量与视频颜色特征确保解码准确,训练潜在解码器保持视觉保真,平衡视觉质量与比特精度,实现高容量鲁棒水印嵌入。
2026-07-15 cs.CV
FLDM-VTON: Faithful Latent Diffusion Model for Virtual Try-on
Institute of Science and Technology for Brain-inspired Intelligence, Fudan University(复旦大学脑智能科学与技术研究院);School of Computer Science, Fudan University(复旦大学计算机科学技术学院);Suzhou Xiangji Technology Service Co., Ltd.(苏州湘记科技服务有限公司)
针对现有潜在扩散模型虚拟试穿方法服装细节保真性不足的问题,提出FLDM-VTON模型,通过引入扭曲服装先验、服装展平监督和服装后验采样,在基准数据集上实现了更优的细节保真试穿效果。
2024-05-19 cs.CV
Decoupling Complexity from Scale in Latent Diffusion Model
Kling Team, Kuaishou Technology(快手科技 Kling 团队)
DCS-LDM通过解耦信息复杂度与尺度,实现灵活的计算-质量权衡和多尺度视觉生成。
2025-11-20 cs.CV
DA-VAE: Plug-in Latent Compression for Diffusion via Detail Alignment
Multimedia Laboratory, The Chinese University of Hong Kong(香港中文大学多媒体实验室);Adobe NextCam;Shanghai AI Laboratory(上海人工智能实验室);CPII under InnoHK(创新香港下的CPII)
本文提出DA-VAE,通过轻量级调整预训练扩散模型,实现潜在空间压缩,使1024×1024图像生成使用32×32 tokens,比原模型减少40%,并支持2048×2048生成,保持图像质量。
2026-03-23 cs.CV
Solving Inverse Problems with Latent Diffusion Models via Hard Data Consistency
University of Michigan(密歇根大学);Microsoft(微软公司)
本文提出 ReSample 算法,通过反向采样中的硬数据一致性优化与新型重采样方案,使预训练潜在扩散模型可有效求解自然及医学图像中的线性、非线性逆问题。
2024-04-16 cs.CV
Structure-Preserving Zero-Shot Image Editing via Stage-Wise Latent Injection in Diffusion Models
Department of Image(图像系);Department of Artificial Intelligence(人工智能系)
本研究提出一种基于扩散模型的零样本图像编辑框架,通过阶段式潜变量注入策略与扩散反转等技术,在保留源图结构的同时实现精准细粒度编辑,无需微调即可统一文本与参考引导编辑,在多类编辑任务上达到SOTA性能。
2025-05-20 cs.CV
Diffusion Model as a Noise-Aware Latent Reward Model for Step-Level Preference Optimization
MAIS, CASIA(中国科学院自动化研究所MAIS实验室);Kuaishou Technology(快手科技);School of Artificial Intelligence, UCAS(中国科学院大学人工智能学院)
针对扩散模型步级偏好优化中现有VLM奖励模型的缺陷,提出复用扩散模型组件的潜空间奖励模型LRM及直接在含噪潜空间优化的LPO方法,提升多维度偏好对齐效果且训练速度最高提升28倍。
2025-10-02 cs.CV
High-Resolution Image Synthesis with Latent Diffusion Models
Ludwig Maximilian University of Munich(慕尼黑大学);Heidelberg University(海德堡大学);Runway ML(Runway ML公司)
通过将图像形成过程分解为去噪自动编码器的顺序应用,扩散模型(DM)在图像数据和其他数据上实现了最先进的合成结果。此外,它们的制定允许引导机制来控制图像生成过程而无需重新训练。然而,由于这些模型通常直接在像素空间中操作,因此对强大DM的优化通常会消耗数百个GPU天,并且由于顺序评估,推断是昂贵的。为了在有限的计算资源上进行DM训练,同时保持其质量和灵活性,我们将其应用于功能强大的预训练自动编码器的潜在空间中。与以前的工作相比,在这样的表示上训练扩散模型允许第一次在复杂性降低和细节保留之间达到接近最佳的点,大大提高了视觉保真度。通过在模型架构中引入交叉注意层,我们将扩散模型转变为强大而灵活的生成器,用于文本或边界框等一般条件输入,并以卷积方式实现高分辨率合成。我们的潜空间扩散模型(LDMs)实现了图像修补的最新技术水平,并在各种任务上具有高度竞争力的性能,包括无条件图像生成,语义场景合成和超分辨率,同时与基于像素的DM相比显着降低了计算要求。代码可在https://github.com/CompVis/latent-diffusion上获得。
2022-04-13 cs.CV
Latent Beam Diffusion Models for Generating Visual Sequences
NOVA LINCS, NOVA School of Science and Technology(NOVA LINCS、NOVA科学与技术学校)
本文提出BeamDiffusion,通过潜在空间束搜索与交叉注意力剪枝实现图像序列的条件生成,解决扩散模型在序列生成中的视觉一致性问题,实验证明其在连贯性、视觉连续性和文本对齐方面优于基线方法。
2025-09-20 cs.CV
Synthesizing Coherent Story with Auto-Regressive Latent Diffusion Models
University of Waterloo(滑铁卢大学);Alibaba Group(阿里巴巴集团);Vector Institute(向量研究所)
条件扩散模型已经证明了最先进的文本到图像的合成能力。近年来,大部分的工作集中在合成独立的图像,而对于现实世界的应用,它是常见的和必要的,以产生一系列连贯的图像的故事。在这项工作中,我们主要专注于故事可视化和延续任务,并提出了AR-LDM,一个潜空间扩散模型自回归条件下的历史字幕和生成的图像。此外,AR-LDM可以通过适应性推广到新的字符。据我们所知,这是第一个成功地利用扩散模型连贯的视觉故事合成的工作。定量结果表明,AR-LDM在PororoSV、FlintstonesSV和新引入的包含自然图像的挑战性数据集VIST上实现了SoTA FID评分。大规模的人类评估表明,AR-LDM在质量,相关性和一致性方面具有优越的性能。
2022-11-20 cs.CV
Controllable Mesh Generation Through Sparse Latent Point Diffusion Models
Shanghai AI Laboratory(上海人工智能实验室);Shanghai Jiao Tong University(上海交通大学);The Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学)
网格生成在计算机图形学和虚拟内容等领域具有重要的应用价值,但由于网格的数据结构不规则和同类网格拓扑结构不一致,网格生成模型的设计具有挑战性。在这项工作中,我们设计了一种新的稀疏潜在点扩散模型的网格生成。我们的关键见解是把点云作为网格的中间表示,并模拟点云的分布。虽然网格可以通过像点形状(SAP)这样的技术从点云生成,但可以有效地避免直接生成网格的挑战。为了提高我们的网格生成方法的效率和可控性,我们建议进一步编码点云到一组稀疏的潜在点与逐点语义有意义的功能,其中两个DDPM是在稀疏的潜在点的空间中训练,分别模拟潜在点的位置和功能在这些潜在点的分布。我们发现在这个潜在空间中进行采样比直接对密集点云进行采样更快。此外,稀疏的潜在点也使我们能够显式地控制生成的网格的整体结构和局部细节。在ShapeNet数据集上进行了大量的实验,与现有方法相比,我们提出的稀疏潜在点扩散模型在生成质量和可控性方面具有优异的性能。
2023-03-15 cs.CV
Boosting Latent Diffusion with Flow Matching
LMU Munich(慕尼黑大学);CompVis(CompVis实验室);MCML(慕尼黑计算与机器学习中心)
本文提出在冻结扩散模型与卷积解码器之间引入 Flow Matching,以低计算成本兼顾多样性与高分辨率图像合成,并可扩展至 2048²。
2024-12-04 cs.CV
Isometric Representation Learning for Disentangled Latent Space of Diffusion Models
Seoul National University(首尔大学);Google Research(谷歌研究院)
针对扩散模型潜在空间纠缠和映射畸变问题,提出等距扩散方法,通过几何正则化器学习解纠缠潜在空间,实现更平滑插值、更精确反演和更精细属性控制,实验验证有效。
2024-07-16 cs.CV cs.LG
DiffusionCT: Latent Diffusion Model for CT Image Standardization
University of Kentucky(肯塔基大学);Rensselaer Polytechnic Institute(伦斯勒理工学院)
计算机断层扫描(CT)是有效的肺癌筛查,诊断,治疗和预后的方式之一。从CT图像中提取的特征现在用于量化肿瘤的空间和时间变化。然而,从具有定制采集协议的各种扫描仪获得的CT图像可能引入纹理特征的相当大的变化,即使对于同一患者。这对下游研究提出了根本性的挑战,需要一致和可靠的特征分析。现有的CT图像协调模型依赖于基于GAN的监督或半监督学习,性能有限。这项工作解决了CT图像协调使用一个新的扩散为基础的模型,命名为DiffusionCT,标准化从不同的供应商和协议获得的CT图像的问题。DiffusionCT通过将潜在的非标准分布映射到标准分布来在潜在空间中操作。DiffusionCT集成了一个基于Unet的编码器-解码器,并通过集成到瓶颈部分的扩散模型进行了增强。该模型分为两个训练阶段。首先训练编码器-解码器,而不嵌入扩散模型,以学习输入数据的潜在表示。然后在下一个训练阶段训练潜在扩散模型,同时固定编码器-解码器。最后,解码器将标准化图像与变换后的潜在表示合成。实验结果表明,使用DiffusionCT的标准化任务的性能显着提高。
2023-03-25 cs.CV eess.IV
Latent-Compressed Variational Autoencoder for Video Diffusion Models
Aalto University(阿alto大学);ELLIS Institute Finland(ELLIS研究所芬兰);University of Oulu(奥卢大学)
本文提出一种潜在压缩方法,通过去除视频潜在表示中的高频成分而非直接减少通道数,提升视频生成质量与压缩效率。
2026-04-12 cs.AI cs.CV
Latent Diffusion Inversion Requires Understanding the Latent Space
Vanderbilt University(范德比大学)
本文研究了扩散模型在潜在空间中的记忆现象,发现潜在空间中记忆分布不均,提出通过排序潜在维度来提升模型性能,实验显示在多个数据集上性能提升显著。
2026-03-25 cs.CV cs.LG
DC-AE 1.5: Accelerating Diffusion Model Convergence with Structured Latent Space
NVIDIA
针对增加自编码器潜通道数会拖慢扩散模型收敛的问题,研究提出带结构化潜空间与增强扩散训练的DC-AE 1.5,在ImageNet 512x512上实现更优生成质量与4倍速度提升。
2025-08-01 cs.AI cs.CV
On the Robustness of Latent Diffusion Models
The Chinese University of Hong Kong(香港中文大学);Antgroup(蚂蚁集团);Sun Yat-sen University(中山大学)
针对潜在扩散模型鲁棒性研究不足、缺乏基准数据集的问题,本文从白盒、黑盒场景全面分析其鲁棒性,并提出两类自动数据集构建流程、发布完整基准数据集,助力相关研究。
2023-06-14 cs.CR cs.CV
Latent Forcing: Reordering the Diffusion Trajectory for Pixel-Space Image Generation
stanford(斯坦福大学);umich(密歇根大学)
本文提出潜在强制方法,通过重新排列扩散轨迹提升像素空间图像生成效率,实现端到端建模优势,取得ImageNet上的新突破。
2026-02-11 cs.CV cs.LG
Transparent Image Layer Diffusion using Latent Transparency
Stanford University(斯坦福大学)
该研究提出LayerDiffuse方法,通过学习潜在透明度微调预训练潜在扩散模型以生成透明图像,支持多类应用,用户偏好度和素材质量均表现优异。
2024-06-23 cs.CV cs.GR
LT3SD: Latent Trees for 3D Scene Diffusion
Technical University of Munich(慕尼黑技术大学)
提出LT3SD潜在扩散模型,利用潜在树表示从粗到细编码3D场景的几何与细节,通过场景块训练实现任意尺寸大规模3D场景的高质量生成与概率补全。
2025-05-01 cs.AI cs.CV
Unifying Diffusion Models' Latent Space, with Applications to CycleDiffusion and Guidance
Carnegie Mellon University(卡内基梅隆大学)
扩散模型在生成式建模中取得了前所未有的性能。通常采用的扩散模型的潜在代码的公式是逐渐去噪的样本的序列,与更简单的(例如,高斯)GANs、VAE和归一化流的潜在空间。本文提供了一种替代方案,高斯制定的潜在空间的各种扩散模型,以及一个可逆的DPM编码器,图像映射到潜在空间。虽然我们的配方是纯粹基于扩散模型的定义,我们证明了几个有趣的后果。(1)从经验上讲,我们观察到一个共同的潜在空间出现在两个扩散模型独立训练相关领域。鉴于这一发现,我们提出了CycleDiffusion,它使用DPM编码器进行不成对的图像到图像的翻译。此外,应用CycleDiffusion的文本到图像的扩散模型,我们表明,大规模的文本到图像的扩散模型可以被用作zero-shot图像到图像的编辑器。(2)人们可以通过控制基于能量模型的统一即插即用公式中的潜在代码来指导预先训练的扩散模型和GANs。使用CLIP模型和人脸识别模型作为指导,我们证明了扩散模型比GANs更好地覆盖低密度子群体和个体。该代码可在https://github.com/ChenWu98/cycle-diffusion上公开获取。
2022-12-07 cs.CV cs.GR cs.LG
Measurement-Consistent Langevin Corrector for Stabilizing Latent Diffusion Inverse Problem Solvers
Sookmyung Women's University(成均馆女子大学)
针对潜在扩散模型逆问题求解器的不稳定性,提出测量一致朗之万校正器(MCLC),通过测量一致的朗之万更新缩小求解器与稳定反向扩散之间的差距,实现稳定可靠的潜在空间求解。
2026-06-05 cs.CV cs.LG
CASL: Concept-Aligned Sparse Latents for Interpreting Diffusion Models
University of Virginia(弗吉尼亚大学)
CASL通过监督框架将扩散模型的稀疏潜在维度与语义概念对齐,提升生成图像的解释性和编辑精度。
2026-01-21 cs.CV cs.LG
Disentanglement in T-space for Faster and Distributed Training of Diffusion Models with Fewer Latent-states
Amazon(亚马逊)
该研究挑战扩散模型需大量潜态的假设,通过精心设计噪声调度实现少潜态训练,并提出T空间完全解耦的单潜态模型,组合后生成高质量样本且收敛速度快4-6倍。
2025-08-20 cs.CV cs.LG
Investigating Data Memorization in 3D Latent Diffusion Models for Medical Image Synthesis
Heidelberg University Hospital(海德堡大学医院);German Centre for Cardiovascular Research(德国心血管研究中心);Heidelberg University(海德堡大学);University Medical Center Mannheim(曼海姆大学医学中心)
本文评估三维潜在扩散模型在两类医学影像数据上的记忆能力,利用对比学习自监督模型检测训练样本记忆,发现模型确实存在记忆现象并呼吁开发缓解策略。
2023-07-06 cs.CV eess.IV
Latent Diffusion Model without Variational Autoencoder
Department of Automation, Tsinghua University(自动化系,清华大学);Kling Team, Kuaishou Technology(快手科技 Kling 团队)
SVG提出了一种无需变分自编码器的潜在扩散模型,通过自监督表示提升视觉生成的效率和质量。
2026-03-02 cs.AI cs.CV
Prompt-tuning latent diffusion models for inverse problems
Google Research(谷歌研究院);KAIST(韩国科学技术院)
本研究针对现有潜在扩散模型解决成像逆问题时空文本提示性能欠佳、易出伪影的问题,提出实时联合优化文本嵌入的提示调优与潜变量投影方法,组合为P2L,在多类逆任务上性能更优。
2023-10-02 cs.AI cs.CV cs.LG
Sampling 3D Gaussian Scenes in Seconds with Latent Diffusion Models
University of Glasgow(格拉斯哥大学);University of Edinburgh(爱丁堡大学)
本研究提出仅用2D图像训练的3D场景潜在扩散模型,通过自编码器构建3D高斯泼溅的潜在表示并训练多视图扩散模型,在两个大规模数据集上实现0.2秒生成高质量3D场景,速度较同类模型快一个数量级。
2024-06-18 cs.CV cs.LG
The Impact of VAE Design on Latent Pose Representations for Diffusion-based Sign Language Production
CNRS(国家科学研究中心);Inria(法国国家信息与自动化技术研究所);LORIA(洛林信息与自动化研究所)
研究变分自编码器(VAE)架构和训练目标设计如何影响潜在空间结构,进而影响基于潜在扩散模型的手语生成性能,发现潜在空间特性比重建精度更能解释生成性能差异。
2026-06-23 cs.AI cs.CV
Efficient Video Diffusion Models via Content-Frame Motion-Latent Decomposition
KAIST(韩国科学技术院);NVIDIA Corporation(英伟达公司);UC Berkeley(加州大学伯克利分校);Caltech(加州理工学院)
提出内容-运动潜变量扩散模型CMD,通过将视频分解为内容帧与低维运动潜变量表示,利用预训练图像扩散模型生成内容帧并训练轻量级模型生成运动潜变量,显著提升了视频生成质量并大幅降低了计算成本。
2024-03-21 cs.CV cs.LG