SOLD: SELFIES-based Objective-driven Latent Diffusion
The Pingry School(彭里学校)
针对直接在三维构象空间生成靶蛋白条件分子的低效复杂问题,本文提出 SOLD 潜在扩散模型,在一维 SELFIES 字符串潜在空间中生成高亲和力分子,并引入 SELFIES transformer 与多任务损失平衡方法。
2025-09-03 cs.LG
Latent Diffusion : Multi-Dimension Stable Diffusion Latent Space Explorer
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州))
针对 Stable Diffusion 缺乏直观潜向量控制的问题,本文提出可定制潜空间操作框架,并通过两件生成艺术作品验证其概念融合与动态运动生成能力。
2025-09-26 cs.AI cs.LG
Reasoning with Latent Tokens in Diffusion Language Models
Carnegie Mellon University(卡内基梅隆大学)
本文提出通过引入潜在令牌提升扩散语言模型在需要全局一致性和前瞻性的推理任务中的性能。
2026-02-03 cs.LG
Smoothing Dark Areas in Molecular Latent Diffusion
New York University(纽约大学);Stanford University(斯坦福大学)
针对分子潜在扩散中存在的暗区问题,提出拓扑优化VAE(TopVAE),通过训练时内化结构和化学约束,减少暗区,提升离后验鲁棒性,在QM9和GEOM-Drugs上取得显著改进。
2026-06-15 cs.LG
Decoupled Latent Optimization of Diffusion Models for Full Waveform Inversion
School of Mathematical Sciences, Shanghai Jiao Tong University(上海交通大学数学科学学院);CMA-Shanghai, Shanghai Jiao Tong University(上海交通大学CMA-上海)
提出解耦潜变量优化(DLO),通过二次惩罚目标分离物理变量和潜变量,结合数据保真度梯度和扩散先验,在OpenFWI基准上优于经典正则化和现有扩散方法。
2026-06-15 cs.LG
Latent Diffusion for Missing Data
Technical University of Denmark(丹麦技术大学);Pioneer Centre for Artificial Intelligence(先锋人工智能中心)
提出两阶段框架,先利用鲁棒VAE从缺失数据中学习潜在表示,再训练扩散模型,在MCAR缺失率高达50%时仍保持高质量生成,优于像素空间扩散。
2026-06-23 cs.LG stat.ML
Latent Diffusion Inversion Requires Understanding the Latent Space
Vanderbilt University(范德比大学)
本文研究了扩散模型在潜在空间中的记忆现象,发现潜在空间中记忆分布不均,提出通过排序潜在维度来提升模型性能,实验显示在多个数据集上性能提升显著。
2026-03-25 cs.CV cs.LG
Latent Diffusion for Language Generation
Cornell University(康奈尔大学)
针对扩散模型在离散语言领域应用受限的问题,提出结合编码器-解码器语言自编码器与潜在空间连续扩散模型的语言生成方法,在多类生成任务上效果优于过往扩散语言模型。
2023-11-07 cs.CL cs.LG
DiLaDiff: Distilled Latent-Augmented Diffusion for Language Modeling
NVIDIA(英伟达)
提出DiLaDiff,通过连续潜在空间、潜在扩散模型和一致性蒸馏解决扩散语言模型在解码令牌相关性上的不足,提升采样质量和推理速度。
2026-05-22 cs.AI cs.CL cs.LG
Exploring Molecule Generation Using Latent Space Graph Diffusion
Saarland University(萨尔大学);DFKI(德国人工智能研究中心)
本文系统探索分子图的潜空间扩散生成,比较多种生成流模型与GNN架构及超参数,发现性能对方法和设计选择高度敏感,并开源代码。
2025-01-07 cs.AI cs.LG
Latent-Augmented Discrete Diffusion Models
Inria(法国国家信息与自动化技术研究院);PSL Research University(巴黎社会科学高等研究院);CMAP(巴黎高等理工学院应用数学与计算科学实验室);Ecole Polytechnique Palaiseau, France(法国巴黎高等理工学院Palaiseau分校);Sakana AI Tokyo, Japan(日本东京Sakana AI公司)
本文提出LADD模型,通过引入可学习的辅助潜在通道,在联合(token,latent)空间进行扩散,提升离散扩散模型的性能和效率。
2026-05-12 cs.AI cs.LG stat.ML
Latent Forcing: Reordering the Diffusion Trajectory for Pixel-Space Image Generation
stanford(斯坦福大学);umich(密歇根大学)
本文提出潜在强制方法,通过重新排列扩散轨迹提升像素空间图像生成效率,实现端到端建模优势,取得ImageNet上的新突破。
2026-02-11 cs.CV cs.LG
Latent Dynamical Implicit Diffusion Processes
本文提出 LDIDPs 潜隐变量模型,利用隐式扩散过程建模并采样动力学潜隐过程与序列观测,在合成及模拟神经解码任务中准确学习潜隐动力学并高效生成高质量样本。
2023-08-16 cs.LG stat.ML
Unifying Diffusion Models' Latent Space, with Applications to CycleDiffusion and Guidance
Carnegie Mellon University(卡内基梅隆大学)
扩散模型在生成式建模中取得了前所未有的性能。通常采用的扩散模型的潜在代码的公式是逐渐去噪的样本的序列,与更简单的(例如,高斯)GANs、VAE和归一化流的潜在空间。本文提供了一种替代方案,高斯制定的潜在空间的各种扩散模型,以及一个可逆的DPM编码器,图像映射到潜在空间。虽然我们的配方是纯粹基于扩散模型的定义,我们证明了几个有趣的后果。(1)从经验上讲,我们观察到一个共同的潜在空间出现在两个扩散模型独立训练相关领域。鉴于这一发现,我们提出了CycleDiffusion,它使用DPM编码器进行不成对的图像到图像的翻译。此外,应用CycleDiffusion的文本到图像的扩散模型,我们表明,大规模的文本到图像的扩散模型可以被用作zero-shot图像到图像的编辑器。(2)人们可以通过控制基于能量模型的统一即插即用公式中的潜在代码来指导预先训练的扩散模型和GANs。使用CLIP模型和人脸识别模型作为指导,我们证明了扩散模型比GANs更好地覆盖低密度子群体和个体。该代码可在https://github.com/ChenWu98/cycle-diffusion上公开获取。
2022-12-07 cs.CV cs.GR cs.LG
Geometric Latent Diffusion Models for 3D Molecule Generation
Stanford University(斯坦福大学)
针对3D分子生成问题,提出首个分子几何领域的潜在扩散模型GeoLDM,通过构建带不变标量和等变张量的点结构潜在空间满足旋转-平移等变约束,在多个基准上性能更优且可控生成能力更强。
2023-05-02 cs.LG q-bio.QM
Intrinsic-Hybrid Latent Diffusion Models for Generative Modeling on Unknown Manifolds
School of Mathematics and Statistics, University of Glasgow(格拉斯哥大学数学与统计学院)
该研究提出ILDM框架,将概率降维与未知流形几何感知扩散结合,通过混合扩散与近似去噪得分匹配方法,在三类数据集上实现生成质量提升,降低了FID和LPIPS分数。
2026-08-06 cs.LG stat.ML
Measurement-Consistent Langevin Corrector for Stabilizing Latent Diffusion Inverse Problem Solvers
Sookmyung Women's University(成均馆女子大学)
针对潜在扩散模型逆问题求解器的不稳定性,提出测量一致朗之万校正器(MCLC),通过测量一致的朗之万更新缩小求解器与稳定反向扩散之间的差距,实现稳定可靠的潜在空间求解。
2026-06-05 cs.CV cs.LG
Lost in Latent Space: An Empirical Study of Latent Diffusion Models for Physics Emulation
Polymathic AI;Flatiron Institute;University of Liège(列日大学);New York University(纽约大学);Princeton University(普林斯顿大学);Université Paris-Saclay, Université Paris Cité, CEA, CNRS, AIM(巴黎-萨克莱大学、巴黎-cite大学、CEA、CNRS、AIM)
本研究探讨了在自编码器潜空间中生成以降低计算开销的扩散模型作为物理仿真器的有效性,发现该方法在高达1000倍压缩率下依然鲁棒且优于非生成式方法,并总结了训练潜空间仿真器的关键设计选择。
2025-10-31 cs.LG physics.flu-dyn
LDMol: A Text-to-Molecule Diffusion Model with Structurally Informative Latent Space Surpasses AR Models
本文提出文本到分子生成的潜在扩散模型 LDMol,通过对比学习构建结构信息潜在空间,在基准上超越自回归模型,并支持分子检索与编辑等下游任务。
2025-06-04 cs.AI cs.LG
CASL: Concept-Aligned Sparse Latents for Interpreting Diffusion Models
University of Virginia(弗吉尼亚大学)
CASL通过监督框架将扩散模型的稀疏潜在维度与语义概念对齐,提升生成图像的解释性和编辑精度。
2026-01-21 cs.CV cs.LG
A Simple Latent Diffusion Approach for Panoptic Segmentation and Mask Inpainting
INSAIT;Google DeepMind(谷歌DeepMind)
提出基于稳定扩散的潜在扩散方法,简化全景分割架构,无需复杂模块,通过两步训练实现掩膜修复,在COCO和ADE20k上表现优异,并支持多任务。
2024-07-16 cs.CV cs.LG
Latent Diffusion Energy-Based Model for Interpretable Text Modeling
UCLA(加州大学洛杉矶分校);Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院);Salesforce Research(赛富时研究院);Google Brain(谷歌大脑);Peking University(北京大学);Tsinghua University(清华大学)
针对潜在空间能量基模型MCMC采样退化导致的生成质量差、训练不稳定问题,提出结合扩散模型与潜在空间EBM的潜在扩散能量基模型,辅以几何聚类正则化和信息瓶颈优化,在可解释文本建模任务上性能优于强基线。
2023-10-04 cs.CL cs.LG
Disentanglement in T-space for Faster and Distributed Training of Diffusion Models with Fewer Latent-states
Amazon(亚马逊)
该研究挑战扩散模型需大量潜态的假设,通过精心设计噪声调度实现少潜态训练,并提出T空间完全解耦的单潜态模型,组合后生成高质量样本且收敛速度快4-6倍。
2025-08-20 cs.CV cs.LG
Training Latent Diffusion Models with Interacting Particle Algorithms
Department of Mathematics, Imperial College London(伦敦帝国理工学院数学系)
本文提出一种基于粒子的算法用于端到端训练潜在扩散模型,通过最小化自由能泛函并利用相互作用粒子系统实现梯度流,理论分析证明其有效性,并在实验中优于传统粒子方法和变分推断。
2026-03-29 cs.LG stat.ML
Sampling 3D Gaussian Scenes in Seconds with Latent Diffusion Models
University of Glasgow(格拉斯哥大学);University of Edinburgh(爱丁堡大学)
本研究提出仅用2D图像训练的3D场景潜在扩散模型,通过自编码器构建3D高斯泼溅的潜在表示并训练多视图扩散模型,在两个大规模数据集上实现0.2秒生成高质量3D场景,速度较同类模型快一个数量级。
2024-06-18 cs.CV cs.LG
Towards diffusion models for large-scale sea-ice modelling
CEREA;Ecole des Ponts(巴黎路桥学院);EDF R&D(法国电力公司研发部);Nansen Environmental and Remote Sensing Center(南森环境与遥感中心)
本文首次将潜扩散模型应用于北极海冰状态的无条件生成,通过截断高斯分布强制物理边界,在保持性能的同时改善边缘冰区表征,并指出平滑问题是未来关键挑战。
2024-07-22 cs.LG physics.ao-ph
Prompt-tuning latent diffusion models for inverse problems
Google Research(谷歌研究院);KAIST(韩国科学技术院)
本研究针对现有潜在扩散模型解决成像逆问题时空文本提示性能欠佳、易出伪影的问题,提出实时联合优化文本嵌入的提示调优与潜变量投影方法,组合为P2L,在多类逆任务上性能更优。
2023-10-02 cs.AI cs.CV cs.LG
Latent Schr{ö}dinger Bridge Diffusion Model for Generative Learning
School of Mathematics and Statistics, Wuhan University(武汉大学数学与统计学院);Center of Statistical Research and School of Statistics, Southwestern University of Finance and Economics(西南财经大学统计研究中心与统计学院)
本文提出一种利用潜空间薛定谔桥扩散模型的生成式学习方法,通过预训练编码器-解码器架构并建立端到端误差分析,有效控制二阶Wasserstein距离并缓解维度灾难,为扩散模型提供理论支持。
2024-12-22 cs.LG stat.ML
Efficient Video Diffusion Models via Content-Frame Motion-Latent Decomposition
KAIST(韩国科学技术院);NVIDIA Corporation(英伟达公司);UC Berkeley(加州大学伯克利分校);Caltech(加州理工学院)
提出内容-运动潜变量扩散模型CMD,通过将视频分解为内容帧与低维运动潜变量表示,利用预训练图像扩散模型生成内容帧并训练轻量级模型生成运动潜变量,显著提升了视频生成质量并大幅降低了计算成本。
2024-03-21 cs.CV cs.LG
Arbitrage-Aware Probabilistic Multi-Step Forecasting of Implied Volatility Surfaces: Joint Generation of Surface-Return Trajectories Using Latent Diffusion
University of St.Gallen(圣加仑大学)
针对隐含波动率曲面的多步预测问题,提出条件潜在扩散框架,结合考虑套利的自编码器与扩散模型,在SPX数据集上生成逼真多步场景且点预测性能优于持续性基准。
2026-10-20 cs.LG q-fin.MF
SCALEX: Scalable Concept and Latent Exploration for Diffusion Models
University of Waterloo(滑铁卢大学)
SCALEX通过自然语言提示实现扩散模型潜在空间的可扩展自动化探索,能够检测性别偏见、评估语义对齐并揭示概念结构。
2025-11-20 cs.AI cs.LG
Towards Latent Diffusion Suitable For Text
University of Amsterdam(阿姆斯特丹大学)
本文提出神经流扩散模型,用于高效生成文本,通过改进连续扩散模型在离散空间的应用,提升语言生成的连贯性和效率。
2026-01-07 cs.CL cs.LG stat.ML
PSyDUCK: Training-Free Steganography for Latent Diffusion
University of Oxford(牛津大学)
本文提出PSyDUCK,一种面向潜在扩散模型的无训练、模型无关隐写框架,通过潜在去噪过程中的受控发散和局部混合实现高容量安全嵌入,并扩展至视频扩散模型,在图像和视频数据集上优于现有方法。
2025-03-08 cs.CR cs.LG
Video Probabilistic Diffusion Models in Projected Latent Space
KAIST(韩国科学技术院);Google Research(谷歌研究院)
尽管在深度生成模型方面取得了显着进展,但由于其高维性和复杂的时间动态以及大的空间变化,合成高分辨率和时间相干的视频仍然是一个挑战。最近的工作扩散模型已经显示出他们的潜力,以解决这一挑战,但他们遭受严重的计算和内存效率低下,限制了可扩展性。为了解决这个问题,我们提出了一种新的生成模型的视频,创造投影潜在视频扩散模型(PVDM),概率扩散模型,学习视频分布在一个低维的潜在空间,从而可以有效地训练与高分辨率的视频在有限的资源。具体来说,PVDM由两个组件组成:(a)一个自动编码器,它将给定的视频投影为2D形状的潜在向量,这些潜在向量对视频像素的复杂立方结构进行因式分解;以及(b)一个扩散模型架构,专门用于我们新的因式分解潜在空间和训练/采样过程,以便用单个模型合成任意长度的视频。在流行的视频生成数据集上的实验证明了PVDM与以前的视频合成方法相比的优越性;例如,PVDM在UCF-101长视频(128帧)生成基准上获得639.7的FVD分数,这提高了现有技术的1773.4。
2023-03-30 cs.CV cs.LG
LaDiR: Latent Diffusion Enhances LLMs for Text Reasoning
University of California, San Diego(加州大学圣迭戈分校);Apple(苹果公司)
LaDiR通过结合连续潜在表示的表达力与潜在扩散模型的迭代精炼能力,提升大语言模型在文本推理中的准确性、多样性和可解释性。
2026-04-23 cs.AI cs.CL cs.LG
Monthly Diffusion v0.9: A Latent Diffusion Model for the First AI-MIP
Department of Atmospheric & Oceanic Sciences(大气与海洋科学系)
本文提出Monthly Diffusion v0.9,采用受SFNO启发的CVAE架构,在低频大气内部变异性建模中利用潜在扩散,以每月均值时间步长在数据稀疏条件下进行前向步骤。
2026-04-15 cs.AI cs.LG physics.ao-ph
Latent Diffusion Posterior Sampling with Surrogate Likelihood Guidance for PDE Inverse Problems
Department of Civil and Environmental Engineering(土木与环境工程系);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出L-DPS框架,结合VAE、潜扩散模型和可微代理,高效求解PDE逆问题,在达西流逆问题中优于现有方法。
2026-06-26 cs.CE cs.LG
A PDE-Informed Latent Diffusion Model for 2-m Temperature Downscaling
Department of Computer Science(计算机科学系);Duke University(杜克大学);Department of Electrical Engineering(电气工程系)
本研究针对大气2米温度高分辨率降尺度问题,提出融入PDE损失项的物理条件约束潜扩散模型,通过微调提升生成场物理合理性,代码已开源。
2025-10-27 cs.AI cs.LG
PSI3D: Plug-and-Play 3D Stochastic Inference with Slice-wise Latent Diffusion Prior
Johns Hopkins University(约翰霍普金斯大学)
PSI3D通过切片式潜在扩散先验和总变分正则化,提升大规模3D随机推断在OCT超分辨率中的重建质量。
2026-08-06 cs.LG eess.IV
Unified Latents (UL): How to train your latents
Google DeepMind(谷歌DeepMind)
本文提出统一潜在空间框架,通过结合扩散先验和模型实现高效潜在表示学习,实现在ImageNet-512和Kinetics-600上的优异性能。
2026-02-19 cs.CV cs.LG
Flash-Split: 2D Reflection Removal with Flash Cues and Latent Diffusion Separation
University of Maryland(马里兰大学)
本文提出Flash-Split框架,利用闪光/无闪光图像对在潜在空间中进行双阶段扩散分离与跨潜在解码,有效去除透明表面反射并恢复高分辨率细节,在真实场景中显著超越现有方法。
2024-12-31 cs.CV cs.LG
Orchid: Image Latent Diffusion for Joint Appearance and Geometry Generation
Google DeepMind(谷歌DeepMind);Georgia Institute of Technology(佐治亚理工学院);Waymo
该研究提出统一潜在扩散模型Orchid,通过学习联合外观-几何先验在单一扩散过程中生成颜色、深度和表面法线图像,效率与连贯性优于现有方法,在几何预测任务中表现出色且支持多种应用。
2025-08-23 cs.CV cs.LG
Accelerating the Generation of Molecular Conformations with Progressive Distillation of Equivariant Latent Diffusion Models
Stanford University(斯坦福大学);NVIDIA(英伟达公司)
本研究将快速采样方法应用于 3 维分子构象生成,提出 Equivariant Latent Progressive Distillation 算法,在保持几何等变性的同时实现高达 7.5 倍的采样加速,且分子稳定性下降有限,为高通量分子筛选提供了巨大潜力。
2024-04-21 cs.LG q-bio.QM
Optimal Stopping in Latent Diffusion Models
Google DeepMind(谷歌DeepMind);INRIA, ENS-PSL, Paris(INRIA、巴黎大学-PSL)
研究揭示了潜在扩散模型中潜在维度与停止时间对样本质量的影响,提出通过调整停止时间优化生成质量的方法。
2026-03-02 cs.LG stat.ML
LatentMan: Generating Consistent Animated Characters using Image Diffusion Models
KAUST(阿卜杜拉国王科技大学)
提出LatentMan零样本方法,利用文本动作扩散模型指导T2I模型生成连续动作动画角色视频,通过Spatial Latent Alignment和Pixel-Wise Guidance提升帧间时间一致性,优于现有零样本T2V方法。
2024-06-02 cs.CV cs.LG
Ada-Diffuser: Latent-Aware Adaptive Diffusion for Decision-Making
University of California San Diego(加州大学圣地亚哥分校);Carnegie Mellon University(卡内基梅隆大学);MBZUAI;Stanford University(斯坦福大学);Johns Hopkins University(约翰霍普金斯大学)
本文提出Ada-Diffuser,通过显式建模潜在动态过程,提升决策制定的精度与适应性,实验验证其在模拟控制与机器人基准中的有效性。
2026-05-15 cs.AI cs.LG
REPA-E: Unlocking VAE for End-to-End Tuning with Latent Diffusion Transformers
Australian National University(澳大利亚国立大学);Data61 CSIRO(Data61澳大利亚联邦科学与工业研究组织);New York University(纽约大学)
针对潜在扩散Transformer与VAE端到端训练效果差的问题,提出基于REPA损失的REPA-E训练方案,大幅提升训练速度,同时优化VAE性能,在ImageNet 256×256上刷新生成任务SOTA。
2025-10-22 cs.CV cs.LG
Unified Backbone Refinement for Diffusion Models via Internal-Latent Analysis
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);INEEJI
研究扩散模型骨干细化问题,提出DUNE框架,通过分析内部潜变量检测突变偏差,对选定条目进行骨干特定抑制,可自然扩展到基于Transformer的模型,经实验验证该方法能提高保真度并减少幻觉。
2026-07-14 cs.AI cs.CV cs.LG
DiffVoice: Text-to-Speech with Latent Diffusion
Shanghai Jiao Tong University(上海交通大学)
本文提出 DiffVoice,利用对抗增强 VAE 编码音素速率语音潜变量,并以扩散模型联合建模时长与表示,在自然度、文本语音编辑及零样本适配上取得先进结果。
2023-04-23 cs.AI cs.HC cs.LG
On the Limits of Latent Reuse in Diffusion Models
Department of Mathematical Sciences, Tsinghua University(清华大学数学科学系);Department of Data Science, City University of Hong Kong(香港城市大学数据科学系)
研究扩散模型在分布偏移下潜在重用的可靠性,分析源-目标子空间主角偏差与环境噪声对目标域得分误差的影响,提出混合源-目标训练方法以确定共享潜在维度的依赖关系。
2026-05-13 cs.LG math.PR stat.ML
3M-Diffusion: Latent Multi-Modal Diffusion for Language-Guided Molecular Structure Generation
Artificial Intelligence Research Laboratory(人工智能研究实验室);College of Information Sciences and Technology(信息科学与技术学院);Center for Artificial Intelligence Foundations and Scientific Applications(人工智能基础与科学应用中心);Institute for Computational and Data Sciences(计算与数据科学研究所);The Pennsylvania State University(宾夕法尼亚州立大学)
3M-Diffusion提出一种多模态分子生成方法,通过将分子图潜在空间与文本空间对齐并结合扩散模型,实现基于语言描述生成高质量、新颖且多样化的分子结构。
2024-10-02 cs.CL cs.LG q-bio.BM
A Gradient Flow Approach to Solving Inverse Problems with Latent Diffusion Models
提出免训练的扩散正则化Wasserstein梯度流方法,利用预训练潜变量扩散模型作为先验,通过梯度流求解不适定逆问题,并在标准基准上验证了性能。
2026-09-17 cs.LG stat.CO stat.ML
Single Mesh Diffusion Models with Field Latents for Texture Generation
Google Research(谷歌研究院);PlayStation
提出直接在3D表面操作的场潜变量扩散模型框架,通过离散向量场编码纹理并学习去噪,实现高质量单网格纹理生成、编辑与迁移。
2024-05-28 cs.CV cs.GR cs.LG
VAMP-Diff: VampPrior Latent Diffusion for Photoplethysmography Modeling
Department of Electrical and Computer Engineering(电气与计算机工程系);Clarkson University(克林顿大学);Department of Computer Science(计算机科学系);Worcester Polytechnic Institute(沃思格理工学院)
提出VAMP-Diff,一种联合训练的变分扩散模型,结合时间编码器、条件一维扩散解码器和VampPrior正则化,以生成逼真的PPG波形并保持心率和呼吸信息。
2026-05-17 cs.LG eess.IV eess.SP