Constrained Synthesis with Projected Diffusion Models
University of Virginia（弗吉尼亚大学）
本研究提出将扩散模型采样重构为约束优化的投影扩散方法，可在凸、非凸约束及物理场景下生成合规数据，适用于材料合成、运动生成等多领域。
2024-11-01 cs.AI cs.LG
Layered Diffusion Model for One-Shot High Resolution Text-to-Image Synthesis
UC Berkeley（加州大学伯克利分校）；UC Berkeley - UCSF Joint Bioengineering Graduate Program（加州大学伯克利分校-加州大学旧金山分校联合生物工程研究生项目）；Google（谷歌）；Google Deepmind（谷歌DeepMind）
本文提出一种采用分层 U-Net 的单次文本到图像扩散模型，可在多尺度同时生成高分辨率图像，在优于目标分辨率基线的同时降低单步计算成本，并无需额外超分辨率模型。
2024-07-08 cs.AI cs.CV
AADiff: Audio-Aligned Video Synthesis with Text-to-Image Diffusion
Seoul National University（首尔国立大学）；NAVER（NAVER公司）
本文提出一种新颖的T2V框架AADiff，通过引入音频信号控制时间动态，结合基于音频的区域编辑和信号平滑技术，使现成T2I扩散模型生成音频对齐视频，有效平衡了时间灵活性与连贯性。
2023-05-23 cs.AI cs.CV
Relay Diffusion: Unifying diffusion process across resolutions for image synthesis
Tsinghua University（清华大学）；Zhipu AI（智谱AI）
针对高分辨率图像生成挑战，提出 Relay Diffusion Model (RDM)，通过模糊扩散和块噪声将低分辨率结果转换为等效高分辨率形式，实现跨分辨率无缝扩散，在 CelebA-HQ 和 ImageNet 256×256 上取得 SOTA 性能。
2023-09-04 cs.CV cs.LG
BIVDiff: A Training-Free Framework for General-Purpose Video Synthesis via Bridging Image and Video Diffusion Models
Nanjing University（南京大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出免训练框架BIVDiff，通过串联特定图像扩散模型、Mixed Inversion与文本到视频扩散模型，在多类视频合成任务中实现强泛化与高效率。
2024-04-09 cs.AI cs.CV
Progressive Deblurring of Diffusion Models for Coarse-to-Fine Image Synthesis
Soongsil University（崇实大学）；KAIST（韩国科学技术院）；Kakao Enterprise（Kakao企业）
近来，扩散模型通过逐渐去除噪声和放大信号在图像合成中显示出显著的结果。虽然简单的生成过程令人惊讶地工作得很好，但这是生成图像数据的最佳方式吗？例如，尽管人类感知对图像的低频更敏感，但扩散模型本身并不考虑每个频率分量的任何相对重要性。因此，为了将图像数据的归纳偏差，我们提出了一种新的生成过程，以粗到细的方式合成图像。首先，我们推广了标准的扩散模型，使扩散在旋转坐标系中具有不同的速度为每个组件的矢量。我们进一步提出了模糊扩散作为一种特殊情况，其中图像的每个频率分量以不同的速度扩散。具体地说，所提出的模糊扩散包括一个向前的过程，模糊的图像，并逐渐增加噪声，在此之后，相应的反向过程去模糊的图像，并逐步消除噪声。在LSUN卧室和教堂数据集上的实验表明，该模型在FID中的性能优于以前的方法。代码可在https://github.com/sangyun884/blur-diffusion上获得。
2022-11-21 cs.CV cs.LG
DiffECG: A Versatile Probabilistic Diffusion Model for ECG Signals Synthesis
University of Sfax（斯法克斯大学）；ENIS（斯法克斯工程学院）；Digital Research Center of Sfax（斯法克斯数字研究中心）
本文提出DiffECG，一种基于去噪扩散概率模型的通用心电信号合成方法，支持心跳生成、部分插补和完整预测，性能优于现有生成模型并能增强分类器效果。
2024-05-03 cs.CV cs.LG
FashionFlow: Leveraging Diffusion Models for Dynamic Fashion Video Synthesis from Static Imagery
Brunel University London（布鲁内尔大学伦敦校区）
本文提出 FashionFlow，利用扩散模型结合伪三维卷积、VAE 和 CLIP 编码器，从静态时尚图像生成多角度高保真动态视频，以提升在线时尚购物体验。
2024-01-20 cs.AI cs.CV
CoDi: Co-evolving Contrastive Diffusion Models for Mixed-type Tabular Synthesis
Yonsei University（延世大学）
本文提出CoDi方法，通过两个互为条件且协同演化的扩散模型分别处理连续与离散变量，并引入对比学习与负采样强化二者关联，在11个数据集上验证了其在混合类型表格合成中的有效性。
2023-09-21 cs.AI cs.LG
EHRDiff: Exploring Realistic EHR Synthesis with Diffusion Models
Tsinghua University（清华大学）
本研究提出了一种基于扩散模型的新方法EHRDiff，用于合成真实的电子健康记录（EHR）数据，解决了隐私限制下高质量EHR数据难以获取的问题，并通过实验证明其在数据质量和隐私保护方面达到了新的最先进水平。
2024-03-24 cs.CV cs.LG
DiffSketching: Sketch Control Image Synthesis with Diffusion Models
本文提出DiffSketching，利用扩散模型结合跨域约束和分类器引导实现草图到图像合成，在生成质量、多样性和人类评估上超越GAN方法，且无需大规模草图-图像数据集。
2023-05-30 cs.AI cs.CV
Draw Your Art Dream: Diverse Digital Art Synthesis with Multimodal Guided Diffusion
Jilin University（吉林大学）
数字艺术合成由于能够有效地吸引公众参与艺术创作而在多媒体领域受到越来越多的关注。当前的数字艺术合成方法通常使用单一模态输入作为指导，从而限制了模型的表现力和生成结果的多样性。为了解决这个问题，我们提出了多模态引导艺术品扩散（MGAD）模型，这是一个基于扩散的数字艺术品生成方法，利用多模态提示作为指导，以控制无分类器的扩散模型。此外，对比语言图像预训练（CLIP）模型用于统一文本和图像模态。大量的实验结果的质量和数量的生成的数字艺术画确认的有效性的组合的扩散模型和多模式的指导。代码可在https://github.com/haha-lisa/MGAD-multimodal-guided-artwork-diffusion上获得。
2022-09-28 cs.CV
DT-NVS: Diffusion Transformers for Novel View Synthesis
UCL（伦敦大学学院）；NVIDIA（英伟达）
针对单视角生成日常场景新视角的问题，提出DT-NVS这一3D感知扩散模型，采用Transformer架构，改进图像转3D表示的方法和相机条件策略，在真实世界数据集上训练，性能优于现有模型且输出多样。
2025-11-11 cs.AI cs.CV
Customized Load Profiles Synthesis for Electricity Customers Based on Conditional Diffusion Models
University of Macau（澳门大学）
针对电力用户历史负荷数据不足及负荷异构性问题，提出基于条件扩散模型的定制化负荷曲线合成方法，利用含残差层和注意力机制的噪声估计模型生成专属负荷曲线，有效提升了数据驱动模型的性能。
2024-02-13 cs.AI cs.LG
PAI-Diffusion: Constructing and Serving a Family of Open Chinese Diffusion Models for Text-to-image Synthesis on the Cloud
Alibaba Group（阿里巴巴集团）；East China Normal University（华东师范大学）；South China University of Technology（华南理工大学）
本文提出PAI-Diffusion框架，结合通用与特定领域中文扩散模型，利用LoRA和ControlNet实现细粒度图像风格迁移与编辑，并集成阿里云平台及开源工具，解决中文文本到图像合成中的上下文与鲁棒性问题。
2023-09-11 cs.AI cs.CL cs.CV
Explainability in Generative Medical Diffusion Models: A Faithfulness-Based Analysis on MRI Synthesis
Rajiv Gandhi institute of petroleum technology（拉吉夫·甘地石油技术学院）
研究探讨生成扩散模型在医学影像中的可解释性，聚焦MRI合成，通过分析原型方法评估生成与训练特征的关系，实验表明EPPNet在忠实度上表现最佳，提升生成过程的透明度和可信度。
2026-04-22 cs.AI cs.LG
CoLa-Diff: Conditional Latent Diffusion Model for Multi-Modal MRI Synthesis
University of Dundee（邓迪大学）；University of Cambridge（剑桥大学）；University of Bath（巴斯大学）；East China Normal University（华东师范大学）
MRI合成有望缓解临床实践中缺失MRI模态的挑战。扩散模型通过模拟复杂多变的数据分布，已成为图像合成的一种有效技术。然而，大多数基于扩散的MRI合成模型使用单一模态。由于它们在原始图像域中操作，因此它们是存储密集型的并且对于多模态合成不太可行。此外，它们通常不能在MRI中保留解剖结构。此外，平衡来自多模态MRI输入的多个条件对于多模态合成至关重要。在这里，我们提出了第一个基于扩散的多模态MRI合成模型，即条件潜在扩散模型（CoLa-Diff）。为了减少内存消耗，我们设计了CoLa-Diff在潜在空间中操作。我们提出了一种新的网络架构，例如，类似于协同滤波，解决了潜在空间中可能存在的压缩和噪声问题。为了更好地保持解剖结构，大脑区域掩模被引入作为密度分布的先验，以指导扩散过程。我们进一步提出了自动权重自适应，以有效地利用多模态信息。我们的实验表明，CoLa-Diff优于其他国家的最先进的MRI合成方法，有望作为一个有效的工具，多模态MRI合成。
2023-03-24 cs.CV eess.IV
DiffSR: Learning Radar Reflectivity Synthesis via Diffusion Model from Satellite Observations
Open Science Lab Shanghai AI Laboratory（上海人工智能实验室开放科学实验室）；Hong Kong Polytechnic University（香港理工大学）；Shanghai Marine Meteorological Center Shanghai Meteorological Service（上海气象服务中心上海海洋气象中心）
针对雷达数据重建方法过度平滑、难以生成对流天气高频细节的问题，提出两阶段扩散模型 DiffSR，结合预训练重建结果与卫星数据合成雷达反射率，达到SOTA水平。
2024-11-11 cs.AI cs.CV cs.LG
DiffSyn: A Generative Diffusion Approach to Materials Synthesis Planning
Instituto de Tecnología Química, Universitat Politècnica de València-Consejo Superior de Investigaciones Científicas（化学技术研究所，瓦伦西亚理工大学-西班牙高等科学研究理事会）
针对晶体材料合成空间高维、结构-合成关系复杂的问题，提出生成式扩散模型DiffSyn，基于超2.3万条配方生成合成路线，成功合成高Si/Al比的UFI材料。
2025-09-25 cond-mat.mtrl-sci cs.AI cs.LG
Cascaded Latent Diffusion Models for High-Resolution Chest X-ray Synthesis
LMU Munich（慕尼黑大学）；University Hospital, LMU Munich（慕尼黑大学附属医院）；Munich Center for Machine Learning（慕尼黑机器学习中心）
虽然大规模基础模型的最新进展显示出可喜的成果，但其在医学领域的应用尚未得到详细探讨。在本文中，我们通过提出Cheff -一个基础级联潜在扩散模型，进入医学合成中的大规模建模领域，该模型生成高度逼真的胸部X光照片，在1百万像素的尺度上提供最先进的质量。我们进一步提出了MaCheX，这是一个统一的公共胸部数据集的接口，并形成了迄今为止最大的开放式胸部X射线集合。Cheff以放射学报告为条件，我们进一步指导文本提示的合成过程，并揭示了报告到胸部X射线生成的研究领域。
2023-03-20 cs.CV cs.LG eess.IV
High-Fidelity Guided Image Synthesis with Latent Diffusion Models
The Australian National University（澳大利亚国立大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）
随着文本条件潜空间扩散模型的出现，用户涂鸦的可控图像合成已经引起了公众的极大兴趣。用户涂写控制颜色组成，而文本提示提供对整体图像语义的控制。然而，我们注意到，以前的工作在这个方向上遭受一个固有的域移位问题，其中所产生的输出往往缺乏细节，并类似于目标域的简单化表示。在本文中，我们提出了一种新的指导图像合成框架，它解决了这个问题，通过建模的输出图像作为一个约束优化问题的解决方案。我们表明，虽然计算精确的解决方案的优化是不可行的，可以实现相同的近似，而只需要一个单一的通过的反向扩散过程。此外，我们表明，通过简单地定义一个基于交叉注意的输入文本标记和用户笔画之间的对应关系，用户也能够控制不同的绘画区域的语义，而不需要任何条件训练或微调。人类用户的研究结果表明，所提出的方法优于以前的国家的最先进的超过85.32%的整体用户满意度分数。我们论文的项目页面可以在https://1jsingh.github.io/gradop上找到。
2022-11-30 cs.AI cs.CV cs.LG
Diffusion-4K: Ultra-High-Resolution Image Synthesis with Latent Diffusion Models
State Key Laboratory of Complex and Critical Software Environment（复杂与关键软件环境国家重点实验室）；Beihang University（北京航空航天大学）；School of Computer Science and Engineering（计算机科学与工程学院）
Diffusion-4K通过引入Aesthetic-4K基准和基于小波的微调方法，实现了高质量超高清图像合成。
2025-03-28 cs.CV
SyncDiff: Synchronized Motion Diffusion for Multi-Body Human-Object Interaction Synthesis
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海启智研究院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对多体人-物交互场景下的运动同步难题，提出SyncDiff同步运动扩散方法，通过单扩散模型、频域分解与对齐分数联合优化实现多体运动合成，效果优于现有方法。
2025-07-29 cs.AI cs.CV cs.LG
Tooth-Diffusion: Guided 3D CBCT Synthesis with Fine-Grained Tooth Conditioning
Pioneer Centre for AI, Department of Computer Science, University of Copenhagen Research（先锋人工智能中心、计算机科学系、哥本哈根大学研究）
针对牙科CBCT扫描生成缺乏细粒度控制的问题，提出Tooth-Diffusion条件扩散框架，通过牙齿级二进制属性引导，结合小波去噪扩散等技术，实现牙列精准修改与合成，提升牙科AI应用效率。
2025-08-19 cs.AI cs.CV
Geospatial Diffusion-based Evolution Synthesis (GeoDES) for Storm-Centered Weather Augmentation
研究针对机器学习天气模型预测风暴结构难题，提出基于地理空间扩散的演化合成（GeoDES）模型，该模型能合成高保真天气事件，经评估在关键指标上优于先前方法，可用于测试预测模型和扩展气象数据集。
2026-07-23 cs.CV cs.LG
SGDiff: A Style Guided Diffusion Model for Fashion Synthesis
The Hong Kong Polytechnic University（香港理工大学）；Laboratory for Artificial Intelligence in Design（人工智能设计实验室）
本文提出 SGDiff 风格引导扩散模型，融合图像模态与预训练文本到图像扩散模型，并构建 SG-Fashion 数据集，实现可控的类别、属性与风格时尚图像生成。
2023-08-15 cs.AI cs.CV cs.MM
SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis
Stability AI（稳定性人工智能公司）
SDXL通过三倍规模UNet骨干、双文本编码器、多宽高比训练和细化模型，大幅提升Stable Diffusion的高分辨率文本到图像合成性能，达到与黑盒最先进图像生成器竞争的水平。
2023-07-04 cs.AI cs.CV
DiffSketcher: Text Guided Vector Sketch Synthesis through Latent Diffusion Models
Beihang University（北京航空航天大学）；The University of Hong Kong（香港大学）
本文提出DiffSketcher，通过扩展的SDS损失优化贝塞尔曲线，实现从自然语言提示直接生成向量草图，提升生成质量与可控性。
2026-04-08 cs.AI cs.CV
Structure-Guided Histopathology Synthesis via Dual-LoRA Diffusion
Stony Brook University（石溪大学）
本文提出Dual-LoRA可控扩散框架，通过多类核质心和LoRA适配器实现局部结构修复与全局结构合成，提升组织病理学图像的真实感和一致性。
2026-03-04 cs.CV
Improving Diffusion Model Efficiency Through Patching
扩散模型是一类功能强大的生成模型，它迭代地对样本进行去噪以产生数据。虽然许多作品都集中在这个采样过程中的迭代次数，很少有集中在每次迭代的成本。我们发现，添加一个简单的ViT风格的修补转换可以大大减少扩散模型的采样时间和内存使用。我们证明我们的方法，通过分析的扩散模型的目标，并通过LSUN教会，ImageNet 256，和FFHQ 1024的实证实验。我们提供Tensorflow和Pytorch中的实现。
2022-07-09 cs.CV cs.LG
ViVid-1-to-3: Novel View Synthesis with Video Diffusion Models
University of British Columbia（不列颠哥伦比亚大学）；Korea University（高丽大学）；McGill University（麦吉尔大学）；Haiper Ltd.（Haiper有限公司）；Vector Institute for AI（Vector人工智能研究所）
本文提出ViVid-1-to-3方法，将单图新视角合成重新表述为相机环绕物体的扫描视频生成，结合视角条件扩散模型与预训练视频扩散模型进行去噪，实现高度一致的新视角合成并超越现有最优方法。
2023-12-03 cs.AI cs.CV cs.GR
Gradient Domain Diffusion Models for Image Synthesis
College of Electronics and Information Engineering, Shenzhen University（深圳大学电子与信息工程学院）
本文提出在梯度域执行扩散过程，利用泊松方程等价性和梯度域稀疏性加速收敛，实验证明比原始扩散模型更高效，适用于图像处理、计算机视觉和机器学习等任务。
2023-09-05 cs.CV cs.LG cs.MM
Motion-Conditioned Diffusion Model for Controllable Video Synthesis
University of California, Merced（加州大学默塞德分校）；Meta；NVIDIA（英伟达）；Google Research（谷歌研究院）
提出 MCDiff 条件扩散模型，利用起始帧、稀疏笔画、光流补全与扩散生成实现笔画引导的可控视频合成，并在视觉质量及 MPII Human Pose 实验中达到先进效果。
2023-04-27 cs.CV
Ultra-High-Resolution Image Synthesis with Pyramid Diffusion Model
提出金字塔扩散模型（PDM），利用金字塔潜在表示与空间-通道注意力、残差跳跃连接及谱归一化等技术，首次实现2K分辨率图像合成，为可扩展图像生成模型提供新路径。
2024-03-19 cs.CV
A Survey on Audio Diffusion Models: Text To Speech Synthesis and Enhancement in Generative AI
KAIST（韩国科学技术院）；Kyung Hee University（庆熙大学）；Beijing Institute of Technology（北京理工大学）
本综述系统梳理了音频扩散模型在文本到语音合成与语音增强任务中的最新进展，按扩散模型应用阶段对TTS方法分类，并按信号增减对语音增强任务分类，同时比较了实验结果。
2023-04-02 cs.AI cs.LG cs.MM
Text-driven Visual Synthesis with Latent Diffusion Prior
University of Maryland, College Park（马里兰大学帕克分校）
提出一种利用潜在扩散模型作为图像先验的通用视觉合成方法，通过引入特征匹配损失和KL散度损失提升性能，在文本到3D、StyleGAN适应和分层图像编辑任务中优于基线。
2023-04-03 cs.CV
Anomalies by Synthesis: Anomaly Detection using Generative Diffusion Models for Off-Road Navigation
MIT CSAIL（麻省理工学院CSAIL）；DEVCOM Army Research Laboratory（国防部陆军研究实验室）
本文提出一种基于分析-合成的纯测试时逐像素异常检测方法，利用生成式扩散模型合成移除异常的图像，并结合视觉-语言基础模型在特征空间中检测语义编辑，实现准确的越野导航异常检测。
2025-05-28 cs.CV cs.LG cs.RO
Towards Detailed Text-to-Motion Synthesis via Basic-to-Advanced Hierarchical Diffusion Model
Sun Yat-sen University（中山大学）；Tencent AI Lab（腾讯AI实验室）；Xi’an Jiao Tong University（西安交通大学）
针对现有文本到动作扩散模型存在的模态不一致或细节匮乏问题，提出基础到进阶层次扩散模型B2A-HDM，结合低维基础扩散与高维进阶多去噪器扩散，在两个基准上实现了保真度、模态一致性和多样性的提升。
2023-12-18 cs.CV
Diffusing the Blind Spot: Uterine MRI Synthesis with Diffusion Models
Imperial College London, London, UK（伦敦帝国理工学院）
针对现有扩散模型难以生成解剖学精确的女性盆腔图像的问题，提出整合2D/3D无条件及条件DDPMs与LDMs的扩散框架，生成高保真子宫MRI合成图像，提升诊断模型准确性并发布数据集推动妇科AI研究。
2025-08-25 cs.AI cs.CV eess.IV
More Control for Free! Image Synthesis with Semantic Diffusion Guidance
UC Berkeley（加州大学伯克利分校）；Picsart AI Research (PAIR)（Picsart人工智能研究院（PAIR））；University of Oregon（俄勒冈大学）；The University of Hong Kong（香港大学）
可控的图像合成模型允许基于文本指令或参考图像的指导创建不同的图像。最近，去噪扩散概率模型已被证明比现有方法生成更逼真的图像，并已成功地证明在无条件和类条件设置。我们调查细粒度，连续控制这个模型类，并引入一个新的统一框架语义扩散指导，它允许语言或图像指导，或两者兼而有之。使用图像-文本或图像匹配分数的梯度将指导注入到预训练的无条件扩散模型中，而不重新训练扩散模型。我们探索基于CLIP的语言指导，以及在一个统一的框架中基于内容和风格的图像指导。我们的文本引导合成方法可以应用于没有相关文本注释的数据集。我们在FFHQ和LSUN数据集上进行了实验，并展示了细粒度文本指导的图像合成，与样式或内容参考图像相关的图像合成以及文本和图像指导的示例的结果。
2022-12-05 cs.CV cs.GR
Unifying Human Motion Synthesis and Style Transfer with Denoising Diffusion Probabilistic Models
Durham University（杜伦大学）
数字人的真实感运动生成是计算机动画和游戏的核心，但具有挑战性的一部分，因为人类的运动内容多样，风格丰富。虽然最新的深度学习方法在这一领域取得了重大进展，但它们大多将运动合成和风格操作视为两个独立的问题。这主要是由于在一个共同的表示中有效地学习解释类间行为的运动内容和解释类内行为的风格的挑战。为了解决这个问题，我们提出了一个去噪扩散概率模型解决方案风格化的运动合成。由于扩散模型具有注入随机性带来的高容量，我们可以在同一个潜伏期中表示类间运动内容和类内风格行为。这导致了一个集成的、端到端的训练管道，有助于生成最佳运动和探索内容风格的耦合潜在空间。为了实现高质量的结果，我们设计了一个多任务架构的扩散模型，战略性地产生方面的人体运动的局部指导。我们还为全球指导设计对抗性和物理性法规。我们展示了卓越的性能与定量和定性的结果，并验证了我们的多任务架构的有效性。
2022-12-16 cs.AI cs.CV cs.GR
Winning the MIDST Challenge: New Membership Inference Attacks on Diffusion Models for Tabular Data Synthesis
Carnegie Mellon University（卡内基梅隆大学）
针对扩散表格数据合成的隐私评估不足，本文提出利用跨噪声与时间步损失特征的轻量级 MLP 成员推理攻击，并在 MIDST Challenge 全部赛道夺冠。
2025-03-15 cs.AI cs.CR cs.LG
High-Resolution Image Synthesis with Latent Diffusion Models
Ludwig Maximilian University of Munich（慕尼黑大学）；Heidelberg University（海德堡大学）；Runway ML（Runway ML公司）
通过将图像形成过程分解为去噪自动编码器的顺序应用，扩散模型（DM）在图像数据和其他数据上实现了最先进的合成结果。此外，它们的制定允许引导机制来控制图像生成过程而无需重新训练。然而，由于这些模型通常直接在像素空间中操作，因此对强大DM的优化通常会消耗数百个GPU天，并且由于顺序评估，推断是昂贵的。为了在有限的计算资源上进行DM训练，同时保持其质量和灵活性，我们将其应用于功能强大的预训练自动编码器的潜在空间中。与以前的工作相比，在这样的表示上训练扩散模型允许第一次在复杂性降低和细节保留之间达到接近最佳的点，大大提高了视觉保真度。通过在模型架构中引入交叉注意层，我们将扩散模型转变为强大而灵活的生成器，用于文本或边界框等一般条件输入，并以卷积方式实现高分辨率合成。我们的潜空间扩散模型（LDMs）实现了图像修补的最新技术水平，并在各种任务上具有高度竞争力的性能，包括无条件图像生成，语义场景合成和超分辨率，同时与基于像素的DM相比显着降低了计算要求。代码可在https://github.com/CompVis/latent-diffusion上获得。
2022-04-13 cs.CV
Discrete Contrastive Diffusion for Cross-Modal Music and Image Generation
Illinois Institute of Technology（伊利诺伊理工学院）；Wuhan University（武汉大学）；Snap Inc.（Snap公司）
扩散概率模型（DPMs）已经成为一种流行的方法，条件生成，由于其有前途的结果和跨模态综合的支持。条件合成中的一个关键要求是实现条件输入和生成输出之间的高度对应。大多数现有的方法隐式地学习这样的关系，通过将之前的变分下限。在这项工作中，我们采取了不同的路线-我们显式地通过最大化它们的互信息来增强输入输出连接。为此，我们引入了条件离散对比扩散（CDCD）损失，并设计了两个对比扩散机制，有效地将其纳入去噪过程中，结合扩散训练和对比学习首次通过将其与传统的变分目标。我们证明了我们的方法在评估不同的多模态条件合成任务的有效性：舞蹈到音乐生成，文本到图像合成，以及类条件图像合成。在每一个，我们提高了输入输出对应，并实现更高或有竞争力的综合质量。此外，该方法提高了扩散模型的收敛性，减少了超过35%的两个基准测试所需的扩散步骤的数量，显着提高推理速度。
2023-02-16 cs.CV
Fast High-Resolution Image Synthesis with Latent Adversarial Diffusion Distillation
Stability AI
本文提出潜在对抗性扩散蒸馏（LADD），利用预训练潜在扩散模型特征，简化训练并提升性能，应用于Stable Diffusion 3（8B）得到SD3-Turbo，仅需四步采样即可匹配最先进文本到图像生成器性能，并验证其在图像编辑和修复中的有效性。
2024-03-18 cs.CV
DiffuScene: Denoising Diffusion Models for Generative Indoor Scene Synthesis
Technical University of Munich（慕尼黑工业大学）；Sony Europe RDC Stuttgart（索尼欧洲研发中心斯图加特分部）；Technical University of Darmstadt（达姆施塔特工业大学）
本研究提出DiffuScene扩散模型，通过无序对象属性去噪生成3D室内场景，支持场景补全等多种应用，在3D-FRONT数据集上表现优于现有最优方法。
2024-03-12 cs.CV
Improving Augmentation and Evaluation Schemes for Semantic Image Synthesis
Bosch Center for Artificial Intelligence（博世人工智能中心）
尽管数据增强是提高深度神经网络性能的事实上的技术，但很少有人关注为生成对抗网络（GANs）开发增强策略。为此，我们引入了一种专门为基于GAN的语义图像合成模型设计的新增强方案。我们建议随机扭曲对象形状的语义标签地图作为输入的生成器。变形和非变形标签图和图像之间的局部形状差异使得GAN能够更好地学习场景的结构和几何细节，从而提高生成图像的质量。在将增强的GAN模型与其普通模型进行基准测试时，我们发现，先前的语义图像合成研究中报告的量化指标强烈偏向于特定的语义类，因为它们是通过外部预训练的分割网络导出的。因此，我们建议通过分别分析给定分割网络的有偏和无偏类上生成图像的性能来改进已建立的语义图像合成评估方案。最后，我们展示了我们的增强方案在两个类分裂上获得的强大的定量和定性改进，使用三个不同数据集的最先进的语义图像合成模型。在COCO-Stuff、ADE 20 K和Cityscapes数据集上，增强模型的平均性能比普通模型高出约3 mIoU和约10 FID点。
2021-01-30 cs.CG cs.CV cs.LG
ProstateGAN: Mitigating Data Bias via Prostate Diffusion Imaging Synthesis with Generative Adversarial Networks
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）；Lunenfeld-Tanenbaum Research Institute (LTRI)（卢嫩菲尔德-塔南鲍姆研究所（LTRI））；Sinai Health System（西奈卫生系统）；University of Toronto（多伦多大学）
生成对抗网络（GANs）在构建机器学习驱动的分析算法时，已经显示出相当大的潜力来缓解数据稀缺的挑战。具体而言，许多研究表明，用于数据增强的基于GAN的图像合成可以帮助提高许多医学图像分析任务（如大脑和肝脏图像分析）的分类准确性。然而，利用GANs来解决前列腺癌分析的有效性以前还没有被探索过。受此启发，在这项研究中，我们引入了ProstateGAN，这是一种基于GAN的模型，用于合成真实的前列腺扩散成像数据。更具体地说，为了生成与特定癌症等级（Gleason评分）相对应的新扩散成像数据，我们提出了一种条件深度卷积GAN架构，该架构在训练过程中考虑了Gleason评分。实验结果表明，高质量的合成前列腺扩散成像数据可以使用所提出的ProstateGAN指定的格里森分数。
2018-11-21 cs.AI cs.CV cs.NE
High-Fidelity Novel View Synthesis via Splatting-Guided Diffusion
ETH Zürich（苏黎世联邦理工学院）；DisneyResearch|Studios（迪士尼研究工作室）
针对单/稀疏观测新视角合成的几何失真与纹理幻觉问题，提出SplatDiff模型，结合splatting引导与扩散，通过对齐合成策略和纹理桥模块，实现几何一致、细节高保真的新视角生成，在单视角NVS中达到最先进性能且零样本泛化性优异。
2025-02-18 cs.CV
DiffMotion: Speech-Driven Gesture Synthesis Using Denoising Diffusion Model
Macau University of Science and Technology（澳门科技大学）；Communication University of Zhejiang（浙江传媒学院）；Ningbo University of Finance & Economics（宁波财经学院）
语音驱动的手势合成是虚拟人创建中越来越受关注的领域。然而，一个关键的挑战是语音和手势之间固有的复杂的一对多映射。以往的研究已经探索并取得了显着的进展与生成模型。尽管如此，大多数合成手势仍然远不自然。提出了一种基于扩散模型的语音驱动手势合成架构DiffMotion。该模型包括自回归时间编码器和去噪扩散概率模块。编码器提取语音输入和历史手势的时间上下文。扩散模块学习参数化马尔可夫链，将简单分布逐步转换为复杂分布，并根据伴随语音生成手势。与基线相比，客观和主观的评价证实，我们的方法可以产生自然和多样化的手势，并证明了基于扩散的模型对语音驱动的手势合成的好处。
2023-02-02 cs.CV cs.GR cs.HC
Computational Tradeoffs in Image Synthesis: Diffusion, Masked-Token, and Next-Token Prediction
StabilityAI；University of Washington（华盛顿大学）
本研究在计算预算受控条件下比较扩散、掩码标记与下一标记预测在图像合成中的性能，发现下一标记预测在提示遵循和推理效率上占优，扩散在图像质量上最终追平，据此给出应用场景选型建议。
2024-05-24 cs.CV
PARASOL: Parametric Style Control for Diffusion Image Synthesis
University of Surrey（萨里大学）；Adobe Research（奥多比研究中心）
PARASOL 提出一种多模态潜扩散模型，通过联合内容与细粒度风格嵌入及解耦引导，实现图像视觉风格的参数化精细控制，并支持生成式搜索中的意图匹配。
2024-05-02 cs.CV
Omegance: A Single Parameter for Various Granularities in Diffusion-Based Synthesis
S-Lab, Nanyang Technological University（南洋理工大学S实验室）
本文提出仅用一个参数ω即可在扩散模型去噪过程中精确控制生成粒度，无需重新训练或改架构，并支持区域与时间步特定控制，在图像和视频合成中表现优异。
2025-07-21 cs.CV
SyncDiff: Diffusion-based Talking Head Synthesis with Bottlenecked Temporal Visual Prior for Improved Synchronization
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；PAII Inc.（PAII公司）
本文提出SyncDiff，通过带信息瓶颈的时序姿态帧与AVHuBERT音频特征条件化扩散模型，在LRS2/LRS3上显著提升唇音同步并保持高图像保真度。
2025-03-17 cs.LG
