Generative Diffusion Modeling: A Practical Handbook
本手册提供扩散模型的统一视角，涵盖多种相关方法，通过统一符号与代码实现对齐弥合“论文到代码”差距，并系统介绍基础、预训练及后训练技术，旨在为生成式建模提供实用指南。
2024-12-22 cs.CV cs.LG
Diffusion Models For Multi-Modal Generative Modeling
University at Buffalo（布法罗大学）；Amazon（亚马逊公司）
本文提出一种在公共扩散空间构建统一多模态扩散模型的原则性方法，通过共享主干网络与特定模态解码器实现多模态数据生成，并在ImageNet上验证了其有效性。
2024-09-24 cs.CV
Aligning Generative Denoising with Discriminative Objectives Unleashes Diffusion for Visual Perception
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对生成式扩散模型用于判别式任务时的中间误差问题，本文分析并增强了生成去噪过程与感知任务的对齐，提出定制学习目标和扩散定制数据增强，在深度估计等任务上实现了SOTA性能。
2025-04-15 cs.CV
IRBridge: Solving Image Restoration Bridge with Pre-trained Generative Diffusion Models
本文提出IRBridge框架，通过转移方程连接两个扩散过程，直接利用预训练生成模型的先验知识解决图像恢复桥中的状态分布不匹配问题，在六项任务上提升了鲁棒性和泛化性能。
2025-05-30 cs.CV
TreeDiffusion: Hierarchical Generative Clustering for Conditional Diffusion
ETH Zurich（苏黎世联邦理工学院）
本文提出TreeDiffusion，结合VAE分层聚类与扩散模型，生成高质量且特定于聚类的图像，解决VAE生成质量差的问题，提升生成聚类性能。
2025-10-14 cs.CV
Diffusion-SDF: Conditional Generative Modeling of Signed Distance Functions
Princeton University（普林斯顿大学）
概率扩散模型在图像合成、图像修补和文本到图像任务中取得了最先进的结果。然而，它们仍处于生成复杂3D形状的早期阶段。本文提出了一种用于形状完成、单视图重建和实时扫描点云重建的生成模型Diffusion-SDF。我们使用神经符号距离函数（SDF）作为我们的3D表示来参数化各种信号的几何形状（例如，点云、2D图像）通过神经网络。神经SDF是隐式函数，扩散它们相当于学习它们的神经网络权重的反转，我们使用自定义调制模块来解决这个问题。大量的实验表明，我们的方法是能够从部分输入的现实无条件生成和条件生成。这项工作扩展了扩散模型的领域，从学习2D，显式表示，到3D，隐式表示。
2023-03-16 cs.CV
When Diffusion MRI Meets Diffusion Model: A Novel Deep Generative Model for Diffusion MRI Generation
University of Electronic Science and Technology of China（电子科技大学）；Harvard Medical School（哈佛医学院）；Brigham and Women’s Hospital（布莱根妇女医院）
本研究提出一种基于深度扩散模型的新型生成方法，用于生成保留梯度信息和脑结构的高维高分辨率扩散MRI数据，并在3T到7T图像映射任务中展现出优于现有SOTA方法的性能，显著提升了dMRI图像质量。
2024-08-23 cs.CV eess.IV
Can Generative Geospatial Diffusion Models Excel as Discriminative Geospatial Foundation Models?
KU Leuven（鲁汶大学）；KTH（皇家理工学院）；European Space Agency（欧洲航天局）；Shanghai AI Lab（上海人工智能实验室）；SJTU（上海交通大学）
研究提出SatDiFuser框架，将基于扩散的生成式地理空间基础模型转化为判别式遥感预训练工具，通过三种融合策略利用多阶段扩散特征，在分割和分类任务上超越现有GFMs。
2025-09-12 cs.CV
Input-Adaptive Generative Dynamics in Diffusion Models
本研究提出了一种输入自适应的扩散模型生成方法，通过调整生成动态以适应不同输入需求，从而提升生成质量和效率。
2026-03-07 cs.AI cs.CV cs.LG
Comparative Analysis of Generative Models: Enhancing Image Synthesis with VAEs, GANs, and Stable Diffusion
Huddersfield University（哈德斯菲尔德大学）
本文对比分析VAEs、GANs、Stable Diffusion三类生成模型的优劣，探索结合Grounding DINO与Grounded SAM优化Stable Diffusion的图像精度，为场景选型和后续研究提供参考。
2024-08-16 cs.CV eess.IV
Bi-Noising Diffusion: Towards Conditional Diffusion Models with Generative Restoration Priors
Johns Hopkins University（约翰斯·霍普金斯大学）
条件扩散概率模型可以模拟自然图像的分布，并可以根据给定的条件生成多样化和真实的样本。然而，通常他们的结果可能是不现实的，具有可观察到的颜色变化和纹理。我们认为，这个问题是由模型学习的概率分布与自然图像分布之间的分歧造成的。微妙的条件逐渐扩大的分歧，在每个采样时间步长。为了解决这个问题，我们引入了一种新的方法，使预测样本的训练数据流形使用预训练的无条件扩散模型。无条件模型充当正则化器，并减少条件模型在每个采样步骤中引入的发散。我们进行了全面的实验，以证明我们的方法在超分辨率，彩色化，湍流消除和图像去伪任务的有效性。通过我们的方法得到的改进表明，先验可以被纳入作为一个通用的插件，用于改善条件扩散模型。
2022-12-14 cs.CV
Noise Estimation for Generative Diffusion Models
Tel-Aviv University（特拉维夫大学）；Facebook AI Research（Facebook人工智能研究院）
生成扩散模型已经成为语音和图像生成中的主要模型。然而，为了用少量的去噪步骤来良好地执行，需要对噪声参数集进行昂贵的调谐。在这项工作中，我们提出了一个简单而通用的学习方案，可以逐步调整这些噪声参数，对于任何给定的步骤数，而以前的工作需要分别为每个数字重新调整。此外，在不修改扩散模型的权重的情况下，我们能够显著地改善合成结果，对于少量的步骤。我们的方法来在一个可以忽略不计的计算成本。
2021-09-12 cs.CV cs.LG
DiffGAR: Model-Agnostic Restoration from Generative Artifacts Using Image-to-Image Diffusion Models
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Alibaba Group（阿里巴巴集团）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
最近的生成模型显示了令人印象深刻的结果，在照片般逼真的图像生成。然而，在生成的结果中经常不可避免地出现伪像，导致降级的用户体验和下游任务的性能降低。本工作旨在为不同的生成模型开发一个插件后处理模块，它可以忠实地从不同的生成工件恢复图像。这是一个挑战，因为：（1）与传统的退化模式不同，生成伪影是非线性的，并且变换函数非常复杂。(2)没有现成的伪影图像对。(3)与特定于模型的反工件方法不同，与模型无关的框架将生成器视为黑盒机器，并且无法访问架构细节。在这项工作中，我们首先设计了一组机制来模拟流行生成器的生成伪像（即，GANs、自回归模型和扩散模型）。其次，我们实现了模型无关的反伪影框架作为图像到图像的扩散模型，由于其在生成质量和容量方面的优势。最后，我们设计了一个条件方案的扩散模型，使盲和非盲图像复原。还引入了一个指导参数，以允许恢复精度和图像质量之间的权衡。大量的实验表明，我们的方法显着优于以前的方法建议的数据集和现实世界的伪影图像。
2022-10-16 cs.CV
Generative Dataset Distillation using Min-Max Diffusion Model
School of Electrical and Electronic Engineering（电气与电子工程学院）；School of Mechanical and Aerospace Engineering（机械与航空航天工程学院）；Nanyang Technological University（南洋理工大学）
针对生成式数据集蒸馏问题，提出基于最小-最大损失的扩散模型方法，通过扩散步数缩减平衡样本数量与图像质量，在ECCV2024数据集蒸馏挑战赛生成赛道获第二名。
2025-03-24 cs.CV
Exploring Vision Transformers as Diffusion Learners
International Digital Economy Academy (IDEA)（国际数字经济研究院（IDEA））；The Hong Kong University of Science and Technology（香港科技大学）
基于分数的扩散模型已经引起了广泛的关注，并资助了最近的视觉生成任务的快速进展。本文主要研究了以前被忽视的扩散模型主干。我们系统地探讨了视觉Transformer作为扩散学习器的各种生成任务。通过我们的改进，基于vanilla ViT的骨干网（IU-ViT）的性能被提升到与传统的基于U-Net的方法相当。我们进一步提供了一个假设的含义解开生成骨干作为编码器-解码器结构，并显示验证的概念验证实验的有效性，一个更强大的编码器生成任务与AsymmetriC编码器解码器（ASCEND）。我们的改进在CIFAR-10、CelebA、LSUN、CUB Bird和大分辨率文本到图像任务上取得了有竞争力的结果。据我们所知，我们是第一个成功地训练一个单一的扩散模型的文本到图像的任务超过64 x64分辨率。我们希望这将激励人们重新思考基于扩散的生成模型的建模选择和训练管道。
2022-12-28 cs.CV
A Survey on Graph Diffusion Models: Generative AI in Science for Molecule, Protein and Material
KAIST（韩国科学技术院）；Kyung Hee University（庆熙大学）
本文综述了图扩散模型在科学AIGC领域的应用，涵盖其机制及在分子、蛋白质和材料设计中的生成方法，并讨论了评估与挑战。
2023-04-04 cs.CV cs.LG
Unsupervised Discovery of 3D Hierarchical Structure with Generative Diffusion Features
University of North Carolina（北卡罗来纳大学）
利用生成扩散模型的多阶段特征，通过三种损失训练无监督分割网络，将三维生物医学图像分解为嵌套层次结构，在合成及真实脑肿瘤MRI数据上优于现有方法。
2023-10-10 cs.CV
DDM$^2$: Self-Supervised Diffusion MRI Denoising with Generative Diffusion Models
Stanford University（斯坦福大学）
磁共振成像（MRI）是一种常见的和挽救生命的医学成像技术。然而，获取高信噪比MRI扫描需要长的扫描时间，导致成本增加和患者不适，以及吞吐量降低。因此，对MRI扫描进行去噪有很大的兴趣，特别是对于严重SNR受限的扩散MRI扫描的子类型。虽然大多数现有的MRI去噪方法本质上是监督的，但针对大量解剖结构、MRI扫描仪和扫描参数获取监督训练数据集被证明是不切实际的。在这里，我们提出了去噪扩散模型去噪扩散MRI（DDM $^2$），一个自我监督的去噪方法MRI去噪使用扩散去噪生成模型。我们的三阶段框架将基于几何的去噪理论集成到扩散模型中，并通过条件生成进行去噪。在推理过程中，我们将输入噪声测量值表示为扩散马尔可夫链中的中间后验分布的样本。我们在4个真实世界的体内扩散MRI数据集上进行实验，并表明我们的DDM $^2$表现出卓越的去噪性能，并通过临床相关的视觉定性和定量指标确定。
2023-02-06 cs.CV eess.IV
Theoretical research on generative diffusion models: an overview
Yıldız Technical University（伊兹迪兹技术大学）
本文综述生成扩散模型的理论进展，将其方法分为训练与采样两类，为未来研究提供清晰分类框架。
2024-04-13 cs.AI cs.CV cs.LG
Bridging Generative and Discriminative Models for Unified Visual Perception with Diffusion Priors
Xidian University（西安电子科技大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
本研究提出Vermouth统一视觉感知框架，结合预训练Stable Diffusion的生成先验与判别先验，无需复杂解码器即可在零样本草图检索、少样本分类等多粒度感知任务上取得优异效果。
2024-01-29 cs.CV
Phoenix: A Federated Generative Diffusion Model
University of Washington Bothell（华盛顿大学博塞尔分校）
针对生成模型中心化训练的隐私问题，提出联邦生成扩散模型Phoenix，可在非独立同分布数据下提升生成样本多样性，在联邦场景中效果优于默认扩散模型，兼顾隐私保护与生成质量。
2023-06-07 cs.CV cs.LG
Diffusion-C: Unveiling the Generative Challenges of Diffusion Models through Corrupted Data
Inha University（仁荷大学）；POSTECH（浦项科技大学）；Semyung University（世明大学）
本研究提出Diffusion-C方法论，通过多类型多强度损坏数据分析扩散模型生成限制，发现DDPM性能最优、雾与分形损坏削弱鲁棒性、模型脆弱性受拓扑及统计相似性影响，为生成模型研究提供基础。
2023-12-14 cs.AI cs.CV cs.LG
Continual Learning of Diffusion Models with Generative Distillation
Master in Computer Vision (Barcelona)（巴塞罗那计算机视觉硕士项目）；Apple（苹果公司）；KU Leuven（鲁汶大学）
本文提出生成式蒸馏方法，通过蒸馏扩散模型整个逆向过程，解决了标准生成式回放在扩散模型持续学习中导致去噪能力灾难性丧失的问题，在计算成本略增的情况下显著提升了持续学习性能。
2024-05-20 cs.AI cs.CV cs.LG
DiffusionRet: Generative Text-Video Retrieval with Diffusion Model
Peking University（北京大学）；Tsinghua University（清华大学）；Peng Cheng Laboratory（鹏城实验室）
本文提出 DiffusionRet，将文本-视频检索建模为扩散去噪生成联合分布，并结合生成损失与对比损失训练，在五个基准及域外检索中取得优越性能。
2023-08-19 cs.CV
GrainPaint: A multi-scale diffusion-based generative model for microstructure reconstruction of large-scale objects
University of Maryland（马里兰大学）；ETH Zürich（苏黎世联邦理工学院）；State University of New York at Binghamton（纽约州立大学宾汉姆顿分校）；Sandia National Laboratories（桑迪亚国家实验室）
本文提出GrainPaint方法，利用去噪扩散模型的图像修复能力突破固定生成区域限制，实现大尺度物体微观结构重建，并验证其生成结果与SPPARKS动力学蒙特卡洛模拟的晶粒结构在统计上相似。
2025-02-18 cond-mat.mtrl-sci cs.CV cs.GR
SPIRiT-Diffusion: SPIRiT-driven Score-Based Generative Modeling for Vessel Wall imaging
SIAT, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
扩散模型是目前最先进的图像生成方法，并已成功地应用于MRI重建。然而，现有的方法没有考虑MRI数据的多线圈采集的特性。因此，我们给出了一个新的扩散模型，称为SPIRiT-Diffusion，基于SPIRiT迭代重建算法。具体而言，SPIRiT-Diffusion通过分数匹配来表征逐个线圈图像的先验分布，并基于自洽性来表征线圈之间的k空间冗余先验。在充分利用先验约束的情况下，我们在联合颅内和颈动脉血管壁成像数据集上实现了优越的重建结果。
2022-12-14 cs.CV eess.IV
Accelerating Score-based Generative Models with Preconditioned Diffusion Sampling
Fudan University（复旦大学）；University of Surrey（萨里大学）
基于得分的生成模型是近年来新兴的一类生成模型。然而，一个基本的限制是，由于需要许多（例如，2000）迭代的顺序计算。一种直观的加速方法是减少采样迭代，但这会导致严重的性能下降。我们调查这个问题，通过查看扩散采样过程作为一个大都会调整的朗之万算法，这有助于揭示病态曲率的根本原因。在这种认识下，我们提出了一个模型无关的预处理扩散采样（PDS）的方法，利用矩阵预处理，以减轻上述问题。最重要的是，PDS在理论上被证明收敛到SGM的原始目标分布，不需要重新训练。在具有各种分辨率和多样性的三个图像数据集上进行的广泛实验验证了PDS在保持合成质量的同时始终加速现成的SGM。特别是，PDS可以在更具挑战性的高分辨率（1024x1024）图像生成上加速高达29倍。
2022-12-05 cs.CV
GS: Generative Segmentation via Label Diffusion
本文提出GS框架，将语言驱动的图像分割重新定义为以图像和文本为条件的标签扩散生成任务，并在PNG基准上取得新的最先进性能。
2025-08-27 cs.CV
Interpretable ODE-style Generative Diffusion Model via Force Field Construction
Beijing Jiaotong University（北京交通大学）；Tsinghua University（清华大学）
本文从数学视角识别适配的物理模型，归纳出统一的ODE式生成扩散模型方法，在CIFAR-10实验中验证了该方法在生成速度、Inception分数和FID分数上的优异性能，提升了扩散模型的可解释性。
2026-08-14 cs.CV
Generative Image Coding with Diffusion Prior
China Telecom Cloud Computing Research Institute（中国电信云计算研究院）
针对自然与AI生成混合图像在低码率下的高效编码难题，提出利用扩散先验的生成式编码框架，通过轻量级适配器融合压缩域表示与预训练特征，并引入分布重归一化提升保真度，较H.266/VVC压缩性能提升达79%。
2025-09-17 cs.CV
Diff-Retinex: Rethinking Low-light Image Enhancement with A Generative Diffusion Model
Wuhan University（武汉大学）
该研究提出融合物理模型与生成网络的Diff-Retinex低光照图像增强模型，通过Transformer分解网络与多路径扩散网络处理各类退化，经实验验证其有效性、优越性与泛化性。
2023-08-25 cs.CV eess.IV
Generative Diffusion Models for Fast Simulations of Particle Collisions at CERN
Warsaw University of Technology（华沙工业大学）；IDEAS NCBR
本文首次将扩散模型应用于CERN ALICE实验的ZDC模拟，相比VAE和GAN基线实现最高保真度，并分析生成时间与质量的权衡，发现潜在扩散模型因快速生成而具显著潜力。
2024-06-05 cs.CV hep-ex physics.data-an
Let us Build Bridges: Understanding and Extending Diffusion Generative Models
University of Texas at Austin（德克萨斯大学奥斯汀分校）
基于扩散的生成模型最近取得了可喜的成果，但提出了一系列的开放性问题，在概念理解，理论分析，算法改进和扩展到离散的，结构化的，非欧几里德域。这项工作试图重新检查的整体框架，以获得更好的理论理解和开发算法扩展的数据从任意域。通过将扩散模型看作是具有不可观测扩散轨迹的隐变量模型，并应用隐轨迹由辅助分布估算的极大似然估计（MLE），我们证明了无论是模型的构造还是隐轨迹的估算，都相当于构造了在终点具有确定性值和约束的扩散桥过程，并为此提供了系统的研究和一套工具.利用我们的框架，我们提出了1）学习扩散生成模型的第一个理论误差分析，以及2）一个简单而统一的方法来学习来自不同离散和约束域的数据。实验表明，我们的方法在生成图像，语义段和三维点云上表现出色。
2022-08-31 cs.CV cs.LG
SiT: Exploring Flow and Diffusion-based Generative Models with Scalable Interpolant Transformers
New York University（纽约大学）
本文提出SiT生成模型，基于DiT骨干网络，利用灵活的插值框架模块化研究动态传输生成模型的设计选择，在相同结构和参数下于ImageNet基准上全面超越DiT。
2024-09-23 cs.CV cs.LG
Unified framework for diffusion generative models in SO(3): applications in computer vision and astrophysics
Carnegie Mellon University（卡内基梅隆大学）；CEA（法国原子能和替代能源委员会）；CNRS（法国国家科学研究中心）；Universite Paris-Saclay（巴黎萨克雷大学）；Universite Paris Cite（巴黎西岱大学）
针对标准扩散模型无法直接处理流形值数据的问题，研究将SGMs与DDPMs拓展至三维旋转李群SO(3)，实现高效训练，在合成密度任务上达SOTA，且可用于姿态估计与星系取向预测。
2023-12-18 cs.CV cs.LG
Trans-Dimensional Generative Modeling via Jump Diffusion Models
University of Oxford（牛津大学）；University of British Columbia（不列颠哥伦比亚大学）；CNRS ENS Ulm（法国国家科学研究中心巴黎高等师范学院）
本文提出基于跳跃扩散过程的生成模型，通过联合建模状态与维度来处理维度可变数据，并在分子和视频数据集上验证了其在插补和插值任务中的优势。
2023-10-30 cs.CV cs.LG stat.ML
PADS: Plug-and-Play 3D Human Pose Analysis via Diffusion Generative Modeling
The Australian National University（澳大利亚国立大学）
PADS通过扩散生成建模提出了一种即插即用的3D人体姿态分析框架，能够在无需任务特定监督的情况下适应多种姿态分析任务。
2025-12-14 cs.AI cs.CV
Generative Geostatistical Modeling from Incomplete Well and Imaged Seismic Observations with Diffusion Models
Georgia Institute of Technology（佐治亚理工学院）
本文提出利用扩散生成模型，仅基于不完整井和地震观测合成高保真地下速度模型，无需完整训练数据，并能提供不确定性估计，为全波形反演提供支持。
2024-05-16 cs.AI cs.CV physics.geo-ph
Blackout Diffusion: Generative Diffusion Models in Discrete-State Spaces
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Oak Ridge National Laboratory（橡树岭国家实验室）
本文提出Blackout Diffusion框架，利用精确分析为任意离散状态马尔可夫过程建立前向扩散理论，并从空白图像生成样本，在多个数据集上验证了可行性，为解释扩散模型提供新视角。
2023-05-18 cs.CV cs.LG
Image Embedding for Denoising Generative Models
University of Bologna（博洛尼亚大学）
去噪扩散模型在生成式建模领域越来越受欢迎，原因有几个，包括简单稳定的训练，优秀的生成质量和坚实的概率基础。在这篇文章中，我们解决的问题{ \em嵌入}的潜在空间的图像去噪扩散模型，即找到一个合适的“噪声”的图像，其去噪的结果在原始图像。我们特别关注去噪扩散隐式模型，由于其反向扩散过程的确定性。作为我们的调查的一个副作用，我们获得了更深入的了解扩散模型的潜在空间的结构，打开有趣的视角，其探索，语义轨迹的定义，和编辑目的的编码的操纵/调节。我们的研究强调了一个特别有趣的属性，这也是这类生成模型的特征，是潜在表示与实现反向扩散过程的网络的独立性。换句话说，一个共同的种子传递到不同的网络（每个网络都在同一个数据集上训练），最终会产生相同的图像。
2022-12-30 cs.AI cs.CV cs.LG
Generative Pre-trained Autoregressive Diffusion Transformer
University of Science and Technology of China（中国科学技术大学）；StepFun, China（StepFun）
本文提出GPDiT，一种在连续潜在空间内结合扩散与自回归的生成式预训练Transformer，通过扩散损失预测未来帧，实现高质量长程视频合成，并提升表示与少样本学习能力。
2025-10-08 cs.AI cs.CV
Generative Dataset Distillation Based on Diffusion Model
Tsinghua University（清华大学）；Hong Kong University of Science and Technology（香港科技大学）；Hokkaido University（北海道大学）；Fraunhofer IVI（弗劳恩霍夫应用研究促进协会交通与基础设施系统研究所）；Technical University of Munich（慕尼黑工业大学）
针对ECCV 2024数据集蒸馏挑战赛生成赛道的限时生成要求，提出基于SDXL-Turbo的生成式数据集蒸馏方法，用类别信息作提示词加后增强，提升每类生成图像数，获赛道第三名。
2024-08-16 cs.AI cs.CV cs.LG
Diffusion-Weighted Magnetic Resonance Brain Images Generation with Generative Adversarial Networks and Variational Autoencoders: A Comparison Study
ETH Zurich（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）；Stanford University（斯坦福大学）；Stanford Stroke Center（斯坦福中风中心）；Institute for Biomedical Engineering（生物医学工程研究所）
我们表明，高质量，多样化和逼真的扩散加权磁共振图像可以使用深生成模型合成。基于专业神经放射学家的评价和不同的指标，就所生成的合成脑图像的质量和多样性，我们提出了两个网络，内省变分自编码器和基于样式的GAN，有资格在医疗领域的数据增强，其中信息被保存在一个调度和不均匀的方式和访问它是在许多方面受到限制。
2020-06-24 cs.CV cs.LG eess.IV
Analyzing Multimodal Objectives Through the Lens of Generative Diffusion Guidance
Seoul National University（首尔国立大学）
近年来，多模态表示学习领域取得了惊人的进展，其中对比学习是重大突破的基石。最新的作品通过将不同的目标（如掩码建模和字幕）纳入框架中，提供了进一步的改进，但我们对这些目标如何促进学习的理解仍然非常不完整。在本文中，我们利用分类器引导的扩散模型生成反映分类器提供的语义信号的图像来研究多模态学习目标的特征。具体来说，我们比较对比，匹配和字幕损失方面的语义信号，并引入一个简单的基线，不仅支持我们的分析，但也提高了生成指导的质量在一个简单的方式。
2023-02-10 cs.AI cs.CV cs.LG
Improving Diffusion-Based Generative Models via Approximated Optimal Transport
Seoul National University（首尔大学）；Yonsei University（延世大学）
本研究提出近似最优传输（AOT）训练技术，将最优传输近似整合到扩散模型训练中以降低轨迹曲率与采样误差，在仅27-29次NFEs下刷新了无条件和条件生成的FID最优成绩。
2024-03-08 cs.CV cs.LG
Generative Latent Diffusion for Efficient Spatiotemporal Data Reduction
University of Florida（佛罗里达大学）
本文提出一种结合变分自编码器与条件扩散模型的潜在扩散框架，仅压缩少量关键帧并通过生成式插值重建其余帧，在多个数据集上实现比SZ3高10倍的压缩比和比领先学习方法高63%的性能。
2025-07-02 cs.CV cs.LG
Generative AI in Vision: A Survey on Models, Metrics and Applications
University of Maryland（马里兰大学）
本文综述了视觉生成式人工智能中的扩散模型与传统模型，涵盖其理论基础、关键技术和在文本到图像、图像修复、超分辨率等任务中的应用，旨在为研究者提供全面理解并启发未来创新。
2024-02-26 cs.AI cs.CV cs.LG
Diversity-Driven Generative Dataset Distillation Based on Diffusion Model with Self-Adaptive Memory
Hokkaido University（北海道大学）；The University of Tokyo（东京大学）
本文提出一种基于扩散模型与自适应记忆的多样性驱动生成式数据集蒸馏方法，通过对齐蒸馏与真实数据分布并评估代表性，引导生成更多样化数据集，在多数情况下优于现有最先进方法。
2025-05-26 cs.AI cs.CV cs.LG
Diffusion-TTA: Test-time Adaptation of Discriminative Models via Generative Feedback
Carnegie Mellon University（卡内基梅隆大学）
本文提出 Diffusion-TTA，利用扩散模型的生成反馈在测试时自适应判别模型，通过最大化图像似然反向传播梯度，显著提升分类、分割和深度预测等任务的准确率，优于 TTT-MAE 和 TENT 等现有方法。
2023-11-29 cs.AI cs.CV cs.LG
Shedding Light on Large Generative Networks: Estimating Epistemic Uncertainty in Diffusion Models
Barcelona Supercomputing Center - Centro Nacional de Supercomputación (BSC-CNS)（巴塞罗那超级计算中心）
本文提出DECU框架，通过结合预训练参数高效训练条件扩散模型集成，并采用成对距离估计器评估互信息，准确估计大规模扩散模型的认知不确定性。
2024-06-05 cs.AI cs.CV cs.LG
Unifying GANs and Score-Based Diffusion as Generative Particle Models
Criteo AI Lab（Criteo人工智能实验室）；LIGM（LIGM实验室）；Ecole des Ponts（巴黎路桥学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）；ETH Zürich（苏黎世联邦理工学院）
本文提出统一粒子与对抗生成模型的框架，将生成器训练视为粒子模型的推广，并验证了在扩散模型中集成生成器及无生成器训练GAN的可行性。
2023-12-21 cs.CV cs.LG cs.NE
Generative Modelling With Inverse Heat Dissipation
Aalto University（阿尔托大学）
本文提出一种通过随机逆转热方程生成图像的新模型，利用图像多尺度结构实现由粗到细的生成，并展现出颜色与形状解耦等优于标准扩散模型的特性。
2023-04-12 cs.CV cs.LG stat.ML
Diffusion-based Generative Image Outpainting for Recovery of FOV-Truncated CT Images
Technical University of Munich（慕尼黑工业大学）；Massachusetts General Hospital（麻省总医院）；Imperial College London（伦敦帝国学院）；Harvard Medical School（哈佛医学院）
本文提出一种基于扩散模型的生成式图像外绘方法，用于恢复视野截断的胸部CT切片，在训练数据减少87%的情况下，可靠恢复解剖结构并优于现有最先进方法，助力身体成分分析与疾病预后。
2024-09-26 cs.CV cs.LG eess.IV
DiffusionPDE: Generative PDE-Solving Under Partial Observation
University of Michigan（密歇根大学）；Stanford University（斯坦福大学）
针对部分观测下现有偏微分方程求解方法表现不佳的问题，提出DiffusionPDE框架，通过建模解与系数的联合分布，同时补全信息并求解，性能显著优于现有方法。
2024-11-01 cs.AI cs.CV cs.LG
