Generative Diffusion Modeling: A Practical Handbook
本手册提供扩散模型的统一视角,涵盖多种相关方法,通过统一符号与代码实现对齐弥合“论文到代码”差距,并系统介绍基础、预训练及后训练技术,旨在为生成式建模提供实用指南。
2024-12-22 cs.CV cs.LG
A Recipe for Generating 3D Worlds From a Single Image
Meta Reality Labs(元宇宙实验室)
本研究提出一种从单张图像生成3D世界的方案,将任务转化为2D修复模型的上下文学习问题,经全景生成、深度提升及点云引导的区域填补步骤,仅需少量训练,在多项指标上优于现有基于视频合成的方法,可生成适配VR的高质量3D环境。
2025-03-20 cs.AI cs.CV cs.LG
Noise Estimation for Generative Diffusion Models
Tel-Aviv University(特拉维夫大学);Facebook AI Research(Facebook人工智能研究院)
生成扩散模型已经成为语音和图像生成中的主要模型。然而,为了用少量的去噪步骤来良好地执行,需要对噪声参数集进行昂贵的调谐。在这项工作中,我们提出了一个简单而通用的学习方案,可以逐步调整这些噪声参数,对于任何给定的步骤数,而以前的工作需要分别为每个数字重新调整。此外,在不修改扩散模型的权重的情况下,我们能够显著地改善合成结果,对于少量的步骤。我们的方法来在一个可以忽略不计的计算成本。
2021-09-12 cs.CV cs.LG
REPA-E: Unlocking VAE for End-to-End Tuning with Latent Diffusion Transformers
Australian National University(澳大利亚国立大学);Data61 CSIRO(Data61澳大利亚联邦科学与工业研究组织);New York University(纽约大学)
针对潜在扩散Transformer与VAE端到端训练效果差的问题,提出基于REPA损失的REPA-E训练方案,大幅提升训练速度,同时优化VAE性能,在ImageNet 256×256上刷新生成任务SOTA。
2025-10-22 cs.CV cs.LG
A Survey on Graph Diffusion Models: Generative AI in Science for Molecule, Protein and Material
KAIST(韩国科学技术院);Kyung Hee University(庆熙大学)
本文综述了图扩散模型在科学AIGC领域的应用,涵盖其机制及在分子、蛋白质和材料设计中的生成方法,并讨论了评估与挑战。
2023-04-04 cs.CV cs.LG
i1: A Simple and Fully Open Recipe for Strong Text-to-Image Models
Princeton University(普林斯顿大学)
本文通过300多次控制实验系统研究文本到图像扩散模型的设计选择,提出i1模型,仅用公开数据集训练3B参数模型,在五个基准上平均超越现有最佳完全开放模型29.5个百分点。
2026-06-11 cs.CV
Phoenix: A Federated Generative Diffusion Model
University of Washington Bothell(华盛顿大学博塞尔分校)
针对生成模型中心化训练的隐私问题,提出联邦生成扩散模型Phoenix,可在非独立同分布数据下提升生成样本多样性,在联邦场景中效果优于默认扩散模型,兼顾隐私保护与生成质量。
2023-06-07 cs.CV cs.LG
Unifying GANs and Score-Based Diffusion as Generative Particle Models
Criteo AI Lab(Criteo人工智能实验室);LIGM(LIGM实验室);Ecole des Ponts(巴黎路桥学院);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心);ETH Zürich(苏黎世联邦理工学院)
本文提出统一粒子与对抗生成模型的框架,将生成器训练视为粒子模型的推广,并验证了在扩散模型中集成生成器及无生成器训练GAN的可行性。
2023-12-21 cs.CV cs.LG cs.NE
CookAnything: A Framework for Flexible and Consistent Multi-Step Recipe Image Generation
Jilin University(吉林大学);National Yang Ming Chiao Tung University(国立阳明交通大学);National Taiwan University(国立台湾大学)
CookAnything通过引入步骤式区域控制、灵活RoPE和跨步骤一致性控制,实现了灵活且一致的多步骤食谱图像生成,提升复杂烹饪指令的视觉合成质量。
2025-12-05 cs.AI cs.CV
Qwen-Image-Flash: Rethinking the Training Recipe for Few-Step Distillation
alibaba-inc.com(阿里巴巴公司)
本文通过系统研究数据组成、教师指导和任务混合三个因素,提出Qwen-Image-Flash,表明有效的少步蒸馏不仅需要精心设计的目标,还需要对更广泛的训练流程进行原则性组织。
2026-09-15 cs.AI cs.CV cs.GR
Input-Adaptive Generative Dynamics in Diffusion Models
本研究提出了一种输入自适应的扩散模型生成方法,通过调整生成动态以适应不同输入需求,从而提升生成质量和效率。
2026-03-07 cs.AI cs.CV cs.LG
Let us Build Bridges: Understanding and Extending Diffusion Generative Models
University of Texas at Austin(德克萨斯大学奥斯汀分校)
基于扩散的生成模型最近取得了可喜的成果,但提出了一系列的开放性问题,在概念理解,理论分析,算法改进和扩展到离散的,结构化的,非欧几里德域。这项工作试图重新检查的整体框架,以获得更好的理论理解和开发算法扩展的数据从任意域。通过将扩散模型看作是具有不可观测扩散轨迹的隐变量模型,并应用隐轨迹由辅助分布估算的极大似然估计(MLE),我们证明了无论是模型的构造还是隐轨迹的估算,都相当于构造了在终点具有确定性值和约束的扩散桥过程,并为此提供了系统的研究和一套工具.利用我们的框架,我们提出了1)学习扩散生成模型的第一个理论误差分析,以及2)一个简单而统一的方法来学习来自不同离散和约束域的数据。实验表明,我们的方法在生成图像,语义段和三维点云上表现出色。
2022-08-31 cs.CV cs.LG
SiT: Exploring Flow and Diffusion-based Generative Models with Scalable Interpolant Transformers
New York University(纽约大学)
本文提出SiT生成模型,基于DiT骨干网络,利用灵活的插值框架模块化研究动态传输生成模型的设计选择,在相同结构和参数下于ImageNet基准上全面超越DiT。
2024-09-23 cs.CV cs.LG
Unified framework for diffusion generative models in SO(3): applications in computer vision and astrophysics
Carnegie Mellon University(卡内基梅隆大学);CEA(法国原子能和替代能源委员会);CNRS(法国国家科学研究中心);Universite Paris-Saclay(巴黎萨克雷大学);Universite Paris Cite(巴黎西岱大学)
针对标准扩散模型无法直接处理流形值数据的问题,研究将SGMs与DDPMs拓展至三维旋转李群SO(3),实现高效训练,在合成密度任务上达SOTA,且可用于姿态估计与星系取向预测。
2023-12-18 cs.CV cs.LG
Theoretical research on generative diffusion models: an overview
Yıldız Technical University(伊兹迪兹技术大学)
本文综述生成扩散模型的理论进展,将其方法分为训练与采样两类,为未来研究提供清晰分类框架。
2024-04-13 cs.AI cs.CV cs.LG
Diffusion-C: Unveiling the Generative Challenges of Diffusion Models through Corrupted Data
Inha University(仁荷大学);POSTECH(浦项科技大学);Semyung University(世明大学)
本研究提出Diffusion-C方法论,通过多类型多强度损坏数据分析扩散模型生成限制,发现DDPM性能最优、雾与分形损坏削弱鲁棒性、模型脆弱性受拓扑及统计相似性影响,为生成模型研究提供基础。
2023-12-14 cs.AI cs.CV cs.LG
Cross-Modal Retrieval and Synthesis (X-MRS): Closing the Modality Gap in Shared Representation Learning
Samsung AI Center(三星人工智能中心)
计算食品分析(CFA)自然需要特定食品的多模态证据,例如,使CFA成为可能的关键是多模态共享表示学习,其目的是创建数据的多个视图(文本和图像)的联合表示。在这项工作中,我们提出了一种方法,食品领域的跨模态共享表示学习,保留了巨大的语义丰富性,目前在食品数据。我们提出的方法采用了一个有效的基于变换的多语言配方编码器,加上传统的图像嵌入架构。在这里,我们建议使用不完美的多语言翻译来有效地规范模型,同时添加跨多种语言和字母表的功能。在公共Recipe1M数据集上的实验分析表明,通过所提出的方法学习的表示在检索任务上显着优于当前最先进的(SOTA)。此外,通过食谱嵌入条件下的生成食物图像合成模型证明了所学习的表示的表示能力。合成图像可以有效地再现成对样本的视觉外观,这表明学习的表示捕获了文本配方及其视觉内容的联合语义,从而缩小了模态差距。
2021-09-30 cs.CV cs.IR cs.LG
Blackout Diffusion: Generative Diffusion Models in Discrete-State Spaces
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Oak Ridge National Laboratory(橡树岭国家实验室)
本文提出Blackout Diffusion框架,利用精确分析为任意离散状态马尔可夫过程建立前向扩散理论,并从空白图像生成样本,在多个数据集上验证了可行性,为解释扩散模型提供新视角。
2023-05-18 cs.CV cs.LG
Continual Learning of Diffusion Models with Generative Distillation
Master in Computer Vision (Barcelona)(巴塞罗那计算机视觉硕士项目);Apple(苹果公司);KU Leuven(鲁汶大学)
本文提出生成式蒸馏方法,通过蒸馏扩散模型整个逆向过程,解决了标准生成式回放在扩散模型持续学习中导致去噪能力灾难性丧失的问题,在计算成本略增的情况下显著提升了持续学习性能。
2024-05-20 cs.AI cs.CV cs.LG
Exploring the Deep Fusion of Large Language Models and Diffusion Transformers for Text-to-Image Synthesis
New York University(纽约大学);Hugging Face
本文通过受控基线对比与设计选择分析,系统实证研究LLM与DiT深度融合用于文本到图像生成,并给出可复现的大规模训练方案。
2025-05-15 cs.CV
CookingDiffusion: Cooking Procedural Image Generation with Stable Diffusion
University of Science and Technology of China(中国科学技术大学);Singapore Management University(新加坡管理大学);Hefei University of Technology(合肥工业大学)
针对食谱烹饪步骤过程图像序列生成的空白,提出烹饪过程图像生成新任务,引入CookingDiffusion方法结合Stable Diffusion与记忆网络建模多模态提示,在YouCookII基准上实现高质量且序列一致的生成,还支持食材和烹饪方法操纵。
2025-02-09 cs.CV cs.GR cs.LG
Bayesian ECG reconstruction using denoising diffusion generative models
本文提出用健康心电图数据训练的去噪扩散生成模型(DDGM)进行贝叶斯心电图重建,实现逼真心电信号生成,并应用于QTc计算、噪声抑制、缺失导联恢复和异常识别等临床任务。
2023-12-18 cs.LG eess.SP stat.ML
Beyond Blur: A Fluid Perspective on Generative Diffusion Models
提出基于平流-扩散过程的新型PDE驱动腐败过程,通过GPU加速格子玻尔兹曼求解器实现,结合随机速度场诱导湍流,泛化现有PDE方法,提升生成图像多样性与质量,桥接流体动力学与深度生成建模。
2025-08-23 cs.CV cs.GR cs.LG
VFusion3D: Learning Scalable 3D Generative Models from Video Diffusion Models
GenAI, Meta(Meta GenAI部门);University of Oxford(牛津大学)
本文提出VFusion3D,利用预训练视频扩散模型生成大规模合成多视图数据,训练前馈3D生成模型,实现单图秒级生成3D资产,性能超越现有最先进模型。
2024-07-18 cs.CV cs.GR cs.LG
Image Embedding for Denoising Generative Models
University of Bologna(博洛尼亚大学)
去噪扩散模型在生成式建模领域越来越受欢迎,原因有几个,包括简单稳定的训练,优秀的生成质量和坚实的概率基础。在这篇文章中,我们解决的问题{ \em嵌入}的潜在空间的图像去噪扩散模型,即找到一个合适的“噪声”的图像,其去噪的结果在原始图像。我们特别关注去噪扩散隐式模型,由于其反向扩散过程的确定性。作为我们的调查的一个副作用,我们获得了更深入的了解扩散模型的潜在空间的结构,打开有趣的视角,其探索,语义轨迹的定义,和编辑目的的编码的操纵/调节。我们的研究强调了一个特别有趣的属性,这也是这类生成模型的特征,是潜在表示与实现反向扩散过程的网络的独立性。换句话说,一个共同的种子传递到不同的网络(每个网络都在同一个数据集上训练),最终会产生相同的图像。
2022-12-30 cs.AI cs.CV cs.LG
Generative Dataset Distillation Based on Diffusion Model
Tsinghua University(清华大学);Hong Kong University of Science and Technology(香港科技大学);Hokkaido University(北海道大学);Fraunhofer IVI(弗劳恩霍夫应用研究促进协会交通与基础设施系统研究所);Technical University of Munich(慕尼黑工业大学)
针对ECCV 2024数据集蒸馏挑战赛生成赛道的限时生成要求,提出基于SDXL-Turbo的生成式数据集蒸馏方法,用类别信息作提示词加后增强,提升每类生成图像数,获赛道第三名。
2024-08-16 cs.AI cs.CV cs.LG
Diffusion-Weighted Magnetic Resonance Brain Images Generation with Generative Adversarial Networks and Variational Autoencoders: A Comparison Study
ETH Zurich(苏黎世联邦理工学院);University of Zurich(苏黎世大学);Stanford University(斯坦福大学);Stanford Stroke Center(斯坦福中风中心);Institute for Biomedical Engineering(生物医学工程研究所)
我们表明,高质量,多样化和逼真的扩散加权磁共振图像可以使用深生成模型合成。基于专业神经放射学家的评价和不同的指标,就所生成的合成脑图像的质量和多样性,我们提出了两个网络,内省变分自编码器和基于样式的GAN,有资格在医疗领域的数据增强,其中信息被保存在一个调度和不均匀的方式和访问它是在许多方面受到限制。
2020-06-24 cs.CV cs.LG eess.IV
Analyzing Multimodal Objectives Through the Lens of Generative Diffusion Guidance
Seoul National University(首尔国立大学)
近年来,多模态表示学习领域取得了惊人的进展,其中对比学习是重大突破的基石。最新的作品通过将不同的目标(如掩码建模和字幕)纳入框架中,提供了进一步的改进,但我们对这些目标如何促进学习的理解仍然非常不完整。在本文中,我们利用分类器引导的扩散模型生成反映分类器提供的语义信号的图像来研究多模态学习目标的特征。具体来说,我们比较对比,匹配和字幕损失方面的语义信号,并引入一个简单的基线,不仅支持我们的分析,但也提高了生成指导的质量在一个简单的方式。
2023-02-10 cs.AI cs.CV cs.LG
Your ViT is Secretly a Hybrid Discriminative-Generative Diffusion Model
Georgia State University(佐治亚州立大学);Etsy Inc.(Etsy公司)
扩散去噪概率模型(DDPM)和视觉Transformer(ViT)分别在生成任务和判别任务中表现出了显著的进展,到目前为止,这些模型在各自的领域中得到了很大的发展。在本文中,我们建立了一个直接的连接DDPM和ViT集成到DDPM的ViT架构,并引入了一个新的生成模型,称为生成ViT(GenViT)。ViT的建模灵活性使我们能够进一步扩展GenViT到混合判别生成建模,并引入混合ViT(HybViT)。我们的工作是第一次探索一个单一的ViT图像生成和分类联合。我们进行了一系列的实验来分析所提出的模型的性能,并证明他们的优越性比以前的国家的最先进的生成和判别任务。我们的代码和预训练模型可以在https://github.com/sndnyang/Diffusion_ViT中找到。
2022-08-16 cs.CV
Diffusion-Stego: Training-free Diffusion Generative Steganography via Message Projection
Seoul National University(首尔国立大学)
本文提出Diffusion-Stego,一种基于扩散模型的无训练生成式隐写方法,通过消息投影将秘密消息隐藏到潜在噪声中,在保持高图像质量的同时实现高容量和高提取准确率。
2023-05-30 cs.CV
Generative AI in Vision: A Survey on Models, Metrics and Applications
University of Maryland(马里兰大学)
本文综述了视觉生成式人工智能中的扩散模型与传统模型,涵盖其理论基础、关键技术和在文本到图像、图像修复、超分辨率等任务中的应用,旨在为研究者提供全面理解并启发未来创新。
2024-02-26 cs.AI cs.CV cs.LG
Diversity-Driven Generative Dataset Distillation Based on Diffusion Model with Self-Adaptive Memory
Hokkaido University(北海道大学);The University of Tokyo(东京大学)
本文提出一种基于扩散模型与自适应记忆的多样性驱动生成式数据集蒸馏方法,通过对齐蒸馏与真实数据分布并评估代表性,引导生成更多样化数据集,在多数情况下优于现有最先进方法。
2025-05-26 cs.AI cs.CV cs.LG
Shedding Light on Large Generative Networks: Estimating Epistemic Uncertainty in Diffusion Models
Barcelona Supercomputing Center - Centro Nacional de Supercomputación (BSC-CNS)(巴塞罗那超级计算中心)
本文提出DECU框架,通过结合预训练参数高效训练条件扩散模型集成,并采用成对距离估计器评估互信息,准确估计大规模扩散模型的认知不确定性。
2024-06-05 cs.AI cs.CV cs.LG
Generating Diffusion MRI scalar maps from T1 weighted images using generative adversarial networks
Linköping University(林雪平大学);Center for Medical Image Science and Visualization (CMIV)(医学影像科学与可视化中心(CMIV));Lund University(隆德大学)
扩散磁共振成像(扩散MRI)是一种非侵入性的微观结构评估技术。量化微结构组织性质的标量测量,诸如FA(分数各向异性)和MD(平均扩散率),可以使用扩散模型和数据处理流水线来获得。然而,收集高质量的扩散数据是昂贵且耗时的。因此,在这里,我们演示了如何使用生成对抗网络(GANs)在单个优化步骤中从结构T1加权图像生成合成扩散标量度量。具体来说,我们训练流行的CycleGAN模型来学习将T1图像映射到FA或MD,反之亦然。作为一个应用程序,我们表明,合成FA图像可以用作非线性配准的目标,以纠正扩散MRI中常见的几何失真。
2019-04-09 cs.CV
Diffusion Models For Multi-Modal Generative Modeling
University at Buffalo(布法罗大学);Amazon(亚马逊公司)
本文提出一种在公共扩散空间构建统一多模态扩散模型的原则性方法,通过共享主干网络与特定模态解码器实现多模态数据生成,并在ImageNet上验证了其有效性。
2024-09-24 cs.CV
CommonCanvas: An Open Diffusion Model Trained with Creative-Commons Images
Cornell Tech(康奈尔科技学院);Databricks Mosaic
使用 Creative-Commons 图像和合成标题训练出与 Stable Diffusion 2 质量相当的开放扩散模型 CommonCanvas,仅需 3% 的 LAION-4B 数据,并实现约 3 倍训练加速。
2023-10-25 cs.CV cs.CY
Aligning Generative Denoising with Discriminative Objectives Unleashes Diffusion for Visual Perception
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对生成式扩散模型用于判别式任务时的中间误差问题,本文分析并增强了生成去噪过程与感知任务的对齐,提出定制学习目标和扩散定制数据增强,在深度估计等任务上实现了SOTA性能。
2025-04-15 cs.CV
Diffusion-TTA: Test-time Adaptation of Discriminative Models via Generative Feedback
Carnegie Mellon University(卡内基梅隆大学)
本文提出 Diffusion-TTA,利用扩散模型的生成反馈在测试时自适应判别模型,通过最大化图像似然反向传播梯度,显著提升分类、分割和深度预测等任务的准确率,优于 TTT-MAE 和 TENT 等现有方法。
2023-11-29 cs.AI cs.CV cs.LG
When Diffusion MRI Meets Diffusion Model: A Novel Deep Generative Model for Diffusion MRI Generation
University of Electronic Science and Technology of China(电子科技大学);Harvard Medical School(哈佛医学院);Brigham and Women’s Hospital(布莱根妇女医院)
本研究提出一种基于深度扩散模型的新型生成方法,用于生成保留梯度信息和脑结构的高维高分辨率扩散MRI数据,并在3T到7T图像映射任务中展现出优于现有SOTA方法的性能,显著提升了dMRI图像质量。
2024-08-23 cs.CV eess.IV
IRBridge: Solving Image Restoration Bridge with Pre-trained Generative Diffusion Models
本文提出IRBridge框架,通过转移方程连接两个扩散过程,直接利用预训练生成模型的先验知识解决图像恢复桥中的状态分布不匹配问题,在六项任务上提升了鲁棒性和泛化性能。
2025-05-30 cs.CV
TreeDiffusion: Hierarchical Generative Clustering for Conditional Diffusion
ETH Zurich(苏黎世联邦理工学院)
本文提出TreeDiffusion,结合VAE分层聚类与扩散模型,生成高质量且特定于聚类的图像,解决VAE生成质量差的问题,提升生成聚类性能。
2025-10-14 cs.CV
Comparative Analysis of Generative Models: Enhancing Image Synthesis with VAEs, GANs, and Stable Diffusion
Huddersfield University(哈德斯菲尔德大学)
本文对比分析VAEs、GANs、Stable Diffusion三类生成模型的优劣,探索结合Grounding DINO与Grounded SAM优化Stable Diffusion的图像精度,为场景选型和后续研究提供参考。
2024-08-16 cs.CV eess.IV
Diffusion-SDF: Conditional Generative Modeling of Signed Distance Functions
Princeton University(普林斯顿大学)
概率扩散模型在图像合成、图像修补和文本到图像任务中取得了最先进的结果。然而,它们仍处于生成复杂3D形状的早期阶段。本文提出了一种用于形状完成、单视图重建和实时扫描点云重建的生成模型Diffusion-SDF。我们使用神经符号距离函数(SDF)作为我们的3D表示来参数化各种信号的几何形状(例如,点云、2D图像)通过神经网络。神经SDF是隐式函数,扩散它们相当于学习它们的神经网络权重的反转,我们使用自定义调制模块来解决这个问题。大量的实验表明,我们的方法是能够从部分输入的现实无条件生成和条件生成。这项工作扩展了扩散模型的领域,从学习2D,显式表示,到3D,隐式表示。
2023-03-16 cs.CV
DDM$^2$: Self-Supervised Diffusion MRI Denoising with Generative Diffusion Models
Stanford University(斯坦福大学)
磁共振成像(MRI)是一种常见的和挽救生命的医学成像技术。然而,获取高信噪比MRI扫描需要长的扫描时间,导致成本增加和患者不适,以及吞吐量降低。因此,对MRI扫描进行去噪有很大的兴趣,特别是对于严重SNR受限的扩散MRI扫描的子类型。虽然大多数现有的MRI去噪方法本质上是监督的,但针对大量解剖结构、MRI扫描仪和扫描参数获取监督训练数据集被证明是不切实际的。在这里,我们提出了去噪扩散模型去噪扩散MRI(DDM $^2$),一个自我监督的去噪方法MRI去噪使用扩散去噪生成模型。我们的三阶段框架将基于几何的去噪理论集成到扩散模型中,并通过条件生成进行去噪。在推理过程中,我们将输入噪声测量值表示为扩散马尔可夫链中的中间后验分布的样本。我们在4个真实世界的体内扩散MRI数据集上进行实验,并表明我们的DDM $^2$表现出卓越的去噪性能,并通过临床相关的视觉定性和定量指标确定。
2023-02-06 cs.CV eess.IV
Can Generative Geospatial Diffusion Models Excel as Discriminative Geospatial Foundation Models?
KU Leuven(鲁汶大学);KTH(皇家理工学院);European Space Agency(欧洲航天局);Shanghai AI Lab(上海人工智能实验室);SJTU(上海交通大学)
研究提出SatDiFuser框架,将基于扩散的生成式地理空间基础模型转化为判别式遥感预训练工具,通过三种融合策略利用多阶段扩散特征,在分割和分类任务上超越现有GFMs。
2025-09-12 cs.CV
Visual Prompt Tuning for Generative Transfer Learning
Google Research(谷歌研究院)
从在大数据集上训练的图像合成模型中转移知识是有效学习来自各个领域的生成图像模型的一个有前途的方向。虽然以前的工作已经研究了GAN模型,但我们提出了一种通过生成知识转移来学习视觉Transformer的方法。我们的框架基于最先进的生成视觉Transformer,它将图像表示为自回归或非自回归Transformers的视觉令牌序列。为了适应一个新的领域,我们采用提示微调,这prepends可学习的令牌称为提示的图像令牌序列,并介绍了一个新的提示设计,我们的任务。我们研究了各种视觉领域,包括视觉任务适应基准~ \cite{zhai2019large},与不同数量的训练图像,并显示有效的知识转移和显着更好的图像生成质量比现有的作品。
2022-10-03 cs.AI cs.CV
Bi-Noising Diffusion: Towards Conditional Diffusion Models with Generative Restoration Priors
Johns Hopkins University(约翰斯·霍普金斯大学)
条件扩散概率模型可以模拟自然图像的分布,并可以根据给定的条件生成多样化和真实的样本。然而,通常他们的结果可能是不现实的,具有可观察到的颜色变化和纹理。我们认为,这个问题是由模型学习的概率分布与自然图像分布之间的分歧造成的。微妙的条件逐渐扩大的分歧,在每个采样时间步长。为了解决这个问题,我们引入了一种新的方法,使预测样本的训练数据流形使用预训练的无条件扩散模型。无条件模型充当正则化器,并减少条件模型在每个采样步骤中引入的发散。我们进行了全面的实验,以证明我们的方法在超分辨率,彩色化,湍流消除和图像去伪任务的有效性。通过我们的方法得到的改进表明,先验可以被纳入作为一个通用的插件,用于改善条件扩散模型。
2022-12-14 cs.CV
DiffGAR: Model-Agnostic Restoration from Generative Artifacts Using Image-to-Image Diffusion Models
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Alibaba Group(阿里巴巴集团);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
最近的生成模型显示了令人印象深刻的结果,在照片般逼真的图像生成。然而,在生成的结果中经常不可避免地出现伪像,导致降级的用户体验和下游任务的性能降低。本工作旨在为不同的生成模型开发一个插件后处理模块,它可以忠实地从不同的生成工件恢复图像。这是一个挑战,因为:(1)与传统的退化模式不同,生成伪影是非线性的,并且变换函数非常复杂。(2)没有现成的伪影图像对。(3)与特定于模型的反工件方法不同,与模型无关的框架将生成器视为黑盒机器,并且无法访问架构细节。在这项工作中,我们首先设计了一组机制来模拟流行生成器的生成伪像(即,GANs、自回归模型和扩散模型)。其次,我们实现了模型无关的反伪影框架作为图像到图像的扩散模型,由于其在生成质量和容量方面的优势。最后,我们设计了一个条件方案的扩散模型,使盲和非盲图像复原。还引入了一个指导参数,以允许恢复精度和图像质量之间的权衡。大量的实验表明,我们的方法显着优于以前的方法建议的数据集和现实世界的伪影图像。
2022-10-16 cs.CV
SPIRiT-Diffusion: SPIRiT-driven Score-Based Generative Modeling for Vessel Wall imaging
SIAT, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
扩散模型是目前最先进的图像生成方法,并已成功地应用于MRI重建。然而,现有的方法没有考虑MRI数据的多线圈采集的特性。因此,我们给出了一个新的扩散模型,称为SPIRiT-Diffusion,基于SPIRiT迭代重建算法。具体而言,SPIRiT-Diffusion通过分数匹配来表征逐个线圈图像的先验分布,并基于自洽性来表征线圈之间的k空间冗余先验。在充分利用先验约束的情况下,我们在联合颅内和颈动脉血管壁成像数据集上实现了优越的重建结果。
2022-12-14 cs.CV eess.IV
DiffusionPDE: Generative PDE-Solving Under Partial Observation
University of Michigan(密歇根大学);Stanford University(斯坦福大学)
针对部分观测下现有偏微分方程求解方法表现不佳的问题,提出DiffusionPDE框架,通过建模解与系数的联合分布,同时补全信息并求解,性能显著优于现有方法。
2024-11-01 cs.AI cs.CV cs.LG
Generative Dataset Distillation using Min-Max Diffusion Model
School of Electrical and Electronic Engineering(电气与电子工程学院);School of Mechanical and Aerospace Engineering(机械与航空航天工程学院);Nanyang Technological University(南洋理工大学)
针对生成式数据集蒸馏问题,提出基于最小-最大损失的扩散模型方法,通过扩散步数缩减平衡样本数量与图像质量,在ECCV2024数据集蒸馏挑战赛生成赛道获第二名。
2025-03-24 cs.CV
Exploring Vision Transformers as Diffusion Learners
International Digital Economy Academy (IDEA)(国际数字经济研究院(IDEA));The Hong Kong University of Science and Technology(香港科技大学)
基于分数的扩散模型已经引起了广泛的关注,并资助了最近的视觉生成任务的快速进展。本文主要研究了以前被忽视的扩散模型主干。我们系统地探讨了视觉Transformer作为扩散学习器的各种生成任务。通过我们的改进,基于vanilla ViT的骨干网(IU-ViT)的性能被提升到与传统的基于U-Net的方法相当。我们进一步提供了一个假设的含义解开生成骨干作为编码器-解码器结构,并显示验证的概念验证实验的有效性,一个更强大的编码器生成任务与AsymmetriC编码器解码器(ASCEND)。我们的改进在CIFAR-10、CelebA、LSUN、CUB Bird和大分辨率文本到图像任务上取得了有竞争力的结果。据我们所知,我们是第一个成功地训练一个单一的扩散模型的文本到图像的任务超过64 x64分辨率。我们希望这将激励人们重新思考基于扩散的生成模型的建模选择和训练管道。
2022-12-28 cs.CV
Unsupervised Discovery of 3D Hierarchical Structure with Generative Diffusion Features
University of North Carolina(北卡罗来纳大学)
利用生成扩散模型的多阶段特征,通过三种损失训练无监督分割网络,将三维生物医学图像分解为嵌套层次结构,在合成及真实脑肿瘤MRI数据上优于现有方法。
2023-10-10 cs.CV
Bridging Generative and Discriminative Models for Unified Visual Perception with Diffusion Priors
Xidian University(西安电子科技大学);Chongqing University of Posts and Telecommunications(重庆邮电大学)
本研究提出Vermouth统一视觉感知框架,结合预训练Stable Diffusion的生成先验与判别先验,无需复杂解码器即可在零样本草图检索、少样本分类等多粒度感知任务上取得优异效果。
2024-01-29 cs.CV