Entropy Rectifying Guidance for Diffusion and Flow Models
FAIR at Meta(Meta 的 FAIR 部门);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化技术研究院);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔研究所);LJK, France(法国劳埃德-约瑟夫-克劳德实验室);McGill University(麦吉尔大学);Mila, Quebec AI institute(魁北克人工智能研究所);Canada CIFAR AI chair(加拿大 CIFAR 人工智能主席)
ERG是一种基于注意力机制变化的简单有效引导方法,能同时提升图像质量、多样性及提示一致性,适用于扩散和流模型的多种生成任务。
2025-11-28 cs.AI cs.CV
Error as Signal: Stiffness-Aware Diffusion Sampling via Embedded Runge-Kutta Guidance
Korea University(韩国大学);KAIST(韩国科学技术院);Seoul National University(首尔国立大学);Korea Institute for Advanced Study(韩国高级研究院)
本文提出嵌入式龙格-库塔引导方法,通过识别刚性区域减少局部截断误差,提升扩散模型采样稳定性与质量。
2026-04-19 cs.AI cs.CV
Improving Sample Quality of Diffusion Models Using Self-Attention Guidance
Korea University(高丽大学)
本研究提出无需条件与训练的自注意力引导(SAG)方法,通过模糊扩散模型注意力区域提升生成质量,适用于多种扩散模型且可与传统引导方法结合进一步增效。
2023-08-24 cs.AI cs.CV cs.LG
Null-text Guidance in Diffusion Models is Secretly a Cartoon-style Creator
National University of Defense Technology(国防科技大学);JD Explore Academy(京东探索研究院)
本文提出Back-D和Image-D两种无需训练的即插即用扰动方法,通过在扩散模型采样中扰动无文本引导实现图像卡通化,并揭示了其有效性取决于无文本噪声图像与源图像的相关性。
2023-08-04 cs.AI cs.CV
MotionShop: Zero-Shot Motion Transfer in Video Diffusion Models with Mixture of Score Guidance
Virginia Tech(弗吉尼亚理工大学)
本研究提出基于分数混合引导的扩散Transformer运动迁移方法MSG,可零样本作用于预训练视频扩散模型,适配多类运动迁移场景,同时推出首个专用运动迁移数据集MotionBench。
2024-12-06 cs.AI cs.CV
End-to-End Diffusion Latent Optimization Improves Classifier Guidance
Salesforce Research(赛富时研究院);Stanford University(斯坦福大学)
本文提出DOODL方法,通过直接优化扩散潜在并利用可逆扩散过程实现内存高效反向传播,解决了传统分类器引导中梯度错位问题,在多种引导任务上优于一步分类器引导。
2023-05-31 cs.AI cs.CV cs.LG
MMD Guidance: Training-Free Distribution Adaptation for Diffusion Models via Maximum Mean Discrepancy Guidance
University of California, Berkeley(加州大学伯克利分校)
提出MMD Guidance,一种无训练方法,通过最大均值差异梯度引导扩散模型采样,实现与参考数据分布对齐,无需重新训练。
2026-06-09 cs.AI cs.CV cs.LG
A Noise is Worth Diffusion Guidance
Korea University(高丽大学);KAIST(韩国科学技术院);Sookmyung Women’s University(淑明女子大学);Hugging Face
针对扩散模型需引导生成可靠图像的问题,提出NoiseRefine方法,通过优化初始噪声为无引导噪声,利用小幅度低频分量增强去噪,无需引导即可提升推理效率和图像质量,仅需50K数据即可实现高效学习。
2024-12-05 cs.AI cs.CV cs.LG
How Much To Guide: Revisiting Adaptive Guidance in Classifier-Free Guidance Text-to-Vision Diffusion Models
Wangxuan Institute of Computer Technology, Peking University(北京大学王玄计算技术研究所)
针对无分类器引导推理成本高的问题,本文提出通用自适应策略 Step AG,仅在前若干去噪步执行引导,即可保持图像质量与图文对齐并平均加速20%至30%。
2025-06-10 cs.AI cs.CL cs.CV
Characteristic Guidance: Non-linear Correction for Diffusion Model at Large Guidance Scale
Hong Kong University of Science and Technology(香港科技大学);Southern University of Science and Technology(南方科技大学)
针对无分类器引导在大引导尺度下忽略非线性效应的问题,提出特征引导方法,通过第一性原理非线性修正使扩散模型遵循Fokker-Planck方程,无需训练即可增强语义特征并减轻图像生成不规则性。
2024-06-03 cs.AI cs.CV cs.LG
Perceptual Similarity guidance and text guidance optimization for Editing Real Images using Guided Diffusion Models
Shandong University(山东大学)
针对扩散模型图像编辑时修改图与源图差异大的问题,提出结合文本引导优化与感知相似性引导的双引导方法,实现编辑区域真实且未编辑区域高保真的图像编辑效果。
2023-12-09 cs.CV
Cascaded Diffusion Models for High Fidelity Image Generation
Google(谷歌)
我们证明了级联扩散模型能够在类条件ImageNet生成基准上生成高保真图像,而无需辅助图像分类器的任何帮助来提高样本质量。级联扩散模型包括多个扩散模型的流水线,所述多个扩散模型生成分辨率增加的图像,以最低分辨率的标准扩散模型开始,随后是一个或多个超分辨率扩散模型,所述一个或多个超分辨率扩散模型连续地对图像进行上采样并添加更高分辨率的细节。我们发现,级联管道的样本质量依赖于条件增强,我们提出的方法的数据增强的低分辨率条件输入的超分辨率模型。我们的实验表明,条件增强可以防止级联模型中采样过程中的复合误差,帮助我们训练级联管道,在64 x64分辨率下获得1.48的FID分数,在128 x128分辨率下获得3.52的分数,在256 x256分辨率下获得4.88的分数,优于BigGAN-deep,在256 x256下,分类准确率得分为63.02%(前1)和84.06%(前5),优于VQ-VAE-2。
2021-12-17 cs.AI cs.CV cs.LG
When Test-Time Guidance Is Enough: Fast Image and Video Editing with Diffusion Guidance
CMAP, Ecole Polytechnique(巴黎综合理工学院CMAP实验室);Institute of Foundation Models(基础模型研究所);MBZUAI(穆罕默德·本·扎耶德人工智能大学);EPITA(法国高等信息技术学院);Sorbonne University(索邦大学);Lagrange Mathematics and Computing Research Center(拉格朗日数学与计算研究中心);EPITA Research Lab(EPITA研究实验室);KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出通过测试时指导实现高效的图像和视频编辑,理论分析并扩展了现有方法,证明测试时指导能与训练时方法媲美甚至超越。
2026-03-30 cs.AI cs.CV cs.LG
CFG++: Manifold-constrained Classifier Free Guidance for Diffusion Models
KAIST(韩国科学技术院)
针对传统无分类器引导(CFG)存在的流形外现象引发的可逆性差、模式崩溃等问题,提出流形约束的CFG++方法,将文本引导重构为带文本条件得分匹配损失的逆问题,在多类扩散任务中性能显著提升。
2024-09-12 cs.AI cs.CV cs.LG
Variational Control for Guidance in Diffusion Models
University of California, Irvine(加州大学尔湾分校);Chan-Zuckerberg Initiative(陈-扎克伯格倡议)
本文提出扩散轨迹匹配(DTM),从变分控制视角统一引导方法,无需额外训练即可在多种逆问题上实现最先进性能。
2025-05-23 cs.AI cs.CV cs.LG
REG: Rectified Gradient Guidance for Conditional Diffusion Models
Massachusetts Institute of Technology(麻省理工学院)
本文提出校正梯度引导(REG),通过修正理论无效的缩放边际分布目标为联合分布目标,提升条件扩散模型性能,实验证明其在多个任务上优于现有引导方法。
2025-05-22 cs.AI cs.CV cs.LG
SPG: Improving Motion Diffusion by Smooth Perturbation Guidance
Samsung Research(三星研究院)
本文提出无需额外训练的测试时引导方法SPG,通过在去噪步骤中对运动进行时间平滑构建弱模型以实现负向引导,有效缓解分布外问题并持续增强运动保真度。
2025-03-04 cs.CV
DAG: Depth-Aware Guidance with Denoising Diffusion Probabilistic Models
Korea University(高丽大学)
由于扩散模型的出现,生成模型最近取得了重大进展。这些模型的成功通常可以归因于它们使用了引导技术,例如分类器或无分类器引导,这些引导技术提供了在保真度和多样性之间进行权衡的有效机制。然而,这些方法不能够引导生成的图像意识到其几何配置,例如,深度,这阻碍了它们应用于需要一定程度的深度意识的领域。为了解决这个问题,我们提出了一种新的指导方法,扩散模型,使用估计的深度信息来自丰富的中间表示的扩散模型。我们首先提出了标签有效的深度估计框架,使用内部表示的扩散模型。随后,我们提出了两个指导技术的基础上伪标记和深度域扩散之前在采样阶段的自我条件生成的图像使用估计的深度图。实验和全面的消融研究表明,我们的方法在指导扩散模型对生成的几何合理的图像的有效性。
2023-01-30 cs.CV
Self-Rectifying Diffusion Sampling with Perturbed-Attention Guidance
Korea University(韩国大学);Samsung Electronics(三星电子)
本文提出扰动注意力引导(PAG),通过扰动自注意力图引导去噪过程远离结构退化样本,无需额外训练即可在无条件和有条件生成及多种下游任务中提升扩散模型样本质量。
2025-07-07 cs.AI cs.CV cs.LG
Analyzing Multimodal Objectives Through the Lens of Generative Diffusion Guidance
Seoul National University(首尔国立大学)
近年来,多模态表示学习领域取得了惊人的进展,其中对比学习是重大突破的基石。最新的作品通过将不同的目标(如掩码建模和字幕)纳入框架中,提供了进一步的改进,但我们对这些目标如何促进学习的理解仍然非常不完整。在本文中,我们利用分类器引导的扩散模型生成反映分类器提供的语义信号的图像来研究多模态学习目标的特征。具体来说,我们比较对比,匹配和字幕损失方面的语义信号,并引入一个简单的基线,不仅支持我们的分析,但也提高了生成指导的质量在一个简单的方式。
2023-02-10 cs.AI cs.CV cs.LG
Domain Guidance: A Simple Transfer Approach for a Pre-trained Diffusion Model
BNRist(北京信息科学与技术国家研究中心)
本文提出Domain Guidance,一种简单的扩散模型迁移方法,利用预训练知识引导采样至目标域,无需额外训练即可显著提升生成质量。
2025-04-02 cs.AI cs.CV cs.LG
Multistep Distillation of Diffusion Models via Moment Matching
Google DeepMind(谷歌DeepMind)
本文提出基于矩匹配的多步蒸馏方法,将多步扩散模型压缩为最多8步的少步模型,在ImageNet上超越原始教师模型,并实现无需自编码器的高分辨率文本到图像快速生成。
2024-06-06 cs.AI cs.CV cs.LG
Concept Removal Guidance: Evidence-Calibrated Negative Guidance for Safe Diffusion Sampling
KAIST(韩国科学技术院);KIST(韩国科学技术院)
提出概念移除引导(CRG),一种无需训练的方法,通过从模型噪声预测中估计不良概念存在并自适应校准负引导权重,在保持良性保真度的同时降低攻击成功率。
2026-06-29 cs.CV
Fine color guidance in diffusion models and its application to image compression at extremely low bitrates
INRIA Rennes(法国国家信息与自动化研究所雷恩分部)
本研究提出无需训练微调的扩散模型精细色彩引导方法,推导新引导方程并保持高引导缩放系数,将其应用于极低码率图像压缩,结合语义与色彩信息低成本解码,提升压缩图像的保真度与真实感。
2024-04-10 cs.CV
Improving Diffusion-Based Image Editing Faithfulness via Guidance and Scheduling
Korea University(韩国大学)
针对图像编辑中可编辑性与保真度的权权衡问题,提出保真度引导与调度(FGS)方法,通过加强输入信息保留和引入调度策略解决错位,在维持可编辑性的同时显著提升保真度,且兼容多种编辑方法。
2025-06-26 cs.AI cs.CV cs.LG
Noise-Level Diffusion Guidance: Well Begun is Half Done
Vision, Learning, and Control (VLC) Research Group(视觉、学习与控制研究组)
针对扩散模型初始随机噪声影响输出质量的问题,提出无需额外训练或反向传播的噪声级引导方法(NLG),通过优化初始噪声提升图像质量与条件遵循度,在五个基准上验证了其高效性与可扩展性。
2025-09-17 cs.CV
Diffusion-Based Conditional Image Editing through Optimized Inference with Guidance
IPAI, Seoul National University(首尔大学 IPAI);ECE(电子与计算机工程学院)
提出一种基于预训练扩散模型的免训练文本驱动图像翻译方法,通过结合CLIP相似度和结构距离的表示引导优化反向过程潜在变量,在保持源图像结构的同时实现高保真目标图像生成。
2024-12-20 cs.CV
Universal Guidance for Diffusion Models
University of Maryland, College Park(马里兰大学帕克分校);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);New York University(纽约大学)
典型的扩散模型被训练为接受特定形式的条件,最常见的是文本,并且不能在没有重新训练的情况下以其他模态为条件。在这项工作中,我们提出了一个通用的指导算法,使扩散模型被控制的任意指导方式,而不需要重新训练任何使用特定的组件。我们表明,我们的算法成功地生成高质量的图像与指导功能,包括分割,人脸识别,目标检测,和分类器信号。代码可在https://github.com/arpitbansal297/Universal-Guided-Diffusion上获得。
2023-02-14 cs.CV cs.LG
Diffusion Models without Classifier-free Guidance
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
提出 Model-guidance 训练目标以替代 CFG,通过建模条件后验实现即插即用,在 ImageNet 256 上以 FID 1.34 达到 SOTA,并显著提升训练与推理效率。
2025-02-17 cs.AI cs.CV cs.LG
Normalized Attention Guidance: Universal Negative Guidance for Diffusion Models
University of Surrey(萨里大学)
本文提出归一化注意力引导(NAG),一种无需训练、基于L1归一化注意力外推的通用负向引导方法,解决了少步采样下CFG失效问题,可跨架构和模态即插即用,并显著提升文本对齐、保真度和人类感知质量。
2025-06-03 cs.CV
Self-Cross Diffusion Guidance for Text-to-Image Synthesis of Similar Subjects
University of California Merced(加州大学默塞德分校)
针对扩散模型合成相似主体时的主体混合问题,提出自交叉扩散引导,通过惩罚交叉与自注意力图重叠,免训练提升Unet及Transformer模型性能,并发布SSD基准。
2025-03-24 cs.CV
Motion Guidance: Diffusion-Based Image Editing with Differentiable Motion Estimators
University of Michigan(密歇根大学)
针对扩散模型难以精确编辑图像中物体布局、姿态等的问题,提出零样本运动引导技术,通过光流网络梯度引导扩散采样,实现指定运动场的高质量图像运动编辑。
2024-01-31 cs.CV
3D Scene Diffusion Guidance using Scene Graphs
Technical University of Munich(慕尼黑工业大学)
本文提出利用场景图引导三维场景扩散生成,通过在去噪网络中引入关系图卷积模块建模对象间空间关系,从而显著提升生成场景与文本描述的一致性。
2023-08-08 cs.CV
Spatiotemporal Skip Guidance for Enhanced Video Diffusion Sampling
KAIST AI(韩国科学技术院人工智能学院);University of Washington(华盛顿大学)
针对视频扩散模型中CFG降低多样性、Autoguidance需额外训练的问题,提出无训练的时空跳跃引导STG,通过层跳跃模拟隐式弱模型,提升质量且不损害多样性与动态性。
2024-11-27 cs.CV
Applying Guidance in a Limited Interval Improves Sample and Distribution Quality in Diffusion Models
Aalto University(阿尔托大学);NVIDIA(英伟达公司)
本文发现扩散模型采样链中引导仅在中间噪声水平有益,提出将引导限制在有限区间,显著提升ImageNet-512的FID(从1.81降至1.40),并在多种设置下验证了其通用性。
2024-11-06 cs.AI cs.CV cs.LG
Bridging the Gap: Addressing Discrepancies in Diffusion Model Training for Classifier-Free Guidance
University of California, Los Angeles(加州大学洛杉矶分校);Swiss Data Science Center, ETH Zürich(苏黎世联邦理工学院瑞士数据科学中心);Swiss Data Science Center, Paul Scherrer Institute(保罗·谢勒研究所瑞士数据科学中心)
本文针对扩散模型中无分类器引导训练与采样行为不一致的问题,提出一种更新后的损失函数,在 CIFAR-10 上以更少采样步数获得更高质量样本,并对引导尺度更鲁棒,同时在 Stable Diffusion 上初步验证了其有效性。
2023-11-02 cs.AI cs.CV cs.LG
Image is All You Need to Empower Large-scale Diffusion Models for In-Domain Generation
Beijing University of Posts and Telecommunications(北京邮电大学)
针对域内生成微调扩散模型易破坏原有生成能力的问题,提出引导解耦先验保持机制与无文本UNet领域知识学习技术,仅用图像数据即可实现高质量可控域内生成,兼容多种扩散控制方法。
2025-03-20 cs.AI cs.CV cs.MM
ReaDiT Guidance: Control for Image and Video Generation using Diffusion Transformer Features
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
该研究提出ReaDiT Guidance轻量框架,利用DiT块特征控制图像/视频生成,可实现空间目标及相机运动控制,参数更少且效果优于同类方法。
2026-09-15 cs.CV
FairGen: Controlling Sensitive Attributes for Fair Generations in Diffusion Models via Adaptive Latent Guidance
UIUC(伊利诺伊大学);AWS AI Labs(亚马逊AI实验室)
针对文本到图像扩散模型的人口群体偏见问题,提出自适应潜变量引导机制FairGen,结合记忆模块实现公平生成,并构建HBE基准,实验证明其偏见缓解效果优于现有方法。
2025-10-22 cs.AI cs.CV cs.LG
Segmentation-Free Guidance for Text-to-Image Diffusion Models
Qualcomm AI Research(高通人工智能研究中心)
本文提出无分割引导方法,利用扩散模型自身作为隐式分割网络动态调整负提示,无需重训练且不增加计算成本,在文本到图像生成中显著优于无分类器方法。
2024-06-03 cs.CV
Self-Guided Diffusion Models
TNO(荷兰应用科学研究组织);University of Amsterdam(阿姆斯特丹大学)
本文提出自引导扩散模型框架,利用自监督信号替代图像标注对,在多粒度上提供引导信号,实验表明其优于无引导模型甚至真实标签引导,且无需任何标签即可生成多样且语义一致的图像。
2023-11-27 cs.AI cs.CV cs.LG
Navigating with Annealing Guidance Scale in Diffusion Space
Tel Aviv University(特拉维夫大学);Google DeepMind(谷歌DeepMind)
本文提出了一种退火引导调度器,通过动态调整引导尺度提升文本到图像生成的质量和对齐度,无需额外资源消耗。
2026-03-03 cs.AI cs.CV cs.GR
More Control for Free! Image Synthesis with Semantic Diffusion Guidance
UC Berkeley(加州大学伯克利分校);Picsart AI Research (PAIR)(Picsart人工智能研究院(PAIR));University of Oregon(俄勒冈大学);The University of Hong Kong(香港大学)
可控的图像合成模型允许基于文本指令或参考图像的指导创建不同的图像。最近,去噪扩散概率模型已被证明比现有方法生成更逼真的图像,并已成功地证明在无条件和类条件设置。我们调查细粒度,连续控制这个模型类,并引入一个新的统一框架语义扩散指导,它允许语言或图像指导,或两者兼而有之。使用图像-文本或图像匹配分数的梯度将指导注入到预训练的无条件扩散模型中,而不重新训练扩散模型。我们探索基于CLIP的语言指导,以及在一个统一的框架中基于内容和风格的图像指导。我们的文本引导合成方法可以应用于没有相关文本注释的数据集。我们在FFHQ和LSUN数据集上进行了实验,并展示了细粒度文本指导的图像合成,与样式或内容参考图像相关的图像合成以及文本和图像指导的示例的结果。
2022-12-05 cs.CV cs.GR
HiGFA: Hierarchical Guidance for Fine-grained Data Augmentation with Diffusion Models
HiGFA通过分层引导和动态置信度调节,提升细粒度数据增强的合成图像质量。
2025-12-01 cs.CV
Feedback Guidance of Diffusion Models
Ghent University - imec(根特大学 - imec);Donders Institute for Brain Cognition and Behaviour(大脑认知与行为研究所)
提出反馈引导(FBG),通过状态依赖系数动态调节扩散模型引导量,在ImageNet512x512上优于CFG且与LIG相当,并能自适应提示复杂度。
2025-10-09 cs.CV
DreamWalk: Style Space Exploration using Diffusion Guidance
Cornell University(康奈尔大学);Geomagical Labs;Google Research(谷歌研究院)
针对文本条件扩散模型难以细粒度控制风格与内容的问题,提出 DreamWalk,通过分解提示概念并设置时空引导尺度函数,在无需微调模型的情况下实现区域化风格强度调节。
2024-04-04 cs.CV
PGDiff: Guiding Diffusion Models for Versatile Face Restoration via Partial Guidance
Nanyang Technological University(南洋理工大学);SenseTime Research(商汤科技研究院)
PGDiff提出部分引导方法,不建模退化过程而建模高质量图像的结构与颜色属性,在反向扩散中施加引导,实现多功能人脸复原,并可通过融合多任务引导处理复合任务,性能优于现有扩散先验方法。
2023-09-19 cs.CV
FastFace: Tuning Identity Preservation in Distilled Diffusion via Guidance and Attention
Skoltech(斯克里普金技术学院);AIRI(人工智能研究所);Sber(俄罗斯储蓄银行);Innopolis(因诺波利斯);HSE University(俄罗斯高等经济大学);Skolkovo Institute of Science and Technology(斯克里普金科学与技术研究所)
本文提出FastFace框架,通过重新设计无分类器引导和注意力操纵机制,实现预训练ID适配器向蒸馏加速扩散模型的免训练适应,提升身份相似度与保真度,并开发了可解耦的公开评估协议。
2025-05-28 cs.CV
Rethinking Preference Alignment for Diffusion Models with Classifier-Free Guidance
Westlake University(西湖大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出基于分类器自由引导的方法,通过分解偏好学习为两个模块并生成对比引导向量,提升扩散模型对人类偏好的对齐效果。
2026-02-21 cs.CV
RectifiedHR: High-Resolution Diffusion via Energy Profiling and Adaptive Guidance Scheduling
Fordham University(福特汉姆大学)
RectifiedHR通过能量分析和自适应引导调度提升高分辨率扩散模型的稳定性和图像质量。
2025-12-11 cs.CV cs.GR
Compress Guidance in Conditional Diffusion Sampling
School of Computer Science(计算机学院);The University of Sydney(悉尼大学)
本文提出Compress Guidance方法,通过将少量引导分布在大量采样时间步上,减少近40%的引导时间步,同时提升条件扩散模型的图像质量与多样性。
2024-10-22 cs.CV
Guidance-base Diffusion Models for Improving Photoacoustic Image Quality
Kyushu University(九州大学);National Institute of Informatics(情报通信研究机构(原信息学研究所));Luxonus Inc.(Luxonus公司)
针对光声成像单次图像质量差、整体成像成本高的问题,本研究提出基于扩散模型的方法,通过传感器信息改进反向扩散过程并结合成像条件引导,提升光声图像质量。
2025-02-10 cs.CV
Stay Fair! Ensuring Group Fairness in Diffusion Models Across Guidance Scales
POSTECH;Amazon(亚马逊)
提出StayFair方法,通过分解总偏差为模型偏差和引导偏差,并扩展强人口平价到引导过程,设计公平引导算法,使扩散模型在不同引导尺度下保持群体公平性。
2026-10-27 cs.CV cs.LG
Improving Diffusion-based Image Translation using Asymmetric Gradient Guidance
KAIST(韩国科学技术院)
针对扩散图像翻译中风格转换与内容保留的权衡及高微调成本,提出非对称梯度引导扩散采样反向过程,无需额外训练即可提升文本与图像引导翻译的速度、稳定性和效果。
2023-06-07 cs.AI cs.CV cs.LG