Noise-Level Diffusion Guidance: Well Begun is Half Done
Vision, Learning, and Control (VLC) Research Group(视觉、学习与控制研究组)
针对扩散模型初始随机噪声影响输出质量的问题,提出无需额外训练或反向传播的噪声级引导方法(NLG),通过优化初始噪声提升图像质量与条件遵循度,在五个基准上验证了其高效性与可扩展性。
2025-09-17 cs.CV
Diffusion-Based Conditional Image Editing through Optimized Inference with Guidance
IPAI, Seoul National University(首尔大学 IPAI);ECE(电子与计算机工程学院)
提出一种基于预训练扩散模型的免训练文本驱动图像翻译方法,通过结合CLIP相似度和结构距离的表示引导优化反向过程潜在变量,在保持源图像结构的同时实现高保真目标图像生成。
2024-12-20 cs.CV
Normalized Attention Guidance: Universal Negative Guidance for Diffusion Models
University of Surrey(萨里大学)
本文提出归一化注意力引导(NAG),一种无需训练、基于L1归一化注意力外推的通用负向引导方法,解决了少步采样下CFG失效问题,可跨架构和模态即插即用,并显著提升文本对齐、保真度和人类感知质量。
2025-06-03 cs.CV
Self-Cross Diffusion Guidance for Text-to-Image Synthesis of Similar Subjects
University of California Merced(加州大学默塞德分校)
针对扩散模型合成相似主体时的主体混合问题,提出自交叉扩散引导,通过惩罚交叉与自注意力图重叠,免训练提升Unet及Transformer模型性能,并发布SSD基准。
2025-03-24 cs.CV
Motion Guidance: Diffusion-Based Image Editing with Differentiable Motion Estimators
University of Michigan(密歇根大学)
针对扩散模型难以精确编辑图像中物体布局、姿态等的问题,提出零样本运动引导技术,通过光流网络梯度引导扩散采样,实现指定运动场的高质量图像运动编辑。
2024-01-31 cs.CV
3D Scene Diffusion Guidance using Scene Graphs
Technical University of Munich(慕尼黑工业大学)
本文提出利用场景图引导三维场景扩散生成,通过在去噪网络中引入关系图卷积模块建模对象间空间关系,从而显著提升生成场景与文本描述的一致性。
2023-08-08 cs.CV
Spatiotemporal Skip Guidance for Enhanced Video Diffusion Sampling
KAIST AI(韩国科学技术院人工智能学院);University of Washington(华盛顿大学)
针对视频扩散模型中CFG降低多样性、Autoguidance需额外训练的问题,提出无训练的时空跳跃引导STG,通过层跳跃模拟隐式弱模型,提升质量且不损害多样性与动态性。
2024-11-27 cs.CV
ReaDiT Guidance: Control for Image and Video Generation using Diffusion Transformer Features
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
该研究提出ReaDiT Guidance轻量框架,利用DiT块特征控制图像/视频生成,可实现空间目标及相机运动控制,参数更少且效果优于同类方法。
2026-09-15 cs.CV
HiGFA: Hierarchical Guidance for Fine-grained Data Augmentation with Diffusion Models
HiGFA通过分层引导和动态置信度调节,提升细粒度数据增强的合成图像质量。
2025-12-01 cs.CV
Feedback Guidance of Diffusion Models
Ghent University - imec(根特大学 - imec);Donders Institute for Brain Cognition and Behaviour(大脑认知与行为研究所)
提出反馈引导(FBG),通过状态依赖系数动态调节扩散模型引导量,在ImageNet512x512上优于CFG且与LIG相当,并能自适应提示复杂度。
2025-10-09 cs.CV
DreamWalk: Style Space Exploration using Diffusion Guidance
Cornell University(康奈尔大学);Geomagical Labs;Google Research(谷歌研究院)
针对文本条件扩散模型难以细粒度控制风格与内容的问题,提出 DreamWalk,通过分解提示概念并设置时空引导尺度函数,在无需微调模型的情况下实现区域化风格强度调节。
2024-04-04 cs.CV
PGDiff: Guiding Diffusion Models for Versatile Face Restoration via Partial Guidance
Nanyang Technological University(南洋理工大学);SenseTime Research(商汤科技研究院)
PGDiff提出部分引导方法,不建模退化过程而建模高质量图像的结构与颜色属性,在反向扩散中施加引导,实现多功能人脸复原,并可通过融合多任务引导处理复合任务,性能优于现有扩散先验方法。
2023-09-19 cs.CV
FastFace: Tuning Identity Preservation in Distilled Diffusion via Guidance and Attention
Skoltech(斯克里普金技术学院);AIRI(人工智能研究所);Sber(俄罗斯储蓄银行);Innopolis(因诺波利斯);HSE University(俄罗斯高等经济大学);Skolkovo Institute of Science and Technology(斯克里普金科学与技术研究所)
本文提出FastFace框架,通过重新设计无分类器引导和注意力操纵机制,实现预训练ID适配器向蒸馏加速扩散模型的免训练适应,提升身份相似度与保真度,并开发了可解耦的公开评估协议。
2025-05-28 cs.CV
Rethinking Preference Alignment for Diffusion Models with Classifier-Free Guidance
Westlake University(西湖大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出基于分类器自由引导的方法,通过分解偏好学习为两个模块并生成对比引导向量,提升扩散模型对人类偏好的对齐效果。
2026-02-21 cs.CV
Compress Guidance in Conditional Diffusion Sampling
School of Computer Science(计算机学院);The University of Sydney(悉尼大学)
本文提出Compress Guidance方法,通过将少量引导分布在大量采样时间步上,减少近40%的引导时间步,同时提升条件扩散模型的图像质量与多样性。
2024-10-22 cs.CV
Guidance-base Diffusion Models for Improving Photoacoustic Image Quality
Kyushu University(九州大学);National Institute of Informatics(情报通信研究机构(原信息学研究所));Luxonus Inc.(Luxonus公司)
针对光声成像单次图像质量差、整体成像成本高的问题,本研究提出基于扩散模型的方法,通过传感器信息改进反向扩散过程并结合成像条件引导,提升光声图像质量。
2025-02-10 cs.CV
Readout Guidance: Learning Control from Diffusion Features
Google Research(谷歌研究院);UC Berkeley(加州大学伯克利分校)
本文提出 Readout Guidance,通过轻量读出头从冻结扩散模型特征中提取单图或多图信号,并反传梯度引导采样,以更少参数和训练样本统一实现多种图像条件控制。
2024-04-02 cs.CV
GeoGuide: Geometric guidance of diffusion models
Jagiellonian University(雅盖隆大学);IDEAS NCBR
针对预训练扩散模型引导未标记数据生成时质量下降的问题,提出基于轨迹与数据流形距离的几何引导方法GeoGuide,通过归一化调整提升生成质量,在FID分数上优于ADM-G。
2024-07-17 cs.CV
Universal Guidance for Diffusion Models
University of Maryland, College Park(马里兰大学帕克分校);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);New York University(纽约大学)
典型的扩散模型被训练为接受特定形式的条件,最常见的是文本,并且不能在没有重新训练的情况下以其他模态为条件。在这项工作中,我们提出了一个通用的指导算法,使扩散模型被控制的任意指导方式,而不需要重新训练任何使用特定的组件。我们表明,我们的算法成功地生成高质量的图像与指导功能,包括分割,人脸识别,目标检测,和分类器信号。代码可在https://github.com/arpitbansal297/Universal-Guided-Diffusion上获得。
2023-02-14 cs.CV cs.LG
More Control for Free! Image Synthesis with Semantic Diffusion Guidance
UC Berkeley(加州大学伯克利分校);Picsart AI Research (PAIR)(Picsart人工智能研究院(PAIR));University of Oregon(俄勒冈大学);The University of Hong Kong(香港大学)
可控的图像合成模型允许基于文本指令或参考图像的指导创建不同的图像。最近,去噪扩散概率模型已被证明比现有方法生成更逼真的图像,并已成功地证明在无条件和类条件设置。我们调查细粒度,连续控制这个模型类,并引入一个新的统一框架语义扩散指导,它允许语言或图像指导,或两者兼而有之。使用图像-文本或图像匹配分数的梯度将指导注入到预训练的无条件扩散模型中,而不重新训练扩散模型。我们探索基于CLIP的语言指导,以及在一个统一的框架中基于内容和风格的图像指导。我们的文本引导合成方法可以应用于没有相关文本注释的数据集。我们在FFHQ和LSUN数据集上进行了实验,并展示了细粒度文本指导的图像合成,与样式或内容参考图像相关的图像合成以及文本和图像指导的示例的结果。
2022-12-05 cs.CV cs.GR
RectifiedHR: High-Resolution Diffusion via Energy Profiling and Adaptive Guidance Scheduling
Fordham University(福特汉姆大学)
RectifiedHR通过能量分析和自适应引导调度提升高分辨率扩散模型的稳定性和图像质量。
2025-12-11 cs.CV cs.GR
Stay Fair! Ensuring Group Fairness in Diffusion Models Across Guidance Scales
POSTECH;Amazon(亚马逊)
提出StayFair方法,通过分解总偏差为模型偏差和引导偏差,并扩展强人口平价到引导过程,设计公平引导算法,使扩散模型在不同引导尺度下保持群体公平性。
2026-10-27 cs.CV cs.LG
Frame Guidance: Training-Free Guidance for Frame-Level Control in Video Diffusion Models
KAIST(韩国国立科学技术院);NTU Singapore(南洋理工大学);Adobe Research(Adobe研究)
帧引导通过帧级信号实现无训练的视频生成控制,支持多种任务如关键帧引导、风格化和循环,无需训练即可生成高质量视频。
2026-03-03 cs.AI cs.CV
Improving Sample Quality of Diffusion Models Using Self-Attention Guidance
Korea University(高丽大学)
本研究提出无需条件与训练的自注意力引导(SAG)方法,通过模糊扩散模型注意力区域提升生成质量,适用于多种扩散模型且可与传统引导方法结合进一步增效。
2023-08-24 cs.AI cs.CV cs.LG
Understanding and Improving Training-free Loss-based Diffusion Guidance
Microsoft Research Asia(微软亚洲研究院);National University of Singapore(新加坡国立大学)
本文深入分析了无需训练的基于损失的扩散引导,从优化角度提供理论支持并指出其易受对抗性梯度影响及收敛慢的缺陷,同时提出多项改进技术,在图像与运动生成实验中验证了其有效性。
2024-05-29 cs.CV cs.LG
End-to-End Diffusion Latent Optimization Improves Classifier Guidance
Salesforce Research(赛富时研究院);Stanford University(斯坦福大学)
本文提出DOODL方法,通过直接优化扩散潜在并利用可逆扩散过程实现内存高效反向传播,解决了传统分类器引导中梯度错位问题,在多种引导任务上优于一步分类器引导。
2023-05-31 cs.AI cs.CV cs.LG
Semantic Guidance Tuning for Text-To-Image Diffusion Models
针对文本生成图像扩散模型难以严格遵循提示词语义的问题,提出一种无需训练的推理阶段语义引导调优方法,通过分解提示概念并校正偏离的引导方向,有效提升生成图像的语义对齐度。
2024-01-30 cs.AI cs.CV
Guidance Watermarking for Diffusion Models
Inria(法国国家信息与自动化技术研究所);LABEL4.AI
本文提出一种新型扩散模型水印方法,通过梯度计算提升抗攻击能力,将后验水印方案转化为生成过程中的嵌入,与变分自编码器技术互补,验证了不同模型和检测器的效果,不影响生成图像的质量和多样性。
2026-05-07 cs.CR cs.CV
Characteristic Guidance: Non-linear Correction for Diffusion Model at Large Guidance Scale
Hong Kong University of Science and Technology(香港科技大学);Southern University of Science and Technology(南方科技大学)
针对无分类器引导在大引导尺度下忽略非线性效应的问题,提出特征引导方法,通过第一性原理非线性修正使扩散模型遵循Fokker-Planck方程,无需训练即可增强语义特征并减轻图像生成不规则性。
2024-06-03 cs.AI cs.CV cs.LG
Guidance for Low-Level Perceptual Editing in Unconditional Diffusion Models
Indian Institute of Technology Roorkee(印度理工学院罗尔基)
针对无条件扩散模型在美学和感知增强中难以进行全局低级变换的问题,提出一种无需训练的推理时机制,通过提取退化概念向量并结合瓶颈修补与无分类器引导,实现图像编辑与质量提升。
2026-05-29 cs.CV cs.LG
MMD Guidance: Training-Free Distribution Adaptation for Diffusion Models via Maximum Mean Discrepancy Guidance
University of California, Berkeley(加州大学伯克利分校)
提出MMD Guidance,一种无训练方法,通过最大均值差异梯度引导扩散模型采样,实现与参考数据分布对齐,无需重新训练。
2026-06-09 cs.AI cs.CV cs.LG
A Noise is Worth Diffusion Guidance
Korea University(高丽大学);KAIST(韩国科学技术院);Sookmyung Women’s University(淑明女子大学);Hugging Face
针对扩散模型需引导生成可靠图像的问题,提出NoiseRefine方法,通过优化初始噪声为无引导噪声,利用小幅度低频分量增强去噪,无需引导即可提升推理效率和图像质量,仅需50K数据即可实现高效学习。
2024-12-05 cs.AI cs.CV cs.LG
Guidance Matters: Rethinking the Evaluation Pitfall for Text-to-Image Generation
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Cogniser Information Technology(Cogniser信息科技)
本文重新审视文本到图像生成中的评估误区,提出引导感知评估框架,并设计超越扩散引导方法以提升人类偏好评分。
2026-02-26 cs.AI cs.CV
Efficient Fairness Auditing Across Guidance Scales in Text-to-Image Diffusion Models via Causal Abstraction
University of Arkansas(阿肯色大学);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
针对文本到图像扩散模型公平性审计计算开销大的问题,提出基于因果抽象的审计工具,通过顶层模型高效预测跨引导尺度的公平性查询,并在Stable Diffusion 1.5和StayFair上验证了其准确性和效率。
2026-09-10 cs.CV cs.LG
How Much To Guide: Revisiting Adaptive Guidance in Classifier-Free Guidance Text-to-Vision Diffusion Models
Wangxuan Institute of Computer Technology, Peking University(北京大学王玄计算技术研究所)
针对无分类器引导推理成本高的问题,本文提出通用自适应策略 Step AG,仅在前若干去噪步执行引导,即可保持图像质量与图文对齐并平均加速20%至30%。
2025-06-10 cs.AI cs.CL cs.CV
Variational Control for Guidance in Diffusion Models
University of California, Irvine(加州大学尔湾分校);Chan-Zuckerberg Initiative(陈-扎克伯格倡议)
本文提出扩散轨迹匹配(DTM),从变分控制视角统一引导方法,无需额外训练即可在多种逆问题上实现最先进性能。
2025-05-23 cs.AI cs.CV cs.LG
Upsample Guidance: Scale Up Diffusion Models without Training
Seoul National University(首尔大学);Korea Institute for Advanced Study(韩国高等研究院)
本文提出上采样引导技术,仅通过在采样过程中添加一个项,即可让预训练扩散模型无需训练或外部模型直接生成更高分辨率图像,并验证其适用于像素空间、潜在空间和视频扩散模型。
2024-04-02 cs.AI cs.CV
Fine-grained Image Editing by Pixel-wise Guidance Using Diffusion Models
Sony Group Corporation(索尼集团公司)
本文提出一种基于扩散模型的逐像素引导图像编辑框架,通过少量标注训练像素分类器并利用用户操作的分割图实现细粒度可控编辑,在质量和速度上优于GAN方法。
2023-05-31 cs.CV cs.LG
No Training, No Problem: Rethinking Classifier-Free Guidance for Diffusion Models
ETH Zürich(苏黎世联邦理工学院);DisneyResearch|Studios(迪士尼研究工作室)
本文提出独立条件引导(ICG)和时间步引导(TSG),在无需额外训练或修改训练过程的情况下,为条件及无条件扩散模型提供与免分类器引导(CFG)相当的生成质量提升。
2025-06-03 cs.CV cs.LG
Accelerating Diffusion Models via Pre-segmentation Diffusion Sampling for Medical Image Segmentation
Harbin Institute of Technology at Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室)
基于去噪扩散概率模型(DDPM),医学图像分割可以被描述为条件图像生成任务,其允许计算分割的逐像素不确定性图,并且允许分割的隐式集合以提高分割性能。然而,DDPM需要许多迭代去噪步骤来从高斯噪声中生成分割,从而导致非常低效的推理。为了缓解这个问题,我们提出了一个原则性的加速策略,称为预分割扩散采样DDPM(PD-DDPM),这是专门用于医学图像分割。其核心思想是基于单独训练的分割网络获得预分割结果,并根据前向扩散规则构建噪声预测(非高斯分布)。然后,我们可以从噪声预测开始,使用更少的反向步骤来生成分割结果。实验表明,PD-DDPM产生更好的分割结果比有代表性的基线方法,即使反向步骤的数量显着减少。此外,PD-DDPM与现有的高级分割模型正交,可以将其组合以进一步提高分割性能。
2022-10-27 cs.CV cs.LG eess.IV
Diffusion Models for Solving Inverse Problems via Posterior Sampling with Piecewise Guidance
Department of Electrical and Computer Engineering(电气与计算机工程系);Virginia Tech(弗吉尼亚理工大学);Department of Electrical and Electronic Engineering(电气电子工程系);Institute of Science(科学研究所)
本文提出一种基于扩散模型的分段引导框架,用于解决逆问题,通过分段函数平衡计算效率与引导精度,有效整合测量噪声,实验显示在图像修复和超分辨率任务中提升效率。
2026-05-01 cs.CV cs.LG
Advanced Image Generation: Negative Prompt Optimization and Latent Classifier Guidance
该研究提出新系统,通过微调序列到序列语言模型集成负提示优化与潜在空间分类器引导,自动生成优化负提示,用混合分类器评估引导扩散步骤,减少伪影并提高语义保真度,提升Stable Diffusion图像生成质量。
2026-07-17 cs.CV cs.LG
Toward the Frontiers of Reliable Diffusion Sampling via Adversarial Sinkhorn Attention Guidance
Samsung Research(三星研究院)
针对扩散模型现有引导方法缺乏原则性基础且依赖手动设计失真的问题,提出对抗性Sinkhorn注意力引导(ASAG),通过最优传输视角重构注意力分数并注入对抗性成本,轻量即插即用,提升样本质量及下游应用可控性与保真度。
2025-11-10 cs.AI cs.CV
When Test-Time Guidance Is Enough: Fast Image and Video Editing with Diffusion Guidance
CMAP, Ecole Polytechnique(巴黎综合理工学院CMAP实验室);Institute of Foundation Models(基础模型研究所);MBZUAI(穆罕默德·本·扎耶德人工智能大学);EPITA(法国高等信息技术学院);Sorbonne University(索邦大学);Lagrange Mathematics and Computing Research Center(拉格朗日数学与计算研究中心);EPITA Research Lab(EPITA研究实验室);KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出通过测试时指导实现高效的图像和视频编辑,理论分析并扩展了现有方法,证明测试时指导能与训练时方法媲美甚至超越。
2026-03-30 cs.AI cs.CV cs.LG
CFG++: Manifold-constrained Classifier Free Guidance for Diffusion Models
KAIST(韩国科学技术院)
针对传统无分类器引导(CFG)存在的流形外现象引发的可逆性差、模式崩溃等问题,提出流形约束的CFG++方法,将文本引导重构为带文本条件得分匹配损失的逆问题,在多类扩散任务中性能显著提升。
2024-09-12 cs.AI cs.CV cs.LG
Applying Guidance in a Limited Interval Improves Sample and Distribution Quality in Diffusion Models
Aalto University(阿尔托大学);NVIDIA(英伟达公司)
本文发现扩散模型采样链中引导仅在中间噪声水平有益,提出将引导限制在有限区间,显著提升ImageNet-512的FID(从1.81降至1.40),并在多种设置下验证了其通用性。
2024-11-06 cs.AI cs.CV cs.LG
REG: Rectified Gradient Guidance for Conditional Diffusion Models
Massachusetts Institute of Technology(麻省理工学院)
本文提出校正梯度引导(REG),通过修正理论无效的缩放边际分布目标为联合分布目标,提升条件扩散模型性能,实验证明其在多个任务上优于现有引导方法。
2025-05-22 cs.AI cs.CV cs.LG
Self-Rectifying Diffusion Sampling with Perturbed-Attention Guidance
Korea University(韩国大学);Samsung Electronics(三星电子)
本文提出扰动注意力引导(PAG),通过扰动自注意力图引导去噪过程远离结构退化样本,无需额外训练即可在无条件和有条件生成及多种下游任务中提升扩散模型样本质量。
2025-07-07 cs.AI cs.CV cs.LG
Analyzing Multimodal Objectives Through the Lens of Generative Diffusion Guidance
Seoul National University(首尔国立大学)
近年来,多模态表示学习领域取得了惊人的进展,其中对比学习是重大突破的基石。最新的作品通过将不同的目标(如掩码建模和字幕)纳入框架中,提供了进一步的改进,但我们对这些目标如何促进学习的理解仍然非常不完整。在本文中,我们利用分类器引导的扩散模型生成反映分类器提供的语义信号的图像来研究多模态学习目标的特征。具体来说,我们比较对比,匹配和字幕损失方面的语义信号,并引入一个简单的基线,不仅支持我们的分析,但也提高了生成指导的质量在一个简单的方式。
2023-02-10 cs.AI cs.CV cs.LG
Exploring Palette based Color Guidance in Diffusion Models
CyberAgent Inc.(CyberAgent公司)
本文提出将调色板作为独立引导机制集成至扩散模型,以解决现有文本到图像模型对整体配色方案控制不足的问题,显著提升了图像着色过程的可控性与精细度。
2025-08-12 cs.CV cs.GR cs.MM
Domain Guidance: A Simple Transfer Approach for a Pre-trained Diffusion Model
BNRist(北京信息科学与技术国家研究中心)
本文提出Domain Guidance,一种简单的扩散模型迁移方法,利用预训练知识引导采样至目标域,无需额外训练即可显著提升生成质量。
2025-04-02 cs.AI cs.CV cs.LG
Navigating with Annealing Guidance Scale in Diffusion Space
Tel Aviv University(特拉维夫大学);Google DeepMind(谷歌DeepMind)
本文提出了一种退火引导调度器,通过动态调整引导尺度提升文本到图像生成的质量和对齐度,无需额外资源消耗。
2026-03-03 cs.AI cs.CV cs.GR
GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models
OpenAI(开放人工智能研究中心)
扩散模型最近已被证明可以生成高质量的合成图像,特别是当与指导技术配对以权衡多样性和保真度时。我们探讨了文本条件图像合成问题的扩散模型,并比较了两种不同的指导策略:CLIP指导和无分类器引导。我们发现,后者是首选的人类评价的真实感和标题相似性,并经常产生真实感的样本。使用无分类器引导的35亿参数文本条件扩散模型的样本比DALL-E的样本更受人类评估者的青睐,即使后者使用昂贵的CLIP重新排序。此外,我们发现,我们的模型可以进行微调,以执行图像修补,使强大的文本驱动的图像编辑。我们在过滤后的数据集上训练一个较小的模型,并在https://github.com/openai/glide-text2im上发布代码和权重。
2022-03-08 cs.CV cs.GR cs.LG
Improving Diffusion-based Image Translation using Asymmetric Gradient Guidance
KAIST(韩国科学技术院)
针对扩散图像翻译中风格转换与内容保留的权衡及高微调成本,提出非对称梯度引导扩散采样反向过程,无需额外训练即可提升文本与图像引导翻译的速度、稳定性和效果。
2023-06-07 cs.AI cs.CV cs.LG