Diffusion-Based Conditional Image Editing through Optimized Inference with Guidance
IPAI, Seoul National University(首尔大学 IPAI);ECE(电子与计算机工程学院)
提出一种基于预训练扩散模型的免训练文本驱动图像翻译方法,通过结合CLIP相似度和结构距离的表示引导优化反向过程潜在变量,在保持源图像结构的同时实现高保真目标图像生成。
2024-12-20 cs.CV
Normalized Attention Guidance: Universal Negative Guidance for Diffusion Models
University of Surrey(萨里大学)
本文提出归一化注意力引导(NAG),一种无需训练、基于L1归一化注意力外推的通用负向引导方法,解决了少步采样下CFG失效问题,可跨架构和模态即插即用,并显著提升文本对齐、保真度和人类感知质量。
2025-06-03 cs.CV
Self-Cross Diffusion Guidance for Text-to-Image Synthesis of Similar Subjects
University of California Merced(加州大学默塞德分校)
针对扩散模型合成相似主体时的主体混合问题,提出自交叉扩散引导,通过惩罚交叉与自注意力图重叠,免训练提升Unet及Transformer模型性能,并发布SSD基准。
2025-03-24 cs.CV
Motion Guidance: Diffusion-Based Image Editing with Differentiable Motion Estimators
University of Michigan(密歇根大学)
针对扩散模型难以精确编辑图像中物体布局、姿态等的问题,提出零样本运动引导技术,通过光流网络梯度引导扩散采样,实现指定运动场的高质量图像运动编辑。
2024-01-31 cs.CV
3D Scene Diffusion Guidance using Scene Graphs
Technical University of Munich(慕尼黑工业大学)
本文提出利用场景图引导三维场景扩散生成,通过在去噪网络中引入关系图卷积模块建模对象间空间关系,从而显著提升生成场景与文本描述的一致性。
2023-08-08 cs.CV
Spatiotemporal Skip Guidance for Enhanced Video Diffusion Sampling
KAIST AI(韩国科学技术院人工智能学院);University of Washington(华盛顿大学)
针对视频扩散模型中CFG降低多样性、Autoguidance需额外训练的问题,提出无训练的时空跳跃引导STG,通过层跳跃模拟隐式弱模型,提升质量且不损害多样性与动态性。
2024-11-27 cs.CV
ReaDiT Guidance: Control for Image and Video Generation using Diffusion Transformer Features
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
该研究提出ReaDiT Guidance轻量框架,利用DiT块特征控制图像/视频生成,可实现空间目标及相机运动控制,参数更少且效果优于同类方法。
2026-09-15 cs.CV
Segmentation-Free Guidance for Text-to-Image Diffusion Models
Qualcomm AI Research(高通人工智能研究中心)
本文提出无分割引导方法,利用扩散模型自身作为隐式分割网络动态调整负提示,无需重训练且不增加计算成本,在文本到图像生成中显著优于无分类器方法。
2024-06-03 cs.CV
HiGFA: Hierarchical Guidance for Fine-grained Data Augmentation with Diffusion Models
HiGFA通过分层引导和动态置信度调节,提升细粒度数据增强的合成图像质量。
2025-12-01 cs.CV
Feedback Guidance of Diffusion Models
Ghent University - imec(根特大学 - imec);Donders Institute for Brain Cognition and Behaviour(大脑认知与行为研究所)
提出反馈引导(FBG),通过状态依赖系数动态调节扩散模型引导量,在ImageNet512x512上优于CFG且与LIG相当,并能自适应提示复杂度。
2025-10-09 cs.CV
DreamWalk: Style Space Exploration using Diffusion Guidance
Cornell University(康奈尔大学);Geomagical Labs;Google Research(谷歌研究院)
针对文本条件扩散模型难以细粒度控制风格与内容的问题,提出 DreamWalk,通过分解提示概念并设置时空引导尺度函数,在无需微调模型的情况下实现区域化风格强度调节。
2024-04-04 cs.CV
PGDiff: Guiding Diffusion Models for Versatile Face Restoration via Partial Guidance
Nanyang Technological University(南洋理工大学);SenseTime Research(商汤科技研究院)
PGDiff提出部分引导方法,不建模退化过程而建模高质量图像的结构与颜色属性,在反向扩散中施加引导,实现多功能人脸复原,并可通过融合多任务引导处理复合任务,性能优于现有扩散先验方法。
2023-09-19 cs.CV
FastFace: Tuning Identity Preservation in Distilled Diffusion via Guidance and Attention
Skoltech(斯克里普金技术学院);AIRI(人工智能研究所);Sber(俄罗斯储蓄银行);Innopolis(因诺波利斯);HSE University(俄罗斯高等经济大学);Skolkovo Institute of Science and Technology(斯克里普金科学与技术研究所)
本文提出FastFace框架,通过重新设计无分类器引导和注意力操纵机制,实现预训练ID适配器向蒸馏加速扩散模型的免训练适应,提升身份相似度与保真度,并开发了可解耦的公开评估协议。
2025-05-28 cs.CV
Rethinking Preference Alignment for Diffusion Models with Classifier-Free Guidance
Westlake University(西湖大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出基于分类器自由引导的方法,通过分解偏好学习为两个模块并生成对比引导向量,提升扩散模型对人类偏好的对齐效果。
2026-02-21 cs.CV
Compress Guidance in Conditional Diffusion Sampling
School of Computer Science(计算机学院);The University of Sydney(悉尼大学)
本文提出Compress Guidance方法,通过将少量引导分布在大量采样时间步上,减少近40%的引导时间步,同时提升条件扩散模型的图像质量与多样性。
2024-10-22 cs.CV
Guidance-base Diffusion Models for Improving Photoacoustic Image Quality
Kyushu University(九州大学);National Institute of Informatics(情报通信研究机构(原信息学研究所));Luxonus Inc.(Luxonus公司)
针对光声成像单次图像质量差、整体成像成本高的问题,本研究提出基于扩散模型的方法,通过传感器信息改进反向扩散过程并结合成像条件引导,提升光声图像质量。
2025-02-10 cs.CV
GeoGuide: Geometric guidance of diffusion models
Jagiellonian University(雅盖隆大学);IDEAS NCBR
针对预训练扩散模型引导未标记数据生成时质量下降的问题,提出基于轨迹与数据流形距离的几何引导方法GeoGuide,通过归一化调整提升生成质量,在FID分数上优于ADM-G。
2024-07-17 cs.CV
Dreamguider: Improved Training free Diffusion-based Conditional Generation
Johns Hopkins University(约翰斯·霍普金斯大学)
提出Dreamguider,一种免训练的轻量级扩散条件生成方法,通过时变因子调节梯度流、经验引导尺度及轻量级增强策略,消除了计算繁重的反向传播和手工调参,有效解决线性和非线性引导问题。
2024-06-04 cs.CV
Self-Guidance: Boosting Flow and Diffusion Generation on Their Own
Zhejiang University(浙江大学);MAPLE Lab, Westlake University(西湖大学MAPLE实验室);Peking University(北京大学);Institute of Advanced Technology, Westlake Institute for Advanced Study(西湖研究院先进技术研究所)
提出自引导(SG)方法,仅利用扩散或流模型自身不同噪声水平的得分函数抑制低质量样本,无需额外训练,即插即用,在图像和视频生成中显著提升FID与人类偏好分数,并有效消除人体伪影。
2025-09-26 cs.CV
NEGATE: Constrained Semantic Guidance for Linguistic Negation in Text-to-Video Diffusion
University of Maryland at College Park(马里兰大学 College Park 分校)
本文提出了一种基于扩散模型的语义约束指导方法,用于处理文本到视频生成中的语言否定问题,通过结构化约束实现否定的统一建模。
2026-11-18 cs.CV
Cross-Modal Guidance for Fast Diffusion-Based Computed Tomography
本文提出一种无需重新训练扩散模型的跨模态引导方法,用于提升稀疏视图中子CT的重建质量。
2026-03-01 cs.CV
DynFaceRestore: Balancing Fidelity and Quality in Diffusion-Guided Blind Face Restoration with Dynamic Blur-Level Mapping and Guidance
National Yang Ming Chiao Tung University(国家阳明交通大学);MediaTek Inc.(联发科技)
DynFaceRestore通过将盲退化输入映射为高斯模糊图像并动态选择扩散起始时间步、引入闭式引导和局部动态引导缩放,有效平衡盲人脸复原中的保真度与质量,达到最先进性能。
2025-09-20 cs.CV
Dynamic Negative Guidance of Diffusion Models
Ghent University(根特大学);Tilburg University(蒂尔堡大学);Radboud University(拉德堡德大学)
针对传统负向提示采用恒定引导尺度导致次优或失败的问题,提出无需训练、随时间与状态调制的动态负向引导DNG,并在MNIST、CIFAR10及Stable Diffusion上验证其安全性、类别平衡、图像质量和引导精度优势。
2025-06-11 cs.CV
EMAG: Self-Rectifying Diffusion Sampling with Exponential Moving Average Guidance
Australian Institute for Machine Learning(澳大利亚机器学习研究所);The University of Adelaide(阿德莱德大学)
EMAG通过无训练机制改进扩散模型的引导技术,生成更困难的负样本以提升生成质量和人类偏好分数。
2026-09-01 cs.CV
Dual Orthogonal Guidance for Robust Diffusion-based Handwritten Text Generation
Luleå University of Technology(卢莱大学);National Technical University of Athens(雅典技术大学);University of West Attica(西阿提卡大学);University of Modena and Reggio Emilia(摩德纳和雷吉奥艾米利亚大学)
针对扩散型手写文本生成易记忆样本、风格变异性与清晰度不足问题,提出双重正交引导策略,通过负扰动提示的正交投影优化生成,实验表明其可提升内容清晰度与风格多样性。
2025-08-23 cs.CV
Improving Diffusion Generalization with Weak-to-Strong Segmented Guidance
Westlake University(西湖大学);Tongji University(同济大学);Zhejiang University(浙江大学);University of California at Merced(加州大学默塞德分校)
本文提出SGG方法,通过弱到强原则结合CFG和AG的优势,提升扩散模型泛化能力,并在训练和推理阶段验证其有效性。
2026-03-21 cs.CV
Guided Diffusion from Self-Supervised Diffusion Features
LMU Munich(慕尼黑大学);University of Amsterdam(阿姆斯特丹大学);CMU(卡内基梅隆大学);Google Research(谷歌研究院)
本文提出一种利用扩散模型自监督特征生成引导的在线训练框架,并通过 Sinkhorn-Knopp 正则化和 ODE 恒速路径扩展提升判别性、采样效率与生成保真度。
2023-12-14 cs.CV
Universal Guidance for Diffusion Models
University of Maryland, College Park(马里兰大学帕克分校);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);New York University(纽约大学)
典型的扩散模型被训练为接受特定形式的条件,最常见的是文本,并且不能在没有重新训练的情况下以其他模态为条件。在这项工作中,我们提出了一个通用的指导算法,使扩散模型被控制的任意指导方式,而不需要重新训练任何使用特定的组件。我们表明,我们的算法成功地生成高质量的图像与指导功能,包括分割,人脸识别,目标检测,和分类器信号。代码可在https://github.com/arpitbansal297/Universal-Guided-Diffusion上获得。
2023-02-14 cs.CV cs.LG
SAGE: Subspace Alignment for Classifier-Free Guidance in Mixture-of-Experts Diffusion Models
Alibaba Token Hub, Alibaba Group(阿里巴巴集团阿里云通义实验室)
针对MoE扩散模型中CFG因分支子空间不一致导致崩溃的问题,提出训练时正则化器SAGE,对齐无条件激活到条件子空间,零推理成本下将漂移降低9.2倍,并在10亿参数模型上提升DPG-Bench性能9.3%。
2026-09-29 cs.CV
Stochastic Self-Guidance for Training-Free Enhancement of Diffusion Models
本文提出S$^2$-Guidance方法,通过随机块丢弃构建子网络,提升扩散模型在文本到图像和视频生成任务中的性能。
2026-03-04 cs.CV
Tortoise and Hare Guidance: Accelerating Diffusion Model Inference with Multirate Integration
Agency for Defense Development(国防发展局)
本文提出免训练的龟兔引导(THG)方法,将CFG常微分方程重构为多速率系统,在粗网格上积分附加引导项以减少计算,最多降低30%函数评估次数且几乎不损失生成质量。
2025-11-06 cs.CV
Single-step Diffusion-based Video Coding with Semantic-Temporal Guidance
Communication University of China(中国通信大学);University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
S2VC通过单步扩散与语义-时间引导,实现低比特率下的高质量视频编码,比特率节省达52.73%。
2026-09-15 cs.CV
DiffRGD: An Inference-Time Diffusion Guidance Through Riemannian Gradient Descent
提出DiffRGD框架,通过黎曼梯度下降在球流形上求解约束优化,保持潜在高斯分布,提升图像恢复与条件生成质量。
2026-07-03 cs.CV
Implicit and Explicit Language Guidance for Diffusion-based Visual Perception
School of Electrical and Information Engineering, Tianjin University(天津大学电气与信息工程学院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);School of Big Data and Software Engineering, Chongqing University(重庆大学大数据与软件学院)
针对预训练扩散模型适配视觉感知的难题,提出含隐式、显式双语言分支的IEDP框架,训练时联合引导特征学习,推理仅用隐式分支,在语义分割和深度估计任务上性能优于基线VPD。
2024-08-15 cs.CV
Self-transcendence: Is External Feature Guidance Indispensable for Accelerating Diffusion Transformer Training?
本文提出SelfTranscendence方法,通过内部特征监督实现快速收敛,无需外部特征引导,在图像生成任务中表现优于现有方法。
2026-07-13 cs.CV
More Control for Free! Image Synthesis with Semantic Diffusion Guidance
UC Berkeley(加州大学伯克利分校);Picsart AI Research (PAIR)(Picsart人工智能研究院(PAIR));University of Oregon(俄勒冈大学);The University of Hong Kong(香港大学)
可控的图像合成模型允许基于文本指令或参考图像的指导创建不同的图像。最近,去噪扩散概率模型已被证明比现有方法生成更逼真的图像,并已成功地证明在无条件和类条件设置。我们调查细粒度,连续控制这个模型类,并引入一个新的统一框架语义扩散指导,它允许语言或图像指导,或两者兼而有之。使用图像-文本或图像匹配分数的梯度将指导注入到预训练的无条件扩散模型中,而不重新训练扩散模型。我们探索基于CLIP的语言指导,以及在一个统一的框架中基于内容和风格的图像指导。我们的文本引导合成方法可以应用于没有相关文本注释的数据集。我们在FFHQ和LSUN数据集上进行了实验,并展示了细粒度文本指导的图像合成,与样式或内容参考图像相关的图像合成以及文本和图像指导的示例的结果。
2022-12-05 cs.CV cs.GR
RectifiedHR: High-Resolution Diffusion via Energy Profiling and Adaptive Guidance Scheduling
Fordham University(福特汉姆大学)
RectifiedHR通过能量分析和自适应引导调度提升高分辨率扩散模型的稳定性和图像质量。
2025-12-11 cs.CV cs.GR
Stay Fair! Ensuring Group Fairness in Diffusion Models Across Guidance Scales
POSTECH;Amazon(亚马逊)
提出StayFair方法,通过分解总偏差为模型偏差和引导偏差,并扩展强人口平价到引导过程,设计公平引导算法,使扩散模型在不同引导尺度下保持群体公平性。
2026-10-27 cs.CV cs.LG
Improving Sample Quality of Diffusion Models Using Self-Attention Guidance
Korea University(高丽大学)
本研究提出无需条件与训练的自注意力引导(SAG)方法,通过模糊扩散模型注意力区域提升生成质量,适用于多种扩散模型且可与传统引导方法结合进一步增效。
2023-08-24 cs.AI cs.CV cs.LG
Frame Guidance: Training-Free Guidance for Frame-Level Control in Video Diffusion Models
KAIST(韩国国立科学技术院);NTU Singapore(南洋理工大学);Adobe Research(Adobe研究)
帧引导通过帧级信号实现无训练的视频生成控制,支持多种任务如关键帧引导、风格化和循环,无需训练即可生成高质量视频。
2026-03-03 cs.AI cs.CV
End-to-End Diffusion Latent Optimization Improves Classifier Guidance
Salesforce Research(赛富时研究院);Stanford University(斯坦福大学)
本文提出DOODL方法,通过直接优化扩散潜在并利用可逆扩散过程实现内存高效反向传播,解决了传统分类器引导中梯度错位问题,在多种引导任务上优于一步分类器引导。
2023-05-31 cs.AI cs.CV cs.LG
Understanding and Improving Training-free Loss-based Diffusion Guidance
Microsoft Research Asia(微软亚洲研究院);National University of Singapore(新加坡国立大学)
本文深入分析了无需训练的基于损失的扩散引导,从优化角度提供理论支持并指出其易受对抗性梯度影响及收敛慢的缺陷,同时提出多项改进技术,在图像与运动生成实验中验证了其有效性。
2024-05-29 cs.CV cs.LG
Characteristic Guidance: Non-linear Correction for Diffusion Model at Large Guidance Scale
Hong Kong University of Science and Technology(香港科技大学);Southern University of Science and Technology(南方科技大学)
针对无分类器引导在大引导尺度下忽略非线性效应的问题,提出特征引导方法,通过第一性原理非线性修正使扩散模型遵循Fokker-Planck方程,无需训练即可增强语义特征并减轻图像生成不规则性。
2024-06-03 cs.AI cs.CV cs.LG
Semantic Guidance Tuning for Text-To-Image Diffusion Models
针对文本生成图像扩散模型难以严格遵循提示词语义的问题,提出一种无需训练的推理阶段语义引导调优方法,通过分解提示概念并校正偏离的引导方向,有效提升生成图像的语义对齐度。
2024-01-30 cs.AI cs.CV
Guidance Watermarking for Diffusion Models
Inria(法国国家信息与自动化技术研究所);LABEL4.AI
本文提出一种新型扩散模型水印方法,通过梯度计算提升抗攻击能力,将后验水印方案转化为生成过程中的嵌入,与变分自编码器技术互补,验证了不同模型和检测器的效果,不影响生成图像的质量和多样性。
2026-05-07 cs.CR cs.CV
MMD Guidance: Training-Free Distribution Adaptation for Diffusion Models via Maximum Mean Discrepancy Guidance
University of California, Berkeley(加州大学伯克利分校)
提出MMD Guidance,一种无训练方法,通过最大均值差异梯度引导扩散模型采样,实现与参考数据分布对齐,无需重新训练。
2026-06-09 cs.AI cs.CV cs.LG
Guidance for Low-Level Perceptual Editing in Unconditional Diffusion Models
Indian Institute of Technology Roorkee(印度理工学院罗尔基)
针对无条件扩散模型在美学和感知增强中难以进行全局低级变换的问题,提出一种无需训练的推理时机制,通过提取退化概念向量并结合瓶颈修补与无分类器引导,实现图像编辑与质量提升。
2026-05-29 cs.CV cs.LG
A Noise is Worth Diffusion Guidance
Korea University(高丽大学);KAIST(韩国科学技术院);Sookmyung Women’s University(淑明女子大学);Hugging Face
针对扩散模型需引导生成可靠图像的问题,提出NoiseRefine方法,通过优化初始噪声为无引导噪声,利用小幅度低频分量增强去噪,无需引导即可提升推理效率和图像质量,仅需50K数据即可实现高效学习。
2024-12-05 cs.AI cs.CV cs.LG
Guidance Matters: Rethinking the Evaluation Pitfall for Text-to-Image Generation
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Cogniser Information Technology(Cogniser信息科技)
本文重新审视文本到图像生成中的评估误区,提出引导感知评估框架,并设计超越扩散引导方法以提升人类偏好评分。
2026-02-26 cs.AI cs.CV
Variational Control for Guidance in Diffusion Models
University of California, Irvine(加州大学尔湾分校);Chan-Zuckerberg Initiative(陈-扎克伯格倡议)
本文提出扩散轨迹匹配(DTM),从变分控制视角统一引导方法,无需额外训练即可在多种逆问题上实现最先进性能。
2025-05-23 cs.AI cs.CV cs.LG
Efficient Fairness Auditing Across Guidance Scales in Text-to-Image Diffusion Models via Causal Abstraction
University of Arkansas(阿肯色大学);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
针对文本到图像扩散模型公平性审计计算开销大的问题,提出基于因果抽象的审计工具,通过顶层模型高效预测跨引导尺度的公平性查询,并在Stable Diffusion 1.5和StayFair上验证了其准确性和效率。
2026-09-10 cs.CV cs.LG
How Much To Guide: Revisiting Adaptive Guidance in Classifier-Free Guidance Text-to-Vision Diffusion Models
Wangxuan Institute of Computer Technology, Peking University(北京大学王玄计算技术研究所)
针对无分类器引导推理成本高的问题,本文提出通用自适应策略 Step AG,仅在前若干去噪步执行引导,即可保持图像质量与图文对齐并平均加速20%至30%。
2025-06-10 cs.AI cs.CL cs.CV
Upsample Guidance: Scale Up Diffusion Models without Training
Seoul National University(首尔大学);Korea Institute for Advanced Study(韩国高等研究院)
本文提出上采样引导技术,仅通过在采样过程中添加一个项,即可让预训练扩散模型无需训练或外部模型直接生成更高分辨率图像,并验证其适用于像素空间、潜在空间和视频扩散模型。
2024-04-02 cs.AI cs.CV
Fine-grained Image Editing by Pixel-wise Guidance Using Diffusion Models
Sony Group Corporation(索尼集团公司)
本文提出一种基于扩散模型的逐像素引导图像编辑框架,通过少量标注训练像素分类器并利用用户操作的分割图实现细粒度可控编辑,在质量和速度上优于GAN方法。
2023-05-31 cs.CV cs.LG