Meta-Learning via Classifier(-free) Diffusion Guidance
ETH AI Center, ETH Zürich(苏黎世联邦理工学院ETH人工智能中心);Institute of Neuroinformatics, University of Zürich and ETH Zürich(苏黎世大学与苏黎世联邦理工学院神经信息学研究所);Soft Robotics Lab, ETH Zürich(苏黎世联邦理工学院软机器人实验室);Dept. of Computer Science, ETH Zürich(苏黎世联邦理工学院计算机科学系)
我们引入元学习算法,执行神经网络模型的zero-shot权重空间自适应,以看不见的任务。我们的方法重新利用流行的生成图像合成技术的自然语言的指导和扩散模型,以产生适应任务的神经网络权重。我们首先训练一个无条件生成超网络模型来产生神经网络权重;然后我们训练第二个“指导”模型,该模型给出自然语言任务描述,遍历超网络潜在空间,以zero-shot方式找到高性能任务自适应权重。我们探讨了两种替代方法的潜在空间的指导:“HyperCLIP”为基础的分类指导和有条件的超网络潜空间扩散模型(“HyperLDM”),我们表明受益于无分类器引导技术常见的图像生成。最后,我们在Meta-VQA数据集上进行了一系列零样本学习实验,证明了我们的方法优于现有的多任务和元学习方法。
2023-01-31 cs.LG
Unlocking Guidance for Discrete State-Space Diffusion and Flow Models
University of California, Berkeley(加州大学伯克利分校)
针对离散状态空间生成模型缺乏引导方法的问题,提出基于连续时间马尔可夫过程的通用引导方法,实现小分子、DNA和蛋白质序列的可控生成。
2025-03-25 cs.LG
Learned End-to-End Guidance Schedules for Diffusion Models
University of Stuttgart(斯图加特大学);École polytechnique, Institut Polytechnique de Paris(巴黎综合理工学院,巴黎综合理工大学)
本文提出LEEGS方法,通过学习时间依赖的引导调度,以更少的采样步骤实现扩散模型在数据质量与需求满足间的平衡,并在多种引导任务上以更低计算成本达到或超越基线性能。
2026-10-02 cs.LG
GradCheck: Analyzing classifier guidance gradients for conditional diffusion sampling
Center for Artificial Intelligence, Technical University of Applied Sciences Wuerzburg-Schweinfurt(维尔茨堡-施韦因富特应用技术大学人工智能中心);Bielefeld University(比勒费尔德大学)
本研究分析了DDPM采样中分类器引导梯度的稳定性问题,通过比较鲁棒与非鲁棒分类器及多种梯度稳定技术,发现这些技术能显著提升非鲁棒分类器的样本质量。
2024-06-25 cs.LG
Stage-wise Dynamics of Classifier-Free Guidance in Diffusion Models
Department of Electronic Engineering, Tsinghua University(电子工程系,清华大学)
本文研究了扩散模型中分类器自由引导的分阶段动态,揭示了引导对采样过程三个阶段的影响,并提出时间变化的引导策略以提升质量和多样性。
2026-02-18 cs.LG
Guidance with Spherical Gaussian Constraint for Conditional Diffusion
ShanghaiTech University(上海科技大学)
本文针对条件扩散模型中损失引导导致的流形偏差问题,提出球面高斯约束扩散(DSG),通过约束引导步骤在数据流形内实现更大步长和更高样本质量,并可作为即插即用模块提升现有免训练方法性能。
2024-07-04 cs.LG
Training-Free Guidance Beyond Differentiability: Scalable Path Steering with Tree Search in Diffusion and Flow Models
Princeton University(普林斯顿大学)
针对不可微目标与离散分布下的免训练生成引导问题,提出 TreeG 树搜索路径转向框架,在三类任务中显著超越基线并展现推理时计算可扩展性。
2025-06-11 cs.LG
Sparse Scheduled Diffusion Guidance for Inverse Problems
MBZUAI(穆扎伊人工智能研究院);Institute of Foundation Models(基础模型研究所);EPITA
提出Spin方法,通过从中间时间步开始后验采样并仅在调度步骤应用轻量级校正,实现高效逆问题求解,在FFHQ和ImageNet上速度提升2-50倍且内存更低。
2026-05-28 cs.LG
Spectral Guidance for Flexible and Efficient Control of Diffusion Models
Carnegie Mellon University(卡内基梅隆大学);Institute for Systems and Robotics(系统与机器人研究所)
提出谱引导框架,通过条件期望算子的奇异函数学习生成过程的固有几何结构,实现无需重训练或反向传播的稳定高保真控制,在CIFAR-10上条件准确率提升37个百分点且采样加速4倍。
2026-05-27 cs.LG
Enhanced Low-Density Region Exploration in Classifier-Guided Diffusion Models Through Modified Reverse Diffusion Sampling
University of Allahabad(阿拔斯大学)
提出一种无需额外训练的采样时间密度感知方法,通过修改分类器梯度引导轨迹朝向低置信区域并引导采样朝向预测真实图像,以增强扩散模型对低密度区域的探索。
2026-06-12 cs.LG
Getting Your Guidance Weights Right in diffusion and flow-matching posterior sampling
Heriot-Watt University, EPS(赫瑞-瓦特大学,工程与物理科学学院);IMS (Univ. Bordeaux, CNRS, BINP)(IMS(波尔多大学,法国国家科学研究中心,BINP));ONERA(法国国家航空航天研究院)
提出一种离线自动调优扩散与流匹配后验采样中引导权重的方法,将其化为二维线性最小二乘问题,无需重训,提升重建性能并可将采样步数降至50步。
2026-10-05 cs.LG
Diffusion Guidance Is a Controllable Policy Improvement Operator
UC Berkeley(加州大学伯克利分校)
本研究推导了策略改进与扩散模型引导之间的直接关系,提出框架CFGRL,通过监督学习训练并在离线RL任务中无需显式学习价值函数即可提升策略性能。
2026-11-13 cs.LG
Self-Augmented Diffusion Guidance for Physics-Informed Generation
The University of Tokyo(东京大学);School of Engineering(工学院)
本研究提出一种基于自生成数据增强的扩散引导的物理感知生成方法,解耦控制方程评估与扩散模型训练采样,可显著降低生成物理信号的偏差,且与现有物理约束扩散方法结合效果更佳。
2026-08-28 cs.LG
GuidanceNFT: NFT-Based Reward Fine-Tuning of Guided Diffusion Models
Tsinghua University(清华大学);Duke University(杜克大学)
GuidanceNFT通过在线流匹配校正参考速度,解决了NFT应用于引导扩散模型时的奖励退化问题,在SD3.5-M等模型上提升了奖励与提示对齐性,在ImageNet、OpenWebText、GSM8K等任务上表现更优。
2026-10-14 cs.LG
DynG-Diff: A State-Aware Dynamic Guidance Diffusion Framework for Probabilistic Time Series Forecasting
Zhejiang Gongshang University(浙江工商大学);Sussex Artificial Intelligence Institute(萨塞克斯人工智能研究所);School of Information and Electronic Engineering(信息与电子工程学院);University of Auckland(奥克兰大学);School of Computer Science(计算机科学学院)
本文针对概率多元时间序列预测中现有扩散方法的信息异质性问题,提出DynG-Diff框架,通过两阶段训练、状态感知策略网络及动态权重设计,实现更优预测性能与鲁棒性。
2026-09-03 cs.LG
Classifier-Free Diffusion Guidance
Google Research(谷歌研究院)
分类器指导是最近引入的在条件扩散后训练中权衡模式覆盖和样本保真度的方法,其精神与其他类型的生成模型中的低温温度采样或截断相同。分类器引导将扩散模型的分数估计与图像分类器的梯度相结合,从而需要训练与扩散模型分离的图像分类器。它还提出了一个问题,即是否可以在没有分类器的情况下进行指导。我们表明,指导确实可以由一个纯粹的生成模型没有这样的分类器:在我们所谓的无分类器引导,我们共同训练一个有条件和无条件的扩散模型,我们结合所得到的有条件和无条件的得分估计,以达到样本质量和多样性之间的权衡使用分类器的指导。
2022-07-26 cs.AI cs.LG
Universal Guidance for Diffusion Models
University of Maryland, College Park(马里兰大学帕克分校);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);New York University(纽约大学)
典型的扩散模型被训练为接受特定形式的条件,最常见的是文本,并且不能在没有重新训练的情况下以其他模态为条件。在这项工作中,我们提出了一个通用的指导算法,使扩散模型被控制的任意指导方式,而不需要重新训练任何使用特定的组件。我们表明,我们的算法成功地生成高质量的图像与指导功能,包括分割,人脸识别,目标检测,和分类器信号。代码可在https://github.com/arpitbansal297/Universal-Guided-Diffusion上获得。
2023-02-14 cs.CV cs.LG
Variational Control for Guidance in Diffusion Models
University of California, Irvine(加州大学尔湾分校);Chan-Zuckerberg Initiative(陈-扎克伯格倡议)
本文提出扩散轨迹匹配(DTM),从变分控制视角统一引导方法,无需额外训练即可在多种逆问题上实现最先进性能。
2025-05-23 cs.AI cs.CV cs.LG
Adaptive Diffusion Guidance via Stochastic Optimal Control
本文提出通过随机最优控制框架,建立指导调度的理论基础,动态选择指导强度以提升扩散模型生成质量。
2026-03-31 cs.LG stat.ML
Stay Fair! Ensuring Group Fairness in Diffusion Models Across Guidance Scales
POSTECH;Amazon(亚马逊)
提出StayFair方法,通过分解总偏差为模型偏差和引导偏差,并扩展强人口平价到引导过程,设计公平引导算法,使扩散模型在不同引导尺度下保持群体公平性。
2026-10-27 cs.CV cs.LG
Gradient Guidance for Diffusion Models: An Optimization Perspective
Princeton University(普林斯顿大学)
本文从优化视角研究扩散模型的梯度引导,建立数学框架证明其本质是正则化优化问题的采样解,并提出基于前向预测损失的修正引导及迭代微调方法,在凹目标下证明了O(1/K)的全局收敛率。
2024-10-15 cs.LG stat.ML
Spatial-Temporal Feedback Diffusion Guidance for Controlled Traffic Imputation
FENCE提出了一种时空反馈扩散引导方法,通过动态调整引导尺度提升交通数据填补的准确性。
2026-01-08 cs.AI cs.LG
Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models
University of Pennsylvania(宾夕法尼亚大学);Princeton University(普林斯顿大学)
本文以高斯混合模型为对象,首次从理论上分析扩散引导的作用,证明其在 DDPM 与 DDIM 等采样方案下会提升分类置信度并降低输出分布的微分熵与多样性。
2024-03-03 cs.LG stat.ML
Improving Sample Quality of Diffusion Models Using Self-Attention Guidance
Korea University(高丽大学)
本研究提出无需条件与训练的自注意力引导(SAG)方法,通过模糊扩散模型注意力区域提升生成质量,适用于多种扩散模型且可与传统引导方法结合进一步增效。
2023-08-24 cs.AI cs.CV cs.LG
Understanding and Improving Training-free Loss-based Diffusion Guidance
Microsoft Research Asia(微软亚洲研究院);National University of Singapore(新加坡国立大学)
本文深入分析了无需训练的基于损失的扩散引导,从优化角度提供理论支持并指出其易受对抗性梯度影响及收敛慢的缺陷,同时提出多项改进技术,在图像与运动生成实验中验证了其有效性。
2024-05-29 cs.CV cs.LG
End-to-End Diffusion Latent Optimization Improves Classifier Guidance
Salesforce Research(赛富时研究院);Stanford University(斯坦福大学)
本文提出DOODL方法,通过直接优化扩散潜在并利用可逆扩散过程实现内存高效反向传播,解决了传统分类器引导中梯度错位问题,在多种引导任务上优于一步分类器引导。
2023-05-31 cs.AI cs.CV cs.LG
Characteristic Guidance: Non-linear Correction for Diffusion Model at Large Guidance Scale
Hong Kong University of Science and Technology(香港科技大学);Southern University of Science and Technology(南方科技大学)
针对无分类器引导在大引导尺度下忽略非线性效应的问题,提出特征引导方法,通过第一性原理非线性修正使扩散模型遵循Fokker-Planck方程,无需训练即可增强语义特征并减轻图像生成不规则性。
2024-06-03 cs.AI cs.CV cs.LG
Training-Free Guidance for Discrete Diffusion Models for Molecular Generation
Utah State University(犹他州立大学)
针对离散扩散模型缺乏等效免训练引导方法的问题,提出适用于离散数据的免训练引导框架,结合DiGress模型与相关引导函数,验证了其在分子图生成任务中的引导能力。
2024-09-11 cs.LG physics.chem-ph q-bio.BM
Variational Diffusion Posterior Sampling with Midpoint Guidance
Ecole polytechnique(巴黎综合理工学院);Télécom SudParis(南巴黎电信学院);KTH University(皇家理工学院)
本文提出一种利用转移概率分解的新方法,在难以处理的引导项与先验转移的复杂性间进行权衡,以解决扩散模型后验采样难题,并在多种逆问题及心血管疾病诊断中验证了其有效性。
2024-12-24 cs.LG stat.ML
Guidance for Low-Level Perceptual Editing in Unconditional Diffusion Models
Indian Institute of Technology Roorkee(印度理工学院罗尔基)
针对无条件扩散模型在美学和感知增强中难以进行全局低级变换的问题,提出一种无需训练的推理时机制,通过提取退化概念向量并结合瓶颈修补与无分类器引导,实现图像编辑与质量提升。
2026-05-29 cs.CV cs.LG
MMD Guidance: Training-Free Distribution Adaptation for Diffusion Models via Maximum Mean Discrepancy Guidance
University of California, Berkeley(加州大学伯克利分校)
提出MMD Guidance,一种无训练方法,通过最大均值差异梯度引导扩散模型采样,实现与参考数据分布对齐,无需重新训练。
2026-06-09 cs.AI cs.CV cs.LG
Diffusion Classifier Guidance for Non-robust Classifiers
Center for Artificial Intelligence and Robotics(人工智能与机器人中心);Technical University of Applied Sciences Würzburg-Schweinfurt(应用科学大学魏玛-施韦因富特分校);Bielefeld University(比勒菲尔德大学)
本文提出一种面向非鲁棒分类器的扩散引导方法,通过一步去噪预测和指数移动平均等稳定化技术缓解噪声导致的梯度不稳定,在保持多样性与视觉质量的同时提升引导稳定性。
2025-07-01 cs.CV cs.LG
A Noise is Worth Diffusion Guidance
Korea University(高丽大学);KAIST(韩国科学技术院);Sookmyung Women’s University(淑明女子大学);Hugging Face
针对扩散模型需引导生成可靠图像的问题,提出NoiseRefine方法,通过优化初始噪声为无引导噪声,利用小幅度低频分量增强去噪,无需引导即可提升推理效率和图像质量,仅需50K数据即可实现高效学习。
2024-12-05 cs.AI cs.CV cs.LG
FastGuide: Accelerating Reward Guidance for Diffusion Large Language Models
University of Pennsylvania(宾夕法尼亚大学)
FastGuide提出一种并行与自回归自适应混合解码方法,加速扩散语言模型的奖励引导,在三个基准上实现高达4.4倍加速且保持生成质量。
2026-09-30 cs.CL cs.LG
Efficient Fairness Auditing Across Guidance Scales in Text-to-Image Diffusion Models via Causal Abstraction
University of Arkansas(阿肯色大学);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
针对文本到图像扩散模型公平性审计计算开销大的问题,提出基于因果抽象的审计工具,通过顶层模型高效预测跨引导尺度的公平性查询,并在Stable Diffusion 1.5和StayFair上验证了其准确性和效率。
2026-09-10 cs.CV cs.LG
Fisher-Preserving Guidance: Training-Free Manifold Constraints for Safe Diffusion Control
Sun Yat-sen University, Guangzhou, China(中山大学,广州,中国);Insta360 Research, Shenzhen, China(Insta360研究院,深圳,中国)
提出一种免训练的Fisher保持引导方法,通过低秩雅可比分解计算Fisher保持更新,并利用截断Fisher去噪敏感性作为不确定性信号,在视觉导航中实现可靠且高效的轨迹预测。
2026-05-28 cs.LG cs.RO
Fine-grained Image Editing by Pixel-wise Guidance Using Diffusion Models
Sony Group Corporation(索尼集团公司)
本文提出一种基于扩散模型的逐像素引导图像编辑框架,通过少量标注训练像素分类器并利用用户操作的分割图实现细粒度可控编辑,在质量和速度上优于GAN方法。
2023-05-31 cs.CV cs.LG
Temporal Alignment Guidance: On-Manifold Sampling in Diffusion Models
KAIST AI(韩国科学技术院人工智能研究院)
针对扩散模型生成过程中因施加任意引导导致偏离流形并破坏样本保真度的问题,提出时间对齐引导机制(TAG),利用时间预测器估计偏差并在各时间步将样本引导回期望流形,显著提升生成质量。
2025-10-13 cs.AI cs.LG
DOHF: Online Diffusion Fine-tuning with Doob's $h$-transform Guidance
提出DOHF方法,将Doob的h-变换转化为在线训练算法,通过最优性权重和局部校正估计蒸馏实现奖励微调,统一了多种引导方法,适用于黑盒奖励,提升生成对齐效果。
2026-10-02 cs.AI cs.LG
Provable Efficiency of Guidance in Diffusion Models for General Data Distribution
Department of Statistics, The Chinese University of Hong Kong(统计学系,香港中文大学)
本文针对一般数据分布分析了扩散引导,证明引导能通过降低分类器概率的平均倒数提升整体样本质量,填补了现有理论仅限于特定案例研究的空白。
2025-05-02 cs.LG math.ST stat.ML
What Exactly Does Guidance Do in Masked Discrete Diffusion Models
Georgia Institute of Technology(佐治亚理工学院)
该研究针对带无分类器引导的掩码离散扩散模型,推导出引导反向动力学显式解,揭示引导强度对采样分布、轨迹动力学的影响及维度差异,理论结果获实验验证。
2025-06-12 cs.LG stat.ML
No Training, No Problem: Rethinking Classifier-Free Guidance for Diffusion Models
ETH Zürich(苏黎世联邦理工学院);DisneyResearch|Studios(迪士尼研究工作室)
本文提出独立条件引导(ICG)和时间步引导(TSG),在无需额外训练或修改训练过程的情况下,为条件及无条件扩散模型提供与免分类器引导(CFG)相当的生成质量提升。
2025-06-03 cs.CV cs.LG
Diffusion Models for Solving Inverse Problems via Posterior Sampling with Piecewise Guidance
Department of Electrical and Computer Engineering(电气与计算机工程系);Virginia Tech(弗吉尼亚理工大学);Department of Electrical and Electronic Engineering(电气电子工程系);Institute of Science(科学研究所)
本文提出一种基于扩散模型的分段引导框架,用于解决逆问题,通过分段函数平衡计算效率与引导精度,有效整合测量噪声,实验显示在图像修复和超分辨率任务中提升效率。
2026-05-01 cs.CV cs.LG
Angle Domain Guidance: Latent Diffusion Requires Rotation Rather Than Extrapolation
Department of Electronic Engineering, Tsinghua University, Beijing, China(清华大学电子工程系);Zhili College, Tsinghua University, Beijing, China(清华大学紫金学院)
针对CFG在高引导权重下导致颜色失真的问题,提出ADG算法,通过约束幅度变化并优化角度对齐,在保留文本对齐的同时提升颜色保真度与人类感知契合度。
2025-05-21 cs.AI cs.LG
Advanced Image Generation: Negative Prompt Optimization and Latent Classifier Guidance
该研究提出新系统,通过微调序列到序列语言模型集成负提示优化与潜在空间分类器引导,自动生成优化负提示,用混合分类器评估引导扩散步骤,减少伪影并提高语义保真度,提升Stable Diffusion图像生成质量。
2026-07-17 cs.CV cs.LG
LRT-Diffusion: Calibrated Risk-Aware Guidance for Diffusion Policies
Duke University(杜克大学)
LRT-Diffusion通过校准的风险控制提升离线强化学习中扩散策略的回报与离分布检测的权衡。
2026-02-19 cs.AI cs.LG
Steepest Guidance: A Practical and Principled Approach to Inference-Time Alignment of Flow and Diffusion-based Models
LY Corporation(LY公司);The University of Tokyo(东京大学);RIKEN AIP(理化学研究所人工智能研究中心)
针对流与扩散模型推理时对齐的挑战,提出基于局部改进最大化原理的最陡引导框架,理论分析并实验验证其有效性。
2026-10-06 cs.LG stat.ML
Steering Guidance for Personalized Text-to-Image Diffusion Models
Qualcomm AI Research(高通人工智能研究)
针对文本到图像扩散模型个性化微调中目标分布适配与原模型知识保留的权衡问题,提出基于空文本弱模型和权重插值的个性化引导方法,在无额外开销下实现均衡生成,提升文本对齐与保真度。
2025-08-01 cs.CV cs.LG
Lookahead Sample Reward Guidance for Test-Time Scaling of Diffusion Models
KAIST(韩国科学技术院)
提出一种高效测试时缩放方法LiDAR采样,通过前瞻几步采样和精确求解器引导粒子向高奖励区域移动,无需反向传播,在GenEval上达到与最新梯度引导方法相同性能且加速9.5倍。
2026-05-30 cs.AI cs.LG
Supervised Guidance Training for Infinite-Dimensional Diffusion Models
Department of Applied Mathematics and Computer Science, Technical University of Denmark, Denmark(应用数学和计算机科学系,丹麦技术大学,丹麦)
本文提出了一种在函数空间中通过监督引导训练方法,使预训练的扩散模型能够高效稳定地从后验分布采样,解决了无限维扩散模型后验采样理论问题。
2026-05-11 cs.LG stat.ML
Multilevel and Sequential Monte Carlo for Training-Free Diffusion Guidance
Department of Statistical Science, Duke University, Durham, North Carolina(杜克大学统计科学系)
本文提出基于多级与顺序蒙特卡洛的无训练引导方法,在CIFAR-10和ImageNet上实现了更高效准确的类条件生成。
2026-11-10 cs.LG stat.ML
When Test-Time Guidance Is Enough: Fast Image and Video Editing with Diffusion Guidance
CMAP, Ecole Polytechnique(巴黎综合理工学院CMAP实验室);Institute of Foundation Models(基础模型研究所);MBZUAI(穆罕默德·本·扎耶德人工智能大学);EPITA(法国高等信息技术学院);Sorbonne University(索邦大学);Lagrange Mathematics and Computing Research Center(拉格朗日数学与计算研究中心);EPITA Research Lab(EPITA研究实验室);KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出通过测试时指导实现高效的图像和视频编辑,理论分析并扩展了现有方法,证明测试时指导能与训练时方法媲美甚至超越。
2026-03-30 cs.AI cs.CV cs.LG
Applying Guidance in a Limited Interval Improves Sample and Distribution Quality in Diffusion Models
Aalto University(阿尔托大学);NVIDIA(英伟达公司)
本文发现扩散模型采样链中引导仅在中间噪声水平有益,提出将引导限制在有限区间,显著提升ImageNet-512的FID(从1.81降至1.40),并在多种设置下验证了其通用性。
2024-11-06 cs.AI cs.CV cs.LG
Value-Informed Schedule Trimming for Accelerated Sequential Monte Carlo Guidance in Discrete Diffusion
针对离散扩散中SMC引导计算成本高的问题,提出无需训练的VISTA方法,通过动态规划优化调度选择,在多生成任务中优于手动稀疏调度,速度提升5.35倍且性能接近全引导。
2026-10-16 cs.AI cs.LG