Masked-Attention Diffusion Guidance for Spatially Controlling Text-to-Image Generation
University of Tsukuba(筑波大学)
本文提出掩码注意力引导方法,通过操纵输入噪声图像间接控制交叉注意力,无需额外训练即可使文本到图像生成更准确遵循语义掩码,并适用于 Stable Diffusion 及图像编辑任务。
2023-10-30 cs.CV cs.GR
CREPE: Controlling Diffusion with Replica Exchange
University of Cambridge(剑桥大学);Technical University of Denmark(丹麦技术大学);University of Oxford(牛津大学);Cornell University(康奈尔大学);University of British Columbia(不列颠哥伦比亚大学);Xaira Therapeutics(Xaira制药公司)
CREPE通过复制交换算法在推理过程中控制扩散模型,实现样本生成的高多样性与在线优化,适用于多种任务并优于传统SMC方法。
2026-03-02 cs.LG
Inference-Time Alignment Control for Diffusion Models with Reinforcement Learning Guidance
本文提出推理时方法RLG,通过几何平均融合基础模型与RL微调模型的输出,实现对扩散模型对齐强度的动态控制,无需额外训练即可提升多任务性能。
2025-08-28 cs.AI cs.LG
3D Scene Diffusion Guidance using Scene Graphs
Technical University of Munich(慕尼黑工业大学)
本文提出利用场景图引导三维场景扩散生成,通过在去噪网络中引入关系图卷积模块建模对象间空间关系,从而显著提升生成场景与文本描述的一致性。
2023-08-08 cs.CV
ReaDiT Guidance: Control for Image and Video Generation using Diffusion Transformer Features
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
该研究提出ReaDiT Guidance轻量框架,利用DiT块特征控制图像/视频生成,可实现空间目标及相机运动控制,参数更少且效果优于同类方法。
2026-09-15 cs.CV
Topology Guidance: Controlling the Outputs of Generative Models via Vector Field Topology
Vanderbilt University(范德比尔特大学)
针对场生成模型难以控制输出拓扑的问题,提出 topology guidance,通过基于坐标的网络提供拓扑信号引导扩散模型去噪,使生成向量场满足指定临界点位置与类型并保持数据分布。
2025-05-11 cs.LG stat.ML
Fine color guidance in diffusion models and its application to image compression at extremely low bitrates
INRIA Rennes(法国国家信息与自动化研究所雷恩分部)
本研究提出无需训练微调的扩散模型精细色彩引导方法,推导新引导方程并保持高引导缩放系数,将其应用于极低码率图像压缩,结合语义与色彩信息低成本解码,提升压缩图像的保真度与真实感。
2024-04-10 cs.CV
ControlNet-XS: Rethinking the Control of Text-to-Image Diffusion Models as Feedback-Control Systems
Heidelberg University(海德堡大学)
本研究将文本到图像扩散模型的控制视为反馈控制系统,针对现有控制网络反馈稀疏延迟大的问题,提出ControlNet-XS,通过高频大带宽通信提升生成质量与控制保真度,参数更少速度更快,多项像素级引导任务性能优于现有方法。
2024-08-12 cs.CV
Classifier-Free Guidance in Flow Matching: Non-Autonomous Potentials, Overshoot, and Posterior-Mean Control
School of Mathematical Sciences, Shanghai Jiao Tong University(上海交通大学数学科学学院);Institute of Natural Sciences, MOE-LSC, Shanghai Jiao Tong University(上海交通大学自然科学研究院);Qing Yuan Research Institute, Shanghai Jiao Tong University(上海交通大学清源研究院);CMA-Shanghai, Shanghai Jiao Tong University(上海交通大学上海数学中心)
本文提出PMC-CFG,通过几何视角分析流匹配中CFG的失真问题,并利用终端后验均值自适应控制引导强度,在无需额外训练下改善对齐与多样性的权衡。
2026-09-22 cs.CV
Classifier-free Guidance with Adaptive Scaling
Jagiellonian University(雅盖隆大学);University of Science and Technology Wrocław(弗罗茨瓦夫科技大学)
针对文本驱动扩散模型中图像质量与提示对应性的权衡问题,提出β-CFG方法,通过梯度自适应归一化稳定引导效果并利用β分布时间依赖曲线动态平衡,实现更优FID分数且保持CLIP相似度与基准CFG相近。
2025-02-14 cs.CV
Spectral Guidance for Flexible and Efficient Control of Diffusion Models
Carnegie Mellon University(卡内基梅隆大学);Institute for Systems and Robotics(系统与机器人研究所)
提出谱引导框架,通过条件期望算子的奇异函数学习生成过程的固有几何结构,实现无需重训练或反向传播的稳定高保真控制,在CIFAR-10上条件准确率提升37个百分点且采样加速4倍。
2026-05-27 cs.LG
Dual-Channel Attention Guidance for Training-Free Image Editing Control in Diffusion Transformers
iFLYTEK
本文提出双通道注意力引导方法,通过同时操控键通道和值通道实现无需训练的图像编辑控制,显著提升编辑保真度。
2026-02-25 cs.AI cs.CV
Readout Guidance: Learning Control from Diffusion Features
Google Research(谷歌研究院);UC Berkeley(加州大学伯克利分校)
本文提出 Readout Guidance,通过轻量读出头从冻结扩散模型特征中提取单图或多图信号,并反传梯度引导采样,以更少参数和训练样本统一实现多种图像条件控制。
2024-04-02 cs.CV
Concept Guidance: Precise, Training-Free Latent Control for Text-to-Image Generation
LMU Munich(慕尼黑大学);Konrad Zuse School of Excellence in Reliable AI (relAI)(康拉德·祖斯可靠人工智能卓越学院);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
针对文本到图像扩散模型缺乏特定概念引导和局部一致性可靠性不足的问题,提出无训练的CoG方法,利用概念互信息强化相关层影响,在PixArt-alpha等模型上实现性能提升。
2026-08-17 cs.AI cs.CV cs.LG
Unifying Diffusion Models' Latent Space, with Applications to CycleDiffusion and Guidance
Carnegie Mellon University(卡内基梅隆大学)
扩散模型在生成式建模中取得了前所未有的性能。通常采用的扩散模型的潜在代码的公式是逐渐去噪的样本的序列,与更简单的(例如,高斯)GANs、VAE和归一化流的潜在空间。本文提供了一种替代方案,高斯制定的潜在空间的各种扩散模型,以及一个可逆的DPM编码器,图像映射到潜在空间。虽然我们的配方是纯粹基于扩散模型的定义,我们证明了几个有趣的后果。(1)从经验上讲,我们观察到一个共同的潜在空间出现在两个扩散模型独立训练相关领域。鉴于这一发现,我们提出了CycleDiffusion,它使用DPM编码器进行不成对的图像到图像的翻译。此外,应用CycleDiffusion的文本到图像的扩散模型,我们表明,大规模的文本到图像的扩散模型可以被用作zero-shot图像到图像的编辑器。(2)人们可以通过控制基于能量模型的统一即插即用公式中的潜在代码来指导预先训练的扩散模型和GANs。使用CLIP模型和人脸识别模型作为指导,我们证明了扩散模型比GANs更好地覆盖低密度子群体和个体。该代码可在https://github.com/ChenWu98/cycle-diffusion上公开获取。
2022-12-07 cs.CV cs.GR cs.LG
What Exactly Does Guidance Do in Masked Discrete Diffusion Models
Georgia Institute of Technology(佐治亚理工学院)
该研究针对带无分类器引导的掩码离散扩散模型,推导出引导反向动力学显式解,揭示引导强度对采样分布、轨迹动力学的影响及维度差异,理论结果获实验验证。
2025-06-12 cs.LG stat.ML
Devil is in the Details: Density Guidance for Detail-Aware Generation with Flow Models
Aalto University(阿尔托大学);YaiYai Ltd.(YaiYai 有限公司)
针对扩散模型中图像似然与感知质量不一致的问题,提出Density Guidance方法,通过修改生成ODE实现精确对数密度控制,在保证样本质量的同时提供对图像细节的细粒度控制。
2025-05-28 cs.LG
Improving Viewpoint Consistency in 3D Generation via Structure Feature and CLIP Guidance
The Australian National University(澳大利亚国立大学);CSIRO;The University of Hong Kong(香港大学)
本文提出免微调的Attention and CLIP Guidance (ACG)机制,通过自适应控制交叉注意力图、利用CLIP相似度过滤错误视点及由粗到细优化策略,有效解决了文本到3D生成中的Janus Problem,且不牺牲生成速度。
2025-08-14 cs.CV
Provably Reliable Classifier Guidance via Cross-Entropy Control
Cornell University(康奈尔大学)
本文通过交叉熵控制证明了分类器引导扩散模型的可靠性,建立了分类器训练与引导对齐的理论联系。
2026-10-27 cs.LG stat.ML
Layout Control and Semantic Guidance with Attention Loss Backward for T2I Diffusion Model
Suning(苏宁)
本文提出一种基于注意力损失反向传播的无训练方法,通过控制交叉注意力图,解决T2I扩散模型在可控生成中的属性不匹配和布局完成度不足问题,无需训练或微调即可实现显式布局约束。
2024-11-11 cs.CV
Low-Resource Guidance for Controllable Latent Audio Diffusion
本文提出了一种低计算开销的可控潜在音频扩散方法,通过潜在控制头实现对音频强度、音高和节拍的精确控制,同时保持生成质量。
2026-03-04 cs.AI cs.LG cs.SD
SPG: Style-Prompting Guidance for Style-Specific Content Creation
Visual Computing Research Center, CSSE, Shenzhen University(深圳大学视觉计算研究中心、计算机科学与工程学院)
本文提出风格提示引导(SPG)采样策略,通过风格噪声方向偏差引导扩散过程,并与 CFG 结合,在保持语义一致的同时实现特定风格生成,且兼容 ControlNet 等框架。
2025-08-15 cs.CV cs.GR
Investigating the Effectiveness of Cross-Attention to Unlock Zero-Shot Editing of Text-to-Video Diffusion Models
INSAIT, Sofia University(INSAIT,索非亚大学);ETH Zurich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
本文首次研究交叉注意力在 T2V 扩散模型零样本视频编辑中的作用,证明其可在无需训练样本的情况下控制对象形状、位置与运动。
2024-04-08 cs.CV cs.LG
Controlling Motion Transfer in Diffusion Transformers via Attention Heads
Yonsei University(延世大学);LG Electronics(LG电子);University of California, Merced(加州大学默塞德分校)
研究如何控制扩散变换器中的运动传递,通过在注意力头层面分析,提出无需参数更新的头感知可控运动传递框架,利用语义对应引导和选择性特征注入,实现精确运动传递并为可控视频生成提供可解释基础。
2026-07-14 cs.AI cs.CV
Controlling Human Shape and Pose in Text-to-Image Diffusion Models via Domain Adaptation
University of Potsdam(波茨坦大学)
本文提出一种域适应技术,利用SMPL模型和合成数据微调ControlNet,实现对文生图扩散模型的人体形状与姿态控制,在保持视觉保真度的同时提升多样性和稳定性。
2024-11-07 cs.CV
Continuous Control of Editing Models via Adaptive-Origin Guidance
Tel Aviv University, Decart.ai(特拉维夫大学,Decart.ai);Tel Aviv University(特拉维夫大学)
本文提出AdaOr方法,通过自适应调整指导起源实现编辑模型的连续强度控制,提升编辑过程的平滑性和一致性。
2026-02-03 cs.CV cs.GR
NOFT: Test-Time Noise Finetune via Information Bottleneck for Highly Correlated Asset Creation
CASIA(中国科学院自动化研究所);NLPR, CASIA(中国科学院自动化研究所神经网络与模式识别实验室)
针对现有扩散生成方法未挖掘压缩上下文潜变量信息的问题,提出即插即用的NOFT测试时噪声微调模块,通过最优传输信息瓶颈微调噪声,仅需少量参数和短时间训练,即可生成高相关高保真的2D/3D AIGC资产变体。
2025-05-18 cs.CV
Temporal Specification Guidance for Text-to-Video Generation
University of Pennsylvania(宾夕法尼亚大学);Toyota Motor North America (R&D)(丰田北美研发公司)
提出TSG框架,将时间逻辑规范转化为视频生成的引导目标,在220个提示的基准上使5种模型的规范满足准确率较CFG提升9.5-20个百分点,为视频生成控制提供灵活接口。
2026-10-16 cs.AI cs.CV
SG-Adapter: Enhancing Text-to-Image Generation with Scene Graph Guidance
HKUST(GZ)(香港科技大学(广州));Kuaishou(快手);Zhejiang Lab(之江实验室);Zhejiang University(浙江大学);Adobe Research(奥多比研究中心)
本文提出SG-Adapter,利用场景图结构纠正文本嵌入偏差,并构建MultiRels数据集及GPT-4V指标,提升多关系场景下文本到图像生成的对应准确性。
2024-05-24 cs.CV
RefDrop: Controllable Consistency in Image or Video Generation via Reference Feature Guidance
Georgia Tech(佐治亚理工学院);NVIDIA(英伟达公司)
RefDrop通过简化注意力插值机制,实现无需微调的可控一致性生成,支持多主体、多样化及视频生成,性能媲美IP-Adapter。
2024-05-27 cs.CV
Cocktail: Mixing Multi-Modality Controls for Text-Conditional Image Generation
Nanyang Technological University(南洋理工大学);South China University of Technology(华南理工大学);University of Oxford(牛津大学);The University of Sydney(悉尼大学);JD Explore Academy(京东探索研究院)
本文提出 Cocktail 流水线,通过 gControlNet、ControlNorm 与空间引导采样融合多模态控制信号,实现文本条件图像生成的高质量、空间精细化控制。
2023-06-01 cs.CV cs.LG
The Safety-Aware Denoiser for Text Diffusion Models
University of California, Berkeley(加州大学伯克利分校)
提出安全感知去噪器(SAD),在文本扩散模型的迭代去噪过程中引导生成文本进入安全区域,无需重训练即可实现灵活的安全约束,有效降低不安全生成同时保持生成质量。
2026-08-11 cs.AI cs.LG
InterControl: Zero-shot Human Interaction Generation by Controlling Every Joint
The Chinese University of Hong Kong(香港中文大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);The University of Hong Kong(香港大学)
本文提出InterControl方法,通过控制成对关节距离并借助LLM生成约束,实现任意人数角色的零样本人类交互运动生成。
2024-11-21 cs.CV
CRAFT-LoRA: Content-Style Personalization via Rank-Constrained Adaptation and Training-Free Fusion
AGI Lab, Westlake University(西莱大学AGI实验室);George Washington University(乔治华盛顿大学);The University of Queensland(昆士兰大学)
CRAFT-LoRA通过秩约束适应与无训练融合实现内容-风格个性化,提升生成稳定性与语义控制灵活性。
2026-03-02 cs.CV
DriftLite: Lightweight Drift Control for Inference-Time Scaling of Diffusion Models
Institute for Computational and Mathematical Engineering, Stanford University(计算与数学工程研究所,斯坦福大学);Department of Chemistry, Stanford University(化学系,斯坦福大学);Department of Mathematics, Stanford University(数学系,斯坦福大学);Center for Computational Mathematics, Flatiron Institute(计算数学中心,Flatiron研究所)
DriftLite 提出了一种轻量级、无需训练的基于粒子的方法,通过实时引导推理动态,有效减少方差并提升样本质量,实现扩散模型的可扩展推理时间适应。
2026-02-21 cs.LG stat.ML
A Study of the Design Space of Motion and Disocclusion Control in Video Generation
Inria - Université Côte d’Azur(法国国家信息与自动化技术研究院-埃克塞特大学);University of Edinburgh(爱丁堡大学);Adobe Research(Adobe研究部);UCL(伦敦大学学院)
通过代理动态图实现遮挡感知编辑,结合运动规范与外观合成,实现可控的图像到视频生成。
2026-09-01 cs.CV
Diffusion Guided Language Modeling
Cornell University(康奈尔大学)
本文提出用引导扩散模型生成潜在提议来引导自回归语言模型,在保持流畅性的同时实现即插即用的属性控制,并在多个基准数据集上优于以往方法。
2024-08-08 cs.CL cs.LG
SGDiff: A Style Guided Diffusion Model for Fashion Synthesis
The Hong Kong Polytechnic University(香港理工大学);Laboratory for Artificial Intelligence in Design(人工智能设计实验室)
本文提出 SGDiff 风格引导扩散模型,融合图像模态与预训练文本到图像扩散模型,并构建 SG-Fashion 数据集,实现可控的类别、属性与风格时尚图像生成。
2023-08-15 cs.AI cs.CV cs.MM
CMAD: Cooperative Multi-Agent Diffusion via Stochastic Optimal Control
University of Cambridge(剑桥大学);Xaira Technologies(Xaira技术公司)
本文提出了一种新的框架,将多模型组合生成问题转化为协作随机最优控制问题,通过联合优化扩散轨迹来实现更有效的生成效果。
2026-05-19 cs.LG
X-NeMo: Expressive Neural Motion Reenactment via Disentangled Latent Attention
Tsinghua University(清华大学);ByteDance Inc.(字节跳动公司)
本研究提出零样本扩散人像动画流水线X-NeMo,通过提取身份无关一维潜在动作描述符、交叉注意力控制及双GAN监督等设计,缓解身份泄露问题,提升表情表现力,效果优于现有最优基线。
2025-07-30 cs.CV
Towards Controllable Diffusion Models via Reward-Guided Exploration
Tencent AI Lab(腾讯人工智能实验室)
本文提出奖励引导扩散模型RGDM,通过强化学习在训练阶段引导扩散模型探索高奖励样本,缓解梯度方差问题,并在3D形状和分子生成任务上取得显著提升。
2023-04-14 cs.LG q-bio.BM
Both Ears Wide Open: Towards Language-Driven Spatial Audio Generation
Hong Kong University of Science and Technology(香港科技大学);Beijing University of Posts and Telecommunications(北京邮电大学);Nanyang Technological University(南洋理工大学);Zhejiang University(浙江大学)
本文提出SpatialSonic模型,利用空间感知编码器和方位状态矩阵指导潜在扩散模型,从文本生成可控空间音频,并构建大规模数据集BEWO-1M,实验验证其有效性。
2025-02-25 cs.CV cs.SD eess.AS
Improving Joint Audio-Video Generation with Cross-Modal Context Learning
Vivix Group Limited(维维克斯集团有限公司)
本文提出跨模态上下文学习方法,解决双流Transformer生成中模态交互不一致、训练不稳定等问题,提升生成质量与效率。
2026-03-19 cs.CV
MFTF: Mask-free Training-free Object Level Layout Control Diffusion Model
针对扩散模型仅靠文本难以精确控制物体位置且现有方法依赖额外掩码或重训练的局限,提出无需掩码免训练的物体级布局控制扩散模型(MFTF),通过源与目标扩散模型并行去噪及交叉注意力掩码引导自注意力查询调整,实现精确的单/多物体位置与语义编辑。
2024-12-18 cs.AI cs.CV
DiffTED: One-shot Audio-driven TED Talk Video Generation with Diffusion-based Co-speech Gestures
University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对现有音频驱动说话视频生成方法连贯性差、手势单一等问题,提出DiffTED方法,结合扩散模型与薄板样条运动模型,通过无分类器引导实现单样本TED风格视频生成,效果更连贯多样。
2024-09-11 cs.CV
LumaGuide: Distribution Shaping for Training-Free HDR Generation in Diffusion Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Google/YouTube(谷歌/YouTube);University of Colorado Boulder(科罗拉多大学博尔德分校)
本研究提出无需训练的LumaGuide框架,通过在采样时直接塑造输出分布,实现扩散模型的可控生成,可用于HDR及视频生成,无需重新训练模型。
2026-08-07 cs.CV
Edit the Bits, Diff the Codes: Bitwise Residual Editing for Visual Autoregressive Models
LMU Munich & Munich Center for Machine Learning (MCML)(慕尼黑大学 & 慕尼黑机器学习中心 (MCML))
提出BitResEdit,一种无需训练的视觉自回归图像编辑方法,通过比特级源负引导和残差编码注入,在保持背景的同时实现强文本对齐。
2026-06-12 cs.CL cs.CV
Optimizing Decoding Paths in Masked Diffusion Models by Quantifying Uncertainty
Zhejiang University(浙江大学);Westlake University(西湖大学);University of Chicago(芝加哥大学)
通过引入去噪熵度量,优化掩码扩散模型的解码路径以提升生成质量与准确性。
2025-12-24 cs.AI cs.CL cs.LG
DITTO: Diffusion Inference-Time T-Optimization for Music Generation
University of California – San Diego(加利福尼亚大学圣地亚哥分校);Adobe Research(奥多比研究院)
DITTO是一种通过优化初始噪声潜变量在推理时控制预训练文本到音乐扩散模型的通用框架,无需微调即可实现修复、外绘、循环及强度、旋律和音乐结构控制,在可控性、音频质量和计算效率上达到最先进性能。
2024-06-03 cs.AI cs.LG cs.SD
GazeFusion: Saliency-Guided Image Generation
New York University(纽约大学);Stanford University(斯坦福大学)
本文提出GazeFusion显著性引导框架,通过控制模块条件化扩散模型,使生成图像的观看者注意力符合用户指定分布,并经眼动研究和大规模显著性分析验证有效。
2025-02-15 cs.AI cs.CV cs.GR
Learning Input-agnostic Manipulation Directions in StyleGAN with Text Guidance
Korea Advanced Institute of Science Technology (KAIST)(韩国科学技术院);NAVER AI LAB(NAVER人工智能实验室);AITRICS
凭借快速推理和人性化灵活操作的优势,通过文本指导的图像不可知样式操作可以实现以前不可用的新应用程序。最先进的文本引导图像不可知操作方法将StyleGAN的每个通道的表示独立地嵌入到对比图像预训练(CLIP)空间中,并以字典的形式提供,以便在推理时间内快速找出通道操作方向。然而,在本文中,我们认为,这是通过单独控制单个通道构造的字典是有限的,以适应文本引导的多功能性,因为没有考虑多个通道之间的集体和互动关系。事实上,我们表明,它未能发现很大一部分的操作方向,可以找到现有的方法,手动操纵潜在的空间没有文本。为了缓解这个问题,我们提出了一种新的方法,学习字典,其条目对应于一个单一的通道的表示,通过考虑到来自与多个其他通道的相互作用的操纵效果。我们证明了我们的策略解决了以前的方法无法从无监督方法中找到不同的已知方向和从随机文本中找到未知方向,同时保持实时推理速度和解纠缠能力。
2023-02-26 cs.CV
Predicting Goal-directed Attention Control Using Inverse-Reinforcement Learning
Stony Brook University(石溪大学);Department of Psychology, Stony Brook University(石溪大学心理学系);Department of Computer Science, Stony Brook University(石溪大学计算机科学系)
理解目标状态如何控制行为是一个成熟的问题,可以通过机器学习的新方法进行询问。这些方法需要大的标记数据集来训练模型。为了用观察到的搜索固定来注释大规模图像数据集,我们在4,366张图像的数据集中(MS-COCO)收集了16,184个来自搜索微波炉或时钟的人的固定。然后,我们使用这个行为注释的数据集和逆强化学习(IRL)的机器学习方法来学习这两个目标的目标特定奖励函数和策略。最后,我们使用这些学习的策略来预测60个新行为搜索者(时钟= 30,微波= 30)在描绘微波炉和时钟的厨房场景的不相交测试数据集中的固定(从而控制低级别图像对比度的差异)。我们发现,IRL模型预测行为搜索效率和固定密度地图使用多个指标。此外,来自IRL模型的奖励图揭示了特定于目标的模式,这些模式不仅表明目标特征的注意力引导,而且还表明场景上下文的引导(例如,沿着墙壁固定在寻找时钟)。使用机器学习和心理意义的奖励原则,可以学习目标导向注意力控制中使用的视觉特征。
2020-01-31 cs.CV