A Tilted Seesaw: Revisiting Autoencoder Trade-off for Controllable Diffusion
Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学)
本文研究了自动编码器在可控扩散中的权衡问题,发现gFID指标在可控性评估中表现不佳,而重建导向的指标更能反映可控性,提出了更可靠的评估方法。
2026-01-29 cs.CV
Controllable Shadow Generation with Single-Step Diffusion Models from Synthetic Data
Jasper Research(贾斯珀研究机构)
提出基于合成数据训练的单步扩散模型,实现二维物体图像的快速、可控且无背景的阴影生成,并发布新基准以促进研究。
2024-12-16 cs.CV
Controllable blind deblurring with diffusion models
DxO Labs;LTCI, Télécom Paris, IP Paris(LTCI,巴黎电信学院,巴黎理工大学)
提出基于扩散模型的SuperSharpen盲去模糊方法,通过模糊度量可控调整复原强度,经实验验证其在合成与真实模糊上的感知质量及可控性优于对比策略
2026-08-26 cs.CV
Real-Time Motion-Controllable Autoregressive Video Diffusion
Nanyang Technological University(南洋理工大学);Xmax.AI Ltd(Xmax.AI有限公司);Zhejiang University(浙江大学);Singapore Management University(新加坡国立大学)
AR-Drag是一种基于强化学习的实时图像到视频生成模型,通过自回归机制和轨迹奖励模型实现高效运动控制,提升视频生成质量和效率。
2026-03-08 cs.CV
PerLDiff: Controllable Street View Synthesis Using Perspective-Layout Diffusion Models
本文提出PerLDiff(透视-布局扩散模型),利用3D几何先验在网络学习过程中引导街景图像生成,实现精确的物体级控制,在NuScenes和KITTI数据集上显著提升了可控生成的精度。
2025-07-15 cs.CV
CRoSS: Diffusion Model Makes Controllable, Robust and Secure Image Steganography
Peking University Shenzhen Graduate School(北京大学深圳研究生院);Peng Cheng Laboratory(鹏城实验室)
本文提出CRoSS框架,首次将Stable Diffusion等扩散模型引入图像隐写,利用其免训练图像转换和噪声鲁棒特性,结合LoRAs与ControlNets,在无需额外训练的情况下实现可控、鲁棒且安全的图像隐写。
2023-05-26 cs.CV
CAT-DM: Controllable Accelerated Virtual Try-on with Diffusion Model
Tianjin University(天津大学);Tencent LightSpeed Studio(腾讯天美工作室)
本文提出CAT-DM,通过ControlNet增强可控性并利用GAN模型生成隐式分布加速去噪,解决了扩散模型虚拟试穿可控性差与速度慢的问题,生成质量更优。
2024-04-26 cs.CV
Motion-Conditioned Diffusion Model for Controllable Video Synthesis
University of California, Merced(加州大学默塞德分校);Meta;NVIDIA(英伟达);Google Research(谷歌研究院)
提出 MCDiff 条件扩散模型,利用起始帧、稀疏笔画、光流补全与扩散生成实现笔画引导的可控视频合成,并在视觉质量及 MPII Human Pose 实验中达到先进效果。
2023-04-27 cs.CV
HiCo: Hierarchical Controllable Diffusion Model for Layout-to-image Generation
AI Research(360人工智能研究院)
HiCo提出分层可控扩散模型,通过对象可分离条件分支实现布局空间解耦,并构建HiCo-7K基准以提升复杂布局到图像生成质量。
2024-10-18 cs.CV
Text2Street: Controllable Text-to-image Generation for Street Views
Meituan(美团)
针对街景文本到图像生成中道路拓扑复杂、交通状况多样和天气多变的问题,提出Text2Street框架,通过车道感知道路拓扑生成器、基于位置的对象布局生成器和多重控制图像生成器,实现可控的街景图像生成,实验验证了其有效性。
2024-02-07 cs.CV
Controllable Clothing: Precise Labels and Generation for Virtual Try-On with Latent Diffusion Models
Publicis Resources GenAI Team(阳狮集团GenAI团队);École Polytechnique(巴黎综合理工学院);KTH(皇家理工学院)
本研究提出基于潜在扩散模型的新方法,通过开源AI模型添加标签并训练适配器,实现虚拟试穿图像的可控生成,可避免误导消费者。
2026-08-07 cs.CV
OOTDiffusion: Outfitting Fusion based Latent Diffusion for Controllable Virtual Try-on
Xiao-i Research(小i研究院)
本研究提出基于潜在扩散的OOTDiffusion虚拟试穿架构,通过穿搭UNet、穿搭融合与穿搭dropout实现高逼真度可控试穿,在两个基准数据集上表现优于现有方法。
2024-03-07 cs.CV
Coffee: Controllable Diffusion Fine-tuning
Yale University(耶鲁大学);Brown University(布朗大学)
针对文本到图像扩散模型可控微调的挑战,提出Coffee方法,通过语言指定不良概念并防止用户提示嵌入与之对齐,无需额外训练且可灵活调整,实验证明其能有效避免模型学习不良概念且性能优于现有方法。
2025-11-18 cs.CV
Layout Control and Semantic Guidance with Attention Loss Backward for T2I Diffusion Model
Suning(苏宁)
本文提出一种基于注意力损失反向传播的无训练方法,通过控制交叉注意力图,解决T2I扩散模型在可控生成中的属性不匹配和布局完成度不足问题,无需训练或微调即可实现显式布局约束。
2024-11-11 cs.CV
OmniVDiff: Omni Controllable Video Diffusion for Generation and Understanding
本文提出OmniVDiff全可控视频扩散框架,通过色彩空间联合分布学习与自适应控制策略,实现文本条件生成、视频理解及细粒度条件生成三大能力,在生成与理解任务中表现优异且适用于多下游场景。
2025-11-16 cs.CV
eBIRD: Event-based Intensity Image Reconstruction Using Controllable Diffusion Models
Institute of Engineering Sciences, Universidad de O’Higgins(奥伊金斯大学工程科学学院);The Iniciativa de Datos e Inteligencia Artificial, University of Chile(智利大学数据与人工智能倡议)
本研究提出eBIRD框架,结合DDPM与ControlNet实现事件引导强度图像重建,在N-MNIST和RGBE-Gaze数据集上验证了通用与专用扩散学习策略的效果,表明可控扩散模型是该任务的有前景方法。
2026-08-11 cs.CV
ArbiViewGen: Controllable Arbitrary Viewpoint Camera Data Generation for Autonomous Driving via Stable Diffusion Models
提出ArbiViewGen扩散框架,通过FAVS和CVC-SSL实现无需外推真实数据的可控任意视角相机图像生成,仅需多相机图像和位姿,支持多种车辆配置。
2025-08-07 cs.CV
ECNet: Effective Controllable Text-to-Image Diffusion Models
Japan Advanced Institute of Science and Technology(日本先进科学技术学院);The Chinese University of Hong Kong(香港中文大学);Cornell University(康奈尔大学);Shanghai Jiao Tong University(上海交通大学)
本文提出ECNet框架,通过引入SGI增强条件输入细节和DCL加强去噪监督,构建了更准确可控的端到端文本到图像生成方法,在人体骨架、面部关键点等条件下显著优于现有模型。
2024-03-27 cs.CV
DriveGEN: Generalized and Robust 3D Detection in Driving via Controllable Text-to-Image Diffusion Generation
FNii-Shenzhen(深圳未来网络研究院);SSE, CUHK-Shenzhen(香港中文大学(深圳)理工学院);National University of Singapore(新加坡国立大学);Nanyang Technological University(南洋理工大学);Baoji University of Arts and Sciences(宝鸡文理学院);Sun Yat-sen University(中山大学)
本文提出DriveGEN,一种无需训练的可控T2I扩散生成方法,通过自原型提取与原型引导去噪对齐生成多样化OOD驾驶场景并保留精确3D物体几何,从而增强3D检测器鲁棒性。
2025-03-14 cs.CV
Controllable Mind Visual Diffusion Model
Beihang University(北京航空航天大学);Shenzhen Institute of Advanced Technology(深圳先进技术研究院);Xiaohongshu Inc(小红书公司);Zhongguancun Laboratory(中关村实验室);Nanchang Institute of Technology(南昌理工学院)
本文提出CMVDM,通过属性对齐、辅助网络、残差块和控制模型从fMRI中提取语义、轮廓及补充信息,显著提升脑信号图像重建效果。
2023-12-18 cs.CV
$\infty$-Brush: Controllable Large Image Synthesis with Diffusion Models in Infinite Dimensions
Stony Brook University(石溪大学)
本文提出$\infty$-Brush,一种基于无限维度扩散模型的可控大图像合成方法,通过交叉注意力神经算子在函数空间中实现条件生成,支持高达4096×4096像素的图像合成,克服了传统方法的限制。
2024-07-20 cs.CV
C2G2: Controllable Co-speech Gesture Generation with Latent Diffusion Model
Xi’an Jiaotong Liverpool University(西安交通利物浦大学);Bytedance(字节跳动)
针对共语手势生成中训练不稳定和时间不一致的问题,提出C2G2框架,利用潜在扩散模型的两阶段时间依赖增强、说话者特定解码器和重绘策略,实现可控且可编辑的高保真手势生成,并在基准数据集上验证有效性。
2023-08-29 cs.CV
HumanDiffusion: a Coarse-to-Fine Alignment Diffusion Framework for Controllable Text-Driven Person Image Generation
Nanjing University (NJU)(南京大学)
文本驱动的人物图像生成是跨模态图像生成中的一个新兴且具有挑战性的任务。可控人物图像生成在数字化人机交互、虚拟试衣等方面有着广泛的应用前景,但以往的方法大多采用单模态信息作为先验条件(如姿态引导的人物图像生成),或者利用预设的文字进行文本驱动的人物合成。引入一个由自由词组成的句子和一个可编辑的语义姿势图来描述人的外观是一个更用户友好的方式。在本文中,我们提出了HumanDiffusion,一个由粗到细的对齐扩散框架,用于文本驱动的人物图像生成。具体而言,提出了两个协作模块,风格化记忆检索(SMR)模块的细粒度特征蒸馏的数据处理和多尺度跨模态对齐(MCA)模块的粗到细的特征对齐扩散。这两个模块保证了文本和图像从图像级到特征级、从低分辨率到高分辨率的对齐质量。因此,HumanDiffusion实现了具有所需语义姿势的开放词汇人图像生成。在DeepFashion上进行的大量实验证明了我们的方法与以前的方法相比的优越性。此外,对于具有各种细节和不常见姿势的复杂人物图像,可以获得更好的结果。
2022-11-11 cs.CV
MotionMix: Weakly-Supervised Diffusion for Controllable Motion Generation
Huawei(华为)
针对现有可控3D人体运动生成扩散模型依赖高质量标注运动语料的问题,提出两阶段弱监督扩散框架MotionMix,利用带噪标注与未标注数据分别完成粗略生成与细化,在多项任务上达到SOTA性能。
2024-01-24 cs.CV
Text2Control3D: Controllable 3D Avatar Generation in Neural Radiance Fields using Geometry-Guided Text-to-Image Diffusion Model
Graduate School of Artificial Intelligence, KAIST(韩国科学技术院人工智能研究生院)
提出Text2Control3D方法,利用ControlNet生成视角感知图像并结合可变形NeRF,实现了由单目视频控制面部表情的可控文本到3D虚拟人生成。
2023-09-07 cs.CV
Gated Condition Injection without Multimodal Attention: Towards Controllable Linear-Attention Transformers
National University of Singapore(新加坡国立大学);Shanghai Jiao Tong University(上海交通大学)
本文提出基于线性注意架构的可控扩散模型,解决现有方法在多类型条件输入灵活性和收敛速度上的不足,通过统一门控条件模块实现高效可控生成。
2026-03-29 cs.CV
StreetCrafter: Street View Synthesis with Controllable Video Diffusion Models
Zhejiang University(浙江大学);Li Auto Inc.(Li汽车公司);Cornell University(康奈尔大学)
针对自动驾驶场景视图合成中视角偏离训练轨迹时性能下降的问题,提出可控视频扩散模型StreetCrafter,以LiDAR点云渲染为像素级条件,实现精确相机控制、像素级编辑及实时渲染,在Waymo和PandaSet上优于现有方法。
2025-08-26 cs.CV
CCLAP: Controllable Chinese Landscape Painting Generation via Latent Diffusion Model
Beijing Institute of Technology(北京理工大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Institute of Intelligent Computing Technology, Chinese Academy of Sciences(中国科学院智能计算技术研究所);Tomorrow Advancing Life(好未来)
本文提出基于潜在扩散模型的 CCLAP 方法,通过级联内容生成器与风格聚合器实现文本内容和参考图像风格的可控中国山水画生成,并构建 CLAP 数据集验证其先进性能。
2023-04-22 cs.CV
HeartBeat: Towards Controllable Echocardiography Video Synthesis with Multimodal Conditions-Guided Diffusion Models
Shenzhen University(深圳大学);University of Leeds(利兹大学)
本文提出HeartBeat框架,通过感知并分解局部与全局多模态条件、采用两阶段训练解耦视觉与时序学习,实现可控高保真超声心动图视频合成,并可泛化到心脏MRI合成。
2024-07-05 cs.CV
Controllable 3D Face Generation with Conditional Style Code Diffusion
Alibaba(阿里巴巴)
本文提出 TEx-Face 方法,通过三维 GAN 反演、条件风格码扩散和三维人脸解码三个组件,实现基于文本与表情条件的高效可控逼真三维人脸生成。
2024-01-11 cs.CV
Layered Rendering Diffusion Model for Controllable Zero-Shot Image Synthesis
Beihang University(北京航空航天大学);University of Bristol(布里斯托大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对文本驱动扩散模型空间可控性不足的问题,提出视觉引导优化零样本搜索空间,并构建分层渲染扩散(LRDiff)框架,通过多图层独立视觉引导控制对象去噪方向,在两类布局转图像任务中性能优于现有技术,还支持空间可控编辑。
2024-11-29 cs.CV
Controllable and Efficient Multi-Class Pathology Nuclei Data Augmentation using Text-Conditioned Diffusion Models
Korea University(高丽大学)
针对病理细胞核标注数据稀缺问题,提出基于文本条件扩散模型的两阶段框架,实现多类别标签与图像的高效生成,并在多个数据集上验证其有效性。
2024-07-19 cs.CV
Controllable Motion Synthesis and Reconstruction with Autoregressive Diffusion Models
KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出MoDiff,一种基于自回归扩散模型的可控运动合成与重建方法,集成跨模态Transformer编码器与解码器,并引入基于扩散前向过程的数据dropout,在可控运动合成与高保真重建中优于基线。
2023-04-03 cs.CV cs.LG
StyleDiffusion: Controllable Disentangled Style Transfer via Diffusion Models
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
本文提出 StyleDiffusion 框架,结合 CLIP 风格解耦损失、风格重建先验与扩散模型,实现可解释、可控且效果优于现有方法的内容-风格解耦风格迁移。
2023-08-15 cs.CV
ClickDiff: Click to Induce Semantic Contact Map for Controllable Grasp Generation with Diffusion Models
Peking University(北京大学);University of Central Florida(中佛罗里达大学)
提出可控抓取生成任务及ClickDiff模型,通过语义接触图和双生成框架实现精确控制,在GRAB和ARCTIC数据集上验证了对未见物体的有效性和鲁棒性。
2024-07-28 cs.CV
Layout-Guided Controllable Pathology Image Generation with In-Context Diffusion Transformers
Xi'an Jiaotong University(西安交通大学)
本文提出基于布局的可控病理图像生成方法,通过多代理LVLM注释框架构建精细临床对齐的监督数据,提出IC-DiT模型整合空间布局、文本描述和视觉嵌入,实现高保真生成与强空间可控性。
2026-03-11 cs.CV
ConsistTalk: Intensity Controllable Temporally Consistent Talking Head Generation with Diffusion Noise Search
The corresponding author.(通讯作者)
ConsistTalk通过引入光流引导时间模块、音频到强度模型和扩散噪声初始化策略,实现了可控强度和时序一致的说话头生成,有效减少闪烁并提升音频视频同步质量。
2025-12-18 cs.CV
MaterialFusion: High-Quality, Zero-Shot, and Controllable Material Transfer with Diffusion Models
HSE University(高等经济大学);AIRI;Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院)
MaterialFusion是基于扩散模型的新型材质迁移框架,可零样本实现高质量可控材质迁移,在质量、可控性等方面优于现有方法,代码公开。
2026-08-05 cs.CV
High-Fidelity Relightable Monocular Portrait Animation with Lighting-Controllable Video Diffusion Model
Sichuan University(四川大学);College of Computer Science, Sichuan University(四川大学计算机学院)
本文提出光照可控视频扩散模型(LCVD),通过分离内在与外在特征子空间,实现高保真可重照明肖像动画,在光照真实性、图像质量和视频一致性上超越现有方法。
2025-02-27 cs.CV
Controllable Longer Image Animation with Diffusion Models
Alibaba Group(阿里巴巴集团)
本文提出一种基于扩散模型的可控图像动画方法,通过运动先验和噪声重调度实现超过100帧的长视频生成,实验证明优于10个基线。
2024-05-28 cs.CV
Controllable Localized Face Anonymization Via Diffusion Inpainting
Center for Machine Vision and Signal Analysis (CMVS)(机器视觉与信号分析中心);University of Oulu(奥卢大学);ELLIS Institute Finland(芬兰ELLIS研究所);The Machine Learning Group(机器学习小组);UiT The Arctic University of Norway(挪威北冰洋大学)
本文提出了一种可控的局部化面部匿名化方法,利用扩散修复生成逼真的匿名图像,通过自适应属性引导模块实现精准控制,无需额外训练即可优于现有方法。
2026-01-20 cs.CV
Controllable Artistic Text Style Transfer via Shape-Matching GAN
Institute of Computer Science and Technology, Peking University(北京大学计算机科学技术研究所);Texas A&M University(德克萨斯农工大学);Adobe Research(奥多比研究中心)
艺术文本样式转换是将样式从源图像迁移到目标文本以创建艺术排版的任务。最近的风格转换方法考虑了纹理控制,以提高可用性。然而,在形状变形方面控制风格化程度仍然是一个重要的公开挑战。在本文中,我们提出了第一个文本风格传输网络,允许通过可调参数的关键风格程度的实时控制的广告。我们的主要贡献是一个新的双向形状匹配框架,建立一个有效的字形风格的映射在不同的变形水平,没有配对的地面真理。基于这一思想,我们提出了一个规模可控的模块,使一个单一的网络不断表征风格图像的多尺度形状特征,并将这些特征转移到目标文本。该方法在生成多样化、可控性和高质量的风格化文本方面表现出了其优越性。
2019-08-10 cs.CV
Generative Active Learning for Long-tail Trajectory Prediction via Controllable Diffusion Model
Intelligent Systems and Learning Lab., DGIST, Korea(智能系统与学习实验室,DGIST,韩国);Qualcomm Research, USA(高通研究,美国);Visual Intelligence Lab., KAIST, Korea(视觉智能实验室,KAIST,韩国)
针对轨迹预测中的长尾场景难题,提出首个生成式主动学习方法GALTraj,通过可控扩散模型主动增强稀有尾部样本,在多个数据集和骨干网络上实现头尾样本性能双提升。
2025-07-30 cs.CV
RoboTransfer: Controllable Geometry-Consistent Video Diffusion for Manipulation Policy Transfer
Horizon Robotics;GigaAI(极佳科技);CASIA
RoboTransfer通过可控的几何一致视频扩散技术,提升机器人操控策略在真实环境中的泛化能力。
2026-01-06 cs.CV
ControlEvents: Controllable Synthesis of Event Camera Datawith Foundational Prior from Image Diffusion Models
本文提出ControlEvents,利用图像扩散模型生成高质量事件数据,通过文本标签、2D骨骼和3D姿态控制信号,减少标注数据成本并提升视觉任务性能。
2025-11-27 cs.CV
FlexEdit: Flexible and Controllable Diffusion-based Object-centric Image Editing
VinAI Research(VinAI研究院);Posts & Telecom. Institute of Tech., Vietnam(越南邮电技术研究院)
针对以对象为中心的图像编辑中形状差异和控制受限问题,提出FlexEdit框架,通过在每个去噪步骤迭代调整潜变量并使用自适应掩码保护背景,实现了灵活可控的对象替换与插入,并在多种场景下表现优越。
2024-12-20 cs.CV
LiON-LoRA: Rethinking LoRA Fusion to Unify Controllable Spatial and Temporal Generation for Video Diffusion
Zhejiang University(浙江大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Hupan Lab(虎扑实验室)
LiON-LoRA通过线性可扩展性、正交性和范数一致性重新设计LoRA融合,实现对视频扩散模型中相机轨迹和物体运动的精确解耦控制,并扩展到时间生成,以最少数据超越现有方法。
2025-07-08 cs.CV
LayoutDM: Discrete Diffusion Model for Controllable Layout Generation
CyberAgent(赛博艾坚特);Waseda University(早稻田大学)
可控布局生成的目的是合成合理的安排元素边界框与可选的约束,如类型或位置的一个特定的元素。在这项工作中,我们试图解决广泛的布局生成任务,在一个单一的模型,是基于离散状态空间扩散模型。我们的模型名为LayoutDM,自然地处理离散表示中的结构化布局数据,并学习从初始输入中逐步推断出无噪声布局,其中我们通过模态离散扩散对布局损坏过程进行建模。对于条件生成,我们建议在推理过程中以掩码或logit调整的形式注入布局约束。我们在实验中表明,我们的LayoutDM成功地生成高质量的布局,并优于任务特定的和任务不可知的基线上的几个布局任务。
2023-03-14 cs.CV cs.GR
Towards Controllable Image Generation through Representation-Conditioned Diffusion Models
本文提出利用预训练自监督模型的表示作为条件,通过扩散模型实现无需大量标注的可控图像生成,并探索了表示空间中的平滑和分离特性。
2026-05-26 cs.CV cs.LG
AgeBooth: Controllable Facial Aging and Rejuvenation via Diffusion Models
VCIP, School of Computer Science, Nankai University(VCIP,计算机学院,南开大学);The Chinese University of Hong Kong(香港中文大学);vivo Mobile Communication Co., Ltd(vivo移动通信有限公司)
AgeBooth提出年龄特定微调方法,结合提示混合与LoRA融合技术,无需跨年龄数据集即可实现单图可控面部老化与年轻化,效果优于现有方法。
2025-10-07 cs.CV
ControlHair: Synergizing Physics Simulator and Video Diffusion for Controllable Dynamic Hair Rendering
University of Rochester(罗切斯特大学);Pixocial Technology(Pixocial技术)
研究针对毛发模拟渲染难题,提出ControlHair框架,融合物理模拟器与视频扩散,通过三阶段管道实现可控动态毛发渲染,性能优于基线并展示多种应用。
2026-08-04 cs.CV cs.GR
MVRoom: Controllable 3D Indoor Scene Generation with Multi-View Diffusion Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校);DAMO Academy, Alibaba Group(阿里巴巴达摩院);Hupan Lab(虎斑实验室)
MVRoom通过多视角扩散模型实现可控的3D室内场景生成,结合布局感知的极线注意力机制和迭代框架,提升多视角一致性和生成质量。
2025-12-03 cs.AI cs.CV
CLE Diffusion: Controllable Light Enhancement Diffusion Model
Beijing Jiaotong University(北京交通大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对现有低光增强算法可控性不足的问题,提出CLE Diffusion可控光线增强扩散模型,通过光照嵌入实现亮度控制,结合SAM实现区域可控增强,在多维度性能上表现优异。
2023-08-28 cs.AI cs.CV cs.MM
Diffusion Templates: A Unified Plugin Framework for Controllable Diffusion
Alibaba Group(阿里巴巴集团)
本文提出Diffusion Templates框架,通过解耦基础模型推理与可控能力注入,统一了扩散模型的可控能力,支持多种任务和不同backbone的兼容性,提升了模块化和可扩展性。
2026-04-27 cs.AI cs.CV cs.LG