Abstract Art Interpretation Using ControlNet
Columbia University（哥伦比亚大学）
本研究通过引入 ControlNet 和基于三角形等几何图元的新颖条件，解决了仅靠文本提示难以精确控制图像构图的问题，实现了对抽象艺术风格的文本到图像合成的精细空间控制。
2024-08-23 cs.AI cs.CV cs.LG
SemanticControl: A Training-Free Approach for Handling Loosely Aligned Visual Conditions in ControlNet
Department of Computer Science and Engineering（计算机科学与工程系）；Korea University（韩国大学）；Electrical and Computer Engineering（电气与计算机工程系）；University of Michigan（密歇根大学）
针对 ControlNet 难以利用与文本提示松散对齐的视觉条件的问题，本文提出无需训练的 SemanticControl 方法，通过辅助去噪过程提取注意力掩码来自适应抑制冲突的视觉条件并强化文本引导，在多种条件下优于现有基线。
2025-09-26 cs.AI cs.CV
When ControlNet Meets Inexplicit Masks: A Case Study of ControlNet on its Contour-following Ability
The University of Sydney（悉尼大学）；Nanyang Technological University（南洋理工大学）
本文针对ControlNet处理含噪不明确掩码时产生伪影的问题，提出形状感知ControlNet框架，通过退化估计器与形状先验调制块自适应调节轮廓跟随能力，有效提升模型对不准确空间条件的鲁棒性。
2024-10-15 cs.CV
CCM: Adding Conditional Controls to Text-to-Image Consistency Models
USTC（中国科学技术大学）；Alibaba Group（阿里巴巴集团）；SJTU（上海交通大学）；Ant Group（蚂蚁集团）
针对预训练一致性模型（CMs）缺乏条件控制方法的问题，研究了三种为文本到图像CMs添加类似ControlNet条件控制的策略并验证了其效果。
2023-12-12 cs.CV
VideoControlNet: A Motion-Guided Video-to-Video Translation Framework by Using Diffusion Model with ControlNet
Beihang University（北京航空航天大学）；University of Hong Kong（香港大学）
提出运动引导的视频到视频转换框架 VideoControlNet，利用带 ControlNet 的扩散模型生成首帧，并通过 MgPG 和 MgBI 模块结合运动信息生成关键帧与插值帧，实现了连续一致的视频生成。
2023-08-03 cs.CV
LOVECon: Text-driven Training-Free Long Video Editing with ControlNet
Qing Yuan Research Institute, SEIEE, Shanghai Jiao Tong University（上海交通大学电子信息与电气工程学院清源研究院）
本文提出LOVECon，一种基于ControlNet的免训练长视频编辑方法，通过跨窗口注意力机制和DDIM反演实现长视频的全局一致编辑，支持数百帧视频编辑。
2024-05-28 cs.CV
FineControlNet: Fine-level Text Control for Image Generation with Spatially Aligned Text Control Injection
Samsung AI Center（三星人工智能中心）
针对ControlNet无法控制生成图像实例外观的问题，提出FineControlNet，通过隐空间中实例文本提示与二维姿态的空间对齐，实现姿态精准控制下的实例外观细粒度控制，性能优于现有同类模型。
2023-12-14 cs.CV
Backdoors in Conditional Diffusion: Threats to Responsible Synthetic Data Pipelines
Raz Lapid；Almog Dubin
本文提出了一种针对ControlNet的模型污染攻击，通过后门生成攻击者指定内容，并提出CFT方法作为防御措施。
2025-11-23 cs.AI cs.CV
Uni-ControlNet: All-in-One Control to Text-to-Image Diffusion Models
The University of Hong Kong（香港大学）；Microsoft（微软）
Uni-ControlNet提出在冻结的文本到图像扩散模型上仅微调两个适配器，以统一框架同时组合多种局部与全局控制条件，在降低训练成本的同时提升可控性、生成质量与可组合性。
2023-10-29 cs.CV cs.GR
Completing Visual Objects via Bridging Generation and Segmentation
Carnegie Mellon University（卡内基梅隆大学）；Microsoft（微软）
针对从部分可见组件重建完整对象的视觉补全问题，提出MaskComp方法，通过迭代交替生成与分割阶段逐步细化掩码，实验证明其效果优于ControlNet等现有方法。
2024-02-02 cs.CV
ControlNet-XS: Rethinking the Control of Text-to-Image Diffusion Models as Feedback-Control Systems
Heidelberg University（海德堡大学）
本研究将文本到图像扩散模型的控制视为反馈控制系统，针对现有控制网络反馈稀疏延迟大的问题，提出ControlNet-XS，通过高频大带宽通信提升生成质量与控制保真度，参数更少速度更快，多项像素级引导任务性能优于现有方法。
2024-08-12 cs.CV
I Dream My Painting: Connecting MLLMs and Diffusion Models via Prompt Generation for Text-Guided Multi-Mask Inpainting
University of Bari Aldo Moro（巴里阿尔多·莫罗大学）
本文提出多掩码修复新任务，通过微调多模态大语言模型自动生成多区域提示，并结合修正交叉注意力的Stable Diffusion实现文本引导的精确修复，在绘画数据集上验证了其创意性与准确性。
2024-12-06 cs.CV
Face inpainting with Identity Preserving Latent Diffusion Models
Institute for Systems and Robotics（系统与机器人研究所）
本文提出ID-ControlNet，利用潜在扩散模型实现面部修复，通过身份嵌入保持身份一致性，实验表明其在CelebA-HQ等数据集上优于传统方法，接近最先进的身份感知方法。
2026-05-15 cs.CV
ControlNet++: Improving Conditional Controls with Efficient Consistency Feedback
University of Central Florida（中佛罗里达大学）；ByteDance（字节跳动）
本文提出 ControlNet++，通过像素级循环一致性损失和高效单步去噪奖励微调策略，在分割掩码、线稿边缘和深度等多种条件控制下显著提升文本到图像扩散模型的可控性。
2024-11-19 cs.AI cs.CV cs.LG
Geometry-to-Image Synthesis-Driven Generative Point Cloud Registration
ANGEL CorpLab and College of Computing and Data Science, Nanyang Technological University, Singapore（ANGEL CorpLab和计算与数据科学学院，南洋理工大学，新加坡）；Alibaba Cloud, Alibaba Group, China（阿里巴巴云，阿里巴巴集团，中国）；PCA Lab, VCIP, College of Computer Science, Nankai University, China（PCA实验室，VCIP，计算机科学学院，南开大学，中国）；State Key Laboratory for Novel Software Technology & Schoolof Intelligence Science and Technology, Nanjing University, China（新型软件技术国家重点实验室与智能科学与技术学校，南京大学，中国）
本文提出生成式点云配准方法，通过生成跨视角一致的图像对，结合几何与颜色特征融合，提升3D配准性能。
2026-02-14 cs.CV
CTA-Flux: Integrating Chinese Cultural Semantics into High-Quality English Text-to-Image Communities
针对Flux模型处理中文提示时因文化偏见导致的质量问题，提出CTA-Flux方法，通过MMDiT适配中文语义，减少参数且兼容现有插件，提升中英文提示下图像的文化真实性与生成质量。
2025-08-20 cs.CV
JieHua Paintings Style Feature Extracting Model using Stable Diffusion with ControlNet
California State University, Long Beach（加州州立大学长滩分校）；Accademia di Belle Arti di Roma（罗马美术学院）；Columbia University（哥伦比亚大学）；No.1 Central Primary School Shanghai Huangpu（上海市黄浦区第一中心小学）；Shanghai Palmim Information Technology Ltd（上海Palmim信息技术有限公司）
本文提出基于 ControlNet 的微调 Stable Diffusion 模型（FSDMC）提取界画风格特征，实验证明其在 FID 指标和专家评估上均优于 CycleGAN，有效提升了传统艺术风格迁移效能。
2024-08-21 cs.AI cs.CV
MONKEY: Masking ON KEY-Value Activation Adapter for Personalization
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
MONKEY通过利用IP-Adapter生成的掩码，将图像标记限制在主体上，从而提升文本提示与生成图像的匹配度和对齐性。
2026-01-16 cs.CV
Masked Language Prompting for Generative Data Augmentation in Few-shot Fashion Style Recognition
ZOZO Research（ZOZO研究院）
本文提出掩码语言提示方法，通过掩码参考描述中的词并利用大语言模型生成多样且语义连贯的图像，提升少样本时尚风格识别的性能。
2026-05-07 cs.CV
DirectDrag: High-Fidelity, Mask-Free, Prompt-Free Drag-based Image Editing via Readout-Guided Feature Alignment
National Taiwan University of Science and Technology（台湾科技大学）；National Taiwan University（台湾大学）；Microsoft Taiwan（微软台湾）
DirectDrag通过读取引导的特征对齐方法实现无掩码、无提示的拖动图像编辑，提升图像质量和拖动精度。
2025-12-03 cs.CV
Prompt-Guided Image Editing with Masked Logit Nudging in Visual Autoregressive Models
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃朗根-纽伦堡弗里德里希-亚历山大大学）；University of Surrey（萨里大学）
本文提出掩码logit调整方法，通过调整模型预测logits实现提示引导的图像编辑，保留无关区域，提升编辑质量和重建效果，优于现有方法。
2026-04-16 cs.CV
IPAdapter-Instruct: Resolving Ambiguity in Image-based Conditioning using Instruct Prompts
Unity Technologies（Unity科技公司）
针对文本提示难以精确控制图像生成及多适配器使用繁琐的问题，提出IPAdapter-Instruct，结合自然图像条件与Instruct提示，在同一工作流中高效切换风格迁移、对象提取等多种任务，质量损失极小。
2024-08-27 cs.CV
Adding Conditional Control to Text-to-Image Diffusion Models
Stanford University（斯坦福大学）
提出ControlNet架构，通过零卷积为预训练文本到图像扩散模型添加空间条件控制，在多种条件和小至大数据集上均稳健有效。
2023-11-26 cs.AI cs.CV cs.GR
MaskDiffusion: Boosting Text-to-Image Consistency with Conditional Mask
Nankai University（南开大学）；ByteDance（字节跳动）
本文提出MaskDiffusion，一种无需训练且即插即用的方法，通过基于注意力图和提示词嵌入的自适应掩码改进交叉注意力机制，动态调整文本标记对图像特征的贡献，从而显著提升预训练扩散模型中文本到图像的一致性。
2023-09-08 cs.CV
AnyI2V: Animating Any Conditional Image with Motion Control
Fudan University（复旦大学）；DAMO Academy, Alibaba group（阿里达摩院）；Hupan Lab（虎扑实验室）
AnyI2V提出免训练框架，用用户定义的运动轨迹动画化任意条件图像，支持网格、点云等ControlNet不支持的模态及混合条件输入，实现灵活的空间与运动控制视频生成。
2025-07-03 cs.CV
DiffSTR: Controlled Diffusion Models for Scene Text Removal
IIT Delhi（印度理工学院德里分校）；IIIT Sonepat（索尼帕特印度信息技术学院）
针对场景文本移除存在的边界伪影、纹理颜色不一致等问题，提出基于ControlNet的DiffSTR模型，结合掩码预训练与基于分割的掩码细化框架生成准确修复掩码，在两个公开数据集上性能显著优于现有最优方法。
2024-10-29 cs.CV
Stable Diffusion Reference Only: Image Prompt and Blueprint Jointly Guided Multi-Condition Diffusion Model for Secondary Painting
Beihang University（北京航空航天大学）
针对现有扩散模型在二次绘画中控制复杂、效率低的问题，提出Stable Diffusion Reference Only方法，通过图像提示与蓝图两类条件图嵌入UNet实现精准生成，无需ControlNet，线稿上色效果达SOTA，提升创作效率。
2023-11-04 cs.AI cs.CV
Vision-guided and Mask-enhanced Adaptive Denoising for Prompt-based Image Editing
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Shandong University（山东大学）；Shandong Jianzhu University（山东建筑大学）；Hunan University（湖南大学）
提出ViMAEdit方法，通过引入图像嵌入引导、自注意力迭代定位编辑区域和空间自适应方差采样，解决文本提示引导不足、区域关系挖掘有限和统一编辑强度问题，显著提升图像编辑能力。
2024-11-18 cs.CV
BRIDGE: Background Routing and Isolated Discrete Gating for Coarse-Mask Local Editing
Department of Informatics, The University of Electro-Communications（信息学系，电通大学）
BRIDGE通过背景路由和离散门控技术解决粗掩膜局部编辑中掩膜形状偏差问题，提升编辑区域与背景的稳定性与一致性。
2026-08-11 cs.CV
InstanceControl: Controllable Complex Image Generation without Instance Labeling
Harbin Institute of Technology（哈尔滨工业大学）；HUAWEI Noah’s Ark Lab（华为诺亚方舟实验室）
提出InstanceControl方法，利用视觉语言模型自动建立文本与视觉条件间的实例对应，无需人工标注，通过自适应掩码细化策略实现复杂多实例场景的精确可控生成。
2026-07-01 cs.CV
MAKIMA: Tuning-free Multi-Attribute Open-domain Video Editing via Mask-Guided Attention Modulation
本文提出免调优多属性视频编辑框架MAKIMA，通过掩码引导注意力调制和一致特征传播，在保持视频结构与时间一致性的同时实现精确的多属性开放域编辑。
2024-12-28 cs.CV
SGDiff: Scene Graph Guided Diffusion Model for Image Collaborative SegCaptioning
SGDiff通过基于场景图引导的扩散模型，实现从简单提示到多样化描述与掩码对的图像协作分割与描述任务，提升语义对齐与灵活结果选择能力。
2025-12-01 cs.CV
MaSC: A Masked Similarity Metric for Evaluating Concept-Driven Generation
Adam Mickiewicz University（亚当·密茨凯维奇大学）；Kiel University（基尔大学）；ArtCollect（艺术收藏）；KAUST（卡塔尔科技大学）
本文提出MaSC，一种基于遮蔽的相似度度量方法，用于评估文本到图像扩散模型中单概念个性化生成的保真度和提示遵循性，通过使用外部提供的前景概念遮罩将评估分解为针对主体的概念保真度和基于背景的提示遵循性。
2026-05-21 cs.CV
Inpaint4DNeRF: Promptable Spatio-Temporal NeRF Inpainting with Generative Diffusion Models
HKUST（香港科技大学）；Dartmouth College（达特茅斯学院）
本文提出Inpaint4DNeRF框架，利用稳定扩散模型生成种子图像及3D几何代理，解决静态与动态NeRF场景中的时空修复与多视角一致性问题。
2023-12-30 cs.CV
ControlAR: Controllable Image Generation with Autoregressive Models
School of EIC, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院）；The University of Hong Kong（香港大学）；vivo AI Lab（vivo人工智能实验室）
本文提出ControlAR框架，通过轻量级控制编码器和条件解码方法将空间控制高效集成到自回归图像生成模型中，在边缘、深度和分割掩码等控制任务上超越了ControlNet++等扩散模型。
2025-03-10 cs.CV
Improving In-Context Learning in Diffusion Models with Visual Context-Modulated Prompts
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；ByteDance Inc.（字节跳动公司）
本文提出 iPromptDiff，通过端到端视觉编码器将视觉上下文调制文本提示嵌入，并结合 ControlNet，提升扩散模型在新视觉任务上的上下文学习能力与鲁棒性。
2023-12-03 cs.CV
Tri-Prompting: Video Diffusion with Unified Control over Scene, Subject, and Motion
Adobe Research（Adobe研究院）；University of Rochester（罗切斯特大学）
Tri-Prompting提出统一框架，整合场景、多视角主体一致性和运动控制，提升视频生成的可控性和真实感。
2026-10-08 cs.CV
Typographic Text Generation with Off-the-Shelf Diffusion Model
Kyushu University（九州大学）
本文提出一种结合 ControlNet 与 Blended Latent Diffusion 的排版文字生成系统，可在指定字体、颜色和效果的同时，在现有背景上自然添加和修改文字。
2024-02-22 cs.CV
A Two-Stage System for Layout-Controlled Image Generation using Large Language Models and Diffusion Models
Cognitive Neuroinformatics University of Bremen（认知神经信息学不莱梅大学）
针对文本到图像扩散模型在物体数量和空间排列控制上的不足，本研究提出两阶段系统：先用大语言模型生成结构化布局（通过任务分解提升物体召回率至99.9%），再用布局条件扩散模型合成图像，验证了解耦方法的有效性。
2025-11-11 cs.CV
PHAC: Promptable Human Amodal Completion
本文提出PHAC任务，通过满足可见外观约束和多用户提示完成遮挡人像，使用ControlNet模块编码提示信号并微调交叉注意力块以提升提示对齐性。
2026-03-16 cs.CV
LumiCtrl : Learning Illuminant Prompts for Lighting Control in Personalized Text-to-Image Models
Computer Vision Center, Spain（西班牙计算机视觉中心）；City University of Hong Kong（香港城市大学）；Computer Sciences Department, Universitat Autònoma de Barcelona, Spain（西班牙巴塞罗那自治大学计算机科学系）；Program of Computer Science, City University of Hong Kong (Dongguan)（香港城市大学（东莞）计算机科学项目）
本文提出LumiCtrl方法，通过学习单个物体图像的光照提示，实现对文本到图像模型中光照的精准控制，提升生成图像的光照真实性、审美质量和场景一致性。
2026-04-09 cs.CV
Zero-Painter: Training-Free Layout Control for Text-to-Image Synthesis
Picsart AI Research (PAIR)（Picsart人工智能研究院（PAIR））；UT Austin（德克萨斯大学奥斯汀分校）；Georgia Tech（佐治亚理工学院）
Zero-Painter提出免训练的布局条件文本到图像合成框架，通过PACA和ReGCA两阶段交叉注意力机制，实现对象与文本提示及掩码形状的精确对齐，在文本细节保留和掩码形状遵循上超越现有方法。
2024-06-06 cs.CV
CARE-Edit: Condition-Aware Routing of Experts for Contextual Image Editing
The Hong Kong University of Science and Technology（香港科学与技术大学）
CARE-Edit通过条件感知的专家路由提升上下文图像编辑的性能和稳定性
2026-03-09 cs.CV
InstructEdit: Improving Automatic Masks for Diffusion-based Image Editing With User Instructions
KAUST（阿卜杜拉国王科技大学）
本文提出 InstructEdit 框架，通过语言处理器、分割器和图像编辑器协同工作，利用用户指令改进扩散模型图像编辑中的自动掩码质量，在复杂或多物体场景下实现更精确的细粒度编辑。
2023-05-29 cs.CV
ProgressNet: Sketching and Prompting with a Frozen Text-to-Image Model
University of Surrey（萨里大学）
ProgressNet提出无需训练的推理时机制，使冻结的文本到图像模型能渐进式跟随草图绘制与提示修改，每轮约一秒，在FS-COCO上FID几乎不变，优于现有方法。
2026-10-05 cs.CV
FlowMimic: Mask-free Visual Editing and Generation with Pixel-pair Warped Flow Field for Online Video Editing Data Generation and Modality Mimicry
研究探索在单一模型中整合视频和图像模态的生成与编辑能力，开发像素对时间扭曲流场实时生成视频编辑样本，设计模态模仿损失对齐模态能力，引入相关任务及损失让模型内化基于语言的视觉编辑能力。
2026-09-23 cs.CV
MDN-Control: Mask-Depth-Noise Guided Region Control for Multi-Subject Video Editing
Wuhan University（武汉大学）
提出MDN-Control，一种无需训练的多主体视频编辑框架，通过掩码定位、深度遮挡控制和噪声潜在提示，在MSVBench上取得最优编辑质量，解决属性泄漏与遮挡模糊问题。
2026-09-16 cs.CV
Style Composition within Distinct LoRA modules for Traditional Art
Seoul National University（首尔国立大学）；Kyunghee University（庆熙大学）
提出零样本扩散流水线，通过空间掩码融合不同风格专用模型的去噪潜在表示，结合深度图条件，实现传统艺术中区域特定的多风格混合。
2025-08-05 cs.CV
PromptDresser: Improving the Quality and Controllability of Virtual Try-On via Generative Textual Prompt and Prompt-aware Mask
KAIST（韩国科学技术院）
提出PromptDresser，利用大型多模态模型生成文本提示并自适应调整掩码，解决文本可编辑虚拟试穿中的描述生成、信息冲突和编辑区域问题，显著提升生成质量与可控性。
2025-08-07 cs.AI cs.CV
Patch-enhanced Mask Encoder Prompt Image Generation
针对广告应用中产品描述失真问题，提出一种包含三个组件的 Patch-enhanced mask encoder 方法，在保留多样化背景的同时确保产品描述准确，实验证明其视觉效果和 FID 分数优于其他方法。
2024-05-29 cs.AI cs.CV
MAGIC: Few-Shot Mask-Guided Anomaly Inpainting with Prompt Perturbation, Spatially Adaptive Guidance, and Context Awareness
Department of AI Semiconductor Engineering, Hanyang University, Seoul, Korea（汉阳大学人工智能半导体工程系）；Department of Electronic Engineering, Hanyang University, Seoul, Korea（汉阳大学电子工程系）
MAGIC通过引入提示扰动、空间自适应引导和上下文意识，解决少样本异常生成中的样本多样性问题，提升下游任务的鲁棒性。
2026-04-29 cs.AI cs.CV
SPG: Style-Prompting Guidance for Style-Specific Content Creation
Visual Computing Research Center, CSSE, Shenzhen University（深圳大学视觉计算研究中心、计算机科学与工程学院）
本文提出风格提示引导（SPG）采样策略，通过风格噪声方向偏差引导扩散过程，并与 CFG 结合，在保持语义一致的同时实现特定风格生成，且兼容 ControlNet 等框架。
2025-08-15 cs.CV cs.GR
Taming Identity Consistency and Prompt Diversity in Diffusion Models via Latent Concatenation and Masked Conditional Flow Matching
针对主体驱动图像生成中身份一致性与提示多样性的权衡问题，提出潜空间拼接策略结合掩码CFM目标的LoRA微调扩散模型，辅以两阶段蒸馏数据整理框架与CHARIS评估框架，实现鲁棒身份保留与生成能力扩展。
2025-11-11 cs.AI cs.CV
GenDDS: Generating Diverse Driving Video Scenarios with Prompt-to-Video Generative Model
Columbia University（哥伦比亚大学）；Data Science Institute, Columbia University（哥伦比亚大学数据科学研究所）
提出GenDDS方法，利用SDXL、ControlNet和Hotshot-XL构建视频生成流水线，基于KITTI数据集生成高质量且多样化的自动驾驶视频场景，为自动驾驶系统训练和仿真验证提供新途径。
2024-08-28 cs.AI cs.CV
