InsertDiffusion: Identity Preserving Visualization of Objects through a Training-Free Diffusion Architecture
BMW Group(宝马集团);Technical University of Munich(慕尼黑工业大学);University of Augsburg(奥格斯堡大学)
针对无需大量训练就难以将物体逼真嵌入背景的问题,本文提出免训练扩散架构InsertDiffusion,使用现成模型无需微调,在图像真实感和条件对齐度上优于现有方法,可拓展扩散模型的实际应用能力。
2024-07-15 cs.CV
Concept Replacer: Replacing Sensitive Concepts in Diffusion Models via Precision Localization
Fudan University(复旦大学);Purple Mountain Laboratories(紫金山实验室)
本文提出 Concept Replacer,通过少样本概念定位器与无需训练的 DPCA 模块,在扩散模型去噪过程中精确替换敏感概念并保持非目标区域稳定。
2024-12-03 cs.CV
Improving In-Context Learning in Diffusion Models with Visual Context-Modulated Prompts
The University of Texas at Austin(德克萨斯大学奥斯汀分校);ByteDance Inc.(字节跳动公司)
本文提出 iPromptDiff,通过端到端视觉编码器将视觉上下文调制文本提示嵌入,并结合 ControlNet,提升扩散模型在新视觉任务上的上下文学习能力与鲁棒性。
2023-12-03 cs.CV
Blending Concepts with Text-to-Image Diffusion Models
University of Milano-Bicocca(米兰比可卡大学)
本文研究了文本到图像扩散模型在零样本框架下融合不同概念的能力,提出了四种利用扩散管道不同方面的融合方法,并通过系统实验和100人用户研究证明其无需训练即可展现创造性融合潜力,同时揭示了其对输入变化的敏感性。
2025-06-30 cs.CV
Unleashing Text-to-Image Diffusion Models for Visual Perception
Tsinghua University(清华大学);University of Washington(华盛顿大学)
扩散模型已成为生成模型的新趋势,并显示出强大的条件综合能力。其中,在大规模图像-文本对上预训练的文本到图像扩散模型通过可定制的提示高度可控。与关注低层属性和细节的无条件生成模型不同,文本到图像扩散模型由于视觉语言预训练而包含更多的高级知识。在本文中,我们提出了VPD(视觉感知与预训练的扩散模型),一个新的框架,利用语义信息的预训练的文本到图像的扩散模型在视觉感知任务。我们没有在基于扩散的管道中使用预训练的去噪自动编码器,而是简单地将其用作主干,旨在研究如何充分利用所学习的知识。具体来说,我们使用适当的文本输入提示去噪解码器,并使用适配器优化文本特征,从而更好地对齐预训练阶段,并使视觉内容与文本提示交互。我们还建议利用视觉特征和文本特征之间的交叉注意图来提供明确的指导。与其他预训练方法相比,我们表明,视觉语言预训练的扩散模型可以更快地适应下游的视觉感知任务,使用建议的VPD。通过对语义分割、参考图像分割和深度估计的实验,验证了该方法的有效性。值得注意的是,VPD在NYUv 2深度估计上达到0.254 RMSE,在RefCOCO-val参考图像分割上达到73.3% oIoU,在这两个基准上建立了新的记录。代码可在https://github.com/wl-zhao/VPD上获得
2023-03-03 cs.CV
Plot'n Polish: Zero-shot Story Visualization and Disentangled Editing with Text-to-Image Diffusion Models
Virginia Tech(弗吉尼亚理工大学);Adobe Research(Adobe研究)
针对现有故事可视化方法难以兼顾编辑灵活性与多帧一致性的问题,提出零样本框架Plot'n Polish,可实现一致的故事生成与多细节层级的细粒度可视化控制。
2025-09-04 cs.CV
Visual Watermarking in the Era of Diffusion Models: Advances and Challenges
State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA, Beijing, China(多模态人工智能系统国家重点实验室,中国科学院自动化研究所,北京)
该研究针对生成式AI时代视觉内容易遭滥用的版权问题,分析了结合扩散模型的视觉水印技术的优势与挑战,探索二者融合以提升水印抗伪造鲁棒性,推动数字内容版权保护的方案创新。
2025-05-16 cs.CV
Where Concept Erasure Should Occur: Concept-Layer Alignment in Text-to-Video Diffusion Models
The School of Artificial Intelligence and Automation, Huazhong University of Science and Technology, Wuhan 430074, China(人工智能与自动化学院,华中科技大学,武汉430074,中国);Department of Computer Science and Engineering, University of Nevada, Reno, NV, USA(计算机科学与工程系,内华达大学里诺分校,内华达州,美国)
本文通过识别概念-层拓扑对齐瓶颈,提出基于可分离性优化的CLEAR框架,在文本到视频扩散模型中实现精确的概念擦除并保持生成质量。
2026-05-25 cs.CV
ACE: Attentional Concept Erasure in Diffusion Models
Shandong University(山东大学)
针对扩散模型因训练数据问题生成不良内容的问题,提出注意力概念擦除(ACE)方法,通过注意力操作与轻量级微调实现概念移除,在多基准上效果鲁棒且平衡通用性与特异性,效率高。
2025-04-16 cs.CV
CusConcept: Customized Visual Concept Decomposition with Diffusion Models
Zhejiang University(浙江大学);The University of Hong Kong(香港大学)
本文提出两阶段框架 CusConcept,利用扩散模型从单张图像中沿人类指定概念轴分解并生成定制化视觉概念,同时构建评估基准,实验验证了其有效性。
2024-10-01 cs.CV
JVID: Joint Video-Image Diffusion for Visual-Quality and Temporal-Consistency in Video Generation
Imperial College London(伦敦帝国学院);Friedrich-Alexander-Universität(弗里德里希-亚历山大大学);University of Birmingham(伯明翰大学)
JVID通过联合潜在图像扩散模型与潜在视频扩散模型,在反向扩散过程中兼顾视觉质量与时间一致性,从而提升视频生成效果。
2024-09-27 cs.CV
VGDiffZero: Text-to-image Diffusion Models Can Be Zero-shot Visual Grounders
Sichuan University(四川大学);Westlake University(西湖大学)
提出 VGDiffZero 框架,无需微调即可将文本到图像扩散模型用于零样本视觉定位,并结合全局与局部上下文进行区域评分。
2024-01-23 cs.CV
A Comprehensive Survey on Visual Concept Mining in Text-to-image Diffusion Models
School of Computer Science, Nanjing University of Information Science and Technology(南京信息工程大学计算机学院);School of Computer Science, Nanjing University of Science and Technology(南京理工大学计算机学院)
本文综述文本到图像扩散模型中的视觉概念挖掘,将相关方法分为概念学习、擦除、分解与组合四类,并总结挑战与未来方向。
2025-03-17 cs.CV
Robust Concept Erasure in Diffusion Models: A Theoretical Perspective on Security and Robustness
针对扩散模型中的敏感概念泄露问题,提出SCORE框架,通过对抗性独立和最小化互信息实现可证明的鲁棒擦除,在多个基准上优于现有方法,擦除效能最高提升12.5%。
2025-10-07 cs.CV
Visual Autoregressive Models Beat Diffusion Models on Inference Time Scaling
Technical University of Denmark(丹麦技术大学);Pioneer Center for AI(先锋人工智能中心)
本文证明视觉自回归模型凭借离散标记空间和束搜索,在推理时缩放上超越扩散模型,使2B参数模型在多个基准上胜过12B参数扩散模型,凸显架构对推理优化的关键作用。
2025-10-24 cs.CV
Controllable Mind Visual Diffusion Model
Beihang University(北京航空航天大学);Shenzhen Institute of Advanced Technology(深圳先进技术研究院);Xiaohongshu Inc(小红书公司);Zhongguancun Laboratory(中关村实验室);Nanchang Institute of Technology(南昌理工学院)
本文提出CMVDM,通过属性对齐、辅助网络、残差块和控制模型从fMRI中提取语义、轮廓及补充信息,显著提升脑信号图像重建效果。
2023-12-18 cs.CV
The Hidden Language of Diffusion Models
Google Research(谷歌研究院);Tel-Aviv University(特拉维夫大学);Google DeepMind(谷歌DeepMind);Weizmann Institute(魏茨曼研究所)
针对文本到图像扩散模型内部表征不明的问题,提出Conceptor方法将文本概念分解为可理解文本元素,在Stable Diffusion上揭示了概念表征的特殊结构,验证了其对各类概念的有效解读能力。
2023-10-05 cs.CV
Erasing Concepts from Diffusion Models
Northeastern University(东北大学);Massachusetts Institute of Technology(麻省理工学院)
针对扩散模型可能被滥用于生成不当内容的问题,提出一种基于负向引导的微调方法,仅凭风格名称即可永久擦除模型中的视觉概念,性能与Safe Latent Diffusion相当,且无法被绕过。
2023-06-21 cs.CV
TweedieMix: Improving Multi-Concept Fusion for Diffusion-based Image/Video Generation
KRAFTON;Kim Jaechul Graduate School of AI, KAIST(KAIST金哉澈人工智能研究生院)
提出TweedieMix方法,通过两阶段采样策略在推理阶段组合定制扩散模型,有效融合多个性化概念,提升图像与视频生成保真度。
2025-03-04 cs.CV
Learning Profitable NFT Image Diffusions via Multiple Visual-Policy Guided Reinforcement Learning
Sun Yat-Sun University(中山大学);University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院);Microsoft(微软)
本文提出 Diffusion-MVP 框架,利用 LLM 增强提示、NFT 数据微调扩散模型,并以稀有度、美学和图文相关性等视觉奖励进行强化学习,从而生成更高市场价值的 NFT 图像。
2023-08-17 cs.CV
ConceptMaster: Multi-Concept Video Customization on Diffusion Transformer Models Without Test-Time Tuning
Sun Yat-sen University(中山大学);Kuaishou Technology(快手科技);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Tsinghua University(清华大学)
针对多概念视频定制中的身份混淆与高质量数据稀缺问题,提出无需测试时调优的 ConceptMaster,通过独立注入解耦嵌入并构建数据与评估流程,显著提升多身份视频生成质量。
2025-05-13 cs.CV
Fine-Grained Erasure in Text-to-Image Diffusion-based Foundation Models
IIT Jodhpur(焦特布尔印度理工学院);Harman International(哈曼国际);Weir AI(韦尔人工智能)
提出FADE方法,通过概念邻域和网格模块实现扩散模型中的邻接感知遗忘,精确擦除目标概念同时保留相关概念,在多个数据集上保留性能提升至少12%。
2025-03-25 cs.CV
D-Fusion: Direct Preference Optimization for Aligning Diffusion Models with Visually Consistent Samples
Zijing Hu(Hu Zijing);Fengda Zhang(Zhang Fengda);Kun Kuang(Kuang Kun)
本文提出D-Fusion方法,通过掩码引导自注意力融合构建视觉一致且保留去噪轨迹的样本,有效解决了扩散模型DPO对齐中的视觉不一致问题,显著提升了提示与图像的对齐效果。
2025-05-28 cs.CV
D-Feat Occlusions: Diffusion Features for Robustness to Partial Visual Occlusions in Object Recognition
Georgetown University(乔治城大学);Google(谷歌公司);Boston University(波士顿大学)
本文提出利用冻结扩散模型的扩散特征,通过图像修复式输入增强和中间扩散特征增强,提升Transformer和ConvNet在ImageNet及真实遮挡数据上的目标识别遮挡鲁棒性。
2025-04-11 cs.CV
Projected Gradient Unlearning for Text-to-Image Diffusion Models: Defending Against Concept Revival Attacks
Mohamed bin Zayed University of Artificial Intelligence(莫德尔·本·扎耶德人工智能大学);University of Waterloo(滑铁卢大学)
本文提出投影梯度遗忘方法,用于消除扩散模型中 undesirable 的概念,通过构建核心梯度空间并投影梯度更新,有效防止后续微调恢复已删除的概念。
2026-04-22 cs.CV
VisualErase: Dual-Branch Visual Trajectory Redirection for Robust Concept Erasure in Text-to-Image Diffusion Models
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));City University of Hong Kong(香港城市大学);Shenzhen Loop Area Institute(深圳河套学院);National University of Singapore(新加坡国立大学);Shandong University(山东大学)
VisualErase通过双分支视觉轨迹重定向,将概念相关的生成轨迹导向概念移除结果,在风格、名人、裸体擦除中显著降低攻击成功率,同时保持生成质量。
2026-10-06 cs.CV
Bridging Generative and Discriminative Models for Unified Visual Perception with Diffusion Priors
Xidian University(西安电子科技大学);Chongqing University of Posts and Telecommunications(重庆邮电大学)
本研究提出Vermouth统一视觉感知框架,结合预训练Stable Diffusion的生成先验与判别先验,无需复杂解码器即可在零样本草图检索、少样本分类等多粒度感知任务上取得优异效果。
2024-01-29 cs.CV
Rare Concept Generation via Counterfactual Inference in Diffusion Models
School of Computer Science and Information Engineering, Hefei University of Technology(合肥工业大学计算机与信息工程学院)
针对扩散模型训练的常识偏差致罕见概念图像生成不佳的问题,提出基于反事实推理的CI-Diff方法,阻断干扰,利用自然直接效应解耦属性,重新设计引导机制,经实验验证该方法优于现有模型。
2026-07-17 cs.CV
ACDiT: Interpolating Autoregressive Conditional Modeling and Diffusion Transformer
Tsinghua University(清华大学);ByteDance(字节跳动)
ACDiT通过结合自回归和扩散范式,实现连续视觉信息的灵活插值生成,优于现有自回归基线,在视觉生成任务中表现最佳。
2026-01-29 cs.CV
ConceptSplit: Decoupled Multi-Concept Personalization of Diffusion Models via Token-wise Adaptation and Attention Disentanglement
ConceptSplit提出令牌级值适配与潜在优化解耦注意力,解决扩散模型多概念个性化中的概念混合问题。
2025-10-06 cs.CV
Comprehensive Evaluation and Analysis for NSFW Concept Erasure in Text-to-Image Diffusion Models
East China Normal University(东华师范大学);Alibaba Group(阿里巴巴集团)
该研究针对文本到图像扩散模型易生成NSFW内容的问题,开发了全流程概念擦除工具包,首次系统评估相关方法,为其实际应用提供指导并推动内容安全研究。
2026-08-31 cs.CV
Last-Meter Precision Navigation for UAVs: A Diffusion-Refined Aerial Visual Servoing Approach
FST and ICI, University of Macau(澳门大学科技学院及资讯与通信技术研究所)
研究无人机最后一米精确导航,提出DreamNav框架,先粗估计旋转,再用预训练世界模型模拟未来视觉观测选轨迹,贡献PairUAV基准测试,实验表明DreamNav性能优。
2026-07-07 cs.CV
Latent Beam Diffusion Models for Generating Visual Sequences
NOVA LINCS, NOVA School of Science and Technology(NOVA LINCS、NOVA科学与技术学校)
本文提出BeamDiffusion,通过潜在空间束搜索与交叉注意力剪枝实现图像序列的条件生成,解决扩散模型在序列生成中的视觉一致性问题,实验证明其在连贯性、视觉连续性和文本对齐方面优于基线方法。
2025-09-20 cs.CV
ConceptPrism: Concept Disentanglement in Personalized Diffusion Models via Residual Token Optimization
KAIST(韩国科学技术院);Hanbat National University(韩巴大学)
本文提出ConceptPrism框架,通过残差标记优化实现个性化扩散模型中的概念解耦,提升生成图像的质量与准确性。
2026-03-30 cs.CV
GrOCE:Graph-Guided Online Concept Erasure for Text-to-Image Diffusion Models
School of Computer Science, Xiangtan University(湘潭大学计算机科学学院);School of Computer Science, Fudan University(复旦大学计算机科学学院)
GrOCE提出一种无需训练的框架,通过动态语义图和适应性聚类识别实现精准的在线概念擦除,提升文本到图像扩散模型的语义准确性和稳定性。
2026-04-13 cs.CV
ICE: Intrinsic Concept Extraction from a Single Image via Diffusion Models
Visual AI Lab, The University of Hong Kong(香港大学视觉人工智能实验室)
针对单张图像概念提取的模糊性问题,提出ICE框架,利用扩散模型自动定位并分解内在概念,实现无监督的高性能提取。
2025-04-21 cs.CV
RelationAdapter: Learning and Transferring Visual Relation with Diffusion Transformers
Zhe Jiang University(浙江大学);National University of Singapore(新加坡国立大学)
本文提出轻量级模块RelationAdapter和数据集Relation252K,使扩散Transformer能从源-目标图像对中学习并迁移视觉编辑关系,显著提升视觉提示驱动图像编辑的泛化能力与生成质量。
2025-06-03 cs.CV
MonoFormer: One Transformer for Both Diffusion and Autoregression
Baidu VIS(百度VIS);University of Technology Sydney(悉尼科技大学)
提出MonoFormer,通过共享一个Transformer同时处理自回归和扩散任务,在保持文本生成能力的同时实现与当前最先进方法相当的图像生成性能。
2024-09-24 cs.CV
Mix-of-Show: Decentralized Low-Rank Adaptation for Multi-Concept Customization of Diffusion Models
Show Lab;ARC Lab, Tencent PCG(腾讯PCG ARC实验室);National University of Singapore(新加坡国立大学)
Mix-of-Show提出去中心化低秩适应框架,通过ED-LoRA和梯度融合解决多概念定制中的概念冲突与身份丢失,实现高保真组合。
2023-11-10 cs.CV
Explaining generative diffusion models via visual analysis for interpretable decision-making process
Korea University(高丽大学)
本文提出可视化工具,从模型生成的视觉概念和关注区域角度解释扩散模型去噪过程,并通过实验验证其有效性,为可解释扩散机制研究提供新见解。
2024-02-16 cs.AI cs.CV
Receler: Reliable Concept Erasing of Text-to-Image Diffusion Models via Lightweight Erasers
National Taiwan University(台湾大学);NVIDIA(英伟达)
本文提出Receler,一种基于轻量级擦除器的可靠概念擦除方法,通过概念局部正则化和对抗性提示学习,在保证鲁棒性和局部性的同时,有效移除目标概念生成能力,实验验证其优越性。
2024-07-18 cs.CV cs.LG
ConceptExpress: Harnessing Diffusion Models for Single-image Unsupervised Concept Extraction
The University of Hong Kong(香港大学)
针对单图像多概念提取依赖人工标注的问题,提出无监督概念提取(UCE)任务与ConceptExpress框架,借助扩散自注意力定位解耦概念、优化判别性标记,仅用预训练扩散模型即可完成提取,实验验证了其有效性。
2024-07-09 cs.AI cs.CV
When Are Concepts Erased From Diffusion Models?
Northeastern University(东北大学);New York University(纽约大学)
本文研究扩散模型中概念擦除的彻底性,提出两种擦除机制概念模型,并设计多种独立探测技术以评估概念是否被真正移除,强调需要超越对抗文本输入进行全面鲁棒性评估。
2025-11-07 cs.CV cs.LG
Concept Pinpoint Eraser for Text-to-image Diffusion Models via Residual Attention Gate
Department of ECE(电子工程系);IPAI;INMC;Seoul National University(首尔国立大学)
针对文本到图像扩散模型的概念擦除问题,提出CPE框架,通过引入非线性残差注意力门控和注意力锚定损失选择性擦除目标概念并防止遗忘,结合对抗训练增强鲁棒性,有效优于现有方法。
2025-06-28 cs.CV cs.LG
Unlearning Concepts from Text-to-Video Diffusion Models
针对文本到视频扩散模型难以去除受版权或不安全概念的问题,本文提出迁移文本到图像模型文本编码器的少样本概念遗忘能力,以低成本在约100秒内实现有效遗忘。
2025-08-28 cs.CV cs.LG
How to Blend Concepts in Diffusion Models
University of Milano-Bicocca(米兰比可卡大学)
本文旨在理解潜在空间操作如何影响底层概念,通过扩散模型探索概念混合任务,尝试多种基于文本的组合策略并进行视觉评估,发现通过空间操作混合概念可行但最佳策略取决于上下文。
2024-09-22 cs.AI cs.CV
Concept-TRAK: Understanding how diffusion models learn concepts through concept-level attribution
University of Pennsylvania(宾夕法尼亚大学);SONY AI(索尼人工智能);Sony Group Corporation(索尼集团)
Concept-TRAK通过概念层面归因方法,提升扩散模型对特定概念的解释能力,适用于图像生成中的版权与透明性问题。
2026-03-02 cs.CV cs.LG
Evaluating a Synthetic Image Dataset Generated with Stable Diffusion
University of Applied Sciences Upper Austria(上奥地利应用科学大学)
我们使用Wordnet分类法及其包含的概念定义,使用“稳定扩散”图像生成模型生成合成图像。该合成图像数据库可用作机器学习应用中数据增强的训练数据,并用于研究稳定扩散模型的能力。分析表明,稳定扩散可以为大量概念生成正确的图像,但也可以为各种不同的表示生成正确的图像。结果显示差异取决于所考虑的测试概念和非常具体的概念的问题。这些评估是使用用于图像分类的视觉Transformer模型进行的。
2022-11-04 cs.CV cs.LG
CASL: Concept-Aligned Sparse Latents for Interpreting Diffusion Models
University of Virginia(弗吉尼亚大学)
CASL通过监督框架将扩散模型的稀疏潜在维度与语义概念对齐,提升生成图像的解释性和编辑精度。
2026-01-21 cs.CV cs.LG
Deep Dreams Are Made of This: Visualizing Monosemantic Features in Diffusion Models
本文提出通过优化的潜在可视化(LVO)技术,扩展了用于卷积神经网络的特征可视化方法至潜在扩散模型。通过稀疏自编码器(SAEs)将多义层表示分解为单义特征,展示了在Stable Diffusion 1.5模型上可视化可识别概念的效果,相比基线方法更清晰且具有相关性。
2026-05-06 cs.CV cs.LG
Separable Multi-Concept Erasure from Diffusion Models
提出SepME方法,通过生成概念无关表示和权重解耦,实现扩散模型中多概念的可分离擦除与恢复,保持生成性能。
2024-02-03 cs.CV cs.LG
Six-CD: Benchmarking Concept Removals for Benign Text-to-image Diffusion Models
Michigan State University(密歇根州立大学);Sony AI(索尼人工智能)
针对文本到图像扩散模型被滥用的风险,提出Six-CD数据集和新评估指标,基准测试概念移除方法,解决现有研究在数据集、提示有效性和评估完整性上的挑战,为该领域提供有价值见解。
2025-08-20 cs.CR cs.CV
MADI: Masking-Augmented Diffusion with Inference-Time Scaling for Visual Editing
Qualcomm AI Research(高通人工智能研究)
本文提出MADI框架,通过掩码增强高斯扩散训练策略和基于暂停令牌的推理时扩展机制,显著提升扩散模型在视觉编辑中的可编辑性、组合性与可控性。
2025-07-16 cs.CV cs.LG
Localized Concept Erasure for Text-to-Image Diffusion Models Using Training-Free Gated Low-Rank Adaptation
Department of ECE(电子工程系);IPAI;INMC;Seoul National University(首尔国立大学)
提出局部概念擦除框架及免训练门控低秩适配方法GLoCE,通过轻量模块选择性移除图像中目标概念区域,在保持其余区域保真度的同时提升擦除有效性、特异性和鲁棒性。
2025-07-10 cs.AI cs.CV