arXivDaily arXiv每日学术速递 周一至周五更新
​通知:联邦节假日调休:哥伦布日 / 原住民日(Columbus Day / Indigenous Peoples' Day),今日(13日)无更新。
arXiv 2504.15723cs.CV

基于扩散模型阶段式潜变量注入的结构保持零样本图像编辑

Structure-Preserving Zero-Shot Image Editing via Stage-Wise Latent Injection in Diffusion Models

Department of Image(图像系);Department of Artificial Intelligence(人工智能系)

Dasol Jeong, Donggoo Kang, Jiwon Park, Hyebean Lee, Joonki Paik

AI总结:

本研究提出一种基于扩散模型的零样本图像编辑框架,通过阶段式潜变量注入策略与扩散反转等技术,在保留源图结构的同时实现精准细粒度编辑,无需微调即可统一文本与参考引导编辑,在多类编辑任务上达到SOTA性能。

摘要:

我们提出了一种基于扩散的零样本图像编辑框架,无需微调即可统一文本引导和参考引导两种编辑方式。该方法利用扩散反转(diffusion inversion)和时间步特定的空文本嵌入(null-text embeddings)来保留源图像的结构完整性。通过引入阶段式潜变量注入策略——早期步骤进行形状注入、后期步骤进行属性注入,我们在保持全局一致性的同时实现了精准的细粒度修改。与参考潜变量的交叉注意力机制可促进源图像与参考图像之间的语义对齐。在表情迁移、纹理转换和风格融合三类任务上的大量实验表明,该方法达到了SOTA(state-of-the-art)性能,验证了其在多样图像编辑场景下的可扩展性与适应性。

英文摘要:

We propose a diffusion-based framework for zero-shot image editing that unifies text-guided and reference-guided approaches without requiring fine-tuning. Our method leverages diffusion inversion and timestep-specific null-text embeddings to preserve the structural integrity of the source image. By introducing a stage-wise latent injection strategy-shape injection in early steps and attribute injection in later steps-we enable precise, fine-grained modifications while maintaining global consistency. Cross-attention with reference latents facilitates semantic alignment between the source and reference. Extensive experiments across expression transfer, texture transformation, and style infusion demonstrate state-of-the-art performance, confirming the method's scalability and adaptability to diverse image editing scenarios.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑