arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2407.20232cs.CVcs.AIcs.LG
收藏

Specify and Edit:克服基于文本的图像编辑中的歧义

Specify and Edit: Overcoming Ambiguity in Text-Based Image Editing

LTCI, Télécom-Paris, Institut Polytechnique de Paris(LTCI、巴黎电信学院、巴黎综合理工学院);University of Oxford(牛津大学)

Ekaterina Iakovleva, Fabio Pizzati, Philip Torr, Stéphane Lathuilière

AI总结:

针对文本图像编辑中用户指令歧义导致性能下降的问题,提出零样本推理流水线SANE,利用LLM分解指令并结合新型去噪引导策略,提升编辑性能、可解释性与多样性。

摘要:

当用户的输入指令存在歧义时,基于文本的编辑扩散模型表现出有限的性能。为了解决这个问题,我们提出了Specify ANd Edit(SANE),一种用于基于扩散的编辑系统的零样本推理流水线。我们使用大型语言模型(LLM)将输入指令分解为具体指令,即应用于输入图像以满足用户请求的定义明确的干预。得益于专门为该任务设计的新型去噪引导策略,我们受益于LLM推导的指令以及原始指令。我们在三个基线和两个数据集上的实验证明了SANE在所有设置中的优势。此外,我们的流水线提高了编辑模型的可解释性,并提升了输出多样性。我们还证明我们的方法可以应用于任何编辑,无论是否存在歧义。我们的代码已在https://github.com/fabvio/SANE公开。

英文摘要:

Text-based editing diffusion models exhibit limited performance when the user's input instruction is ambiguous. To solve this problem, we propose $\textit{Specify ANd Edit}$ (SANE), a zero-shot inference pipeline for diffusion-based editing systems. We use a large language model (LLM) to decompose the input instruction into specific instructions, i.e. well-defined interventions to apply to the input image to satisfy the user's request. We benefit from the LLM-derived instructions along the original one, thanks to a novel denoising guidance strategy specifically designed for the task. Our experiments with three baselines and on two datasets demonstrate the benefits of SANE in all setups. Moreover, our pipeline improves the interpretability of editing models, and boosts the output diversity. We also demonstrate that our approach can be applied to any edit, whether ambiguous or not. Our code is public at https://github.com/fabvio/SANE.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑