Overpainting：局部上下文感知的扩散模型图像编辑
Overpainting: Localized Context-aware Diffusion Image Editing
浏览论文内容
中文总结 AI 辅助
本文提出“overpainting”图像编辑操作，通过三元图控制编辑区域并感知原内容，结合联合注意力与低秩适应改编扩散模型，并设计自动化数据生成流程，在多种编辑任务上验证了其多功能性。
中文摘要 AI 辅助
我们提出“overpainting”（局部重绘），一种图像编辑操作，它既能控制编辑的位置，又能感知该位置原有的内容。被重绘的区域由三元图（trimap）给出，其中白色标注的像素必须被编辑，灰色标注的像素可以被编辑，而黑色标注的像素不得被编辑。这根据用户的意图实现了精确和宽松两种控制。我们通过结合联合注意力（joint attention）和跨输入图像的低秩适应（low-rank adaptation），并采用注意力丢弃（attention-dropout）来平衡噪声、源图像和掩码图像之间的信息流，从而改编一个预训练的图像编辑扩散模型来实现重绘。我们提出了一种新颖的、自动化的训练数据生成流程，该流程（1）利用现有的基于语言的编辑模型生成一组候选图像对，（2）仔细筛选这些图像对，以及（3）从每个可用的图像对中提取三元图。我们在广泛的编辑任务上展示了我们重绘模型的多功能性。
英文摘要
We present "overpainting", an image editing operation which offers both control over the location of the edit and awareness of the previous content in that location. The overpainted area is given by a trimap, where white-annotated pixels must be edited, gray-annotated pixels may be edited, and black-annotated pixels must not be edited. This enables both precise and loose control, depending on user intent. We implement overpainting by adapting a pretrained image editing diffusion model using a combination of joint attention and low-rank adaption across input images with attention-dropout to balance the information flow between noise, source and mask images. We present a novel, automated, training data generation pipeline that (1) generates a set of candidate image pairs leveraging existing language-based editing models, (2) carefully curates those pairs, and (3) extracts a trimap from each usable pair. We demonstrate the versatility of our overpainting model on a wide range of editing tasks.
发表机构
- College of William & Mary（威廉与玛丽学院）
- Adobe Research（Adobe 研究院）
机构由 AI 辅助整理，请以论文原文为准。
