Magic Insert：风格感知的拖放式图像插入
Magic Insert: Style-Aware Drag-and-Drop
AI总结：
该研究形式化风格感知拖放问题，结合 LoRA 个性化、CLIP 风格注入与 Bootstrapped Domain Adaption，实现跨风格图像中物理合理的主体插入，并发布 SubjectPlop 数据集。
摘要：
我们提出 Magic Insert，这是一种将用户提供图像中的主体拖放到具有不同风格的目标图像中的方法，其插入方式在物理上合理，同时与目标图像的风格相匹配。本工作形式化定义了风格感知拖放问题，并通过解决两个子问题来提出应对方法：风格感知个性化，以及在风格化图像中进行真实的物体插入。对于风格感知个性化，我们的方法首先使用 LoRA 和学习到的文本 token，在主体图像上微调一个预训练的文本到图像扩散模型，然后为其注入目标风格的 CLIP 表示。对于物体插入，我们使用 Bootstrapped Domain Adaption，使面向特定领域的照片级真实物体插入模型适应多样艺术风格的领域。总体而言，该方法显著优于 inpainting 等传统方法。最后，我们提出一个名为 SubjectPlop 的数据集，以促进该领域的评估和未来进展。项目页面：https://magicinsert.github.io/
英文摘要：
We present Magic Insert, a method for dragging-and-dropping subjects from a user-provided image into a target image of a different style in a physically plausible manner while matching the style of the target image. This work formalizes the problem of style-aware drag-and-drop and presents a method for tackling it by addressing two sub-problems: style-aware personalization and realistic object insertion in stylized images. For style-aware personalization, our method first fine-tunes a pretrained text-to-image diffusion model using LoRA and learned text tokens on the subject image, and then infuses it with a CLIP representation of the target style. For object insertion, we use Bootstrapped Domain Adaption to adapt a domain-specific photorealistic object insertion model to the domain of diverse artistic styles. Overall, the method significantly outperforms traditional approaches such as inpainting. Finally, we present a dataset, SubjectPlop, to facilitate evaluation and future progress in this area. Project page: https://magicinsert.github.io/
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
