通过扩散模型实现边缘感知图像处理：一种新的结构保持损失
Edge-Aware Image Manipulation via Diffusion Models with a Novel Structure-Preservation Loss
AI总结：
本文提出了一种新的结构保持损失，用于提升潜在扩散模型在图像编辑中的边缘结构保真度，通过局部线性模型量化结构差异并结合后处理步骤和掩码策略，实现了更高质量的图像编辑效果。
摘要：
最近的图像编辑进展利用潜在扩散模型（LDMs）进行多样化的、基于文本提示的编辑。然而，保持像素级边缘结构——这对于如逼真风格迁移或图像色调调整等任务至关重要——仍然是潜在扩散编辑的挑战。为克服这一限制，我们提出了一种新的结构保持损失（SPL），利用局部线性模型来量化输入和编辑图像之间的结构差异。我们的无训练方法将SPL直接整合到扩散模型的生成过程中，以确保结构保真度。这一核心机制由后处理步骤来缓解LDM解码失真，一种用于精确编辑定位的掩码策略，以及一种颜色保持损失来保留未编辑区域的色调。实验证实SPL提高了结构保真度，实现了潜在扩散图像编辑的最新性能。我们的代码将在https://github.com/gongms00/SPL上公开发布。
英文摘要：
Recent advances in image editing leverage latent diffusion models (LDMs) for versatile, text-prompt-driven edits across diverse tasks. Yet, maintaining pixel-level edge structures-crucial for tasks such as photorealistic style transfer or image tone adjustment-remains as a challenge for latent-diffusion-based editing. To overcome this limitation, we propose a novel Structure Preservation Loss (SPL) that leverages local linear models to quantify structural differences between input and edited images. Our training-free approach integrates SPL directly into the diffusion model's generative process to ensure structural fidelity. This core mechanism is complemented by a post-processing step to mitigate LDM decoding distortions, a masking strategy for precise edit localization, and a color preservation loss to preserve hues in unedited areas. Experiments confirm SPL enhances structural fidelity, delivering state-of-the-art performance in latent-diffusion-based image editing. Our code will be publicly released at https://github.com/gongms00/SPL.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
