DM-Align：利用自然语言指令的力量对图像进行修改
DM-Align: Leveraging the Power of Natural Language Instructions to Make Changes to Images
AI总结：
提出DM-Align模型，通过词对齐显式推理图像需改变或保留的部分，实现透明可解释的基于文本的语义图像编辑，在图像背景保留和长文本指令处理上优于基线。
摘要：
基于文本的语义图像编辑假设使用自然语言指令对图像进行操作。尽管最近的工作能够生成具有创意且高质量的图像，但该问题仍主要被视为一个黑盒，容易生成意外的输出。因此，我们提出了一种新颖的模型，通过明确推理图像中需要改变或保留的部分，来增强图像编辑器的基于文本的控制能力。它依赖于原始源图像描述与反映所需更新的指令之间的词对齐，以及输入图像。提出的 Diffusion Masking with word Alignments (DM-Align) 允许以透明和可解释的方式编辑图像。它在 Bison 数据集的一个子集和一个自定义为 Dream 的数据集上进行了评估。与最先进的基线相比，定量和定性结果表明，DM-Align 在基于语言指令的图像编辑方面具有卓越的性能，能很好地保留图像背景，并能更好地处理长文本指令。
英文摘要：
Text-based semantic image editing assumes the manipulation of an image using a natural language instruction. Although recent works are capable of generating creative and qualitative images, the problem is still mostly approached as a black box sensitive to generating unexpected outputs. Therefore, we propose a novel model to enhance the text-based control of an image editor by explicitly reasoning about which parts of the image to alter or preserve. It relies on word alignments between a description of the original source image and the instruction that reflects the needed updates, and the input image. The proposed Diffusion Masking with word Alignments (DM-Align) allows the editing of an image in a transparent and explainable way. It is evaluated on a subset of the Bison dataset and a self-defined dataset dubbed Dream. When comparing to state-of-the-art baselines, quantitative and qualitative results show that DM-Align has superior performance in image editing conditioned on language instructions, well preserves the background of the image and can better cope with long text instructions.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
