arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2402.13404cs.CV
收藏

使用交叉注意力控制的 ControlNet 实现带局部描述的布局到图像生成

Layout-to-Image Generation with Localized Descriptions using ControlNet with Cross-Attention Control

Ruhr University Bochum（波鸿鲁尔大学）

Denis Lukovnikov, Asja Fischer

阅读 PDF
arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文针对 ControlNet 无法利用局部文本描述的问题，提出一种无需训练的交叉注意力操控方法，在保持图像质量的同时提升布局到图像生成的控制精度。

摘要：

尽管文本到图像扩散模型能够根据文本描述生成高质量图像，但它们通常缺乏对生成图像视觉构成的细粒度控制。最近的一些工作通过训练模型，使生成过程以描述所需图像布局的额外输入为条件来解决这一问题。在这类方法中，最受欢迎的当属 ControlNet，它能够利用各种类型的条件输入（例如分割图）对生成图像实现高度控制。然而，它仍然无法考虑局部文本描述，即提示中哪个短语描述哪个图像区域。在这项工作中，我们展示了 ControlNet 在布局到图像任务中的局限性，并通过一种无需训练的方法使其能够使用局部描述，该方法在生成过程中修改交叉注意力分数。我们在 ControlNet 的背景下采用并研究了几种现有的交叉注意力控制方法，并识别出在特定条件下导致失败（概念泄漏）或图像质量下降的缺陷。为了解决这些缺陷，我们开发了一种新颖的交叉注意力操控方法，以在改善控制的同时保持图像质量。我们展示了针对具有挑战性的案例的定性和定量实验研究，证明了所研究的通用方法的有效性，并展示了所提出的交叉注意力控制方法带来的改进。

英文摘要：

While text-to-image diffusion models can generate highquality images from textual descriptions, they generally lack fine-grained control over the visual composition of the generated images. Some recent works tackle this problem by training the model to condition the generation process on additional input describing the desired image layout. Arguably the most popular among such methods, ControlNet, enables a high degree of control over the generated image using various types of conditioning inputs (e.g. segmentation maps). However, it still lacks the ability to take into account localized textual descriptions that indicate which image region is described by which phrase in the prompt. In this work, we show the limitations of ControlNet for the layout-to-image task and enable it to use localized descriptions using a training-free approach that modifies the crossattention scores during generation. We adapt and investigate several existing cross-attention control methods in the context of ControlNet and identify shortcomings that cause failure (concept bleeding) or image degradation under specific conditions. To address these shortcomings, we develop a novel cross-attention manipulation method in order to maintain image quality while improving control. Qualitative and quantitative experimental studies focusing on challenging cases are presented, demonstrating the effectiveness of the investigated general approach, and showing the improvements obtained by the proposed cross-attention control method.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

↑