HeadRouter：一种通过自适应路由注意力头实现 MM-DiTs 免训练图像编辑的框架
HeadRouter: A Training-free Image Editing Framework for MM-DiTs by Adaptively Routing Attention Heads
AI总结：
针对 MM-DiTs 文本引导图像编辑中的语义错位问题，本文提出免训练框架 HeadRouter，通过自适应路由注意力头并结合双令牌细化模块，提升编辑保真度与图像质量。
摘要：
扩散 Transformer（DiTs）在图像生成任务中展现出强大的能力。然而，面向多模态 DiTs（MM-DiTs）的精确文本引导图像编辑仍面临显著挑战。与可利用自注意力/交叉注意力图进行语义编辑的基于 UNet 的结构不同，MM-DiTs 本质上缺乏对显式且一致的文本引导的支持，导致编辑结果与文本之间出现语义错位。在本研究中，我们揭示了 MM-DiTs 中不同注意力头对不同图像语义的敏感性，并提出 HeadRouter，这是一种免训练的图像编辑框架，通过将文本引导自适应路由到 MM-DiTs 中的不同注意力头来编辑源图像。此外，我们提出了一个双令牌细化模块，用于细化文本/图像令牌表示，以实现精确的语义引导和准确的区域表达。在多个基准上的实验结果表明，HeadRouter 在编辑保真度和图像质量方面具有良好性能。
英文摘要：
Diffusion Transformers (DiTs) have exhibited robust capabilities in image generation tasks. However, accurate text-guided image editing for multimodal DiTs (MM-DiTs) still poses a significant challenge. Unlike UNet-based structures that could utilize self/cross-attention maps for semantic editing, MM-DiTs inherently lack support for explicit and consistent incorporated text guidance, resulting in semantic misalignment between the edited results and texts. In this study, we disclose the sensitivity of different attention heads to different image semantics within MM-DiTs and introduce HeadRouter, a training-free image editing framework that edits the source image by adaptively routing the text guidance to different attention heads in MM-DiTs. Furthermore, we present a dual-token refinement module to refine text/image token representations for precise semantic guidance and accurate region expression. Experimental results on multiple benchmarks demonstrate HeadRouter's performance in terms of editing fidelity and image quality.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
