面向受约束文本到图像合成的免训练色彩-风格解耦方法
Training-free Color-Style Disentanglement for Constrained Text-to-Image Synthesis
AI总结：
针对文本到图像扩散模型难以独立控制参考图色彩与风格的问题，提出一种仅在测试时运行、无需训练的潜码协方差匹配与 LAB 空间自注意力变换方法，可分别或融合来自同源/异源的色彩和风格。
摘要：
我们研究如何以解耦的方式，独立利用用户提供参考图像中的色彩与风格属性来控制文本到图像扩散模型的输出。本文提出首个无需训练、仅在测试时执行的方法，用于从参考图像中解耦色彩与风格属性，并将其作为文本到图像模型的条件。为实现这一目标，我们提出两项关键创新。第一项贡献是在推理时通过特征变换来转换潜码，使当前生成结果的协方差矩阵遵循参考图像的协方差矩阵，从而实现有意义的色彩迁移。其次，我们观察到 LAB 图像空间中的色彩与风格之间存在天然的解耦关系，并利用这一点，依据参考图像 L 通道计算得到的自注意力特征图，对正在生成图像的自注意力特征图进行变换。这两种操作都完全发生在测试时，既可以独立执行，也可以合并使用。由此得到一种灵活的方法：色彩和风格信息可以来自同一张参考图像，也可以来自两个不同来源；在任一情况下，新的生成都能够无缝融合二者。
英文摘要：
We consider the problem of independently, in a disentangled fashion, controlling the outputs of text-to-image diffusion models with color and style attributes of a user-supplied reference image. We present the first training-free, test-time-only method to disentangle and condition text-to-image models on color and style attributes from reference image. To realize this, we propose two key innovations. Our first contribution is to transform the latent codes at inference time using feature transformations that make the covariance matrix of current generation follow that of the reference image, helping meaningfully transfer color. Next, we observe that there exists a natural disentanglement between color and style in the LAB image space, which we exploit to transform the self-attention feature maps of the image being generated with respect to those of the reference computed from its L channel. Both these operations happen purely at test time and can be done independently or merged. This results in a flexible method where color and style information can come from the same reference image or two different sources, and a new generation can seamlessly fuse them in either scenario.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
