时钟扩散：通过模型步蒸馏实现高效生成
Clockwork Diffusion: Efficient Generation With Model-Step Distillation
AI总结：
本文提出 Clockwork Diffusion，通过周期性重用前序去噪步骤的计算来近似低分辨率特征图，在文本到图像生成和图像编辑中显著降低计算开销，同时保持或提升感知质量。
摘要：
本工作旨在提高文本到图像扩散模型的效率。虽然扩散模型在每个生成步骤中都使用计算开销高昂的基于 UNet 的去噪操作，但我们发现并非所有操作对最终输出质量都同等重要。特别是，我们观察到在高分辨率特征图上运行的 UNet 层对微小扰动相对敏感。相比之下，低分辨率特征图影响最终图像的语义布局，并且通常可以在输出没有明显变化的情况下受到扰动。基于这一观察，我们提出了 Clockwork Diffusion，一种周期性重用前序去噪步骤中的计算来近似一个或多个后续步骤中低分辨率特征图的方法。对于多个基线，以及文本到图像生成和图像编辑，我们证明 Clockwork 在显著降低计算复杂度的同时，带来了可比或更好的感知分数。例如，对于使用 8 个 DPM++ 步骤的 Stable Diffusion v1.5，我们节省了 32% 的 FLOPs，而 FID 和 CLIP 变化可忽略不计。
英文摘要：
This work aims to improve the efficiency of text-to-image diffusion models. While diffusion models use computationally expensive UNet-based denoising operations in every generation step, we identify that not all operations are equally relevant for the final output quality. In particular, we observe that UNet layers operating on high-res feature maps are relatively sensitive to small perturbations. In contrast, low-res feature maps influence the semantic layout of the final image and can often be perturbed with no noticeable change in the output. Based on this observation, we propose Clockwork Diffusion, a method that periodically reuses computation from preceding denoising steps to approximate low-res feature maps at one or more subsequent steps. For multiple baselines, and for both text-to-image generation and image editing, we demonstrate that Clockwork leads to comparable or improved perceptual scores with drastically reduced computational complexity. As an example, for Stable Diffusion v1.5 with 8 DPM++ steps we save 32% of FLOPs with negligible FID and CLIP change.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
