SinDDM：单图像去噪扩散模型
SinDDM: A Single Image Denoising Diffusion Model
AI总结：
本文提出 SinDDM 框架，利用多尺度扩散过程和轻量级全卷积去噪器在单张图像上训练 DDM，支持任意尺寸生成，并可通过 CLIP 实现文本引导及多种图像任务。
摘要：
去噪扩散模型（DDM）在图像生成、编辑和复原方面带来了惊人的性能飞跃。然而，现有的 DDM 使用非常大的数据集进行训练。在此，我们介绍一个在单张图像上训练 DDM 的框架。我们的方法命名为 SinDDM，通过使用多尺度扩散过程来学习训练图像的内部统计信息。为了驱动反向扩散过程，我们使用全卷积轻量级去噪器，该去噪器同时以噪声水平和尺度为条件。这种架构允许以由粗到细的方式生成任意维度的样本。正如我们所展示的，SinDDM 生成多样化的高质量样本，并适用于广泛的任务，包括风格迁移和图像协调。此外，它可以很容易地由外部监督引导。特别地，我们展示了使用预训练 CLIP 模型从单张图像进行文本引导生成。
英文摘要：
Denoising diffusion models (DDMs) have led to staggering performance leaps in image generation, editing and restoration. However, existing DDMs use very large datasets for training. Here, we introduce a framework for training a DDM on a single image. Our method, which we coin SinDDM, learns the internal statistics of the training image by using a multi-scale diffusion process. To drive the reverse diffusion process, we use a fully-convolutional light-weight denoiser, which is conditioned on both the noise level and the scale. This architecture allows generating samples of arbitrary dimensions, in a coarse-to-fine manner. As we illustrate, SinDDM generates diverse high-quality samples, and is applicable in a wide array of tasks, including style transfer and harmonization. Furthermore, it can be easily guided by external supervision. Particularly, we demonstrate text-guided generation from a single image using a pre-trained CLIP model.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
