arXivDaily arXiv每日学术速递 周一至周五更新
​通知:联邦节假日调休:哥伦布日 / 原住民日(Columbus Day / Indigenous Peoples' Day),今日(13日)无更新。
arXiv 2311.11469cs.CV

DiffGANPaint:使用去噪扩散GAN的快速图像修复

DiffGANPaint: Fast Inpainting Using Denoising Diffusion GANs

Iran University of Science and Technology(伊朗科技大学);McGill University(麦吉尔大学)

Moein Heidari, Alireza Morsali, Tohid Abedini, Samin Heydarian

AI总结:

本文提出基于去噪扩散概率模型(DDPM)的DiffGANPaint图像修复方法,利用GAN生成器建模反向扩散过程以降低采样成本,实现快速填充缺失像素,实验表明其性能优于或与多数当代工作持平。

摘要:

自由形式图像修复是根据任意二值掩码重建图像指定部分的任务。在此任务中,通常希望将模型能力泛化到未见过的掩码类型,而不是学习特定的掩码分布。借助扩散模型的进展,本文提出了一种基于去噪扩散概率模型(DDPM)的模型,它能够快速填充缺失像素,因为它使用生成对抗网络(GAN)的生成器来建模反向扩散过程,从而降低扩散模型的采样成本。在通用图像修复数据集上的实验验证了我们的方法表现优于或与大多数当代工作持平。

英文摘要:

Free-form image inpainting is the task of reconstructing parts of an image specified by an arbitrary binary mask. In this task, it is typically desired to generalize model capabilities to unseen mask types, rather than learning certain mask distributions. Capitalizing on the advances in diffusion models, in this paper, we propose a Denoising Diffusion Probabilistic Model (DDPM) based model capable of filling missing pixels fast as it models the backward diffusion process using the generator of a generative adversarial network (GAN) network to reduce sampling cost in diffusion models. Experiments on general-purpose image inpainting datasets verify that our approach performs superior or on par with most contemporary works.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑