arXivDaily arXiv每日学术速递 周一至周五更新
​通知:联邦节假日调休:哥伦布日 / 原住民日(Columbus Day / Indigenous Peoples' Day),今日(13日)无更新。
arXiv 2402.13929cs.CVcs.AIcs.LG

SDXL-Lightning:渐进式对抗扩散蒸馏

SDXL-Lightning: Progressive Adversarial Diffusion Distillation

ByteDance Inc.(字节跳动公司)

Shanchuan Lin, Anran Wang, Xiao Yang

AI总结:

本文提出结合渐进式与对抗蒸馏的SDXL-Lightning,实现基于SDXL的单步/少步1024px文生图新SOTA,并开源LoRA与完整UNet权重。

摘要:

我们提出一种扩散蒸馏方法,在基于SDXL的单步/少步1024px文本到图像生成中取得了新的最先进水平。该方法结合渐进式蒸馏与对抗蒸馏,以在质量和模式覆盖之间取得平衡。本文讨论了理论分析、判别器设计、模型表述及训练技术。我们以LoRA和完整UNet权重形式开源蒸馏后的SDXL-Lightning模型。

英文摘要:

We propose a diffusion distillation method that achieves new state-of-the-art in one-step/few-step 1024px text-to-image generation based on SDXL. Our method combines progressive and adversarial distillation to achieve a balance between quality and mode coverage. In this paper, we discuss the theoretical analysis, discriminator design, model formulation, and training techniques. We open-source our distilled SDXL-Lightning models both as LoRA and full UNet weights.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑