arXiv 2503.084552025-03-11cs.CVcs.AIcs.LGeess.IVstat.ML

使用潜在 CLIP 控制潜在扩散

Controlling Latent Diffusion Using Latent CLIP

Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；Northeastern University（东北大学）；Leonardo AI（莱昂纳多人工智能公司）

Jason Becker, Chris Wendler, Peter Baylies, Robert West, Christian Wressnegger

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文提出直接在潜在空间运行的 Latent-CLIP 模型，在 27 亿对潜在图像-文本上训练，实现与像素空间 CLIP 相当的分类和奖励优化性能，并将流程成本降低 21%，同时无需解码即可有效引导生成远离有害内容。

摘要：

潜在扩散模型（LDMs）并非在图像域中执行以文本为条件的去噪，而是在变分自编码器（VAE）的潜在空间中运行，从而以更低的计算成本实现更高效的处理。然而，尽管扩散过程已迁移到潜在空间，许多图像处理任务中使用的对比语言-图像预训练（CLIP）模型仍然在像素空间中运行。这样做需要在处理潜在图像之前进行昂贵的 VAE 解码。在本文中，我们提出了 Latent-CLIP，这是一种直接在潜在空间中运行的 CLIP 模型。我们在 27 亿对潜在图像和描述性文本上训练 Latent-CLIP，并表明它在 ImageNet 基准及其 LDM 生成版本上均能达到同等规模 CLIP 模型的零样本分类性能，证明了其在评估真实内容和生成内容方面的有效性。此外，我们为基于奖励的噪声优化（ReNO）构建了 Latent-CLIP 奖励，并表明它们在 GenEval 和 T2I-CompBench 上达到了与 CLIP 对应方法相当的性能，同时将整个流程的成本降低了 21%。最后，我们使用 Latent-CLIP 引导生成远离有害内容，在不适当图像提示（I2P）基准和自定义评估上取得了强劲性能，且无需执行解码中间图像这一昂贵步骤。

英文摘要：

Instead of performing text-conditioned denoising in the image domain, latent diffusion models (LDMs) operate in latent space of a variational autoencoder (VAE), enabling more efficient processing at reduced computational costs. However, while the diffusion process has moved to the latent space, the contrastive language-image pre-training (CLIP) models, as used in many image processing tasks, still operate in pixel space. Doing so requires costly VAE-decoding of latent images before they can be processed. In this paper, we introduce Latent-CLIP, a CLIP model that operates directly in the latent space. We train Latent-CLIP on 2.7B pairs of latent images and descriptive texts, and show that it matches zero-shot classification performance of similarly sized CLIP models on both the ImageNet benchmark and a LDM-generated version of it, demonstrating its effectiveness in assessing both real and generated content. Furthermore, we construct Latent-CLIP rewards for reward-based noise optimization (ReNO) and show that they match the performance of their CLIP counterparts on GenEval and T2I-CompBench while cutting the cost of the total pipeline by 21%. Finally, we use Latent-CLIP to guide generation away from harmful content, achieving strong performance on the inappropriate image prompts (I2P) benchmark and a custom evaluation, without ever requiring the costly step of decoding intermediate images.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。