条条大路通罗马？探究生成式图像模型潜在空间之间的表征相似性
All Roads Lead to Rome? Exploring Representational Similarities Between Latent Spaces of Generative Image Models
AI总结：
本文通过训练线性映射拼接四种生成模型的潜在空间，发现性能良好的模型间线性映射能保留视觉信息，性别属性表征最相似，且NF的潜在表征在训练早期收敛。
摘要：
不同的生成式图像模型是否在暗中学习相似的基础表征？我们通过测量四种不同模型（VAE、GAN、归一化流（NFs）和扩散模型（DMs））的潜在空间相似性来研究这一问题。我们的方法包括在冻结的潜在空间之间训练线性映射，以“拼接”任意编码器-解码器对，并在由此产生的“拼接”模型上测量基于输出和基于探针的指标。我们的主要发现是：性能良好的模型的潜在空间之间的线性映射能保留大部分视觉信息，即使潜在尺寸不同；对于CelebA模型，性别是最相似的可探针属性。最后，我们在一个NF上表明，潜在空间表征在训练早期就趋于收敛。
英文摘要：
Do different generative image models secretly learn similar underlying representations? We investigate this by measuring the latent space similarity of four different models: VAEs, GANs, Normalizing Flows (NFs), and Diffusion Models (DMs). Our methodology involves training linear maps between frozen latent spaces to "stitch" arbitrary pairs of encoders and decoders and measuring output-based and probe-based metrics on the resulting "stitched'' models. Our main findings are that linear maps between latent spaces of performant models preserve most visual information even when latent sizes differ; for CelebA models, gender is the most similarly represented probe-able attribute. Finally we show on an NF that latent space representations converge early in training.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
