良性自编码器
Benign Autoencoders
AI总结：
本研究形式化了寻找最优编解码器对的数学问题，提出“良性自编码器（BAE）”，证明其投影流形维度为生成问题最优可压缩维度，揭示其与多种生成模型的关联，并验证其可通过压缩恶性维度提升分布偏移下判别器性能、获得更稳定梯度。
摘要：
生成式人工智能（AI）的最新进展依赖高效的数据表示，这类表示通常采用编码器-解码器架构。我们将寻找最优编码器-解码器对的数学问题形式化，并刻画了其解，我们将该解命名为“良性自编码器”（benign autoencoder，BAE）。我们证明，BAE将数据投影到一个流形上，该流形的维度是生成问题的最优可压缩性维度。我们揭示了BAE与AI领域若干最新进展之间出人意料的联系，包括条件GAN（conditional GANs）、上下文编码器（context encoders）、stable diffusion、堆叠自编码器（stacked autoencoders）以及生成模型的学习能力。作为示例，我们展示了BAE如何找到最优的低维潜在表示，从而提升分布偏移下判别器的性能。通过压缩“恶性”数据维度，BAE可产生更平滑、更稳定的梯度。
英文摘要：
Recent progress in Generative Artificial Intelligence (AI) relies on efficient data representations, often featuring encoder-decoder architectures. We formalize the mathematical problem of finding the optimal encoder-decoder pair and characterize its solution, which we name the "benign autoencoder" (BAE). We prove that BAE projects data onto a manifold whose dimension is the optimal compressibility dimension of the generative problem. We highlight surprising connections between BAE and several recent developments in AI, such as conditional GANs, context encoders, stable diffusion, stacked autoencoders, and the learning capabilities of generative models. As an illustration, we show how BAE can find optimal, low-dimensional latent representations that improve the performance of a discriminator under a distribution shift. By compressing "malignant" data dimensions, BAE leads to smoother and more stable gradients.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
