通过黎曼贝叶斯推断减少生成模型中的记忆化
Reducing Memorisation in Generative Models via Riemannian Bayesian Inference
AI总结：
本文通过黎曼贝叶斯推断减少生成模型中的记忆化，提升模型的泛化能力。
摘要：
现代生成模型可以生成逼真的样本，然而，平衡记忆化和泛化仍是一个开放性问题。我们从贝叶斯角度出发，聚焦于流匹配和扩散模型的参数空间，构建一个更好的预测后验分布，以更准确地捕捉数据分布的变异性。特别是，我们使用黎曼度量捕捉损失的几何结构，并利用一个灵活的近似后验分布，适应损失景观的局部结构。这种方法使我们能够采样出与原始模型相似但记忆化程度降低的生成模型。实验表明，所提出的方法在减少记忆化的同时保持了泛化能力。此外，我们还提供了对方法的理论分析，解释了我们的发现。总体而言，我们的工作展示了考虑损失的几何结构如何有效利用参数空间，即使对于复杂的高维生成模型也是如此。
英文摘要：
Modern generative models can produce realistic samples, however, balancing memorisation and generalisation remains an open problem. We approach this challenge from a Bayesian perspective by focusing on the parameter space of flow matching and diffusion models and constructing a predictive posterior that better captures the variability of the data distribution. In particular, we capture the geometry of the loss using a Riemannian metric and leverage a flexible approximate posterior that adapts to the local structure of the loss landscape. This approach allows us to sample generative models that resemble the original model, but exhibit reduced memorisation. Empirically, we demonstrate that the proposed approach reduces memorisation while preserving generalisation. Further, we provide a theoretical analysis of our method, which explains our findings. Overall, our work illustrates how considering the geometry of the loss enables effective use of the parameter space, even for complex high-dimensional generative models.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
