变分推断中单调 Alpha 散度最小化
Monotonic Alpha-divergence Minimisation for Variational Inference
AI总结：
本文提出一类在变分推断中保证 α-散度单调下降的迭代算法，可同时优化混合模型权重与成分参数，并在多模态分布和真实数据上验证了其改进效果。
摘要：
本文提出了一类新颖的迭代算法，用于在变分推断框架下执行 α-散度最小化。这些算法通过确保变分分布与后验分布之间的 α-散度在每一步都系统性下降来实现目标。在最一般的形式下，变分分布是一个混合模型，我们的框架允许同时优化该混合模型的权重和各个成分的参数。我们的方法能够建立在先前为 α-散度最小化提出的多种方法之上，例如梯度下降或幂下降方案，并且我们还为一种集成期望最大化算法提供了新的视角。最后，我们提供了经验证据，表明我们的方法在多个多模态目标分布以及一个真实数据示例上取得了改进的结果。
英文摘要：
In this paper, we introduce a novel family of iterative algorithms which carry out $α$-divergence minimisation in a Variational Inference context. They do so by ensuring a systematic decrease at each step in the $α$-divergence between the variational and the posterior distributions. In its most general form, the variational distribution is a mixture model and our framework allows us to simultaneously optimise the weights and components parameters of this mixture model. Our approach permits us to build on various methods previously proposed for $α$-divergence minimisation such as Gradient or Power Descent schemes and we also shed a new light on an integrated Expectation Maximization algorithm. Lastly, we provide empirical evidence that our methodology yields improved results on several multimodal target distributions and on a real data example.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
