The entropy computation of Gaussian mixture distributions with a large number of components has a prohibitive computational complexity. In this paper, we propose a novel approach exploiting the sphere decoding concept to bound and approximate such entropy terms with reduced complexity and good accuracy. Moreover, we propose an SNR region based enhancement of the approximation method to reduce the complexity even further. Using Monte-Carlo simulations, the proposed methods are numerically demonstrated for the computation of the mutual information including the entropy term of various channels with finite constellation modulations such as binary and quadratic amplitude modulation (QAM) inputs for communication applications.
On entropy for mixtures of discrete and continuous variables
设$X$是一个离散随机变量，支持$S$，$f : S \to S^\prime$是一个双射。那么众所周知，$X$的熵与$f(X)$的熵相同。这种熵保持性质已被很好地利用来建立离散随机过程的非平凡性质，例如排队过程\cite{prg03}。熵和熵保持只有在纯离散或连续随机变量的情况下才有明确的定义。然而，对于离散和连续随机变量的混合，这出现在许多有趣的情况下，熵和熵保持的概念还没有得到很好的理解。在本文中，我们扩展了熵的概念，在一个自然的方式为一个混合对随机变量，一对随机变量与一个离散和其他连续。我们的扩展与现有的熵的定义是一致的，在这个意义上，存在自然注射从离散或连续的随机变量到混合对随机变量，使他们的熵保持不变。这种扩展的熵使我们能够获得充分的条件下的离散和连续的混合随机变量的熵保持双射。熵的扩展定义导致连续时间马尔可夫链的熵率。作为应用，我们恢复了一个已知的与泊松过程有关的概率结果。我们坚信，在本文中开发的框架可以在建立复杂的进程，如负载均衡系统，排队网络，缓存算法的概率属性是有用的。
Gauss--Hermite Quadrature for Gaussian-Mixture Entropy with an Action-Space Hermite Surrogate
Extreme Materials Research Center, Korea Institute of Science and Technology（韩国科学技术研究院极端材料研究中心）；Climate and Environmental Research Institute, Korea Institute of Science and Technology（韩国科学技术研究院气候与环境研究所）；Division of AI-Robotics, KIST Campus, University of Science and Technology（科学技术大学KIST校区AI机器人系）
Lower Bounds on the Total Variation Distance Between Mixtures of Two Gaussians
Northwestern University（西北大学）；Halicioǧlu Data Science Institute, UC San Diego（加州大学圣地亚哥分校哈利西奥卢数据科学研究所）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；UC San Diego（加州大学圣地亚哥分校）
