PAC Learning Mixtures of Axis-Aligned Gaussians with No Separation Assumption
我们提出并分析了一个新的优势点的混合高斯学习：即，PAC风格的学习概率分布模型引入的Kearns等人。在这里的任务是构建一个假设的混合高斯是统计上无法区分的实际混合生成的数据;具体来说，KL发散应该是最大的。在这种情况下，我们给出了一个poly（n/n）-time算法，它可以学习n维欧氏空间中任意常数个轴对齐高斯的混合类。我们的算法没有对高斯均值之间的分离做任何假设，也不依赖于最小混合权重。这与"聚类“模型中已知的学习结果形成对比，在”聚类“模型中，这种假设是不可避免的。我们的算法依赖于矩量法，以及作者（FOCS 2005）在以前的工作中开发的离散混合学习问题的子算法。
2006-09-16 cs.LG
Learning Mixtures of Gaussians in High Dimensions
Microsoft Research（微软研究院）；MIT EECS（麻省理工学院电子工程与计算机科学系）
有效地学习高斯混合是统计学和学习理论中的一个基本问题。给定来自Rn中k个高斯分布中的随机分布的样本，学习问题要求估计这些高斯分布的均值和协方差矩阵。这个学习问题出现在从自然科学到社会科学的许多领域，并且也发现了许多机器学习应用。不幸的是，学习高斯混合是一个信息理论上的难题：为了学习参数达到合理的精度，所需的样本数量在最坏情况下是高斯分量数量的指数。在这项工作中，我们证明了，只要我们在足够高的维度上，高斯混合类在平滑的分析框架下以其最一般的形式是可学习的，其中参数从对抗性的起点随机扰动。特别地，给定来自具有随机扰动参数的高斯混合的样本，当n> Ω（k^2）时，我们给出了一个具有多项式运行时间和使用多项式样本数学习参数的算法。中心算法的想法包括新的方法来分解高斯混合的矩张量，利用其结构特性。这个张量的对称性来自高斯分布高阶矩的组合结构（有时称为伊瑟利斯定理或威克定理）。我们还开发了新的工具，用于约束结构随机矩阵的最小奇异值，这在其他平滑分析设置中可能是有用的。
2015-03-10 cs.LG
Optimal Transport for Kernel Gaussian Mixture Models
Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心）；Stony Brook University（石溪大学）
本文针对再生核希尔伯特空间中高斯混合模型距离度量研究不足的问题，提出一种基于核技巧的Wasserstein型度量，用于计算核高斯混合模型之间的距离。
2023-10-28 cs.LG stat.ML
Linear Time Clustering for High Dimensional Mixtures of Gaussian Clouds
Bell Laboratories, Nokia（诺基亚贝尔实验室）
混合高斯分布的聚类是一个基本的和具有挑战性的问题，是普遍存在于各种高维数据处理任务。虽然关于学习高斯混合模型的最新工作主要集中在改进分离边界及其对任意类混合模型的推广上，但对所提出的解决方案的实际计算效率的重视程度较低。在本文中，我们提出了一种新的和高效的聚类算法的$n$点从混合的两个任意高斯分布$\mathbb{R}^p$。该算法涉及执行随机1维投影，直到找到产生用户指定的聚类误差$e$的方向。对于一个1维分离参数$γ$满足$γ=Q^{-1}(e)$，这种预测的预期数量被证明是有界的$o(\ln p)$，当$γ$满足$γ\leq c\sqrt{\ln{\ln{p}}}$，与$c$作为分离参数的两个高斯在$\mathbb{R}^p$。因此，在$o(\ln{p})O(np)$下，该算法的预期总运行时间在$n$中是线性的，在$p$中是准线性的，并且样本复杂度与$p$无关。该结果与先前的工作形成对比，先前的工作在$p$和$n$中提供多项式，最好是二次的运行时间。我们表明，我们的1维投影的预期数量的范围扩展到三个或更多的高斯分量的情况下，我们提出了一个概括我们的结果混合分布超出高斯模型。
2018-03-01 cs.LG
Cutoff for exact recovery of Gaussian mixture models
我们确定的信息理论截断值的聚类中心分离的集群标签的确切恢复$K$组件高斯混合模型具有相等的集群大小。此外，我们表明，一个半定规划（SDP）放松的$K$ -均值聚类方法实现精确恢复，而无需假设对称的聚类中心，这样的尖锐的阈值。
2020-11-30 cs.DS cs.IT math.IT
The statistical Minkowski distances: Closed-form formula for Gaussian Mixture Models
Sony Computer Science Laboratories, Inc.（索尼计算机科学实验室有限公司）；Tokyo（东京）
传统的Minkowski距离是由实值向量空间中相应的Minkowski范数导出的。在这项工作中，我们提出了新的统计对称距离的基础上的Minkowski不等式属于Lebesgue空间的概率密度。这些统计Minkowski距离承认封闭形式的公式高斯混合模型时，参数化的整数指数。这个结果扩展到任意混合指数族与自然参数空间是锥：这包括二项式，多项式，零中心拉普拉斯，高斯和Wishart混合，等等。我们还从Minkowski不等式导出了归一化加权概率分布集的Minkowski多样性指数。
2019-01-17 cs.IT cs.LG math.IT
Unconditional Finiteness of the Number of Critical Points of Gaussian Mixture Densities
The Institute of Statistical Mathematics（统计数学研究所）；The Graduate Institute for Advanced Studies, SOKENDAI（索兰代高级研究院）；RIKEN（理化学研究所）
该研究调整Wang的同方差情形论证，证明有限异方差高斯混合的临界点与模态数量均有限，填补了异方差高斯混合临界点有限性的理论空白。
2026-09-01 math.PR math.ST stat.TH
Maximum Number of Modes of Gaussian Mixtures
高斯混合模型在统计学中有着广泛的应用。这些分布的一个基本方面是密度或模式的局部最大值的研究。具体地，不知道$d$维度中的$k$高斯的混合可以具有多少模式。我们简要介绍了这个问题的历史。在有限的条件下，给出了改进的最大模数的下界和第一上界。
2019-04-18 math.OC math.PR math.ST
A generalized Isserlis theorem for location mixtures of Gaussian random vectors
在最近的一篇论文中，Michalowicz等人将Isserlis定理推广到高斯向量的Bernoulli位置混合的情况。我们在这里扩展这个结果的情况下，任何位置的混合高斯向量，我们还提供了一个例子的Isserlis定理的“规模位置”混合高斯，即d维广义双曲分布。
2011-07-12 math.PR
Gaussian mixtures: entropy and geometric inequalities
一个对称随机变量被称为高斯混合，如果它具有与两个独立的随机变量的乘积相同的分布，其中一个是正的，另一个是标准高斯随机变量。高斯混合的示例包括密度与$e^{-|t|^p}$成比例的随机变量和对称$p$稳定随机变量，其中$p\in(0,2]$。我们得到了各种尖锐的时刻和熵的比较估计的独立高斯混合的加权和和调查的扩展的B-不等式和高斯相关不等式的背景下，高斯混合。我们还得到了一个相关不等式的对称测地凸集在单位球面配备了归一化的表面积测量。然后，我们应用这些结果推导出单位球上关于$p$ -范数均匀分布的向量的Khintchine不等式中的尖锐常数，并为此类球的截面和投影的几何参数的新旧比较估计提供简短的证明。
2019-04-16 cs.IT math.FA math.IT
Convergence of neural networks to Gaussian mixture distribution
Fukuoka University（福冈大学）；University of Tsukuba（筑波大学）
我们证明了，在相对温和的条件下，全连接前馈深度随机神经网络收敛到高斯混合分布，只有最后一个隐藏层的宽度趋于无穷大。我们进行了一个简单的模型，支持我们的结果实验。并对收敛性进行了详细的描述，即最后一层隐层的增长使其分布更接近高斯混合分布，而其他层依次增长使其分布更接近正态分布。
2022-04-26 cs.AI cs.LG math.PR
Exact Recovery of Community Detection in k-Community Gaussian Mixture Model
University of Connecticut（康涅狄格大学）
本文研究了高斯混合模型上的社区发现问题，其中顶点被划分为$k\geq 2$不同的社区.我们模型的主要区别在于，对于观测矩阵中的不同条目，高斯扰动的强度是不同的，并且我们不假设每个社区都有相同数量的顶点。我们明确地找到最大似然估计的精确恢复的阈值。应用包括超图上的社区发现。
2020-08-29 cs.LG cs.SI math.PR
Convex comparison of Gaussian mixtures
受随机微分方程相关凸性研究启发，该文研究高斯分布与高斯混合分布的凸序比较，给出并讨论凸序的内在充要条件，且示例显示两条件紧密相关。
2024-10-10 math.PR
Numerical methods for stochastic differential equations based on Gaussian mixture
本文发展了一种基于高斯混合的弱二阶精度随机微分方程的数值方法。与传统的高阶格式的基础上Itô-Taylor展开和迭代Itô积分的SDES，所提出的计划近似的概率测度$μ(X^{n+1}|X^n=x_n)$的混合高斯。然后，从在维度$d$上具有线性复杂度的高斯混合物中得出下一个时间步$X^{n+1}$的解。这为构造求解偏微分方程的高效高弱阶数值格式提供了一种新的一般策略。
2021-02-07 cs.NA math.NA math.PR
A Gaussian mixture ensemble transform filter
Universität Potsdam（波茨坦大学）
本文提出一种基于高斯混合或高斯核密度估计先验分布的集成变换滤波器（EGMF），通过连续贝叶斯滤波分析步骤设计，并在三个测试问题中验证其对非高斯单峰和多模态分布系统的跟踪能力。
2011-07-06 cs.NA math.NA math.PR
Learning mixtures of separated nonspherical Gaussians
高斯（或正态）分布的混合出现在各种应用领域。对于从混合物中找到给定样本的分量高斯的任务，已经提出了许多启发式算法，例如EM算法，来自Dempster，Laird和Rubin的局部搜索启发式算法[J. Roy.中央集权主义者Soc.Ser.B39（1977）1-38]。这些不能证明在多项式时间内运行。我们提出了第一个算法，可证明学习的组件高斯在时间上是多项式的维度。高斯函数可以是任意形状的，但它们必须满足一个"分离条件“，该条件对任意两个高斯函数的中心之间的距离设置了一个下界。我们证明的核心数学结果是"距离集中“结果--使用等周不等式证明--它建立了根据混合物生成的一对点之间距离的概率分布的界限。我们还正式的最大似然适合的高斯混合非结构化数据的更一般的问题。
2005-03-22 math.PR
Optimal transport for Gaussian mixture models
Iowa State University（爱荷华州立大学）；University of California, Irvine（加州大学尔湾分校）；Stony Brook University（石溪大学）
本文提出基于高斯混合模型的概率空间最优运输框架，实现模型比较、插值与平均。通过子流形结构研究，首次尝试处理更一般概率密度的最优运输问题。
2018-01-30 cs.SY eess.SY math.PR
Generalised Particle Filters with Gaussian Mixtures
随机滤波被定义为对部分观测的动力系统的估计。大量的科学和计算工作致力于数值方法的发展，用于近似滤波问题的解决方案。自20世纪70年代以来，用高斯混合来近似滤波问题的解一直是一种非常流行的方法（参见[1]，[2]，[46]，[49]）。尽管近五十年的发展，现有的工作是基于数值实现的成功，并没有理论上的理由。本文填补了这一空白，并包含一个新的高斯混合近似的过滤问题的解决方案进行了严格的分析。我们推导了近似系统的L^2-收敛速度，并给出了一些数值例子来检验新算法。
2013-06-02 math.PR
A central limit type theorem for Gaussian mixture approximations to the nonlinear filtering problem
自20世纪70年代以来，用高斯混合来逼近非线性滤波问题的解一直是一种非常流行的方法。然而，绝大多数这样的近似是在没有理论基础的情况下以特别的方式引入的。这项工作是[4，5]的继续，在那里我们描述了一个严格的高斯混合近似的滤波问题的解决方案。我们在这里推导出一个精确的估计的收敛速率的近似。我们这样做是通过证明一个中心极限型定理的错误过程。我们还发现高斯测度的最优方差是$1/\sqrt{n}$阶的。这意味着，特别是，在[4，5]中定义的近似的均方误差是$1/n$阶。
2014-01-25 math.PR
Entropic Partial Optimal Transport and Partial Gromov--Wasserstein Distance between Gaussian Mixtures
本文针对高斯混合模型，开发熵正则化部分最优传输并定义部分混合格罗莫夫-瓦瑟斯坦距离，证明其极小值存在唯一性等性质，经数值实验验证该方法对异常值匹配具有鲁棒性。
2026-08-11 math.OC math.PR stat.ML
Particle Gaussian Mixture (PGM) Filters
Texas A&M University（德克萨斯农工大学）
本文提出一种基于粒子的高斯混合滤波方法，解决非线性估计问题，避免粒子滤波的维度灾难问题，通过状态密度传播和混合模式更新实现高斯混合模型的重建。
2016-03-15 cs.SY eess.SY math.DS
Continuous Gaussian mixture solution for linear Bayesian inversion with application to Laplace priors
针对线性贝叶斯反演问题，提出基于高斯混合的两步采样方法及降维近似策略，推导了后验混合密度闭式表达式，并在 Laplace 先验下验证了近似样本的低相关性与高精度。
2024-08-29 math.PR stat.AP stat.CO
Differentiability and Approximation of Probability Functions under Gaussian Mixture Models
Universidad Técnica Federico Santa María（弗雷德里克·维多利亚技术大学）；Universidad de Chile（智利大学）；Universidad de O’Higgins（奥希金斯大学）
研究高斯混合模型下概率函数，通过扩展球面径向分解，结合条件概率分布特性，将概率函数表示为球面积分，建立可微性条件与梯度表示，并用随机采样逼近概率函数，通过数值示例展示该方法优势。
2026-07-10 math.OC math.PR stat.ML
Cheeger's isoperimetric problem for Gaussian mixtures
Bar-Ilan University（巴伊兰大学）
本文研究了高斯混合分布的Cheeger常数和集，通过半空间表征并验证了猜想解，探讨了参数唯一性条件。
2026-08-06 math.CA math.FA math.PR
