On spectral clustering under non-isotropic Gaussian mixture models
Kyushu University(九州大学)
研究在非各向同性高斯混合模型下谱聚类算法的误聚类概率,基于主成分得分符号划分数据,并在高维情况下证明聚类一致性。
2026-04-10 math.ST stat.TH
Regularised optimal self-transport is approximate Gaussian mixture maximum likelihood
该研究揭示正则化自输运与高斯混合模型最大似然估计的关联,提出自输运结合聚类的低成本有理论支撑的估计方法,并指出其因鲁棒、稀疏、稳定可作为GMM的优选统计工具。
2023-11-04 math.ST stat.TH
Tails assumptions and posterior concentration rates for mixtures of Gaussians
如今,在密度估计中,高斯的位置和位置-尺度混合的后验收敛率仅在轻尾假设下是已知的;通过位置混合实现更好的速率。这是明确的,但没有证明,这种情况下应该扭转重尾假设。该猜想是基于这样的感觉,即没有必要在数据很少的区域(例如,在尾部)实现良好的近似顺序,有利于位置-尺度混合,允许空间变化的近似顺序。在这里,我们测试了前面的论点的高斯误差均值回归模型与随机设计,其中轻尾假设是不需要的证明。虽然我们不能无效的猜想,由于缺乏下界,我们发现,即使有重尾假设,位置规模的混合物显然总是比位置混合最差。然而,证据表明,引入混合位置规模的混合物,发现优于位置和位置规模的混合物,无论性质的尾巴。最后,我们表明,所有的尾部假设可以释放的代价,使协变量的先验分布依赖。
2016-08-23 math.ST stat.TH
On Finite Gaussian Mixtures: Finiteness of the Number of Modes and an Application to NPMLE
Yale University(耶鲁大学)
该研究证明有限分量的各向同性高斯混合模型的临界点集有限,将其应用于高斯位置混合模型,得出基于有限数据集的NPMLE具有有限支撑且所有NPMLE共享相同可允许原子位置的结论。
2026-08-18 math.ST stat.TH
Multidimensional two-component Gaussian mixtures detection
令$(X\_1,\ldots,X\_n)$为来自密度为$f$的分布的$d$维i.i.d样本。被认为是两个组件的混合物的检测问题。我们的目的是决定是否$f$是一个标准的高斯随机$d$ -向量($f=ϕ\_d$)的密度对$f$是一个两个组件的混合物:$f=(1-\varepsilon)ϕ\_d +\varepsilon ϕ\_d (.-μ)$其中$(\varepsilon,μ)$是未知参数。最佳的分离条件上$\varepsilon, μ, n$和尺寸$d$的建立,允许分离两个假设与规定的错误。提出了几个测试程序,并考虑了两个备选子集。
2015-09-30 math.ST stat.TH
Gaussian Mixture Regression model with logistic weights, a penalized maximum likelihood approach
我们希望使用高斯混合回归模型估计条件密度,其中logistic权重和均值取决于协变量。我们的目标是选择这个模型的组件的数量以及其他参数的惩罚最大似然法。我们提供了一个下界的惩罚,成比例的对数项的每个模型的尺寸,确保我们的估计的预言不等式。我们的理论分析得到了一些数值实验的支持。
2013-04-09 math.ST stat.TH
At least seven modes in a heteroscedastic three-component bivariate Gaussian mixture
Graduate School of Science and Engineering, Kagoshima University(鹿儿岛大学理工学研究科);School of Information and Data Sciences, Nagasaki University(长崎大学信息数据科学学院);Institute of Statistical Mathematics(统计数学研究所);The Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学);RIKEN(理化学研究所)
该研究针对双变量三分量高斯混合,构造出含至少7个模式的异方差混合密度,为高斯混合模式数猜想提供了首个反例,证明原上界不成立。
2026-08-04 math.ST stat.TH
Adaptivity of the NPMLE to finitely discrete mixing distributions in Gaussian/Poisson mixtures
University of Toronto(多伦多大学)
研究NPMLE在高斯和泊松混合模型中的非参数最大似然估计,证明在真实混合分布支持集固定有界时,边际密度估计和后验均值的精确参数率,以及NPMLE在过参数化有限混合模型中达到最优分离率。
2026-04-13 math.ST stat.TH
Learning rates for Gaussian mixtures under group invariance
研究了一类在等距群作用下不变的高斯混合模型的点态极大似然估计率。该模型也被称为多参考对齐,其中观察到给定向量的随机等距,直到高斯噪声。我们完全表征的最大似然估计的速度,通过给出一个全面的描述模型的似然几何。我们发现,未知参数总是可以分解成两个组件,其中一个可以估计在快速$n^{-1/2}$,另一个被估计在较慢的速度$n^{-1/4}$。我们提供了一个代数描述和几何解释这些事实。
2019-02-28 math.ST stat.TH
Algebraic Identifiability of Gaussian Mixtures
证明了一元高斯混合函数的所有矩簇都具有期望维数。我们的方法依赖于相交理论和Terracini的分类缺陷表面。类似的可识别性结果被证明是错误的混合高斯在三维和更高。他们的时刻,以三阶定义投影品种是有缺陷的。我们的几何研究表明,扩展的Alexander-Hirschowitz定理Veronese品种的高斯设置。
2017-04-04 math.AG math.ST stat.TH
Maximum Likelihood Estimates for Gaussian Mixtures Are Transcendental
高斯混合模型是经典统计学的核心,广泛应用于信息科学,并具有丰富的数学结构。我们检查他们的最大似然估计通过镜头的代数统计。MLE不是数据的代数函数,因此这些模型没有ML度的概念。似然函数的临界点是超越的,即使是两个单变量高斯的混合,它们的数量也没有限制。
2015-11-30 math.OC math.ST stat.TH
A ridgeline correspondence criterion: the number of modes of a Gaussian mixture is finite
该研究通过结合脊线理论代数表述与Ax函数超越定理,证明有限多元高斯混合等类混合模型的模态数有限,扩展了同方差高斯混合的相关有限性结果。
2026-08-31 math.AG math.ST stat.TH
Uniform Convergence Rates for Maximum Likelihood Estimation under Two-Component Gaussian Mixture Models
在方差不等的两分量位置-尺度混合高斯模型中,我们得到了极大似然估计的一致收敛性和参数估计的极小极大下界.我们假设混合物的混合比例是已知的和固定的,但没有对底层混合物组分进行分离假设。一个相变存在于最佳的参数估计率,取决于是否是平衡的混合物。我们分析的关键是仔细研究位置尺度高斯混合模型参数之间的依赖关系,通过多项式等式和不等式系统捕获,其解集驱动我们获得的速率。模拟研究说明了这项工作的理论研究结果。
2020-06-01 math.ST stat.ML stat.TH
Unconditional Finiteness of the Number of Critical Points of Gaussian Mixture Densities
The Institute of Statistical Mathematics(统计数学研究所);The Graduate Institute for Advanced Studies, SOKENDAI(索兰代高级研究院);RIKEN(理化学研究所)
该研究调整Wang的同方差情形论证,证明有限异方差高斯混合的临界点与模态数量均有限,填补了异方差高斯混合临界点有限性的理论空白。
2026-09-01 math.PR math.ST stat.TH
Moment Varieties of Gaussian Mixtures
矩簇的点是直到概率分布族的某个阶的所有矩的向量。我们研究这个品种的混合高斯。后续皮尔逊的经典工作从1894年,我们适用于当前的工具,从计算代数恢复参数的时刻。我们的时刻品种扩展对象熟悉的代数几何。例如,Veronese品种的割线品种是通过将所有协方差阵设置为零而获得的基因座。我们计算理想的5维矩品种代表两个单变量高斯的混合物,我们提供了一个比较的最大似然方法。
2015-10-15 math.AG math.ST stat.TH
A mixture autoregressive model based on Gaussian and Student's $t$-distributions
University of Helsinki(赫尔辛基大学)
本文提出一种结合高斯和学生t分布的混合自回归模型,用于建模包含条件同方差和异方差模式的序列,并通过美国利率差数据验证其有效性。
2020-05-22 econ.EM math.ST stat.ME
On the nonparametric maximum likelihood estimator for Gaussian location mixture densities with application to Gaussian denoising
本文研究了非参数最大似然估计(NPMLE)在$d$ -维中从独立观测值估计高斯位置混合密度的方法。与通常的基于似然的混合拟合方法不同,NPMLE基于凸优化。我们证明了有限样本结果的Hellinger精度的每一个NPMLE。我们的结果特别意味着,当真实密度是离散高斯混合物,并且没有任何有关混合分量数量的先验信息时,每个NPMLE都实现了接近参数风险(直至对数乘法因子)。在高斯去噪问题中,NPMLE可以自然地用于产生Oracle Bayes估计器的经验贝叶斯估计。我们证明的准确性的经验贝叶斯估计作为一个近似的Oracle贝叶斯估计的界限。在这里,我们的研究结果意味着,经验贝叶斯估计执行在聚类情况下去噪的最佳水平(对数乘法因子),没有任何先验知识的集群的数量。
2019-07-07 math.ST stat.CO stat.ML
Gaussian Mixture Identifiability from degree 6 Moments
本文研究高维高斯混合由高阶矩恢复参数的可辨识性,证明一般情形下6阶矩可唯一恢复至多 $\mathcal{O}(n^4)$ 个分量,并说明4阶不足、5阶可能为最低要求。
2023-07-07 math.AG math.ST stat.TH
A clustering tool for nucleotide sequences using Laplacian Eigenmaps and Gaussian Mixture Models
我们提出了一个新的程序聚类核苷酸序列的基础上的“拉普拉斯特征映射”和高斯混合模型。然后将该建议应用于一组100个DNA序列,这些DNA序列来自扁形动物和线虫属物种的集合的经尿道编码的NADH脱氢酶3(ND3)基因。所得到的集群,然后示出与使用最大似然法计算的基因系统发育树是一致的。这种比较特别表明,由拉普拉斯特征映射与高斯混合模型相结合的方法产生的聚类与遗传学以及NCBI分类学是一致的。我们还为此过程开发了一个Python包,可以在线获得。
2016-10-26 math.ST q-bio.QM stat.TH
Maximum Number of Modes of Gaussian Mixtures
高斯混合模型在统计学中有着广泛的应用。这些分布的一个基本方面是密度或模式的局部最大值的研究。具体地,不知道$d$维度中的$k$高斯的混合可以具有多少模式。我们简要介绍了这个问题的历史。在有限的条件下,给出了改进的最大模数的下界和第一上界。
2019-04-18 math.OC math.PR math.ST
Robust Learning of Mixtures of Gaussians
University of California, San Diego(加利福尼亚大学圣地亚哥分校)
我们解决了稳健统计中的一个主要突出问题。特别地,如果$X$是两个任意$d$ -维高斯的均匀加权混合,我们设计了一个多项式时间算法,该算法给定对来自$X$的样本的访问,其中$\eps$ -分数已经被逆向破坏,学习$X$以在总变化距离中误差$\poly(\eps)$。
2020-07-12 cs.DS cs.LG math.ST
Tractable Measure of Component Overlap for Gaussian Mixture Models
量化聚类结构的独特性的能力对于某些仿真研究是基本的,特别是对于那些比较不同分类算法的性能的仿真研究。基于相应混合分量重叠的内禀积分测度在分析上通常是难以处理的。当空间维度为$d > 1$时,具有不等协方差阵的高斯混合模型也是如此。在这项工作中,我们专注于高斯混合模型,并在样本水平上,我们假设类分配是已知的。我们推导出一个衡量组件重叠的特征值的广义特征问题,代表费舍尔的判别任务。我们解释它背后的原理,并提出模拟结果,显示它可以如何很好地反映其线性逼近的积分测度的行为。所分析的系数具有的优点是分析听话,即使在复杂的设置数值计算。
2014-07-27 math.ST stat.OT stat.TH
Model Selection for Gaussian Mixture Models
本文讨论了有限混合模型中的一个重要问题,即混合组分数的选择。提出了一种新的惩罚似然方法用于有限多元高斯混合模型的模型选择。所提出的方法被证明是统计上一致的,在确定的组件的数量。提出了一种改进的期望最大化算法,它可以同时选择混合分量的个数和估计混合权重,即混合概率和高斯分布的未知参数。仿真和实际数据分析,以说明所提出的方法的性能。
2013-01-16 math.ST stat.ME stat.ML
Convergence Analysis of Gradient EM for Multi-component Gaussian Mixture
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文研究了高斯混合模型的梯度期望最大化算法\cite{lange1995gradient}在一般聚类数和混合系数下的收敛性。我们推导出的收敛速度依赖于混合系数,最小和最大成对的距离之间的真实中心和维数和组件的数量,并获得一个接近最优的局部收缩半径。虽然最近已经有一些值得注意的作品,得出EM在两个相等的混合对称GMM的局部收敛率,在更一般的情况下,推导需要结构上不同的和非平凡的参数。我们使用最近的学习理论和经验过程的工具,以实现我们的理论结果。
2017-12-04 cs.LG math.ST stat.TH
The Breakdown of Gaussian Universality in Classification of High-dimensional Linear Factor Mixtures
本文研究一般线性因子混合数据的高维分类,精确刻画经验风险最小化,证明高斯普适性会失效并给出其成立条件及对损失选择的意义。
2025-03-13 cs.LG math.ST stat.ML
Estimating Gaussian mixtures using sparse polynomial moment systems
本文利用多面体几何研究高斯混合模型的矩可识别性,证明一般高斯k-混合模型可由前3k+2个矩识别,并提出路径数随维度线性增长的同伦算法用于高维参数恢复。
2024-06-10 math.AG math.ST stat.ME
Parameter Estimation in Gaussian Mixture Models with Malicious Noise, without Balanced Mixing Coefficients
我们考虑在一个2-高斯混合,这是不平衡的,被破坏的任意分布的噪声的两个高斯估计的平均值的问题。我们提出了一个强大的算法来估计的参数,连同上界的估计是正确的,所需的样本数,其中的界限参数化的尺寸,混合系数的比率,一个措施的分离的两个高斯,相关的马哈拉诺比斯距离,和条件数的协方差阵。从理论上讲,这是第一个样本复杂度的结果,不平衡的混合破坏对抗性噪声。在实践中,我们的算法优于香草期望最大化(EM)算法的估计误差。
2017-11-21 cs.CC cs.DS math.ST
How Many Modes Can a Mixture of Gaussians with Uniformly Bounded Means Have?
我们表明,通过一个明确的建设,一个单变量高斯密度与方差$1$和手段在$[-A,A]$的混合物可以有$Ω(A^2)$模式。这反驳了Dytso、Yagli、Poor和Shamai \cite{DYPS20}最近的一个猜想,他们表明这样的混合物最多可以有$O(A^{2})$模式,并推测上界可以改进为$O(A)$。即使在混合分布上施加额外的方差约束,我们的结果也成立。将结果扩展到更高的维度,我们在$\mathbb{R}^{d}$中展示了高斯的混合,在$[-A,A]^{d}$中具有单位协方差和均值,具有$Ω(A^{2d})$模式。
2020-10-22 cs.IT math.IT math.ST
Lower Bounds on the Total Variation Distance Between Mixtures of Two Gaussians
Northwestern University(西北大学);Halicioǧlu Data Science Institute, UC San Diego(加州大学圣地亚哥分校哈利西奥卢数据科学研究所);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);UC San Diego(加州大学圣地亚哥分校)
高维高斯分布的混合分布在统计学和学习理论中得到了广泛的研究。虽然全变差距离在分布学习的样本复杂度中自然出现,但在分析上很难获得混合物的紧密下界。利用全变差距离和混合物的特征函数之间的联系,我们提供了相当紧密的函数近似。这使我们能够得到新的下界之间的全变差距离的两个组件的高斯混合物,有一个共享的协方差阵。
2022-03-09 cs.IT cs.LG math.IT
Minimax Theory for High-dimensional Gaussian Mixtures with Sparse Mean Separation
Carnegie-Mellon University(卡内基梅隆大学)
虽然有几篇论文研究了学习高斯混合的计算和统计有效方法,但其统计性能的精确极小极大边界以及高维设置中的基本限制还没有得到很好的理解。在本文中,我们提供了精确的信息理论界的聚类精度和样本的复杂性学习的混合物的两个各向同性高斯在高维下小的平均分离。如果存在确定平均分离的相关维度的稀疏子集,则样本复杂度仅取决于相关维度的数量和平均分离,并且可以通过简单的计算高效的过程来实现。我们的研究结果提供了最近的方法,结合特征选择和聚类的理论基础的第一步。
2013-06-09 cs.LG math.ST stat.ML
Cutoff for exact recovery of Gaussian mixture models
我们确定的信息理论截断值的聚类中心分离的集群标签的确切恢复$K$组件高斯混合模型具有相等的集群大小。此外,我们表明,一个半定规划(SDP)放松的$K$ -均值聚类方法实现精确恢复,而无需假设对称的聚类中心,这样的尖锐的阈值。
2020-11-30 cs.DS cs.IT math.IT
Convergence Rates for Gaussian Mixtures of Experts
University of Texas(德克萨斯大学);University of California(加利福尼亚大学)
我们提供了一个理论上的治疗过指定的高斯混合专家与无协变量门控网络。我们建立了这些模型的极大似然估计(MLE)的收敛速度。我们的证明技术是基于一个新的概念\emph{algebraic independence}的专家功能。利用最优输运理论,我们建立了代数独立性和某一类偏微分方程(PDE)之间的联系。利用这一联系,使我们能够获得收敛速度和极小极大下界的参数估计。
2022-03-08 cs.LG math.ST stat.ML
Settling the Robust Learnability of Mixtures of Gaussians
MIT(麻省理工学院)
这项工作代表了两条重要工作线的自然结合:学习高斯混合和算法鲁棒统计。特别是,我们给出了第一个可证明的鲁棒算法学习混合的任何常数数量的高斯。我们只需要温和的假设上的混合权重(有界分形)和组件之间的总变化距离有界远离零。在我们的算法的核心是一个新的方法,通过应用精心选择的微分运算序列,某些生成函数,不仅编码的参数,我们想学习,但也系统的多项式方程,我们想解决证明维数无关的多项式可识别性。我们展示了如何直接使用我们推导出的符号等式来分析自然的平方和松弛。
2021-07-25 cs.DS cs.LG math.ST
On the best approximation by finite Gaussian mixtures
Tsinghua University(清华大学);Yale University(耶鲁大学)
本文研究了用有限混合逼近一般高斯位置混合的问题,利用局部矩匹配技术和三角矩矩阵低秩逼近的谱分析,确定了在紧支撑或次高斯/次指数尾假设下达到给定精度的有限混合最小阶数的上下界,并纠正了先前关于高斯混合分布下界的结论。
2025-04-07 cs.IT cs.LG math.IT