Deep Gaussian Mixture Models
深度学习是一种分层推理方法,由后续的多层学习形成,能够更有效地描述复杂的关系。在这项工作中,深度高斯混合模型进行了介绍和讨论。深度高斯混合模型(DGMM)是一个由多层潜在变量组成的网络,其中,在每一层,变量都遵循高斯分布的混合。因此,深度混合模型由一组线性模型的嵌套混合物组成,其全局地提供能够以非常灵活的方式描述数据的非线性模型。为了避免过度参数化的解决方案,降维的因素模型可以应用在每一层的架构,从而导致因素分析器的深度混合。
2017-11-18 cs.LG stat.ML
Model Selection for Gaussian Mixture Models
本文讨论了有限混合模型中的一个重要问题,即混合组分数的选择。提出了一种新的惩罚似然方法用于有限多元高斯混合模型的模型选择。所提出的方法被证明是统计上一致的,在确定的组件的数量。提出了一种改进的期望最大化算法,它可以同时选择混合分量的个数和估计混合权重,即混合概率和高斯分布的未知参数。仿真和实际数据分析,以说明所提出的方法的性能。
2013-01-16 math.ST stat.ME stat.ML
The Parametric Stability of Well-separated Spherical Gaussian Mixtures
University of Washington(华盛顿大学)
本文研究了分布空间中小扰动下球形高斯混合模型(sGMM)的参数稳定性。也就是说,我们推导出第一个明确的界限,以表明,对于一个混合的球形高斯$P$(sGMM)在一个预定义的模型类,所有其他sGMM接近$P$在这个模型类中的全变差距离有一个小的参数距离$P$。此外,该上限仅取决于$P$。这项工作的动机在于为拟合高斯混合物提供保证;考虑到这一目标,所涉及的所有常数都是定义良好的,并且是拟合球面高斯混合物的分布自由条件。我们的研究结果大大收紧现有的可计算的界限,并渐近匹配这个问题的已知的尖锐的阈值。
2023-02-01 cs.LG stat.ML
An Efficient 1 Iteration Learning Algorithm for Gaussian Mixture Model And Gaussian Mixture Embedding For Neural Network
University of Macau(澳门大学);Great Bay Institute for Advanced Study(大湾区高等研究院);University of Science and Technology of China(中国科学技术大学)
提出一种基于GMM扩展的1次迭代学习算法,比EM更鲁棒简单且保证收敛,用于神经网络嵌入以提升不确定性处理能力,并展示生成器应用潜力。
2023-09-06 cs.LG stat.ML
Optimal transport for vector Gaussian mixture models
Stony Brook University(石溪大学)
向量值高斯混合分布是向量值分布的一个重要的特殊子集。一般来说,向量值分布构成物理实体的自然表示,其可以在分布在给定空间中的替代表现形式之间变异或过渡。一个重要的例子是彩色图像。在这篇笔记中,我们向量化的高斯混合模型,并研究了几个不同的最优质量输运相关的问题,这样的模型。使用矢量高斯混合物进行最佳质量输运的好处包括计算效率和保持结构的能力。
2022-11-09 cs.LG math.OC math.PR
A Singularity Criterion for Countable Gaussian Mixtures Based on the Feldman-Hajek Theorem
本文基于Feldman-Hajek定理,研究了可数高斯混合模型在无限维情况下的奇异性质,推导出混合模型的奇异条件,并通过数值实验验证了高维混合模型中分离性的增强机制。
2026-06-29 math.ST stat.TH
Gaussian mixture model decomposition of multivariate signals
KTH Royal Institute of Technology(KTH皇家理工学院);Schlumberger Cambridge Research(斯伦贝谢剑桥研究中心)
我们提出了一个贪婪的变分方法分解的非负的多元信号的加权和的高斯,借用统计学的术语,我们称为高斯混合模型。值得注意的是,我们的方法具有以下特点:(1)它接受多元信号,即采样的多元函数,直方图,时间序列,图像等作为输入。(2)该方法可以处理一般(即椭球)高斯。(3)不需要预先假设混合物组分的数量。据我们所知,没有以前的方法高斯混合模型分解同时享有所有这些功能。我们还证明了一个上界,这不能提高一个全球性的常数,从高斯混合模型的任何模式到相应的手段的集合的距离。对于具有共同方差$σ^2$的球面高斯的混合,界限采用简单形式$\sqrt{n}σ$。我们评估我们的方法上的一维和二维信号。最后,我们讨论了聚类和信号分解之间的关系,并将我们的方法与基线期望最大化算法进行了比较。
2020-05-20 cs.LG stat.ML
Infinite Mixtures of Multivariate Gaussian Processes
East China Normal University(华东师范大学)
本文提出了一个新的模型称为多元高斯过程的无限混合,它可以用来学习向量值函数,并应用于多任务学习。混合模型作为单一多元高斯过程的扩展,具有建模多模态数据和降低多元高斯过程计算立方复杂度的优点。采用Dirichlet过程先验知识从训练数据中自动推断混合物组分的数量(可能是无限的),采用马尔可夫链蒙特卡罗抽样技术进行参数和潜变量推断。多元回归的初步实验结果表明,所提出的模型的可行性。
2013-07-26 cs.LG stat.ML
Maximum Likelihood Estimates for Gaussian Mixtures Are Transcendental
高斯混合模型是经典统计学的核心,广泛应用于信息科学,并具有丰富的数学结构。我们检查他们的最大似然估计通过镜头的代数统计。MLE不是数据的代数函数,因此这些模型没有ML度的概念。似然函数的临界点是超越的,即使是两个单变量高斯的混合,它们的数量也没有限制。
2015-11-30 math.OC math.ST stat.TH
Robust mixture modelling using sub-Gaussian stable distribution
重尾分布由于具有厚尾而广泛用于鲁棒混合建模。亚高斯$α$ -稳定分布作为稳定分布的一个易于计算的子类,受到了广泛的关注。在这里,我们介绍了一种类型的期望最大化算法,估计亚高斯稳定分布的混合参数。一个比较研究,在一些著名的混合模型的存在下,进行显示的鲁棒性和性能的混合物的亚高斯$α$ -稳定分布的建模,模拟,合成和真实的数据。
2017-01-24 stat.ML
Learning mixtures of spherical Gaussians: moment methods and spectral decompositions
Microsoft Research New England(新英格兰微软研究院)
这项工作提供了一个计算效率和统计上一致的基于矩的估计混合球高斯。在分量均值处于一般位置的条件下,一个简单的谱分解技术从低阶可观测矩得到一致的参数估计,而不需要以前计算效率高的估计过程所需的额外的最小分离假设。因此,计算和信息理论的障碍,以有效的估计混合模型时,混合物的成分,一般的位置和球形协方差的手段被排除。一些连接作出估计问题有关的独立成分分析。
2012-10-28 cs.LG stat.ML
Schema matching using Gaussian mixture models with Wasserstein distance
University of Warsaw(华沙大学);QED Software(QED软件公司)
高斯混合模型作为一种强大的工具,主要是在聚类问题中,但在特征提取,模式识别,图像分割和一般的机器学习中也有适当的准备。当面临模式匹配问题时,在不同数据块上计算的不同混合模型可以保持关于数据集结构的关键信息。为了测量或比较混合模型的结果,Wasserstein距离可能非常有用,但对于混合分布来说,它并不容易计算。本文导出了高斯混合模型间Wasserstein距离的一种可能的近似,并将其化为线性问题。此外,有关现实世界的数据的应用实例。
2022-03-31 cs.DB cs.LG stat.ML
Maximum Number of Modes of Gaussian Mixtures
高斯混合模型在统计学中有着广泛的应用。这些分布的一个基本方面是密度或模式的局部最大值的研究。具体地,不知道$d$维度中的$k$高斯的混合可以具有多少模式。我们简要介绍了这个问题的历史。在有限的条件下,给出了改进的最大模数的下界和第一上界。
2019-04-18 math.OC math.PR math.ST
Statistical Convergence of the EM Algorithm on Gaussian Mixture Models
研究了期望最大化(EM)算法在具有任意数量混合分量和混合权重的高斯混合模型上的收敛性。我们表明,只要组件的手段是分开的至少$Ω(\sqrt{\min\{M,d\}})$,其中$M$是组件的数量和$d$的尺寸,EM算法局部收敛到全局最优值的对数似然。此外,我们证明了收敛速度是线性的,并表征了全局最优值的吸引区域的大小。
2018-10-09 math.ST stat.TH
On spectral clustering under non-isotropic Gaussian mixture models
Kyushu University(九州大学)
研究在非各向同性高斯混合模型下谱聚类算法的误聚类概率,基于主成分得分符号划分数据,并在高维情况下证明聚类一致性。
2026-04-10 math.ST stat.TH
Tails assumptions and posterior concentration rates for mixtures of Gaussians
如今,在密度估计中,高斯的位置和位置-尺度混合的后验收敛率仅在轻尾假设下是已知的;通过位置混合实现更好的速率。这是明确的,但没有证明,这种情况下应该扭转重尾假设。该猜想是基于这样的感觉,即没有必要在数据很少的区域(例如,在尾部)实现良好的近似顺序,有利于位置-尺度混合,允许空间变化的近似顺序。在这里,我们测试了前面的论点的高斯误差均值回归模型与随机设计,其中轻尾假设是不需要的证明。虽然我们不能无效的猜想,由于缺乏下界,我们发现,即使有重尾假设,位置规模的混合物显然总是比位置混合最差。然而,证据表明,引入混合位置规模的混合物,发现优于位置和位置规模的混合物,无论性质的尾巴。最后,我们表明,所有的尾部假设可以释放的代价,使协变量的先验分布依赖。
2016-08-23 math.ST stat.TH
Individual-heterogeneous sub-Gaussian Mixture Models
School of Economics and Finance, Chongqing University of Technology(重庆理工大学经济金融学院)
本文提出个体异质子高斯混合模型,通过为每个观测分配异质性参数,有效捕捉实际应用中的异质性。该模型基于谱方法,在弱分离条件下可精确恢复真实聚类标签,优于传统高斯混合模型。
2026-04-07 cs.LG stat.ML
Exact Recovery of Community Detection in k-Community Gaussian Mixture Model
University of Connecticut(康涅狄格大学)
本文研究了高斯混合模型上的社区发现问题,其中顶点被划分为$k\geq 2$不同的社区.我们模型的主要区别在于,对于观测矩阵中的不同条目,高斯扰动的强度是不同的,并且我们不假设每个社区都有相同数量的顶点。我们明确地找到最大似然估计的精确恢复的阈值。应用包括超图上的社区发现。
2020-08-29 cs.LG cs.SI math.PR
On the properties of Gaussian Copula Mixture Models
Princeton University(普林斯顿大学)
本文提出高斯Copula混合模型(GCMM),通过扩展期望最大化算法估计参数并结合非参数方法估计边际分布,解决了GMM的拟合局限,在相同聚类数下提升了拟合优度并支持跨维度非同步数据分析。
2023-05-24 cs.LG stat.ML
Quantum Clustering and Gaussian Mixtures
混合高斯分布是k-means的软版本,被认为是最先进的聚类算法。它被广泛用于计算机视觉中选择类别,例如,颜色、质地和形状。在该算法中,每个类由高斯分布描述,由其均值和协方差定义。数据由这些高斯分布的加权和描述。受物理学中量子干涉的启发,我们提出了一种新的方法。而不是直接建模每个类分布,我们建模类波函数,使其幅度平方是类高斯分布。然后,我们混合类波函数以创建混合波函数。最终的混合分布是混合波函数的幅度平方。结果,我们观察到量子类干涉现象,不存在于高斯混合模型。我们证明了量子方法在估计的各个方面都优于高斯混合方法。它提供了所有分布参数的更准确的估计,波动小得多,它也更强大的高斯假设的数据变形。我们说明了我们的颜色分割方法作为一个示例应用程序。
2016-12-29 cs.CV stat.ML
Asymptotic Bayes risk of semi-supervised multitask learning on Gaussian mixture
GIPSA-lab(GIPSA实验室);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);LIG-lab(LIG实验室)
本文考虑高斯混合模型(GMM)上的半监督多任务学习。使用统计物理学的方法,我们计算的渐近贝叶斯风险的每个任务在大数据集的制度在高维,从中我们分析的任务相似性在学习中的作用和评估的性能增益时,任务一起学习,而不是分开。在监督的情况下,我们得到一个简单的算法,达到贝叶斯最优性能。
2023-03-03 cs.LG stat.ML
Optimal Transport for Kernel Gaussian Mixture Models
Memorial Sloan Kettering Cancer Center(纪念斯隆凯特琳癌症中心);Stony Brook University(石溪大学)
本文针对再生核希尔伯特空间中高斯混合模型距离度量研究不足的问题,提出一种基于核技巧的Wasserstein型度量,用于计算核高斯混合模型之间的距离。
2023-10-28 cs.LG stat.ML
Overcomplete order-3 tensor decomposition, blind deconvolution and Gaussian mixture models
University of California, Davis(加利福尼亚大学戴维斯分校)
我们提出了一种新的张量分解算法,基于Jennrich的算法,并将我们的新算法思想应用到盲反卷积和高斯混合模型。我们的第一个贡献是一个简单而有效的算法来分解某些对称过完备3阶张量,即形式为$T = \sum_{i=1}^n a_i \otimes a_i \otimes a_i$的三维数组,其中$a_i$不是线性独立的。我们的算法带有详细的鲁棒性分析。我们的第二个贡献建立在我们的张量分解算法的基础上,扩展了高斯混合模型的家族,其参数可以有效地估计。这些想法也提出了一个更一般的框架,盲反卷积,使它们适用于混合模型相同,但非常一般的分布,包括所有中心对称分布有限的第六时刻。
2021-02-20 cs.LG stat.ML
Parameter Estimation in Gaussian Mixture Models with Malicious Noise, without Balanced Mixing Coefficients
我们考虑在一个2-高斯混合,这是不平衡的,被破坏的任意分布的噪声的两个高斯估计的平均值的问题。我们提出了一个强大的算法来估计的参数,连同上界的估计是正确的,所需的样本数,其中的界限参数化的尺寸,混合系数的比率,一个措施的分离的两个高斯,相关的马哈拉诺比斯距离,和条件数的协方差阵。从理论上讲,这是第一个样本复杂度的结果,不平衡的混合破坏对抗性噪声。在实践中,我们的算法优于香草期望最大化(EM)算法的估计误差。
2017-11-21 cs.CC cs.DS math.ST
A clustering tool for nucleotide sequences using Laplacian Eigenmaps and Gaussian Mixture Models
我们提出了一个新的程序聚类核苷酸序列的基础上的“拉普拉斯特征映射”和高斯混合模型。然后将该建议应用于一组100个DNA序列,这些DNA序列来自扁形动物和线虫属物种的集合的经尿道编码的NADH脱氢酶3(ND3)基因。所得到的集群,然后示出与使用最大似然法计算的基因系统发育树是一致的。这种比较特别表明,由拉普拉斯特征映射与高斯混合模型相结合的方法产生的聚类与遗传学以及NCBI分类学是一致的。我们还为此过程开发了一个Python包,可以在线获得。
2016-10-26 math.ST q-bio.QM stat.TH
Tractable Measure of Component Overlap for Gaussian Mixture Models
量化聚类结构的独特性的能力对于某些仿真研究是基本的,特别是对于那些比较不同分类算法的性能的仿真研究。基于相应混合分量重叠的内禀积分测度在分析上通常是难以处理的。当空间维度为$d > 1$时,具有不等协方差阵的高斯混合模型也是如此。在这项工作中,我们专注于高斯混合模型,并在样本水平上,我们假设类分配是已知的。我们推导出一个衡量组件重叠的特征值的广义特征问题,代表费舍尔的判别任务。我们解释它背后的原理,并提出模拟结果,显示它可以如何很好地反映其线性逼近的积分测度的行为。所分析的系数具有的优点是分析听话,即使在复杂的设置数值计算。
2014-07-27 math.ST stat.OT stat.TH
Overlapping Mixtures of Gaussian Processes for the Data Association Problem
University of Cantabria(坎塔布里亚大学);University of Sheffield(谢菲尔德大学)
在这项工作中,我们引入了混合的GP来解决数据关联问题,即根据产生它们的源来标记一组观察。与先前提出的几种GP混合物不同,新的混合物具有不使用门控函数来确定样品和混合物组分之间的关联的明显特征。相反,混合物中的所有GP都是全局的,并且样本在输入空间中遵循“轨迹”进行聚类。我们使用非标准的变分贝叶斯算法来有效地恢复样本标签和学习超参数。我们展示了如何多目标跟踪问题可以消除歧义,也探讨了在传统的回归设置模型的特点。
2011-08-16 cs.AI cs.LG stat.ML
Hierarchical Mixture-of-Experts Model for Large-Scale Gaussian Process Regression
Imperial College London(帝国理工学院)
提出了一种实用的、可扩展的大规模非线性概率回归高斯过程模型。我们的混合专家模型在概念上是简单的,分层重组计算的一个完整的高斯过程的整体近似。封闭形式和分布式计算允许高效和大规模的并行化,同时保持内存消耗小。如果有足够的计算资源,我们的模型可以处理任意大的数据集,没有显式稀疏近似。我们提供了强有力的实验证据表明,我们的模型可以应用于规模远远超过数百万的大型数据集。因此,我们的模型有可能为一般大规模高斯过程的研究奠定基础。
2014-12-09 cs.AI cs.LG stat.CO
Training Gaussian Mixture Models at Scale via Coresets
如何在海量数据集上训练统计混合模型?在这项工作中,我们将展示如何构建混合高斯coresets。核心集是数据的加权子集,这保证了拟合核心集的模型也为原始数据集提供了良好的拟合。我们发现,也许令人惊讶的是,高斯混合承认coresets的大小多项式的尺寸和混合成分的数量,而独立的数据集的大小。因此,人们可以利用计算密集型算法来计算一个非常小的数据集上的一个很好的近似。更重要的是,这样的核心集可以有效地构建在分布式和流设置,并不施加限制的数据生成过程。我们的研究结果依赖于一个新的减少统计估计问题的计算几何和新的组合复杂性结果的混合高斯。几个真实世界的数据集上的实证评估表明,我们的基于核心集的方法可以显着减少训练时间,近似误差可以忽略不计。
2018-01-15 stat.ML
A Riemannian Newton Trust-Region Method for Fitting Gaussian Mixture Models
University of Trier(特里尔大学)
高斯混合模型是数据科学和统计学中的一个强大工具,主要用于聚类和密度近似。估计模型参数的任务在实践中通常通过期望最大化(EM)算法来解决,该算法具有简单性和每次迭代成本低的优点。然而,EM收敛缓慢,如果有很大的份额隐藏信息或重叠的集群。高斯混合模型流形优化的最新进展引起了越来越多的关注。我们引入了一个明确的公式的黎曼Hessian高斯混合模型。在此基础上,我们提出了一种新的黎曼牛顿信赖域方法,该方法在运行时间和迭代次数方面都优于当前的方法。我们将我们的方法应用于聚类问题和密度近似任务。与现有方法相比,我们的方法对于具有大量隐藏信息的数据非常强大。
2022-08-24 cs.LG math.OC stat.CO
Bayesian inference of Gaussian mixture models with noninformative priors
本文讨论混合高斯分布的贝叶斯推断。一种新的配方的混合模型,其中包括先验约束,每个高斯分量总是分配一个最小数量的数据点。这使得非信息性的不适当的先验,如Jeffreys之前被放置在组件参数上。我们证明了在指定一个标准的高斯混合模型的先验所涉及的困难,并展示了如何新的模型可以用来克服这些。MCMC方法给出了有效的采样从这个模型的后验。
2014-05-19 stat.ME
Spatial Covariance Constraints for Gaussian Mixture Models
University of British Columbia Okanagan Campus(不列颠哥伦比亚大学奥肯那根校区)
本文提出了一种高斯混合模型的空间协方差约束方法,通过减少自由参数数量提升模型效率,并通过模拟和实验验证其有效性。
2026-01-12 stat.ME stat.ML
A Bayesian approach for clustering skewed data using mixtures of multivariate normal-inverse Gaussian distributions
非高斯混合模型在基于混合模型的聚类中得到越来越多的关注,特别是在处理具有偏态和重尾等特征的数据时。在这里,这样的混合分布,基于多元正态逆高斯(MNIG)分布。对于混合模型的参数估计,采用基于Gibbs抽样的贝叶斯方法,提出了一种模拟单变量广义逆高斯随机变量和矩阵广义逆高斯随机矩阵的新方法.该算法将被应用到模拟和真实数据。通过仿真研究和实际数据分析,我们表明参数恢复,我们的方法提供了竞争力的聚类结果相比,其他聚类方法。
2020-05-06 stat.CO
PAC Learning Mixtures of Axis-Aligned Gaussians with No Separation Assumption
我们提出并分析了一个新的优势点的混合高斯学习:即,PAC风格的学习概率分布模型引入的Kearns等人。在这里的任务是构建一个假设的混合高斯是统计上无法区分的实际混合生成的数据;具体来说,KL发散应该是最大的。在这种情况下,我们给出了一个poly(n/n)-time算法,它可以学习n维欧氏空间中任意常数个轴对齐高斯的混合类。我们的算法没有对高斯均值之间的分离做任何假设,也不依赖于最小混合权重。这与"聚类“模型中已知的学习结果形成对比,在”聚类“模型中,这种假设是不可避免的。我们的算法依赖于矩量法,以及作者(FOCS 2005)在以前的工作中开发的离散混合学习问题的子算法。
2006-09-16 cs.LG
A Bayesian Filtering Algorithm for Gaussian Mixture Models
School of Engineering, University of Newcastle, Australia.(纽卡斯尔大学工程学院)
本文提出了一种针对可由高斯混合模型建模的状态空间系统的贝叶斯滤波算法,通过在时间更新和测量更新后引入高斯混合缩减步骤来处理滤波问题中的指数增长混合项问题,并在多个模拟系统上对统一算法的平方根实现进行了性能评估。
2023-06-30 cs.SY eess.SY stat.ML
Learning Mixtures of Gaussians in High Dimensions
Microsoft Research(微软研究院);MIT EECS(麻省理工学院电子工程与计算机科学系)
有效地学习高斯混合是统计学和学习理论中的一个基本问题。给定来自Rn中k个高斯分布中的随机分布的样本,学习问题要求估计这些高斯分布的均值和协方差矩阵。这个学习问题出现在从自然科学到社会科学的许多领域,并且也发现了许多机器学习应用。不幸的是,学习高斯混合是一个信息理论上的难题:为了学习参数达到合理的精度,所需的样本数量在最坏情况下是高斯分量数量的指数。在这项工作中,我们证明了,只要我们在足够高的维度上,高斯混合类在平滑的分析框架下以其最一般的形式是可学习的,其中参数从对抗性的起点随机扰动。特别地,给定来自具有随机扰动参数的高斯混合的样本,当n> Ω(k^2)时,我们给出了一个具有多项式运行时间和使用多项式样本数学习参数的算法。中心算法的想法包括新的方法来分解高斯混合的矩张量,利用其结构特性。这个张量的对称性来自高斯分布高阶矩的组合结构(有时称为伊瑟利斯定理或威克定理)。我们还开发了新的工具,用于约束结构随机矩阵的最小奇异值,这在其他平滑分析设置中可能是有用的。
2015-03-10 cs.LG
Bayesian Wasserstein Repulsive Gaussian Mixture Models
本文提出贝叶斯Wasserstein排斥高斯混合模型,基于Wasserstein距离促进聚类分离,并在非参数密度估计框架内建立后验收缩率,验证了其有效性。
2025-04-30 stat.ME
A Latent Gaussian Mixture Model for Clustering Longitudinal Data
有限混合模型已经成为一种流行的聚类工具。在其他用途中,它们已被应用于聚类纵向数据和聚类高维数据。在后一种情况下,有时使用潜在高斯混合模型。虽然已经有大量的工作,聚类使用潜在变量和聚类纵向数据,分别,一直是一个缺乏的工作,结合这些功能。在扩展的混合公因子分析模型的基础上,提出了一种多时间点纵向数据聚类方法。期望最大化算法的一种变体用于参数估计,贝叶斯信息准则用于模型选择。使用真实和模拟数据的方法来说明。
2018-04-13 stat.ME stat.ML
Entropic Partial Optimal Transport and Partial Gromov--Wasserstein Distance between Gaussian Mixtures
本文针对高斯混合模型,开发熵正则化部分最优传输并定义部分混合格罗莫夫-瓦瑟斯坦距离,证明其极小值存在唯一性等性质,经数值实验验证该方法对异常值匹配具有鲁棒性。
2026-08-11 math.OC math.PR stat.ML
Vine copula mixture models and clustering for non-Gaussian data
大多数有限混合模型的缺点是不允许组件内的非对称尾部依赖性,并且在聚类应用中不捕获非椭圆簇。由于藤蔓Copula是非常灵活的,在捕捉这些类型的依赖关系,我们提出了一种新的藤蔓Copula连续数据的混合模型。我们讨论了模型选择和参数估计问题,并进一步制定了一个新的基于模型的聚类算法。在聚类中使用藤连接允许聚类的形状和依赖结构的范围。我们的模拟实验说明了一个显着的增益时,聚类精度显着不对称的尾部依赖或/和非高斯利润的组件内存在。实际数据集的分析伴随着所提出的方法。我们表明,基于模型的聚类算法与藤蔓copula混合模型优于其他基于模型的聚类技术,特别是对非高斯多变量数据。
2021-09-08 stat.ME stat.ML
Variational Inference and Sparsity in High-Dimensional Deep Gaussian Mixture Models
本文针对高维深度高斯混合模型拟合困难的问题,提出使用稀疏先验进行贝叶斯推断,并开发了一种可扩展的自然梯度变分推断算法,通过过拟合混合实现高效的架构选择,有效提升了高维数据的聚类效果。
2021-09-01 stat.ME
Differentiability and Approximation of Probability Functions under Gaussian Mixture Models
Universidad Técnica Federico Santa María(弗雷德里克·维多利亚技术大学);Universidad de Chile(智利大学);Universidad de O’Higgins(奥希金斯大学)
研究高斯混合模型下概率函数,通过扩展球面径向分解,结合条件概率分布特性,将概率函数表示为球面积分,建立可微性条件与梯度表示,并用随机采样逼近概率函数,通过数值示例展示该方法优势。
2026-07-10 math.OC math.PR stat.ML
Summarizing Bayesian Nonparametric Mixture Posterior -- Sliced Optimal Transport Metrics for Gaussian Mixtures
本文提出一种模型无关的贝叶斯非参数混合模型后验总结方法,以混合测度估计为核心目标,通过最小化基于切片 Wasserstein 距离的后验期望损失,并针对高斯混合设计了两种高效变体。
2025-05-08 stat.AP stat.CO stat.ME
Signal Partitioning Algorithm for Highly Efficient Gaussian Mixture Modeling in Mass Spectrometry
质谱的混合建模是一种具有许多潜在应用的方法,包括峰检测和定量、平滑、去噪、特征提取和光谱信号压缩。然而,现有的算法不允许自动分析整个光谱。因此,尽管突出了肽/蛋白质混合物的质谱的混合物建模的潜在优势和在几篇论文中提出的一些初步结果,混合物建模方法迄今尚未发展到能够与现有的蛋白质组学质谱分析软件包进行系统比较的阶段。在本文中,我们提出了一个有效的算法高斯混合建模的蛋白质组质谱的不同类型(例如,MALDI-ToF分析,MALDI-IMS)。其主要思想是将蛋白质质谱信号自动分割成片段。得到的碎片分别分解成高斯混合模型。然后对碎片混合模型的参数进行聚合,形成整个光谱的混合模型。我们比较详细的算法,现有的峰值检测算法,我们证明了使用高斯混合建模的峰值检测效率的提高。我们还展示了应用程序的详细算法,真正的蛋白质组数据集的低和高分辨率。
2015-02-10 stat.CO
Bayesian mixture modeling using a mixture of finite mixtures with normalized inverse Gaussian weights
Hiroshima University(广岛大学)
研究贝叶斯混合模型中成分数量未知的情况,提出基于归一化逆高斯权重的MFM方法,通过引入潜在变量用块吉布斯采样计算后验,经数值实验和实际数据示例验证性能,还考虑了对动态MFM的扩展。
2026-07-09 stat.ME
A BGe score for tied-covariance mixtures of Gaussian Bayesian networks
Bernoulli Institute (BI) Rijksuniversiteit Groningen(格罗宁根大学伯努利研究所)
研究高斯贝叶斯网络混合模型,提出协方差绑定混合模型,推导其边际似然得BGe评分指标,通过结合结构MCMC和快速吉布斯采样器的MCMC方案进行模型推理,并在模拟和基准数据上比较两种模型。
2026-07-20 stat.CO
Flexible Mixture Modeling with the Polynomial Gaussian Cluster-Weighted Model
在混合建模框架下,本文提出了多项式高斯聚类加权模型(CWM)。它扩展了线性高斯CWM,二元数据,在一个双重的方式。首先,通过考虑多项式回归,它允许混合成分中可能的非线性依赖性。其次,它不限于用于基于模型的聚类,仅在最一般的基于模型的分类框架中进行上下文化。使用期望最大化算法导出极大似然参数估计,并使用贝叶斯信息准则(BIC)和综合完全似然(ICL)进行模型选择。本文还研究了多项式高斯CWM的成分隶属度的后验概率与其它已建立的相关混合模型的成分隶属度的后验概率相一致的条件,对于这些模型,多项式高斯CWM应用于本文所考虑的人工数据和真实数据时,都显示出优良的聚类和分类结果。
2012-07-04 stat.CO stat.ME
Improving Inference of Gaussian Mixtures Using Auxiliary Variables
将一个低维问题扩展到高维空间,然后投影回来通常是有益的。本文在有限混合模型的背景下严格研究了这一观点,即如何通过使用辅助变量来改进混合模型的推理。尽管大量的文献在混合模型和一些经验的例子,有没有以前的工作,给出了一般的理论理由,包括辅助变量的混合模型,即使在特殊情况下。我们提供了一个理论基础,比较推断的混合多元模型与相应的推断边际单变量混合模型。几种特殊情况下的分析结果建立。我们发现,正确分配混合成员的概率和信息数的主要结果的手段,在一个双变量模型与两个高斯混合物一般大于在每个单变量模型。在一系列的情况下,包括错误指定的模型,进行模拟,以检查改进。该方法在生态学和因果推断中的两个实际应用说明。
2014-11-07 stat.ME
Initializing EM algorithm for univariate Gaussian, multi-component, heteroscedastic mixture models by dynamic programming partitions
EM递推算法估计混合分布时,参数初值的设置对估计的整体质量至关重要。现有的方法都不适合含有大量组分的混合物。我们提出了一个相关的方法来估计参数的初始值的单变量,异方差高斯混合物,动态规划算法的基础上划分成箱的观测范围。我们评估的动态规划方法对应于不同的评分函数分区的变种。对于模拟和真实的数据集,我们证明了所提出的方法相比,现有的技术优越的效率。
2015-08-02 stat.AP
Latent Gaussian Mixture Models for Nationwide Kidney Transplant Center Evaluation
移植后五年存活率是美国肾移植中心提供的护理质量的重要指标。为了提供对每个移植中心的公平评估,代表中心特定护理质量的效果以及患者水平的风险因素通常包括在风险调整模型中。在过去,中心效应已被建模为固定效应或高斯随机效应,有各种利弊。我们的数值分析表明,分布假设确实影响中心效应的预测,特别是当效果是极端的。为了弥合这两种方法之间的差距,我们建议将移植中心效应建模为具有有限高斯混合分布的潜在随机变量。这种潜在的高斯混合模型提供了一个方便的框架来研究移植中心之间的异质性。为了克服弱可识别性问题,我们建议使用惩罚似然方法估计潜在的高斯混合模型,并开发顺序的局部限制似然比检验,以确定高斯混合分布中的组件的数量。当筛选表现不佳或表现出色的移植中心时,拟合混合模型提供了控制错误发现率的方便手段。通过仿真和激励数据实例的分析,验证了该方法的性能。
2017-03-10 stat.AP
Continuous Gaussian mixture solution for linear Bayesian inversion with application to Laplace priors
针对线性贝叶斯反演问题,提出基于高斯混合的两步采样方法及降维近似策略,推导了后验混合密度闭式表达式,并在 Laplace 先验下验证了近似样本的低相关性与高精度。
2024-08-29 math.PR stat.AP stat.CO
Bayesian estimation of optical constants using mixtures of Gaussian process experts
Aalto University(阿尔托大学);KTH Royal Institute of Technology(瑞典皇家理工学院);LUT University(拉彭兰塔-拉赫蒂理工大学)
本文提出利用高斯过程专家混合建模吸收光谱测量,通过灵活的统计模型实现插值与外推,并结合Kramers-Kronig关系估计复折射率。同时统计建模锚点以考虑测量误差,自动选择外推测量点。
2026-03-27 physics.data-an stat.AP
Exact Consistency Tests for Gaussian Mixture Filters using Normalized Deviation Squared Statistics
Smead Aerospace Engineering Sciences, University of Colorado Boulder(科罗拉多大学博尔德分校斯米德航空航天工程科学学院);Aurora Flight Sciences, a Boeing Company(波音公司旗下极光飞行科学公司)
本文针对高斯混合滤波器的动态一致性检验问题,在归一化偏差平方统计框架下推导出精确结果,证明检验统计量服从广义卡方分布混合,并通过数值示例验证了其准确性和实用性。
2024-03-15 cs.CV cs.RO cs.SY
Semiparametric Imputation Using Conditional Gaussian Mixture Models under Item Nonresponse
插补是调查抽样中处理项目无应答的常用技术。参数插补基于插补的参数模型,对插补模型的失效不太稳健。非参数插补是完全稳健的,但由于维数灾难,当协变量的维数很大时不适用。半参数插补是另一种基于灵活模型的稳健插补,其中模型参数的数量可以随着样本量的增加而增加。在本文中,我们提出了另一种半参数插补的基础上更灵活的模型假设比高斯混合模型。在建议的混合模型中,我们假设一个条件高斯模型的研究变量给定的辅助变量,但边缘分布的辅助变量不一定是高斯。我们表明,建议的混合模型实现了较低的近似误差绑定到任何未知的目标密度比高斯混合模型的库尔贝克-莱布勒散度。通过在条件对数似然函数中引入惩罚函数,该方法适用于高维协变量问题。该方法适用于韩国统计局进行的2017年韩国家庭收入和支出调查。补充材料可在线查阅。
2019-09-19 stat.ME