Variational Bayes and Truncation approximations for Enriched Dirichlet process mixtures
本文提出了一种用于增强狄利克雷过程混合模型(EDPM)的变分贝叶斯估计器,通过改进的截断近似方法提高效率,并展示了其在Nimble中实现阻塞吉布斯采样器的应用,通过模拟和实际数据验证了方法的有效性。
2026-06-03 stat.ME
Finite Mixtures of Canonical Fundamental Skew t-Distributions
这是Lee和McLachlan(2014 b)论文的扩展版本,增加了模拟和应用。本文介绍了一种基于模型的聚类方法的典型基本偏斜t(CFUST)分布的有限混合,其中聚类是不对称的,并且可能是长尾的(Lee和McLachlan,2014 b)。CFUST分布族包括受限多元偏斜t(rMST)和非受限多元偏斜t(uMST)分布作为特例。近年来,人们提出了几种不同形式的多元偏斜t(MST)模型,并提出了各种EM型参数估计算法。这些配方采用了限制或不受限制的表征其MST密度。在本文中,我们研究了这些发展的自然推广,采用CFUST分布作为参数族的组件分布,并指出,限制和无限制的特征可以统一在这个一般的配方。我们表明,期望最大化算法的精确实现可以实现CFUST分布和混合的分布,并提出了一些新的分析结果的条件期望参与的E-步骤。
2014-05-04 stat.ME
Sampling from Dirichlet process mixture models with unknown concentration parameter: Mixing issues in large data implementations
本文研究了一般的带浓度参数α的Dirichlet过程混合模型的马尔可夫链蒙特卡罗抽样问题。本文介绍了一种结合Walker(2007)的切片采样方法和Papaspiliopoulos和Roberts(2008)的回顾采样方法的吉布斯抽样算法。我们的通用算法是作为有效的开源C++软件实现的,可作为R包使用,并且基于类似于Papaspiliopoulos(2008)提出并由Yau等人(2011)实现的阻塞策略。我们讨论的困难,实现良好的混合MCMC采样器的这种性质和调查的敏感性初始化。我们还考虑了当添加额外的层次结构层时的挑战,以便在alpha上进行联合推理。我们引入了一个新的标签切换移动和计算后验边缘模型,以帮助克服这些困难。我们的工作说明使用配置文件回归(Molitor等人,2010年)的应用程序,在那里我们证明了良好的混合行为的合成和真实的例子。
2014-02-20 stat.CO
Method of moments for Gaussian mixtures: Implementation and benchmarks
针对高斯混合模型参数恢复问题,本文记录高维场景下矩量法性能,概述矩选择及对应多项式,实现为Julia包GMMParameterEstimation并提供计算基准,助力相关领域参数恢复应用。
2025-02-11 cs.NA math.NA stat.CO
MIXANDMIX: numerical techniques for the computation of empirical spectral distributions of population mixtures
描述了用于计算由群体混合物产生的随机矩阵的经验谱分布的MIXANDMIX(由Anderson混合的混合物)工具。在总体混合模型中,可以通过求解一组非线性方程组来获得总体分布与极限谱分布之间的映射,为此提供了有效的实现。贡献包括加速不动点收敛的方法,同伦连续策略,以防止收敛到非容许的解决方案,一个盲目的非均匀网格建设的有效分布支持检测和近似,和并行计算架构。比较与可用的软件包的单一人口的情况下,通过模拟获得的更一般的模型在这里实现的结果。结果显示出具有竞争力的性能和更高的灵活性。
2019-06-20 stat.CO
Multi-Node EM Algorithm for Finite Mixture Models
有限混合模型是建模和分析异构数据的有力工具。参数估计通常通过期望最大化(EM)算法使用极大似然估计来执行。最近,采用灵活的分布作为组件密度已变得越来越流行。通常,用于这些模型的期望最大化算法涉及复杂的表达式,这些表达式在数值上进行评估是耗时的。在本文中,我们描述了EM算法的并行实现,适用于单线程和多线程处理器,并为单机和多节点系统。数值实验表明,在不同的设置下,潜在的性能增益。还比较了两个常用的平台- R和MATLAB。为了说明,在比较中使用了相当一般的混合物模型。
2020-05-14 stat.CO
Jeffreys priors for mixture estimation
虽然Jeffreys先验通常对于混合分布的参数是定义良好的,但它们并不以封闭形式提供。此外,他们往往是不适当的先验。因此,它们从未被用来推断混合参数。在本文中,我们研究的实施和Jeffreys先验在几个混合设置的属性,显示相关的后验分布大多数情况下是不适当的,然后提出了一个非信息的替代分析的混合物。
2015-12-20 stat.CO stat.ME
Tractable Bayesian Density Regression via Logit Stick-Breaking Priors
人们越来越关注响应变量的分布如何随一组预测变量而变化。贝叶斯非参数依赖混合模型提供了一种灵活的方法来解决这个问题。然而,几个公式需要计算要求高的算法后验推理。基于这个问题,我们研究了一类预测依赖的无限混合模型,它依赖于一个简单的表示的棒断裂先验通过顺序逻辑斯谛回归。该公式保持了与流行的预测依赖棒断裂先验相同的理想特性,并利用最近的Pólya-gamma数据增强来促进后验推理的几种计算方法的实现。这些例程包括马尔可夫链蒙特卡罗通过吉布斯抽样,期望最大化算法,和平均场变分贝叶斯可扩展的推理,从而刺激了更广泛的实施贝叶斯密度回归的从业者。与这些方法相关的算法详细介绍,并在毒理学研究中进行测试。
2020-05-04 stat.CO
Parsimonious mixtures of multivariate contaminated normal distributions
多元污染正态分布的混合开发基于模型的聚类。除了经典的正常的混合物的参数,我们的污染的混合物,对于每个集群,一个参数控制温和的离群值的比例和一个指定的污染程度。至关重要的是,这些参数不必事先指定,为我们的方法增加了灵活性。通过分量协方差阵的特征分解引入了简约性,并给出了所有成员可识别的充分条件。一个期望条件最大化算法概述了参数估计和各种实施问题进行了讨论。使用一个大规模的模拟研究,所提出的方法的行为进行了研究和比较,以及建立有限的混合物。这个新的家庭的模型的性能也说明了人工和真实的数据。
2016-05-19 stat.CO stat.ME
Weakly informative reparameterisations for location-scale mixtures
虽然高斯分布的混合物已经研究了一个多世纪(Pearson,1894),但这些模型的参考贝叶斯分析的构建仍然没有解决,由于这种统计对象的不适定性,一般禁止使用不适当的先验(Fruadith-Schnatter,2006)。这个困难通常是绕过经验贝叶斯决议(理查森和绿色,1997年)。通过创建一个新的参数化的平均值和可能的方差的混合物分布本身,我们设法在这里开发一个弱信息的前一个广泛的混合物与任意数量的组件。我们证明了与此先验和最小样本量相关的一些后验分布是适当的。我们提供MCMC实现,表现出预期的交换。我们在这里只研究单变量的情况下,扩展到多变量的位置规模的混合物目前正在研究中。一个名为Ultimixt的R软件包与本文相关。
2017-07-31 stat.CO stat.ME
Improved EM for Mixture Proportions with Applications to Nonparametric ML Estimation for Censored Data
改进的EM策略,基于有效的数据增强的想法(孟和van Dyk 1997,1998),提出了混合比例的ML估计。由此产生的算法继承了EM的简单性,易于实现,单调收敛特性,但有相当大的提高速度。由于传统的EM往往是缓慢的,当存在一个大的重叠之间的混合成分,我们可以提高速度,而不牺牲简单性或稳定性,如果我们可以重新制定的问题,以减少重叠的量。为此,我们提出了简单的“挤压”策略。此外,对于高维问题,如计算非参数MLE的分布函数与删失数据,传统EM的一个自然和有效的补救措施是增加交换步骤(基于改进的EM)之间的相邻的混合成分,重叠是最严重的。理论考虑表明,当仔细实现时,由此产生的EM类型算法是全局收敛的。模拟和真实数据的例子表明,在现实情况下的速度显着提高。
2010-02-18 stat.CO stat.ME
Deep Skew-t Mixture Models
The University of Queensland(昆士兰大学);Guangdong University of Finance and Economics(广东财经大学)
针对分量分布兼具重尾与方向不对称性的高维聚类问题,提出深度偏t混合模型,经模拟与真实数据验证,其在偏度较强、重尾及小样本等场景下聚类性能优于相关基准模型。
2026-09-02 stat.CO stat.ME stat.ML
Choosing the number of clusters in a finite mixture model using an exact Integrated Completed Likelihood criterion
集成完全似然(ICL)准则已被证明是一个非常流行的方法,在基于模型的聚类,通过自动选择的混合模型中的聚类数。这种方法有效地最大化了完整的数据可能性,从而包括在模型选择标准的集群的观测值的分配。然而,对于实际实施,需要引入近似值以估计ICL。我们在这里的贡献是为了说明,通过使用共轭先验,可以得到一个精确的表达ICL,从而避免任何近似。此外,我们说明了如何在一个算法框架中找到聚类的数量和观测的最佳分配。我们的算法的性能是在几个模拟和真实的例子。
2015-05-25 stat.CO stat.ME
Mixture-Models: a one-stop Python Library for Model-based Clustering using various Mixture Models
School of Computing(计算机学院);National University of Singapore(新加坡国立大学)
Mixture-Models是一个开源Python库,通过自动微分工具利用一阶/二阶优化例程拟合GMM及其变体,支持高维数据扩展,提供BIC等评估工具,并通过大规模模拟确定了最佳优化方法。
2024-02-08 cs.LG stat.CO
Flexible Multivariate Density Estimation with Marginal Adaptation
我们的文章解决了灵活估计多元密度的问题,同时也试图正确估计其边缘。我们这样做,提出了两个新的估计,试图捕捉最好的功能,同时避免他们的一些弱点的混合法线和copula估计。我们提出的第一个估计是一个混合的常态copula模型,这是一个灵活的替代参数copula模型,如正常和t copula。第二个是一个边际适应混合的法线估计,通过使用包含在单变量估计的边际密度的信息,提高了标准的混合法线。我们的经验表明,Copula为基础的方法可以表现得更好或更差的估计的基础上混合的法线取决于数据的属性。我们提供了快速和可靠的估计实现,并说明了模拟和真实数据的方法。
2009-01-02 stat.CO stat.ME
Asymmetric Clusters and Outliers: Mixtures of Multivariate Contaminated Shifted Asymmetric Laplace Distributions
开发了多变量污染移位非对称拉普拉斯分布的混合,用于在存在离群值(本文中也称为坏点)的情况下处理非对称聚类。除了相关的非污染混合物的参数,对于每个(不对称)集群,我们的模型有一个参数控制离群值的比例和一个指定的污染程度。至关重要的是,这些参数不必事先指定,为我们的方法增加了灵活性,这是其他方法(如修剪)所缺乏的。此外,每个观察被给予属于特定聚类以及是否为离群值的后验概率;有利地,这允许离群值的自动检测。一个期望条件最大化算法概述了参数估计和各种实施问题进行了讨论。所提出的模型的行为进行了研究,并与完善的有限混合物,人工和真实的数据。
2018-04-24 stat.CO stat.ME stat.ML
High-dimensional unsupervised classification via parsimonious contaminated mixtures
污染高斯分布代表高斯分布的一个简单的重尾椭圆推广;与经常考虑的t分布不同,它还允许自动检测轻微的离群点或“坏”点,其方式与观察通常分配给有限混合模型上下文中的组相同。从这个分布出发,我们提出了污染因子分析模型作为降维和检测更高维度的坏点的方法。混合污染高斯因子分析器(MCGFA)模型如下,并扩展最近提出的混合污染高斯分布的高维数据。我们介绍了一个家庭的32个简约的模型,通过引入一般MCGFA模型的协方差和污染结构的约束。我们概述了参数估计的期望最大化算法的一个变体。各种实施问题进行了讨论,和新的家庭的模型相比,成熟的方法模拟和真实的数据。
2019-08-28 stat.AP stat.CO stat.ME