An Efficient Model Selection for Gaussian Mixture Model in a Bayesian Framework
Center for Information Security Technology (CIST), Korea University(高丽大学信息安全技术中心(CIST));Korea University(高丽大学)
为了对数据进行聚类或分区,我们经常使用期望和最大化(EM)或高斯混合模型(GMM)的变分近似,GMM是一个参数概率密度函数,表示为$\hat{K}$高斯分量密度的加权和。然而,模型选择,以找到潜在的$\hat{K}$是GMM聚类的关键问题之一,因为我们可以获得所需的集群只有当$\hat{K}$是已知的。在本文中,我们提出了一个新的模型选择算法,探讨$\hat{K}$在贝叶斯框架。该算法建立了模型阶数的密度,这是AIC和BIC等信息准则基本上无法重建的。此外,与耗时的蒙特卡罗模拟相比,该算法可以快速地重建密度。
2013-07-03 cs.LG stat.ML
Fitting large mixture models using stochastic component selection
传统的有限混合模型的无监督学习方法需要评估混合模型中所有成分的似然性。当组件的数量很大时,这在计算上变得禁止,例如,在和积(变换)网络中。因此,我们建议应用的期望最大化和大都会黑斯廷斯算法的组合,以评估只有少量的,随机采样,组件,从而大大降低了计算成本。组件分配的马尔可夫链在算法的迭代中顺序生成,具有非平稳目标分布,其参数通过梯度下降方案而变化。我们把重点放在我们的方法的通用性,配备它的能力,训练浅和深的混合模型,涉及复杂的,可能是非线性的,转换。我们的方法的性能在各种合成和真实数据环境中进行了说明,考虑到深度模型,例如归一化流和和积(变换)网络的混合。
2021-10-10 cs.LG stat.ML
Model Selection and Parameter Estimation for Multidimensional Gaussian Mixture Models with a Common Covariance Matrix
Department of Mathematics, Hong Kong University of Science and Technology (HKUST)(香港科技大学数学系)
本文研究了多维高斯混合模型的学习问题,重点在于模型阶选择和高效混合分布估计。通过建立信息论下界,提出基于阈值的估计算法,结合梯度下降方法和PCA降维,验证了方法的最优性与高效性。
2026-09-01 cs.LG stat.ML
Provable Tensor Methods for Learning Mixtures of Generalized Linear Models
University of California, Irvine(加州大学欧文分校)
我们考虑的问题,学习混合的广义线性模型(GLM)中出现的分类和回归问题。典型的学习方法,如期望最大化(EM)或变分贝叶斯可能会陷入虚假的局部最优。相比之下,我们提出了一个张量分解方法,保证正确地恢复参数。关键的见解是采用输入的某些特征变换,这取决于输入生成模型。具体来说,我们采用输入的得分函数张量,并计算它们与响应变量的互相关。我们建立了这个张量的分解一致恢复的参数,在温和的非简并条件下。我们证明了我们的方法的计算和样本的复杂性是一个低阶多项式的输入和潜在的尺寸。
2016-01-13 cs.LG stat.ML
Factorized Asymptotic Bayesian Hidden Markov Models
NEC Laboratories America(美国 NEC 实验室);University of Tokyo(东京大学)
本文讨论了隐马尔可夫模型(HMM)的模型选择问题。我们推广了因子分解渐近贝叶斯推断(FAB),这是最近开发的独立隐变量模型选择(即,混合模型),用于时间依赖的隐变量。与混合模型中的FAB算法一样,本文推导出了基于因子分解信息准则(FIC)的混合模型中的FAB算法。它继承了混合模型的FAB,学习障碍的几个理想的属性,如FIC与边际对数似然的渐近一致性,隐藏状态选择的收缩效应,通过迭代优化的FIC下限的单调增加。此外,它没有可调的超参数,因此其模型选择过程可以完全自动化。实验结果表明,FAB优于国家的最先进的变分贝叶斯HMM和非参数贝叶斯HMM的模型选择精度和计算效率。
2012-06-18 cs.LG stat.ML
A Two-round Variant of EM for Gaussian Mixtures
AT&T Labs - Research(AT&T实验室-研究部);Georgia Institute of Technology(佐治亚理工学院)
给定一组可能的模型(例如,贝叶斯网络结构)和数据样本,在无监督模型选择问题中,任务是选择关于域联合概率分布的最准确的模型。与此相反,在监督模型选择中,先验已知所选模型将在未来用于涉及更“集中”的预测分布的预测任务。虽然可以通过边缘化从联合概率分布中产生集中的预测分布,但实际上,无监督意义上的最佳模型不一定在监督域中表现良好。特别是,标准边际似然得分是无监督任务的标准,虽然经常用于监督模型选择,但在此类任务中表现不佳。在本文中,我们研究了边际似然得分的监督贝叶斯网络选择任务的经验性能,通过使用大量的公开可用的分类数据集,并比较结果与其他模型选择标准,包括经验交叉验证方法,监督边际似然测度的近似,结果表明,边缘似然得分在有监督的模型选择中表现不佳,而Dawids序贯概率方法则获得了最好的结果。
2013-01-16 cs.LG stat.ML
Provable learning of Noisy-or Networks
Princeton University(普林斯顿大学);Duke University(杜克大学)
许多机器学习应用程序使用隐变量模型来解释数据中的结构,从而将可见变量(=给定数据点的坐标)解释为某些隐变量的概率函数。即使在非常简单的设置中,找到具有最大似然的参数也是NP困难的。近年来,可证明有效的算法,但开发了线性结构的模型:主题模型,混合模型,隐马尔可夫模型等,这些算法使用矩阵或张量分解,并作出一些合理的假设的参数的基础模型。但是当潜变量模型具有非线性时,矩阵或张量分解似乎没有什么用处。目前的论文展示了如何取得进展:张量分解被应用于学习单层{ \em noisy or}网络,这是贝叶斯网络的教科书示例,并且例如在经典的QMR-DT软件中用于通过观察患者表现出的症状来诊断患者可能患有的疾病。这里的技术新颖性,在未来的其他设置中应该是有用的,是在存在系统误差的情况下分析张量分解(即,其中噪声/误差与信号相关,并且不随着样本数量变为无穷大而减小)。这需要从头开始重新思考张量分解方法的所有步骤。为了简单起见,我们的分析假设网络参数是从概率分布中选择的,但该方法似乎更普遍适用。
2016-12-28 cs.DS cs.LG stat.ML
Provable Uncertainty Decomposition via Higher-Order Calibration
Harvard University(哈佛大学);Apple(苹果公司);Stanford University(斯坦福大学)
本文提出高阶校准新概念,利用 k-快照度量并实现高阶校准,首次在不对真实数据分布作任何假设的情况下,为模型预测不确定性分解为偶然与认知分量提供可证明保证,并在图像分类中验证其有效性。
2024-12-25 cs.CV cs.LG stat.ML
A Bayesian Finite Mixture Model with Variable Selection for Data with Mixed-type Variables
University of Florida(佛罗里达大学);University of Florida Health Cancer Center(佛罗里达大学健康癌症中心);University of Pittsburgh(匹兹堡大学)
有限混合模型是聚类方法的一个重要分支,可以应用于混合类型变量的数据集。然而,在其应用中存在挑战。首先,它通常依赖于期望最大化算法,该算法可能对初始值的选择敏感。其次,生物标志物受检测限(LOD)的限制在临床数据中是常见的,这将删失变量带入有限混合模型。此外,由于可用于聚类的变量数量越来越多,研究人员最近对变量重要性越来越感兴趣。为了解决这些挑战,我们提出了一个贝叶斯有限混合模型,同时进行变量选择,占生物标志物LOD和获得聚类结果。为了克服期望最大化算法的局限性,我们采用贝叶斯方法来获得参数估计和聚类隶属度。为了解释LOD,我们在吉布斯抽样中增加了一个步骤,以迭代地填充低于或高于LOD的生物标志物值。此外,我们把一个尖峰和平板型的先验对每个变量,以获得变量的重要性。在各种情况下进行模拟,以检查这种方法的性能。还进行了电子健康记录的真实数据应用。
2019-05-09 cs.LG stat.AP stat.ML
Model Selection for Gaussian Mixture Models
本文讨论了有限混合模型中的一个重要问题,即混合组分数的选择。提出了一种新的惩罚似然方法用于有限多元高斯混合模型的模型选择。所提出的方法被证明是统计上一致的,在确定的组件的数量。提出了一种改进的期望最大化算法,它可以同时选择混合分量的个数和估计混合权重,即混合概率和高斯分布的未知参数。仿真和实际数据分析,以说明所提出的方法的性能。
2013-01-16 math.ST stat.ME stat.ML
A sparse negative binomial mixture model for clustering RNA-seq count data
MD Anderson Cancer Center(MD安德森癌症中心);University of Pittsburgh(匹兹堡大学);University of Maryland(马里兰大学)
对于现代小n大p数据,变量选择聚类是一项具有挑战性的关键任务。基于稀疏高斯混合模型或稀疏K均值的现有方法提供了连续数据的解决方案。随着RNA-seq技术的流行和缺乏用于聚类的计数数据建模,当前的实践是将计数表达数据归一化为连续测量并应用具有高斯假设的现有模型。在本文中,我们开发了一个负二项混合模型与lasso或融合lasso基因正则化聚类样本(小n)与高维基因特征(大p)。采用期望最大化算法和贝叶斯信息准则进行推理,确定整定参数。使用广泛的模拟和大鼠脑和乳腺癌研究中的两个真实转录组应用将该方法与现有方法进行比较。结果表明,所提出的计数数据模型在聚类精度,特征选择和生物学解释的途径优越的性能。
2020-04-25 cs.LG stat.ML
A Variational Approximations-DIC Rubric for Parameter Estimation and Mixture Model Selection Within a Family Setting
基于混合模型的聚类自五十多年前引入以来已成为一种越来越受欢迎的数据分析技术,并且现在通常在家庭环境中使用。混合模型的族出现时的组件参数,通常是组件的协方差(或规模)矩阵,被分解,并施加了一些约束。在族设置内,模型选择涉及选择族的成员,即,适当的协方差结构,以及混合成分的数量。目前,贝叶斯信息准则(BIC)已被证明是最有效的模型选择,而期望最大化(EM)算法通常用于参数估计。事实上,这个EM-BIC规则几乎垄断了混合模型族的文献。偏离这个标题,变分贝叶斯近似的参数估计和偏差信息准则的模型选择。变分贝叶斯方法提供了一个替代的框架参数估计,通过构建一个严格的下限上的复杂的边际似然和最大限度地提高这一下限最小化相关的库尔贝克-莱布勒散度。这种方法是采取最常用的家庭的高斯混合模型,真实和模拟数据被用来比较新的方法的EM-BIC规则。
2019-11-06 stat.CO stat.ME stat.ML
Fast sampling and model selection for Bayesian mixture models
Center for the Study of Complex Systems, University of Michigan(密歇根大学复杂系统研究中心)
我们研究贝叶斯估计的混合模型,并认为有利于拟合的边缘后验分布组件分配直接,而不是吉布斯抽样从联合后验组件和参数是通常做的。以前的一些作者发现前一种方法混合速度很慢,但我们证明,如果正确实现,它可以实现出色的性能。特别是,我们描述了一种新的蒙特卡罗算法,从边缘后采样的一般可积混合,利用拒绝免费抽样从以前的组件分配,以实现优良的混合时间在典型的应用程序中,优于标准的吉布斯抽样,在某些情况下,由一个很宽的利润率。我们展示了高斯,泊松和分类模型的应用程序的选择的方法。
2025-10-22 stat.CO stat.ML
A LASSO-Penalized BIC for Mixture Model Selection
基于族的方法对基于混合模型的聚类和分类的有效性取决于简约模型的选择。目前的智慧建议贝叶斯信息准则(BIC)的混合模型选择。然而,BIC具有众所周知的局限性,包括倾向于高估组件的数量,以及倾向于经常大幅低估更高维度的组件数量。虽然前一个问题可以通过合并组件来解决,但后者在集群和分类应用程序中是不可能缓解的。在本文中,一个LASSO惩罚BIC(LPBIC)的介绍,以克服这个问题。这种方法是说明的基础上的应用程序的扩展的混合物的因素分析,其中的LPBIC是用来选择组件的数量和潜在因素的数量。在几种情况下,LPBIC表现出匹配或优于BIC。
2012-11-27 math.ST stat.CO stat.ME
Model Selection and Parameter Estimation of One-Dimensional Gaussian Mixture Models
本文提出了一种基于傅里叶的方法,用于高效估计一维高斯混合模型的模型阶数和混合分布,且在样本复杂度上达到理论最优。
2026-09-01 cs.LG eess.SP stat.ME
On the Provable Advantage of Unsupervised Pretraining
Princeton University(普林斯顿大学)
无监督预训练使用大量未标记数据学习有用的表示,以促进下游任务的学习,是现代大规模机器学习系统的关键组成部分。尽管它取得了巨大的经验成功,但对无监督预训练为什么通常有帮助的严格理论理解仍然相当有限-大多数现有的结果仅限于具有专门结构假设的无监督预训练的特定方法或方法。本文研究了一个通用的框架,其中的无监督表示学习任务指定的一个抽象类的潜在变量模型$Φ$和下游任务指定的一类预测函数$Ψ$。我们考虑使用极大似然估计(MLE)进行无监督预训练和经验风险最小化(ERM)学习下游任务的自然方法。我们证明了,在一个温和的“信息”的条件下,我们的算法实现了额外的风险$\tilde{\mathcal{O}}(\sqrt{\mathcal{C}_Φ/m} + \sqrt{\mathcal{C}_Ψ/n})$的下游任务,其中$\mathcal{C}_Φ, \mathcal{C}_Ψ$是复杂性措施的功能类$Φ, Ψ$,和$m, n$的未标记和标记的数据的数量分别。与仅使用标记数据执行监督学习所实现的$\tilde{\mathcal{O}}(\sqrt{\mathcal{C}_{Φ\circ Ψ}/n})$的基线相比,我们的结果严格显示了$m \gg n$和$\mathcal{C}_{Φ\circ Ψ} > \mathcal{C}_Ψ$时无监督预训练的好处。本文进一步表明,我们的通用框架涵盖了广泛的无监督预…
2023-03-02 cs.LG math.ST stat.ML
Feature Selection for Linear SVM with Provable Guarantees
Rensselaer Polytechnic Institute(伦斯勒理工学院)
我们给出了两个可证明准确的线性SVM的特征选择技术。算法分别在确定时间和随机时间下运行。我们的算法可以用于无监督或监督设置。监督的方法是基于支持向量的采样特征。我们证明,在特征空间中的利润率被保存在$ε$ -在最坏的情况下,在全特征空间中的利润率的相对误差。在无监督设置中,我们还提供了最小封闭球半径的最坏情况保证,从而确保与全特征空间中的泛化相当,并解决了Dasgupta等人提出的一个开放问题。我们在真实世界的数据集上进行了大量的实验,以支持我们的理论,并证明我们的方法具有竞争力,通常优于现有的最先进的方法,没有已知的可证明的保证。
2015-02-06 cs.LG stat.ML
Detection and Feature Selection in Sparse Mixture Models
我们认为高斯混合模型在高维和集中在检测和特征选择的孪生任务。在均值差异的稀疏性假设下,我们推导出信息界,并建立各种程序的性能,包括样本协方差阵的顶部稀疏特征值和其他基于矩的投影检验,如Malkovich和Afifi(1973)的偏度和峰度检验,以及我们在零值下能够更好地控制的其他变量。
2016-10-01 math.ST stat.ME stat.TH
Dendrogram of mixing measures: Hierarchical clustering and model selection for finite mixture models
本研究提出基于过拟合混合测度构建树状图的新方法,衔接层次聚类与混合建模,可在弱可识别条件下一致选成分数并获最优收敛速率,经模拟验证且可用于单细胞RNA分析。
2024-03-08 stat.ME stat.ML
Confidence set for mixture order selection
针对高斯混合模型阶数选择的不确定性问题,提出模型选择置信集(MSCS),基于惩罚似然比筛选所有合理阶数,提供渐近覆盖保证,并通过模拟和真实数据验证优势。
2025-06-24 math.ST stat.ME stat.TH
Stochastic model selection for Mixtures of Matrix-Normals
矩阵正态分布的有限混合是无监督问题中对三向数据进行分类的有力工具。每个分量的分布被假定为矩阵变量正态密度。混合模型可以通过期望最大化算法在假设组分数目已知且固定的情况下估计。在这项工作中,我们介绍,开发和探索贝叶斯分析的模型,以提供一个工具,同时模型估计和模型选择。仿真研究和一个真实的例子说明了所提出的方法的有效性。
2013-03-06 stat.CO stat.ME
Gaussian Mixture Clustering Using Relative Tests of Fit
我们考虑基于高斯混合模型(GARCH)的显著性检验的聚类。我们的出发点是Liu等人(2008)开发的SigClust方法,该方法引入了基于k-means目标(k = 2)的测试,以决定是否应将数据分为两个聚类。当递归应用时,该测试产生一种具有显著性保证的层次聚类方法。我们研究了这种方法的极限分布和功率在一些例子中,并表明,有大的参数空间的权力是低的区域。然后,我们介绍了一个新的测试的基础上的想法相对适合。与以前的工作不同,我们测试了高斯混合模型是否比单一高斯模型更适合,而不假设任何一个模型都是正确的。所提出的测试有一个简单的临界值,并提供可证明的错误控制。我们的测试的一个版本提供了精确的,有限的样本控制的第一类错误。我们展示了我们的测试可以用于分层聚类以及在一个连续的方式为模型选择。最后,我们进行了广泛的模拟研究和基因表达数据集的聚类分析。
2019-10-07 stat.ME stat.ML
Robust Bayesian model selection for heavy-tailed linear regression using finite mixtures
在本文中,我们提出了一种新的方法来执行重尾分布的线性模型的贝叶斯模型选择。我们考虑一个有限的混合分布模型的潜在变量,其中每个组成部分的混合物对应于一个可能的模型内的对称类的正态独立分布。当然,高斯模型是其中一种可能性。这允许基于每个模型的后验概率进行同时分析。推理是通过马尔可夫链蒙特卡罗-吉布斯抽样与大都会黑斯廷斯步骤的一类参数。模拟的例子突出了这种方法的优势相比,隔离分析的基础上任意选择的模型选择标准。给出了真实数据的示例,并介绍和讨论了对截尾线性回归的扩展。
2017-08-18 stat.ME
Consistency of Variational Bayes Inference for Estimation and Model Selection in Mixtures
混合模型广泛应用于贝叶斯统计和机器学习,特别是在计算生物学,自然语言处理和许多其他领域。变分推理是一种通过优化算法来近似难以处理的后验的技术,在处理混合物等复杂模型时,在实践中非常流行。本文的贡献是双重的。首先,我们研究了后验变分逼近的集中性,这对于一般的混合物仍然是一个开放的问题,我们得到了一致性和收敛速度。我们还解决了模型选择的组件的数量的问题:我们研究的方法已经在实践中使用,其中包括在最大限度地提高数值标准(证据下界)。我们证明了这种策略确实会导致强预言不等式。我们说明我们的理论结果的应用高斯和多项式混合物。
2018-08-12 math.ST stat.CO stat.ME
Order selection with confidence for finite mixture models
有限混料模型的混料分量数(阶数)的确定一直是统计推断中的一个难题。我们证明了封闭测试原则导致一个顺序测试程序(STP),允许的信心声明,以有限混合模型的顺序。我们构造有限样本测试,通过数据分割和数据交换,在STP中使用,我们证明,这样的测试是一致的固定的替代品。模拟研究和真实数据的例子来证明有限样本测试为基础的STP的性能,产生实际的建议,他们使用的置信估计结合点估计,如赤池信息或贝叶斯信息标准。此外,我们证明了修改的STP产生的方法,始终选择有限混合模型的顺序,在渐近意义上。我们的STP不仅适用于有限混合模型的阶选择,而且对于任何嵌套模型序列的置信声明也是有用的。
2022-09-26 stat.ME
Mixtures of g-Priors for Generalised Additive Model Selection with Penalised Splines
我们提出了一个客观的贝叶斯方法来选择协变量和惩罚样条变换广义加性模型。为模型参数指定一个合理的默认先验,并结合模型本身的多重性校正先验,对于这项任务至关重要。在这里,我们使用了良好的研究和良好的行为连续混合的g先验作为默认先验。我们在正态模型中引入该方法,并将其推广到非正态指数族。仿真研究和文献中的应用说明了所提出的方法。一个有效的实现是在R-包“hypergsplines”。
2012-08-20 stat.ME
Modifications of the BIC for order selection in finite mixture models
La Trobe University(拉 Trobe 大学);Institute of Mathematics for Industry, Kyushu University(九州大学产业数学研究所);ARC Centre of Excellence for the Mathematical Analysis of Cellular Systems(ARC 细胞系统数学分析卓越中心);Queensland University of Technology(昆士兰科技大学)
本文提出改进的BIC方法,通过引入微小对数因子实现更弱条件下的模型阶数选择一致性,并揭示了基于一致IC选择的局限性。
2026-02-01 math.ST stat.TH
Growth Mixture Modeling with Measurement Selection
生长混合模型是研究重复测量数据中群体结构的重要工具。与传统的聚类方法不同,它们显式地对观测的重复测量进行建模,并且它们所基于的统计框架允许使用模型选择方法来选择聚类的数量。然而,基本增长混合模型假设数据中的所有测量都具有分组信息/分离聚类。在其他聚类上下文中,已经表明,在聚类过程中包括非聚类变量可能导致在聚类数量和聚类成员/参数方面对组结构的估计不佳。在本文中,我们提出了一个扩展的增长混合模型,允许纳入逐步变量选择的基础上所做的工作Maugis等。(2009)和Raftery和Dean(2006)。仿真研究结果表明,该方法在正确选择聚类变量和提高恢复的集群结构相比,基本的增长混合模型。本文还提出了一个应用模型的临床研究数据集,并得出结论,在这一领域的未来工作的方向进行了讨论和建议。
2017-10-18 stat.ME
Regularized Estimation and Feature Selection in Mixtures of Generalized Linear Experts
University of Science(胡志明市理工大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学);IRT SystemX(法国系统X技术研究所);Dalat University(大叻大学)
针对预测变量众多或相关时广义线性专家混合模型最大似然拟合不稳定的问题,提出正则化最大似然框架,通过ℓ1惩罚和近端牛顿-EM算法实现同步参数估计与特征选择,在模拟和真实数据上有效恢复稀疏支持并提升预测与聚类精度。
2026-09-10 cs.LG stat.AP stat.ME
Estimation and selection for high-order Markov chains with Bayesian mixture transition distribution models
我们开发了两个模型的贝叶斯估计和选择高阶,离散状态马尔可夫链。两者都是基于混合转移分布,它构造了一个转移概率张量与一阶转移矩阵的概率的加法混合。我们证明了所提出的模型的两个用途:通过混合低阶过渡模型来近似高阶动态,以及通过稀疏概率向量的先验过规范和收缩来选择顺序/滞后。先验进一步将所有模型缩小到可识别和可解释的参数化,这对数据分析很有用。我们讨论了模型的属性,并通过仿真研究证明了它们的实用性。我们进一步应用该方法的数据分析,从高阶马尔可夫链文献和时间序列的粉红色鲑鱼在美国阿拉斯加州的小溪丰富。
2019-06-25 stat.ME
Model selection-based estimation for generalized additive models using mixtures of g-priors: Towards systematization
本文研究广义可加模型的贝叶斯模型选择估计,通过Laplace近似扩展至指数分布族,发现g-先验混合比单位信息先验更有效,且基于模型选择的方法优于其他贝叶斯方法。
2024-08-30 stat.ME
A Model-Free Selection Criterion For The Mixing Coefficient Of Spatial Max-Mixture Models
极值理论的一个主要问题是量化联合尾部之间的相关性。使用在联合尾部缺乏灵活性的随机过程可能会导致严重低估或高估与同时发生的极端事件相关的概率。根据最近的进展,在文献中,一个灵活的模型称为最大混合模型已被引入建模的情况下,极值依赖结构可能会随着距离而变化。在本文中,我们提出了一个非参数模型的混合系数的选择标准,我们的标准是来自一个madogram,一个概念,经典的地质统计学捕捉空间结构。该过程是基于一个非线性最小二乘法之间的理论madogram和经验之一。我们进行了模拟研究,并将我们的标准应用于澳大利亚东部的每日降水量。
2018-01-03 math.PR math.ST stat.TH
Bayesian sparse graphical models and their mixtures using lasso selection priors
我们提出了高斯图形模型的贝叶斯方法,导致稀疏和自适应收缩的精度(逆协方差)矩阵的估计。我们的方法是基于套索型正则化先验导致简约的参数化的精度矩阵,这是必不可少的几个应用程序,涉及学习变量之间的关系。在这种情况下,我们引入了一种新类型的选择之前,开发一个稀疏结构的精度矩阵,使大多数元素正好为零,除了确保正定性-从而进行模型选择和估计同时进行。我们将这些方法扩展到有限和无限混合高斯图形模型的聚类数据使用Dirichlet过程先验。我们讨论了适当的后验模拟方案,以实现后验推理在所提出的模型,包括评估的归一化常数,这是感兴趣的参数的功能,从而导致相关矩阵的限制。我们评估我们的方法的操作特性,通过几个模拟和应用到真实的数据集。
2013-10-03 stat.ME
Consistent Bayesian Sparsity Selection for High-dimensional Gaussian DAG Models with Multiplicative and Beta-mixture Priors
高维多元数据的协方差阵估计是现代统计学中一个具有挑战性的重要问题。在本文中,我们专注于高维高斯DAG模型,稀疏性诱导的逆协方差阵的Cholesky因子L。在最近的工作中,([Cao,Khare和Ghosh,2019]),我们为分层贝叶斯DAG模型建立了高维稀疏选择一致性,其中Erdos-Renyi先验被放置在Cholesky因子L中的稀疏模式上,并且DAG-Wishart先验被放置在产生的非零Cholesky条目上。在本文中,我们显着改进和扩展这项工作,(a)考虑更多样化和有效的先验的稀疏模式在L中,即β-混合先验和乘法先验,(b)建立稀疏选择一致性显着放宽条件下的p,和真实模型的稀疏模式。我们通过数值模拟证明了我们的理论结果的有效性,并使用进一步的模拟来证明我们的稀疏性选择方法与现有的最先进的方法,包括频率论和贝叶斯方法在各种设置中具有竞争力。
2019-03-08 math.ST stat.ME stat.TH
Formulating the Proxy Pattern-Mixture Model as a Selection Model to Assist with Sensitivity Analysis
本文将代理模式混合模型(PPMM)重新表述为选择模型,利用敏感性参数 $ϕ$ 及代理变量间的二次函数关系,揭示了模型潜在假设并为 $ϕ$ 设定更切实际的界限。
2024-09-26 stat.AP stat.ME
A comparative review of variable selection techniques for covariate dependent Dirichlet process mixture models
Dirichlet Process Mixture(Dirichlet Process Mixture)模型已经越来越多地用于指定考虑协变量内可能模式的随机划分模型。此外,为了处理大量的协变量,已经提出了用于选择最重要的协变量的方法。通常,选择协变量是因为它们在确定观测值聚类中的重要性,或者是因为它们对响应变量水平的影响(当指定回归模型时)。通常,这两种策略都涉及规范模型中协变量的潜在指标。常见的例子包括使用尖峰和平板先验分布。在这项工作中,我们回顾了最相关的模型,包括协变量信息的诱导分区的观察,我们专注于这些模型的变量选择技术。我们强调了每个模型的主要特点,并在模拟和实际数据应用中进行了演示。
2016-10-29 stat.AP
Model Selection for Mixture Models - Perspectives and Strategies
确定有限混合分布的分量数G是一个重要而困难的推理问题。这是一个非常重要的问题,因为关于所得模型的统计推断对G值高度敏感。选择错误的G值可能会产生较差的密度估计。这也是从理论角度来看最困难的问题,因为它涉及到混合模型的不可识别性问题。从实践的角度来看,这是一个最相关的问题,因为分量G的数量的含义与混合分布的建模目的密切相关。在本章中,我们区分了在第2节中选择G作为密度估计问题和在第3节中选择G作为基于模型的聚类框架。这两个部分都讨论了频率论和贝叶斯方法。我们在这里提出了一些贝叶斯解决方案,以不同的解释选择“正确”的数量的成分在混合物中,在结论上的不适定性质的问题。
2018-12-24 stat.CO stat.ME
The EM-algorithm and the Method of Moments in Softmax Mixture Models
Department of Statistical Sciences, University of Toronto(多伦多大学统计学系);Department of Statistics and Data Science, Cornell University(康奈尔大学统计学与数据科学系);Courant Institute of Mathematical Sciences and Center for Data Science, New York University(纽约大学Courant数学科学研究所和数据科学中心);Department of Mathematics and Department of Statistics and Data Science, Cornell University(康奈尔大学数学系和统计学与数据科学系)
本文研究Softmax混合模型,证明EM算法在温和分离条件下以参数速率收敛,并开发矩方法用于参数估计和子空间估计,为EM提供冷启动,同时证明模型在大p下渐近可识别。
2026-09-09 cs.LG math.ST stat.ME
Provable ICA with Unknown Gaussian Noise, and Implications for Gaussian Mixtures and Autoencoders
Princeton University(普林斯顿大学);Institute for Advanced Study(高等研究院)
我们提出了一种新的算法,独立分量分析(ICA)具有可证明的性能保证。特别地,假设我们被给予形式为$y = Ax + η$的样本,其中$A$是未知的$n \times n$矩阵,并且$x$是其分量是独立的并且具有严格小于标准高斯随机变量的四阶矩的随机变量,并且$η$是具有未知协方差$Σ$的$n$维高斯随机变量:我们给出了一个算法,可证明恢复$A$和$Σ$到一个可加的$ε$,其运行时间和样本复杂度是多项式的$n$和$1 / ε$。为了实现这一点,我们引入了一种新的“准白化”的步骤,可能是有用的,在其他情况下,高斯噪声的协方差是事先不知道的。我们还给出了一个一般的框架,找到所有的局部最优的函数(给出一个预言近似只找到一个),这是我们的算法中的一个关键步骤,在以前的尝试中被忽视了,并允许我们控制错误的积累,当我们找到列的$A$一个接一个通过本地搜索。
2012-11-12 cs.DS cs.LG
Robust mixture regression with Exponential Power distribution
假设指数幂分布是处理回归和聚类中离群值的一种方法,这可以增加分析的鲁棒性。高斯分布是指数分布的一种特殊情况。指数幂分布可以看作是正态分布的尺度混合。因此,模型选择方法开发的高斯混合模型可以很容易地扩展到指数幂混合模型。此外,高斯混合模型在实际情况下倾向于选择比指数幂混合模型更多的分量,这意味着指数幂混合模型更容易解释。本文研究了误差服从指数幂次分布的混合回归模型。它对异常值具有鲁棒性,并且模型选择易于实现。
2020-12-19 stat.CO stat.ME
Model Selection for Gaussian-gated Gaussian Mixture of Experts Using Dendrograms of Mixing Measures
University of Science - VNUHCM(越南胡志明市科学大学);ARC Centre of Excellence for the Mathematical Analysis of Cellular System(细胞系统数学分析卓越研究中心);School of Mathematical Sciences Queensland University of Technology(昆士兰理工大学数学科学学院);Department of Statistics University of Michigan(密歇根大学统计学系);Department of Statistics and Data Science University of Texas at Austin(德克萨斯大学奥斯汀分校统计学与数据科学系)
本文提出一种基于混合度量树状图的高斯门控高斯混合专家模型选择方法,可一致估计专家数量并实现最优收敛速率,避免训练多模型,优于AIC、BIC和ICL准则。
2025-05-23 cs.LG math.ST stat.CO
Provable Noisy Sparse Subspace Clustering using Greedy Neighbor Selection: A Coherence-Based Perspective
稀疏子空间聚类(SSC)使用基于贪婪的邻居选择,如匹配追踪(MP)和正交匹配追踪(OMP),已被称为是一种流行的计算效率高的替代传统的基于L1最小化的方法。在确定性有界噪声腐败,在本文中,我们推导出基于相干性的充分条件,保证正确的邻居识别使用MP/OMP。我们的分析利用了两个噪声数据点之间的最大/最小内积受到一个已知的上限的噪声水平。所得到的充分条件清楚地揭示了噪声对基于贪婪的邻居恢复的影响。具体地说,它断言,只要噪声足够小,使得所得到的扰动残差向量保持接近所需的子空间,MP和OMP都成功地返回正确的邻居子集。一个惊人的发现是,当地面真值子空间彼此分离并且噪声不大时,基于MP的迭代在享受较低算法复杂度的同时,产生较小的残差扰动,从而能够更好地识别正确的邻居,进而实现更高的全局数据聚类精度。大量的数值实验被用来证实我们的理论研究。
2020-02-02 cs.LG stat.ML
Reversible Jump MCMC With No Regrets: Bayesian Variable Selection Using Mixtures of Mutually Singular Distributions
University of Amsterdam(阿姆斯特丹大学);Duke University(杜克大学);University of Washington(华盛顿大学)
本文提出一种基于互奇异分布混合的贝叶斯变量选择方法,通过固定维度参数空间中的互奇异子空间实现模型竞争,展示其与RJMCMC在Metropolis-Hastings接受概率上的一致性,并在实验中验证其有效性。
2026-04-30 stat.ME
Structurally Aware Robust Model Selection for Mixtures
针对混合模型在模型错误设定下易产生虚假子总体的问题,本文利用已知因果结构和模型偏差先验,提出结构感知的稳健模型选择准则,并证明一致性且在模拟与流式细胞术数据中有效。
2024-03-01 math.ST stat.ME stat.TH
Mixture Model Averaging for Clustering
在基于混合模型的聚类应用程序中,通常会从一个系列中拟合多个模型,并仅报告“最佳”模型的聚类结果。在这种情况下,使用模型选择标准(最常见的是贝叶斯信息标准)来实现该最佳模型的选择。除了最好的模型之外,我们没有丢弃所有的模型,而是对在某种意义上接近最好的模型的多个模型进行平均,从而产生聚类结果的加权平均值。两个(加权)平均方法被认为是:平均组件的成员资格概率和平均模型。在这两种情况下,Occam窗口用于确定与最佳模型的接近程度,并且在贝叶斯模型平均范式内计算权重。在某些情况下,我们需要在平均之前合并成分;我们介绍了一种基于调整后的Rand指数合并混合成分的方法。我们的基于模型的聚类平均方法的有效性说明使用一个家庭的高斯混合模型的真实和模拟数据。
2014-07-26 stat.CO stat.ME stat.ML
Clustering and Model Selection via Penalized Likelihood for Different-sized Categorical Data Vectors
在这项研究中,我们考虑无监督聚类的分类向量,可以使用混合不同的大小。我们使用似然最大化来估计底层混合模型的参数,并使用惩罚技术来选择混合成分的数量。无论真实的分布,产生的数据,我们表明,一个明确的惩罚,已知的乘法常数,导致一个非渐近的甲骨文不等式与Kullback-Leibler分歧的两侧的不等式。这一理论结果说明了一个文档聚类应用程序。为此,提出了一种新的鲁棒期望最大化算法来估计最能代表不同主题的混合参数。斜率算法用于校准惩罚并选择多个聚类。
2017-09-07 math.ST stat.TH
Parsimonious Ultrametric Manly Mixture Models
Department of Mathematics & Statistics, McMaster University(麦克马斯特大学数学与统计系)
本文提出了一种简洁的超度量马尼混合模型,通过引入马尼变换和扩展的超度量协方差结构,提升高维非对称数据聚类的可解释性和模型选择效果。
2026-09-10 stat.ME
Infinite mixtures of multivariate normal-inverse Gaussian distributions for clustering of skewed data
多变量正态逆高斯(MNIG)分布的混合可以用于对表现出偏态和重尾等特征的数据进行聚类。然而,对于聚类分析,使用传统的有限混合模型框架,或者组分的数量需要是已知的$a$ - $priori$,或者需要在导出可能数量的组分的范围的结果之后使用某种模型选择标准来估计$a$ - $posteriori$。然而,不同的模型选择标准有时会导致不同数量的组件产生不确定性。在这里,一个无限混合模型框架,也被称为狄利克雷过程混合模型,提出了混合MNIG分布。该狄利克雷过程混合物模型方法允许组分数量从1到$\infty$(实际上从1到$N$)自由增长或衰减,并且组分数量与贝叶斯框架中的参数估计值一起推断,从而减轻了对模型选择标准的需求。我们提供了真实的数据应用程序与基准数据集,以及一个小的模拟实验,与其他现有的模型进行比较。所提出的方法提供了竞争力的聚类结果,其他聚类方法的模拟和真实的数据和参数恢复说明使用模拟研究。
2020-05-11 stat.ME
Sparsity enforcing priors in inverse problems via Normal variance mixtures: model selection, algorithms and applications
当考虑贝叶斯方法时,反问题的解的稀疏结构可以使用不同的稀疏性执行先验来建模。模型未知量的解析表达式可以通过构建基于稀疏性强制分布的分层模型来获得,该稀疏性强制分布通过共轭先验来表示。我们考虑具有此性质的重尾分布:t分布,表示为正态尺度混合,混合分布为逆Gamma分布,拉普拉斯分布,也可以表示为正态尺度混合,混合分布为指数分布,或者可以表示为正态逆尺度混合,混合分布为逆Γ分布,双曲分布、方差-Γ分布、正态-逆高斯分布,所有这三种分布都使用广义双曲分布通过共轭分布表示。对于所有的分布迭代算法推导出分层模型的基础上,考虑到正向模型的不确定性。对于估计,使用通过变分贝叶斯近似(Vibration Bayesian Approximation,Vibration Bayesian Approximation)的最大后验(Maximum A Posterior,MAP)和后验均值(Posterior Mean,PM)。在三维计算机断层扫描(3D-CT)和时间生物学的应用中,所得到的算法的性能进行了比较。最后,一个理论研究的稀疏执行算法之间的比较,通过贝叶斯方法和稀疏执行算法发出的正则化技术,如LASSO和其他一些。
2017-05-29 stat.AP
Mixtures of g-priors in Generalized Linear Models
Zellner g-先验的混合已在线性模型中得到广泛研究,并已被证明具有贝叶斯变量选择和模型平均的许多理想性质。在文献中已经提出了几个扩展的g-先验的广义线性模型(GLM),然而,选择先验分布的g和由此产生的属性的推断得到了相当少的关注。本文通过将截断的复合合流超几何(tCCH)分布赋为1/(1 + g),统一了GLM中g先验的混合,其中包括文献中的几种g先验的混合,如hyper-g,Beta-prime,truncated Gamma,incomplete inverse Gamma,benchmark,robust,hyper-g/n和intrinsic prior。通过积分拉普拉斯近似,1/(1 + g)的后验分布又是tCCH分布,因此近似的边缘似然性可通过分析获得,从而导致用于模型选择的“复合超几何信息准则”。我们讨论了GLM中g先验的局部几何性质,并展示了Bayarri等人提出的模型选择的必要条件,如渐近模型选择一致性,内在一致性和测量不变性,可以用来证明超参数的先验和特定选择。我们说明推理使用这些先验知识,并通过模拟和真实数据的例子将它们与其他方法进行对比。该方法在R包BAS中实现,并在CRAN上免费提供。
2018-05-04 stat.ME
Semi-Supervised Sparse Gaussian Classification: Provable Benefits of Unlabeled Data
Weizmann Institute of Science(魏茨曼科学研究所)
本文研究高维稀疏高斯分类中的半监督学习,证明在特定参数区域内结合有标签与无标签数据可在多项式时间内实现准确分类和特征选择,而单独使用任一数据的高效算法均会失败。
2024-09-05 cs.LG stat.ML
Guided by the Experts: Provable Feature Learning Dynamic of Soft-Routed Mixture-of-Experts
Rice University(莱斯大学)
本文在软路由混合专家模型中,通过学生-教师框架证明联合训练收敛性,揭示路由器受专家引导的特征学习,并支持剪枝后微调达到全局最优。
2025-10-08 cs.LG math.OC
Robust Bayesian variable selection with sub-harmonic priors
本文研究了一般球对称误差分布线性模型中的贝叶斯变量选择问题。我们提出了次谐波先验出现的Zellner的g-先验的贝叶斯因子是独立的基本误差分布的混合物的一类,只要它是在球对称类。由于这种不变性球对称误差分布,我们把我们的方法作为一个强大的贝叶斯变量选择方法。我们证明了我们的贝叶斯因子具有模型选择的一致性和连贯性。我们还开发了拉普拉斯近似贝叶斯因子的一些最近研究的混合物的g先验最近出现在文献中(包括我们自己的)的高斯误差。在每种情况下,这些近似值都由基于BIC的高斯贝叶斯因子乘以先验超参数的简单有理函数和相应模型的R^2给出。我们还扩展了模型选择的一致性为几个g先验贝叶斯因子方法高斯误差的整个类的球对称误差分布。此外,我们证明了我们的类的次谐波先验是唯一的在一个大类的混合物的g-先验在文献中研究的是强大的,在我们的意义上。模拟研究和两个真实数据集的分析表明,我们的鲁棒贝叶斯因子相对于BIC和其他混合的g先验方法的良好性能。
2013-03-11 math.ST stat.ME stat.TH
Dirichlet Process Mixture Models with Shrinkage Prior
我们提出了Dirichlet过程混合(Dirichlet Process Mixture)模型的预测和集群明智的变量选择,基于两种选择的收缩基线先验分布的线性回归系数,即马蹄先验和正态伽玛先验。我们在模拟研究中表明,这两个建议的ESTA模型往往优于标准ESTA模型的基础上的非收缩正常的先验,在预测,变量选择和聚类精度。这对于马蹄模型尤其如此,并且当协变量的数量超过群内样本量时。一个真实的数据集进行了分析,以说明所提出的建模方法,两个建议的预测模型再次获得更好的预测精度。
2021-02-25 stat.AP stat.ME