Infinite Mixture of Inverted Dirichlet Distributions
在这项工作中，我们开发了一种新的贝叶斯估计方法的Dirichlet过程（DP）混合的倒Dirichlet分布，这已被证明是非常灵活的建模向量的正元素。最近提出的扩展变分推理（EVI）的框架，以获得一个分析听话的解决方案。通过在VI框架中引入对原目标函数的单一下界逼近，从理论上保证了算法的收敛性。在原则上，该模型可以被看作是一个无限倒Dirichelt混合物模型（InIDMM），允许自动确定的混合物组分的数量从数据。因此，已经克服了预先确定混合组分的最佳数量的问题。此外，贝叶斯估计方法避免了过拟合和欠拟合问题。与最近提出的几种DP相关的方法相比，所提出的方法的良好性能和有效性已被证明与合成数据和实际数据的评价。
2020-02-02 cs.LG stat.ML
Model Selection and Parameter Estimation for Multidimensional Gaussian Mixture Models with a Common Covariance Matrix
Department of Mathematics, Hong Kong University of Science and Technology (HKUST)（香港科技大学数学系）
本文研究了多维高斯混合模型的学习问题，重点在于模型阶选择和高效混合分布估计。通过建立信息论下界，提出基于阈值的估计算法，结合梯度下降方法和PCA降维，验证了方法的最优性与高效性。
2026-09-01 cs.LG stat.ML
Robust Fitting of Mixture Models using Weighted Complete Estimating Equations
混合模型考虑了数据中潜在的异质性，被广泛用于分类和聚类问题。混合模型可以使用期望最大化算法进行估计，该算法使用基于混合模型的分层表达的聚类分配的潜在隶属度变量所限定的完整估计方程。然而，当混合成分具有轻尾（light tail）（例如正态分布）时，混合模型可能对离群值敏感。提出了一种混合模型稳健拟合的加权完全估计方程（WCE）方法。我们的WCE引入了权重来完成估计方程，使得权重可以自动降低离群值的权重。权重的构造类似于混合模型的密度幂散度，但在我们的WCE中，它们仅取决于组分分布，而不是整个混合。一种新的期望估计方程（ESTA）算法也被开发来解决WCE。为了说明的目的，一个多元高斯混合，专家的混合物，和一个多元的偏正态混合物被认为是，以及如何实现我们的算法可以为这些特定的模型进行了描述。使用模拟和真实数据集检验了所提出的稳健估计方法的数值性能。
2022-03-17 stat.ME
Factorized Asymptotic Bayesian Hidden Markov Models
NEC Laboratories America（美国 NEC 实验室）；University of Tokyo（东京大学）
本文讨论了隐马尔可夫模型（HMM）的模型选择问题。我们推广了因子分解渐近贝叶斯推断（FAB），这是最近开发的独立隐变量模型选择（即，混合模型），用于时间依赖的隐变量。与混合模型中的FAB算法一样，本文推导出了基于因子分解信息准则（FIC）的混合模型中的FAB算法。它继承了混合模型的FAB，学习障碍的几个理想的属性，如FIC与边际对数似然的渐近一致性，隐藏状态选择的收缩效应，通过迭代优化的FIC下限的单调增加。此外，它没有可调的超参数，因此其模型选择过程可以完全自动化。实验结果表明，FAB优于国家的最先进的变分贝叶斯HMM和非参数贝叶斯HMM的模型选择精度和计算效率。
2012-06-18 cs.LG stat.ML
Model Selection for Gaussian Mixture Models
本文讨论了有限混合模型中的一个重要问题，即混合组分数的选择。提出了一种新的惩罚似然方法用于有限多元高斯混合模型的模型选择。所提出的方法被证明是统计上一致的，在确定的组件的数量。提出了一种改进的期望最大化算法，它可以同时选择混合分量的个数和估计混合权重，即混合概率和高斯分布的未知参数。仿真和实际数据分析，以说明所提出的方法的性能。
2013-01-16 math.ST stat.ME stat.ML
MixEst: An Estimation Toolbox for Mixture Models
University of Tehran（德黑兰大学）
混合模型是一种功能强大的统计模型，在从密度估计到聚类和分类的许多应用中使用。在处理混合模型时，有许多问题是实验者应该意识到并需要解决的。MixEst工具箱是一个功能强大且用户友好的MATLAB软件包，它实现了几种最先进的方法来解决这些问题。此外，MixEst提供了使用流形优化来拟合密度模型的可能性，这是该工具箱特有的功能。MixEst简化了混合模型在统计模型和应用程序中的使用和集成。为了开发新密度的混合模型，用户只需要为该统计分布提供一些函数，工具箱就可以处理与混合模型有关的所有问题。MixEst可在visionlab.ut.ac.ir/mixest上获得，并且有完整的文档，并根据GPL许可。
2015-07-22 cs.LG stat.ML
A Bayesian approach for fitting semi-Markov mixture models of cancer latency to individual-level data
本文提出一种基于数据增广MCMC的完全贝叶斯方法，将半马尔可夫混合模型拟合至个体水平数据，用于量化不确定性、模型选择及估计癌症筛查过度诊断率，并在模拟数据与美国乳腺癌监测联盟数据上验证了有效性。
2025-08-13 stat.AP stat.CO stat.ME
Errors-In-Variables Model Fitting for Partially Unpaired Data Utilizing Mixture Models
Munich University of Applied Sciences（慕尼黑应用科学大学）
本文提出了一种基于混合模型的变量误差模型拟合方法，用于处理部分未配对数据，展示了线性和非线性模型在实际数据中的应用效果。
2024-11-17 math.PR stat.ME
A Two-round Variant of EM for Gaussian Mixtures
AT&T Labs - Research（AT&T实验室-研究部）；Georgia Institute of Technology（佐治亚理工学院）
给定一组可能的模型（例如，贝叶斯网络结构）和数据样本，在无监督模型选择问题中，任务是选择关于域联合概率分布的最准确的模型。与此相反，在监督模型选择中，先验已知所选模型将在未来用于涉及更“集中”的预测分布的预测任务。虽然可以通过边缘化从联合概率分布中产生集中的预测分布，但实际上，无监督意义上的最佳模型不一定在监督域中表现良好。特别是，标准边际似然得分是无监督任务的标准，虽然经常用于监督模型选择，但在此类任务中表现不佳。在本文中，我们研究了边际似然得分的监督贝叶斯网络选择任务的经验性能，通过使用大量的公开可用的分类数据集，并比较结果与其他模型选择标准，包括经验交叉验证方法，监督边际似然测度的近似，结果表明，边缘似然得分在有监督的模型选择中表现不佳，而Dawids序贯概率方法则获得了最好的结果。
2013-01-16 cs.LG stat.ML
A Bayesian Finite Mixture Model with Variable Selection for Data with Mixed-type Variables
University of Florida（佛罗里达大学）；University of Florida Health Cancer Center（佛罗里达大学健康癌症中心）；University of Pittsburgh（匹兹堡大学）
有限混合模型是聚类方法的一个重要分支，可以应用于混合类型变量的数据集。然而，在其应用中存在挑战。首先，它通常依赖于期望最大化算法，该算法可能对初始值的选择敏感。其次，生物标志物受检测限（LOD）的限制在临床数据中是常见的，这将删失变量带入有限混合模型。此外，由于可用于聚类的变量数量越来越多，研究人员最近对变量重要性越来越感兴趣。为了解决这些挑战，我们提出了一个贝叶斯有限混合模型，同时进行变量选择，占生物标志物LOD和获得聚类结果。为了克服期望最大化算法的局限性，我们采用贝叶斯方法来获得参数估计和聚类隶属度。为了解释LOD，我们在吉布斯抽样中增加了一个步骤，以迭代地填充低于或高于LOD的生物标志物值。此外，我们把一个尖峰和平板型的先验对每个变量，以获得变量的重要性。在各种情况下进行模拟，以检查这种方法的性能。还进行了电子健康记录的真实数据应用。
2019-05-09 cs.LG stat.AP stat.ML
On the properties of Gaussian Copula Mixture Models
Princeton University（普林斯顿大学）
本文提出高斯Copula混合模型（GCMM），通过扩展期望最大化算法估计参数并结合非参数方法估计边际分布，解决了GMM的拟合局限，在相同聚类数下提升了拟合优度并支持跨维度非同步数据分析。
2023-05-24 cs.LG stat.ML
A sequential algorithm for fast fitting of Dirichlet process mixture models
本文提出了一种改进的顺序更新和贪婪搜索（SUGS）算法，用于快速拟合Dirichlet过程混合模型。SUGS算法为混合数据提供了一种非常快速的近似贝叶斯推断的方法，当数据集如此之大，以至于许多标准的马尔可夫链蒙特卡罗（MCMC）算法不能有效地应用，或者需要非常长的时间才能收敛时，该方法特别有用。特别是，这些想法被用来最初询问的数据，并细化模型，使人们可以潜在地应用精确的数据分析later on.SUGS依赖于按顺序分配数据的集群，并进行后续的分配和参数，假设这个分配是正确的更新后验。我们的修改软化这种方法，通过提供一个概率分布分配，具有类似的计算成本，这种方法有一个解释为变分贝叶斯过程，因此我们称之为变分SUGS（VSUGS）。仿真结果表明，VSUGS算法在密度估计和分类方面优于原SUGS算法。此外，我们提出了一个数据分析流式细胞术数据，SNP数据，通过三类dirichlet过程混合物模型说明了明显的改善SUGS。
2013-01-14 stat.CO
Mixture model fitting using conditional models and modal Gibbs sampling
Department of Mathematics, School of Industrial Engineering-Albacete（工业工程学院阿尔巴塞特分校数学系）
提出一种基于模态吉布斯采样的新算法，通过仅采样辅助变量来近似混合模型的后验分布，利用集成嵌套拉普拉斯近似计算密度参数的条件分布众数，降低计算负担并给出良好估计。
2026-06-18 stat.CO stat.ME
A Variational Approximations-DIC Rubric for Parameter Estimation and Mixture Model Selection Within a Family Setting
基于混合模型的聚类自五十多年前引入以来已成为一种越来越受欢迎的数据分析技术，并且现在通常在家庭环境中使用。混合模型的族出现时的组件参数，通常是组件的协方差（或规模）矩阵，被分解，并施加了一些约束。在族设置内，模型选择涉及选择族的成员，即，适当的协方差结构，以及混合成分的数量。目前，贝叶斯信息准则（BIC）已被证明是最有效的模型选择，而期望最大化（EM）算法通常用于参数估计。事实上，这个EM-BIC规则几乎垄断了混合模型族的文献。偏离这个标题，变分贝叶斯近似的参数估计和偏差信息准则的模型选择。变分贝叶斯方法提供了一个替代的框架参数估计，通过构建一个严格的下限上的复杂的边际似然和最大限度地提高这一下限最小化相关的库尔贝克-莱布勒散度。这种方法是采取最常用的家庭的高斯混合模型，真实和模拟数据被用来比较新的方法的EM-BIC规则。
2019-11-06 stat.CO stat.ME stat.ML
BAMBI: An R package for Fitting Bivariate Angular Mixture Models
方向或角度数据的统计分析在诸如地质学、气象学和生物信息学的各种领域中具有应用。关于单变量角度数据的描述和推理技术有大量的文献，近年来双变量（或更一般地，多变量）情况受到更多的关注。更具体地，已经提出了双变量包裹正态分布、冯米塞斯正弦分布和冯米塞斯余弦分布及其混合用于实际应用。然而，缺乏实现这些分布和相关推理技术的软件。在这篇文章中，我们介绍BAMBI，一个用于分析二元（和单变量）角度数据的R软件包。我们实现随机数据生成，密度评估，并计算理论总结措施（方差和相关系数）的上述三个双变量角分布，以及两个单变量角分布：单变量包装正常和单变量冯米塞斯分布。BAMBI对统计计算的主要贡献是提供了贝叶斯方法，用于使用这些分布的有限混合来建模角度数据。我们还提供了视觉和数值诊断和贝叶斯推断的拟合模型的功能。在这篇文章中，我们首先简要回顾了BAMBI中使用的分布和技术，然后描述了该软件包的功能，最后总结了使用BAMBI在该软件包中包含的两个真实数据集（一个单变量和一个双变量）上进行混合模型拟合的演示。
2019-03-18 stat.CO
A LASSO-Penalized BIC for Mixture Model Selection
基于族的方法对基于混合模型的聚类和分类的有效性取决于简约模型的选择。目前的智慧建议贝叶斯信息准则（BIC）的混合模型选择。然而，BIC具有众所周知的局限性，包括倾向于高估组件的数量，以及倾向于经常大幅低估更高维度的组件数量。虽然前一个问题可以通过合并组件来解决，但后者在集群和分类应用程序中是不可能缓解的。在本文中，一个LASSO惩罚BIC（LPBIC）的介绍，以克服这个问题。这种方法是说明的基础上的应用程序的扩展的混合物的因素分析，其中的LPBIC是用来选择组件的数量和潜在因素的数量。在几种情况下，LPBIC表现出匹配或优于BIC。
2012-11-27 math.ST stat.CO stat.ME
Fast sampling and model selection for Bayesian mixture models
我们研究贝叶斯估计的混合模型，并认为有利于拟合的边缘后验分布组件分配直接，而不是吉布斯抽样从联合后验组件和参数是通常做的。以前的一些作者发现前一种方法混合速度很慢，但我们证明，如果正确实现，它可以实现出色的性能。特别是，我们描述了一种新的蒙特卡罗算法，从边缘后采样的一般可积混合，利用拒绝免费抽样从以前的组件分配，以实现优良的混合时间在典型的应用程序中，优于标准的吉布斯抽样，在某些情况下，由一个很宽的利润率。我们展示了高斯，泊松和分类模型的应用程序的选择的方法。
2025-10-22 stat.CO stat.ML
Model Selection and Parameter Estimation of One-Dimensional Gaussian Mixture Models
本文提出了一种基于傅里叶的方法，用于高效估计一维高斯混合模型的模型阶数和混合分布，且在样本复杂度上达到理论最优。
2026-09-01 cs.LG eess.SP stat.ME
Detection and Feature Selection in Sparse Mixture Models
我们认为高斯混合模型在高维和集中在检测和特征选择的孪生任务。在均值差异的稀疏性假设下，我们推导出信息界，并建立各种程序的性能，包括样本协方差阵的顶部稀疏特征值和其他基于矩的投影检验，如Malkovich和Afifi（1973）的偏度和峰度检验，以及我们在零值下能够更好地控制的其他变量。
2016-10-01 math.ST stat.ME stat.TH
Confidence set for mixture order selection
针对高斯混合模型阶数选择的不确定性问题，提出模型选择置信集（MSCS），基于惩罚似然比筛选所有合理阶数，提供渐近覆盖保证，并通过模拟和真实数据验证优势。
2025-06-24 math.ST stat.ME stat.TH
Weighted likelihood mixture modeling and model based clustering
在这项工作中，开发了一种加权似然方法的稳健拟合的多元高斯成分的混合。已经提出了两种方法，分别由标准EM和CEM算法的适当修改驱动。在这两种技术中，M步骤通过针对降低离群值的权重的计算来增强。权重是基于皮尔逊残差源于强大的马氏型距离。基于拟合的混合模型，还可以定义用于鲁棒聚类和离群值检测的正式规则。所提出的方法的行为进行了研究，通过一些数值研究和实际数据的例子，在拟合和分类精度和离群值检测。
2018-11-08 stat.ME
Functional Mixture Discriminant Analysis with hidden process regression for curve classification
Institut Universitaire de France（法兰西大学研究院）
我们提出了一种新的基于混合模型的判别分析方法的功能数据使用一个特定的隐藏过程回归模型。该方法允许拟合灵活的曲线模型，以每一类复杂形状的曲线呈现政权的变化。通过使用专用的期望最大化（EM）算法，最大化每个类的数据对数似然来学习模型参数。仿真数据与其他方法的比较表明，所提出的方法提供了更好的结果。
2013-12-25 cs.LG stat.ME stat.ML
Dendrogram of mixing measures: Hierarchical clustering and model selection for finite mixture models
本研究提出基于过拟合混合测度构建树状图的新方法，衔接层次聚类与混合建模，可在弱可识别条件下一致选成分数并获最优收敛速率，经模拟验证且可用于单细胞RNA分析。
2024-03-08 stat.ME stat.ML
Stochastic model selection for Mixtures of Matrix-Normals
矩阵正态分布的有限混合是无监督问题中对三向数据进行分类的有力工具。每个分量的分布被假定为矩阵变量正态密度。混合模型可以通过期望最大化算法在假设组分数目已知且固定的情况下估计。在这项工作中，我们介绍，开发和探索贝叶斯分析的模型，以提供一个工具，同时模型估计和模型选择。仿真研究和一个真实的例子说明了所提出的方法的有效性。
2013-03-06 stat.CO stat.ME
Exact fit of simple finite mixture models
如何根据去年的违约观察结果和当前的评分分布预测明年整个组合的信用违约率？解决这个问题的一个经典方法是将去年观察到的条件分数分布的混合物拟合到当前的分数分布。这是有限混合模型的特殊（简单）情况，其中混合成分是固定的，并且仅估计成分的权重。最优权重提供了明年整个投资组合违约率的预测。我们指出，最大似然（ML）的方法来拟合的混合物分布不仅给出了一个最佳的，但即使是一个精确的拟合，如果我们允许的混合物成分变化，但保持其密度比固定。从这一观察中，我们可以得出结论，基于去年条件违约率的标准违约率预测将始终位于去年投资组合范围的违约率和明年的ML预测之间。作为一个应用实例，讨论了成本量化问题。我们还讨论了如何混合模型为基础的估计方法可以用来预测总损失。这涉及到将个体分类问题重新解释为集体量化问题。
2014-07-23 q-fin.RM stat.ML
Local Minima Structures in Gaussian Mixture Models
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Michigan（密歇根大学）；Cornell University（康奈尔大学）；Rutgers University（罗格斯大学）
本文研究了高斯混合模型中局部极小值的结构，揭示了其共同特征，并在特定条件下提供了更精确的误差界限。
2024-03-09 cs.LG math.ST stat.ML
MRI Parameter Mapping via Gaussian Mixture VAE: Breaking the Assumption of Independent Pixels
UCL（伦敦大学学院）；UCL Hawkes Institute（伦敦大学学院霍克斯研究所）；UCL Satsuma Lab（伦敦大学学院萨摩亚实验室）；UCL Department of Medical Physics and Biomedical Engineering（伦敦大学学院医学物理与生物医学工程系）；UCL Medical School（伦敦大学学院医学院）；UCL Respiratory（伦敦大学学院呼吸科）；UCL Department of Computer Science（伦敦大学学院计算机科学系）；Cardiff University（卡迪夫大学）；Cardiff University Brain Research Imaging Center（卡迪夫大学脑研究成像中心）
提出一种自监督深度变分方法，利用高斯混合先验打破MRI参数映射中像素独立的假设，通过数据驱动正则化有效抑制噪声，生成更清晰的定量图谱并揭示更精细解剖细节。
2024-11-16 cs.AI cs.CV cs.LG
Robust Bayesian model selection for heavy-tailed linear regression using finite mixtures
在本文中，我们提出了一种新的方法来执行重尾分布的线性模型的贝叶斯模型选择。我们考虑一个有限的混合分布模型的潜在变量，其中每个组成部分的混合物对应于一个可能的模型内的对称类的正态独立分布。当然，高斯模型是其中一种可能性。这允许基于每个模型的后验概率进行同时分析。推理是通过马尔可夫链蒙特卡罗-吉布斯抽样与大都会黑斯廷斯步骤的一类参数。模拟的例子突出了这种方法的优势相比，隔离分析的基础上任意选择的模型选择标准。给出了真实数据的示例，并介绍和讨论了对截尾线性回归的扩展。
2017-08-18 stat.ME
BNSP: an R Package for Fitting Bayesian Semiparametric Regression Models and Variable Selection
R包BNSP为半参数位置-尺度回归和随机搜索变量选择提供了一个统一的框架。该软件包所基于的统计方法学利用基函数展开来表示均值和方差函数中的半参数协变量效应，并利用尖峰-平板先验来执行估计效应的选择和正则化。除了执行后验采样的主函数外，该软件包还包括用于评估采样器收敛性、汇总模型拟合、可视化协变量效应以及获得给定特征/协变量向量的新响应或其均值的预测的函数。
2018-10-08 stat.OT
Consistency of Variational Bayes Inference for Estimation and Model Selection in Mixtures
混合模型广泛应用于贝叶斯统计和机器学习，特别是在计算生物学，自然语言处理和许多其他领域。变分推理是一种通过优化算法来近似难以处理的后验的技术，在处理混合物等复杂模型时，在实践中非常流行。本文的贡献是双重的。首先，我们研究了后验变分逼近的集中性，这对于一般的混合物仍然是一个开放的问题，我们得到了一致性和收敛速度。我们还解决了模型选择的组件的数量的问题：我们研究的方法已经在实践中使用，其中包括在最大限度地提高数值标准（证据下界）。我们证明了这种策略确实会导致强预言不等式。我们说明我们的理论结果的应用高斯和多项式混合物。
2018-08-12 math.ST stat.CO stat.ME
Order selection with confidence for finite mixture models
有限混料模型的混料分量数（阶数）的确定一直是统计推断中的一个难题。我们证明了封闭测试原则导致一个顺序测试程序（STP），允许的信心声明，以有限混合模型的顺序。我们构造有限样本测试，通过数据分割和数据交换，在STP中使用，我们证明，这样的测试是一致的固定的替代品。模拟研究和真实数据的例子来证明有限样本测试为基础的STP的性能，产生实际的建议，他们使用的置信估计结合点估计，如赤池信息或贝叶斯信息标准。此外，我们证明了修改的STP产生的方法，始终选择有限混合模型的顺序，在渐近意义上。我们的STP不仅适用于有限混合模型的阶选择，而且对于任何嵌套模型序列的置信声明也是有用的。
2022-09-26 stat.ME
Mixtures of g-Priors for Generalised Additive Model Selection with Penalised Splines
我们提出了一个客观的贝叶斯方法来选择协变量和惩罚样条变换广义加性模型。为模型参数指定一个合理的默认先验，并结合模型本身的多重性校正先验，对于这项任务至关重要。在这里，我们使用了良好的研究和良好的行为连续混合的g先验作为默认先验。我们在正态模型中引入该方法，并将其推广到非正态指数族。仿真研究和文献中的应用说明了所提出的方法。一个有效的实现是在R-包“hypergsplines”。
2012-08-20 stat.ME
Modifications of the BIC for order selection in finite mixture models
La Trobe University（拉 Trobe 大学）；Institute of Mathematics for Industry, Kyushu University（九州大学产业数学研究所）；ARC Centre of Excellence for the Mathematical Analysis of Cellular Systems（ARC 细胞系统数学分析卓越中心）；Queensland University of Technology（昆士兰科技大学）
本文提出改进的BIC方法，通过引入微小对数因子实现更弱条件下的模型阶数选择一致性，并揭示了基于一致IC选择的局限性。
2026-02-01 math.ST stat.TH
Growth Mixture Modeling with Measurement Selection
生长混合模型是研究重复测量数据中群体结构的重要工具。与传统的聚类方法不同，它们显式地对观测的重复测量进行建模，并且它们所基于的统计框架允许使用模型选择方法来选择聚类的数量。然而，基本增长混合模型假设数据中的所有测量都具有分组信息/分离聚类。在其他聚类上下文中，已经表明，在聚类过程中包括非聚类变量可能导致在聚类数量和聚类成员/参数方面对组结构的估计不佳。在本文中，我们提出了一个扩展的增长混合模型，允许纳入逐步变量选择的基础上所做的工作Maugis等。（2009）和Raftery和Dean（2006）。仿真研究结果表明，该方法在正确选择聚类变量和提高恢复的集群结构相比，基本的增长混合模型。本文还提出了一个应用模型的临床研究数据集，并得出结论，在这一领域的未来工作的方向进行了讨论和建议。
2017-10-18 stat.ME
Estimation and selection for high-order Markov chains with Bayesian mixture transition distribution models
我们开发了两个模型的贝叶斯估计和选择高阶，离散状态马尔可夫链。两者都是基于混合转移分布，它构造了一个转移概率张量与一阶转移矩阵的概率的加法混合。我们证明了所提出的模型的两个用途：通过混合低阶过渡模型来近似高阶动态，以及通过稀疏概率向量的先验过规范和收缩来选择顺序/滞后。先验进一步将所有模型缩小到可识别和可解释的参数化，这对数据分析很有用。我们讨论了模型的属性，并通过仿真研究证明了它们的实用性。我们进一步应用该方法的数据分析，从高阶马尔可夫链文献和时间序列的粉红色鲑鱼在美国阿拉斯加州的小溪丰富。
2019-06-25 stat.ME
Probabilistic Fitting of Topological Structure to Data
我们定义了一类概率分布，我们称之为单纯混合模型，其灵感来自代数拓扑中的单纯复形。这些分布的参数表示它们的拓扑结构，我们表明，它是可能的和可行的，以适应拓扑结构的数据使用最大似然方法。我们证明了在合理的假设下，具有固定数目的顶点的分布可以近似任意接近的单纯混合模型时，使用足够的单纯。即使拓扑结构不是主要的兴趣，当使用一个模型，考虑到数据的拓扑结构的顶点位置是很好的候选人的原型/端元矢量在unmixing问题。
2019-09-22 math.AT math.ST stat.TH
Model selection-based estimation for generalized additive models using mixtures of g-priors: Towards systematization
本文研究广义可加模型的贝叶斯模型选择估计，通过Laplace近似扩展至指数分布族，发现g-先验混合比单位信息先验更有效，且基于模型选择的方法优于其他贝叶斯方法。
2024-08-30 stat.ME
Regularized Estimation and Feature Selection in Mixtures of Generalized Linear Experts
University of Science（胡志明市理工大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）；IRT SystemX（法国系统X技术研究所）；Dalat University（大叻大学）
针对预测变量众多或相关时广义线性专家混合模型最大似然拟合不稳定的问题，提出正则化最大似然框架，通过ℓ1惩罚和近端牛顿-EM算法实现同步参数估计与特征选择，在模拟和真实数据上有效恢复稀疏支持并提升预测与聚类精度。
2026-09-10 cs.LG stat.AP stat.ME
Faster estimation for constrained gamma mixture models using closed-form estimators
混合模型在识别噪声重叠分布中的亚群的广泛应用中是有用的。例如，在多重免疫荧光（mIF）中，细胞图像强度表示表达水平，并且细胞群体是表达和未表达细胞的噪声混合物。在混合模型中，伽马混合模型具有在拟合发生在许多生物测量中的偏斜的严格正数据方面灵活的优势。然而，当前的估计方法使用期望最大化算法内的数值优化，并且计算昂贵。这使得它不可能适用于许多大型数据集，而这在mIF数据中是必要的。由最近开发的Γ分布的封闭形式估计器提供动力，我们提出了一个封闭形式的伽马混合模型，不仅计算效率更高，而且还可以将已知生物信息的约束纳入拟合分布。我们推导出封闭形式的估计伽玛混合模型，并使用模拟来证明，我们的模型产生可比的结果与当前的模型，显着更少的时间，是优秀的约束模型拟合。
2021-10-25 stat.ME
A Model-Free Selection Criterion For The Mixing Coefficient Of Spatial Max-Mixture Models
极值理论的一个主要问题是量化联合尾部之间的相关性。使用在联合尾部缺乏灵活性的随机过程可能会导致严重低估或高估与同时发生的极端事件相关的概率。根据最近的进展，在文献中，一个灵活的模型称为最大混合模型已被引入建模的情况下，极值依赖结构可能会随着距离而变化。在本文中，我们提出了一个非参数模型的混合系数的选择标准，我们的标准是来自一个madogram，一个概念，经典的地质统计学捕捉空间结构。该过程是基于一个非线性最小二乘法之间的理论madogram和经验之一。我们进行了模拟研究，并将我们的标准应用于澳大利亚东部的每日降水量。
2018-01-03 math.PR math.ST stat.TH
Autoregressive Mixture Models for Serial Correlation Clustering of Time Series Data
将时间序列聚类到相似的组中可以通过组合相似时间序列上的信息来改进模型。虽然有一个发达的机构的文献聚类的时间序列，这些方法往往会产生集群独立的模型训练，这可能会导致穷人的模型拟合。我们提出了一种新的分布式方法，同时集群和适合自回归模型组相似的个人。我们应用Wishart混合模型，以便在对相应的自协方差矩阵建模的同时对个体进行聚类。拟合的Wishart尺度矩阵通过Yule-Walker方程映射到聚类水平的自回归系数，拟合稳健的简约自回归混合模型。这种方法是能够辨别差异的基础自相关变化的时间序列的设置与大型异构数据集。我们证明了我们的集群成员估计量、系数的渐近分布的一致性，并通过模拟以及拟合COVID-19预测模型将我们的方法与竞争方法进行比较。
2022-01-16 stat.ME
Bayesian sparse graphical models and their mixtures using lasso selection priors
我们提出了高斯图形模型的贝叶斯方法，导致稀疏和自适应收缩的精度（逆协方差）矩阵的估计。我们的方法是基于套索型正则化先验导致简约的参数化的精度矩阵，这是必不可少的几个应用程序，涉及学习变量之间的关系。在这种情况下，我们引入了一种新类型的选择之前，开发一个稀疏结构的精度矩阵，使大多数元素正好为零，除了确保正定性-从而进行模型选择和估计同时进行。我们将这些方法扩展到有限和无限混合高斯图形模型的聚类数据使用Dirichlet过程先验。我们讨论了适当的后验模拟方案，以实现后验推理在所提出的模型，包括评估的归一化常数，这是感兴趣的参数的功能，从而导致相关矩阵的限制。我们评估我们的方法的操作特性，通过几个模拟和应用到真实的数据集。
2013-10-03 stat.ME
Consistent Bayesian Sparsity Selection for High-dimensional Gaussian DAG Models with Multiplicative and Beta-mixture Priors
高维多元数据的协方差阵估计是现代统计学中一个具有挑战性的重要问题。在本文中，我们专注于高维高斯DAG模型，稀疏性诱导的逆协方差阵的Cholesky因子L。在最近的工作中，（[Cao，Khare和Ghosh，2019]），我们为分层贝叶斯DAG模型建立了高维稀疏选择一致性，其中Erdos-Renyi先验被放置在Cholesky因子L中的稀疏模式上，并且DAG-Wishart先验被放置在产生的非零Cholesky条目上。在本文中，我们显着改进和扩展这项工作，（a）考虑更多样化和有效的先验的稀疏模式在L中，即β-混合先验和乘法先验，（b）建立稀疏选择一致性显着放宽条件下的p，和真实模型的稀疏模式。我们通过数值模拟证明了我们的理论结果的有效性，并使用进一步的模拟来证明我们的稀疏性选择方法与现有的最先进的方法，包括频率论和贝叶斯方法在各种设置中具有竞争力。
2019-03-08 math.ST stat.ME stat.TH
Bayesian Finite Mixtures of Ising Models
该研究提出伊辛模型有限混合模型以分析二元变量关联的多变量模式，探究其可识别性条件并构建贝叶斯拟合框架，经实验验证可有效用于稀疏二元列联表分析。
2023-04-30 stat.ME
Formulating the Proxy Pattern-Mixture Model as a Selection Model to Assist with Sensitivity Analysis
本文将代理模式混合模型（PPMM）重新表述为选择模型，利用敏感性参数 $ϕ$ 及代理变量间的二次函数关系，揭示了模型潜在假设并为 $ϕ$ 设定更切实际的界限。
2024-09-26 stat.AP stat.ME
A comparative review of variable selection techniques for covariate dependent Dirichlet process mixture models
Dirichlet Process Mixture（Dirichlet Process Mixture）模型已经越来越多地用于指定考虑协变量内可能模式的随机划分模型。此外，为了处理大量的协变量，已经提出了用于选择最重要的协变量的方法。通常，选择协变量是因为它们在确定观测值聚类中的重要性，或者是因为它们对响应变量水平的影响（当指定回归模型时）。通常，这两种策略都涉及规范模型中协变量的潜在指标。常见的例子包括使用尖峰和平板先验分布。在这项工作中，我们回顾了最相关的模型，包括协变量信息的诱导分区的观察，我们专注于这些模型的变量选择技术。我们强调了每个模型的主要特点，并在模拟和实际数据应用中进行了演示。
2016-10-29 stat.AP
Model Selection for Mixture Models - Perspectives and Strategies
确定有限混合分布的分量数G是一个重要而困难的推理问题。这是一个非常重要的问题，因为关于所得模型的统计推断对G值高度敏感。选择错误的G值可能会产生较差的密度估计。这也是从理论角度来看最困难的问题，因为它涉及到混合模型的不可识别性问题。从实践的角度来看，这是一个最相关的问题，因为分量G的数量的含义与混合分布的建模目的密切相关。在本章中，我们区分了在第2节中选择G作为密度估计问题和在第3节中选择G作为基于模型的聚类框架。这两个部分都讨论了频率论和贝叶斯方法。我们在这里提出了一些贝叶斯解决方案，以不同的解释选择“正确”的数量的成分在混合物中，在结论上的不适定性质的问题。
2018-12-24 stat.CO stat.ME
Robust mixture regression with Exponential Power distribution
假设指数幂分布是处理回归和聚类中离群值的一种方法，这可以增加分析的鲁棒性。高斯分布是指数分布的一种特殊情况。指数幂分布可以看作是正态分布的尺度混合。因此，模型选择方法开发的高斯混合模型可以很容易地扩展到指数幂混合模型。此外，高斯混合模型在实际情况下倾向于选择比指数幂混合模型更多的分量，这意味着指数幂混合模型更容易解释。本文研究了误差服从指数幂次分布的混合回归模型。它对异常值具有鲁棒性，并且模型选择易于实现。
2020-12-19 stat.CO stat.ME
Reversible Jump MCMC With No Regrets: Bayesian Variable Selection Using Mixtures of Mutually Singular Distributions
University of Amsterdam（阿姆斯特丹大学）；Duke University（杜克大学）；University of Washington（华盛顿大学）
本文提出一种基于互奇异分布混合的贝叶斯变量选择方法，通过固定维度参数空间中的互奇异子空间实现模型竞争，展示其与RJMCMC在Metropolis-Hastings接受概率上的一致性，并在实验中验证其有效性。
2026-04-30 stat.ME
Learning false discovery rates by fitting sigmoidal threshold functions
错误发现率（FDR）通常从空分布和替代分布的混合来估计。在这里，我们研究了Rice和Spiegelhalter（2008）提出的一种补充方法，该方法使用零模型和局部错误发现率的参数族作为主要量。具体来说，我们考虑半正常衰减和β均匀混合模型作为FDR阈值函数。使用模拟和分析的真实数据，我们比较的水稻Spiegelhalter的方法与竞争FDR估计程序的性能。如果替代模型被错误指定，并且采用经验零分布，则FDR估计的准确性大大降低。因此，虽然是一个非常优雅的形式主义，FDR阈值方法需要在实际应用中特别小心。
2011-04-28 stat.ME
Structurally Aware Robust Model Selection for Mixtures
针对混合模型在模型错误设定下易产生虚假子总体的问题，本文利用已知因果结构和模型偏差先验，提出结构感知的稳健模型选择准则，并证明一致性且在模拟与流式细胞术数据中有效。
2024-03-01 math.ST stat.ME stat.TH
Clustering and Model Selection via Penalized Likelihood for Different-sized Categorical Data Vectors
在这项研究中，我们考虑无监督聚类的分类向量，可以使用混合不同的大小。我们使用似然最大化来估计底层混合模型的参数，并使用惩罚技术来选择混合成分的数量。无论真实的分布，产生的数据，我们表明，一个明确的惩罚，已知的乘法常数，导致一个非渐近的甲骨文不等式与Kullback-Leibler分歧的两侧的不等式。这一理论结果说明了一个文档聚类应用程序。为此，提出了一种新的鲁棒期望最大化算法来估计最能代表不同主题的混合参数。斜率算法用于校准惩罚并选择多个聚类。
2017-09-07 math.ST stat.TH
Model Selection for Gaussian-gated Gaussian Mixture of Experts Using Dendrograms of Mixing Measures
University of Science - VNUHCM（越南胡志明市科学大学）；ARC Centre of Excellence for the Mathematical Analysis of Cellular System（细胞系统数学分析卓越研究中心）；School of Mathematical Sciences Queensland University of Technology（昆士兰理工大学数学科学学院）；Department of Statistics University of Michigan（密歇根大学统计学系）；Department of Statistics and Data Science University of Texas at Austin（德克萨斯大学奥斯汀分校统计学与数据科学系）
本文提出一种基于混合度量树状图的高斯门控高斯混合专家模型选择方法，可一致估计专家数量并实现最优收敛速率，避免训练多模型，优于AIC、BIC和ICL准则。
2025-05-23 cs.LG math.ST stat.CO
Mixture Model Averaging for Clustering
在基于混合模型的聚类应用程序中，通常会从一个系列中拟合多个模型，并仅报告“最佳”模型的聚类结果。在这种情况下，使用模型选择标准（最常见的是贝叶斯信息标准）来实现该最佳模型的选择。除了最好的模型之外，我们没有丢弃所有的模型，而是对在某种意义上接近最好的模型的多个模型进行平均，从而产生聚类结果的加权平均值。两个（加权）平均方法被认为是：平均组件的成员资格概率和平均模型。在这两种情况下，Occam窗口用于确定与最佳模型的接近程度，并且在贝叶斯模型平均范式内计算权重。在某些情况下，我们需要在平均之前合并成分;我们介绍了一种基于调整后的Rand指数合并混合成分的方法。我们的基于模型的聚类平均方法的有效性说明使用一个家庭的高斯混合模型的真实和模拟数据。
2014-07-26 stat.CO stat.ME stat.ML
