Model selection-based estimation for generalized additive models using mixtures of g-priors: Towards systematization
本文研究广义可加模型的贝叶斯模型选择估计，通过Laplace近似扩展至指数分布族，发现g-先验混合比单位信息先验更有效，且基于模型选择的方法优于其他贝叶斯方法。
2024-08-30 stat.ME
Bayesian sparse graphical models and their mixtures using lasso selection priors
我们提出了高斯图形模型的贝叶斯方法，导致稀疏和自适应收缩的精度（逆协方差）矩阵的估计。我们的方法是基于套索型正则化先验导致简约的参数化的精度矩阵，这是必不可少的几个应用程序，涉及学习变量之间的关系。在这种情况下，我们引入了一种新类型的选择之前，开发一个稀疏结构的精度矩阵，使大多数元素正好为零，除了确保正定性-从而进行模型选择和估计同时进行。我们将这些方法扩展到有限和无限混合高斯图形模型的聚类数据使用Dirichlet过程先验。我们讨论了适当的后验模拟方案，以实现后验推理在所提出的模型，包括评估的归一化常数，这是感兴趣的参数的功能，从而导致相关矩阵的限制。我们评估我们的方法的操作特性，通过几个模拟和应用到真实的数据集。
2013-10-03 stat.ME
Reversible Jump MCMC With No Regrets: Bayesian Variable Selection Using Mixtures of Mutually Singular Distributions
University of Amsterdam（阿姆斯特丹大学）；Duke University（杜克大学）；University of Washington（华盛顿大学）
本文提出一种基于互奇异分布混合的贝叶斯变量选择方法，通过固定维度参数空间中的互奇异子空间实现模型竞争，展示其与RJMCMC在Metropolis-Hastings接受概率上的一致性，并在实验中验证其有效性。
2026-04-30 stat.ME
Parsimonious Ultrametric Manly Mixture Models
Department of Mathematics & Statistics, McMaster University（麦克马斯特大学数学与统计系）
本文提出了一种简洁的超度量马尼混合模型，通过引入马尼变换和扩展的超度量协方差结构，提升高维非对称数据聚类的可解释性和模型选择效果。
2026-09-10 stat.ME
Optimal post-selection inference for sparse signals: a nonparametric empirical-Bayes approach
许多最近发展的贝叶斯方法集中在稀疏信号检测。然而，解决自然的后续问题所做的工作要少得多：如何对选择后这些信号的大小进行有效的推断。普通贝叶斯可信区间由于推理对象的自适应选择而存在选择偏差。现有的贝叶斯方法用于校正这种偏差产生具有差的频率论属性的可信区间，而现有的频率论方法需要牺牲贝叶斯方法中典型的收缩的益处，从而导致不必要的宽的置信区间。我们解决这个差距，提出了一个非参数的随机贝叶斯方法构建最佳选择调整的置信集。我们的方法产生的置信集是尽可能短的平均值，同时调整选择和保持精确的频率覆盖均匀的参数空间。我们的主要理论结果建立了一个重要的一致性属性，我们的程序：在温和的条件下，它渐近收敛到一个预言贝叶斯分析的结果，其中的信号大小的先验分布是已知的。在一系列的例子中，该方法优于现有的频率论技术的后选择推理，产生的置信度集，显着更短，但具有相同的覆盖率保证。
2020-11-13 stat.ME
Infinite mixtures of multivariate normal-inverse Gaussian distributions for clustering of skewed data
多变量正态逆高斯（MNIG）分布的混合可以用于对表现出偏态和重尾等特征的数据进行聚类。然而，对于聚类分析，使用传统的有限混合模型框架，或者组分的数量需要是已知的$a$ - $priori$，或者需要在导出可能数量的组分的范围的结果之后使用某种模型选择标准来估计$a$ - $posteriori$。然而，不同的模型选择标准有时会导致不同数量的组件产生不确定性。在这里，一个无限混合模型框架，也被称为狄利克雷过程混合模型，提出了混合MNIG分布。该狄利克雷过程混合物模型方法允许组分数量从1到$\infty$（实际上从1到$N$）自由增长或衰减，并且组分数量与贝叶斯框架中的参数估计值一起推断，从而减轻了对模型选择标准的需求。我们提供了真实的数据应用程序与基准数据集，以及一个小的模拟实验，与其他现有的模型进行比较。所提出的方法提供了竞争力的聚类结果，其他聚类方法的模拟和真实的数据和参数恢复说明使用模拟研究。
2020-05-11 stat.ME
Semi-Supervised Mixture Models under the Concept of Missing at Radom with Margin Confidence and Aranda Ordaz Function
School of Mathematics and Statistics（数学与统计学学院）；University of New South Wales（新南威尔士大学）
本文提出一种基于边缘置信度和Aranda Ordaz函数的半监督混合模型，用于在缺失随机机制下提高分类性能和鲁棒性。
2026-01-21 cs.LG stat.CO stat.ME
Stochastic model selection for Mixtures of Matrix-Normals
矩阵正态分布的有限混合是无监督问题中对三向数据进行分类的有力工具。每个分量的分布被假定为矩阵变量正态密度。混合模型可以通过期望最大化算法在假设组分数目已知且固定的情况下估计。在这项工作中，我们介绍，开发和探索贝叶斯分析的模型，以提供一个工具，同时模型估计和模型选择。仿真研究和一个真实的例子说明了所提出的方法的有效性。
2013-03-06 stat.CO stat.ME
Mixtures of g-priors in Generalized Linear Models
Zellner g-先验的混合已在线性模型中得到广泛研究，并已被证明具有贝叶斯变量选择和模型平均的许多理想性质。在文献中已经提出了几个扩展的g-先验的广义线性模型（GLM），然而，选择先验分布的g和由此产生的属性的推断得到了相当少的关注。本文通过将截断的复合合流超几何（tCCH）分布赋为1/（1 + g），统一了GLM中g先验的混合，其中包括文献中的几种g先验的混合，如hyper-g，Beta-prime，truncated Gamma，incomplete inverse Gamma，benchmark，robust，hyper-g/n和intrinsic prior。通过积分拉普拉斯近似，1/（1 + g）的后验分布又是tCCH分布，因此近似的边缘似然性可通过分析获得，从而导致用于模型选择的“复合超几何信息准则”。我们讨论了GLM中g先验的局部几何性质，并展示了Bayarri等人提出的模型选择的必要条件，如渐近模型选择一致性，内在一致性和测量不变性，可以用来证明超参数的先验和特定选择。我们说明推理使用这些先验知识，并通过模拟和真实数据的例子将它们与其他方法进行对比。该方法在R包BAS中实现，并在CRAN上免费提供。
2018-05-04 stat.ME
Detection and Feature Selection in Sparse Mixture Models
我们认为高斯混合模型在高维和集中在检测和特征选择的孪生任务。在均值差异的稀疏性假设下，我们推导出信息界，并建立各种程序的性能，包括样本协方差阵的顶部稀疏特征值和其他基于矩的投影检验，如Malkovich和Afifi（1973）的偏度和峰度检验，以及我们在零值下能够更好地控制的其他变量。
2016-10-01 math.ST stat.ME stat.TH
Model Selection for Gaussian Mixture Models
本文讨论了有限混合模型中的一个重要问题，即混合组分数的选择。提出了一种新的惩罚似然方法用于有限多元高斯混合模型的模型选择。所提出的方法被证明是统计上一致的，在确定的组件的数量。提出了一种改进的期望最大化算法，它可以同时选择混合分量的个数和估计混合权重，即混合概率和高斯分布的未知参数。仿真和实际数据分析，以说明所提出的方法的性能。
2013-01-16 math.ST stat.ME stat.ML
Power-Expected-Posterior Priors as Mixtures of g-Priors
构造客观贝叶斯方法的先验分布的主要方法之一是随机虚观测值的概念。在这种设置下，期望后验先验（EPP）提供了几个优点，其中它具有很好的和简单的解释，并提供了一种有效的方法来建立模型之间的先验的兼容性。本文研究了正态线性模型下客观贝叶斯模型选择中幂期望后验先验的推广。我们证明，它可以表示为混合物的$g$先验，像一个广泛的先验分布下的正态线性模型，从而后验分布和贝叶斯因子推导出封闭的形式，因此保持计算易处理。比较与其他混合物的$g$先验和重点是在后验分布的g和它的效果贝叶斯模型选择和模型平均。
2020-10-08 stat.ME
Bayesian Nonparametric Density Autoregression with Lag Selection
我们开发了一个贝叶斯非参数自回归模型，适用于灵活地估计一般的过渡密度表现出非线性滞后依赖。我们的方法是贝叶斯密度回归Dirichlet过程的混合物，马尔可夫似然定义通过从混合物中获得的条件分布。这导致贝叶斯非参数扩展的混合专家模型制定。我们解决计算挑战后验抽样产生的马尔可夫结构的可能性。基础模型说明了人口动态的经典模型的合成数据，以及一系列的等待时间之间的老忠实间歇泉喷发。我们研究的推论，通过基础模型，然后扩展的方法，包括自动相关性检测之间的一组预先指定的滞后。全球和当地的滞后选择推理探索与额外的模拟研究，并说明了通过分析每年的时间序列的粉红色鲑鱼丰富的流在阿拉斯加的方法。我们进一步探讨和比较过渡密度估计性能的替代配置所提出的模型。
2021-07-13 stat.ME
A Variational Approximations-DIC Rubric for Parameter Estimation and Mixture Model Selection Within a Family Setting
基于混合模型的聚类自五十多年前引入以来已成为一种越来越受欢迎的数据分析技术，并且现在通常在家庭环境中使用。混合模型的族出现时的组件参数，通常是组件的协方差（或规模）矩阵，被分解，并施加了一些约束。在族设置内，模型选择涉及选择族的成员，即，适当的协方差结构，以及混合成分的数量。目前，贝叶斯信息准则（BIC）已被证明是最有效的模型选择，而期望最大化（EM）算法通常用于参数估计。事实上，这个EM-BIC规则几乎垄断了混合模型族的文献。偏离这个标题，变分贝叶斯近似的参数估计和偏差信息准则的模型选择。变分贝叶斯方法提供了一个替代的框架参数估计，通过构建一个严格的下限上的复杂的边际似然和最大限度地提高这一下限最小化相关的库尔贝克-莱布勒散度。这种方法是采取最常用的家庭的高斯混合模型，真实和模拟数据被用来比较新的方法的EM-BIC规则。
2019-11-06 stat.CO stat.ME stat.ML
A LASSO-Penalized BIC for Mixture Model Selection
基于族的方法对基于混合模型的聚类和分类的有效性取决于简约模型的选择。目前的智慧建议贝叶斯信息准则（BIC）的混合模型选择。然而，BIC具有众所周知的局限性，包括倾向于高估组件的数量，以及倾向于经常大幅低估更高维度的组件数量。虽然前一个问题可以通过合并组件来解决，但后者在集群和分类应用程序中是不可能缓解的。在本文中，一个LASSO惩罚BIC（LPBIC）的介绍，以克服这个问题。这种方法是说明的基础上的应用程序的扩展的混合物的因素分析，其中的LPBIC是用来选择组件的数量和潜在因素的数量。在几种情况下，LPBIC表现出匹配或优于BIC。
2012-11-27 math.ST stat.CO stat.ME
Consistency of Variational Bayes Inference for Estimation and Model Selection in Mixtures
混合模型广泛应用于贝叶斯统计和机器学习，特别是在计算生物学，自然语言处理和许多其他领域。变分推理是一种通过优化算法来近似难以处理的后验的技术，在处理混合物等复杂模型时，在实践中非常流行。本文的贡献是双重的。首先，我们研究了后验变分逼近的集中性，这对于一般的混合物仍然是一个开放的问题，我们得到了一致性和收敛速度。我们还解决了模型选择的组件的数量的问题：我们研究的方法已经在实践中使用，其中包括在最大限度地提高数值标准（证据下界）。我们证明了这种策略确实会导致强预言不等式。我们说明我们的理论结果的应用高斯和多项式混合物。
2018-08-12 math.ST stat.CO stat.ME
Formulating the Proxy Pattern-Mixture Model as a Selection Model to Assist with Sensitivity Analysis
本文将代理模式混合模型（PPMM）重新表述为选择模型，利用敏感性参数 $ϕ$ 及代理变量间的二次函数关系，揭示了模型潜在假设并为 $ϕ$ 设定更切实际的界限。
2024-09-26 stat.AP stat.ME
Dendrogram of mixing measures: Hierarchical clustering and model selection for finite mixture models
本研究提出基于过拟合混合测度构建树状图的新方法，衔接层次聚类与混合建模，可在弱可识别条件下一致选成分数并获最优收敛速率，经模拟验证且可用于单细胞RNA分析。
2024-03-08 stat.ME stat.ML
Model Selection for Mixture Models - Perspectives and Strategies
确定有限混合分布的分量数G是一个重要而困难的推理问题。这是一个非常重要的问题，因为关于所得模型的统计推断对G值高度敏感。选择错误的G值可能会产生较差的密度估计。这也是从理论角度来看最困难的问题，因为它涉及到混合模型的不可识别性问题。从实践的角度来看，这是一个最相关的问题，因为分量G的数量的含义与混合分布的建模目的密切相关。在本章中，我们区分了在第2节中选择G作为密度估计问题和在第3节中选择G作为基于模型的聚类框架。这两个部分都讨论了频率论和贝叶斯方法。我们在这里提出了一些贝叶斯解决方案，以不同的解释选择“正确”的数量的成分在混合物中，在结论上的不适定性质的问题。
2018-12-24 stat.CO stat.ME
Robust mixture regression with Exponential Power distribution
假设指数幂分布是处理回归和聚类中离群值的一种方法，这可以增加分析的鲁棒性。高斯分布是指数分布的一种特殊情况。指数幂分布可以看作是正态分布的尺度混合。因此，模型选择方法开发的高斯混合模型可以很容易地扩展到指数幂混合模型。此外，高斯混合模型在实际情况下倾向于选择比指数幂混合模型更多的分量，这意味着指数幂混合模型更容易解释。本文研究了误差服从指数幂次分布的混合回归模型。它对异常值具有鲁棒性，并且模型选择易于实现。
2020-12-19 stat.CO stat.ME
A Latent Mixture Model for Heterogeneous Causal Mechanisms in Mendelian Randomization
孟德尔随机化（MR）是流行病学和遗传学中的一种流行方法，它使用遗传变异作为工具变量进行因果推断。现有的MR方法通常假设大多数遗传变异是识别共同因果效应的有效工具变量。人们普遍没有意识到，即使所有的工具变量都是有效的，当涉及多个因果通路时，也可能违反这种效应同质性假设。在这篇文章中，我们介绍了一个潜在的混合模型MR-PATH，该模型将产生相似因果效应估计的工具分组在一起。我们开发了一个Monte-Carlo EM算法来拟合这个混合模型，推导出近似的置信区间的不确定性量化，并采用一个修改的贝叶斯信息准则（BIC）的模型选择。我们使用数值模拟来验证Monte-Carlo EM算法、置信区间和模型选择准则的有效性。我们确定潜在的机制异质性时，应用我们的方法来估计高密度脂蛋白胆固醇对冠心病的影响和肥胖对II型糖尿病的影响。
2022-06-14 stat.AP stat.ME
Variable selection for clustering with Gaussian mixture models: state of the art
University of Hasan 1st（哈桑一世大学）；University of Abdelmalek Essaâdi（阿卜杜勒马利克·埃萨迪大学）
混合模型已被广泛用于聚类中，由于其概率框架，其基础，然而，对于现代数据库，其特点是其规模大，这些模型的行为dispromisingly在设置模型，使必要的相关变量的选择，这种类型的聚类。在回顾了基于模型的聚类的基础知识之后，本文将研究基于模型的聚类的变量选择方法，并提出改进这些方法的机会。
2017-01-31 cs.LG stat.ML
Consistent Bayesian Sparsity Selection for High-dimensional Gaussian DAG Models with Multiplicative and Beta-mixture Priors
高维多元数据的协方差阵估计是现代统计学中一个具有挑战性的重要问题。在本文中，我们专注于高维高斯DAG模型，稀疏性诱导的逆协方差阵的Cholesky因子L。在最近的工作中，（[Cao，Khare和Ghosh，2019]），我们为分层贝叶斯DAG模型建立了高维稀疏选择一致性，其中Erdos-Renyi先验被放置在Cholesky因子L中的稀疏模式上，并且DAG-Wishart先验被放置在产生的非零Cholesky条目上。在本文中，我们显着改进和扩展这项工作，（a）考虑更多样化和有效的先验的稀疏模式在L中，即β-混合先验和乘法先验，（b）建立稀疏选择一致性显着放宽条件下的p，和真实模型的稀疏模式。我们通过数值模拟证明了我们的理论结果的有效性，并使用进一步的模拟来证明我们的稀疏性选择方法与现有的最先进的方法，包括频率论和贝叶斯方法在各种设置中具有竞争力。
2019-03-08 math.ST stat.ME stat.TH
Feature Selection Facilitates Learning Mixtures of Discrete Product Distributions
Yale University（耶鲁大学）
特征选择可以在离散随机变量的混合物出现时（例如，在众包任务中）促进对它们的学习。直觉上，并不是所有的员工都同样可靠，但是，如果不太可靠的员工可以被淘汰，那么学习应该会更强大。通过类比高斯混合模型，我们寻求一种低阶统计方法，并在这里介绍一种算法的基础上（成对）的互信息。这导致了一种对工人的秩序，这种秩序是为“一枚硬币”模式精心构建的。更一般地说，它是合理的拟合优度的措施，并验证经验。实际数据集的改进可能是实质性的。
2017-11-25 cs.LG stat.ML
Structurally Aware Robust Model Selection for Mixtures
针对混合模型在模型错误设定下易产生虚假子总体的问题，本文利用已知因果结构和模型偏差先验，提出结构感知的稳健模型选择准则，并证明一致性且在模拟与流式细胞术数据中有效。
2024-03-01 math.ST stat.ME stat.TH
Bayesian non-parametric non-negative matrix factorization for pattern identification in environmental mixtures
环境健康研究人员可能会致力于确定代表来源的暴露模式，产品使用，或行为，引起潜在有害的环境化学品暴露的混合物。我们提出了贝叶斯非参数非负矩阵分解（BN ^2 MF）作为一种新的方法来识别模式的化学品暴露时，模式的数量是未知的先验。我们将非负连续先验放置在模式负载和个体分数上以增强可解释性，并使用聪明的非参数稀疏先验来估计模式数。我们进一步推导出估计值周围的变分置信区间;这是一个关键的发展，因为它量化了模型对估计模式的置信度。这些独特的功能与现有的模式识别方法在这一领域中所采用的是有限的用户指定的模式数，缺乏解释性的模式在人类的理解，以及缺乏不确定性量化。
2021-09-24 stat.AP stat.ME stat.ML
Dirichlet Process Mixture Models with Shrinkage Prior
我们提出了Dirichlet过程混合（Dirichlet Process Mixture）模型的预测和集群明智的变量选择，基于两种选择的收缩基线先验分布的线性回归系数，即马蹄先验和正态伽玛先验。我们在模拟研究中表明，这两个建议的ESTA模型往往优于标准ESTA模型的基础上的非收缩正常的先验，在预测，变量选择和聚类精度。这对于马蹄模型尤其如此，并且当协变量的数量超过群内样本量时。一个真实的数据集进行了分析，以说明所提出的建模方法，两个建议的预测模型再次获得更好的预测精度。
2021-02-25 stat.AP stat.ME
Modifications of the BIC for order selection in finite mixture models
La Trobe University（拉 Trobe 大学）；Institute of Mathematics for Industry, Kyushu University（九州大学产业数学研究所）；ARC Centre of Excellence for the Mathematical Analysis of Cellular Systems（ARC 细胞系统数学分析卓越中心）；Queensland University of Technology（昆士兰科技大学）
本文提出改进的BIC方法，通过引入微小对数因子实现更弱条件下的模型阶数选择一致性，并揭示了基于一致IC选择的局限性。
2026-02-01 math.ST stat.TH
Model Selection and Parameter Estimation of One-Dimensional Gaussian Mixture Models
本文提出了一种基于傅里叶的方法，用于高效估计一维高斯混合模型的模型阶数和混合分布，且在样本复杂度上达到理论最优。
2026-09-01 cs.LG eess.SP stat.ME
An Efficient Model Selection for Gaussian Mixture Model in a Bayesian Framework
Center for Information Security Technology (CIST), Korea University（高丽大学信息安全技术中心(CIST)）；Korea University（高丽大学）
为了对数据进行聚类或分区，我们经常使用期望和最大化（EM）或高斯混合模型（GMM）的变分近似，GMM是一个参数概率密度函数，表示为$\hat{K}$高斯分量密度的加权和。然而，模型选择，以找到潜在的$\hat{K}$是GMM聚类的关键问题之一，因为我们可以获得所需的集群只有当$\hat{K}$是已知的。在本文中，我们提出了一个新的模型选择算法，探讨$\hat{K}$在贝叶斯框架。该算法建立了模型阶数的密度，这是AIC和BIC等信息准则基本上无法重建的。此外，与耗时的蒙特卡罗模拟相比，该算法可以快速地重建密度。
2013-07-03 cs.LG stat.ML
Fast sampling and model selection for Bayesian mixture models
我们研究贝叶斯估计的混合模型，并认为有利于拟合的边缘后验分布组件分配直接，而不是吉布斯抽样从联合后验组件和参数是通常做的。以前的一些作者发现前一种方法混合速度很慢，但我们证明，如果正确实现，它可以实现出色的性能。特别是，我们描述了一种新的蒙特卡罗算法，从边缘后采样的一般可积混合，利用拒绝免费抽样从以前的组件分配，以实现优良的混合时间在典型的应用程序中，优于标准的吉布斯抽样，在某些情况下，由一个很宽的利润率。我们展示了高斯，泊松和分类模型的应用程序的选择的方法。
2025-10-22 stat.CO stat.ML
Fitting large mixture models using stochastic component selection
传统的有限混合模型的无监督学习方法需要评估混合模型中所有成分的似然性。当组件的数量很大时，这在计算上变得禁止，例如，在和积（变换）网络中。因此，我们建议应用的期望最大化和大都会黑斯廷斯算法的组合，以评估只有少量的，随机采样，组件，从而大大降低了计算成本。组件分配的马尔可夫链在算法的迭代中顺序生成，具有非平稳目标分布，其参数通过梯度下降方案而变化。我们把重点放在我们的方法的通用性，配备它的能力，训练浅和深的混合模型，涉及复杂的，可能是非线性的，转换。我们的方法的性能在各种合成和真实数据环境中进行了说明，考虑到深度模型，例如归一化流和和积（变换）网络的混合。
2021-10-10 cs.LG stat.ML
On Fractionally-Supervised Classification: Weight Selection and Extension to the Multivariate t-Distribution
最近的工作分数监督分类（FSC），一种方法，允许进行分类的分数量的权重给予未标记的点，进一步发展在两个方面。主要的发展解决了一个根本重要性的问题，即如何选择给予未标记点的权重。这个问题的解决是必不可少的，因为它使FSC更容易适用于实际问题。有趣的是，权重选择问题的解决为基于模型的聚类和分类中的模型选择开辟了一种不同的方法。二次开发表明，FSC方法可以有效地超越高斯混合模型。为此，FSC的方法说明了使用多变量t-分布的混合物。
2017-09-24 stat.CO stat.ME
Robust Bayesian variable selection with sub-harmonic priors
本文研究了一般球对称误差分布线性模型中的贝叶斯变量选择问题。我们提出了次谐波先验出现的Zellner的g-先验的贝叶斯因子是独立的基本误差分布的混合物的一类，只要它是在球对称类。由于这种不变性球对称误差分布，我们把我们的方法作为一个强大的贝叶斯变量选择方法。我们证明了我们的贝叶斯因子具有模型选择的一致性和连贯性。我们还开发了拉普拉斯近似贝叶斯因子的一些最近研究的混合物的g先验最近出现在文献中（包括我们自己的）的高斯误差。在每种情况下，这些近似值都由基于BIC的高斯贝叶斯因子乘以先验超参数的简单有理函数和相应模型的R^2给出。我们还扩展了模型选择的一致性为几个g先验贝叶斯因子方法高斯误差的整个类的球对称误差分布。此外，我们证明了我们的类的次谐波先验是唯一的在一个大类的混合物的g-先验在文献中研究的是强大的，在我们的意义上。模拟研究和两个真实数据集的分析表明，我们的鲁棒贝叶斯因子相对于BIC和其他混合的g先验方法的良好性能。
2013-03-11 math.ST stat.ME stat.TH
A Model-Free Selection Criterion For The Mixing Coefficient Of Spatial Max-Mixture Models
极值理论的一个主要问题是量化联合尾部之间的相关性。使用在联合尾部缺乏灵活性的随机过程可能会导致严重低估或高估与同时发生的极端事件相关的概率。根据最近的进展，在文献中，一个灵活的模型称为最大混合模型已被引入建模的情况下，极值依赖结构可能会随着距离而变化。在本文中，我们提出了一个非参数模型的混合系数的选择标准，我们的标准是来自一个madogram，一个概念，经典的地质统计学捕捉空间结构。该过程是基于一个非线性最小二乘法之间的理论madogram和经验之一。我们进行了模拟研究，并将我们的标准应用于澳大利亚东部的每日降水量。
2018-01-03 math.PR math.ST stat.TH
Bayesian finite mixtures: a note on prior specification and posterior computation
本文提出了一种计算有限混合物组分数k的后验分布的新方法。本文还研究了先验规范的两个方面：论证了使用Poisson（1）分布作为k的先验;给出了在混合正态模型中选择超参数值的方法，其中分量参数具有自然共轭先验。
2007-11-03 stat.CO stat.ME
A comparative review of variable selection techniques for covariate dependent Dirichlet process mixture models
Dirichlet Process Mixture（Dirichlet Process Mixture）模型已经越来越多地用于指定考虑协变量内可能模式的随机划分模型。此外，为了处理大量的协变量，已经提出了用于选择最重要的协变量的方法。通常，选择协变量是因为它们在确定观测值聚类中的重要性，或者是因为它们对响应变量水平的影响（当指定回归模型时）。通常，这两种策略都涉及规范模型中协变量的潜在指标。常见的例子包括使用尖峰和平板先验分布。在这项工作中，我们回顾了最相关的模型，包括协变量信息的诱导分区的观察，我们专注于这些模型的变量选择技术。我们强调了每个模型的主要特点，并在模拟和实际数据应用中进行了演示。
2016-10-29 stat.AP
Mixture Model Averaging for Clustering
在基于混合模型的聚类应用程序中，通常会从一个系列中拟合多个模型，并仅报告“最佳”模型的聚类结果。在这种情况下，使用模型选择标准（最常见的是贝叶斯信息标准）来实现该最佳模型的选择。除了最好的模型之外，我们没有丢弃所有的模型，而是对在某种意义上接近最好的模型的多个模型进行平均，从而产生聚类结果的加权平均值。两个（加权）平均方法被认为是：平均组件的成员资格概率和平均模型。在这两种情况下，Occam窗口用于确定与最佳模型的接近程度，并且在贝叶斯模型平均范式内计算权重。在某些情况下，我们需要在平均之前合并成分;我们介绍了一种基于调整后的Rand指数合并混合成分的方法。我们的基于模型的聚类平均方法的有效性说明使用一个家庭的高斯混合模型的真实和模拟数据。
2014-07-26 stat.CO stat.ME stat.ML
Model Selection and Parameter Estimation for Multidimensional Gaussian Mixture Models with a Common Covariance Matrix
Department of Mathematics, Hong Kong University of Science and Technology (HKUST)（香港科技大学数学系）
本文研究了多维高斯混合模型的学习问题，重点在于模型阶选择和高效混合分布估计。通过建立信息论下界，提出基于阈值的估计算法，结合梯度下降方法和PCA降维，验证了方法的最优性与高效性。
2026-09-01 cs.LG stat.ML
A Bayesian Finite Mixture Model with Variable Selection for Data with Mixed-type Variables
University of Florida（佛罗里达大学）；University of Florida Health Cancer Center（佛罗里达大学健康癌症中心）；University of Pittsburgh（匹兹堡大学）
有限混合模型是聚类方法的一个重要分支，可以应用于混合类型变量的数据集。然而，在其应用中存在挑战。首先，它通常依赖于期望最大化算法，该算法可能对初始值的选择敏感。其次，生物标志物受检测限（LOD）的限制在临床数据中是常见的，这将删失变量带入有限混合模型。此外，由于可用于聚类的变量数量越来越多，研究人员最近对变量重要性越来越感兴趣。为了解决这些挑战，我们提出了一个贝叶斯有限混合模型，同时进行变量选择，占生物标志物LOD和获得聚类结果。为了克服期望最大化算法的局限性，我们采用贝叶斯方法来获得参数估计和聚类隶属度。为了解释LOD，我们在吉布斯抽样中增加了一个步骤，以迭代地填充低于或高于LOD的生物标志物值。此外，我们把一个尖峰和平板型的先验对每个变量，以获得变量的重要性。在各种情况下进行模拟，以检查这种方法的性能。还进行了电子健康记录的真实数据应用。
2019-05-09 cs.LG stat.AP stat.ML
Clustering and Model Selection via Penalized Likelihood for Different-sized Categorical Data Vectors
在这项研究中，我们考虑无监督聚类的分类向量，可以使用混合不同的大小。我们使用似然最大化来估计底层混合模型的参数，并使用惩罚技术来选择混合成分的数量。无论真实的分布，产生的数据，我们表明，一个明确的惩罚，已知的乘法常数，导致一个非渐近的甲骨文不等式与Kullback-Leibler分歧的两侧的不等式。这一理论结果说明了一个文档聚类应用程序。为此，提出了一种新的鲁棒期望最大化算法来估计最能代表不同主题的混合参数。斜率算法用于校准惩罚并选择多个聚类。
2017-09-07 math.ST stat.TH
Confidence ellipsoids for regression coefficients by observations from a mixture
线性回归系数的置信椭圆是由不同浓度的混合物的观测值构造的。两种方法进行了讨论。第一种是基于加权最小二乘技术的非参数方法。第二种是近似的极大似然估计，应用EM算法进行估计计算。
2018-06-11 stat.ME
Regularized Estimation and Feature Selection in Mixtures of Generalized Linear Experts
University of Science（胡志明市理工大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）；IRT SystemX（法国系统X技术研究所）；Dalat University（大叻大学）
针对预测变量众多或相关时广义线性专家混合模型最大似然拟合不稳定的问题，提出正则化最大似然框架，通过ℓ1惩罚和近端牛顿-EM算法实现同步参数估计与特征选择，在模拟和真实数据上有效恢复稀疏支持并提升预测与聚类精度。
2026-09-10 cs.LG stat.AP stat.ME
Sparsity enforcing priors in inverse problems via Normal variance mixtures: model selection, algorithms and applications
当考虑贝叶斯方法时，反问题的解的稀疏结构可以使用不同的稀疏性执行先验来建模。模型未知量的解析表达式可以通过构建基于稀疏性强制分布的分层模型来获得，该稀疏性强制分布通过共轭先验来表示。我们考虑具有此性质的重尾分布：t分布，表示为正态尺度混合，混合分布为逆Gamma分布，拉普拉斯分布，也可以表示为正态尺度混合，混合分布为指数分布，或者可以表示为正态逆尺度混合，混合分布为逆Γ分布，双曲分布、方差-Γ分布、正态-逆高斯分布，所有这三种分布都使用广义双曲分布通过共轭分布表示。对于所有的分布迭代算法推导出分层模型的基础上，考虑到正向模型的不确定性。对于估计，使用通过变分贝叶斯近似（Vibration Bayesian Approximation，Vibration Bayesian Approximation）的最大后验（Maximum A Posterior，MAP）和后验均值（Posterior Mean，PM）。在三维计算机断层扫描（3D-CT）和时间生物学的应用中，所得到的算法的性能进行了比较。最后，一个理论研究的稀疏执行算法之间的比较，通过贝叶斯方法和稀疏执行算法发出的正则化技术，如LASSO和其他一些。
2017-05-29 stat.AP
Method of Moments Confidence Intervals for a Semi-Supervised Two-Component Mixture Model
来自未治疗患者的反应分布和该分布的偏移的混合物是来自一组治疗患者的反应的有用模型。混合模型解释了这样一个事实，即并非治疗组中的所有患者都会对治疗产生应答，因此其应答遵循与未治疗患者的应答相同的分布。在这种情况下，处理效应包括作为应答者的治疗患者的分数和应答者分布的变化幅度。在本文中，我们调查的处理效应的矩估计方法的性质，并证明其有用性获得近似置信区间，而无需任何参数假设的响应分布。
2021-07-14 stat.ME
Model Selection for Gaussian-gated Gaussian Mixture of Experts Using Dendrograms of Mixing Measures
University of Science - VNUHCM（越南胡志明市科学大学）；ARC Centre of Excellence for the Mathematical Analysis of Cellular System（细胞系统数学分析卓越研究中心）；School of Mathematical Sciences Queensland University of Technology（昆士兰理工大学数学科学学院）；Department of Statistics University of Michigan（密歇根大学统计学系）；Department of Statistics and Data Science University of Texas at Austin（德克萨斯大学奥斯汀分校统计学与数据科学系）
本文提出一种基于混合度量树状图的高斯门控高斯混合专家模型选择方法，可一致估计专家数量并实现最优收敛速率，避免训练多模型，优于AIC、BIC和ICL准则。
2025-05-23 cs.LG math.ST stat.CO
Bayesian Group Learning for Shot Selection of Professional Basketball Players
在本文中，我们开发了一个小组学习的方法来分析潜在的异质性结构的投篮选择在NBA的职业篮球运动员。基于对数高斯-考克斯过程（LogGaussian-Cox process，LGCP），提出了一种有限混合物混合模型（MFM）来刻画不同球员投篮选择的异质性。我们所提出的方法可以同时估计组的数量和组配置。提出了一种有效的马尔可夫链蒙特卡罗（MCMC）算法。已经进行了模拟研究，以证明其性能。最终，我们提出的学习方法在分析NBA 2017-2018常规赛几名球员的投篮图中得到了进一步的说明。
2020-10-19 stat.AP
Factorized Asymptotic Bayesian Hidden Markov Models
NEC Laboratories America（美国 NEC 实验室）；University of Tokyo（东京大学）
本文讨论了隐马尔可夫模型（HMM）的模型选择问题。我们推广了因子分解渐近贝叶斯推断（FAB），这是最近开发的独立隐变量模型选择（即，混合模型），用于时间依赖的隐变量。与混合模型中的FAB算法一样，本文推导出了基于因子分解信息准则（FIC）的混合模型中的FAB算法。它继承了混合模型的FAB，学习障碍的几个理想的属性，如FIC与边际对数似然的渐近一致性，隐藏状态选择的收缩效应，通过迭代优化的FIC下限的单调增加。此外，它没有可调的超参数，因此其模型选择过程可以完全自动化。实验结果表明，FAB优于国家的最先进的变分贝叶斯HMM和非参数贝叶斯HMM的模型选择精度和计算效率。
2012-06-18 cs.LG stat.ML
Consistent Bayesian Information Criterion Based on a Mixture Prior for Possibly High-Dimensional Multivariate Linear Regression Models
在多元线性回归模型的变量选择问题中，我们基于光滑分布和δ分布的混合先验，导出了新的贝叶斯信息准则。每一个都可以解释为赤池信息准则（AIC）和贝叶斯信息准则（BIC）的融合。继承了它们的渐近性质，我们的信息准则在大样本和高维渐近框架下的变量选择是一致的。在数值模拟中，基于我们的信息准则的变量选择方法在大多数情况下以高概率选择真实的变量集。
2022-08-19 math.ST stat.TH
Exact confidence intervals for the mixing distribution from binomial mixture distribution samples
本文提出一种基于二项式混合分布样本构建混合分布累积分布函数和分位数逐点精确置信区间的方法，通过反演复合零假设的精确检验实现，并利用分层贝叶斯方法与有限 Polya Trees 建模提供稳定的去卷积估计。
2023-11-24 stat.ME
A Two-round Variant of EM for Gaussian Mixtures
AT&T Labs - Research（AT&T实验室-研究部）；Georgia Institute of Technology（佐治亚理工学院）
给定一组可能的模型（例如，贝叶斯网络结构）和数据样本，在无监督模型选择问题中，任务是选择关于域联合概率分布的最准确的模型。与此相反，在监督模型选择中，先验已知所选模型将在未来用于涉及更“集中”的预测分布的预测任务。虽然可以通过边缘化从联合概率分布中产生集中的预测分布，但实际上，无监督意义上的最佳模型不一定在监督域中表现良好。特别是，标准边际似然得分是无监督任务的标准，虽然经常用于监督模型选择，但在此类任务中表现不佳。在本文中，我们研究了边际似然得分的监督贝叶斯网络选择任务的经验性能，通过使用大量的公开可用的分类数据集，并比较结果与其他模型选择标准，包括经验交叉验证方法，监督边际似然测度的近似，结果表明，边缘似然得分在有监督的模型选择中表现不佳，而Dawids序贯概率方法则获得了最好的结果。
2013-01-16 cs.LG stat.ML
Multi-species distribution modeling using penalized mixture of regressions
多物种分布模型将多个物种的出现与环境变量联系起来，是生态学家用于预测群落中物种分布和识别驱动物种共存的重要变量的重要工具。最近，邓斯坦，福斯特和达内尔[生态模型。222（2011）955-963]提出了使用有限混合回归（FMR）模型进行多物种分布建模，其中物种基于其环境响应聚类以形成少量“原型响应”。“作为一个说明性的例子，他们将混合模型方法应用于澳大利亚大堡礁沿线收集的200种海洋生物的存在-不存在数据集。然而，很少有人注意到模型选择的问题-由于原型（混合组分）可能取决于不同但可能重叠的协变量集，因此需要一种方法同时对所有组分进行变量选择。在这篇文章中，我们考虑在FMR模型中使用罚似然函数进行变量选择。我们提出了两种惩罚，利用协变量的分组结构，即每个协变量由一组系数表示，每个分量一个。这导致了一种有吸引力的收缩形式，允许同时从所有组件中删除协变量。这两种处罚具有特定形式的变量选择的一致性，模拟表明，他们优于其他方法，不考虑分组结构。当应用于大堡礁数据集，惩罚FMR模型提供了更深入的重要变量驱动物种共存的海洋群落（相比以前的结果，没有模型选择进行），同时提供了一个计算稳定的方法建模复杂的物种-环境关系（通过正规化）。
2015-09-16 stat.AP
Robust Model Selection for Finite Mixture of Regression Models Through Trimming
本文介绍了有限混合回归模型的一种新的变量选择技术--修剪法。与传统的变量选择技术相比，新方法具有鲁棒性和对离群值不敏感的特点。估计算法的介绍和数值研究进行检查所提出的程序的有限样本性能，并与其他现有的方法进行比较。
2019-05-03 stat.ME
Model Confidence Bounds for Variable Selection
在这篇文章中，我们介绍了嵌套模型中变量选择的模型置信限（MCB）的概念。与熟悉的参数估计置信区间中的终点类似，MCB识别出两个嵌套模型（置信上限和置信下限模型），其中包含给定置信水平下的真实模型。代替信任从给定的模型选择方法获得的单个选择的模型，MCB提出一组嵌套模型作为候选模型，并且MCB的宽度和组成使从业者能够评估总体模型选择不确定性。介绍了一种新的图形工具--模型不确定性曲线（MUC），用于可视化模型选择的变异性和比较不同的模型选择过程。MCB方法是由一个快速的自举算法，而一般的条件下，产生正确的渐近覆盖。我们的蒙特卡罗模拟和实际数据的例子证实了该方法的有效性，并说明了所提出的方法的优点。
2018-07-26 stat.ME
