High dimensional Sparse Gaussian Graphical Mixture Model
University of Groningen（格罗宁根大学）
本文研究了基于高斯混合图模型（GGMM）的异构数据网络重构问题。众所周知，由于大量的变量与可能性的简并性，在这种情况下的参数估计是具有挑战性的。作为一种解决方案，我们提出了一个惩罚的极大似然技术施加$l_{1}$罚款的精度矩阵。我们的方法缩小了参数，从而导致更好的可识别性和变量选择。我们使用的期望最大化（EM）算法，其中包括图形LASSO估计的混合系数和精度矩阵。证明了在一定的正则条件下，惩罚极大似然（PML）估计是相容的.我们通过模拟展示了PML估计的性能，并展示了我们的方法在基因组应用中用于高维数据分析的实用性。
2013-10-05 cs.LG stat.ML
Likelihood Assignment for Out-of-Distribution Inputs in Deep Generative Models is Sensitive to Prior Distribution Choice
Keio University（庆应义塾大学）
最近的研究表明，深度生成模型为分布外输入分配的可能性高于训练数据。我们发现，这种现象背后的一个因素是先验分布的性质和数据分布的性质之间的不匹配，这是广泛使用的深度生成模型（如VAE和Glow）中发现的问题。虽然先验分布的典型选择是标准高斯分布，但真实数据集的分布的性质可能与单峰先验分布不一致。本文重点讨论了先验分布的选择和分配给分布外输入的似然之间的关系。我们建议使用混合分布作为先验，使深度生成模型分配的似然性对分布外输入敏感。此外，我们解释了采用混合分布作为先验的理论优势，我们提出的实验结果来支持我们的主张。最后，我们证明了混合先验降低了两对真实图像数据集的分布可能性：Fashion-MNIST与MNIST和CIFAR 10与SVHN。
2019-11-15 cs.LG stat.ML
Local Maxima in the Likelihood of Gaussian Mixture Models: Structural Results and Algorithmic Consequences
University of California, Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
我们提供了两个基本结果的人口（无限样本）似然函数的高斯混合模型与$M \geq 3$组件。我们的第一个主要结果表明，人口似然函数有坏的局部最大值，即使在特殊情况下，均匀加权混合分离和球形高斯。我们证明了这些坏的局部最大值的对数似然值可以任意比任何全局最优值更差，从而解决了Srebro（2007）的一个公开问题。我们的第二个主要结果表明，随机初始化的期望最大化算法（或它的一阶变体）将以至少$1-e^{-Ω(M)}$的概率收敛到坏的临界点。我们进一步建立了EM的一阶变体几乎肯定不会收敛到严格的鞍点，这表明一阶方法的性能差可以归因于存在坏的局部极大值，而不是坏的鞍点。总的来说，我们的研究结果强调了在实践中使用期望最大化算法时，即使在非常有利的设置中应用时，也需要仔细初始化。
2016-09-04 cs.LG math.OC stat.ML
Mixture weights optimisation for Alpha-Divergence Variational Inference
LTCI, Télécom Paris（巴黎电信学院LTCI实验室）；Institut Polytechnique de Paris（巴黎理工学院）；SAMOVAR, Télécom SudParis（南巴黎电信学院SAMOVAR实验室）
本文主要研究变分推理的$α$ -散度最小化方法。更确切地说，我们感兴趣的算法优化的混合权重的任何给定的混合模型，没有任何信息的基础分布的混合成分参数。功率下降，定义为所有$α\neq 1$，是这样一个算法，我们建立在我们的工作充分证明了其收敛到最佳的混合权重时，$α<1$。由于$α$ -发散恢复了广泛使用的前向Kullback-Leibler时，$α\to 1$，我们然后扩展功率下降的情况下，$α= 1$，我们得到了一个熵镜下降。这导致我们调查功率下降和熵镜下降之间的联系：一阶近似允许我们引入Renyi下降，一种新的算法，我们证明了$O(1/N)$收敛速度。最后，我们数值比较的行为的无偏功率下降和有偏Renyi下降，我们讨论了一个算法的潜在优势。
2021-06-09 cs.LG math.ST stat.TH
FRMDN: Flow-based Recurrent Mixture Density Network
University of Tehran（德黑兰大学）
本文提出FRMDN，将归一化流引入循环混合密度网络，在非线性变换空间中建模目标序列密度，并在语音与图像数据上取得更高对数似然。
2023-04-20 cs.LG stat.ML
Regularized Maximum Likelihood Estimation and Feature Selection in Mixtures-of-Experts Models
Normandie Univ（诺曼底大学）；UNICAEN（卡昂大学）；UMR CNRS LMNO（法国国家科学研究中心LMNO联合研究单位）
混合专家模型（Mixture of Experts，MoE）是在回归、聚类和分类等统计学习问题中为异构数据建模的成功模型。通常通过期望最大化算法用极大似然估计拟合，因此它们在高维问题中的应用仍然具有挑战性。我们考虑在MoE模型的拟合和特征选择的问题，并提出了一个正则化的极大似然估计的方法，鼓励稀疏解决方案的异质回归数据模型与潜在的高维预测。与最先进的正则化MLE MoE，所提出的建模不需要近似的惩罚函数。本文提出了两种混合期望最大化算法：期望-优化-最大化（EM/MM）算法和带有坐标上升算法的期望最大化算法。所提出的算法允许自动获得稀疏的解决方案，而无需阈值，并避免矩阵求逆，允许单变量参数更新。实验研究表明，该算法在恢复实际稀疏解、参数估计和异质回归数据聚类等方面具有良好的性能。
2018-10-29 cs.LG stat.CO stat.ME
Maximum Likelihood Estimates for Gaussian Mixtures Are Transcendental
高斯混合模型是经典统计学的核心，广泛应用于信息科学，并具有丰富的数学结构。我们检查他们的最大似然估计通过镜头的代数统计。MLE不是数据的代数函数，因此这些模型没有ML度的概念。似然函数的临界点是超越的，即使是两个单变量高斯的混合，它们的数量也没有限制。
2015-11-30 math.OC math.ST stat.TH
Bridging Maximum Likelihood and Optimal Transport for Efficient Inference and Model Selection in Stochastic Block Models
Université Côte d’Azur（法国蔚蓝海岸大学）；Inria（法国国家信息与自动化技术研究院）；CNRS LJAD（法国国家科学研究中心LJAD实验室）；Maasai Nice, France（法国尼斯马萨伊研究所）；EPFL Lausanne, Switzerland（瑞士洛桑联邦理工学院）；CNRS CEPAM（法国国家科学研究中心CEPAM实验室）
本文通过最优传输视角研究随机块模型，提出正则化与未正则化的半松弛Gromov-Wasserstein估计器，实现聚类与模型参数的联合推断及簇数自动选择。
2026-05-28 cs.LG math.ST stat.ML
Sinkhorn EM: An Expectation-Maximization algorithm based on entropic optimal transport
Harvard University（哈佛大学）；Columbia University（哥伦比亚大学）
我们研究Sinkhorn EM（sEM），期望最大化（EM）算法的混合物的基础上熵最优运输的一个变种。sEM与经典的期望最大化算法的不同之处在于在期望步骤中计算责任的方式：sEM不是将数据点独立地分配给聚类，而是通过合并关于混合权重的先验信息来使用最优传输来计算责任。像EM一样，sEM具有作为坐标上升过程的自然解释，其迭代地构造并优化对数似然的下限。然而，我们从理论上和经验上表明，sEM比EM具有更好的行为：它具有更好的全局收敛保证，并且不太容易陷入糟糕的局部最优。我们补充这些发现与模拟数据的实验，以及在推理任务涉及C。elegans神经元，并表明sEM学习细胞标签显着优于其他方法。
2020-06-30 cs.LG stat.CO stat.ME
Existence and Consistency of the Maximum Pseudo \b{eta}-Likelihood Estimators for Multivariate Normal Mixture Models
多元正态混合模型下的稳健估计一直是一个计算难题。最近提出的最大伪\b{eta} -似然估计器的目的是估计的MVN混合模型的未知参数的最小密度功率发散（DPD）方法的精神，但相对简单和易于处理的计算算法，即使是更大的尺寸。在这封信中，我们将严格推导出最大伪\b{eta} -似然估计的存在性和弱相合性的情况下，MVN混合模型在一组合理的假设。
2023-02-12 math.ST stat.TH
Strong consistency of pseudo-likelihood parameter estimator for univariate Gaussian mixture models
本文提出一种基于非参数密度估计和L2距离最小化的一元高斯混合模型参数估计新方法，构造伪似然函数并证明其估计量具有强相合性。
2025-10-16 math.ST stat.TH
Marginal Likelihood Integrals for Mixtures of Independence Models
贝叶斯统计中的推断涉及边缘似然积分的评估。我们提出了代数算法计算这样的积分正是离散数据的小样本量。我们的方法适用于均匀先验和狄利克雷先验。基本的统计模型是独立分布的混合，或者用几何语言来说，是Segre-Veronese变量的割线变量。
2009-02-13 stat.CO
A Mean Field Games model for finite mixtures of Bernoulli and Categorical distributions
有限混合模型是数据的统计分析中的重要工具，例如在数据聚类中。混合模型的最优参数通常通过期望最大化算法最大化对数似然泛函来计算。我们提出了一种替代方法的理论基础上的平均场游戏，一类微分游戏与无限数量的代理。我们证明了有限状态空间多种群平均场博弈系统的解刻画了伯努利混合的对数似然泛函的临界点。然后将该方法推广到分类分布的混合模型。因此，平均场游戏的方法提供了一种方法来计算混合模型的参数，我们展示了它的应用程序在聚类分析中的一些标准的例子。
2020-11-27 cs.LG math.AP stat.ML
Semiparametric inference in mixture models with predictive recursion marginal likelihood
预测递推算法是混合模型中混合密度非参数估计的一种精确且计算效率高的算法。然而，在半参数混合模型中，该算法无法考虑额外的未知结构参数中的任何不确定性。作为现有的配置文件似然方法的替代方案，我们把预测递归作为一个过滤器近似拟合完全贝叶斯模型，从而出现的结构参数的近似边际似然，并可用于推理。我们称之为预测递归边际似然。预测递归下的模型误指定的收敛特性也导致了这个新的过程有吸引力的建设。我们证明了这个边缘似然函数的规范化版本的逐点收敛。仿真结果比较了这种新的边缘似然方法的性能，现有的轮廓似然方法以及Dirichlet过程混合物的密度估计。混合效应模型和经验贝叶斯多重检验应用在时间序列分析也被认为是。
2011-06-16 math.ST stat.ME stat.TH
Likelihood Maximization and Moment Matching in Low SNR Gaussian Mixture Models
在低信噪比条件下，我们得到了具有相等协方差阵的高斯混合模型（GARCH）对数似然的渐近展开。该扩展揭示了两种类型的算法之间的密切联系参数估计：矩量法和似然优化算法，如期望最大化（EM）。我们表明，在低信噪比制度的似然优化减少到一个序列的最小二乘最优化问题，匹配的时刻的估计地面真理的时刻一个接一个。这种联系是一个垫脚石对EM和极大似然估计在广泛的模型分析。低信噪比混合模型的研究的一个激励应用是低温电子显微镜数据，它可以被建模为一个GMM与代数约束施加在混合中心。我们讨论了我们的扩展代数约束Gestival的应用程序，以及其他感兴趣的例子模型。
2020-06-26 math.PR math.ST stat.TH
An approximate Bayesian marginal likelihood approach for estimating finite mixtures
当混合分布的支持未知时，有限混合模型的估计是一个重要的问题。本文提出了一种新的基于边际似然的未知支持度估计方法。受贝叶斯Dirichlet先验模型的启发，提出了一种计算效率高的边际似然随机逼近形式，并给出了大样本理论。通过将支持度限制在有限网格上，采用模拟退火方法来最大化边际似然并估计支持度。实际和模拟数据的例子表明，这种新的随机逼近-模拟退火过程优于现有的方法。
2012-02-13 stat.CO stat.ME
Entropic gradient descent algorithms and wide flat minima
AI Lab, Institute for Data Science and Analytics, Bocconi University（博科尼大学数据科学与分析研究所人工智能实验室）；Dept. Applied Science and Technology, Politecnico di Torino（都灵理工大学应用科学与技术系）
在神经网络的经验风险景观中，平坦最小值的性质已经争论了一段时间。越来越多的证据表明，他们拥有更好的泛化能力，相对于尖锐的。首先，我们讨论高斯混合分类模型，并分析表明，存在贝叶斯最优逐点估计对应于属于宽平坦区域的极小。这些估计器可以通过直接在分类器（其是范数独立的）上或在学习中使用的可微损失函数上应用最大平坦度算法来找到。接下来，我们通过大量的数值验证将分析扩展到深度学习场景。使用两种算法，熵SGD和复制SGD，显式地包括在优化目标中的非局部平坦度测量称为局部熵，我们一贯地改善通用架构（例如ResNet，EfficientNet）的泛化误差。易于计算的平整度测量与测试准确度有明显的相关性。
2021-11-15 cond-mat.dis-nn cs.LG stat.ML
Censored pairwise likelihood-based tests for mixing coefficient of spatial max-mixture models
最大混合过程被定义为Z = max（aX，（1 - a）Y），其中X是渐近相关过程，Y是渐近独立过程，且有一个$\in$ [0，1].因此，混合系数α可以揭示最大混合过程中存在的AD部分的强度。在本文中，我们专注于两个测试的截尾配对似然估计。我们通过广泛的模拟研究比较它们的性能。蒙特卡罗模拟是计算渐近方差的基本工具。我们将试验应用于澳大利亚东部的日降水量。缺点和可能的发展进行了讨论。
2017-12-08 math.PR math.ST stat.TH
Weighted likelihood mixture modeling and model based clustering
在这项工作中，开发了一种加权似然方法的稳健拟合的多元高斯成分的混合。已经提出了两种方法，分别由标准EM和CEM算法的适当修改驱动。在这两种技术中，M步骤通过针对降低离群值的权重的计算来增强。权重是基于皮尔逊残差源于强大的马氏型距离。基于拟合的混合模型，还可以定义用于鲁棒聚类和离群值检测的正式规则。所提出的方法的行为进行了研究，通过一些数值研究和实际数据的例子，在拟合和分类精度和离群值检测。
2018-11-08 stat.ME
StepMix: A Python Package for Pseudo-Likelihood Estimation of Generalized Mixture Models with External Variables
Université de Montréal（蒙特利尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Massachusetts Institute of Technology（麻省理工学院）；Leiden University（莱顿大学）；Institut universitaire en santé mentale de Montréal（蒙特利尔大学精神卫生大学研究所）
本文介绍开源 Python 包 StepMix，它在统一 EM 框架下实现带协变量与远端结局的广义混合模型的一步、两步及偏差校正三步伪似然估计，并兼容 scikit-learn 与 R。
2024-06-17 cs.LG stat.ME stat.ML
Mixture representations and Bayesian nonparametric inference for likelihood ratio ordered distributions
本文利用混合表示刻画似然比有序分布，提出基于Dirichlet过程混合的非参数贝叶斯密度估计方法，首次证明有序约束下的后验相合性，并给出MCMC算法及生物医学应用。
2023-10-26 math.ST stat.ME stat.TH
Rates of Convergence of Maximum Smoothed Log-Likelihood Estimators for Semi-Parametric Multivariate Mixtures
本文首次为半参数有限混合模型中基于平滑对数似然的最大估计量建立了严格理论保证，证明其一致性并推导有限维与无限维参数的收敛速率，弥合了实用算法与统计理论之间的差距。
2025-11-06 math.ST stat.TH
Choosing the number of clusters in a finite mixture model using an exact Integrated Completed Likelihood criterion
集成完全似然（ICL）准则已被证明是一个非常流行的方法，在基于模型的聚类，通过自动选择的混合模型中的聚类数。这种方法有效地最大化了完整的数据可能性，从而包括在模型选择标准的集群的观测值的分配。然而，对于实际实施，需要引入近似值以估计ICL。我们在这里的贡献是为了说明，通过使用共轭先验，可以得到一个精确的表达ICL，从而避免任何近似。此外，我们说明了如何在一个算法框架中找到聚类的数量和观测的最佳分配。我们的算法的性能是在几个模拟和真实的例子。
2015-05-25 stat.CO stat.ME
Investigation of Parameter Uncertainty in Clustering Using a Gaussian Mixture Model Via Jackknife, Bootstrap and Weighted Likelihood Bootstrap
混合模型是基于模型聚类的一种常用工具。这种模型通常通过最大化似然的过程来拟合，例如期望最大化算法。在收敛时，通常报告极大似然参数估计值，但在大多数情况下，很少强调与这些估计值相关的变异性。这部分地可能是由于在模型拟合算法中不直接计算标准误的事实，或者因为不需要它们来拟合模型，或者因为它们难以计算。因此，基于模型的聚类中的标准误的检查通常被忽略。最近广泛使用的R包方法引入了bootstrap和加权似然bootstrap方法，以方便标准误估计。本文提供了一个经验比较这些方法（连同刀切法）产生的标准误和置信区间的混合参数。这些方法的说明和对比，在模拟研究和传统的老忠实的数据集和甲状腺数据集。
2019-07-22 stat.CO stat.ME
Consistency of the MLE under a two-parameter gamma mixture model with a structural shape parameter
有限Gamma混合模型通常用于描述收入数据、保险数据和来自其他应用程序的数据中的随机性。然而，流行的似然方法不适用于这种模型，因为似然函数是无界的，因此最大似然估计量没有很好地定义。已经有许多研究的方法，以确保一致的估计的混合分布，包括放置上界的形状参数或添加惩罚的对数似然函数。本文证明了如果有限Gamma混合模型中的形状参数是结构性的，则混合分布的极大似然估计是定义良好的和强相合的。我们还提出了模拟结果证明的估计的一致性。我们说明了应用的模型与结构尺度参数的家庭收入数据。拟合的混合分布导致几个可能的亚人口结构的水平的可支配收入。
2020-11-08 math.ST stat.TH
Projected likelihood contrasts for testing homogeneity in finite mixture models with nuisance parameters
本文研究了有限混合模型的齐性检验问题，其中混合比例是先验已知的（取为0.5），并且存在一个公共的冗余参数。基于投影似然对比（PLC）的概念的统计检验被认为是。PLC是对通常的似然比统计量或Wilk的$Λ$的轻微修改，并且在精神上类似于Rao的得分检验。已经进行了理论研究，以了解这些测试的大样本统计特性。已经进行了模拟研究，以了解在具有未知均值（共同方差作为冗余参数）和未知方差（共同均值作为冗余参数）的高斯混合物的情况下PLC统计的零分布的行为。计算结果与理论结果一致。这些测试的幂函数已被评估的基础上从高斯混合物的模拟。
2008-05-16 math.ST stat.ME stat.TH
Beyond EM Algorithm on Over-specified Two-Component Location-Scale Gaussian Mixtures
University of Texas at Austin（德克萨斯大学奥斯汀分校）
期望最大化（EM）算法主要用于近似位置-尺度高斯混合的极大似然估计。然而，当模型被过度指定时，即，所选择的用于拟合数据的分量的数量大于未知的真实分量的数量，EM需要根据样本量进行多项式次数的迭代以达到最终的统计半径;这在实践中是计算昂贵的。EM的缓慢收敛是由于关于负总体对数似然函数上的位置参数的局部强凸性的缺失，即，当样本量趋于无穷大时，负样本对数似然函数的极限。为了有效地探索负对数似然函数的曲率，通过具体考虑两个组件的位置尺度高斯混合，我们开发了指数位置更新（ELU）算法。ELU算法的思想是，我们首先获得尺度参数的精确最优解，然后对位置参数执行指数步长梯度下降。我们从理论上和经验上证明，ELU迭代收敛到最终的统计半径的模型后，对数数量的迭代。据我们所知，它解决了长期存在的公开问题，在文献中开发的优化算法，具有最佳的统计和计算复杂性，解决参数估计，即使在某些特定的设置下的超指定高斯混合模型。
2022-05-23 cs.LG math.ST stat.ML
Learning Mixture Density via Natural Gradient Expectation Maximization
Faculty of Science and Technology, University of Macau（科技学院，澳门大学）；University of Cambridge（剑桥大学）
本文提出nGEM方法，通过信息几何优化混合密度网络，实现更快的收敛速度和更高的效率。
2026-02-11 cs.LG
Approximating the marginal likelihood in mixture models
在Chib（1995）中，提出了一种在贝叶斯设置中近似边缘密度的方法，其中一个突出的应用是估计正常混合物中组分的数量。如Neal（1999）和Fruhabeth-Schnatter（2004）中所指出的，由于众所周知的标签切换问题，近似通常不能提供对真实边际密度的适当近似（Celeux等人，2000年）。虽然有其他替代方案来推导近似的边际密度，但我们重新考虑了这里的原始提议，并在Berkhof et al.（2003）和Lee et al.（2008）中表明，一旦解决了标签转换问题，它就真正近似了边际密度。
2008-04-15 stat.CO stat.ME
Efficiently Computed Marginal Likelihoods for Multivariate Mixture Models
Laboratoire de Mathématiques Blaise Pascal, CNRS, Université Clermont Auvergne（布莱斯·帕斯卡数学实验室，法国国家科学研究中心，克莱蒙奥弗涅大学）；CNRS, MAP5, Université Paris Cité（法国国家科学研究中心，MAP5，巴黎西岱大学）；Departments of Statistics and Sociology, University of Washington（华盛顿大学统计与社会学系）
针对单变量或多元混合模型，提出THAMES估计器新版本，从MCMC样本计算边际似然，具一致性等性质，无需隐藏分配后验样本，易近似，在模拟中测试表现良好，可用于推断和模型选择。
2026-10-16 stat.ME
A maximum smoothed likelihood based estimation for two component semiparametric density mixtures with a known component
我们考虑两个单变量密度函数的半参数混合，其中一个是已知的，而重量和其他功能是未知的。这样的混合物具有应用于在两种或更多种条件下检测微阵列数据中差异表达基因的问题的历史。到目前为止，已经假设了关于未知组件的一些附加知识（例如，它属于位置族的事实）。与这种方法相反，我们不假设未知的密度函数上有任何额外的结构。对于这种混合模型，我们推导出一个新的充分可识别性条件，并查明了一类特定的分布描述的未知组件，这个条件是最满意的。我们的方法来估计这个模型是基于一个想法，适用于最大平滑似然，否则将是一个不适定的问题。我们引入了一种迭代MM（优化-最小化）算法来估计所有模型参数。我们建立了该算法具有下降属性的对数似然目标功能，并证明了该算法收敛到这样的目标功能的最小值。最后，我们还说明了我们的算法在模拟研究和使用一个真正的数据集的性能。
2017-07-29 math.ST stat.TH
Fast Bootstrapping Nonparametric Maximum Likelihood for Latent Mixture Models
本文针对潜在混合模型混合密度估计中传统自助法不可扩展的问题，提出基于生成过程和新型两阶段优化算法的快速非参数最大似然自助估计，可在十万观测下低成本准确估计。
2024-02-28 stat.ME
Automatic Differentiation in Mixture Models
在这篇文章中，我们讨论了两类特定的模型-高斯混合Copula模型和混合因子分析器-以及使用自动微分进行梯度下降推理的优势。高斯混合模型是一类流行的聚类方法，它提供了一种原则性的统计聚类方法。然而，每个混合分量都是正态分布的基本假设对于几个现实生活中的数据集来说往往过于严格。为了放松混合成分正态性的假设，引入了一类新的基于Copula函数的参数混合模型--高斯混合Copula模型。由于方差-协方差阵的半正定性约束，利用极大似然估计高斯混合Copula模型（GMCM）的参数一直是一个棘手的问题。先前的尝试限于最大化代理似然，其可以使用期望最大化算法来最大化。这些现有的方法，即使更容易实现，并不保证任何收敛，也单调增加的GMCM似然比。在本文中，我们使用自动微分工具，以最大限度地提高精确似然GMCM，同时避免任何约束方程或拉格朗日乘子。我们展示了我们的方法如何导致单调增加的可能性和收敛到（局部）最佳值的可能性。在本文中，我们还展示了如何自动微分可以用于推理与混合因子分析仪和这样做的优点。我们还讨论了如何这种方法也有所有的属性，如单调增加的可能性和收敛到局部最优。请注意，我们的工作也适用于这两个模型的特殊情况-例如简单Copula模型，因子分析器模型等。
2018-12-13 stat.CO stat.ME
Clustering and Model Selection via Penalized Likelihood for Different-sized Categorical Data Vectors
在这项研究中，我们考虑无监督聚类的分类向量，可以使用混合不同的大小。我们使用似然最大化来估计底层混合模型的参数，并使用惩罚技术来选择混合成分的数量。无论真实的分布，产生的数据，我们表明，一个明确的惩罚，已知的乘法常数，导致一个非渐近的甲骨文不等式与Kullback-Leibler分歧的两侧的不等式。这一理论结果说明了一个文档聚类应用程序。为此，提出了一种新的鲁棒期望最大化算法来估计最能代表不同主题的混合参数。斜率算法用于校准惩罚并选择多个聚类。
2017-09-07 math.ST stat.TH
Entropic Issues in Likelihood-Based OOD Detection
Layer 6 AI（Layer 6人工智能公司）
该研究针对深度生成模型OOD数据似然高于分布内的问题，将平均似然分解为KL散度与熵项，指出熵项是导致该现象的原因，解释了似然比OOD检测的有效性，并关联了流形支撑模型的相关进展。
2023-06-14 cs.LG stat.ML
A smoothed semiparametric likelihood for estimation of nonparametric finite mixture models with a copula-based dependence structure
在这篇文章中，我们考虑了一个有限的多元非参数混合模型，其中的边际密度之间的依赖关系是使用copula设备建模。最近提出的伪EM随机算法估计的所有组件的边缘上的位置-规模的约束下，这个模型。在这里，我们介绍了一个确定性算法，旨在最大限度地提高平滑半参数似然。没有位置规模的假设是关于边缘。该算法在一种特殊情况下是单调的，而在另一种情况下，导致“近似单调性”-从而目标函数的连续值之间的差异变得非负，直到在足够大的迭代次数后变得可以忽略不计的加法项。在几个模拟数据集上说明了该算法的行为。结果表明，在适当的条件下，所提出的算法可能确实是单调的一般。讨论的结果和一些可能的未来研究方向轮我们的介绍。
2022-12-13 stat.CO
Maximum multinomial likelihood estimation in compound mixture model with application to malaria study
本文针对疟疾流行区发热个体寄生虫水平的双组分混合结构，提出非参数最大多项似然估计方法，并开发EM算法估计疟疾比例，模拟和实际数据分析表明其比现有非参数估计更有效。
2025-07-21 stat.ME
Asymptotic Analysis of the Bayesian Likelihood Ratio for Testing Homogeneity in Normal Mixture Models
当我们使用正态混合模型时，应该确定描述数据的组分的最佳数量。检验同质性对于此目的是好的;然而，构建其理论是具有挑战性的，因为检验统计量甚至不渐近收敛于$χ^{2}$分布。这种渐近行为的原因是描述原假设（N.H.）在备择假设（A.H.）的空间中包含奇点。近年来，奇异模型的$\it{Bayesian}$理论得到发展，它阐明了统计推断的各种问题。然而，它的应用奇异模型的假设检验一直是有限的。在本文中，我们介绍了一种标度技术，大大简化了推导和研究检验的同质性的第一次贝叶斯理论的基础。在三种情况下，我们得到了边际似然比的渐近分布：（1）在A.H.（2）混合分布的混合比和均值是变量;（3）混合分布的混合比、均值和方差是变量。在所有情况下，结果都是复杂的，但可以描述为服从正态分布的随机变量的函数。在此基础上构造了一个测试方案，并通过数值实验验证了其有效性。
2019-12-22 math.ST stat.ME stat.TH
Generalised Bayesian distance-based phylogenetics for the genomics era
本文提出基于熵似然的距离法系统发育学扩展，在基因组规模数据上实现快速贝叶斯推断，并在鸟类大数据集上验证了其高效性与可靠性。
2025-02-06 math.ST q-bio.PE stat.TH
Maximum weighted likelihood estimator for robust heavy-tail modelling of finite mixture models
本文给出了重尾有限混合模型（FMM）的最大加权似然估计（MWLE）的稳健估计。这是由保险索赔严重性数据的复杂分布现象所激发的，其中需要灵活的密度估计工具，例如FMM，但MLE经常在FMM下产生不稳定的尾部估计。在一定的正则条件下，证明了MWLE是相容的，并且是渐近正态的。我们进一步证明了MWLE得到的尾部指数是一致的，即使模型是错误的，证明了MWLE在估计FMM尾部的鲁棒性。广义期望最大化（GEM）算法对MWLE进行概率解释，仍然适用于有效的参数估计。因此，我们提出并比较了两个独特的完整数据的结构来实现GEM算法。通过举例说明我们的方法在两个模拟研究和一个真正的汽车保险数据集，我们表明，相比MLE，MWLE产生更适当的估计FMM的尾部，而不会牺牲太多的灵活性FMM在捕捉身体的一部分。
2021-08-03 stat.ME
Testing the Order of Multivariate Normal Mixture Models
多元正态分布的有限混合分布在统计遗传学和统计金融学等领域的经验应用中得到了广泛的应用。检验多元正态混合模型中的分量数是一个长期存在的挑战，即使是在最重要的检验同质性的情况下。本文开发了基于似然性的$M_0$组件的原假设对一般$M_0 \geq 1$的$M_0 + 1$组件的备择假设的测试。对于异方差正态混合模型，我们提出了EM检验，并给出了EM检验统计量的渐近分布。对于同方差正态混合，我们得到了似然比检验统计量的渐近分布。在局部替代下，我们还得到了似然比检验统计量和EM检验统计量的渐近分布，并证明了参数自助法的有效性。仿真结果表明，该检验具有良好的有限样本量和功效特性。
2019-02-08 econ.EM math.ST stat.TH
On the potential benefits of entropic regularization for smoothing Wasserstein estimators
本文从近似与估计误差权衡出发，证明熵正则化能以更低计算成本使 Wasserstein 估计量获得相当性能，并通过理论收敛结果与模拟、真实数据实验验证。
2024-10-28 stat.AP stat.ME stat.ML
A BGe score for tied-covariance mixtures of Gaussian Bayesian networks
Bernoulli Institute (BI) Rijksuniversiteit Groningen（格罗宁根大学伯努利研究所）
研究高斯贝叶斯网络混合模型，提出协方差绑定混合模型，推导其边际似然得BGe评分指标，通过结合结构MCMC和快速吉布斯采样器的MCMC方案进行模型推理，并在模拟和基准数据上比较两种模型。
2026-07-20 stat.CO
Entropic GANs meet VAEs: A Statistical Approach to Compute Sample Likelihoods in GANs
University of Maryland, College Park（马里兰大学帕克分校）；University of Pennsylvania（宾夕法尼亚大学）
基于深度学习的成功，从数据中学习概率模型的两种现代方法是生成对抗网络（GANs）和变分自编码器（VAE）。VAE考虑数据的显式概率模型，并通过最大化对数似然函数的变分下限来计算生成分布。然而，GANs通过最小化观察到的概率分布和生成的概率分布之间的距离来计算生成模型，而不考虑观察到的数据的显式模型。在GANs中缺乏明确的概率模型，禁止在其框架中计算样本可能性，并限制了它们在统计推断问题中的使用。在这项工作中，我们通过构建一个显式概率模型来解决这个问题，该模型可用于计算GANs中的样本似然统计。特别地，我们证明了在这个概率模型下，具有熵正则化的Wasserstein GANs家族可以被视为一个生成模型，该生成模型最大化了平均样本对数似然的变分下限，这是VAE所基于的方法。这一结果在两个现代生成模型，即GANs和VAE之间建立了原则性联系。除了上述理论结果外，我们还计算了在Gaussian，MNIST，SVHN，CIFAR-10和LSUN数据集上训练的GANs的似然统计。我们的数值结果验证了所提出的理论。
2019-06-05 cs.LG stat.ML
On universal inference in Gaussian mixture models
本文研究高斯混合模型下的通用推断，证明分割似然比检验在原假设下渐近正态，并出人意料地达到与经典似然比检验相同的检测速率，反驳了通用推断功效损失的观点。
2025-03-30 math.ST stat.TH
Robust Clustering with Normal Mixture Models: A Pseudo $β$-Likelihood Approach
针对正态混合模型似然估计鲁棒性差的问题，提出基于β似然的伪β似然鲁棒聚类方法，通过迭代重加权最小二乘同步实现聚类与异常检测，在模拟和真实数据上表现优于现有主流方法。
2023-12-19 math.ST stat.AP stat.ME
Testing for Homogeneity in Mixture Models
未观察到的异质性的统计模型通常形式化为简单参数模型的混合物，并且兴趣自然地集中在检验同质性与一般混合物替代方案。许多这种类型的检验可以解释为$C(α)$检验，如Neyman（1959）所述，并证明是局部渐近最优的。这些$C(α)$测试将与一般混合模型的似然比测试的新方法进行对比。后一种检验是基于一般非参数混合分布的估计，使用Kiefer和Wolfowitz（1956）极大似然估计量。最近的发展，凸优化显着改善了早期EM方法计算这些估计，最近的结果，大样本行为的似然比，涉及这些估计产生一个易于处理的形式的渐近推理。计算效率的提高也有利于使用自举方法来确定临界值，这些临界值比有限样本中的渐近临界值更好。自举程序的一致性也正式确立。我们比较性能的两种方法确定的情况下，每一个是首选。
2016-03-21 stat.ME
Approximate nonparametric maximum likelihood inference for mixture models via convex optimization
混合模型的非参数极大似然（NPML）是一种估计混合分布的技术，在统计学上有着悠久而丰富的历史，可以追溯到20世纪50年代，并且与经验贝叶斯方法密切相关。历史上，基于NPML的方法被认为是相对不切实际的，因为计算和理论的障碍。然而，最近的工作集中在近似NPML方法表明，这些方法可能有很大的希望，为各种现代应用。在此基础上，研究了一类灵活、可扩展、易于实现的近似NPML方法，用于求解多元混合分布问题。提供了实施这些方法的具体指导，并提供了理论和经验支持;涵盖的主题包括识别混合分布的支持集，以及比较算法（跨各种度量），用于解决近似NPML问题核心的简单凸优化问题。此外，三个不同的实际数据的应用进行了研究，以说明该方法的性能：（一）棒球数据分析（经验贝叶斯方法的经典例子），（二）高维微阵列分类，（iii）在线预测糖尿病患者的血糖密度。除其他外，实证结果表明，使用多元（而不是单变量）混合分布的NPML为基础的方法的相对有效性。
2018-01-12 stat.ME
Estimating the Number of Components in a Mixture of Multilayer Perceptrons
BIC准则被神经网络社区广泛用于模型选择任务，尽管其收敛性质并不总是在理论上成立。在本文中，我们将集中在多层感知器的混合估计的组件的数量，并证明在此框架下的BIC准则的收敛性。分别由Keribin（2000）和Gassiat（2002）引入的混合模型和隐马尔可夫模型的惩罚边缘似然被扩展到多层感知器的混合，并提出了惩罚似然准则。我们证明了它的收敛性的一些假设，其中涉及到广义得分函数类的括号熵，并说明了它的一些数值例子。
2008-04-04 math.ST stat.TH
Exact Likelihoods for N-mixture models with Time-to-Detection Data
本文构建融合计数与探测时间数据的 N-混合模型，基于次序统计量推导精确闭式似然，揭示记录探测时间在无重复计数时可提升估计精度。
2023-09-26 stat.ME
Modularized Bayesian analyses and cutting feedback in likelihood-free inference
最近，人们对修改错误指定模型的贝叶斯推断产生了很大的兴趣，以便它对特定目的有用。一种流行的改进的贝叶斯推断方法是“切割反馈”，当模型由多个耦合模块组成时，可以使用该方法，其中只有一些模块被错误指定。切割反馈方法用条件分量和序贯分量表示完整的后验分布，然后基于模块结构修改这种表示中的某些项，以指定或计算修改后的后验分布。这样做的主要目标是避免错误指定的模块对感兴趣的参数的推断的污染。计算削减后验分布是具有挑战性的，在这里，我们考虑切割反馈的似然性的基础上的混合高斯近似的参数和数据汇总统计的联合分布的推断。我们利用高斯混合的边缘和条件分布是高斯混合的事实，给出明确的近似边缘或条件后验分布，使我们可以很容易地近似削减后验分析。混合方法允许基于单一混合拟合对不同数据重复近似后验分布，这对于有助于决定是否“切割”的模型检查很重要。一个半模块化的方法，反馈是部分削减似然自由推理。两个具有挑战性的例子，集体细胞扩散模型和连续时间模型的资产收益跳跃的方法的好处。
2022-03-18 stat.AP stat.CO stat.ME
Estimation of Parameters in DNA Mixture Analysis
在Cowell等人（2007年）中，使用Γ分布对电泳图中的峰大小进行建模，提出了用于分析混合痕量DNA的贝叶斯网络。结果表明，该分析对方差因子的选择敏感，因此应适用于分析的任何新迹线。在本文中，我们讨论如何方差参数可以估计极大似然，以实现这一点。来自每个贡献者的DNA的未知比例可以类似地通过极大似然联合方差参数来估计。此外，我们讨论了如何将先验知识的参数在贝叶斯分析。建议的估计方法说明通过几个例子的应用程序计算证据价值的个案工作和混合反卷积。
2013-06-20 stat.ME
Flexible Mixture Modeling with the Polynomial Gaussian Cluster-Weighted Model
在混合建模框架下，本文提出了多项式高斯聚类加权模型（CWM）。它扩展了线性高斯CWM，二元数据，在一个双重的方式。首先，通过考虑多项式回归，它允许混合成分中可能的非线性依赖性。其次，它不限于用于基于模型的聚类，仅在最一般的基于模型的分类框架中进行上下文化。使用期望最大化算法导出极大似然参数估计，并使用贝叶斯信息准则（BIC）和综合完全似然（ICL）进行模型选择。本文还研究了多项式高斯CWM的成分隶属度的后验概率与其它已建立的相关混合模型的成分隶属度的后验概率相一致的条件，对于这些模型，多项式高斯CWM应用于本文所考虑的人工数据和真实数据时，都显示出优良的聚类和分类结果。
2012-07-04 stat.CO stat.ME
Sub-Gaussian Concentration and Entropic Normality of the Maximum Likelihood Estimator
Carnegie Mellon University（卡内基梅隆大学）；Qualcomm Flarion Technology, Inc.（高通弗拉里昂技术有限公司）
本文在标准正则条件下，通过建立归一化最大似然估计的次高斯尾界、所有矩收敛以及熵中心极限定理，强化了经典渐近正态性结果。
2026-09-01 cs.IT math.IT math.ST
