Tackling the infinite likelihood problem when fitting mixtures of shifted asymmetric Laplace distributions
引入了移动非对称拉普拉斯分布的混合，作为基于模型的聚类工具，除了位置和尺度之外，还允许直接参数化偏度。按照一般的做法，一个期望最大化算法开发，以适应这些混合物。然而，适应帐户的“无限可能性问题”导致适合，以参数恢复为代价，提供了良好的分类性能。在本文中，我们提出了一个更有价值的解决方案，这个问题，通过开发一种新的贝叶斯参数估计计划的混合移动非对称拉普拉斯分布。通过仿真研究，我们表明，所提出的参数估计计划提供了更好的参数估计相比，基于期望最大化的计划。此外，我们还表明，分类性能一样好，在某些情况下更好，比期望最大化为基础的计划。这两种方案的性能也使用众所周知的真实数据集进行评估。
2023-03-24 stat.ME
Reweighted Expectation Maximization
Columbia University（哥伦比亚大学）
用极大似然训练深度生成模型仍然是一个挑战。典型的解决方法是使用变分推断（VI）并最大化数据的对数边际似然的下限。变分自动编码器（VAE）采用这种方法。他们进一步摊销成本的推理使用识别网络参数化的变分家庭。摊销的VI尺度近似于深度生成模型到大型数据集的后验推理。然而，它引入了一个摊销差距，并导致近似后验的表达能力降低，由于被称为后崩溃的问题。在本文中，我们将期望最大化（EM）视为拟合深度生成模型的范例。与VI不同，EM直接最大化数据的对数边际似然。我们重新发现重要性加权自动编码器（IWAE）作为EM的一个实例，并提出了一种新的基于EM的算法，用于拟合深度生成模型，称为重新加权期望最大化（REM）。REM学习更好的生成模型比IWAE通过解耦的生成模型和识别网络的学习动态使用一个单独的表达的建议发现矩匹配。我们比较了REM的VAE和IWAE的几个密度估计基准，发现它会导致显着更好的性能，如测量的对数似然。
2019-08-10 cs.LG stat.ME stat.ML
Stabilised weighted data subsampling for accelerated Bayesian inference in models with recursive likelihoods
University of Technology Sydney（悉尼科技大学）；University of New South Wales（新南威尔士大学）；Human Technology Institute, University of Technology Sydney（悉尼科技大学人类技术研究所）
针对递归定义似然的模型计算成本高的问题，提出一种基于对数似然无偏估计的稳定加权子采样方法，通过给早期观测分配更高采样概率减少递归深度，并引入理论支持的稳定化框架避免方差膨胀，在条件波动率模型中实现显著加速且保持推断精度。
2026-10-14 stat.CO stat.ME
Iterating marginalized Bayes maps for likelihood maximization with application to nonlinear panel models
本文提出了一种新的迭代过滤算法，通过边缘化步骤缓解高维粒子过滤问题，从而实现对非线性非高斯机理模型的似然推断，拓展了面板数据分析的动态模型应用范围。
2025-11-21 math.ST stat.CO stat.ME
A Matrix--free Likelihood Method for Exploratory Factor Analysis of High-dimensional Gaussian Data
提出了一种新的剖面似然估计方法，用于估计高维高斯数据集的探索性因子分析中的协方差参数，其观测值小于变量数。隐式重新启动的Lanczos算法和有限内存拟牛顿法实现开发一个无矩阵的框架似然最大化。仿真结果表明，我们的方法是大大快于期望最大化的解决方案，而不牺牲精度。我们的方法适用于自杀未遂者，自杀意念者和对照组的数据拟合因子模型。
2019-11-10 q-bio.QM stat.AP stat.CO
Connecting Score Matching, Maximum Likelihood, and Expectation-Maximization in Mixed Linear Regression
Purdue University（普渡大学）
本文研究混合线性回归中响应扩散的分数匹配，通过KL散度连接似然与EM算子，证明估计器收敛并给出梯度分解与数值验证。
2026-09-09 cs.LG stat.ML
Fast expectation-maximization algorithms for spatial generalized linear mixed models
空间广义线性混合模型（SGLModel）是一种非常流行的非高斯空间数据模型。它们对于空间插值以及拟合考虑空间依赖性的回归模型非常有用，并且通常用于许多学科，如流行病学，大气科学和社会学。SGL的推断通常在贝叶斯框架下进行，至少部分是因为计算问题使得极大似然估计具有挑战性，特别是当涉及高维空间数据时。在这里，我们提供了一个计算效率高的投影为基础的极大似然的方法和两个计算效率高的算法，定期拟合SGL。提出的两种算法都是期望最大化算法的变体，使用马尔可夫链蒙特卡罗或拉普拉斯近似的条件期望。我们的方法是通用的，适用于离散域（高斯马尔可夫随机场）以及连续域（高斯过程）的空间模型。我们表明，通过模拟和实际数据的应用，我们的方法表现良好，无论是在参数估计以及预测。至关重要的是，我们的方法是计算效率和规模以及与数据的大小，适用于问题的极大似然估计以前是不可行的。
2021-10-22 stat.ME
Recursive maximum likelihood identification of jump Markov nonlinear systems
在这篇文章中，我们提出了一个在线的方法，联合状态和参数估计跳跃马尔可夫非线性系统（JMNLS）。通过使用粒子滤波器来实现状态推断，这使得该方法适用于广泛的非线性模型。为了利用JMNLS的固有结构，我们设计了一个Rao-Blackwellized粒子滤波器（RBPF）的离散模式被边缘化分析。这导致算法的有效实现并减小了估计误差方差。建议的RBPF，然后用于计算，递归的时间，平滑估计的完整数据充分统计量。与在线期望最大化算法一起，这使得未知模型参数的递归识别成为可能。该方法的性能示出在模拟和在无线网络中使用真实数据的定位问题。
2013-12-03 stat.CO
Monte Carlo Expectation-Maximization algorithm to detect imprinting and maternal effects for discordant sib-pair data
针对不一致同胞对数据，提出MCEMDSP方法联合检测印记和母体效应，通过蒙特卡洛近似EM算法处理过度参数化，虽耗时更长但检测功效更高，可补充LIMEDSP方法。
2023-12-31 stat.ME
Detecting Imprinting and Maternal Effects Using Monte Carlo Expectation Maximization Algorithm
针对现有方法难以同时检测基因组印记和母体效应的问题，提出MCEM方法联合估计两种效应，虽耗时更长但功效更高、标准误更小，可作为LIME的补充。
2023-12-31 stat.ME
Expectation-Maximization for Learning Determinantal Point Processes
University of Pennsylvania（宾夕法尼亚大学）；University of Michigan（密歇根大学）；University of Washington（华盛顿大学）
决定点过程（DPP）是一个由半正定核矩阵参数化的集合多样性紧的概率模型。为了使DPP适合给定的任务，我们希望通过最大化可用数据的对数似然来学习其内核矩阵的条目。然而，对数似然在核矩阵的条目中是非凸的，并且该学习问题被证明是NP难的。因此，以前的工作集中在更受限制的凸学习设置上：只学习核矩阵每行的单个权重，或者学习具有固定核矩阵的DPP的线性组合的权重。在这项工作中，我们提出了一种新的算法学习完整的核矩阵。通过将核参数化从矩阵元素改为特征值和特征向量，然后采用期望最大化算法的方式对似然函数进行下界处理，得到了一个有效的优化过程。我们测试我们的方法在现实世界中的产品推荐任务，并实现高达16.5%的相对收益，在测试对数似然相比，最大化的可能性，通过预测梯度上升的内核矩阵的条目的天真的方法。
2014-11-04 cs.LG stat.ML
Deterministic Quantum Annealing Expectation-Maximization Algorithm
极大似然估计（MLE）是机器学习中最重要的方法之一，而期望最大化（EM）算法常用于获得最大似然估计。然而，EM严重依赖于初始配置，并未能找到全局最优。另一方面，在物理学领域，量子退火（QA）被提出作为一种新的优化方法。出于QA的动机，我们提出了EM的量子退火扩展，我们称之为确定性量子退火期望最大化（DQAEM）算法。我们还讨论了它的优点的路径积分公式。此外，通过数值模拟，我们说明了它是如何工作的MLE，并表明DQAEM优于EM。
2017-04-19 cond-mat.stat-mech physics.comp-ph quant-ph
Multi-Sample Online Learning for Spiking Neural Networks based on Generalized Expectation Maximization
Dongguk University（东国大学）；King’s College London（伦敦国王学院）
脉冲神经网络（SNN）提供了一种新的计算范例，其通过二进制神经动态激活处理来捕获生物大脑的一些效率。概率SNN模型通常通过使用对数似然梯度的无偏估计来训练以最大化期望输出的似然。虽然先前的工作使用从网络的单次运行中获得的单样本估计器，但本文提出利用多个隔室，这些隔室在共享突触权重的同时对独立的尖峰信号进行采样。关键思想是使用这些信号来获得对数似然训练准则及其梯度的更准确的统计估计。该方法是基于广义期望最大化（GEM），优化使用重要性采样的对数似然更紧密的近似。派生的在线学习算法实现了一个三因素的规则与全球每隔室学习信号。神经形态MNIST-DVS数据集上的分类任务的实验结果表明，当增加用于训练和推断的隔间数量时，在对数似然、准确性和校准方面都有显着改善。
2021-02-05 cs.LG cs.NE eess.SP
An expectation-maximization algorithm for estimating the parameters of the correlated binomial distribution
Luceño（Computational Statistics $\&$ Data Analysis，20，1995，511-520）提出了相关二项（CB）分布，作为二项分布的替代，用于分析事件之间存在相关性的数据。由于模型混合似然的复杂性，可能无法推导出未知参数的极大似然估计的解析表达式。为了克服这个困难，我们开发了一个期望最大化算法计算CB参数的MLE。仿真研究和实际数据应用的数值结果表明，所提出的方法是非常有效的一致达到全局最大值。最后，我们的结果应该感兴趣的高年级本科生或一年级的研究生和他们的讲师，重点是感兴趣的应用程序的期望最大化算法寻找离散混合模型中的参数的MLE。
2022-02-23 stat.CO stat.ME
Distributed Maximum Likelihood for Simultaneous Self-localization and Tracking in Sensor Networks
Imperial College（帝国理工学院）；University of Cambridge（剑桥大学）；University of Oxford（牛津大学）
将传感器自定位问题转化为隐马尔可夫模型的静态参数估计问题，并实现递归最大似然和在线期望最大化算法的全分布式版本，以同时进行传感器网络定位与目标跟踪。
2012-06-19 cs.DC cs.SY eess.SY
Sigma-Point Filtering and Smoothing Based Parameter Estimation in Nonlinear Dynamic Systems
本文研究非线性状态空间模型的近似极大似然参数估计。我们讨论了直接优化的可能性和期望最大化（EM）。对于EM，我们也给出了封闭形式的表达式的最大化步骤中的一类模型，是线性的参数，并具有加性噪声。为了获得近似的滤波和平滑的分布中所需的似然最大化方法，我们专注于使用高斯滤波和平滑算法，采用西格玛点近似所需的积分。我们讨论了不同的西格玛点计划的基础上，第三，第五，第七，第九阶无迹变换和高斯-厄米求积规则。我们比较了两个模拟实验的方法的性能：一个单变量的非线性增长模型，以及跟踪机动目标。在实验中，我们还比较了粒子滤波和扩展卡尔曼滤波的方法获得的近似似然估计。实验表明，高阶无迹变换在某些情况下可以提供更准确的估计
2015-11-02 math.DS math.OC stat.CO
Stochastic Maximum Likelihood Direction Finding in the Presence of Nonuniform Noise Fields
针对未知非均匀噪声下相关随机源的最大似然测向问题，提出基于EM算法推广的ECME算法，通过显式公式更新协方差估计并保证正定性，兼具计算效率与稳定性，仿真验证了其有效性。
2023-02-09 eess.SP math.OC stat.AP
Recursive variational Gaussian approximation with the Whittle likelihood for linear non-Gaussian state space models
本文提出R-VGA-Whittle算法，将Whittle似然与序贯变分贝叶斯结合，在频域中高效推断线性非高斯状态空间模型参数，并通过多种模型验证其近似精度与计算效率优势。
2025-07-19 stat.CO
Parameter Estimation from Censored Samples using the Expectation-Maximization Algorithm
本文讨论了随机右删失数据下的参数估计问题。利用期望最大化（EM）和蒙特卡罗EM（MCEM）算法，得到了删失样本下的最大似然估计。我们介绍的EM和MCEM算法的概念，并开发参数估计方法，如正常的，拉普拉斯和瑞利分布的各种分布。这些建议的方法说明了三个例子。
2012-03-17 stat.CO stat.OT
Global analysis of Expectation Maximization for mixtures of two Gaussians
Columbia University（哥伦比亚大学）
期望最大化（EM）是估计统计模型参数的最流行的算法之一。然而，EM是基于最大似然原理的迭代算法，通常仅保证找到似然目标的稳定点，并且这些点可能远离任何最大化者。本文将讨论EM背后的统计原理与其算法属性之间的脱节。具体而言，它提供了一个全球分析EM的特定模型，其中的意见包括一个独立同分布。从两个高斯的混合物中提取样本。这是通过以下方式实现的：（i）研究来自无限样本极限中EM的理想化执行的参数序列，并且根据初始参数完全表征序列的极限点;以及（ii）基于该收敛分析，建立EM产生的实际参数序列的统计一致性（或缺乏统计一致性）。
2016-08-26 cs.LG math.ST stat.CO
An Expectation-Maximization Algorithm for the Matrix Normal Distribution
许多最近的数据集的大小和维度的急剧增加使得对能够利用固有结构和处理缺失值的复杂方法的需求变得至关重要。在这篇文章中，我们推导出一个期望最大化（EM）算法的矩阵正态分布，分布非常适合自然结构化的数据，如时空数据。我们回顾了以前建立的极大似然矩阵正态估计，然后考虑涉及缺失数据的情况。我们将EM方法应用于模拟研究中，探索不同维度和缺失数据比例的误差。我们比较这些错误和计算运行时间从两个替代方法。最后，我们实现了建议EM方法的卫星图像数据集调查土地覆盖分类可分性。
2013-09-25 stat.ME
Convergence of Expectation-Maximization Algorithm with Mixed-Integer Optimization
针对含离散与连续混合参数时EM算法收敛分析困难的问题，提出一组保障特定类EM算法收敛的条件，为混合整数非线性优化迭代算法提供新分析技术，并验证了相关稀疏贝叶斯学习算法的收敛性。
2024-04-17 eess.SP stat.ML
Model error covariance estimation in particle and ensemble Kalman filters using an online expectation-maximization algorithm
基于集合的数据同化技术从部分观测值估计动力系统的状态，其性能关键取决于模型动力学和观测值的规定不确定性。这些通常是不知道的，必须推断出来。已经提出了许多方法来解决这个问题，包括完全贝叶斯，似然最大化和创新为基础的技术。该方法通过期望最大化（Expectation-Maximization，EM）算法求取似然函数的最大值来推断模型误差协方差，并结合集合卡尔曼滤波器和粒子滤波器来估计系统的状态。期望最大化算法在数据同化中的经典应用包括对固定批次的观测值进行滤波和平滑，以便完成单次迭代。在高维应用中使用顺序滤波时，这是不方便的。出于这一动机，适应的算法，可以处理的意见和更新的参数上飞，与一些基本的简化，提出。在使用Lorenz-63和40变量Lorenz-96动力系统进行的实验中，对所提出的技术进行了评估，并取得了良好的性能，这些动力系统旨在代表数据同化中的一些常见场景，例如非线性、混乱性和模型误设定。
2020-03-04 stat.CO
The AECM Algorithm for Deterministic Maximum Likelihood Direction Finding in the Presence of Gaussian Mixture Noise
针对高斯混合噪声下的确定性最大似然方向估计，提出AECM算法，通过多个不完整数据和黄金分割搜索逐个更新DOA，收敛更快且适用于相干信号。
2026-09-18 cs.IT eess.SP math.IT
T-Rex: Fitting a Robust Factor Model via Expectation-Maximization
Daniel Cederberg
针对传统统计因子模型拟合方法对重尾数据和异常值敏感的问题，提出基于Tyler M估计量的EM算法T-Rex，在低秩加对角协方差约束下求解鲁棒因子模型，实验验证了其在波达方向估计等任务中的鲁棒性。
2025-05-17 cs.LG eess.SP math.OC
Adaptive Monte Carlo Maximum Likelihood
我们考虑了具有难处理的赋范常数的模型中的极大似然估计的蒙特卡罗逼近。本文讨论了自适应蒙特卡罗算法，它在仿真过程中调整控制参数。我们研究了自适应重要性抽样的渐近性和一种新的算法，它使用rescent和MCMC。该算法的目的是减少问题的退化的重要性权重。我们的分析是基于鞅极限定理。我们还描述了如何自适应最大化算法的牛顿-拉夫森型可以结合的reservation技术。本文包括一个小规模的模拟研究，我们比较自适应和非自适应蒙特卡罗极大似然算法的性能的结果。
2014-12-19 stat.CO stat.ME
Fitting Large Nonlinear Mixed Effects Models Using Variational Expectation Maximization
PumasAI
本文提出变分期望最大化算法用于拟合大型非线性混合效应模型，通过灵活的变分家族和反向模式自动微分，提升计算效率，展示其在处理大规模参数模型中的可扩展性。
2026-09-24 cs.CE cs.LG cs.MS
Deterministic Maximum Likelihood Direction Finding in the Mixture Noise of Gaussian and Spherically Invariant Components
针对混合噪声下确定性最大似然测向中ECM算法收敛不当的问题，设计ECME算法并推导DOA估计的CRLB，仿真表明该算法收敛性好且估计误差渐近接近CRLB。
2026-08-14 eess.SP stat.AP
An Expectation-Maximization Perspective on Reinforcement Learning for LLM Reasoning
该研究提出EM策略梯度（EMPG）框架，将大语言模型推理的强化学习转化为期望最大化问题，在简化优化流程的同时，在GSM8K、MATH Hard数据集上取得与GRPO相当或更优的性能，且能生成更简洁的结构化推理轨迹。
2026-08-11 cs.AI cs.LG stat.ML
EM's Convergence in Gaussian Latent Tree Models
MIT（麻省理工学院）
我们研究了对数似然函数的优化景观和期望最大化（EM）算法在潜在高斯树模型中的收敛性，即树结构的高斯图模型，其叶节点是可观察的，非叶节点是不可观察的。我们证明了种群对数似然的唯一非平凡平稳点是其全局最大值，并建立了期望最大化算法保证收敛到它在单潜变量的情况下。我们的研究结果的景观的对数似然函数在一般的潜在树模型提供了支持的最大似然为基础的方法，在这种设置的广泛的实际应用。我们的EM算法的结果扩展了一个新兴的工作线上获得全局收敛的保证，这个著名的算法。我们证明了我们的结果的非平凡的驻点的对数似然认为，从EM更新得到的多项式方程组的某个系统有一个独特的非平凡的解决方案。EM算法的全局收敛性是通过论证所有平凡不动点都是高阶鞍点来实现的。
2022-11-23 cs.LG math.ST stat.ML
Method for Computation of the Fisher Information Matrix in the Expectation-Maximization Algorithm
期望最大化（EM）算法是从样本数据中计算极大似然估计量（MLE）的迭代计算方法。它将不完整数据的MLE的复杂的一次性计算转换为完整数据的MLE的一系列相对简单的计算。当极大似然估计可用时，我们自然需要未知参数的费舍尔信息矩阵。事实上，职能指令手册是衡量数据样本提供的信息量的良好指标，可用于确定估计量的方差和渐进方差的下限。然而，EM的局限性之一是，该算法不是自动的副产品。在本文中，我们回顾了EM和EM的一些基本思想。然后，我们构造了一个简单的基于蒙特卡罗的方法，只需要我们从E步骤和基本操作获得的函数的梯度值。最后，我们进行了理论分析和数值例子来说明我们的方法的有效性。该方法的关键部分是利用同时扰动随机逼近方法，由完全数据对数似然函数的条件期望的梯度逼近Hessian矩阵。关键词：费舍尔信息矩阵，期望最大化算法，蒙特卡罗，同时扰动随机逼近
2016-08-05 stat.CO
Noisy Expectation-Maximization: Applications and Generalizations
University of Southern California（南加州大学）
我们提出了一个噪声注入版本的期望最大化（EM）算法：噪声期望最大化（NEM）算法。N期望最大化算法使用噪声来加速期望最大化算法的收敛。NEM定理表明，如果正性条件成立，则注入噪声加速了期望最大化算法向似然曲面的局部最大值的平均收敛。噪声期望最大化（NEM）算法的一般形式允许任意模式的噪声注入，包括添加和乘以噪声的数据。我们证明了这些噪声的好处期望最大化算法的高斯混合模型（GMM）与加性和乘性NEM噪声注入。一个单独的定理（这里没有介绍）表明，在混合模型中，独立同分布的加性噪声的噪声效益随着样本量的增加而减少。这个定理意味着，如果数据是稀疏的，噪声的好处是最明显的。注入盲噪声只会减慢收敛速度。
2018-01-12 cs.LG stat.ML
A New Estimation Algorithm for Box-Cox Transformation Cure Rate Model and Comparison With EM Algorithm
在本文中，我们开发了一个新的估计程序的基础上的非线性共轭梯度（NCG）算法的Box-Cox变换治愈率模型。我们通过仿真研究比较了NCG算法与著名的期望最大化算法（EM）的性能，并展示了NCG算法优于期望最大化算法的优点。特别是，我们表明，NCG算法允许同时最大化的所有模型参数时，似然表面是平坦的Box-Cox模型参数。这是相对于期望最大化算法的一个很大的优点，其中在文献中已经提出了轮廓似然方法，其可能不能提供令人满意的结果。最后，我们使用NCG算法来分析一个著名的黑色素瘤数据，并表明它的结果在一个更好的拟合。
2019-05-15 math.OC stat.CO stat.ME
Sinkhorn EM: An Expectation-Maximization algorithm based on entropic optimal transport
Harvard University（哈佛大学）；Columbia University（哥伦比亚大学）
我们研究Sinkhorn EM（sEM），期望最大化（EM）算法的混合物的基础上熵最优运输的一个变种。sEM与经典的期望最大化算法的不同之处在于在期望步骤中计算责任的方式：sEM不是将数据点独立地分配给聚类，而是通过合并关于混合权重的先验信息来使用最优传输来计算责任。像EM一样，sEM具有作为坐标上升过程的自然解释，其迭代地构造并优化对数似然的下限。然而，我们从理论上和经验上表明，sEM比EM具有更好的行为：它具有更好的全局收敛保证，并且不太容易陷入糟糕的局部最优。我们补充这些发现与模拟数据的实验，以及在推理任务涉及C。elegans神经元，并表明sEM学习细胞标签显着优于其他方法。
2020-06-30 cs.LG stat.CO stat.ME
Clustering sequence data with mixture Markov chains with covariates using multiple simplex constrained optimization routine (MSiCOR)
Virginia Commonwealth University（弗吉尼亚联邦大学）；University of Bath（巴斯大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Minnesota（明尼苏达大学）；University of Toronto（多伦多大学）；Harvard T. H. Chan School of Public Health（哈佛陈曾熙公共卫生学院）；University of Pittsburgh（匹兹堡大学）；Harvard Medical School（哈佛医学院）
本文提出一种基于模式搜索的全局优化方法，用于在简单形集合上优化目标函数，从而改进混合马尔可夫模型（MMM）参数估计。该方法在MS患者治疗序列聚类中表现出色，并结合协变量进行患者分群。
2023-09-13 math.OC stat.ME
Likelihood-free stochastic approximation EM for inference in complex models
介绍了一种求解具有难处理似然模型参数的极大似然方法。我们产生一个似然自由版本的随机逼近期望最大化（SAEM）算法，以最大限度地提高模型参数的似然函数。虽然SAEM最适合于具有易处理的“完全似然”函数的模型，但将其应用于中等复杂的模型是一项困难甚至不可能的任务。我们将展示如何构建一个似然自由版本的SAEM通过使用“合成似然”的范例。我们的方法是完全即插即用，几乎不需要调整，可以应用于静态和动态模型。四个模拟研究说明了该方法，包括随机微分方程模型，随机Lotka-Volterra模型和数据从$g$ -和- $k$分布。MATLAB代码可作为补充材料。
2018-01-16 stat.CO stat.ME
Online Expectation Maximization based algorithms for inference in hidden Markov models
期望最大化（EM）算法是潜在数据模型中模型参数估计的通用工具。然而，当处理大数据集或数据流时，EM变得棘手，因为它要求在算法的每次迭代时整个数据集可用。在这篇文章中，提出了一种新的通用在线EM算法的模型参数推断一般隐马尔可夫模型。这种新算法在处理（在线）一组观测值后更新参数估计。这种新算法的收敛性，建立和收敛速率的研究表明块大小的影响。还提出了一种平均过程，以提高收敛速率。最后，实际的插图，突出这些算法的性能相比，其他在线最大似然程序。
2012-10-16 math.ST stat.TH
Hybrid Maximum Likelihood Modulation Classification Using Multiple Radios
调制分类器的性能对信道信噪比（SNR）高度敏感。在本文中，我们专注于幅相调制，并提出了一个调制分类框架的基础上集中式数据融合使用多个无线电和混合最大似然（ML）的方法。为了减轻与ML估计相关的计算复杂性，我们采用期望最大化（EM）算法。由于SNR多样性，所提出的多无线电框架提供了对信道SNR的鲁棒性。数值结果表明，所提出的方法相对于单无线电的方法，以及调制分类器使用基于矩的估计的优越性。
2013-06-11 cs.IT math.IT stat.ML
Deep Generative Clustering with VAEs and Expectation-Maximization
TU Berlin（柏林工业大学）
本研究提出将VAEs融入EM框架的新型深度生成聚类方法，用VAE建模簇分布、交替更新参数与簇分配，无需GMM先验或额外正则，在MNIST、FashionMNIST上实现了优于现有最优方法的聚类性能且支持各簇样本生成。
2025-01-13 cs.LG stat.ML
Recursive Inference for Variational Autoencoders
Samsung AI Center（三星人工智能中心）；Rutgers University（罗格斯大学）
传统的变分自编码器（VAE）的推理网络通常被摊销，导致与实例变分优化相比相对不准确的后验近似。最近提出的半摊销的方法来解决这个缺点，但是，他们的迭代梯度更新程序可以计算要求。为了解决这些问题，在本文中，我们介绍了一个准确的摊销推理算法。我们提出了一种新的递归混合估计算法的VAE，迭代增加当前的混合与新的组件，以最大限度地减少变分和真正的后验之间的分歧。使用函数梯度方法，我们设计了一个直观的学习标准来选择一个新的混合成分：新的成分必须提高数据的似然性（下限），同时，尽可能地偏离当前的混合分布，从而增加代表性的多样性。与最近提出的提升变分推理（BVI）相比，我们的方法依赖于摊销推理，而不是BVI的非摊销单一优化实例。我们的方法的一个关键好处是，在测试时的推理需要一个单一的前馈通过混合推理网络，使其显着快于半摊销的方法。我们表明，我们的方法产生更高的测试数据的可能性比国家的最先进的几个基准数据集。
2020-11-17 cs.LG stat.ML
Closed-form Marginal Likelihood in Gamma-Poisson Matrix Factorization
IRIT, Université de Toulouse, CNRS（图卢兹大学IRIT研究所、法国国家科学研究中心）
我们提出了新的理解伽玛泊松（GaP）模型，概率矩阵分解模型计数数据。我们表明，GaP可以重写免费的得分/激活矩阵。这为我们提供了新的见解的估计主题/字典矩阵的最大边际似然估计。特别是，这解释了该估计器对因子分解秩的过度指定值的鲁棒性，特别是其自动修剪不相关的字典列的能力，如在先前的工作中根据经验观察到的。激活矩阵的边缘化又导致一个新的蒙特卡罗期望最大化算法具有良好的性能。
2018-05-31 cs.LG stat.ML
Hybridization of Expectation-Maximization and K-Means Algorithms for Better Clustering Performance
JNTU（贾瓦哈拉尔尼赫鲁科技大学）；AITAM（阿迪蒂亚工程技术学院）
目前的工作提出了混合期望最大化（EM）和K-Means技术作为一种尝试，以加快聚类过程。尽管K-Means和EM技术都关注不同的领域，但K-Means可以被视为获得均值最大似然估计的近似方法。随着杂交算法的提出，目前的工作也与标准EM算法的实验。六个不同的数据集用于实验，其中三个是合成数据集。计算聚类适应度和误差平方和（SSE）来衡量聚类性能。在所有的实验中，它被观察到，所提出的算法的EM和K-Means技术的杂交是一致的执行时间更少，可接受的聚类健身值和更少的SSE比标准EM算法。它也被观察到，该算法产生更好的聚类结果比普渡大学的集群包。
2016-03-25 cs.LG stat.ML
On the Semi-supervised Expectation Maximization
MIT（麻省理工学院）
期望最大化（EM）算法被广泛地用作数据不完全时的最大似然估计的迭代修正。我们专注于一个半监督的情况下学习模型从标记和未标记的样本。在半监督的情况下，现有的工作主要集中在性能，而不是收敛保证，但我们专注于标记样本的收敛速度的贡献。分析清楚地表明了标记样本如何提高指数族混合模型的收敛速度。在这种情况下，我们假设人口EM（具有无限数据的EM）在仅由未标记的样本组成的人口EM的全局收敛的邻域内初始化。对标记样本的分析提供了高斯混合模型收敛速度的全面描述。此外，我们扩展了标记样本的研究结果，并提供了一个替代的证明人口EM的收敛速度与未标记样本的对称混合的两个高斯。
2023-01-25 cs.LG stat.ML
Maximum Probability and Relative Entropy Maximization. Bayesian Maximum Probability and Empirical Likelihood
工程，简要调查这里，关注两个基本方法：最大概率和贝叶斯最大概率;以及与他们的渐近实例：相对熵最大化和最大非参数似然。参数和经验的扩展后者的方法-经验最大最大熵和经验的李克图-也提到。这些方法被看作是解决某些不适定反问题的工具，分别称为Pi-问题，Phi-问题。在这两类问题，概率理由和解释各自的方法进行了讨论。
2008-04-24 math.PR math.ST stat.ME
A nested expectation-maximization algorithm for latent class models with covariates
我们开发了一个嵌套的EM例程的潜在类模型的协变量，允许最大化的全模型对数似然，并从目前的方法不同，保证单调的对数似然序列，随着改进的收敛速度。
2018-08-02 stat.CO stat.ME
greed: An R Package for Model-Based Clustering by Greedy Maximization of the Integrated Classification Likelihood
greed包实现了arXiv：2002.11577的通用和灵活的框架，用于R语言中基于模型的聚类。基于直接最大化的确切的综合分类似然相对于分区，它允许联合执行聚类和选择的组的数量。这个组合的问题是通过一个有效的混合遗传算法处理，而最后的分层步骤允许访问粗分区和提取的聚类排序。这种方法适用于各种各样的潜变量模型，因此，可以处理各种数据类型以及异构数据。实现了连续、计数、分类和图形数据的经典模型，由于S4类抽象，可以合并新模型。本文介绍了该包，指导其开发的设计选择，并说明了其在实际用例中的使用。
2022-04-29 stat.ME
Maximum likelihood recursive state estimation in state-space models: A new approach based on statistical analysis of incomplete data
本文回顾了Rauch等人（1965）的工作，并提出了一种新的递归极大似然粒子滤波方法。新方法是基于对系统不完全观测值的统计分析。引入了不完全观测/数据的评分函数和条件观测信息，并讨论了它们的分布性质。导出了不完全数据的得分函数和信息矩阵的一些恒等式。利用评分函数和观测信息矩阵给出了状态向量的极大似然估计。特别是，为了处理非线性状态空间，开发了一种序贯蒙特卡罗方法。它由EM-梯度-粒子滤波递归地给出，该EM-梯度-粒子滤波扩展了Lange（1995）的状态估计工作。为了推导状态估计误差的协方差阵，提出了观测信息矩阵的显式形式。它将Louis（1982）关于同一矩阵的一般公式推广到状态向量估计。在状态转移概率分布的Neumann边界条件下，该矩阵的逆与无偏状态估计器的估计误差的协方差阵的Cramer-Rao下界一致。在线性模型的情况下，该方法表明Kalman滤波器是一种完全有效的状态估计器，其估计误差的协方差阵满足Cramer-Rao下界。最后通过数值算例验证了主要结果。
2022-11-09 cs.IT cs.SY eess.SY
Imputation Maximization Stochastic Approximation with Application to Generalized Linear Mixed Models
广义线性混合模型可用于研究可能具有非高斯响应的分层数据。然而，似然函数的复杂性给估计带来了挑战。我们开发了一种新的方法，适合于这个问题，称为填补最大化随机逼近（IMSA）。对于每次迭代，IMSA首先估算潜在变量/随机效应，然后最大化整个数据的可能性，最后将估计值移向新的最大化器，同时保留先前值的一部分。IMSA的极限点满足自洽性质，并且在有限样本下比基于分数方程的随机逼近（ScoreSA）求解的极大似然估计具有更小的偏差。在数值上，IMSA在实现更稳定的收敛和尊重各种变换下的参数范围（如非负方差分量）方面也优于ScoreSA。这一点通过我们的模拟研究得到了证实，其中IMSA始终优于ScoreSA。
2022-01-25 stat.CO stat.ME
Predicting protein inter-residue contacts using composite likelihood maximization and deep learning
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）；Huazhong University of Science and Technology（华中科技大学）
准确预测蛋白质残基间的接触对于计算蛋白质的三级结构具有重要意义。残基间协同进化事件的分析已被证明是推断残基间接触的有效方法。马尔可夫随机场（MRF）技术虽然被广泛地用于接触预测，但遭受以下困境：MRF的实际似然函数是准确的但计算耗时，相反，对实际似然的近似，例如伪似然，计算有效但不准确。因此，如何同时实现准确性和效率仍然是一个挑战。在这项研究中，我们提出了这样一种方法（称为clmDCA）的接触预测。与使用伪似然的plmDCA不同，即，单个残差的条件概率的乘积，我们的方法使用复合似然，即，所有剩余对的条件概率的乘积。理论上证明了复合似然比伪似然更能逼近实际似然函数。同时，复合似然仍然是有效的最大化，从而确保clmDCA的效率。我们在流行的基准数据集（包括PSICOV数据集和CASP-11数据集）上进行了全面的实验，以表明：i）单独的clmDCA在预测精度上优于现有的基于MRF的方法。ii）当配备深度学习技术进行细化时，clmDCA的预测准确性进一步显著提高，表明clmDCA适用于后续细化过程。我们进一步提出了成功的应用预测的接触，以准确地建立三级结构的蛋白质在PSICOV数据集。可访问性：软件clmDCA和服务器可通过http://protein.ict.ac.cn/clmDCA/公开访问。
2018-08-31 cs.LG q-bio.BM stat.ME
Pattern Alternating Maximization Algorithm for Missing Data in Large P, Small N Problems
我们提出了一个新的和计算效率高的算法，最大限度地提高了观察到的对数似然的多元正态数据矩阵的缺失值。我们表明，我们的程序的基础上迭代回归的观测变量的缺失，概括了标准的期望最大化算法之间交替不同的完整的数据空间和执行的E-步骤递增。在这个非标准的设置中，我们证明了数值收敛到所观察到的对数似然稳定点。对于高维数据，其中变量的数量可能大大超过样本量，我们在算法的回归部分添加Lasso惩罚，并执行坐标下降近似。这导致了一个计算上非常有吸引力的技术与稀疏回归系数的缺失数据填补。在4个微阵列数据集上的仿真和实验结果表明，该方法的性能优于k-近邻法、核范数最小化法和对逆协方差阵进行l1-惩罚的惩罚似然法等方法.
2012-11-20 stat.ME
Recursive Maximum Likelihood Estimation for Interacting Particle Systems using Virtual Particles
University College London（伦敦大学学院）；Imperial College London（帝国理工学院）
本文研究了基于单个粒子连续观测的交互粒子系统递归最大似然估计，通过虚拟交互粒子系统和虚拟切线交互粒子系统，提出在连续时间内利用随机梯度估计的方法，证明在粒子数趋于无穷时，算法收敛于均场系统的平稳对数似然。
2026-05-01 math.PR stat.ME stat.ML
Spatially varying coefficient modeling for large datasets: Eliminating N from spatial regressions
虽然空间变系数（SVC）建模在应用科学中很受欢迎，但其计算负担很大。如果考虑SVC的多尺度特性，则尤其如此。在此背景下，本研究开发了一种基于Moran特征向量的空间变系数（M-SVC）建模方法，该方法可以有效地估计多尺度SVC。该估计通过（i）秩降低、（ii）预压缩和（iii）顺序似然最大化来加速。步骤（i）和（ii）从似然函数中消除样本量N;在这些步骤之后，似然最大化成本与N无关。步骤（iii）进一步加速似然最大化，使得即使SVC的数量K很大，也可以估计多尺度SVC。通过蒙特卡罗模拟实验，将M-SVC方法与地理加权回归（GWR）方法进行了比较。这些模拟结果表明，我们的方法是远远快于GWR时，N是大的，尽管数值估计2K参数，而GWR数值估计只有1个参数。最后，以一个土地价格分析为例，说明了该方法的应用。所开发的SVC估计方法在R包“spmoran. "
2018-07-17 stat.ME stat.OT
Penalized Maximum Likelihood Estimator for Mixture of von Mises-Fisher Distributions
von Mises-Fisher分布是描述方向数据的最广泛使用的概率分布之一。冯·米塞斯-费舍尔分布的有限混合物已经找到了许多应用。然而，冯Mises-Fisher分布的有限混合的似然函数是无界的，因此极大似然估计没有很好地定义。为了解决问题的可能性退化，我们考虑惩罚的极大似然的方法，其中的惩罚函数被纳入。我们证明了强一致性的估计。提出了一种罚似然函数的期望最大化算法，并进行了仿真研究。
2022-03-05 stat.ME
Consistency, breakdown robustness, and algorithms for robust improper maximum likelihood clustering
鲁棒非正常极大似然估计（RIMLE）是一种寻找近似高斯聚类的鲁棒多元聚类新方法。它最大化的伪似然定义添加一个组件与不适当的恒定密度，以适应离群值的高斯混合。RIMLE的一个特例是多元有限高斯混合模型的MLE。在本文中，我们将全面对待存在性，一致性和故障理论的RIMLE。在非光滑协方差阵约束下证明了RIMLE的存在性。结果表明，这些可以通过计算上可行的期望条件最大化算法来实现。
2018-02-13 stat.ME
