Expectation-Maximization algorithm to estimate the forcing parameter of a nonlinear McKean-Vlasov diffusion
Instituto de Estadística, Universidad de Valparaíso（瓦尔帕莱索大学统计研究所）；Universidad Adventista de Chile（智利基督复临安息日会大学）；Departamento de Ingeniería Matemática, Universidad de Concepción（康塞普西翁大学数学工程系）；Cimfav - Ingemat, Universidad de Valparaíso（瓦尔帕莱索大学CIMFAV-Ingemat）
研究受瞬时湍动能模型启发的随机微分方程中强迫参数估计问题，基于期望最大化框架提出估计算法，证明其一致性并通过数值实验说明发现。
2026-07-24 math.ST stat.TH
A view of Estimation of Distribution Algorithms through the lens of Expectation-Maximization
University of California, Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
我们发现，一个大类的分布估计算法，包括但不限于，协方差矩阵自适应，可以写为蒙特卡洛期望最大化算法，并作为精确EM在无限样本的限制。由于EM建立在严格的统计基础上，并且已经得到了彻底的分析，这种联系提供了一个新的连贯框架，可以用来推理EDA。
2022-06-10 cs.LG stat.ML
Noisy Expectation-Maximization: Applications and Generalizations
University of Southern California（南加州大学）
我们提出了一个噪声注入版本的期望最大化（EM）算法：噪声期望最大化（NEM）算法。N期望最大化算法使用噪声来加速期望最大化算法的收敛。NEM定理表明，如果正性条件成立，则注入噪声加速了期望最大化算法向似然曲面的局部最大值的平均收敛。噪声期望最大化（NEM）算法的一般形式允许任意模式的噪声注入，包括添加和乘以噪声的数据。我们证明了这些噪声的好处期望最大化算法的高斯混合模型（GMM）与加性和乘性NEM噪声注入。一个单独的定理（这里没有介绍）表明，在混合模型中，独立同分布的加性噪声的噪声效益随着样本量的增加而减少。这个定理意味着，如果数据是稀疏的，噪声的好处是最明显的。注入盲噪声只会减慢收敛速度。
2018-01-12 cs.LG stat.ML
Convergence of a Particle-based Approximation of the Block Online Expectation Maximization Algorithm
期望最大化（EM）算法的在线变体最近被提出来在独立的潜在模型和隐马尔可夫模型中对大数据集或数据流执行参数推断。然而，这些算法的收敛性能仍然是一个开放的问题，至少在隐马尔可夫的情况下。这一贡献涉及一个新的在线EM算法更新的参数在一些确定性的时间。一些收敛性的结果，甚至在一般的潜在模型，如隐马尔可夫模型。这些性质依赖于这样的假设，即当蒙特卡罗误差足够快地消失时，某些中间量可以以封闭形式获得，或者可以通过蒙特卡罗方法近似。在本文中，我们提出了一种算法，近似这些数量使用顺序蒙特卡罗方法。该算法的收敛性和平均版本的建立和它们的性能通过Monte Carlo实验说明。
2012-05-30 math.ST stat.TH
Quantum Expectation-Maximization Algorithm
The University of Tokyo（东京大学）；University of Innsbruck（因斯布鲁克大学）
聚类算法是机器学习应用的基石。最近，Kerenkan，Landman，Luongo和Prakash提出了一种基于k-means算法的量子聚类算法。基于他们的工作，我们提出了一个高斯混合模型的量子期望最大化（EM）算法。证明了算法的鲁棒性和量子加速比。我们还显示了数值GMM的优势，在非平凡的聚类数据的k-均值。
2019-08-19 cs.LG quant-ph stat.ML
Deterministic Quantum Annealing Expectation-Maximization Algorithm
极大似然估计（MLE）是机器学习中最重要的方法之一，而期望最大化（EM）算法常用于获得最大似然估计。然而，EM严重依赖于初始配置，并未能找到全局最优。另一方面，在物理学领域，量子退火（QA）被提出作为一种新的优化方法。出于QA的动机，我们提出了EM的量子退火扩展，我们称之为确定性量子退火期望最大化（DQAEM）算法。我们还讨论了它的优点的路径积分公式。此外，通过数值模拟，我们说明了它是如何工作的MLE，并表明DQAEM优于EM。
2017-04-19 cond-mat.stat-mech physics.comp-ph quant-ph
Noisy and Incomplete Boolean Matrix Factorizationvia Expectation Maximization
University of Pittsburgh（匹兹堡大学）
布尔矩阵分解的概率方法可以提供对噪声和缺失值具有线性计算复杂度的解决方案。然而，潜在因素的假设可能会在现实世界中的应用是有问题的，本研究提出了一个新的概率算法的潜在因素的假设自由，而保留了以前的算法的优点。实际数据实验表明，该算法与现有的概率算法相比，具有较好的性能。
2019-05-29 cs.LG stat.ML
An Expectation Maximization Framework for Yule-Simon Preferential Attachment Models
本文提出了一种估计Yule-Simon分布参数的期望最大化算法。尤尔-西蒙分布表现出“富人更富”的效应，即80-20型规则往往占主导地位。这些分布在工业环境中无处不在。期望最大化算法提供了频率和贝叶斯估计的$λ$参数。通过将估计方法置于EM框架内，我们能够导出所得估计的标准误。此外，我们证明了Yule-Simon期望最大化算法的收敛性，并研究了收敛速度。一个明确的，封闭形式的解决方案的收敛速度的算法。包括图节点度分布估计的应用被列出。
2020-11-14 stat.AP stat.CO stat.ME
A Stochastic Path-Integrated Differential EstimatoR Expectation Maximization Algorithm
Institut de Mathématiques de Toulouse（图卢兹数学研究所）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）；Centre de Mathématiques Appliquées（应用数学中心）；Ecole Polytechnique（巴黎综合理工学院）；HSE University（高等经济大学）；The Chinese University of Hong Kong（香港中文大学）
期望最大化（EM）算法对于包含回归变量和专家变量混合、观测值缺失的隐变量模型的推理具有重要意义。本文介绍了一种新型EM算法，称为\texttt{SPIDER-EM}，用于从大小为$n$、$n \gg 1$的训练集进行推理。在我们的算法的核心是在{ \sf E}-步骤，适应于随机路径集成差分估计（{ \tt SPIDER}）技术的完整的条件期望的估计。我们推导了光滑非凸似然的有限时间复杂度界：我们证明了对于收敛到$ε$ -近似稳定点，复杂度尺度为$K_{\operatorname{Opt}} (n,ε)={\cal O}(ε^{-1})$和$K_{\operatorname{CE}}( n,ε) = n+ \sqrt{n} {\cal O}(ε^{-1} )$，其中$K_{\operatorname{Opt}}( n,ε)$和$K_{\operatorname{CE}}(n, ε)$分别是{ \sf M}-步骤的数量和每个样本条件期望评估的数量。这改进了最先进的算法。数值结果支持我们的研究结果。
2020-11-30 cs.AI cs.LG math.ST
Sinkhorn EM: An Expectation-Maximization algorithm based on entropic optimal transport
Harvard University（哈佛大学）；Columbia University（哥伦比亚大学）
我们研究Sinkhorn EM（sEM），期望最大化（EM）算法的混合物的基础上熵最优运输的一个变种。sEM与经典的期望最大化算法的不同之处在于在期望步骤中计算责任的方式：sEM不是将数据点独立地分配给聚类，而是通过合并关于混合权重的先验信息来使用最优传输来计算责任。像EM一样，sEM具有作为坐标上升过程的自然解释，其迭代地构造并优化对数似然的下限。然而，我们从理论上和经验上表明，sEM比EM具有更好的行为：它具有更好的全局收敛保证，并且不太容易陷入糟糕的局部最优。我们补充这些发现与模拟数据的实验，以及在推理任务涉及C。elegans神经元，并表明sEM学习细胞标签显着优于其他方法。
2020-06-30 cs.LG stat.CO stat.ME
An Expectation Maximization Algorithm for High-Dimensional Model Selection for the Ising Model with Misclassified States
我们提出了错误分类的伊辛模型，一个框架，用于分析依赖的二进制数据的二进制状态容易出错。我们推广了Ravikumar等人提出的模型选择方法的理论结果。（2010），以表明该方法在适当的误分类设置下仍将正确地识别底层图形模型中的边缘。知识的误分类过程中，期望最大化算法的开发，占误分类在模型选择。我们使用模拟数据并使用来自功能性磁共振成像分析的数据来说明所提出的期望最大化算法的性能提高。
2017-04-20 stat.ME
Robust High Dimensional Expectation Maximization Algorithm via Trimmed Hard Thresholding
State University of New York at Buffalo（纽约州立大学布法罗分校）
本文研究了高维空间（{ \em，}）中任意污染样本潜变量模型的估计问题$d\gg n$），其中假设基础参数是稀疏的。具体而言，我们提出了一种称为修剪（梯度）期望最大化的方法，该方法分别在期望步骤（E-步骤）和最大化步骤（M-步骤）中添加修剪梯度步骤和硬阈值步骤。我们表明，在一些温和的假设和适当的初始化，该算法是腐败的证明和收敛到（近）最佳统计率几何时，损坏的样本$ε$的分数是有界的$ \tilde{O}(\frac{1}{\sqrt{n}})$。此外，我们将我们的一般框架应用于三个典型模型：混合高斯模型，混合回归模型和缺失协变量的线性回归模型。我们的理论得到了全面的数值结果的支持。
2020-10-19 cs.LG stat.ML
An Improved EM algorithm
Tongji University（同济大学）
本文首先简要介绍了期望最大化算法，然后讨论了期望最大化算法的初值敏感性问题。随后，我们给出了EM收敛性的一个简短证明。然后，我们用期望最大化算法进行了实验（我们在高斯混合模型（GMM）上进行了所有的实验）。我们的期望最大化的实验在以下三种情况下进行：随机初始化;初始化的K-均值的结果;初始化的K-中心。实验结果表明，期望最大化算法依赖于初始状态或初始参数。我们发现，EM初始化K-medoids比一个初始化K-means和一个随机初始化。
2013-05-03 cs.AI cs.LG stat.ML
An Expectation-Maximization Algorithm for the Fractal Inverse Problem
VU University Amsterdam（阿姆斯特丹自由大学）；University of Leiden（莱顿大学）
本文提出了一种分形逆问题的期望最大化算法：分形模型与数据的拟合问题。在我们的设置中，分形是迭代函数系统（IFS），与变换家族相似。数据是${\mathbb R}^H$中具有任意维度$H$的点云。每个IFS定义了${\mathbb R}^H$上的一个概率分布，使得分形逆问题可以转化为一个参数估计问题.我们表明，该算法重建著名的分形数据，与模型收敛到高精度的参数。我们还显示了该模型的效用作为IFS模型类之外的近似值。
2017-06-30 cs.LG stat.ML
Neural Expectation Maximization
IDSIA（瑞士人工智能实验室）
许多现实世界的任务，如推理和物理交互需要识别和操纵的概念实体。解决这些任务的第一步是自动发现分布式符号表示。在本文中，我们明确地将这个问题形式化为空间混合模型中的推理，其中每个组件由神经网络参数化。基于期望最大化框架，我们然后得出一个可微聚类方法，同时学习如何分组和表示单个实体。我们评估我们的方法（顺序）感知分组任务，发现它能够准确地恢复组成对象。我们证明了学习的表示对于下一步预测是有用的。
2017-11-04 cs.LG cs.NE stat.ML
Geom-SPIDER-EM: Faster Variance Reduced Stochastic Expectation Maximization for Nonconvex Finite-Sum Optimization
CNRS（法国国家科学研究中心）；Ecole Polytechnique（巴黎综合理工学院）；The Chinese University of Hong Kong（香港中文大学）
期望最大化（EM）算法是隐变量模型中推理的关键参考;不幸的是，其计算成本在大规模学习设置中是过高的。在本文中，我们提出了一个扩展的随机路径集成微分估计EM（SPIDER-EM），并推导出复杂性界限，这种新的算法，旨在解决光滑非凸有限和优化问题。我们表明，它达到了相同的国家的最先进的复杂性界限的SPIDER-EM，并提供了线性收敛速度的条件。数值结果支持我们的研究结果。
2020-11-24 cs.LG stat.ME stat.ML
RPEM: Randomized Monte Carlo Parametric Expectation Maximization Algorithm
受量子蒙特卡罗方法的启发，通过始终使用无偏估计量，并利用Metropolis算法同时对离散和连续变量进行采样，提出了一种新的、快速、准确的高性能蒙特卡罗参数期望最大化（MCPEM）算法.我们将其命名为随机参数期望最大化（RPEM）。特别是，我们比较了RPEM与Monolix的SAEM和Certara的QRPEM的一个现实的两室伏立康唑模型与常微分方程（ODE）和使用模拟数据。我们发现，RPEM比SAEM和QRPEM快3到4倍，并且在重建总体参数时比它们更准确。
2022-12-23 stat.ME
Maximum Likelihood Recursive State Estimation using the Expectation Maximization Algorithm
针对非线性、非高斯状态空间模型，导出了一种极大似然递推状态估计器。该估计器结合粒子滤波器生成条件密度和期望最大化算法迭代计算极大似然状态估计。提出了极大似然状态滤波、预测和平滑算法。这些算法的收敛性，这是继承自期望最大化算法，证明和检查两个例子。结果表明，随机重新初始化，这是可行的，因为算法简单，这些方法是能够收敛到最大似然估计（MLE）的多峰，截断和偏态密度，以及不相交的支持。
2021-03-18 cs.SY eess.SY stat.ME
Sharp Analysis of Expectation-Maximization for Weakly Identifiable Models
UC Berkeley（加州大学伯克利分校）
研究了一类弱可辨识的位置-尺度混合模型，给出了基于$n$ i.i.d.已知样本具有比经典的$n^{- \frac{1}{2}}$误差更低的精度。我们调查是否期望最大化（EM）算法也收敛缓慢，这些模型。我们提供了一个严格的表征EM拟合弱可识别的高斯混合在一个单变量设置，我们证明了EM算法收敛于顺序$n^{\frac{3}{4}}$步骤和返回的估计是在欧几里德距离的顺序${ n^{- \frac{1}{8}}}$和${ n^{-\frac{1} {4}}}$从真实的位置和尺度参数分别。建立在单变量设置的慢速率需要一个新的本地化参数与两个阶段，每个阶段涉及一个时代为基础的参数应用到一个不同的代理EM运营商在人口水平。我们展示了几个多变量（$d \geq 2$）的例子，表现出相同的慢速率的单变量的情况下。我们还证明了在一个特殊的情况下，当拟合的协方差被约束为多个身份在更高的维度缓慢的统计率。
2021-11-16 cs.LG math.ST stat.ML
Convergent Stochastic Expectation Maximization algorithm with efficient sampling in high dimension. Application to deformable template model estimation
变形模板模型中的估计是图像分析中的一个很大的挑战。问题是估计一个人口的地图集。该图谱包含一个模板和观察到的形状的相应几何变化。我们的目标是提出一个准确的算法，计算成本低，理论的相关性。当处理高维数据时，这变得非常苛刻，特别是医学图像的情况。我们提出了一种优化的蒙特卡罗马尔可夫链方法，用于随机期望最大化算法，以估计模型参数的最大似然。在本文中，我们提出了一个新的各向异性的Metropolis调整Langevin算法，我们使用作为过渡的MCMC方法。我们首先证明，这种新的采样导致一个几何一致遍历马尔可夫链。我们还证明了在温和的条件下，估计的参数几乎必然收敛和渐近高斯分布。开发的方法，然后测试手写数字和一些2D和3D医学图像的变形模型估计。更广泛地说，所提出的算法可以用于大范围的模型在许多领域的应用，如药理学或遗传学。
2013-09-06 math.ST stat.TH
Deep Generative Clustering with VAEs and Expectation-Maximization
TU Berlin（柏林工业大学）
本研究提出将VAEs融入EM框架的新型深度生成聚类方法，用VAE建模簇分布、交替更新参数与簇分配，无需GMM先验或额外正则，在MNIST、FashionMNIST上实现了优于现有最优方法的聚类性能且支持各簇样本生成。
2025-01-13 cs.LG stat.ML
Learning Diffusion Priors from Observations by Expectation Maximization
University of Liège（里耶自治大学）；Université Paris-Saclay（巴黎-萨克雷大学）；Université Paris Cité（巴黎城市大学）；CEA（欧洲原子能委员会）；CNRS（国家科学研究中心）；AIM（人工智能研究所）
本文提出 DiEM 方法，基于期望最大化算法仅从不完整和含噪声的观测中训练扩散模型，解决了传统方法依赖大量干净数据的问题，并提出了改进的后验采样方案，实验验证了其有效性。
2025-10-31 cs.LG stat.ML
Big Learning Expectation Maximization
Sun Yat-sen University（中山大学）
针对EM算法训练混合模型时易陷入不良局部最优的问题，受基础模型大学习原理启发提出BigLearn-EM，通过多维度分布匹配实现高概率全局最优，在聚类基准上优于现有方法。
2023-12-19 cs.LG stat.ME stat.ML
Density Operator Expectation Maximization
Department of Computer Science and Automation（计算机科学与自动化系）；Indian Institute of Science（印度科学研究所）
本文提出密度算子期望最大化框架，用于训练基于密度算子的潜在变量模型，通过信息几何方法证明期望步骤为Petz恢复映射，并在量子受限玻尔兹曼机等新模型中验证其有效性。
2025-12-08 cs.LG quant-ph stat.ML
Model error covariance estimation in particle and ensemble Kalman filters using an online expectation-maximization algorithm
基于集合的数据同化技术从部分观测值估计动力系统的状态，其性能关键取决于模型动力学和观测值的规定不确定性。这些通常是不知道的，必须推断出来。已经提出了许多方法来解决这个问题，包括完全贝叶斯，似然最大化和创新为基础的技术。该方法通过期望最大化（Expectation-Maximization，EM）算法求取似然函数的最大值来推断模型误差协方差，并结合集合卡尔曼滤波器和粒子滤波器来估计系统的状态。期望最大化算法在数据同化中的经典应用包括对固定批次的观测值进行滤波和平滑，以便完成单次迭代。在高维应用中使用顺序滤波时，这是不方便的。出于这一动机，适应的算法，可以处理的意见和更新的参数上飞，与一些基本的简化，提出。在使用Lorenz-63和40变量Lorenz-96动力系统进行的实验中，对所提出的技术进行了评估，并取得了良好的性能，这些动力系统旨在代表数据同化中的一些常见场景，例如非线性、混乱性和模型误设定。
2020-03-04 stat.CO
SEMF: Supervised Expectation-Maximization Framework for Predicting Intervals
HEC, University of Lausanne, Lausanne, Switzerland（洛桑大学HEC学院，洛桑，瑞士）；HEC, University of Lausanne, Expertise Center for Climate Extremes (ECCE), Lausanne, Switzerland（洛桑大学HEC学院，洛桑，瑞士）
提出与模型无关的 SEMF，将期望最大化扩展到监督学习以生成预测区间，并在模拟数据与 11 个真实表格数据集上实现更窄区间和稳定覆盖率。
2025-09-28 cs.LG stat.ML
Hindsight Expectation Maximization for Goal-conditioned Reinforcement Learning
Columbia University（哥伦比亚大学）；Fero Labs（费罗实验室）
我们提出了一个图形化的模型框架目标条件强化学习，与EM算法，操作的RL目标的下限。E步骤提供了一个自然的解释如何“事后学习”的技术，如HER，处理极其稀疏的目标条件奖励。M-step将策略优化简化为监督学习更新，这极大地稳定了对图像等高维输入的端到端训练。我们表明，组合算法，hEM显着优于无模型的基线上广泛的目标条件的基准稀疏奖励。
2021-02-26 cs.LG stat.ML
An Asynchronous Distributed Expectation Maximization Algorithm For Massive Data: The DEM Algorithm
期望最大化（EM）算法家族提供了一种通用方法来拟合大型复杂数据的灵活模型。EM型算法的期望（E）步骤在大规模数据应用中是耗时的，因为它需要多次通过完整的数据。我们解决这个问题，提出了一个异步和分布式广义的EM称为分布式EM（DEM）。使用DEM，现有的EM型算法很容易扩展到大规模的数据设置，利用分治技术和广泛可用的计算能力，如网格计算。DEM算法保留两组计算过程，称为\emph{workers}和\emph{managers}，分别用于执行E步骤和最大化步骤（M步骤）。样本被随机划分为大量不相交的子集，并存储在工作进程上。DEM算法的E步是在所有工作者上并行执行的，每个工作者在本地E步结束时将其结果传达给管理者。管理器在收到来自一部分工作者的$γ$结果后执行M步骤，其中$γ$是$(0, 1]$中的固定常数。由DEM算法生成的参数估计序列保留EM的吸引人的特性：参数估计序列收敛到局部模式和线性全局收敛速度。在不同的模拟集中在线性混合效应模型，DEM算法是显着快于竞争EM型算法，同时具有类似的精度。DEM算法在包含1000万个评级的电影评级数据库上保持其优越的经验性能。
2018-06-20 stat.CO stat.ML
An expectation-maximization algorithm for estimating the parameters of the correlated binomial distribution
Luceño（Computational Statistics $\&$ Data Analysis，20，1995，511-520）提出了相关二项（CB）分布，作为二项分布的替代，用于分析事件之间存在相关性的数据。由于模型混合似然的复杂性，可能无法推导出未知参数的极大似然估计的解析表达式。为了克服这个困难，我们开发了一个期望最大化算法计算CB参数的MLE。仿真研究和实际数据应用的数值结果表明，所提出的方法是非常有效的一致达到全局最大值。最后，我们的结果应该感兴趣的高年级本科生或一年级的研究生和他们的讲师，重点是感兴趣的应用程序的期望最大化算法寻找离散混合模型中的参数的MLE。
2022-02-23 stat.CO stat.ME
Efficient convergence through adaptive learning in sequential Monte Carlo Expectation Maximization
期望最大化（EM）是一种在给定观测数据的情况下，通过交替采用充分统计量的期望值和最大化期望对数似然来估计潜变量模型的最大似然参数的技术。对于难以处理充分统计量的情况，通常使用随机逼近EM（SAEM），其使用蒙特卡罗技术来近似期望的对数似然。SAEM的两种常见实现，批量EM（BEM）和在线EM（OEM），由“学习率”参数化，其效率强烈依赖于此参数。我们提出了一个扩展的OEM算法，称为内省在线期望最大化（IOEM），它消除了需要指定这个参数，根据参数更新的趋势，调整学习率。我们表明，我们的算法匹配的效率最佳BEM和OEM算法在多个模型，IOEM的效率可以超过BEM/OEM方法的最佳学习率时，模型有很多参数。Python实现可在https://github.com/luntergroup/IOEM.git上获得。
2018-07-09 stat.ME
Model uncertainty estimation using the expectation maximization algorithm and a particle flow filter
模型误差协方差在应用于非线性状态空间模型的数据同化方法的性能中起着核心作用。然而，这些协方差在大多数应用中是未知的。模型误差协方差的误设定对后验概率密度函数的计算具有强烈的影响，导致不可靠的估计，甚至导致同化过程的完全失败。在这项工作中，我们提出了一个有效的粒子滤波器估计模型误差协方差的期望最大化算法（EM）的组合，使用一批观察。基于期望最大化算法原理，所提出的方法包括两个阶段：期望阶段，其中使用粒子滤波器和给定的模型误差协方差的当前估计来找到使似然最大化的概率密度函数，随后是最大化阶段，其中在期望步骤中找到的概率密度函数下的期望作为以下元素的函数被最大化：模型误差协方差。该算法将EM算法与不动点算法相结合，不需要粒子平滑器来逼近后验密度。我们证明，新方法准确，有效地解决了线性模型的问题。此外，对于混沌非线性Lorenz-96模型，即使观测误差协方差比估计的模型误差协方差阵大10倍，该方法也是稳定的，并且在估计矩阵的维数为1600的高维情况下也是成功的。
2019-11-04 stat.CO
Hybridization of Expectation-Maximization and K-Means Algorithms for Better Clustering Performance
JNTU（贾瓦哈拉尔尼赫鲁科技大学）；AITAM（阿迪蒂亚工程技术学院）
目前的工作提出了混合期望最大化（EM）和K-Means技术作为一种尝试，以加快聚类过程。尽管K-Means和EM技术都关注不同的领域，但K-Means可以被视为获得均值最大似然估计的近似方法。随着杂交算法的提出，目前的工作也与标准EM算法的实验。六个不同的数据集用于实验，其中三个是合成数据集。计算聚类适应度和误差平方和（SSE）来衡量聚类性能。在所有的实验中，它被观察到，所提出的算法的EM和K-Means技术的杂交是一致的执行时间更少，可接受的聚类健身值和更少的SSE比标准EM算法。它也被观察到，该算法产生更好的聚类结果比普渡大学的集群包。
2016-03-25 cs.LG stat.ML
On the Expectation-Maximization Unfolding with Smoothing
推导了用平滑步长正则化的期望最大化迭代展开算法的误差传播公式。定义了展开过程中与观测数据拟合的有效参数数。基于这一定义，赤池信息准则被提出作为一个原则，选择平滑参数的自动，数据依赖的方式。使用模拟样本的性能和频率覆盖的方法进行了研究。一些问题的一般相关的所有展开技术进行了讨论，包括不可约的偏见，不确定性增加，由于依赖于数据的正则化强度的选择，并介绍结果。
2015-01-09 physics.data-an stat.AP
An Expectation-Maximization Algorithm for the Matrix Normal Distribution
许多最近的数据集的大小和维度的急剧增加使得对能够利用固有结构和处理缺失值的复杂方法的需求变得至关重要。在这篇文章中，我们推导出一个期望最大化（EM）算法的矩阵正态分布，分布非常适合自然结构化的数据，如时空数据。我们回顾了以前建立的极大似然矩阵正态估计，然后考虑涉及缺失数据的情况。我们将EM方法应用于模拟研究中，探索不同维度和缺失数据比例的误差。我们比较这些错误和计算运行时间从两个替代方法。最后，我们实现了建议EM方法的卫星图像数据集调查土地覆盖分类可分性。
2013-09-25 stat.ME
Bayesian inference of chaotic dynamics by merging data assimilation, machine learning and expectation-maximization
Nansen Environmental and Remote Sensing Center（南森环境与遥感中心）；Sorbonne University（索邦大学）；University of Reading（雷丁大学）；Utrecht University（乌得勒支大学）
从高维混沌动力学（如地球物理流）的观测中重建受到以下因素的阻碍：（i）可以实际获得的部分和噪声观测，（ii）需要从长时间序列数据中学习，以及（iii）动力学的不稳定性质。为了从长时间序列的观测中得出这样的推论，有人建议以几种方式将数据同化和机器学习结合起来。我们将展示如何统一这些方法从贝叶斯的角度使用期望最大化和坐标下降。在这样做时，模型、状态轨迹和模型误差统计被一起估计。这些方法的实施和近似进行了讨论。最后，我们数值和成功地测试了两个相关的低阶混沌模型具有不同的可识别性的方法。
2020-03-27 cs.LG physics.ao-ph stat.ML
An Expectation-Maximization Algorithm for Continuous-time Hidden Markov Models
我们提出了一个统一的框架，经典的隐马尔可夫模型的推理方法扩展到连续的设置，其中隐藏的状态和观察发生在连续的时间。两种不同的设置进行了分析：隐跳过程的有限状态空间，和隐扩散过程的连续状态空间。对于每个设置，我们首先估计的隐藏状态的观察和模型参数，显示的后验分布的隐藏状态可以描述的微分方程在连续时间。然后，我们考虑未知模型参数的估计，推导出连续时间公式的期望最大化算法。我们还提出了一种基于连续公式的蒙特卡罗方法，对隐藏状态的后验分布进行采样，并更新参数估计。
2021-06-17 stat.ME
Convergence of Expectation-Maximization Algorithm with Mixed-Integer Optimization
针对含离散与连续混合参数时EM算法收敛分析困难的问题，提出一组保障特定类EM算法收敛的条件，为混合整数非线性优化迭代算法提供新分析技术，并验证了相关稀疏贝叶斯学习算法的收敛性。
2024-04-17 eess.SP stat.ML
Reweighted Expectation Maximization
Columbia University（哥伦比亚大学）
用极大似然训练深度生成模型仍然是一个挑战。典型的解决方法是使用变分推断（VI）并最大化数据的对数边际似然的下限。变分自动编码器（VAE）采用这种方法。他们进一步摊销成本的推理使用识别网络参数化的变分家庭。摊销的VI尺度近似于深度生成模型到大型数据集的后验推理。然而，它引入了一个摊销差距，并导致近似后验的表达能力降低，由于被称为后崩溃的问题。在本文中，我们将期望最大化（EM）视为拟合深度生成模型的范例。与VI不同，EM直接最大化数据的对数边际似然。我们重新发现重要性加权自动编码器（IWAE）作为EM的一个实例，并提出了一种新的基于EM的算法，用于拟合深度生成模型，称为重新加权期望最大化（REM）。REM学习更好的生成模型比IWAE通过解耦的生成模型和识别网络的学习动态使用一个单独的表达的建议发现矩匹配。我们比较了REM的VAE和IWAE的几个密度估计基准，发现它会导致显着更好的性能，如测量的对数似然。
2019-08-10 cs.LG stat.ME stat.ML
On the Semi-supervised Expectation Maximization
MIT（麻省理工学院）
期望最大化（EM）算法被广泛地用作数据不完全时的最大似然估计的迭代修正。我们专注于一个半监督的情况下学习模型从标记和未标记的样本。在半监督的情况下，现有的工作主要集中在性能，而不是收敛保证，但我们专注于标记样本的收敛速度的贡献。分析清楚地表明了标记样本如何提高指数族混合模型的收敛速度。在这种情况下，我们假设人口EM（具有无限数据的EM）在仅由未标记的样本组成的人口EM的全局收敛的邻域内初始化。对标记样本的分析提供了高斯混合模型收敛速度的全面描述。此外，我们扩展了标记样本的研究结果，并提供了一个替代的证明人口EM的收敛速度与未标记样本的对称混合的两个高斯。
2023-01-25 cs.LG stat.ML
Massively Parallel Expectation Maximization For Approximate Posteriors
University of Bristol（布里斯托大学）
本文提出QEM方法，利用大规模并行重要性加权估计后验矩，再通过期望最大化快速拟合近似后验，在速度上优于并行RWS和VI，且对模型重参数化不敏感。
2025-03-11 cs.LG stat.ML
DP-EM: Differentially Private Expectation Maximization
University of Amsterdam（阿姆斯特丹大学）；UC, San Diego（加州大学圣地亚哥分校）
期望最大化（EM）算法的迭代性质对隐私保护估计提出了挑战，因为每次迭代都会增加所需的噪声量。我们提出了一个实用的私人EM算法，克服了这一挑战，使用两个创新：（1）一个新的时刻扰动制定差分私人EM（DP-EM），以及（2）使用两个最近开发的组合方法来约束隐私的“成本”的多个EM迭代：时刻会计（MA）和零均值集中差分隐私（zCDP）。MA算法和zCDP算法都能有效地约束隐私损失随机变量的矩母函数，并得到一个精细的尾界，从而有效地降低了加性噪声的数量。我们目前的实证结果表明，我们的方法的好处，以及这两个组成方法之间的DP-EM设置高斯混合模型的类似性能。我们的方法可以很容易地扩展到许多迭代学习算法，开辟了各种令人兴奋的未来方向。
2016-10-31 cs.AI cs.CR cs.LG
Uncertainty-Aware Graph Self-Training with Expectation-Maximization Regularization
本研究提出一种带EM正则化的不确定性感知图自训练方法，用于半监督节点分类，通过迭代优化伪标签置信度处理含噪图数据，实验显示其准确率较基线最高提升2.5%且性能更稳定。
2025-07-29 cs.LG stat.ML
From Biased Selective Labels to Pseudo-Labels: An Expectation-Maximization Framework for Learning from Biased Decisions
University of Michigan（密歇根大学）
针对不同亚组标签偏差不同的差异性审查问题，提出DCEM算法，通过理论分析与实验验证其在减轻偏差的同时保持判别性能。
2024-06-27 cs.LG stat.ML
Method for Computation of the Fisher Information Matrix in the Expectation-Maximization Algorithm
期望最大化（EM）算法是从样本数据中计算极大似然估计量（MLE）的迭代计算方法。它将不完整数据的MLE的复杂的一次性计算转换为完整数据的MLE的一系列相对简单的计算。当极大似然估计可用时，我们自然需要未知参数的费舍尔信息矩阵。事实上，职能指令手册是衡量数据样本提供的信息量的良好指标，可用于确定估计量的方差和渐进方差的下限。然而，EM的局限性之一是，该算法不是自动的副产品。在本文中，我们回顾了EM和EM的一些基本思想。然后，我们构造了一个简单的基于蒙特卡罗的方法，只需要我们从E步骤和基本操作获得的函数的梯度值。最后，我们进行了理论分析和数值例子来说明我们的方法的有效性。该方法的关键部分是利用同时扰动随机逼近方法，由完全数据对数似然函数的条件期望的梯度逼近Hessian矩阵。关键词：费舍尔信息矩阵，期望最大化算法，蒙特卡罗，同时扰动随机逼近
2016-08-05 stat.CO
Convergence of the Expectation-Maximization Algorithm Through Discrete-Time Lyapunov Stability Theory
本文从动态系统视角重新审视期望-最大化算法，将其视为非线性状态空间动态系统，并利用离散时间李雅普诺夫稳定性理论证明其收敛性。
2018-10-04 cs.LG cs.SY eess.SY
Fast convergence of a Federated Expectation-Maximization Algorithm
Institute of Mathematics, Ecole Polytechnique Federale de Lausanne（洛桑联邦理工学院数学研究所）；Department of Operations Research and Financial Engineering（运筹学与金融工程系）；Princeton University（普林斯顿大学）
本文研究了联邦学习中数据异质性对期望-最大化算法收敛速率的影响，通过联邦混合线性回归模型分析，证明在信号噪声比不低于√K时，初始化良好的EM算法在所有客户端数量和数据点数量下都能收敛到真实参数，实验验证了数据异质性可加速迭代联邦算法收敛。
2026-03-23 cs.LG stat.ML
Estimating the Coefficients of a Mixture of Two Linear Regressions by Expectation Maximization
本文给出了两个对称混合线性回归的期望最大化（EM）估计系数的收敛保证。特别是，我们表明，经验EM迭代收敛到目标参数向量的参数率，算法初始化在一个无界锥。特别地，如果初始猜测与目标参数向量具有足够大的余弦角，则期望最大化算法的样本分割版本以高概率收敛到真实系数向量。有趣的是，我们的分析借用的工具中使用的问题，估计中心的对称混合的两个高斯EM。我们还表明，人口EM算子的两个回归的混合物是反收缩的目标参数向量，如果输入向量和目标参数向量之间的余弦角太小，从而建立我们的圆锥条件的必要性。最后，我们给出了支持这一理论观察的经验证据，这表明基于样本的期望最大化算法在相应地绘制初始猜测时表现不佳。我们的模拟研究还表明，期望最大化算法即使在模型错误指定（即，当协变量和误差分布违反模型假设时）。
2018-10-16 stat.ML
Expectation Maximization for Hard X-ray Count Modulation Profiles
本文研究了用RHESSI（Ramaty High Energy Solar Spectroscopic Imager）太阳光谱仪获得的太阳硬X射线调制剖面数据进行图像重建的问题。我们的目标是证明一个经典的统计迭代方法适用于图像去卷积问题是非常有效的，当用于分析计数调制分布在太阳硬X射线成像的旋转调制准直器的基础上。本文所述的算法迭代求解极大似然问题，并将一个正性约束编码到迭代优化方案中。因此，结果是经典的期望最大化方法，这次不应用于图像去卷积问题，而是应用于从计数调制轮廓的图像重建。使我们的实现在这个应用程序中特别有效的技术原因是使用了一个非常可靠的停止规则，它能够正则化的解决方案，同时提供了一个非常令人满意的现金统计量（C统计量）。该方法适用于再现合成燃烧配置和重建图像从对应于三个真实事件的实验数据。在第二种情况下，与Pixon图像重建相比，期望最大化的性能显示出相当的准确性和显著降低的计算负担;与CLEAN相比，显示出更好的测量保真度和相当的计算效率。如果最佳地停止，期望最大化表示当计数调制配置文件用作输入数据时在RHESSI上下文中用于图像重建的非常可靠的方法。
2013-02-20 astro-ph.IM astro-ph.SR stat.AP
Domain Adaptation with Randomized Expectation Maximization
Radboud University（拉德堡德大学）
域自适应（DA）是使用来自相关域的标记数据集（源）对未标记数据集（目标）进行分类的任务。大多数成功的DA方法试图通过变换特征空间来直接匹配源数据和目标数据的分布。尽管它们取得了成功，但基于这种方法的最先进的方法要么涉及要么无法直接扩展到具有许多特征的数据。本文表明，域适应可以成功地使用一个非常简单的随机期望最大化（EM）方法。我们考虑两个实例的方法，其中涉及逻辑斯谛回归和支持向量机，分别。所提出的方法的基本假设是存在一个很好的单一的线性分类源和目标域。该方法的灵活性减轻了该假设的潜在限制，该方法可以直接结合从预训练的深度神经网络提取的深度特征。由此产生的算法是非常容易实现和应用。我们测试其性能的36个现实生活中的适应任务，文本和图像数据具有不同的特点。该方法实现了最先进的结果，与所涉及的端到端深度迁移学习方法相比具有竞争力。
2018-03-20 cs.LG stat.ML
Stochastic Approximation with Biased MCMC for Expectation Maximization
Centre Borelli, ENS Paris-Saclay（博雷利中心，巴黎萨克雷高等师范学校）；UPenn（宾夕法尼亚大学）；CMAP, CNRS, École Polytechnique（法国国家科学研究中心、巴黎综合理工学院数学与应用计算中心）
本文分析带偏置 MCMC 步骤的 SAEM 的渐近与非渐近行为，并通过 MALA 与 ULA 实验揭示偏置对稳定性和收敛速度的影响。
2024-02-27 cs.LG math.OC stat.CO
An Expectation-Maximization Perspective on Federated Learning
Qualcomm AI Research（高通AI研究院）；Qualcomm Technologies, Inc.（高通技术公司）；University of Amsterdam（阿姆斯特丹大学）
联邦学习描述了跨多个客户端的分布式模型训练，同时保持设备上的数据私密。在这项工作中，我们认为服务器编排的联邦学习过程作为一个分层的潜变量模型，其中服务器提供的参数先验分布在客户端特定的模型参数。我们表明，与简单的高斯先验和硬版本的著名的期望最大化（EM）算法，在这样的模型中学习对应于FedAvg，最流行的算法的联邦学习设置。这种对FedAvg的看法统一了该领域最近的几项工作，并通过对分层模型的不同选择开辟了扩展的可能性。基于这一观点，我们进一步提出了一个变体的分层模型，采用先验分布，以促进稀疏性。通过类似地使用硬EM算法进行学习，我们获得了FedSparse，这是一个可以在联邦学习设置中学习稀疏神经网络的过程。FedSparse降低了从客户端到服务器（反之亦然）的通信成本，以及使用稀疏网络进行推理的计算成本-这两者在联邦学习中具有非常重要的实际意义。
2021-11-19 cs.LG stat.ML
EMS Coreset: An Efficient Expectation-Maximization Algorithm for Sinkhorn Coreset
Purdue University（普渡大学）
该研究提出EMS Coreset算法，通过允许非均匀核心集权重实现熵正则化OT耦合的闭式更新，提升了Sinkhorn Coreset的可扩展性，在保证近似质量的同时大幅缩短了大规模数据集处理的运行时间。
2026-08-18 cs.LG stat.ML
T-Rex: Fitting a Robust Factor Model via Expectation-Maximization
Daniel Cederberg
针对传统统计因子模型拟合方法对重尾数据和异常值敏感的问题，提出基于Tyler M估计量的EM算法T-Rex，在低秩加对角协方差约束下求解鲁棒因子模型，实验验证了其在波达方向估计等任务中的鲁棒性。
2025-05-17 cs.LG eess.SP math.OC
Stochastic Expectation Maximization for Robust State-Space Radio Interferometric Imaging
SATIE, ENS Paris-Saclay, Université Paris-Saclay, France（SATIE，巴黎-萨克雷大学，法国）；L2S, CentraleSupelec, Université Paris-Saclay, France（L2S，中央超导大学，巴黎-萨克雷大学，法国）
提出基于随机近似期望最大化（SAEM）的鲁棒估计方法，通过吉布斯采样处理复合高斯噪声，提升射电干涉成像中对抗射频干扰的重建保真度与鲁棒性。
2026-06-24 astro-ph.IM cs.LG stat.ML
