Dirichlet Process Mixtures of Generalized Linear Models
我们提出了狄利克雷过程混合广义线性模型（DP-GLM），一种新的非参数回归方法，可容纳连续和分类的输入，和响应，可以模拟的广义线性模型。我们证明了DP-GLM回归均值函数估计的渐近无偏性的条件。我们还给出了当这些条件成立时的例子，包括紧支持的连续分布模型和具有连续协变量和分类响应的模型。我们实证分析的DP-GLM的属性，为什么它提供了更好的结果比现有的Dirichlet过程混合物回归模型。我们评估DP-GLM的几个数据集，比较它的现代非参数回归方法，如CART，贝叶斯树和高斯过程。与现有技术相比，DP-GLM提供了一个单一的模型（和相应的推理算法），在许多回归设置中表现良好。
2010-07-15 stat.ML
A Bayesian Nonparametric approach to Reconstruction and Prediction of Random Dynamical Systems
基于马尔可夫链蒙特卡罗方法（MCMC），提出了一种贝叶斯非参数混合模型，用于离散随机动力系统的时间序列重构和预测.我们的研究结果可以用于物理建模的研究人员感兴趣的快速和准确的估计低维随机模型时，所观察到的时间序列的大小是小的，噪声过程（也许）是非高斯的。特别是在多项式映射的情况下，证明了推理过程的任意程度，当几何棒打破混合物的过程之前，在空间的密度，适用于添加剂的错误。我们的方法是简约的贝叶斯非参数技术的基础上Dirichlet过程的混合物，灵活和一般。基于合成时间序列的仿真。
2017-09-30 stat.AP stat.ME
Robust Bayesian model selection for heavy-tailed linear regression using finite mixtures
在本文中，我们提出了一种新的方法来执行重尾分布的线性模型的贝叶斯模型选择。我们考虑一个有限的混合分布模型的潜在变量，其中每个组成部分的混合物对应于一个可能的模型内的对称类的正态独立分布。当然，高斯模型是其中一种可能性。这允许基于每个模型的后验概率进行同时分析。推理是通过马尔可夫链蒙特卡罗-吉布斯抽样与大都会黑斯廷斯步骤的一类参数。模拟的例子突出了这种方法的优势相比，隔离分析的基础上任意选择的模型选择标准。给出了真实数据的示例，并介绍和讨论了对截尾线性回归的扩展。
2017-08-18 stat.ME
Semiparametric two-component mixture models under linear constraints
我们提出了一个半参数两组分混合模型的结构，当一个组分是参数的，另一个是通过其分布函数的线性约束定义的。当对未知组分的结构没有特别的假设时，对含有未知组分的两组分混合模型的估计是非常困难的。在文献中使用对称性假设来简化估计。这种方法的优点是可以得到相合的渐近正态估计，并且半参数混合模型的可辨识性变得容易处理。然而，现有的方法估计半参数混合模型有其局限性时，参数部分有未知参数或参数部分的比例是非常高或非常低。在本文中，我们提出了一种方法，将一个先验的线性信息的分布的未知组件，以便更好地估计模型时，现有的估计方法失败。新方法是基于$φ-$分歧，并有一个原始的形式，因为最小化进行了两个参数的分歧。在标准假设下，证明了所得估计是相合的和渐近正态的。我们表明，使用皮尔逊的$χ^2$分歧，我们的算法具有线性复杂度时的约束矩型。单变量和多变量混合物的模拟证明了我们的新方法的可行性和利益。
2017-12-21 stat.ME
Designing an Optimal Bonus--Malus System Using the Number of Reported Claims, Steady-State Distribution, and Mixture Claim Size Distribution
本文首先考虑了一个给定的Bonus-Malus系统的相对保费的两个Bayes估计。然后，它开发了一个线性相关性溢价，关闭，在加权均方误差损失的意义上，这样的贝叶斯估计。在第二步中，它假设的索赔额分布为一个给定的Bonus-Malus系统可以制定为一个有限的混合分布。然后，它评估的基础保费贝叶斯框架下，这样一个有限的混合分布。Loimaranta效率这样的线性相关性保费，几个奖金-Malus系统，已比较两个贝叶斯和普通的线性相关性保费。
2017-01-19 stat.ME
Continuous Gaussian mixture solution for linear Bayesian inversion with application to Laplace priors
针对线性贝叶斯反演问题，提出基于高斯混合的两步采样方法及降维近似策略，推导了后验混合密度闭式表达式，并在 Laplace 先验下验证了近似样本的低相关性与高精度。
2024-08-29 math.PR stat.AP stat.CO
Clustering and Meta-Analysis Using a Mixture of Dependent Linear Tail-Free Priors
针对免疫疗法元分析中研究异质性强的问题，提出带Dirichlet过程混合随机划分的扩展线性相依无尾过程非参数贝叶斯模型，支持条件共轭后验更新，用于验证生物标志物在免疫疗法研究设计中的应用。
2024-06-22 stat.ME
A Spatio-Temporal Dirichlet Process Mixture Model on Linear Networks for Crime Data
Yonsei University（延世大学）；Seoul National University（首尔大学）；University Jaume I（海梅一世大学）；Sam Houston State University（山姆休斯顿州立大学）
本文提出了一种基于线性网络的时空Dirichlet过程混合模型，用于分析犯罪事件并识别空间时间聚类，同时探讨聚类中心与城市设施的关系。
2026-01-19 stat.AP
A Dirichlet Process Mixture Model for Directional-Linear Data
方向数据需要专门的概率模型，因为它们的域的非欧几里德和周期性。当方向变量与线性变量联合观察时，对它们的依赖性进行建模会增加额外的复杂性。本文提出了一种新的贝叶斯非参数方法的基础上的Dirichlet过程的方向线性数据。我们首先扩展了投影正态分布模型的线性变量和任意维的方向变量的联合分布作为一个高维的增广多元正态分布（MVN）的投影。我们称之为半投影正态分布（SPN）的新分布，它具有类似于MVN的属性。然后，SPN被用作Dirichlet过程模型中的混合分布，以获得更灵活的一类模型的方向线性数据。我们提出了一个正常的条件逆Wishart分布作为先验分布的一部分，以解决从投影正常继承的可识别性问题，并保持共轭与SPN分布。为后验推理提供了一种吉布斯抽样算法。在合成数据和Berkeley图像数据库上的实验表明，与其他方向性线性模型相比，Dirichlet过程SPN混合模型（DPSPN）在聚类方面具有更好的性能。我们还建立了一个分层的Dirichlet过程模型与SPN开发的似然比的方法来血迹模式分析使用DPSPN模型的密度估计，以估计一组训练数据的可能性，一个给定的模式。
2022-12-21 stat.ME
Mixtures of g-priors in Generalized Linear Models
Zellner g-先验的混合已在线性模型中得到广泛研究，并已被证明具有贝叶斯变量选择和模型平均的许多理想性质。在文献中已经提出了几个扩展的g-先验的广义线性模型（GLM），然而，选择先验分布的g和由此产生的属性的推断得到了相当少的关注。本文通过将截断的复合合流超几何（tCCH）分布赋为1/（1 + g），统一了GLM中g先验的混合，其中包括文献中的几种g先验的混合，如hyper-g，Beta-prime，truncated Gamma，incomplete inverse Gamma，benchmark，robust，hyper-g/n和intrinsic prior。通过积分拉普拉斯近似，1/（1 + g）的后验分布又是tCCH分布，因此近似的边缘似然性可通过分析获得，从而导致用于模型选择的“复合超几何信息准则”。我们讨论了GLM中g先验的局部几何性质，并展示了Bayarri等人提出的模型选择的必要条件，如渐近模型选择一致性，内在一致性和测量不变性，可以用来证明超参数的先验和特定选择。我们说明推理使用这些先验知识，并通过模拟和真实数据的例子将它们与其他方法进行对比。该方法在R包BAS中实现，并在CRAN上免费提供。
2018-05-04 stat.ME
Tensor Decompositions Meet Control Theory: Learning General Mixtures of Linear Dynamical Systems
MIT（麻省理工学院）
本研究基于张量分解提出线性动态系统混合模型学习新方法，无需强分量分离条件，效果可比肩贝叶斯最优聚类且适配部分观测场景，为算法拓展至复杂生成模型提供思路。
2023-07-23 cs.DS cs.LG math.OC
Dynamical mean-field theory for stochastic gradient descent in Gaussian mixture classification
Institut de physique théorique, Université Paris-Saclay（巴黎萨克雷大学理论物理研究所）；CNRS（法国国家科学研究中心）；CEA（法国原子能和替代能源委员会）；IdePHICS Laboratory, EPFL（洛桑联邦理工学院IdePHICS实验室）；SPOC Laboratory, EPFL（洛桑联邦理工学院SPOC实验室）
我们在一个封闭的形式分析的学习动态随机梯度下降（SGD）的单层神经网络分类的高维高斯混合，其中每个集群被分配两个标签之一。这个问题提供了一个原型的非凸损失景观插值制度和一个大的推广差距。我们定义了一个特殊的随机过程，SGD可以扩展到一个连续的时间限制，我们称之为随机梯度流。在全批限制下，我们恢复了标准梯度流。我们应用统计物理学中的动态平均场理论，通过自洽随机过程来跟踪高维极限中算法的动态。我们探讨了该算法的性能作为控制参数的函数，揭示了它如何导航的损失景观。
2021-11-09 cond-mat.dis-nn cs.LG math.ST
On the robust learning mixtures of linear regressions
Jiujiang University（九江学院）
本文研究线性回归混合模型的鲁棒学习问题，通过阈值化将其与高斯混合模型建立联系，在温和分离条件下提出拟多项式时间算法，显著提升了鲁棒性。
2023-05-23 cs.LG stat.ML
Finite Sample Analysis of Tensor Decomposition for Learning Mixtures of Linear Systems
研究线性动态系统混合（MLDS）的学习问题，提出基于矩和张量分解的估计器以利用完整轨迹长度估计脉冲响应参数，并给出了含噪情况下的样本复杂度界限。
2025-06-01 cs.SY eess.SY stat.ML
Global Convergence of EM Algorithm for Mixtures of Two Component Linear Regression
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Cornell University（康奈尔大学）
期望最大化算法可能是最广泛使用的隐变量问题的推理算法。然而，对其性能的理论理解在很大程度上仍然缺乏。最近的结果表明，EM具有全局收敛性的高斯混合模型。然而，对于混合线性回归，仅建立了局部收敛结果，并且仅针对高SNR区域。在这里，我们表明，EM收敛混合线性回归与两个组件（它是已知的，它可能无法收敛三个或更多），而且，这种收敛举行随机初始化。我们的分析表明，EM表现出非常不同的行为在混合线性回归从高斯混合模型的行为，因此我们的证明需要几个新的想法的发展。
2019-05-28 cs.LG math.ST stat.ML
Improved Regret Analysis for Variance-Adaptive Linear Bandits and Horizon-Free Linear Mixture MDPs
Gachon University（加川大学）；Seoul National University（首尔国立大学）；University of Arizona（亚利桑那大学）
在在线学习问题中，利用低方差在获得严格的性能保证方面发挥着重要作用，但由于方差通常事先未知，因此具有挑战性。最近，Zhang等人（2021）取得了相当大的进展，他们在不知道方差的情况下获得了线性强盗的方差自适应遗憾界，以及线性混合马尔可夫决策过程（MDP）的无水平遗憾界。在本文中，我们提出了新的分析，提高他们的遗憾边界显着。对于线性强盗，我们实现了$\tilde O(\min\{d\sqrt{K}, d^{1.5}\sqrt{\sum_{k=1}^K σ_k^2}\} + d^2)$，其中$d$是特征的维度，$K$是时间范围，$σ_k^2$是时间步长$k$处的噪声方差，并且$\tilde O$忽略了多对数依赖性，这是$d^3$改进的一个因素。对于线性混合MDP，假设在$[0,1]$中的事件中的最大累积奖励，我们实现了$\tilde O(d \sqrt{K} + d^2)$的无水平后悔界，其中$d$是基础模型的数量，$K$是事件的数量。这是前导项中的$d^{3.5}$和低阶项中的$d^7$改善的因素。我们的分析严重依赖于一个新的剥离为基础的遗憾分析，利用椭圆形潜在的“计数”引理。
2023-02-04 cs.LG math.ST stat.ML
The Breakdown of Gaussian Universality in Classification of High-dimensional Linear Factor Mixtures
本文研究一般线性因子混合数据的高维分类，精确刻画经验风险最小化，证明高斯普适性会失效并给出其成立条件及对损失选择的意义。
2025-03-13 cs.LG math.ST stat.ML
Learning Mixtures of Linear Dynamical Systems via Hybrid Tensor-EM Method
Department of Biomedical Engineering（生物医学工程系）；Wu Tsai Institute, Center for Neurocomputation and Machine Intelligence（吴泰教授研究所、神经计算与人工智能中心）；Yale University（耶鲁大学）
本文提出了一种混合张量-EM方法，用于学习混合线性动态系统，通过构建矩张量实现全局一致的估计，并通过卡尔曼EM算法进一步细化参数，验证了其在合成数据和真实神经数据中的有效性。
2026-02-27 cs.LG cs.SY eess.SY
Support Recovery of Sparse Signals from a Mixture of Linear Measurements
Syracuse University（雪城大学）；University of California, San Diego（加州大学圣地亚哥分校）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
从简单测量恢复稀疏向量的支持是一个广泛研究的问题，在压缩感知，1位压缩感知和更一般的单索引模型的框架下考虑。我们考虑这个问题的概括：混合物的线性回归，线性分类器的混合物，其中的目标是恢复支持的多个稀疏向量，只使用少量的可能有噪声的线性，1位测量分别。关键的挑战是来自不同向量的测量值是随机混合的。这两个问题最近也受到关注。在线性分类器的混合中，观测对应于随机未知向量所在的查询超平面的一侧，而在线性回归的混合中，我们观察到随机未知向量在查询超平面上的投影。从混合中恢复未知向量的主要步骤是首先识别所有单个分量向量的支持。在这项工作中，我们研究的测量数量足以恢复所有的分量向量的支持在这两个模型的混合物。我们提供的算法，使用一些测量多项式在$k, \log n$和准多项式在$\ell$，恢复支持的所有$\ell$未知向量的混合物具有高概率时，每个单独的组件是一个$k$稀疏$n$维向量。
2021-11-04 cs.IT cs.LG math.IT
Learning Mixtures of Linear Classifiers
Stanford University（斯坦福大学）；Technicolor（特艺集团）
我们考虑一个判别学习（回归）问题，其中回归函数是k个线性分类器的凸组合。现有的方法是基于EM算法，或类似的技术，没有可证明的保证。我们开发了一个简单的方法，基于频谱技术和“镜像”技巧，发现子空间跨越的分类器的参数向量。在特征向量分布的概率假设下，我们证明了这种方法具有接近最优的统计效率。
2014-07-30 cs.LG stat.ML
Solving a Mixture of Many Random Linear Equations by Tensor Decomposition and Alternating Minimization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
考虑了带$k$分量的混合随机线性方程组的求解问题。这是混合线性回归的无噪声设置。目标是在未观察到标签（哪个样本对应于哪个模型）的情况下，从混合样本中估计多个线性模型。本文给出了求解混合线性方程组问题的一个易处理的算法，并证明了在一定的技术条件下，该算法能保证精确地求解该问题，其样本复杂度在维数上是线性的，在$k$中是多项式的。以前的方法需要对$k$的指数依赖性，或者对维度的超线性依赖性。该算法是张量分解和交替最小化的组合。我们的分析包括证明张量方法提供的初始化允许交替最小化，这是相当于EM在我们的设置，以线性速度收敛到全局最优。
2016-08-19 cs.IT cs.LG math.IT
Softmax Attention on Gaussian Mixtures: Linear When It Can, Selective When It Must
Institut Universitaire de France（法国高等研究院）
该研究探讨高斯混合模型上Softmax注意力的无限提示极限，表明其可通过梯度方法学习统计任务最优解，兼具线性注意力的线性任务处理能力与依赖查询的非线性任务解决能力。
2026-10-09 cs.LG stat.ML
Prediction Sets for High-Dimensional Mixture of Experts Models
大型数据集使构建预测模型成为可能，这些模型可以捕获响应变量和特征之间的异质关系。高维线性专家混合模型假定观测值来自高维线性回归模型的混合，其中混合权重本身是依赖于特征的。在本文中，我们展示了如何构建有效的预测集的$\ell_1$惩罚混合专家模型在高维设置。我们利用一个去偏置过程来解释由惩罚引起的偏差，并提出了一种新的策略，用于组合区间以形成混合设置中具有覆盖保证的预测集。综合算例和对超导材料临界温度的预测表明，该方法具有可靠的实用性能。
2022-10-30 math.ST stat.ME stat.ML
Computationally Efficient Horizon-Free Reinforcement Learning for Linear Mixture MDPs
University of California, Los Angeles（加州大学洛杉矶分校）
最近的研究表明，情景强化学习（RL）并不比上下文强盗更困难，即使有很长的规划视野和未知的状态转换。然而，这些结果仅限于表格马尔可夫决策过程（MDP）或线性混合MDP的计算效率低下的算法。在本文中，我们提出了第一个计算效率的地平线自由算法的线性混合MDP，实现了最佳的$\tilde O(d\sqrt{K} +d^2)$遗憾的对数因子。我们的算法采用加权最小二乘估计未知的过渡动态，其中的权重是\emph{variance-aware}和\emph{uncertainty-aware}。当将我们的加权最小二乘估计应用于异质线性强盗时，我们可以在第一轮$K$中获得$\tilde O(d\sqrt{\sum_{k=1}^K σ_k^2} +d)$遗憾，其中$d$是上下文的维度，$σ_k^2$是第$k$轮中奖励的方差。当$σ_k^2$已知时，这也改进了该设置中最知名的算法。
2022-05-23 cs.LG math.OC stat.ML
Mixture of partially linear experts
针对专家混合模型忽略变量非线性关系的局限，提出含未指定函数的部分线性结构模型，确立其可识别性并引入估计算法，通过模拟与真实数据分析验证了方法性能。
2024-05-05 stat.ME stat.ML
Locally Differentially Private Reinforcement Learning for Linear Mixture Markov Decision Processes
Tsinghua University（清华大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
强化学习（RL）算法可以用于提供个性化服务，这些服务依赖于用户的隐私和敏感数据。为了保护用户的隐私，需要保护隐私的强化学习算法。本文研究了具有线性函数逼近和局部差分隐私（LDP）保证的强化学习.提出了一种新的$(\varepsilon, δ)$算法来学习一类称为线性混合MDP的马尔可夫决策过程，并得到了一个$\tilde{\mathcal{O}}( d^{5/4}H^{7/4}T^{3/4}\left(\log(1/δ)\right)^{1/4}\sqrt{1/\varepsilon})$遗憾，其中$d$是特征映射的维数，$H$是规划视野的长度，$T$是与环境的交互次数.我们还证明了一个下界$Ω(dH\sqrt{T}/\left(e^{\varepsilon}(e^{\varepsilon}-1)\right))$学习线性混合MDP下$\varepsilon$ -LDP约束。在人工数据集上的实验验证了算法的有效性。据我们所知，这是第一个具有线性函数近似的可证明的隐私保护RL算法。
2021-10-19 cs.CR cs.LG math.OC
Provable Tensor Methods for Learning Mixtures of Generalized Linear Models
University of California, Irvine（加州大学欧文分校）
我们考虑的问题，学习混合的广义线性模型（GLM）中出现的分类和回归问题。典型的学习方法，如期望最大化（EM）或变分贝叶斯可能会陷入虚假的局部最优。相比之下，我们提出了一个张量分解方法，保证正确地恢复参数。关键的见解是采用输入的某些特征变换，这取决于输入生成模型。具体来说，我们采用输入的得分函数张量，并计算它们与响应变量的互相关。我们建立了这个张量的分解一致恢复的参数，在温和的非简并条件下。我们证明了我们的方法的计算和样本的复杂性是一个低阶多项式的输入和潜在的尺寸。
2016-01-13 cs.LG stat.ML
Blind Source Separation for Mixture of Sinusoids with Near-Linear Computational Complexity
我们提出了一个多音分解算法，可以找到的频率，幅度和相位的基本正弦信号在一个嘈杂的观察序列。在独立同分布的高斯噪声下，我们的方法利用最大似然方法从受污染的观测中估计相关的音调参数。在估计$M$数目的正弦源时，我们的算法连续地估计它们的频率，并联合优化它们的幅度和相位。我们的方法也可以实现为一个盲源分离器的信息的情况下，有关$M$。我们的算法的计算复杂度是近似线性的，即，$\tilde{O}(N)$。
2022-03-27 cs.LG eess.AS eess.SP
EM Converges for a Mixture of Many Linear Regressions
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
研究了具有任意个数$k$的混合线性回归的期望最大化算法的收敛性。我们表明，只要信号噪声比（SNR）是$\tildeΩ(k)$，良好的初始化EM收敛到真正的回归参数。$k \geq 3$的先前结果仅建立了无噪声设置的局部收敛，即，其中SNR无限大。我们的结果扩大了范围的环境噪声，值得注意的是，我们建立了一个统计出错率，是独立的范数（或成对距离）的回归参数。特别是，我们的研究结果意味着确切的恢复$σ\rightarrow 0$，与大多数以前的局部收敛结果EM，其中的统计误差缩放与规范的参数。标准的矩量法方法可以用来保证我们在局部收敛保证适用的区域。
2019-11-26 cs.LG stat.ML
Recovery of Sparse Signals from a Mixture of Linear Samples
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
混合线性回归是一种流行的学习理论模型，广泛用于表示异构数据。在最简单的形式中，该模型假设标签从两个不同的线性模型中的任一个生成并混合在一起。Yin等人和Krishnamurthy等人的近期作品，2019年，针对这一问题，重点进行了模型恢复的试验设计设置。假设可以设计和查询特征以获取其标签。当被查询时，oracle随机选择两个不同的稀疏线性模型中的一个，并相应地生成标签。同时恢复两个模型需要多少个这样的oracle查询？这个问题也可以被认为是众所周知的压缩感知问题的推广（Candès和Tao，2005，Donoho，2006）。在这项工作中，我们解决这个查询复杂性问题，并提供有效的算法，提高了以前最好的已知结果。
2020-07-14 cs.DS cs.IT cs.LG
Offline-Online Reinforcement Learning for Linear Mixture MDPs
Department of Industrial Engineering and Management Sciences, Northwestern University（工业工程与管理科学系，西北大学）
本文研究了在环境变化下线性混合马尔可夫决策过程中的离线-在线强化学习，提出了一种算法，能够自适应利用离线数据，在数据有信息时优于纯在线学习，在数据无信息时安全忽略并匹配纯在线性能，建立了明确的后悔上界和下界。
2026-04-13 cs.LG math.OC stat.ML
EM Approaches to Nonparametric Estimation for Mixture of Linear Regressions
针对线性回归混合模型，提出两种EM算法估计回归系数的先验分布，分别处理连续和离散情形，并验证了收敛性与有效性。
2025-10-16 stat.ME stat.ML
MERLiN: Mixture Effect Recovery in Linear Networks
因果推断涉及变量之间因果关系的识别，例如确定刺激是否影响大脑某个区域的活动。然而，观察到的变量本身往往并不构成有意义的因果变量，需要考虑线性组合。例如，在脑电图研究中，人们对建立电极信号（观察变量）之间的因果关系不感兴趣，而是对皮层信号（因果变量）之间的因果关系感兴趣，皮层信号可以被恢复为电极信号的线性组合。我们介绍MERLiN（线性网络中的混合效应恢复），一个家庭的因果推断算法，实现了一种新的手段，从非因果变量构建因果变量。我们演示了如何通过应用程序的EEG数据的基本MERLiN算法可以扩展到不同的（神经成像）数据模式的应用程序。给定一个观察到的线性混合，该算法可以恢复一个因果变量，该变量是另一个给定变量的线性效应。也就是说，MERLiN允许我们恢复受某个大脑区域活动影响的皮层信号，而不是刺激的直接影响。所有提出的算法的Python/Matlab实现可在https://github.com/sweichwald/MERLiN上获得
2016-09-27 q-bio.NC stat.AP stat.ME
Estimating the Coefficients of a Mixture of Two Linear Regressions by Expectation Maximization
本文给出了两个对称混合线性回归的期望最大化（EM）估计系数的收敛保证。特别是，我们表明，经验EM迭代收敛到目标参数向量的参数率，算法初始化在一个无界锥。特别地，如果初始猜测与目标参数向量具有足够大的余弦角，则期望最大化算法的样本分割版本以高概率收敛到真实系数向量。有趣的是，我们的分析借用的工具中使用的问题，估计中心的对称混合的两个高斯EM。我们还表明，人口EM算子的两个回归的混合物是反收缩的目标参数向量，如果输入向量和目标参数向量之间的余弦角太小，从而建立我们的圆锥条件的必要性。最后，我们给出了支持这一理论观察的经验证据，这表明基于样本的期望最大化算法在相应地绘制初始猜测时表现不佳。我们的模拟研究还表明，期望最大化算法即使在模型错误指定（即，当协变量和误差分布违反模型假设时）。
2018-10-16 stat.ML
