Uniform Convergence Rates for Maximum Likelihood Estimation under Two-Component Gaussian Mixture Models
在方差不等的两分量位置-尺度混合高斯模型中，我们得到了极大似然估计的一致收敛性和参数估计的极小极大下界.我们假设混合物的混合比例是已知的和固定的，但没有对底层混合物组分进行分离假设。一个相变存在于最佳的参数估计率，取决于是否是平衡的混合物。我们分析的关键是仔细研究位置尺度高斯混合模型参数之间的依赖关系，通过多项式等式和不等式系统捕获，其解集驱动我们获得的速率。模拟研究说明了这项工作的理论研究结果。
2020-06-01 math.ST stat.ML stat.TH
Efficient semiparametric estimation and model selection for multidimensional mixtures
本文考虑非参数多维有限混合模型，主要研究总体权重的半参数估计。给，身份证。假设观测至少有三个分量，它们在给定总体的情况下是独立的。我们通过将条件分布投影到与某个分区相关联的阶梯函数上来近似半参数模型。我们的第一个主要结果是，如果我们细化分区足够慢，相关序列的最大似然估计的权重是渐近有效的，和后验分布的权重，当使用贝叶斯过程，满足半参数伯恩斯坦冯米塞斯定理。然后，我们提出了一个交叉验证一样的程序来选择分区在有限的地平线。我们的第二个主要结果是，所提出的程序满足一个预言不等式。模拟数据的数值实验验证了我们的理论结果。
2017-12-13 math.ST stat.TH
Minimax estimation for mixtures of Wishart distributions
正定对称矩阵空间作为理解多元数据相关性的一种手段以及伴随的统计推断问题已被广泛研究。许多书籍和论文已经写在这个问题上，最近有相当大的兴趣，在高维随机矩阵，特别强调某些特征值的分布。随着现代数据采集能力的可用性，需要平滑或非参数技术，超越那些只适用于欧几里得空间中产生的数据。在此基础上，给出了正定对称矩阵空间上Minimax Wishart混合密度估计的Fourier方法.
2012-03-15 math.ST stat.TH
Regularised optimal self-transport is approximate Gaussian mixture maximum likelihood
该研究揭示正则化自输运与高斯混合模型最大似然估计的关联，提出自输运结合聚类的低成本有理论支撑的估计方法，并指出其因鲁棒、稀疏、稳定可作为GMM的优选统计工具。
2023-11-04 math.ST stat.TH
Latent Factor Models for Density Estimation
虽然离散混合建模已经形成了贝叶斯密度估计的文献的骨干，有一些众所周知的缺点。我们提出了一种替代类的先验随机非线性函数的基础上的一个统一的潜变量与添加剂残留。诱导前的密度示出具有理想的属性，包括容易集中在一个初始猜测的密度，大的支持，后验的一致性和简单的计算，通过吉布斯采样。一些优点，如Dirichlet过程的高斯内核的混合物，离散的混合物，进行了讨论和说明，通过模拟和流行病学的应用。
2011-09-19 math.ST stat.TH
Rates of convergence for the posterior distributions of mixtures of Betas and adaptive nonparametric estimation of the density
在本文中，我们研究了估计$[0,1]$上光滑密度的非参数贝叶斯混合Beta的渐近性质。我们考虑β分布的参数化的平均值和尺度参数，并构建一个混合的平均值参数，而把这个尺度参数的先验。我们证明了这样的贝叶斯非参数模型具有良好的频率渐近性质。我们确定了真密度附近的后验集中率，并证明了当真密度属于具有正则性的Hölder类$β$时，对于所有正的$β$，它是极小极大集中率，从而导致密度的极小极大自适应估计过程。我们还相信，这些混合的β密度的近似结果可以在频率论框架的兴趣。
2010-01-11 math.ST stat.TH
Moment-based Estimation of Mixtures of Regression Models
回归模型的有限混合为许多现象提供了灵活的建模框架。使用矩为基础的估计的回归参数，我们开发无偏估计的混合成分的假设最少。特别地，只需要混合模型中的一个分量的平均回归模型，并且对分布没有要求。估计量的一致性和渐近分布推导和所提出的方法是通过一系列的模拟研究进行验证，并被证明是高度准确的。我们说明了使用的时刻为基础的混合回归模型与应用程序的葡萄酒质量数据。
2019-05-15 math.ST stat.AP stat.ME
Consistency for constrained maximum likelihood estimation and clustering based on mixtures of elliptically-symmetric distributions under general data generating processes
本文证明了非参数分布下基于椭圆对称分布混合的最大似然估计量的一致性，并为其在充分分离子总体聚类分析中的应用提供了理论依据。
2024-10-10 math.ST stat.ML stat.TH
Convergence rate for predictive recursion estimation of finite mixtures
预测递归（PR）是混合模型中非参数估计的一种快速随机算法。众所周知，PR估计的混合和混合密度是一致的，在相当温和的条件下，但目前很少知道的收敛速率。在这里，我首先研究的渐近收敛性质的PR估计下的模型误设定的特殊情况下，有限混合已知的支持。从随机逼近理论的工具被用来证明PR估计收敛，最好的Kullback-Leibler近似，在近根$n$率。当支持度未知时，PR可用于构造目标函数，当优化时，该目标函数产生支持度的估计。我适用于已知的支持结果，推导出一个收敛速率为这个修改后的PR估计在未知的支持情况下，这比已知的最佳速率有利。
2011-10-14 math.ST stat.ME stat.TH
Refined Convergence Rates for Maximum Likelihood Estimation under Finite Mixture Models
本文重新讨论了有限混合模型中最大似然估计的经典收敛速度问题。Wasserstein距离已成为一个标准的损失函数，用于分析这些模型中的参数估计，部分原因是它能够规避标签切换，并准确地表征拟合的混合物成分与消失的权重的行为。然而，Wasserstein距离仅能够捕获剩余拟合混合分量中的最差情况的收敛速度。我们证明，当对数-似然函数被惩罚，以阻止消失的混合权重，更强的损失函数可以推导出解决这个缺点的Wasserstein距离。这些新的损失函数准确地捕获的异质性拟合混合成分的收敛速度，我们用它们来锐化现有的逐点和一致收敛性速度在各类混合模型。特别是，这些结果意味着，惩罚MLE的组件的子集通常收敛速度显着比可以从过去的工作预期。我们进一步表明，这些结论中的一些扩展到传统的极大似然估计。我们的理论研究结果支持的模拟研究，以说明这些改进的收敛速度。
2022-06-20 math.ST stat.ML stat.TH
Quantum non demolition measurements: parameter estimation for mixtures of multinomials
在量子非破坏测量中，观测序列分布为多项随机变量的混合。动态参数自然地编码到这个分布族中。我们证明了潜在的统计模型的局部渐近混合正态性和极大似然估计的相合性。此外，我们证明了这个估计的渐近最优性，因为它饱和通常的CramérRao界。
2017-07-19 math-ph math.MP math.ST
Maximum Smoothed Likelihood Component Density Estimation in Mixture Models with Known Mixing Proportions
在本文中，我们提出了一个最大平滑似然方法估计的混合模型的成分密度函数，其中的混合比例是已知的，并可能不同的观察。所提出的估计最大化一个平滑的对数似然函数，并继承了所有的重要性质的概率密度函数。一个优化最小化算法，建议计算所提出的估计数值。在理论上，我们表明，从任何初始值开始，该算法增加了平滑的似然函数，并进一步导致估计，最大化平滑的似然函数。这表明了算法的收敛性。此外，我们从理论上建立了我们提出的估计的渐近收敛速度。一个自适应的过程中，建议选择的带宽在我们的估计过程。仿真研究表明，所提出的方法是更有效的比现有的方法的综合平方误差。最后给出了一个实例进行了分析。
2014-07-11 math.ST stat.ME stat.TH
Revisiting consistency of a recursive estimator of mixing distributions
本文针对一般混合模型下混合分布的估计问题，在较弱条件下证明了预测递归（PR）算法的一致性，并验证了其在均匀核尺度混合问题及单调密度估计中的优越实际性能。
2021-10-06 math.ST stat.ME stat.TH
A Flexible Procedure for Mixture Proportion Estimation in Positive-Unlabeled Learning
正-未标记（PU）学习考虑两个样本，一个只有一个类的观测值的正集合P和一个有两个类的观测值的未标记集合U。目标是对美国的观测数据进行分类。U中的类混合比例估计（MPE）是PU学习的关键步骤。Blanchard等人。[2010]表明，PU学习中的MPE是多重检验问题中估计真零假设比例问题的推广。出于这个想法，我们建议减少问题的一维通过构建一个概率分类训练的P和U数据集，然后应用一维混合比例方法从多重检验文献的观察类概率。该框架的灵活性在于可以自由选择分类器和一维MPE方法。我们证明了两个混合比例估计的一致性，使用从经验过程理论的界限，开发调整参数的自由实现，并证明了他们有竞争力的性能模拟波形数据和蛋白质信号问题。
2020-01-10 math.ST stat.ME stat.ML
Semiparametric estimation in the normal variance-mean mixture model
本文研究半参数方差均值混合模型参数的统计推断问题。这类混合物最近在统计和金融建模中变得相当流行。我们设计了一个半参数估计程序，首先估计的平均值的基础正态分布，然后恢复非参数的密度相应的混合分布。我们说明了我们的程序模拟和真实数据的性能。
2017-05-22 stat.OT
Interpretable Mixture Density Estimation by use of Differentiable Tree-module
Mobility Technologies Co., Ltd.（Mobility Technologies 有限公司）
为了使用机器学习开发可靠的服务，了解模型输出的不确定性非常重要。预测目标遵循的概率分布通常具有复杂的形状，并且混合分布被假定为不确定性遵循的分布。由于混合密度估计的输出是复杂的，当考虑其在实际服务中的使用时，其可解释性变得重要。在本文中，我们提出了一种混合密度估计的方法，利用可解释的树结构。此外，基于时不变信息缓存的快速推理过程实现了高速和可解释性。
2021-05-08 cs.LG stat.ML
Consistent Density Estimation Under Discrete Mixture Models
这项工作考虑了一个问题，估计的混合概率密度$f$的设置离散混合模型。本文共分三个部分。第一部分着重于构造$f$的一个$L_1$相容估计。特别地，在观测值的概率测度$μ$是原子的，从$f$到$μ$的映射是双射的假设下，证明了存在一个估计量$f_n$，使得对于每个密度$f$ $\lim_{n\to \infty} \mathbb{E} \left[ \int |f_n -f | \right]=0$ .第二部分讨论了具体的实施细节。具体地说，它示出的一致性，每个$f$可以达到一个计算上可行的估计。第三部分，作为一个研究案例，考虑了泊松混合模型。特别是，它示出，在泊松噪声设置，双射条件成立，因此，可以一致地为每个$f$进行估计。
2021-05-10 cs.IT math.IT math.ST
Semiparametric Estimation of Symmetric Mixture Models with Monotone and Log-Concave Densities
在这篇文章中，我们重新讨论了混合模型的拟合问题，假设混合成分是对称的和对数凹的。为此，我们首先研究了单调对数凹概率密度的非参数极大似然估计。通过遵循Rujiach（2006）的论点，我们证明了NPMLE关于支撑内部的紧子集上确界范数是一致相容的。为了拟合混合模型，我们提出了一个半参数EM（SEM）算法，它可以适用于其他半参数混合模型。在我们的数值实验中，我们将我们的算法与Balabdaoui和Doss（2014）以及模拟和真实世界数据集上的其他混合模型进行了比较。
2018-02-27 stat.ME
A semiparametric mixture method for local false discovery rate estimation
我们提出了一个半参数混合模型来估计局部错误发现率在多重检验问题。该方法的两个支柱是Efron的经验零原理和对数凹密度估计的替代分布。与现有的方法相比，我们的方法可以很容易地扩展到高维。仿真结果表明，我们的方法优于其他现有的方法，我们说明了它的使用通过天文学和微阵列的案例研究。
2016-04-14 stat.ME
From Adaptive Kernel Density Estimation to Sparse Mixture Models
Vrije Universiteit Brussel (VUB)（布鲁塞尔自由大学（VUB））；imec（比利时微电子研究中心）；Xi’an Jiaotong University（西安交通大学）
我们介绍了一个气球估计在广义期望最大化方法估计的所有参数的高斯混合模型给定一个数据样本的混合成分。这种正则化策略没有明确限制模型大小，而是产生低复杂度的稀疏模型，其中有效混合成分的数量随着平滑概率参数$\mathbf{P>0}$的增加而减少。这种半参数方法从非参数自适应核密度估计（KDE）过渡到参数普通最小二乘，当$\mathbf{P=1}$。实验表明，更简单的稀疏混合模型保留了自适应KDE解决方案中存在的细节水平。
2018-12-11 cs.LG stat.ML
Optimal estimation of high-dimensional location Gaussian mixtures
本文研究了高维有限高斯位置混合模型在无分离条件下的最优估计率。我们假设组件$k$的数量是有界的，并且中心位于有界半径的球中，同时允许尺寸$d$与样本量$n$一样大。推广Heinrich和Kahn \cite{HK2015}的一维结果，我们证明了在Wasserstein距离中估计混合分布的极大极小率是$Θ((d/n)^{1/4} + n^{-1/(4k-2)})$，它是由一个在时间上可计算的估计量$O(nd^2+n^{5/4})$得到的.此外，我们表明，混合密度可以估计在最佳参数率$Θ(\sqrt{d/n})$在Hellinger距离，并提供了一个计算效率高的算法，以实现这一速度在特殊情况下的$k=2$。理论和方法的发展都依赖于矩量法的谨慎应用。我们的结果的中心是观察有限高斯混合的信息几何的特点是由矩张量的混合分布，其低秩结构可以被利用，以获得一个尖锐的局部熵界。
2021-07-26 cs.IT math.IT math.ST
Copula Density Estimation by Finite Mixture of Parametric Copula Densities
本文提出了一种基于异质参数Copula密度有限混合的Copula密度估计方法。更具体地说，混合成分是Clayton，Frank，Gumbel，T和正常copula密度，它们能够分别捕获下尾，强中心，上尾，重尾和对称椭圆依赖。模型参数的估计采用约束极大似然问题的邻域点算法。将该算法与常用的期望最大化算法进行了比较。仿真和实际数据的应用表明，该方法是有效的建模复杂的数据依赖超过两个或三个维度。
2019-06-22 stat.AP stat.CO stat.ME
Maximum Likelihood Estimation for Finite Mixtures of Canonical Fundamental Skew t-Distributions: the Unification of the Unrestricted and Restricted Skew t-Mixture Models
在本文中，我们提出了一个算法的拟合的位置-尺度变量的典型的基本偏t（CFUST）分布，一个超类的限制和无限制的偏t分布。近年来，人们提出了几种不同版本的多元偏态$t$（MST）模型，以及各种EM型参数估计算法。这些配方采用了限制或不受限制的表征其MST密度。在本文中，我们研究了这些发展的自然推广，采用CFUST分布作为参数族的组件分布，并指出，限制和无限制的特征可以统一在这个一般的配方。我们表明，期望最大化算法的精确实现可以实现CFUST分布和混合的分布，并提出了一些新的分析结果的条件期望参与的E-步骤。
2014-01-31 stat.ME
Income inequality estimation with gamma mixtures
University of Brasília（巴西利亚大学）；Federal University of Pelotas（佩洛塔斯联邦大学）
研究伽马分布有限混合下第m个基尼指数估计，推导其闭式表达式及估计器渐近性质，通过蒙特卡罗研究考察不同速率混合下性能，与其他估计器比较，并通过收入数据集分析说明方法。
2026-07-08 stat.ME
Density estimation for compositional data using nonparametric mixtures
针对成分数据在单纯形边界附近变换偏差大的问题，提出非参数狄利克雷混合密度估计框架，避免变换并处理边界值，模拟和真实数据表明其优于现有方法。
2025-10-08 stat.ME
A transformation-based approach to Gaussian mixture density estimation for bounded data
有限混合高斯分布提供了一个灵活的半参数方法的密度估计时，被调查的变量没有边界。然而，在实际应用中，变量可能是部分有界的（例如取非负值）或完全有界的（例如取单位区间内的值）。在这种情况下，标准高斯有限混合模型将非零密度分配给任何可能的值，甚至分配给定义变量的范围之外的值，因此导致严重的偏差。在本文中，我们提出了一种基于变换的方法高斯混合建模的情况下，有界变量。基本思想是不对原始数据而是对适当变换的数据进行密度估计。然后，原始数据的密度可以通过改变变量来获得。变换参数和高斯混合的参数联合估计的期望最大化（EM）算法。部分和完全有界数据的方法，说明使用模拟数据和真实数据的应用程序。
2018-12-13 stat.ME
Maximum likelihood estimation in constrained parameter spaces for mixtures of factor analyzers
混合因子分析器在基于模型的高维数据聚类领域越来越流行。根据数据建模中的似然方法，众所周知，无约束的对数似然函数可能会出现虚假的极大值和奇异性，这是由于估计的协方差结构的特定模式，当它们的行列式接近0时。为了减少这样的缺点，在本文中，我们介绍了一个程序的参数估计的混合物的因素分析，最大限度地提高似然函数在一个受约束的参数空间。然后，我们分析和测量其性能，相比通常的无约束的方法，通过一些模拟和应用程序的真实数据集。
2013-01-08 stat.ME
Maximum Likelihood Estimation of a Semiparametric Two-component Mixture Model using Log-concave Approximation
受生物科学中发现差异表达基因研究的启发，本文研究了一个已知成分的半参数两成分混合模型。假设未知组分的密度是对数凹的，它包含一个非常广泛的密度族，我们提出了一个半参数极大似然估计，并提出了一个计算它的期望最大化算法，我们的新估计方法同时找到混合比例和未知组分的分布。我们建立了半参数混合模型的可辨识性，并证明了估计的存在性和相合性。我们进一步比较我们的估计与现有的几个估计，通过模拟研究，并将我们的方法应用到两个真实的数据集，从生物科学和天文学。
2019-03-27 stat.AP stat.CO stat.ME
Estimation of a Two-component Mixture Model with Applications to Multiple Testing
我们考虑一个已知组分的两组分混合模型。我们开发了非参数估计混合比例和未知分布的方法，给定i.i.d.~混合模型的数据，使用形状约束函数估计的思想。我们建立了估计量的一致性。我们发现的混合比例的估计的收敛速度和渐近极限。为混合比例制定了完全自动的无分布诚实有限样本置信下限。讨论了与多重检验问题的联系。模型的可辨识性，以及未知分布的密度估计也得到了解决。我们比较建议的估计，这是很容易实现的，与一些现有的程序，通过模拟研究和分析两个数据集，一个产生的应用在天文学和其他微阵列实验。
2015-11-09 stat.ME
Nonparametric latency estimation for mixture cure models
针对混合治愈模型的潜伏期估计问题，提出非参数估计量并证明其渐近性质，设计bootstrap带宽选择方法，经模拟验证后应用于结直肠癌患者数据集。
2024-01-30 stat.ME
Probabilistic Classification by Density Estimation Using Gaussian Mixture Model and Masked Autoregressive Flow
University of Waterloo（滑铁卢大学）；Drexel University（德雷塞尔大学）
本文提出利用高斯混合模型和掩码自回归流进行密度估计，以建模类别似然实现分类，优于线性判别分析，为概率分类器开辟新方向。
2023-10-16 cs.LG cs.NE stat.ML
A presmoothing approach for estimation in semiparametric mixture cure models
处理生存分析数据时的一个挑战是解释治愈分数，这意味着一些受试者将永远不会经历感兴趣的事件。混合治愈模型经常用于估计易感受试者的治愈概率和至事件发生时间，通常假设发生率为参数（logistic）形式。我们提出了一个新的估计过程的参数治愈率依赖于一个初步的平滑估计，是独立的模型假设的延迟。我们调查的估计量的理论性质，并通过模拟表明，在logistic/Cox模型，premoothing导致更准确的结果相比，极大似然估计。为了说明实际使用，我们应用新的估计程序的两项研究黑色素瘤生存数据。
2021-06-14 stat.ME
State price density estimation via nonparametric mixtures
我们考虑了期权价格中状态价格密度的非参数估计。不同于通常的密度估计问题，我们只观察期权价格和它们相应的执行价格，而不是从国家的价格密度的样本。我们建议直接用非参数混合模型来模拟状态价格密度，并使用最小二乘法对其进行估计。我们表明，虽然最小化是采取了一个无限维的函数空间，极小化总是承认一个有限维的表示，可以有效地计算。我们还证明了所提出的估计的状态价格密度函数收敛到真理的“近参数”的速度。
2009-10-08 q-fin.CP q-fin.PR stat.AP
Maximum Likelihood Estimation of Gaussian Cluster Weighted Models and Relationships with Mixtures of Regression
加权模型（CWM）是一种混合方法，用于对响应变量和一组解释变量的联合概率进行建模。根据极大似然方法，通过期望最大化算法估计参数。在高斯假设下，分析了类加权模型的完全数据似然函数。进一步，在适当的假设下，我们证明了高斯聚类加权模型的似然函数的最大化导致了有限混合回归和有限混合伴随变量回归的相同的参数估计.在这个意义上，后者可以被认为是高斯聚类加权模型的嵌套模型。
2013-08-08 stat.CO
Histogram Meets Topic Model: Density Estimation by Mixture of Histograms
直方图方法是一种强有力的非参数方法，用于估计连续变量的概率密度函数。但是，与参数方法相比，直方图的构建需要大量的观测来捕获潜在的密度函数。因此，它不适合分析稀疏数据集，即具有小数据大小的单元的集合。在本文中，通过采用概率主题模型，我们开发了一种新的贝叶斯方法，以减轻传统的直方图估计的稀疏性问题。我们的方法估计一个单位的密度函数作为一个混合的基础直方图，其中的箱子的数量为每个基础，以及它们的高度，是自动确定的。估计过程是通过使用快速和易于实现的崩溃吉布斯抽样。我们将所提出的方法应用于合成数据，表明它表现良好。
2015-12-25 stat.ML
Regularized Estimation and Feature Selection in Mixtures of Gaussian-Gated Experts Models
University of Queensland（昆士兰大学）；University of Caen（卡昂大学）；La Trobe University（拉筹伯大学）
混合专家模型及其基于期望最大化算法的极大似然估计（MLE）已在统计学和机器学习文献中得到深入研究。他们是越来越多的调查的背景下，高维预测与正则化极大似然估计建模。我们研究了高斯门控网络的MoE，用于聚类和回归，并提出了一个$\ell_1$正则化的MLE，以鼓励稀疏模型和处理高维设置。我们开发了一个EM-Lasso算法来执行参数估计，并利用BIC类标准来选择模型参数，包括稀疏调整超参数。仿真数据上的实验表明，与标准的期望最大化算法相比，所提出的正则化极大似然估计具有良好的性能。
2019-09-12 cs.LG stat.CO stat.ME
The Kernel Mixture Network: A Nonparametric Method for Conditional Density Estimation of Continuous Random Variables
本文介绍一种利用神经网络进行条件概率密度非参数估计的新方法--核混合网络。我们将任意复杂的条件密度建模为以训练点子集为中心的核函数族的线性组合。权重由深度神经网络的外层确定，通过最小化负对数似然来训练。这推广了流行的量化softmax方法，该方法可以被视为具有方形和非重叠内核的内核混合网络。我们测试我们的方法的性能上的两个重要的应用程序，即贝叶斯过滤和生成建模。在贝叶斯滤波的例子中，我们表明，该方法可以用来过滤复杂的非线性和非高斯信号定义在流形上。由此产生的核混合网络滤波器优于量化softmax滤波器和扩展卡尔曼滤波器的模型似然。最后，我们对生成模型的实验表明，在相同的架构下，核混合网络比量化softmax方法具有更高的测试集似然性，更少的过拟合和更多样化和真实的生成样本。
2017-05-19 stat.ML
Unsupervised Mixture Estimation via Approximate Maximum Likelihood based on the Cramér - von Mises distance
针对重尾混合分布因归一化常数难以处理导致极大似然估计困难的问题，提出采用 Cramér - von Mises 距离的近似极大似然混合估计法，结合标准极大似然确定先验边界的混合程序，显著提升了估计效果。
2023-04-10 stat.CO stat.ME
EM Approaches to Nonparametric Estimation for Mixture of Linear Regressions
针对线性回归混合模型，提出两种EM算法估计回归系数的先验分布，分别处理连续和离散情形，并验证了收敛性与有效性。
2025-10-16 stat.ME stat.ML
Multivariate Density Estimation with Deep Neural Mixture Models
Università di Siena（锡耶纳大学）
尽管在最近关于机器学习的文献中（特别是关于深度学习），多变量密度估计是许多应用中的一项基本任务，至少是隐含的，仍然是一个悬而未决的问题。除了少数例外，深度神经网络（DNN）很少应用于密度估计，主要是由于估计任务的无监督性质，并且（特别是）由于需要约束训练算法，最终实现满足Kolmogorov公理的适当概率模型。此外，尽管混合模型在建模能力方面比普通的单密度统计估计有了众所周知的改进，但到目前为止还没有研究基于DNN的多元分量密度的适当混合。本文填补了这一空白，将我们以前在神经混合密度（NNN）上的工作扩展到多变量DNN混合。提出了一种估计深度神经元的最大似然（ML）算法，该算法在数值上满足旨在确保满足Kolmogorov公理的硬约束和软约束的组合。类的概率密度函数，可以建模到任何程度的精度，通过DNERGY正式定义。自动选择DNMM架构的过程，以及其ML训练算法的超参数，提出（利用DNMM的概率性质）。单变量和多变量数据的实验结果报告，证实了该方法的有效性和最流行的统计估计技术的优越性。
2020-12-06 cs.CV cs.LG cs.NE
Mixture Modeling with Normalizing Flows for Spherical Density Estimation
规范化流是用于模拟复杂概率密度函数的对象，近年来引起了人们的极大兴趣。已经发展了许多正常化流动的灵活家庭。然而，迄今为止的重点主要集中在欧几里得域上的规范化流上;虽然已经为球形和其他非欧几里得域开发了规范化流，但这些规范化流通常不如欧几里得域灵活。为了解决这个问题，在这项工作中，我们引入了一个混合的归一化流模型来构建复杂的概率密度函数的球。该模型提供了一个灵活的替代现有的参数，半参数，非参数，有限混合模型。使用期望最大化算法及其变体来执行模型估计。该模型被应用到模拟数据，在传统的（单组分）归一化流程的好处进行了验证。然后，将该模型应用于地球表面发生的两个真实事件数据集;第一个与地震有关，第二个与恐怖活动有关。在这两种情况下，我们看到，混合的归一化流模型产生了一个很好的表示事件发生的密度。
2023-01-16 stat.ME
Density estimation via mixture discrepancy and moments
School of Mathematical Sciences, Peking University, Beijing 100871, China（北京大学数学科学学院）；School of Mathematical Sciences, Beijing Normal University, Beijing 100875, China（北京师范大学数学科学学院）
本文提出基于混合差异和矩的密度估计方法，通过替代星形偏差来提升计算效率和不变性，验证了在不同维度下的性能表现。
2025-12-20 cs.LG physics.comp-ph stat.ME
Regularized Maximum Likelihood Estimation and Feature Selection in Mixtures-of-Experts Models
Normandie Univ（诺曼底大学）；UNICAEN（卡昂大学）；UMR CNRS LMNO（法国国家科学研究中心LMNO联合研究单位）
混合专家模型（Mixture of Experts，MoE）是在回归、聚类和分类等统计学习问题中为异构数据建模的成功模型。通常通过期望最大化算法用极大似然估计拟合，因此它们在高维问题中的应用仍然具有挑战性。我们考虑在MoE模型的拟合和特征选择的问题，并提出了一个正则化的极大似然估计的方法，鼓励稀疏解决方案的异质回归数据模型与潜在的高维预测。与最先进的正则化MLE MoE，所提出的建模不需要近似的惩罚函数。本文提出了两种混合期望最大化算法：期望-优化-最大化（EM/MM）算法和带有坐标上升算法的期望最大化算法。所提出的算法允许自动获得稀疏的解决方案，而无需阈值，并避免矩阵求逆，允许单变量参数更新。实验研究表明，该算法在恢复实际稀疏解、参数估计和异质回归数据聚类等方面具有良好的性能。
2018-10-29 cs.LG stat.CO stat.ME
InClass Nets: Independent Classifier Networks for Nonparametric Estimation of Conditional Independence Mixture Models and Unsupervised Classification
University of Florida（佛罗里达大学）
我们引入了一种新的基于机器学习的方法，我们称之为独立分类器网络（InClass网）技术，条件独立混合模型（CIMM）的非参数估计。我们将CIMM的估计视为多类分类问题，因为将数据集划分为不同类别自然会导致混合模型的估计。InClass网络由多个独立的分类器神经网络（NN）组成，每个网络处理CIMM的一个变量。通过使用合适的成本函数同时训练各个NN来执行CIMM对数据的拟合。神经网络逼近任意函数的能力使得我们的技术是非参数的。进一步利用NN的能力，我们允许模型的条件独立变量是单独的高维，这是我们的技术相对于现有的非机器学习方法的主要优势。我们得到了一些新的结果的非参数可识别的二元CIMM的形式的一个必要条件和一个（不同的）充分条件的二元CIMM是可识别的。我们提供了一个名为RainDancesVI的Python包，并通过几个示例验证了我们的InClass网技术。我们的方法在无监督和半监督分类问题中也有应用。
2020-08-31 cs.LG econ.EM hep-ph
Hidden Markov Mixture Autoregressive Models: Parameter Estimation
本报告介绍了一个简约的结构，混合自回归模型，其中的权系数确定通过潜在的随机变量的函数，所有过去的观察。这些变量遵循隐马尔可夫模型。我们修改EM和Baum-Welch算法来估计模型的参数。
2011-05-14 math.ST stat.TH
Adaptive density estimation based on a mixture of Gammas
考虑了正半线上可能无界密度的贝叶斯密度估计问题。我们提出了一个分层贝叶斯估计的基础上的伽玛混合先验，可以被看作是一个位置的混合。我们研究了基于这种混合的贝叶斯密度估计的收敛速度。我们构造了局部Hölder密度的近似，以及它们对无界密度的扩展，使其成为Γ分布的连续混合，从而得到了有限混合密度的近似。然后，这些结果被用来获得后验浓度率，与先验的基础上，这些混合模型。率是极小极大（最多对数n项），因为先验是独立的平滑率是自适应的平滑。
2017-09-16 math.ST stat.TH
Bayesian estimation and prediction for certain mixtures
对于两个庞大的家庭的混合分布和一个给定的先验，我们提供了统一的表示后验和预测分布。模型的应用包括标记为Kibble型，非中心卡方和F分布，分布的$R^2$在多元回归，方差混合正态分布，混合物的位置-规模指数分布，包括多变量Lomax分布的伽玛Γ分布的二元混合物。重点也放在分析表示和现有的分布和几个hypergometric函数的一个或两个变量的主机的关系。
2020-09-07 math.ST stat.TH
Robust mixture regression modeling based on the Generalized M (GM)-estimation method
Bai（2010）and Bai et al.（2012）提出了基于M回归估计的稳健混合回归方法。然而，M-估计量对响应变量中的异常值是稳健的，但对解释变量中的异常值（杠杆点）不稳健。在本文中，我们提出了一个强大的混合回归过程来处理离群值和杠杆点，同时。我们提出的混合回归方法是基于GM回归估计。我们给出了一个期望最大化（EM）型算法来计算感兴趣的参数的估计。我们提供了一个模拟研究和一个真实的数据例子来评估所提出的方法对离群值和杠杆点的鲁棒性性能。
2015-11-23 math.ST stat.TH
Posterior asymptotics of nonparametric location-scale mixtures for multivariate density estimation
密度估计是贝叶斯非参数估计最成功的应用之一。特别是，Dirichlet过程混合的法线是密度估计的黄金标准，其渐近性质已被广泛研究，特别是在单变量的情况下。然而，实践者和目前的理论文献之间存在差距。到目前为止，后验渐近结果在多变量的情况下，仅适用于位置混合的高斯内核与独立的前共同的协方差阵，而在实践中，以及从概念的角度来看，位置-尺度混合往往是可取的。在本文中，我们解决后验一致性，这样的一般混合模型，通过适应收敛速度的结果，结合了通常的低熵，高质量的筛选方法与适当的可求和条件。具体来说，我们建立一致性的Dirichlet过程混合高斯内核与各种事先规格的协方差阵。后收敛速度也进行了讨论。
2015-07-01 math.ST stat.TH
Theoretical Grounding for Estimation in Conditional Independence Multivariate Finite Mixture Models
对于条件独立的多元有限混合模型的非参数估计，我们提出了一种新的基于惩罚光滑Kullback-Leibler距离的目标函数的形式.非线性平滑优化最小化（NSMM）算法就是从这个角度推导出来的。利用一种新的投影-乘法算子得到了NSMM算法的一个简洁的表示，发现了算法的一个更精确的单调性，并首次证明了主要最优化问题解的存在性.
2015-10-28 math.ST stat.TH
Minimum Mean Square Error Estimation Under Gaussian Mixture Statistics
本文研究了当x和n独立且服从高斯混合分布时，给定观测值y = Hx+n，x的最小均方误差（MMSE）估计. GM分布的引入，代表了对更为常见和简单的高斯信号和高斯噪声情况的推广。我们提出了必要的理论基础，并推导出x的MMSE估计的封闭形式。此外，我们还给出了其均方误差（MSE）的上界和下界。这些界限是通过蒙特卡罗模拟验证。
2011-08-17 math.ST stat.TH
Joint rank and variable selection for parsimonious estimation in a high-dimensional finite mixture regression model
本文研究了高维多元响应回归模型的有限混合模型的降维技术。响应的维数和预测变量的数量都允许超过样本量。我们考虑预测器的选择和降秩，以获得低维近似。引入了一类具有快速收敛速率的估计量。我们将此结果应用于[11]中介绍的特定程序，其中相关预测因子由Group-Lasso选择。
2017-02-16 math.ST stat.TH
Full Model Estimation for Non-Parametric Multivariate Finite Mixture Models
本文研究非参数有限混合模型的全模型估计问题。它提出了一种用于选择分量的数量和判别变量的子集（即，在混合成分之间具有不同分布的变量子集）。所提出的方法考虑了离散化的每个变量到B箱和惩罚所产生的对数似然。考虑到当样本量趋于无穷大时，仓数趋于无穷大，我们证明了在适当选择惩罚项的情况下，我们对模型的估计（用于聚类的相关变量的子集和分量数）是一致的.模拟和基准数据说明了我们的建议的兴趣。
2021-12-10 math.ST stat.TH
Adaptive Bayesian multivariate density estimation with Dirichlet mixtures
我们表明，率自适应的多变量密度估计可以使用贝叶斯方法的基础上正常内核的协方差阵参数的先验分布的Dirichlet混合物。我们推导出充分条件的事先说明，保证收敛到一个真正的密度的速度是最佳的极小极大的平滑类的真正的密度属于。假设没有平滑度的先验知识。的充分条件示出持有的Dirichlet位置混合的法线之前的高斯基测量和逆Wishart之前的协方差阵参数。局部Hölder光滑类和它们的各向异性扩展。我们的研究涉及到几个技术创新，包括尖锐的逼近可微多元密度正常的混合物和一个新的筛子上的空间，这种密度。
2013-03-19 math.ST stat.TH
