Quantum Adaptive Fourier Features for Neural Density Estimation
MindLab(思维实验室);Universidad Nacional de Colombia(哥伦比亚国立大学)
密度估计是统计学和机器学习应用中的基本任务。核密度估计是低维非参数密度估计的有力工具,但在高维情况下性能较差。此外,其预测复杂度与更多的训练数据点成线性比例。本文提出了一种神经密度估计方法,该方法可以看作是核密度估计的一种,但没有高的预测计算复杂性。该方法是基于密度矩阵,在量子力学中使用的形式主义,和自适应傅立叶特征。该方法可以在没有优化的情况下进行训练,但它也可以与深度学习架构集成,并使用梯度下降进行训练。因此,它可以被看作是一种神经密度估计方法。该方法在不同的合成和真实数据集上进行了评估,并将其性能与最先进的神经密度估计方法进行了比较,获得了有竞争力的结果。
2022-08-04 cs.LG quant-ph stat.ML
Minimax rates for finite mixture estimation
证明了在一定的正则性和强可辨识性条件下,在$m_0$成分的混合分布周围,$m$成分的混合分布的最优局部极小极大估计率是$n^{-1/(4(m-m_0) + 2)}$ .这纠正了陈(1995)在《统计年鉴》中的一篇论文。
2015-04-14 math.ST stat.TH
Adaptive Optimal Nonparametric Regression and Density Estimation Based on Fourier-Legendre Expansion
受金融和技术应用的启发,本文的目标是考虑基于Fourier-Legendre展开的回归和密度分布的自适应估计,以及置信区间的构造-也是自适应的。估计是渐近最优的和自适应的意义上说,他们可以适应未知的光滑。
2007-06-06 math.SP math.ST stat.TH
Semiparametric estimation in the normal variance-mean mixture model
本文研究半参数方差均值混合模型参数的统计推断问题。这类混合物最近在统计和金融建模中变得相当流行。我们设计了一个半参数估计程序,首先估计的平均值的基础正态分布,然后恢复非参数的密度相应的混合分布。我们说明了我们的程序模拟和真实数据的性能。
2017-05-22 stat.OT
Adaptive density estimation for clustering with Gaussian mixtures
高斯混合模型被广泛用于研究聚类问题。这些基于模型的聚类方法需要通过高斯混合来准确估计未知数据密度。在Maugis和Michel(2009)中,提出了一种惩罚极大似然估计,用于自动选择混合成分的数量。本文考虑了对数局部β-Hölder的单变量密度集在矩和尾条件下的情形.我们证明了这种惩罚估计是极小极大自适应的β规律性的密度在Hellinger意义。
2011-10-14 math.ST stat.TH
Consistency for constrained maximum likelihood estimation and clustering based on mixtures of elliptically-symmetric distributions under general data generating processes
本文证明了非参数分布下基于椭圆对称分布混合的最大似然估计量的一致性,并为其在充分分离子总体聚类分析中的应用提供了理论依据。
2024-10-10 math.ST stat.ML stat.TH
EM Approaches to Nonparametric Estimation for Mixture of Linear Regressions
Department of Statistics, George Mason University(乔治梅森大学统计系)
针对线性回归混合模型,提出两种EM算法估计回归系数的先验分布,分别处理连续和离散情形,并验证了收敛性与有效性。
2025-10-16 stat.ME stat.ML
Moment-based Estimation of Mixtures of Regression Models
回归模型的有限混合为许多现象提供了灵活的建模框架。使用矩为基础的估计的回归参数,我们开发无偏估计的混合成分的假设最少。特别地,只需要混合模型中的一个分量的平均回归模型,并且对分布没有要求。估计量的一致性和渐近分布推导和所提出的方法是通过一系列的模拟研究进行验证,并被证明是高度准确的。我们说明了使用的时刻为基础的混合回归模型与应用程序的葡萄酒质量数据。
2019-05-15 math.ST stat.AP stat.ME
Probabilistic Classification by Density Estimation Using Gaussian Mixture Model and Masked Autoregressive Flow
University of Waterloo(滑铁卢大学);Drexel University(德雷塞尔大学)
本文提出利用高斯混合模型和掩码自回归流进行密度估计,以建模类别似然实现分类,优于线性判别分析,为概率分类器开辟新方向。
2023-10-16 cs.LG cs.NE stat.ML
Semiparametric Estimation of Symmetric Mixture Models with Monotone and Log-Concave Densities
在这篇文章中,我们重新讨论了混合模型的拟合问题,假设混合成分是对称的和对数凹的。为此,我们首先研究了单调对数凹概率密度的非参数极大似然估计。通过遵循Rujiach(2006)的论点,我们证明了NPMLE关于支撑内部的紧子集上确界范数是一致相容的。为了拟合混合模型,我们提出了一个半参数EM(SEM)算法,它可以适用于其他半参数混合模型。在我们的数值实验中,我们将我们的算法与Balabdaoui和Doss(2014)以及模拟和真实世界数据集上的其他混合模型进行了比较。
2018-02-27 stat.ME
State price density estimation via nonparametric mixtures
我们考虑了期权价格中状态价格密度的非参数估计。不同于通常的密度估计问题,我们只观察期权价格和它们相应的执行价格,而不是从国家的价格密度的样本。我们建议直接用非参数混合模型来模拟状态价格密度,并使用最小二乘法对其进行估计。我们表明,虽然最小化是采取了一个无限维的函数空间,极小化总是承认一个有限维的表示,可以有效地计算。我们还证明了所提出的估计的状态价格密度函数收敛到真理的“近参数”的速度。
2009-10-08 q-fin.CP q-fin.PR stat.AP
A semiparametric mixture method for local false discovery rate estimation
我们提出了一个半参数混合模型来估计局部错误发现率在多重检验问题。该方法的两个支柱是Efron的经验零原理和对数凹密度估计的替代分布。与现有的方法相比,我们的方法可以很容易地扩展到高维。仿真结果表明,我们的方法优于其他现有的方法,我们说明了它的使用通过天文学和微阵列的案例研究。
2016-04-14 stat.ME
Refined Convergence Rates for Maximum Likelihood Estimation under Finite Mixture Models
本文重新讨论了有限混合模型中最大似然估计的经典收敛速度问题。Wasserstein距离已成为一个标准的损失函数,用于分析这些模型中的参数估计,部分原因是它能够规避标签切换,并准确地表征拟合的混合物成分与消失的权重的行为。然而,Wasserstein距离仅能够捕获剩余拟合混合分量中的最差情况的收敛速度。我们证明,当对数-似然函数被惩罚,以阻止消失的混合权重,更强的损失函数可以推导出解决这个缺点的Wasserstein距离。这些新的损失函数准确地捕获的异质性拟合混合成分的收敛速度,我们用它们来锐化现有的逐点和一致收敛性速度在各类混合模型。特别是,这些结果意味着,惩罚MLE的组件的子集通常收敛速度显着比可以从过去的工作预期。我们进一步表明,这些结论中的一些扩展到传统的极大似然估计。我们的理论研究结果支持的模拟研究,以说明这些改进的收敛速度。
2022-06-20 math.ST stat.ML stat.TH
Quantum non demolition measurements: parameter estimation for mixtures of multinomials
在量子非破坏测量中,观测序列分布为多项随机变量的混合。动态参数自然地编码到这个分布族中。我们证明了潜在的统计模型的局部渐近混合正态性和极大似然估计的相合性。此外,我们证明了这个估计的渐近最优性,因为它饱和通常的CramérRao界。
2017-07-19 math-ph math.MP math.ST
Copula Density Estimation by Finite Mixture of Parametric Copula Densities
本文提出了一种基于异质参数Copula密度有限混合的Copula密度估计方法。更具体地说,混合成分是Clayton,Frank,Gumbel,T和正常copula密度,它们能够分别捕获下尾,强中心,上尾,重尾和对称椭圆依赖。模型参数的估计采用约束极大似然问题的邻域点算法。将该算法与常用的期望最大化算法进行了比较。仿真和实际数据的应用表明,该方法是有效的建模复杂的数据依赖超过两个或三个维度。
2019-06-22 stat.AP stat.CO stat.ME
On clustering procedures and nonparametric mixture estimation
本文讨论了在有额外协变量的情况下混合模型条件密度的非参数估计。所提出的方法包括执行一个初步的聚类算法上的额外的协变量来猜测每个观察的混合成分。混合模型的条件密度,然后估计使用核密度估计ap-plied分别到每个集群。我们调查的预期L1-误差估计,并获得最佳的收敛速度在经典的非参数密度类提供的聚类方法是准确的。聚类算法的性能是通过最大误分类误差来衡量的。我们得到了这个数量的上界为一个单一的链接层次聚类算法。最后,给出了该方法在含电性分布数据和模拟数据的混合模型中的应用。
2015-02-06 math.ST stat.TH
Regularized Estimation and Feature Selection in Mixtures of Gaussian-Gated Experts Models
University of Queensland(昆士兰大学);University of Caen(卡昂大学);La Trobe University(拉筹伯大学)
混合专家模型及其基于期望最大化算法的极大似然估计(MLE)已在统计学和机器学习文献中得到深入研究。他们是越来越多的调查的背景下,高维预测与正则化极大似然估计建模。我们研究了高斯门控网络的MoE,用于聚类和回归,并提出了一个$\ell_1$正则化的MLE,以鼓励稀疏模型和处理高维设置。我们开发了一个EM-Lasso算法来执行参数估计,并利用BIC类标准来选择模型参数,包括稀疏调整超参数。仿真数据上的实验表明,与标准的期望最大化算法相比,所提出的正则化极大似然估计具有良好的性能。
2019-09-12 cs.LG stat.CO stat.ME
Adaptive nonparametric estimation of a component density in a two-class mixture model
考虑一类两类混合模型,其中一个组分的密度已知。我们解决的问题的非参数自适应估计的未知概率密度的第二个组成部分。我们提出了一个随机加权核估计与完全数据驱动的带宽选择方法,在精神的Goldenshluger和Lepski方法。给出了点态二次风险的一个预言型不等式以及Holder光滑类上的收敛速度.通过数值模拟说明了理论结果。
2021-02-05 math.ST stat.TH
Maximum Likelihood Estimation for Finite Mixtures of Canonical Fundamental Skew t-Distributions: the Unification of the Unrestricted and Restricted Skew t-Mixture Models
在本文中,我们提出了一个算法的拟合的位置-尺度变量的典型的基本偏t(CFUST)分布,一个超类的限制和无限制的偏t分布。近年来,人们提出了几种不同版本的多元偏态$t$(MST)模型,以及各种EM型参数估计算法。这些配方采用了限制或不受限制的表征其MST密度。在本文中,我们研究了这些发展的自然推广,采用CFUST分布作为参数族的组件分布,并指出,限制和无限制的特征可以统一在这个一般的配方。我们表明,期望最大化算法的精确实现可以实现CFUST分布和混合的分布,并提出了一些新的分析结果的条件期望参与的E-步骤。
2014-01-31 stat.ME
Density estimation via mixture discrepancy and moments
School of Mathematical Sciences, Peking University, Beijing 100871, China(北京大学数学科学学院);School of Mathematical Sciences, Beijing Normal University, Beijing 100875, China(北京师范大学数学科学学院)
本文提出基于混合差异和矩的密度估计方法,通过替代星形偏差来提升计算效率和不变性,验证了在不同维度下的性能表现。
2025-12-20 cs.LG physics.comp-ph stat.ME
Regularized Maximum Likelihood Estimation and Feature Selection in Mixtures-of-Experts Models
Normandie Univ(诺曼底大学);UNICAEN(卡昂大学);UMR CNRS LMNO(法国国家科学研究中心LMNO联合研究单位)
混合专家模型(Mixture of Experts,MoE)是在回归、聚类和分类等统计学习问题中为异构数据建模的成功模型。通常通过期望最大化算法用极大似然估计拟合,因此它们在高维问题中的应用仍然具有挑战性。我们考虑在MoE模型的拟合和特征选择的问题,并提出了一个正则化的极大似然估计的方法,鼓励稀疏解决方案的异质回归数据模型与潜在的高维预测。与最先进的正则化MLE MoE,所提出的建模不需要近似的惩罚函数。本文提出了两种混合期望最大化算法:期望-优化-最大化(EM/MM)算法和带有坐标上升算法的期望最大化算法。所提出的算法允许自动获得稀疏的解决方案,而无需阈值,并避免矩阵求逆,允许单变量参数更新。实验研究表明,该算法在恢复实际稀疏解、参数估计和异质回归数据聚类等方面具有良好的性能。
2018-10-29 cs.LG stat.CO stat.ME
A Flexible Procedure for Mixture Proportion Estimation in Positive-Unlabeled Learning
正-未标记(PU)学习考虑两个样本,一个只有一个类的观测值的正集合P和一个有两个类的观测值的未标记集合U。目标是对美国的观测数据进行分类。U中的类混合比例估计(MPE)是PU学习的关键步骤。Blanchard等人。[2010]表明,PU学习中的MPE是多重检验问题中估计真零假设比例问题的推广。出于这个想法,我们建议减少问题的一维通过构建一个概率分类训练的P和U数据集,然后应用一维混合比例方法从多重检验文献的观察类概率。该框架的灵活性在于可以自由选择分类器和一维MPE方法。我们证明了两个混合比例估计的一致性,使用从经验过程理论的界限,开发调整参数的自由实现,并证明了他们有竞争力的性能模拟波形数据和蛋白质信号问题。
2020-01-10 math.ST stat.ME stat.ML
Statistical generalized derivative applied to the profile likelihood estimation in a mixture of semiparametric models
在纵向和生存数据的联合模型中,很难找到轮廓似然估计量的方差估计。我们通过引入“统计广义导数”来解决这个困难。导数用于显示估计量的渐近正态性,而不假设模型中密度函数的二阶导数存在。
2018-07-20 math.ST stat.TH
Income inequality estimation with gamma mixtures
University of Brasília(巴西利亚大学);Federal University of Pelotas(佩洛塔斯联邦大学)
研究伽马分布有限混合下第m个基尼指数估计,推导其闭式表达式及估计器渐近性质,通过蒙特卡罗研究考察不同速率混合下性能,与其他估计器比较,并通过收入数据集分析说明方法。
2026-07-08 stat.ME
Density estimation for compositional data using nonparametric mixtures
University of Auckland(奥克兰大学);Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
针对成分数据在单纯形边界附近变换偏差大的问题,提出非参数狄利克雷混合密度估计框架,避免变换并处理边界值,模拟和真实数据表明其优于现有方法。
2025-10-08 stat.ME
A transformation-based approach to Gaussian mixture density estimation for bounded data
有限混合高斯分布提供了一个灵活的半参数方法的密度估计时,被调查的变量没有边界。然而,在实际应用中,变量可能是部分有界的(例如取非负值)或完全有界的(例如取单位区间内的值)。在这种情况下,标准高斯有限混合模型将非零密度分配给任何可能的值,甚至分配给定义变量的范围之外的值,因此导致严重的偏差。在本文中,我们提出了一种基于变换的方法高斯混合建模的情况下,有界变量。基本思想是不对原始数据而是对适当变换的数据进行密度估计。然后,原始数据的密度可以通过改变变量来获得。变换参数和高斯混合的参数联合估计的期望最大化(EM)算法。部分和完全有界数据的方法,说明使用模拟数据和真实数据的应用程序。
2018-12-13 stat.ME
Multivariate Density Estimation with Deep Neural Mixture Models
Università di Siena(锡耶纳大学)
尽管在最近关于机器学习的文献中(特别是关于深度学习),多变量密度估计是许多应用中的一项基本任务,至少是隐含的,仍然是一个悬而未决的问题。除了少数例外,深度神经网络(DNN)很少应用于密度估计,主要是由于估计任务的无监督性质,并且(特别是)由于需要约束训练算法,最终实现满足Kolmogorov公理的适当概率模型。此外,尽管混合模型在建模能力方面比普通的单密度统计估计有了众所周知的改进,但到目前为止还没有研究基于DNN的多元分量密度的适当混合。本文填补了这一空白,将我们以前在神经混合密度(NNN)上的工作扩展到多变量DNN混合。提出了一种估计深度神经元的最大似然(ML)算法,该算法在数值上满足旨在确保满足Kolmogorov公理的硬约束和软约束的组合。类的概率密度函数,可以建模到任何程度的精度,通过DNERGY正式定义。自动选择DNMM架构的过程,以及其ML训练算法的超参数,提出(利用DNMM的概率性质)。单变量和多变量数据的实验结果报告,证实了该方法的有效性和最流行的统计估计技术的优越性。
2020-12-06 cs.CV cs.LG cs.NE
Maximum likelihood estimation in constrained parameter spaces for mixtures of factor analyzers
混合因子分析器在基于模型的高维数据聚类领域越来越流行。根据数据建模中的似然方法,众所周知,无约束的对数似然函数可能会出现虚假的极大值和奇异性,这是由于估计的协方差结构的特定模式,当它们的行列式接近0时。为了减少这样的缺点,在本文中,我们介绍了一个程序的参数估计的混合物的因素分析,最大限度地提高似然函数在一个受约束的参数空间。然后,我们分析和测量其性能,相比通常的无约束的方法,通过一些模拟和应用程序的真实数据集。
2013-01-08 stat.ME
Consistent Density Estimation Under Discrete Mixture Models
这项工作考虑了一个问题,估计的混合概率密度$f$的设置离散混合模型。本文共分三个部分。第一部分着重于构造$f$的一个$L_1$相容估计。特别地,在观测值的概率测度$μ$是原子的,从$f$到$μ$的映射是双射的假设下,证明了存在一个估计量$f_n$,使得对于每个密度$f$ $\lim_{n\to \infty} \mathbb{E} \left[ \int |f_n -f | \right]=0$ .第二部分讨论了具体的实施细节。具体地说,它示出的一致性,每个$f$可以达到一个计算上可行的估计。第三部分,作为一个研究案例,考虑了泊松混合模型。特别是,它示出,在泊松噪声设置,双射条件成立,因此,可以一致地为每个$f$进行估计。
2021-05-10 cs.IT math.IT math.ST
Maximum Likelihood Estimation of a Semiparametric Two-component Mixture Model using Log-concave Approximation
受生物科学中发现差异表达基因研究的启发,本文研究了一个已知成分的半参数两成分混合模型。假设未知组分的密度是对数凹的,它包含一个非常广泛的密度族,我们提出了一个半参数极大似然估计,并提出了一个计算它的期望最大化算法,我们的新估计方法同时找到混合比例和未知组分的分布。我们建立了半参数混合模型的可辨识性,并证明了估计的存在性和相合性。我们进一步比较我们的估计与现有的几个估计,通过模拟研究,并将我们的方法应用到两个真实的数据集,从生物科学和天文学。
2019-03-27 stat.AP stat.CO stat.ME
Estimation of a Two-component Mixture Model with Applications to Multiple Testing
我们考虑一个已知组分的两组分混合模型。我们开发了非参数估计混合比例和未知分布的方法,给定i.i.d.~混合模型的数据,使用形状约束函数估计的思想。我们建立了估计量的一致性。我们发现的混合比例的估计的收敛速度和渐近极限。为混合比例制定了完全自动的无分布诚实有限样本置信下限。讨论了与多重检验问题的联系。模型的可辨识性,以及未知分布的密度估计也得到了解决。我们比较建议的估计,这是很容易实现的,与一些现有的程序,通过模拟研究和分析两个数据集,一个产生的应用在天文学和其他微阵列实验。
2015-11-09 stat.ME
Nonparametric latency estimation for mixture cure models
针对混合治愈模型的潜伏期估计问题,提出非参数估计量并证明其渐近性质,设计bootstrap带宽选择方法,经模拟验证后应用于结直肠癌患者数据集。
2024-01-30 stat.ME
Convergence rate for predictive recursion estimation of finite mixtures
预测递归(PR)是混合模型中非参数估计的一种快速随机算法。众所周知,PR估计的混合和混合密度是一致的,在相当温和的条件下,但目前很少知道的收敛速率。在这里,我首先研究的渐近收敛性质的PR估计下的模型误设定的特殊情况下,有限混合已知的支持。从随机逼近理论的工具被用来证明PR估计收敛,最好的Kullback-Leibler近似,在近根$n$率。当支持度未知时,PR可用于构造目标函数,当优化时,该目标函数产生支持度的估计。我适用于已知的支持结果,推导出一个收敛速率为这个修改后的PR估计在未知的支持情况下,这比已知的最佳速率有利。
2011-10-14 math.ST stat.ME stat.TH
Volatility of volatility estimation: central limit theorems for the Fourier transform estimator and empirical study of the daily time series stylized facts
本文研究了基于傅立叶方法的波动率综合波动率的两个可行估计的渐近正态性,该方法不需要预先估计现货波动率。我们证明了偏差校正估计达到最优速率$n^{1/4}$,而没有偏差校正的估计具有较慢的收敛速度和较小的渐近方差。此外,我们提供的模拟结果,支持理论渐近分布的速率有效的估计,并显示后者的准确性相比,基于预先估计的现货波动率的速率最优估计。最后,使用率最优傅立叶估计,我们重建的时间序列的日波动率的S\P 500和EUROSTOXX50指数在长样本的波动率,并提供新的见解存在的程式化的事实波动率动态。
2022-09-05 econ.EM math.ST q-fin.ST
Minimax bounds for estimation of normal mixtures
本文讨论实直线上密度函数估计的极小极大收敛速度。密度被假定为法线的位置混合物,这是一个全局正则性要求,为标准极小极大下界方法的应用创造了微妙的困难。使用新的傅立叶和Hermite多项式技术,我们确定的最小最大最优速率-略大于参数率-平方误差损失下。对于Hellinger损失,我们提供了一个极大极小下界使用的平方误差损失的情况下修改的想法。
2014-10-21 math.ST stat.TH
A presmoothing approach for estimation in semiparametric mixture cure models
处理生存分析数据时的一个挑战是解释治愈分数,这意味着一些受试者将永远不会经历感兴趣的事件。混合治愈模型经常用于估计易感受试者的治愈概率和至事件发生时间,通常假设发生率为参数(logistic)形式。我们提出了一个新的估计过程的参数治愈率依赖于一个初步的平滑估计,是独立的模型假设的延迟。我们调查的估计量的理论性质,并通过模拟表明,在logistic/Cox模型,premoothing导致更准确的结果相比,极大似然估计。为了说明实际使用,我们应用新的估计程序的两项研究黑色素瘤生存数据。
2021-06-14 stat.ME
A Fourier transform method for nonparametric estimation of multivariate volatility
基于傅里叶分析,提出了一种计算连续半鞅瞬时波动率的非参数方法。通过建立价格过程的傅里叶变换与协波动过程的傅里叶变换之间的联系,将协波动重构为时间的随机函数。给出了资产价格过程的离散非均匀间隔和异步采样观测值的非参数估计。随机估计的渐近性质进行了研究:即,一致的时间和收敛规律的混合高斯分布的概率的一致性。
2009-08-13 math.ST stat.TH
Quantile Fourier Transform, Quantile Series, and Nonparametric Estimation of Quantile Spectra
IBM T. J. Watson Research Center(IBM T.J. 沃森研究中心)
本文提出非参数方法估计分位数谱及交叉谱,基于分位数离散傅里叶变换和分位数序列,利用滞后窗方法构建自协方差函数估计谱,通过平滑技术减少统计波动,通过模拟研究评估方法性能。
2025-11-25 stat.CO stat.ME
Optimal rates for finite mixture estimation
本文研究了有限混合分布的估计率,即混合分布的参数。证明了在一定的正则性和强可辨识性条件下,在给定的$m_0$分量的混合分布周围,$m_0$分量的混合分布的最优局部极小极大估计率为$n^{-1/(4(m-m_0) + 2)}$ .这纠正了陈(1995)在《统计年鉴》中的一篇论文。相比之下,事实证明,有一个(非均匀)逐点估计率$n^{-1/2}$的所有混合分布与有限数量的组件的估计。
2015-07-15 math.ST stat.TH
Fourier methods for smooth distribution function estimation
在本文中,我们展示了如何使用傅里叶变换方法来分析核广义函数函数估计的渐近行为。根据分布的特征函数和核的傅里叶变换,给出了平均积分平方误差的精确表达式,从而得到了最优带宽序列的极限值。在我们的结果中的假设是温和的,足以使它们适用时,在估计中使用的内核是一个超级内核,甚至sinc内核,这允许提取一些有趣的后果,作为一类分布的存在,内核估计实现了一阶改进的效率超过经验分布函数。
2013-10-16 math.ST stat.TH
Maximum Likelihood Estimation of Gaussian Cluster Weighted Models and Relationships with Mixtures of Regression
加权模型(CWM)是一种混合方法,用于对响应变量和一组解释变量的联合概率进行建模。根据极大似然方法,通过期望最大化算法估计参数。在高斯假设下,分析了类加权模型的完全数据似然函数。进一步,在适当的假设下,我们证明了高斯聚类加权模型的似然函数的最大化导致了有限混合回归和有限混合伴随变量回归的相同的参数估计.在这个意义上,后者可以被认为是高斯聚类加权模型的嵌套模型。
2013-08-08 stat.CO
Unsupervised Mixture Estimation via Approximate Maximum Likelihood based on the Cramér - von Mises distance
针对重尾混合分布因归一化常数难以处理导致极大似然估计困难的问题,提出采用 Cramér - von Mises 距离的近似极大似然混合估计法,结合标准极大似然确定先验边界的混合程序,显著提升了估计效果。
2023-04-10 stat.CO stat.ME
Efficient semiparametric estimation and model selection for multidimensional mixtures
本文考虑非参数多维有限混合模型,主要研究总体权重的半参数估计。给,身份证。假设观测至少有三个分量,它们在给定总体的情况下是独立的。我们通过将条件分布投影到与某个分区相关联的阶梯函数上来近似半参数模型。我们的第一个主要结果是,如果我们细化分区足够慢,相关序列的最大似然估计的权重是渐近有效的,和后验分布的权重,当使用贝叶斯过程,满足半参数伯恩斯坦冯米塞斯定理。然后,我们提出了一个交叉验证一样的程序来选择分区在有限的地平线。我们的第二个主要结果是,所提出的程序满足一个预言不等式。模拟数据的数值实验验证了我们的理论结果。
2017-12-13 math.ST stat.TH
Mixture Modeling with Normalizing Flows for Spherical Density Estimation
规范化流是用于模拟复杂概率密度函数的对象,近年来引起了人们的极大兴趣。已经发展了许多正常化流动的灵活家庭。然而,迄今为止的重点主要集中在欧几里得域上的规范化流上;虽然已经为球形和其他非欧几里得域开发了规范化流,但这些规范化流通常不如欧几里得域灵活。为了解决这个问题,在这项工作中,我们引入了一个混合的归一化流模型来构建复杂的概率密度函数的球。该模型提供了一个灵活的替代现有的参数,半参数,非参数,有限混合模型。使用期望最大化算法及其变体来执行模型估计。该模型被应用到模拟数据,在传统的(单组分)归一化流程的好处进行了验证。然后,将该模型应用于地球表面发生的两个真实事件数据集;第一个与地震有关,第二个与恐怖活动有关。在这两种情况下,我们看到,混合的归一化流模型产生了一个很好的表示事件发生的密度。
2023-01-16 stat.ME
Minimax estimation for mixtures of Wishart distributions
正定对称矩阵空间作为理解多元数据相关性的一种手段以及伴随的统计推断问题已被广泛研究。许多书籍和论文已经写在这个问题上,最近有相当大的兴趣,在高维随机矩阵,特别强调某些特征值的分布。随着现代数据采集能力的可用性,需要平滑或非参数技术,超越那些只适用于欧几里得空间中产生的数据。在此基础上,给出了正定对称矩阵空间上Minimax Wishart混合密度估计的Fourier方法.
2012-03-15 math.ST stat.TH
Maximum Smoothed Likelihood Component Density Estimation in Mixture Models with Known Mixing Proportions
在本文中,我们提出了一个最大平滑似然方法估计的混合模型的成分密度函数,其中的混合比例是已知的,并可能不同的观察。所提出的估计最大化一个平滑的对数似然函数,并继承了所有的重要性质的概率密度函数。一个优化最小化算法,建议计算所提出的估计数值。在理论上,我们表明,从任何初始值开始,该算法增加了平滑的似然函数,并进一步导致估计,最大化平滑的似然函数。这表明了算法的收敛性。此外,我们从理论上建立了我们提出的估计的渐近收敛速度。一个自适应的过程中,建议选择的带宽在我们的估计过程。仿真研究表明,所提出的方法是更有效的比现有的方法的综合平方误差。最后给出了一个实例进行了分析。
2014-07-11 math.ST stat.ME stat.TH
Harmonizable mixture kernels with variational Fourier features
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所 HIIT);Aalto University(阿尔托大学)
高斯过程的表达能力很大程度上取决于核的选择。在这项工作中,我们提出了新的协调混合内核(HMK),一个家庭的表现力,可解释的,非平稳的内核来自混合模型的广义谱表示。作为非平稳核的理论上合理的处理,HMK支持协调协方差,包括所有平稳和许多非平稳协方差的广泛的核子集。我们还提出了变分傅立叶特征,一个域间稀疏GP推理框架,提供了一组代表性的“诱导频率”。我们表明,调和混合内核插值局部模式之间,变分傅立叶特征提供了一个强大的内核学习框架的新的内核家庭。
2019-03-11 cs.LG stat.ML
A Fourier Approach to Mixture Learning
Stanford University(斯坦福大学);Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind)
我们重新审视学习混合球高斯的问题。给定来自混合物$\frac{1}{k}\sum_{j=1}^{k}\mathcal{N}(μ_j, I_d)$的样本,目标是估计平均值$μ_1, μ_2, \ldots, μ_k \in \mathbb{R}^d$,误差较小。这个学习问题的难度可以通过定义为所有平均值对之间的最小距离的分离$Δ$来衡量。Regev和Vijayaraghavan(2017)表明,通过$Δ= Ω(\sqrt{\log k})$分离,可以使用$\mathrm{poly}(k, d)$样本学习均值,而如果是$Δ= o(\sqrt{\log k})$和$d = Ω(\log k)$,则需要超多项式多个样本。这就打开了低维区域,其中$d = o(\log k)$。在这项工作中,我们给出了一个算法,有效地学习的手段下分离$d/\sqrt{\log k}$(模双对数因子)在$d = O(\log k/\log\log k)$维度。这种分离是严格小于$\sqrt{\log k}$,也被证明是必要的。与Regev和Vijayaraghavan(2017)的结果一起,我们的工作几乎确定了临界分离阈值,在该阈值下,球形高斯混合物的有效参数学习成为可能。更一般地,我们的算法在时间$\mathrm{poly}(k)\cdot f(d, Δ, ε)$中运行,并且因此在参数$d$、$Δ$和$ε$中…
2022-10-06 cs.DS cs.LG stat.ML
The Minecraft Kernel: Modelling correlated Gaussian Processes in the Fourier domain
Secondmind
在单变量情况下,使用核谱表示是生成平稳协方差函数的一种有吸引力的方法。然而,对多输出高斯过程执行相同的任务更具挑战性。我们表明,目前的方法来建模的光谱混合内核的互协方差具有一个关键的盲点。对于给定的一对过程,除了它们的谱密度具有相同形状的特殊情况外,互协方差在允许的相关性的整个范围内是不可再现的。我们提出了一个解决这个问题的方法,用有限带宽的块分量(即矩形阶跃函数)取代传统的高斯分量的光谱混合。建议的家庭内核代表了第一个多输出概括的光谱混合内核,可以近似任何固定的多输出内核到任意精度。
2021-03-11 cs.LG stat.ML
Learning Mixture Models via Efficient High-dimensional Sparse Fourier Transforms
Yale University(耶鲁大学);Princeton University(普林斯顿大学)
本文提出了一种在高维空间中以多项式时间复杂度学习混合模型参数的方法,适用于具有重尾分布的混合模型,包括那些协方差有限的分布,且无需集群均值的最小分离。
2026-05-21 cs.DS cs.LG stat.ML
Consistent Estimation of Identifiable Nonparametric Mixture Models from Grouped Observations
University of Michigan(密歇根大学);Technische Universität Berlin(柏林工业大学)
最近的研究已经建立了有限混合模型从分组观测中可识别的充分条件。这些条件允许混合成分是非参数的,并且具有大量(甚至全部)重叠。这项工作提出了一种算法,一致地估计任何可识别的混合模型从分组的意见。我们的分析利用了一个预言不等式的加权核密度估计组上的分布,以及一个一般的结果表明,一致的估计组上的分布意味着一致的估计混合成分。一个实际的实施提供了成对的观察,该方法表现出优于现有的方法,特别是当混合成分重叠显着。
2020-06-12 cs.LG math.ST stat.ML
A spectral mixture representation of isotropic kernels with application to random Fourier features
Beijing Normal-Hong Kong Baptist University(北京师范大学-香港浸会大学联合国际学院);EDF Lab Paris-Saclay(法国电力集团巴黎-萨克雷实验室)
本文提出各向同性核的谱混合表示方法,为多种核函数提供简单的谱采样公式,适用于支持向量机等机器学习技术。
2026-02-22 cs.LG math.PR stat.CO
MixEst: An Estimation Toolbox for Mixture Models
University of Tehran(德黑兰大学)
混合模型是一种功能强大的统计模型,在从密度估计到聚类和分类的许多应用中使用。在处理混合模型时,有许多问题是实验者应该意识到并需要解决的。MixEst工具箱是一个功能强大且用户友好的MATLAB软件包,它实现了几种最先进的方法来解决这些问题。此外,MixEst提供了使用流形优化来拟合密度模型的可能性,这是该工具箱特有的功能。MixEst简化了混合模型在统计模型和应用程序中的使用和集成。为了开发新密度的混合模型,用户只需要为该统计分布提供一些函数,工具箱就可以处理与混合模型有关的所有问题。MixEst可在visionlab.ut.ac.ir/mixest上获得,并且有完整的文档,并根据GPL许可。
2015-07-22 cs.LG stat.ML
Mixture Proportion Estimation Beyond Irreducibility
University of Michigan(密歇根大学);Penn State University(宾夕法尼亚州立大学);Air Force Institute of Technology(空军理工学院);Cedarville University(锡达维尔大学)
针对混合比例估计中不可约性假设的限制,本文提出更一般的充分条件,并设计基于重采样的元算法,使现有MPE方法能适用于更广泛场景且提升估计性能。
2023-06-02 cs.LG stat.ML