Convergence Rate of K-Step Maximum Likelihood Estimate in Semiparametric Models
本文提出了一种基于轮廓似然的半参数模型中参数分量的K步最大似然估计的迭代计算方法。K步极大似然估计的高阶收敛速度主要取决于其初始估计的精度和半参数模型中多余函数参数的收敛速度。此外,我们可以证明,K-步极大似然估计是渐近有效的规则极大似然估计后,有限数量的迭代步骤。我们的理论验证了几个特定的半参数模型。仿真研究也支持这些理论结果。
2007-08-22 math.ST stat.TH
Quasi-independence models with rational maximum likelihood estimator
我们对具有有理极大似然估计的双向独立拟独立模型(或具有结构零点的独立模型)进行了分类。我们给出了与该模型相关联的二部图上的极大似然估计是有理的一个充要条件。在这种情况下,我们给出了一个明确的公式的MLE在此图的组合特征。我们还利用Horn均匀化证明了对于一般的对数线性模型$\mathcal{M}$,只要把它限制在$\mathcal{M}$的充分统计量的锥面上,它就具有有理极大似然估计.
2020-10-27 math.CO math.ST stat.TH
Assessing the multivariate normal approximation of the maximum likelihood estimator from high-dimensional, heterogeneous data
正则性条件下极大似然估计的渐近正态性是统计理论的基石。本文给出了向量参数极大似然估计的分布与多元正态分布之间的分布距离的上界。我们的工作可能是高维的,独立的,但不一定是同分布的随机向量。此外,我们得到明确的上界,即使在MLE不能解析表示的情况下。
2018-07-20 math.ST stat.TH
On Multi-step Estimation of Delay for SDE
我们考虑的问题的延迟估计的几个SDES的解决方案的意见。已知这些模型的极大似然估计是一致的且渐近正态的,但其似然比函数相对于r.t.参数,因此MLE的数值计算具有一定的困难。我们提出了一步和两步极大似然估计,它们的计算没有这样的问题,并提供了估计渐近等价于极大似然估计。这些构造分两步或三步实现。首先,我们构造初步估计是一致的,渐近正态的,但不是渐近有效的。然后,我们使用这些估计和修改的Fisher评分装置,获得一步和两步MLE。我们假设它的数值实现要简单得多。介绍了随机比例方程,讨论了相关的统计问题。
2020-10-15 math.ST stat.TH
Strong consistency of MLE for finite uniform mixtures when the scale parameters are exponentially small
本文考虑均匀分布的有限混合分布的极大似然估计。证明了当分量均匀分布的尺度参数由下而上受exp(-n^d),0 < d < 1限制时,极大似然估计是强相合的,其中n是样本量.
2004-09-13 math.ST stat.TH
Computationally efficient likelihood inference in exponential families when the maximum likelihood estimator does not exist
在正则全指数族中,不需要传统意义上的极大似然估计。然而,极大似然估计可能存在于指数族的完备化中。现有的算法,寻找最大似然估计在完成解决许多线性规划,他们是缓慢的小问题和太慢的大问题。我们提供了新的,快速的,可扩展的方法来寻找MLE在指数族的完成。这种方法是基于传统的最大似然计算接近,在某种意义上说,找到MLE在完成的指数家庭。这些传统的计算构造了一个正则参数值的似然极大化序列,该序列在似然函数上上升,直到它们满足收敛准则。在这种情况下,极大似然估计的不存在性是由于指数族的正则统计量的退化,正则统计量在其支持的边界上。在这个边界和Fisher信息矩阵的零特征向量之间存在对应关系。Fisher信息沿似然极大化序列的收敛是由累积量生成函数(CGF)沿似然极大化序列的收敛而来的,给出了CGF收敛的条件。当完井中存在极大似然估计时,这允许为均值参数构建必要的单侧置信区间。我们在正文中的三个例子和附录中的三个附加例子上展示了我们的方法。我们表明,当极大似然估计存在于指数族的完成中时,我们的方法提供了比现有技术快得多的统计推断。
2020-11-25 math.ST stat.TH
Fixed-domain asymptotic properties of tapered maximum likelihood estimators
当空间样本量非常大时,这发生在许多环境和生态研究中,对大型协方差阵的运算是一个数值挑战。协方差渐减是一种减轻数值挑战的技术。假设数据是沿一条直线在一个有界区域内收集的,我们研究如何锥形影响的最大似然估计(MLE)的渐近效率的微遍历参数的Matérn协方差函数,通过建立固定域的渐近分布的确切的MLE和锥形的MLE。我们的结果意味着,在一定条件下的锥度,锥形MLE是渐近有效的真正的MLE的微遍历参数的Matérn模型。
2009-09-02 math.ST stat.TH
MLE's bias pathology motivates MCMLE
最大似然估计经常是有偏的。结果表明,这种病理是固有的传统ML估计方法的两个或更多的参数,从而从不同的角度激励使用MCMLE。
2013-12-30 math.ST stat.TH
Maximum likelihood estimation for matrix normal models via quiver representations
本文研究了实模型和复模型下矩阵正态模型的对数似然函数和最大似然估计。我们描述的确切样本个数需要实现(几乎肯定)三个条件,即一个有界的日志似然函数,存在的MLEs,MLEs的唯一性。因此,我们观察到对数似然函数的几乎必然有界性保证了极大似然估计的几乎必然存在,从而证明了Drton,Kuriki和Hoff的一个猜想.我们使用的主要工具是从理论的representations,特别是,结果卡茨,国王和斯科菲尔德的典型分解和稳定性。
2020-07-20 math.AG math.RT math.ST
Global Rates of Convergence of the MLE for Multivariate Interval Censoring
在一类“区间删失”数据情形下,我们建立了多元分布函数的最大似然估计(MLE)的全局收敛速度。主要的发现是,在Hellinger度量的MLE收敛速率并不比$n^{-1/3} (\log n)^γ$为$γ= (5d - 4)/6$。
2012-12-27 math.ST stat.TH
Uniform convergence rate of nonparametric maximum likelihood estimator for the current status data with competing risks
研究了竞争风险模型下当前状态数据下子分布函数的非参数极大似然估计的一致收敛性。已知极大似然估计在绝对连续情形下具有$L^2$-范数收敛速度$O_P(n^{-1/3})$,但对于同样的速度的一致收敛性却没有讨论。我们指定的条件的一致收敛性率$O_P(n^{-1/3}\log^{1/3} n)$的MLE的子分布函数的竞争风险的有限区间。所得结果改进了已知的在当前状态数据的特殊情况下的一致收敛性。主要结果被应用于当前状态右删失数据模型中失效时间生存函数极大似然估计的一致收敛性。
2019-09-13 math.ST stat.TH
Maximum likelihood quantum state tomography is inadmissible
极大似然估计(MLE)是量子态层析成像中最常用的方法。在这封信中,我们调查它是否在任何意义上也是最优的。我们表明,最大似然估计是一个不可接受的估计的最常用的指标的准确性,即,某些其它估计器对于每个真实状态更精确。MLE对于保真度、均方误差(平方希尔伯特-施密特距离)和相对熵是不可接受的。我们证明,几乎任何估计,可以报告纯状态和混合状态是不可接受的。这包括极大似然估计、压缩感知(核范数正则化)估计和约束最小二乘。我们提供了简单的例子来说明为什么报告纯状态是次优的,即使当真正的状态本身是纯的,为什么“对冲”远离纯状态一般提高性能。
2018-08-03 math.ST quant-ph stat.TH
Differential Equations for Gaussian Statistical Models with Rational Maximum Likelihood Estimator
该研究建立了具有有理MLE的多元高斯统计模型与一阶非线性PDE解的一一对应,重新解读已知模型并发现新模型,还关联双有理几何的homaloidal多项式,为该类模型分类提供新思路。
2025-09-02 math.AG math.ST stat.TH
Asymptotic properties of the MLE for the autoregressive process coefficients under stationary Gaussian noise
本文研究了带正则平稳高斯噪声的$p$阶自回归过程向量参数的极大似然估计。我们展示了大样本渐近性质的极大似然估计在非常温和的条件下。对分数高斯噪声(fGn)、自回归噪声(AR(1))和移动平均噪声(MA(1))进行了仿真。
2013-04-22 math.ST stat.TH
Bounds for the asymptotic normality of the maximum likelihood estimator using the Delta method
最大似然估计(MLE)的渐近正态性是统计理论的基石。在本文中,我们提供了尖锐的明确的Zolotarev型之间的确切的,未知的分布MLE和其限制正态分布的距离上界。我们的方法,这个基本问题是基于一个健全的组合的Delta方法,斯坦的方法,泰勒展开和条件期望,对于经典的情况下,MLE可以表示为一个函数的总和的独立和同分布的条款。这特别包括广泛的指数型分布族。
2016-04-17 math.ST stat.TH
A note on "MLE in logistic regression with a diverging dimension"
这个简短的说明是为了指出读者注意到,证明高维渐近正态性的MLE估计逻辑斯谛回归的制度$p_n=o(n)$中给出的文件:“极大似然估计逻辑斯谛回归模型与发散数量的协变量。电子统计杂志,6,1838-1846。“是错误的。
2018-01-26 math.ST stat.TH
Rates of estimation for determinantal point processes
行列式点过程(DPPs)在机器学习中有着广泛的应用,它们被用来加强子集选择问题中的多样性概念。已经提出了许多估计,但令人惊讶的是,最大似然估计(MLE)的基本性质很少受到关注。在本文中,我们研究了期望对数似然函数的局部几何,证明了极大似然估计的几个收敛速度。我们还给出了一个完整的表征的情况下,极大似然估计收敛于一个参数率。即使在后一种情况下,我们也表现出一个潜在的灾难的维数的渐近方差的极大似然估计是指数大的问题的维度。
2017-07-21 math.ST stat.TH
Multivariate Density Estimation via Adaptive Partitioning (I): Sieve MLE
本文研究了多元密度估计的非参数方法。估计量是由二进制分区支持的分段常数密度函数。样本空间的分区通过最大化该分区上的对应直方图的似然来学习。本文分析了筛分极大似然估计的收敛速度,并得出结论:对于一类相对丰富的密度函数,筛分极大似然估计的收敛速度并不直接依赖于密度函数的维数。这表明,在某些条件下,这种方法不受维数灾难的影响,在这个意义上,即使在高维中也有可能接近参数率。我们还将此方法应用于几种特殊情况,并分别计算了显式的收敛速度。
2015-08-19 math.ST stat.ME stat.TH
Efficiency of maximum likelihood estimation for a multinomial distribution with known probability sums
对于一个多项分布,假设我们有一些类别的概率之和的先验知识。这允许我们在完整的(即,无约束)模型。预计该子模型下的极大似然估计(MLE)比全模型下的MLE具有更好的估计效率。本文给出了全模型和子模型的MLE风险关于Kullback-Leibler散度的渐近展开。结果表明,使用子模型,在某些情况下,风险的降低是相当小的。此外,当样本量较小时,使用亚模型可能会增加风险。
2021-06-04 math.ST stat.TH
Maximum Likelihood Estimation for Brownian Motion Tree Models Based on One Sample
本文研究了布朗运动树模型(BMTM)上的单样本极大似然估计($n=1$)问题。BMTM通常在单样本遗传学中用作空模型,其中单样本制度很常见。具体来说,我们表明,几乎可以肯定,单样本BMTM极大似然估计(MLE)存在,是唯一的,并对应于一个完全观察到的树。此外,我们提供了一个多项式时间算法的精确计算。我们还考虑了单样本情况下所有可能的BMTM树结构上的MLE,并表明它几乎肯定存在,它与对角占优势的M矩阵上的MLE一致,并且它存在唯一的封闭形式解,对应于路径图。最后,我们通过数值实验探讨了单样本BMTM极大似然估计的统计特性。
2022-11-24 math.ST stat.ME stat.TH
Global Rates of Convergence of the MLEs of Log-concave and s-concave Densities
我们建立了全局收敛速度的最大似然估计(MLE)的对数凹和$s$凹密度$\mathbb{R}$。主要的发现是,当$-1 < s < \infty$(其中$s=0$对应于对数凹情形)时,Hellinger度量下的极大似然估计的收敛速率并不比$n^{-2/5}$差.我们还证明了对于具有$s < - 1$的$s$ -凹密度类,极大似然估计不存在.
2015-09-15 math.ST stat.TH
Multivariate normal approximation of the maximum likelihood estimator via the delta method
我们使用delta方法和Stein方法,在正则性条件下,推导出$d$维参数的最大似然估计(MLE)的分布与其渐近多元正态分布之间的分布距离的显式上界。我们的界限适用于MLE可以写成i.i.d.和的函数的情况。$t$ -维随机向量。我们应用我们的一般界建立一个界的多元正态近似的MLE的正态分布未知的均值和方差。
2018-08-09 math.ST stat.TH
HAL-MLE Log-Splines Density Estimation (Part I: Univariate)
University of California, Berkeley(加州大学伯克利分校)
本文提出基于HAL框架的HAL-MLE方法,用于单变量总变差惩罚密度估计,并建立了该方法的理论收敛性结果。
2026-02-18 math.ST stat.CO stat.ME
Strong consistency of MLE for finite mixtures of location-scale distributions when the scale parameters are exponentially small (full version)
在有限位置-尺度混合分布中,当某个混合分量的尺度参数趋于零时,由于似然函数的无界性,极大似然估计不存在。为了研究极大似然估计的强相合性,考虑了分量分布的尺度参数由下而上受$c_n$约束的情形,其中$c_n$是一个正实数序列,随着样本量$n$的增加,正实数序列趋于零.证明了在弱正则条件下,当尺度参数由下而上受$c_{n} = \exp(-n^d)$,$0 < d < 1$限制时,极大似然估计是强相合的.
2006-05-05 math.ST stat.TH
Is it Correct to Use MLE Method for GRP Parameter Estimation ?
维修系统的分析通常使用“如新”或“如旧”维修假设。在实际应用中,维修行为并不会导致这样的极端情况,而是导致一个复杂的过渡过程,即不完全维修,即广义更新过程。极大似然估计方法常用于可靠性参数估计,但将其用于广义更新过程是否正确
2016-09-05 stat.AP
Maximum likelihood estimation for tensor normal models via castling transforms
本文研究了张量正态模型极大似然估计的样本量阈值问题。给定模型参数和样本个数,我们几乎肯定地确定:(1)似然函数是否有界,(2)是否存在最大似然估计(MLE),以及(3)是否存在唯一的MLE。我们得到一个完整的答案,真实的和复杂的模型。我们的结果的一个后果是,几乎必然有界的对数似然函数保证几乎必然存在的MLE。我们的技术是基于不变量理论和易位变换。
2020-11-07 math.AG math.RT math.ST
The phase transition for the existence of the maximum likelihood estimate in high-dimensional logistic regression
本文严格地证明了高斯协变量的高维逻辑斯谛回归模型的最大似然估计(MLE)的存在性经历了一个急剧的“相变”.我们引入一个显式边界曲线$h_{\text{MLE}}$,它由两个标量参数化,测量回归系数的未知序列的整体大小,具有以下性质:在限制大样本量$n$和特征数$p$以这样一种方式成比例,即$p/n \rightarrow κ$,我们表明,如果问题是足够高的维度在这个意义上,$κ> h_{\text{MLE}}$,则MLE不存在的概率为1。相反,如果是$κ< h_{\text{MLE}}$,则MLE以概率1渐进存在。
2018-04-25 stat.ME stat.ML
Nonparametric estimation of the incubation time distribution
我们讨论疾病潜伏期分布的非参数估计。这些模型中的经典方法是在估计过程中使用Weibull、对数正态或Gamma等参数族。我们分析,而不是非参数极大似然估计(MLE),并表明,在某些条件下,它收敛速率是立方根$n$和它的极限行为是由Beschoff的分布。我们还研究光滑估计,基于极大似然估计。与经典的参数化方法相比,基于极大似然估计的密度估计能够捕捉到密度的更精细或意想不到的方面。为非参数方法提供了{ \tt R}脚本。
2023-01-31 math.ST stat.TH
Bounds for the normal approximation of the maximum likelihood estimator from m-dependent random variables
最大似然估计(MLE)的渐近正态性是一个长期建立的结果。对于独立随机变量的情形,最近已经得到了极大似然估计的分布与正态分布之间的分布距离的显式界。本文在随机变量之间引入了一种局部依赖结构,并给出了Wasserstein度量的上界.
2016-09-19 math.ST stat.TH
Revisiting mean estimation over $\ell_p$ balls: Is the MLE optimal?
本文重新审视了带 $\ell_p$ 约束的高斯序列模型均值估计问题,发现 MLE 在特定 $p$ 范围内具有极小化极大速率次优性,并为非凸情况推导了精确的局部高斯宽度界限。
2025-07-01 cs.IT math.IT math.ST
Random pairing MLE for estimation of item parameters in Rasch model
Yale University(耶鲁大学);University of Chicago(芝加哥大学)
针对Rasch模型的项目参数估计问题,提出随机配对极大似然估计及其自助变体,可处理稀疏观测,具备极小最优性与分布刻画能力,通过随机配对降维且保独立性,经仿真与实测验证有效。
2025-10-29 cs.IT cs.LG math.IT
A new inequality for maximum likelihood estimation in statistical models with latent variables
极大似然估计(MLE)可以说是统计学家最重要的工具,并且已经开发了许多方法来寻找MLE。我们提出了一个新的不等式涉及后验分布的潜变量,在非常一般的条件下。它与EM算法有关,并且具有以类似方式使用的明显潜力。
2019-12-06 math.ST stat.ME stat.TH
Inconsistency of the MLE for the joint distribution of interval censored survival times and continuous marks
本文研究了区间删失生存时间和连续型标志变量的联合分布函数的非参数极大似然估计。我们提供了一个新的显式公式的极大似然估计在这个问题。我们使用这个公式和Huang和Louis(1998)的标记特定累积风险函数来获得MLE的几乎必然极限。这一结果导致的充要条件的MLE的一致性,这意味着MLE是不一致的一般。我们表明,可以通过离散化的标记修复的不一致。我们的理论结果支持模拟。
2008-10-28 math.ST stat.TH
Optimal-order bounds on the rate of convergence to normality for maximum likelihood estimators
众所周知,在一般正则性条件下,极大似然估计的分布是渐近正态的。最近,在所谓的有界Wasserstein距离中,获得了MLE分布与正态分布的接近程度的最佳阶数$O(1/\sqrt n)$的界,其中$n$是样本量。然而,Kolmogorov距离的相应界限仅为$O(1/n^{1/4})$量级。本文给出了极大似然估计的分布在Kolmogorov距离上接近正态分布的最优阶数$O(1/\sqrt n)$的界,以及它们的非均匀对应的界,这些界对于极大似然估计的大偏差更有效。这些结果是基于以前获得的一般最优阶界的收敛速率正常的多元三角洲方法。关键的观察是,在自然条件下,MLE可以被足够紧密地包围在两个足够光滑的独立随机向量之和的函数之间,这使得delta方法适用。
2016-12-14 math.ST stat.TH
Asymptotic Properties of the Maximum Likelihood Estimator in Regime Switching Econometric Models
马尔可夫状态转换模型在经济学和金融学中有着广泛的应用。然而,最大似然估计(MLE)的渐近分布还没有被证明为一些经验流行的马尔可夫状态转换模型。特别是,MLE的渐近分布一直是未知的模型,其中的转移概率矩阵的一些元素的值为零,通常假设在经验应用与模型超过两个政权。这也包括模型,其中特定的制度密度取决于当前和滞后的制度,如汉密尔顿(1989年)的开创性模型和切换模型的汉密尔顿和Susmel(1994年)。本文证明了这些模型的极大似然估计的渐近正态性和渐近协方差阵估计的相合性。
2018-06-28 math.ST stat.TH
Consistency of MLE for partially observed diffusions, with application in market microstructure modeling
本文提出部分观测扩散模型 MLE 一致性的有限参数充分条件,并在市场微观结构潜在价格模型中验证,且基于 NASDAQ 数据完成估计。
2024-12-07 math.PR math.ST q-fin.TR
An Efficient Algorithm for High-Dimensional Log-Concave Maximum Likelihood
对数凹最大似然估计(MLE)问题回答:对于一组点$X_1,...X_n \in \mathbb R^d$,哪个对数凹密度最大化它们的似然?我们提出了一个表征的对数凹极大似然估计,导致一个算法的运行时$poly(n,d, \frac 1 ε,r)$计算的对数凹分布的对数似然最多是$ε$小于极大似然估计,$r$是参数的问题,是有界的对数似然向量的$\ell_2$范数的极大似然估计在$X_1,...,X_n$。
2018-11-08 cs.DS stat.CO
Polyhedral conditions for the nonexistence of the MLE for hierarchical log-linear models
我们提供了一个多面体描述的条件存在的最大似然估计(MLE)的分层对数线性模型。MLE存在当且仅当观察到的边缘位于边缘锥的相对内部。利用这种描述,我们给出了一个算法,用于确定是否存在的MLE。如果树的宽度是有界的,则算法在多项式时间内运行。我们还进行了计算研究的情况下,三个随机变量的无三因素效应模型。
2004-05-04 math.CO math.ST stat.TH
The subset argument and consistency of MLE in GLMM: Answer to an open problem and beyond
本文解决了交叉效应广义线性混合模型极大似然估计的相合性问题。开放问题的解决方案引入了一个有趣的,非标准的方法来证明相关观测情况下的MLE的一致性。使用新的技术,我们将结果扩展到一般GLMM下的MLE。最后通过一个例子进一步说明了该方法。
2013-03-12 math.ST stat.TH
Univariate log-concave density estimation with symmetry or modal constraints
我们研究了对数凹密度函数$f_0$的非参数极大似然估计,它是已知的,以满足进一步的限制,其中(a)模式$m$的$f_0$是已知的,或(b)$f_0$是已知的对称关于一个固定点$m$。我们开发的渐近理论约束对数凹极大似然估计(MLE),包括一致性,全局收敛速度,和局部极限分布理论。在这两种情况下,我们发现MLE的逐点极限分布在$m$(已知的模式或已知的对称中心)和一个点$x_0 \ne m$。R软件包\verb + logcondens.mode+中提供了计算约束估计量的软件。在位置估计的上下文中,受约束的MLE特别有用。模式约束极大似然估计对于模式回归是有用的。模式约束的MLE也可以用于形成$f_0$的模式的位置的似然比检验。这些问题在单独的论文中进行了研究。特别是,在一个单独的文件中,我们表明,根据曲率假设,似然比统计的模式的位置可以用于假设检验或置信区间,不依赖于调谐参数或冗余参数。
2019-05-13 math.ST stat.TH
Asymptotic accuracy of the saddlepoint approximation for maximum likelihood estimation
鞍点近似给出了一个近似的随机变量的密度在其矩母函数。当基础随机变量本身是未观察到的i.i.d.的$n$和时。项,基本的经典结果是密度的相对误差是$1/n$阶。相反,如果近似值被解释为似然并作为模型参数的函数被最大化,则结果是对最大似然估计(MLE)的近似值,其计算速度可能比真正的MLE快得多。本文证明了鞍点极大似然估计与真实极大似然估计之间的近似误差的类似基本结果:在一定的显式可辨识性条件下,误差对某些参数具有渐近大小$O(1/n^2)$,对另一些参数具有渐近大小$O(1/n^{3/2})$或$O(1/n)$.在这三种情况下,近似误差与推论的不确定性相比是渐近可忽略的。证明是基于一个因子分解的鞍点可能性到一个确切的和近似的术语,以及分析的近似误差的梯度的对数似然。这种因式分解也提供了洞察替代鞍点近似,包括一个新的和更简单的鞍点近似,我们推导出类似的误差界。作为我们结果的推论,我们还得到了当鞍点近似被正规近似代替时极大似然估计误差近似的渐近大小。
2022-01-24 math.ST stat.TH
Statistics of the MLE and Approximate Upper and Lower Bounds - Part 1: Application to TOA Estimation
在非线性确定性参数估计中,由于门限和模糊现象的存在,极大似然估计(MLE)在中低信噪比下无法达到Cramer-Rao下界。为了评估在这些SNR水平下所实现的均方误差(MSE),我们提出了新的MSE近似(MSEA)和一个近似的上限,通过使用区间估计(MIE)的方法。MLE的平均值和分布也近似。MIE包括将未知参数的先验域划分为区间,并计算每个区间中估计量的统计量。此外,我们推导出一个近似下界(ALB)的基础上的泰勒级数展开的噪声和ALB家庭采用二进制检测原理。最后,以到达时间估计为例,验证了所提出的MSEA算法的准确性和近似界的严密性。
2014-05-19 stat.AP
Quasi-MLE for quadratic ARCH model with long memory
本文讨论了Doukhan et al.(2015)和Grublytzan and Škarnulis(2015)中引入的长记忆二次随机过程的参数拟极大似然估计,条件方差由可观测平稳序列的严格正二次型给出.我们证明了相应的QMLE估计的相合性和渐近正态性,包括长记忆参数$0< d < 1/2$的估计。经验MSE的模拟研究。
2015-09-21 math.ST stat.TH
On Multi-Step MLE-Process for Ergodic Diffusion
本文提出了一种新的构造渐近有效估计量的方法--过程渐近等价于极大似然估计,同时计算更简便。我们假设所观察的过程是遍历扩散的,并且存在一个长度相对于整个观察时间可以忽略的学习时间间隔。学习时间后获得的初步估计,然后在一步和两步MLE过程的建设。我们讨论了所提出的估计程序的应用程序,其他几个观测模型的可能性。
2015-04-08 math.ST stat.TH
Bounds for the normal approximation of the maximum likelihood estimator
在正则性条件下极大似然估计的渐近正态性早已被证明,本文给出了极大似然估计的分布与正态分布之间的有界Wasserstein距离的显式界.对于这个任务,我们采用Stein的方法。我们专注于独立和同分布的随机变量,涵盖离散和连续分布以及指数和非指数家庭。特别地,不需要MLE的闭合形式表达式。我们还使用了扰动法来处理的情况下,极大似然估计有正概率的边界上的参数空间。
2016-09-28 math.PR math.ST stat.TH
Maximum likelihood estimator for skew Brownian motion: the convergence rate
给出了斜布朗运动(SBM)的偏度参数的极大似然估计(MLE)的渐近性质。由于最近的结果的中心极限定理的估计收敛速率的SBM,我们证明了一个猜想左开的MLE有渐近的混合正态分布,涉及当地时间的收敛速率的顺序$1/4$。我们还给出了极大似然估计的一个级数展开,并研究了分数及其导数的渐近行为,以及它们随偏度参数的变化。特别是,我们表现出一个特定的行为时,SBM实际上是一个布朗运动,并量化的爆炸系数的膨胀时,偏度参数接近$-1$或$1$。
2023-02-06 math.PR math.ST stat.TH
On the Existence of the MLE for a Directed Random Graph Network Model with Reciprocation
Holland和Leinhardt(1981)提出了一个有向随机图模型,即p1模型,来描述社会网络中的二元交互。在以前的工作中(Petrovic等人,2010),我们研究了p1模型的代数性质,并证明了它是由多齐次理想指定的复曲面模型。我们进行了广泛的研究马尔可夫基地P1明确纳入多同质性所产生的约束。在这里,我们考虑相应的复曲面品种的属性,并将它们与最大似然和扩展的最大似然估计或模型参数的存在条件。我们的结果直接关系到p1模型的估计和条件拟合优度检验问题。
2010-10-05 math.ST stat.TH
Maximum likelihood estimation of determinantal point processes
行列式点过程(DPPs)在机器学习中有着广泛的应用,它们被用来加强子集选择问题中的多样性概念。人们已经提出了许多估计量,但令人惊讶的是,最大似然估计量(MLE)的基本性质却很少受到关注。困难在于,这是一个非凹最大化问题,并且这些函数在高维中非常难以理解,尽管它们在现代机器学习中很重要。在这里,我们研究了局部和全局几何的预期对数似然函数。我们证明了几个速度的收敛的极大似然估计,并给出了一个完整的表征的情况下,这些参数。我们还表现出一个潜在的灾难的维数的渐近方差的最大似然估计尺度与问题的维度呈指数关系。此外,我们表现出指数数量的鞍点,并给出证据,这些可能是唯一的临界点。
2017-07-21 math.ST stat.TH
Quantifying and Reducing Bias in Maximum Likelihood Estimation of Structured Anomalies
Princeton University(普林斯顿大学);Brown University(布朗大学)
异常估计,或者说找到与数据集的其余部分不同的数据集子集的问题,是机器学习和数据采掘中的经典问题。在理论工作和应用中,假设异常具有由$\textit{anomaly family}$中的成员资格定义的特定结构。例如,在时间数据中,异常族可以是时间间隔,而在网络数据中,异常族可以是连通子图。异常估计的最突出的方法是计算异常的最大似然估计(MLE);然而,最近观察到,对于正态分布的数据,MLE是某些异常族的$\textit{biased}$估计量。在这项工作中,我们证明了在正常的均值设置,最大似然估计的偏差取决于异常家庭的大小。我们证明了,如果在异常家庭中包含的异常集的数量是次指数,那么极大似然估计是渐近无偏的。我们还提供了经验证据证明,反之亦然:如果这样的集合的数量是指数的,那么极大似然估计是渐近有偏的。我们的分析统一了一些早期的结果对特定异常家庭的MLE的偏见。接下来,我们推导出一个新的异常估计使用混合模型,我们证明了我们的异常估计是渐近无偏的,无论异常家庭的大小。我们说明了我们的估计与最大似然估计的疾病爆发和高速公路交通数据的优势。
2021-06-11 cs.IT cs.LG math.IT
A note on MLE of covariance matrix
针对多元正态分布协方差矩阵的极大似然估计(MLE)在Stein损失下的非可容许性问题,本研究通过完全Iwasawa分解强化了不同坐标系下MLE最小风险的差异,并引入新损失函数消除该差异与Stein悖论。
2017-07-23 math.ST stat.TH
Nonparametric estimation of a convex bathtub-shaped hazard function
本文研究了凸风险函数的非参数极大似然估计。我们证明了极大似然估计是一致的,并且在真正的危险函数为正且严格凸的点$x_0$以局部速度$n^{2/5}$收敛。此外,我们建立了点态渐近分布理论,我们的估计在这些相同的假设。这里研究的非参数极大似然估计的一个显着特点是不需要任意选择调谐参数(或复杂的数据自适应选择调谐参数)。
2010-01-14 math.ST stat.TH
On Multi-step MLE-process for Markov Sequences
本文考虑非线性自回归过程观测值的有限维未知参数估计过程的构造问题。估计是在两个或三个步骤。首先通过学习相对较短的部分观测值来估计未知参数,然后利用一步极大似然估计的思想构造一个渐近等价于极大似然估计的估计过程。为了使学习间隔更短,我们引入了两步过程,这也导致了渐近有效的估计过程。给出的结果与两个数值例子的帮助下。
2016-01-29 math.ST stat.TH
Optimal Estimation for General Gaussian Processes
针对一般高斯过程的参数估计问题,提出精确极大似然估计方法,证明其局部渐近正态性以实现最优估计,填补相关研究空白,且仿真显示常用插入式MLE性能接近精确MLE。
2025-09-05 econ.EM math.ST stat.TH
Regularized Estimation and Feature Selection in Mixtures of Gaussian-Gated Experts Models
University of Queensland(昆士兰大学);University of Caen(卡昂大学);La Trobe University(拉筹伯大学)
混合专家模型及其基于期望最大化算法的极大似然估计(MLE)已在统计学和机器学习文献中得到深入研究。他们是越来越多的调查的背景下,高维预测与正则化极大似然估计建模。我们研究了高斯门控网络的MoE,用于聚类和回归,并提出了一个$\ell_1$正则化的MLE,以鼓励稀疏模型和处理高维设置。我们开发了一个EM-Lasso算法来执行参数估计,并利用BIC类标准来选择模型参数,包括稀疏调整超参数。仿真数据上的实验表明,与标准的期望最大化算法相比,所提出的正则化极大似然估计具有良好的性能。
2019-09-12 cs.LG stat.CO stat.ME