Uncertainty Quantification of Spectral Estimator and MLE for Orthogonal Group Synchronization
针对正交群同步中MLE和谱估计器的不确定性量化问题,本文利用似然函数正交约束推导其二阶展开式,得到主导项为反对称高斯随机矩阵,还附带极小极大风险界和置信区域,提供通用理论框架并经数值实验验证。
2025-02-20 cs.IT math.IT math.OC
Approximate co-sufficient sampling with regularization
Department of Statistics, University of California, Irvine(加州大学尔湾分校统计学系);Department of Statistics, University of Chicago(芝加哥大学统计学系)
本文扩展了近似共充分采样方法,使其适用于约束和正则化最大似然估计,解决了复杂估计问题。
2025-12-22 stat.ME
Stretching the Effectiveness of MLE from Accuracy to Bias for Pairwise Comparisons
Carnegie Mellon University(卡内基梅隆大学)
许多应用(例如,AI机器人锦标赛、体育、同行评分、众包)使用成对比较数据和布拉德利-特里-卢斯(BTL)模型来评估给定的项目集合(例如,机器人、团队、学生、搜索结果)。过去的工作表明,在BTL模型下,广泛使用的最大似然估计(MLE)是最小最大最优估计项目参数,在均方误差。然而,设计估计量的另一个重要要求是公平性。在这项工作中,我们认为公平建模的概念,在统计偏差。我们表明,MLE招致一个次优率方面的偏见。然后,我们提出了一个简单的修改MLE,“拉伸”的限界框的最大似然优化器的一个小常数因子从底层地面真域。我们表明,这种简单的修改导致偏差的改善率,同时保持最小最大最优的均方误差。以这种方式,我们提出的估计类可证明提高公平性表示的偏见,而不损失准确性。
2019-06-10 cs.IT cs.LG math.IT
A new inequality for maximum likelihood estimation in statistical models with latent variables
极大似然估计(MLE)可以说是统计学家最重要的工具,并且已经开发了许多方法来寻找MLE。我们提出了一个新的不等式涉及后验分布的潜变量,在非常一般的条件下。它与EM算法有关,并且具有以类似方式使用的明显潜力。
2019-12-06 math.ST stat.ME stat.TH
Computationally efficient likelihood inference in exponential families when the maximum likelihood estimator does not exist
在正则全指数族中,不需要传统意义上的极大似然估计。然而,极大似然估计可能存在于指数族的完备化中。现有的算法,寻找最大似然估计在完成解决许多线性规划,他们是缓慢的小问题和太慢的大问题。我们提供了新的,快速的,可扩展的方法来寻找MLE在指数族的完成。这种方法是基于传统的最大似然计算接近,在某种意义上说,找到MLE在完成的指数家庭。这些传统的计算构造了一个正则参数值的似然极大化序列,该序列在似然函数上上升,直到它们满足收敛准则。在这种情况下,极大似然估计的不存在性是由于指数族的正则统计量的退化,正则统计量在其支持的边界上。在这个边界和Fisher信息矩阵的零特征向量之间存在对应关系。Fisher信息沿似然极大化序列的收敛是由累积量生成函数(CGF)沿似然极大化序列的收敛而来的,给出了CGF收敛的条件。当完井中存在极大似然估计时,这允许为均值参数构建必要的单侧置信区间。我们在正文中的三个例子和附录中的三个附加例子上展示了我们的方法。我们表明,当极大似然估计存在于指数族的完成中时,我们的方法提供了比现有技术快得多的统计推断。
2020-11-25 math.ST stat.TH
Elliptical Wishart distributions: information geometry, maximum likelihood estimator, performance analysis and statistical learning
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);CentraleSupélec(中央理工-高等电力学院)
本文针对椭圆 Wishart 分布,提出定点算法与黎曼优化两种 MLE 求解方法,并研究其统计性质,进而设计分类聚类方法,在模拟及 EEG、高光谱数据上验证了有效性。
2024-11-05 cs.LG stat.ME stat.ML
Exact MLE for Generalized Linear Mixed Models
本研究解决了广义线性混合模型中因难以处理的积分导致无法获得精确MLE的长期问题,通过在优化过程中构造可数值计算的数学函数,成功求得参数和超参数的精确MLE。
2024-10-11 stat.ME
Nonparametric mixture MLEs under Gaussian-smoothed optimal transport distance
Department of Statistics, University of Washington(华盛顿大学统计系);Department of Statistics, University of Chicago(芝加哥大学统计系)
高斯平滑最优输运(GOT)框架由Goldfeld et al.(2020)开创,并由一系列后续论文跟进,迅速引起了统计学,机器学习,信息论和相关领域研究人员的关注。其中的一个关键观察是,通过适应GOT框架而不是其未平滑的对应物,可以解除使用经验测量来近似真实数据生成分布的维数灾难。本文证明了一个相关的观察适用于离散指数族模型中非参数混合分布的估计,在GOT代价下,非参数MLE的估计精度可以加速到多项式速率.这与基于非平滑度量的经典子多项式速率形成鲜明对比,从信息理论的角度来看,这是无法改进的。在我们的分析中的一个关键步骤是建立一个新的杰克逊型近似界的高斯卷积Lipschitz函数。这种见解桥梁现有的技术分析的非参数MLE和新的GOT框架。
2021-12-04 cs.IT cs.LG math.IT
Robust Hypergraph Clustering via Convex Relaxation of Truncated MLE
KAIST(韩国科学技术院)
研究了加权$d$ -均匀超图随机块模型($d$ \textsf{-WHSBM})中的超图聚类问题,其中由来自同一社区的$d$节点组成的每条边比由来自不同社区的节点组成的每条边具有更高的期望权值.我们提出了一个新的超图聚类算法,称为\textsf{CRTMLE},并提供其性能保证下的$d$ \textsf{-WHSBM}一般参数制度。我们表明,该方法实现了顺序明智的最佳或现有的最佳结果近似平衡的社区规模。此外,我们的研究结果解决了第一个恢复保证越来越多的集群的不平衡的大小。通过理论分析和实验结果,我们证明了我们的算法对社区规模的不平衡性或离群节点的存在的鲁棒性。
2020-11-16 cs.IT cs.LG math.IT
Statistical aspects of the fractional stochastic calculus
利用分数阶布朗运动的随机积分技术和随机过程的正则性和上确界估计理论,研究了满足由分数阶布朗运动驱动的随机方程的随机过程的漂移参数的极大似然估计.证明了线性和非线性方程极大似然估计的存在性和强相合性。我们还证明了一个版本的MLE只使用离散观测仍然是一个强一致的估计。
2007-08-17 math.PR math.ST stat.TH
Statistical ranking with dynamic covariates
该研究在Plackett–Luce框架下提出带动态协变量的统计排序模型,给出MLE可识别性与存在性的充要条件,设计高效算法,证明收敛性,并通过数值实验验证了模型在真实赛事数据上的有效性。
2025-03-19 stat.ME stat.ML
Wasserstein bounds in CLT of approximative MCE and MLE of the drift parameter for Ornstein-Uhlenbeck processes observed at high frequency
本文讨论了Ornstein-Uhlenbeck过程$X \coloneqq \{X_t,t\geq0\}$在高频下漂移系数估计的中心极限定理的收敛速度。我们分别给出了$θ$的近似最小对比度估计和近似最大似然估计,即$\widetildeθ_{n}\coloneqq {1}/{\left(\frac{2}{n} \sum_{i=1}^{n}X_{t_{i}}^{2}\right)}$和$\widehatθ_{n}\coloneqq -{\sum_{i=1}^{n} X_{t_{i-1}}\left(X_{t_{i}}-X_{t_{i-1}}\right)}/{\left(Δ_{n} \sum_{i=1}^{n} X_{t_{i-1}}^{2}\right)}$,其中$ t_{i} = i Δ_{n}$,$ i=0,1,\ldots, n $,$Δ_{n}\rightarrow 0$ .给出了$\widetildeθ_{n}$和$\widehatθ_{n}$的中心极限定理中的Wasserstein界.
2022-11-18 math.PR math.ST stat.TH
Noise contrastive estimation: asymptotics, comparison with MC-MLE
当一个统计模型的似然函数包含一个难以处理的归一化常数时,该模型被称为非归一化模型。这些模型的参数推断的两种流行的方法是MC-MLE(蒙特卡罗极大似然估计),和NCE(噪声对比估计);这两种方法都依赖于模拟人工数据点来近似归一化常数。虽然MC-MLE的渐近性已在一般假设下建立(Geyer,1994),但NCE并非如此。在较弱的假设下,我们建立了NCE估计的相合性和渐近正态性。我们比较NCE和MC-MLE下几个渐近制度。特别地,我们证明了,当m趋于无穷大而n是固定的(m和n分别是人工数据点和实际数据点的数量),这两个估计量是渐近等价的。反之,当人工数据点为IID,且n趋于无穷大,m/n收敛于一个正常数时,NCE估计量的渐近方差总是小于相应MC-MLE估计量的渐近方差.我们通过数值研究说明了NCE带来的方差减少。
2018-01-31 math.ST stat.TH
A statistical reconstruction algorithm for positronium lifetime imaging using time-of-flight positron emission tomography
针对TOF分辨率有限的PET系统难以准确重建正电子素寿命图像的问题,提出基于EMG分布的MLE二维PLI重建方法,其重建精度优于传统方法且可扩展至多正电子种群场景。
2025-01-15 physics.med-ph stat.AP
Maximum lilkelihood estimation in the $β$-model
本文研究了无向随机图统计模型的极大似然估计,该模型称为$β$ -模型,其中度序列是最小充分统计量.基于度序列的多胞形,我们得到了模型参数的极大似然估计存在的充要条件。我们的特点是在一个组合的方式样本点导致不存在的极大似然估计,和不可估计的概率参数下不存在的极大似然估计。我们制定的条件,保证极大似然估计存在的概率趋于一个节点的数量增加。
2013-06-18 cs.DM math.ST stat.OT
Holonomic Decent Minimization Method for Restricted Maximum Likelihood Estimation
最近,Takemura和Takayama的学派发展了一种非常有趣的极小化方法,称为完整梯度下降法(HGD)。它的工作原理是混合使用一个目标完整函数所满足的微分方程和迭代优化方法。他们成功地将该方法应用于几个极大似然估计(MLE)问题,这在过去一直是棘手的。另一方面,在统计模型中,参数受约束的情况并不少见,因此带约束的极大似然估计一直是统计学的基本课题之一。在本文中,我们开发的HGD与MLE的约束。
2013-09-05 stat.CO
Random pairing MLE for estimation of item parameters in Rasch model
Yale University(耶鲁大学);University of Chicago(芝加哥大学)
针对Rasch模型的项目参数估计问题,提出随机配对极大似然估计及其自助变体,可处理稀疏观测,具备极小最优性与分布刻画能力,通过随机配对降维且保独立性,经仿真与实测验证有效。
2025-10-29 cs.IT cs.LG math.IT
Revisiting the Neyman-Scott model: an Inconsistent MLE or an Ill-defined Model?
Neyman和Scott(1948)模型被广泛用于证明极大似然(ML)方法的一个严重弱点:它会产生不一致的估计量。本文的主要目的是重新审视这个例子,以证明不一致的估计的罪魁祸首不是ML方法,而是一个定义不清的统计模型。它还表明,这个模型的一个简单的重铸,使它定义良好,ML方法产生一致的和渐近有效的估计。
2013-01-26 stat.ME
Discrete Statistical Models with Rational Maximum Likelihood Estimator
离散统计模型是概率单纯形的子集。它的最大似然估计(MLE)是从单纯形到模型的收缩。我们刻画了所有的模型,这种回缩是一个有理函数。这是一个贡献,通过真正的代数几何取决于结果由于Huh和Kapranov霍恩均匀化。我们提出了一个算法,合理的MLE构建模型,我们证明了它的一系列实例。我们的重点在于统计学家熟悉的模型,如贝叶斯网络,可分解的图形模型和阶段树。
2020-06-15 math.AG math.ST stat.TH
Quasi-independence models with rational maximum likelihood estimator
我们对具有有理极大似然估计的双向独立拟独立模型(或具有结构零点的独立模型)进行了分类。我们给出了与该模型相关联的二部图上的极大似然估计是有理的一个充要条件。在这种情况下,我们给出了一个明确的公式的MLE在此图的组合特征。我们还利用Horn均匀化证明了对于一般的对数线性模型$\mathcal{M}$,只要把它限制在$\mathcal{M}$的充分统计量的锥面上,它就具有有理极大似然估计.
2020-10-27 math.CO math.ST stat.TH
An Approximate Maximum Likelihood Estimator for Discretely Observed Linear Birth-and-Death Processes
针对离散观测线性生灭过程的参数估计难题,提出基于转移概率高斯近似的近似最大似然估计量,将估计转化为一元优化问题,在模拟和克隆造血数据中展现更高速度、精度及尺度不变性。
2025-08-22 stat.AP stat.CO
Statistical inference for fractional diffusion process with random effects at discrete observations
本文讨论了漂移中具有随机效应的线性分式扩散过程的推论问题。特别是我们关心的随机效应参数的最大似然估计(MLE)。首先,我们从一个单一的主题估计赫斯特参数H。其次,假设赫斯特指数H是已知的,我们推导出极大似然估计,并研究其渐近行为的研究对象的数量变得很大,随机效应正态分布。
2019-12-03 math.ST stat.TH
Nonasymptotic control of the MLE for misspecified nonparametric hidden Markov models
有限状态空间隐马尔可夫模型是对具有复杂时间依赖性的现象进行建模的灵活工具:任何过程分布都可以用一个具有足够隐状态的隐马尔可夫模型来近似,我们考虑了在错误设定下用非参数隐马尔可夫模型估计未知过程分布的问题,即当数据生成过程可能不是隐马尔可夫模型时,我们证明了当真实分布是指数混合的并且满足遗忘假设时,最大似然估计器恢复真实分布的最佳逼近。我们证明了一个有限的样本所产生的错误,并表明它是最佳的最小最大意义上的对数因子-当模型是指定的。
2021-02-15 math.ST stat.TH
Improving ERGM Starting Values Using Simulated Annealing
指数族模型(包括指数族随机图模型(ERGMs))的估计理论已经得到了广泛的研究,特别是最大似然估计具有许多令人满意的性质。然而,在许多ERGM的情况下,直接计算MLE是不可能的,因此必须采用近似MLE的方法和/或替代估计方法。许多MLE近似方法需要替代估计作为起点。我们在这里讨论一类这样的替代品。与MPLE不同,MLE满足所谓的“似然原理”。这意味着不同的网络可能具有不同的MPLE,即使它们具有相同的充分统计量。我们利用这一事实在这里搜索改进的初始值为基础的近似MLE方法。我们提出的方法在为网络数据集和模型产生MLE方面显示了其优点,这些数据集和模型使用所有其他已知方法进行估计。
2020-09-04 stat.CO
Statistical Properties of Nonparametric MLE under Laplace Noise
Purdue University(普渡大学);Dartmouth College(达特茅斯学院)
该研究针对局部差分隐私下的实值数据,提出拉普拉斯噪声下非参数极大似然估计的有限维重构形式,分析其收敛性与隐私噪声的关联,明确了NPMLE保持一致性的噪声速率条件。
2026-08-27 math.ST stat.ME stat.TH
Learning to Draw Samples: With Application to Amortized MLE for Generative Adversarial Learning
Dartmouth College(达特茅斯学院)
我们提出了一个简单的算法来训练随机神经网络从给定的目标分布中抽取样本进行概率推理。我们的方法是基于迭代调整的神经网络参数,使输出变化沿Stein变分梯度,最大限度地减少库尔贝克-莱布勒散度与目标分布。我们的方法适用于任何由其非归一化密度函数指定的目标分布,并且可以训练任何黑盒架构,这些架构在我们想要适应的参数方面是可微的。作为该方法的应用,我们提出了一种用于训练深度能量模型的摊销MLE算法,其中神经采样器被自适应地训练以近似似然函数。我们的方法模拟了深度能量模型和神经采样器之间的对抗游戏,并获得了与最先进的结果相竞争的逼真图像。
2016-11-26 cs.LG stat.ML
On Multi-step Estimation of Delay for SDE
我们考虑的问题的延迟估计的几个SDES的解决方案的意见。已知这些模型的极大似然估计是一致的且渐近正态的,但其似然比函数相对于r.t.参数,因此MLE的数值计算具有一定的困难。我们提出了一步和两步极大似然估计,它们的计算没有这样的问题,并提供了估计渐近等价于极大似然估计。这些构造分两步或三步实现。首先,我们构造初步估计是一致的,渐近正态的,但不是渐近有效的。然后,我们使用这些估计和修改的Fisher评分装置,获得一步和两步MLE。我们假设它的数值实现要简单得多。介绍了随机比例方程,讨论了相关的统计问题。
2020-10-15 math.ST stat.TH
Assessing the multivariate normal approximation of the maximum likelihood estimator from high-dimensional, heterogeneous data
正则性条件下极大似然估计的渐近正态性是统计理论的基石。本文给出了向量参数极大似然估计的分布与多元正态分布之间的分布距离的上界。我们的工作可能是高维的,独立的,但不一定是同分布的随机向量。此外,我们得到明确的上界,即使在MLE不能解析表示的情况下。
2018-07-20 math.ST stat.TH
Robust Estimators and Test-Statistics for One-Shot Device Testing Under the Exponential Distribution
本文提出了一种新的单次器件模型参数的估计族--最小密度幂离估计(MDPDEs),以及一种新的基于MDPDEs的检验统计量族--Z型检验统计量,用于检验相应的模型参数。MDPDE族包含Balakrishnan和Ling(2012)中考虑的极大似然估计(MLE)作为一种特殊情况。通过仿真研究,它表明,一些MDPDE有一个更好的行为比MLE的鲁棒性。同时,可以看出,一些基于MDPDE的Z型检验在鲁棒性方面也比经典Z-检验统计量具有更好的行为。
2017-04-25 stat.ME
Regularized Estimation and Feature Selection in Mixtures of Gaussian-Gated Experts Models
University of Queensland(昆士兰大学);University of Caen(卡昂大学);La Trobe University(拉筹伯大学)
混合专家模型及其基于期望最大化算法的极大似然估计(MLE)已在统计学和机器学习文献中得到深入研究。他们是越来越多的调查的背景下,高维预测与正则化极大似然估计建模。我们研究了高斯门控网络的MoE,用于聚类和回归,并提出了一个$\ell_1$正则化的MLE,以鼓励稀疏模型和处理高维设置。我们开发了一个EM-Lasso算法来执行参数估计,并利用BIC类标准来选择模型参数,包括稀疏调整超参数。仿真数据上的实验表明,与标准的期望最大化算法相比,所提出的正则化极大似然估计具有良好的性能。
2019-09-12 cs.LG stat.CO stat.ME
Effect of Interim Adaptations in Group Sequential Designs
本文研究了无条件和有条件停止极大似然估计量、信息测度和与成组序贯设计条件相关的信息损失。早期停止的可能性带来截断的分布形式的MLE,顺序地,GSD决定消除一些事件从样本空间。多重检验在适应的样本空间上诱导混合物。MLE的分布是截尾分布的混合。在GSD下,检验统计量在无GSD的情况下是渐近正态的,其渐近分布是局部替代项下截尾正态分布的非正态混合;在固定替代项下,检验统计量的渐近分布是退化的。对各种统计量(如信息、信息分数和置信区间)的估计应考虑到有计划的适应的影响。适应信息分数的计算需要大量的计算工作。因此,提出了一种新的GSD,其中特定阶段的样本量完全由期望的操作特性确定,并且不需要计算信息分数。
2019-08-04 stat.ME
Robust statistical modeling of monthly rainfall: The minimum density power divergence approach
针对降雨数据异常值导致MLE推断失真的问题,提出基于MDPDE的稳健参数估计,并在印度36个分区1951–2014年月度降雨数据上验证其优于MLE。
2024-03-04 stat.AP
A revisit to maximum likelihood estimation of Weibull model parameters
Ton Duc Thang University(胡志明市通德大学);University of Limpopo(林波波大学);University of Louisiana at Lafayette(路易斯安那大学拉斐特分校)
本研究重新探讨威布尔分布参数的最大似然估计,解析证明其存在性与唯一性,结合理论与计算研究抽样分布,发现其可被威布尔分布近似,模拟结果验证了一阶偏差与均方误差的相关结论。
2025-01-20 stat.CO
Statistical inference for a stochastic wave equation with Malliavin calculus
Conacyt Research Fellow - Universidad Nacional Autónoma de México. Instituto de Matemáticas(康赛特研究员 - 墨西哥国立自治大学。数学研究所);Facultad de ciencias - Universidad Nacional Autónoma de México(理学院 - 墨西哥国立自治大学)
本文利用马尔可夫算子微积分研究随机波方程中最大似然估计量的渐近性质,通过谱方法和随机分析证明其一致性与正态性,并通过数值实验验证理论结果。
2021-08-05 math.PR math.ST stat.TH
Likelihood Correspondence of Toric Statistical Models
针对离散代数统计模型的极大似然估计问题,本文构造了 toric 模型的似然对应理想并求得列联表独立模型的 Gröbner 基,在 Macaulay2 中实现了相关算法及实验验证。
2024-11-16 math.AC math.AG math.ST
A Joint MLE Approach to Large-Scale Structured Latent Attribute Analysis
结构化潜在属性模型(Structured Latent Attribute Models,SLAM)是一类离散潜在变量模型,广泛应用于教育、心理学和流行病学领域,用于对多变量分类数据进行建模。SLAM假设多个离散的潜在属性以高度结构化的方式解释观察变量的依赖性。通常,最大边际似然估计方法被用于SLAM,将潜在属性视为随机效应。现代评估数据的范围越来越大,涉及大量的观测变量和高维潜在属性。这对传统的估计方法提出了挑战,需要新的方法和对潜在变量建模的理解。出于这一动机,我们认为联合极大似然估计(MLE)的方法SLAM,治疗潜在的属性作为固定的未知参数。我们调查的可估计性,一致性和计算的制度,样本量,变量的数量,和数量的潜在属性都可以发散。我们建立的联合MLE的统计一致性,并提出有效的算法,以及几个流行的SLAM的大规模数据的规模。仿真研究表明,所提出的方法优越的经验性能。一个国际教育评估的真实数据的应用程序给出了认知诊断的可解释的结果。
2021-07-08 stat.ME
Toric Fiber Products in Geometric Modeling
该研究将统计模型中的环面纤维积(TFP)引入几何建模,用于构建有理线性精度多面体并给出其混合函数、Horn矩阵的显式公式,连通了两个领域的相关研究。
2023-06-12 math.AG math.CO math.ST
Likelihood based inference for monotone response models
研究了一类单调函数的逐点非参数估计问题的最大似然估计和似然比统计量的性质。这类问题从根本上不同于通常的参数或半参数的情况下,在一个点的单调函数的极大似然估计收敛到真理率$n^{1/3}$(比通常的$\sqrt{n}$率慢)与非高斯极限分布。基于似然估计的单调函数的框架开发和极限定理描述的MLE和似然比统计量的行为建立。特别是,似然比统计量被发现是渐近枢轴的极限分布,不再是$χ^2$,但可以明确地表征在布朗运动的功能。主要结果的应用和潜在的扩展进行了讨论。
2007-08-16 math.ST stat.TH
Relative Performance of Fisher Information in Interval Estimation
最大似然估计及其相应的置信区域常用于统计推断。在实际应用中,人们通常根据最大似然估计(最大似然估计)的渐近正态分布,在给定的样本数据下,利用Fisher信息构造近似置信区域。两种常见的Fisher信息矩阵(FIM,用于多变量参数)是观测的对数似然函数(负对数似然函数的黑塞矩阵)和期望的对数似然函数(观测对数似然函数的期望)。本文证明了在一定条件下,在均方误差(MSE)准则下,极大似然估计中各元素对期望误差的近似置信区间至少与对观测误差的近似一样精确。
2021-07-09 math.ST stat.TH
Optimal Estimation for General Gaussian Processes
针对一般高斯过程的参数估计问题,提出精确极大似然估计方法,证明其局部渐近正态性以实现最优估计,填补相关研究空白,且仿真显示常用插入式MLE性能接近精确MLE。
2025-09-05 econ.EM math.ST stat.TH
MLE-induced Likelihood for Markov Random Fields
University of Wisconsin, Madison(威斯康星大学麦迪逊分校)
Due to the intractable partition function, the exact likelihood function for a Markov random field (MRF), in many situations, can only be approximated. Major approximation approaches include pseudolikelihood and Laplace approximation. In this paper, we propose a novel way of approximating the likelihood function through first approximating the marginal likelihood functions of individual parameters and then reconstructing the joint likelihood function from these marginal likelihood functions. For approximating the marginal likelihood functions, we derive a particular likelihood function from a …
2018-03-27 cs.AI cs.LG stat.ML
Bounds for the asymptotic normality of the maximum likelihood estimator using the Delta method
最大似然估计(MLE)的渐近正态性是统计理论的基石。在本文中,我们提供了尖锐的明确的Zolotarev型之间的确切的,未知的分布MLE和其限制正态分布的距离上界。我们的方法,这个基本问题是基于一个健全的组合的Delta方法,斯坦的方法,泰勒展开和条件期望,对于经典的情况下,MLE可以表示为一个函数的总和的独立和同分布的条款。这特别包括广泛的指数型分布族。
2016-04-17 math.ST stat.TH
A hypothesis-driven method based on machine learning for neuroimaging data analysis
DASCI Institute(DASCI研究所);University of Granada(格拉纳达大学);University of Seville(塞维利亚大学);University of Malaga(马拉加大学);University of Cambridge(剑桥大学)
关于机器学习(MLE)方法用于区分样本或激活状态之间的脑图像空间模式的有用性和解释仍然存在一个悬而未决的问题。在过去的几十年中,这些方法将其操作限制在用于组间推理的特征提取和线性分类任务上。在这种情况下,通过随机排列图像标签或使用考虑受试者间变异性的随机效应模型评估统计推断。这些基于多元MLE的统计管道,虽然可能比假设驱动的方法更有效地检测激活,但已经失去了其数学优雅性,易于解释性和无处不在的一般线性模型(GLM)的空间定位。最近,传统的GLM的估计已被证明是连接到一个单变量的分类任务时,设计矩阵表示为一个二进制指标矩阵。本文研究了一元广义线性模型与极大似然估计\emph{regressions}之间的完全联系。为了这个目的,我们得到一个精细的统计测试与GLM的基础上获得的参数由线性支持向量回归(SVR)在\emph{inverse}问题(SVR-iGLM)。随后,随机场理论(RFT)用于评估统计显著性后,传统的GLM基准。实验结果表明,如何参数估计来自每个模型(主要是GLM和SVR)的结果在不同的试验设计估计,显着相关的预定义的功能任务。此外,使用来自多站点倡议的真实数据,所提出的基于MLE的推断展示了统计功效和假阳性的控制,优于常规的GLM。
2022-02-17 cs.LG eess.IV stat.ML
Homogeneity Test of Proportions for Combined Unilateral and Bilateral Data via GEE and MLE Approaches
本文针对单侧与双侧合并的二分类数据,提出基于GEE和得分检验的比例同质性检验方法,通过模拟和真实数据验证其在控制第一类错误率方面优于似然比和Wald型检验。
2025-08-16 stat.ME
Maximum Likelihood Estimation for Brownian Motion Tree Models Based on One Sample
本文研究了布朗运动树模型(BMTM)上的单样本极大似然估计($n=1$)问题。BMTM通常在单样本遗传学中用作空模型,其中单样本制度很常见。具体来说,我们表明,几乎可以肯定,单样本BMTM极大似然估计(MLE)存在,是唯一的,并对应于一个完全观察到的树。此外,我们提供了一个多项式时间算法的精确计算。我们还考虑了单样本情况下所有可能的BMTM树结构上的MLE,并表明它几乎肯定存在,它与对角占优势的M矩阵上的MLE一致,并且它存在唯一的封闭形式解,对应于路径图。最后,我们通过数值实验探讨了单样本BMTM极大似然估计的统计特性。
2022-11-24 math.ST stat.ME stat.TH
Multireference Alignment using Semidefinite Programming
多参考对准问题包括从多个噪声移位观测中估计信号。受现有的独特游戏近似算法的启发,我们提供了一个半定规划(SDP)为基础的松弛近似的最大似然估计(MLE)的多参考对齐问题。虽然我们表明,MLE问题是独特的游戏很难近似在任何常数,我们观察到,我们的多时间近似算法的MLE似乎表现得很好,在典型的情况下,优于现有的方法。为了解释这种行为,我们在随机噪声模型下为我们的SDP提供了稳定性保证。这种情况比传统的半随机唯一游戏实例更难分析:噪声模型位于图的顶点上,并转化为边缘上的相关噪声。有趣的是,我们表明,如果在SDP中的某些正性约束下降,其解决方案变得相当于执行相位相关,一种流行的方法用于成像应用中的成对对齐。最后,我们展示了如何从矩阵表示理论的对称性约简技术可以简化SDP的分析和计算,大大降低其计算成本。
2013-08-23 cs.DS math.ST stat.TH
What is the price of approximation? The saddlepoint approximation to a likelihood function
School of Public Health, University of California, Berkeley(加州大学伯克利分校公共卫生学院);Department of Statistics, University of Auckland(奥克兰大学统计系)
本文针对鞍点近似似然所得MLE与真实MLE之间的偏差,提出显式可计算的近似公式,并通过示例与渐近分析验证其准确性和极限行为。
2026-10-16 stat.ME
What Did Fisher Mean by An Estimate?
Fisher最大似然法是一种构造似然区间或区域的方法,而不是一种点估计方法。根据费舍尔的文章和书籍,它是合理的,由估计费舍尔的意思是建设的似然区间或地区从适当的似然函数和估计是一个统计量,也就是说,一个函数从一个样本空间到一个参数空间,这样的似然函数获得的抽样分布的统计量在观测值的统计是用来构建似然区间或地区。因此,估计问题是如何选择“最佳”估计。Fisher估计问题的解决方案是最大似然估计(MLE)。费雪的统计估计理论是一系列用来证明极大似然估计是估计问题的解决方案的思想。由极大似然估计的渐近正态分布用delta方法构造置信区间是基于Fisher的思想,但与他的“统计推断逻辑”相悖。相反,构造置信区间从配置文件似然函数的参数向量的一个给定的兴趣函数被认为是一个解决方案更符合费舍尔的“思想”。研究了一般统计模型中一般光滑兴趣函数基于轮廓似然的置信区间计算方法。
2008-07-22 math.ST stat.TH
MLE of Jointly Constrained Mean-Covariance of Multivariate Normal Distributions
估计无约束均值和协方差阵是统计学中的一个热门话题。然而,在诸如$Σμ= μ$的联合约束下的$N_p(μ,Σ)$的参数的估计没有受到太多的关注。它可以被看作是一个多变量对应的经典估计问题的$N(θ,θ^2)$分布。除了在参数(弯曲指数族)之间的这种非线性约束下的通常推断挑战之外,在估计协方差阵时,必须处理对称性和正定性的基本要求。我们推导了$(μ,Σ)$的约束极大似然估计的非线性似然方程,并使用迭代方法求解。通常,使用迭代方法计算的协方差阵的MLE不满足约束。我们提出了一种新的算法来修改这样的(不可行的)估计或任何其他(合理的)估计。关键步骤是使用回归的思想沿着协方差阵的特征向量重新对齐均值向量。在将拉格朗日函数用于约束MLE(Aitchison et al. 1958)时,拉格朗日乘子与感兴趣的参数纠缠在一起,并提出了另一个计算挑战。我们通过迭代或显式计算拉格朗日乘子来处理这个问题。利用随机矩阵理论的最新结果,在数据依赖的凸集内研究了约束极大似然估计的存在性和位置性质。仿真研究说明了我们的方法,并表明,修改后的估计比初始估计的迭代方法。
2020-12-22 stat.ME
Statistical analysis of factor models of high dimension
本文考虑高维因子模型的极大似然估计,其中变量数N与观测数T相当甚至大于.一个推理理论的发展。我们不仅建立了一致性,而且还建立了收敛速率和极限分布。五组不同的识别条件被认为是。我们证明了极大似然估计的分布依赖于识别限制。与主成分方法不同,最大似然估计明确允许异方差,这是联合估计与其他参数。效率的MLE相对于主成分方法也被认为是。
2012-05-30 math.ST stat.TH
MLE for the parameters of bivariate interval-valued models
本文针对双变量区间值数据,推导了协方差参数的极大似然估计量并建立其渐近性质,将Le-Rademacher和Billard仅限单变量均值与方差估计的早期结果推广为特例,为回归、主成分分析等方法提供基础。
2023-05-29 stat.AP stat.ME
One-bit Submission for Locally Private Quasi-MLE: Its Asymptotic Normality and Limitation
The Graduate University for Advanced Studies (SOKENDAI)(高级研究研究生院(综合研究大学院大学));The Institute of Statistical Mathematics(统计数学研究所);RIKEN AIP(理化学研究所人工智能项目中心)
局部差异隐私(LDP)是一种信息论隐私定义,适用于涉及不可信数据管理者的统计调查。虽然人们提出了一种LDP形式的拟极大似然估计(QMLE),但由于等待时间长、通信代价高以及对数似然函数导数有界性假设等原因,现有的构造LDP QMLE的方法很难在实际大规模的测量系统中实现。我们提供了一个替代的LDP协议没有这些问题,这是潜在的更容易部署到一个大规模的调查。我们还提供了我们的协议的一致性和渐近正态性和局限性的充分条件。我们的协议是用户的负担较轻,和理论上的保证,涵盖更现实的情况下,比现有的方法。
2022-02-15 cs.LG stat.ML
Approximate Risk Minimization Over Shrinking-Thresholding Rules in Normal Mean Estimation
University of Texas at Arlington(德克萨斯大学阿灵顿分校)
该研究为正态均值估计中的收缩阈值规则构建近似风险最小化框架,推导最优条件,得到估计器NOMAD,发展相关理论并扩展框架到相关观测及线性回归,提供了统一的基于风险的框架。
2026-07-08 math.ST stat.AP stat.ME
On the approximate maximum likelihood estimation for diffusion processes
扩散过程的转移密度一般不具有显式表达式,这就妨碍了基于离散观测样本路径的完全极大似然估计(MLE)。Ait-Sahalia [J. Finance 54(1999)1361- 1395; Econometrica 70(2002)223- 262]提出了扩散过程转移密度的渐近展开式,这导致参数的近似极大似然估计(AMLE)。建立在Ait-Sahalia的[Econometrica 70(2002)223- 262; Ann. Statistist. 36(2008)906--937]提出并分析了AMLE,建立了AMLE的相合性和收敛速度,揭示了渐近密度展开中所用的项数和连续观测值之间的采样间隔所起的作用。我们发现的条件下,AMLE具有相同的渐近分布的充分极大似然估计。提出了Fisher信息矩阵的一阶近似。
2012-03-09 math.ST stat.TH