A Simple Approach to Maximum Intractable Likelihood Estimation
近似贝叶斯计算(ABC)可以被看作是一个分析近似的一个棘手的可能性加上一个基本的模拟步骤。这样的观点,结合一个合适的工具先验分布允许最大似然(或最大后验)的推断进行,近似地,使用基本上相同的技术。这个问题的一个基本的方法,简单地获得一个非参数近似的似然表面,然后使用作为一个光滑的代理的可能性在随后的最大化步骤是在这里开发和这类算法的收敛性的理论特征。在这方面,考虑使用不充分的汇总统计。将所提出的方法应用于四个问题,表现出良好的性能。所提出的方法提供了一种替代的近似极大似然估计(MLE)在复杂的情况下。
2013-01-03 stat.ME
Flow-GAN: Combining Maximum Likelihood and Adversarial Learning in Generative Models
Stanford University(斯坦福大学)
概率模型的对抗学习最近已经成为最大似然的一种有前途的替代方案。与通过最大似然训练的显式模型相比,生成对抗网络(GAN)等隐式模型通常会生成更好的样本。然而,GANs回避了显式密度的表征,这使得定量评估具有挑战性。为了弥合这一差距,我们提出了Flow-GAN,这是一种生成对抗网络,我们可以对其进行精确的似然评估,从而支持对抗和最大似然训练。当进行逆向训练时,Flow-GAN生成高质量的样本,但获得极差的对数似然分数,甚至不如记忆训练数据的混合模型;当通过最大似然训练时,情况正好相反。MNIST和CIFAR-10上的结果表明,混合训练可以获得高的保持概率,同时保持生成的样本的视觉保真度。
2018-01-03 cs.AI cs.LG cs.NE
Testing Order Constraints: Qualitative Differences Between Bayes Factors and Normalized Maximum Likelihood
我们比较了贝叶斯因子和标准化极大似然的简单情况下选择之间的顺序约束与完整的二项式模型。这种比较揭示了两个定性的差异,在测试顺序的限制,数据依赖和模型的偏好。
2015-06-30 stat.ME stat.OT
Particle algorithms for maximum likelihood training of latent variable models
University of Warwick(华威大学)
(Neal和Hinton,1998)将任何给定潜变量模型的极大似然估计改写为自由能泛函$F$的最小化,并将期望最大化算法改写为应用于$F$的坐标下降。在这里,我们探索优化函数的替代方法。特别是,我们确定了各种梯度流与$F$,并表明他们的限制与$F$的驻点相吻合。通过离散化的流量,我们得到了实用的基于粒子的算法极大似然估计在广泛的类别的潜变量模型。新的算法规模高维设置,并在数值实验中表现良好。
2023-02-18 cs.LG math.OC stat.CO
Bayesian and Maximum Likelihood Estimation for Gaussian Processes on an Incomplete Lattice
本文提出了一种新的方法来估计大格点上具有缺失值的平稳高斯过程的贝叶斯和极大似然参数估计。我们提出了一个MCMC方法的贝叶斯推断,和极大似然推理的蒙特卡罗期望最大化算法。我们的方法使用数据增广和循环嵌入的协方差阵,并提供精确的推断参数和缺失数据。使用模拟数据和应用卫星海洋表面温度在太平洋,我们表明,我们的方法提供了准确的推断尺寸高达512 × 512的格子,并优于两个流行的方法:复合似然和谱近似。
2014-02-18 stat.CO stat.ME
Reduction of Restricted Maximum Likelihood for Random Coefficient Models
本文利用回归方程的充分统计量改写了随机系数模型离差矩阵的限制极大似然估计。
2018-03-11 math.ST stat.ME stat.TH
Correction to: "Blind maximum likelihood separation of a linear-quadratic mixture"
在ICA'2004中提出的题为“Blind maximum likelihood separation of a linear-quadratic mixture”的论文中,在计算梯度时出现了一个错误。附录中的公式(20)和正文中的公式(17)不正确。本文给出了这些方程的正确形式。
2010-01-06 math.ST stat.ME stat.TH
Uniqueness of the maximum likelihood estimator for k-monotone densities
我们证明了k-单调密度类的极大似然估计的唯一性。
2010-01-12 math.ST stat.TH
A new inequality for maximum likelihood estimation in statistical models with latent variables
极大似然估计(MLE)可以说是统计学家最重要的工具,并且已经开发了许多方法来寻找MLE。我们提出了一个新的不等式涉及后验分布的潜变量,在非常一般的条件下。它与EM算法有关,并且具有以类似方式使用的明显潜力。
2019-12-06 math.ST stat.ME stat.TH
Weighted sampling, Maximum Likelihood and minimum divergence estimators
本文研究了Sanov型大偏差概率下参数模型的极大似然。加权抽样下的参数模型的极大似然估计被证明与相对于权重分布定义的特定发散准则的最小化有关。由此产生的推理过程的一些属性; Bahadur效率的测试也被认为是在这种情况下。
2012-07-27 math.ST stat.ME stat.TH
Maximum likelihood estimation in hidden Markov models with inhomogeneous noise
本文研究了含时变非齐次噪声的有限隐状态空间马尔可夫模型的参数估计,其中非齐次噪声消失得足够快。基于渐近均值平稳过程的概念,证明了极大似然估计与拟极大似然估计的强相合性。QMLE的计算忽略了非均匀性,因此,更简单和鲁棒。该理论的动机是从生物物理学的一个例子,并适用于泊松和线性高斯模型。
2018-09-29 math.ST stat.ME stat.TH
Consistency of quasi-maximum likelihood for processes with asymMetric laplacian innovation
对一类基于非对称Laplacian新息的多维因果过程,给出了拟极大似然估计的强相合性。
2018-11-06 math.ST stat.TH
Uniqueness and global optimality of the maximum likelihood estimator for the generalized extreme value distribution
三参数广义极值分布起源于经典的单变量极值理论,常用于分析观测现象的远尾。奇怪的是,在这个标准模型下的似然估计的重要渐近性质尚未建立。在本文中,我们正式证明了极大似然估计是整体和唯一的。一个有趣的次要结果是一类极限关系在形状参数的紧邻域中的一致相合性。
2020-08-14 math.ST stat.ME stat.TH
Maximum Likelihood Estimation for Hawkes Processes with self-excitation or inhibition
本文提出了一种估计具有自激或抑制的单变量Hawkes过程参数的极大似然方法。我们的工作概括的技术和结果,仅限于自激方案。建议的估计实现的经典指数内核,我们表明,在抑制的情况下,我们的程序提供了更准确的估计比目前的替代方法。
2021-08-20 math.ST stat.ML stat.TH
A Note on Spatial-Temporal Lattice Modeling and Maximum Likelihood Estimation
时空线性模型及其相应的基于似然的统计推断是时空格点数据分析的重要工具。本文研究了时空线性模型在一般渐近框架下的最大似然估计的渐近性质。我们在时空权矩阵上提出了温和的正则性条件,并得到了最大似然估计的渐近性质(相合性和渐近正态性)。模拟研究进行检查的有限样本性质的最大似然估计。
2012-07-26 math.ST stat.TH
Analyticity, Convergence and Convergence Rate of Recursive Maximum Likelihood Estimation in Hidden Markov Models
本文研究隐马尔可夫模型中递推极大似然估计的渐近性质。本文主要讨论对数似然函数的渐近性态以及递推极大似然估计的点收敛性和收敛速度。利用解析延拓原理,证明了解析参数隐马尔可夫模型的渐近对数似然函数的解析性。根据这一事实和微分几何的一些结果(Lojasiewicz不等式),证明了递归极大似然算法的几乎必然点收敛性,并给出了其收敛速度的严格界.与已有的关于隐马尔可夫模型中极大似然估计的渐近性质的结果不同,本文的结果是在不假设对数似然函数有一个孤立的极大值且Hessian在该极大值处是严格负定的情况下得到的.
2009-09-24 math.ST stat.TH
Asymptotic results for maximum likelihood estimators in joint analysis of repeated measurements and survival time
极大似然估计已广泛应用于重复测量和生存时间的联合分析。然而,有一个缺乏理论上的理由的渐近性质的最大似然估计。本文旨在填补这一空白。具体来说,我们证明了最大似然估计的一致性,并推导出它们的渐近分布。极大似然估计是半参数有效的。
2006-02-11 math.ST stat.TH
Maximum smoothed likelihood estimation and smoothed maximum likelihood estimation in the current status model
考虑了当前状态模型中(不可观测)事件时间的分布函数、密度和危险率的估计问题。在这个模型中,分布函数的一个研究得很好的自然非参数估计是非参数最大似然估计(MLE)。我们研究了两种替代的方法估计的分布函数,假设一些平滑的事件时间分布。第一个估计是基于最大平滑似然法。第二种方法是基于平滑的分布函数的(离散)MLE。这些估计器可用于估计基于插件原理的事件时间分布的密度和危险率。
2010-01-12 math.ST stat.TH
Upper and Lower Class Functions for Maximum Likelihood Estimator for Single server Queues
研究了$GI/G/1$排队系统中到达率和服务率的极大似然估计的上、下类函数,并对M/M/1排队系统进行了验证.
2020-02-14 math.ST stat.TH
Gaussian stationary processes over graphs, general frame and maximum likelihood identification
本文利用Hilbert算子的谱理论,研究了图指标的ARMA高斯过程。我们推广了相应谱密度参数的Whittle极大似然估计,并证明了它们的渐近最优性。
2012-03-21 math.ST stat.TH
Maximum likelihood estimation for left-truncated log-logistic distributions with a given truncation point
从数学和数值两个方面详细分析了左截尾对数逻辑斯谛分布在给定截尾点的极大似然估计。这些极大似然方程往往没有一个解决方案,即使是小的截断。一个简单的标准,提供了一个定期的极大似然解决方案的存在。在这种情况下,可以构造轮廓似然函数,并且优化问题被降低到一维。当极大似然方程不承认某些数据样本的解决方案,它表明,Pareto分布是$L^1$ -限制的退化左截断对数逻辑斯谛分布。使用此数学信息,进行高效的蒙特卡罗模拟,以获得一些拟合优度检验的临界值。置信度表和插值公式提供和几个应用程序,以现实世界的数据。
2022-10-27 math.ST stat.CO stat.ME
The Multiple Roots Phenomenon in Maximum Likelihood Estimation for Factor Analysis
统计推断中的重根估计问题在文献中的许多上下文中出现。在极大似然估计中,由于存在重根,使得使用爬山算法计算最大似然估计量时存在不确定性,从而导致统计推断的困难。本文研究了因子分析的极大似然估计中的重根现象。证明了相应的似然方程即使在最简单的情况下也有不可数的多个可行解。对于观测数据为二维而未观测因子得分为一维的情形,证明了似然方程的解构成一维实曲线.
2017-02-15 math.ST stat.TH
Maximum Likelihood Drift Estimation for Multiscale Diffusions
研究了快/慢随机微分方程系统的极大似然参数估计问题。我们的目标是阐明小尺度下模型/数据不匹配的问题。我们考虑两类快/慢的问题,可以严格推导出一个封闭的粗粒度方程的慢变量,我们称之为平均和均匀化问题。我们问是否,给定的数据从慢变量在快/慢系统中,我们可以正确地估计参数的漂移的粗粒度方程的慢变量,使用最大似然。我们表明,而最大似然估计是渐近无偏的平均问题,均匀化问题的最大似然失败,除非我们在一个适当的速率子样本的数据。给出了对数似然函数中渐近误差的显式表达式。我们的理论适用于两个简单的例子,从分子动力学。
2008-06-19 math.PR math.ST stat.ME
The Maximum Likelihood Data Singular Locus
对于一般数据,似然方程的复解的数目是常数,这个数目被称为模型的(最大似然)ML度。在这篇文章中,我们描述的特殊轨迹的数据,其中的似然方程有一个模型的奇异轨迹的解决方案。
2015-09-30 math.AG math.ST stat.TH
The Maximum Likelihood Degree of Farlie Gumbel Morgenstern Bivariate Exponential Distribution
本文研究 Farlie-Gumbel-Morgenstern 二元指数分布参数的最大似然度,即对数似然方程在复数域上的解的个数。
2025-02-06 math.AC math.ST stat.TH
Entropic optimal transport is maximum-likelihood deconvolution
我们给出了熵最优输运的统计解释表明,执行高斯反卷积的极大似然估计对应于计算相对于熵最优输运距离的投影。这一结构性结果为这些工具在机器学习社区中的广泛采用提供了理论支持。
2018-09-18 math.ST stat.TH
Asymptotic normality of maximum likelihood estimator for cooperative sequential adsorption
我们在以前的工作中表明,合作序贯吸附模型的统计推断可以基于极大似然估计。本文继续这方面的研究,建立了极大似然估计在热力学极限下的渐近正态性。我们还进行了一些数值模拟的模型和讨论。
2010-05-06 math.PR math.ST stat.TH
Maximum likelihood thresholds of generic linear concentration models
本文研究了通用线性浓度模型的最大似然阈值,发现其与直观的维度计数一致,且通过几何方法解释了模型可能失效的情况。
2026-05-14 math.AG math.ST stat.TH
Asymptotic bias reduction of maximum likelihood estimates via penalized likelihoods with differential geometry
本文提出一种缩减通用估计量极大似然估计渐近偏差的程序,通过最大化满足一阶拟线性偏微分方程的惩罚似然实现插件估计,并借助微分几何求解偏微分方程,应用于广义线性模型、线性混合效应模型及位置-尺度族。
2024-03-25 math.ST stat.TH
Existence and uniqueness of the maximum likelihood estimator for models with a Kronecker product covariance structure
本文讨论了多元高斯模型,其中协方差阵是两个矩阵的Kronecker积。我们考虑模型参数的极大似然估计,特别是协方差阵。Kronecker乘积协方差阵的极大似然估计量没有明确的表达式。本文的主要问题是协方差阵的极大似然估计是否存在以及它是否唯一。对于我们考虑的不同模型,答案是不同的。
2014-10-08 math.ST stat.TH
Varieties with maximum likelihood degree one
我们证明了极大似然度为1的代数簇是有限纤维单项式映射下约化A-判别簇的象。最大似然估计对应于这样的品种是Kapranov的霍恩均匀化。这将Kapranov对A-判别超曲面的刻画扩展到任意余维的各种情形。
2014-05-31 math.AG math.ST stat.TH
The Maximum Likelihood Threshold of a Graph
图的最大似然阈值是保证最大似然估计几乎肯定存在于与图相关联的高斯图模型中的最小数据点数量。我们表明,这个图形参数是连接到组合刚性理论。特别地,如果图$G$的边集是$n-1$维通用刚性拟阵中的独立集,则$G$的最大似然阈值小于或等于$n$。这种联系使我们能够证明关于最大似然阈值的许多结果。
2015-09-16 math.CO math.ST stat.TH
On nonparametric maximum likelihood for a class of stochastic inverse problems
建立了一类随机反问题的非参数极大似然估计的相合性。我们继续通过嵌入的框架到Pfanzagl有关混合物的早期结果的一般设置。
2004-11-23 math.ST stat.TH
Maximum likelihood estimation for a bivariate Gaussian process under fixed domain asymptotics
本文研究了在固定区域渐近条件下,具有可分离指数协方差模型的二元高斯过程数据的极大似然估计。我们首先刻画了该模型下高斯测度的等价性。然后建立了微遍历参数的相合性和渐近分布。模拟研究,以比较有限样本的最大似然估计与给定的渐近分布的行为。
2016-03-30 math.ST stat.TH
Maximum Likelihood Estimation for Markov Chains
提出了一种新的具有稀疏转移矩阵的马尔可夫链的最优估计方法。
2009-05-26 math.ST stat.CO stat.TH
Non-Parametric Maximum Likelihood Density Estimation and Simulation-Based Minimum Distance Estimators
间接推断估计器(即,基于模拟的最小距离估计)在一个参数模型的基础上,辅助非参数最大似然密度估计被证明是渐近正态的。如果参数模型是正确指定的,它进一步表明,渐近方差-协方差阵等于逆的Fisher信息矩阵。这些结果是基于非参数极大似然密度估计的参数一致收敛速度和参数一致Donsker型定理。
2011-09-20 math.PR math.ST stat.ME
Maximum likelihood estimation for sub-fractional Vasicek model
研究了亚分数阶布朗运动驱动的分数阶Vasicek模型漂移参数极大似然估计的渐近性质。
2021-06-07 math.PR math.ST stat.TH
Asymptotics of the maximum likelihood estimator of the location parameter of Pearson Type VII distribution
Shizuoka University(静冈大学)
研究Pearson VII分布已知尺度下位置参数最大似然估计的渐进行为,包括强一致性、渐近正态性、Bahadur效率和渐近方差。重点分析重尾情况,如Cauchy分布,克服似然方程多根难题。
2026-04-08 math.ST stat.TH
Characterizations of the maximum likelihood estimator of the Cauchy distribution
本文给出了柯西分布位置与尺度联合的极大似然估计的一种新方法。我们把联合看作一个单一的复参数,导出了一个新形式的复变数的似然方程。在此基础上,我们给出了一种新的逼近最大似然估计的迭代格式。我们还处理方程的代数方式,并推导出一个多项式包含的最大似然估计作为根。这种代数方法提供了用多项式求根算法逼近最大似然估计的另一种方案,并且在样本量为5的情况下,给出了封闭式公式的不存在性。最后通过数值例子说明了该方法的有效性。
2021-12-06 math.ST stat.TH
The maximum likelihood degree of sparse polynomial systems
我们考虑的统计模型所产生的一个稀疏的多项式系统的一般系数的解决方案的公共集。最大似然度计算限制于模型的似然函数的临界点的数目。证明了稀疏多项式系统的最大似然度由其牛顿多面体决定,并等于相关拉格朗日方程组的混合体积。
2022-04-19 math.AG math.ST stat.TH
Exact Calculation of Normalized Maximum Likelihood Code Length Using Fourier Analysis
规范化最大似然码长在模型选择中得到了广泛的应用,其良好的性质,如其一致性和其统计风险的上界已经得到了论证。提出了一种基于傅里叶分析的归一化最大似然码长计算方法。我们的方法提供了一个有效的指数族模型的非渐近计算公式和一般参数模型的渐近计算公式,与以前的工作相比,具有较弱的假设。
2018-01-11 math.ST stat.TH
Toric invariant theory for maximum likelihood estimation in log-linear models
我们建立了离散统计模型的不变理论和极大似然估计之间的联系。我们证明了环面轨道上的范数最小化等价于对数线性模型中的极大似然估计。我们使用的概念下的环面行动的稳定性的特点存在的最大似然估计,并讨论连接到缩放算法。
2021-10-04 math.AG math.ST stat.TH
Regularized maximum likelihood estimation of covariance matrices of elliptical distributions
极大似然原理在统计学中有着广泛的应用,其估计量往往具有良好的性质。实际上,极大似然估计量在温和的条件下保证是渐近有效的。然而,在某些设置中,样本太少而无法获得良好的估计。然后,需要考虑关于想要估计的分布的先验信息。一种可能的方法是在贝叶斯背景下扩展最大似然原理,然后变成最大后验估计;然而,这需要分布参数的分布模型。因此,我们将集中在正则化估计的替代方法在本文中,我们将展示如何自然地引入极大似然估计的框架,以及如何将它们扩展到形成强大的估计,可以拒绝离群值。
2016-11-30 math.ST stat.TH
Bounding the maximum likelihood degree
极大似然估计是统计学中的一个基本计算问题。本文给出了离散数据代数统计模型的极大似然度的一个界。像往常一样,这些模型被识别为特殊的非常仿射的品种。利用Franecki和Kapranov的早期工作,我们证明了最大似然度总是小于或等于符号交上同调欧拉示性数。我们构造了一个反例的限制在通常的欧拉示性数由Huh和Sturmfels。
2015-04-17 math.AG math.ST stat.TH
Multilevel maximum likelihood estimation with application to covariance matrices
证明了当最大化被限制在包含真参数值的子空间时,最大似然估计的渐近方差减小。极大似然估计允许协方差模型与样本的系统拟合,这在数据同化中是重要的。分层最大似然方法被应用到谱对角协方差模型与不同的参数化的特征值衰减,和稀疏逆协方差模型与指定的参数值上的不同的非零条目。计算表明,使用较小的参数集可以大大降低高维采样噪声。
2018-01-12 math.ST stat.TH
Asymptotic properties of the maximum likelihood estimator for nonlinear AR processes with markov-switching
本文在预测滤波器具有一致指数遗忘和$α$ -混合性质的假设下,提出了一种新的方法,证明了具有Markov切换的非线性AR过程极大似然估计的相合性和正态性.我们表明,在线性和高斯的情况下,我们的假设是完全满足的。
2016-05-31 math.ST stat.TH
Ergodicity of observation-driven time series models and consistency of the maximum likelihood estimator
本文讨论了一类观测驱动的时间序列模型,特别关注计数的时间序列。我们提供的条件下,存在严格意义上的平稳和遍历版本的这样的过程。然后,对于良定模型和误定模型,得到了极大似然估计的相合性.
2012-10-22 math.ST stat.TH
Maximum Approximated Likelihood Estimation
经验经济学研究经常在似然函数难以解析的情况下应用最大似然估计。大部分的理论文献集中在最大模拟似然(MSL)估计,而经验和模拟分析往往发现,替代的近似方法,如准蒙特卡罗模拟,高斯求积,稀疏网格上的积分表现得更好的数值。本文将MSL估计的理论结果推广到一般的极大近似似然(MAL)估计。我们为模型和近似方法提供了一般条件,以确保一致性和渐近正态性。我们还展示了具体的例子和有限样本的仿真结果。
2019-08-12 econ.EM math.ST stat.TH
Consistency of maximum-likelihood and variational estimators in the Stochastic Block Model
随机块模型(SBM)是一种描述异构有向图和无向图的概率模型.本文利用极大似然法和变分法给出了SBM的渐近推断.证明了SBM的可辨识性,并给出了极大似然估计和变分估计的渐近性质。特别是,这些估计的一致性解决,这是,据我们所知,这是第一个结果,这种类型的变分估计与随机图。
2012-09-30 math.ST stat.TH
Strong consistency of the maximum likelihood estimator for finite mixtures of location-scale distributions when penalty is imposed on the ratios of the scale parameters
在位置-尺度分布的有限混合分布中,如果参数没有约束或惩罚,则极大似然估计不存在,因为似然是无界的。为了避免这个问题,我们考虑一个惩罚的可能性,其中的惩罚是一个函数的比例的最小值的尺度参数和样本量。证明了惩罚极大似然估计是强相合的。我们还分析了惩罚的最大似然估计的一致性,惩罚施加在尺度参数本身。
2008-02-08 math.PR math.ST stat.TH
Sparse maximum likelihood estimation for regression models
本文通过似然比置信区域的渐近性质,提出一种具有稀疏最大似然估计解释的一致模型选择准则,可识别所有活跃变量并优于传统信息准则。
2024-04-08 math.ST stat.TH
Maximum Likelihood Estimation from a Tropical and a Bernstein--Sato Perspective
本文利用热带几何和Bernstein-Sato理论研究了极大似然估计。我们研究了非常仿射簇的临界点,并研究了它们的渐近行为。我们将这些渐近性与热带品种中的特定射线以及Bernstein-Sato理想联系起来,并将其与统计学中的极大似然估计联系起来。
2022-03-03 math.AG math.ST stat.TH
Asymptotics of maximum likelihood estimators based on Markov chain Monte Carlo methods
在许多复杂的统计模型中,无法计算最大似然估计量。本文用真实似然的马尔可夫链蒙特卡罗近似方法解决了这一问题。在主要结果中,我们证明了当两个样本量(初始样本量和MonteCarlo样本量)都趋于无穷大时,估计量的渐近正态性。我们的结果可以应用到模型与棘手的赋范常数和缺失数据模型。
2018-08-08 math.ST stat.TH
A note on the existence of the maximum likelihood estimate in variance components models
本文研究了方差分量模型中最大似然估计和REML估计的存在性问题。指出并纠正了Demjuko和Massam(Sankhybrid 61,1999)的文章中定理3.1证明中的错误,该定理给出了该模型存在最大似然估计的充要条件.本文给出了Demerko和Massam文章中定理3.4关于方差分量的REML估计的存在性的一个新的证明。
2014-10-28 math.ST stat.TH