Asymptotic properties of the maximum likelihood estimation in misspecified hidden Markov models
令$(Y_k)_{k\in \mathbb{Z}}$是概率空间$(Ω,\mathcal{A},\mathbb{P})$上的平稳序列,其值在标准Borel空间$\mathsf{Y}$中。考虑与隐马尔可夫模型的参数化族相关的最大似然估计,使得观测值$(Y_k)_{k\in \mathbb{Z}}$的规律不被假设为由该族的任何隐马尔可夫模型描述。在本文中,我们研究了这种估计在这种错误指定的模型在温和的假设下的一致性。
2013-02-18 math.ST stat.TH
A general theory of particle filters in hidden Markov models and some applications
利用鞅表示,我们得到了隐马尔可夫模型中粒子滤波器的渐近正态性和一个比较简单的渐近方差公式。虽然重复重采样导致样本路径之间的复杂依赖性,渐近方差公式和鞅表示导致隐藏状态的粒子滤波估计的标准误差的相合估计。
2013-12-18 math.ST stat.TH
Hidden Markov Model Where Higher Noise Makes Smaller Errors
考虑状态方程和观测方程中含有小噪声的部分可观测线性高斯系统的参数估计问题。我们描述的渐近性质的极大似然估计和贝叶斯估计的设置状态和观测噪声可能不平等的强度。证明了这两种估计是相合的、渐近正态的、有收敛矩的和渐近有效的。该模型具有一个特殊的功能:状态方程中噪声越大,估计误差越小。证明是基于卡尔曼-布西滤波器和相关的Riccati方程的渐近分析。
2020-10-15 math.ST stat.TH
Hidden Regular Variation: Detection and Estimation
隐藏正则变分定义了满足$\mathbb{E} = [0, \infty]^d \backslash \{(0,0, ..., 0) \} $上的多元正则变分的分布的子族,并对子锥$\mathbb{E}^{(2)} = \mathbb{E} \backslash \cup_{i=1}^d \mathbb{L}_i$上的另一个正则变分建模,其中$\mathbb{L}_i$是第$i$轴。我们还将隐藏正则变化的概念推广到$\mathbb{E}^{(2)}$的子锥上。我们提出了一个程序,用于检测隐藏的规则变化的存在,如果它存在,提出了一种方法,利用其半参数结构的极限测度估计。我们展示的例子中隐藏的规则变化产生更好的估计风险集的概率。
2010-09-03 math.PR math.ST q-fin.RM
Asymptotic properties of the maximum likelihood estimator for Hidden Markov Models indexed by binary trees
本文研究以二叉树为索引、隐状态为一般度量空间的隐马尔可夫模型,在平稳与非平稳情形下证明最大似然估计量的强相合性与渐近正态性,并借助树索引马尔可夫链的遍历定理完成证明。
2024-09-10 math.PR math.ST stat.TH
Living on the multi-dimensional edge: seeking hidden risks using regular variation
多元规则变分在金融、电信、保险和环境科学等不同应用中起着评估尾部风险的作用。经典的理论,是基于一个渐近模型,有时会导致不准确和无用的联合尾部区域的概率估计。这个问题可以通过使用隐藏的规则变化来部分改善[Resnick,2002,Mitra和Resnick,2010]。我们提供了一个更灵活的定义,隐藏的规则变化,提供了更大的一类风险尾部区域的风险估计。
2011-08-29 math.PR math.ST q-fin.RM
Asymptotic operating characteristics of an optimal change point detection in hidden Markov models
设_0,_1,.,其中,n_{ω-1}是具有概率分布P^{θ_0}的隐马尔可夫模型的观测值,设n_ω,n_{ω+1},.是来自具有概率分布P^{θ_1}的隐马尔可夫模型的观测值。参数θ_0和θ_1已给出,而变点ω未知。问题是在分布从P^{θ_0}变为P^{θ_1}之后尽快发出警报,但要避免误报。具体地,我们寻求一个停止规则N,该规则允许我们顺序地观察这些连续性,使得E_{\infty} N是大的,并且受到该约束,sup_kE_k(N-k| N \geq k)尽可能小。这里,E_k表示在变化点k下的期望,而E_{\infty}表示在没有任何变化的假设下的期望。在本文中,我们研究的Shiryayev-Roberts-Pollak(SRP)规则的隐马尔可夫模型的动态系统中的变点检测的性能。利用似然函数的马尔可夫链表示、渐近极大极小策略和贝叶斯规则的结构以及马尔可夫随机游动的序列假设检验理论,我们证明了SRP过程在Pollak [Ann. Statist. 13(1985)206-227]。其次,当ω=1时,我们给出了这种停止方案的期望停时的二阶渐近近似。受隐马尔可夫模型中的序贯分析的启发,给出了马尔可夫随机游动的非线性更新理论。
2005-03-29 math.ST stat.TH
Asymptotic Analysis of Model Selection Criteria for General Hidden Markov Models
本文得到了在实践中广泛使用的模型选择准则的渐近性质的分析结果-对于一般族的隐马尔可夫模型(Himalov),从而大大扩展了相关理论,超越了典型的i.i.d.例如模型结构,并填补了相关文献中的一个重要空白。特别是,我们看贝叶斯和赤池信息标准(BIC和AIC)和模型的证据。在嵌套类模型的设置中,我们证明了BIC和证据是强一致的,而AIC不是弱一致的。数值实验支持我们的理论结果。
2020-03-30 math.ST stat.ME stat.TH
Modeling Multiple Risks: Hidden Domain of Attraction
隐规则变差是多元规则变差的一个子模型,有助于准确估计联合尾概率。我们将隐藏的规则变化模型推广到我们称之为隐藏的吸引区域。我们展示的例子,说明需要一个更一般的模型,并讨论检测和估计技术。
2011-10-04 math.PR math.ST q-fin.RM
On Parameter Estimation of Hidden Ergodic Ornstein-Uhlenbeck Process
考虑部分可观测线性随机微分方程的参数估计问题。我们假设不可观测的Ornstein-Uhlenbeck过程依赖于某个未知参数,并同时估计不可观测过程和未知参数。我们构造了参数估计的两步MLE过程,并描述了它的大样本渐近性质,包括相合性和渐近正态性。使用卡尔曼-布西滤波方程,我们构造的状态和参数的递归估计。
2019-02-22 math.ST stat.TH
Hidden Markov and state space models: asymptotic analysis of exact and approximate methods for prediction, filtering, smoothing and statistical inference
长期以来,状态空间模型在信号处理中扮演着重要的角色。高斯的情况下,可以处理算法使用著名的卡尔曼滤波器。类似地,自20世纪70年代以来,隐马尔可夫模型在语音识别中得到了广泛的应用,其中预测是最重要的目标。这里的基本理论工作,在这种情况下$X$和$Y$有限(小)提供算法和渐近分析推理是鲍姆和同事。在过去的30-40年里,这些通用模型在从基因组学到金融的应用中证明了巨大的价值。除非$X,Y$是联合高斯或$X$是有限的和小的问题,计算的分布讨论和可能性,正是数字棘手的,如果$Y$不是有限的渐近分析变得更加困难。一些新的发展是构建所谓的“粒子滤波器”(Monte Carlo型)方法,用于近似计算这些分布(参见Doucet等人[4]),以及用于分析HMM [2]和其他作者中统计方法的一般渐近方法。我们将讨论这些方法和结果的指数混合特性的条件(后验)分布的$(X_1,X_2,...)$给定$(Y_1,Y_2,...)$已经指出的鲍姆和皮特里和最近的工作的作者比克尔,Ritov和赖登,德尔道德和Jacod,Douc和马蒂亚斯。
2002-12-01 math.ST stat.TH
Asymptotic law of likelihood ratio for multilayer perceptron models
我们考虑回归模型,涉及多层感知器(MLP)与一个隐藏层和高斯噪声。假设数据由真实的MLP模型生成,并且通过最大化模型的似然来估计MLP的参数。当真实模型的隐单元数已知时,极大似然估计(MLE)和似然比(LR)统计量的渐近分布易于计算,并收敛于一个$χ^2$律.然而,如果隐单元的数目被高估,模型的Fischer信息矩阵是奇异的,极大似然估计的渐近行为是未知的。本文讨论了这种情况,并给出了LR统计量的精确渐近律。也就是说,如果MLP的参数位于一个合适的紧集,我们证明了LR统计量是由一类极限得分函数索引的高斯过程的平方的上确界。
2010-11-28 math.ST stat.TH
An asymptotic approximation of the marginal likelihood for general Markov models
标准的贝叶斯信息准则(BIC)的规则性条件下,并不总是满足的图形模型的隐变量。在本文中,我们推导了贝叶斯网络的BIC分数的情况下,二进制数据和底层图是一个有根树和所有的内部节点表示隐藏变量。这为朴素贝叶斯模型提供了一个由Rusakov和Geiger给出的类似公式的直接推广。本文使用的主要工具是拉普拉斯积分的渐近逼近和真正的对数正则阈值之间的连接。
2010-12-03 math.ST stat.TH
Asymptotic properties of the maximum likelihood estimator in autoregressive models with Markov regime
具有马尔可夫状态的自回归过程是这样一种自回归过程,其在每个时间点的回归函数由不可观测的马尔可夫链给出。本文考虑了隐状态空间是紧的但不一定是有限的这类可能非平稳过程的极大似然估计的渐近性质。一致性和渐近正态性遵循一致指数遗忘的初始分布的隐马尔可夫链条件的观察。
2005-03-29 math.ST stat.TH
Parametric inference of hidden discrete-time diffusion processes by deconvolution
研究了隐离散扩散模型的一种新的参数化方法。该方法是基于对比度最小化和反卷积,并导致估计一个大类的非线性漂移和非线性扩散的随机模型。例如,它可以应用于生态和金融状态空间模型。在证明了估计的相合性和渐近正态性,得到了渐近置信区间之后,我们给出了一个详细的数值研究,比较了实际应用中的许多经典方法(非线性最小二乘估计、Monte Carlo期望最大化Likewise估计和贝叶斯估计)对随机波动率模型的估计。我们证明了我们的估计量在计算时间方面明显优于最大似然估计量,但也优于大多数其他方法。我们还表明,这种对比方法是最稳定的,也不需要任何调整参数。
2016-12-19 math.ST stat.TH
Asymptotic Properties of Neural Network Sieve Estimators
神经网络是当今机器学习和人工智能中最常用的方法之一。由于通用逼近定理(Hornik et al.(1989)),具有一个隐藏层的神经网络可以逼近紧支撑上的任何连续函数,只要隐藏单元的数量足够大。从统计学上讲,神经网络可以分为非线性回归框架。然而,如果我们考虑它的参数,由于参数的不可识别性,这是很难得到它的渐近性质。相反,我们认为估计问题的非参数回归的框架,并使用筛估计的结果建立的一致性,收敛速度和渐近正态性的神经网络估计。我们还通过模拟说明了理论的有效性。
2019-09-17 math.ST stat.TH
Theory of Parallel Particle Filters for Hidden Markov Models
本文的目的是研究一种新的粒子滤波方法在隐马尔可夫模型(HMF)的背景下的渐近行为。特别是,我们开发了一种算法,其中的潜在状态序列被分割成多个较短的部分,在每个部分的一个单独的粒子滤波器的基础上的估计技术。分区便于使用并行处理。基于这种方法,我们引入新的估计的潜在状态和可能性,具有类似或更好的方差特性相比,来自标准粒子滤波器的估计。此外,由于并行化,时钟计算时间更少。证明了似然函数估计是无偏的,证明了估计的中心极限定理收敛性,并给出了渐近方差的样本内相合估计。理论分析,数值研究的支持下,表明分割减少了平滑的潜在的状态估计器的方差,除了节省挂钟时间。
2014-09-15 math.ST stat.TH
Maximum Likelihood Estimator for Hidden Markov Models in continuous time
本文研究了在白噪声中连续时间马尔可夫链参数的极大似然估计的大样本渐近性质。利用I.Zagimov和R.Khasminskii的似然弱收敛方法,在链的强遍历性条件下,证明了极大似然估计的相合性、渐近正态性和矩的收敛性.
2009-06-18 math.PR math.ST stat.TH
LAMN property for hidden processes: the case of integrated diffusions
本文证明了由扩散过程$X$的局部均值观测值给出的统计模型的局部渐近混合正态性。我们的数据是由$ \int_0^1 X_{\frac{s+i}{n}} \dd μ(s)$为$i=0,...,n-1$和未知参数出现在扩散系数的过程$X$。虽然数据既不是马尔可夫的也不是高斯的,但我们可以借助Malliavin演算写出模型的对数似然的显式表达式,然后研究其渐近展开。我们实际上发现,该模型的渐近信息是相同的一个通常的离散采样的$X$。
2007-07-02 math.PR math.ST stat.TH
Parameter Estimation for Hidden Markov Models with Intractable Likelihoods
近似贝叶斯计算(ABC)是一种流行的技术,用于近似似然,并经常用于参数估计时,似然函数是解析难处理的。虽然ABC的使用在许多领域都很广泛,但对由此产生的估计量的理论性质却很少有研究。本文从理论上分析了隐马尔可夫模型基于ABC的极大似然参数估计的渐近性质。特别是,我们得出了与标准极大似然估计的一致性和渐近正态性类似的结果。我们还讨论了如何顺序蒙特卡罗方法提供了一个自然的方法来实现基于ABC程序的可能性。
2011-03-28 math.ST stat.ME stat.TH
Maximum Entropy Estimator for Hidden Markov Models: Reduction to Dimension 2
本文在样本量较大的情况下,针对经典的Baum-Welch EM算法计算极大似然估计量的耗时问题,提出了基于隐马尔可夫模型观测序列二维经验分布的最大熵估计量。在一个相当一般的框架下证明了最大熵估计的相合性和渐近正态性,其中渐近协方差阵是用二维Fisher信息显式估计的.作为补充,本文巧妙地利用二维相对熵来研究假设检验问题。此外,我们提出了二维的最大熵算法来寻找最大熵估计,它适用于非常大的观测数据集和大的隐藏状态集。给出了一些数值例子,并对结果进行了评述.
2023-02-18 math.PR math.ST stat.TH
Asymptotic Equivalence for Nonparametric Regression with Non-Regular Errors
将非参数回归实验的Le Cam意义下的渐近等价性推广到非正则误差密度的情形,即在其端点处具有跳跃不连续性.我们证明了这样的回归模型的渐近等价性和两个独立的泊松点过程,其中包含的目标曲线作为其强度函数的支持边界的观察。点过程的强度是样本量$n$的量级,并且涉及跳跃大小以及设计密度。统计模型显着不同的回归问题,高斯或定期的错误,这是已知的渐近等价于高斯白噪声模型。
2011-01-27 math.ST stat.TH
Asymptotic linear expansion of regularized M-estimators
参数化高维回归分析需要使用正则化项来得到可解释的模型。相应的估计可以被视为正则化的M-泛函,这自然是高度非线性的。我们研究了在什么条件下这些M-泛函是紧可微的,使得相应的估计允许渐近线性展开。在一步构造中,对于适当一致的起始估计量,该线性化通过评估给定数据点处的相应影响曲线来代替求解最优化问题。我们展示了在哪些条件下渐近线性展开是有效的,并提供了适合这个框架的机器学习算法的具体例子。
2019-09-02 math.ST stat.TH
Estimating the size of a hidden finite set: large-sample behavior of estimators
一个有限集是“隐藏”的,如果它的元素是不能直接确定的,或者如果它的大小不能通过确定性查询确定。在公共卫生、流行病学、人口学、生态学和情报分析领域,研究人员已经开发了各种间接统计方法,根据不同的抽样和观察模型,用于估计隐藏集的大小。一些方法利用已知或可估计的抽样概率进行随机抽样,而另一些方法则对构成隐藏集合的元素之间的关系(例如排序或网络信息)进行结构性假设。在这篇综述中,我们描述了学习隐藏有限集的大小的模型和方法,特别注意估计量的渐近性质。我们研究了这些方法的性质下两个渐近制度,“填充”中的固定大小的样本的数量增加,但总体规模保持不变,和“溢出”中的样本量和总体规模一起增长。在这两种制度下的统计特性可能会有很大的不同。
2019-10-15 math.ST stat.AP stat.ME
Asymptotics and finite sample bounds for prediction and smoothing in Wright-Fisher hidden Markov models
Duke University(杜克大学);University of Torino(都灵大学);New York University Abu Dhabi(阿布扎比纽约大学)
本研究针对Wright-Fisher隐马尔可夫模型,证明预测与平滑分布在重复抽样下收敛于群体转移律和桥律,并给出有限样本界及渐近分布,适用于古DNA等时间序列数据。
2026-10-28 math.PR math.ST q-bio.PE
Necessary and sufficient graphical conditions for optimal adjustment sets in causal graphical models with hidden variables
German Aerospace Center(德国航空航天中心);Institute of Data Science(数据科学研究所);Technische Universität Berlin(柏林工业大学)
本文针对含隐变量的因果图模型,提出以最大化调整信息刻画最优性,给出最优调整集存在且有效的必要充分图条件及构造算法,并证明其渐近方差最优,实验验证了其广泛适用性。
2023-06-23 cs.IT cs.LG math.IT