Maximum Likelihood Estimator for Hidden Markov Models in continuous time
本文研究了在白噪声中连续时间马尔可夫链参数的极大似然估计的大样本渐近性质。利用I.Zagimov和R.Khasminskii的似然弱收敛方法,在链的强遍历性条件下,证明了极大似然估计的相合性、渐近正态性和矩的收敛性.
2009-06-18 math.PR math.ST stat.TH
Asymptotic Properties of the Maximum Likelihood Estimator in Regime Switching Econometric Models
马尔可夫状态转换模型在经济学和金融学中有着广泛的应用。然而,最大似然估计(MLE)的渐近分布还没有被证明为一些经验流行的马尔可夫状态转换模型。特别是,MLE的渐近分布一直是未知的模型,其中的转移概率矩阵的一些元素的值为零,通常假设在经验应用与模型超过两个政权。这也包括模型,其中特定的制度密度取决于当前和滞后的制度,如汉密尔顿(1989年)的开创性模型和切换模型的汉密尔顿和Susmel(1994年)。本文证明了这些模型的极大似然估计的渐近正态性和渐近协方差阵估计的相合性。
2018-06-28 math.ST stat.TH
Asymptotic properties of the maximum likelihood estimator for Hidden Markov Models indexed by binary trees
本文研究以二叉树为索引、隐状态为一般度量空间的隐马尔可夫模型,在平稳与非平稳情形下证明最大似然估计量的强相合性与渐近正态性,并借助树索引马尔可夫链的遍历定理完成证明。
2024-09-10 math.PR math.ST stat.TH
Maximum Likelihood Estimation for a Markov-Modulated Jump-Diffusion Model
当数据是扩散过程的离散时间样本,跳跃服从Laplace分布,扩散过程的参数由马尔可夫跳跃过程控制时,提出了一种求马尔可夫调制跳跃扩散模型(MMJDM)的极大似然估计(MLE)的方法.这些数据可以被看作是一个模型的不完全观测,具有易处理的似然函数。因此,我们使用EM算法来获得参数的MLE。我们验证我们的方法与模拟数据。获得该模型估计的动机是股票价格在不同的时间段具有不同的漂移和波动性。假设这些阶段受到宏观经济环境的调节,宏观经济环境的变化是由价格的不连续或跳跃引起的。该模型改进了经典模型如Black和Scholes模型或Merton的跳跃扩散模型(JDM)的股票价格表示。我们将该模型与亚马逊和Netflix在15年期间的股价进行了拟合,并使用我们的方法来估计MLE。
2022-11-30 math.ST q-fin.MF stat.TH
Consistency of the maximum likelihood estimator for general hidden Markov models
考虑一个参数化的一般隐马尔可夫模型族,其中观察到的和未观察到的分量都在一个完全可分的度量空间中取值。我们证明了最大似然估计(MLE)的参数是强一致的,而最小的一组假设。作为主要结果的特例,我们得到了一大类非线性状态空间模型的一致性,以及线性高斯状态空间模型和有限状态模型的一般结果.我们的方法的一个新的方面是一个信息理论的技术证明可识别性,这不需要一个明确的表示相对熵率。因此,我们的证明方法可以为更一般的依赖和非马尔可夫时间序列中MLE一致性的研究奠定基础。本文还对$V$ -一致遍历马尔可夫链的一般集中不等式进行了研究.
2011-03-09 math.ST stat.TH
On the Existence of the MLE for a Directed Random Graph Network Model with Reciprocation
Holland和Leinhardt(1981)提出了一个有向随机图模型,即p1模型,来描述社会网络中的二元交互。在以前的工作中(Petrovic等人,2010),我们研究了p1模型的代数性质,并证明了它是由多齐次理想指定的复曲面模型。我们进行了广泛的研究马尔可夫基地P1明确纳入多同质性所产生的约束。在这里,我们考虑相应的复曲面品种的属性,并将它们与最大似然和扩展的最大似然估计或模型参数的存在条件。我们的结果直接关系到p1模型的估计和条件拟合优度检验问题。
2010-10-05 math.ST stat.TH
MLE-induced Likelihood for Markov Random Fields
University of Wisconsin, Madison(威斯康星大学麦迪逊分校)
Due to the intractable partition function, the exact likelihood function for a Markov random field (MRF), in many situations, can only be approximated. Major approximation approaches include pseudolikelihood and Laplace approximation. In this paper, we propose a novel way of approximating the likelihood function through first approximating the marginal likelihood functions of individual parameters and then reconstructing the joint likelihood function from these marginal likelihood functions. For approximating the marginal likelihood functions, we derive a particular likelihood function from a …
2018-03-27 cs.AI cs.LG stat.ML
A new class of conditional Markov jump processes with regime switching and path dependence: properties and maximum likelihood estimation
本文提出了一类新的具有状态转换和路径依赖的条件马尔可夫跳过程。开发过程的关键新功能在于它能够切换的过渡率,因为它从一个状态到另一个切换概率取决于当前状态和时间的过程,以及它过去的轨迹。因此,从当前状态到另一个状态的转换取决于进程在该状态下的保持时间。该过程的分布特性是明确的速度制度表示的有限数量的不同的过渡矩阵,在每个状态下,和过去实现的过程中,选择政权成员的概率。特别是,它具有分布等价随机表示,具有Frydman和Surya(2020)中引入的马尔可夫跳跃过程的一般混合。导出了过程分布参数的封闭形式的最大似然估计。使用期望最大化算法迭代地进行估计。赤池信息准则用于评估所选模型的拟合优度。导出了极大似然估计的显式观测费舍尔信息矩阵,用于计算极大似然估计的标准误。信息矩阵采用Louis(1982)的一般矩阵公式的简化形式。给出了极大似然估计的大样本性质。特别地,转移率极大似然估计的协方差阵等于Cramér-Rao下界,而体制成员极大似然估计的协方差矩阵小于Cramér-Rao下界.模拟研究证实了这些发现,并表明,参数估计是准确的,一致的,并具有渐近正态性的样本量增加。
2021-07-14 cs.IT cs.SY eess.SY
Maximum Likelihood Estimation of Diffusions by Continuous Time Markov Chain
本文提出了一种估计参数扩散过程参数的新方法。我们的方法是基于一个封闭形式的极大似然估计的近似连续时间马尔可夫链(CTMC)的扩散过程。与典型的时间离散化方法不同,例如Shoji-Ozaki或Kessler方法的伪似然近似,CTMC近似在参数估计期间不引入时间离散化误差,因此非常适合于具有不频繁采样数据的典型计量经济学情况。由于CTMC的结构,我们能够获得封闭形式的近似样本的可能性,一般单变量扩散。状态离散化方法与近似MLE(时间离散化)和精确MLE(适用时)的比较表明CMTC估计器具有良好的性能。除了真实数据实验与外汇利率和固定到期利率的模拟例子。
2021-08-28 math.PR math.ST stat.ME
Approximation of BSDE with Hidden Forward Equation and Unknown Volatility
本文考虑了在小高斯噪声存在下观测到向前方程解的情形下,Bundle解的逼近问题。我们假设向前方程的波动率依赖于一个未知参数。这种近似分几步进行。首先得到了未知参数的一个初步估计,然后利用卡尔曼-布西过滤方程和Fisher评分装置构造了该参数的一步MLE过程。用偏微分方程的解和一步极大似然估计过程来逼近Besides问题的解。近似误差用不同的度量来描述。
2020-10-15 math.ST stat.TH
High-dimensional Inference and FDR Control for Simulated Markov Random Fields
University of California San Diego(加利福尼亚大学圣迭戈分校);University of Wisconsin–Madison(威斯康星大学麦迪逊分校);University of Alberta(阿尔伯塔大学);Beihang University(北京航空航天大学);Zhuhai UM Science & Technology Research Institute(珠海澳大科技研究院)
本文针对高维模拟马尔可夫随机场,提出基于MCMC-MLE与Elastic-net正则化的推断方法,并构建去相关得分检验及两种FDR控制程序,数值模拟验证了其理论有效性。
2024-01-20 cs.LG math.ST stat.ML
The maximizing set of the asymptotic normalized log-likelihood for partially observed Markov chains
本文研究一类参数化的部分可观测二元马尔可夫链。我们建立了,在非常温和的假设下,当参数属于真实参数的等价类时,归一化对数似然函数的极限最大化,这是在指定的模型中获得最大似然估计(MLE)的一致性的一个关键特征。这个结果是在部分支配模型的一般框架下得到的。我们研究两个具体的情况下,即隐马尔可夫模型(HHALF)和观测驱动的时间序列模型。与以前的方法相比,可识别性是通过依赖于与完整数据相关联的马尔可夫链的不变分布的唯一性来解决的,而不管其收敛到平衡的收敛速率如何。
2015-09-30 math.ST stat.TH
Volatility Estimation of Hidden Markov Processes and Adaptive Filtration
考虑了观测值中含有低噪声的部分可观测线性随机微分方程系统。核型估计用于估计观测过程极限导数的二次变差。然后将该估计量用于不可观测成分波动率平方积分的非参数估计。该估计器也用于构造替代估计器的情况下,在可观测分量的漂移和波动的状态分量依赖于一些未知的参数。然后,这种替代估计器和费舍尔评分设备允许我们介绍一步MLE过程和自适应卡尔曼-布西滤波器。
2022-11-22 math.ST stat.TH
Analysis of sojourn time distributions for semi-Markov models
这份报告的目的是研究自然产生于半马尔可夫模型的某些逗留时间分布。为此,它描述了一个家庭的离散分布,扩展了几何分布的有限和无限的时间。给出了矩母函数、均值和方差的计算公式,并给出了具体的例子。我们考虑特定的参数化子族;线性因子模型和简单多项式因子模型。我们数值模拟绘制这些分布和解决的极大似然估计(MLE)的每个子家族的参数,包括非常小的样本量。然后,报告描述了MLE偏倚和方差的确定,并显示了它们与费舍尔信息的相关性,其中随着样本量的增加,它们表现出适当的浓度效应。最后,该报告解决了这些方法的应用实验数据,这表明了一个强大的适合与简单的多项式因子模型。
2022-06-22 math.PR math.ST stat.CO
The level of self-organized criticality in oscillating Brownian motion: $n$-consistency and stable Poisson-type convergence of the MLE
University of Freiburg(弗赖堡大学)
研究振荡布朗运动中自组织临界性水平的MLE收敛性,证明其n-一致性及稳定泊松型极限分布。
2026-09-23 math.PR math.ST stat.TH
Hidden AR Process and Adaptive Kalman Filter
本文针对含未知参数的部分观测线性系统,提出一种基于矩估计、一步MLE与卡尔曼滤波相结合的自适应滤波方法,并分析了各估计量的渐近性质及自适应滤波的渐近效率。
2023-04-19 math.ST stat.TH
Inference for a Step-Stress Model With Type-II and Progressive Type-II Censoring and Lognormally Distributed Lifetimes
加速寿命试验(ALT)是检验高可靠性产品可靠性的一项非常有用的技术。它允许在高于通常的应力条件下测试产品,从而比在典型条件下更快速、更经济地引发故障。ALT的一个特殊情况是步进应力测试,允许实验者在固定时间增加应力水平。本文研究了定时截尾和渐进定时截尾下对数正态分布累积暴露模型下的多步阶跃应力模型。对于该模型,导出了其参数的最大似然估计(MLE)以及相应的观测Fisher信息矩阵(FI)。似然方程不会导致MLE的封闭形式的表达式,并且它们需要通过迭代过程(例如Newton-Raphson方法)来求解。然后,我们评估的偏差和均方误差的估计,并提供渐近和自助置信区间。最后,为了评估置信区间的性能,进行了蒙特卡罗模拟研究。
2020-05-14 math.ST stat.TH
Hidden Ergodic Ornstein-Uhlenbeck Process and Adaptive Filter
本文针对部分观测线性随机微分方程,提出一种基于矩估计、一步极大似然估计和卡尔曼-布西滤波的三步自适应滤波方法,并证明其渐近有效性。
2023-04-18 math.ST stat.TH
Continuous Time Markov Chains for Analysis of Non-Alcoholic Fatty liver Disease Evolution
本文用四状态连续时间马尔可夫链(CTMC)模型描述非酒精性脂肪肝(NAFLD)的发展过程,用极大似然估计(MLE)方法估计各状态之间的转移强度。同时计算了转移概率。估计平均逗留时间及其方差以及状态概率分布及其渐进协方差阵。同时还得到了重要的统计指标之一的患者预期寿命。本文阐述了在纵向研究中使用最大似然估计来补偿患者随访期间缺失值的新方法。这种新的方法也产生的估计率之间的状态近似等于观察到的速率。
2021-11-12 stat.AP
Adaptive Penalized Likelihood method for Markov Chains
针对马尔可夫链转移概率矩阵估计不准及高维LRT效率低的问题,研究将自适应Lasso扩展至马尔可夫链,提出基于惩罚极大似然估计的新模型,具有神谕性质且在模拟与实际数据中表现优异。
2024-06-01 stat.AP stat.ME
Location estimation for symmetric log-concave densities
我们重新估计的对称中心$θ$的一个未知的对称密度$f$的问题。尽管Stone(1975)、Van Eden(1970)和Sacks(1975)在该模型中构造了$θ$的自适应估计量,但它们的估计量依赖于调节参数。在努力规避的依赖于调整参数,我们强加了额外的假设,对$f$的对数。我们证明了在这个形状限制模型中,存在$θ$的极大似然估计(MLE)。我们还研究了一些截断一步估计,证明了它们是$\sqrt{n}-$相容的,并且几乎达到渐近有效界。我们还证明了极大似然估计的收敛速率是$O_p(n^{-2/5})$。此外,我们表明,我们的估计是强大的违反对数假设。事实上,我们证明了一步估计仍然是$\sqrt{n}$ -相容的一些温和的条件下。这些分析结论得到了模拟研究的支持。
2019-11-14 math.ST stat.TH
Consistency of the maximum likelihood estimator in seasonal hidden Markov models
在本文中,我们介绍了隐马尔可夫模型的一个变种,其中的状态之间的转移概率,以及排放分布,不是恒定的时间,但在一个周期性的方式变化。这类模型,我们称之为季节性隐马尔可夫模型(SHMM),在实践中特别有用,因为许多应用都涉及季节性行为。然而,到目前为止,还没有关于这种模型的理论结果。我们表明,在温和的假设下,SHMM是可识别的:我们可以识别的过渡矩阵和发射分布的联合分布的观察期间,状态标签。我们还给出了极大似然估计强相合的充分条件。将这些结果应用于模拟数据,使用期望最大化算法来计算MLE。最后,我们展示了如何SHMM可以用于在现实世界中的应用,通过将我们的模型应用到降水数据,与混合物的指数分布的排放分布。
2018-02-20 stat.AP stat.ME
Nonparametric mixture MLEs under Gaussian-smoothed optimal transport distance
Department of Statistics, University of Washington(华盛顿大学统计系);Department of Statistics, University of Chicago(芝加哥大学统计系)
高斯平滑最优输运(GOT)框架由Goldfeld et al.(2020)开创,并由一系列后续论文跟进,迅速引起了统计学,机器学习,信息论和相关领域研究人员的关注。其中的一个关键观察是,通过适应GOT框架而不是其未平滑的对应物,可以解除使用经验测量来近似真实数据生成分布的维数灾难。本文证明了一个相关的观察适用于离散指数族模型中非参数混合分布的估计,在GOT代价下,非参数MLE的估计精度可以加速到多项式速率.这与基于非平滑度量的经典子多项式速率形成鲜明对比,从信息理论的角度来看,这是无法改进的。在我们的分析中的一个关键步骤是建立一个新的杰克逊型近似界的高斯卷积Lipschitz函数。这种见解桥梁现有的技术分析的非参数MLE和新的GOT框架。
2021-12-04 cs.IT cs.LG math.IT
Uncertainty Quantification of Spectral Estimator and MLE for Orthogonal Group Synchronization
针对正交群同步中MLE和谱估计器的不确定性量化问题,本文利用似然函数正交约束推导其二阶展开式,得到主导项为反对称高斯随机矩阵,还附带极小极大风险界和置信区域,提供通用理论框架并经数值实验验证。
2025-02-20 cs.IT math.IT math.OC
One-Step Estimation With Scaled Proximal Methods
我们研究使用迭代最优化方法计算的统计估计量,这些方法在完成之前不会运行。经典的极大似然估计(MLE)的结果断言,一步估计(OSE),其中一个单一的Newton-Raphson迭代是从一个具有某些性质的起点执行,是渐近等价于MLE。我们进一步发展这些早期停止的结果,通过推导一步估计的性质定义的一个单一的迭代缩放的邻近方法。我们的主要结果表明,渐近等价的似然为基础的估计和各种一步估计定义的尺度邻近方法。通过将OSE解释为一系列迭代的最后一个,我们的结果提供了对缩放数值公差与样本量的见解。我们的设置包含缩放的近端梯度下降适用于某些复合模型作为一个特例,使我们的结果适用于许多实际问题。此外,我们的结果通过将缩放近端下降解释为应用于缩放莫罗包络的拟牛顿法,为缩放莫罗包络作为统计平滑器的实用性提供了支持。
2021-06-24 math.OC math.ST stat.CO
Rescuing neural spike train models from bad MLE
Stony Brook University(石溪大学);Biomedicine Research Institute of Buenos Aires(布宜诺斯艾利斯生物医学研究所)
拟合自回归尖峰训练模型的标准方法是最大化一步预测的可能性。这种极大似然估计(MLE)通常会导致模型在递归生成多个时间步长的样本时表现不佳。此外,生成的尖峰序列可能无法捕获数据的重要特征,甚至显示出不同的放电率。为了缓解这一问题,我们建议直接使用尖峰训练内核最大限度地减少神经记录和模型生成的尖峰训练之间的分歧。我们开发了一种方法,随机优化内核引起的最大平均差异。在真实和合成神经数据上进行的实验验证了所提出的方法,表明它可以产生性能良好的模型。使用不同的组合尖峰训练内核,我们表明,我们可以控制不同的功能之间的权衡,这是处理模型失配的关键。
2020-10-23 cs.LG stat.ML
High-Dimensional Covariance Decomposition into Sparse Markov and Independence Domains
University of California at Irvine(加州大学欧文分校)
在本文中,我们提出了一个新的框架,结合稀疏模型在不同的领域。我们将观测数据作为稀疏高斯马尔可夫模型(具有稀疏精度矩阵)和稀疏高斯独立模型(具有稀疏协方差矩阵)的线性组合生成。我们提供了有效的方法分解成两个域,\viz马尔可夫和独立域的数据。我们刻画了一组充分条件的可识别性和模型的一致性。我们的分解方法是基于一个简单的修改流行的$\ell_1$惩罚最大似然估计($\ell_1$ -MLE)。我们确定我们的估计量在两个域中是一致的,即,当样本数$n$为$n = Ω(d^2 \log p)$时,它成功地恢复了马尔可夫模型和独立模型的支持度,其中$p$是马尔可夫模型中的变量数,$d$是马尔可夫模型中的最大节点度.我们的恢复条件是可比的$\ell_1$ -MLE一致估计的稀疏马尔可夫模型,因此,我们保证成功的高维估计的一个更丰富的一类模型在可比条件下。我们的实验验证了这些结果,也表明我们的模型有更好的推理精度下简单的算法,如循环的信念传播。
2012-06-27 cs.LG stat.ML
Sample-Efficient Reinforcement Learning of Partially Observable Markov Games
Princeton University(普林斯顿大学);DeepMind(深度思维);University of Alberta(阿尔伯塔大学)
针对部分可观测条件下的多智能体强化学习(MARL)问题,提出了一种基于部分可观测性的多智能体强化学习方法.本文在多人一般和部分可观察马尔可夫博弈(POMG)的一般模型下研究了这些任务,POMG模型明显大于不完全信息可拓形式博弈(IIEFG)的标准模型。我们确定了一个丰富的子类POMG-弱揭示POMG-其中样本有效的学习是易于处理的。在自我发挥的设置,我们证明了一个简单的算法相结合的乐观和最大似然估计(MLE)是足够的找到近似纳什均衡,相关的均衡,以及粗糙的相关均衡弱揭示POMG,在多项式数量的样本时,代理的数量很小。在对抗对手的设置中,我们表明,我们的乐观MLE算法的一个变体是能够实现次线性遗憾时,与最佳的最大最小化政策进行比较。据我们所知,这项工作提供了学习POMG的第一行样本有效的结果。
2022-10-17 cs.AI cs.GT cs.LG
Efficient Inference of Spatially-varying Gaussian Markov Random Fields with Applications in Gene Regulatory Networks
在本文中,我们研究的问题,推断空间变化的高斯马尔可夫随机场(SV-GMRF)的目标是学习一个网络的稀疏,上下文特定的GMRF代表基因之间的网络关系。SV-GMRF的一个重要应用是从空间分辨转录组学数据集推断基因调控网络。SV-GMRF的推理是基于正则化的极大似然估计(MLE),由于其高度非线性的性质,遭受压倒性的高计算成本。为了缓解这一挑战,我们提出了一个简单而有效的优化问题,以代替MLE,配备了强大的统计和计算保证。我们提出的优化问题在实践中非常有效:我们可以在不到2分钟的时间内解决超过200万个变量的SV-GMRF实例。我们应用开发的框架来研究胶质母细胞瘤中的基因调控网络如何在组织内空间重新布线,并确定转录因子HES 4和核糖体蛋白的突出活性,以表征肿瘤血管周围小生境中的基因表达网络,该小生境已知具有耐药性干细胞。
2022-06-21 stat.AP stat.ME stat.ML
Efficient likelihood estimation in state space models
基于研究随机波动率模型中极大似然估计的渐近性质,本文研究了状态空间模型中的似然估计。我们首先证明,在一定的正则性条件下,有一个一致的序列的根的似然方程是渐近正常的逆的Fisher信息作为其方差。如果额外假设似然方程对于每个$n$都有唯一的根,则存在未知参数的估计量的一致序列。此外,如果对数似然函数的上确界是可积的,则极大似然估计存在且强相合。建立了似然方程的近似解的Edgeworth展开式。文中给出了马尔可夫转换模型、ARMA模型、(G)Markov模型和随机波动率(SV)模型的实例。
2010-11-12 math.ST stat.TH
On Approximation of the Backward Stochastic Differential Equation
本文研究了马尔可夫情形下倒向随机微分方程解的逼近问题。我们假设扩散过程的趋势系数依赖于某个未知参数,并且该方程的扩散系数很小。我们提出了一个近似的解决方案的基础上的一步MLE的未知参数,我们表明,这种近似是渐近有效的“小噪声”的渐近。
2013-05-16 math.PR math.ST stat.TH
On Parameter Estimation of Hidden Telegraph Process
研究了在高斯白噪声背景下,利用两态电报过程的观测值进行参数估计的问题。矩量法估计量的性质在大样本渐近性中得到了描述。然后将该估计量作为初始估计量构造一步MLE过程,得到未知参数的渐近正态和渐近有效估计。
2015-09-09 math.ST stat.TH
High-Dimensional Covariance Decomposition into Sparse Markov and Independence Models
拟合高维数据涉及到忠实表示和稀疏模型的使用之间的微妙权衡。通常,拟合模型上的稀疏性假设过于严格,无法提供观测数据的忠实表示。本文提出了一种在不同领域结合稀疏性的新框架,将观测到的协方差阵分解为稀疏高斯马尔可夫模型(具有稀疏精度矩阵)和稀疏独立模型(具有稀疏协方差阵)。我们的框架将稀疏协方差和稀疏精度估计作为特例,从而引入了更丰富的高维模型。我们刻画了两个模型,\viz马尔可夫模型和独立模型的可识别性的充分条件。我们提出了一种有效的分解方法的基础上修改流行的$\ell_1$惩罚最大似然估计($\ell_1$ -MLE)。我们确定我们的估计量在两个域中是一致的,即,当样本数$n$为$n = Ω(d^2 \log p)$时,它成功地恢复了马尔可夫模型和独立模型的支持度,其中$p$是马尔可夫模型中的变量数,$d$是马尔可夫模型中的最大节点度.我们的实验验证了这些结果,也表明我们的模型有更好的推理精度下简单的算法,如循环的信念传播。
2013-12-14 math.ST stat.ML stat.TH
On Parameter Estimation of Hidden Ergodic Ornstein-Uhlenbeck Process
考虑部分可观测线性随机微分方程的参数估计问题。我们假设不可观测的Ornstein-Uhlenbeck过程依赖于某个未知参数,并同时估计不可观测过程和未知参数。我们构造了参数估计的两步MLE过程,并描述了它的大样本渐近性质,包括相合性和渐近正态性。使用卡尔曼-布西滤波方程,我们构造的状态和参数的递归估计。
2019-02-22 math.ST stat.TH
MLE of Jointly Constrained Mean-Covariance of Multivariate Normal Distributions
估计无约束均值和协方差阵是统计学中的一个热门话题。然而,在诸如$Σμ= μ$的联合约束下的$N_p(μ,Σ)$的参数的估计没有受到太多的关注。它可以被看作是一个多变量对应的经典估计问题的$N(θ,θ^2)$分布。除了在参数(弯曲指数族)之间的这种非线性约束下的通常推断挑战之外,在估计协方差阵时,必须处理对称性和正定性的基本要求。我们推导了$(μ,Σ)$的约束极大似然估计的非线性似然方程,并使用迭代方法求解。通常,使用迭代方法计算的协方差阵的MLE不满足约束。我们提出了一种新的算法来修改这样的(不可行的)估计或任何其他(合理的)估计。关键步骤是使用回归的思想沿着协方差阵的特征向量重新对齐均值向量。在将拉格朗日函数用于约束MLE(Aitchison et al. 1958)时,拉格朗日乘子与感兴趣的参数纠缠在一起,并提出了另一个计算挑战。我们通过迭代或显式计算拉格朗日乘子来处理这个问题。利用随机矩阵理论的最新结果,在数据依赖的凸集内研究了约束极大似然估计的存在性和位置性质。仿真研究说明了我们的方法,并表明,修改后的估计比初始估计的迭代方法。
2020-12-22 stat.ME
Self-organized regime switching in null-recurrent dynamics
University of Freiburg(弗赖堡大学)
研究无复发动力学中参数ρ的轮廓MLE收敛速率和极限分布,揭示其在低频渐近中的自组织模式切换特性,证明其统计推断有效性。
2026-11-10 math.PR math.ST stat.TH
On Learning Continuous Pairwise Markov Random Fields
Massachusetts Institute of Technology(麻省理工学院)
我们考虑从i.i.d样本中学习具有连续值变量的稀疏成对马尔可夫随机场(MRF)。我们调整了Vuffray等人的算法。(2019)在这种情况下,并提供有限样本分析,揭示样本复杂性随变量数量的变化规律,如离散和高斯设置。我们的方法是适用于一个大类的成对MRF连续变量,也有理想的渐近性质,包括在温和的条件下的一致性和正态性。此外,我们确定Vuffray等人(2019)中采用的优化标准的群体版本可以解释为局部最大似然估计(MLE)。作为我们分析的一部分,我们引入了稀疏线性回归a` la Lasso的稳健变化,这可能本身就很有趣。
2020-10-28 cs.LG stat.ML
Marginally Parametrized Spatio-Temporal Models and Stepwise Maximum Likelihood Estimation
为了学习大型时空数据的复杂特征,通常需要具有大参数集的模型。然而,由于极大似然估计(MLE)的计算和存储成本,估计大量的参数往往是不可行的。我们介绍了一类边际参数化(MP)模型,其中的推理可以有效地进行一系列的边际(估计)似然函数通过逐步极大似然估计(SMLE)。我们给出了逐步估计相合的条件,并证明了这类模型包括对角向量自回归滑动平均模型。我们证明,该模型的参数可以获得至少三个数量级的速度使用SMLE相比,MLE,只有一个小的损失,统计效率。我们将MP模型应用于由500多万个数据点组成的时空全球气候数据集(以了解气候科学家感兴趣的复杂特征),并演示了如何在不到一个小时的时间内在笔记本电脑上进行估计。
2018-06-29 stat.CO
Poisson Source Localization on the Plane. Smooth Case
利用非齐次Poisson过程的观测值来研究Poisson源的局部化问题。我们假设平面上有$k$探测器,每个探测器提供泊松过程的观测,泊松过程的强度函数依赖于发射器的位置。我们描述了最大似然估计和贝叶斯估计的性质。我们证明了在正则性条件下,这些估计是相合的,渐近正态的和渐近有效的。然后,我们提出了一些简单的一致性估计,这些估计进一步被用来构造渐近有效的一步MLE过程。
2018-06-17 math.ST stat.TH
A Robbins Monro algorithm for nonparametric estimation of NAR process with Markov-Switching: consistency
本文考虑马尔可夫切换下的泛函自回归过程的非参数估计。首先,我们研究的情况下,完整的数据是可用的,即当我们观察马尔可夫切换制度。然后,我们估计的回归函数在每个政权使用Nadaraya-Watson型估计。其次,我们介绍了隐马尔可夫切换制度的情况下,非参数递归算法。我们的算法通过Monte-Carlo步骤恢复丢失的数据,并通过Robbins-Monro步骤估计回归函数。在这两种情况下,估计的一致性证明。最后,我们提出了一些模拟数据的数值实验,说明我们的非参数估计过程的性能。
2015-03-17 math.ST stat.TH
Direct sampling from conditional distributions by sequential maximum likelihood estimations
The Institute of Statistical Mathematics, Japan(日本统计数学研究所)
本文提出了一种基于顺序最大似然估计的近似算法,用于直接从对数仿射模型的条件分布中采样,无需前期研究。
2025-11-19 math.ST stat.TH
MSTest: An R-Package for Testing Markov Switching Models
本文介绍了R包MSTest,它通过实现多种假设检验程序来识别马尔可夫切换模型中的状态数量,并支持利用EM算法或MLE模拟与估计相关过程,最后通过实验和实际数据验证了其功能。
2024-11-12 econ.EM stat.CO stat.ME
Stochastic Learning for Sparse Discrete Markov Random Fields with Controlled Gradient Approximation Error
UW-Madison(威斯康星大学麦迪逊分校);University of Washington(华盛顿大学)
我们研究了离散马尔可夫随机场(MRF)的$L_1$正则化最大似然估计/估计(MLE)问题,其中高效和可扩展的学习需要稀疏正则化和近似推理。为了解决这些挑战,我们考虑了一种称为随机邻近梯度的随机学习框架(SPG; Honorio 2012 a,Atchade et al. 2014,Miasojedow and Rejchel 2016)。SPG是一种不精确的近端梯度算法[Schmidtet等人,2011年],其不精确性源于梯度近似的随机预言(吉布斯采样)-由于离散MRF的NP难推理问题,精确梯度评估通常是不可行的[Koller和Friedman,2009年]。在理论上,我们提供了新的可验证的边界来检查和控制梯度逼近的质量。在实验上,我们提出了基于可验证边界的收紧渐近(TAY)学习策略,以提高SPG的性能。
2020-05-12 cs.LG stat.ML
Sparse Inverse Covariance Matrix Estimation Using Quadratic Approximation
University of Texas, Austin(德克萨斯大学奥斯汀分校)
L1-正则化高斯最大似然估计(MLE)已被证明具有很强的统计保证,在恢复稀疏逆协方差矩阵,或替代的高斯马尔可夫随机场的底层图形结构,从非常有限的样本。我们提出了一种新的算法来解决由此产生的优化问题,这是一个正则化的对数行列式程序。与最近的最先进的方法,主要使用一阶梯度信息,我们的算法是基于牛顿的方法,并采用二次近似,但有一些修改,利用稀疏高斯MLE问题的结构。我们证明了我们的方法是超线性收敛的,并使用合成和真实世界的应用数据,证明了我们的方法的性能相比,其他国家的最先进的方法有相当大的改善目前的实验结果。
2013-06-13 cs.LG stat.ML
On the incidence-prevalence relation and length-biased sampling
对于许多疾病,后勤和其他限制往往使大发病率研究难以进行,如果不是不可能的话。这成为一个缺点,特别是当每次在不同人群中调查疾病发病率时都需要进行新的发病率研究时。然而,如果发病率是恒定的,通过进行随访的流行队列研究,可以估计发病率。在本文中,我们推导出极大似然估计(MLE)的总体发病率,$λ$,以及年龄特异性发病率,利用众所周知的流行病学关系,患病率=发病率$\times$平均持续时间($P = λ\times μ$)。我们建立了极大似然估计的渐近分布,给出了参数的近似置信区间,并指出$λ$的极大似然估计是渐近最有效的。此外,$λ$的极大似然估计是通过在表达式$P = λ\times μ$中分别替换P和$μ$的边际极大似然估计而获得的自然估计。我们的工作与Keiding(1991,2006)的工作相关,Keiding使用马尔可夫过程模型,提出了三种不同情景下流行队列研究\emph{without}随访的发病率估计值。然而,每一种情景都需要特定疾病的假设,并取决于人口水平流行病学数据的可用性。通过后续行动,我们能够消除这些限制,我们的结果适用于各种情况。我们应用我们的方法收集的数据作为加拿大健康与老龄化研究的一部分,以估计老年加拿大人痴呆症的发病率。
2008-08-08 stat.AP stat.ME
Adaptive Kalman Filter for Systems with Unknown Initial Values
Le Mans University(勒芒大学);Tomsk State University(托木斯克国立大学)
本文提出了一种自适应卡尔曼滤波器,用于处理具有未知初始值的线性随机微分方程模型,并探讨了其渐近最优性。
2025-12-17 math.PR math.ST stat.TH
Scalable Inference of Sparsely-changing Markov Random Fields with Strong Statistical Guarantees
University of Michigan(密歇根大学);University of Southern California(南加州大学)
在本文中,我们研究的问题,推断时变马尔可夫随机场(MRF),其中底层的图形模型是稀疏的,随着时间的推移变化稀疏。大多数用于推断时变MRF的现有方法依赖于正则化最大似然估计(MLE),其通常遭受弱统计保证和高计算时间。相反,我们引入了一类新的约束优化问题的推理稀疏变化的MRF。提出的优化问题是制定基于精确的$\ell_0$正则化,并可以解决在近线性的时间和内存。此外,我们表明,该估计享有可证明的小估计误差。作为一个特殊的情况下,我们推导出尖锐的统计保证稀疏变化的高斯MRF(GMRF)在高维制度的推断,表明这样的问题可以学习少到一个样本每一次。我们提出的方法在实践中非常有效:它可以在不到一个小时的时间内准确地估计具有超过5亿个变量的稀疏变化的图形模型。
2021-02-06 cs.LG stat.CO stat.ML
Recurrence algorithms of waiting time for the success run of length $k$ in relation to generalized Fibonacci sequences
令$V(k)$表示等待时间,即获得连续$k$所需的试验次数。我们提出了递归算法的概率分布函数(pdf)和概率母函数(pgf)的$V(k)$在序列的独立和马尔可夫相关的伯努利试验使用广义斐波那契序列的顺序$k$。在这两种情况下,给出了概率分布的极大似然估计(MLE)方法,并给出了仿真实例。
2022-10-17 math.CO math.PR stat.OT
Beyond time-homogeneity for continuous-time multistate Markov models
本文针对连续时间多状态马尔可夫模型,指出分段时间齐次假设可能导致参数估计偏差,提出真正时间非齐次的似然计算方法,并适用于隐马尔可夫模型,通过贝叶斯计算避免数值梯度近似。
2024-07-16 stat.CO
Fundamental Bounds and Efficient Estimation for Dead-Time-Constrained Event Detection, with Application to Single-Photon Lidar
Massachusetts Institute of Technology(麻省理工学院)
针对非麻痹性死时间和门控约束下的周期二元事件检测过程,提出渐近统计理论,推导估计的基本下界并证明最大似然估计和Le Cam一步估计可达到该下界。
2026-05-22 eess.SP math.ST stat.ME
On distinguishability criteria for estimating generative models
两个最近推出的标准,估计生成模型都是基于减少到二进制分类。噪声对比估计(NCE)是一种估计过程,其中生成模型被训练成能够区分数据样本和噪声样本。生成式对抗网络(GANs)是一对生成器网络和递归网络,生成器网络通过试图欺骗递归网络相信其样本是真实数据来学习生成样本。这两个估计过程使用相同的函数来驱动学习,这自然会引起关于它们如何相互关联的问题,以及该函数是否与极大似然估计(MLE)相关。NCE对应于训练属于{ \em}网络但使用固定生成器网络的内部数据模型。我们表明,一个变种的NCE,与一个动态的发电机网络,相当于极大似然估计。由于将学习的生成器与适当的动态选择的生成器配对恢复了MLE,因此可以预期相反的情况适用于将学习的生成器与特定的生成器配对。然而,我们发现,恢复MLE的学习发电机需要离开的可扩展性游戏。具体而言:(i)如果允许对NCE使用非平稳噪声分布,则可以使NCE的期望梯度与MLE的期望梯度相匹配,(ii)没有任何选择可以使GAN生成器的期望梯度与MLE的期望梯度相匹配,以及(iii)现有理论不能保证GANs在非凸情况下收敛。这表明GAN研究的关键下一步是确定GANs是否收敛,如果不收敛,则修改其训练算法以强制收敛。
2015-05-21 stat.ML
Optimistic MLE -- A Generic Model-based Algorithm for Partially Observable Sequential Decision Making
DeepMind(深度思维);Princeton University(普林斯顿大学);Google Research India(谷歌印度研究院);University of Alberta(阿尔伯塔大学)
本文介绍一种简单有效的一般序贯决策学习算法。该算法结合了最大似然估计和最乐观的探索模型估计,这因此被称为OMLE。我们证明了OMLE学习的一个非常丰富的类序列决策问题的多项式样本数的近优政策。这个丰富的类不仅包括大多数已知的易处理的基于基于模型的强化学习(RL)问题(如表MDP,因子MDP,低见证秩问题,表弱揭示/可观察POMDP和多步可解码POMDP),而且还包括许多新的具有挑战性的RL问题,特别是在部分可观察的设置中,以前不知道是易处理的。值得注意的是,本文所解决的新问题包括:(1)具有连续观测和函数逼近的可观测POMDPs,其中我们获得了与观测空间大小完全无关的第一样本复杂度;(2)良态低秩序贯决策问题(也称为预测状态表示(PSR)),其包括并概括在更内在的表示下的所有已知易处理的POMDP示例;(3)SAIL条件下的一般序贯决策问题,统一了我们对完全可观察和部分可观察两种情况下基于模型强化学习的理解。本文证明了SAIL条件,它可以看作是Bellman/witness秩的自然推广,以解决部分能观性问题。本文还提出了一种无奖励的OMLE算法,它学习近似的动态模型,使计算接近最优的政策,同时为所有的奖励功能。
2022-11-23 cs.AI cs.LG stat.ML
Change-point problem: Direct estimation using a geometry inspired identifiable reparameterization
针对变点均值偏移估计中的过度参数化问题,提出基于修改角环面参数空间和黎曼度量的新估计方法,其性能优于MLE并在比特币数据上得到验证。
2025-07-11 stat.ME
Communication-Efficient Distributed Estimator for Generalized Linear Models with a Diverging Number of Covariates
School of Applied Sciences, Beijing Information Science and Technology University(北京信息科技大学应用科学学院);School of Statistics, Renmin University of China(中国人民大学统计学院);School of Statistics and Mathematics, Central University of Finance and Economics(中央财经大学统计与数学学院)
分布式统计推断最近引起了极大的关注。在“大$n$,发散$p_n$“的框架下,对广义线性模型建立了极大似然估计、一步极大似然估计和聚集估计方程估计的渐近有效性,其中协变量$p_n$的维数对某些$0<α<1$以多项式速率$o(n^α)$增长到无穷大.然后提出了一种新的方法,通过两轮通信获得大规模分布式数据的渐近有效估计。在这种新颖的方法中,对服务器数量的假设更加宽松,因此对于现实世界的应用程序来说是实用的。仿真和一个案例研究表明,所提出的估计令人满意的有限样本性能。
2020-08-13 cs.DC cs.LG stat.ME