Asymptotic behavior of maximum likelihood estimator for time inhomogeneous diffusion processes
本文研究了一类时间非齐次扩散过程的极大似然估计的渐近性态,其中$dX_t=αb(t)X_t dt + σ(t) dB_t$,$t\in[0,T)$,带参数$α\in R$,其中$T\in(0,\infty]$和$(B_t)_{t\in[0,T)}$是标准Wiener过程.给出了$α$的极大似然估计收敛于Dickey-Fuller统计量极限分布的充分条件.接下来,我们研究了一个具有扰动漂移的随机$dY_t=αb(t)a(Y_t) dt + σ(t) dB_t$,$t\in[0,T)$,它满足$a(x)=x+O(1+|x|^γ)$和一些$γ\in[0,1)$。再次给出了$α$的极大似然估计收敛于Dickey-Fuller统计量的极限分布的充分条件.
2008-10-15 math.PR math.ST stat.TH
Large deviations and concentration inequalities for the Ornstein-Uhlenbeck process without tears
我们的目标是建立无撕裂的Ornstein-Uhlenbeck过程漂移参数的极大似然估计的大偏差和集中不等式。我们提出了一种新的策略,建立大偏差的结果,使我们能够通过一个合适的转换,以规避经典的困难,非陡度。我们的方法适用于稳定的情况下,该过程是正经常性的,以及在不稳定和爆炸的情况下,该过程分别是零经常性和瞬态。尽管这种分割,我们还提供了新的浓度不等式的最大似然估计。
2016-02-08 math.PR math.ST stat.TH
Sharp large deviations for the drift parameter of the explosive Cox-Ingersoll-Ross process
考虑非平稳Cox-Ingersoll-Ross过程。我们建立了漂移参数极大似然估计的一个尖锐的大偏差原理。
2018-06-21 math.PR math.ST stat.TH
Foundation of Calculating Normalized Maximum Likelihood for Continuous Probability Models
该研究解决了连续概率模型下基于最大似然估计量分布积分计算归一化最大似然码长的方法正确性证明问题,借助几何测度论余面积公式提出新分解方法完成证明,完善了NML模型选择准则的理论基础。
2024-09-12 cs.IT math.IT math.ST
Informational Confidence Bounds for Self-Normalized Averages and Applications
我们提出了自归一化平均值的偏差界和应用估计与一个随机数的意见。结果依赖于剥离参数的指数鞅技术,代表了一种替代方法的混合物。详细介绍了强盗问题和上下文树估计的激励示例。
2013-09-13 math.ST stat.TH
Large deviations for the squared radial Ornstein-Uhlenbeck process
建立了广义平方径向Ornstein-Uhlenbeck过程中维数和漂移系数的极大似然估计对的大偏差原理。我们把我们的注意力集中在最易处理的情况下,尺寸参数$a>2$和漂移参数$b<0$。与以前的文献相比,我们国家的大偏差原则时,尺寸和漂移系数同时估计。
2015-11-25 math.PR math.ST stat.TH
The Normalized Maximum Likelihood for Regular Non-Smooth Models: Measure-Theoretic Foundations and Geometric Sampling
Department of Mathematics, The Chinese University of Hong Kong(香港中文大学数学系)
针对现代机器学习中非光滑估计器(如Lasso、稀疏SVM)的归一化最大似然(NML)编码长度计算问题,本文利用几何测度论和保守雅可比矩阵建立严格框架,并提出一种几何MCMC采样器(PDL-PPMH)以精确计算非光滑模型的随机复杂度。
2026-10-01 cs.IT cs.LG math.IT
Sharp large deviations for the non-stationary Ornstein-Uhlenbeck process
对于Ornstein-Uhlenbeck过程,漂移参数的极大似然估计的渐近行为在稳定、不稳定和爆炸情形下是完全不同的。尽管如此,我们研究了这三种情况下的估计量的急剧大偏差原则。在爆炸的情况下,我们表现出一个非常不寻常的速率函数的形状平坦的山谷和突然的不连续点在其最低点。
2011-11-25 math.PR math.ST stat.TH
Sub-Gaussian Concentration and Entropic Normality of the Maximum Likelihood Estimator
Carnegie Mellon University(卡内基梅隆大学);Qualcomm Flarion Technology, Inc.(高通弗拉里昂技术有限公司)
本文在标准正则条件下,通过建立归一化最大似然估计的次高斯尾界、所有矩收敛以及熵中心极限定理,强化了经典渐近正态性结果。
2026-09-01 cs.IT math.IT math.ST
Word2vec Skip-gram Dimensionality Selection via Sequential Normalized Maximum Likelihood
The University of Tokyo(东京大学)
在本文中,我们提出了一种新的信息准则为基础的方法来选择的维度的字2vec跳图(SG)。从概率论的角度出发,在假设词之间存在真实的上下文分布的前提下,SG被认为是一种隐含的概率分布估计。因此,我们应用信息准则,目的是选择最佳的维数,使相应的模型可以尽可能接近真实的分布。我们研究了以下信息标准的维度选择问题:赤池信息标准,贝叶斯信息标准,序列归一化最大似然(SNML)标准。SNML是在最小描述长度的基础上对数据序列进行顺序编码所需的总代码长度。将该方法应用于原始SG模型和SG负采样模型,以阐明使用信息准则的思想。此外,由于原始SNML存在计算上的缺点,我们引入了新的算法来提高计算效率。此外,我们的经验表明,SNML优于BIC和AIC。与其他词嵌入评价方法相比,SNML选择的维度更接近于词类比或词相似性任务的最优维度。
2020-08-25 cs.CL cs.LG stat.ML
Moderate deviations for a nonparametric estimator of sample coverage
在本文中,我们考虑了良好的覆盖估计的中度偏差。建立了Good覆盖估计量的中偏差原理和自归一化中偏差原理。结果也被应用到假设检验问题和覆盖的置信区间。
2013-05-09 math.ST stat.TH
Large Deviation principles of Realized Laplace Transform of Volatility
在高频数据情形下,\citet{TT2012a}给出了波动率实现拉普拉斯变换的相合估计,并建立了相应的中心极限定理.本文研究了波动率经验实现拉普拉斯变换的渐近尾部行为。建立了ERLTV的大偏差原理和中偏差原理。大偏差原理的好率函数在整个实空间中被很好地定义,这表明ERLTV的归一化对数尾概率的极限。此外,我们还推导出了ERLTV的功能级大偏差和中偏差原则。
2020-10-27 math.ST stat.TH
Information criteria for non-normalized models
RIKEN Center for Brain Science(理化学研究所脑科学中心);Cornell University(康奈尔大学);University of Helsinki(赫尔辛基大学)
许多统计模型是以非归一化密度的形式给出的,并且具有难以处理的归一化常数。由于这些模型的极大似然估计是计算密集型的,因此已经开发了几种不需要显式计算归一化常数的估计方法,例如噪声对比估计(NCE)和得分匹配。然而,一般的非规范化模型的模型选择方法还没有被提出。在这项研究中,我们开发的非归一化模型估计NCE或得分匹配的信息标准。它们是非正态化模型的偏差测度的近似无偏估计。仿真结果和实际数据的应用表明,所提出的标准,使选择适当的非归一化模型的数据驱动的方式。
2021-07-27 cs.LG math.ST stat.ML
Weighted sampling, Maximum Likelihood and minimum divergence estimators
本文研究了Sanov型大偏差概率下参数模型的极大似然。加权抽样下的参数模型的极大似然估计被证明与相对于权重分布定义的特定发散准则的最小化有关。由此产生的推理过程的一些属性; Bahadur效率的测试也被认为是在这种情况下。
2012-07-27 math.ST stat.ME stat.TH
Sequential Probability Assignment with Contexts: Minimax Regret, Contextual Shtarkov Sums, and Contextual Normalized Maximum Likelihood
University of Toronto(多伦多大学);Vector Institute(矢量研究所);Ben-Gurion University(本-古里安大学)
该研究针对任意假设类的序列概率赋值问题,提出上下文Shtarkov和这一新复杂度度量,证明其与极小极大遗憾等价,推导了极小极大最优的cNML策略,并统一改进了现有基于序列ℓ∞熵的遗憾上界。
2024-10-04 cs.LG stat.ML
Refined Cramér Type Moderate Deviation Theorems for General Self-normalized Sums with Applications to Dependent Random Variables and Winsorized Mean
设{(X_i,Y_i)}_{i=1}^n是独立的二元随机向量序列。本文建立了一般自正规化和\sum_{i=1}^n X_i/(\sum_{i=1}^n Y_i^2)^{1/2}的精化的Cramér型中偏差定理,它统一和推广了经典的Cramér(1938)定理和Jing,Shao和Wang(2003)的自正规化Cramér型中偏差定理以及Wang(2011)的进一步精化的Cramér型中偏差定理.通过对弱相依随机变量和自归一化winsorized均值的成功应用,证明了我们结果的优越性。具体地说,通过将我们的新框架应用于一般的自正规化和,我们显著地改进了单相依随机变量、几何β-混合随机变量和几何矩压缩下因果过程的Cramér型中偏差定理.作为应用,我们还得到了自归一化Winsorized均值的Cramér型中偏差定理.
2021-07-28 math.PR math.ST stat.TH
Exact Calculation of Normalized Maximum Likelihood Code Length Using Fourier Analysis
规范化最大似然码长在模型选择中得到了广泛的应用,其良好的性质,如其一致性和其统计风险的上界已经得到了论证。提出了一种基于傅里叶分析的归一化最大似然码长计算方法。我们的方法提供了一个有效的指数族模型的非渐近计算公式和一般参数模型的渐近计算公式,与以前的工作相比,具有较弱的假设。
2018-01-11 math.ST stat.TH
Cramér type moderate deviation theorems for self-normalized processes
Cramér型中偏差定理量化了正态近似的相对误差的精度,为统计学中许多常用的方法提供了理论依据。本文对一般的自正规化过程建立了一个新的随机浓度不等式,并建立了一个Cramér型中偏差定理,其中包含许多著名的Studentized非线性统计量.特别地,对学生化$U$ -统计量建立了最优矩条件下的一个锐中偏差定理.
2016-06-06 math.PR math.ST stat.TH
Normalized Likelihood Criteria for Model Selection in the Stochastic Block Model
Departament of Statistics, Federal University of São Carlos(圣卡洛斯联邦大学统计系)
本文研究了基于标准化似然准则的惩罚估计器,提出DNML方法在稀疏网络中具有强一致性,且在不平衡网络中表现优异。
2026-04-11 math.ST stat.TH
Self-normalized Cramér-type Moderate Deviation of Stochastic Gradient Langevin Dynamics
Newcastle University(纽卡斯尔大学);Northeastern University at Qinhuangdao(东北大学秦皇岛分校);University of Essex(埃塞克斯大学)
本文研究了随机梯度Langevin动力学的经验测度的自归一化Cramér型中等偏差,并推导了其Berry-Esseen界,采用Stein方法进行分析。
2024-10-29 math.PR math.ST stat.TH
Self-normalized Cramér type moderate deviations for martingales and applications
本文在温和条件下建立了鞅的自归一化Cramér型中等偏差,推广了Fan等人2019年的工作,并将其应用于Student统计量、平稳鞅差序列及随机环境中的分支过程,特别给出了后者t-统计量的相应结果。
2023-09-11 math.PR math.ST stat.TH
Trigonometrically approximated maximum likelihood estimation for stable law
提出了$α$ -稳定律的三角近似极大似然估计.该估计量求解近似的似然方程,该似然方程是通过将真实得分函数投影到由三角函数构成的空间上而获得的。投影得分仅由特征函数的实部和虚部及其导数表示,从而可以明确地构造目标估计方程。我们研究了所提出的估计量的渐近性质,并证明了该估计量的相合性和渐近正态性。此外,随着三角函数数目的增加,估计量收敛到精确的最大似然估计量,在这个意义上,它们具有相同的渐近律。仿真研究表明,该估计优于其它矩型估计,其标准差几乎达到Cramér-Rao下界.我们应用我们的方法估计问题的$α$稳定的Ornstein-Uhlenbeck过程在高频设置。所得结果证明了渐近混合正态性理论。
2022-09-19 math.ST stat.TH
The Probabilities of Large Deviations for the Chi-square and Log-likelihood Ratio Statistics
得到了Pearson卡方和Log-似然比统计量的一个新的大偏差结果。这里的注意力集中在当组的数量增加到无穷大和组的概率减少到零的情况下,作为样本量趋于无穷大。
2016-06-01 math.PR math.ST stat.TH
An Approximate Restricted Likelihood Ratio Test for Variance Components in Generalized Linear Mixed Models
广义线性混合模型(GLSII)用于对具有固定效应和随机效应组合的指数家族的响应进行建模。对于广义似然估计中的方差分量,我们提出了一种近似的限制性似然比检验,对惩罚拟似然估计中的工作响应进行检验.这提供了标准化响应方面的假设检验,允许将现有检验方法应用于线性混合模型。我们的测试是灵活的,计算效率高,并优于几个竞争对手。我们说明了所提出的方法与广泛的模拟研究和两个数据应用程序的实用性。提供了一个R包。
2019-06-07 stat.ME
The power of private likelihood-ratio tests for goodness-of-fit in frequency tables
隐私保护数据分析研究隐私约束下的统计方法。这是现代统计学中一个日益严峻的挑战,因为通常通过适当扰动数据来实现保密保证,可能会决定数据的统计效用的丧失。在本文中,我们认为隐私保护测试频率表中的拟合优度,这可以说是最常见的形式发布数据,并提出了一个严格的分析大样本行为的私人似然比(LR)测试。在$(\varepsilon,δ)$ -扰动数据的差分隐私的框架下,我们的主要贡献是功率分析的私人LR测试,其特征在于保密性之间的权衡,通过差分隐私参数$(\varepsilon,δ)$测量,和统计效用,通过测试的功率测量。这是通过Bahadur-Rao大偏差展开的私人LR检验的功效获得的,它带来了一个临界量,作为样本量、表格尺寸和$(\varepsilon,δ)$的函数,决定了检验功效的损失。然后将该结果应用于表征样本量和表的尺寸与参数$(\varepsilon,δ)$相关对私有LR测试的功效损失的影响。特别是,我们确定的(样本)成本的$(\varepsilon,δ)$ -差分隐私的私人LR测试,即额外的样本量,需要恢复的权力多项式LR测试在没有扰动。我们的功效分析依赖于LR的非标准大偏差分析,以及i.i.d.和的新(尖锐)大偏差原理的开发。随机向量,这是独立的利益。
2022-09-13 math.ST stat.ME stat.ML
Relations Between the Conditional Normalized Maximum Likelihood Distributions and the Latent Information Priors
我们揭示了条件归一化最大似然(CNML)分布和贝叶斯预测密度的基础上的潜在信息先验(LIPs)之间的关系。特别地,CNML 3,这是一种类型的CNML分布,进行了研究。预测密度的贝叶斯投影,这是一个信息投影的预测密度的贝叶斯预测密度的集合,被认为是。我们证明了CNML 3的Bayes投影散度与条件互信息之和是渐近常数。这一结果意味着CNML 3的贝叶斯投影(BPCNML 3)与基于LIP的贝叶斯预测密度渐近相同。此外,在一些更强的假设下,我们证明了BPCNML 3与基于LIP的贝叶斯预测密度完全一致。
2014-12-25 math.ST stat.TH
Normalized Maximum Likelihood with Luckiness for Multivariate Normal Distributions
归一化最大似然分布是编码理论和统计学中最重要的分布之一。NML是逐点极小极大后悔问题的唯一解(如果存在)。然而,NML甚至没有定义为简单的分布族,如正态分布。由于不存在有意义的极小极大遗憾分布,本文指出,具有幸运的NML(LNML)可以作为NML的替代。在本文中,我们推导了多元正态分布的LNML的封闭形式。
2017-09-01 cs.IT math.IT math.ST
Change-Point Detection Utilizing Normalized Entropy as a Fundamental Metric
Belarusian State University(白俄罗斯国立大学)
本文提出基于归一化熵的变点检测方法,通过标准化消除分布假设与尺度依赖,利用滑动窗口捕捉数据复杂性相对变化,实验显示其在不同场景下变点附近波动显著且偏差仅为窗口大小的2.4%,为复杂数据变点检测提供理论与方法支撑。
2025-11-16 stat.AP stat.ME
Self-normalized Cramér type moderate deviations for the maximum of sums
设$X_1,X_2,...$为均值为零、方差为有限的独立随机变量,设$S_n=\sum_{i=1}^nX_i$和$V^2_n=\sum_{i=1}^nX^2_i$ .得到了自归一化和$\max_{1\leq k\leq n}S_k/V_n$的最大值的Cramér型中偏差.特别地,对于同分布的$X_1,X_2,...,$,证明了在$X_1$的最优有限三阶矩下,$P(\max_{1\leq k\leq n}S_k\geq xV_n)/(1-Φ(x))\rightarrow2$对$0<x\leq\mathrm{o}(n^{1/6})$是一致的.
2013-07-23 math.ST stat.TH
On a Poissonian Change-Point Model with Variable Jump Size
本文考虑了强度函数中存在跳变(变点)的泊松观测模型。两个案例进行了研究。第一个对应于跳跃大小收敛到非零极限的情况,而在第二个中,极限为零。这两种情况下的极限似然比是完全不同的。在第一种情况下,与固定跳跃大小的情况类似,归一化似然比收敛于对数泊松过程。在第二种情况下,归一化似然比收敛到对数Wiener过程,因此,参数估计和假设检验的统计问题在这种情况下渐近等价于公知的高斯白噪声中的信号模型的变点估计和检验问题。从归一化似然比的收敛性出发,导出了极大似然估计和贝叶斯估计的性质,以及广义似然比、Wald检验和贝叶斯检验的性质。还建立了估计量的矩的收敛性。通过数值模拟说明了所得到的理论结果。
2015-02-24 math.ST stat.TH
Penalized quasi likelihood estimation for variable selection
将惩罚方法应用于随机微分方程模型的拟似然分析。本文讨论了一类多项式型大偏差不等式成立的拟似然函数及相应的统计随机场。则罚项不扰动多项式型大偏差不等式。这一性质保证了相关估计量的矩的收敛性,这对于估计模型选择不正确的概率的上界起着重要的作用。
2019-10-28 math.ST stat.TH
Sharp Cramér-type moderate deviation bounds for the self-normalized maximum of partial sums
Dalian University of Technology(大连理工大学);Southern University of Science and Technology(南方科技大学)
本文针对$2<p\le3$的有限$p$阶绝对矩条件,建立部分和自正则化最大值的精确Cramér型中偏差界,证明Shao2010的猜想,通过反射游走表示等方法完成证明。
2026-10-16 math.PR math.ST stat.TH
Partial quasi likelihood analysis
将拟似然分析推广到偏拟似然分析。在统计随机场的慢混合分量的存在使Rosenthal型不等式不能用于推导多项式型大偏差不等式的情况下,给出了拟似然估计,特别是拟Bayes估计的极限定理.我们给出两个说明性例子。
2017-12-31 math.ST stat.TH
Robust and efficient mean estimation: an approach based on the properties of self-normalized sums
设$X$为均值未知、方差有限的随机变量。我们提出了一个新的估计的平均值$X$,这是强大的相对于可能存在的离群值在样本中,提供了严格的次高斯偏差保证,没有任何额外的假设的形状或尾部的分布,而且是渐近有效的。这是第一个可证明地将所有这些质量组合在一个包中的估计器。我们的建设的灵感来自自归一化和所拥有的鲁棒性。理论研究结果的补充数值模拟突出了较强的性能与以前已知的技术相比,所提出的估计。
2021-12-30 math.ST stat.TH
Simplified quasi-likelihood analysis for a locally asymptotically quadratic random field
Le Cam和Hajek的渐近决策论通过关于似然随机场收敛性的Largimov-Hasminskii理论得到了一个清晰的透视。他们的方案已被应用于随机过程的库托扬,今天这个情节被称为IHK计划。该方案确保了估计量的渐近性质直接从随机场的收敛性,如果存在大偏差估计。拟似然分析证明了一个多项式型大偏差不等式通过程序的一个瓶颈。QLA的一个结论是,如果拟似然随机场是渐近二次的,并且反映随机场可识别性的关键指标是非退化的,则PLD不等式总是成立,从而IHK程序可以运行。许多研究已经利用了QLA理论。然而,其中不少人仍在以低效的方式使用它。本文的目的是提供一个改革和简化版本的QLA,并提高理论的可及性。作为基于PLD的理论的效果的示例,用户可以通过仅验证关键指标的非退化性来获得准贝叶斯估计的渐近性质。
2021-12-29 math.ST stat.TH
A frequency domain empirical likelihood for short- and long-range dependence
本文介绍了一个版本的经验似然周期图和谱估计方程的基础上。该公式化通过数据转换(即,傅里叶变换),并且根据谱分布而不是时域概率分布来展开。研究了线性时间过程的频域经验似然估计的渐近性质,该过程同时具有短程和长程相关性。该方法的结果在似然比,可用于建立非参数,渐近正确的置信区域的一类归一化(或比率)的光谱参数,包括自相关。最大经验似然估计是可能的,以及测试的谱矩条件。该方法可以应用于几个推理问题,如惠特尔估计和拟合优度检验。
2007-08-01 math.ST stat.TH
A Likelihood Ratio Approach for Probabilistic Inequalities
Louisiana State University(路易斯安那州立大学);Southern University and A&M College(南方大学及农工学院)
我们提出了一种新的方法来推导概率不等式的基础上有界似然比。我们证明,这种方法是更普遍和强大的比经典的方法经常用于推导浓度不等式,如Beschoff界。我们发现,所提出的方法是内在相关的统计概念,如单调似然比,最大似然,和矩的方法参数估计。所提出的方法和大偏差理论之间的联系也建立。我们表明,在不使用矩母函数,紧可能的浓度不等式可以很容易地推导出所提出的方法。利用所提出的方法,我们得到了新的浓度不等式,这是基于矩母函数的经典方法所不能得到的。
2013-08-18 cs.LG math.PR math.ST
Exact Moderate and Large Deviations for Linear Processes
大中偏差概率在保险、风险分析等许多应用领域中起着重要的作用。本文研究了具有独立新息的线性过程的非对数形式的精确中偏差和大偏差渐近性。我们分析的线性过程是一般的,因此它们包括长记忆的情况。我们给出了一个渐近表示的概率尾部的规范化的总和,并指定的区域中,它可以近似为一个标准正态分布或边缘分布的创新过程。然后将结果应用于回归估计、移动平均、分数积分过程、具有规则变化指数的线性过程和线性过程的函数。我们还考虑了风险理论和金融学中的基本量--在险价值和期望损失的计算。
2013-05-05 math.ST stat.TH
Likelihood asymptotics of stationary Gaussian arrays
Delft University of Technology(代尔夫特理工大学)
本文针对依赖多维未知参数的平稳高斯时间序列三角阵列发展渐近似然理论,给出局部渐近正态的充分条件以保证极大似然估计渐近有效,并通过高频采样高斯过程和近单位根自回归模型验证理论。
2025-11-13 math.ST stat.TH
On the relation between likelihood ratios and p-values for testing success probabilities of Bernoulli trials
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
本文研究了p值与似然比之间的渐近关系,指出在硬币抛掷情境中,p值为0.05时似然比上限不超过7.5,并探讨了通过抛硬币获取大似然比的可能性。
2026-03-20 math.ST stat.TH
Asymptotic equivalence of empirical likelihood and Bayesian MAP
在本文中,我们感兴趣的经验似然(EL)作为一种估计方法,我们解决了以下两个问题:(1)选择在EL框架中的各种经验差异和(2)证明,EL有一个定义良好的概率解释,将证明其使用在贝叶斯上下文中。使用大偏差的方法,贝叶斯大数定律的发展,这意味着EL和贝叶斯最大后验概率(MAP)估计是一致的误设定和EL可以被看作是一个渐近形式的MAP。基于其他经验差异的估计,在一般情况下,不一致的误指定。
2009-08-24 math.ST stat.TH
Statistical Limits of Sparse Mixture Detection
我们考虑了检测一般稀疏混合物的问题,并在一定条件下得到了相变的一个明确的特征,推广了蔡和吴的单变量结果。此外,我们还给出了Gao和Ma提出的一个Higher Criticism型检验统计量的自适应最优性的充分条件。在建立这些结果的过程中,我们通过大偏差理论提供了一个统一的观点。我们建立的相变和自适应最优性是零和信号分布之间的归一化对数似然比的大偏差原理的直接后果。
2021-05-26 math.ST stat.ME stat.TH