Empirical non-parametric estimation of the Fisher Information
费舍尔信息矩阵是统计信号处理中的一个基本概念。该函数依赖于概率分布,假设它属于一个光滑的参数族。传统的估计概率密度的方法需要估计概率分布函数(PDF)或其参数以及其梯度或Hessian。然而,在许多实际情况下,数据的PDF是未知的,但统计人员可以访问任何参数值的观察样本。在这里,我们提出了一种方法,估计直接从采样数据,不需要知识的基础PDF的。该方法基于参数空间局部邻域上的$f$ -散度的非参数估计以及$f$ -散度的曲率与散度之间的关系。因此,我们获得了FIM的经验估计量,该估计量不需要密度估计并且是渐进一致的。我们经验评估我们的方法使用两个实验的有效性。
2014-11-16 cs.IT math.IT stat.CO
Non-parametric Archimedean generator estimation with implications for multiple testing
在多重检验中,族间误差率在一定条件下可以由检验统计量的copula来界定。假设这个Copula是阿基米德的,我们考虑两个非参数阿基米德生成估计。更具体地说,我们使用Genest et al.(2011)的非参数估计量及其略微修改。在模拟中,我们将得到的多个测试与Bonferroni测试和来自真实生成器的多个测试作为基线进行比较。
2019-03-27 stat.ME
Non-Parametric Maximum Likelihood Density Estimation and Simulation-Based Minimum Distance Estimators
间接推断估计器(即,基于模拟的最小距离估计)在一个参数模型的基础上,辅助非参数最大似然密度估计被证明是渐近正态的。如果参数模型是正确指定的,它进一步表明,渐近方差-协方差阵等于逆的Fisher信息矩阵。这些结果是基于非参数极大似然密度估计的参数一致收敛速度和参数一致Donsker型定理。
2011-09-20 math.PR math.ST stat.ME
Semi Parametric Estimations of rotating and scaling parameters for aeronautic loads
在本文中,我们进行登记的噪声曲线。我们提供了一个适当的模型,在估计旋转和缩放参数调整一组曲线,通过M-估计过程。我们证明了我们的估计的一致性和渐近正态性。数值模拟和现实生活中的航空例子来说明我们的方法。
2018-11-15 stat.AP stat.ML
Adaptive non-parametric estimation in the presence of dependence
我们考虑非参数估计问题中存在的相关数据,特别是非参数回归随机设计和非参数密度估计。建议的估计过程是基于降维。极小极大最优收敛速率的估计推导出假设一个足够弱的依赖性,其特征在于快速减少的混合系数。我们说明这些结果考虑经典的平滑假设。然而,建议的估计需要一个最佳的选择的尺寸参数取决于某些特性的功能的兴趣,这是不知道在实践中。在我们的工作中解决的主要问题是这个尺寸参数的自适应选择模型选择和Lepski的方法相结合。它的灵感来自Goldenshluger和Lepski(2011)最近的工作。我们表明,这种数据驱动的估计可以达到较低的风险绑定到一个常数提供了一个快速衰减的混合系数。
2016-02-01 math.ST stat.TH
Semi-parametric estimation and prediction intervals in state space models
状态空间模型的研究主要集中在参数推断和预测上,如果状态空间模型不完全确定,极大似然估计不起作用,则参数推断和预测会失败。在本文中,我们假设状态转移阵和状态噪声分布是未知的。在此假设下,我们提供了一致估计这些项的方法。此外,我们引入了一个算法来构建一致的预测区间的状态向量和未来的观察。我们补充的渐近结果与几个数值实验。
2020-12-14 math.ST stat.TH
A Robbins-Monro algorithm for non-parametric estimation of NAR process with Markov-Switching: asymptotic normality
Aix-Marseille University(艾克斯-马赛大学);Escuela de Matemáticas, Facultad de Ciencias, Universidad Central de Venezuela(委内瑞拉中央大学理学院数学系);Departamento de Matemáticas, FACYT, Universidad de Carabobo(卡拉沃博大学FACYT数学系)
本文研究了非参数估计马尔可夫切换NAR过程的回归函数估计器,提出了一种恢复-估计Robbins-Monro算法,并证明了模型可识别性和估计器的一致性,最后给出了模拟研究以展示估计方法的性能。
2026-03-31 stat.ME
Local Parametric Estimation in High Frequency Data
本文给出了一个一般的时变参数模型,其中多维参数可能包含跳跃。关注量定义为参数过程$Θ= T^{-1} \int_0^T θ_t^* dt$随时间的积分值。我们提供了一个局部参数估计(LPE)的$Θ$和条件下,我们可以证明中心极限定理。粗略地说,这些条件对应于一些统一的极限理论的参数版本的问题。该框架限于特定的收敛速度$n^{1/2}$。LPE的几个例子进行了研究:估计的波动性,波动的权力,波动时,将交易信息和随时间变化的MA(1)。
2018-08-21 math.ST q-fin.ST stat.TH
Extrapolation Estimation for Parametric Regression with Normal Measurement Error
对于协变量含有正态测量误差的一般参数回归模型,本文提出了一种经典模拟外推算法的加速版本来估计回归函数中的未知参数。通过将条件期望直接应用于目标函数,所提出的算法成功地消除了模拟步骤,通过生成一个估计方程,无论是立即使用或外推,从而显着减少了计算时间。讨论了估计量的大样本性质,包括相合性和渐近正态性。潜在的广泛应用所提出的估计程序的例子,模拟研究,以及一个真实的数据分析。
2021-07-10 stat.ME
Non parametric estimation of residual-past entropy, mean residual-past lifetime, residual-past inaccuracy measure and asymptotic limits
在目前的工作中,我们提供的剩余过去的熵,平均剩余过去的寿命分布和剩余过去的不准确性措施的渐近行为。我们对离散情况下的这些不确定性度量感兴趣。几乎必然的收敛速度和渐近正态性的结果。我们的理论结果得到了仿真验证
2019-11-30 math.ST stat.TH
Distributionally Robust Parametric Maximum Likelihood Estimation
Stanford University(斯坦福大学);University of Cyprus(塞浦路斯大学)
我们考虑的参数估计问题的概率生成模型规定使用一个自然的指数分布族。对于这个问题,典型的极大似然估计器通常在有限的训练样本量下过拟合,对噪声敏感,并且可能在下游预测任务上表现不佳。为了缓解这些问题,我们提出了一个分布鲁棒的极大似然估计,最大限度地减少最坏情况下的预期对数损失均匀的参数Kullback-Leibler球周围的参数标称分布。利用同一自然指数族中两个分布之间的库尔贝克-莱布勒散度的解析表达式,我们证明了最小-最大估计问题在广泛的环境中是易于处理的,包括广义线性模型的鲁棒训练。我们的新的鲁棒估计也享有统计一致性,并提供了有前途的实证结果在回归和分类任务。
2020-10-11 cs.LG math.ST stat.ML
Data-driven aggregation in non-parametric density estimation on the real line
本文研究了在R(分别为R+)中支持的未知密度的非参数估计。建议的估计过程是基于投影上的有限维子空间所跨越的Hermite(分别拉盖尔)功能。本文的重点是介绍一种数据驱动的聚合方法,以处理即将到来的偏差方差权衡。我们的新程序集成了通常的模型选择方法作为一个极限情况。我们展示了数据驱动的聚集密度估计的预言和最小最大最优性,因此它的自适应性。我们提出了一个模拟研究的结果,允许比较有限样本的数据驱动的估计使用模型选择相比,新的聚合性能。
2020-01-29 math.ST stat.TH
Parametric estimation of a one-dimensional ballistic random walk in a Markov environment
我们专注于马尔可夫环境的分布的参数估计,从一个单一的一维最近邻路径在这个随机环境中发展的轨迹的观察。在弹道的情况下,随着路径长度的增加,我们证明了一致性,渐近正态性和效率的最大似然估计。我们的贡献是双重的:本文将这一问题转化为隐马尔可夫模型(HMM)中的参数估计问题,并证明了隐马尔可夫模型中的二元马尔可夫链是正Harris常返的.我们提供了不同的设置中,我们的结果适用的例子,特别是DNA解压缩模型,我们给出了一个简单的合成实验来说明这些结果。
2015-04-14 math.ST stat.TH
Lower boundaries for parametric estimations in different norms
在不同的范数下,我们建立了未知参数的正则无偏估计相对于其真值的偏差的一些新的非渐近下界,类似于经典的Rao-Kramer不等式.我们证明了,如果新的范数弱于普通的Hilbert范数,则任意正则无偏估计的收敛速率不超过$ 1/\sqrt{n}, $;如果新的范数强于1,则著名的极大似然估计(MLE)的收敛速率也等于1/ \sqrt{n} .
2014-07-16 math.ST stat.TH
The Trimmed Mean in Non-parametric Regression Function Estimation
本文研究了Nadaraya-Watson估计量的一种修正形式,用于估计未知非参数回归函数。通过极小化问题建立了估计量的特征,并导出了其逐点渐近分布。通过故障点研究了该估计器的鲁棒性。此外,随着广泛的模拟研究的渐近效率的研究表明,这种估计在各种情况下表现良好。三个基准的实际数据,以及估计的实用性。
2019-09-26 math.ST stat.ME stat.TH
Second order statistics characterization of Hawkes processes and non-parametric estimation
证明了多变量Hawkes过程的跳相关矩阵通过一个Wiener-Hopf积分方程组与Hawkes核矩阵相联系。一个维纳-霍普夫参数允许一个证明,这个系统(其中的核心矩阵是未知的)拥有一个唯一的因果解,因此,二阶属性完全表征霍克斯过程。该积分方程系统的数值反演使我们能够提出一种快速有效的方法,其主要原理最初在[Bacry和Muzy,2013]中概述,以执行Hawkes核矩阵的非参数估计。在本文中,我们进行了系统的研究,这种非参数估计过程的一般框架标记霍克斯过程。我们一步一步地精确描述了这个过程。我们讨论的估计误差,并解释如何选择的主要参数的值。给出了各种数值例子,以说明广泛的可能性,这种估计过程范围从1维(幂律或非正内核)到3维(循环依赖)的过程。与其他非参数估计方法进行了比较。最后考虑应用于金融市场中的高频交易事件和地震发生动态。
2015-02-13 math.ST physics.geo-ph q-fin.ST
Non parametric estimation of joint, Renyi-Stallis entropies and mutual information and asymptotic limits
本文提出了一种估计一对离散随机变量的联合概率质量函数的新方法。利用该估计量构造了一对离散随机变量的联合Shannon Rényi-Tsallis熵和互信息估计.建立了几乎处处相合定理和中心极限定理。我们的理论结果是通过模拟验证。
2020-01-11 stat.ME
A note on kernel density estimation at a parametric rate
在核密度估计的上下文中,我们给出了一个表征的内核的参数的平均积分平方差错率$n^{-1}$,其中$n$是样本量。此外,对于这种速率是可达到的情况下,我们给出了一个渐近带宽的选择,使核估计一致的均方误差在该速率和一个数值例子显示了优越的性能的超核估计时,适当地选择带宽。
2011-11-19 math.ST stat.TH
Parametric estimation of Lévy processes
本章的主要目的是介绍基于高频采样的Lévy过程参数估计的一些理论方面,重点是无限活动纯跳模型。讨论了几类显式估计函数的渐近性。除了在几种收敛速度下的渐近正态性外,还给出了统计随机场的一致尾概率估计。作为特例,我们更详细地讨论了稳定Lévy过程的矩量法,并简要地提到了局部稳定Lévy过程。还讨论了,由于其理论上的重要性,一个简单的回顾如何经典的似然方法的工作原理或不,超越的事实,即似然函数是不明确的。
2014-09-01 math.ST stat.TH
Efficient Parametric Projection Pursuit Density Estimation
University of Toronto(多伦多大学)
低维专家的产品模型是避免维数灾难的一种有效方法。我们提出了“不完全专家产品”(UPoE),其中每个专家模型的数据的一维投影。UPoE是完全易处理的,并且可以被解释为用于投影追踪的参数概率模型。它的ML学习规则与以前提出的欠完备ICA的近似学习规则相同。我们还推导出一个有效的顺序学习算法,并讨论了它的关系,投影寻踪密度估计和特征归纳算法的加性随机场模型。
2012-10-19 cs.LG stat.ML
Non-Parametric Estimation Techniques of Factor Copula Model using Proxies
RMIT University(皇家墨尔本理工大学);The University of Melbourne(墨尔本大学)
针对因子 copula 模型中连接 copula 难以准确估计的问题,本文提出基于核密度估计的非参数方法,证明其在温和条件下的一致性,并通过模拟验证有效性。
2025-10-21 stat.ME
All models are wrong, but which are useful? Comparing parametric and nonparametric estimation of causal effects in finite samples
在统计学、流行病学和计量经济学领域存在一个长期的争论,即使用数据自适应方法的非参数估计,如模型拟合中的机器学习算法,是否比现实世界中的有限样本因果效应估计中的更简单的参数方法具有任何有意义的优势。我们解决这个问题:当试图估计治疗对结果的影响时,在合理数据分布的范围内,选择非参数与~参数估计重要吗?而不是回答这个问题的模拟,反映了几个选定的数据场景,我们提出了一种新的方法来评估性能在成千上万的数据生成机制,从非参数模型与半信息先验。我们称这种方法为通用蒙特卡罗模拟。我们比较了两种参数估计量(使用参数结果模型和治疗加权估计量逆概率的g计算估计量)和两种非参数估计量(贝叶斯加性回归树和在模型拟合中使用机器学习算法集成的基于目标最小损失的估计量)估计平均处理效应的性能。我们总结了估计性能的偏差,置信区间覆盖,和均方误差。我们发现,非参数估计几乎总是优于参数估计,除了在最小样本量N=100下,在偏倚方面具有相似的性能,在覆盖方面具有相似到略差的性能。
2022-12-19 stat.ME
Non-parametric estimation of time varying AR(1)--processes with local stationarity and periodicity
本文推广了[7]的思想,给出了一类新的时变AR(1)过程(Xt)的基于核的非参数估计,该过程具有局部平稳性和周期性(周期T已知),定义了Xt = at(t/nT)Xt-1 + $ξ$ t,其中t为$\in$ N,t+T为$\not\equiv$.当(u)达到经典的minimax率且只要求白噪声($ξ$ t)t的低阶矩条件达到二阶时,建立了核估计的中心极限定理.
2018-11-12 math.ST stat.TH
Parametric estimation for a signal-plus-noise model from discrete time observations
本文讨论了在不一定等距的确定性离散时刻观测到的加性高斯噪声中的积分信号的参数推断问题。未知参数是多维的,并且是感兴趣的信号参数和噪声的方差参数的复合。当观测时间趋于$\infty$且两个连续观测之间的延迟趋于0或仅有界时,我们证明了极大似然估计和贝叶斯估计的一致性和极小极大效率.所考虑的信号类别包括几乎周期信号以及非连续周期信号。然而,这里不考虑频率估计的问题。
2019-03-15 math.ST stat.TH
Non-parametric estimation of mixed discrete choice models
在本文中,不同股的文献相结合,以获得半参数估计的离散选择模型,包括未观察到的异质性建模的算法,通过使用混合分布的参数定义的偏好。这些模型使用针对一般混合模型开发的非参数极大似然估计(NP-MLE)理论。在NP-MLE文献中使用的期望最大化(EM)技术与使用自适应网格技术选择适当的近似模型的策略相结合。\\这共同导致技术规格和估计,可用于获得一个一致的规格的混合分布。此外,还开发了用于估计的算法,这有助于减少由于维数灾难而引起的问题。\\在小规模模拟研究中证明,所提出的算法对于离散选择背景下混合模型的规范和估计非常有用,提供了有关混合分布规范的一些信息。模拟证明了混合分布的某些方面,如期望值,可以可靠地估计。然而,它们也表明,通常对混合分布的不同近似会导致相似的可能性值,因此很难区分。因此,似乎不可能可靠地推断出估计的混合分布的最适当的参数形式。
2022-12-09 math.ST stat.ME stat.TH
Non parametric estimation of the structural expectation of a stochastic increasing function
本文介绍了一种函数型数据的非参数翘曲模型。当实验的结果是曲线样本时,数据可以被视为随机过程的实现,该过程考虑了不同观测曲线之间的微小变化。这项工作的目的是定义一个平均模式,它代表了所有实现集的主要行为。因此我们定义了潜在随机函数的结构期望。然后,我们提供这种结构的期望和每个个别的翘曲函数的经验估计。证明了这类估计量的相合性和渐近正态性。
2008-12-17 math.ST stat.TH
Parametric estimation and tests through divergences and duality technique
我们通过离散或连续参数模型的发散优化介绍估计和检验程序。这种方法是基于一个新的对偶表示的分歧。我们对待点估计和测试简单和复合假设,扩展最大似然技术。另一种观点在最大似然法,估计和测试,给出。我们证明了所提出的估计的存在性和一致性。在零假设和备择假设下,给出了估计和检验统计量(包括广义似然比检验统计量)的极限律,并推导了幂函数的逼近式.当参数可以是参数空间的边界值时,提出了一种构造置信区域的新方法。同时,对广义似然比检验中与混合样本个数有关的不规则性问题给出了解决方法,并基于符号有限测度上的$χ^{2}$ -散度和对偶技术提出了一种新的检验方法.
2008-11-22 math.ST stat.TH
Shallow Neural Hawkes: Non-parametric kernel estimation for Hawkes processes
Indian Institute of Science(印度科学学院)
多维Hawkes过程(MHP)是一类自激和互激的点过程,它的应用范围很广,从地震预测到高频交易中的订单模型。本文的主要贡献有两点:首先,我们为Hawkes过程的对数似然估计找到了一个无偏估计量,从而有效地利用随机梯度下降法进行极大似然估计。第二个贡献是,我们提出了一个特定的单隐层神经网络的MHP的底层内核的非参数估计。我们在合成数据集和真实数据集上对所提出的模型进行了评估,发现该方法具有与现有估计方法相当或更好的性能。浅层神经网络的使用确保了我们不会在Hawkes模型的可解释性上妥协,同时具有估计任何非标准Hawkes激发核的灵活性。
2020-06-03 cs.LG q-fin.TR stat.ML
On Non-parametric Estimation of the Lévy Kernel of Markov Processes
本文考虑一个常返马尔可夫过程,它是一个伊藤半鞅. Lévy核描述了它的跳跃规律。基于观测值X(0),X(Δ),.,X(nΔ),我们构造了Lévy核密度的一个估计。我们证明了它的相容性(当nΔ-> \infty和Δ->0时)和一个中心极限定理.在正常返情形下,我们的估计是渐近正态的;在零常返情形下,它是渐近混合正态的。我们的估计器的收敛速率等于平滑密度估计的非参数极大极小化速度。渐近偏差和方差类似于经典的条件密度的Nadaraya-Watson估计。提供了渐近置信区间。
2013-05-12 math.ST stat.TH
Density Estimation Trees as fast non-parametric modelling tools
密度估计树(DET)是在多变量数据集上训练的决策树,用于估计其概率密度函数。虽然在准确性方面无法与内核技术竞争,但它们非常快,非常并行,并且在存储到磁盘时相对较小。这些属性使得DET在LHC数据分析的资源昂贵的视野中具有吸引力。可能的应用包括选择优化、快速模拟和快速检测器校准。在这方面的贡献,我描述的算法,提供给HEP社区的RooFit实现。LHCb协作中讨论的一组应用程序也简要说明。
2016-07-22 stat.AP
Parametric estimation of hidden stochastic model by contrast minimization and deconvolution: application to the Stochastic Volatility Model
我们研究了一种新的参数方法,特别是隐藏的随机模型,如随机波动率模型。该方法基于对比度最小化和去卷积。在证明了估计的渐近置信区间的一致性和渐近正态性后,我们提供了一个彻底的数值研究,比较了在实践中使用的大多数经典方法(拟极大似然估计,模拟期望最大化似然估计和贝叶斯估计)。我们证明,我们的估计显然优于极大似然估计的计算时间,但也大多数其他方法。我们还表明,这种对比度的方法是最强大的非高斯误差,也不需要任何调整参数。
2013-03-14 q-fin.ST stat.AP
Some improvement on non-parametric estimation of income distribution and poverty index
本文提出了Foster,Greer和Thorbecke测度类$\displaystyle P(z,α) = \int_0^{z}\Big(\frac{z-x}{z}\Big)^αf(x)\, dx$的一个估计,其中$z>0$是贫困线,$f$是收入分布的概率密度函数,$α$是所谓的贫困厌恶.该估计器是用一个有偏约化核估计器构造的。建立了一致几乎必然相合性和一致均方相合性。仿真研究表明,我们的新估计性能良好。
2019-09-17 math.ST stat.ME stat.TH
Minimax wavelet estimation for multisample heteroscedastic non-parametric regression
研究了从多采样噪声曲线中估计基线信号的问题。本文考虑了功能性混合效应模型,假设功能性固定效应属于Besov类。这个框架允许我们对可能表现出强烈不规则性的曲线进行建模,例如峰值或跳跃。提供了$L_2$极小极大风险的下限,以及极小极大比率的上限,该上限是通过构建函数固定效应的小波估计量推导出来的。我们的工作构成了多样本非参数回归的第一个理论结果。我们的方法说明了现实的模拟数据集以及实验数据。
2015-11-14 stat.ME
Asymptotic minimax risk of predictive density estimation for non-parametric regression
本文研究了非参数回归模型中未来观测值的预测密度估计问题。密度估计Kullback-Leibler发散下进行评估,我们的重点是在高斯误差的情况下建立极小极大风险的精确渐近性。我们推导出了高斯先验下贝叶斯预测密度之间的极小极大风险的收敛速度和常数,并证明了这种极小极大风险与所有密度估计之间的极小极大风险是渐近等价的。
2010-10-11 math.ST stat.TH
Parametric Estimation of Diffusion Processes Sampled at First Exit Times
本文给出了一类扩散过程参数的递推估计。我们使用的思想的随机算法的建设的估计。证明了这些估计量的渐近相合性和适当的归一化的渐近正态性。结果适用于两个例子,从金融文献,即,Cox-Ingersoll-Ross模型和恒定方差弹性(CEV)过程说明了本文提出的技术的使用。
2004-02-16 math.ST stat.TH
Non-parametric estimation for the stochastic wave equation
本文研究时空白噪声驱动的随机波动方程中空间变化波速的非参数估计问题,通过局部观测方案建立增广最大似然估计量的渐近正态性,并揭示Fisher信息与动能及能量均分原理的内在联系。
2024-04-29 math.PR math.ST stat.TH
Contrast estimation for parametric stationary determinantal point processes
本文研究了参数平稳定点过程的最小对比度估计。这些过程形成了一类有用的模型排斥(或定期,或抑制)点模式,并已应用于许多统计应用。我们的主要重点是基于Ripley的K-函数或对相关函数的最小对比度方法。在只考虑过程存在性及其关于参数的正则性的一般条件下,证明了这些过程的强相合性和渐近正态性。证明的一个关键成分是最近建立的Brillinger混合性质的平稳行列式点过程。本文的工作可以看作是对Y. Guan和M. Sherman等人为一大类Cox过程建立了同样的渐近性质,而这类Cox过程又是聚类(或聚集)的模型。
2015-10-14 math.ST stat.TH
Parametric estimation of pairwise Gibbs point processes with infinite range interaction
本文研究了无穷程相互作用Gibbs点过程的统计推断,特别是一类Ruelle超稳定和低正则两两相互作用模型的统计推断.我们扩展了经典的统计方法,如伪随机和逻辑斯谛回归方法,最初定义和研究有限范围模型。然后证明了相关的估计是强相合的,并且满足中心极限定理,只要两两交互作用函数足够快地趋于零。为此,我们引入了一个新的中心极限定理几乎条件中心的三角阵列的随机场。
2015-10-02 math.ST stat.TH
Local quasi-likelihood with a parametric guide
广义线性模型和拟似然方法扩展了普通回归模型,以适应更一般的响应条件分布。非参数方法不需要明确的参数规格,并且所得到的模型完全由数据本身决定。然而,非参数估计方案通常具有较慢的收敛速度,例如Fan,Heckman和Wand [J. Amer. Statist. Assoc.90(1995)141- 150]。在这项工作中,我们提出了一个统一的家庭参数引导的非参数估计方案。这结合了参数和非参数方法的优点,使我们能够结合先验知识。渐近结果和数值模拟表明,我们的新的估计方案比原来的非参数对应的改善。
2009-11-20 math.ST stat.TH
Parametric Return Density Estimation for Reinforcement Learning
IBM Research - Tokyo(IBM 东京研究院);Tokyo Institute of Technology(东京工业大学);The University of Tokyo(东京大学);Kyoto University(京都大学)
大多数传统的强化学习(RL)算法旨在根据预期收益优化决策规则。然而,特别是为了风险管理的目的,其他风险敏感的标准,如风险价值或预期的短缺,有时在实际应用中更可取。在这里,我们描述了一个参数的方法来估计密度的回报,这使我们能够处理各种标准在一个统一的方式。首先,我们扩展了贝尔曼方程的条件预期回报,以涵盖条件概率密度的回报。然后,我们推导出一个扩展的TD-学习算法估计返回密度在一个未知的环境。作为测试实例,给出了高斯分布、拉普拉斯分布和偏拉普拉斯分布的参数密度估计算法。我们表明,这些算法导致风险敏感,以及强大的RL范例,通过数值实验。
2012-03-15 cs.LG stat.ML
Pseudo-variance quasi-maximum likelihood estimation of semi-parametric time series models
本文提出基于高斯拟似然和参数化伪方差的半参数时间序列估计方法,推导其渐近性质与限制检验,证明其不受伪方差误设影响且效率更高,并通过模拟和实证验证其有效性。
2025-07-18 math.ST stat.ME stat.TH
High-Dimensional Non-Parametric Density Estimation in Mixed Smooth Sobolev Spaces
Texas A&M University(德州农工大学);The Hong Kong University of Science and Technology(香港科技大学);Northeastern University(东北大学)
密度估计在机器学习、统计推断和可视化中的许多任务中起着关键作用。高维密度估计中的主要瓶颈是过高的计算成本和缓慢的收敛速度。在本文中,我们提出了新的估计高维非参数密度估计称为自适应双曲交叉密度估计,它具有良好的收敛性在混合光滑Sobolev空间。混合光滑Sobolev空间作为通常Sobolev空间的变形,在某些应用中更适合于描述高维密度函数.我们证明了,不同于其他现有的方法,所提出的估计不遭受灾难的维数下的积分概率度量,包括Hölder积分概率度量,其中总变差度量和Wasserstein距离的特殊情况。将所提出的估计器应用于生成对抗网络(GANs)和高维数据的拟合优度检验,以说明所提出的估计器在高维问题中的良好性能。数值实验表明了该方法的有效性。
2021-10-20 cs.LG stat.ML
Estimation in semi-parametric regression with non-stationary regressors
本文考虑了一类部分线性模型,其形式为$Y_t=X_t^τθ_0+g(V_t)+ε_t$,$t=1,...,n$,其中$\{V_t\}$是$β$零回归马氏链,$\{X_t\}$是严格平稳或非平稳回归序列,$\{ε_t\}$是平稳序列.我们建议估计$θ_0$和$g(\cdot)$的半参数最小二乘(SLS)估计方法。在一定的条件下,我们然后表明,建议的SLS估计的$θ_0$仍然是渐近正态的平稳时间序列的情况下,具有相同的速度。此外,我们还建立了函数$g(\cdot)$的非参数估计的渐近分布。数值算例表明,本文的理论和估计方法在实际中是有效的。
2012-05-15 math.ST stat.TH
Fast Multi-Class Probabilistic Classifier by Sparse Non-parametric Density Estimation
Institute of Statistical Science, Academia Sinica(中央研究院统计科学研究所)
在许多应用场景中,模型解释是必不可少的,建立一个易于模型解释的分类模型可以为进一步的研究和改进提供有用的信息。在现代数据分析中,经常会遇到一组冗长的变量,特别是当数据以某些自动方式收集时。这类数据集可能没有收集特定的分析目标,并且通常包含冗余特征,这些特征对当前感兴趣的分析任务没有贡献。变量选择是提高模型解释能力的一种常用方法,在一些参数分类模型中得到广泛应用。在基于密度估计的非参数分类模型中,特别是在多类分类的情况下,缺乏对变量选择的研究。在这项研究中,我们研究了多类分类问题,使用稀疏非参数密度估计的思想,并提出了一种方法来确定每个类的高影响变量。我们提出了所提出的方法的渐近性质和计算过程以及一些建议的样本量。我们还重新发布了使用合成数据集和一些真实数据集的数值结果。
2019-01-04 cs.LG stat.ML
Semiparametric estimation of spectral density function for irregular spatial data
空间过程协方差结构的估计在空间统计学中具有重要意义。在文献中,几个非参数和半参数的方法已经发展到估计的协方差结构的基础上的频谱表示的协方差函数。然而,他们要么忽略了频谱密度的高频特性,这是必不可少的,以确定性能的插值程序,如克里格,或缺乏理论依据。提出了一种新的半参数方法来估计各向同性空间过程的谱密度。在低频率的谱密度函数估计使用平滑样条,而在高频率的谱密度的参数模型,和参数估计的方法的时刻的方法的基础上的经验变异函数在小滞后。我们推导出所提出的估计的偏差和方差的渐近界。仿真研究表明,我们的方法优于现有的非参数估计的几个性能标准。
2015-08-27 stat.ME
Semi-parametric regression: Efficiency gains from modeling the nonparametric part
结构化非参数模型在非参数估计中的重要性已被广泛认可。在本文中,我们表明,同样适用于半参数估计。我们认为,估计的参数分量的半参数模型,可以从根本上改善时,更多的结构被放入非参数部分的模型。我们说明了这部分线性模型,并调查效率增益时,模型的非参数部分具有添加剂结构。我们提出了估计部分线性可加模型参数部分的半参数Fisher信息界,并提供了半参数有效估计,我们使用光滑的回拟合技术来处理可加非参数部分。我们还提出了有限样本性能的估计和分析波士顿住房数据作为例证。
2011-04-22 math.ST stat.TH
Parametric estimation. Finite sample theory
本文旨在对著名的勒·凯姆兰理论进行反思。该方法与经典方法的主要区别在于:(1)研究是非渐近的,即样本量是固定的,不趋于无穷大;(2)参数假设可能是错误的,潜在的数据分布可能超出给定的参数族。这两个特点使参数和非参数理论之间的差距,并建立一个统一的框架,统计估计。主要结果包括对数似然过程的(拟)极大似然和局部二次括号的大偏差界。后者产生了一些重要的推论统计推断:浓度,置信度和风险界限,扩展的最大似然估计,等等。所有这些推论都表示在一个非经典的方式承认一个模型的错误和有限的样本。然而,经典的渐近结果,包括效率界可以很容易地推导出所获得的非渐近陈述的推论。同时,新的包围装置在经典参量理论失效的大的或增长的参量维数的情况下工作得很好。的一般结果示出的i.i.d.设置以及广义线性和中位数估计。结果适用于任何尺寸的参数空间,并提供了一个定量下界的样本量产生的root-n精度。
2013-02-19 math.ST stat.TH
Parametric Estimation of Tempered Stable Laws
本文比较最大似然与广义矩等参数估计方法,证明缓增稳定分布估计量大样本性质,并通过模拟和金融数据验证其效果。
2024-07-05 math.PR math.ST stat.TH
Online Centralized Non-parametric Change-point Detection via Graph-based Likelihood-ratio Estimation
Centre Borelli, ENS Paris-Saclay, Université Paris-Saclay(巴黎萨克雷大学巴黎萨克雷高等师范学院博雷利中心)
考虑图中的每个节点都要生成一个数据流,该数据流是同步的,并且可以近实时地观察到。在变化点$τ$,在节点$C$的子集处发生变化,这影响其相关联的节点流的概率分布。在本文中,我们提出了一种新的基于核的方法来检测$τ$和本地化$C$,基于直接估计的似然比之间的变化和变化前的节点流的分布。我们的主要工作假设是图上的似然比估计的平滑性,即期望连接的节点具有相似的似然比。所提出的方法的质量证明了广泛的实验合成的情况下。
2023-01-12 cs.LG stat.ML
A penalized exponential risk bound in parametric estimation
本文提出了一种新的统一方法来研究拟似然法参数估计的精度。该方法的重要特征是:(1)基础模型{不假设是参数的}。(2)不需要参数可识别性的条件。参数集可以是无界的。(3)模型假设是相当一般的,没有具体的结构性假设,如独立或弱依赖的观察。对模型施加的条件非常温和,在特定应用中可以很容易地检查。(4)所建立的风险界是{非渐近}的,并适用于大,中,小样本。(5)主要结果是准极大似然估计的浓度属性,给出了所考虑的估计偏离“真”点的小邻域的概率的非渐近指数界。在轻度正则性条件下的标准情况下,通常的一致性和速率结果可以很容易地从已建立的风险界得到推论。以广义线性模型和单指标模型为例说明了方法和结果。
2009-03-10 math.ST stat.TH
Application of Quantum Theory to Super-parametric Density Estimation
本文将讨论如何将非参数密度估计推广到MLE参数估计。基于Parzen窗理论,利用量子理论概率幅的优点,建立了一个非线性最优化问题的数学模型。研究了求解非线性规划问题的构造性方法。虽然这看起来很复杂,但本文的方法是简单而全面的。更确切地说,引理,定理及其证明服务于数学严谨性和实际计算的目的。我们使用初等微积分的流行技术和术语,而不是使用高等数学的技术和术语。从Y. --S。Tsai等人[7]的研究,表明完全建立了一种新的密度估计方法--超参数密度估计。严格地说,本文的工作并不局限于统计范畴。它可以分为非线性分析(如线性空间或流形上的优化)和计算机科学中的算法。
2008-11-13 math.ST stat.TH
Non-parametric cure rate estimation under insufficient follow-up using extremes
生存分析中的一个重要研究主题与治愈率的建模和估计有关,即永远不会发生感兴趣事件的受试者比例。然而,大多数估计方法提出的文献中没有处理的情况下,不充分的后续行动,也就是说,当正确的终点支持的删失时间严格小于生存时间的易感受试者,因此这些估计高估了治愈率在这种情况下。我们填补了这一空白,提出了一个新的估计的治愈率,利用外推技术,从该地区的极值理论。我们建立的估计量的渐近正态性,并显示如何估计工程的小样本通过模拟研究。我们还通过对乳腺癌患者生存数据的分析来说明其实际适用性。
2018-04-04 math.ST stat.ME stat.TH
spINAR: An R Package for Semiparametric and Parametric Estimation and Bootstrapping of Integer-Valued Autoregressive (INAR) Models
针对计数数据时间序列文献不足,本文提出R包spINAR,支持INAR模型的半参数与参数估计、模拟及自举法,重点在于无需假设创新分布参数族的高效半参数估计。
2024-01-25 stat.CO
Exponential Random Graph Models with Big Networks: Maximum Pseudolikelihood Estimation and the Parametric Bootstrap
随着对网络数据跨领域研究的不断深入,指数随机图模型(ERGM)已经成为网络数据统计分析的主要方法。ERGM参数估计需要一个难以处理的归一化常数的近似。模拟方法代表了最先进的方法来近似归一化常数,从而导致通过蒙特卡罗极大似然(MCMLE)进行估计。MCMLE在使用大样本网络来近似归一化常数时是准确的。然而,MCMLE在计算上是昂贵的,并且如果网络的大小在1,000个节点的量级上(即,一百万个潜在联系)或更多。当网络很大时,一种选择是最大伪随机估计(MPLE)。标准MPLE简单快速,但通常低估了标准误。我们表明,一个restling方法-参数引导-结果在准确的覆盖概率为置信区间。我们发现,自举MPLE可以运行在MCMLE的1/5的时间。我们研究了MCMLE和MPLE的相对性能与模拟研究,并说明了两种不同的方法,将它们应用到网络的法案在美国参议院。
2017-08-08 stat.CO