Large and moderate deviations principles for kernel estimators of the multivariate regression
本文证明了多维情况下回归的Nadaraya-Watson估计量和半递归核估计量的大偏差原理。在适当的条件下,我们证明了该速率函数是一个好的速率函数。因此,我们推广的结果已经在一维情况下的Nadaraya-Watson估计。此外,我们还给出了这两个估计量的中偏差原理。结果表明,半递归估计的中偏差原理得到的率函数大于Nadaraya-Watson估计的率函数。
2007-03-12 math.ST stat.TH
Nonparametric estimation of the local Hurst function of multifractional Gaussian processes
基于增量比(IR)统计量,定义了多分数高斯过程局部Hurst函数的一种新的非参数估计。在一般的框架下,建立了该估计量的逐点一致弱相合性和强相合性以及多维中心极限定理。对于广义二次变分(QV)估计的改进,得到了类似的结果。详细研究了多重分数布朗运动的例子。仿真研究表明,IR估计是更准确的QV估计。
2012-06-07 math.ST stat.TH
Maxiset in sup-norm for kernel estimators
在高斯白噪声模型下,研究了未知多维函数$f$在一致范数下的核估计问题。程序的性能是通过使用Maxiset的观点来衡量的:我们确定的功能,以及估计(在规定的速率),每个程序。因此,在本文中,我们确定的最大集核估计和Lepski程序的形式$(\log n/n)^{\be/(2\be+d)}$的收敛速率。我们用正则性的Besov和Hölder空间$β$来刻画极大集。
2007-01-16 math.ST stat.TH
Nonparametric Least Squares Estimation of a Multivariate Convex Regression Function
本文讨论了预测变量为多维时凸回归函数的最小二乘估计的相合性。我们的特点和讨论这样的估计通过某些二次和线性规划的解决方案的计算。温和的充分条件的一致性,这个估计和它的次微分在固定和随机设计回归设置。我们还考虑了一个回归函数,这是已知的凸和分量非增,并讨论其最小二乘估计的特征,计算和一致性。
2012-02-28 math.ST stat.TH
A Theory of Nonparametric Covariance Function Estimation for Discretely Observed Data
Graduate School of Engineering Science, The University of Osaka(大阪大学大学院工程学研究科);Center for Advanced Integrated Intelligence Research, RIKEN(理化学研究所先进智能集成研究中心)
本文研究了在离散位置观测功能数据时的非参数协方差函数估计问题,提出了一种统一的自适应估计器理论,揭示了深度学习估计器在高维设置中的适应性与方差权衡。
2026-03-24 math.ST stat.ML stat.TH
A Stable Jacobi polynomials based least squares regression estimator associated with an ANOVA decomposition model
在这项工作中,我们构造了一个稳定的和相当快的估计解决非参数多维回归问题。所提出的估计是基于使用多变量雅可比多项式,生成一个基础的$d-$变量有限维多项式空间的大小减少。ANOVA分解技巧已用于构建后面的多项式空间。利用正定随机矩阵理论中的一些结果,证明了在独立同分布满足条件下,所提出的估计量是稳定的。对于不同协变量的随机抽样点的回归问题,遵循$d-$维β分布。此外,我们还为读者提供了估计量的$L^2-$风险误差估计。在回归函数属于某个加权索伯列夫空间的条件下,给出了逼近质量的更精确估计.最后,通过数值模拟验证了本文的理论分析结果。
2022-08-04 math.ST stat.TH
Orthogonal Series Estimates on Strong Spatial Mixing Data
我们研究了一个非参数回归模型的样本数据,这是定义在一个$N$维格子结构,并假设是强空间混合:我们使用设计适应多维Haar小波,形成一个规范正交系w.r.t.样本数据的经验测量。对于这样的规范正交系,我们考虑一个非参数硬阈值估计。我们给出了充分的标准,这个估计的一致性,我们得到的收敛速度。定理表明,我们的估计是能够适应局部光滑的潜在的回归函数和设计分布。我们用模拟的例子来说明我们的结果。
2017-07-28 math.ST stat.TH
The Fundamental Limits of Structure-Agnostic Functional Estimation
本文形式化黑箱冗余函数估计下的泛函估计问题并推导极小极大下界,证明在结构无关、仅施加高层速率条件时一阶去偏方法最优,而利用函数空间结构的高阶估计量才能进一步改进。
2025-06-07 math.ST stat.ME stat.ML
Frontier estimation via kernel regression on high power-transformed data
本文提出了一种新的多维样本前沿估计方法。估计器是基于幂变换数据的核回归。我们假设变换的指数趋于无穷大,而内核的带宽趋于零。给出了这两个参数的完全收敛性和渐近正态性条件。在有限样本情形下,证明了该估计器的良好性能。
2011-03-30 math.ST stat.ME stat.TH
Multivariate Distributionally Robust Convex Regression under Absolute Error Loss
本文提出了一种新的非参数多维凸回归估计,该估计被设计为对经验测度中的对抗性扰动具有鲁棒性。我们在凸函数上最小化绝对回归误差的最大值(在经验测度的Wasserstein扰动下)。内部最大化以封闭形式求解,导致正则化惩罚涉及梯度的范数。我们证明了我们的估计的一致性和收敛速率的顺序$ \widetilde{O}\left( n^{-1/d}\right) $,匹配的边界的基础上平方损失最小化的替代估计。与现有的所有结果相反,我们的收敛速度保持不强加的基础域上的紧性,并没有一个先验界的基础凸函数或其梯度范数。
2020-07-26 math.ST stat.TH
On the minimax optimality and superiority of deep neural network learning over sparse parameter spaces
The University of Tokyo(东京大学);RIKEN(理化学研究所)
本文通过非参数回归问题证明深度学习在不连续、稀疏函数类上可达极小极大最优速率,而线性估计器因凸包风险不变而次优,并指出参数共享可显著降低模型复杂度。
2019-09-20 cs.LG math.ST stat.ML
Nonparametric regression penalizing deviations from additivity
由于维数灾难,多维非参数回归模型中的估计通常是不可行的。因此,引入了额外的限制,并且添加剂模型占据了突出的位置。强加的限制可能导致严重的偏见。在这里,提出了一种新的估计,它允许惩罚的非加性部分的回归函数。这提供了完整和添加剂模型之间的平滑选择。作为副产品,这种惩罚导致稀疏区域的正则化。如果加性模型不成立,则与完整模型相比,小的惩罚引入了额外的偏差,由于使用较小的带宽,该偏差被减小的偏差补偿。对于增加的惩罚,该估计器收敛到Mammen,Linton和Nielsen [Ann. Statist. 27(1999)1443-1490]。估计器的结构进行了研究,并提供了两个算法。提出了调谐参数选择的建议,并研究了各自的性质。最后,有限样本评估进行模拟和臭氧数据。
2005-07-21 math.ST stat.TH
Adaptive wavelet multivariate regression with errors in variables
在多维环境中,我们考虑变量误差模型。我们的目的是估计未知的非参数多元回归函数与误差的协变量。我们设计了一个基于小波投影核和反卷积算子的自适应估计器。我们提出了一个自动和完全数据驱动的过程来选择小波水平分辨率。得到了各向异性H{<$}lder类上的一个预言不等式和最优收敛速度.我们的理论结果说明了一些模拟。
2016-01-12 math.ST stat.TH
Heteroscedastic semiparametric transformation models: estimation and testing for validity
本文考虑一个异方差变换模型,其中变换属于参数单调变换族,回归和方差函数是非参数建模的,误差与多维协变量无关。在这个模型中,我们首先考虑模型未知分量的估计,即变换参数、回归和方差函数以及误差的分布。我们证明了所提出的估计量的渐近正态性。其次,我们对模型的有效性进行了检验,并在原假设下建立了检验统计量的极限分布。提出了一种Bootstrap方法来近似检验的临界值。最后,我们进行了模拟研究,以验证所提出的估计和测试的小样本行为。
2014-11-27 math.ST stat.ME stat.TH
Mean-square consistency of the $f$-truncated $\text{M}^2$-periodogram
本文讨论平稳随机过程或随机场的M $^2$(即多元和多维)谱密度函数的估计问题。我们提出了$f$ -截断周期图,即截断点是样本量的合适函数$f$的截断周期图。我们讨论了估计的渐近一致性,我们提供了三个具体的问题,可以使用所提出的方法来解决。仿真结果表明了该方法的有效性。
2022-08-25 math.OC math.ST stat.TH
Structural adaptive deconvolution under $L_p$-losses
在本文中,我们解决的问题,估计一个多维密度$f$通过使用间接观察的统计模型$Y=X+\varepsilon$。这里,$\varepsilon$是与感兴趣的随机向量$X$无关的测量误差,并且相对于勒贝格测度具有已知的密度。我们的目标是获得最佳的估计精度下$L_p$ -损失时的错误$\varepsilon$有一个特征函数与多项式衰减。为了实现这一目标,我们首先构建一个核估计的$f$,这是完全数据驱动的。然后,我们得到了它的一个预言不等式非常温和的假设下的特征函数的错误$\varepsilon$。作为结果,我们得到了极大极小自适应上界在一个大规模的各向异性Nikolskii类,我们证明了我们的估计是渐近速率最优时,$p\in[2,+\infty]$。此外,我们的估计过程自动适应可能的独立结构的$f$,这使我们能够显着提高估计的准确性。
2015-05-13 math.ST stat.TH
On the usefulness of persistent excitation in ARX adaptive tracking
持续激励的有用性在控制界是众所周知的。由于持续激励自适应跟踪控制,我们表明,它是可能的,以避免强可控性假设最近提出的多维ARX框架。我们建立了未知参数的最小二乘估计和加权最小二乘估计的几乎必然收敛。给出了中心极限定理和重对数重对数律。所有这些渐近分析都与适当的极限矩阵的Schur补有关。
2009-03-14 math.PR math.ST stat.TH
One-Step R-Estimation in Linear Models with Stable Errors
线性模型的经典估计技术要么是不一致的,或执行相当差,下$α$稳定的误差密度,他们中的大多数甚至不是率最优的。本文提出了一种新颖的一步R-估计方法,并研究了其在稳定密度下的渐近性能。与传统的最小二乘方法不同,本文提出的R-估计量在整个稳定分布族下保持根- $n$一致(最优速率),而不考虑其不对称性和尾部指数.虽然由于缺乏稳定密度的封闭形式,参数稳定似然估计非常麻烦,但我们的方法允许我们构建达到与尾部指数$α$和偏度参数$b$的任何规定值$(α_0, \ b_0)$相关的参数效率界限的估计量,同时保持根- $n$一致性在任何$(α, \ b)$以及通常的轻尾密度下。该方法还避免了所有形式的多维argmin计算。仿真结果证实了其优良的有限样本性能。
2012-10-18 math.ST stat.ME stat.TH
The Effects of Adaptation on Inference for Non-Linear Regression Models with Normal Errors
本文研究了多维非线性模型的最大似然估计的性质。在两阶段试验设计中收集观察结果,并且由于第二阶段设计由第一阶段的观察结果确定,因此这些观察结果是相关的; MLE使总似然最大化。从大多数文献来看,第一阶段的样本量较小,因此仅在第二阶段使用渐近近似。通过稳定收敛证明了极大似然估计是一致的,并且其渐进分布是特定的高斯混合分布。最后,在剂量-反应Emax模型的情况下,提供了一个模拟研究。
2019-10-31 math.ST stat.ME stat.TH