Asymptotic Theory for Linear Functionals of Kernel Ridge Regression
本文在再生核希尔伯特空间等价于索博列夫空间的条件下,建立了核岭回归线性泛函的渐近理论,证明平滑参数的最优量级为λ~n^{-1},并揭示了其与最小化L_2误差的已知最优速率不同。
2025-08-22 math.ST stat.TH
Gaussian kernel smoothing
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
图像采集和分割很可能会引入噪声。进一步的图像处理,如图像配准和参数化,可以引入额外的噪声。因此,必须减少噪声测量并提升信号。为了增加信噪比(SNR)和随后的基于随机场理论的统计推断所需的数据的平滑度,某种类型的平滑是必要的。在众多的图像平滑方法中,高斯核平滑由于其数值实现简单,已经成为脑成像研究者的一种事实上的平滑技术。高斯核平滑还增加了统计灵敏度和统计功效以及高斯性。高斯核平滑可以被视为体素值的加权平均。那么从中心极限定理看,加权平均值应该更高斯。
2021-11-29 cs.CV stat.CO stat.ME
On kernel smoothing for extremal quantile regression
通过反转响应的条件分布的核估计量获得的非参数回归分位数在统计学中早已建立。然而,注意力一直局限于远离条件分布尾部的普通分位数。本文的目的是将他们的渐近理论推广到尾部。我们专注于极值分位数回归估计的响应变量给定的协变量在一般设置的向量,无论条件极值指数是积极的,消极的,或零。具体来说,我们阐明他们的极限分布时,他们位于数据的范围内或附近,甚至超出样本边界,在技术条件下,链接的收敛速度(中间或极端)的分位数函数的振荡和冯-米塞斯属性的条件分布。给出了仿真实验和实际数据的说明。真实的数据是美国电力数据,其中条件极值的估计被发现是真正感兴趣的。
2013-12-18 math.ST stat.TH
Local Nonparametric Estimation for Second-Order Jump-Diffusion Model Using Gamma Asymmetric Kernels
讨论了基于Gamma非对称核的二阶跳跃扩散模型中未知一阶和二阶无穷小矩的局部线性光滑估计。在较弱的条件下,我们得到了这些估计在内点和边界点的弱相合性和渐近正态性。基于Gamma非对称核函数的局部线性平滑方法除了具有局部线性估计的简单偏差表示和边界偏差校正等标准性质外,还具有可变带宽、方差减小和抗稀疏设计等优点,并通过有限样本仿真研究进行了验证。最后,我们使用的估计一些高频金融数据的回报。
2017-07-06 math.ST stat.TH
Fast Kernel Smoothing in R with Applications to Projection Pursuit
本文介绍了R软件包FKSUM,它提供了快速和准确的单变量核平滑器的评估。主要的内核计算是用C++实现的,并被包装在简单,直观和通用的R函数中。快速内核计算是基于递归表达式涉及的顺序统计量,它允许在所有样本点在对数线性时间的内核平滑的准确评估。除了通用的内核平滑函数外,该软件包还提供了流行的内核类型估计器的专用构建和随时可用的实现。在这些基本的平滑问题之上,本文着重于投影寻踪问题,其中投影指数是基于投影密度泛函的核型估计。
2020-01-15 stat.CO
Adaptive Kernel Estimation of the Spectral Density with Boundary Kernel Analysis
提出了平稳时间序列对数谱密度的一种混合估计方法。首先,进行多锥度估计,然后对对数多锥度估计进行核平滑。与简单地平滑对数锥形周期图相比,该过程将预期均方误差减少了$({π^2 \over 4})^{.8}$。最佳锥度数为$O(N^{8/15})$。给出了变带宽核平滑器的数据自适应实现方法。当谱密度不连续时,使用单侧平滑估计。
2018-03-11 cs.CV eess.AS eess.SP
A reliable data-based smoothing parameter selection method for circular kernel estimation
提出了一种新的基于数据的圆核密度(及其导数)估计的平滑参数。按照插件的想法,未知量的最佳平滑参数被替换为适当的估计。本文提供了著名的Sheather和Jones带宽(DOI:10.1111/j.2517-6161.1991.tb01857.x)的循环版本,具有直接和求解方程插件规则。理论支持我们的发展,有关的渐近均方误差的估计的密度,其衍生物,其泛函,圆形数据,提供。所提出的选择器与以前的基于数据的圆核密度估计的平滑参数进行了比较。本文也有助于研究的最佳核循环数据。一个插图的建议插件的规则也显示使用真实的数据上的时间的车祸。
2022-11-18 stat.CO stat.ME
Spectral Equivariance and Geometric Transport in Reproducing Kernel Hilbert Spaces: A Unified Framework for Orthogonal Polynomial and Kernel Estimation
L.I.A.G.E, Institut National des Sciences de Gestion(国立管理科学研究所);Modeling and Calculus Lab, ROOTS-INSIGHTS(ROOTS-INSIGHTS 建模与计算实验室)
本文提出了一种基于双核空间的统一几何框架,通过谱等变性定理揭示了正交多项式估计器、核估计器和谱平滑方法之间的联系,为非参数估计提供了新的视角。
2025-12-15 math.ST stat.TH
Normal approximations for the multivariate inverse Gaussian distribution and asymmetric kernel smoothing on $d$-dimensional half-spaces
McGill University(麦吉尔大学)
本文提出了一种基于多维逆高斯分布的非对称核密度估计器,并开发了生成MIG随机向量的新算法,用于改进半空间数据的平滑和分析。
2025-06-17 math.PR math.ST stat.TH
Function Estimation Using Data Adaptive Kernel Estimation - How Much Smoothing?
我们通过局部平滑数据来确定期望误差。然后我们优化核平滑器的形状以最小化误差。由于最优估计依赖于未知函数,我们的方案自动调整到未知函数。通过自洽地调整核平滑器,总估计量适应数据。拟合优度估计量通过最小化基于平均平方残差拟合误差的半宽函数来选择核半宽:$ASR(h)$。包括惩罚项以调整使用相同的数据来估计函数并评估均方误差。拟合优度估计量实现起来相对简单,但(拟合优度泛函的)最小值往往对小扰动敏感。为了解决这一敏感性问题,我们拟合的均方误差%拟合优度函数的两个参数的模型之前,确定最佳的半宽度。插入式导数估计器在初始步骤中估计未知函数的二阶导数,然后将此估计代入渐近公式。
2018-03-11 cs.AI eess.SP math.ST
Multiple combined gamma kernel estimations for nonnegative data with Bayesian adaptive bandwidths
针对支撑于非负正交限的多变量密度,本文提出标准与修正 gamma 核的多重组合估计及贝叶斯自适应带宽选择,证明其渐近性质,并通过仿真和真实数据显示优于两类纯核方法。
2022-02-18 math.ST stat.TH
A test for model specification of diffusion processes
我们提出了一个测试的参数扩散过程的过渡密度的核估计的基础上的模型规格。经验似然被用来制定一个统计量,为每个内核平滑带宽,这是有效的学生化$L_2$ -核过渡密度估计和参数过渡密度之间的距离暗示的参数过程。为了减少平滑带宽选择的测试的敏感性,最终的检验统计量通过结合一组平滑带宽上的经验似然统计量来构造。为了更好地描述检验统计量的有限样本分布和数据相关性,通过参数自举方法获得检验的临界值。通过模拟和实际数据实例,对检验的性质进行了渐近和数值评估。
2008-03-12 math.ST stat.TH
Statistical visualisation for tidy and geospatial data in R via kernel smoothing methods in the eks package
针对R环境中tidy与地理空间数据的核平滑分析空白,提出eks包,支持核密度估计、密度导数估计、基于密度的分类和均值漂移聚类,并通过实验展示其统计可视化的获取与解读方法。
2024-08-07 stat.AP stat.CO
Support-Conditioned Flow Matching Is Kernel Smoothing
Department of Computer Science(计算机科学系);University of Washington(华盛顿大学)
本文通过核平滑理论揭示流匹配中支持集的核密度估计机制,证明流时间影响核带宽,并验证跨注意力在高维数据中的局限性。
2026-05-13 cs.LG stat.ML
Mellin-Meijer-kernel density estimation on $\mathbb{R}^+$
非参数核密度估计是一个非常自然的过程,它简单地利用了卷积运算的平滑能力。然而,当要估计正变量的密度时,它的性能很差(边界问题,尾部的虚假凸起)。因此,各种扩展的基本核估计据称适合于$\mathbb{R}^+$支持的密度,如使用伽玛或其他非对称内核,在文献中比比皆是。然而,这些都不是基于任何有效的平滑操作类似的卷积,这通常会导致不一致。相比之下,在本文中,一个内核估计$\mathbb{R}^+$支持的密度定义利用梅林卷积,自然模拟通常的卷积$\mathbb{R}^+$。从那里,一个非常透明的理论流动,并导致新类型的非对称内核强烈相关的梅杰的$G$ -功能。许多令人愉快的性质,这'梅林-梅杰核密度估计'的文件中证明。它的逐点和$L_2$ -一致性(最佳收敛速率)建立了一个大类的密度,包括密度无界0和显示幂律衰减在其右尾。它的实际行为进一步研究通过模拟和一些实际数据分析。
2017-07-13 math.ST stat.ME stat.TH
Data-adaptive smoothing for optimal-rate estimation of possibly non-regular parameters
我们考虑有限维,潜在的非路径可微的目标参数的非参数推断。在非参数模型中,总是非路径可微目标参数的这种参数的一些示例包括点处的密度函数或点处的回归函数。在因果推理中,在适当的因果假设下,平均反事实结果可以是路径可微的或不可微的,这取决于积极性假设成立的程度。在本文中,给定一个潜在的非路径可微的目标参数,我们引入了一族近似参数,这是路径可微的。这个族由标量索引。例如,在核回归或密度估计中,这样的族的自然选择是通过核平滑获得的,并且由平滑水平索引。对于反事实平均结果,通过截断倾向分数得到一个可能的近似族,然后截断水平起指标的作用。我们提出了一种方法来数据自适应地选择家庭中的指标,以优化均方误差。我们证明了一个渐近正态性的结果,这使我们能够得到置信区间。在一定条件下,我们的估计达到最佳的均方误差收敛速度。置信区间是数据自适应的,并且具有几乎最佳的宽度。模拟研究表明,在给定的治疗剂量的因果剂量-响应曲线的推断,我们的估计的实际性能。
2017-07-12 math.ST stat.ME stat.TH
A comparative study of new cross-validated bandwidth selectors for kernel density estimation
最近的贡献内核平滑表明,交叉验证的带宽选择器的性能显着提高间接。间接交叉验证首先从一个比原始问题更粗糙和困难的平滑问题估计经典的交叉验证带宽,然后重新缩放该间接带宽以成为原始问题的带宽。这种方法的动机来自于观察,即当平滑问题很困难时,经典的交叉验证往往会更好地工作。在本文中,我们发现,间接交叉验证的性能提高理论和实践中的多项式阶的间接核的增加,高斯核作为限制核的多项式阶趋于无穷大。这些理论和实际结果支持了经常提出的选择高斯核作为间接核。然而,对于做验证,我们的研究表明渐近理论和实际性能之间的差异。至于间接交叉验证,在渐近理论中,间接do-validation的性能随着所使用的间接核的多项式阶数的增加而提高。但是这种理论上的改进并没有延续到实践中,并且原始的do验证似乎仍然是我们首选的带宽选择器。我们还考虑插件估计和插件带宽和交叉验证带宽的组合。这些后者的带宽也不优于原始的do-validation估计。
2012-09-20 stat.ME
Strong Asymptotic Properties of Kernel Smoothing Estimation for NA Random Variables with Right Censoring
大多数负相关(NA)随机变量的研究都考虑了完全数据的情况,这实际上是一个相对理想的条件。本文将这一条件放宽到不完全数据的情形,考虑了基于Kaplan-Meier估计的右删失情形下的核平滑密度估计和风险函数估计。我们建立了这两个估计的强渐近性质,以评估其渐近行为,并证明其实际应用。
2023-02-01 math.ST stat.TH
Specification testing for regressions: an approach bridging between local smoothing and global smoothing methods
对于回归模型,现有的规格检验大多可以分为局部平滑检验和全局平滑检验。与全局平滑测试相比,局部平滑测试在预测向量维数较高时只能以较慢的速度检测出不同于原假设的局部备选方案,但对振荡备选方案更为敏感。在本文中,我们提出了一个基于投影的测试之间的桥梁,本地和全球平滑为基础的方法,使测试可以受益于这两种类型的测试的优点。测试结构是基于核估计为基础的方法和得到的测试成为一个封闭的形式基于距离的测试。研究了其渐近性质。仿真和实际数据分析进行有限样本情况下的测试的性能进行评估。
2017-10-17 stat.ME
Smoothing spline density estimation from doubly truncated data
Instituto Español de Oceanografía (IEO - CSIC)(西班牙海洋研究所);Centro Oceanográfico de Vigo(维戈海洋中心);CITMAga(加利西亚可持续数学与技术计算研究中心)
本文提出了一种修正惩罚似然方法,用于从双截断数据中进行平滑样条密度估计,并通过模拟和实际数据验证其有效性。
2026-01-14 stat.ME
Error Bounds for a Kernel-Based Constrained Optimal Smoothing Approximation
本文为再生核希尔伯特空间中约束最优平滑问题的分段线性逼近建立了误差界,以网格大小、核正则性及到约束集的距离为函数,并允许非等距非稠密节点,通过数值实验验证了理论结果。
2025-06-23 math.ST stat.TH
Fused kernel-spline smoothing for repeatedly measured outcomes in a generalized partially linear model with functional single index
我们提出了一个广义的部分线性泛函单指标风险评分模型,重复测量的结果,指数本身是一个函数的时间。将非参数核方法与回归样条方法相结合,对广义估计方程进行了修正,使估计和推理更加方便。我们使用局部光滑核来估计时间的未知系数函数,使用B样条来估计单指标分量的未知函数。通过工作模型考虑协方差结构,该模型提供有效的估计和推断程序,无论是否捕获真实的协方差。该估计方法适用于连续和离散结果。我们推导出估计过程的大样本性质,并显示出不同的收敛速度的模型的每个组件。在这项工作之前,即使在独立数据的情况下,核函数和回归样条方法以嵌套的方式相结合的渐近性质还没有研究。
2015-10-14 math.ST stat.TH
Multivariate Smoothing via the Fourier Integral Theorem and Fourier Kernel
从傅里叶积分定理出发,给出了多元函数的自然蒙特卡罗估计,包括密度、混合密度、转移密度、回归函数,以及多元密度函数的模式搜索(模式回归).收敛速率被建立,并且在许多情况下,提供优于当前标准估计器的速率,诸如基于核的那些,包括核密度估计器和核回归函数。数值例子。
2020-12-28 math.ST stat.ME stat.ML
Uniform error bounds for smoothing splines
建立了随机设计非参数回归中光滑样条估计的一致误差的几乎几乎必然界。Einmahl和Mason(2005)的一些结果被用于推导“等价”再生核回归估计器对样条平滑器的近似的一致误差界,以及用于证明再生核回归估计器本身的一致误差界,在宽范围内在平滑参数上一致。这允许数据驱动的平滑参数的选择。
2006-12-27 math.ST stat.TH
Principal components analysis for sparsely observed correlated functional data using a kernel smoothing approach
本文考虑了从稀疏、不规则观测、噪声污染和(可能)相关的函数数据中估计协方差核及其特征值和特征函数的问题。我们提出了一种方法的基础上,通过适当的内核的个人样本曲线的预平滑。我们表明,朴素的经验协方差的预平滑的样本曲线给出了高度有偏估计的协方差核沿其对角线。我们通过分别估计协方差核的对角和非对角部分来解决这个问题。然后,我们提出了一个实用和有效的方法,通过使用近似的留一曲线交叉验证得分选择的内核的带宽。我们证明,在标准的正则条件下的协方差核和假设独立同分布。样本,我们估计的风险,在$L^2$损失下,当每条曲线的测量数有界时,达到最优的非参数率。我们还表明,即使当样本曲线相关的无噪声数据具有可分离的协方差结构的方式,所提出的方法仍然是一致的,我们量化的作用,这种相关性的估计的风险。
2008-07-07 math.ST stat.ME stat.TH
Rademacher complexity for Markov chains : Applications to kernel smoothing and Metropolis-Hasting
根据Talagrand的开创性方法,将随机变量独立序列的Rademacher复杂性的概念推广到马尔可夫链。所提出的“块Rademacher复杂性”(一类函数)的概念来自更新理论,并允许控制基于Harris马尔可夫链的经验过程的上确界(在该类函数上)的期望值以及超额概率。对于Vapnik-Chervonenkis类型的类,建立了“块Rademacher复杂性”的界限。这些界限基本上取决于样本量和再生时间的概率尾部。该方法被用来获得平稳测度的核密度估计的收敛速度,并推导出Metropolis-Hasting算法的浓度不等式。
2018-07-06 math.ST stat.CO stat.TH
Local linear smoothing for regression surfaces on the simplex using Dirichlet kernels
本文提出单纯形上回归曲面的局部线性平滑器,利用局部自适应狄利克雷核加权最小二乘,推导渐近性质,并通过模拟证明其优于现有 Nadaraya-Watson 估计器。
2025-05-11 math.ST stat.AP stat.ME
Adaptive Smoothing of the Log-Spectrum with Multiple Tapering
提出了平稳时间序列对数谱密度的一种混合估计方法。首先,执行多重锥形估计,然后对对数多重锥形估计进行核平滑。与简单地平滑对数锥形周期图相比,该过程将预期均方误差减少了$(π^2/ 4)^{4/5} $。给出了变带宽核平滑器的数据自适应实现方法。
2018-03-11 eess.AS eess.SP math.ST
Early stopping and polynomial smoothing in regression with reproducing kernels
Inria(法国国家信息与自动化研究所);Paris 1 Panthéon-Sorbonne University(巴黎第一先贤祠-索邦大学)
本文针对再生核希尔伯特空间中的迭代学习算法,提出一种基于最小差异原则且无需验证集的数据驱动早停规则,并证明其在有限秩和Sobolev类核空间上具有极小极大最优性,模拟实验表明其性能与V折交叉验证相当。
2024-11-22 cs.LG math.ST stat.ML
An introduction to (smoothing spline) ANOVA models in RKHS with examples in geographical data, medicine, atmospheric science and machine learning
再生核希尔伯特空间(RKHS)中的平滑样条方差分析(SS-ANOVA)模型为各种领域中的数据分析、建模和学习提供了非常通用的框架。离散的、有噪声的、分散的、直接的和间接的观测可以被多个输入和多个可能相关的输出以及各种有意义的结构所容纳。本文的目的是简要概述的方法和描述和对比一系列的应用程序,同时注意到一些最近的结果。
2004-10-19 math.ST stat.TH
Nonlinear functional models for functional responses in reproducing kernel Hilbert spaces
再生核希尔伯特空间(RKHS)理论的扩展为具有功能性反应的函数回归模型建模提供了一个新的框架。该方法只假设一个一般的非线性回归结构,而不是以前研究的线性回归模型。提出了一种自动平滑参数估计的广义交叉验证方法。新的RKHS估计适用于模拟和真实数据作为例证。
2007-02-05 math.ST stat.TH
Data-driven bandwidth choice for gamma kernel estimates of density derivatives on the positive semi-axis
在某些应用中,有必要估计定义在正半轴上的概率密度的导数。概率密度及其导数的非参数估计的质量受到平滑参数(带宽)的强烈影响。本文给出了密度导数伽玛核估计的最优光滑参数的表达式。对于这一参数,基于称为“经验法则”和“交叉验证”的方法构建了数据驱动的估计。质量的估计验证和证明的麦克斯韦和韦布尔分布产生的密度导数的例子。
2014-07-27 math.PR math.ST stat.TH
Improved Asymptotics for Zeros of Kernel Estimates via a Reformulation of the Leadbetter-Cryer Integral
估计核平滑器的假拐点的期望数量。为了获得小的噪声限制,我们使用的Leadbetter-Cryer积分的可微高斯过程的零交叉的预期数量的重新制定。
2018-03-11 eess.SP math.PR math.ST