Neural Networks as Kernel Learners: The Silent Alignment Effect
Harvard University(哈佛大学)
懒惰训练机制中的神经网络收敛到内核机器。在富特征学习机制中的神经网络能学习具有数据依赖内核的内核机器吗?我们证明,这确实可以发生,由于一种现象,我们长期沉默的对齐,这需要一个网络的切线内核的特征结构的演变,而小,之前的损失明显减少,并增长,只有在整体规模之后。我们表明,这样的效果发生在同质神经网络与小的初始化和白化数据。我们提供了一个线性网络的情况下,这种效果的分析处理。一般来说,我们发现内核在训练的早期阶段会产生一个低秩的贡献,然后在整体规模上发展,产生一个函数,相当于最终网络的切线内核的内核回归解决方案。内核的早期谱学习取决于深度。我们还证明了非白化数据可以削弱沉默对齐效应。
2021-12-02 cs.LG stat.ML
Kernel Mean Estimation and Stein's Effect
MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);The Institute of Statistical Mathematics(统计数学研究所);University of Cambridge(剑桥大学);University College London(伦敦大学学院)
再生核希尔伯特空间中的均值函数或核均值是从核主成分分析到分布的希尔伯特空间嵌入等许多应用的重要组成部分。给定有限样本,经验平均值是真实核平均值的标准估计值。我们表明,这个估计可以通过一个众所周知的现象,在统计称为斯坦的现象得到改善。经过考虑,我们的理论分析揭示了存在一个广泛的一类估计,优于标准。专注于这一类的一个子集,我们提出了有效的收缩估计的内核。几个基准应用程序的实证评估清楚地表明,所提出的估计优于标准的核均值估计。
2013-06-06 cs.LG math.ST stat.ML
Uniform Function Estimators in Reproducing Kernel Hilbert Spaces
本文讨论了回归重建函数的问题,这些函数在随机位置上具有叠加误差。我们解决再生核希尔伯特空间的问题。证明了通常由高斯随机场导出的估计在再生核希尔伯特空间的均值范数下收敛于条件期望,这意味着该函数估计的局部和一致收敛性.通过预先选择内核,问题不会受到维数灾难的影响。本文分析了估计量的统计性质。我们推导出收敛性质,并提供了一个保守的收敛速率增加样本量。
2021-08-16 math.ST stat.ML stat.TH
Kernel Manifold Alignment
University of Zurich(苏黎世大学);Universitat de València(瓦伦西亚大学)
我们介绍了一个核方法流形对齐(KEMA)和域自适应,可以匹配任意数量的数据源,而不需要相应的对,只是一些标记的例子在所有领域。KEMA具有有趣的特性:1)它概括了其他流形对齐方法,2)它可以对齐非常不同复杂度的流形,执行一种流形展开加对齐,3)它可以定义特定于域的度量以应对多模态特性,4)它可以对齐不同维度的数据空间,5)它对强非线性特征变形是鲁棒的,以及6)它是闭合形式可逆的,这允许跨域传输和数据合成。我们还提出了一个降秩版本的计算效率和讨论的推广性能的KEMA下的Rademacher稳定性原则。KEMA在合成示例、视觉对象识别和面部表情识别任务中表现出非常好的性能。
2015-06-05 cs.LG stat.ML
Deep Hierarchical Graph Alignment Kernels
Tongji University(同济大学);Jilin University(吉林大学)
针对 R-卷积图核忽视子结构隐式相似性与拓扑位置的问题,提出 DHGAK,通过深度嵌入空间中的层次对齐、聚类和核均值嵌入构建 RKHS 特征映射,并验证其理论保证与性能优势。
2024-05-09 cs.LG stat.ML
Kernel Mean Estimation via Spectral Filtering
估计再生核希尔伯特空间(RKHS)中的核均值的问题是核方法的核心,因为它被经典方法(例如,当将核PCA矩阵居中时),并且它还形成现代核方法的核心推理步骤(例如,基于核的非参数检验),其依赖于在RKHS中嵌入概率分布。Muandet等人(2014)已经表明,收缩可以帮助构建比经验估计量“更好”的核均值估计量。本文研究了Muandet et al.(2014)中估计量的相容性和可容许性,并提出了一类更广泛的收缩估计量,通过考虑适当的基函数来改进经验估计量。使用核PCA的基础上,我们表明,这些估计可以使用频谱滤波算法,这是一致的,在一些技术假设。我们的理论分析还揭示了与基于内核的监督学习框架的基本联系。建议的估计是简单的实现和执行良好的实践。
2014-11-04 math.ST stat.ML stat.TH
Green's function based unparameterised multi-dimensional kernel density and likelihood ratio estimator
本文介绍了一种基于格林函数恒等式的概率密度估计。在概率密度可微的唯一假设下,构造了一个密度模型。该方法被实现为用于分类目的的二进制似然估计器,因此也讨论了诸如错误建模和过度训练等问题。密度估计器背后的恒等式可以解释为一种实值、非标量核方法,它能够重构可微密度函数。
2012-04-18 math.ST stat.ML stat.TH
Algorithms for Learning Kernels Based on Centered Alignment
Google Research(谷歌研究院);Courant Institute(柯朗研究所);Courant Institute of Mathematical Sciences(数学科学柯朗研究所)
本文提出基于中心对齐的核学习算法,将最大对齐核学习简化为二次规划,并给出单阶段联合学习核与假设的方法,在分类和回归中均优于均匀组合等基线方法。
2024-04-29 cs.AI cs.LG
Target alignment in truncated kernel ridge regression
UCLA(加州大学洛杉矶分校);Merck & Co., Inc.(默沙东);AbbVie Inc.(艾伯维公司)
核岭回归(KRR)最近吸引了新的兴趣,由于其潜在的解释瞬态效应,如双下降,出现在神经网络训练。在这项工作中,我们研究了目标函数和内核之间的对齐如何影响KRR的性能。我们专注于截断的KRR(TKRR),它利用一个额外的参数,控制核矩阵的频谱截断。我们表明,多项式对齐,有一个\emph{over-aligned}制度,其中TKRR可以实现更快的速度比什么是完全KRR实现。TKRR的速率可以一直提高到参数速率,而完全KRR的速率被限制在次优值。这表明在核方法中利用谱截断可以更好地利用目标对准。我们还考虑了带限对齐设置,并表明TKRR的正则化表面可以表现出瞬态效应,包括多重下降和非单调行为。我们的研究结果表明,有一个强大的和可量化的关系之间的形状的\emph{alignment spectrum}和核方法的泛化性能,无论是在率和有限的样本。
2022-06-28 cs.LG math.ST stat.ML
Optimal Confidence Band for Kernel Gradient Flow Estimator
Department of Mathematical Sciences(数学科学系);Department of Statistics and Data Science(统计与数据科学系)
本文研究了核回归方法中核梯度流的 supremum-范数泛化误差和统一推断,基于容量-源条件框架,推导了连续和离散核梯度流的收敛速率,并构建了同时置信带,其宽度最优。
2026-05-07 cs.LG math.ST stat.ML
Quantum Kernel Alignment with Stochastic Gradient Descent
IBM Quantum, IBM Research Europe – Zurich(IBM量子,IBM欧洲研究院苏黎世分部);IBM Quantum, IBM T.J. Watson Research Center(IBM量子,IBM托马斯·J·沃森研究中心)
本文将基于随机梯度下降的 Pegasos 算法扩展到量子支持向量机,实现SVM训练与量子核对齐同步进行,实验表明其精度更高且尤其适合非平稳数据。
2023-04-19 cs.LG quant-ph
An Online Projection Estimator for Nonparametric Regression in Reproducing Kernel Hilbert Spaces
非参数回归的目标是在假设回归函数属于预先指定的无穷维函数空间的情况下,从噪声观测值中恢复潜在的回归函数。在在线设置中,当观测值以流的形式出现时,重复地重新拟合整个模型在计算上通常是不可行的。到目前为止,还没有既计算效率又统计速率最优的方法。本文提出了在线非参数回归的一种估计。值得注意的是,我们的估计是一个经验风险最小化(ERM)在一个确定性的线性空间,这是很大的不同,从现有的方法使用随机功能和功能随机梯度。理论分析表明,当已知回归函数存在于再生核Hilbert空间中时,该估计器具有速率最优的推广误差。我们还表明,理论和经验,我们的估计的计算费用远低于其他速率最优估计提出了这种在线设置。
2021-04-01 stat.ME
Statistical inference using Regularized M-estimation in the reproducing kernel Hilbert space for handling missing data
插补和倾向得分加权是处理缺失数据的两种常用技术。我们使用再生核Hilbert空间中的正则化M-估计技术来解决这些问题。具体来说,我们首先使用内核岭回归开发插补处理项目无应答。虽然这种非参数方法有可能用于插补,但文献中未对其统计特性进行研究。在调整参数的阶数一定的条件下,我们首先建立了核岭回归插补估计的根$n$相合性,并证明了它达到了半参数渐近方差的下界。一个非参数的倾向得分估计使用再生核希尔伯特空间也开发了一个新的应用程序的最大熵方法的密度比函数估计。我们证明了所得到的倾向得分估计渐近等价于核岭回归插补估计。有限的模拟研究的结果也证实了我们的理论。将该方法应用于北京市大气污染监测数据的分析。
2021-07-15 stat.ME stat.ML
Exploratory data analysis for moderate extreme values using non-parametric kernel methods
在许多情况下,准确地模拟随机过程的极端尾部行为至关重要。非参数密度估计方法通常作为探索性数据分析技术来实现,因为它们具有良好的可视化特性,并且可以自然地避免使用参数估计所隐含的模型规格偏差。特别是,基于核的估计器对数据进行了最小假设,并在散点图和直方图上提供了改进的可视化。然而,已知核密度估计器在估计极端尾部行为时表现不佳,这在感兴趣的过程行为高于某个大阈值时很重要,并且它们可能过度强调重尾数据的密度中的颠簸。在这篇文章中,我们开发了一个变换核密度估计,并证明其平均积分平方误差(MISE)的效率是等同于标准的,非尾聚焦核密度估计。数值研究中说明了估计性能,并在一个众所周知的全球气候模式的能力,重现在澳大利亚悉尼观测到的极端温度的扩展分析。
2017-12-06 stat.ME
Source-Condition Analysis of Kernel Adversarial Estimators
针对条件矩约束干扰函数估计的不适定问题,研究采用再生核希尔伯特空间(RKHS)正则化的正则化对抗稳定(RAS)估计器,建立其有限样本误差界并比较不同正则化对抗估计器的假设差异。
2025-08-24 math.ST stat.TH
Practical Tikhonov Regularized Estimators in Reproducing Kernel Hilbert Spaces for Statistical Inverse Problems
正则化核方法,如支持向量机(SVM)和支持向量回归(SVR)构成了一个广泛和灵活的一类方法,理论上研究得很好,通常用于非参数分类和回归问题。由于这些方法都是基于一个Tikhonov正则化,这也是常见的反问题,本文研究使用正则化核方法的反问题,在一个统一的方式。正则化核方法基于再生核希尔伯特空间(RKHS)的使用,其导致非常好的计算性质。结果表明,类似的属性仍然是真实的,在解决统计逆问题,标准的软件实现开发的普通回归问题仍然可以用于逆回归问题。这些方法的一致性和收敛速度的风险是在相当弱的假设和收敛速度的估计显示在某种程度上更强的假设。这些方法的适用性证明在模拟。
2013-05-06 stat.ME
Shrinkage Estimation of Higher Order Bochner Integrals
本文考虑高阶希尔伯特空间值Bochner积分在非参数情形下的收缩估计。我们提出的估计,收缩的$U$ -统计估计的Bochner积分对一个预先指定的目标元素在希尔伯特空间。根据退化的内核的$U$ -统计量,我们构建了一致的收缩估计与快速收敛速度,并开发Oracle不等式比较的风险的$U$ -统计量估计和它的收缩版本。令人惊讶的是,我们表明,收缩估计设计的假设完全退化的内核的$U$ -统计量是一个一致的估计,即使内核是不完全退化。这项工作包含并改进了Krikovich等人,2016年,JMLR和Zhou等人,2019年,JMVA,它只处理再生核希尔伯特空间中的均值元素和协方差算子估计。我们还专门我们的结果正常的均值估计,并表明,对于$d\ge 3$,该估计严格提高后,样本均值的均方误差。
2022-07-21 math.ST stat.ME stat.ML
Kernel methods and minimum contrast estimators for empirical deconvolution
我们调查经典的核方法提供非参数的解决方案,涉及测量误差的问题。特别是,我们概述了基于内核的方法在这种情况下,并讨论其基本属性。然后,我们指出密切的联系之间存在的核方法和更新的方法的基础上最小对比度技术。这些连接是通过使用sinc内核进行基于内核的推理。这种“无限阶”核通常不明确用于基于核的反卷积,尽管它在测量误差不是问题的更常规的问题中受到关注。我们表明,在密度反卷积的核方法之间的比较,和他们的同行的基础上最小的对比度,这两种方法给出了相同的结果,网格变得越来越精细,带宽减少。因此,这两种技术之间的主要数值差异可以说是选择平滑参数的不同方法的结果。
2010-03-01 math.ST stat.ME stat.TH
The reproducing kernel Hilbert space approach in nonparametric regression problems with correlated observations
本文研究了观测值相关模型中回归函数的估计问题。数据是从几个实验单元中获得的,每个单元形成一个时间序列。我们提出了一个新的估计的基础上的自协方差矩阵的观测,假设已知和可逆的逆。利用再生核希尔伯特空间的性质,给出了其偏差和方差的渐近表达式。此外,我们给出了理论上的比较,通过计算的IMSE,这种新的估计和经典的Gasser和Muller提出的。最后,我们进行了模拟研究,调查所提出的估计的性能,并将其与Gasser和Muller的估计在有限样本集。
2019-06-12 math.ST stat.TH
A simple estimator of the correlation kernel matrix of a determinantal point process
University of Toronto(多伦多大学);Toulouse School of Economics(图卢兹经济学院);CREST;Concordia University(康考迪亚大学)
本文针对行列式点过程(DPP)的相关核矩阵,提出一种易实现的闭式估计器,可作为最大似然估计学习的初始值,并证明了该估计器的一致性、渐近正态性及大偏差性质。
2025-05-20 cs.LG stat.ML
Antithetic and Monte Carlo kernel estimators for partial rankings
University of Cambridge(剑桥大学);University College London(伦敦大学学院);Uber AI Labs(优步人工智能实验室)
本文提出通过蒙特卡洛和对偶变量构造的核估计器,将完整排名的核方法扩展到部分排名,并降低方差,提升机器学习任务性能。
2018-07-25 cs.LG stat.ML
A Theory of Neural Tangent Kernel Alignment and Its Influence on Training
Center for Brain Science, Harvard University(哈佛大学脑科学中心);School of Engineering and Applied Sciences, Harvard University(哈佛大学工程与应用科学学院)
神经网络(NN)的训练动力学和泛化性能可以通过神经正切核(NTK)在函数空间中精确地表征。在训练过程中NTK的结构变化反映了特征学习,并成为静态内核机制之外网络卓越性能的基础。在这项工作中,我们试图从理论上理解内核对齐,一个突出的和无处不在的结构变化,使NTK与目标函数对齐。我们首先研究了一个内核进化的玩具模型,其中NTK进化以加速训练,并表明对齐自然地出现在这种需求中。然后,我们研究了深度线性网络和两层ReLU网络中的对齐机制。这些理论为实际网络中的内核对齐和专业化提供了很好的定性描述,并确定了驱动内核对齐的网络架构和数据结构中的因素。在具有多个输出的非线性网络中,我们发现了核专业化的现象,其中每个输出头的核函数优先与自己的目标函数对齐。总之,我们的研究结果提供了一个机制解释内核对齐如何出现在NN训练和规范解释它如何有利于训练。
2022-02-10 cs.LG stat.ML
BENK: The Beran Estimator with Neural Kernels for Estimating the Heterogeneous Treatment Effect
Peter the Great St.Petersburg Polytechnic University(彼得大帝圣彼得堡理工大学)
提出了一种在截尾时间-事件数据条件下估计条件平均治疗效应的方法--神经核Beran估计方法。该方法背后的主要思想是应用Beran估计估计控制和治疗的生存函数。代替Beran估计器中的典型核函数,提出了以称为神经核的特定形式的神经网络的形式来实现核。条件平均治疗效果估计通过使用的生存函数作为控制和治疗神经网络的结果,其中包括一组共享参数的神经内核。神经核更灵活,可以准确地模拟特征向量的复杂位置结构。各种数值模拟实验说明了BENK,并将其与著名的T-学习者,S-学习者和X-学习者进行比较,用于基于Cox模型,随机生存森林和具有高斯核的Nadaraya-Watson回归的几种类型的控制和治疗结果函数。所提出的实现BENK的算法的代码可在https://github.com/Stasychbr/BENK中获得。
2022-11-19 cs.LG stat.ML
Statistically and Computationally Efficient Variance Estimator for Kernel Ridge Regression
Duke University(杜克大学);Purdue University(普渡大学)
本文提出了一种随机投影方法来估计核岭回归中的方差。我们的方法导致真实方差的一致估计,同时计算效率更高。我们的方差估计是最佳的一个大家庭的内核,包括三次样条和高斯内核。仿真分析支持我们的理论。
2018-09-17 cs.LG math.ST stat.ML
TAKDE: Temporal Adaptive Kernel Density Estimator for Real-Time Dynamic Density Estimation
Northeastern University(东北大学);Texas A&M University(德克萨斯A&M大学)
本文提出时间自适应核密度估计器(TAKDE),基于滑动窗口核密度估计的AMISE上界进行理论优化,在合成和真实数据上以更小运行时间获得更优测试对数似然。
2023-11-08 cs.LG eess.SP stat.ML
Gaussian RBF Centered Kernel Alignment (CKA) in the Large Bandwidth Limit
Boston College(波士顿学院)
本文证明基于高斯RBF核的中心核对齐(CKA)在大带宽极限下收敛到线性CKA,并发现收敛起始对特征表示的几何形状敏感,表示偏心率限制了高斯CKA表现非线性的带宽范围。
2021-12-17 cs.LG stat.ML
Nearest Neighbor and Kernel Survival Analysis: Nonasymptotic Error Bounds and Strong Consistency Rates
Heinz College of Information Systems and Public Policy, Carnegie Mellon University(卡内基梅隆大学海因茨信息系统与公共政策学院)
我们建立了基于Kaplan-Meier的最近邻和核生存概率估计的第一个非渐近误差界,其中特征向量位于度量空间中。我们的界限意味着这些非参数估计的强一致性率,直到一个对数因子,匹配现有的条件CDF估计的下限。我们的证明策略也产生了非渐近保证最近的邻居和内核变量的纳尔逊-阿伦累积风险估计。我们在四个数据集上对这些方法进行了实验比较。我们发现,对于核生存估计,一个很好的选择内核是一个学习使用随机生存森林。
2022-09-14 cs.LG stat.ML
Alignment Based Kernel Learning with a Continuous Set of Base Kernels
University of Alberta(阿尔伯塔大学)
基于核的学习方法的成功取决于核的选择。最近,已经提出了使用数据来选择最合适的内核的内核学习方法,通常通过组合一组基本内核。我们介绍了一种新的算法内核学习,结合了{ \em连续的基本内核集},没有离散化的基本内核空间的共同步骤。我们证明了我们的新方法在各种现实世界的数据集上实现了最先进的性能。此外,我们明确地证明了结合正确的字典的内核,这是有问题的方法的基础上选择一个先验的基础内核的有限集的重要性。我们的方法不是第一种使用连续参数化内核的方法。然而,我们表明,我们的方法需要大大减少计算比以前这样的方法,因此更适合于多维参数化的基础内核,我们证明。
2011-12-20 cs.LG stat.ML
Manifold Approximation leads to Robust Kernel Alignment
MIT(麻省理工学院)
针对中心核对齐忽略底层流形且依赖启发式方法的问题,提出流形近似核对齐(MKA),将流形几何融入对齐任务,理论推导与实证评估表明其提供更稳健的表征度量基础。
2026-11-16 cs.AI cs.LG stat.ML
The Sign Estimator: LLM Alignment in the Face of Choice Heterogeneity
MIT(麻省理工学院)
针对传统LLM对齐方法受人类偏好异质性影响导致效用估计不一致的问题,提出符号估计器,用二元分类损失替代聚合步骤的交叉熵,实现一致序数对齐,在仿真中误差较RLHF降近35%,且实现简洁。
2025-10-29 cs.AI cs.LG stat.ML
Learning rates for the risk of kernel based quantile regression estimators in additive models
可加模型在半参数统计中起着重要的作用。本文给出了正则化核方法的学习率。这些学习率比较有利,特别是在高维度的最佳学习率为纯粹的非参数正则化内核为基础的分位数回归使用高斯径向基函数内核的最近的结果,提供了一个加性模型的假设是有效的。另外,通过一个具体例子说明了只依赖于一个变量的高斯函数位于由加性高斯核生成的再生核Hilbert空间中,而不属于由相同方差的多元高斯核生成的再生核Hilbert空间.
2014-05-14 stat.ML
Adaptive Clustering Using Kernel Density Estimators
我们推导并分析了一个通用的,递归算法估计所有分裂在有限的集群树以及相应的集群。我们进一步研究这个通用的聚类算法时,它收到的核密度估计水平集估计的统计特性。特别是,我们得到有限样本的保证,一致性,收敛速度,和自适应的数据驱动的策略选择内核带宽。对于这些结果,我们不需要密度的连续性假设,如Hölder连续性,而只需要非参数性质的直观几何假设。
2021-11-01 stat.ME stat.ML
A Practical Introduction to Kernel Discrepancies: MMD, HSIC & KSD
Centre for Artificial Intelligence(人工智能中心);Gatsby Computational Neuroscience Unit(加布利尔计算神经科学单位);University College London(伦敦大学学院)
本文介绍了MMD、HSIC和KSD等核差异及其多种估计量,强调了核带宽选择的影响,并提出自适应估计量以解决核选择问题。
2025-10-31 cs.LG stat.ML
Scalable Global Alignment Graph Kernel Using Random Features: From Node Embedding to Graph Embedding
IBM Research(IBM研究院);CMU(卡内基梅隆大学);WUSTL(华盛顿大学圣路易斯分校);GMU(乔治梅森大学);UDEL(特拉华大学);Huawei(华为)
图核被广泛用于度量图之间的相似性。许多现有的图核,它专注于局部模式图,而不是他们的全局属性,遭受显着的结构信息丢失时表示图。最近的一些全局图核,它利用图的几何节点嵌入的对齐,产生最先进的性能。然而,这些图核不一定是正定的。更重要的是,计算图核矩阵在图的数量和大小方面将具有至少二次{时间}复杂度。在本文中,我们提出了一个新的家庭的全球对齐图的内核,它考虑到了全球性的图形,通过使用几何节点嵌入和相关的节点运输的基础上推土机的距离。与现有的全局核相比,该核是正定的。我们的图核是通过定义一个分布在\emph{random graphs},它可以自然地产生随机特征近似。随机特征近似导致我们的图嵌入,这被称为“随机图嵌入”(RGE)。特别是,RGE示出实现\emph{(quasi-)linear scalability}的数量和大小的图形。在9个基准数据集上的实验结果表明,RGE优于或匹配12个最先进的图分类算法。
2019-11-25 cs.LG stat.ML
Supervised Machine Learning with a Novel Kernel Density Estimator
近年来,核密度估计已被计算机科学家用来建模机器学习问题。基于核密度估计的方法由于构造分类器的O(n)或O(n*log(n))的低时间复杂度而受到关注,其中n是采样实例的数量。关于核密度估计器的设计,一个基本问题是逐点均方误差(MSE)和/或积分均方误差(IMSE)随着采样实例数的增加而减小的速度有多快。在这篇文章中,它表明,与建议的核函数是可行的,使点态MSE的密度估计收敛于O(n^-2/3)的向量空间的维数无关,只要在感兴趣的点的概率密度函数满足一定的条件。
2007-10-16 stat.ML
Variable Selection for Nonparametric Learning with Power Series Kernels
RIKEN(理化学研究所);Nagoya Institute of Technology(名古屋工业大学);Nagoya University(名古屋大学);Tokyo Institute of Technology(东京工业大学)
本文提出了一般非参数核估计的变量选择方法。该方法包括两步估计:(1)构造目标函数的相合估计量,(2)用较少的变量用l1-型惩罚估计逼近估计量。我们看到,所提出的方法可以应用于各种核非参数估计,如核岭回归,基于核的密度和密度比估计。证明了当采用幂级数核时,该方法具有变量选择一致性的性质。这一结果被认为是非负绞喉估计的变量选择相合性在核估计中的推广。仿真研究和实际数据应用表明了该方法的有效性。
2018-12-04 cs.LG stat.ML
Kernel Density Estimation by Stagewise Algorithm with a Simple Dictionary
Hyogo University of Health Sciences(兵库医疗大学);Chiba University(千叶大学)
本文提出了基于$U$ -散度和一个简单字典的多变量核密度估计的阶段最小化算法。该字典由一个合适的标量带宽矩阵和一部分原始数据组成。由此产生的估计给我们带来了数据自适应的加权参数和带宽矩阵,并实现了核密度估计的稀疏表示。我们开发的非渐近误差界估计通过建议的阶段最小化算法。模拟研究证实,该估计量的性能与其他已知的密度估计量相比具有竞争力或更好。
2021-08-10 cs.LG stat.CO stat.ME
Strong Uniform Consistency with Rates for Kernel Density Estimators with General Kernels on Manifolds
在分析现代机器学习算法时,我们可能需要使用复杂的内核来处理内核密度估计(KDE),这些内核不是由用户设计的,甚至可能是不规则和不对称的。为了应对这一新出现的挑战,我们提供了一个强一致的一致性结果与$L^\infty$收敛速度KDE的黎曼流形与黎曼可积的内核(在周围的欧几里得空间)。我们还提供了一个$L^1$一致性结果的核密度估计的黎曼流形与Lebesgue可积核。本文所考虑的各向同性核不同于统计学中经常考虑的Vapnik-Chervonenkis类中的核。当我们应用它们来估计密度函数时,我们说明了差异。此外,我们阐述了微妙的区别时,内核设计的内在流形和周围的欧几里得空间,都可能会遇到在实践中。最后,我们证明了迷向核在欧几里得空间的子流形上是Riemann可积的充要条件。
2021-06-08 math.PR math.ST stat.ML
Robust Kernel Density Estimation
University of Michigan(密歇根大学)
我们提出了一种非参数密度估计的方法,表现出鲁棒性的污染的训练样本。该方法通过将传统的核密度估计器(KDE)与经典的$M$估计的思想相结合来实现鲁棒性。我们解释的KDE的基础上的径向,半正定内核作为一个样本均值在相关的再生核希尔伯特空间。由于样本均值对异常值敏感,我们通过$M$ -估计对其进行鲁棒估计,得到鲁棒核密度估计(RKDE)。一个RKDE可以有效地计算通过内核化迭代重加权最小二乘(IRWLS)算法。给出了核化IRWLS收敛于$M$ -估计目标函数全局极小的充要条件。RKDE的鲁棒性证明了一个代表定理,影响函数,密度估计和异常检测的实验结果。
2011-09-06 cs.LG stat.ME stat.ML
Multivariate Smoothing via the Fourier Integral Theorem and Fourier Kernel
从傅里叶积分定理出发,给出了多元函数的自然蒙特卡罗估计,包括密度、混合密度、转移密度、回归函数,以及多元密度函数的模式搜索(模式回归).收敛速率被建立,并且在许多情况下,提供优于当前标准估计器的速率,诸如基于核的那些,包括核密度估计器和核回归函数。数值例子。
2020-12-28 math.ST stat.ME stat.ML
On the Estimation of Derivatives Using Plug-in Kernel Ridge Regression Estimators
Rice University(莱斯大学)
针对回归函数导数估计中参数调优难、高阶导数分析复杂的问题,提出适用于多维支撑域与任意混合偏导的插入式KRR估计量,统一推导误差界,验证其极小极大最优速率与免随导数阶数调参的插入式特性,且有限样本性能优异。
2023-08-26 cs.LG math.ST stat.ML
Statistical Inference after Kernel Ridge Regression Imputation under item nonresponse
插补是处理缺失数据的常用技术。我们考虑一个非参数方法填补使用核岭回归技术,并提出一致的方差估计。建议的方差估计是基于一个线性化的方法,采用熵的方法来估计密度比。当在核岭回归插补中利用Sobolev空间时,建立了插补估计的根-n相合性,从而使我们能够发展所提出的方差估计。合成数据实验证实了我们的理论。
2021-01-29 stat.ME stat.ML
Kernel Meets Sieve: Post-Regularization Confidence Bands for Sparse Additive Model
我们开发了一种新的程序,用于构建稀疏添加剂模型的组件的置信带。我们的程序是基于一个新的核-筛混合估计,结合了两个最流行的非参数估计方法在文献中,核回归和样条方法,是在自己的权利感兴趣。现有的稀疏可加模型拟合方法主要基于筛法估计,而非参数模型置信带的研究主要基于核估计或局部多项式估计。我们的核-筛混合估计结合了两个世界中最好的,使我们能够提供一个简单的过程,在高维稀疏加性模型中构建置信带。通过研究高斯过程的逼近,证明了置信带是渐近诚实的。在合成数据和真实世界的神经科学数据上提供了彻底的数值结果来证明该理论的有效性。
2018-02-12 math.ST stat.ML stat.TH
On the number of modes of Gaussian kernel density estimators
Inria & Sorbonne Université(法国国家信息与自动化研究所与索邦大学);MIT(麻省理工学院);Stanford University(斯坦福大学)
本文利用 Kac-Rice 公式和 Edgeworth 展开,证明高斯核密度估计量在特定带宽与样本量增长条件下众数期望数量为 $Θ(\sqrt{β\logβ})$,为分析 Transformer 亚稳态聚类行为提供理论依据。
2025-11-07 math.ST stat.ML stat.TH
Data-driven calibration of linear estimators with minimal penalties
本文讨论了非参数回归中线性估计的选择问题,包括线性回归的模型选择,核岭回归中正则化参数的选择,样条平滑或局部加权回归,以及多核学习中核的选择。我们提出了一种新的算法,首先估计一致的噪声方差,基于最小惩罚的概念,这是以前介绍的模型选择的上下文中。然后,证明了将我们的方差估计插入Mallow的$C_L$罚函数中,可以得到一个满足预言不等式的算法.核岭回归和多核学习的仿真实验表明,该算法往往显着改善现有的校准程序,如广义交叉验证。
2011-09-13 math.ST stat.ME stat.ML
Robust Kernel Density Estimation with Median-of-Means principle
本文结合核密度估计方法和均值中值原理(MoM-KDE),提出了一种稳健的非参数密度估计方法。该估计实现任何类型的异常数据的鲁棒性,即使在对抗性污染的情况下。特别是,虽然以前的作品只证明已知的污染模型下的一致性结果,这项工作提供了有限样本的高概率误差界没有先验知识的离群值。最后,当与其他强大的核估计相比,我们表明,MoM-KDE实现竞争力的结果,同时具有显着较低的计算复杂性。
2020-06-30 math.ST stat.ML stat.TH