Deep Neural Tangent Kernel and Laplace Kernel Have the Same RKHS
Simons Institute for the Theory of Computing, University of California, Berkeley（加州大学伯克利分校西蒙斯理论计算研究所）；Department of Statistics and Data Science, Yale University（耶鲁大学统计与数据科学系）
证明了当深度神经切线核和Laplace核都被限制在球面$\mathbb{S}^{d-1}$上时，它们的再生核Hilbert空间（RKHS）包含相同的函数集.此外，我们证明了指数幂核具有较小的权力（使内核不太顺利）导致一个较大的RKHS，当它被限制在球体$\mathbb{S}^{d-1}$，当它被定义在整个$\mathbb{R}^d$。
2021-03-18 cs.LG math.ST stat.ML
Mathematical foundations of stable RKHSs
University of Padova（帕多瓦大学）
再生核希尔伯特空间（RKHS）是机器学习的关键空间，其也在线性系统辨识中变得流行。特别是，所谓的稳定RKHS可以用来模拟绝对可求和的脉冲响应。例如，与正则化最小二乘法结合，它们然后可以用于从输入-输出数据重建动态系统。在本文中，我们提供了新的结构性质的稳定RKHS。稳定内核和其他基本类，如那些包含绝对可求和或有限迹内核之间的关系，阐明。然后将这些见解带入特征空间上下文。首先，证明了任何稳定核都允许由l2中正交特征向量基诱导的特征映射。与经典的系统辨识方法，利用这种功能模型的脉冲响应的确切连接也提供。然后，通过构造核特征向量和特征值，得到了RKHS系统稳定的充要条件。总的来说，我们的新结果提供了新的数学基础的稳定RKHS的稳定性测试，脉冲响应建模和计算效率的正则化计划的线性系统辨识的影响。
2020-05-06 cs.LG stat.ML
Convergence guarantees for kernel-based quadrature rules in misspecified settings
基于核的求积规则在机器学习和统计学中变得越来越重要，因为它们在数值积分中实现了超级$\sqrt{n}$收敛速率，从而在被积函数评估成本高或被积函数是高维的具有挑战性的设置中提供了蒙特卡罗积分的替代方案。这些规则是基于被积函数具有一定光滑度的假设，即被积函数属于某个再生核Hilbert空间（RKHS）。然而，在实践中可能会违反这一假设（例如，当被积函数是一个黑盒函数），并没有一般的理论已经建立在这样的错误指定设置的核求积的收敛。我们的贡献是证明了即使被积函数不属于假设的RKHS，即，当被积函数比假设的更不光滑时。具体来说，我们推导出的收敛速度，取决于（未知）较小的光滑的被积函数，其中的光滑度表示通过权力的RKHS或通过Sobolev空间。
2016-10-28 stat.ML
Universality, Characteristic Kernels and RKHS Embedding of Measures
最近已经提出了用于概率测度的希尔伯特空间嵌入，其中任何概率测度被表示为再生核希尔伯特空间（RKHS）中的平均元素。这样的嵌入已经在同质性测试、独立性测试、降维等中得到应用，要求再现核是特征性的，即，嵌入是单射的。在本文中，我们推广这种嵌入有限签署Borel措施，其中任何有限签署Borel措施表示为一个平均元素的RKHS。我们表明，建议的嵌入是单射的当且仅当内核是普遍的。因此，这提供了通用内核的新特征，该通用内核是在通过基于内核的分类/回归算法实现贝叶斯风险的背景下提出的。通过利用这种关系之间的普遍性和嵌入有限签署Borel措施到RKHS，我们建立了通用和特征核之间的关系。
2010-03-03 math.ST stat.ML stat.TH
Data adaptive RKHS Tikhonov regularization for learning kernels in operators
Johns Hopkins University（约翰斯·霍普金斯大学）
我们介绍DARTR：数据自适应RKHS Tikhonov正则化方法，用于算子中函数参数的非参数学习的线性逆问题。一个关键的成分是系统内在数据自适应（SIDA）RKHS，其规范限制学习发生在可识别的函数空间。DARTR利用该范数，并通过L曲线方法选择正则化参数。我们举例说明其性能，包括积分算子，非线性算子和非局部算子与离散合成数据。数值结果表明，DARTR导致一个准确的估计器的数值误差，由于离散数据和数据中的噪声，估计器收敛在一个一致的速度下的数据网格细化不同水平的噪声，优于两个基线正则化使用$l^2$和$L^2$规范。
2022-03-08 cs.LG stat.ML
Stacked Kernel Network
Beihang University（北京航空航天大学）；Carnegie Mellon University（卡内基梅隆大学）
核方法是捕捉数据背后的非线性模式的强大工具。它们隐式地学习再生核希尔伯特空间（RKHS）中的高维（甚至无限）非线性特征，同时通过利用核技巧使计算易于处理。经典的核方法学习单层非线性特征，其表示能力可能是有限的。受最近深度神经网络（DNN）学习多层分层表示的成功的启发，我们提出了一种堆叠核网络（SKN），它学习基于RKHS的非线性特征的层次结构。SKN交织了几层非线性变换（从线性空间到RKHS）和线性变换（从RKHS到线性空间）。与DNN类似，SKN由多层隐藏单元组成，但每个隐藏单元由RKHS函数而不是有限维向量参数化。我们提出了三种在SKN中表示RKHS函数的方法：（1）非参数表示，（2）参数表示和（3）随机傅立叶特征表示。此外，我们扩展SKN到CNN架构称为堆叠核卷积网络（SKCN）。SKCN通过卷积运算学习基于RKHS的非线性特征的层次结构，每个滤波器也由RKHS函数而不是CNN中的有限维矩阵参数化，这适用于图像输入。在不同数据集上的实验证明了SKN和SKCN的有效性，优于竞争对手的方法。
2017-11-25 cs.CV cs.LG stat.ML
RKHS-SHAP: Shapley Values for Kernel Methods
University of Oxford（牛津大学）；Microsoft Research Cambridge（微软剑桥研究院）
核方法的特征属性通常是启发式的，而不是针对每个预测进行个性化。为了解决这个问题，我们转向Shapley values~（SV）的概念，这是一个联盟博弈理论框架，以前曾被应用于不同的机器学习模型解释任务，如线性模型，树集成和深度网络。通过从功能的角度分析SV，我们提出了\textsc{RKHS-SHAP}，内核机器的属性方法，可以有效地计算\emph{Interventional}和\emph{Observational Shapley values}使用内核平均嵌入的分布。我们从理论上表明，我们的方法是强大的局部扰动-一个关键的，但往往被忽视的一致的模型解释的必要条件。此外，我们提出了\emph{Shapley regulariser}，适用于一个一般的经验风险最小化框架，允许学习，同时控制特定功能的模型的贡献水平。我们证明了Shapley正则化器能够实现对给定特征的协变量移位具有鲁棒性的学习和控制敏感特征的SV的公平学习。
2022-05-26 cs.LG stat.ML
Kernel quadrature with DPPs
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；CRIStAL（里尔计算机、信号与自动控制实验室）
我们研究从RKHS的功能，使用节点采样从一个行列式点过程（DPP）的求积规则。DPP由内核参数化，我们使用RKHS内核的截断和饱和版本。两个内核之间的这种联系，以及DPP机制，导致正交误差的相对严格的界限，这取决于RKHS内核的频谱。最后，我们实验比较DPP现有的基于内核的正交，如放牧，贝叶斯正交，或利用分数抽样。数值结果证实了DPP的兴趣，甚至在特定情况下比我们的界限更快的速度。
2019-12-31 cs.LG stat.ML
Complex-Valued Kernel Methods for Regression
University of Seville（塞维利亚大学）；University Carlos III de Madrid（马德里卡洛斯三世大学）
通常，复值RKHS是实值情况的直接应用。在本文中，我们证明了这个过程产生一个有限的解决方案回归。我们证明了另一个内核，这里表示为伪内核，需要学习复值域中的任何函数。因此，我们推导出一种新的RKHS，广泛的RKHS（WRKHS）。当伪核取消时，WRKHS减少到以前方法的复值RKHS。我们解决了内核和伪内核的设计，注意内核和伪内核是复值的。在实验中，我们报告显着的改进，在简单的情况下，实部和虚部有不同的相似关系，对于给定的输入或实部和虚部相关的情况下。在这些新的结果的背景下，我们重新审视非线性信道均衡的问题，表明WRKHS有助于设计更有效的解决方案。
2016-10-31 cs.LG stat.ML
Reproducing kernel Hilbert spaces on manifolds: Sobolev and Diffusion spaces
Universita’ degli Studi di Genova（热那亚大学）；University of Stuttgart（斯图加特大学）；Massachusetts Institute of Technology（麻省理工学院）；Istituto Italiano di Tecnologia（意大利理工学院）
我们研究了黎曼流形上的再生核希尔伯特空间（RKHS）。特别地，我们讨论了索伯列夫空间是RKHS的条件，并刻画了它们的再生核。此外，我们介绍和讨论一类更光滑的RKHS，我们称之为扩散空间。我们说明了一些详细的例子的一般结果。
2019-05-27 cs.LG math.FA stat.ML
An RKHS Perspective on Tree Ensembles
McGill University, Department of Mathematics and Statistics（麦吉尔大学数学与统计学系）；Université Marie et Louis Pasteur, CNRS, LmB (UMR 6623)（玛丽·路易斯·帕斯特大学、法国国家科学研究中心、LmB（UMR 6623））
本文从RKHS视角分析树集成方法，揭示其理论性质和连续时间梯度提升的流形结构，提出增强可解释性的核主成分分析和GVI准则。
2025-11-29 cs.LG stat.ML
Learning in RKHM: a $C^*$-Algebraic Twist for Kernel Machines
NTT Corporation（日本电报电话公司）；RIKEN（理化学研究所）；Keio University（庆应义塾大学）；Aix-Marseille University（艾克斯-马赛大学）
本文将监督学习从RKHS和vvRKHS推广到RKHM，利用$C^*$-代数扩大表示空间，构造超越现有方法的核，适用于图像数据分析。
2024-06-26 cs.LG math.OA stat.ML
Analysis via Orthonormal Systems in Reproducing Kernel Hilbert $C^*$-Modules and Applications
NTT Network Technology Laboratories, NTT Corporation（日本电信电话公司网络技术实验室）；Keio University（庆应义塾大学）；RIKEN（理化学研究所）；Kyushu University（九州大学）
核方法是机器学习中最流行的技术之一，其中学习任务使用再生核希尔伯特空间（RKHS）的性质来解决。在本文中，我们提出了一个新的数据分析框架与再生核希尔伯特$C^*$ -模块（RKHM），这是另一个推广的RKHS比向量值RKHS（vv-RKHS）。与RKHM分析使我们能够更明确地处理变量之间的结构比vv-RKHS。我们证明了在Hilbert $C^*$ -模中构造标准正交系统的理论有效性，并在数值计算中利用这些理论性质导出了RKHM中标准正交化的具体步骤.此外，我们将这些推广与RKHM核主成分分析和Perron-Frobenius算子的动力系统的分析。我们的方法的经验性能也通过使用合成和真实世界的数据进行了研究。
2020-03-02 cs.LG math.DS math.OA
Neural Operators for Nonlinear Functionals on RKHS
Georgia Institute of Technology（佐治亚理工学院）
本文提出利用RKHS插值正交投影，以有限点评估构建更简单灵活的神经网络架构，用于逼近和统计学习RKHS上的非线性泛函，并给出逼近率、复杂度界及泛化保证。
2026-09-15 cs.LG math.ST stat.ML
Kernel Trace Distance: Quantum Statistical Metric between Measures through RKHS Density Operators
LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI、巴黎电信学院、巴黎理工学院）；CREST, ENSAE, Institut Polytechnique de Paris（CREST、ENSAE、巴黎理工学院）
本文提出一种基于核协方差算子Schatten范数的测度间距离，介于MMD与Wasserstein距离之间，更具判别性和鲁棒性，并给出高效算法，应用于鲁棒近似贝叶斯计算与粒子流模拟。
2025-07-08 cs.LG stat.ML
Kernel Dynamic Mode Decomposition For Sparse Reconstruction of Closable Koopman Operators
本文通过测度论嵌入拉普拉斯核构建足够丰富的再生核希尔伯特空间，解决库普曼算子的可闭包性挑战，并利用核扩展动态模式分解实现动力系统时空模态的稀疏重构，同时提供理论与实验双重验证。
2025-05-11 math.DS stat.ML
Kernel-based measures of association between inputs and outputs based on ANOVA
本文基于ANOVA分解将ANOVA泛函嵌入再生核希尔伯特空间，提出新的输入输出独立性检验和依赖度量，可处理任意分布并考虑矩与交互作用，统一了现有全局敏感性指标并给出渐近分布。
2023-11-28 math.PR math.ST stat.ME
Adaptive Learning in Cartesian Product of Reproducing Kernel Hilbert Spaces
Keio University（庆应义塾大学）
提出了一种新的基于多再生核Hilbert空间（RKHS）笛卡尔积上的迭代正交投影的自适应学习算法。该任务是估计/跟踪非线性函数，这些函数应该包含多个分量，例如（i）线性和非线性分量，（ii）高频和低频分量等。在这种情况下，使用多个RKHS允许多分量函数的紧凑表示。该算法是作者提出的两种不同方法的结合：多核自适应滤波和沿仿射子空间的超平面投影算法（HYPASS）。在某种特殊情况下，RKHS的和空间同构于乘积空间，因此所提出的算法也可以被视为和空间中的迭代投影方法。数值算例表明了该算法的有效性。
2014-11-05 cs.LG stat.ML
An RKHS Framework for Fixed Effects in Permanental Process Models
该研究提出了包含固定效应的永久过程模型的RKHS扩展框架，通过扩散先验极限下的表示定理分解强度函数，实现了模型的科学解释与领域知识的便捷融入。
2026-10-20 math.ST stat.ML stat.TH
Reproducing kernel Hilbert C*-module and kernel mean embeddings
NTT Network Service Systems Laboratories, NTT Corporation（NTT网络服务系统实验室，NTT公司）；Graduate School of Science and Technology, Keio University（庆应义塾大学科学与技术研究生院）；Center for Data Science, Ehime University（爱媛大学数据科学中心）；Center for Advanced Intelligence Project, RIKEN（理化学研究所高级智能项目中心）；Faculty of Science and Technology, Keio University（庆应义塾大学科学与技术学部）
核方法是机器学习中最流行的技术之一，其中学习任务使用再生核希尔伯特空间（RKHS）的性质来解决。本文提出了一个新的数据分析框架，再生核希尔伯特$C^*$ -模块（RKHM）和核均值嵌入（KME）在RKHM。由于RKHM包含比RKHS或向量值RKHS（vvRKHS）更丰富的信息，因此使用RKHM进行分析使我们能够捕获和提取功能数据中的结构属性。我们展示了RKHM应用于数据分析的一个分支理论，包括表示定理，以及所提出的KME的内射性和普适性。我们还表明RKHM推广RKHS和vvRKHS。然后，我们提供了具体的程序，采用RKHM和建议的KME数据分析。
2021-12-21 cs.LG math.OA stat.ML
Scalable high-resolution forecasting of sparse spatiotemporal events with kernel methods: a winning solution to the NIJ "Real-Time Crime Forecasting Challenge"
我们提出了一个通用的时空事件预测方法，我们开发的国家司法研究所（NIJ）的实时犯罪预测挑战。我们的方法是一个时空预测模型相结合的可扩展随机再生核希尔伯特空间（RKHS）的方法近似高斯过程与自回归平滑内核的正则化监督学习框架。虽然平滑核捕获了当前在犯罪预测领域中使用的两种主要方法，即核密度估计（KDE）和自激点过程（SEPP）模型，但是该模型的RKHS分量可以被理解为对流行的对数高斯Cox过程模型的近似。对于推理，我们离散的时空点模式，并学习使用泊松似然和高效的基于梯度的优化方法的对数强度函数。模型超参数，包括RKHS近似的质量，空间和时间的内核长度尺度，自回归滞后的数量，平滑内核的带宽，以及细胞的形状，大小和旋转，使用交叉验证学习。由此产生的预测显着超过基线KDE估计和SEPP模型的稀疏事件。
2019-07-24 stat.AP stat.ML
Convergence and finite sample approximations of entropic regularized Wasserstein distances in Gaussian and RKHS settings
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文研究了Hilbert空间中熵正则化瓦瑟斯坦距离的收敛性和有限样本逼近。我们的第一个主要结果是，对于无限维Hilbert空间上的高斯测度，在2-Sinkhorn发散下的收敛比在精确的2-瓦瑟斯坦距离下的收敛{ \it严格弱}.具体地说，如果相应的协方差算子收敛于希尔伯特-施密特范数，则中心高斯测度序列收敛于2-Sinkhorn发散。这与先前已知的结果形成对比，该结果是：当且仅当协方差算子在迹类范数中收敛时，中心高斯测度序列在精确的2-瓦瑟斯坦距离中收敛。在再生核希尔伯特空间（RKHS）设置中，{ \it核高斯-辛霍恩发散}是在RKHS上定义的高斯测度之间的辛霍恩发散，它定义了波兰空间上的波莱尔概率测度集合上的半度量，给定该空间上的特征核。在Hilbert-Schmidt范数收敛的条件下，得到了核Gaussian-Sinkhorn发散的有限样本近似的{ \it维数无关}收敛速度，其阶数与最大均值离散的阶数相同.这些收敛速度特别适用于Sinkhorn发散高斯措施之间的欧几里得和无限维希尔伯特空间。在欧氏空间上的高斯测度之间的2-瓦瑟斯坦距离的样本复杂度，虽然依赖于维度并且大于Sinkhorn发散，但比文献中的最坏情况要快。
2021-02-15 cs.LG stat.ML
Kernel-based ANOVA decomposition and Shapley effects -- Application to global sensitivity analysis
全局灵敏度分析是在数值模拟模型中识别最具影响力的输入变量的主要定量技术。特别是当输入是独立的，Sobol的敏感性指数属性的一部分的输出的利益方差的每个输入和所有可能的相互作用的模型，由于功能方差分析分解。另一方面，矩独立的敏感性指数关注的是输入变量对整个输出分布的影响，而不仅仅是方差，从而提供了对输入/输出关系的补充见解。不幸的是，它们不享受Sobol指数的良好分解特性，因此更难分析。在本文中，我们介绍了两个时刻独立的指数的基础上内核嵌入的概率分布，并表明，RKHS框架用于其定义使得有可能表现出基于内核的方差分析分解。这是第一次证明这样一个理想的属性的敏感性指数除了Sobol的。当输入依赖时，我们也使用这些新的灵敏度指标作为构建块来设计核嵌入Shapley效应，这推广了传统的基于方差的灵敏度分析。几个估计程序进行了讨论，并说明了测试用例与各种输出类型，如分类变量和概率分布。所有这些例子都显示了他们的潜力，以加强传统的灵敏度分析的核心观点。
2021-01-14 math.ST stat.TH
Duality in RKHSs with Infinite Dimensional Outputs: Application to Robust Losses
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎综合理工学院，巴黎电信学院，LTCI实验室）
当输出空间是希尔伯特空间时，算子值核（OVK）和相关的向量值再生核希尔伯特空间提供了一种扩展标量核方法的优雅方式。虽然主要用于有限维的多任务回归等问题，但该框架处理无限维输出空间的能力解锁了更多的应用，如函数回归，结构化输出预测和结构化数据表示。然而，这些复杂的计划至关重要地依赖于输出空间中的内核技巧，所以以前的大多数工作都集中在平方范数损失函数，完全忽略了鲁棒性问题，可能会出现在这样的代理问题。为了克服这一限制，本文开发了一种对偶方法，允许解决OVK机的损失函数范围很广。无限维拉格朗日乘子处理通过一个双重表示定理，和$ε$不敏感的损失和Huber损失的算法进行了彻底的详细说明。通过理论稳定性分析以及对结构化数据应用程序的经验改进来强调健壮性的好处。
2020-08-21 cs.LG stat.ML
Adaptation to Misspecified Kernel Regularity in Kernelised Bandits
Carnegie Mellon University（卡内基梅隆大学）
本文研究核化连续臂赌博机在核正则性未知时的适应极限，给出适应性遗憾下界，并用模型选择加 minimax 算法证明其在对数因子内紧致。
2023-04-26 cs.LG stat.ME stat.ML
When Do Neural Networks Outperform Kernel Methods?
Department of Electrical Engineering, Stanford University（斯坦福大学电气工程系）；Department of Statistics, University of California, Berkeley（加州大学伯克利分校统计系）；Department of Statistics, Stanford University（斯坦福大学统计系）；Google Research, Brain Team（谷歌研究院大脑团队）
对于随机梯度下降（SGD）的初始化的一定尺度，宽神经网络（NN）已被证明是很好的近似再生核希尔伯特空间（RKHS）方法。最近的实证研究表明，对于某些分类任务，RKHS方法可以取代NN，而不会造成很大的性能损失。另一方面，已知双层NN比RKHS编码更丰富的平滑类，并且我们知道SGD训练的NN可证明优于RKHS的特殊示例。即使在宽网络限制中，对于初始化的不同缩放，也是如此。我们如何调和上述主张？NN在哪些任务上优于RKHS？如果协变量几乎是各向同性的，则RKHS方法会遭受维数灾难，而NN可以通过学习最佳低维表示来克服它。在这里，我们表明，如果协变量显示与目标函数相同的低维结构，那么这种维度灾难就会变得更温和，并且我们精确地描述了这种权衡。在这些结果的基础上，我们提出了尖峰协变量模型，可以在一个统一的框架中捕获在早期工作中观察到的行为。我们假设这样一个潜在的低维结构是存在于图像分类。我们在数值上测试了这一假设，表明训练分布的特定扰动降低RKHS方法的性能比NN更显着。
2021-11-09 cs.LG math.ST stat.ML
Approximation Theory Based Methods for RKHS Bandits
Fujifilm（富士胶片）
RKHS强盗问题（也称为核化多臂强盗问题）是一个带噪声反馈的非线性函数的在线优化问题。虽然这个问题已经得到了广泛的研究，有一些问题相比，研究良好的线性强盗的情况下，不令人满意的结果。具体来说，对抗性RKHS强盗问题没有通用算法。此外，现有算法的高计算复杂性阻碍了实际应用。我们解决这些问题，考虑一种新的融合的近似理论和错误指定的线性强盗问题。使用近似方法，我们提出了有效的算法随机RKHS土匪问题和第一个一般算法的对抗RKHS土匪问题。此外，我们的经验表明，我们提出的方法之一，具有可比的累积遗憾IGP-UCB和它的运行时间要短得多。
2021-07-26 cs.LG stat.ML
Kernel $ε$-Greedy for Multi-Armed Bandits with Covariates
Department of Mathematics, Applied Mathematics and Statistics, Case Western Reserve University（数学系、应用数学与统计学系，凯斯西储大学）
针对均值奖励函数位于再生核希尔伯特空间（RKHS）的带协变量多臂老虎机问题，提出基于在线加权核岭回归估计器的 $ε$-greedy 策略，证明了估计器一致性并实现了次线性及最优 $\sqrt{T}$ 遗憾界。
2025-06-01 cs.LG math.ST stat.ML
A Gap Between the Gaussian RKHS and Neural Networks: An Infinite-Center Asymptotic Analysis
University of California, San Diego（加州大学圣地亚哥分校）；Halıcıoğlu Data Science Institute（Halıcıoğlu数据科学研究所）
该研究通过无限中心渐近分析发现，在无界域上部分高斯RKHS中的函数在神经网络巴拿赫空间中范数无穷大，揭示了核方法与神经网络间的非平凡差距。
2025-09-01 cs.AI cs.LG stat.ML
Training Neural Networks as Learning Data-adaptive Kernels: Provable Representation and Approximation Benefits
University of Chicago（芝加哥大学）
考虑一下这个问题：给定从具有$f_*(x) = \mathbf{E}[\mathbf{y} | \mathbf{x} = x]$的总体中提取的数据对$(\mathbf{x}, \mathbf{y})$，指定一个神经网络模型，并随时间对权重运行梯度流，直到达到任何平稳性。$f_t$，即神经网络在时间$t$计算的函数，在近似和表示方面与$f_*$有什么关系？神经网络的自适应表示与经典非参数文献中预先指定的固定基表示相比，有哪些可证明的好处？我们回答了上述问题，通过动态再生核希尔伯特空间（RKHS）的方法索引的神经网络的训练过程。首先，我们证明了当达到任何局部平稳性时，梯度流学习自适应RKHS表示，并同时将全局最小二乘投影到自适应RKHS上。其次，我们证明了RKHS是数据自适应和特定于任务的，残差$f_*$位于一个子空间，这是潜在的比RKHS的正交补小得多。该结果形式化了神经网络的表示和逼近优点。最后，我们证明了梯度流计算的神经网络函数在正则化消失的极限下收敛于具有自适应核的核无岭回归。自适应核的观点为研究神经网络的逼近、表示、推广和优化等优点提供了新的视角。
2019-07-23 cs.LG math.ST stat.ML
Kernels over Sets of Finite Sets using RKHS Embeddings, with Application to Bayesian (Combinatorial) Optimization
Mahidol University（玛希隆大学）；Idiap Research Institute（Idiap研究所）；University of Bern（伯尔尼大学）；Centre of Excellence in Mathematics（数学卓越中心）
我们专注于集值输入的核方法及其在贝叶斯集优化，特别是组合优化中的应用。我们研究了两类依赖于再生核希尔伯特空间嵌入的集合核，即最近在贝叶斯集合优化中考虑的“双和”（DS）核，以及在这里引入的一类称为“深嵌入”（DE）核，其基本上包括在希尔伯特空间上应用径向核，该径向核是由另一个核（如DS核）引起的正则距离。我们建立特别是，虽然DS内核通常遭受缺乏严格的正定性，巨大的子类DE内核建立在DS内核拥有这个属性，从而使组合优化，而不需要引入抖动参数。关于考虑内核的理论结果的证明补充了一些关于超参数拟合的实用性。我们还证明了我们的方法在预测和优化任务的适用性，依靠玩具的例子和两个测试案例，分别从机械工程和水文地质。实验结果突出了所考虑的方法的适用性和比较的优点，同时在预测和序列设计与设置输入打开新的视角。
2020-03-10 cs.LG math.ST stat.AP
Composition operators on reproducing kernel Hilbert spaces with analytic positive definite functions
在本文中，我们指定什么功能导致再生核希尔伯特空间（RKHS）上的有界复合算子与定义在$\mathbf{R}^d$上的解析正定函数。我们证明，只有仿射变换可以这样做，在一个相当大的类RKHS。我们的结果不仅涵盖了Paley-Wiener空间上的真正的线，在以前的作品中研究，但也更一般的RKHS对应的解析正定函数，现有的方法不工作。我们的方法只依赖于RKHS的一个内在性质，并且我们建立了复合算子的行为与实直线上加权$L^2$ -空间上正交多项式最大零点的渐近性质之间的联系.我们还研究了复合算子的紧性，并证明了任何有界复合算子在我们的情况下都不可能是紧的。
2021-03-09 math.CV math.FA stat.ML
On the Convergence of Irregular Sampling in Reproducing Kernel Hilbert Spaces
Universität Hamburg（汉堡大学）
本文分析再生核希尔伯特空间中不规则采样算法的收敛性，在极简假设下推导核回归的逼近性质、RKHS范数误差估计及紧域一致收敛新结果，并给出Lipschitz和Hölder连续核的收敛速率。
2025-04-18 cs.LG cs.NA math.NA
A Reproducing Kernel Hilbert Space log-rank test for the two-sample problem
加权对数秩检验可以说是最广泛使用的测试，由从业者的两个样本问题的背景下，右删失数据。许多方法已被认为是加权对数秩检验更强大的对更广泛的家庭的替代品，其中，考虑加权对数秩检验的线性组合，并采取最大的一个有限的集合。在本文中，我们提出的检验统计量的上确界的一个集合（潜在的无限）的重量指标的对数秩检验的索引空间是单位球的再生核希尔伯特空间（RKHS）。通过使用RKHS的一些理想的属性，我们提供了一个准确和简单的评价的检验统计量，并建立与以前的测试在文献中的连接。此外，我们表明，对于一个特殊的家庭的RKHS，建议的测试是综合性的。最后，我们通过执行所提出的方法的实证评估，并显示一个应用程序的一个真实的数据场景。我们的理论结果证明了使用技术的双重积分的鞅，可能是独立的利益。
2020-04-29 stat.ME stat.ML
Non-asymptotic confidence regions on RKHS. The Paley-Wiener and standard Sobolev space cases
针对随机设计下RKHS中未知函数，提出通过估计其RKHS范数来构建全局非渐近置信区域，并重点分析Paley-Wiener与标准Sobolev空间情形。
2025-07-09 math.ST stat.ML stat.TH
Bayesian Optimization on Function Spaces via Sparse RKHS Manifolds
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对函数空间上的贝叶斯优化问题，提出L0MO方法，在RKHS中搜索核稀疏表示的函数并优化核位置与系数，实验证明其在多个基准上性能优越。
2026-11-10 cs.LG stat.ML
Kernel Truncated Randomized Ridge Regression: Optimal Rates and Low Noise Acceleration
Boston University（波士顿大学）；Google（谷歌）
本文研究再生核Hilbert空间中的非参数最小二乘回归问题。我们提出了一个新的随机算法，具有最佳的泛化误差的平方损失的界限，关闭一个长期存在的上限和下限之间的差距。此外，我们表明，我们的算法具有更快的有限时间和渐近速率的问题，贝叶斯风险的平方损失是小的。我们使用标准的工具，从最小二乘回归RKHS理论，即相关的积分算子的特征值的衰减和通过积分算子测量的最佳预测的复杂性，我们的结果。
2019-05-25 cs.LG stat.ML
Kernel Methods for Stochastic Dynamical Systems with Application to Koopman Eigenfunctions: Feynman-Kac Representations and RKHS Approximation
Department of Computing and Mathematical Sciences, Caltech（加州理工学院计算与数学科学系）；The Alan Turing Institute（艾伦·图灵研究所）；Department of Mechanical Engineering, Clemson University（克莱姆森大学机械工程系）
本文提出用于随机动力系统的核方法，通过Feynman-Kac表示和RKHS近似，扩展了Koopman特征函数的构造，并分析了扩散对数值稳定性的提升作用。
2026-03-01 cs.NA cs.SY eess.SY
Online Pairwise Learning Algorithms with Kernels
State University of New York at Albany（纽约州立大学奥尔巴尼分校）；City University of Hong Kong（香港城市大学）
成对学习通常是指一个学习任务，它涉及到一个损失函数依赖于成对的例子，其中最显着的包括排名，度量学习和AUC最大化。在本文中，我们研究了在再生核Hilbert空间（RKHS）的无约束设置中具有最小二乘损失函数的成对学习的在线算法，我们称之为在线成对学习算法（OPERA）。现有的作品\cite{Kar,Wang}，要求迭代被限制到一个有界域或损失函数是强凸的，OPERA是与一个非强凸的目标函数，并学习目标函数在一个无约束的RKHS。具体地说，我们建立了一个一般定理，保证几乎必然收敛的最后一个OPERA没有任何假设的基础上的分布。在多项式衰减步长的条件下，得到了显式的收敛速度。我们还建立了一个有趣的属性，一个家庭的广泛使用的内核设置成对学习，并说明了上述收敛结果使用这样的内核。我们的方法主要依赖于RKHS的特征，使用其相关的积分算子和概率不等式的随机变量的值在希尔伯特空间。
2015-02-25 cs.LG stat.ML
KTBoost: Combined Kernel and Tree Boosting
Lucerne University of Applied Sciences and Arts（卢塞恩应用科学与艺术大学）
我们引入了一种新的提升算法称为'KTBoost'，它结合了内核提升和树提升。在每次提升迭代中，该算法将回归树或再生核希尔伯特空间（RKHS）回归函数添加到基本学习器的集合中。直观地说，这个想法是不连续树和连续RKHS回归函数相互补充，并且这种组合允许更好地学习具有不同规律性的部分的函数，例如不连续和平滑部分。我们的经验表明，KTBoost显着优于树和内核提升在预测准确性方面的比较，在广泛的数据集。
2021-02-08 cs.LG stat.CO stat.ML
Kernel Mean Shrinkage Estimators
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Pennsylvania State University（宾夕法尼亚州立大学）；The Institute of Statistical Mathematics（统计数学研究所）；University College London（伦敦大学学院）
再生核希尔伯特空间（RKHS）中的均值函数或核均值是核方法的核心，因为它被许多经典算法（如核主成分分析）使用，并且它也形成了依赖于在RKHS中嵌入概率分布的现代核方法的核心推理步骤。给定有限样本，经验平均值通常用作真实核平均值的标准估计。尽管广泛使用这个估计，我们表明，它可以得到改善，由于众所周知的斯坦现象。我们提出了一个新的家庭的估计称为核均值收缩估计（KMSE），这得益于理论的理由和良好的经验表现。结果表明，所提出的估计优于标准的，特别是在一个“大d，小n”的范例。
2016-02-25 cs.LG stat.ML
Singular Value Decomposition of Operators on Reproducing Kernel Hilbert Spaces
再生核希尔伯特空间（RKHS）在从支持向量机到高斯过程和分布的核嵌入的许多统计和机器学习应用中起着重要作用。例如，作用于这样的空间的运算符需要嵌入条件概率分布，以便实现内核贝叶斯规则并构建顺序数据模型。最近表明，转移算子，如Perron-Frobenius或Koopman算子也可以近似在一个类似的方式使用协方差和互协方差算子，这些算子的本征函数可以通过解决相关的矩阵本征值问题。本文的目的是为RKHS算子的特征值分解提供一个坚实的泛函分析基础，并将该方法推广到奇异值分解。用简单的指导性例子说明了结果。
2020-03-16 math.FA stat.ML
Diffusion Maps Kernel Ridge Regression
The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出采用扩散映射（DM）核的核岭回归，证明DM核收敛到热核，其RKHS与高斯核等距同构，且数值验证了DM核在带边界流形监督学习中的优势。
2026-08-11 cs.NA math.NA math.ST
A Kernel Perspective for Regularizing Deep Neural Networks
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）；ENS（巴黎高等师范学院）；PSL（巴黎文理研究大学）
我们提出了一种新的观点，通过使用再生核希尔伯特空间（RKHS）的范数来正则化深度神经网络。尽管这个范数不能计算，但它允许导致各种实际策略的上下近似。具体来说，这种观点（i）为许多现有的正则化原则提供了一个共同的保护伞，包括谱范数和梯度惩罚，或对抗性训练，（ii）导致新的有效正则化惩罚，（iii）建议结合下界和上界的混合策略，以获得更好的RKHS范数近似。我们的实验表明，这种方法在小数据集上学习时是有效的，或者可以获得对抗性强的模型。
2019-05-13 cs.LG stat.ML
An End-to-End Graph Convolutional Kernel Support Vector Machine
School of Computer Science & Informatics, Cardiff University（卡迪夫大学计算机科学与信息学院）
提出了一种新的基于核的支持向量机（SVM）的图分类方法。SVM特征空间映射由一系列图卷积层组成，该卷积层为每个顶点生成向量空间表示，然后是一个池化层，该池化层为图生成再生核希尔伯特空间（RKHS）表示。RKHS的使用提供了使用核函数在该空间中隐式操作的能力，而没有显式映射到它的计算复杂性。所提出的模型以监督的端到端的方式进行训练，从而卷积层，核函数和SVM参数相对于正则化分类损失进行联合优化。这种方法不同于现有的基于核的图分类模型，后者使用特征工程或无监督学习来定义核函数。实验结果表明，该模型优于现有的深度学习基线模型在一些数据集上。
2020-08-04 cs.LG stat.ML
Multi-Scale Zero-Order Optimization of Smooth Functions in an RKHS
我们的目标是优化一个黑盒函数$f:\mathcal{X} \mapsto \mathbb{R}$的假设下，$f$是Hölder光滑的，并有界范数的RKHS与一个给定的内核$K$。这个问题是已知的，有一个不可知的高斯过程（GP）的强盗解释，其中一个适当构造的GP代理模型与内核$K$是用来获得一个置信上限（UCB）算法。在本文中，我们提出了一种新的算法（\texttt{LP-GP-UCB}），通常的GP代理模型与Hölder光滑函数$f$的局部多项式（LP）估计增强，以构建一个多尺度UCB指导搜索的优化。我们分析了该算法，并推导出其简单和累积遗憾的高概率界。然后，我们证明了许多常见的RKHS的元素是Hölder光滑的，并获得相应的Hölder光滑参数，因此，专门为几个常用的核我们的遗憾界。当专用于平方指数（SE）内核时，\texttt{LP-GP-UCB}匹配最佳性能，而对于Matérn内核$(K_ν)_{ν>0}$的情况，它导致平滑参数$ν>0$的所有值的一致更紧的遗憾界限。最值得注意的是，对于$ν$的某些范围，该算法实现了简单和累积遗憾的接近最优的界限，将算法独立的下限与polylog因子相匹配，从而缩小了$ν$的这些值的现有上限和下限之间的巨大差距。此外，我们的分析提供了第一个明确的遗憾界，在预算$n$，为二次（RQ）和伽玛指数（GE）。最后，与合成函数以及CNN超参数调整任务的…
2020-05-11 cs.LG math.OC stat.ML
Learning nonparametric differential equations with operator-valued kernels and gradient matching
IRSN（法国辐射防护与核安全研究所）；Institut Mines-Télécom（矿业电信学院）；Télécom ParisTech（巴黎高等电信学校）
用常微分方程对动态系统建模意味着对动态过程的机械论观点。然而，在许多情况下，这些知识是不可用的。为了克服这个问题，我们引入了一个一般的框架，非参数常微分方程模型，使用惩罚回归再生核希尔伯特空间（RKHS）的基础上操作值的内核。此外，我们将梯度匹配方法的范围扩展到非参数常微分方程。建立了一个光滑的估计的解决方案ODE提供一个近似的导数的ODE解决方案，这反过来又被用来学习非参数ODE模型。这种方法受益于RKHS中惩罚回归的灵活性，允许岭或（结构化）稀疏回归。在3个不同的ODE系统上显示了非常好的结果。
2014-11-19 cs.LG stat.ML
Further properties of Gaussian Reproducing Kernel Hilbert Spaces
我们一般化的正交基的高斯RKHS中描述的\cite{MinhGaussian2010}到一个无限的，连续参数化，家庭的正交基，以及一些影响。这些证明是\cite{MinhGaussian2010}中证明的直接推广。
2012-10-23 math.FA stat.ML
Kernel Distributionally Robust Optimization
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Google Research（谷歌研究院）；University of Freiburg（弗赖堡大学）
我们提出了核分布鲁棒优化（核DRO）的鲁棒优化理论和泛函分析的见解。我们的方法使用再生核希尔伯特空间（RKHS），以构建一个广泛的凸模糊集，它可以推广到集的基础上的积分概率距离和有限阶矩界。这种观点统一了多种现有的鲁棒和随机最优化方法。我们证明了一个定理，推广了经典的对偶性的数学问题的时刻。启用这个定理，我们重新制定的最大化相对于DRO到对偶程序中的措施，搜索RKHS功能。使用通用RKHS，定理适用于广泛的一类损失函数，解除常见的限制，如多项式损失和知识的Lipschitz常数。然后，我们建立了DRO和随机最优化与期望约束之间的联系。最后，我们提出了实用的算法的基础上批凸求解器和随机函数梯度，适用于一般的优化和机器学习任务。
2021-02-27 cs.LG math.OC stat.ML
Kernel interpolation with continuous volume sampling
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
核方法的一个基本任务是选择节点和权值，以便通过位于节点处的核平移的加权和来近似来自RKHS的给定函数。这是核密度估计、核求积或离散样本插值的关键。此外，RKHS提供了一个方便的数学和计算框架。我们介绍和分析连续体积采样（VS），连续对应物-选择节点位置-的离散分布介绍（Deshpande和Vempala，2006年）。我们的贡献是理论上的：我们证明几乎最佳的边界插值和正交下VS。虽然类似的界限已经存在一些特定的RKHS使用ad-hoc节点建设，VS提供的界限，适用于任何默瑟内核，并依赖于相关的集成运营商的频谱。我们强调，与以前依赖于正则化杠杆分数或行列式点过程的随机方法不同，评估VS的pdf只需要对内核进行逐点评估。因此，VS自然服从MCMC采样器。
2020-02-22 cs.LG cs.NA math.NA
Autoencoding any Data through Kernel Autoencoders
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院LTCI实验室）
研究了一种基于核方法的数据表示算法。假设观测位于希尔伯特空间X中，引入的核自动编码器（KAE）是来自向量值再生核希尔伯特空间（vv-RKHS）的映射的组合，其最小化预期的重建误差。除了将自动编码方案扩展到可能无限维的希尔伯特空间之外，KAE还允许通过选择X本身为RKHS来自动编码任何类型的数据。对该模型进行了理论分析，给出了泛化界，并阐明了它与核主成分分析的联系。然后详细介绍了所提出的算法：它们主要依赖于极小化器所采取的形式，这是由一个专用的表示定理揭示的。最后，模拟数据和真实标记图（分子）的数值实验提供了经验证据的KAE性能。
2020-12-02 cs.LG stat.ML
Kernel Quantile Embeddings and Associated Probability Metrics
University College London（伦敦大学学院）；Nanyang Technological University（南洋理工大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
本文提出核分位数嵌入（KQEs）构建概率度量，在更弱核条件下成立，恢复核化切片Wasserstein距离，近线性估计，假设检验中媲美MMD。
2025-05-26 cs.LG math.ST stat.ML
Adaptive Kernel Selection for Kernelized Diffusion Maps
CY Cergy Paris University（塞纳-圣但尼大学）；Institut Polytechnique de Paris（巴黎理工学院）；California Institute of Technology（加州理工学院）；The Alan Turing Institute（阿兰·图灵研究所）；Imperial College London（伦敦帝国学院）
本文提出两种自适应核选择方法，通过变分外循环学习连续核参数，并利用随机傅里叶特征提升可扩展性，以提高扩散图核估计的准确性与稳定性。
2026-04-20 math.DS stat.ML
Reproducing kernels based schemes for nonparametric regression
在这项工作中，我们开发和研究解决非参数回归问题的经验投影算子计划。该方案基于回归函数在合适的再生核希尔伯特空间（RKHS）上的近似投影。本文考虑的RKHS是由Legendre Christoffel-Darboux和卷积Sinc核给出的Mercer核生成的。在假设回归函数属于某些合适的函数空间的条件下，我们给出了该方案的误差和收敛性分析。我们还考虑了流行的RKHS正则化最小二乘最小化非参数回归。特别是，我们检查的数值稳定性，这第二个计划，我们提供其收敛速度的特殊情况下的Sinc内核。最后，我们通过各种数值模拟来说明所提出的方法。
2020-02-01 math.ST stat.TH
