Regularized Functional Canonical Correlation Analysis for Stochastic Processes
本文导出了函数典型相关的两个不同的正则化估计的渐近分布及其相应的特征值、特征向量和投影算子。我们开发的方法利用正则化的估计，接近再生核希尔伯特空间（RKHS）的函数算子的正则化参数接近零。除了提供一些理由的RKHS方法，我们探讨了正则算子与Tikhinov和截断奇异值分解（TSVD）型正则化的渐近性。总之，这些正则化方法代表了两种最常用的正则化形式。
2015-02-08 math.ST stat.TH
$L_2$-Regularized Empirical Risk Minimization Guarantees Small Smooth Calibration Error
The University of Osaka（大阪大学）；RIKEN AIP（理化学研究所AIP）；Lattice Lab, Toyota Motor Corporation（丰田株式会社格子实验室）
本文首次从理论上证明 $L_2$ 正则化经验风险最小化可直接控制平滑校准误差，无需事后校正，并在核岭回归和核逻辑回归中给出具体保证，实验验证了其有效性。
2025-10-15 cs.LG math.ST stat.ML
Generalized nonparametric regression in reproducing kernel Hilbert spaces: Consistency and rates of convergence
Ioannis Kalogridis
针对再生核希尔伯特空间中的正则化M估计，在温和损失条件下建立估计量的存在性和可测性，证明基于新复杂度测度的偏差-方差分解的锐利收敛速度，并揭示张量积Sobolev空间中的新速率以规避维数灾难。
2026-06-23 cs.LG math.ST stat.ML
Scalable Learning in Reproducing Kernel Krein Spaces
King’s College London（伦敦国王学院）；University of Nottingham（诺丁汉大学）
我们提供了第一个数学上完整的推导的Nyström方法的低秩近似的不定内核，并提出了一个有效的方法，找到一个近似的特征分解这样的内核矩阵。在此基础上，我们设计了高度可扩展的方法来学习再生核Kre \u <$n空间。所设计的方法提供了一个原则和理论上有充分依据的手段来解决大规模的学习问题与不确定的内核。我们工作的主要动机来自于结构化表示的问题（例如，图形、字符串、时间序列），其中相对容易基于领域专家的直觉和/或知识来设计成对（DIS）相似性函数。这些函数通常不是正定的，并且通常远远超出实践者的专业知识来验证这种情况。设计的方法的有效性进行评估经验上使用结构化和矢量数据表示定义的不确定内核。
2019-05-30 cs.LG stat.ML
Reproducing kernels based schemes for nonparametric regression
在这项工作中，我们开发和研究解决非参数回归问题的经验投影算子计划。该方案基于回归函数在合适的再生核希尔伯特空间（RKHS）上的近似投影。本文考虑的RKHS是由Legendre Christoffel-Darboux和卷积Sinc核给出的Mercer核生成的。在假设回归函数属于某些合适的函数空间的条件下，我们给出了该方案的误差和收敛性分析。我们还考虑了流行的RKHS正则化最小二乘最小化非参数回归。特别是，我们检查的数值稳定性，这第二个计划，我们提供其收敛速度的特殊情况下的Sinc内核。最后，我们通过各种数值模拟来说明所提出的方法。
2020-02-01 math.ST stat.TH
Optimal Rates of Sketched-regularized Algorithms for Least-Squares Regression over Hilbert Spaces
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本文研究了Hilbert空间上最小二乘回归问题的正则化投影算法，包括再生核Hilbert空间上的非参数回归。我们证明收敛结果的变体的规范，在假设空间的能力假设和正则性条件下的目标函数。其结果是，我们获得最佳率的正则化算法与随机草图，只要草图尺寸是成比例的有效尺寸的对数因子。作为一个副产品，我们得到了类似的结果Nyström正则化算法。我们的结果是第一个最佳的，分布相关的速率，没有任何饱和效应的草图/Nyström正则化算法，考虑到可达到和不可达到的情况。
2018-10-08 cs.LG math.FA stat.ML
Regularized Kernel Recursive Least Square Algoirthm
University of Florida（佛罗里达大学）
在大多数自适应信号处理应用中，假设系统线性，因此使用自适应线性滤波器。传统的监督自适应滤波器依赖于纠错学习的自适应能力。核方法是一种用于模式分析和统计信号处理的强有力的非参数建模工具。通过非线性映射，核方法将数据转换为再生核希尔伯特空间中的一组点。KRLS算法在稳态情况下具有较高的精度和较快的收敛速度。然而，良好的性能是以高计算复杂度为代价的。核方法中的稀疏化与较低的计算复杂性和内存消耗有关。
2015-08-28 cs.LG stat.ML
Fast Learning in Reproducing Kernel Krein Spaces via Signed Measures
KU Leuven（鲁汶大学）；Shanghai Jiao Tong University（上海交通大学）
在本文中，我们试图解决一个长期开放的问题，非正定（non-PD）核在机器学习社区：一个给定的non-PD核可以被分解为两个PD核的差（称为正分解）？通过引入\emph{signed measure}，将正分解转化为测度分解：一系列非PD核可以与特定有限Borel测度的线性组合相关联，我们将这个问题作为一个分布视图。通过这种方式，我们的基于分布的框架提供了一个充分和必要的条件来回答这个开放的问题。具体地说，这种解决方案在实践中也是计算上可实现的，以在大样本情况下缩放非PD内核，这使我们能够设计第一个随机特征算法来获得无偏估计。在多个基准数据集上的实验结果验证了该算法的有效性。
2021-02-09 cs.LG stat.ML
On regularized Radon-Nikodym differentiation
Johann Radon Institute for Computational and Applied Mathematics（约翰·拉东计算与应用数学研究所）；Austrian Academy of Sciences（奥地利科学院）
本文研究 Radon–Nikodym 导数估计，利用再生核 Hilbert 空间正则化、一般源条件与正则化 Christoffel 函数建立收敛速率，并证明逐点高阶重构精度。
2023-08-15 cs.LG cs.NA math.NA
Regularized Learning Schemes in Feature Banach Spaces
本文提出了一个统一的框架，研究约束学习理论的自反巴拿赫空间的特征，通过正则化的经验风险最小化。重点是完全凸函数的Tikhonov正则化。这类广泛的正则化器为各种先验特征提供了灵活的模型，特别是包括硬约束和Banach范数的幂。在这样的背景下，主要结果建立了一个新的一般形式的表示定理和一致性的相应的学习计划在一般条件下的损失函数，几何的特征空间，和模的总凸的正则化。此外，所提出的分析提供了新的见解基本工具，如再生巴拿赫空间，特征映射，和普遍性。即使专门用于希尔伯特空间，这个框架也产生了新的结果，扩展了现有技术。
2016-10-19 math.ST stat.TH
Wasserstein Gradient Flows for Moreau Envelopes of f-Divergences in Reproducing Kernel Hilbert Spaces
Institute of Mathematics, TU Berlin（柏林工业大学数学研究所）；Institute of Mathematics, TU Chemnitz（开姆尼茨工业大学数学研究所）
本文利用核均值嵌入将 MMD 正则化的 f-散度表示为再生核希尔伯特空间中的 Moreau 包络，据此分析其梯度及 Wasserstein 梯度流，并通过数值实验验证了有限与无限后退常数情形下的流行为。
2025-04-11 cs.LG math.FA math.OC
Online Regularized Learning Algorithms in RKHS with $β$- and $ϕ$-Mixing Sequences
Institute for Mathematical Methods in Medicine（医学中的数学方法研究所）；Data-Based Modeling Johannes Kepler University Linz（基于数据的建模约翰·凯撒大学林茨）
本文针对依赖过程，在再生核希尔伯特空间中提出在线正则化学习算法，以严格平稳马尔可夫链为例，利用混合系数刻画依赖，推导了指数和多项式衰减下的概率上界与收敛速率。
2025-07-08 cs.LG math.FA stat.ML
A reproducing kernel Hilbert space approach to functional linear regression
本文研究了泛函线性回归的光滑正则化方法，为预测和估计问题提供了统一的处理方法。通过开发一个工具，同时对角化的两个正定核，我们得到整形结果的极小极大收敛速度，并表明光滑正则估计实现最佳的收敛速度的预测和估计的条件下，弱于那些在文献中开发的功能主成分为基础的方法。尽管正则化方法的一般性，我们表明，该过程是很容易实现的。数值结果说明了该方法的优点，并展示了理论的发展。
2012-11-12 math.ST stat.TH
Online Regularized Learning Algorithm for Functional Data
Zhejiang University（浙江大学）
近年来，函数线性模型在统计学和机器学习中引起了越来越多的关注，其目的是恢复斜率函数或其函数预测器。研究再生核Hilbert空间中泛函线性模型的在线正则化学习算法。分别给出了多项式衰减步长和常数步长下超差预测误差和估计误差的收敛性分析。快速收敛速度可以通过容量相关分析得出。通过引入显式正则化项，提高了非正则化在线学习算法在步长多项式衰减时的饱和边界，并在没有容量假设的情况下建立了估计误差的快速收敛速度.然而，它仍然是一个开放的问题，以获得容量无关的收敛速度的估计误差的非正则化在线学习算法与衰减步长。在定步长条件下，预测误差和估计误差的收敛速度与文献中的结果相当。
2022-11-24 cs.LG stat.ML
Analysis of regularized Nyström subsampling for regression functions of low smoothness
Fudan University（复旦大学）；Weierstrass Institute for Applied Analysis and Stochastics（魏尔斯特拉斯应用分析与随机研究所）；Medical University of Innsbruck（因斯布鲁克医科大学）
本文研究了一种Nyström型欠采样方法在错误指定情况下的大核学习方法，其中目标函数不被假设为属于由底层核生成的再生核Hilbert空间.尽管这一案件具有重要的实际意义，但人们对它的了解却较少。为了模拟这样的情况下，目标函数的平滑度描述的一般源条件。令人惊讶的是，几乎对于整个范围的源条件，描述错误指定的情况下，相应的学习率界可以实现只有一个值的正则化参数。这种观察允许制定温和的条件下，平原Nyström子采样可以实现次二次成本保持保证的学习率。
2018-06-03 cs.LG stat.ML
Kullback-Leibler and Renyi divergences in reproducing kernel Hilbert space and Gaussian process settings
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
在这项工作中，我们提出了正则化Kullback-Leibler和Rényi分歧的公式，通过两种不同设置下Hilbert空间上的正Hilbert-Schmidt算子之间的Alpha对数行列式（Log-Det）分歧，即（i）定义在再生核Hilbert空间（RKHS）上的协方差算子和高斯测度;（ii）具有平方可积样本路径的高斯过程。对于特征核，第一个设置导致在一个完整的、可分离的度量空间上任意Borel概率测度之间的分歧。我们证明了Alpha Log-Det发散在Hilbert-Schmidt范数下是连续的，这使得我们能够对Hilbert空间值随机变量应用大数定律。因此，我们表明，在这两种情况下，无限维的分歧可以一致和有效地估计从其有限维的版本，使用有限维的革兰氏矩阵/高斯措施和有限的样本数据，{ \it维数无关}的样本复杂性在所有情况下。RKHS方法在这两种环境中的理论分析中起着核心作用。数值实验表明，数学公式。
2022-07-18 cs.LG stat.ML
Sampled forms of functional PCA in reproducing kernel Hilbert spaces
我们考虑函数PCA（fPCA）的采样问题，其中最简单的例子是对底层函数组件进行时间采样的情况。更一般地，我们将采样操作建模为从$\mathcal{H}$到$\mathbb{R}^m$的连续线性映射，其中函数分量位于$L^2$的某个希尔伯特子空间$\mathcal{H}$中，例如光滑函数的再生核希尔伯特空间。该模型包括作为特殊情况的时间和频率采样。与fPCA中假设访问整个函数的经典方法相反，具有有限数量m的函数样本限制了统计过程的性能。我们研究了这些影响，通过分析的收敛速率的M-估计的子空间的领先的组成部分，在多尖峰协方差模型。估计器采用正则化PCA的形式，因此在计算上是有吸引力的。我们在一个非渐近框架内分析了该估计量的行为，并提供了作为统计样本数n和函数样本数m的函数的高概率的界。我们还推导出下界，表明所获得的速率是最小最大最优的。
2013-02-13 math.ST stat.ML stat.TH
Adaptivity for Regularized Kernel Methods by Lepskii's Principle
IIT（意大利理工学院）
我们解决的问题{ \it自适应}的再生核希尔伯特空间（RKHS）回归的框架。更确切地说，我们分析估计所产生的线性正则化计划$g_\lam$。在实际应用中，一个重要的任务是适当地选择正则化参数$\lam$，即仅基于给定的数据并且独立于回归函数上的未知结构假设。避免数据分裂的有吸引力的方法是{ \it Lepskii原则}（LP），也称为{ \it平衡原则}。我们表明，修改后的参数选择的基础上（LP）是最小最大最优自适应，$\log\log(n)$。一个方便的结果是，平衡在$L^2(ν)-$规范，这是最简单的，自动给出最佳平衡在所有更强的规范，$L^2(ν)$和RKHS之间的插值。一个类似的结果是开放的其他经典方法的数据依赖的正则化参数的选择，例如，保持。
2018-04-15 cs.LG stat.ML
Geometric Learning with Positively Decomposable Kernels
Nanyang Technological University（南洋理工大学）；Université Grenoble-Alpes（格勒诺布尔阿尔卑斯大学）
针对非欧几里得数据正定核难以获取的问题，提出基于再生核 Krein 空间（RKKS）的正可分解核学习方法，证明了不变核在齐性空间上的正可分解性，为非欧几里得数据学习及 RKKS 方法提供了理论基础。
2024-07-30 cs.LG math.DG stat.ML
Coefficient-based Regularized Distribution Regression
Zhejiang University（浙江大学）；Fudan University（复旦大学）
本文考虑再生核Hilbert空间（RKHS）上基于系数的正则化分布回归，其目的是从概率测度回归到实值响应，其中系数被正则化，核被假定为不确定的.该算法包括两个阶段的采样，第一阶段的样本由分布和第二阶段的样本从这些分布获得。研究了该算法在回归函数不同正则范围内的渐近行为，并通过积分算子技术推导出了学习率。在一定的条件下，得到了与一阶段抽样minimax最优速率相匹配的最优速率。与已有的分布回归的核方法相比，该算法不要求核是对称的和半正定的，从而为设计不确定的核方法提供了一个简单的范例，丰富了分布回归的研究内容.据我们所知，这是第一个不确定核分布回归的结果，我们的算法可以改善饱和效应。
2022-08-26 cs.LG stat.ML
Learning Operators by Regularized Stochastic Gradient Descent with Operator-valued Kernels
School of Mathematical Sciences, Fudan University（复旦大学数学科学学院）；Fudan University（复旦大学）；Shanghai Key Laboratory for Contemporary Applied Mathematics, Fudan University（复旦大学当代应用数学重点实验室）
本文研究了从波兰空间到可分希尔伯特空间的回归算子估计问题，通过正则化随机梯度下降算法在在线和有限时间 horizon 设置下分析 ill-posed 性问题，建立与维度无关的预测和估计误差界，并提供结构预测和参数 PDEs 的应用示例。
2026-09-28 cs.LG math.FA math.ST
Spectral Regularized Kernel Two-Sample Tests
Pennsylvania State University（宾夕法尼亚州立大学）
本文研究基于RKHS嵌入的双样本检验最优性，证明MMD检验非最优，并提出利用协方差信息的谱正则化MMD检验，证明其极小极大最优且分离边界更小，同时给出自适应版本，实验验证其优越性。
2024-05-01 cs.LG math.ST stat.ML
Distributed learning with regularized least squares
City University of Hong Kong（香港城市大学）；The Hong Kong Polytechnic University（香港理工大学）
我们研究了再生核希尔伯特空间（RKHS）中的最小二乘正则化方案的分布式学习。该算法采用分治的方法，将数据集划分为互不相交的数据子集，对每个数据子集应用最小二乘正则化方法生成输出函数，然后取各个输出函数的平均值作为最终的全局估计或预测。我们表明，在预期的误差界的$L^2$度量和RKHS度量，这种分布式学习的全局输出函数是一个很好的近似算法处理整个数据在一个单一的机器。我们的误差界是尖锐的，并在一般设置没有任何特征函数的假设。分析是通过一个新的二阶分解算子的差异，在我们的积分算子的方法。即使是经典的最小二乘正则化计划在RKHS与一般的内核，我们给出了最好的学习率在文献中。
2017-03-11 cs.LG stat.ML
Mirror Descent on Reproducing Kernel Banach Spaces
University of California San Diego（加州大学圣地亚哥分校）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
针对再生核Banach空间（RKBS）中的高效优化问题，提出基于镜像下降的迭代算法，利用对偶空间梯度步长，证明了线性与标准收敛率，并构建了具有p-范数的新型RKBS族。
2024-11-18 cs.LG math.OC stat.ML
Asymptotic Confidence Sets for General Nonparametric Regression and Classification by Regularized Kernel Methods
正则化的核方法，例如，支持向量机和最小二乘支持向量回归构成了机器学习中一类重要的标准学习算法。近年来，关于渐近性质的理论研究主要集中在收敛速度上，而关于统计推断的结果却很少且有限。由于这是一个严重的限制，他们在数理统计中的使用，本文的目标是填补这一空白。基于这些方法的渐近正态性，本文导出了极限正态分布的未知协方差阵的强相合估计量。通过这种方式，我们获得了渐近正确的置信集$ψ(f_{P,λ_0})$其中$f_{P,λ_0}$表示再生核Hilbert空间$H$中正则化风险的最小值，并且$ψ:H\rightarrow\mathds{R}^m$是任何Hadamard可微泛函。应用包括$f_{P,λ_0}$值的（多变量）逐点置信集和梯度、积分和范数的置信集。
2012-03-20 stat.ML
M-Power Regularized Least Squares Regression
ENS Cachan（巴黎高等师范学校卡尚分校）；CNRS（法国国家科学研究中心）；Université Paris-Saclay（巴黎萨克雷大学）；Aix Marseille Univ（艾克斯-马赛大学）
正则化用于找到既适合数据又足够平滑的解决方案，因此对于设计和改进学习算法非常有效。但其指数的影响仍然知之甚少。特别是再生核Hilbert空间~（RKHS）正则化项的指数如何影响基于核的学习算法的精度和效率还不清楚。在这里，我们考虑正则化最小二乘回归（RLSR），RKHS正则化提升到m的幂，其中m是可变实指数。我们设计了一个有效的算法来解决相关的最小化问题，我们提供了一个理论分析，其稳定性，我们比较它的优势，相对于计算复杂性，收敛速度和预测精度的经典核岭回归算法的正则化指数m固定为2。我们的研究结果表明，m-幂RLSR问题可以有效地解决，并支持的建议，可以使用一个正则化项，增长显着慢于标准的二次增长在RKHS范数。
2016-12-14 cs.LG math.PR stat.ML
Solving Support Vector Machines in Reproducing Kernel Banach Spaces with Positive Definite Functions
本文在再生核巴拿赫空间中利用半内积的正交性和傅里叶变换技术，显式求解支持向量机，并通过正定函数表示最优解，系数由不动点迭代计算。
2013-04-23 cs.NA math.NA math.OC
Towards regularized learning from functional data with covariate shift
Institute for Machine Learning（机器学习研究所）；Johannes Kepler University（约翰·凯撒大学）；Medical University of Innsbruck（因斯布鲁克医学院）；Austrian Academy of Sciences（奥地利科学院）；Indian Institute of Technology Delhi（德里印度理工学院）
本文提出了一种基于vRKHS的正则化框架，用于处理协变量偏移下的函数数据学习，通过聚合方法优化正则化参数选择，提升域适应的鲁棒性。
2026-01-28 cs.LG cs.NA math.NA
Learning Sets with Separating Kernels
我们考虑从随机样本中学习一个集合的问题。我们展示了如何相关的几何和拓扑性质的一组可以研究分析使用再生核希尔伯特空间理论的概念。一种新的再生核，我们称之为分离核，在我们的研究中起着至关重要的作用，并详细分析。我们证明了一个新的分析特征的支持分布，自然导致家庭的可证明一致的正则化学习算法，我们讨论了这些方法的稳定性随机抽样。数值实验表明，该方法是有竞争力的，往往比其他国家的最先进的技术。
2014-11-25 stat.ML
Sobolev Norm Learning Rates for Regularized Least-Squares Algorithm
最小二乘回归的学习率通常用$L_2$-范数表示。在本文中，我们将这些利率的规范强于$L_2$规范，而不需要回归函数包含在假设空间。在Sobolev再生核Hilbert空间作为假设空间的特殊情况下，这些更强的范数与所用Sobolev空间和$L_2$之间的分数Sobolev范数一致.因此，不仅可以估计目标函数，而且可以估计其一些导数，而不改变算法。从技术的角度来看，我们结合了著名的积分算子技术与嵌入属性，这到目前为止只被用于结合经验过程参数。这种组合的结果在新的有限样本界相对于更强的规范。从这些有限的样本范围，我们的利率很容易遵循。最后，我们证明了我们的结果在许多情况下的渐近最优性。
2020-10-08 stat.ML
Towards Optimal Sobolev Norm Rates for the Vector-Valued Regularized Least-Squares Algorithm
Gatsby Computational Neuroscience Unit（盖特立计算神经科学单元）；University College London（伦敦大学学院）；Merantix Momentum；Merantix AI Campus（Merantix AI园区）
本文研究无穷维向量值核岭回归，利用向量值插值空间的张量积构造刻画光滑性，在错误设定下建立与输出维数无关且多数情形最优的连续范数速率。
2024-08-06 cs.LG stat.ML
Regularized Halfspace Depth for Functional Data
针对函数型数据，提出一种通过正则化避免退化的半空间深度，具备理想理论性质，可排序数据并检测形状与幅度离群点，经数值与真实数据验证有效。
2024-05-24 math.ST stat.ME stat.TH
Convergence and finite sample approximations of entropic regularized Wasserstein distances in Gaussian and RKHS settings
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文研究了Hilbert空间中熵正则化瓦瑟斯坦距离的收敛性和有限样本逼近。我们的第一个主要结果是，对于无限维Hilbert空间上的高斯测度，在2-Sinkhorn发散下的收敛比在精确的2-瓦瑟斯坦距离下的收敛{ \it严格弱}.具体地说，如果相应的协方差算子收敛于希尔伯特-施密特范数，则中心高斯测度序列收敛于2-Sinkhorn发散。这与先前已知的结果形成对比，该结果是：当且仅当协方差算子在迹类范数中收敛时，中心高斯测度序列在精确的2-瓦瑟斯坦距离中收敛。在再生核希尔伯特空间（RKHS）设置中，{ \it核高斯-辛霍恩发散}是在RKHS上定义的高斯测度之间的辛霍恩发散，它定义了波兰空间上的波莱尔概率测度集合上的半度量，给定该空间上的特征核。在Hilbert-Schmidt范数收敛的条件下，得到了核Gaussian-Sinkhorn发散的有限样本近似的{ \it维数无关}收敛速度，其阶数与最大均值离散的阶数相同.这些收敛速度特别适用于Sinkhorn发散高斯措施之间的欧几里得和无限维希尔伯特空间。在欧氏空间上的高斯测度之间的2-瓦瑟斯坦距离的样本复杂度，虽然依赖于维度并且大于Sinkhorn发散，但比文献中的最坏情况要快。
2021-02-15 cs.LG stat.ML
Reproducing Kernel Banach Spaces with the l1 Norm II: Error Analysis for Regularized Least Square Regression
Arizona State University（亚利桑那州立大学）；Sun Yat-sen University（中山大学）
估计正则化学习方案的学习率的典型方法是通过采样误差、假设误差和正则化误差之和来限制近似误差。使用满足线性表示定理的再生核空间带来了自动从和中丢弃假设误差的优点。按照这个方向，我们说明了如何再生核Banach空间与l1范数可以应用于提高学习率估计的l1正则化在机器学习。
2011-01-27 cs.LG math.FA stat.ML
Generalization Properties of hyper-RKHS and its Applications
KU Leuven（鲁汶大学）；Fudan University（复旦大学）；Shanghai Jiao Tong University（上海交通大学）
本文在超再生核Hilbert空间（hyper-RKHS）中推广正则化回归问题，说明其在核学习和样本外扩展中的应用，并从逼近论的角度证明了引入的回归模型的渐近收敛结果.在数学上，我们考虑了该空间中两种具有二元形式的正则化回归模型，包括具有超RKHS的核岭回归（KRR）和支持向量回归（SVR），并进一步将分治与Nyström近似相结合，以实现大样本情况下的可扩展性。这一框架是一般性的：底层核是从一个广泛的类中学习的，可以是正定的，也可以是非正定的，这适应了核学习的各种要求。在理论上，我们研究了正则化回归算法在超RKHS中的收敛行为，并推导了学习率，由于两两样本的非平凡独立性和超RKHS的特性，这一结果超越了经典的RKHS分析。实验结果表明，该框架能够从任意的相似矩阵中学习出一个通用的核函数，从而在分类任务上取得了令人满意的性能。
2022-10-19 cs.LG stat.ML
Regularization in kernel learning
在对核的温和假设下，我们获得了在相应的再生核希尔伯特空间（RKHS）中发生的正则化学习场景中的最佳已知差错率。分析中的主要新颖性是证明可以使用正则化项，其增长速度明显低于RKHS范数中的标准二次增长。
2010-01-13 math.ST stat.TH
Optimal Rates for Regularized Conditional Mean Embedding Learning
Gatsby Computational Neuroscience Unit（盖茨比计算神经科学研究所）；University College London（伦敦大学学院）；Freie Universität Berlin（柏林自由大学）
该研究针对条件均值嵌入（CME）核岭回归估计的一致性问题，在误设定场景下通过算子空间与新向量值插值空间的同构性，推导出自适应统计学习速率，证明其匹配最优$O(log n /n)$速率且上界最优。
2023-12-12 cs.LG stat.ML
Understanding Overfitting in Adversarial Training via Kernel Regression
本文在再生核希尔伯特空间中建立对抗训练与噪声数据增强的极限公式，证明缺乏适当正则化时二者比标准核回归更易过拟合，而适当正则化可使其获得更小的泛化误差和Lipschitz常数。
2023-04-19 cs.LG math.ST stat.ML
Controlling False Discovery in Arbitrarily Structured Hypothesis Spaces via Reproducing Kernels
Technion – Israel Institute of Technology（技术Ion – 以色列理工学院）；NVIDIA
本文提出了一种基于再生核的框架，用于在任意结构的假设空间中控制假发现率，通过将结构FDR控制转化为正则化学习问题，实现了对连续域、图和层次结构的统一处理，提高了发现能力。
2026-05-17 cs.AI q-bio.QM stat.ME
Markov Chain Gradient Descent in Hilbert Spaces
Institute for Mathematical Methods in Medicine（医学数学方法研究所）；Data-Based Modeling Johannes Kepler University Linz, Altenberger Strasse 69, A-4020 Linz, Austria（基于数据的建模约翰· Kepler大学林茨分校）
本文提出了一种在希尔伯特空间中基于马尔可夫链的随机梯度下降算法，并将其扩展到再生核希尔伯特空间中的在线正则化学习算法，用于近似二次损失函数的最优解。
2025-12-14 cs.LG math.FA stat.ML
Nonparametric Operator-Regularized Covariance Function Estimation for Functional Data
在函数型数据分析中，协方差函数不仅是理解函数型数据基本特征的关键量，而且是许多先进的函数型数据分析方法中不可缺少的组成部分。本文利用再生核Hilbert空间中算子的谱正则化方法，构造了一类新的非参数协方差函数估计.尽管它们具有非参数性质，但协方差估计量是自动半正定的，无需任何额外的修改步骤。建立了一个非传统的表示定理，为这类协方差估计量提供了一个有限维表示，从而得到了相应的$L^2$特征分解的封闭形式表达式。迹范数正则化是特别研究，以进一步实现低秩表示，另一个理想的属性，导致降维，往往需要在先进的FDA方法。在加速邻近梯度法的基础上提出了一种有效的算法。结果表明，在固定设计和随机设计下，该估计量都具有很好的收敛速度。通过仿真研究和对交通数据集的分析，证明了迹范数正则化协方差估计器的出色的实际性能。
2017-01-23 stat.ME
Mathematical foundations of stable RKHSs
University of Padova（帕多瓦大学）
再生核希尔伯特空间（RKHS）是机器学习的关键空间，其也在线性系统辨识中变得流行。特别是，所谓的稳定RKHS可以用来模拟绝对可求和的脉冲响应。例如，与正则化最小二乘法结合，它们然后可以用于从输入-输出数据重建动态系统。在本文中，我们提供了新的结构性质的稳定RKHS。稳定内核和其他基本类，如那些包含绝对可求和或有限迹内核之间的关系，阐明。然后将这些见解带入特征空间上下文。首先，证明了任何稳定核都允许由l2中正交特征向量基诱导的特征映射。与经典的系统辨识方法，利用这种功能模型的脉冲响应的确切连接也提供。然后，通过构造核特征向量和特征值，得到了RKHS系统稳定的充要条件。总的来说，我们的新结果提供了新的数学基础的稳定RKHS的稳定性测试，脉冲响应建模和计算效率的正则化计划的线性系统辨识的影响。
2020-05-06 cs.LG stat.ML
Tikhonov regularization with oversmoothing penalty for nonlinear statistical inverse problems
针对统计学习中含噪非线性不适定逆问题，本文采用 Hilbert 尺度下的 Tikhonov 正则化重建估计量，并基于算子与先验假设推导收敛速率及 RKHS 误差估计。
2020-02-01 math.ST stat.TH
Gradient Descent in Neural Networks as Sequential Learning in RKBS
神经切核（NTK）的研究提供了非常需要的洞察神经网络的收敛性和泛化性能在过参数化（宽）的限制，通过使用一阶泰勒展开近似的网络在其初始值附近的权重。这允许从再生核希尔伯特空间（RKHS）的角度分析神经网络训练，RKHS在过参数化的情况下是信息丰富的，但对于较窄的网络来说是一个很差的近似，因为在训练期间权重变化更多。我们的目标是超越NTK的限制，走向更一般的理论。我们构建了一个精确的幂级数表示的神经网络在一个有限的邻域内的初始权重作为两个特征映射的内积，分别从数据和权重步长空间，特征空间，允许神经网络训练的再生核{ \em Banach}空间（RKBS）的角度进行分析。我们证明，无论宽度，梯度下降产生的训练序列可以完全复制正则化顺序学习RKBS。利用这一点，我们提出了新的一致收敛的迭代次数和学习率发挥核心作用，新的理论见解神经网络训练。
2023-02-01 cs.LG stat.ML
Source-Condition Analysis of Kernel Adversarial Estimators
针对条件矩约束干扰函数估计的不适定问题，研究采用再生核希尔伯特空间（RKHS）正则化的正则化对抗稳定（RAS）估计器，建立其有限样本误差界并比较不同正则化对抗估计器的假设差异。
2025-08-24 math.ST stat.TH
Iterative Regularization for Learning with Convex Loss Functions
我们考虑凸损失函数的监督学习问题，并提出了一种新的形式的迭代正则化的次梯度方法的基础上。与其他正则化方法不同，在迭代正则化中不考虑约束或惩罚，并且通过（早期）停止经验迭代来实现泛化。在再生核Hilbert空间的框架下，考虑了非参数情形，证明了在一般正则条件下，超额风险的有限样本界.我们的研究提供了一类新的高效正则化学习算法，并对机器学习中统计和优化之间的相互作用提供了见解。
2015-04-01 math.OC stat.ML
Kernel absolute summability is only sufficient for RKHS stability
University of Padova（帕多瓦大学）
近年来，正则化方法已成功地应用于线性系统辨识。他们中的许多人利用所谓的再生核希尔伯特空间（RKHS），享有显着的属性是在一对一的对应关系与一类半正定内核的未知的脉冲响应模型。RKHS稳定的充分必要条件，即只包含BIBO稳定的线性动态系统，至少从2006年起就在文献中已知。然而，一个悬而未决的问题仍然存在，并关注这样的条件与绝对求和的内核的等价性。本文通过证明这种对应关系不成立，对这一问题提供了一个明确的答案。引入一个反例，说明存在稳定的RKHS诱导的非绝对可和内核。
2019-09-05 cs.LG stat.ML
Dimension-free convergence rates for gradient Langevin dynamics in RKHS
CREST, ENSAE, IP Paris（巴黎理工学院国立统计与经济管理学院经济与统计研究中心）；The University of Tokyo（东京大学）；INRIA, Université Paris-Saclay（巴黎萨克雷大学法国国家信息与自动化研究所）；Riken AIP（理化学研究所先进智能项目中心）
梯度朗之万动力学（GLD）和随机GLD（SGLD）最近引起了相当大的关注，作为一种在非凸设置中提供收敛保证的方式。然而，已知的速率随着空间的维度呈指数增长。在这项工作中，我们提供了一个收敛性分析GLD和SGLD的优化空间是一个无限维的希尔伯特空间。更准确地说，我们推导出非渐近的，无量纲的收敛速度GLD/SGLD进行正则化的非凸优化在再生核希尔伯特空间。其中，收敛性分析依赖于一个随机微分方程，其离散时间Galerkin近似和相关的马尔可夫链的几何遍历性的属性。
2020-03-26 cs.LG math.PR stat.ML
Generalization Properties of Doubly Stochastic Learning Algorithms
Massachusetts Institute of Technology（麻省理工学院）；Istituto Italiano di Tecnologia（意大利理工学院）；Università degli Studi di Genova（热那亚大学）
双随机学习算法是一种可扩展的核方法，在实际应用中表现良好。然而，他们的泛化性能还没有得到很好的理解，他们的分析是具有挑战性的，因为相应的学习序列可能不会在核诱导的假设空间。在本文中，我们提供了一个深入的理论分析的不同变种的双重随机学习算法内的非参数回归的再生核希尔伯特空间的设置，并考虑平方损失。特别是，我们得出收敛结果的泛化误差的研究算法无论有或没有一个明确的惩罚项。据我们所知，非正则化变量的推导结果是第一次，而正则化变量的结果改进了文献中的结果。在我们的证明中的新颖之处是一个样本误差界，需要控制的轨迹规范的累积运算符，和一个精致的分析边界的初始误差。
2018-03-08 cs.LG math.FA math.OC
An End-to-End Graph Convolutional Kernel Support Vector Machine
School of Computer Science & Informatics, Cardiff University（卡迪夫大学计算机科学与信息学院）
提出了一种新的基于核的支持向量机（SVM）的图分类方法。SVM特征空间映射由一系列图卷积层组成，该卷积层为每个顶点生成向量空间表示，然后是一个池化层，该池化层为图生成再生核希尔伯特空间（RKHS）表示。RKHS的使用提供了使用核函数在该空间中隐式操作的能力，而没有显式映射到它的计算复杂性。所提出的模型以监督的端到端的方式进行训练，从而卷积层，核函数和SVM参数相对于正则化分类损失进行联合优化。这种方法不同于现有的基于核的图分类模型，后者使用特征工程或无监督学习来定义核函数。实验结果表明，该模型优于现有的深度学习基线模型在一些数据集上。
2020-08-04 cs.LG stat.ML
Optimal Rates for Spectral Algorithms with Least-Squares Regression over Hilbert Spaces
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；University of Genova（热那亚大学）；Massachusetts Institute of Technology（麻省理工学院）；Italian Institute of Technology（意大利技术研究院）
本文研究了可分Hilbert空间上具有平方损失的回归问题，包括再生核Hilbert空间上的非参数回归问题。我们研究了一类谱/正则化算法，包括岭回归，主成分回归和梯度方法。我们证明了最佳的，高概率的收敛结果的变体的研究算法的规范，考虑到假设空间的能力假设和目标函数的一般源条件。因此，我们得到几乎必然收敛的结果与最佳的速度。我们的研究结果改进和推广了以前的结果，填补了理论空白的不可能实现的情况下。
2022-07-15 cs.LG math.FA stat.ML
A short note on extension theorems and their connection to universal consistency in machine learning
University of Bayreuth（拜罗伊特大学）；Zhejiang Normal University（浙江师范大学）
统计机器学习在现代统计学和计算机科学中占有重要地位。统计机器学习的一个主要目标是提供普遍一致的算法，即，估计器在概率上或在某种更强的意义上收敛于贝叶斯风险或贝叶斯决策函数。基于再生核希尔伯特空间（RKHS）上正则化风险最小化的核方法属于这些统计机器学习方法。一般来说，对于特定的数据集或对于未知的概率测度，哪个内核产生最佳结果是未知的。因此，提出了各种核学习方法来选择核，因此也以数据自适应的方式选择其RKHS。然而，许多从业者经常使用经典的高斯RBF核或某些Sobolev核，并取得了很好的成功。这篇短文的目的是为这一经验事实提供一种可能的理论解释。
2016-04-15 cs.LG stat.ML
Statistical Optimality of Divide and Conquer Kernel-based Functional Linear Regression
Shanghai Key Laboratory for Contemporary Applied Mathematics, Fudan University（复旦大学上海现代应用数学重点实验室）
本文研究了目标函数不在RKHS内时分治函数线性回归估计量的收敛性能，利用积分算子方法建立了有限样本上界，并证明了其渐近最优性及无噪声情况下的任意快收敛速率。
2024-02-18 cs.LG stat.ML
KerGM: Kernelized Graph Matching
Washington University in St. Louis（圣路易斯华盛顿大学）；IBM Research（IBM研究院）
图匹配在计算机视觉、模式识别和生物信息学等领域中起着核心作用。图匹配问题可以转化为两种类型的二次分配问题（QAP）：Koopmans-Beckmann的QAP或Lawler的QAP。在我们的论文中，我们提供了一个统一的观点，这两个问题，通过引入新的规则，在希尔伯特空间的数组操作。因此，Lawler的QAP可以被认为是再生核希尔伯特空间（RKHS）中两个数组之间的Koopmans-Beckmann对齐，从而可以有效地解决问题，而无需计算巨大的亲和矩阵。此外，我们开发了熵正则化的弗兰克-沃尔夫（EnFW）算法优化QAP，它具有相同的收敛速度，同时大大减少了每次外部迭代的计算负担。我们进行了大量的实验来评估我们的方法，并表明我们的算法显着优于国家的最先进的匹配精度和可扩展性。
2019-11-25 cs.LG stat.ML
