The Directional Bias Helps Stochastic Gradient Descent to Generalize in Kernel Regression Models
本文研究了非参数统计中的随机梯度下降（SGD）算法：特别是核回归。SGD的方向偏差属性，这是已知的线性回归设置，推广到核回归。更具体地说，我们证明了SGD与温和的退火步长收敛沿的方向对应的最大特征值的革兰氏矩阵的特征向量。此外，具有中等或小步长的梯度下降（GD）沿着对应于最小特征值的方向收敛。这些事实被称为方向偏差属性;它们可以解释SGD计算的估计量如何比GD计算的估计量具有潜在的更小的泛化误差。我们的理论的应用证明了模拟研究和案例研究，是基于FashionMNIST数据集。
2022-04-29 cs.LG stat.ML
Indefinite Kernel Logistic Regression with Concave-inexact-convex Procedure
Shanghai Jiao Tong University（上海交通大学）；Nanjing University of Science and Technology（南京理工大学）；KU Leuven（鲁汶大学）
在核方法中，通常要求核是正定的，这限制了许多不定核的使用。为了考虑这些非正定核，本文旨在为核逻辑回归建立一个不定核学习框架。在再生核\u <$n空间（RKKS）中分析了所提出的不定核逻辑回归（IKLR）模型，使其成为非凸的.利用非正定核的正分解，导出的IKLR模型可以分解为两个凸函数的差。相应地，一个凹凸过程被引入到解决非凸优化问题。由于凹凸过程在每次迭代中都要求解一个子问题，因此我们提出了一种具有不精确求解方案的凹凸过程（CCICP）算法来加速求解过程。此外，我们提出了一个随机变量的CCICP有效地获得一个近似的解决方案，这达到了类似的目的，在CCICP的不精确的解决方案。对这两种变式的凹凸过程进行了收敛性分析。通过这样做，我们的方法不仅在确定性设置下有效地工作，而且在随机设置下有效地工作。几个基准的实验结果表明，建议IKLR模型表现良好的标准（正定）核逻辑回归和其他竞争力的不确定学习算法。
2020-05-29 cs.LG stat.ML
Large Dimensional Kernel Ridge Regression: Extending to Product Kernels
Department of Statistics and Data Science（统计与数据科学系）；Tsinghua University（清华大学）；Department of Mathematical Science（数学科学系）
本文研究了高维核岭回归中乘积核的收敛性，揭示了在不同源条件下的最优性、饱和效应及多 descent 行为。
2026-05-14 cs.LG stat.ML
Matrix completion and extrapolation via kernel regression
Universitat Politècnica de Catalunya-Barcelona Tech（加泰罗尼亚理工大学-巴塞罗那理工大学）；University of Minnesota（明尼苏达大学）
矩阵完成和外推（MCEX）在这里处理再生核希尔伯特空间（RKHS），以考虑现有数据中的先验信息。针对快速和低复杂度的求解器，该任务被制定为一个核心岭回归。由此产生的MCEX算法也可以提供在线实现，而类的核函数也包括现有的方法MC与先验信息。对合成数据集和真实数据集的数值测试表明，该方法比交替最小二乘（ALS）或随机梯度下降（SGD）等广泛使用的方法执行得更快，并且恢复误差减少，特别是在处理噪声数据时。
2019-03-28 cs.LG stat.ML
Random Forest (RF) Kernel for Regression, Classification and Survival
AbbVie Inc.（艾伯维公司）；Merck & Co., Inc.（默克公司）
Breiman的随机森林（RF）可以被解释为一个隐式的内核生成器，其中随后的邻近矩阵表示数据驱动的RF内核。RF的内核的角度来看，已被用来开发一个原则性的框架，其统计特性的理论研究。然而，核函数和RF之间的联系的实际效用还没有得到广泛的探索和系统的评估。我们的工作重点是核方法和RF之间的相互作用的调查。我们阐明的性能和属性的数据驱动的RF内核所使用的正则化线性模型在一个全面的仿真研究，包括连续，二进制和生存目标。我们表明，对于连续和生存的目标，RF内核的竞争力，RF在更高维的情况下，大量的噪声功能。对于二进制目标，RF内核和RF表现出相当的性能。由于RF核渐近收敛于拉普拉斯核，因此我们将其包含在我们的评估中。对于大多数模拟设置，RF和RF内核优于拉普拉斯内核。尽管如此，在某些情况下，拉普拉斯核是有竞争力的，显示出其潜在的应用价值。我们还提供了从现实生活中的数据集的回归，分类和生存的结果，以说明如何在practice.Finally，我们讨论了进一步扩展的RF内核的可解释的原型和地标分类，回归和生存的背景下，这些见解可能被利用。我们概述了未来的研究线提供的贝叶斯同行的RF内核。
2020-08-31 cs.LG stat.ML
Learning "best" kernels from data in Gaussian process regression. With application to aerodynamics
ONERA–The French Aerospace Lab（法国航空航天实验室（ONERA））；California Institute of Technology（加州理工学院）
介绍了高斯过程回归/克里格替代建模技术中核函数的选择和设计算法。我们采用核方法在特定的函数空间，即再生核希尔伯特空间（RKHS）中设置解，来解决给定观测值的正则目标函数的逼近问题，即监督学习。第一类算法是核流，其在机器学习中的分类的上下文中被引入。它可以被看作是一个交叉验证过程，其中一个“最好的”内核被选择，使得删除数据集的一部分（通常是一半）所带来的准确性损失最小化。第二类算法被称为谱核岭回归，其目的是选择“最佳”核，使得要近似的函数的范数在相关联的RKHS中是最小的。在默瑟定理的框架内，我们得到了一个明确的建设，“最好的”内核的主要功能的目标函数。这两种方法的学习核数据的合成测试功能的数值例子说明，并在一个经典的测试情况下，跨音速流动的二维翼型的湍流模型验证。
2022-08-31 cs.LG stat.ML
Coefficient-based Regularized Distribution Regression
Zhejiang University（浙江大学）；Fudan University（复旦大学）
本文考虑再生核Hilbert空间（RKHS）上基于系数的正则化分布回归，其目的是从概率测度回归到实值响应，其中系数被正则化，核被假定为不确定的.该算法包括两个阶段的采样，第一阶段的样本由分布和第二阶段的样本从这些分布获得。研究了该算法在回归函数不同正则范围内的渐近行为，并通过积分算子技术推导出了学习率。在一定的条件下，得到了与一阶段抽样minimax最优速率相匹配的最优速率。与已有的分布回归的核方法相比，该算法不要求核是对称的和半正定的，从而为设计不确定的核方法提供了一个简单的范例，丰富了分布回归的研究内容.据我们所知，这是第一个不确定核分布回归的结果，我们的算法可以改善饱和效应。
2022-08-26 cs.LG stat.ML
Kernel Truncated Randomized Ridge Regression: Optimal Rates and Low Noise Acceleration
Boston University（波士顿大学）；Google（谷歌）
本文研究再生核Hilbert空间中的非参数最小二乘回归问题。我们提出了一个新的随机算法，具有最佳的泛化误差的平方损失的界限，关闭一个长期存在的上限和下限之间的差距。此外，我们表明，我们的算法具有更快的有限时间和渐近速率的问题，贝叶斯风险的平方损失是小的。我们使用标准的工具，从最小二乘回归RKHS理论，即相关的积分算子的特征值的衰减和通过积分算子测量的最佳预测的复杂性，我们的结果。
2019-05-25 cs.LG stat.ML
OCKELM+: Kernel Extreme Learning Machine based One-class Classification using Privileged Information (or KOC+: Kernel Ridge Regression or Least Square SVM with zero bias based One-class Classification using Privileged Information)
IIT Indore（印度理工学院印多尔分校）
基于核方法的单类分类器主要用于离群点或新颖性检测。在这封信中，基于核岭回归（KRR）的一类分类器（KOC）已被扩展为使用特权信息的学习（LUPI）。基于LUPI的KOC方法被称为KOC+。此特权信息可作为数据集的一个特征，但仅用于训练（不用于测试）。KOC+通过使用所谓的校正功能，与正常特征信息相比，以不同的方式利用特权信息。隐藏的信息有助于KOC+实现更好的泛化性能，这是在这封信中通过测试分类器与没有特权信息。现有的和建议的分类器进行评估的数据集从UCI机器学习库和MNIST数据集。实验结果表明，KOC+算法优于KOC算法和基于支持向量机（SVM）的单类分类器。
2019-04-13 cs.LG stat.ML
Detecting Unobserved Confounders: A Kernelized Regression Approach
本文提出KRCD方法，通过核化回归检测非线性观察数据中的未观察到的混杂因素，并在实验中展示了其优越的性能和效率。
2026-01-01 cs.LG stat.ML
Complex-Valued Kernel Methods for Regression
University of Seville（塞维利亚大学）；University Carlos III de Madrid（马德里卡洛斯三世大学）
通常，复值RKHS是实值情况的直接应用。在本文中，我们证明了这个过程产生一个有限的解决方案回归。我们证明了另一个内核，这里表示为伪内核，需要学习复值域中的任何函数。因此，我们推导出一种新的RKHS，广泛的RKHS（WRKHS）。当伪核取消时，WRKHS减少到以前方法的复值RKHS。我们解决了内核和伪内核的设计，注意内核和伪内核是复值的。在实验中，我们报告显着的改进，在简单的情况下，实部和虚部有不同的相似关系，对于给定的输入或实部和虚部相关的情况下。在这些新的结果的背景下，我们重新审视非线性信道均衡的问题，表明WRKHS有助于设计更有效的解决方案。
2016-10-31 cs.LG stat.ML
Robust Non-linear Regression: A Greedy Approach Employing Kernels with Application to Image Denoising
我们考虑的任务，强大的非线性回归的存在下，内点噪声和离群值。假设未知的非线性函数属于再生核希尔伯特空间（RKHS），我们的目标是估计相关的未知参数的集合。由于异常值的存在，核岭回归（KRR）或支持向量回归（SVR）等常用技术被证明是不够的。相反，我们采用稀疏建模参数显式建模和估计离群值，采用贪婪的方法。所提出的鲁棒方案，即，核贪心算法的鲁棒去噪（KGARD）是在经典的正交匹配追踪（OMP）算法的基础上提出的。具体而言，所提出的方法交替之间的KRR任务和OMP样的选择步骤。提供了有关识别异常值的理论结果。此外，KGARD与其他前沿方法相比，其性能通过一组实验与各种类型的噪声进行评估。最后，将所提出的鲁棒估计框架应用于图像去噪任务，并证明了其在存在离群值的情况下的增强性能。
2016-08-03 cs.LG stat.ML
Nonparametric Instrumental Regression via Kernel Methods is Minimax Optimal
Mingdu Technology, Hangzhou（明度科技，杭州）；Department of Economics, Yale University, New Haven（耶鲁大学经济系，纽黑文）；Gatsby Computational Neuroscience Unit, University College London, London（伦敦大学学院盖茨比计算神经科学单元，伦敦）
本文研究了基于核的方法的工具变量回归算法，证明其在强L2范数下的收敛性，并展示了其在固定光滑性类别的最小最大最优性。
2026-04-08 cs.LG stat.ML
Scaling up Kernel Ridge Regression via Locality Sensitive Hashing
EPFL（洛桑联邦理工学院）；Microsoft Research（微软研究院）；Google Research（谷歌研究院）
在Rahimi和Recht（2007）的开创性论文中引入的随机分箱特征是使用局部敏感散列近似核矩阵的有效方法。随机分箱特征提供了一种非常简单和有效的近似拉普拉斯核的方法，但不幸的是，它不适用于许多重要的核类别，特别是那些生成平滑高斯过程的核，如高斯核和Matern核。在本文中，我们介绍了一个简单的加权版本的随机装箱功能，并表明相应的核函数生成高斯过程的任何期望的平滑度。我们表明，我们的加权随机分仓功能提供了一个频谱近似相应的内核矩阵，导致有效的算法内核岭回归。在大规模回归数据集上的实验表明，该方法的精度优于随机傅立叶特征方法。
2020-03-21 cs.DS cs.LG stat.ML
Random Machines Regression Approach: an ensemble support vector regression model with free kernel choice
Federal University of Bahia（巴伊亚联邦大学）；Federal Institute of Pernambuco（伯南布哥联邦学院）；University of São Paulo（圣保罗大学）
机器学习技术总是以减少广义预测误差为目标。为了减少它，集成方法提出了一个很好的方法，结合几个模型，结果在一个更大的预测能力。随机机已经被证明是一种强大的技术，即：高预测能力，分类任务，在这篇文章中，我们提出了一个过程，使用袋加权支持向量模型回归问题。仿真研究是在人工数据集和真实数据基准上实现的。结果表明，回归随机机具有较低的泛化误差，在调整过程中无需选择最佳的核函数，具有良好的性能。
2020-03-27 cs.LG stat.AP stat.ML
The loss of the property of locality of the kernel in high-dimensional Gaussian process regression on the example of the fitting of molecular potential energy surfaces
Tokyo Institute of Technology（东京工业大学）
基于核的方法包括高斯过程回归（GPR）和通常的核岭回归（KRR）已经在计算化学中发现越来越多的使用，包括在高维特征空间中的势能表面和密度泛函的拟合。通常使用Matern族的核，例如类高斯核（基函数），这允许赋予它们协方差函数的含义，并将GPR公式化为高斯分布的均值的估计器。核的局部性的概念对于这种解释是至关重要的。这也是至关重要的制定多zeta型基函数广泛应用于计算化学我们显示，在拟合的分子势能面的维数增加的例子，实际消失的性质的局部性的高斯核在高维。我们还制定了一个多zeta方法的内核，并表明它显着提高了低维回归的质量，但失去了任何优势，在高维，这是由于损失的财产的地方。
2022-11-21 cs.LG physics.chem-ph stat.ML
Degeneration of kernel regression with Matern kernels into low-order polynomial regression in high dimension
School of Materials and Chemical Technology, Tokyo Institute of Technology（东京工业大学材料与化学技术学院）
本研究证明在高维稀疏数据下，Matern核回归的最优长度参数过大，导致其退化为低阶多项式回归，失去优势，并通过理论及分子PES数值实验验证，强调耦合阶模型或物理核的重要性。
2023-11-17 cs.LG physics.comp-ph
Nonlinear Causal Discovery via Kernel Anchor Regression
Tsinghua University（清华大学）；University of Oxford（牛津大学）
学习因果关系是科学中的一个基本问题。锚回归已经被开发来解决这个问题的一个大类的因果图模型，虽然变量之间的关系被假设为线性的。在这项工作中，我们解决了非线性设置，提出核锚回归（KAR）。除了使用经典的两阶段最小二乘估计的自然配方，我们还研究了一个改进的变种，涉及非参数回归在三个不同的阶段。我们提供了建议的KAR估计的收敛性结果和KAR学习非线性结构方程模型（SEM）的可识别性条件。实验结果表明，所提出的KAR估计优于现有的基线性能。
2022-10-30 cs.LG stat.ME stat.ML
Consistent regression of biophysical parameters with kernel methods
Image Processing Lab (IPL), Universitat de Val\`encia, Val\`encia, Spain
本文介绍了一种新的统计回归框架，允许纳入一致性约束。一个线性和非线性（内核为基础的）配方介绍，都意味着封闭形式的解析解。该模型利用来自一组驱动程序的所有信息，同时最大限度地独立于一组辅助的受保护变量。我们成功地说明了叶绿素含量的估计性能。
2020-12-09 cs.LG stat.ME stat.ML
Optimal Rates of Distributed Regression with Imperfect Kernels
University of Jinan（济南大学）；Middle Tennessee State University（中田纳西州立大学）
分布式机器学习系统因其处理大规模数据的高效性而受到越来越多的关注。针对不同的机器学习任务，已经提出了许多分布式框架。在本文中，我们研究了分布式核回归的分治方法。这种方法已被证明是渐近极小极大最优的，如果核是完美的选择，使真正的回归函数位于相关的再生核希尔伯特空间。然而，这通常是不切实际的，因为只能通过先验知识或调整过程来选择的内核很难是完美的。相反，更常见的是，内核足够好，但不完美，在这个意义上，真正的回归可以很好地近似，但不完全位于内核空间。我们证明了分布式核回归在这种情况下仍然可以达到与容量无关的最优速率。为此，我们首先建立了一个通用的框架，允许分析分布式回归与响应加权基础算法的边界上一个单一的数据集，这些算法的错误，提供的误差界已考虑到的影响，无法解释的方差的响应变量。然后，我们执行留一分析的内核岭回归和偏差校正内核岭回归，结合上述框架，使我们能够获得尖锐的误差界和容量独立的最佳速率为相关的分布式内核回归算法。作为彻底分析的副产品，我们还证明了核岭回归可以在无噪声设置中比$N^{-1}$（其中$N$是样本大小）更快地实现速率，据我们所知，这是回归学习中首次观察到的和新颖的。
2020-06-30 cs.DC cs.LG math.ST
Kernel Regression with Infinite-Width Neural Networks on Millions of Examples
Google Research（谷歌研究院）；University of Cambridge（剑桥大学）
神经内核在不同的非标准数据模式上大大提高了性能，但需要更多的计算，这在以前将其应用限制在较小的数据集上。在这项工作中，我们通过在许多GPU上大规模并行计算来解决这个问题。我们将其与分布式预处理共轭梯度算法相结合，以实现大规模的核回归（即多达500万个示例）。使用这种方法，我们研究了CIFAR-5 m数据集的几个神经内核在多个数量级上的标度律。使用数据增强将原始CIFAR-10训练数据集扩展20倍，我们获得了91.2%的测试准确度（纯核方法的SotA）。此外，我们还在其他数据模式上探索神经内核，获得了与SotA方法竞争的蛋白质和小分子预测任务的结果。
2023-03-09 cs.CV cs.LG stat.ML
Kernel Regression with Tensor Trains and Hadamard Overparameterization
Institute of Science Tokyo（东京科学研究所）；University of Piraeus（比雷埃克斯大学）；Florida Atlantic University（佛罗里达亚特兰大大学）
介绍用于多向数据插补的KReTTaH框架，将插补问题转化为RKHS中的回归，通过哈达玛超参数化促进稀疏性等，在黎曼积流形框架内联合优化，在两个应用测试中建模精度优于现有基线。
2026-07-22 cs.LG eess.SP stat.ML
Robust Kernel-based Distribution Regression
City University of Hong Kong（香港城市大学）
正则化方法在学习理论和反问题中得到了广泛的研究。本文研究了再生核Hilbert空间（RKHS）上的分布回归（DR），它涉及两个抽样阶段，目的是从概率测度回归到实值响应。最近，通过核岭回归对DR进行了理论分析，并观察到了几种学习行为。然而，这个话题还没有被探索和理解超越最小二乘为基础的DR。通过引入一个强大的损失函数$l_σ$的两阶段抽样问题，我们提出了一种新的强大的分布回归（RDR）计划。利用可以适当选择的窗口函数$V$和缩放参数$σ$，$l_σ$可以包括广泛的流行使用的损失函数，其丰富了DR的主题。此外，损失$l_σ$不一定是凸的，从而大大改善了以前的回归类（最小二乘）本文对回归函数$f_ρ$在不同正则范围下的学习率进行了全面的研究，通过积分算子技术导出。缩放参数$σ$被证明是至关重要的，在提供鲁棒性和令人满意的学习率的RDR。
2021-04-21 cs.LG math.FA stat.ML
Kernel Ridge Regression over Hölder Classes: Function and Derivative Losses
该研究针对Hölder-Zygmund类的非参数回归，证明了设定错误的核岭回归可达到极小极大L2速率，同时发现其在Hölder-Zygmund范数下的正则化恰当性会随样本量增大失效。
2026-11-03 cs.LG math.ST stat.ML
Randomized sketches for kernels: Fast and optimal non-parametric regression
University of California, Berkeley（加州大学伯克利分校）
核岭回归（KRR）是在再生核希尔伯特空间上执行非参数回归的标准方法。给定$n$样本，计算KRR估计尺度分别为$\mathcal{O}(n^3)$和$\mathcal{O}(n^2)$的时间和空间复杂度在许多情况下是禁止的。我们提出了基于$m$维随机草图的核矩阵的KRR近似，并研究了如何小的投影尺寸$m$可以选择，同时仍然保持极小极大最优的近似KRR估计。对于各类随机草图，包括那些基于高斯和随机Hadamard矩阵，我们证明，它足以选择草图尺寸$m$成比例的统计尺寸（模对数因子）。因此，我们得到快速和极小极大最佳逼近的KRR估计的非参数回归。
2015-01-25 cs.DS cs.LG stat.CO
Out-of-Distribution Generalization in Kernel Regression
Harvard University（哈佛大学）
在实际应用中，用于训练机器学习模型的数据生成过程通常与模型在测试阶段遇到的不同。理解机器学习模型如何以及是否在这种分布变化下泛化一直是一个理论挑战。在这里，我们使用统计物理学的方法研究了训练和测试分布不同时核回归的泛化。使用副本方法，我们推导出适用于任何核数据集和真实数据集的分布外推广误差的解析公式。我们确定了一个重叠矩阵，量化了给定内核的分布之间的不匹配，作为分布偏移下泛化性能的关键决定因素。使用我们的分析表达式，我们阐明了各种泛化现象，包括可能的改善泛化时，有一个不匹配。我们开发了优化给定数据预算的训练和测试分布的程序，以找到最好和最坏情况下的转变。我们目前的应用程序，我们的理论，真正的和合成的数据集和许多内核。我们将我们的理论应用于神经切线核的结果与宽网络的模拟进行比较，并显示出一致性。我们将进一步深入分析线性回归。
2022-02-04 cond-mat.dis-nn cs.LG stat.ML
Changing the Kernel During Training Leads to Double Descent in Kernel Regression
KTH Royal Institute of Technology（瑞典皇家理工学院）
该研究发现训练中减小平移不变核带宽可使核回归出现双下降，带宽降至零能实现良性过拟合且无需模型选择，该策略效果优于恒定带宽方法，还可迁移到神经网络优化NTK以提升收敛效率与过拟合特性。
2025-05-16 cs.LG math.OC stat.ME
Understanding Overfitting in Adversarial Training via Kernel Regression
本文在再生核希尔伯特空间中建立对抗训练与噪声数据增强的极限公式，证明缺乏适当正则化时二者比标准核回归更易过拟合，而适当正则化可使其获得更小的泛化误差和Lipschitz常数。
2023-04-19 cs.LG math.ST stat.ML
Early stopping and polynomial smoothing in regression with reproducing kernels
Inria（法国国家信息与自动化研究所）；Paris 1 Panthéon-Sorbonne University（巴黎第一先贤祠-索邦大学）
本文针对再生核希尔伯特空间中的迭代学习算法，提出一种基于最小差异原则且无需验证集的数据驱动早停规则，并证明其在有限秩和Sobolev类核空间上具有极小极大最优性，模拟实验表明其性能与V折交叉验证相当。
2024-11-22 cs.LG math.ST stat.ML
Convergence rates of Kernel Conjugate Gradient for random design regression
我们证明了统计收敛速度核为基础的最小二乘回归独立同分布。使用共轭梯度算法的数据，其中通过提前停止获得针对过拟合的正则化。该方法与核偏最小二乘相关，核偏最小二乘是一种将监督降维与最小二乘投影相结合的回归方法。在较早的相关文献中介绍的设置之后，我们研究了所谓的“快速收敛速度“，这取决于目标回归函数的规律性（由核积分算子的源条件测量）和映射到核空间的数据的有效维数。我们得到的上界，基本上匹配已知的极大极小下界，为$\mathcal{L}^2$（预测）规范以及更强的希尔伯特规范，如果真正的回归函数属于再生核希尔伯特空间。如果后一个假设不满足，我们得到类似的收敛速度适当的规范，提供额外的未标记的数据。
2016-07-08 math.ST stat.ML stat.TH
Enhancing Predictive Accuracy in Pharmaceutical Sales Through An Ensemble Kernel Gaussian Process Regression Approach
University of Pittsburgh（匹兹堡大学）；Carnegie Mellon University（卡内基梅隆大学）；Swanson School of Engineering, University of Pittsburgh（匹兹堡大学斯旺森工程学院）；Duquesne University（杜肯大学）
本文提出一种融合指数平方、修正Matérn和有理二次核的集成核高斯过程回归方法，通过贝叶斯优化确定权重，在药品销售预测中取得接近1.0的R²并显著降低误差。
2024-04-15 cs.LG
Error analysis of regularized least-square regression with Fredholm kernel
Hubei University（湖北大学）；Huazhong Agricultural University（华中农业大学）
Fredholm核学习由于能有效利用数据信息提高预测性能而受到越来越多的关注。尽管在理论和实验评估方面取得了快速进展，但其泛化分析尚未在学习理论文献中进行探讨。本文建立了Fredholm核最小二乘正则化回归的推广界，这意味着在较弱的容量条件下可以达到快速学习率O（l^{-1}）.仿真实例表明，该算法能取得满意的预测效果.
2016-11-21 cs.LG math.ST stat.TH
Equivalence of Kernel Machine Regression and Kernel Distance Covariance for Multidimensional Trait Association Studies
将遗传标记与多维表型相关联是一个重要但具有挑战性的问题。在这项工作中，我们建立了两个流行的方法：核机器回归（KMR）和核距离协方差（KDC）之间的等价性。KMR是一个半参数回归框架，它对协变量效应进行参数化建模，而遗传标记被视为非参数化。KDC代表一类方法，包括距离协方差（DC）和希尔伯特-施密特独立性准则（HSIC），它们是独立性的非参数检验。在一定条件下，我们证明了KMR的得分检验与KDC统计量之间的等价性。这一结果导致一个新的概括的KDC测试，结合了协变量。我们的贡献有三个方面：（1）建立KMR和KDC之间的等价性;（2）表明核机器回归的原理可以应用于对KDC的解释;（3）发展了一个更广泛的KDC统计类，其成员是不同核的数量。我们证明了使用模拟研究的建议。来自阿尔茨海默病神经影像学倡议（ADNI）的数据用于探索基因\emph{FLJ16124}上的遗传变异与根据年龄和性别调整的3D结构脑MR图像中所代表的表型之间的关联。结果表明，\emph{FLJ16124}的SNPs表现出强烈的成对相互作用效应，与脑区体积的变化相关。
2014-04-02 stat.ME stat.ML
Random Fourier Features for Kernel Ridge Regression: Approximation Bounds and Statistical Guarantees
Tel Aviv University（特拉维夫大学）；EPFL（洛桑联邦理工学院）；MIT（麻省理工学院）
随机傅立叶特征是扩展核方法（如核岭回归）的最流行技术之一。然而，尽管令人印象深刻的经验结果，随机傅立叶特征的统计特性仍然没有得到很好的理解。在本文中，我们将采取措施填补这一空白。具体而言，我们从谱矩阵近似的角度来处理随机傅立叶特征，给出实现谱近似所需的傅立叶特征的数量上的严格界限，并显示谱矩阵近似的界限如何意味着核岭回归的统计保证。定性地，我们的结果是双重的：一方面，我们表明，随机傅立叶特征近似可以证明在合理的假设下加快核岭回归。与此同时，我们表明，该方法是次优的，从傅立叶空间中的修改后的分布采样，由内核的杠杆函数，产生可证明更好的性能。我们研究了高斯核的最佳采样分布，实现了低维有界数据集的情况下几乎完整的表征。基于此特性，我们提出了一个有效的采样方案，保证优于随机傅立叶特征在这个政权。
2018-05-21 cs.DS cs.LG cs.NA
Electricity Price Prediction Using Multi-Kernel Gaussian Process Regression Combined with Kernel-Based Support Vector Regression
Faculty of Mathematics and Economics, Ulm University（数学与经济学学院，乌尔姆大学）；Institute of Energy Engineering and Energy Economics, Ulm University of Applied Sciences（能源工程与能源经济学研究所，应用科学大学乌尔姆）；Emlyon Business School, Lyon, France（埃默里昂商学院，法国里昂）
本文提出一种新的混合模型用于预测德国电力价格，结合高斯过程回归和支持向量回归，通过选择合适的数据依赖协方差函数提升GPR性能，并利用支持向量回归处理非线性过程和异常值，实验表明优于现有基准模型。
2025-07-31 cs.LG math.PR
Distribution regression model with a Reproducing Kernel Hilbert Space approach
本文介绍了一种新的概率分布的分布回归模型。该模型基于再生核希尔伯特空间（RKHS）回归框架，其中通用核是使用Wasserstein距离为属于W 2的分布（$Ω$）构建的，并且$Ω$是R的紧致子空间.我们证明了这种内核的通用内核属性，并使用此设置来执行函数回归。不同的回归模型进行了比较，提出了一个模拟功能数据。然后，我们将我们的回归模型应用于瞬态诱发耳声发射（TEOAE）分布响应和年龄的真实预测。
2019-10-04 math.ST stat.TH
Optimal learning rates for Kernel Conjugate Gradient regression
我们证明了收敛速度的统计意义上的核为基础的最小二乘回归使用共轭梯度算法，其中正则化对过拟合是通过早期停止。该方法与核偏最小二乘直接相关，核偏最小二乘是一种将监督降维与最小二乘投影相结合的回归方法。速率取决于两个关键量：第一，目标回归函数的规律性，第二，映射到核空间的数据的固有维数。可达到的速度取决于这两个数量的下界建立在早期的文献中，我们得到的上界所考虑的方法，匹配这些下界（最多的对数因子），如果真正的回归函数属于再生核希尔伯特空间。如果不满足此假设，我们得到类似的收敛速度提供额外的未标记的数据。学习率的顺序与最近针对最小二乘支持向量机和线性正则化算子获得的最新结果相匹配。
2010-09-29 math.ST stat.ME stat.ML
Time Series Prediction for Graphs in Kernel and Dissimilarity Spaces
图模型在许多领域都是相关的，例如分布式计算、智能教学系统或社会网络分析。在许多情况下，此类模型需要考虑图结构的变化，即不同数量的节点或边。预测图中的这种变化可以预期产生关于潜在动态的重要见解，例如关于用户行为。然而，过去的预测技术几乎只关注单个边缘或节点。在这篇文章中，我们试图预测一个图的未来状态作为一个整体。我们建议将时间序列预测描述为回归问题，并应用基于相异或核的回归技术，例如1-最近邻，核回归和高斯过程回归，这些回归技术可以通过图形核应用于图形。回归的输出是嵌入伪欧几里德空间中的点，可以使用后续的相异度或基于核的处理方法进行分析。我们讨论的策略，以加快高斯过程回归从立方线性时间和评估我们的方法上两个完善的理论模型的图形进化，以及两个真正的数据集从智能教学系统的领域。我们发现，简单的回归方法，如核回归，足以捕捉理论模型中的动态，但高斯过程回归显着改善了现实世界数据的预测误差。
2017-08-11 cs.AI cs.LG
A note on logistic regression and logistic kernel machine models
这是关于逻辑斯谛回归模型和逻辑斯核机模型的一个注记。它包含了一些表达式在论文中的推导- SNP集分析检测疾病关联使用外显子序列数据-由这些作者提交给BMC程序。
2011-03-04 stat.AP stat.ME
Reproducing kernels based schemes for nonparametric regression
在这项工作中，我们开发和研究解决非参数回归问题的经验投影算子计划。该方案基于回归函数在合适的再生核希尔伯特空间（RKHS）上的近似投影。本文考虑的RKHS是由Legendre Christoffel-Darboux和卷积Sinc核给出的Mercer核生成的。在假设回归函数属于某些合适的函数空间的条件下，我们给出了该方案的误差和收敛性分析。我们还考虑了流行的RKHS正则化最小二乘最小化非参数回归。特别是，我们检查的数值稳定性，这第二个计划，我们提供其收敛速度的特殊情况下的Sinc内核。最后，我们通过各种数值模拟来说明所提出的方法。
2020-02-01 math.ST stat.TH
Improved learning theory for kernel distribution regression with two-stage sampling
本文针对两阶段采样下的核分布回归，提出Hilbertian嵌入的近无偏条件并给出新的误差界，严格改进了基于最优传输和均值嵌入的三类核的收敛速率。
2025-09-19 math.ST stat.ML stat.TH
Adaptive Parameter Selection for Kernel Ridge Regression
Xi'an Jiaotong University（西安交通大学）
针对核岭回归的参数选择难题，本文利用其谱性质和Lepskii型原则提出早停式自适应策略，并在学习理论框架下证明其可达到最优学习率且适应不同范数。
2023-12-10 cs.LG math.ST stat.TH
Kernel matrix regression
我们解决的问题，填补缺失的条目在核格拉姆矩阵，给定一个相关的全格拉姆矩阵。我们从回归的角度来解决这个问题，假设两个核矩阵可以被认为是解释变量和响应变量，分别。我们提出了一个变种的回归模型的基础上的基本功能，在再生核希尔伯特空间通过修改核典型相关分析的想法，我们估计丢失的条目，通过拟合这个模型的现有样本。我们在基因组数据集的基因网络推理和蛋白质3D结构预测方面取得了可喜的实验结果。我们还讨论了与基于信息几何的em算法的关系。
2007-02-26 math.ST q-bio.QM stat.TH
Minimax Prediction for Functional Linear Regression with Functional Responses in Reproducing Kernel Hilbert Spaces
本文研究了带有函数响应的函数线性回归的收敛速度，其中线性系数位于再生核Hilbert空间（RKHS）中。在不假设再生核和协变量协方差核对齐的情况下，或者假设协方差核的特征值的多项式衰减率的情况下，建立预测风险的收敛率。相应的利率下限是通过减少标量响应的情况下。仿真研究和两个基准数据集被用来说明所提出的方法可以显着优于功能PCA方法的预测。
2012-11-17 stat.ME
On the Improved Rates of Convergence for Matérn-type Kernel Ridge Regression, with Application to Calibration of Computer Models
核岭回归是估计光滑函数的一种重要的非参数方法。本文引入了一组新的条件，在此条件下，核岭回归估计在L_2范数和再生核希尔伯特空间范数下的实际收敛速度均超过标准的极小极大收敛速度.这一理论的应用导致了一个新的理解，校准模型参数的计算机模拟的Alfredy-O 'Hagan方法。在再生核希尔伯特空间中，我们证明了在一定条件下，具有已知协方差函数的B-O 'Hagan校正估计收敛于残差函数范数的极小值.
2020-01-01 math.ST stat.TH
Diffusion Maps Kernel Ridge Regression
The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出采用扩散映射（DM）核的核岭回归，证明DM核收敛到热核，其RKHS与高斯核等距同构，且数值验证了DM核在带边界流形监督学习中的优势。
2026-08-11 cs.NA math.NA math.ST
Robust Error Bounds for Vector-Valued Kernel Ridge Regression
Automatic Control Laboratory, EPFL（洛桑联邦理工学院自动控制实验室）
本文针对向量值核岭回归，在输出受有界噪声干扰且算子属于再生核希尔伯特空间的假设下，推导了估计量与真实值间逐点确定性误差界，并通过数值模拟验证。研究填补了非线性向量值算子学习理论空白，对系统辨识有重要意义。
2026-09-18 math.ST stat.TH
Flexible Expectile Regression in Reproducing Kernel Hilbert Space
期望值最早由Newey和Powell（1987）在计量经济学文献中提出，由于其具有一致性和可启发性等特性，近年来在金融机构的风险管理和资本配置中越来越受欢迎。目前的标准工具，期望回归分析是多元线性期望回归提出的纽维和鲍威尔在1987年。期望回归的日益广泛的应用促使我们在再生核Hilbert空间中发展一种更加灵活的非参数多元期望回归。由此产生的估计量被称为KERE，它通过在最终估计量中引入非线性、非可加性和复杂的相互作用，比经典的多元线性期望回归具有多个优点。建立了KERE的核学习理论。我们开发了一个有效的算法的启发优化最小化原则，解决整个解决方案的KERE路径。结果表明，该算法至少以线性速度收敛。大量的仿真结果表明，非常有竞争力的有限样本性能的KERE。我们进一步展示了应用KERE通过使用个人电脑的价格数据。
2015-08-27 stat.ME
An Online Projection Estimator for Nonparametric Regression in Reproducing Kernel Hilbert Spaces
非参数回归的目标是在假设回归函数属于预先指定的无穷维函数空间的情况下，从噪声观测值中恢复潜在的回归函数。在在线设置中，当观测值以流的形式出现时，重复地重新拟合整个模型在计算上通常是不可行的。到目前为止，还没有既计算效率又统计速率最优的方法。本文提出了在线非参数回归的一种估计。值得注意的是，我们的估计是一个经验风险最小化（ERM）在一个确定性的线性空间，这是很大的不同，从现有的方法使用随机功能和功能随机梯度。理论分析表明，当已知回归函数存在于再生核Hilbert空间中时，该估计器具有速率最优的推广误差。我们还表明，理论和经验，我们的估计的计算费用远低于其他速率最优估计提出了这种在线设置。
2021-04-01 stat.ME
Multi-Layer Kernel Machines: Fast and Optimal Nonparametric Regression with Uncertainty Quantification
本文提出多层核机器框架，通过多层结构和随机特征近似核岭回归，在保持极小极大最优性的同时将计算时间降至$O(n^2\log^2 n)$，并利用共形预测实现不确定性量化。
2024-03-14 stat.ME
Stability of Multi-Task Kernel Regression Algorithms
Aix-Marseille University（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）
在具有算子核的再生Hilbert空间中研究了非线性多任务回归的稳定性。这样的内核，也称为多任务内核适用于具有非标量输出的学习问题，如多任务学习和结构化输出预测。我们证明了多任务核回归算法在无限维输出空间的一般情况下是一致稳定的。然后，我们推导出在温和的假设下的核广义界的算法，我们证明了它们的一致性，甚至与非Hilbert-Schmidt算子值的内核。我们演示了如何将结果应用于各种多任务核回归方法，如向量值SVR和函数岭回归。
2013-06-17 cs.LG stat.ML
Multi-kernel Regression For Graph Signal Processing
KTH Royal Institute of Technology（KTH皇家理工学院）
我们开发了一种基于多核的回归方法，用于图形信号处理，其中假设目标信号在图形上是平滑的。在多核回归中，一个有效的核函数被表示为多个基核函数的线性组合。我们估计的线性权重学习有效的核函数通过适当的正则化的基础上图的光滑性。我们表明，由此产生的优化问题被证明是凸的，并提出一个加速投影梯度下降为基础的解决方案。使用真实世界的图形信号的仿真结果表明基于多核的方法比基于标准核的方法的效率。
2018-03-12 cs.LG stat.ML
On Kernel Regression with Data-Dependent Kernels
UC Berkeley（加州大学伯克利分校）；Generally Intelligent（通用智能公司）
核回归（KR）中的主要超参数是核的选择。在KR的大多数理论研究中，人们假设在看到训练数据之前内核是固定的。在此假设下，已知最优核等于目标函数的先验协方差。在本说明中，我们考虑KR，其中内核可以在看到训练数据后更新。我们指出，在这种情况下，使用目标函数的后验核的类似选择是最佳的。将深度神经网络视为依赖于数据的内核学习器的观点的连接进行了讨论。
2022-09-26 cs.LG stat.ML
Kernel Regression with Sparse Metric Learning
East China Normal University（华东师范大学）
核回归是一种流行的非参数拟合技术。它旨在学习一个函数，该函数尽可能精确地估计测试输入的目标。通常，通过周围训练样本的加权平均来估计测试输入的函数值。权重通常由基于距离的核函数计算，并且它们强烈依赖于示例之间的距离。本文首先回顾了稀疏度量学习和核回归的最新进展。在此基础上，提出了一种新的基于稀疏度量学习的核回归方法--稀疏度量学习核回归（KR $\_$ SML）。通过对度量矩阵进行混合$(2,1)$范数正则化，建立稀疏核回归模型.它通过梯度下降过程学习马氏距离度量，可以同时进行降维，并导致良好的预测结果。我们的工作是第一个结合核回归与稀疏度量学习。为了验证所提出的方法的有效性，它是在19个数据集进行回归评估。并将该方法应用于短时交通流预测的实际问题中。最后，在两种准则下的所有测试数据集上，将该方法与其他三种相关的核回归方法进行了比较。实验结果表明，该方法具有更强的竞争力。
2017-12-25 cs.LG stat.ML
