Optimal $γ$ and $C$ for $ε$-Support Vector Regression with RBF Kernels
基于数值和统计学的考虑，研究了RBF核和马氏核支持向量回归机的$C$和$γ$的有效确定，揭示了$C$和核之间的联系，并证明了映射空间中相邻观测值几何距离的偏差影响$ε$ -SVR的预测精度.确定了$γ$和$C$的排列方式，并提出了选择最佳值的方法。
2015-06-12 cs.LG stat.ML
(Decision and regression) tree ensemble based kernels for regression and classification
AbbVie Inc.（艾伯维公司）；Merck & Co., Inc.（默沙东公司）
基于树的集成，例如Breiman的随机森林（RF）和梯度提升树（GBT）可以被解释为隐式内核生成器，其中随后的邻近矩阵表示数据驱动的树集成内核。RF的内核的角度来看，已被用来开发一个原则性的框架，其统计特性的理论研究。最近，它已被证明，内核的解释是密切相关的其他基于树的合奏，如GBT。然而，内核和树集成之间的联系的实际效用还没有得到广泛的探索和系统的评估。我们的工作重点是研究核方法和基于树的集成（包括RF和GBT）之间的相互作用。我们阐明的RF和GBT为基础的内核在一个全面的模拟研究，包括连续和二进制目标的性能和属性。我们表明，对于连续的目标，RF/GBT内核在高维场景中，特别是在具有大量噪声特征的情况下，与它们各自的合奏具有竞争力。对于二进制目标，RF/GBT内核及其各自的集成表现出相当的性能。我们提供了来自现实生活数据集的回归和分类结果，以展示如何在实践中利用这些见解。总体而言，我们的研究结果支持树集成为基础的内核作为一个有价值的除了从业者的工具箱。最后，我们讨论了基于树集成的生存目标，可解释的原型和地标分类和回归的内核的扩展。我们概述了未来的研究路线的内核提供的贝叶斯同行的频率论树合奏。
2020-12-19 cs.LG stat.ML
Graph Enhanced High Dimensional Kernel Regression
Rochester Institute of Technology（罗切斯特理工学院）；School of Mathematical Sciences（数学科学学院）
在本文中，内核回归的灵活性，多功能性和预测能力与现在大量可用的网络数据相结合，以创建具有更高预测性能的回归模型。从以前的工作具有广义线性模型建立在网络凝聚力数据的存在下，我们构建了一个内核化的扩展，捕捉微妙的非线性极高维空间，也产生更好的预测性能。对模拟和现实数据的无缝而实质性的适应性应用证明了我们工作的吸引力和力量。
2020-11-03 cs.LG stat.ML
Extrinsic Kernel Ridge Regression Classifier for Planar Kendall Shape Space
Florida State University（佛罗里达州立大学）
核方法在统计学和机器学习中取得了巨大的成功。尽管他们越来越受欢迎，但是，较少的努力已经提请对发展核分类方法的黎曼流形由于难以处理非欧几里德几何。本文在流形值数据分析的外部框架下，提出了一种新的平面Kendall形空间$Σ_2^k$上的正定核，称为外部Veronese Whitney Gaussian核.我们表明，我们的方法可以扩展到任何嵌入式流形上开发高斯核。在此基础上，实现了核岭回归分类器（KRRC）来解决$Σ_2^k$的形状分类问题，并通过实际数据分析验证了其良好的性能。
2020-10-01 cs.LG stat.ML
Nonparametric regression using needlet kernels for spherical data
Wenzhou University（温州大学）
针状体由于其在空间域和频域上的优良局部化特性，已被公认为是处理球形数据的最先进的工具。本文考虑发展核方法与needlet核的非参数回归问题的预测变量定义在一个球体上。由于在频域中的局部化性质，我们证明了与针状核相关的核岭回归的正则化参数可以任意快速地减小。一个自然的结果是核岭回归的正则化项在速率最优性的意义上是不必要的。基于其在空间域上的优良局部化性质，我们还证明了所有与needlet核相关的$l^{q}$ $(01\leq q < \infty)$核正则化估计，包括核lasso估计和核桥估计，在速率最优意义下，对大范围的正则化参数具有几乎相同的推广能力.这一发现初步表明，如果针内核被利用，那么选择$q$可能不会有很大的影响，在某些建模环境中的泛化能力。从这个角度来看，$q$可以被任意指定，或者仅由其他非泛化标准（如平滑度、计算复杂性、稀疏性等）指定。
2015-09-10 cs.LG stat.ML
$L_1$-norm Regularized Indefinite Kernel Logistic Regression
School of Statistics and Data Science, Qufu Normal University（统计与数据科学学院，曲阜师范大学）；Dongfang College, ShanDong University of Finance and Economics（东方学院，山东财经大学）
核逻辑斯谛回归（KLR）是一种功能强大的分类方法，广泛应用于不同的领域。在许多现实世界的场景中，不定核比正定核捕获更多的特定于域的结构信息。提出了一种新的$L_1$ -范数正则化不定核逻辑斯谛回归（RIKLR）模型，该模型通过引入$L_1$ -范数惩罚函数来扩展已有的IKLR框架.这种正则化的引入增强了可解释性和推广性，同时将非光滑性和非凸性引入优化领域。为了解决这些挑战，理论上接地和计算效率的近端线性化算法的开发。在多个基准数据集上的实验结果表明，该方法在准确性和稀疏性方面都具有优异的性能。
2025-10-30 cs.LG stat.ML
A Comparative Study of Pairwise Learning Methods based on Kernel Ridge Regression
Ghent University（根特大学）；University of Turku（图尔库大学）
许多机器学习问题可以公式化为一对对象的预测标签。这类问题通常被称为成对学习、二元预测或网络推理问题。在过去的十年中，核方法在成对学习中发挥了主导作用。它们仍然获得了最先进的预测性能，但在机器学习文献中对其行为的理论分析还不够深入。在这项工作中，我们审查和统一现有的基于内核的算法，通常用于不同的成对学习设置，从矩阵过滤到zero-shot学习。为此，我们专注于克罗内克核岭回归的封闭形式的有效实例。我们发现，独立的任务内核岭回归，两步内核岭回归和线性矩阵滤波器自然出现的Kronecker内核岭回归的特殊情况下，这意味着所有这些方法隐式地最小化平方损失。此外，我们分析了普适性，一致性和光谱滤波性质。我们的理论结果提供了有价值的见解，在评估现有的成对学习方法的优点和局限性。
2018-03-05 cs.LG stat.ML
Learning Theory of Distributed Regression with Bias Corrected Regularization Kernel Network
Zhejiang University（浙江大学）；Fudan University（复旦大学）；Middle Tennessee State University（中田纳西州立大学）
分布式学习是分析大数据的有效方法。在分布式回归中，一种典型的方法是将大数据划分为多个块，对每个块应用基本回归算法，然后简单地对从这些块中学习的输出函数进行平均。由于平均过程将减少方差，而不是偏差，如果基本回归算法是有偏的，则偏差校正有望改善学习性能。正则化核网络是非线性回归分析的一种有效且广泛应用的方法。在本文中，我们将研究正则化核网络的偏差校正版本。当它被应用到一个单一的数据集，当它被应用为分布式回归的基本算法，我们推导出的误差界。我们表明，在某些适当的条件下，最佳的学习率可以达到在这两种情况下。
2017-08-07 cs.LG stat.ML
Risk Convergence of Centered Kernel Ridge Regression with Large Dimensional Data
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本文对一种称为\emph{centered kernel ridge regression}（CKRR）的核岭回归的变体进行了高维分析，在文献中也称为带偏移的核岭回归。这种改进的技术是通过考虑回归问题中的偏差而获得的，该偏差导致旧核岭回归，但具有\emph{centered}核。分析是在假设数据来自高斯分布并严重依赖随机矩阵理论（RMT）工具的情况下进行的。在数据维数和训练规模以固定比例无限大的制度下，并在一些温和的假设下控制数据统计，我们表明，经验和预测风险收敛到一个确定性的数量，以封闭的形式描述CKRR的性能的数据统计和尺寸。受这一理论结果的启发，我们随后基于训练数据构建了预测风险的相合估计量，从而可以最佳地调整设计参数。所提出的分析的一个关键见解是这样一个事实，即渐近一大类内核实现相同的最小预测风险。这一见解得到了合成数据和真实数据的验证。
2019-04-19 cs.LG stat.ML
Learning Rates for Kernel-Based Expectile Regression
University of Stuttgart（斯图加特大学）
有条件预期证券在金融和其他应用领域正成为越来越重要的工具。我们分析了一个支持向量机类型的方法估计条件expectles和建立学习率是最小最大最优模对数因子，如果使用高斯RBF内核和所需的expectile是光滑的Besov意义上的。作为一种特殊情况，我们的学习率提高了这种情况下基于核的最小二乘回归的最佳已知率。我们的统计分析的关键成分是一个一般的校准不等式的非对称最小二乘损失，相应的方差界以及高斯RBF核的改进的熵数界。
2017-02-27 cs.LG stat.ML
Multi-Kernel Regression with Sparsity Constraint
EPFL（洛桑联邦理工学院）
在本文中，我们提供了一个广义全变差（gTV）正则化的监督学习的Banach空间公式。我们确定类的核函数，在这个框架中是允许的。然后，我们提出了一个变化的监督学习在连续域混合搜索空间与gTV正则化。我们表明，该解决方案承认一个自适应位置的多核扩展。在该表示中，活动内核的数量由数据点的数量上限，而gTV正则化对内核系数施加$\ell_1$惩罚。最后，我们数值说明我们的理论的结果。
2020-12-17 cs.LG stat.ML
Kernel Regression for Graph Signal Prediction in Presence of Sparse Noise
KTH Royal Institute of Technology（KTH皇家理工学院）
在稀疏噪声的存在下，我们提出了核回归预测的输出向量是光滑的一个给定的图。稀疏噪声对训练输出进行建模，训练输出被丢失的样本或大的扰动破坏。稀疏噪声的存在通过在凸代价函数中适当使用$\ell_1$ -范数以及使用$\ell_2$ -范数来处理。对于优化的成本函数，我们提出了一个迭代加权最小二乘（IRLS）的方法，是适合于内核替换或内核技巧，由于可用的封闭形式的解决方案。使用真实世界温度数据的模拟显示了我们所提出的方法的有效性，主要是针对有限大小的训练数据集。
2018-11-06 cs.LG stat.ML
The Directional Bias Helps Stochastic Gradient Descent to Generalize in Kernel Regression Models
本文研究了非参数统计中的随机梯度下降（SGD）算法：特别是核回归。SGD的方向偏差属性，这是已知的线性回归设置，推广到核回归。更具体地说，我们证明了SGD与温和的退火步长收敛沿的方向对应的最大特征值的革兰氏矩阵的特征向量。此外，具有中等或小步长的梯度下降（GD）沿着对应于最小特征值的方向收敛。这些事实被称为方向偏差属性;它们可以解释SGD计算的估计量如何比GD计算的估计量具有潜在的更小的泛化误差。我们的理论的应用证明了模拟研究和案例研究，是基于FashionMNIST数据集。
2022-04-29 cs.LG stat.ML
Indefinite Kernel Logistic Regression with Concave-inexact-convex Procedure
Shanghai Jiao Tong University（上海交通大学）；Nanjing University of Science and Technology（南京理工大学）；KU Leuven（鲁汶大学）
在核方法中，通常要求核是正定的，这限制了许多不定核的使用。为了考虑这些非正定核，本文旨在为核逻辑回归建立一个不定核学习框架。在再生核\u <$n空间（RKKS）中分析了所提出的不定核逻辑回归（IKLR）模型，使其成为非凸的.利用非正定核的正分解，导出的IKLR模型可以分解为两个凸函数的差。相应地，一个凹凸过程被引入到解决非凸优化问题。由于凹凸过程在每次迭代中都要求解一个子问题，因此我们提出了一种具有不精确求解方案的凹凸过程（CCICP）算法来加速求解过程。此外，我们提出了一个随机变量的CCICP有效地获得一个近似的解决方案，这达到了类似的目的，在CCICP的不精确的解决方案。对这两种变式的凹凸过程进行了收敛性分析。通过这样做，我们的方法不仅在确定性设置下有效地工作，而且在随机设置下有效地工作。几个基准的实验结果表明，建议IKLR模型表现良好的标准（正定）核逻辑回归和其他竞争力的不确定学习算法。
2020-05-29 cs.LG stat.ML
On the Saturation Effect of Kernel Ridge Regression
Tsinghua University（清华大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
本文证明了核岭回归在真实函数平滑度超过一定水平时无法达到信息论下界的饱和效应长期猜想。
2024-05-28 cs.LG stat.ML
Large Dimensional Kernel Ridge Regression: Extending to Product Kernels
Department of Statistics and Data Science（统计与数据科学系）；Tsinghua University（清华大学）；Department of Mathematical Science（数学科学系）
本文研究了高维核岭回归中乘积核的收敛性，揭示了在不同源条件下的最优性、饱和效应及多 descent 行为。
2026-05-14 cs.LG stat.ML
Matrix completion and extrapolation via kernel regression
Universitat Politècnica de Catalunya-Barcelona Tech（加泰罗尼亚理工大学-巴塞罗那理工大学）；University of Minnesota（明尼苏达大学）
矩阵完成和外推（MCEX）在这里处理再生核希尔伯特空间（RKHS），以考虑现有数据中的先验信息。针对快速和低复杂度的求解器，该任务被制定为一个核心岭回归。由此产生的MCEX算法也可以提供在线实现，而类的核函数也包括现有的方法MC与先验信息。对合成数据集和真实数据集的数值测试表明，该方法比交替最小二乘（ALS）或随机梯度下降（SGD）等广泛使用的方法执行得更快，并且恢复误差减少，特别是在处理噪声数据时。
2019-03-28 cs.LG stat.ML
Overfitting Behaviour of Gaussian Kernel Ridgeless Regression: Varying Bandwidth or Dimensionality
The University of Chicago（芝加哥大学）；Weizmann Institute of Science（魏茨曼科学研究所）；TTI-Chicago（芝加哥丰田技术研究所）
本文分析高斯核无岭回归在带宽或维度随样本量变化时的过拟合，刻画固定维与递增维情形，并首次给出次多项式维数下的良性过拟合示例。
2024-09-05 cs.LG stat.ML
Uniform convergence for Gaussian kernel ridge regression
本文首次证明固定超参数的高斯核岭回归在一致范数和L2范数下具有多项式收敛速率，填补理论空白，为非参数回归提供理论依据。
2025-09-11 cs.LG stat.ML
Random Forest (RF) Kernel for Regression, Classification and Survival
AbbVie Inc.（艾伯维公司）；Merck & Co., Inc.（默克公司）
Breiman的随机森林（RF）可以被解释为一个隐式的内核生成器，其中随后的邻近矩阵表示数据驱动的RF内核。RF的内核的角度来看，已被用来开发一个原则性的框架，其统计特性的理论研究。然而，核函数和RF之间的联系的实际效用还没有得到广泛的探索和系统的评估。我们的工作重点是核方法和RF之间的相互作用的调查。我们阐明的性能和属性的数据驱动的RF内核所使用的正则化线性模型在一个全面的仿真研究，包括连续，二进制和生存目标。我们表明，对于连续和生存的目标，RF内核的竞争力，RF在更高维的情况下，大量的噪声功能。对于二进制目标，RF内核和RF表现出相当的性能。由于RF核渐近收敛于拉普拉斯核，因此我们将其包含在我们的评估中。对于大多数模拟设置，RF和RF内核优于拉普拉斯内核。尽管如此，在某些情况下，拉普拉斯核是有竞争力的，显示出其潜在的应用价值。我们还提供了从现实生活中的数据集的回归，分类和生存的结果，以说明如何在practice.Finally，我们讨论了进一步扩展的RF内核的可解释的原型和地标分类，回归和生存的背景下，这些见解可能被利用。我们概述了未来的研究线提供的贝叶斯同行的RF内核。
2020-08-31 cs.LG stat.ML
Distribution Regression with Sliced Wasserstein Kernels
University College London（伦敦大学学院）；Italian Institute of Technology（意大利理工学院）
在概率空间上学习函数的问题--或分布回归--在机器学习社区中引起了极大的兴趣。这个问题背后的一个关键挑战是确定一个合适的表示捕捉底层功能映射的所有相关属性。核均值嵌入提供了一种原则性的分布回归方法，它在概率水平上提升了输入域上的核诱导相似性。这种策略有效地解决了问题的两阶段抽样性质，使人们能够获得强有力的统计保证，如普遍一致性和超额风险界限的估计。然而，核均值嵌入隐含地取决于最大均值差异（MMD），这是一种概率度量，可能无法捕获分布之间的关键几何关系。相比之下，最优传输（OT）指标可能更有吸引力。在这项工作中，我们提出了一个基于OT的分布回归估计。我们建立在切片瓦瑟斯坦距离上以获得基于OT的表示。我们研究了基于这种表示的核岭回归估计的理论性质，证明了它的泛相合性和超额风险界。初步实验补充了我们的理论研究结果，所提出的方法的有效性，并将其与基于MMD的估计。
2022-06-17 cs.LG stat.ML
Learning "best" kernels from data in Gaussian process regression. With application to aerodynamics
ONERA–The French Aerospace Lab（法国航空航天实验室（ONERA））；California Institute of Technology（加州理工学院）
介绍了高斯过程回归/克里格替代建模技术中核函数的选择和设计算法。我们采用核方法在特定的函数空间，即再生核希尔伯特空间（RKHS）中设置解，来解决给定观测值的正则目标函数的逼近问题，即监督学习。第一类算法是核流，其在机器学习中的分类的上下文中被引入。它可以被看作是一个交叉验证过程，其中一个“最好的”内核被选择，使得删除数据集的一部分（通常是一半）所带来的准确性损失最小化。第二类算法被称为谱核岭回归，其目的是选择“最佳”核，使得要近似的函数的范数在相关联的RKHS中是最小的。在默瑟定理的框架内，我们得到了一个明确的建设，“最好的”内核的主要功能的目标函数。这两种方法的学习核数据的合成测试功能的数值例子说明，并在一个经典的测试情况下，跨音速流动的二维翼型的湍流模型验证。
2022-08-31 cs.LG stat.ML
Coefficient-based Regularized Distribution Regression
Zhejiang University（浙江大学）；Fudan University（复旦大学）
本文考虑再生核Hilbert空间（RKHS）上基于系数的正则化分布回归，其目的是从概率测度回归到实值响应，其中系数被正则化，核被假定为不确定的.该算法包括两个阶段的采样，第一阶段的样本由分布和第二阶段的样本从这些分布获得。研究了该算法在回归函数不同正则范围内的渐近行为，并通过积分算子技术推导出了学习率。在一定的条件下，得到了与一阶段抽样minimax最优速率相匹配的最优速率。与已有的分布回归的核方法相比，该算法不要求核是对称的和半正定的，从而为设计不确定的核方法提供了一个简单的范例，丰富了分布回归的研究内容.据我们所知，这是第一个不确定核分布回归的结果，我们的算法可以改善饱和效应。
2022-08-26 cs.LG stat.ML
Kernel Truncated Randomized Ridge Regression: Optimal Rates and Low Noise Acceleration
Boston University（波士顿大学）；Google（谷歌）
本文研究再生核Hilbert空间中的非参数最小二乘回归问题。我们提出了一个新的随机算法，具有最佳的泛化误差的平方损失的界限，关闭一个长期存在的上限和下限之间的差距。此外，我们表明，我们的算法具有更快的有限时间和渐近速率的问题，贝叶斯风险的平方损失是小的。我们使用标准的工具，从最小二乘回归RKHS理论，即相关的积分算子的特征值的衰减和通过积分算子测量的最佳预测的复杂性，我们的结果。
2019-05-25 cs.LG stat.ML
A Theoretical Analysis of the Test Error of Finite-Rank Kernel Ridge Regression
University of Basel（巴塞尔大学）；McMaster University（麦克马斯特大学）；Vector Institute（向量研究所）；UniDistance Suisse（瑞士远程大学）
针对现有通用核回归统计学习保证用于有限秩核时界偏宽松的问题，推导了有限秩核岭回归测试误差的精确非渐近上下界，新界更紧且对任意正则化参数均有效。
2023-10-03 cs.LG stat.ML
OCKELM+: Kernel Extreme Learning Machine based One-class Classification using Privileged Information (or KOC+: Kernel Ridge Regression or Least Square SVM with zero bias based One-class Classification using Privileged Information)
IIT Indore（印度理工学院印多尔分校）
基于核方法的单类分类器主要用于离群点或新颖性检测。在这封信中，基于核岭回归（KRR）的一类分类器（KOC）已被扩展为使用特权信息的学习（LUPI）。基于LUPI的KOC方法被称为KOC+。此特权信息可作为数据集的一个特征，但仅用于训练（不用于测试）。KOC+通过使用所谓的校正功能，与正常特征信息相比，以不同的方式利用特权信息。隐藏的信息有助于KOC+实现更好的泛化性能，这是在这封信中通过测试分类器与没有特权信息。现有的和建议的分类器进行评估的数据集从UCI机器学习库和MNIST数据集。实验结果表明，KOC+算法优于KOC算法和基于支持向量机（SVM）的单类分类器。
2019-04-13 cs.LG stat.ML
Prediction of Dynamical time Series Using Kernel Based Regression and Smooth Splines
University of Michigan（密歇根大学）
利用支持向量机或基于核函数的回归方法对含有加性噪声的动态时间序列进行预测，已证明对某些离散动态系统是一致的。一致性意味着这些方法在计算给定当前坐标的未来时间点的期望值时是有效的。然而，目前的坐标本身是有噪声的，因此，这些方法在去除噪声方面不一定有效。在这篇文章中，我们认为去噪和预测作为单独的问题，流，而不是离散时间动力系统，并表明使用光滑样条是更有效地消除噪声。平滑样条和基于核的回归的组合产生的预测器在基准上通常更准确，通常是2倍或更多。我们证明了基于核的回归结合光滑样条收敛到精确的预测时间序列从任何足够光滑的流的任何紧凑的不变集。作为收敛的结果，可以找到基于核的回归与平滑样条的组合甚至优于$100$的因子的示例。我们计算的预测器对延迟坐标数据而不是通常不可观测的完整状态向量进行操作。
2018-06-20 cs.LG stat.ML
Detecting Unobserved Confounders: A Kernelized Regression Approach
本文提出KRCD方法，通过核化回归检测非线性观察数据中的未观察到的混杂因素，并在实验中展示了其优越的性能和效率。
2026-01-01 cs.LG stat.ML
Complex-Valued Kernel Methods for Regression
University of Seville（塞维利亚大学）；University Carlos III de Madrid（马德里卡洛斯三世大学）
通常，复值RKHS是实值情况的直接应用。在本文中，我们证明了这个过程产生一个有限的解决方案回归。我们证明了另一个内核，这里表示为伪内核，需要学习复值域中的任何函数。因此，我们推导出一种新的RKHS，广泛的RKHS（WRKHS）。当伪核取消时，WRKHS减少到以前方法的复值RKHS。我们解决了内核和伪内核的设计，注意内核和伪内核是复值的。在实验中，我们报告显着的改进，在简单的情况下，实部和虚部有不同的相似关系，对于给定的输入或实部和虚部相关的情况下。在这些新的结果的背景下，我们重新审视非线性信道均衡的问题，表明WRKHS有助于设计更有效的解决方案。
2016-10-31 cs.LG stat.ML
Exact Distribution-Free Hypothesis Tests for the Regression Function of Binary Classification via Conditional Kernel Mean Embeddings
SZTAKI: Institute for Computer Science and Control（SZTAKI：计算机科学与控制研究所）；Eötvös Loránd Research Network（厄特沃什·罗兰研究网络）
本文提出了两种基于条件核均值嵌入的二分类回归函数的统计假设检验方法。回归函数是分类中的基本对象，因为它决定了贝叶斯最优分类器和误分类概率。提出了一个基于回归的框架，并结合条件核均值映射的一致点估计，以构造分布自由的假设检验。这些测试以灵活的方式引入，使我们能够控制任何样本量的第一类错误的确切概率。我们还证明了这两种方法在弱统计假设下是一致的，即，第二类错误概率逐点收敛到零。
2021-06-07 cs.LG stat.ML
Learning Analysis of Kernel Ridgeless Regression with Asymmetric Kernel Learning
KU Leuven（鲁汶大学）；Shanghai Jiao Tong University（上海交通大学）；Fudan University（复旦大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出基于局部自适应带宽RBF核的核岭回归无正则化方法，证明其优化等价于RKHS积分空间的$\ell_0$正则化问题，并利用$l_q$-范数分析推导学习速率，揭示了其大容量逼近与稀疏性保证泛化的机制。
2024-06-03 cs.LG stat.ML
ParK: Sound and Efficient Kernel Ridge Regression by Feature Space Partitions
University of Genova（热那亚大学）；DeepMind Paris（DeepMind巴黎）；Istituto Italiano di Tecnologia（意大利理工学院）
我们介绍了ParK，一个新的大规模核岭回归求解器。我们的方法结合了分区与随机投影和迭代优化，以减少空间和时间的复杂性，同时可证明保持相同的统计精度。特别是，直接在特征空间而不是在输入空间中构造合适的分区，我们促进了局部估计量之间的正交性，从而确保了局部有效维数和偏差等关键量保持在控制之下。我们描述了我们的模型的几何计算权衡，并通过大规模数据集上的数值实验证明了我们的方法的有效性。
2022-10-17 cs.LG stat.ML
Distributed Kernel Ridge Regression with Communications
Xi’an Jiaotong University（西安交通大学）；City University of Hong Kong（香港城市大学）
本文在学习理论的框架下研究分布式算法的泛化性能。以分布式核岭回归算法（DKRR）为例，成功地导出了其期望最优学习率，并从理论上给出了局部处理器个数的最优范围。由于理论和实验之间的差距，我们还推导了DKRR的最佳学习率的概率，从本质上反映了DKRR的泛化性能和局限性。此外，我们提出了一种通信策略，以提高DKRR的学习性能，并通过理论评估和数值实验证明了DKRR中通信的力量。
2020-03-27 cs.LG stat.ML
Robust Non-linear Regression: A Greedy Approach Employing Kernels with Application to Image Denoising
我们考虑的任务，强大的非线性回归的存在下，内点噪声和离群值。假设未知的非线性函数属于再生核希尔伯特空间（RKHS），我们的目标是估计相关的未知参数的集合。由于异常值的存在，核岭回归（KRR）或支持向量回归（SVR）等常用技术被证明是不够的。相反，我们采用稀疏建模参数显式建模和估计离群值，采用贪婪的方法。所提出的鲁棒方案，即，核贪心算法的鲁棒去噪（KGARD）是在经典的正交匹配追踪（OMP）算法的基础上提出的。具体而言，所提出的方法交替之间的KRR任务和OMP样的选择步骤。提供了有关识别异常值的理论结果。此外，KGARD与其他前沿方法相比，其性能通过一组实验与各种类型的噪声进行评估。最后，将所提出的鲁棒估计框架应用于图像去噪任务，并证明了其在存在离群值的情况下的增强性能。
2016-08-03 cs.LG stat.ML
Learning the Kernel for Classification and Regression
Courant Institute of Mathematical Science, New York University（纽约大学库朗数学科学研究所）
我们研究了一系列的学习核问题的多项式组合的基础内核，这将有助于我们解决回归和分类问题。我们还在不同的数据集上进行了一些多项式核的回归和分类任务的数值实验。
2017-12-25 cs.LG
Streaming kernel regression with provably adaptive mean, variance, and regularization
Laval University（拉瓦尔大学）；INRIA（法国国家信息与自动化研究所）；McGill University（麦吉尔大学）
我们考虑流核回归的问题，当观察顺序到达，目标是恢复潜在的平均函数，假设属于RKHS。假设噪声的方差是未知的。在这种情况下，我们解决了在每个时间步长自适应调整正则化参数的问题，同时保持严格的置信区间估计的均值函数在每个点的值。为此，我们首先推广现有的有限维线性回归与固定的正则化和已知的方差的核设置与正则化参数允许是一个可测量的功能，过去的观察结果。然后，使用适当的自归一化不等式，我们建立上，下界估计的方差，导致Bersntein样的浓度范围。后者用于定义自适应正则化。从我们的技术所产生的界限是有效的，在所有的观察点和所有的时间步长一致，并与文献的数值实验进行比较。最后，这些工具的潜力说明了应用内核化的土匪，在那里我们重温内核UCB和内核汤普森采样程序，并显示新的自适应内核调整策略的好处。
2017-08-02 cs.LG stat.ML
Nonparametric Instrumental Regression via Kernel Methods is Minimax Optimal
Mingdu Technology, Hangzhou（明度科技，杭州）；Department of Economics, Yale University, New Haven（耶鲁大学经济系，纽黑文）；Gatsby Computational Neuroscience Unit, University College London, London（伦敦大学学院盖茨比计算神经科学单元，伦敦）
本文研究了基于核的方法的工具变量回归算法，证明其在强L2范数下的收敛性，并展示了其在固定光滑性类别的最小最大最优性。
2026-04-08 cs.LG stat.ML
Kernel regression in high dimensions: Refined analysis beyond double descent
KU Leuven；University of California, Berkeley（加州大学伯克利分校）
在本文中，我们提供了一个精确的表征的泛化性能的高维核岭回归在下和过参数化制度，这取决于训练数据的数量n是否超过特征维数d。通过建立一个偏差方差分解的预期超额风险，我们表明，虽然偏差是（几乎）独立的d和单调递减的n，方差依赖于n，d，可以是单峰或单调递减下不同的正则化方案。我们的精细分析超越了双下降理论，表明根据数据特征曲线和正则化水平，核回归风险曲线可以是双下降，钟形或n的单调函数。合成和真实数据进行实验，以支持我们的理论研究结果。
2021-02-24 cs.LG stat.ML
Oversampling Divide-and-conquer for Response-skewed Kernel Ridge Regression
Tsinghua University（清华大学）；The University of Arizona（亚利桑那大学）
分而治之的方法已被广泛用于估计大规模核岭回归估计。不幸的是，当响应变量高度倾斜时，分而治之核岭回归（dacKRR）可能会忽略代表性不足的区域，并导致不可接受的结果。我们结合了一种新的响应自适应分区策略与过采样技术协同克服的限制。通过所提出的新算法，我们分配一些仔细识别的信息观测到多个节点（本地处理器）。虽然过采样技术已被广泛用于解决离散标签偏度，但将其扩展到dacKRR设置并非易事。我们就如何在dacKRR设置下有效地对观测值进行过采样提供了理论和实践指导。此外，我们还证明了在较弱的条件下，该估计比经典的dacKRR估计具有更小的风险。我们的理论研究结果支持模拟和真实数据分析。
2021-11-10 cs.LG stat.ML
An Upper Bound of the Bias of Nadaraya-Watson Kernel Regression under Lipschitz Assumptions
Technische Universität Darmstadt（达姆施塔特工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
Nadaraya-Watson核估计是最流行的非参数回归技术之一，这要归功于它的简单性。Rosenblatt在1969年研究了它的渐近偏差，并在许多相关文献中报道。然而，Rosenblatt的分析仅对无穷小带宽有效。相比之下，我们在本文中提出了一个上限的偏见，持有有限的带宽。此外，相反的经典分析，我们允许不连续的一阶导数的回归函数，我们扩展我们的边界的多维域，我们包括知识的界的回归函数时，它存在，如果它是已知的，以获得更严格的限制。我们相信，这项工作在那些需要对误差进行一些硬保证的领域中具有潜在的应用价值
2020-01-30 cs.LG stat.ML
Kernel ridge regression under power-law data: spectrum and generalization
Departement d’Informatique, École Normale Supérieure, PSL & CNRS（信息学院，巴黎高等师范学院，PSL及CNRS）
本文研究幂律各向异性高斯数据下的高维核岭回归，推导多项式核谱显式刻画并分析超额风险，证明样本复杂度由有效维度决定，优于各向同性数据。
2025-10-06 cs.LG stat.ML
Scaling up Kernel Ridge Regression via Locality Sensitive Hashing
EPFL（洛桑联邦理工学院）；Microsoft Research（微软研究院）；Google Research（谷歌研究院）
在Rahimi和Recht（2007）的开创性论文中引入的随机分箱特征是使用局部敏感散列近似核矩阵的有效方法。随机分箱特征提供了一种非常简单和有效的近似拉普拉斯核的方法，但不幸的是，它不适用于许多重要的核类别，特别是那些生成平滑高斯过程的核，如高斯核和Matern核。在本文中，我们介绍了一个简单的加权版本的随机装箱功能，并表明相应的核函数生成高斯过程的任何期望的平滑度。我们表明，我们的加权随机分仓功能提供了一个频谱近似相应的内核矩阵，导致有效的算法内核岭回归。在大规模回归数据集上的实验表明，该方法的精度优于随机傅立叶特征方法。
2020-03-21 cs.DS cs.LG stat.ML
Multiple Kernel Clustering via Local Regression Integration
本文提出多核局部回归聚类方法CMKLR，通过构建并聚合各候选核的局部回归稀疏系数来刻画流形结构并提升鲁棒性，在基准数据集上优于10种现有多核聚类方法。
2024-10-20 cs.LG
Semi-supervised Deep Kernel Learning: Regression with Unlabeled Data by Minimizing Predictive Variance
Stanford University（斯坦福大学）
训练深度学习模型通常需要大量标记数据。然而，对于许多现实问题，获取额外的数据可能是昂贵的，甚至是不可能的。我们提出了半监督深度核学习（SSDKL），这是一种基于后验正则化框架中最小化预测方差的半监督回归模型。SSDKL将神经网络的分层表示学习与高斯过程的概率建模能力相结合。通过利用未标记的数据，我们展示了对各种现实回归任务的改进，这些任务优于有监督的深度内核学习和半监督方法，如适用于回归的VAT和平均教师。
2019-03-04 cs.AI cs.LG stat.ML
Structure Discovery in Nonparametric Regression through Compositional Kernel Search
U. Cambridge（剑桥大学）；MIT（麻省理工学院）
尽管它的重要性，在非参数回归的内核的结构形式的选择仍然是一个黑色的艺术。我们定义了一个空间的内核结构，这是由添加和乘以少量的基本内核组成。我们提出了一种方法来搜索这个空间的结构，反映了科学发现的过程。学习的结构通常可以将函数分解为可解释的组件，并在时间序列数据集上进行长距离外推。我们的结构搜索方法在各种预测任务上优于许多广泛使用的内核和内核组合方法。
2013-05-13 cs.LG stat.ME stat.ML
Random Machines Regression Approach: an ensemble support vector regression model with free kernel choice
Federal University of Bahia（巴伊亚联邦大学）；Federal Institute of Pernambuco（伯南布哥联邦学院）；University of São Paulo（圣保罗大学）
机器学习技术总是以减少广义预测误差为目标。为了减少它，集成方法提出了一个很好的方法，结合几个模型，结果在一个更大的预测能力。随机机已经被证明是一种强大的技术，即：高预测能力，分类任务，在这篇文章中，我们提出了一个过程，使用袋加权支持向量模型回归问题。仿真研究是在人工数据集和真实数据基准上实现的。结果表明，回归随机机具有较低的泛化误差，在调整过程中无需选择最佳的核函数，具有良好的性能。
2020-03-27 cs.LG stat.AP stat.ML
Statistically and Computationally Efficient Variance Estimator for Kernel Ridge Regression
Duke University（杜克大学）；Purdue University（普渡大学）
本文提出了一种随机投影方法来估计核岭回归中的方差。我们的方法导致真实方差的一致估计，同时计算效率更高。我们的方差估计是最佳的一个大家庭的内核，包括三次样条和高斯内核。仿真分析支持我们的理论。
2018-09-17 cs.LG math.ST stat.ML
The loss of the property of locality of the kernel in high-dimensional Gaussian process regression on the example of the fitting of molecular potential energy surfaces
Tokyo Institute of Technology（东京工业大学）
基于核的方法包括高斯过程回归（GPR）和通常的核岭回归（KRR）已经在计算化学中发现越来越多的使用，包括在高维特征空间中的势能表面和密度泛函的拟合。通常使用Matern族的核，例如类高斯核（基函数），这允许赋予它们协方差函数的含义，并将GPR公式化为高斯分布的均值的估计器。核的局部性的概念对于这种解释是至关重要的。这也是至关重要的制定多zeta型基函数广泛应用于计算化学我们显示，在拟合的分子势能面的维数增加的例子，实际消失的性质的局部性的高斯核在高维。我们还制定了一个多zeta方法的内核，并表明它显着提高了低维回归的质量，但失去了任何优势，在高维，这是由于损失的财产的地方。
2022-11-21 cs.LG physics.chem-ph stat.ML
Degeneration of kernel regression with Matern kernels into low-order polynomial regression in high dimension
School of Materials and Chemical Technology, Tokyo Institute of Technology（东京工业大学材料与化学技术学院）
本研究证明在高维稀疏数据下，Matern核回归的最优长度参数过大，导致其退化为低阶多项式回归，失去优势，并通过理论及分子PES数值实验验证，强调耦合阶模型或物理核的重要性。
2023-11-17 cs.LG physics.comp-ph
Nonlinear Causal Discovery via Kernel Anchor Regression
Tsinghua University（清华大学）；University of Oxford（牛津大学）
学习因果关系是科学中的一个基本问题。锚回归已经被开发来解决这个问题的一个大类的因果图模型，虽然变量之间的关系被假设为线性的。在这项工作中，我们解决了非线性设置，提出核锚回归（KAR）。除了使用经典的两阶段最小二乘估计的自然配方，我们还研究了一个改进的变种，涉及非参数回归在三个不同的阶段。我们提供了建议的KAR估计的收敛性结果和KAR学习非线性结构方程模型（SEM）的可识别性条件。实验结果表明，所提出的KAR估计优于现有的基线性能。
2022-10-30 cs.LG stat.ME stat.ML
Consistent regression of biophysical parameters with kernel methods
Image Processing Lab (IPL), Universitat de Val\`encia, Val\`encia, Spain
本文介绍了一种新的统计回归框架，允许纳入一致性约束。一个线性和非线性（内核为基础的）配方介绍，都意味着封闭形式的解析解。该模型利用来自一组驱动程序的所有信息，同时最大限度地独立于一组辅助的受保护变量。我们成功地说明了叶绿素含量的估计性能。
2020-12-09 cs.LG stat.ME stat.ML
Asymptotic Optimism of Random-Design Linear and Kernel Regression Models
Department of Statistics, Rice University（里士大学统计系）；Lawrence Berkeley National Laboratory（伯克利国家实验室）；Amazon（亚马逊公司）；Department of Statistics, the Ohio State University（俄亥俄州立大学统计系）
本文推导了随机设计下线性回归及核岭回归的闭式渐近乐观度，提出以尺度化乐观度作为预测复杂度度量，并从理论和实验上揭示了ReLU神经网络与切线核模型在该度量下的行为差异。
2025-08-16 cs.LG math.ST stat.ML
Optimal Rates of Distributed Regression with Imperfect Kernels
University of Jinan（济南大学）；Middle Tennessee State University（中田纳西州立大学）
分布式机器学习系统因其处理大规模数据的高效性而受到越来越多的关注。针对不同的机器学习任务，已经提出了许多分布式框架。在本文中，我们研究了分布式核回归的分治方法。这种方法已被证明是渐近极小极大最优的，如果核是完美的选择，使真正的回归函数位于相关的再生核希尔伯特空间。然而，这通常是不切实际的，因为只能通过先验知识或调整过程来选择的内核很难是完美的。相反，更常见的是，内核足够好，但不完美，在这个意义上，真正的回归可以很好地近似，但不完全位于内核空间。我们证明了分布式核回归在这种情况下仍然可以达到与容量无关的最优速率。为此，我们首先建立了一个通用的框架，允许分析分布式回归与响应加权基础算法的边界上一个单一的数据集，这些算法的错误，提供的误差界已考虑到的影响，无法解释的方差的响应变量。然后，我们执行留一分析的内核岭回归和偏差校正内核岭回归，结合上述框架，使我们能够获得尖锐的误差界和容量独立的最佳速率为相关的分布式内核回归算法。作为彻底分析的副产品，我们还证明了核岭回归可以在无噪声设置中比$N^{-1}$（其中$N$是样本大小）更快地实现速率，据我们所知，这是回归学习中首次观察到的和新颖的。
2020-06-30 cs.DC cs.LG math.ST
Kernel Regression with Infinite-Width Neural Networks on Millions of Examples
Google Research（谷歌研究院）；University of Cambridge（剑桥大学）
神经内核在不同的非标准数据模式上大大提高了性能，但需要更多的计算，这在以前将其应用限制在较小的数据集上。在这项工作中，我们通过在许多GPU上大规模并行计算来解决这个问题。我们将其与分布式预处理共轭梯度算法相结合，以实现大规模的核回归（即多达500万个示例）。使用这种方法，我们研究了CIFAR-5 m数据集的几个神经内核在多个数量级上的标度律。使用数据增强将原始CIFAR-10训练数据集扩展20倍，我们获得了91.2%的测试准确度（纯核方法的SotA）。此外，我们还在其他数据模式上探索神经内核，获得了与SotA方法竞争的蛋白质和小分子预测任务的结果。
2023-03-09 cs.CV cs.LG stat.ML
