Multi-kernel Regression For Graph Signal Processing
KTH Royal Institute of Technology（KTH皇家理工学院）
我们开发了一种基于多核的回归方法，用于图形信号处理，其中假设目标信号在图形上是平滑的。在多核回归中，一个有效的核函数被表示为多个基核函数的线性组合。我们估计的线性权重学习有效的核函数通过适当的正则化的基础上图的光滑性。我们表明，由此产生的优化问题被证明是凸的，并提出一个加速投影梯度下降为基础的解决方案。使用真实世界的图形信号的仿真结果表明基于多核的方法比基于标准核的方法的效率。
2018-03-12 cs.LG stat.ML
Semi-supervised Deep Kernel Learning: Regression with Unlabeled Data by Minimizing Predictive Variance
Stanford University（斯坦福大学）
训练深度学习模型通常需要大量标记数据。然而，对于许多现实问题，获取额外的数据可能是昂贵的，甚至是不可能的。我们提出了半监督深度核学习（SSDKL），这是一种基于后验正则化框架中最小化预测方差的半监督回归模型。SSDKL将神经网络的分层表示学习与高斯过程的概率建模能力相结合。通过利用未标记的数据，我们展示了对各种现实回归任务的改进，这些任务优于有监督的深度内核学习和半监督方法，如适用于回归的VAT和平均教师。
2019-03-04 cs.AI cs.LG stat.ML
On Kernel Regression with Data-Dependent Kernels
UC Berkeley（加州大学伯克利分校）；Generally Intelligent（通用智能公司）
核回归（KR）中的主要超参数是核的选择。在KR的大多数理论研究中，人们假设在看到训练数据之前内核是固定的。在此假设下，已知最优核等于目标函数的先验协方差。在本说明中，我们考虑KR，其中内核可以在看到训练数据后更新。我们指出，在这种情况下，使用目标函数的后验核的类似选择是最佳的。将深度神经网络视为依赖于数据的内核学习器的观点的连接进行了讨论。
2022-09-26 cs.LG stat.ML
Fair Kernel Regression via Fair Feature Embedding in Kernel Space
University of Wyoming（怀俄明大学）
近年来，人们在减轻机器学习方法中不道德的人口统计学偏见方面做出了重大努力。然而，对内核方法做的很少。本文提出了一种新的基于核空间公平特征嵌入的公平核回归方法（FKR-F $^2$ E）。受核空间中的特征选择和公平机器学习的特征处理的先前工作的启发，我们提出学习公平的特征嵌入函数，最大限度地减少核空间中特征分布的人口统计差异。与最先进的公平核回归方法和几种基线方法相比，我们表明FKR-F $^2$ E在三个真实数据集上实现了显着更低的预测差异。
2019-09-20 cs.LG stat.ML
Bayesian Kernel and Mutual $k$-Nearest Neighbor Regression
R2 Research（R2 研究公司）
我们提出了两种非参数回归方法的贝叶斯扩展，这两种方法是核回归方法和互$k$ -最近邻回归方法。基于高斯过程回归模型导出，扩展提供了目标值估计的分布和选择超参数的框架。结果表明，这两种方法分别渐近收敛于核回归方法和互$k$ -最近邻回归方法.仿真结果表明，所提出的方法可以选择合适的超参数，并优于或相当于人工数据集和真实世界数据集的前方法。
2016-08-04 cs.LG stat.ML
Kernel Regression with Sparse Metric Learning
East China Normal University（华东师范大学）
核回归是一种流行的非参数拟合技术。它旨在学习一个函数，该函数尽可能精确地估计测试输入的目标。通常，通过周围训练样本的加权平均来估计测试输入的函数值。权重通常由基于距离的核函数计算，并且它们强烈依赖于示例之间的距离。本文首先回顾了稀疏度量学习和核回归的最新进展。在此基础上，提出了一种新的基于稀疏度量学习的核回归方法--稀疏度量学习核回归（KR $\_$ SML）。通过对度量矩阵进行混合$(2,1)$范数正则化，建立稀疏核回归模型.它通过梯度下降过程学习马氏距离度量，可以同时进行降维，并导致良好的预测结果。我们的工作是第一个结合核回归与稀疏度量学习。为了验证所提出的方法的有效性，它是在19个数据集进行回归评估。并将该方法应用于短时交通流预测的实际问题中。最后，在两种准则下的所有测试数据集上，将该方法与其他三种相关的核回归方法进行了比较。实验结果表明，该方法具有更强的竞争力。
2017-12-25 cs.LG stat.ML
Statistically and Computationally Efficient Variance Estimator for Kernel Ridge Regression
Duke University（杜克大学）；Purdue University（普渡大学）
本文提出了一种随机投影方法来估计核岭回归中的方差。我们的方法导致真实方差的一致估计，同时计算效率更高。我们的方差估计是最佳的一个大家庭的内核，包括三次样条和高斯内核。仿真分析支持我们的理论。
2018-09-17 cs.LG math.ST stat.ML
Time Series Prediction for Graphs in Kernel and Dissimilarity Spaces
图模型在许多领域都是相关的，例如分布式计算、智能教学系统或社会网络分析。在许多情况下，此类模型需要考虑图结构的变化，即不同数量的节点或边。预测图中的这种变化可以预期产生关于潜在动态的重要见解，例如关于用户行为。然而，过去的预测技术几乎只关注单个边缘或节点。在这篇文章中，我们试图预测一个图的未来状态作为一个整体。我们建议将时间序列预测描述为回归问题，并应用基于相异或核的回归技术，例如1-最近邻，核回归和高斯过程回归，这些回归技术可以通过图形核应用于图形。回归的输出是嵌入伪欧几里德空间中的点，可以使用后续的相异度或基于核的处理方法进行分析。我们讨论的策略，以加快高斯过程回归从立方线性时间和评估我们的方法上两个完善的理论模型的图形进化，以及两个真正的数据集从智能教学系统的领域。我们发现，简单的回归方法，如核回归，足以捕捉理论模型中的动态，但高斯过程回归显着改善了现实世界数据的预测误差。
2017-08-11 cs.AI cs.LG
pGMM Kernel Regression and Comparisons with Boosted Trees
Baidu Research（百度研究院）
在这项工作中，我们证明了pGMM（“动力广义最小-最大”）内核的（岭）回归的背景下的优势。在最近的先前研究中，pGMM内核已被广泛评估用于分类任务，用于逻辑斯谛回归，支持向量机以及深度神经网络。本文对岭回归进行了实验研究，将pGMM核回归与普通岭线性回归以及RBF核岭回归进行了比较。也许令人惊讶的是，即使没有调谐参数（即，$p=1$用于pGMM内核的功率参数），pGMM内核已经表现良好。此外，通过调优参数$p$，这个（看似简单的）pGMM内核甚至对提升的树执行了相当大的改进。Boosting和Boosted树在机器学习实践中非常流行。对于回归任务，通常，从业者使用$L_2$ boost，即，用于最小化$L_2$损失。有时出于鲁棒性的目的，可能会选择$L_1$增强。在本研究中，我们为$p\geq 1$实现了$L_p$ boost，并将其包含在"Fast ABC-Boost“包中。也许还令人惊讶的是，最好的性能（在$L_2$回归损失方面）通常在$p>2$，在某些情况下在$p\gg 2$获得。Li等人（UAI 2010）已经在使用$L_p$距离的k-最近邻分类的背景下证明了这种现象。总之，$L_p$ boost的实现为从业者提供了额外的灵活性，可以调整boosting算法，从而在回归应用程序中实现更好的准确性。
2022-07-18 cs.LG stat.ML
Optimal $γ$ and $C$ for $ε$-Support Vector Regression with RBF Kernels
基于数值和统计学的考虑，研究了RBF核和马氏核支持向量回归机的$C$和$γ$的有效确定，揭示了$C$和核之间的联系，并证明了映射空间中相邻观测值几何距离的偏差影响$ε$ -SVR的预测精度.确定了$γ$和$C$的排列方式，并提出了选择最佳值的方法。
2015-06-12 cs.LG stat.ML
An Identity for Kernel Ridge Regression
Computer Learning Research Centre（计算机学习研究中心）；Royal Holloway, University of London（伦敦大学皇家霍洛威学院）
本文导出了岭回归的平方损失与最佳回归元损失之间的关系式。并得到了关于在线岭回归的累积损失性质的一些推论。
2011-12-06 cs.LG
(Decision and regression) tree ensemble based kernels for regression and classification
AbbVie Inc.（艾伯维公司）；Merck & Co., Inc.（默沙东公司）
基于树的集成，例如Breiman的随机森林（RF）和梯度提升树（GBT）可以被解释为隐式内核生成器，其中随后的邻近矩阵表示数据驱动的树集成内核。RF的内核的角度来看，已被用来开发一个原则性的框架，其统计特性的理论研究。最近，它已被证明，内核的解释是密切相关的其他基于树的合奏，如GBT。然而，内核和树集成之间的联系的实际效用还没有得到广泛的探索和系统的评估。我们的工作重点是研究核方法和基于树的集成（包括RF和GBT）之间的相互作用。我们阐明的RF和GBT为基础的内核在一个全面的模拟研究，包括连续和二进制目标的性能和属性。我们表明，对于连续的目标，RF/GBT内核在高维场景中，特别是在具有大量噪声特征的情况下，与它们各自的合奏具有竞争力。对于二进制目标，RF/GBT内核及其各自的集成表现出相当的性能。我们提供了来自现实生活数据集的回归和分类结果，以展示如何在实践中利用这些见解。总体而言，我们的研究结果支持树集成为基础的内核作为一个有价值的除了从业者的工具箱。最后，我们讨论了基于树集成的生存目标，可解释的原型和地标分类和回归的内核的扩展。我们概述了未来的研究路线的内核提供的贝叶斯同行的频率论树合奏。
2020-12-19 cs.LG stat.ML
Scaling up Kernel Ridge Regression via Locality Sensitive Hashing
EPFL（洛桑联邦理工学院）；Microsoft Research（微软研究院）；Google Research（谷歌研究院）
在Rahimi和Recht（2007）的开创性论文中引入的随机分箱特征是使用局部敏感散列近似核矩阵的有效方法。随机分箱特征提供了一种非常简单和有效的近似拉普拉斯核的方法，但不幸的是，它不适用于许多重要的核类别，特别是那些生成平滑高斯过程的核，如高斯核和Matern核。在本文中，我们介绍了一个简单的加权版本的随机装箱功能，并表明相应的核函数生成高斯过程的任何期望的平滑度。我们表明，我们的加权随机分仓功能提供了一个频谱近似相应的内核矩阵，导致有效的算法内核岭回归。在大规模回归数据集上的实验表明，该方法的精度优于随机傅立叶特征方法。
2020-03-21 cs.DS cs.LG stat.ML
Graph Enhanced High Dimensional Kernel Regression
Rochester Institute of Technology（罗切斯特理工学院）；School of Mathematical Sciences（数学科学学院）
在本文中，内核回归的灵活性，多功能性和预测能力与现在大量可用的网络数据相结合，以创建具有更高预测性能的回归模型。从以前的工作具有广义线性模型建立在网络凝聚力数据的存在下，我们构建了一个内核化的扩展，捕捉微妙的非线性极高维空间，也产生更好的预测性能。对模拟和现实数据的无缝而实质性的适应性应用证明了我们工作的吸引力和力量。
2020-11-03 cs.LG stat.ML
Extrinsic Kernel Ridge Regression Classifier for Planar Kendall Shape Space
Florida State University（佛罗里达州立大学）
核方法在统计学和机器学习中取得了巨大的成功。尽管他们越来越受欢迎，但是，较少的努力已经提请对发展核分类方法的黎曼流形由于难以处理非欧几里德几何。本文在流形值数据分析的外部框架下，提出了一种新的平面Kendall形空间$Σ_2^k$上的正定核，称为外部Veronese Whitney Gaussian核.我们表明，我们的方法可以扩展到任何嵌入式流形上开发高斯核。在此基础上，实现了核岭回归分类器（KRRC）来解决$Σ_2^k$的形状分类问题，并通过实际数据分析验证了其良好的性能。
2020-10-01 cs.LG stat.ML
Asymptotic Optimism of Random-Design Linear and Kernel Regression Models
Department of Statistics, Rice University（里士大学统计系）；Lawrence Berkeley National Laboratory（伯克利国家实验室）；Amazon（亚马逊公司）；Department of Statistics, the Ohio State University（俄亥俄州立大学统计系）
本文推导了随机设计下线性回归及核岭回归的闭式渐近乐观度，提出以尺度化乐观度作为预测复杂度度量，并从理论和实验上揭示了ReLU神经网络与切线核模型在该度量下的行为差异。
2025-08-16 cs.LG math.ST stat.ML
Error analysis of regularized least-square regression with Fredholm kernel
Hubei University（湖北大学）；Huazhong Agricultural University（华中农业大学）
Fredholm核学习由于能有效利用数据信息提高预测性能而受到越来越多的关注。尽管在理论和实验评估方面取得了快速进展，但其泛化分析尚未在学习理论文献中进行探讨。本文建立了Fredholm核最小二乘正则化回归的推广界，这意味着在较弱的容量条件下可以达到快速学习率O（l^{-1}）.仿真实例表明，该算法能取得满意的预测效果.
2016-11-21 cs.LG math.ST stat.TH
Generalization in Kernel Regression Under Realistic Assumptions
Weizmann Institute of Science（魏茨曼科学研究所）
本文为现实设定下的核回归建立了统一理论，给出适用于常见核、任意正则化、噪声、输入维数和样本量的超额风险上界，并揭示核特征分解重尾带来的自正则化现象，从而解释高维良性过拟合并给出显式收敛速率。
2024-02-20 cs.AI cs.LG stat.ML
Kernel Logistic Regression Learning for High-Capacity Hopfield Networks
针对赫布学习下Hopfield网络存储容量低的问题，提出核逻辑回归学习方法，通过核映射高维空间与对偶变量学习，大幅提升存储容量与噪声鲁棒性，性能优于赫布学习和线性逻辑回归。
2025-06-13 cs.LG cs.NE
Nonparametric regression using needlet kernels for spherical data
Wenzhou University（温州大学）
针状体由于其在空间域和频域上的优良局部化特性，已被公认为是处理球形数据的最先进的工具。本文考虑发展核方法与needlet核的非参数回归问题的预测变量定义在一个球体上。由于在频域中的局部化性质，我们证明了与针状核相关的核岭回归的正则化参数可以任意快速地减小。一个自然的结果是核岭回归的正则化项在速率最优性的意义上是不必要的。基于其在空间域上的优良局部化性质，我们还证明了所有与needlet核相关的$l^{q}$ $(01\leq q < \infty)$核正则化估计，包括核lasso估计和核桥估计，在速率最优意义下，对大范围的正则化参数具有几乎相同的推广能力.这一发现初步表明，如果针内核被利用，那么选择$q$可能不会有很大的影响，在某些建模环境中的泛化能力。从这个角度来看，$q$可以被任意指定，或者仅由其他非泛化标准（如平滑度、计算复杂性、稀疏性等）指定。
2015-09-10 cs.LG stat.ML
Dimensionality Reduction and Wasserstein Stability for Kernel Regression
ETH Zürich（苏黎世联邦理工学院）；Universität Hamburg（汉堡大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文研究了高维回归中先降维再进行核回归的两步法，推导了基于Wasserstein距离的核回归稳定性结果以界定误差，并将其应用于PCA推导出收敛速率，特别适用于半监督设置。
2023-11-27 cs.LG cs.NA math.NA
$L_1$-norm Regularized Indefinite Kernel Logistic Regression
School of Statistics and Data Science, Qufu Normal University（统计与数据科学学院，曲阜师范大学）；Dongfang College, ShanDong University of Finance and Economics（东方学院，山东财经大学）
核逻辑斯谛回归（KLR）是一种功能强大的分类方法，广泛应用于不同的领域。在许多现实世界的场景中，不定核比正定核捕获更多的特定于域的结构信息。提出了一种新的$L_1$ -范数正则化不定核逻辑斯谛回归（RIKLR）模型，该模型通过引入$L_1$ -范数惩罚函数来扩展已有的IKLR框架.这种正则化的引入增强了可解释性和推广性，同时将非光滑性和非凸性引入优化领域。为了解决这些挑战，理论上接地和计算效率的近端线性化算法的开发。在多个基准数据集上的实验结果表明，该方法在准确性和稀疏性方面都具有优异的性能。
2025-10-30 cs.LG stat.ML
A Comparative Study of Pairwise Learning Methods based on Kernel Ridge Regression
Ghent University（根特大学）；University of Turku（图尔库大学）
许多机器学习问题可以公式化为一对对象的预测标签。这类问题通常被称为成对学习、二元预测或网络推理问题。在过去的十年中，核方法在成对学习中发挥了主导作用。它们仍然获得了最先进的预测性能，但在机器学习文献中对其行为的理论分析还不够深入。在这项工作中，我们审查和统一现有的基于内核的算法，通常用于不同的成对学习设置，从矩阵过滤到zero-shot学习。为此，我们专注于克罗内克核岭回归的封闭形式的有效实例。我们发现，独立的任务内核岭回归，两步内核岭回归和线性矩阵滤波器自然出现的Kronecker内核岭回归的特殊情况下，这意味着所有这些方法隐式地最小化平方损失。此外，我们分析了普适性，一致性和光谱滤波性质。我们的理论结果提供了有价值的见解，在评估现有的成对学习方法的优点和局限性。
2018-03-05 cs.LG stat.ML
Structure Discovery in Nonparametric Regression through Compositional Kernel Search
U. Cambridge（剑桥大学）；MIT（麻省理工学院）
尽管它的重要性，在非参数回归的内核的结构形式的选择仍然是一个黑色的艺术。我们定义了一个空间的内核结构，这是由添加和乘以少量的基本内核组成。我们提出了一种方法来搜索这个空间的结构，反映了科学发现的过程。学习的结构通常可以将函数分解为可解释的组件，并在时间序列数据集上进行长距离外推。我们的结构搜索方法在各种预测任务上优于许多广泛使用的内核和内核组合方法。
2013-05-13 cs.LG stat.ME stat.ML
Kernel Ridge Regression over Hölder Classes: Function and Derivative Losses
该研究针对Hölder-Zygmund类的非参数回归，证明了设定错误的核岭回归可达到极小极大L2速率，同时发现其在Hölder-Zygmund范数下的正则化恰当性会随样本量增大失效。
2026-11-03 cs.LG math.ST stat.ML
Learning Theory of Distributed Regression with Bias Corrected Regularization Kernel Network
Zhejiang University（浙江大学）；Fudan University（复旦大学）；Middle Tennessee State University（中田纳西州立大学）
分布式学习是分析大数据的有效方法。在分布式回归中，一种典型的方法是将大数据划分为多个块，对每个块应用基本回归算法，然后简单地对从这些块中学习的输出函数进行平均。由于平均过程将减少方差，而不是偏差，如果基本回归算法是有偏的，则偏差校正有望改善学习性能。正则化核网络是非线性回归分析的一种有效且广泛应用的方法。在本文中，我们将研究正则化核网络的偏差校正版本。当它被应用到一个单一的数据集，当它被应用为分布式回归的基本算法，我们推导出的误差界。我们表明，在某些适当的条件下，最佳的学习率可以达到在这两种情况下。
2017-08-07 cs.LG stat.ML
Risk Convergence of Centered Kernel Ridge Regression with Large Dimensional Data
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本文对一种称为\emph{centered kernel ridge regression}（CKRR）的核岭回归的变体进行了高维分析，在文献中也称为带偏移的核岭回归。这种改进的技术是通过考虑回归问题中的偏差而获得的，该偏差导致旧核岭回归，但具有\emph{centered}核。分析是在假设数据来自高斯分布并严重依赖随机矩阵理论（RMT）工具的情况下进行的。在数据维数和训练规模以固定比例无限大的制度下，并在一些温和的假设下控制数据统计，我们表明，经验和预测风险收敛到一个确定性的数量，以封闭的形式描述CKRR的性能的数据统计和尺寸。受这一理论结果的启发，我们随后基于训练数据构建了预测风险的相合估计量，从而可以最佳地调整设计参数。所提出的分析的一个关键见解是这样一个事实，即渐近一大类内核实现相同的最小预测风险。这一见解得到了合成数据和真实数据的验证。
2019-04-19 cs.LG stat.ML
Random Machines Regression Approach: an ensemble support vector regression model with free kernel choice
Federal University of Bahia（巴伊亚联邦大学）；Federal Institute of Pernambuco（伯南布哥联邦学院）；University of São Paulo（圣保罗大学）
机器学习技术总是以减少广义预测误差为目标。为了减少它，集成方法提出了一个很好的方法，结合几个模型，结果在一个更大的预测能力。随机机已经被证明是一种强大的技术，即：高预测能力，分类任务，在这篇文章中，我们提出了一个过程，使用袋加权支持向量模型回归问题。仿真研究是在人工数据集和真实数据基准上实现的。结果表明，回归随机机具有较低的泛化误差，在调整过程中无需选择最佳的核函数，具有良好的性能。
2020-03-27 cs.LG stat.AP stat.ML
Accelerating Regularized Attention Kernel Regression for Spectrum Cartography
College of Computing and Data Science, Nanyang Technological University（计算与数据科学学院，南洋理工大学）
本文提出LAKER算法，通过学习数据依赖的预处理器降低条件数瓶颈，加速频谱制图中的正则化注意力核回归，提升收敛速度和重建精度。
2026-04-28 cs.LG math.OC
Stochastic Low-Rank Kernel Learning for Regression
CNRS（法国国家科学研究中心）；Aix-Marseille Université（艾克斯-马赛大学）；Université du Sud-Toulon-Var（南土伦瓦尔大学）
我们提出了一种新的方法来学习基于核的回归函数。它是基于useof圆锥组合的数据为基础的参数化内核和一个新的随机凸优化程序，我们建立收敛保证。整个学习过程具有良好的性质，a）学习的圆锥组合被自动设计为执行手头的回归任务，以及b）优化过程所涉及的更新非常便宜。为了阐明我们的学习策略的恰当性，我们提出了在各种基准数据集上进行实验的经验结果。
2012-01-11 cs.LG
Learning Rates for Kernel-Based Expectile Regression
University of Stuttgart（斯图加特大学）
有条件预期证券在金融和其他应用领域正成为越来越重要的工具。我们分析了一个支持向量机类型的方法估计条件expectles和建立学习率是最小最大最优模对数因子，如果使用高斯RBF内核和所需的expectile是光滑的Besov意义上的。作为一种特殊情况，我们的学习率提高了这种情况下基于核的最小二乘回归的最佳已知率。我们的统计分析的关键成分是一个一般的校准不等式的非对称最小二乘损失，相应的方差界以及高斯RBF核的改进的熵数界。
2017-02-27 cs.LG stat.ML
Exploring the Links between the Fundamental Lemma and Kernel Regression
TU Dortmund University（多特蒙德工业大学）；TU Hamburg（汉堡工业大学）
该研究探究并形式化了核回归与基本引理非线性扩展的关联，通过变换汉克尔矩阵线性方程得到保留持续激励要求的系统轨迹隐式核表示，证明其等价于特定核回归问题的解，并探究了核结构与对应系统类别。
2024-09-13 cs.LG cs.SY eess.SY
Multi-Kernel Regression with Sparsity Constraint
EPFL（洛桑联邦理工学院）
在本文中，我们提供了一个广义全变差（gTV）正则化的监督学习的Banach空间公式。我们确定类的核函数，在这个框架中是允许的。然后，我们提出了一个变化的监督学习在连续域混合搜索空间与gTV正则化。我们表明，该解决方案承认一个自适应位置的多核扩展。在该表示中，活动内核的数量由数据点的数量上限，而gTV正则化对内核系数施加$\ell_1$惩罚。最后，我们数值说明我们的理论的结果。
2020-12-17 cs.LG stat.ML
Tight Kernel Query Complexity of Kernel Ridge Regression and Kernel $k$-means Clustering
Carnegie Mellon University（卡内基梅隆大学）
我们提出了严格的下界的核评估所需的数量近似解决内核岭回归（KRR）和内核$k$ -均值聚类（KKMC）的$n$输入点。对于KRR，我们的相对误差逼近目标函数的最小值的界是$Ω(nd_{\mathrm{eff}}^λ/\varepsilon)$，其中$d_{\mathrm{eff}}^λ$是有效的统计维数，它紧到$\log(d_{\mathrm{eff}}^λ/\varepsilon)$因子。对于KKMC，我们找到一个$k$ -聚类实现目标函数的相对误差近似的界限是$Ω(nk/\varepsilon)$，这是紧到一个$\log(k/\varepsilon)$因素。我们的KRR结果解决了El Alaoui和Mahoney的一个开放问题的变体，即有效统计维度是否是抽样复杂性的下限。此外，对于重要的实际情况下，当输入是高斯的混合，我们提供了一个KKMC算法绕过上述下限。
2019-05-15 cs.DS cs.LG
The loss of the property of locality of the kernel in high-dimensional Gaussian process regression on the example of the fitting of molecular potential energy surfaces
Tokyo Institute of Technology（东京工业大学）
基于核的方法包括高斯过程回归（GPR）和通常的核岭回归（KRR）已经在计算化学中发现越来越多的使用，包括在高维特征空间中的势能表面和密度泛函的拟合。通常使用Matern族的核，例如类高斯核（基函数），这允许赋予它们协方差函数的含义，并将GPR公式化为高斯分布的均值的估计器。核的局部性的概念对于这种解释是至关重要的。这也是至关重要的制定多zeta型基函数广泛应用于计算化学我们显示，在拟合的分子势能面的维数增加的例子，实际消失的性质的局部性的高斯核在高维。我们还制定了一个多zeta方法的内核，并表明它显着提高了低维回归的质量，但失去了任何优势，在高维，这是由于损失的财产的地方。
2022-11-21 cs.LG physics.chem-ph stat.ML
Kernel Regression for Graph Signal Prediction in Presence of Sparse Noise
KTH Royal Institute of Technology（KTH皇家理工学院）
在稀疏噪声的存在下，我们提出了核回归预测的输出向量是光滑的一个给定的图。稀疏噪声对训练输出进行建模，训练输出被丢失的样本或大的扰动破坏。稀疏噪声的存在通过在凸代价函数中适当使用$\ell_1$ -范数以及使用$\ell_2$ -范数来处理。对于优化的成本函数，我们提出了一个迭代加权最小二乘（IRLS）的方法，是适合于内核替换或内核技巧，由于可用的封闭形式的解决方案。使用真实世界温度数据的模拟显示了我们所提出的方法的有效性，主要是针对有限大小的训练数据集。
2018-11-06 cs.LG stat.ML
Randomized sketches for kernels: Fast and optimal non-parametric regression
University of California, Berkeley（加州大学伯克利分校）
核岭回归（KRR）是在再生核希尔伯特空间上执行非参数回归的标准方法。给定$n$样本，计算KRR估计尺度分别为$\mathcal{O}(n^3)$和$\mathcal{O}(n^2)$的时间和空间复杂度在许多情况下是禁止的。我们提出了基于$m$维随机草图的核矩阵的KRR近似，并研究了如何小的投影尺寸$m$可以选择，同时仍然保持极小极大最优的近似KRR估计。对于各类随机草图，包括那些基于高斯和随机Hadamard矩阵，我们证明，它足以选择草图尺寸$m$成比例的统计尺寸（模对数因子）。因此，我们得到快速和极小极大最佳逼近的KRR估计的非参数回归。
2015-01-25 cs.DS cs.LG stat.CO
The Directional Bias Helps Stochastic Gradient Descent to Generalize in Kernel Regression Models
本文研究了非参数统计中的随机梯度下降（SGD）算法：特别是核回归。SGD的方向偏差属性，这是已知的线性回归设置，推广到核回归。更具体地说，我们证明了SGD与温和的退火步长收敛沿的方向对应的最大特征值的革兰氏矩阵的特征向量。此外，具有中等或小步长的梯度下降（GD）沿着对应于最小特征值的方向收敛。这些事实被称为方向偏差属性;它们可以解释SGD计算的估计量如何比GD计算的估计量具有潜在的更小的泛化误差。我们的理论的应用证明了模拟研究和案例研究，是基于FashionMNIST数据集。
2022-04-29 cs.LG stat.ML
Protein Function Prediction Based on Kernel Logistic Regression with 2-order Graphic Neighbor Information
Beihang University（北京航空航天大学）
为了提高蛋白质相互作用蛋白质相互作用功能预测的准确性，提出了一种基于无向简单图的二阶图邻域信息特征提取方法，扩展了一阶图邻域特征提取方法。在特征组合中还采用了卡方检验统计方法。为了证明我们的2阶图形邻居特征的有效性，四个逻辑回归模型（逻辑回归（焦v. LR），扩散核逻辑回归（焦v. DKLR），多项式核逻辑回归（焦v. PKLR），和径向基函数（RBF）为基础的核逻辑回归（焦v. RBF KLR））的两个特征集进行了研究。利用慕尼黑蛋白质序列信息中心（MIPS）的蛋白质相互作用数据对酵母蛋白质组数据库（YPD）的蛋白质功能进行预测的实验结果表明，蛋白质的二阶图邻域信息可以显著提高蛋白质功能预测的平均总体百分比，尤其是RBF KLR。采用一种新的5-top卡方特征组合方法，RBF KLR在2阶近邻特征组合集上的平均综合率达到99.05%。
2012-07-18 cs.LG q-bio.MN q-bio.QM
Indefinite Kernel Logistic Regression with Concave-inexact-convex Procedure
Shanghai Jiao Tong University（上海交通大学）；Nanjing University of Science and Technology（南京理工大学）；KU Leuven（鲁汶大学）
在核方法中，通常要求核是正定的，这限制了许多不定核的使用。为了考虑这些非正定核，本文旨在为核逻辑回归建立一个不定核学习框架。在再生核\u <$n空间（RKKS）中分析了所提出的不定核逻辑回归（IKLR）模型，使其成为非凸的.利用非正定核的正分解，导出的IKLR模型可以分解为两个凸函数的差。相应地，一个凹凸过程被引入到解决非凸优化问题。由于凹凸过程在每次迭代中都要求解一个子问题，因此我们提出了一种具有不精确求解方案的凹凸过程（CCICP）算法来加速求解过程。此外，我们提出了一个随机变量的CCICP有效地获得一个近似的解决方案，这达到了类似的目的，在CCICP的不精确的解决方案。对这两种变式的凹凸过程进行了收敛性分析。通过这样做，我们的方法不仅在确定性设置下有效地工作，而且在随机设置下有效地工作。几个基准的实验结果表明，建议IKLR模型表现良好的标准（正定）核逻辑回归和其他竞争力的不确定学习算法。
2020-05-29 cs.LG stat.ML
Kernel Selection for Modal Linear Regression: Optimal Kernel and IRLS Algorithm
Kyoto University（京都大学）
模态线性回归（MLR）是用于获得作为线性模型的条件模式预测器的方法。我们从两个角度研究了MLR的核选择：“哪一个核实现更小的误差？和“哪个内核在计算上是有效的？".首先，我们证明了一个双权内核是最佳的意义上最小化的渐近均方误差的MLR参数。这一结果来自我们对MLR的渐近统计行为的精细分析。其次，我们提供了一个核类，迭代加权最小二乘算法（IRLS）是保证收敛的，特别是证明了IRLS与Epanechnikov核终止于有限次迭代。仿真研究经验验证，使用双权内核提供了良好的估计精度，使用Epanechnikov内核是计算效率。我们的结果改善了MLR，现有的研究往往坚持高斯核和模态期望最大化算法专门为它，通过提供核选择的指导方针。
2020-01-30 cs.LG math.ST stat.CO
Coresets for Kernel Regression
University of Utah（犹他大学）
核回归是非参数数据分析的一个基本和普遍的工具，特别是在时间序列和空间数据中。然而，执行多次的中央操作，在数据集上评估内核，需要线性时间。这对于现代大型数据集是不切实际的。在本文中，我们描述核回归的核心集：压缩的数据集，可以作为原始数据的代理，并有可证明的有界最坏情况下的错误。核心集的大小与数据点的原始数量无关，而只取决于误差保证，在某些情况下还取决于域的大小和平滑量。我们评估我们的方法非常大的时间序列和空间数据，并证明，它们产生的误差可以忽略不计，可以非常有效地构建，并允许巨大的计算收益。
2017-05-31 cs.DS cs.LG
On the Saturation Effect of Kernel Ridge Regression
Tsinghua University（清华大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
本文证明了核岭回归在真实函数平滑度超过一定水平时无法达到信息论下界的饱和效应长期猜想。
2024-05-28 cs.LG stat.ML
Large Dimensional Kernel Ridge Regression: Extending to Product Kernels
Department of Statistics and Data Science（统计与数据科学系）；Tsinghua University（清华大学）；Department of Mathematical Science（数学科学系）
本文研究了高维核岭回归中乘积核的收敛性，揭示了在不同源条件下的最优性、饱和效应及多 descent 行为。
2026-05-14 cs.LG stat.ML
Nonlinear Causal Discovery via Kernel Anchor Regression
Tsinghua University（清华大学）；University of Oxford（牛津大学）
学习因果关系是科学中的一个基本问题。锚回归已经被开发来解决这个问题的一个大类的因果图模型，虽然变量之间的关系被假设为线性的。在这项工作中，我们解决了非线性设置，提出核锚回归（KAR）。除了使用经典的两阶段最小二乘估计的自然配方，我们还研究了一个改进的变种，涉及非参数回归在三个不同的阶段。我们提供了建议的KAR估计的收敛性结果和KAR学习非线性结构方程模型（SEM）的可识别性条件。实验结果表明，所提出的KAR估计优于现有的基线性能。
2022-10-30 cs.LG stat.ME stat.ML
Consistent regression of biophysical parameters with kernel methods
Image Processing Lab (IPL), Universitat de Val\`encia, Val\`encia, Spain
本文介绍了一种新的统计回归框架，允许纳入一致性约束。一个线性和非线性（内核为基础的）配方介绍，都意味着封闭形式的解析解。该模型利用来自一组驱动程序的所有信息，同时最大限度地独立于一组辅助的受保护变量。我们成功地说明了叶绿素含量的估计性能。
2020-12-09 cs.LG stat.ME stat.ML
Matrix completion and extrapolation via kernel regression
Universitat Politècnica de Catalunya-Barcelona Tech（加泰罗尼亚理工大学-巴塞罗那理工大学）；University of Minnesota（明尼苏达大学）
矩阵完成和外推（MCEX）在这里处理再生核希尔伯特空间（RKHS），以考虑现有数据中的先验信息。针对快速和低复杂度的求解器，该任务被制定为一个核心岭回归。由此产生的MCEX算法也可以提供在线实现，而类的核函数也包括现有的方法MC与先验信息。对合成数据集和真实数据集的数值测试表明，该方法比交替最小二乘（ALS）或随机梯度下降（SGD）等广泛使用的方法执行得更快，并且恢复误差减少，特别是在处理噪声数据时。
2019-03-28 cs.LG stat.ML
Overfitting Behaviour of Gaussian Kernel Ridgeless Regression: Varying Bandwidth or Dimensionality
The University of Chicago（芝加哥大学）；Weizmann Institute of Science（魏茨曼科学研究所）；TTI-Chicago（芝加哥丰田技术研究所）
本文分析高斯核无岭回归在带宽或维度随样本量变化时的过拟合，刻画固定维与递增维情形，并首次给出次多项式维数下的良性过拟合示例。
2024-09-05 cs.LG stat.ML
Online nonparametric regression with Sobolev kernels
University of Potsdam（波茨坦大学）；Centre de Recherche INRIA de Paris（法国国家信息与自动化研究所巴黎研究中心）；IRT Saint Exupéry（圣埃克苏佩里技术研究院）；Institut de Mathématiques de Toulouse（图卢兹数学研究所）
在这项工作中，我们调查的变化，在线核岭回归算法的设置$d-$维对抗非参数回归。本文给出了索伯列夫空间类$W_{p}^β(\mathcal{X})$，$p\geq 2, β>\frac{d}{p}$的遗憾上界.最小最大遗憾分析支持的上界，这表明，在情况下$β> \frac{d}{2}$或$p=\infty$，这些利率是（基本上）最优的。最后，我们比较了核岭回归预测器的性能，已知的非参数预测器的遗憾率和计算复杂性，以及在统计（i.i.d.）非参数回归。
2021-07-13 cs.LG math.ST stat.ML
Uniform convergence for Gaussian kernel ridge regression
本文首次证明固定超参数的高斯核岭回归在一致范数和L2范数下具有多项式收敛速率，填补理论空白，为非参数回归提供理论依据。
2025-09-11 cs.LG stat.ML
Electricity Price Prediction Using Multi-Kernel Gaussian Process Regression Combined with Kernel-Based Support Vector Regression
Faculty of Mathematics and Economics, Ulm University（数学与经济学学院，乌尔姆大学）；Institute of Energy Engineering and Energy Economics, Ulm University of Applied Sciences（能源工程与能源经济学研究所，应用科学大学乌尔姆）；Emlyon Business School, Lyon, France（埃默里昂商学院，法国里昂）
本文提出一种新的混合模型用于预测德国电力价格，结合高斯过程回归和支持向量回归，通过选择合适的数据依赖协方差函数提升GPR性能，并利用支持向量回归处理非线性过程和异常值，实验表明优于现有基准模型。
2025-07-31 cs.LG math.PR
Instrumental Variable Regression via Kernel Maximum Moment Loss
Australian National University（澳大利亚国立大学）；The University of Tokyo（东京大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；CISPA–Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
我们研究了一个简单的目标，非线性工具变量（IV）回归的基础上核化的条件矩限制（CMR）被称为最大矩限制（MMR）。MMR目标是通过最大化残差和属于再生核希尔伯特空间（RKHS）中的单位球的仪器之间的相互作用来制定的。首先，它允许我们将IV回归简化为经验风险最小化问题，其中风险泛函取决于仪器上的再现核，并且可以通过U统计量或V统计量来估计。其次，基于这种简化，我们能够提供参数和非参数设置的一致性和渐近正态性结果。最后，我们提供了易于使用的IV回归算法和一个有效的超参数选择过程。我们证明了我们的算法的有效性，使用合成和真实世界的数据上的实验。
2023-02-09 cs.LG
Changing the Kernel During Training Leads to Double Descent in Kernel Regression
KTH Royal Institute of Technology（瑞典皇家理工学院）
该研究发现训练中减小平移不变核带宽可使核回归出现双下降，带宽降至零能实现良性过拟合且无需模型选择，该策略效果优于恒定带宽方法，还可迁移到神经网络优化NTK以提升收敛效率与过拟合特性。
2025-05-16 cs.LG math.OC stat.ME
Sparse Attention as Compact Kernel Regression
Instituto Superior Técnico & Instituto de Telecomunicações, Universidade de Lisboa, Portugal（里斯本大学理工学院及电信研究所，葡萄牙）；Champalimaud Research, Lisbon, Portugal（Champalimaud研究，葡萄牙里斯本）；TransPerfect, Lisbon, Portugal（TransPerfect，葡萄牙里斯本）；Carnegie Mellon University, Pittsburgh, USA（卡内基梅隆大学，美国匹兹堡）
本文通过核理论将稀疏注意力与紧凑核回归联系起来，揭示了ReLU和sparsemax注意力与Epanechnikov核回归的关系，并展示了核方法在注意力设计中的应用。
2026-10-28 cs.LG
