Multiresolution Kernel Approximation for Gaussian Process Regression
高斯过程回归通常在不应用某种核近似方法的情况下不扩展到超过几千个数据点。大多数近似集中在核矩阵$K$的谱的高特征值部分，这在核的长度尺度小时导致差的性能。在本文中，我们介绍了多分辨率核近似（MKA），第一个真正的宽带核近似算法。关于MKA的重要点是它是内存有效的，并且它是一种直接方法，这意味着它也可以很容易地近似$K^{-1}$和$\mathop{\textrm{det}}(K)$。
2018-01-30 stat.ML
Scaling up Kernel Ridge Regression via Locality Sensitive Hashing
EPFL（洛桑联邦理工学院）；Microsoft Research（微软研究院）；Google Research（谷歌研究院）
在Rahimi和Recht（2007）的开创性论文中引入的随机分箱特征是使用局部敏感散列近似核矩阵的有效方法。随机分箱特征提供了一种非常简单和有效的近似拉普拉斯核的方法，但不幸的是，它不适用于许多重要的核类别，特别是那些生成平滑高斯过程的核，如高斯核和Matern核。在本文中，我们介绍了一个简单的加权版本的随机装箱功能，并表明相应的核函数生成高斯过程的任何期望的平滑度。我们表明，我们的加权随机分仓功能提供了一个频谱近似相应的内核矩阵，导致有效的算法内核岭回归。在大规模回归数据集上的实验表明，该方法的精度优于随机傅立叶特征方法。
2020-03-21 cs.DS cs.LG stat.ML
Scalable Gaussian Process Regression for Kernels with a Non-Stationary Phase
Institute for Electrical Engineering in Medicine, Universität zu Lübeck（吕贝克大学医用电工研究所）
高斯过程（GPs）的应用，以大数据集是有限的，由于沉重的内存和计算要求。已经提出了各种方法来实现可伸缩性，其中之一是利用内核矩阵中的结构。然而，以前的方法，不能很容易地处理非平稳过程。本文提出了一个有效的GP框架，扩展结构核插值方法的GP与非平稳相位。我们特别对待混合物的非平稳过程，这是常用的分离问题的背景下，例如在生物医学信号处理。我们的方法采用多组非等距诱导点占的非平稳性和检索Toeplitz和Kronecker结构的核矩阵，允许有效的推理。核学习是通过优化边际似然来完成的，边际似然可以使用随机迹估计方法有效地近似。我们的方法证明了数值例子和大型生物医学数据集。
2019-12-25 cs.LG stat.ML
Non-Stationary Gaussian Process Regression with Hamiltonian Monte Carlo
提出了一种新的完全非平稳高斯过程回归（GPR）方法，其中所有三个关键参数-噪声方差，信号方差和长度尺度-可以同时依赖于输入。我们开发了基于梯度的推理方法来学习未知函数和非平稳模型参数，而不需要任何模型近似。我们提出了推断全参数后验的哈密顿蒙特卡罗（HMC），方便地扩展了基于分析梯度的GPR学习与模型梯度引导采样。我们还学习后验的梯度上升的MAP解决方案。在几个合成数据集的实验和时间基因表达的建模中，非平稳GPR被证明是必要的建模现实的输入相关的动态，而它执行传统的固定或以前的非平稳GPR模型，否则。
2015-08-18 stat.ML
Semi-supervised Deep Kernel Learning: Regression with Unlabeled Data by Minimizing Predictive Variance
Stanford University（斯坦福大学）
训练深度学习模型通常需要大量标记数据。然而，对于许多现实问题，获取额外的数据可能是昂贵的，甚至是不可能的。我们提出了半监督深度核学习（SSDKL），这是一种基于后验正则化框架中最小化预测方差的半监督回归模型。SSDKL将神经网络的分层表示学习与高斯过程的概率建模能力相结合。通过利用未标记的数据，我们展示了对各种现实回归任务的改进，这些任务优于有监督的深度内核学习和半监督方法，如适用于回归的VAT和平均教师。
2019-03-04 cs.AI cs.LG stat.ML
Marginalising over Stationary Kernels with Bayesian Quadrature
University of Oxford（牛津大学）
边缘化高斯过程内核的家庭产生灵活的模型类与良好校准的不确定性估计。现有的方法需要对许多内核进行似然评估，这使得它们对于较大的数据集来说过于昂贵。我们提出了一个贝叶斯正交方案，使这种边缘化更有效，从而更实用。通过使用分布之间的最大平均差异，我们定义了一个内核，捕获光谱混合（SM）内核之间的不变性。核样本的选择通过概括的信息理论的收购函数扭曲贝叶斯正交。我们表明，我们的框架实现了更准确的预测，具有更好的校准不确定性比最先进的基线，特别是在有限的（挂钟）时间预算。
2023-03-15 cs.LG stat.ML
The loss of the property of locality of the kernel in high-dimensional Gaussian process regression on the example of the fitting of molecular potential energy surfaces
Tokyo Institute of Technology（东京工业大学）
基于核的方法包括高斯过程回归（GPR）和通常的核岭回归（KRR）已经在计算化学中发现越来越多的使用，包括在高维特征空间中的势能表面和密度泛函的拟合。通常使用Matern族的核，例如类高斯核（基函数），这允许赋予它们协方差函数的含义，并将GPR公式化为高斯分布的均值的估计器。核的局部性的概念对于这种解释是至关重要的。这也是至关重要的制定多zeta型基函数广泛应用于计算化学我们显示，在拟合的分子势能面的维数增加的例子，实际消失的性质的局部性的高斯核在高维。我们还制定了一个多zeta方法的内核，并表明它显着提高了低维回归的质量，但失去了任何优势，在高维，这是由于损失的财产的地方。
2022-11-21 cs.LG physics.chem-ph stat.ML
Harmonizable mixture kernels with variational Fourier features
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所 HIIT）；Aalto University（阿尔托大学）
高斯过程的表达能力很大程度上取决于核的选择。在这项工作中，我们提出了新的协调混合内核（HMK），一个家庭的表现力，可解释的，非平稳的内核来自混合模型的广义谱表示。作为非平稳核的理论上合理的处理，HMK支持协调协方差，包括所有平稳和许多非平稳协方差的广泛的核子集。我们还提出了变分傅立叶特征，一个域间稀疏GP推理框架，提供了一组代表性的“诱导频率”。我们表明，调和混合内核插值局部模式之间，变分傅立叶特征提供了一个强大的内核学习框架的新的内核家庭。
2019-03-11 cs.LG stat.ML
Adaptive Bayesian nonparametric regression using kernel mixture of polynomials with application to partial linear model
本文提出了一种贝叶斯非参数回归的核混合多项式先验。回归函数由具有核混合权重的多项式的局部平均来建模。我们得到的最小最优收缩率的充分后验分布的对数因子，适应的平滑程度的真实功能，通过估计某些功能类的度量熵。我们还提供了一个频率筛最大似然估计与接近最佳的收敛速度。我们进一步研究了多项式的核混合对部分线性模型的应用，并获得了非参数分量的近最优收缩率和Bernstein-von Mises极限（即，渐近正态性）。所提出的方法与数值例子说明，并显示优越的性能相比，本地多项式回归，DiceKriging，和强大的高斯随机过程的计算效率，精度和不确定性量化。
2018-09-13 math.ST stat.TH
Learning "best" kernels from data in Gaussian process regression. With application to aerodynamics
ONERA–The French Aerospace Lab（法国航空航天实验室（ONERA））；California Institute of Technology（加州理工学院）
介绍了高斯过程回归/克里格替代建模技术中核函数的选择和设计算法。我们采用核方法在特定的函数空间，即再生核希尔伯特空间（RKHS）中设置解，来解决给定观测值的正则目标函数的逼近问题，即监督学习。第一类算法是核流，其在机器学习中的分类的上下文中被引入。它可以被看作是一个交叉验证过程，其中一个“最好的”内核被选择，使得删除数据集的一部分（通常是一半）所带来的准确性损失最小化。第二类算法被称为谱核岭回归，其目的是选择“最佳”核，使得要近似的函数的范数在相关联的RKHS中是最小的。在默瑟定理的框架内，我们得到了一个明确的建设，“最好的”内核的主要功能的目标函数。这两种方法的学习核数据的合成测试功能的数值例子说明，并在一个经典的测试情况下，跨音速流动的二维翼型的湍流模型验证。
2022-08-31 cs.LG stat.ML
Conformalized Kernel Ridge Regression
IITP RAS（俄罗斯科学院信息技术问题研究所）；Skoltech（斯科尔科沃科学技术学院）
一般预测模型不提供没有贝叶斯假设的预测的置信度度量。规避潜在限制的一种方法是使用保形方法来构造非参数置信区域，其提供关于有效性的保证。在本文中，我们提供了一个计算有效的核岭回归（KRR）的保形过程的详细描述，并进行了比较数值研究，看看如何以及保形区域对贝叶斯置信集执行。研究结果表明，一致化KRR可以得到具有特定覆盖率的预测置信区域，这对于构建基于预测模型的异常检测系统至关重要.
2016-09-19 cs.LG stat.AP stat.ML
Preconditioned Krylov solvers for kernel regression
University of Maryland（马里兰大学）
本文研究了核回归中求解密集线性系统的问题，提出了一种新型灵活预条件器，提升收敛速度并利用快速核矩阵向量乘法。
2014-08-06 cs.NA math.NA
Non-asymptotic Analysis of Matérn Regression: The Roles of Target and Kernel Lengthscales
Department of Statistics, University of Chicago（芝加哥大学统计系）
本研究针对周期域拟均匀设计下的Matérn回归，建立有限样本理论，明确目标与核长度尺度对回归精度的影响，揭示分辨率条件与光滑性对恢复误差的作用规律。
2026-08-25 cs.NA math.NA math.ST
Geometric Kernel Interpolation and Regression
University of California, Irvine（加州大学尔湾分校）
本文提出基于核的插值与回归方法，用于计算光滑超曲面的几何量，并通过核基 meshfree 方法近似几何算子。
2026-02-06 cs.NA math.NA
Dimensionality Reduction and Wasserstein Stability for Kernel Regression
ETH Zürich（苏黎世联邦理工学院）；Universität Hamburg（汉堡大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文研究了高维回归中先降维再进行核回归的两步法，推导了基于Wasserstein距离的核回归稳定性结果以界定误差，并将其应用于PCA推导出收敛速率，特别适用于半监督设置。
2023-11-27 cs.LG cs.NA math.NA
Diffusion Maps Kernel Ridge Regression
The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出采用扩散映射（DM）核的核岭回归，证明DM核收敛到热核，其RKHS与高斯核等距同构，且数值验证了DM核在带边界流形监督学习中的优势。
2026-08-11 cs.NA math.NA math.ST
Easy representation of multivariate functions with low-dimensional terms via Gaussian process regression kernel design: applications to machine learning of potential energy surfaces and kinetic energy densities from sparse data
我们表明，高斯过程回归（GPR）允许通过核设计来表示具有低维项的多元函数。当使用用HDMR（高维模型表示）构建的内核时，可以获得与先前提出的HDMR-GPR方案类似类型的表示，同时使用起来更快和更简单。我们测试了这种方法的情况下，需要高度准确的机器学习稀疏的数据，通过拟合势能表面和动能密度。
2021-11-30 cs.NA math.NA physics.comp-ph
Random Fourier Features for Kernel Ridge Regression: Approximation Bounds and Statistical Guarantees
Tel Aviv University（特拉维夫大学）；EPFL（洛桑联邦理工学院）；MIT（麻省理工学院）
随机傅立叶特征是扩展核方法（如核岭回归）的最流行技术之一。然而，尽管令人印象深刻的经验结果，随机傅立叶特征的统计特性仍然没有得到很好的理解。在本文中，我们将采取措施填补这一空白。具体而言，我们从谱矩阵近似的角度来处理随机傅立叶特征，给出实现谱近似所需的傅立叶特征的数量上的严格界限，并显示谱矩阵近似的界限如何意味着核岭回归的统计保证。定性地，我们的结果是双重的：一方面，我们表明，随机傅立叶特征近似可以证明在合理的假设下加快核岭回归。与此同时，我们表明，该方法是次优的，从傅立叶空间中的修改后的分布采样，由内核的杠杆函数，产生可证明更好的性能。我们研究了高斯核的最佳采样分布，实现了低维有界数据集的情况下几乎完整的表征。基于此特性，我们提出了一个有效的采样方案，保证优于随机傅立叶特征在这个政权。
2018-05-21 cs.DS cs.LG cs.NA
