Data eccentricity, asymptotics of Gaussian RBF reproducing kernel Hilbert space, and kernel PCA
Boston College（波士顿学院）
研究高斯RBF再生核希尔伯特空间在大带宽极限下的渐近性质，通过理论分析表明其渐近等距于欧氏空间，核主成分分析相关指标也收敛于线性主成分分析结果，还通过实验证明ρ可预测数据集收敛行为。
2026-07-27 cs.LG
Enhancing Predictive Accuracy in Pharmaceutical Sales Through An Ensemble Kernel Gaussian Process Regression Approach
University of Pittsburgh（匹兹堡大学）；Carnegie Mellon University（卡内基梅隆大学）；Swanson School of Engineering, University of Pittsburgh（匹兹堡大学斯旺森工程学院）；Duquesne University（杜肯大学）
本文提出一种融合指数平方、修正Matérn和有理二次核的集成核高斯过程回归方法，通过贝叶斯优化确定权重，在药品销售预测中取得接近1.0的R²并显著降低误差。
2024-04-15 cs.LG
Learning with Hierarchical Gaussian Kernels
Universität Stuttgart（斯图加特大学）；Bosch Healthcare Solutions（博世医疗解决方案）
我们研究了高斯核加权和的迭代组合，并提供了一种解释，显示出与深度神经网络架构的一些相似之处。在理论方面，我们表明，这些内核是普遍的，支持向量机使用这些内核是普遍一致的。我们进一步描述了一种用于内核参数的参数优化方法，并将该方法与SVM、随机森林、多内核学习方法和一些深度神经网络进行了经验比较。
2016-12-02 cs.LG stat.ML
The Gaussian kernel on the circle and spaces that admit isometric embeddings of the circle
Nanyang Technological University（南洋理工大学）
在欧氏空间中，高斯核是应用最广泛的核之一。它也被用在非欧几里德空间，在那里它是已知的，可能有（往往是）尺度参数，它是不正定的。希望仍然是这个内核是正定的参数的许多选择。然而，我们表明，高斯核是不正定的圆上的任何参数的选择。这意味着在度量空间中，圆可以等距嵌入，如球面，射影空间和格拉斯曼空间，高斯核对任何参数都不是正定的。
2023-02-21 cs.LG math.DG
An appointment with Reproducing Kernel Hilbert Space generated by Generalized Gaussian RBF as $L^2-$measure
The University of Texas at Tyler（德克萨斯大学泰勒分校）
该研究聚焦广义高斯RBF在机器学习中的应用空白，验证其在核回归、SVM、神经网络模式识别中性能优于高斯RBF核、Sigmoid、ReLU函数。
2023-12-17 cs.LG math.FA
Gaussian RBF Centered Kernel Alignment (CKA) in the Large Bandwidth Limit
Boston College（波士顿学院）
本文证明基于高斯RBF核的中心核对齐(CKA)在大带宽极限下收敛到线性CKA，并发现收敛起始对特征表示的几何形状敏感，表示偏心率限制了高斯CKA表现非线性的带宽范围。
2021-12-17 cs.LG stat.ML
Gaussian Kernel Variance For an Adaptive Learning Method on Signals Over Graphs
University of California Irvine（加州大学欧文分校）
本文讨论了一种特殊的简单但可能强大的算法，称为单核Gradraker（SKG），这是一种自适应学习方法预测未知的节点值在网络中使用已知的节点值和网络结构。我们的目的是找出如何配置的特殊类型的模型中应用的算法。更具体地说，我们专注于具有高斯内核的SKG，并指定如何为内核找到合适的方差。为此，我们引入了两个变量，我们能够设置对高斯内核方差的要求，以实现（接近）最佳性能，并可以更好地理解SKG的工作原理。我们的贡献是，我们引入了两个变量作为分析工具，说明了预测将如何受到不同的高斯内核的影响，并提供了一个算法，找到一个合适的高斯内核SKG与知识的训练网络。提供了真实数据集上的模拟结果。
2022-04-26 cs.LG eess.SP
Sparse Gaussian Processes via Parametric Families of Compactly-supported Kernels
Charles River Analytics（查尔斯河分析公司）
高斯过程是概率机器学习的强大模型，但其$O(N^3)$推理复杂性限制了其应用。我们提出了一种方法，用于导出具有紧凑空间支持的核函数的参数族，从而产生自然稀疏的核矩阵，并通过稀疏线性代数实现快速高斯过程推理。这些族推广了已知的紧支撑核函数，例如Wendland多项式。该核函数族的参数可以使用最大似然估计从数据中学习。或者，我们可以使用凸优化快速计算目标核的紧凑近似。我们证明了这些近似在对直接从目标GP提取的数据进行建模时，在精确模型上产生的误差最小，并且在现实世界的信号重建任务中可以优于传统的GP内核，同时表现出次二次推理复杂性。
2020-06-05 cs.LG stat.ML
Advanced Stationary and Non-Stationary Kernel Designs for Domain-Aware Gaussian Processes
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；University of California, Berkeley（加州大学伯克利分校）
高斯过程回归是一种应用广泛的函数逼近和不确定性量化方法。该技术由于其鲁棒性和可解释性最近在机器学习社区中流行起来。本文所讨论的数学方法是高斯过程框架的扩展。我们提出了先进的内核设计，只允许具有某些理想特性的功能是再生核希尔伯特空间（RKHS）的元素，所有的核方法的基础，并作为样本空间的高斯过程回归。这些理想的特性反映了基本的物理学;两个明显的例子是对称性和周期性约束。此外，可以在同一框架中定义非平稳核设计，以产生灵活的多任务高斯过程。我们将使用几个合成数据集和两个科学数据集来展示高级内核设计对高斯过程的影响。结果表明，包括领域知识，通过先进的内核设计进行沟通，对函数近似的准确性和相关性有显着的影响。
2022-01-27 cs.LG stat.ML
Multi-kernel Passive Stochastic Gradient Algorithms and Transfer Learning
Cornell University（康奈尔大学）；University of Connecticut（康涅狄格大学）
本文提出了一种新的被动随机梯度算法。在被动随机近似中，随机梯度算法对评估成本函数的噪声梯度的位置没有控制。经典的被动随机梯度算法使用近似Dirac delta的核来基于它们离期望点的距离来对梯度进行加权。本文构造了一种多核被动随机梯度算法。该算法在高维问题中表现得更好，并结合方差减少。分析了多核算法的弱收敛性和收敛速度。在数值例子中，我们研究了多核版本的被动最小均方（LMS）算法的迁移学习的性能与经典的被动版本进行比较。
2021-02-08 cs.LG cs.SY eess.SP
Uniform convergence for Gaussian kernel ridge regression
本文首次证明固定超参数的高斯核岭回归在一致范数和L2范数下具有多项式收敛速率，填补理论空白，为非参数回归提供理论依据。
2025-09-11 cs.LG stat.ML
Kernel Interpolation for Scalable Structured Gaussian Processes (KISS-GP)
Carnegie Mellon University（卡内基梅隆大学）；Philips Research Hamburg（飞利浦汉堡研究院）
我们引入了一个新的结构化核插值（SKI）框架，该框架推广和统一了可伸缩高斯过程（GP）的诱导点方法。SKI方法通过核插值产生用于快速计算的核近似。SKI框架阐明了诱导点方法的质量如何取决于诱导（又名插值）点的数量、插值策略和GP协方差核。SKI还提供了一种机制，通过选择不同的内核插值策略来创建新的可扩展内核方法。使用SKI和局部三次内核插值，我们引入了KISS-GP，它1）比诱导点替代方案更具可扩展性，2）自然地使Kronecker和Toeplitz代数在可扩展性方面获得了实质性的额外增益，而不需要任何网格数据，3）可用于快速和富有表现力的内核学习。KISS-GP的时间复杂度为O（n）。我们评估KISS-GP的核矩阵近似，核学习和自然声音建模。
2015-03-03 cs.LG stat.ML
Evolving Gaussian Process kernels from elementary mathematical expressions
University of the Basque Country UPV/EHU（巴斯克大学 UPV/EHU）；Basque Center for Applied Mathematics BCAM（巴斯克应用数学中心 BCAM）
在许多机器学习应用中，选择最合适的内核至关重要。高斯过程是一种最先进的回归和分类技术，它严重依赖于核函数。然而，在高斯过程文献中，内核通常是特别设计的，从预定义的集合中选择，或者在已经先验定义的内核的组合物的空间中搜索。在本文中，我们提出了一个遗传编程算法，表示作为一个基本的数学表达式树的核函数。通过这种表示，可以对更广泛的内核集进行建模，可以找到潜在的更好的解决方案，尽管也会出现新的挑战。所提出的算法能够克服这些困难，并找到内核，准确地模拟数据的特性。该方法已在几个真实世界的时间序列外推问题中进行了测试，在降低内核复杂性的同时提高了最先进的结果。
2019-10-14 cs.LG stat.ML
Optimal Transport for Kernel Gaussian Mixture Models
Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心）；Stony Brook University（石溪大学）
本文针对再生核希尔伯特空间中高斯混合模型距离度量研究不足的问题，提出一种基于核技巧的Wasserstein型度量，用于计算核高斯混合模型之间的距离。
2023-10-28 cs.LG stat.ML
The Minecraft Kernel: Modelling correlated Gaussian Processes in the Fourier domain
Secondmind
在单变量情况下，使用核谱表示是生成平稳协方差函数的一种有吸引力的方法。然而，对多输出高斯过程执行相同的任务更具挑战性。我们表明，目前的方法来建模的光谱混合内核的互协方差具有一个关键的盲点。对于给定的一对过程，除了它们的谱密度具有相同形状的特殊情况外，互协方差在允许的相关性的整个范围内是不可再现的。我们提出了一个解决这个问题的方法，用有限带宽的块分量（即矩形阶跃函数）取代传统的高斯分量的光谱混合。建议的家庭内核代表了第一个多输出概括的光谱混合内核，可以近似任何固定的多输出内核到任意精度。
2021-03-11 cs.LG stat.ML
Overfitting Behaviour of Gaussian Kernel Ridgeless Regression: Varying Bandwidth or Dimensionality
The University of Chicago（芝加哥大学）；Weizmann Institute of Science（魏茨曼科学研究所）；TTI-Chicago（芝加哥丰田技术研究所）
本文分析高斯核无岭回归在带宽或维度随样本量变化时的过拟合，刻画固定维与递增维情形，并首次给出次多项式维数下的良性过拟合示例。
2024-09-05 cs.LG stat.ML
Product Kernel Interpolation for Scalable Gaussian Processes
Cornell University（康奈尔大学）；Tsinghua University（清华大学）
最近的工作表明，高斯过程的推理可以有效地使用迭代法，只依赖于矩阵向量乘法（MVMs）。结构化核插值（SKI）通过使用非常快速的SVM导出近似核来利用这些技术。不幸的是，这种策略受到维度灾难的严重影响。我们开发了一种新的技术MVM的学习，利用产品的内核结构。我们证明，这种技术是广泛适用的，导致线性而不是指数运行时间与SKI的尺寸，以及国家的最先进的渐近复杂性多任务的GP。
2018-02-24 cs.LG stat.ML
Differentiable Compositional Kernel Learning for Gaussian Processes
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Uber Advanced Technologies Group（优步先进技术集团）
高斯过程的泛化性能在很大程度上取决于内核的选择，这种选择仍然是一个黑暗的艺术。我们提出了神经核网络（NKN），一个灵活的家庭内核的神经网络。NKN架构基于内核的组成规则，因此网络的每个单元都对应于一个有效的内核。它可以对诸如自动统计员所使用的那些结构之类的组成内核结构进行复杂近似（Lloyd等人，2014年），但由于架构是可区分的，它是端到端可训练的基于梯度的优化。我们表明，NKN是通用的一类平稳内核。从经验上讲，我们展示了NKN在几个任务上的模式发现和外推能力，这些任务关键取决于识别底层结构，包括时间序列和纹理外推，以及贝叶斯优化。
2018-08-05 cs.LG stat.ML
On the Spectral Bias of Convolutional Neural Tangent and Gaussian Process Kernels
Weizmann Institute of Science（魏茨曼科学研究所）；University of Maryland at College Park（马里兰大学帕克分校）
我们通过高斯过程和神经切线核研究了各种过参数化卷积神经结构的性质。我们证明，在归一化多通道输入和ReLU激活的情况下，这些具有统一度量的内核的特征函数由球谐函数的乘积形成，定义在不同像素的通道上。接下来，我们使用分层可因子分解核来绑定它们各自的特征值。我们表明，多项式的特征值衰减，量化的衰减率，并得出措施，反映在这些网络中的分层功能的组成。我们的研究结果提供了过参数化卷积网络架构的具体定量表征。
2022-03-17 cs.AI cs.LG
Universality of Gaussian-Mixture Reverse Kernels in Conditional Diffusion
Center for Mathematics and Interdisciplinary Sciences, Fudan University（复旦大学数学与交叉科学中心）；Shanghai Institute for Mathematics and Interdisciplinary Sciences (SIMIS)（上海数学与交叉科学研究院（SIMIS））；Northeastern University（东北大学）；Infectious Diseases Division, icddr,b（icddr,b传染病部门）；Rutgers University（罗格斯大学）
研究证明，具有ReLU网络对数的有限高斯混合反向核的条件扩散模型可近似任意正则目标分布，误差随扩散时间增加而减小。
2026-04-15 cs.LG stat.ML
Amortized Inference for Gaussian Process Hyperparameters of Structured Kernels
Bosch Center for Artificial Intelligence（博世人工智能中心）
针对现有高斯过程核参数摊销推理仅支持固定核结构、换核需重训网络的问题，提出在核结构族上构建基于数据集-核对的摊销网络，无需重训即可快速推理并支持核集成，在多场景下实现了推理提速且性能有竞争力。
2023-06-16 cs.AI cs.LG
Sentiment analysis with genetically evolved Gaussian kernels
University of the Basque Country UPV/EHU（巴斯克大学 UPV/EHU）；Basque Center for Applied Mathematics BCAM（巴斯克应用数学中心 BCAM）
情感分析包括从文本分析中评估观点或陈述。在用于估计文本表达给定情感的程度的方法中，有基于高斯过程的方法。然而，传统的高斯过程方法使用具有超参数的预定义内核，这些超参数可以调整，但其结构不能自适应。在本文中，我们提出了应用遗传编程的高斯过程内核，更精确的情感分析。我们使用一个非常灵活的内核表示结合多目标的方法，同时考虑两个质量指标和内核所花费的计算时间。我们的研究结果表明，该算法可以优于高斯过程与传统的内核的一些情感分析任务考虑。
2019-10-14 cs.CL cs.LG stat.ML
Support Collapse of Deep Gaussian Processes with Polynomial Kernels for a Wide Regime of Hyperparameters
University of York（约克大学）
本文利用 Berry–Esseen 定理分析多项式核深度高斯过程的先验，揭示其在广泛超参数下随深度增加发生支撑坍缩或忽视低范数函数。
2025-03-15 cs.LG stat.ML
Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Microsoft Research New England（微软新英格兰研究院）；New York University（纽约大学）
我们引入了一个新的可扩展的变分高斯过程近似，它提供了一个高保真度的近似，同时保持普遍适用性。我们提出了谐波核分解（HKD），它使用傅立叶级数分解的核作为正交核的总和。我们的变分近似利用这种正交性，使大量的诱导点在一个低的计算成本。我们证明，在一系列的回归和分类问题，我们的方法可以利用输入空间的对称性，如翻译和反射，它显着优于标准的变分方法的可扩展性和准确性。值得注意的是，我们的方法在纯GP模型中的CIFAR-10上实现了最先进的结果。
2021-06-10 cs.LG stat.ML
Kernel Distillation for Fast Gaussian Processes Prediction
Cornell Tech（康奈尔科技学院）；Cornell University（康奈尔大学）
高斯过程（GP）是一种灵活的模型，由于其非参数性质，可以捕获大规模数据集中的复杂结构。然而，在现实世界中的应用是有限的，由于他们的高计算成本在推理时间的GP。在本文中，我们介绍了一个新的框架，\textit{kernel distillation}，近似一个完全训练的教师GP模型的大小为$n\times n$为$n$训练点的核矩阵。在蒸馏过程中，我们将诱导点方法与稀疏低秩近似相结合。提取的学生GP模型只消耗$m$诱导点的$O(m^2)$存储，其中$m \ll n$，并提高了推理时间复杂度。我们的经验表明，内核蒸馏提供了更好的权衡之间的预测时间和测试性能相比，替代品。
2018-11-05 cs.LG stat.ML
Learning rates for classification with Gaussian kernels
Wenzhou University（温州大学）；Jiangxi Normal University（江西师范大学）
针对基于高斯核和凸损失的支持向量机二值分类问题，提出了一种改进的误差分析方法。我们的第一个结果表明，对于某些损失函数，如截断二次损失和二次损失，高斯核支持向量机可以达到几乎最优的学习率，只要回归函数是光滑的。我们的第二个结果表明，对于大量的损失函数，在一些Tsybakov噪声假设下，如果回归函数是无限光滑的，那么具有高斯核的SVM可以达到$m^{-1}$阶的学习率，其中$m$是样本的数量。
2017-10-05 cs.LG math.OC stat.ML
Band-Limited Gaussian Processes: The Sinc Kernel
Center for Mathematical Modeling（数学建模中心）；Universidad de Chile（智利大学）
我们提出了一类新的高斯过程（GP），其光谱具有紧的支持，这意味着他们的样本轨迹几乎肯定带限。作为对协方差核的谱设计的不断增长的文献的补充，我们的建议的核心是通过矩形函数来建模功率谱密度，这导致基于sinc函数的核具有对非中心（零频率附近）和频率变化情况的直接扩展。除了它在回归中的使用，sinc核和经典理论之间的关系进行了说明，特别是，Shannon-Nyquist定理被解释为后验重建下提出的核。此外，我们表明，sinc内核是在两个基本的信号处理应用：第一，在立体声幅度调制，其中非中心sinc内核自然产生。第二，对于带通滤波，其中所提出的内核允许贝叶斯处理，其对观测噪声和缺失数据是鲁棒的。所开发的理论是补充说明性的图形例子，并使用真实世界的数据进行实验验证。
2019-09-16 cs.LG stat.ML
Peak Criterion for Choosing Gaussian Kernel Bandwidth in Support Vector Data Description
SAS Institute（SAS研究所）
支持向量数据描述（SVDD）是一种用于单类分类和离群点检测的机器学习技术。带核函数的SVDD公式提供了一个灵活的数据边界。核函数参数的值影响数据边界的性质。例如，可以观察到，在高斯核的情况下，随着核带宽的值降低，数据边界从球形变为摆动。球形的数据边界会导致欠拟合，而极度波动的数据边界会导致过拟合。在本文中，我们提出了经验准则，以获得良好的值的高斯核带宽参数。这个标准提供了一个平滑的边界，捕捉数据的基本几何特征。
2017-08-08 cs.LG stat.AP stat.ML
Hierarchical Gaussian Processes with Wasserstein-2 Kernels
Imperial College London（帝国理工学院）；University College London（伦敦大学学院）
堆叠高斯过程严重削弱了模型检测离群值的能力，当与非零均值函数结合时，进一步将低非参数方差外推到低训练数据密度区域。我们提出了一个混合内核的灵感来自Varifold理论，在欧几里德和Wasserstein空间。我们认为，直接考虑到Wasserstein-2距离的计算中的方差是至关重要的保持离群值状态在整个层次结构。我们在中型和大型数据集上显示出更好的性能，并在玩具和真实数据上增强了分布检测。
2022-02-01 cs.LG stat.ML
Generalized Gaussian Kernel Adaptive Filtering
Tokyo University of Agriculture and Technology（东京农工大学）；Università Politecnica delle Marche（马尔凯理工大学）
提出了一种广义高斯核自适应滤波方法，该方法的核参数是自适应的，并且是数据驱动的。高斯核由中心向量和对称正定精度矩阵参数化，该精度矩阵是标量宽度参数的推广。这些参数自适应更新的基础上提出的最小二乘型规则，以尽量减少估计误差。本文的主要贡献是建立SPD流形上精度矩阵的更新规则，以保持其对称正定性。与传统的核自适应滤波器不同，本文提出的回归器是不同参数的高斯核的叠加，这使得回归器具有更大的灵活性。核自适应滤波算法与l1-正则化最小二乘一起建立，以避免过拟合和字典的维数增加。实验结果证实了该方法的有效性。
2018-04-25 cs.LG eess.SP stat.ML
Rectified Gaussian kernel multi-view k-means clustering
针对多视图数据聚类问题，提出指数距离多视图k均值（MVKM-ED）和高斯核多视图k均值（GKMVKM）两种算法，通过高斯核空间欧氏距离计算及参数对齐提升性能，在5个真实数据集上验证了鲁棒性与高效性。
2024-05-16 cs.CV cs.LG
Gaussian Processes and Kernel Methods: A Review on Connections and Equivalences
University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Oxford（牛津大学）；Pennsylvania State University（宾夕法尼亚州立大学）
本文试图弥合研究人员之间的概念差距的两个广泛使用的方法的基础上正定内核：贝叶斯学习或推理使用高斯过程的一方，和频率论核方法的基础上再生核希尔伯特空间的另一方。在机器学习中，这两种形式主义是密切相关的;例如，核岭回归的估计量与高斯过程回归的后验均值相同。然而，它们几乎是由两个基本上独立的社区独立研究和开发的，这使得它们之间很难无缝地传输结果。我们的目标是克服这个潜在的困难。为此，我们回顾了几个新旧的结果和概念，从任何一方，并并列算法量从每个框架，以突出密切的相似之处。我们还提供了两种方法之间微妙的哲学和理论差异的讨论。
2018-07-06 cs.LG stat.ML
Vector-valued Gaussian Processes on Riemannian Manifolds via Gauge Independent Projected Kernels
University of Oxford（牛津大学）；University College London（伦敦大学学院）；University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）；St. Petersburg State University（圣彼得堡国立大学）
高斯过程是机器学习模型，能够以表示不确定性的方式学习未知函数，从而促进最优决策系统的构建。出于在新的科学领域中部署高斯过程的愿望，一个快速增长的研究方向集中在建设性地扩展这些模型以处理非欧几里德域，包括黎曼流形，如球体和环面。我们提出的技术，推广这一类模型向量场黎曼流形，这是重要的物理科学中的一些应用领域。为了做到这一点，我们提出了一个通用的配方，用于构建规范独立的内核，诱导高斯向量场，即向量值高斯过程与几何相干，从标量值黎曼内核。我们扩展了标准的高斯过程训练方法，如变分推断，这种设置。这使得黎曼流形上的向量值高斯过程能够使用标准方法进行训练，并使机器学习从业者能够使用它们。
2021-11-25 cs.LG stat.ML
Pairwise Ranking with Gaussian Kernels
Fudan University（复旦大学）
本文为使用高斯核的正则化成对排序算法开发新的预言机不等式，推导出在低本征维数等条件下可克服维度灾难的快速学习率，填补了该算法缺乏严格理论证明的空白。
2023-04-06 cs.LG stat.ML
Local Random Feature Approximations of the Gaussian Kernel
EURECOM（欧洲通信学院）
基于核的统计模型的一个根本缺点是它们对大数据集的可扩展性有限，这需要诉诸近似。在这项工作中，我们专注于流行的高斯内核和技术，线性化基于内核的模型，通过随机特征近似。特别是，我们这样做，通过研究较少探索的随机特征近似基于麦克劳林展开和多项式草图。我们发现，这种方法在对高频数据进行建模时效果不佳，我们提出了一种新的本地化方案，该方案可以显着提高内核近似和下游性能。我们证明了这些收益的实验涉及应用高斯过程回归的合成和真实世界的数据的不同的数据大小和维度。
2022-04-12 cs.LG stat.CO stat.ML
The loss of the property of locality of the kernel in high-dimensional Gaussian process regression on the example of the fitting of molecular potential energy surfaces
Tokyo Institute of Technology（东京工业大学）
基于核的方法包括高斯过程回归（GPR）和通常的核岭回归（KRR）已经在计算化学中发现越来越多的使用，包括在高维特征空间中的势能表面和密度泛函的拟合。通常使用Matern族的核，例如类高斯核（基函数），这允许赋予它们协方差函数的含义，并将GPR公式化为高斯分布的均值的估计器。核的局部性的概念对于这种解释是至关重要的。这也是至关重要的制定多zeta型基函数广泛应用于计算化学我们显示，在拟合的分子势能面的维数增加的例子，实际消失的性质的局部性的高斯核在高维。我们还制定了一个多zeta方法的内核，并表明它显着提高了低维回归的质量，但失去了任何优势，在高维，这是由于损失的财产的地方。
2022-11-21 cs.LG physics.chem-ph stat.ML
Bayesian autoregression to optimize temporal Matérn kernel Gaussian process hyperparameters
Eindhoven University of Technology（埃因霍温理工大学）
本文提出一种基于递归贝叶斯自回归估计的方法，用于优化时间Matérn核高斯过程的超参数，在运行时间和均方根误差上均优于边际似然最大化和HMC采样。
2025-08-13 cs.LG eess.SP stat.ML
From ex(p) to poly: Gaussian Splatting with Polynomial Kernels
Huawei Technologies（华为技术有限公司）；Graz University of Technology（格拉茨理工大学）
本文提出多项式核替代传统指数核，提升3DGS计算效率并保持数据集兼容性，实验显示性能提升4-15%且图像质量影响小。
2026-03-19 cs.CV cs.GR cs.LG
Scalable Gaussian Process Regression for Kernels with a Non-Stationary Phase
Institute for Electrical Engineering in Medicine, Universität zu Lübeck（吕贝克大学医用电工研究所）
高斯过程（GPs）的应用，以大数据集是有限的，由于沉重的内存和计算要求。已经提出了各种方法来实现可伸缩性，其中之一是利用内核矩阵中的结构。然而，以前的方法，不能很容易地处理非平稳过程。本文提出了一个有效的GP框架，扩展结构核插值方法的GP与非平稳相位。我们特别对待混合物的非平稳过程，这是常用的分离问题的背景下，例如在生物医学信号处理。我们的方法采用多组非等距诱导点占的非平稳性和检索Toeplitz和Kronecker结构的核矩阵，允许有效的推理。核学习是通过优化边际似然来完成的，边际似然可以使用随机迹估计方法有效地近似。我们的方法证明了数值例子和大型生物医学数据集。
2019-12-25 cs.LG stat.ML
Learning "best" kernels from data in Gaussian process regression. With application to aerodynamics
ONERA–The French Aerospace Lab（法国航空航天实验室（ONERA））；California Institute of Technology（加州理工学院）
介绍了高斯过程回归/克里格替代建模技术中核函数的选择和设计算法。我们采用核方法在特定的函数空间，即再生核希尔伯特空间（RKHS）中设置解，来解决给定观测值的正则目标函数的逼近问题，即监督学习。第一类算法是核流，其在机器学习中的分类的上下文中被引入。它可以被看作是一个交叉验证过程，其中一个“最好的”内核被选择，使得删除数据集的一部分（通常是一半）所带来的准确性损失最小化。第二类算法被称为谱核岭回归，其目的是选择“最佳”核，使得要近似的函数的范数在相关联的RKHS中是最小的。在默瑟定理的框架内，我们得到了一个明确的建设，“最好的”内核的主要功能的目标函数。这两种方法的学习核数据的合成测试功能的数值例子说明，并在一个经典的测试情况下，跨音速流动的二维翼型的湍流模型验证。
2022-08-31 cs.LG stat.ML
Why not to use the Gaussian kernel
Lappeenranta–Lahti University of Technology LUT（拉彭兰塔-拉赫蒂理工大学（LUT大学））；Newcastle University（纽卡斯尔大学）
本文论证高斯核因存在过度自信、数值病态等缺陷应避免使用，指出核心问题是核的解析性，进而提出应尽量避免使用解析核。
2026-08-28 cs.LG cs.NA math.NA
The GaussianSketch for Almost Relative Error Kernel Distance
University of Utah（犹他大学）；Simons Institute for Theory of Computing（西蒙斯计算理论研究所）
我们介绍了两个版本的一个新的草图近似嵌入高斯内核到欧氏内积空间。这些工作原理是截断高斯内核的无限扩展，并仔细调用RecursiveTensorSketch [Ahle et al. SODA 2020]。在提供这些草图的浓度和近似属性后，我们使用它们来近似点集之间的核距离。这些草图几乎产生$(1+\varepsilon)$ -相对误差，但具有小的附加$α$项。在第一变体中，对$1/α$的依赖性是多对数的，但是对原始维度$d$具有更高的多项式依赖度。在第二变型中，对$1/α$的依赖性仍然是多对数的，但对$d$的依赖性是线性的。
2020-06-19 cs.CG cs.LG stat.ML
Scalable Log Determinants for Gaussian Process Kernel Learning
Cornell University（康奈尔大学）；Phillips Research Hamburg（飞利浦研究汉堡）
对于贝叶斯神经网络、行列式点过程、椭圆图模型和高斯过程（GP）的核学习等各种应用，必须计算$n \times n$正定矩阵及其导数的对数行列式-导致禁止的$\mathcal{O}(n^3)$计算。我们提出了新的$\mathcal{O}(n)$方法来估计这些数量，只有快速矩阵向量乘法（MVMs）。这些随机逼近基于Chebyshev、Lanczos和代理模型，即使对于具有挑战性光谱的核矩阵也能快速收敛。我们利用这些近似来开发一个可扩展的高斯过程方法来进行内核学习。我们发现，Lanczos一般优于Chebyshev的内核学习，和代理的方法可以是非常有效和准确的流行内核。
2017-11-09 cs.AI cs.LG stat.ML
Bandwidth Selection for Gaussian Kernel Ridge Regression via Jacobian Control
University of Gothenburg（哥德堡大学）；Chalmers University of Technology（查尔姆斯理工大学）
本文针对高斯核岭回归的带宽选择问题，提出一种基于雅可比控制的闭式启发式方法，在保持与交叉验证和边际似然最大化相当性能的同时，计算速度提升最高达六个数量级。
2023-12-01 cs.LG stat.ME stat.ML
Asymmetric kernel in Gaussian Processes for learning target variance
Delft University of Technology（代尔夫特理工大学）；University of Amsterdam（阿姆斯特丹大学）
这项工作将数据分布的多模态纳入高斯过程回归模型中。我们从判别的角度来处理这个问题，通过学习，联合在训练数据，目标空间方差在一定的样本附近，通过度量学习。我们首先使用数据中心，而不是所有的训练样本。随后，每个中心选择个性化的内核度量。这使得每个中心能够根据目标的拓扑结构调整其附近的核空间-一种多模态方法。我们还通过允许每个中心学习精度矩阵来增加连续性。我们实证证明了该模型的可靠性。
2018-03-19 cs.CV cs.LG stat.ML
Measuring the robustness of Gaussian processes to kernel choice
MIT（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
高斯过程（GP）用于做出医疗和科学决策，包括心脏护理和监测大气二氧化碳水平。值得注意的是，GP内核的选择通常有些随意。特别地，不可数的许多内核通常与定性先验知识（例如，函数平滑性或平稳性）。但在实践中，数据分析师会在少数方便的标准内核中进行选择（例如\平方指数）。在目前的工作中，我们问：将决定与GP不同的其他，定性可互换的内核？我们将展示如何通过解决有限维空间上的约束优化问题来回答这个问题。然后，我们可以使用标准优化器来识别GP做出的相关决策中的实质性变化。我们证明在合成和现实世界的例子中，与GP的决定可以表现出非鲁棒性内核的选择，即使以前的提请是定性互换给用户。
2022-03-12 cs.LG stat.CO stat.ML
Fast and Accurate Gaussian Kernel Ridge Regression Using Matrix Decompositions for Preconditioning
Playtika AI Research Lab（Playtika AI研究实验室）
本文提出了一种构造核岭回归问题预条件子的方法，该预条件子不仅能有效地减少条件数，而且在计算量和内存消耗方面也是有效的.建议的方法是基于随机矩阵分解方法，结合快速多极子方法来实现一个算法，可以处理大型数据集的复杂性线性的数据点的数量。此外，提供了详细的理论分析，包括上界的条件数。最后，对于高斯核，分析表明，所需的条件数所需的秩可以直接从数据集本身确定，而无需对核矩阵进行任何分析。
2021-04-06 cs.LG cs.NA math.NA
Likelihood Ratio Tests by Kernel Gaussian Embedding
Institut de Mathématiques, École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院数学研究所）
提出一种基于核均值与协方差嵌入的非参数双样本检验，利用高斯嵌入间的相对熵构造似然比统计量，在温和条件下证明一致性并取得显著功效提升。
2025-09-15 cs.LG stat.ME stat.ML
A brief note on understanding neural networks as Gaussian processes
University of Twente（特文特大学）
作为[Lee等人，2017]，本文简要讨论了神经网络输出的先验何时遵循高斯过程，以及神经网络诱导的高斯过程是如何形成的。这种高斯过程回归的后验均值函数位于由神经网络诱导核定义的再生核希尔伯特空间中。在两层神经网络的情况下，诱导高斯过程提供了再生核希尔伯特空间的一种解释，其联合形成巴伦空间。
2021-07-25 cs.CE cs.LG stat.ML
Improving the Effectiveness and Efficiency of Stochastic Neighbour Embedding with Isolation Kernel
Deakin University（迪肯大学）；Nanjing University（南京大学）
针对t-SNE中高斯核易导致结构表征失真、计算成本高的问题，提出用孤立核替换高斯核，既提升可视化质量又能高效处理大规模数据集，且不损失准确率。
2021-07-08 cs.AI cs.CV cs.LG
Reinforcement Learning via Gaussian Processes with Neural Network Dual Kernels
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
虽然深度神经网络（DNN）和高斯过程（GP）都被广泛用于解决强化学习中的问题，但这两种方法都具有挑战性问题的不利缺点。DNN学习复杂的非线性嵌入，但不能自然地量化不确定性，并且通常训练数据效率低下。GP推断函数的后验分布，但流行的内核在复杂和高维数据上表现出有限的表达能力。幸运的是，最近发现的共轭核函数和神经切线核函数在核域中对过参数化神经网络的行为进行了编码。我们证明，这些内核可以有效地应用于回归和强化学习问题，通过分析基线案例研究。我们首次将具有神经网络对偶核的GP应用于解决强化学习任务。我们使用众所周知的山地车问题证明，具有双内核的GP的性能至少与使用传统径向基函数内核的GP一样好。我们推测，通过继承GP的概率严谨性和DNN的强大嵌入特性，使用NN双内核的GP将使未来的强化学习模型能够在困难的领域中发挥作用。
2020-04-10 cs.LG cs.SY eess.SY
Gaussian Processes and Reproducing Kernel Hilbert Spaces: Connections and Equivalences
本专著研究机器学习等领域中基于正定核的高斯过程概率方法与再生核希尔伯特空间非概率方法的联系与等价性，建立统一视角以衔接相关研究。
2026-09-10 cs.LG cs.NA math.NA
Fast Gaussian process inference by exact Matérn kernel decomposition
Guangdong Provincial/Zhuhai Key Laboratory of Interdisciplinary Research and Application for Data Science, Beijing Normal-Hong Kong Baptist University（广东/珠海交叉学科与数据科学应用重点实验室，北京师范大学-香港 Baptist大学）；EDF Lab, FiME (Laboratoire de Finance des Marchés de l’Énergie)（EDF实验室，FiME（能源市场金融实验室））
本文提出一种基于精确核分解为加权经验累积分布函数的快速高斯过程推断算法，适用于半整数平滑参数的多元Matérn核，采用分治策略，有效处理数十万数据点的低维问题。
2025-08-03 cs.DS cs.LG stat.CO
Random walk kernels and learning curves for Gaussian process regression on random graphs
King’s College London（伦敦国王学院）
我们考虑在图上学习，由编码顶点之间相似性的内核指导。我们的重点是随机游动内核，在欧几里得空间的平方指数内核的类似物。我们发现，在大的，局部树，图这些有一些反直观的性质，特别是在大的内核lengthscales的限制。我们考虑使用这些内核作为协方差阵，例如\高斯过程（GPs）。在这种情况下，通常全局缩放先验，以归一化顶点之间的先验方差的平均值。我们证明，在对比欧几里德的情况下，这一般会导致显着的变化，在前方差的顶点，这是不可取的概率建模的角度来看。我们建议随机游动核应该局部归一化，这样每个顶点都有相同的先验方差，并通过研究高斯过程回归的学习曲线来分析其后果。数值计算以及新的理论预测的学习曲线，使用信念传播清楚地表明，一个获得明显不同的概率模型，这取决于选择的归一化。我们使用置信传播预测学习曲线的方法比以前的近似方法要精确得多，并且应该在大型随机图的限制下变得精确。
2013-09-30 cond-mat.dis-nn cond-mat.stat-mech cs.LG
