Product Kernel Interpolation for Scalable Gaussian Processes
Cornell University(康奈尔大学);Tsinghua University(清华大学)
最近的工作表明,高斯过程的推理可以有效地使用迭代法,只依赖于矩阵向量乘法(MVMs)。结构化核插值(SKI)通过使用非常快速的SVM导出近似核来利用这些技术。不幸的是,这种策略受到维度灾难的严重影响。我们开发了一种新的技术MVM的学习,利用产品的内核结构。我们证明,这种技术是广泛适用的,导致线性而不是指数运行时间与SKI的尺寸,以及国家的最先进的渐近复杂性多任务的GP。
2018-02-24 cs.LG stat.ML
Differentiable Compositional Kernel Learning for Gaussian Processes
University of Toronto(多伦多大学);Vector Institute(向量研究所);Uber Advanced Technologies Group(优步先进技术集团)
高斯过程的泛化性能在很大程度上取决于内核的选择,这种选择仍然是一个黑暗的艺术。我们提出了神经核网络(NKN),一个灵活的家庭内核的神经网络。NKN架构基于内核的组成规则,因此网络的每个单元都对应于一个有效的内核。它可以对诸如自动统计员所使用的那些结构之类的组成内核结构进行复杂近似(Lloyd等人,2014年),但由于架构是可区分的,它是端到端可训练的基于梯度的优化。我们表明,NKN是通用的一类平稳内核。从经验上讲,我们展示了NKN在几个任务上的模式发现和外推能力,这些任务关键取决于识别底层结构,包括时间序列和纹理外推,以及贝叶斯优化。
2018-08-05 cs.LG stat.ML
Universality of Gaussian-Mixture Reverse Kernels in Conditional Diffusion
Center for Mathematics and Interdisciplinary Sciences, Fudan University(复旦大学数学与交叉科学中心);Shanghai Institute for Mathematics and Interdisciplinary Sciences (SIMIS)(上海数学与交叉科学研究院(SIMIS));Northeastern University(东北大学);Infectious Diseases Division, icddr,b(icddr,b传染病部门);Rutgers University(罗格斯大学)
研究证明,具有ReLU网络对数的有限高斯混合反向核的条件扩散模型可近似任意正则目标分布,误差随扩散时间增加而减小。
2026-04-15 cs.LG stat.ML
Support Collapse of Deep Gaussian Processes with Polynomial Kernels for a Wide Regime of Hyperparameters
University of York(约克大学)
本文利用 Berry–Esseen 定理分析多项式核深度高斯过程的先验,揭示其在广泛超参数下随深度增加发生支撑坍缩或忽视低范数函数。
2025-03-15 cs.LG stat.ML
Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition
University of Toronto(多伦多大学);Vector Institute(向量研究所);Microsoft Research New England(微软新英格兰研究院);New York University(纽约大学)
我们引入了一个新的可扩展的变分高斯过程近似,它提供了一个高保真度的近似,同时保持普遍适用性。我们提出了谐波核分解(HKD),它使用傅立叶级数分解的核作为正交核的总和。我们的变分近似利用这种正交性,使大量的诱导点在一个低的计算成本。我们证明,在一系列的回归和分类问题,我们的方法可以利用输入空间的对称性,如翻译和反射,它显着优于标准的变分方法的可扩展性和准确性。值得注意的是,我们的方法在纯GP模型中的CIFAR-10上实现了最先进的结果。
2021-06-10 cs.LG stat.ML
Kernel Distillation for Fast Gaussian Processes Prediction
Cornell Tech(康奈尔科技学院);Cornell University(康奈尔大学)
高斯过程(GP)是一种灵活的模型,由于其非参数性质,可以捕获大规模数据集中的复杂结构。然而,在现实世界中的应用是有限的,由于他们的高计算成本在推理时间的GP。在本文中,我们介绍了一个新的框架,\textit{kernel distillation},近似一个完全训练的教师GP模型的大小为$n\times n$为$n$训练点的核矩阵。在蒸馏过程中,我们将诱导点方法与稀疏低秩近似相结合。提取的学生GP模型只消耗$m$诱导点的$O(m^2)$存储,其中$m \ll n$,并提高了推理时间复杂度。我们的经验表明,内核蒸馏提供了更好的权衡之间的预测时间和测试性能相比,替代品。
2018-11-05 cs.LG stat.ML
Hierarchical Gaussian Processes with Wasserstein-2 Kernels
Imperial College London(帝国理工学院);University College London(伦敦大学学院)
堆叠高斯过程严重削弱了模型检测离群值的能力,当与非零均值函数结合时,进一步将低非参数方差外推到低训练数据密度区域。我们提出了一个混合内核的灵感来自Varifold理论,在欧几里德和Wasserstein空间。我们认为,直接考虑到Wasserstein-2距离的计算中的方差是至关重要的保持离群值状态在整个层次结构。我们在中型和大型数据集上显示出更好的性能,并在玩具和真实数据上增强了分布检测。
2022-02-01 cs.LG stat.ML
Gaussian Processes and Kernel Methods: A Review on Connections and Equivalences
University of Tübingen(图宾根大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Oxford(牛津大学);Pennsylvania State University(宾夕法尼亚州立大学)
本文试图弥合研究人员之间的概念差距的两个广泛使用的方法的基础上正定内核:贝叶斯学习或推理使用高斯过程的一方,和频率论核方法的基础上再生核希尔伯特空间的另一方。在机器学习中,这两种形式主义是密切相关的;例如,核岭回归的估计量与高斯过程回归的后验均值相同。然而,它们几乎是由两个基本上独立的社区独立研究和开发的,这使得它们之间很难无缝地传输结果。我们的目标是克服这个潜在的困难。为此,我们回顾了几个新旧的结果和概念,从任何一方,并并列算法量从每个框架,以突出密切的相似之处。我们还提供了两种方法之间微妙的哲学和理论差异的讨论。
2018-07-06 cs.LG stat.ML
Vector-valued Gaussian Processes on Riemannian Manifolds via Gauge Independent Projected Kernels
University of Oxford(牛津大学);University College London(伦敦大学学院);University of Cambridge(剑桥大学);Imperial College London(帝国理工学院);St. Petersburg State University(圣彼得堡国立大学)
高斯过程是机器学习模型,能够以表示不确定性的方式学习未知函数,从而促进最优决策系统的构建。出于在新的科学领域中部署高斯过程的愿望,一个快速增长的研究方向集中在建设性地扩展这些模型以处理非欧几里德域,包括黎曼流形,如球体和环面。我们提出的技术,推广这一类模型向量场黎曼流形,这是重要的物理科学中的一些应用领域。为了做到这一点,我们提出了一个通用的配方,用于构建规范独立的内核,诱导高斯向量场,即向量值高斯过程与几何相干,从标量值黎曼内核。我们扩展了标准的高斯过程训练方法,如变分推断,这种设置。这使得黎曼流形上的向量值高斯过程能够使用标准方法进行训练,并使机器学习从业者能够使用它们。
2021-11-25 cs.LG stat.ML
Scalable Gaussian Process Regression for Kernels with a Non-Stationary Phase
Institute for Electrical Engineering in Medicine, Universität zu Lübeck(吕贝克大学医用电工研究所)
高斯过程(GPs)的应用,以大数据集是有限的,由于沉重的内存和计算要求。已经提出了各种方法来实现可伸缩性,其中之一是利用内核矩阵中的结构。然而,以前的方法,不能很容易地处理非平稳过程。本文提出了一个有效的GP框架,扩展结构核插值方法的GP与非平稳相位。我们特别对待混合物的非平稳过程,这是常用的分离问题的背景下,例如在生物医学信号处理。我们的方法采用多组非等距诱导点占的非平稳性和检索Toeplitz和Kronecker结构的核矩阵,允许有效的推理。核学习是通过优化边际似然来完成的,边际似然可以使用随机迹估计方法有效地近似。我们的方法证明了数值例子和大型生物医学数据集。
2019-12-25 cs.LG stat.ML
Learning "best" kernels from data in Gaussian process regression. With application to aerodynamics
ONERA–The French Aerospace Lab(法国航空航天实验室(ONERA));California Institute of Technology(加州理工学院)
介绍了高斯过程回归/克里格替代建模技术中核函数的选择和设计算法。我们采用核方法在特定的函数空间,即再生核希尔伯特空间(RKHS)中设置解,来解决给定观测值的正则目标函数的逼近问题,即监督学习。第一类算法是核流,其在机器学习中的分类的上下文中被引入。它可以被看作是一个交叉验证过程,其中一个“最好的”内核被选择,使得删除数据集的一部分(通常是一半)所带来的准确性损失最小化。第二类算法被称为谱核岭回归,其目的是选择“最佳”核,使得要近似的函数的范数在相关联的RKHS中是最小的。在默瑟定理的框架内,我们得到了一个明确的建设,“最好的”内核的主要功能的目标函数。这两种方法的学习核数据的合成测试功能的数值例子说明,并在一个经典的测试情况下,跨音速流动的二维翼型的湍流模型验证。
2022-08-31 cs.LG stat.ML
Tensor Network-Constrained Kernel Machines as Gaussian Processes
Delft University of Technology(代尔夫特理工大学)
本文证明CPD和TT约束的核机器在独立同分布先验下可恢复高斯过程,并表明TT在相同参数量下比CPD更接近高斯过程行为,从而建立张量网络约束核机器与高斯过程的联系。
2024-03-28 cs.LG stat.ML
Sentiment analysis with genetically evolved Gaussian kernels
University of the Basque Country UPV/EHU(巴斯克大学 UPV/EHU);Basque Center for Applied Mathematics BCAM(巴斯克应用数学中心 BCAM)
情感分析包括从文本分析中评估观点或陈述。在用于估计文本表达给定情感的程度的方法中,有基于高斯过程的方法。然而,传统的高斯过程方法使用具有超参数的预定义内核,这些超参数可以调整,但其结构不能自适应。在本文中,我们提出了应用遗传编程的高斯过程内核,更精确的情感分析。我们使用一个非常灵活的内核表示结合多目标的方法,同时考虑两个质量指标和内核所花费的计算时间。我们的研究结果表明,该算法可以优于高斯过程与传统的内核的一些情感分析任务考虑。
2019-10-14 cs.CL cs.LG stat.ML
Transductive Kernels for Gaussian Processes on Graphs
University of Oxford(牛津大学);University of Cambridge(剑桥大学);Man AHL(曼恩AHL公司);Invenia Labs(Invenia实验室)
图上的核对于节点级问题的选择有限。为了解决这个问题,我们提出了一种新的,广义的内核与节点特征数据的图半监督学习。核是从正则化框架中导出的,将图形和特征数据视为两个希尔伯特空间。我们还展示了图上的许多基于内核的模型是我们设计的实例。以这种方式定义的内核具有转换属性,这导致在更少的训练点上学习的能力得到提高,以及更好地处理高度非欧几里德数据。我们使用合成数据证明了这些优势,其中整个图的分布可以告知标签的模式。最后,通过在核中使用一个灵活的图拉普拉斯多项式,该模型也可以有效地进行半监督分类的各种水平的同质图。
2022-11-28 cs.LG stat.ML
Longitudinal Deep Kernel Gaussian Process Regression
Pennsylvania State University(宾夕法尼亚州立大学)
高斯过程为从纵向数据进行预测建模提供了有吸引力的框架,即,随着时间的推移,从一组个体中进行不规则采样的稀疏观察。然而,这样的方法有两个关键的缺点:(i)他们依赖于临时的算法或昂贵的试错来选择有效的内核,(ii)他们无法处理数据中的多级相关结构。我们引入纵向深度核高斯过程回归(L-DKGPR),据我们所知,这是唯一的方法,以克服这些限制,通过完全自动化的发现复杂的多级相关结构从纵向数据。具体而言,L-DKGPR消除了对特设算法或试错的需要,使用深度内核学习的新适应,将深度神经网络的表达能力与非参数核方法的灵活性相结合。L-DKGPR有效地学习与一种新的加法内核,同时适应时变和时不变的影响的多级相关。利用隐空间诱导点和变分推断,我们得到了一个有效的训练L-DKGPR的算法。在多个基准数据集上的大量实验结果表明,L-DKGPR显著优于最先进的纵向数据分析(LDA)方法。
2020-12-07 cs.LG stat.ML
Learning Nonparametric Volterra Kernels with Gaussian Processes
University of Sheffield(谢菲尔德大学)
本文介绍了一种非参数贝叶斯学习的非线性算子,通过使用的Volterra系列的核表示为高斯过程(GP),我们称之为非参数Volterra核模型(NVKM)。当算子的输入函数不可观测且具有GP先验时,NVKM构成了单输出和多输出回归的强大方法,并且可以被视为非线性和非参数潜在力模型。当输入函数被观测时,NVKM可用于进行贝叶斯系统辨识。我们使用最新的进展,在有效的采样显式功能,从GP映射过程实现通过Volterra系列,而不诉诸数值积分,允许通过双重随机变分推断的可扩展性,并避免需要高斯近似的输出过程。我们证明了多输出回归和系统识别使用标准的基准模型的性能。
2021-06-10 cs.LG stat.ML
Deep Maxout Network Gaussian Process
Rutgers University(罗格斯大学)
研究无限宽度神经网络对于更好地理解神经网络的实际应用具有重要意义。在这项工作中,我们推导出的深度,无限宽maxout网络和高斯过程(GP)的等价性和特征的maxout内核的组成结构。此外,我们建立了我们的深度maxout网络内核和深度神经网络内核之间的连接。我们还给出了一个有效的数值实现我们的内核,可以适应任何maxout秩。数值结果表明,基于深度maxout网络核的贝叶斯推断与有限宽度网络核和深度神经网络核相比,可以得到有竞争力的结果。这启发了我们,maxout激活也可以被合并到其他无限宽度的神经网络结构中,例如卷积神经网络(CNN)。
2022-08-26 cs.LG stat.ML
SKIing on Simplices: Kernel Interpolation on the Permutohedral Lattice for Scalable Gaussian Processes
New York University(纽约大学);Stanford University(斯坦福大学)
用于可扩展高斯过程的最先进方法使用迭代算法,需要具有协方差核的快速矩阵向量乘法(MVMs)。结构化内核插值(SKI)框架通过在网格上执行高效的MVMs并插值回原始空间来加速这些MVMs。在这项工作中,我们开发了SKI和permutohedral晶格用于高维快速双边过滤之间的连接。使用稀疏单纯网格而不是密集的矩形网格,我们可以在维度上比SKI更快地以指数方式执行GP推理。我们的方法Simplex-GP能够将SKI扩展到高维,同时保持强大的预测性能。此外,我们还提供了一个CUDA实现的Simplex-GP,这使得显着的GPU加速的MVM为基础的推理。
2021-06-12 cs.LG stat.ML
Local Random Feature Approximations of the Gaussian Kernel
EURECOM(欧洲通信学院)
基于核的统计模型的一个根本缺点是它们对大数据集的可扩展性有限,这需要诉诸近似。在这项工作中,我们专注于流行的高斯内核和技术,线性化基于内核的模型,通过随机特征近似。特别是,我们这样做,通过研究较少探索的随机特征近似基于麦克劳林展开和多项式草图。我们发现,这种方法在对高频数据进行建模时效果不佳,我们提出了一种新的本地化方案,该方案可以显着提高内核近似和下游性能。我们证明了这些收益的实验涉及应用高斯过程回归的合成和真实世界的数据的不同的数据大小和维度。
2022-04-12 cs.LG stat.CO stat.ML
The loss of the property of locality of the kernel in high-dimensional Gaussian process regression on the example of the fitting of molecular potential energy surfaces
Tokyo Institute of Technology(东京工业大学)
基于核的方法包括高斯过程回归(GPR)和通常的核岭回归(KRR)已经在计算化学中发现越来越多的使用,包括在高维特征空间中的势能表面和密度泛函的拟合。通常使用Matern族的核,例如类高斯核(基函数),这允许赋予它们协方差函数的含义,并将GPR公式化为高斯分布的均值的估计器。核的局部性的概念对于这种解释是至关重要的。这也是至关重要的制定多zeta型基函数广泛应用于计算化学我们显示,在拟合的分子势能面的维数增加的例子,实际消失的性质的局部性的高斯核在高维。我们还制定了一个多zeta方法的内核,并表明它显着提高了低维回归的质量,但失去了任何优势,在高维,这是由于损失的财产的地方。
2022-11-21 cs.LG physics.chem-ph stat.ML
Bayesian autoregression to optimize temporal Matérn kernel Gaussian process hyperparameters
Eindhoven University of Technology(埃因霍温理工大学)
本文提出一种基于递归贝叶斯自回归估计的方法,用于优化时间Matérn核高斯过程的超参数,在运行时间和均方根误差上均优于边际似然最大化和HMC采样。
2025-08-13 cs.LG eess.SP stat.ML
Scalable Log Determinants for Gaussian Process Kernel Learning
Cornell University(康奈尔大学);Phillips Research Hamburg(飞利浦研究汉堡)
对于贝叶斯神经网络、行列式点过程、椭圆图模型和高斯过程(GP)的核学习等各种应用,必须计算$n \times n$正定矩阵及其导数的对数行列式-导致禁止的$\mathcal{O}(n^3)$计算。我们提出了新的$\mathcal{O}(n)$方法来估计这些数量,只有快速矩阵向量乘法(MVMs)。这些随机逼近基于Chebyshev、Lanczos和代理模型,即使对于具有挑战性光谱的核矩阵也能快速收敛。我们利用这些近似来开发一个可扩展的高斯过程方法来进行内核学习。我们发现,Lanczos一般优于Chebyshev的内核学习,和代理的方法可以是非常有效和准确的流行内核。
2017-11-09 cs.AI cs.LG stat.ML
Gaussian Process Kernels for Popular State-Space Time Series Models
本文研究了状态空间模型和高斯过程在时间序列建模和预测中的联系。特别地,将几种常用的状态空间模型转化为连续时间形式,并导出了相应的高斯过程核。实验结果表明,所得到的GP核是正确的,适用于高斯过程回归.一个真实世界的数据集的实验表明,建模是相同的状态空间模型和建议的GP内核。考虑的连接使研究人员能够从不同的角度看待他们的模型,并促进这两种不同建模方法之间的想法共享。
2016-10-25 stat.ML
Multiresolution Kernel Approximation for Gaussian Process Regression
高斯过程回归通常在不应用某种核近似方法的情况下不扩展到超过几千个数据点。大多数近似集中在核矩阵$K$的谱的高特征值部分,这在核的长度尺度小时导致差的性能。在本文中,我们介绍了多分辨率核近似(MKA),第一个真正的宽带核近似算法。关于MKA的重要点是它是内存有效的,并且它是一种直接方法,这意味着它也可以很容易地近似$K^{-1}$和$\mathop{\textrm{det}}(K)$。
2018-01-30 stat.ML
Why not to use the Gaussian kernel
Lappeenranta–Lahti University of Technology LUT(拉彭兰塔-拉赫蒂理工大学(LUT大学));Newcastle University(纽卡斯尔大学)
本文论证高斯核因存在过度自信、数值病态等缺陷应避免使用,指出核心问题是核的解析性,进而提出应尽量避免使用解析核。
2026-08-28 cs.LG cs.NA math.NA
Asymmetric kernel in Gaussian Processes for learning target variance
Delft University of Technology(代尔夫特理工大学);University of Amsterdam(阿姆斯特丹大学)
这项工作将数据分布的多模态纳入高斯过程回归模型中。我们从判别的角度来处理这个问题,通过学习,联合在训练数据,目标空间方差在一定的样本附近,通过度量学习。我们首先使用数据中心,而不是所有的训练样本。随后,每个中心选择个性化的内核度量。这使得每个中心能够根据目标的拓扑结构调整其附近的核空间-一种多模态方法。我们还通过允许每个中心学习精度矩阵来增加连续性。我们实证证明了该模型的可靠性。
2018-03-19 cs.CV cs.LG stat.ML
Measuring the robustness of Gaussian processes to kernel choice
MIT(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
高斯过程(GP)用于做出医疗和科学决策,包括心脏护理和监测大气二氧化碳水平。值得注意的是,GP内核的选择通常有些随意。特别地,不可数的许多内核通常与定性先验知识(例如,函数平滑性或平稳性)。但在实践中,数据分析师会在少数方便的标准内核中进行选择(例如\平方指数)。在目前的工作中,我们问:将决定与GP不同的其他,定性可互换的内核?我们将展示如何通过解决有限维空间上的约束优化问题来回答这个问题。然后,我们可以使用标准优化器来识别GP做出的相关决策中的实质性变化。我们证明在合成和现实世界的例子中,与GP的决定可以表现出非鲁棒性内核的选择,即使以前的提请是定性互换给用户。
2022-03-12 cs.LG stat.CO stat.ML
String Gaussian Process Kernels
我们引入了一类新的非平稳内核,我们推导出的协方差函数的一个新的家庭的随机过程,我们称之为字符串高斯过程(字符串GP)。我们构造字符串GP,以允许数据中的多种类型的局部模式,同时确保一个温和的全局正则性条件。在本文中,我们使用合成数据说明了该方法的有效性,并证明了该模型在经过充分研究的真实数据集上表现出非平稳特征,优于竞争方法。
2015-06-07 stat.ML
Variational zero-inflated Gaussian processes with sparse kernels
零膨胀的数据集,具有超过零的输出,通常在气候或罕见事件建模等问题中遇到。传统的机器学习方法往往会高估非零值,从而导致性能较差。我们提出了一种新的模型家庭的零膨胀高斯过程(ZiGP)的零膨胀数据集,通过学习潜在的概率高斯过程,可以零出内核的行和列时,信号是不存在的稀疏内核。ZiGP对于使强大的高斯过程网络更易于解释特别有用。我们引入稀疏GP网络,通过稀疏混合信号实现可变阶潜在建模。我们推导出非平凡的随机变分推断可追溯的可扩展学习的稀疏内核在这两个模型。新的输出稀疏方法提高了零膨胀数据的预测和潜在混合模型的可解释性。
2018-03-13 stat.ML
A brief note on understanding neural networks as Gaussian processes
University of Twente(特文特大学)
作为[Lee等人,2017],本文简要讨论了神经网络输出的先验何时遵循高斯过程,以及神经网络诱导的高斯过程是如何形成的。这种高斯过程回归的后验均值函数位于由神经网络诱导核定义的再生核希尔伯特空间中。在两层神经网络的情况下,诱导高斯过程提供了再生核希尔伯特空间的一种解释,其联合形成巴伦空间。
2021-07-25 cs.CE cs.LG stat.ML
Gaussian Processes on Graphs via Spectral Kernel Learning
Department of Engineering Science, University of Oxford(牛津大学工程科学系);Man AHL(Man AHL(可能是一个机构或部门,但根据现有信息无法确定具体中文名称,此处按原文保留))
我们提出了一个基于图谱的高斯过程的预测信号定义在节点上的图。该模型的目的是捕捉各种图形信号结构,通过一个高度自适应的内核,采用了灵活的多项式函数在图形频谱域。与大多数现有的方法不同,我们建议学习这样的谱核,其中多项式设置使学习不需要图拉普拉斯算子的特征分解。此外,该内核具有通过定制的最大似然学习算法实现的图形过滤的可解释性,该算法强制执行频谱的正性。我们在合成实验中展示了模型的可解释性,从中我们可以准确地恢复各种地面实况光谱滤波器,并且适应性转化为预测各种特征的真实世界图形数据的卓越性能。
2020-10-28 cs.LG eess.SP stat.ML
Additive Covariance Kernels for High-Dimensional Gaussian Process Modeling
高斯过程模型-也称为克里格模型-通常用作昂贵实验的数学近似。然而,当输入的维数增加时,使用经典的协方差核时,构建仿真器所需的观测数变得不切实际。为了避免维数灾难,一种流行的方法是考虑简化模型,如添加剂模型。目前的工作的野心是提供一个洞察协方差内核,非常适合于建立添加剂克里格模型,并描述所得到的模型的一些属性。
2011-11-27 stat.ML
Reinforcement Learning via Gaussian Processes with Neural Network Dual Kernels
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
虽然深度神经网络(DNN)和高斯过程(GP)都被广泛用于解决强化学习中的问题,但这两种方法都具有挑战性问题的不利缺点。DNN学习复杂的非线性嵌入,但不能自然地量化不确定性,并且通常训练数据效率低下。GP推断函数的后验分布,但流行的内核在复杂和高维数据上表现出有限的表达能力。幸运的是,最近发现的共轭核函数和神经切线核函数在核域中对过参数化神经网络的行为进行了编码。我们证明,这些内核可以有效地应用于回归和强化学习问题,通过分析基线案例研究。我们首次将具有神经网络对偶核的GP应用于解决强化学习任务。我们使用众所周知的山地车问题证明,具有双内核的GP的性能至少与使用传统径向基函数内核的GP一样好。我们推测,通过继承GP的概率严谨性和DNN的强大嵌入特性,使用NN双内核的GP将使未来的强化学习模型能够在困难的领域中发挥作用。
2020-04-10 cs.LG cs.SY eess.SY
Variational Inducing Kernels for Sparse Convolved Multiple Output Gaussian Processes
无论是在多任务学习、多传感器网络还是结构化输出数据的幌子下,对多输出核方法的兴趣都在增加。从高斯过程的角度来看,多输出Mercer核是相关输出函数上的协方差函数。构造这种内核的一种方式是基于卷积过程(CP)。这种方法的一个关键问题是有效的推理。Alvarez和Lawrence(2009)最近提出了一种CP的稀疏近似,可以实现有效的推理。在本文中,我们在两个方向上扩展这项工作:我们引入变分诱导函数的概念来处理核CP构造中涉及的潜在非光滑函数,我们考虑基于变分方法的近似推理的替代方法,将Titsias(2009)的工作扩展到多输出情况。我们展示了我们的方法对预测的成绩,编译器的性能和金融时间序列。
2009-12-16 stat.ML
Enhancing Predictive Accuracy in Pharmaceutical Sales Through An Ensemble Kernel Gaussian Process Regression Approach
University of Pittsburgh(匹兹堡大学);Carnegie Mellon University(卡内基梅隆大学);Swanson School of Engineering, University of Pittsburgh(匹兹堡大学斯旺森工程学院);Duquesne University(杜肯大学)
本文提出一种融合指数平方、修正Matérn和有理二次核的集成核高斯过程回归方法,通过贝叶斯优化确定权重,在药品销售预测中取得接近1.0的R²并显著降低误差。
2024-04-15 cs.LG
Fast Gaussian process inference by exact Matérn kernel decomposition
Guangdong Provincial/Zhuhai Key Laboratory of Interdisciplinary Research and Application for Data Science, Beijing Normal-Hong Kong Baptist University(广东/珠海交叉学科与数据科学应用重点实验室,北京师范大学-香港 Baptist大学);EDF Lab, FiME (Laboratoire de Finance des Marchés de l’Énergie)(EDF实验室,FiME(能源市场金融实验室))
本文提出一种基于精确核分解为加权经验累积分布函数的快速高斯过程推断算法,适用于半整数平滑参数的多元Matérn核,采用分治策略,有效处理数十万数据点的低维问题。
2025-08-03 cs.DS cs.LG stat.CO
Random walk kernels and learning curves for Gaussian process regression on random graphs
King’s College London(伦敦国王学院)
我们考虑在图上学习,由编码顶点之间相似性的内核指导。我们的重点是随机游动内核,在欧几里得空间的平方指数内核的类似物。我们发现,在大的,局部树,图这些有一些反直观的性质,特别是在大的内核lengthscales的限制。我们考虑使用这些内核作为协方差阵,例如\高斯过程(GPs)。在这种情况下,通常全局缩放先验,以归一化顶点之间的先验方差的平均值。我们证明,在对比欧几里德的情况下,这一般会导致显着的变化,在前方差的顶点,这是不可取的概率建模的角度来看。我们建议随机游动核应该局部归一化,这样每个顶点都有相同的先验方差,并通过研究高斯过程回归的学习曲线来分析其后果。数值计算以及新的理论预测的学习曲线,使用信念传播清楚地表明,一个获得明显不同的概率模型,这取决于选择的归一化。我们使用置信传播预测学习曲线的方法比以前的近似方法要精确得多,并且应该在大型随机图的限制下变得精确。
2013-09-30 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Gaussian Processes with Sample Paths in Reproducing Kernel Banach Spaces
Lappeenranta-Lahti University of Technology LUT(拉彭兰塔-拉赫蒂理工大学);Technical University of Denmark(丹麦技术大学)
研究高斯过程与再生核巴拿赫空间中高斯随机元之间的联系,通过γ-拉德尼化算子刻画协方差算子对应的正定函数,并将经典Driscoll定理推广到巴拿赫空间。
2026-10-22 math.FA math.PR stat.ML
Gaussian Processes and Reproducing Kernel Hilbert Spaces: Connections and Equivalences
本专著研究机器学习等领域中基于正定核的高斯过程概率方法与再生核希尔伯特空间非概率方法的联系与等价性,建立统一视角以衔接相关研究。
2026-09-10 cs.LG cs.NA math.NA
Gaussian Process Kernels for Pattern Discovery and Extrapolation
University of Cambridge(剑桥大学);Harvard University(哈佛大学)
高斯过程是函数上的丰富分布,它为平滑和插值提供了贝叶斯非参数方法。我们引入了简单的封闭形式的内核,可以与高斯过程一起使用,以发现模式并实现外推。这些内核是通过模拟一个频谱密度-内核的傅立叶变换-高斯混合。所提出的内核支持一个广泛的类的平稳协方差,但高斯过程推理保持简单和分析。我们通过发现模式和对合成示例进行长范围外推,以及大气CO2趋势和航空公司乘客数据来证明所提出的内核。我们还表明,我们可以在我们的框架内重建标准协方差。
2013-12-31 cs.AI stat.ME stat.ML
On the Spectral Bias of Convolutional Neural Tangent and Gaussian Process Kernels
Weizmann Institute of Science(魏茨曼科学研究所);University of Maryland at College Park(马里兰大学帕克分校)
我们通过高斯过程和神经切线核研究了各种过参数化卷积神经结构的性质。我们证明,在归一化多通道输入和ReLU激活的情况下,这些具有统一度量的内核的特征函数由球谐函数的乘积形成,定义在不同像素的通道上。接下来,我们使用分层可因子分解核来绑定它们各自的特征值。我们表明,多项式的特征值衰减,量化的衰减率,并得出措施,反映在这些网络中的分层功能的组成。我们的研究结果提供了过参数化卷积网络架构的具体定量表征。
2022-03-17 cs.AI cs.LG
Sketching the Heat Kernel: Using Gaussian Processes to Embed Data
本文提出一种基于高斯过程实现热核矩阵描绘的数据嵌入方法,利用Karhunen-Loève展开使嵌入距离近似扩散距离,并增强了对异常值的鲁棒性。
2024-03-01 cs.LG cs.NA math.NA
Amortized Inference for Gaussian Process Hyperparameters of Structured Kernels
Bosch Center for Artificial Intelligence(博世人工智能中心)
针对现有高斯过程核参数摊销推理仅支持固定核结构、换核需重训网络的问题,提出在核结构族上构建基于数据集-核对的摊销网络,无需重训即可快速推理并支持核集成,在多场景下实现了推理提速且性能有竞争力。
2023-06-16 cs.AI cs.LG
Non-separable Covariance Kernels for Spatiotemporal Gaussian Processes based on a Hybrid Spectral Method and the Harmonic Oscillator
School of Electrical and Computer Engineering, Technical University of Crete(克里特技术大学电气与计算机工程学院)
本文提出基于物理的混合谱方法,从线性阻尼谐振子推导出非可分时空协方差核,涵盖三种阻尼状态,可捕捉单调与振荡衰减的时空相关性。
2024-01-09 cs.AI cs.LG math.ST
Convergence of Gaussian process regression: Optimality, robustness, and relationship with kernel ridge regression
在这项工作中,我们研究了高斯过程回归用于恢复基于噪声观测的函数。我们推导出高斯过程回归的误差上界和下界,可能误指定的相关函数。即使所施加的相关函数的平滑度超过真实的相关函数的平滑度并且采样方案是准均匀的,也可以获得最佳的收敛速度。作为副产品,我们也得到了收敛速度的核岭回归与错误指定的核函数,其中的基本真理是一个确定性的功能。高斯过程回归和核岭回归的收敛速度是紧密联系的,这与高斯过程的样本路径和相应的再生核希尔伯特空间之间的关系是一致的。
2022-07-19 math.ST stat.TH
Linked Gaussian Process Emulation for Systems of Computer Models using Matérn Kernels and Adaptive Design
最先进的关联高斯过程提供了一种为计算机模型系统构建分析仿真器的方法。我们推广了平方指数核下的链接高斯过程的封闭形式表达式到一类Matérn核,这在高级应用中是必不可少的。本文提出了一种迭代的方法来构造链接高斯过程作为任何前馈系统的计算机模型的代理模型,并在一个反馈耦合卫星系统上进行了说明。我们还介绍了一种自适应设计算法,可以增加近似精度的链接高斯过程代理与运行昂贵的计算机系统上的计算成本降低,通过分配运行和细化仿真的各个子模型的基础上,其异构功能的复杂性。
2021-02-07 stat.AP stat.ME
Gaussian Process Regression under Computational and Epistemic Misspecification
本文提出统一理论框架,分析低秩、协方差稀疏及精度稀疏等核近似在高斯过程回归中的插值误差,并兼顾核参数的认知误设。
2024-10-03 cs.NA math.NA math.ST
On Kernels and Covariance Structures in Hilbert Space Gaussian Processes
提出了算子值正定核的全面框架,并将其应用于算子理论的膨胀构造与随机过程,开发了新的Hilbert空间值高斯过程并研究其协方差结构。
2025-10-31 math.FA math.PR math.ST
Estimating densities with nonlinear support using Fisher-Gaussian kernels
当密度集中在非线性子空间或流形附近时,用于多变量密度估计的当前工具很困难。大多数方法需要选择一个内核,与多元高斯到目前为止最常用的。虽然已经提出了重尾和倾斜的扩展,这样的内核不能捕获曲率的数据的支持。除非相对于数据维度而言,样本量非常大,否则这会导致性能较差。本文提出了一种新的广义高斯分布,其中包括一个额外的曲率参数。我们将所提出的类称为Fisher-Gaussian(FG)内核,因为它们是通过从球体上的von Mises-Fisher密度采样并添加高斯噪声而产生的。FG密度具有解析形式,并且适合于使用马尔可夫链蒙特卡罗在贝叶斯混合模型内直接实现。我们提供理论上的大支持,并说明增益相对于竞争对手在模拟和真实的数据应用程序。
2019-07-12 math.ST stat.ME stat.TH
A probabilistic Taylor expansion with Gaussian processes
University of Helsinki(赫尔辛基大学);University of Southampton(南安普顿大学);Lund University(隆德大学);Aalto University(阿尔托大学)
该研究提出一类基于Taylor核的高斯过程框架,其特定数据下的后验均值可复现任意阶截断泰勒展开,还证明了Taylor核参数最大似然估计的相关结果,是再生核希尔伯特空间正交数据下高斯过程回归的特例。
2023-08-28 cs.LG cs.NA math.NA
Gaussian process regression with log-linear scaling for common non-stationary kernels
本文提出一种适用于低维非平稳核的高斯过程回归快速算法,利用非均匀快速傅里叶变换实现近最优的$O(N\log N)$复杂度,并在多维空间展示优于秩结构方法的可扩展性。
2025-03-26 cs.NA math.NA stat.CO
Can we trust Bayesian uncertainty quantification from Gaussian process priors with squared exponential covariance kernel?
研究了具有平方指数协方差核的高斯过程先验的可信集的频率覆盖性质。首先,我们表明,通过选择缩放超参数使用最大边际似然估计(略有修改)平方指数协方差内核的相应的可信集将提供过度自信,误导性的不确定性声明的一个大的,有代表性的子类的功能参数的背景下的高斯白噪声模型。然后我们证明了,无论是用对数因子爆破可信集,还是用对数项修正极大边际似然估计,在一定的附加约束下,都可以得到可靠的不确定性陈述和可信集的自适应大小。最后,我们证明了一个数值研究,推导出的负面和正面的结果超出了高斯白噪声模型的非参数回归和分类模型的小样本量以及。
2019-04-02 math.ST stat.TH
Kernel discriminant analysis and clustering with parsimonious Gaussian process models
这项工作提出了一个家庭的简约高斯过程模型,允许建立,从有限的样本,在无限维空间中的基于模型的分类。建议的简约模型是通过约束特征分解的高斯过程建模每一类。这特别允许使用将观测投影到无限维空间中的非线性映射函数。它还表明,可以直接从观察空间通过核函数的分类器的建设。因此,所提出的分类方法能够对各种类型的数据进行分类,例如分类数据、功能数据或网络。此外,可以通过组合不同的内核来对混合数据进行分类。该方法也扩展到无监督分类的情况下。在不同数据集上的实验结果证明了该方法的有效性。
2012-06-15 stat.AP stat.ME
Propriety of the reference posterior distribution in Gaussian Process modeling
在一篇开创性的文章中,Berger,De Oliveira和Sansó(2001)比较了具有各向同性相关核的高斯过程回归模型参数的几种客观先验分布。参考先验分布在其中脱颖而出,因为它总是导致一个适当的后验。他们证明了这一结果粗糙的相关内核-球形,幂指数$q<2$,Matérn平滑$ν<1$。本文证明了平滑相关核-指数幂$q=2$,Matérn平滑$ν\geqslant 1$,有理二次-以及这些核的参考先验的尾部率。
2020-11-20 math.ST stat.TH