Dual Parameterization of Sparse Variational Gaussian Processes
Aalto University(阿尔托大学);RIKEN Center for AI Project(理化学研究所人工智能项目中心)
稀疏变分高斯过程(SVGP)方法是非共轭高斯过程推理的常见选择,因为它们的计算优势。在本文中,我们提高了他们的计算效率,通过使用一个双参数化,每个数据的例子被分配双参数,类似于期望传播中使用的网站参数。我们的双参数化加速推理使用自然梯度下降,并提供了一个更严格的证据下界超参数学习。该方法与现有的SVGP方法具有相同的内存开销,但速度更快,精度更高。
2022-01-19 cs.LG stat.ML
Inducing Point Allocation for Sparse Gaussian Processes in High-Throughput Bayesian Optimisation
稀疏高斯过程是高吞吐量贝叶斯优化(BO)循环的关键组成部分,然而,我们发现,现有的方法分配其诱导点严重妨碍优化性能。通过利用确定性点过程的质量多样性分解,我们提出了第一个专门为BO设计的诱导点分配策略。与现有的方法,只寻求减少目标函数的全局不确定性,我们的方法提供了精确优化所需的有前途的区域的本地高保真度建模。更一般地说,我们证明了我们提出的框架提供了一种灵活的方式来分配稀疏模型的建模能力,因此适合广泛的下游顺序决策任务。
2023-02-23 cs.LG stat.ML
Sparse Gaussian Processes via Parametric Families of Compactly-supported Kernels
Charles River Analytics(查尔斯河分析公司)
高斯过程是概率机器学习的强大模型,但其$O(N^3)$推理复杂性限制了其应用。我们提出了一种方法,用于导出具有紧凑空间支持的核函数的参数族,从而产生自然稀疏的核矩阵,并通过稀疏线性代数实现快速高斯过程推理。这些族推广了已知的紧支撑核函数,例如Wendland多项式。该核函数族的参数可以使用最大似然估计从数据中学习。或者,我们可以使用凸优化快速计算目标核的紧凑近似。我们证明了这些近似在对直接从目标GP提取的数据进行建模时,在精确模型上产生的误差最小,并且在现实世界的信号重建任务中可以优于传统的GP内核,同时表现出次二次推理复杂性。
2020-06-05 cs.LG stat.ML
Sparse Gaussian Processes with Spherical Harmonic Features Revisited
Microsoft Research(微软研究院)
我们重新审视了具有球谐特征的高斯过程模型,并研究了相关的RKHS,其特征结构和深层模型之间的联系。在此基础上,我们引入了一类新的内核,对应于连续深度的深度模型。在我们的公式中,深度可以通过优化证据下限来估计为核超参数。此外,我们引入稀疏的特征基变分学习的球谐相位。这使得能够缩放到比以前更大的输入尺寸,同时还允许学习高频变化。我们在机器学习基准数据集上验证了我们的方法。
2023-03-28 cs.LG stat.ML
Beyond normality: Learning sparse probabilistic graphical models in the non-Gaussian setting
MIT(麻省理工学院)
我们提出了一个算法来识别稀疏依赖结构在连续和非高斯概率分布,给定相应的数据集。任意分布的条件独立结构可以表示为无向图(或马尔可夫随机场),但大多数学习这种结构的算法仅限于离散或高斯情况。我们的新方法可以更真实和准确地描述所讨论的分布,从而更好地估计其稀疏马尔可夫结构。图中的稀疏性是有趣的,因为它可以加速推理,改进采样方法,并揭示变量之间的重要依赖关系。该算法依赖于利用图的稀疏性和运输地图的稀疏性之间的连接,确定性地将一个概率度量耦合到另一个概率度量。
2017-11-06 cs.LG stat.ML
Online Anomaly Detection with Sparse Gaussian Processes
East China Normal University(华东师范大学)
时间序列数据的在线异常检测是机器学习中一个重要而又具有挑战性的课题。高斯过程(GP)是一种强大而灵活的时间序列数据建模模型。然而,GP的高时间复杂度限制了其在在线异常检测中的应用。概念漂移通常发生在时间序列数据中,由于内部或外部的变化,数据的特征和异常行为的含义会随着时间的推移而发生变化。在线异常检测方法应具有适应概念漂移的能力。基于上述事实,本文提出了带Q函数的稀疏高斯过程方法(SGP-Q)。SGP-Q采用稀疏高斯过程(SGPs),其时间复杂度低于GP,从而显着加快在线异常检测。通过适当地使用Q函数,SGP-Q能很好地适应概念漂移。此外,SGP-Q通过训练数据更新策略,充分利用了训练数据中少量的异常数据,使得稀疏高斯过程回归模型的精度更高,异常检测效果更好。我们在各种人工和真实世界的数据集上评估SGP-Q。实验结果验证了SGP-Q的有效性。
2019-05-14 cs.LG stat.ML
Knot Selection in Sparse Gaussian Processes with a Variational Objective Function
Iowa State University(爱荷华州立大学)
稀疏的,基于节点的高斯过程已经取得了相当大的成功,作为可扩展的近似全高斯过程。某些稀疏模型可以通过对真实后验的特定变分近似来导出,并且可以选择节点以最小化近似后验和真实后验之间的库尔贝克-莱布勒散度。虽然这是一种成功的方法,但由于要优化的参数的数量,同时优化节点可能会很慢。此外,已经提出了一些方法来选择节点的数量,并没有实验结果存在于文献中。我们提出了一种基于贝叶斯优化的节点选择算法来选择节点的数量和位置。我们展示了这种方法的竞争力的性能相对于同时优化的结在三个基准数据集,但在一小部分的计算成本。
2020-04-13 cs.LG stat.ML
Doubly Sparse Variational Gaussian Processes
高斯过程模型的使用通常限于具有数万个观测值的数据集,这是由于它们的复杂性和内存占用。克服这种限制的两种最常用的方法是1)依赖于诱导点的变分稀疏近似和2)高斯过程的状态空间等效公式化,其可以被视为利用精度矩阵中的一些稀疏性。我们建议采取两全其美:我们表明,诱导点框架仍然是有效的状态空间模型,它可以带来进一步的计算和内存节省。此外,我们提供了自然梯度制定拟议变分参数化。最后,这项工作使得有可能使用深高斯过程模型内部的状态空间公式,如在一个实验中所示。
2020-01-15 cs.LG stat.ML
Sparse Orthogonal Variational Inference for Gaussian Processes
Tsinghua University(清华大学);DeepMind
本文提出将高斯过程分解为诱导点基与残差过程之和的新视角,据此推导出更紧的边际似然下界和可扩展的随机变分推断算法,并在CIFAR-10上取得纯GP模型的最优结果。
2024-02-24 cs.LG stat.ML
Sparse Algorithms for Markovian Gaussian Processes
Aalto University(阿尔托大学);The Alan Turing Institute(艾伦·图灵研究所)
扩展到非常大的数据集的近似贝叶斯推断方法对于利用真实世界时间序列的概率模型至关重要。稀疏马尔可夫高斯过程将诱导变量的使用与高效的卡尔曼滤波器递归相结合,从而产生其计算和存储器要求在诱导点的数量上线性缩放的算法,同时还实现并行参数更新和随机优化。在这种模式下,我们得出一个一般的基于站点的方法来近似推理,从而我们近似的非高斯似然与当地高斯条款,称为网站。我们的方法结果在一套新的稀疏扩展算法从机器学习和信号处理文献,包括变分推断,期望传播,和经典的非线性卡尔曼平滑。派生的方法是适合于大型时间序列,我们也证明了它们的适用性时空数据,该模型在时间和空间有单独的诱导点。
2021-06-09 cs.LG stat.ML
Regularized Sparse Gaussian Processes
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);University of California, Santa Cruz(加州大学圣克鲁兹分校);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
高斯过程是一种灵活的贝叶斯非参数建模方法,已被广泛应用,但带来了计算上的挑战。为了解决精确推理方法的缩放性差的问题,基于稀疏高斯过程(SGP)的近似方法是有吸引力的。SGP面临的一个问题,特别是在潜变量模型中,是诱导输入的学习效率低下,这导致模型预测效果不佳。我们提出了一种正则化方法,通过平衡数据的重建性能和模型本身的近似性能。这种正则化提高了推理和预测性能。我们将这种正则化方法扩展到具有SGPs的潜变量模型中,并表明对这些模型执行变分推断(VI)相当于对相关经验贝叶斯模型执行VI。
2021-05-31 cs.LG stat.ML
Nonparametric Bayesian Mixed-effect Model: a Sparse Gaussian Process Approach
Tufts University(塔夫茨大学)
使用高斯过程(GP)的多任务学习模型已被开发并成功应用于各种应用中。这种方法的主要困难是使用来自所有任务的示例的联合进行推理的计算成本。因此,稀疏的解决方案,避免直接使用整个数据,而是使用一组信息的“代表”是可取的。本文研究了分组混合效应GP模型的这个问题,其中每个个体的响应是由一个固定效应,从一组未知的群体之一,加上一个随机的个体效应函数,捕捉个体之间的变化。这种模型已被广泛使用在以前的工作中,但没有稀疏的解决方案已经开发。本文提出了这样的问题的第一个稀疏的解决方案,显示如何稀疏近似可以通过最大化的边际似然变下界,从单任务高斯过程的想法,以处理混合效应模型以及分组。使用人工和真实数据的实验验证了该方法,表明它可以恢复完整样本的推理性能,它优于基线方法,并且它优于其他多任务GP配方的最新稀疏解决方案。
2012-11-28 cs.LG stat.ML
Sparse Gaussian Process Temporal Difference Learning for Marine Robot Navigation
Stevens Institute of Technology(史蒂文斯理工学院)
我们提出了一种时间差(TD)学习的方法,解决了机器人学习在海洋环境中导航所面临的几个挑战。为了提高数据效率,我们的方法减少了对高斯过程回归的TD更新。为了使预测服从在线设置,我们引入了一个稀疏近似,其质量优于当前基于拒绝的稀疏方法。我们推导出预测价值函数后验和使用的时刻,得到一个新的算法,无模型的政策评估,SPGP-SARSA。通过简单的修改,我们表明SPGP-SARSA可以简化为基于模型的等价物SPGP-TD。我们进行全面的模拟研究,并与水下机器人进行物理学习试验。我们的研究结果表明,SPGP-SARSA可以优于最先进的稀疏方法,复制其精确对应的预测质量,并适用于解决水下导航任务。
2018-10-02 cs.LG stat.ML
Revisiting the Sample Complexity of Sparse Spectrum Approximation of Gaussian Processes
Carnegie-Mellon University(卡内基梅隆大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
我们引入了一个新的可扩展的近似高斯过程的可证明的保证,同时保持在其整个参数空间。我们的近似是从稀疏谱高斯过程(SSGP)的改进的样本复杂性分析。特别是,我们的分析表明,在一定的数据解开条件下,SSGP的预测和模型证据(用于训练)可以很好地近似于具有低样本复杂度的完整GP。我们还开发了一个新的自动编码算法,找到一个潜在的空间,解开潜在的输入坐标到分离良好的集群,这是服从我们的样本复杂性分析。我们验证了我们提出的方法在几个基准有希望的结果支持我们的理论分析。
2020-11-17 cs.LG stat.ML
Sparse matrix-variate Gaussian process blockmodels for network modeling
Purdue University(普渡大学)
我们面对来自各种来源的网络数据,例如蛋白质相互作用和在线社交网络。一个关键问题是对网络交互进行建模,并识别潜在的网络节点组。这个问题是具有挑战性的,由于许多原因。例如,网络节点是相互依赖的而不是彼此独立的,并且已知数据是非常嘈杂的(例如,缺失边缘)。为了解决这些问题,我们提出了一种新的网络数据关系模型,稀疏矩阵变量高斯过程块模型(SMGB)。我们的模型概括了流行的双线性生成模型,并使用具有潜在成员变量的矩阵变量高斯过程捕获非线性网络交互。我们还分配稀疏先验分布的潜在成员变量学习稀疏组分配的个别网络节点。为了有效地从数据中估计潜变量,我们开发了一种有效的变分期望最大化方法。我们将我们的方法与合成和真实世界网络数据集上的几种最先进的网络模型进行了比较。实验结果表明,SMGB优于其他方法在发现潜在类或预测未知的相互作用。
2012-02-14 cs.LG stat.ML
Knot Selection in Sparse Gaussian Processes
Iowa State University(爱荷华州立大学)
基于节点的稀疏高斯过程作为全高斯过程的可扩展近似已经取得了相当大的成功。然而,当通过优化边际似然来进行节点选择时,可能会出现问题。例如,边缘似然曲面是高度多峰的,这可能导致次优节点放置,其中一些节点实际上不起作用。当使用的节点比必要的多得多时,这尤其是一个问题,导致额外的计算成本,而精度几乎没有提高。我们提出了一个一次一个节点选择算法来选择节点的数量和位置。我们的算法使用贝叶斯优化来有效地提出可能是好的结,并在很大程度上避免了使用边际似然作为目标函数时遇到的病态。我们提供的实证结果表明,提高了准确性和速度比目前的标准方法。
2020-02-21 cs.LG stat.ML
Sparse Gaussian Processes with Spherical Harmonic Features
Amazon Research(亚马逊研究院)
我们引入了一类新的域间变分高斯过程(GP)的数据被映射到单位超球,以使用球谐表示。我们的推理方案是可比的变分傅立叶特征,但它不受维数灾难,并导致诱导变量之间的对角协方差阵。这使得推理速度加快,因为它绕过了对大型协方差阵求逆的需要。我们的实验表明,我们的模型能够拟合具有600万个条目的数据集的回归模型,与标准稀疏GP相比快两个数量级,同时保持最先进的准确性。我们还展示了具有竞争力的性能与非共轭似然分类。
2020-06-30 cs.LG stat.ML
Calibrating Transformers via Sparse Gaussian Processes
Imperial College London(伦敦帝国学院)
提出稀疏高斯过程注意力(SGPA),在Transformer的多头注意力输出空间进行贝叶斯推理,以校准不确定性,提升分布内校准和分布外鲁棒性。
2025-09-10 cs.LG stat.ML
Uncertainty Quantification for Scientific Machine Learning using Sparse Variational Gaussian Process Kolmogorov-Arnold Networks (SVGP KAN)
UCLA(加州大学洛杉矶分校)
本文提出一种结合稀疏变分高斯过程与柯尔莫戈洛夫-阿诺德拓扑的网络架构,用于科学机器学习中的不确定性量化,通过解析矩匹配实现不确定性传播并保持可解释性。
2025-12-09 cs.LG stat.ML
Probabilistic selection of inducing points in sparse Gaussian processes
University of Glasgow(格拉斯哥大学)
稀疏高斯过程及其各种扩展是通过诱导点实现的,这些诱导点同时限制了预测能力,并成为模型复杂性的主要贡献者。然而,诱导点的数量通常与不确定性无关,这阻止了我们应用贝叶斯推理的装置来确定适当的权衡。在这项工作中,我们放置一个点过程之前的诱导点和近似相关的后验通过随机变分推理。通过让先验知识鼓励适度数量的诱导点,我们使模型能够学习使用哪些点以及使用多少点。我们的实验表明,更少的诱导点是首选的模型,因为点变得信息量较少,并进一步展示了该方法可以用于深高斯过程和潜变量建模。
2021-07-25 cs.LG stat.ML
Sparse Gaussian Process Based On Hat Basis Functions
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
高斯过程是最流行的非参数贝叶斯回归建模方法之一。它完全由其均值和协方差函数协方差函数决定。它的线性特性使得解决预测问题相对简单。虽然高斯过程在许多领域得到了成功的应用,但它仍然不足以处理满足不等式约束的物理系统。近年来,所谓的约束高斯过程已经解决了这个问题。本文推广了约束高斯过程的核心思想。根据训练或测试数据的范围,我们重新定义了约束高斯过程中提到的帽基函数。基于帽子基函数,我们提出了一种新的稀疏高斯过程方法来解决无约束回归问题。类似于精确高斯过程和完全独立训练条件近似的高斯过程,我们的方法在开源数据集或解析函数上获得了令人满意的近似结果。在性能方面,所提出的方法降低了整体的计算复杂度从$O(n^{3})$计算在精确的高斯过程的$O(nm^{2})$与$m$帽子基函数和$n$训练数据点。
2020-06-15 cs.LG stat.ML
Bayesian Inference in Sparse Gaussian Graphical Models
University of Edinburgh(爱丁堡大学);Pharmatics Ltd(Pharmatics有限公司)
科学的基本任务之一是在观察到的现象之间找到可解释的关系。这一任务的一种方法,近年来受到关注的是基于概率图形模型与稀疏约束的模型结构。在本文中,我们描述了两种新的方法来贝叶斯推断稀疏结构的高斯图模型(GGM)。一个是基于一个简单的修改的尖端块吉布斯采样器稀疏GGM,这导致显着的计算增益在高维。另一种方法是基于哈密顿蒙特卡罗采样器的一个特定的结构,这导致进一步的显着改善。我们比较了我们的完全贝叶斯方法与流行的基于规则的图形LASSO,并在相同的计算成本下证明了贝叶斯处理的显着优势。我们将这些方法应用于广泛的模拟数据集和真实的金融数据集。
2013-09-27 cs.LG stat.ML
Sparse-posterior Gaussian Processes for general likelihoods
Microsoft Research(微软研究院);Purdue University(普渡大学)
高斯过程(GP)提供了回归,分类和其他问题中函数的概率非参数表示。不幸的是,GP的精确学习对于大型数据集来说是棘手的。已经提出了各种近似GP方法,其基本上将大数据集映射到小的基点集。其中,两种最先进的方法是稀疏伪输入高斯过程(SPGP)(Snelson和Ghahramani,2006)和可变sigma GP(VSGP)Walder et al.(2008),它推广了SPGP并允许每个基点具有自己的长度尺度。然而,VSGP仅用于回归。在本文中,我们提出了一个新的稀疏GP框架,使用期望传播直接近似一般GP似然使用稀疏和光滑的基础。它包括SPGP和VSGP作为特殊情况的回归。此外,作为一种EP算法,它继承了在线处理数据的能力。作为近似族的特定选择,我们用高斯分布模糊每个基点,该高斯分布具有表示该基点周围的数据分布的完整协方差矩阵;因此,我们可以用一小组基点来总结局部数据流形信息。我们的实验表明,该框架优于以前的GP分类方法在基准数据集上的非稀疏GP解决方案的分歧最小化以及较低的误分类率。
2012-03-15 cs.LG stat.ML
Conditioning Sparse Variational Gaussian Processes for Online Decision-making
New York University(纽约大学)
高斯过程(GP)具有不确定性的原则性表示和封闭形式的后验更新,是在线决策的自然选择。然而,高斯过程通常至少需要针对$n$训练点的$\mathcal{O}(n^2)$计算,从而限制了它们的一般适用性。随机变分高斯过程(SVGPs)可以为固定大小的数据集提供可扩展的推理,但很难有效地对新数据进行约束。我们提出了在线变分条件(OVC),一个程序,有效地调节SVGP在在线设置,不需要重新训练,通过证据下限与添加新的数据。OVC使SVGP与先进的前瞻采集功能配对,用于黑盒优化,即使是非高斯似然。我们表明OVC在一系列应用中提供了令人信服的性能,包括疟疾发病率的主动学习和MuJoCo模拟机器人控制任务的强化学习。
2021-10-28 cs.LG stat.ML
Modelling local and global phenomena with sparse Gaussian processes
Helsinki University of Technology(赫尔辛基工业大学)
最近的许多工作都涉及稀疏近似,以加快高斯过程回归从不利的O(n3)缩放计算时间为O(nm2)。到目前为止,工作集中在模型与一个协方差函数。然而,在许多实际情况下,具有多个协方差函数的加性模型可能表现得更好,因为数据可能包含长和短长度尺度现象。长尺度可以用全局稀疏近似(如完全独立条件(FIC))来捕获,短尺度可以自然地用具有紧支持(CS)的协方差函数来建模。CS协方差函数导致自然稀疏的协方差矩阵,其在计算上比完整的协方差矩阵更便宜。在本文中,我们提出了一个新的稀疏高斯过程模型与两个附加组件:FIC的长尺度和CS协方差函数的短尺度。我们给出了理论和实验结果,并表明在一定条件下,该模型具有相同的计算复杂性的FIC。我们还比较了所提出的模型的模型性能的加性模型近似的完全和部分独立的条件(PIC)。我们使用真实的数据集,并表明我们的模型优于FIC和PIC近似的数据集与两个添加剂的现象。
2012-06-13 cs.LG stat.ML
Scalable Bayesian Optimization with Sparse Gaussian Process Models
Deakin University(迪肯大学)
该研究围绕贝叶斯优化,提出结合导数信息与可扩展稀疏高斯过程,以加快收敛并处理海量数据。
2020-10-26 cs.IR cs.LG stat.ML
SigGPDE: Scaling Sparse Gaussian Processes on Sequential Data
University of Warwick(华威大学);Alan Turing Institute(阿兰·图灵研究所);University of Oxford(牛津大学);Imperial College London(伦敦帝国学院);CSIRO’s Data61(联邦科学与工业研究组织Data61);The University of Sydney(悉尼大学)
当输入数据是连续的时,进行预测并量化其不确定性是一个基本的学习挑战,最近引起了越来越多的关注。我们开发了SigGPDE,一个新的可扩展稀疏变分推断框架高斯过程(GP)的序列数据。我们的贡献是双重的。首先,我们构造诱导变量支撑稀疏近似,从而得到的证据下限(ELBO)不需要任何矩阵求逆。其次,我们证明了GP签名核的梯度是双曲型偏微分方程(PDE)的解。这种理论上的洞察力使我们能够建立一个有效的反向传播算法来优化ELBO。与现有方法相比,我们展示了SigGPDE的显著计算增益,同时在高达100万个多变量时间序列的大型数据集上实现了最先进的分类任务性能。
2021-10-12 cs.LG stat.ML
Parallelizable sparse inverse formulation Gaussian processes (SpInGP)
我们提出了一个可并行化的稀疏逆高斯过程(SpInGP)的时间模型。它使用稀疏精确GP公式和稀疏矩阵例程来加速计算。由于该算法中使用的状态空间公式,基本SpInGP的时间复杂度是线性的,并且由于所有的计算都是可并行的,该算法的并行形式在数据点的数量上是次线性的。我们提供了示例算法来实现稀疏矩阵例程,并使用模拟和真实数据对该方法进行实验测试。
2017-09-28 stat.ML
Variational zero-inflated Gaussian processes with sparse kernels
零膨胀的数据集,具有超过零的输出,通常在气候或罕见事件建模等问题中遇到。传统的机器学习方法往往会高估非零值,从而导致性能较差。我们提出了一种新的模型家庭的零膨胀高斯过程(ZiGP)的零膨胀数据集,通过学习潜在的概率高斯过程,可以零出内核的行和列时,信号是不存在的稀疏内核。ZiGP对于使强大的高斯过程网络更易于解释特别有用。我们引入稀疏GP网络,通过稀疏混合信号实现可变阶潜在建模。我们推导出非平凡的随机变分推断可追溯的可扩展学习的稀疏内核在这两个模型。新的输出稀疏方法提高了零膨胀数据的预测和潜在混合模型的可解释性。
2018-03-13 stat.ML
Similarity measure for sparse time course data based on Gaussian processes
Imperial College London(帝国理工学院)
我们提出了一个稀疏采样的时间过程数据的相似性度量的高斯过程(GP)的对数似然比的形式。所提出的GP相似性类似于贝叶斯因子,并且提供对稀疏时间序列中的噪声的增强的鲁棒性,诸如在各种生物设置中发现的那些,例如,基因转录组学我们表明,GP措施是等效的欧氏距离时,在GP的噪声方差是可以忽略不计的信号的噪声方差。我们的数值模拟实验的合成和真实的数据表明,改进的性能GP相似性结合使用时,两个基于距离的聚类方法。
2021-02-24 cs.IR cs.LG stat.ML
Sparse Gaussian Process Variational Autoencoders
University of Cambridge(剑桥大学);ETH Zürich(苏黎世联邦理工学院);Warwick University(华威大学)
在现代科学和工程中,大型、多维的时空数据集无处不在。处理此类数据的有效框架是高斯过程深度生成模型(GP-DGMs),其在DGMs的潜变量上采用GP先验。用于在GP-DGMs中执行推理的现有方法不支持基于诱导点的稀疏GP近似,这对于GP的计算效率是必不可少的,它们也不以原则性的方式处理缺失数据-在许多时空数据集中自然发生。我们解决这些缺点与稀疏高斯过程变分自动编码器(SGP-VAE)的发展,其特征在于使用部分推理网络参数化稀疏GP近似。利用摊销变分推断的优点,SGP-VAE能够在先前未观察到的数据上进行多输出稀疏GP中的推理,而无需额外的训练。SGP-VAE在各种实验中进行了评估,其中它优于替代方法,包括多输出GP和结构化VAE。
2020-10-23 cs.LG cs.NE stat.ML
EigenGP: Sparse Gaussian process models with data-dependent eigenfunctions
Purdue University(普渡大学)
高斯过程(GP)提供函数的非参数表示。然而,传统的GP推理存在计算量大,设计非平稳GP先验知识困难等问题。在本文中,我们提出了一个稀疏高斯过程模型,本征GP,基于Karhunen-Loeve(KL)展开的GP先验。我们使用Nystrom近似获得数据相关的特征函数,并选择这些特征函数的证据最大化。这种选择减少了我们模型中本征函数的数量,并提供了一个非平稳的协方差函数。为了处理非线性似然,我们开发了一种有效的期望传播(EP)推理算法,并将其与期望最大化相结合用于特征函数的选择。因为高斯核的特征函数与样本的聚类相关联-包括标记的和未标记的-选择相关的特征函数使EigenGP能够进行半监督学习。我们的实验结果表明,改进的预测性能的EigenGP替代国家的最先进的稀疏GP和半监督学习方法的回归,分类和半监督分类。
2013-03-13 cs.LG stat.CO stat.ML
Understanding Probabilistic Sparse Gaussian Process Approximations
良好的稀疏近似对于高斯过程中的实际推理是必不可少的,因为精确方法的计算成本对于大型数据集是过高的。完全独立训练条件(FITC)和变分自由能(VFE)近似是最近流行的两种方法。尽管表面上相似,但这些近似具有令人惊讶的不同理论性质,并且在实践中表现不同。本文通过分析和实例对这两种回归方法进行了深入的研究,并得出了指导实际应用的结论。
2017-05-30 stat.ML
Improving the Gaussian Process Sparse Spectrum Approximation by Representing Uncertainty in Frequency Inputs
标准的稀疏伪输入近似的高斯过程(GP)不能处理复杂的功能。稀疏频谱替代方案试图回答这个问题,但已知过度拟合。我们建议使用变分推断的稀疏谱近似,以避免这两个问题。我们用有限傅立叶级数近似法对协方差函数建模,并将其视为随机变量。随机协方差函数有一个后验,其上放置了一个变分分布。变分分布变换随机协方差函数以拟合数据。我们研究我们的近似推理的性质,比较它的替代,并将其扩展到分布式和随机域。我们的近似比标准方法更好地捕获复杂函数,并避免过度拟合。
2015-03-20 stat.ML
Adaptive multi-resolution Gaussian processes: Scalable exact inference with naturally data-sparse covariance matrices
Institute of Applied Physics and Computational Mathematics(北京应用物理与计算数学研究所)
提出自适应多分辨率高斯过程框架,利用自然数据稀疏协方差矩阵实现精确推断,训练成本O(n log²n),预测成本O(log^d n),兼顾可扩展性与模型保真度。
2026-09-28 cs.AI cs.LG stat.ML
Clustering based on Mixtures of Sparse Gaussian Processes
Isfahan University of Technology(伊斯法罕理工大学)
创建高维数据集的低维表示是许多机器学习应用中的重要组成部分。如何利用数据的低维嵌入空间进行聚类仍然是机器学习中的一个具有挑战性的问题。在这篇文章中,我们专注于提出一个联合制定聚类和降维。当需要概率模型时,一种可能的解决方案是使用混合模型,其中学习聚类指示符和低维空间。我们的算法是基于稀疏高斯过程的混合,这被称为稀疏高斯过程混合聚类(SGP-MIC)。与现有方法相比,我们的方法的主要优点是,该模型的概率性质比现有的确定性方法提供了更多的优势,构建模型的非线性推广是简单的,并且应用稀疏模型和有效的变分EM近似有助于加快算法。
2023-03-23 cs.LG
Sparse Gaussian Process Hyperparameters: Optimize or Integrate?
University of Cambridge(剑桥大学);Microsoft Research AI4Science(微软研究院AI4Science);Massachusetts Institute of Technology(麻省理工学院)
核函数及其超参数是高斯过程中的核心模型选择(Rasmussen and Williams,2006)。通常,核的超参数是通过最大化边际似然来选择的,这种方法被称为类型II极大似然(ML-II)。然而,ML-II不考虑超参数不确定性,众所周知,这可能导致严重偏倚的估计和低估预测的不确定性。虽然有几个作品采用了完全贝叶斯表征的GP,相对较少的稀疏GP范例提出这样的方法。在这项工作中,我们提出了一种稀疏高斯过程回归的算法,该算法利用MCMC从Titsias(2009)的变分诱导点框架内的超参数后验进行采样。这项工作与Hensman等人(2015 b)密切相关,但不需要对诱导点进行采样,从而显着提高了高斯似然情况下的抽样效率。我们比较这个计划与自然基线的文献,随着随机变分GPS(SVGPs),随着广泛的计算分析。
2022-11-04 cs.LG stat.ME stat.ML
Scalable Sparse Autoregressive Variational Inference for Non-Gaussian Spatial Fields
The Ohio State University(俄亥俄州立大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文针对非高斯空间场后验分布难以解析求解的问题,提出一种可扩展稀疏自回归变分推断框架,结合归一化流与双重随机优化,实现高效近似推断。
2026-10-12 cs.LG stat.CO stat.ME
Deep Recurrent Gaussian Process with Variational Sparse Spectrum Approximation
序列数据建模在实践中变得越来越重要。一些应用包括自动驾驶、虚拟传感器和天气预报。为了对这种系统进行建模,使用所谓的递归模型。本文在稀疏谱高斯过程(SSGP)和变分稀疏谱高斯过程(VSSGP)的基础上,提出了两种新的深度递归高斯过程(DRGP)模型。我们遵循现有DRGP基于特定稀疏Nyström近似给出的经常性结构。因此,我们还对输入空间进行变分积分,从而可以通过层传播不确定性。我们可以证明,对于所得到的下界,存在一个最优变分分布。训练是通过优化变分下界来实现的。采用分布式变分推断(DVI)可以降低计算复杂度。我们改进了当前最先进的方法,用于其评估的实验数据集的预测精度,并引入了一个新的数据集的发动机控制,命名为排放。此外,我们的方法可以很容易地适用于无监督学习,例如潜变量模型及其深度版本。
2017-11-19 stat.ML
Efficient Optimization for Sparse Gaussian Process Regression
University of Toronto(多伦多大学);TTI-Chicago(芝加哥丰田技术研究所);Adobe Research(Adobe研究院)
我们提出了一个有效的优化算法,选择一个子集的训练数据,以诱导稀疏高斯过程回归。该算法使用单个目标(边际似然或变分自由能)来估计诱导集和超参数。该算法的空间复杂度和时间复杂度与训练集大小成线性关系,可应用于离散或连续域上的大型回归问题。实证评估表明,国家的最先进的性能在离散的情况下,在连续的情况下,竞争的结果。
2013-11-11 cs.LG
Streaming Sparse Gaussian Process Approximations
高斯过程(GP)模型的稀疏伪点近似提供了一套方法,支持在大数据体系中部署GP,并使分析难题得以回避。然而,该领域缺乏处理流数据的原则性方法,其中函数值上的后验分布和超参数估计都以在线方式更新。少数现有的方法要么使用次优的手工算法进行超参数学习,要么在新数据到达时遭受灾难性的遗忘或缓慢的更新。本文开发了一个新的原则性框架,用于在流媒体环境中部署高斯过程概率模型,提供了学习超参数和优化伪输入位置的方法。建议的框架进行评估,使用合成和真实世界的数据集。
2017-11-12 stat.ML
Informative Planning and Online Learning with Sparse Gaussian Processes
University of Southern California(南加州大学)
环境监测的一大挑战是要观察的现象的时空变化。为了在这样的设置中实现持续感测和估计,具有时变的底层环境模型是有益的。在这里,我们提出了一种规划和学习方法,使自主海洋车辆执行持久的海洋监测任务,通过学习和完善的环境模型。为了缓解大规模数据积累所造成的计算瓶颈,我们提出了一个框架,该框架在旨在收集信息最丰富的数据的规划组件和稀疏高斯过程学习组件之间进行迭代,其中环境模型和超参数通过利用仅提供最大贡献的数据子集在线学习。我们的模拟与地面实况海洋数据表明,该方法是准确和有效的。
2016-09-24 cs.AI cs.LG cs.RO
Informative Planning for Worst-Case Error Minimisation in Sparse Gaussian Process Regression
University of Technology Sydney(悉尼科技大学)
我们提出了一个规划框架,最大限度地减少稀疏高斯过程(GP)回归的确定性最坏情况下的错误。首先,我们推导出一个普遍的最坏情况下的误差界稀疏GP回归有界噪声再生核希尔伯特空间(RKHS)的插值理论。通过利用条件独立(CI)假设中央稀疏GP回归,我们表明,最坏情况下的误差最小化可以通过解决后验熵最小化问题。反过来,使用高斯置信空间规划算法解决后验熵最小化问题。我们证实了建议的最坏情况下的误差范围在一个简单的一维例子,并测试规划框架在模拟中的二维车辆在一个复杂的流场。我们的研究结果表明,所提出的后验熵最小化方法是有效的确定性误差最小化,并优于传统的测量熵最大化制定时,诱导点是固定的。
2022-03-08 cs.LG cs.RO
Connections and Equivalences between the Nyström Method and Sparse Variational Gaussian Processes
University of Oxford(牛津大学);EURECOM(欧洲通信研究院);University of Adelaide(阿德莱德大学)
我们研究了稀疏近似方法之间的联系,使核方法和高斯过程(GP)可扩展到大规模数据,重点是Nyström方法和稀疏变分高斯过程(SVGP)。虽然GP的稀疏近似方法和核方法具有一些代数相似性,但文献缺乏对它们如何以及为什么相关的深入理解。这可能会对GP和内核社区之间的通信造成障碍,使得难以将结果从一端传输到另一端。我们的动机是消除这一障碍,澄清稀疏近似GP和核方法之间的联系。在这项工作中,我们研究了两种流行的方法,Nyström和SVGP近似,在回归问题的背景下,并建立它们之间的各种连接和等价性。特别是,我们提供了一个RKHS解释的SVGP近似,并表明,证据下界的SVGP包含的Nyström近似的目标函数,揭示了两种方法之间的代数等价性的起源。我们还研究了最近建立的SVGP的收敛结果,以及它们如何与Nyström方法的近似质量相关。
2023-02-08 cs.LG math.ST stat.ME
Pointwise uncertainty quantification for sparse variational Gaussian process regression with a Brownian motion prior
本文针对采用特征向量诱导变量和重标度布朗运动先验的稀疏变分高斯过程,建立了逐点可信集频率学派覆盖率的理论保证,并精确刻画其渐近行为,揭示该方法何时保守或过度自信。
2023-10-31 math.ST stat.ML stat.TH
Sparse Variational Contaminated Noise Gaussian Process Regression with Applications in Geomagnetic Perturbations Forecasting
University of Michigan(密歇根大学)
针对复杂协方差数据中的异方差与离群噪声,本文提出污染正态似然的稀疏变分高斯过程回归,并在地磁扰动预测中以更短预测区间达到与神经网络基线相当的覆盖率和准确率。
2024-07-02 cs.LG stat.AP stat.ME
Symbolic Regression on Sparse and Noisy Data with Gaussian Processes
University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对稀疏和噪声数据下的动力学建模难题,本文提出GPSINDy方法,结合高斯过程回归与SINDy进行数据去噪与方程识别,在仿真和硬件数据上预测轨迹时显著优于基线方法。
2024-10-10 cs.LG cs.SY eess.SY
Efficient methods for Gaussian Markov random fields under sparse linear constraints
线性约束高斯马尔可夫随机场(GMRF)的推理和模拟方法在约束数量很大时计算量很大。在某些情况下,例如对于固有GMRF,它们甚至可能是不可行的。我们提出了一类新的方法来克服这些挑战,在常见的情况下稀疏的约束,其中一个有大量的约束,每个只涉及几个元素。我们的方法依赖于一个基础上的转换成块的约束与非约束子空间,我们表明,该方法大大优于现有的替代方案的计算成本。通过将所提出的方法与高斯随机场的随机偏微分方程方法相结合,我们还展示了如何在GMRF设置中制定具有线性约束的高斯过程回归以降低计算成本。这在两个具有模拟数据的应用中说明。
2021-06-03 stat.CO stat.ME stat.ML
Gaussian Processes Sampling with Sparse Grids under Additive Schwarz Preconditioner
本文针对高斯过程采样中高维计算难题,提出结合稀疏网格诱导点近似与加性Schwarz预处理器的可扩展采样算法,降低计算复杂度并保证快速收敛,实验验证了其有效性与准确性。
2024-08-01 stat.CO stat.ML
Non-parametric Estimation of Stochastic Differential Equations with Sparse Gaussian Processes
随机微分方程(Stochastic Differential Equations,SDEs)由于能够用物理上可解释的方程描述复杂的动力学过程,在时态数据分析中的应用越来越受到人们的关注。在本文中,我们介绍了一种非参数方法估计的漂移和扩散项的随机微分方程从密集观察离散时间序列。使用高斯过程作为先验允许直接在函数空间视图中工作,因此推理直接在该空间中发生。为了应对需要使用高斯过程的计算复杂性,提供了稀疏高斯过程近似。这种近似允许通过使用伪样本的一个小子集上的分布来有效地计算漂移和扩散项的预测。利用模拟数据和实际的经济和古气候数据对所提出的方法进行了验证。实际数据的应用表明,该方法能够捕捉复杂系统的行为。
2017-07-10 physics.data-an stat.ML
Gaussian variational approximation with sparse precision matrices
我们考虑的问题学习高斯变分近似的后验分布的高维参数,我们施加稀疏的精度矩阵,以反映适当的条件独立结构的模型。在精度矩阵中定义稀疏性使得高斯变分分布既灵活又简约,并且稀疏性通过Cholesky因子的参数化来实现。有效的随机梯度方法,适当利用梯度信息的目标分布的优化开发。我们考虑随机梯度的替代估计,具有较低的变化,更稳定。我们的方法说明使用广义线性混合模型和状态空间模型的时间序列。
2017-04-13 stat.CO stat.ML
Efficient Sparse Clustering of High-Dimensional Non-spherical Gaussian Mixtures
我们考虑在高维数据点的聚类问题,即当数据点的数量可能比维度的数量小小于。具体来说,我们考虑一个高斯混合模型(GMM)与非球形高斯分量,其中的集群区分只有几个相关的尺寸。我们提出的方法是一个最近的高斯混合模型和稀疏线性判别分析(LDA)的学习参数的方法相结合。除了聚类分配之外,该方法还返回与聚类相关的特征集的估计值。我们的研究结果表明,样本聚类的复杂性取决于相关的特征集的稀疏性,而只有缩放与周围的维度。此外,我们需要更温和的假设比现有的工作在高维聚类。特别是,我们不需要球形集群,也不需要沿相关维度的平均分离。
2014-06-09 math.ST stat.ML stat.TH
Adaptive sparse variational approximations for Gaussian process regression
本文针对非参数回归模型,提出基于变分贝叶斯的超参数选择理论保证,通过构建分层贝叶斯过程的变分近似推导出后验收缩率上界,并在多种高斯过程先验中实现最优收缩率,同时通过合成与真实数据集验证了理论。
2025-04-04 math.ST stat.ML stat.TH
A Fast Non-Gaussian Bayesian Matching Pursuit Method for Sparse Reconstruction
提出了一种基于贝叶斯方法的快速匹配追踪稀疏信号恢复方法。该方法被称为nGpFBMP,即使当信号先验是非高斯或未知时,也执行稀疏信号的贝叶斯估计。它是不可知的信号统计,并利用先验统计的加性噪声和稀疏率的信号,这是很容易估计的数据,如果没有。nGpFBMP利用一个贪婪的方法和顺序递归更新的度量,找到最主要的稀疏支持,以确定近似的最小均方误差(MMSE)估计的稀疏信号。仿真结果表明,我们提出的估计的权力和鲁棒性。
2012-06-19 stat.OT