Gaussian Processes: A Quick Introduction
高斯过程（Gaussian Processes，GP）本文档的三个部分考虑了用于回归、分类和降维的GP。
2015-08-29 math.ST stat.TH
Spatial risk measure for gaussian processes
在本文中，我们研究了一个空间风险度量对应于一个损害函数和一个区域，考虑到潜在的过程的空间依赖性的定量行为。在[Koch 2015]中，这种风险度量已经被引入并研究了一些最大稳定过程。本文考虑了各向同性高斯过程和超过阈值的超额损伤函数。我们进行了模拟研究和真实数据研究。
2016-12-30 math.PR math.ST stat.TH
Gaussian Processes with Sample Paths in Reproducing Kernel Banach Spaces
Lappeenranta-Lahti University of Technology LUT（拉彭兰塔-拉赫蒂理工大学）；Technical University of Denmark（丹麦技术大学）
研究高斯过程与再生核巴拿赫空间中高斯随机元之间的联系，通过γ-拉德尼化算子刻画协方差算子对应的正定函数，并将经典Driscoll定理推广到巴拿赫空间。
2026-10-22 math.FA math.PR stat.ML
Some Asymptotic Results of Gaussian Random Fields with Varying Mean Functions and the Associated Processes
本文给出了具有变均值函数的高斯随机场指数函数积分的尾逼近和相应的点过程的逼近。本研究的动机自然是多种应用，如空间模型的假设检验，贝叶斯边际似然分布和贝叶斯因子的研究，以及金融应用。
2011-12-02 math.PR math.ST stat.TH
Piterbarg's max-discretisation theorem for stationary vector Gaussian processes observed on different grids
在本文中，我们推导出Piterbarg的最大离散定理，考虑两个不同的网格中心平稳向量高斯过程。到目前为止，在这个方向上的文献结果已经得出了联合分布的最大高斯过程在$[0,T]$和网格$ \mathfrak{R}(δ_1(T))=\{kδ_1(T): k=0,1,\cdots\}$。在本文中，我们扩展了最近的研究结果，考虑另外的\bE{maximum}在另一个网格$ \mathfrak{R}(δ_2(T))$。我们通过令$T\to \infty$得到了在不同网格选择下平稳高斯向量过程最大值的联合极限分布。
2014-10-07 math.PR math.ST stat.OT
Predictive Information Rate in Discrete-time Gaussian Processes
我们得到的预测信息率（PIR）的自回归高斯过程AR（N）的类的表达式，无论是在预测系数和功率谱密度。后者的结果表明，PIR和多信息率的过程中相互逆功率谱（即与极点和零点的传递函数交换）之间的对偶性。我们调查的行为PIR的多信息率的一些简单的例子，这表明，有点反直觉，PIR是最大化的非常“平滑”AR过程的功率谱有多个极点在零频率。我们也得到了移动平均高斯过程的结果，这是一致的对偶性较早。这样的一个结果是，PIR是无界的MA（N）过程。
2012-08-14 math.ST stat.ML stat.TH
Asymptotic properties of the maximum likelihood and cross validation estimators for transformed Gaussian processes
高斯过程协方差参数估计的渐近分析一直是人们研究的热点。然而，这种渐近分析是非常罕见的非高斯过程。本文研究了一类由高斯过程的正则非线性变换得到的非高斯过程。我们提供了增加域渐近性质的（高斯）最大似然和交叉验证估计的协方差参数的非高斯过程的这一类。我们表明，这些估计是一致的，渐近正态的，虽然他们被定义为如果该过程是高斯。它们不需要对非线性变换进行建模或估计。因此，我们的结果可以被解释为（高斯）最大似然和交叉验证对非高斯的鲁棒性。我们的证明依赖于两个技术成果，这是独立的兴趣的空间过程的渐增域渐近文献。首先，我们表明，在温和的假设下，大的协方差阵的逆的系数衰减作为相应的观测位置距离的函数的逆多项式率。其次，我们给出了由变换高斯过程得到的二次型的一般中心极限定理。最后，通过数值模拟说明了我们的渐近结果.
2019-11-25 math.ST stat.TH
Random Neural Networks in the Infinite Width Limit as Gaussian Processes
Princeton University（普林斯顿大学）
本文给出了一个新的证明，即具有随机权重和偏差的全连接神经网络在输入维度、输出维度和深度保持固定而隐藏层宽度趋于无穷大的情况下收敛于高斯过程。与以前的工作不同，收敛只假设矩条件的权重分布和相当一般的非线性。
2021-07-04 cs.LG math.PR math.ST
Cox processes driven by transformed Gaussian processes on linear networks -- A review and new contributions
本文针对线性网络上点过程模型缺乏的问题，提出由变换高斯过程驱动的三类Cox过程模型，并首次给出参数族统计推断方法、模拟算法及度量选择的讨论。
2024-01-15 math.ST stat.TH
Upgrading from Gaussian Processes to Student's-T Processes
高斯过程先验通常用于航空航天设计以执行贝叶斯优化。尽管如此，高斯过程有两个明显的缺点：离群值是先验假设不太可能的，并且以观测数据为条件的后验方差仅取决于这些数据的位置，而不是相关的样本值。Student's-T过程是高斯过程的推广，建立在Student's-T分布而不是高斯分布上。Student's-T过程保持了高斯过程的主要优点（核函数，解析更新规则），并具有超越高斯过程的额外好处。Student's-T分布具有比高斯分布更高的峰度，因此离群值更有可能，并且后验方差根据观察到的数据样本值的方差增加或减少。在这里，我们描述学生的T过程，并讨论其优势的背景下，航空航天优化。我们将展示如何使用核函数构建学生T过程，以及如何在给定新样本的情况下更新该过程。我们提供了一个明确的推导优化相关的数量，如预期的改善，并与高斯过程的相关计算的对比。最后，我们比较了Student's T过程和Gauss过程在贝叶斯优化中典型测试问题上的性能，并将Student's T过程应用于一个气动结构设计问题的优化。
2018-01-18 stat.ML
Wavelet estimation of the long memory parameter for Hermite polynomial of Gaussian processes
我们考虑具有长记忆的非高斯平稳过程，并将其表示为高斯过程的Hermite多项式。我们专注于相应的小波系数，并研究其平方和的渐近行为，因为这个总和经常被用来估计长记忆参数。我们表明，限制是不是高斯，但可以表示使用非高斯Rosenblatt过程定义为一个维纳Itô积分的顺序2。即使原始过程是通过高于2阶的Hermite多项式定义的，也会发生这种情况。
2013-06-01 math.ST stat.TH
Stein estimation for the drift of Gaussian processes using the Malliavin calculus
本文考虑了高斯过程漂移的非参数函数估计，分别用极大极小估计和贝叶斯估计。在这种情况下，我们构造超有效的估计Stein型的漂移使用Malliavin的分部积分法公式和超调和函数的高斯空间。我们的结果通过数值模拟得到了验证，并推广了Berger和Wolpert [J. Multivariate Anal. 13（1983）401- 424]。
2008-11-07 math.ST stat.TH
How Deep Are Deep Gaussian Processes?
最近的研究表明了深度高斯过程的潜在效用。这些深层结构是通过分层构造设计的概率分布，其是条件高斯分布。在本文中，目前已发表的工作机构被放置在一个共同的框架，并通过递归，几类深高斯过程的定义。从深度高斯过程生成的所得样本具有关于深度参数的马尔可夫结构，并且所得过程的有效深度根据所得马尔可夫链的遍历性或非遍历性来解释。对于类深高斯过程介绍，我们提供的结果，其遍历性，因此其有效深度。我们还演示了如何将这些过程可用于推理，特别是我们展示了如何在吉布斯构造的层次结构的水平内的大都市可以用来获得采样工具，这是强大的分辨率水平用于表示在计算机上的功能。为了说明，我们考虑遍历性的影响，在一些简单的数值例子。
2018-08-17 math.ST stat.TH
Optimal rates for parameter estimation of stationary Gaussian processes
利用Wiener空间中的优化工具，研究了一般平稳和非平稳高斯序列泛函的部分和的中心极限定理的收敛速度.我们将所得结果应用于分数阶布朗运动驱动的一类随机微分方程的漂移参数估计问题.
2016-03-15 math.ST stat.TH
Stochastic modelling of Gaussian processes by improper linear functionals
随机过程的各种方法存在，注意到关键属性，如可测性和连续性不是平凡的满足。我们引入一个新的理论高斯过程使用不当线性泛函。使用一组身份证。在标准正态变量的基础上，定义了高斯白噪声，并讨论了它的性质。这是推广到一般的高斯过程的希尔伯特空间，其中的方差是允许的任何合适的操作。我们的主要重点是$L^2$空间，我们讨论高斯过程是连续的，在这种设置的标准。最后，我们概述了一个框架，统计推断使用所提出的理论，重点是特殊情况下的$L^2[0,1]$。我们将弗雷德霍姆行列式引入到函数对数似然中。我们证明了朴素函数对数似然与多元似然不一致。引入了一个修正项，并证明了一个渐近结果。
2020-10-14 math.ST stat.ME stat.TH
A natural 4-parameter family of covariance functions for stationary Gaussian processes
本文给出了平稳高斯过程的一个四参数协方差函数族。我们称之为2DSYS。它对应于一个自治的二阶线性随机微分方程的通解，因此自然地从建模中产生。它包括欠阻尼和过阻尼系统，因此，建议使用这个家庭时，人们希望决定是否一个时间序列对应于随机强迫阻尼振荡或随机强迫过阻尼系统。
2018-10-17 math.ST stat.TH
Improving Output Uncertainty Estimation and Generalization in Deep Learning via Neural Network Gaussian Processes
我们提出了一个简单的方法，结合神经网络和高斯过程。该方法可以估计输出的不确定性，并在训练数据存在的情况下灵活地调整目标函数，这是高斯过程的优点。所提出的方法还可以实现高的泛化性能的未知输入配置，这是神经网络的一个优点。利用所提出的方法，神经网络被用于高斯过程的均值函数。我们提出了一个可扩展的随机推理过程，稀疏高斯过程的随机变分推断推断，神经网络和内核的参数估计的随机梯度下降方法，同时。我们使用两个真实世界的时空数据集，实验表明，该方法实现了更好的不确定性估计和泛化性能比神经网络和高斯过程。
2017-07-19 stat.ML
The Use of Gaussian Processes in System Identification
在机器学习中使用高斯过程来从观察到的数据中学习输入-输出映射。高斯过程回归基于对未知回归函数施加高斯过程先验，并根据观察数据对其进行统计调节。在系统识别中，高斯过程用于形成时间序列预测模型，例如非线性有限脉冲响应（NFIR）模型以及非线性自回归（NARX）模型。高斯过程状态空间模型（GPSS）可用于学习输入-输出数据的状态空间表示的动态和测量模型。时间和时空高斯过程可以直接用于在时域上对数据形成回归量。这篇文章的目的是简要概述了系统识别方法的主要方向，使用高斯过程。
2019-07-13 cs.LG cs.SY eess.SY
Deep convolutional Gaussian processes
Aalto university（阿尔托大学）；Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所（HIIT））
我们提出了深度卷积高斯过程，这是一种具有卷积结构的深度高斯过程架构。该模型是一个原则性的贝叶斯框架，用于检测图像分类的局部特征的分层组合。我们证明了极大地提高了图像分类性能相比，目前的高斯过程的MNIST和CIFAR-10数据集的方法。特别是，我们将CIFAR-10的准确性提高了10个百分点以上。
2018-10-06 cs.LG stat.ML
Gaussian Processes and Statistical Decision-making in Non-Euclidean Spaces
Imperial College London（帝国理工学院）
使用高斯过程的贝叶斯学习提供了一个基础框架，用于以平衡已知与通过收集数据可以学习到的内容的方式做出决策。在这篇论文中，我们开发的技术，扩大高斯过程的适用性。这是通过两种方式完成的。首先，我们开发了高斯过程的路径条件技术，它允许一个表示后随机函数作为前随机函数加上一个相关的更新项。我们引入了一个广泛的有效的近似建立从这个角度来看，它可以被随机抽样一次提前，并在任意位置进行评估，没有任何后续的随机性。这一关键属性提高了效率，并使在决策设置中部署高斯过程模型变得更简单。其次，我们发展了一系列非欧空间上的高斯过程模型，包括黎曼流形和图。我们推导出黎曼流形和图上标量值高斯过程的协方差核的完全构造性表达式。基于这些思想，我们描述了一个形式主义定义向量值高斯过程的黎曼流形。引入的技术允许使用标准计算方法训练所有这些模型。总的来说，这些贡献使高斯过程更容易使用，并允许它们以有效和有原则的方式在更广泛的领域中使用。反过来，这使得有可能将高斯过程应用于新的决策设置。
2022-04-28 cs.LG stat.ML
Non-Gaussian processes and neural networks at finite widths
Facebook AI Research（Facebook人工智能研究院）
高斯过程在自然界和工程中普遍存在。一个恰当的例子是一类无限宽极限的神经网络，其先验对应于高斯过程。在这里，我们微扰扩展到有限宽度的神经网络，产生非高斯过程作为先验。本文开发的方法使我们能够跟踪流的预激活分布逐步整合出随机变量从较低到较高的层，让人想起重整化群流。我们进一步开发了一个微扰过程来执行具有弱非高斯先验的贝叶斯推断。
2020-08-26 cond-mat.dis-nn cs.LG hep-th
Bayesian Optimization using Deep Gaussian Processes
Université de Lille（里尔大学）；CNRS/CRIStAL（法国国家科学研究中心/CRIStAL实验室）；Inria Lille（法国里尔国家信息与自动化研究所）
使用高斯过程的贝叶斯优化是处理昂贵的黑盒函数优化的流行方法。然而，由于经典高斯过程的协方差阵的平稳性是先验的，这种方法可能不适用于非平稳函数的优化问题。为了克服这个问题，提出了一种新的贝叶斯优化方法。它基于深度高斯过程作为代理模型，而不是经典的高斯过程。这种建模技术通过简单地考虑平稳高斯过程的功能组成来增加表示的能力以捕获非平稳性，从而提供多层结构。本文提出了一种耦合深度高斯过程和贝叶斯优化的全局优化算法。这种优化方法的特殊性进行了讨论，并突出了学术测试案例。分析测试用例和航空航天设计优化问题的性能评估所提出的算法相比，最先进的静态和非静态的贝叶斯优化方法。
2019-05-07 cs.CE cs.LG stat.ML
A brief note on understanding neural networks as Gaussian processes
University of Twente（特文特大学）
作为[Lee等人，2017]，本文简要讨论了神经网络输出的先验何时遵循高斯过程，以及神经网络诱导的高斯过程是如何形成的。这种高斯过程回归的后验均值函数位于由神经网络诱导核定义的再生核希尔伯特空间中。在两层神经网络的情况下，诱导高斯过程提供了再生核希尔伯特空间的一种解释，其联合形成巴伦空间。
2021-07-25 cs.CE cs.LG stat.ML
Deep Gaussian Processes: A Survey
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
高斯过程是贝叶斯学习中的主要方法之一。虽然这种方法已经成功地应用于许多问题，但它有一些基本的局限性。文献中的多种方法已经解决了这些局限性。然而，迄今为止还没有对这些专题进行全面调查。大多数现有的调查集中在高斯过程及其衍生物的一个特定的变种。这项调查详细介绍了使用高斯过程的核心动机，它们的数学公式，局限性以及多年来为解决上述局限性而蓬勃发展的研究主题。此外，一个特殊的研究领域是深度高斯过程（DGPs），它在过去十年中有了很大的改进。在他们的调查中概述了推进这一研究领域前沿的重要出版物。最后，对有待解决的问题和今后的研究方向进行了简要的讨论。
2021-06-21 cs.LG stat.ML
Information fusion in multi-task Gaussian processes
Australian Centre for Field Robotics, The University of Sydney（悉尼大学澳大利亚现场机器人中心）
本文评估异构信息融合的背景下，地质资源建模使用多任务高斯过程。具体来说，它经验表明，跨异构信息源的信息集成导致所有被建模的量的优越估计，单独建模它们相比。多任务高斯过程提供了一种强大的方法，同时考虑这些量之间的相关性的同时建模的多个感兴趣的量。在大规模真实传感器数据上进行了实验。
2013-09-05 cs.AI cs.LG stat.ML
Graph Convolutional Gaussian Processes
Imperial College London（帝国理工学院）
我们提出了一种新的贝叶斯非参数方法来学习非欧域上的不变性关系。所得到的图卷积高斯过程可以应用于机器学习中的问题，其中输入观测是具有一般图上的域的函数。这些模型的结构允许高维输入，同时保持可表达性，如卷积神经网络的情况。我们目前的应用程序的图形卷积高斯过程的图像和三角形网格，证明其通用性和有效性，相比现有的方法，尽管相对简单的模型。
2019-05-14 cs.CV cs.LG stat.ML
Non-linear Multitask Learning with Deep Gaussian Processes
The Alan Turing Institute（艾伦·图灵研究所）；University of Warwick（华威大学）
我们提出了一个多任务学习公式的深度高斯过程（DGP），通过潜在过程的非线性混合。潜在空间由捕获任务内信息的私有进程和捕获跨任务依赖关系的共享进程组成。我们提出了两种不同的方法来分割潜在空间：通过硬编码共享和特定于任务的过程或通过软共享与自动相关性确定内核。我们表明，我们的配方是能够提高学习性能和任务之间的信息传输，优于其他概率多任务学习模型在现实世界和基准设置。
2020-02-23 cs.LG stat.ML
Scalable Nonparametric Bayesian Inference on Point Processes with Gaussian Processes
在本文中，我们提出了第一个非参数贝叶斯模型，使用高斯过程进行推断泊松点过程，而不诉诸网格化的域或引入潜在的细化点。与竞争模型不同，竞争模型的规模是立方的，并且在数据点的数量上有平方的内存需求，我们的模型具有线性复杂度和内存需求。我们提出了一个MCMC采样器，并表明我们的模型是更快，更准确，并产生更少的相关样本比竞争模型的合成和现实生活中的数据。最后，我们表明，我们的模型很容易处理的数据大小没有考虑到目前为止的替代方法。
2015-05-09 stat.ML
Gaussian Processes for Big Data
The University of Sheffield（谢菲尔德大学）
我们引入了高斯过程模型的随机变分推理。这使得高斯过程（GP）模型能够应用于包含数百万个数据点的数据集。我们展示了如何GP可以变分分解依赖于一组全局相关的诱导变量，该诱导变量以必要的方式分解模型以进行变分推理。我们的方法很容易扩展到非高斯似然模型和基于高斯过程的潜变量模型。我们演示了一个简单的玩具问题和两个现实世界的数据集的方法。
2013-09-26 cs.LG stat.ML
Student-t Processes as Alternatives to Gaussian Processes
University of Cambridge（剑桥大学）
我们调查学生t过程作为替代的高斯过程作为一个非参数先验函数。通过在高斯过程模型的协方差核上先积分一个逆Wishart过程，得到了Student-t过程的边缘似然和预测分布的封闭形式表达式.我们发现令人惊讶的等效性不同层次的高斯过程模型导致学生t过程，并推导出一个新的采样方案的逆Wishart过程，这有助于阐明这些等效性。总体而言，我们表明，学生t过程可以保留高斯过程的吸引人的属性-非参数表示，分析的边缘和预测分布，并通过协方差内核容易模型选择-但具有增强的灵活性，预测协方差，不像高斯过程，明确地依赖于训练观测值。我们经验验证，学生t过程是特别有用的情况下，有变化的协方差结构，或在应用程序，如贝叶斯优化，准确的预测协方差是至关重要的良好的性能。这些优点与高斯过程相比没有额外的计算成本。
2014-02-19 cs.AI cs.LG stat.ME
Kalman Filtering with Gaussian Processes Measurement Noise
机器人等应用中的真实测量噪声通常与时间相关，但我们通常假设i.i.d.高斯噪声滤波。我们提出了一般高斯过程作为相关测量噪声的非参数模型，它足够灵活，可以及时准确地反映相关性，但又足够简单，可以实现高效的计算。我们表明，该模型准确地反映了基于视觉的同时定位和映射（SLAM）产生的测量噪声，并认为它提供了一种灵活的手段建模测量噪声的各种传感器系统和感知算法。然后，我们扩展现有的结果与自回归过程的卡尔曼滤波更一般的高斯过程，并证明我们的方法的改进性能。
2019-09-23 cs.LG cs.RO cs.SY
Equivariant Learning of Stochastic Fields: Gaussian Processes and Steerable Conditional Neural Processes
University of Oxford（牛津大学）；DeepMind（深度思维）
受电场或流体流等对象的启发，我们研究学习随机场的问题，即随机过程，其样本是物理和工程中发生的场。考虑到一般的变换，如旋转和反射，我们表明，随机场的空间不变性要求推理模型是等变的。利用最近的进展，从等方差文献，我们研究等方差在两类模型。首先，我们完全证明了等变高斯过程。其次，我们介绍了可操纵条件神经过程（SteerCNPs），神经过程家族的一个新的，完全等变的成员。在高斯过程向量场、图像和真实天气数据的实验中，我们观察到SteerCNP显著提高了以前模型的性能，等方差导致迁移学习任务的改进。
2021-07-17 cs.LG stat.ML
Scalable GAM using sparse variational Gaussian processes
广义加性模型（GAM）是统计学家感兴趣的一类广泛使用的模型，因为它们提供了一种灵活的方法来设计线性模型之外的可解释数据模型。在这里，我们提出了一个可扩展的和良好校准的贝叶斯治疗的GAM使用高斯过程（GP），并利用最新进展的变分推理。我们使用稀疏GP来表示每个组件，并利用模型的加性结构来有效地表示组件之间的高斯后验耦合。
2018-12-28 cs.LG stat.ML
Deep Gaussian Processes with Importance-Weighted Variational Inference
Imperial College London（帝国理工学院）
深度高斯过程（DGP）可以模拟复杂的边缘密度以及复杂的映射。非高斯边缘对于建模真实世界的数据是必不可少的，并且可以通过将不相关的变量合并到模型中来从DGP生成。以前的工作DGP模型引入噪声添加剂和使用变分推断与稀疏高斯过程和平均场高斯的组合的近似后验。加性噪声使信号衰减，并且高斯形式的变分分布可能导致不准确的后验。相反，我们将噪声变量作为潜在的协变量，并提出了一种新的重要性加权目标，它利用分析结果，并提供了一种机制，以权衡计算提高精度。我们的研究结果表明，重要性加权的目标在实践中运作良好，并始终优于经典的变分推断，特别是更深的模型。
2019-05-14 cs.LG stat.ML
Characterizing Deep Gaussian Processes via Nonlinear Recurrence Systems
Ulsan National Institute of Science and Technology（蔚山科学技术院）；Korea Advanced Institute of Science and Technology（韩国科学技术院）；INEEJI
深度高斯过程（DGPs）的最新进展显示出比传统高斯过程（GPs）更具表达力的表示潜力。然而，存在深度高斯过程的病理，当层数增加时，它们的学习能力显著降低。在本文中，我们提出了一个新的分析DGP通过研究其相应的非线性动力系统来解释这个问题。现有的工作报告的病理平方指数核函数。我们扩展我们的调查，四种类型的常见的固定核函数。层之间的递归关系解析推导，提供了一个更严格的约束和收敛速度的动态系统。我们证明了我们的发现与一些实验结果。
2020-12-21 cs.LG stat.ML
Matérn Gaussian Processes on Graphs
St. Petersburg State University（圣彼得堡国立大学）；Imperial College London（帝国理工学院伦敦分校）；Centre for Artificial Intelligence, University College London（伦敦大学学院人工智能中心）；Secondmind（Secondmind公司）；St. Petersburg Department of Steklov Mathematical Institute of Russian Academy of Sciences（俄罗斯科学院圣彼得堡斯捷克洛夫数学研究所彼得堡分部）
本文研究了图上Matérn高斯过程，利用其随机偏微分方程特性，继承了欧几里得和黎曼流形高斯过程的特性，提供标准训练方法，使其适用于小批量和非共轭场景。
2026-05-15 cs.LG stat.ML
Neural Likelihoods for Multi-Output Gaussian Processes
Uber AI Labs（优步人工智能实验室）
我们构造灵活的似然多输出高斯过程模型，利用神经网络作为组件。我们利用稀疏的变分推断方法，使可扩展的近似推理的模型类。这些模型的一个有吸引力的特点是，即使当可能性是非线性的，预测分布是非高斯的，他们可以承认分析预测手段。我们验证了这些模型的建模潜力在各种实验中的监督和无监督设置。我们证明了这些“神经”似然的灵活性，可以提高预测质量相比，更简单的高斯过程模型和神经似然可以很容易地结合各种潜在的高斯过程模型，包括深高斯过程。
2019-05-31 cs.LG stat.ML
Vector-valued Gaussian Processes on Riemannian Manifolds via Gauge Independent Projected Kernels
University of Oxford（牛津大学）；University College London（伦敦大学学院）；University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）；St. Petersburg State University（圣彼得堡国立大学）
高斯过程是机器学习模型，能够以表示不确定性的方式学习未知函数，从而促进最优决策系统的构建。出于在新的科学领域中部署高斯过程的愿望，一个快速增长的研究方向集中在建设性地扩展这些模型以处理非欧几里德域，包括黎曼流形，如球体和环面。我们提出的技术，推广这一类模型向量场黎曼流形，这是重要的物理科学中的一些应用领域。为了做到这一点，我们提出了一个通用的配方，用于构建规范独立的内核，诱导高斯向量场，即向量值高斯过程与几何相干，从标量值黎曼内核。我们扩展了标准的高斯过程训练方法，如变分推断，这种设置。这使得黎曼流形上的向量值高斯过程能够使用标准方法进行训练，并使机器学习从业者能够使用它们。
2021-11-25 cs.LG stat.ML
Evolving-Graph Gaussian Processes
Aalto University（阿尔托大学）
图高斯过程（GGP）为图结构域提供了一种数据高效的解决方案。现有的方法主要集中在静态结构上，而许多真实的图数据表示动态结构，限制了GGP的应用。为了克服这一点，我们提出了进化图高斯过程（e-GGP）。所提出的方法是能够学习随着时间的推移与邻域核模型的顶点之间的连接性和相互作用的变化图顶点的转移函数。我们评估我们的方法在时间序列回归问题上的性能，其中图形随时间推移而演变。我们证明了静态图高斯过程方法的e-GGP的好处。
2021-11-03 cs.LG stat.ML stat.OT
The Elliptical Processes: a Family of Fat-tailed Stochastic Processes
RISE Research Institutes of Sweden AB（瑞典RISE研究院）；Elekta（医科达）
我们提出了椭圆过程-一个家庭的非参数概率模型，包括高斯过程和学生t过程。这种推广包括一系列新的厚尾行为，但保留了计算的易处理性。我们的椭圆过程的基础上表示的椭圆分布作为一个连续的混合高斯分布，并获得封闭形式的表达的边缘和条件分布。我们使用分段常数混合分布定义的椭圆过程对稳健回归进行了数值实验，并与高斯过程进行了比较。椭圆过程可能在几种情况下取代高斯过程，包括当可能性不是高斯或精确的尾部建模至关重要时。
2020-12-02 cs.LG stat.ME stat.ML
Conditioning Sparse Variational Gaussian Processes for Online Decision-making
New York University（纽约大学）
高斯过程（GP）具有不确定性的原则性表示和封闭形式的后验更新，是在线决策的自然选择。然而，高斯过程通常至少需要针对$n$训练点的$\mathcal{O}(n^2)$计算，从而限制了它们的一般适用性。随机变分高斯过程（SVGPs）可以为固定大小的数据集提供可扩展的推理，但很难有效地对新数据进行约束。我们提出了在线变分条件（OVC），一个程序，有效地调节SVGP在在线设置，不需要重新训练，通过证据下限与添加新的数据。OVC使SVGP与先进的前瞻采集功能配对，用于黑盒优化，即使是非高斯似然。我们表明OVC在一系列应用中提供了令人信服的性能，包括疟疾发病率的主动学习和MuJoCo模拟机器人控制任务的强化学习。
2021-10-28 cs.LG stat.ML
Sparse Orthogonal Variational Inference for Gaussian Processes
Tsinghua University（清华大学）；DeepMind
本文提出将高斯过程分解为诱导点基与残差过程之和的新视角，据此推导出更紧的边际似然下界和可扩展的随机变分推断算法，并在CIFAR-10上取得纯GP模型的最优结果。
2024-02-24 cs.LG stat.ML
On solving Ordinary Differential Equations using Gaussian Processes
我们描述了一套基于高斯过程的方法，可以用来解决非线性常微分方程。我们提出了一个显式的概率求解器和两个隐式的方法，一个类似于Picard迭代和其他梯度匹配。所有方法都比以前提出的高斯过程方法具有更高的精度。我们还提出了一个通用的方法，可以从任何标准的ODE求解器产生误差估计。
2014-08-17 cs.NA math.NA stat.CO
Exact Simulation of Noncircular or Improper Complex-Valued Stationary Gaussian Processes using Circulant Embedding
本文给出了一种模拟反常（或非循环）复值平稳高斯过程的算法。该技术利用最近开发的方法，从循环嵌入文献的多元高斯过程。该方法可以在$\mathcal{O}(n\log_2 n)$操作中执行，其中$n$是期望序列的长度。该方法是准确的，除非指定的循环矩阵的特征值是负的。我们评估经验的算法的性能，并提供了一个实际的例子，该方法是保证是准确的所有$n$，与一个不适当的分数高斯噪声过程。
2017-03-15 stat.CO stat.ME stat.ML
Constructing Gaussian Processes via Samplets
University of Cologne（科隆大学）；Department of Mathematics and Computer Science（数学与计算机科学学院）
本论文针对低维大型数据集的高斯过程建模与最优模型选择挑战，提出一种基于 Samplet 的方法，将计算复杂度降至对数线性尺度，实现高效的最优回归。
2024-11-11 cs.LG cs.NA math.NA
Deep Learning Gaussian Processes For Computer Models with Heteroskedastic and High-Dimensional Outputs
深度学习高斯过程（DL-GP）是一种分析（近似）产生异方差和高维输出的计算机模型的方法。计算机仿真模型有许多应用领域，包括社会经济过程、农业、环境、生物、工程和物理问题。通过深度学习执行输入的确定性转换，并通过传统的高斯过程计算预测。我们使用摩托车事故模拟和埃博拉疫情模拟来说明我们的方法。最后，我们总结了未来研究的方向。
2022-09-05 stat.AP
Gaussian Processes for HRF estimation for BOLD fMRI
我们提出了一种非参数联合估计方法的fMRI任务激活值和血流动力学反应函数（HRF）。HRF被建模为一个高斯过程，使连续评估抖动的范例，并提供在每个点的方差估计。
2017-08-31 stat.AP
Estimation of log-Gaussian gamma processes with iterated posterior linearization and Hamiltonian Monte Carlo
Aalto University（阿尔托大学）
本文提出基于迭代后验线性化和Hamilton蒙特卡洛的方法，用于估计log-Gaussian伽马过程的后验分布，并通过实验验证其有效性。
2026-02-07 stat.CO stat.ME
Scalable Inference for Space-Time Gaussian Cox Processes
对数高斯Cox过程是一种灵活而流行的点模式模型，用于捕获点模式的空间和时空依赖性。模型拟合需要通过在感兴趣的域上离散化来实现随机积分的近似。对于精细尺度离散化，基于马尔可夫链蒙特卡罗的推断在计算上是繁重的，因为对于与潜在高斯变量相关联的高维协方差阵，矩阵分解和存储（例如Cholesky）的成本。本文通过结合两个最新的发展来解决这些计算瓶颈：（i）已经为时空高斯考克斯过程提出的数据增强策略，其基于精确的贝叶斯推断并且不需要用于无限维积分的细网格近似，以及（ii）最近开发的稀疏诱导高斯过程族，称为最近邻高斯过程，以避免昂贵的矩阵计算。我们的推理是在完全基于模型的贝叶斯范式内进行的，并且不会牺牲传统对数高斯Cox过程的丰富性。我们将我们的方法应用于旧金山的犯罪事件数据，并研究强度表面的恢复。
2018-10-22 stat.CO
Hilbert space methods for approximating multi-output latent variable Gaussian processes
Technische Universität Dortmund（多特蒙德工业大学）；University of Tübingen（蒂宾根大学）；Universitätsklinikum Tübingen（蒂宾根大学附属医院）
本文提出了一种适用于多输出和潜在输入的希尔伯特空间方法，通过模拟展示其在速度和不确定性校准方面优于精确高斯过程。
2026-02-11 stat.ME
Dynamical non-Gaussian modelling of spatial processes
环境应用中的时空过程通常被假设为遵循高斯模型，可能经过一些变换。但是，空间和时间上的异质性可能具有无法通过转换数据来适应的模式。在这种情况下，对方差律进行建模是一种有吸引力的替代方案。这项工作通过将过程定义为高斯和对数高斯过程之间的尺度混合，为通常的多元动态高斯模型增加了灵活性。尺度由在空间和时间上平滑变化的过程表示，该过程允许依赖于协变量。状态空间方程定义了均值和方差过程随时间的动态变化，从而导致不可行的推断和预测。人工数据集的分析表明，参数是可识别的，更简单的模型恢复一般建议的模型。最高温度和最高臭氧两个重要的环境过程的分析，说明了我们的建议，在提高时空过程预测的不确定性量化的有效性。
2021-10-14 stat.AP
Vecchia-Laplace approximations of generalized Gaussian processes for big non-Gaussian spatial data
广义高斯过程（GGP）是一种高度灵活的模型，它将潜在的GP与来自指数族的潜在非高斯似然相结合。GGP可以用于各种设置，包括GP分类，非参数计数回归，非高斯空间数据建模和分析点模式。然而，对GGP的推断在分析上可能是难以处理的，并且由于GP协方差阵的求逆，大型数据集带来计算挑战。我们提出了一个Vecchia-拉普拉斯近似的GGP，它结合了一个拉普拉斯近似的非高斯似然与计算效率的Vecchia近似的GP，从而在一个简单的，一般的，可扩展的，和准确的方法。我们提供模拟和真实空间数据的数值研究和比较。我们的方法在一个免费的R包中实现。
2020-06-04 stat.CO stat.ME
Deep Gaussian Processes for geophysical parameter retrieval
Universidad de Granada（格拉纳达大学）
本文介绍了深高斯过程（DGPs）的地球物理参数反演。与标准完整GP模型不同，DGP考虑了复杂的（模块化，分层）过程，提供了一种有效的解决方案，可以很好地扩展到大型数据集，并提高了标准完整和稀疏GP模型的预测精度。我们给出了经验证据的性能估计的表面露点温度从红外探测数据。
2020-12-07 cs.LG eess.SP physics.geo-ph
Palm distributions for log Gaussian Cox processes
本文建立了对数高斯Cox过程的Palm分布的一个显著结果：对数高斯Cox过程的约化Palm分布本身也是一个对数高斯Cox过程，它与原来的对数高斯Cox过程仅在强度函数上不同。这一新结果被用来研究对数高斯Cox过程的函数求和。
2016-06-08 math.PR math.ST stat.TH
