Fast Gaussian Process Approximations for Autocorrelated Data
H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology, Atlanta, GA 30339（佐治亚理工学院H.Milton Stewart工业与系统工程学院）；Department of Statistics, University of Wisconsin–Madison, Madison, WI 53706（威斯康星大学麦迪逊分校统计系）
本文提出一种快速高斯过程近似方法，通过分块处理自相关数据以加速计算并保持模型预测性能。
2025-12-02 cs.LG stat.ML
Fast Variational Learning in State-Space Gaussian Process Models
Aalto University（阿尔托大学）；RIKEN Center for AI Project（理化学研究所人工智能项目中心）
具有1D输入的高斯过程（GP）回归通常可以通过随机微分方程公式在线性时间内执行。然而，对于非高斯似然，这需要应用近似推理方法，这可能使实现困难，例如，期望传播在数值上可能是不稳定的，并且变分推断在计算上可能是低效的。在本文中，我们提出了一种新的方法，消除这些困难。建立在现有的方法称为共轭计算变分推理，我们的方法使线性时间推理通过卡尔曼递归，同时避免数值不稳定性和收敛问题。我们提供了一个高效的JAX实现，利用即时编译，并允许快速自动微分通过大型for循环。总的来说，我们的方法导致快速和稳定的变分推断状态空间GP模型，可以扩展到时间序列与数百万个数据点。
2020-07-17 cs.LG stat.ML
Quantile Propagation for Wasserstein-Approximate Gaussian Processes
The Australian National University（澳大利亚国立大学）；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织Data61）；The University of Sydney（悉尼大学）；University of Technology Sydney（悉尼科技大学）
近似推理技术是基于高斯过程先验的概率方法的基石。尽管如此，大多数工作近似优化标准的分歧措施，如Kullback-Leibler（KL）分歧，缺乏基本的必要条件的任务在手，而主要是提供仅仅是技术上的方便。我们开发了一种新的近似推理方法高斯过程模型，克服了技术上的挑战，放弃这些方便的分歧。我们的方法-被称为分位数传播（QP）-类似于期望传播（EP），但最小化了$L_2$ Wasserstein距离（WD）而不是KL发散。WD展示了距离度量的所有所需属性，同时尊重底层样本空间的几何形状。我们发现，QP匹配分位数函数，而不是在EP的时刻，并具有相同的均值更新，但比EP更小的方差更新，从而减轻EP的倾向，高估后验方差。至关重要的是，尽管处理WD的显着的复杂性，QP具有相同的有利的局部性EP，从而承认一个有效的算法。分类和泊松回归实验表明，QP优于EP和变分贝叶斯。
2020-11-05 cs.LG stat.ML
Fast Gaussian Process Based Gradient Matching for Parameter Identification in Systems of Nonlinear ODEs
ETH Zürich（苏黎世联邦理工学院）；Max Planck ETH CLS（马克斯·普朗克-苏黎世联邦理工计算与系统神经科学中心）；MPI-IS Tübingen（图宾根马克斯·普朗克智能系统研究所）
动态系统的参数辨识与比较在许多领域都是一个具有挑战性的课题。基于时间序列数据的高斯过程回归的贝叶斯方法已经成功地应用于推断动态系统的参数，而无需显式求解它。我们提供了一个新的解释，导致更好地理解和改进的最先进的性能方面的非线性动力系统的准确性。
2019-03-01 cs.LG stat.ML
Improving Hyperparameter Learning under Approximate Inference in Gaussian Process Models
Aalto University（阿尔托大学）；Finnish Center for Artificial Intelligence (FCAI)（芬兰人工智能中心（FCAI））
针对非共轭高斯过程中近似推断与超参数学习耦合的问题，提出结合共轭计算VI与类EP边际似然近似的混合训练方法，并在多数据集上验证其优于VI、EP和Laplace近似。
2023-06-07 cs.LG stat.ML
Generative Modeling of Approximately Periodic Time Series by a Posterior-Weighted Gaussian Process
Josef Ressel Centre for Intelligent and Secure Industrial Automation（约瑟夫·雷斯尔智能与安全工业自动化中心）；Salzburg University of Applied Sciences（萨尔茨堡应用科学大学）
本文提出一种随机生成模型，用于处理近似周期性时间序列，通过后验加权高斯过程分离重复内部结构与重复间变异性，实现生成分布在重复间平滑变化。
2026-05-13 cs.LG stat.ML
Approximate Sampling using an Accelerated Metropolis-Hastings based on Bayesian Optimization and Gaussian Processes
University of South Carolina（南卡罗来纳大学）；University of North Carolina Charlotte（北卡罗来纳大学夏洛特分校）
马尔可夫链蒙特卡罗（MCMC）方法在处理目标分布或似然函数时有一个缺点，这是计算昂贵的评估，特别是在处理大数据时。本文主要研究单峰分布的Metropolis-Hastings（MH）算法。在这里，提出了一种增强的MH算法，需要较少的昂贵的功能评估，具有较短的老化期，并使用更好的建议分布。主要创新包括使用贝叶斯优化快速到达高概率区域，使用高斯过程（GP）模拟目标分布，以及使用GP的拉普拉斯近似来构建更好地捕获潜在相关性的建议分布。实验表明，显着改善了常规MH。两种算法的结果之间的统计比较。
2019-10-21 cs.LG stat.ML
Towards Improved Learning in Gaussian Processes: The Best of Two Worlds
Aalto University（阿尔托大学）；FCAI（芬兰人工智能中心）
高斯过程训练分解为（近似）后验的推断和超参数的学习。对于非高斯（非共轭）似然，近似推理的两个常见选择是期望传播（EP）和变分推理（VI），它们具有互补的优点和缺点。虽然VI的边缘似然下界是用于推断近似后验的合适目标，但它并不自动意味着它是超参数优化的良好学习目标。我们设计了一个混合训练过程，其中的推理利用共轭计算VI和学习使用EP样的边际似然近似。我们经验证明，二进制分类，这提供了一个很好的学习目标和推广更好。
2022-11-11 cs.LG stat.ML
Kernel Distillation for Fast Gaussian Processes Prediction
Cornell Tech（康奈尔科技学院）；Cornell University（康奈尔大学）
高斯过程（GP）是一种灵活的模型，由于其非参数性质，可以捕获大规模数据集中的复杂结构。然而，在现实世界中的应用是有限的，由于他们的高计算成本在推理时间的GP。在本文中，我们介绍了一个新的框架，\textit{kernel distillation}，近似一个完全训练的教师GP模型的大小为$n\times n$为$n$训练点的核矩阵。在蒸馏过程中，我们将诱导点方法与稀疏低秩近似相结合。提取的学生GP模型只消耗$m$诱导点的$O(m^2)$存储，其中$m \ll n$，并提高了推理时间复杂度。我们的经验表明，内核蒸馏提供了更好的权衡之间的预测时间和测试性能相比，替代品。
2018-11-05 cs.LG stat.ML
Development of modeling and control strategies for an approximated Gaussian process
The Pennsylvania State University（宾夕法尼亚州立大学）
高斯过程（GP）模型作为函数的先验信息已被广泛应用，并表现出良好的性能。大量参数的指定影响计算效率和控制策略实施的可行性。我们提出了一个线性模型来近似GP，该模型通过一系列基函数扩展了GP模型。几个例子和仿真研究，以证明所提出的方法的优点。提出了一种控制策略与建议的线性模型。
2020-02-12 cs.LG math.ST stat.ML
On Approximate Inference for Generalized Gaussian Process Models
City University of Hong Kong（香港城市大学）
广义高斯过程模型（GPPM）是一个统一的框架，它包含了许多现有的高斯过程（GP）模型，如GP回归，分类和计数。在GGPM框架中，GP模型的观测似然性本身使用指数族分布（EFD）进行参数化。在本文中，我们认为有效的算法GGPMs使用一般形式的EFD的近似推理。然后，可以通过改变EFD的参数来形成特定的GP模型及其相关的推理算法，从而大大简化了针对特定任务的输出域的创建。我们证明了这个框架的有效性，通过创建几个新的GP模型回归到非负的reals和真正的间隔。我们还考虑了一个封闭形式的泰勒近似GGPMs的有效推理，并详细说明其与其他模型特定的启发式封闭形式近似的连接。最后，我们提出了一套全面的实验来比较各种各样的GGPMs近似推理算法。
2013-11-27 cs.CV cs.LG stat.ML
Approximate Inference for Nonstationary Heteroscedastic Gaussian process Regression
提出了一种新的高斯过程（GP）回归中噪声和信号方差不确定性的近似积分方法。我们的高效和简单的方法也可以应用到集成的输入相关的噪声方差（异方差）和输入相关的信号方差（非平稳性），通过设置独立的GP先验的噪声和信号方差。我们使用期望传播（EP）的推理和比较结果，马尔可夫链蒙特卡罗在两个模拟数据集和三个经验的例子。结果表明，EP产生可比的结果与更少的计算负担。
2014-04-22 stat.ML
Fast Gaussian Process Posterior Mean Prediction via Local Cross Validation and Precomputation
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
高斯过程（GP）是贝叶斯非参数模型，在无数的应用中非常有用。尽管它们很受欢迎，但GP预测的成本（相对于训练点数量的二次存储和三次复杂度）仍然是将GP应用于大数据的障碍。我们提出了一种快速后验均值预测算法FastMuyGPs来解决这个缺点。FastMuyGPs基于MuyGPs超参数估计算法，并利用留一交叉验证、预处理、最近邻稀疏化和预计算的组合来提供可扩展的快速GP预测。我们展示了几个基准，其中FastMuyGPs预测达到了卓越的准确性和竞争力或优越的运行时间，深度神经网络和最先进的可扩展GP算法。
2022-05-22 cs.LG cs.NA math.NA
GPS-ABC: Gaussian Process Surrogate Approximate Bayesian Computation
Informatics Institute（信息学研究所）；University of Amsterdam（阿姆斯特丹大学）
科学家们经常通过计算要求很高的模拟程序来表达他们对世界的理解。分析给定观测值的参数的后验分布（逆问题）可能极具挑战性。近似贝叶斯计算（ABC）框架是处理这些无可能性问题的标准统计工具，但它们需要大量的模拟。在这项工作中，我们开发了两个新的ABC抽样算法，显着减少后验推理所需的模拟的数量。这两种算法都在Metropolis Hastings步骤中使用接受概率的置信度估计，以自适应地选择必要的模拟次数。我们的GPS-ABC算法存储从每个模拟中获得的信息在一个高斯过程中作为模拟统计的替代函数。一个具有挑战性的现实生物问题的实验说明了这些算法的潜力。
2014-01-13 cs.LG q-bio.QM stat.ML
GPatt: Fast Multidimensional Pattern Extrapolation with Gaussian Processes
U. Cambridge（剑桥大学）；WUSTL（圣路易斯华盛顿大学）；Columbia U.（哥伦比亚大学）
高斯过程通常用于小数据集的平滑和插值。我们介绍了一个新的贝叶斯非参数框架- GPatt -使自动模式外推与高斯过程的大型多维数据集。GPatt统一并扩展了高度表达的内核和快速精确推理技术。没有人为干预-没有手工制作的内核功能，也没有复杂的初始化程序-我们表明，GPatt可以解决大规模的模式外推，修复和内核发现问题，包括383400训练点的问题。我们发现，GPatt显着优于流行的替代可扩展的高斯过程方法的速度和准确性。此外，我们发现这些方法之间的深刻差异，这表明表达内核，非参数表示和精确推理是有用的建模大规模多维模式。
2013-12-31 cs.AI cs.LG stat.ME
Approximate Inference Turns Deep Networks into Gaussian Processes
RIKEN Center for AI Project（日本理化学研究所人工智能项目中心）；EPFL（洛桑联邦理工学院）；Technical University of Denmark（丹麦技术大学）
深度神经网络（DNN）和高斯过程（GP）是两个强大的模型，有几个理论联系，但它们的训练方法之间的关系还没有得到很好的理解。在本文中，我们证明了贝叶斯DNN的某些高斯后验近似等价于GP后验。这使我们能够将深度学习算法的解决方案和迭代与GP推理联系起来。因此，我们可以在训练DNN时获得GP内核和非线性特征映射。令人惊讶的是，得到的内核是神经正切内核。我们展示了在真实数据集上获得的内核，并演示了使用GP边缘似然来调整DNN的超参数。我们的工作旨在促进在实际环境中结合DNN和GP的进一步研究。
2020-07-19 cs.AI cs.LG stat.ML
Perturbative Corrections for Approximate Inference in Gaussian Latent Variable Models
期望传播（EP）为近似推理提供了一个框架。当所考虑的模型是在一个潜在的高斯场，近似高斯，我们展示了如何这些近似可以系统地进行校正。微扰展开是由精确但难以处理的校正组成的，并且可以应用于模型的配分函数和其他感兴趣的时刻。该修正表示在EP的局部矩匹配所忽略的高阶累积量上。通过展开式，我们看到EP对一阶是正确的。通过考虑更高阶，可以将增加多项式复杂性的校正应用于近似。二阶提供了一个二次时间的校正，我们将其应用于一系列的高斯过程和伊辛模型。校正推广到任意复杂的近似家庭，我们说明树结构的伊辛模型近似。此外，他们提供了一个多项式时间的近似误差评估。我们还提供了理论和实践的见解EP解决方案的准确性。
2013-10-25 stat.ML
Fast Gaussian process inference by exact Matérn kernel decomposition
Guangdong Provincial/Zhuhai Key Laboratory of Interdisciplinary Research and Application for Data Science, Beijing Normal-Hong Kong Baptist University（广东/珠海交叉学科与数据科学应用重点实验室，北京师范大学-香港 Baptist大学）；EDF Lab, FiME (Laboratoire de Finance des Marchés de l’Énergie)（EDF实验室，FiME（能源市场金融实验室））
本文提出一种基于精确核分解为加权经验累积分布函数的快速高斯过程推断算法，适用于半整数平滑参数的多元Matérn核，采用分治策略，有效处理数十万数据点的低维问题。
2025-08-03 cs.DS cs.LG stat.CO
Adaptive Gaussian process approximation for Bayesian inference with expensive likelihood functions
我们考虑计算密集型似然函数的贝叶斯推断问题。我们提出了一种基于高斯过程（GP）的方法来近似未知参数和数据的联合分布。特别是，我们写的联合密度近似为一个近似的后验密度和一个exponentiated GP代理的产品。然后，我们提供了一个自适应算法来构建这样的近似，其中使用主动学习方法来选择设计点。数值例子表明，该方法具有竞争力的性能对现有的贝叶斯计算方法。
2018-03-14 stat.CO stat.ML
Fast Convergent Algorithms for Expectation Propagation Approximate Bayesian Inference
提出了一种新的算法来解决连续变量图模型的贝叶斯推断的期望传播松弛问题。与以往的算法相比，我们的方法是可证明收敛的。通过将来自（Opper&Winther 05）的收敛EP思想与协方差解耦技术（Wipf&Nagarajan 08，Nickisch&Seeger 09）相结合，它比最常用的EP求解器至少快一个数量级。
2010-12-16 stat.ML
Approximate Bayes learning of stochastic differential equations
我们介绍了一种非参数方法估计漂移和扩散函数的随机微分方程系统的状态向量的观测。高斯过程被用作这些函数的灵活模型，并且使用高斯过程回归直接从密集数据集计算估计值。我们还开发了一个近似的期望最大化算法来处理未观察到的，稀疏观测之间的潜在动态。后验过状态近似的分段线性化过程的Ornstein-Uhlenbeck型和最大后验估计的漂移是由稀疏高斯过程近似。
2017-02-17 physics.data-an stat.ML
Machine learning for multiple yield curve markets: fast calibration in the Gaussian affine framework
校准是一项极具挑战性的任务，特别是在多个收益率曲线市场中。本文是首次尝试研究机器学习技术在这方面应用的机会和挑战。我们采用高斯过程回归，一种与扩展卡尔曼滤波有许多相似之处的机器学习方法-一种已多次应用于利率市场和期限结构模型的技术。在Vasicek框架中，我们发现单曲线市场的结果非常好，而多曲线市场面临许多挑战。高斯过程回归是用Adam优化器和非线性共轭梯度法实现的，其中后者表现最好。我们还指出了未来的研究。
2020-04-17 math.PR q-fin.MF q-fin.PR
Functional regression approximate Bayesian computation for Gaussian process density estimation
我们提出了一种新的贝叶斯非参数方法的分层建模的一组相关的密度函数，其中分组数据的形式，从每个密度函数的样本是可用的。在这方面，在各群体之间借用力量是一项重大挑战。为了解决这个问题，我们引入了一个分层结构的先验，定义在一组单变量密度函数，使用方便的高斯过程的变换。推理是通过近似贝叶斯计算（ABC），通过一种新的功能回归调整。所提出的方法的性能说明通过模拟研究和分析农村高中考试在巴西的表现。
2014-10-30 stat.CO
Prediction with Approximated Gaussian Process Dynamical Models
University of Pennsylvania（宾夕法尼亚大学）；Technical University of Munich（慕尼黑工业大学）
动力系统的建模和仿真是许多控制方法的必要步骤。使用经典的、基于参数的技术对现代系统进行建模，例如，软机器人或人机交互由于系统动态的复杂性而常常是具有挑战性的，甚至是不可行的。相比之下，数据驱动的方法只需要最少的先验知识，并随着系统的复杂性而扩展。特别是，高斯过程动力学模型（GPDM）提供了非常有前途的结果为复杂的动态建模。然而，这些GP模型的控制性能的研究很少，这导致了“黑箱”处理建模和控制场景。此外，为了预测目的对GPDM的采样尊重其非参数性质导致非马尔可夫动力学，使得理论分析具有挑战性。在这篇文章中，我们提出了近似的GPDM是马尔可夫和分析其控制理论性质。其中，近似误差进行了分析，并提供了有界的轨迹的条件。数值例子表明，近似模型的功率，而计算时间显着减少的结果。
2021-11-30 cs.LG cs.SY eess.SY
Fast methods for training Gaussian processes on large data sets
高斯过程回归（GPR）是一种用于插值或拟合数据的非参数贝叶斯技术。进一步利用这一强大工具的主要障碍在于与处理大型数据集时出现的矩阵相关的计算成本。在这里，我们得出了一些简单的结果，我们发现有用的加快GPR算法的学习阶段，特别是进行贝叶斯模型比较不同的协方差函数。我们将我们的技术应用于合成数据和真实数据，并量化了相对于使用嵌套采样来数值评估模型证据的速度。
2016-05-13 stat.CO stat.ME stat.ML
AdaPT: Fast Emulation of Approximate DNN Accelerators in PyTorch
National Technical University of Athens（雅典国立技术大学）；Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
当前最先进的技术采用近似乘法器来解决DNN加速器的高度增加的功率需求。然而，由于DNN框架中缺乏对近似算法的足够支持，评估近似DNN的准确性是很麻烦的。我们通过提出AdaPT来解决这种效率低下的问题，AdaPT是一个快速仿真框架，它扩展了PyTorch以支持近似推理和近似感知再训练。AdaPT可以无缝部署，并与大多数DNN兼容。我们评估了几个DNN模型和应用领域的框架，包括CNN，LSTM和GANs，用于一些具有不同位宽值的近似乘法器。结果显示，近似重新训练的错误恢复显著，并且相对于基线近似实现，推理时间减少了53.9倍。
2022-10-11 cs.AR cs.LG
Fast and Provably Accurate Sequential Designs using Hilbert Space Gaussian Processes
National University of Singapore（新加坡国立大学）
本文提出一种高效且精确的希尔伯特空间高斯过程近似方法，用于改进基于高斯过程的序列设计中的IMSE获取函数，通过截断特征基实现闭式计算，并建立了非渐近的全局误差界。
2026-04-22 math.ST stat.ME stat.ML
Fast and exact simulation of complex-valued stationary Gaussian processes through embedding circulant matrix
研究了模拟平稳复值高斯序列的嵌入循环矩阵方法。该方法，特别是，被证明是非常适合于生成圆对称平稳高斯过程。给出了复协方差函数的简单条件，保证了最小嵌入循环矩阵方法的理论有效性。我们证明了这些条件是满足许多例子，并说明了算法。特别是，我们提出了一个模拟研究涉及的圆对称分数布朗运动，本文介绍的模型。
2016-04-01 math.ST stat.TH
Extending approximate Bayesian computation methods to high dimensions via a Gaussian copula model
近似贝叶斯计算（ABC）是指在复杂模型的贝叶斯分析中使用的一系列推理方法，其中很难评估可能性。传统的ABC方法往往遭受灾难的维数，和边缘调整策略最近在文献中介绍，以提高性能的ABC算法在高维问题。边际调整方法扩展使用高斯copula近似。该方法首先使用二维高斯copula分别估计每对参数的二元后验，然后将这些估计组合在一起来估计联合后验。当后验分布近似为正态分布时，这种近似在大样本情况下效果很好，但由于边缘后验分布的非参数估计，在许多情况下也效果很好。如果每个二元后验分布都可以用低维ABC分析很好地估计，那么这种高斯copula方法可以将ABC方法扩展到高维问题。该方法还导致近似后验的解析表达式，这是有用的，用于许多目的，如近似的可能性本身。用几个例子说明了这种方法。
2016-07-07 stat.CO
Approximate Bayesian inference from noisy likelihoods with Gaussian process emulated MCMC
提出用高斯过程模拟Metropolis-Hastings采样进程的近似贝叶斯推断框架，在有限噪声似然评估下实现高效且鲁棒的推断。
2023-08-31 stat.CO stat.ME stat.ML
Max-and-Smooth: a two-step approach for approximate Bayesian inference in latent Gaussian models
对于现代高维数据，复杂的统计模型是必要的，需要计算上可行的推理方案。我们介绍最大和平滑，一个近似的贝叶斯推断计划的一个灵活的类潜在的高斯模型（LGM），其中一个或多个似然参数建模的潜在的加性高斯过程。Max-and-Smooth包含两个步骤。在第一步（Max）中，似然函数由高斯密度近似，其均值和协方差分别等于（a）最大似然估计和逆观测信息，或（b）归一化似然函数的均值和协方差。在第二步（平滑）中，推断潜参数和超参数，并使用近似的似然函数进行平滑。所提出的方法确保了第一步的不确定性被正确地传播到第二步。由于近似的似然函数是高斯的，所以LGM的潜在参数的近似后验密度（以超参数为条件）也是高斯的，从而有助于在高维中进行有效的后验推断。此外，超参数的近似边缘后验分布是易处理的，因此，超参数可以独立于潜在参数进行采样。在大量的独立数据复制，稀疏精度矩阵和高维潜在向量的情况下，与从精确的似然函数推断后验密度的MCMC方案相比，加速是显著的。所提出的推理方案上演示了一个空间参考的真实数据集和模拟数据模仿空间，时间和时空推理问题。我们的结果表明，最大和平滑是准确和快速的。
2020-02-14 stat.CO stat.ME
Introduction To Gaussian Process Regression In Bayesian Inverse Problems, With New ResultsOn Experimental Design For Weighted Error Measures
现代应用中出现的贝叶斯后验分布，包括层析成像和地下水流中偏微分方程模型中的逆问题，由于评估数据可能性的计算成本很大，因此在计算上通常是棘手的。为了缓解这个问题，我们考虑使用高斯过程回归来建立一个代理模型的可能性，从而在近似的后验分布，是服从于实际计算。这项工作作为一个介绍高斯过程回归，特别是在建立代理模型的背景下，逆问题，并提出了新的见解到一个合适的选择训练点。我们发现，真实的和近似的后验分布之间的误差可以有界的真实和近似的可能性之间的误差，测量在$L^2$ -范数加权的真实后验，并有效地界定真实和近似的可能性之间的误差，在这个范数建议选择训练点的高斯过程代理模型的基础上的真实后验。
2023-02-09 cs.NA math.NA math.ST
Improving the INLA approach for approximate Bayesian inference for latent Gaussian models
本文引入了一种新的基于Copula的广义线性混合模型修正方法，并将其应用于潜在高斯模型的近似贝叶斯推断的集成嵌套拉普拉斯近似（INLA）方法中.虽然INLA通常非常准确，但一些（相当极端）GLP-A病例（例如，二项式或泊松数据）被认为是有问题的。当模型中的平滑程度或“借用强度”非常低时，可能会出现不准确，因此我们开发了一种修正方法，旨在扩大INLA的适用范围。我们的新校正已被实现为R-INLA包的一部分，只增加了微不足道的计算成本。对真实数据和模拟数据的实证分析表明，该方法效果良好。
2015-12-15 math.ST stat.CO stat.ME
An Additive Approximate Gaussian Process Model for Large Spatio-Temporal Data
基于一个大的地面臭氧数据集，我们提出了一个新的计算效率高的加性近似高斯过程。该方法结合了计算复杂度降低方法和可分离的协方差函数，可以灵活地捕捉各种时空相关结构。第一组件能够捕获不可分离的时空变化，而第二组件捕获可分离的变化。基于该模型的分层制定，我们能够利用这两个组件的计算优势，并执行有效的贝叶斯推断。为了证明所提出的方法的推理和计算的好处，我们进行了广泛的模拟研究，假设各种情况下的基本时空协方差结构。所提出的方法也适用于分析大的时空测量地面臭氧在美国东部。
2019-06-07 stat.CO stat.ME
A Fast Non-Gaussian Bayesian Matching Pursuit Method for Sparse Reconstruction
提出了一种基于贝叶斯方法的快速匹配追踪稀疏信号恢复方法。该方法被称为nGpFBMP，即使当信号先验是非高斯或未知时，也执行稀疏信号的贝叶斯估计。它是不可知的信号统计，并利用先验统计的加性噪声和稀疏率的信号，这是很容易估计的数据，如果没有。nGpFBMP利用一个贪婪的方法和顺序递归更新的度量，找到最主要的稀疏支持，以确定近似的最小均方误差（MMSE）估计的稀疏信号。仿真结果表明，我们提出的估计的权力和鲁棒性。
2012-06-19 stat.OT
Vecchia-approximated Deep Gaussian Processes for Computer Experiments
深度高斯过程（DGP）通过函数组合升级普通GP，其中中间GP层扭曲原始输入，为非平稳动态建模提供灵活性。在最近的文献中出现了两种DGP制度。在机器学习中流行的“大数据”机制有利于近似的、基于优化的推理，以实现快速、高保真的预测。一个“小数据”制度，首选计算机代理建模，部署后集成增强不确定性量化（UQ）。我们的目标是通过引入Vecchia近似来扩展贝叶斯DGP后验推理的能力，从而弥合这一差距，允许线性计算缩放而不影响精度或UQ。我们的动机是模拟活动的替代建模，运行次数超过100，000次-对于以前的全贝叶斯实现来说太大了-并证明预测和UQ优于“大数据”竞争对手。所有方法都在CRAN上的“deepgp”包中实现。
2022-08-12 stat.CO
Approximate Bayesian estimation in large coloured graphical Gaussian models
分布式估计方法最近被用来计算大型图形高斯模型精度矩阵的最大似然估计。我们的目的，在本文中，是给贝叶斯估计的精度矩阵的大型图形高斯模型，此外，对称性约束所施加的基础图形是彩色的。我们将精度矩阵的样本后验均值作为我们的估计。我们研究它的渐近行为下，经常渐近制度时，变量p是固定的，双渐近制度下，当p和n都增长到无穷大。我们特别表明，当局部模型的参数的数量是一致有界的，标准的收敛速度，我们得到的渐近一致性，在Frobenius范数，我们的精度矩阵的估计相比，以及在当前文献中的速率的最大似然估计。
2016-05-26 stat.ME
Approximate Reference Prior for Gaussian Random Fields
参考先验理论对于地统计数据的分析是有吸引力的，因为它们能够进行自动贝叶斯分析，并且具有理想的贝叶斯和频率属性。但它们的使用受到计算障碍的阻碍，这使得它们在实践中的应用具有挑战性。在这项工作中，我们推导出一类新的默认先验近似的参考先验的一些高斯随机场的参数。它是基于从平稳随机场的谱近似导出的协方差参数的积分似然的近似。该先验依赖于平均函数的结构和在与辅助规则网格相关联的一组谱点处评估的模型的谱密度。除了保持理想的贝叶斯和频率属性，这些近似的参考先验更稳定，它们的计算比精确的参考先验要简单得多。与精确参考先验不同，相关参数的边缘近似参考先验总是适当的，无论相关函数的均值函数或光滑性如何。此属性对协方差模型选择有重要影响。一个例子比较默认贝叶斯分析提供了一个数据集的铅污染在加利西亚，西班牙。
2022-01-26 stat.ME
FastGP: An R Package for Gaussian Processes
尽管高斯过程（GPs）有着广泛的应用前景，但由于拟合和采样的计算障碍，它在实践中很难使用。在这里，我们讨论一个高效的多元正态函数的简短R包，它在其核心使用Rcpp和RcppEigen包。GP具有允许标准函数加速的属性;作为一个例子，我们包括Toeplitz矩阵的功能，其逆可以在O（n^2）时间内计算，由于海沟和Durbin的方法（Golub & Van Loan 1996），这特别适用于高斯过程的时间点（或空间位置）是均匀分布的，因为在这种情况下，相关的协方差阵是Toeplitz。此外，我们还包括从具有椭圆切片采样的潜在变量高斯过程模型中进行采样的功能（Murray，Adams和MacKay 2010）。
2015-07-22 stat.CO
Fast Bayesian inference of Block Nearest Neighbor Gaussian process for large data
本文提出了一个空间块最近邻高斯过程（块NNGP）的位置参考的大空间数据的发展。这种方法背后的关键思想是将空间域划分为几个块，这些块在某些约束下相互依赖。交叉块捕获大尺度空间依赖性，而每个块捕获小尺度空间依赖性。所得到的块NNGP享有反映在其稀疏精度矩阵上的马尔可夫性。它被嵌入作为潜在高斯模型类内的先验，从而使用集成嵌套拉普拉斯近似（INLA）获得贝叶斯推断。块NNGP的性能示出在模拟的例子和大量的真实数据的位置的顺序为$10^4$。
2021-02-05 stat.ME
Fast, Scalable Approximations to Posterior Distributions in Extended Latent Gaussian Models
我们定义了一类新的加性模型，称为扩展的潜在高斯模型，允许广泛的响应分布和灵活的加性预测和平均响应之间的关系。新课程涵盖了广泛的有趣的模型，包括多分辨率空间过程，部分基于似然的生存模型，和多变量测量误差模型。由于精确的后验分布的计算是不可行的，我们开发了一个快速的，可扩展的近似贝叶斯推断方法，这一类的基础上嵌套高斯，拉普拉斯，自适应正交近似。我们证明了在标准条件下，这些近似后验的误差是op（1），并提供了数值证据表明，我们的方法比基于集成嵌套拉普拉斯近似和马尔可夫链蒙特卡罗的方法运行更快，可扩展到更大的数据集，具有可比的精度。我们应用新的方法来映射的疟疾发病率在连续空间中使用聚合数据，映射白血病生存的危险使用一个连续变化的空间过程的考克斯比例风险模型，并估计银河系的质量使用嘈杂的多变量测量的位置和速度的星团在其轨道上。
2022-07-12 stat.ME
Massively parallel approximate Gaussian process regression
我们探讨了三大计算范式-对称多处理器（SMC），图形处理单元（GPU）和集群计算-可以一起带来裸露的大数据高斯过程（GP）回归问题，通过仔细实施一个新开发的本地近似方案。我们的方法贡献主要集中在GPU计算上，因为这需要最多的关注，也提供了最大的性能提升。然而，在我们的实证工作中，我们研究了所有三种范式的相对优点，以确定如何最好地将它们结合起来。本文最后以两个案例研究结束。一个是一个真正的数据流体动力学计算机实验，受益于我们的近似的本地性质;第二个是一个合成数据的例子，旨在找到最大的设计，（准确）GP仿真可以在一个小时内进行相称的预测集。
2014-06-04 cs.DC stat.CO
Fast approximate inference with INLA: the past, the present and the future
潜高斯模型是一种非常流行的，灵活的模型。然而，这些模型的贝叶斯推断是棘手和耗时的。最近，Rue，Martino和Chopin提出了确定性快速近似推理的集成嵌套拉普拉斯近似（INLA）方法。在本文中，我们概述了INLA近似及其相关的R软件包。我们将讨论r-INLA程序的新组件以及一些可能的扩展。
2011-05-16 stat.CO
Practical Hilbert space approximate Bayesian Gaussian processes for probabilistic programming
高斯过程是随机函数的强有力的非参数概率模型。然而，直接实现带来了计算上难以处理的复杂性，当观测的数量很大时，特别是当用诸如马尔可夫链蒙特卡罗的完全贝叶斯方法估计时。本文主要研究了一种低秩近似贝叶斯高斯过程，该过程基于对平稳协方差函数的Laplace特征函数的基函数近似。本文的主要贡献是详细的性能分析，并为如何选择基函数的数量和边界因子的实用建议。直观的可视化和建议，使用户更容易提高近似精度和计算性能。我们还提出了诊断检查的基础函数和边界因子的数量是足够的数据。该方法是简单的，表现出一个有吸引力的计算复杂性，由于其线性结构，它是很容易实现的概率规划框架。几个说明性的例子，在概率编程语言斯坦的方法的性能和适用性的基础斯坦模型代码一起。
2022-03-22 stat.CO stat.ME
Fast Bayesian inference in large Gaussian graphical models
尽管主要的方法的发展，贝叶斯推断高斯图形模型仍然具有挑战性的高维由于巨大的规模的模型空间。本文提出了一种通过假设的多重检验来推断变量间的边际和条件独立结构的方法。具体而言，我们在高斯共轭模型下引入封闭形式的贝叶斯因子来评估变量之间的边际和条件独立性的零假设。它们对所有变量对的计算都非常有效，从而使我们能够解决具有数千个节点的大型问题。此外，我们从贝叶斯因子的零分布中推导出精确的尾概率。这些允许使用任何多重性校正程序来控制错误边缘包含的错误率。我们证明了所提出的方法，图形模型选择各种模拟的例子，以及从癌症基因组图谱的大型基因表达数据集。
2018-04-06 stat.ME
Vecchia approximated Bayesian heteroskedastic Gaussian processes
Virginia Tech（弗吉尼亚理工大学）
本文提出了一种基于Vecchia近似的贝叶斯异方差高斯过程，通过椭圆切片采样提升后验方差积分效率，有效解决大规模模拟中的计算瓶颈问题。
2026-02-27 stat.CO stat.ME
Likelihood approximations via Gaussian approximate inference
Australian National University（澳大利亚国立大学）
本文针对非高斯似然导致后验不可处理的问题，结合变分推断与变换基矩匹配构造高斯似然近似，在分类、大规模推断和流式任务中取得更优效果。
2024-10-28 cs.LG stat.ML
Rethinking Approximate Gaussian Inference in Classification
Tübingen AI Center University of Tübingen（图宾根人工智能中心 图宾根大学）
本文提出用normCDF或sigmoid替代softmax，实现无采样的预测近似，提升分类任务中的不确定性量化能力。
2026-02-11 cs.LG stat.ML
Plug-And-Play Learned Gaussian-mixture Approximate Message Passing
Technische Universität Berlin（柏林工业大学）
深度展开被证明是加速和调整经典信号处理算法的一种非常成功的方法。在本文中，我们提出了学习高斯混合AMP（L-GM-AMP）-即插即用压缩感知（CS）恢复算法适用于任何i.i.d.源前。我们的算法建立在Borgerding的学习AMP（LAMP）的基础上，但通过在算法中采用通用的去噪函数来显着改进它。鲁棒和灵活的去噪器是高斯混合（GM）模型源之前的副产品，它可以很好地逼近连续，离散以及混合分布。它的参数使用标准的反向传播算法学习。为了证明所提出的算法的鲁棒性，我们进行蒙特卡罗（MC）模拟的混合和离散分布。数值计算表明，L-GM-AMP算法实现了最先进的性能，而无需任何知识的源先验。
2020-11-18 cs.LG stat.ML
Fast Low-Rank Bayesian Matrix Completion with Hierarchical Gaussian Prior Models
University of Electronic Science and Technology of China（电子科技大学）；Stevens Institute of Technology（斯蒂文斯理工学院）
研究了低秩矩阵的完备化问题。为了利用数据矩阵的底层低秩结构，我们提出了一个分层高斯先验模型，其中假设低秩矩阵的列遵循具有零均值和公共精度矩阵的高斯分布，并将Wishart分布指定为精度矩阵的超先验。我们表明，这样的分层高斯先验有可能鼓励低秩的解决方案。基于所提出的层次先验模型，提出了一种矩阵完备化的变分贝叶斯方法，该方法将广义近似消息传递（GAMP）技术嵌入到变分贝叶斯推理中，以避免繁琐的矩阵求逆运算.仿真结果表明，我们提出的方法表现出优于现有的国家的最先进的矩阵完成方法。
2017-08-26 cs.LG stat.ML
Multiplicative Gaussian Particle Filter
National University of Singapore（新加坡国立大学）；University of Adelaide（阿德莱德大学）
我们提出了一种新的基于采样的方法，在过滤问题的近似推理。而不是近似条件分布与一组有限的状态，如在粒子滤波器，我们的方法近似分布与一组连续函数的函数的加权和。该方法的核心是使用采样来近似贝叶斯滤波器中的乘法。我们提供了理论分析，给出采样条件，以提供良好的近似。接下来，我们专门讨论高斯的加权和的情况，并展示高斯的性质如何实现封闭形式的转换和有效的乘法。最后，我们对机器人定位问题进行了初步的实验，并与粒子滤波器的性能进行了比较，以证明所提出的方法的潜力。
2020-02-29 cs.LG stat.ML
FastDTW is approximate and Generally Slower than the Algorithm it Approximates
University of California Riverside（加州大学河滨分校）
许多时间序列数据采掘问题可以通过重复使用距离测度来解决。这些任务的示例包括相似性搜索、聚类、分类、异常检测和分割。二十多年来，人们已经知道动态时间规整（DTW）距离测量是用于大多数领域中大多数任务的最佳测量。由于经典DTW算法具有二次时间复杂度，因此人们提出了许多方法来减少其摊销时间，或者快速逼近它，其中最常用的一种方法是FastDTW。FastDTW算法有超过一千次引用，并已明确用于数百项研究工作。在这项工作中，我们提出了一个令人惊讶的主张。在任何实际的数据采掘应用中，近似的FastDTW比精确的DTW慢得多。这一事实显然对使用该算法的社区有影响：允许它处理更大的数据集，获得准确的结果，并在更短的时间内完成。
2022-09-03 cs.LG stat.ML
Fast Online Learning with Gaussian Prior-Driven Hierarchical Unimodal Thompson Sampling
本文提出基于高斯先验的分层单峰汤普森采样算法，用于解决具有高斯反馈奖励的聚类多臂老虎机问题，通过分层结构和单峰假设降低遗憾界并验证算法优势。
2026-02-17 cs.LG stat.ML
Fast and Scalable Learning of Sparse Changes in High-Dimensional Gaussian Graphical Model Structure
University of Virginia（弗吉尼亚大学）
我们专注于两个$p$维高斯图模型（GGM）的依赖结构的变化估计的问题。以前的研究稀疏变化估计GGM涉及昂贵和困难的非光滑优化。我们提出了一种新的方法DIFFEE，用于在高维情况下通过基本估计器估计DIFFerential网络。通过一个更快的封闭式解决方案来解决EEE，使其能够在大规模环境中工作。我们进行了严格的统计分析表明，令人惊讶的是，ESTEE实现了相同的渐近收敛速度的国家的最先进的估计，更难以计算。我们在多个合成数据集和一个关于大脑连接的真实数据上的实验结果显示，与基线相比，性能有了很大的提高，并且具有显著的计算优势。
2018-05-23 cs.AI cs.LG stat.ML
