Global inducing point variational posteriors for Bayesian neural networks and deep Gaussian processes
University of Cambridge（剑桥大学）；University of Bristol（布里斯托大学）
我们认为最佳的近似后验的顶层权重的贝叶斯神经网络的回归，并表明它表现出很强的依赖于较低层的权重。我们适应这一结果，在贝叶斯神经网络的所有层的权重开发一个相关的近似后验。我们将这种方法扩展到深度高斯过程，统一了两个模型类中的推理。我们的近似后验使用学习的“全局”诱导点，这些诱导点仅在输入层定义，并通过网络传播以获得后续层的诱导输入。相比之下，来自深度高斯过程文献的标准“局部”诱导点方法优化了每一层处的诱导输入的单独集合，并且因此不对跨层的相关性进行建模。我们的方法为变分贝叶斯方法提供了最先进的性能，在没有数据增强或回火的情况下，CIFAR-10为86.7%，与没有回火但有数据增强的SGMCMC相当（Wenzel等人2020年为88%）。
2021-06-22 cs.LG stat.ML
Posterior Inference on Shallow Infinitely Wide Bayesian Neural Networks under Weights with Unbounded Variance
Purdue University（普渡大学）；Aalto University（阿尔托大学）
针对权重无界方差下贝叶斯神经网络缩放极限为非高斯过程导致后验推断困难的问题，提出一种基于条件高斯表示的推断程序，实现非高斯情况下的后验推断与不确定性量化。
2024-06-04 cs.LG stat.ML
Predictively Oriented Gaussian Process Posteriors
University College London（伦敦大学学院）
本文提出面向预测的高斯过程（PrO-GPs），以预测不确定性为推断目标，通过简化公式和采样方案高效计算后验，实验证明在模型错误指定下其预测分布校准优于标准高斯过程。
2026-10-15 cs.LG stat.ML
Self-explaining variational posterior distributions for Gaussian Process models
University of Bamberg（班贝格大学）
贝叶斯方法已经成为将先验知识和不确定性概念结合到机器学习模型中的流行方式。与此同时，现代机器学习的复杂性使得理解模型的推理过程具有挑战性，更不用说以严格的方式表达特定的先验假设了。虽然主要对前一个问题感兴趣，但透明机器学习的最新发展也可以扩大我们可以提供给复杂贝叶斯模型的先验信息的范围。受自解释模型思想的启发，我们引入了变分高斯过程的相应概念。一方面，我们的贡献提高了这些类型模型的透明度。更重要的是，我们提出的自解释变分后验分布允许将关于目标函数的一般先验知识作为一个整体和关于个体特征贡献的先验知识结合起来。
2021-09-08 cs.LG stat.ML
The k-tied Normal Distribution: A Compact Parameterization of Gaussian Mean Field Posteriors in Bayesian Neural Networks
University of Warsaw（华沙大学）；ETH Zurich（苏黎世联邦理工学院）；University of Amsterdam（阿姆斯特丹大学）；Google Research（谷歌研究院）；Imperial College London（帝国理工学院）；University of California, Irvine（加利福尼亚大学尔湾分校）；Microsoft Research（微软研究院）
变分贝叶斯推理是一种用于近似贝叶斯神经网络权重的后验分布的流行方法。最近的工作开发这类方法探索了更丰富的参数化的近似后，希望提高性能。相反，在这里我们分享一个奇怪的实验发现，建议将变分分布限制为更紧凑的参数化。对于使用高斯平均场变分推理训练的各种深度贝叶斯神经网络，我们发现后验标准差在收敛后一致地表现出强的低秩结构。这意味着通过将这些变分参数分解为低秩因子分解，我们可以在不降低模型性能的情况下使变分近似更加紧凑。此外，我们发现，这样的因子化参数化提高了变分下界的随机梯度估计的信噪比，从而加快收敛速度。
2020-07-05 cs.LG stat.ML
Uncertainty Quantification via Neural Posterior Principal Components
Technion–Israel Institute of Technology（以色列理工学院）
针对现有图像复原不确定性量化方法速度慢、未捕捉像素相关性的问题，提出通过神经网络单次前向传播预测后验主成分的方法，在多类成像逆问题上实现了与后验采样器相当且速度快数个数量级的不确定性量化效果。
2023-11-04 cs.CV cs.LG eess.IV
Efficient Model-Free Reinforcement Learning Using Gaussian Process
Peking University（北京大学）
有效的强化学习通常利用演示或良好的探索策略。在高斯过程假设下，将后验抽样应用于无模型强化学习，提出了连续状态空间下的高斯过程后验抽样强化学习（GPPSTD）算法，给出了理论证明和实验结果.我们也提供了理论和实证结果，各种示范可以降低预期的不确定性，有利于后验抽样探索。通过这种方式，我们将演示和探索过程结合在一起，实现了更高效的强化学习。
2018-12-11 cs.LG stat.ML
Predictive posterior sampling from non-stationnary Gaussian process priors via Diffusion models with application to climate data
Mines Paris, PSL University（巴黎矿业学院（巴黎文理研究大学））
本文提出一种基于扩散生成模型的两步方法，通过DGM代理替换非平稳高斯过程先验并利用免训练引导算法进行后验采样，解决了非平稳GP预测后验分布计算不可行的问题，在环境科学逆问题中实现了最先进的预测。
2025-05-23 cs.LG stat.ML
Gradient Boosting Performs Gaussian Process Inference
ShareChat；Yandex Research（Yandex研究院）；HSE University（高等经济大学）
本文证明了基于对称决策树的梯度提升可以等价地转化为收敛于某个核岭回归问题的解的核方法。因此，我们获得了高斯过程的后验均值的收敛，这反过来又使我们能够轻松地将梯度提升从后验转换为采样器，以通过后验方差的Monte-Carlo估计提供更好的知识不确定性估计。我们表明，建议的采样器允许更好的知识不确定性估计，从而改善域外检测。
2023-03-13 cs.LG stat.ML
Sampling of Bayesian posteriors with a non-Gaussian probabilistic learning on manifolds from a small dataset
Université Paris-Est Marne-la-Vallée（巴黎东马恩拉瓦莱大学）；University of Southern California（南加州大学）
本文解决了小数据对贝叶斯推断任务的挑战。在以下假设下，提出了一种基于流形学习和流形抽样的新方法来解决这个计算统计问题：1）先验模型和似然函数都不是高斯函数，也都不能用高斯度量来近似; 2）函数输入的数量（系统参数）和功能输出（兴趣量）可以很大; 3）先验模型的可用实现数量少，导致通常与昂贵的数值模拟相关联的小数据挑战;实验实现的数量也很小; 4）决策所需的后验实现的数量远大于可用的初始数据集。方法和它的数学方面进行了详细说明。三个应用程序进行验证：前两个涉及的数学结构，旨在发展直觉的方法，并探讨其性能。第三个例子的目的是使用一个更复杂的应用程序来证明该方法的操作价值，该应用程序涉及使用超声波对受损生物组织（皮质骨中的骨质疏松症）的非高斯矩阵值随机弹性场进行统计逆识别。
2019-10-28 cs.LG stat.ML
Efficiently Sampling Functions from Gaussian Process Posteriors
Imperial College London（伦敦帝国学院）；St. Petersburg State University（圣彼得堡国立大学）；St. Petersburg Department of Steklov Mathematical Institute of Russian Academy of Sciences（俄罗斯科学院斯捷克洛夫数学研究所圣彼得堡分所）；University College London（伦敦大学学院）
高斯过程是许多现实世界建模问题的黄金标准，特别是在模型的成功取决于其忠实表示预测不确定性的能力的情况下。这些问题通常作为较大框架的一部分存在，其中感兴趣的量最终通过对后验分布进行积分来定义。这些量通常是难以处理的，从而激发了蒙特卡罗方法的使用。尽管在将高斯过程放大到大训练集方面取得了实质性进展，但用于从其后验分布准确生成绘制的方法仍然在测试位置的数量上按立方缩放。我们确定了一个分解的高斯过程，自然适合于可扩展的采样分离出的数据之前。基于这种分解，我们提出了一种易于使用和通用的快速后验采样方法，该方法与稀疏近似无缝配对，以在训练和测试时提供可扩展性。在一系列旨在测试竞争抽样方案的统计特性和实际后果的实验中，我们演示了解耦样本路径如何以通常成本的一小部分准确地表示高斯过程后验。
2020-08-16 cs.LG stat.CO stat.ML
Scalable Variational Gaussian Process Regression Networks
University of Utah（犹他大学）；School of Computing（计算学院）；Scientific Computing and Imaging Institute（科学计算与成像研究所）
高斯过程回归网络（GPRN）是多输出回归的强大贝叶斯模型，但其推理是棘手的。为了解决这个问题，现有方法在所有输出和潜函数上使用完全分解的结构（或这种结构的混合）进行后验近似，然而，这可能会错过潜变量之间的强后验依赖性并损害推理质量。此外，变分参数的更新是低效的，并且对于大量的输出来说可能是非常昂贵的。为了克服这些局限性，我们提出了一个可扩展的变分推理算法的GPRN，它不仅捕获了丰富的后验依赖关系，但也是更有效的大规模输出。我们张量化的输出空间，并引入张量/矩阵正常变分后验捕获的后验相关性，并减少参数。我们共同优化所有的参数，并利用固有的克罗内克积结构的变分模型证据下界，以加快计算。我们证明了我们的方法在几个现实世界中的应用的优势。
2020-05-18 cs.LG stat.ML
Generative Modeling of Approximately Periodic Time Series by a Posterior-Weighted Gaussian Process
Josef Ressel Centre for Intelligent and Secure Industrial Automation（约瑟夫·雷斯尔智能与安全工业自动化中心）；Salzburg University of Applied Sciences（萨尔茨堡应用科学大学）
本文提出一种随机生成模型，用于处理近似周期性时间序列，通过后验加权高斯过程分离重复内部结构与重复间变异性，实现生成分布在重复间平滑变化。
2026-05-13 cs.LG stat.ML
Constant-Time Predictive Distributions for Gaussian Processes
Cornell University（康奈尔大学）
高斯过程（GP）回归最引人注目的特征之一是它能够提供校准良好的后验分布。诱导点方法的最新进展加快了GP边缘似然和后验均值的计算，留下后验协方差估计和采样作为剩余的计算瓶颈。在本文中，我们解决这些缺点，使用Lanczos算法快速近似的预测协方差矩阵。我们的方法，我们称之为LOVE（LanczOs方差估计），大大提高了时间和空间复杂度。在我们的实验中，LOVE计算协方差的速度比现有方法快2,000倍，绘制样本的速度比现有方法快18,000倍，而所有这些都没有牺牲准确性。
2018-06-20 cs.LG stat.ML
Sufficient conditions for proper posteriors in fully-Bayesian Functional PCA
Johns Hopkins University（约翰斯·霍普金斯大学）
本文研究全贝叶斯函数主成分分析中主成分作为无限维参数的充分条件，通过正交样条基底投影证明主成分正交性等价于样条系数正交性，并展示如何通过积分二阶导数惩罚诱导平滑参数，最终证明无需额外条件即可保证后验分布正确性。
2026-04-28 math.ST stat.ME stat.TH
Variational multiple shooting for Bayesian ODEs with Gaussian processes
Aalto University（阿尔托大学）；University of Tübingen（蒂宾根大学）
最近的机器学习的进步提出了直接从数据中对未知的连续时间系统动态进行黑盒估计。然而，早期的作品是基于近似ODE解决方案或点估计。我们提出了一种新的贝叶斯非参数模型，使用高斯过程来推断未知的ODE系统的后验直接从数据。我们推导出稀疏变分推理与解耦功能采样表示向量场后验。我们还引入了一个概率射击增强，使有效的推断任意长的轨迹。该方法证明了计算向量场后验的好处，预测的不确定性得分优于多个ODE学习任务的替代方法。
2022-07-17 cs.LG stat.ML
On the Variational Posterior of Dirichlet Process Deep Latent Gaussian Mixture Models
Orange Labs（Orange实验室）；Institute Mines-Telecom Atlantique（大西洋矿业电信学院）
由于重新参数化技巧，深度潜在高斯模型最近在学习潜在表示方面取得了巨大的成功。然而，将它们与非参数先验（如狄利克雷过程（DP））耦合的能力由于其不可参数化的性质而没有看到类似的成功。本文提出了Dirichlet过程深潜高斯混合模型（DP-DLGMM）变分后验的另一种处理方法，证明了β分布和聚类隐变量的先验聚类参数和变分后验可以以封闭形式更新.这导致了一个标准的重新参数化技巧高斯隐变量知道集群分配。我们在标准基准数据集上展示了我们的方法，我们表明我们的模型能够为获得的每个聚类生成真实的样本，并在半监督设置中表现出竞争力。
2020-07-27 cs.AI cs.LG stat.ML
Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent
University of Alberta（阿尔伯塔大学）；University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Cornell University（康奈尔大学）
本文提出用随机梯度下降近似求解高斯过程后验采样中的线性系统，通过低方差优化目标及谱刻画解释非收敛隐式偏差，在大规模回归和贝叶斯优化任务上以低计算成本取得与昂贵基线相当的性能。
2024-01-16 cs.LG stat.ML
Eigenvalue Corrected Noisy Natural Gradient
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
变分贝叶斯神经网络将深度学习的灵活性与贝叶斯不确定性估计相结合。然而，灵活的变分后验的推理程序是计算昂贵的。最近提出的一种方法，噪声自然梯度，是一个令人惊讶的简单的方法来适应表达后验通过添加权重噪声定期自然梯度更新。噪声K-FAC是噪声自然梯度的一个实例，其拟合具有对普通K-FAC的微小改变的矩阵变量高斯后验。然而，矩阵变量高斯后验并不能捕获准确的对角方差。在这项工作中，我们扩展噪声K-FAC，以获得一个更灵活的后验分布称为特征值校正矩阵变量高斯。该方法在Kronecker分解特征基中计算全对角重标度因子。从经验上讲，我们的方法始终优于现有的算法（例如，噪声K-FAC）的回归和分类任务。
2018-11-30 cs.LG stat.ML
Differential Privacy of Gaussian Process Posterior Sampling
School of Mathematics, University of Bristol（布里斯托大学数学学院）
研究高斯过程后验样本路径的隐私性，通过Rényi-DP界分离后验均值与协方差泄露，揭示有效岭正则化的关键作用，并验证成员推断攻击与正则化的依赖关系。
2026-09-15 cs.CR cs.LG stat.ML
Approximate Inference for Fully Bayesian Gaussian Process Regression
University of Cambridge（剑桥大学）；The Alan Turing Institute（艾伦·图灵研究所）
高斯过程模型中的学习通过均值和协方差函数的超参数的自适应来进行。经典方法需要最大化边际似然，从而产生固定点估计（称为\textit{Type II maximum likelihood}或ML-II的方法）。另一种学习过程是在我们称为\textit{Fully Bayesian Gaussian Process Regression}（GPR）的GP的分层规范中推断超参数的后验。这项工作考虑了两种近似方案的棘手的超参数后验：1）哈密顿蒙特卡罗（HMC）产生基于采样的近似和2）变分推断（VI），其中超参数的后验近似的因式高斯（平均场）或满秩高斯帐户之间的相关性。我们分析的预测性能完全贝叶斯GPR的基准数据集的范围。
2020-04-06 cs.LG stat.ML
Variational Auto-Regressive Gaussian Processes for Continual Learning
New York University（纽约大学）；Facebook Inc.（脸书公司）；University of Sydney（悉尼大学）
通过在线观察数据的后验序列构造，贝叶斯定理为持续学习提供了一个自然的框架。我们开发了变分自回归高斯过程（VAR-GPs），这是一种原则性的后验更新机制，用于解决连续学习中的顺序任务。通过依赖于稀疏诱导点近似的可扩展后验，我们提出了一种新的自回归变分分布，揭示了两个富有成效的连接到现有的结果在贝叶斯推断，期望传播和正交诱导点。平均预测熵估计表明VAR-GP可以防止灾难性遗忘，这在经验上得到了现代持续学习基准对竞争基线的强劲表现的支持。一项彻底的消融研究证明了我们的建模选择的有效性。
2021-06-12 cs.LG stat.ML
Posterior Refinement Improves Sample Efficiency in Bayesian Neural Networks
University of Tübingen（图宾根大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
蒙特卡罗（MC）积分是逼近贝叶斯神经网络（BNN）预测分布的实际方法。但是，即使有许多MC样本，基于高斯的BNN仍然可能会产生不良的预测性能，由于后验近似的错误。与此同时，MC集成的替代方案往往更昂贵或有偏见。在这项工作中，我们通过实验表明，良好的MC近似预测分布的关键是近似后验本身的质量。然而，以前的方法获得准确的后验近似是昂贵的和非平凡的实现。因此，我们建议用归一化流来改进高斯近似后验。当应用于最后一层BNN，它产生一个简单的\emph{post hoc}方法，以改善预先存在的参数近似。我们表明，所得到的后验近似甚至与金标准的全批哈密顿蒙特卡罗是竞争力。
2022-10-15 cs.LG stat.ML
Stein Variational Gaussian Processes
Lancaster University（兰卡斯特大学）
我们展示了如何使用Stein变分梯度下降（SVGD）进行推理的高斯过程（GP）模型与非高斯似然和大数据量。马尔可夫链蒙特卡罗（MCMC）是非常计算密集型的这些情况下，但有效的变分推断（VI）所需的参数假设，导致不正确的推理时，他们遇到的多模态后验分布是常见的这种模型。SVGD为变分推断提供了一种非参数的替代方案，它比MCMC快得多。我们证明了对于具有Lipschitz梯度的GP模型，SVGD算法单调地减小了从采样分布到真实后验分布的库尔贝克-莱布勒散度.我们的方法在回归和分类，多模态后验和空气质量的例子与550,134时空观测的基准问题上进行了演示，显示出MCMC和VI的显着性能改进。
2022-01-19 cs.LG stat.ML
Posterior Covariance Structures in Gaussian Processes
Southern Methodist University（南卫理公会大学）；Georgia Institute of Technology（佐治亚理工学院）；Emory University（埃默里大学）
本文全面分析了高斯过程中的后验协方差场，揭示带宽参数和观测分布对协方差矩阵的影响，并借鉴自适应有限元方法提出高效估计器用于协方差矩阵近似与预处理。
2025-04-01 cs.LG cs.NA math.NA
Enhancing Gaussian Process Surrogates for Optimization and Posterior Approximation via Random Exploration
University of Chicago（芝加哥大学）
本文提出基于随机探索步骤的贝叶斯优化算法，加速高斯过程代理模型收敛，并用于后验近似，在多个基准和实际问题中验证了有效性。
2024-07-17 cs.LG cs.NA math.NA
Uniform Error and Posterior Variance Bounds for Gaussian Process Regression with Application to Safe Control
Technical University of Munich（慕尼黑工业大学）
在数据生成成本高的应用领域，高斯过程由于其高数据效率而成为优选的监督学习模型。特别是在基于模型的控制中，高斯过程允许使用概率模型误差界来推导性能保证。为了使这些方法在实践中适用，必须解决两个开放的挑战i）现有的误差范围依赖于先验知识，这可能不适用于许多现实世界的任务。(ii)训练数据和后验方差之间的关系，主要驱动误差界，没有得到很好的理解，并防止渐近分析。本文解决了这些问题，提出了一种新的统一的误差界使用Lipschitz连续性和分析后验方差函数的一大类内核。此外，我们展示了如何这些结果可以用来保证安全控制的一个未知的动力系统，并提供数值说明的例子。
2021-01-13 cs.LG cs.SY eess.SY
Fast Gaussian Process Posterior Mean Prediction via Local Cross Validation and Precomputation
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
高斯过程（GP）是贝叶斯非参数模型，在无数的应用中非常有用。尽管它们很受欢迎，但GP预测的成本（相对于训练点数量的二次存储和三次复杂度）仍然是将GP应用于大数据的障碍。我们提出了一种快速后验均值预测算法FastMuyGPs来解决这个缺点。FastMuyGPs基于MuyGPs超参数估计算法，并利用留一交叉验证、预处理、最近邻稀疏化和预计算的组合来提供可扩展的快速GP预测。我们展示了几个基准，其中FastMuyGPs预测达到了卓越的准确性和竞争力或优越的运行时间，深度神经网络和最先进的可扩展GP算法。
2022-05-22 cs.LG cs.NA math.NA
The Gaussian Latent Machine: Efficient Prior and Posterior Sampling for Inverse Problems
Institute of Visual Computing, Graz University of Technology（视觉计算研究所，格拉茨技术大学）
本文提出高斯潜在机，通过统一和泛化现有采样算法，实现高效逆问题采样，适用于多种贝叶斯成像先验和后验分布。
2026-04-15 cs.CV cs.LG eess.IV
Posterior contraction in Gaussian process regression using Wasserstein approximations
研究协变量域无界的高斯过程回归的后验收缩率。我们的论点依赖于开发一个高斯近似的后首项系数的Karhunen-Loéve展开的高斯过程。我们的结果的显着特点是推导出这样一个近似的$L^2$ Wasserstein距离和相关的速度的近似后收缩率使用耦合参数。提供了高斯或平方指数协方差内核的具体说明。
2015-10-02 math.ST stat.TH
Merging MCMC Subposteriors through Gaussian-Process Approximations
马尔可夫链蒙特卡罗（MCMC）算法已成为贝叶斯推断的有力工具。然而，它们不能很好地扩展到大数据问题。分治策略将数据分成多个批次，并且对于每个批次，运行针对相应次后验的独立MCMC算法，可以将计算负担分散到多个单独的工作人员中。这种策略的挑战在于重新组合次后验以近似完整的后验。通过为每个对数次后验密度创建一个高斯过程近似，我们为整个后验创建了一个易于处理的近似。这种近似是通过三种方法来实现的：首先，针对后验密度期望的哈密顿蒙特卡罗算法提供了一个后验近似的样本;其次，在采样点处评估真实的后验，得到一个渐近地以真实的后验期望为目标的重要性采样器;最后，另一种重要性采样器使用对数后验密度的近似的全高斯过程分布来重新估计对任何初始样本进行加权，并提供后验期望的估计值和其中不确定性的度量。
2017-07-17 stat.CO stat.ML
Bayesian nonparametric Principal Component Analysis
主成分分析（PCA）是一种非常流行的降降维方法。重要组件数量的选择是必不可少的，但通常基于一些实际的化学方法，具体取决于应用。只有少数作品提出了一个概率的方法，能够推断出的重要组成部分的数量。为此，本文介绍了贝叶斯非参数主成分分析（BNP-PCA）。该模型将观测值投影到一个随机正交基上，该正交基被分配一个定义在Stiefel流形上的先验分布。因子得分的先验涉及一个印度自助过程，以模拟与组件数量相关的不确定性。感兴趣的参数以及滋扰参数最终推断在一个完全贝叶斯框架内通过蒙特卡罗采样。研究了潜在维数的边际极大后验估计的（不）相合性。提出了一种新的子空间维数估计方法。此外，为了统计显著性，使用基于主成分的后验分布的Kolmogorov-Smirnov检验来细化该估计。该算法的行为首先研究各种合成的例子。最后，所提出的BNP降维方法被证明是容易而有效地结合在一个独特的框架内的聚类或潜在因素模型。
2017-09-17 stat.ML
Mixed Poisson diffusion models and application to posterior sampling
该研究提出混合泊松扩散模型（MPDM），针对未被充分探索的泊松逆问题，开发了对应的后验采样算法，经实际问题验证其适用性良好。
2026-10-15 cs.LG stat.CO stat.ML
Student-t processes as infinite-width limits of posterior Bayesian neural networks
Princeton University（普林斯顿大学）；University of Torino（都灵大学）；Collegio Carlo Alberto（卡洛阿尔贝托学院）；University of Pisa（比萨大学）
本文证明在特定先验条件下，无限宽后验贝叶斯神经网络收敛于Student-t过程，并用Wasserstein度量刻画收敛速度，从而扩展了高斯过程近似理论。
2025-02-06 cs.LG math.PR stat.ML
Variational Gaussian Copula Inference
Duke University（杜克大学）
我们利用Copula构成一个统一的框架，构建和优化变分的建议，在分层贝叶斯模型。对于具有连续和非高斯隐变量的模型，我们提出了一种半参数和自动变分高斯copula方法，其中参数高斯copula族能够保持多元后验依赖性，并且基于Bernstein多项式的非参数变换在表征单变量边缘后验方面提供了足够的灵活性。
2016-05-18 cs.LG stat.CO stat.ML
An Efficient Spatial Branch-and-Bound Algorithm for Global Optimization of Gaussian Process Posterior Mean Functions
Department of Chemical and Biological Engineering, University of Wisconsin-Madison（威斯康星大学麦迪逊分校化学与生物工程系）；Department of Chemical and Biomolecular Engineering, The Ohio State University（俄亥俄州立大学化学与生物分子工程系）；Department of Computing, Imperial College London（伦敦帝国理工学院计算系）
本文提出PALM-Mean算法，通过空域分支定界与分段解析下界结合，提升高斯过程后验均值函数全局优化的可扩展性。
2026-04-21 cs.LG math.OC stat.ML
Gaussian Approximation of General Nonparametric Posterior Distributions
在一般的贝叶斯非参数模型中，我们证明了后验分布可以用高斯过程渐近逼近。我们的结果适用于包含高斯和非高斯回归的非参数指数族，也适用于有效（root-n）和无效（non-root-n）估计。我们的一般近似定理不依赖于后验共轭，并且可以在具有平滑样条解释的一类高斯过程先验中得到验证[59，44]。特别是，限制后验措施成为先验自由下的贝叶斯版本的“下平滑”条件。最后，我们应用我们的近似定理来研究贝叶斯过程的渐近频率论性质，如可信区域和可信区间。
2017-10-31 math.ST stat.TH
A Bayesian Take on Gaussian Process Networks
University of Basel（巴塞尔大学）；ETH Zurich（苏黎世联邦理工学院）；University College London（伦敦大学学院）
本文针对高斯过程网络（GPNs）结构学习计算不可行的问题，采用Monte Carlo和MCMC方法从网络结构后验分布中采样，在恢复图结构和近似后验分布上优于现有算法。
2023-11-24 cs.LG stat.ME stat.ML
Exact Bayes Regret and Asymptotic Optimality in High-Dimensional Gaussian Bandits
Abstract Math Institute（抽象数学研究所）
研究高维高斯线性老虎机，推导汤普森采样与贪心选择的精确贝叶斯遗憾，证明贪心策略渐近最优而汤普森采样遗憾更大。
2026-09-25 cs.LG math.ST stat.ML
Posterior contraction for deep Gaussian process priors
研究了一类深度高斯过程先验在回归函数的一般组合假设下应用于非参数回归问题的后验收缩率。结果表明，收缩率可以实现极小极大收敛速度（高达$\log n$因素），同时是自适应的底层结构和光滑的目标函数。该框架扩展了贝叶斯非参数理论的高斯过程先验。
2022-08-13 math.ST stat.TH
Posterior and Computational Uncertainty in Gaussian Processes
University of Tübingen（蒂宾根大学）；Columbia University（哥伦比亚大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
针对高斯过程近似方法忽略计算不确定性的问题，本文提出一类能一致估计数据与计算组合不确定性的新方法，证明了其收敛性、协方差可分解性等理论性质，实验验证了建模计算不确定性可提升泛化性能。
2023-10-09 cs.LG cs.NA math.NA
Parallel Markov Chain Monte Carlo for Non-Gaussian Posterior Distributions
大数据和分析研究的最新发展产生了大量的大型数据集，由于计算机内存或存储容量的限制，这些数据集太大而无法进行整体分析。为了解决这些问题，已经开发了用于大数据的贝叶斯分析的无通信并行马尔可夫链蒙特卡罗（MCMC）方法。这些方法将数据划分为可管理的子集，对每个子集执行独立的贝叶斯MCMC分析，并结合子集后验样本来估计完整的数据后验。目前的方法组合子集后验样本包括样本平均，加权平均，和内核平滑技术。虽然这些方法对于高斯后验分布效果很好，但是对于非高斯后验分布，它们并不十分适合。在这里，我们开发了一个新的直接密度乘积方法，结合子集的边缘后验样本估计全数据的边缘后验密度。使用一个常用的实现距离度量，我们在模拟研究的贝叶斯模型与非高斯后验，我们的方法优于现有的方法在近似的完整数据的边缘后验。由于我们的方法只估计边缘密度，因此对分析的模型参数数量没有限制。我们的方法适用于连续参数空间中具有固定维数的未知参数的贝叶斯模型。
2015-06-10 stat.ME
Frequentist Regret Analysis of Gaussian Process Thompson Sampling via Fractional Posteriors
Texas A&M University（德克萨斯农工大学）；Purdue University（普渡大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文通过分数后验分析，为高斯过程强化学习提供了一种无离散化、统一的频率后悔框架，适用于多种核函数。
2026-02-16 cs.LG math.OC math.ST
Strong maximum a posteriori estimation in Banach spaces with Gaussian priors
本文证明了在任意可分Banach空间中，一类相对于高斯先验绝对连续的后验测度具有强最大后验估计量，并放宽了贝叶斯逆问题中对数似然及空间条件，显著扩展了现有结果。
2023-11-01 math.PR math.ST stat.TH
Lower bounds for posterior rates with Gaussian process priors
与高斯过程先验相关的后验分布收敛速率的上界由van der Vaart和van Zanten在[14]中获得，并用涉及高斯先验的再生核希尔伯特空间的浓度函数表示。在这里，得到了下界对应物。作为推论，我们得到了精确的收敛速率的后验高斯先验在各种设置。此外，我们将[14]中关于Riemann-Liouville先验的上界结果推广到一个连续的参数族。
2008-12-22 math.ST stat.TH
Continuous Gaussian mixture solution for linear Bayesian inversion with application to Laplace priors
针对线性贝叶斯反演问题，提出基于高斯混合的两步采样方法及降维近似策略，推导了后验混合密度闭式表达式，并在 Laplace 先验下验证了近似样本的低相关性与高精度。
2024-08-29 math.PR stat.AP stat.CO
Marginalized Bayesian filtering with Gaussian priors and posteriors
边缘化技术的贝叶斯滤波问题的假设下，高斯先验和后验和一组顺序更多的约束状态空间模型的假设。该技术提供了以下能力：1）将滤波问题简化为基本的边际矩积分，2）将模型和数值逼近结合到矩积分，以及3）解耦建模和系统组成。后验均值和协方差的封闭形式的表达式作为子空间投影矩阵，子系统模型，和边际矩积分的函数。最后，我们回顾以前的工作，以及如何将结果与卡尔曼和边缘化粒子滤波技术。
2016-07-11 math.ST stat.TH
Contraction rates for conjugate gradient and Lanczos approximate posteriors in Gaussian process regression
Bocconi University（博科尼大学）；Bocconi Institute for Data Science and Analytics (BIDSA)（博科尼数据科学与分析研究所）
针对高斯过程回归大样本下后验精确计算复杂度高、现有近似方法理论支撑不足的问题，结合数值分析与核矩阵谱集中结果推导了Lanczos/共轭梯度类概率数值近似后验的极小极大收缩率，并通过实验验证。
2024-06-18 cs.LG math.ST stat.ML
Consistent Online Gaussian Process Regression Without the Sample Complexity Bottleneck
U.S. Army Research Laboratory（美国陆军研究实验室）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
高斯过程为广泛应用于科学和工程的非线性非参数贝叶斯推断提供了一个框架。不幸的是，它们的计算负担与训练样本量成立方比例，在样本永久到达的情况下，训练样本量接近无穷大。这个问题需要近似用于流数据，迄今为止大多缺乏收敛保证。因此，我们开发了第一个在线高斯过程近似，它保持了对总体后验的收敛，即，渐近后验一致性，同时改善其棘手的复杂性增长与样本量。我们提出了一个在线压缩方案，每个后验更新后，修复一个错误的邻居相对于Hellinger度量集中在当前的后验，和greatlesses抛出过去的内核字典元素，直到它的边界被击中。我们称之为吝啬的在线高斯过程（POG）的方法。为了减小误差半径，精确的渐近一致性被保持（定理1（i）），代价是极限中的无限记忆。另一方面，对于恒定的误差半径，POG收敛到人口后验的邻域（定理1（ii）），但在最坏的情况下，由特征空间的度量熵确定的有限记忆（定理2）。几个非线性回归问题的实验结果，阐明了这种方法的优点相比，固定的子空间维度定义的历史，过去的点的替代品。
2021-07-15 cs.LG math.ST stat.ML
Estimation of log-Gaussian gamma processes with iterated posterior linearization and Hamiltonian Monte Carlo
Aalto University（阿尔托大学）
本文提出基于迭代后验线性化和Hamilton蒙特卡洛的方法，用于估计log-Gaussian伽马过程的后验分布，并通过实验验证其有效性。
2026-02-07 stat.CO stat.ME
Dirichlet Process Mixtures of Trees with Gaussian Process Splits: A Bayesian Nonparametric Framework with Posterior Contraction Rate
Indian Statistical Institute（印度统计研究所）
提出一种基于狄利克雷过程先验的贝叶斯非参数回归树混合模型，利用高斯过程分裂规则统一多种树方法，实现数据驱动的集成规模选择，并证明后验收敛率，在多个基准和应用中优于现有方法。
2026-09-24 cs.LG math.ST stat.ME
Variable selection for Gaussian processes via sensitivity analysis of the posterior predictive distribution
用于高斯过程模型的变量选择通常使用自动相关性确定来完成，该自动相关性确定使用每个输入变量的逆长度尺度参数作为变量相关性的代理。这种隐式确定的相关性有几个缺点，防止在预测性能方面的最佳输入变量的选择。为了改善这一点，我们提出了两种新的变量选择方法的高斯过程模型，利用一个完整的模型在附近的训练点的预测，从而排名的变量根据其预测的相关性。我们对合成和真实世界数据集的实证结果表明，与自动相关性确定相比，在可变性和预测性能方面改进了变量选择。
2019-03-06 stat.ME stat.ML
Gaussian Comparison Theorems for High-Dimensional Posterior Inference
Department of Physics, Duke University（杜克大学物理系）；Departments of Statistical Science and Electrical and Computer Engineering, Duke University（杜克大学统计科学与电气与计算机工程系）
本文提出非高斯高维模型后验推断的高斯比较理论，通过矩条件建立自由能及后验误差的夹逼界，并应用于稀疏伯努利超图推断。
2026-09-15 math.ST stat.TH
Robust Sub-Gaussian Principal Component Analysis and Width-Independent Schatten Packing
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
我们开发了两种方法用于以下基本统计任务：给定来自$d$维亚高斯分布的$n$样本的$ε$损坏集，返回协方差矩阵的近似顶部特征向量。我们的第一个强大的PCA算法在多项式时间内运行，返回一个$1 - O(ε\logε^{-1})$近似的顶部特征向量，并基于一个简单的迭代滤波方法。我们的第二个，它达到了一个稍微差的近似因子，运行在一个温和的频谱间隙假设下，在接近线性的时间和样本的复杂性。这些是第一个多项式时间算法产生的非平凡的信息的协方差损坏的次高斯分布，而不需要额外的代数结构的时刻。作为一个关键的技术工具，我们开发了$p$范数填充半定规划的第一个宽度无关的求解器，在$O(p\log(\tfrac{nd}ε)ε^{-1})$输入稀疏时间迭代中给出了$(1 + ε)$ -近似解（其中$n$，$d$是问题维数）。
2020-06-12 cs.DS cs.LG math.OC
