Structured and Efficient Variational Deep Learning with Matrix Gaussian Posteriors
University of Amsterdam（阿姆斯特丹大学）；Canadian Institute for Advanced Research（加拿大高等研究院）
我们介绍了一个变分贝叶斯神经网络的参数是通过随机矩阵的概率分布。具体来说，我们采用了一个矩阵变量高斯\cite{gupta1999matrix}参数后验分布，其中我们明确建模的协方差之间的输入和输出的每一层的尺寸。此外，近似的协方差阵，我们可以实现一个更有效的方式来表示这些相关性，也比完全分解的参数后验更便宜。我们进一步表明，与“本地reprarametrization技巧”\cite{kingma2015variational}在这个后验分布，我们到达一个高斯过程\cite{rasmussen2006gaussian}解释的隐藏单位在每一层，我们，同样与\cite{gal2015dropout}，提供与深高斯过程的连接。我们继续利用这种二元性，并将“伪数据”\cite{snelson2005sparse}纳入我们的模型，这反过来又允许更有效的采样，同时保持原始模型的属性。通过大量的实验验证了该方法的有效性。
2016-06-23 cs.LG stat.ML
Structured Variational Inference for Coupled Gaussian Processes
Gatsby Computational Neuroscience Unit（盖茨比计算神经科学单元）；University College London（伦敦大学学院）
稀疏变分近似允许在高斯过程（GP）模型中进行有原则的和可扩展的推断。在多个GP是生成模型的一部分的设置中，这些GP是后验耦合的。对于许多应用，例如回归，其中预测精度是感兴趣的量，这种耦合并不重要。然而，如果人们对后验不确定性感兴趣，它就不能被忽略。变分推断方案的一个关键要素是近似后验参数化的选择。当隐变量数目较大时，均值场方法提供了快速准确的后验均值，而结构化后验均值导致推理算法的计算复杂度更高。在这里，我们扩展了以前的稀疏GP近似，并提出了一种新的参数化的变分后验在多GP设置允许快速和可扩展的推理捕获后验依赖。
2017-11-29 cs.LG stat.ML
Conditional neural control variates for variance reduction in Bayesian inverse problems
Department of Computer Science University of Central Florida（计算机科学系佛罗里达中央大学）；Department of Physics and Maryland Center for Fundamental Physics University of Maryland College Park（物理系马里兰根本物理中心马里兰大学学院公园分校）
提出条件神经控制变量方法，利用联合模型-数据样本学习摊销控制变量，通过Stein恒等式和分层耦合层架构，显著降低贝叶斯逆问题中蒙特卡洛估计的方差。
2026-06-23 cs.LG stat.ML
Global inducing point variational posteriors for Bayesian neural networks and deep Gaussian processes
University of Cambridge（剑桥大学）；University of Bristol（布里斯托大学）
我们认为最佳的近似后验的顶层权重的贝叶斯神经网络的回归，并表明它表现出很强的依赖于较低层的权重。我们适应这一结果，在贝叶斯神经网络的所有层的权重开发一个相关的近似后验。我们将这种方法扩展到深度高斯过程，统一了两个模型类中的推理。我们的近似后验使用学习的“全局”诱导点，这些诱导点仅在输入层定义，并通过网络传播以获得后续层的诱导输入。相比之下，来自深度高斯过程文献的标准“局部”诱导点方法优化了每一层处的诱导输入的单独集合，并且因此不对跨层的相关性进行建模。我们的方法为变分贝叶斯方法提供了最先进的性能，在没有数据增强或回火的情况下，CIFAR-10为86.7%，与没有回火但有数据增强的SGMCMC相当（Wenzel等人2020年为88%）。
2021-06-22 cs.LG stat.ML
Uncertainty Quantification Via the Posterior Predictive Variance
University of Nebraska-Lincoln（内布拉斯加大学林肯分校）
本文利用全方差定律生成多个后验预测方差展开式，分析预测不确定性来源，通过不同展开式评估术语贡献，识别小或零项的关联项，用于模型评估。
2026-03-20 math.ST stat.ML stat.TH
Post-Processed Posteriors for Sparse Covariances and Its Application to Global Minimum Variance Portfolio
我们考虑稀疏协方差阵的贝叶斯推断，并提出了一个后处理后验。该方法包括两个步骤。在第一步中，后验样本是从共轭逆Wishart后验得到的，不考虑稀疏结构假设。在第二步中，通过硬阈值函数对后验样本进行变换以满足稀疏结构假设。这种非传统的贝叶斯过程是合理的，表明后处理后的后验达到最佳的极大极小率。我们还研究了后处理后的应用程序的全局极小值方差组合的估计。我们证明了在稀疏协方差假设下，全局极小值投资组合的后处理后验概率也达到了最优极大极小化率。通过模拟研究和标准普尔400指数的实际数据分析，证明了后处理后验方法在全局极小值方差投资组合中的优越性。
2021-08-21 math.ST stat.ME stat.TH
Predictively Oriented Gaussian Process Posteriors
University College London（伦敦大学学院）
本文提出面向预测的高斯过程（PrO-GPs），以预测不确定性为推断目标，通过简化公式和采样方案高效计算后验，实验证明在模型错误指定下其预测分布校准优于标准高斯过程。
2026-10-15 cs.LG stat.ML
Self-explaining variational posterior distributions for Gaussian Process models
University of Bamberg（班贝格大学）
贝叶斯方法已经成为将先验知识和不确定性概念结合到机器学习模型中的流行方式。与此同时，现代机器学习的复杂性使得理解模型的推理过程具有挑战性，更不用说以严格的方式表达特定的先验假设了。虽然主要对前一个问题感兴趣，但透明机器学习的最新发展也可以扩大我们可以提供给复杂贝叶斯模型的先验信息的范围。受自解释模型思想的启发，我们引入了变分高斯过程的相应概念。一方面，我们的贡献提高了这些类型模型的透明度。更重要的是，我们提出的自解释变分后验分布允许将关于目标函数的一般先验知识作为一个整体和关于个体特征贡献的先验知识结合起来。
2021-09-08 cs.LG stat.ML
Principal component analysis for Gaussian process posteriors
Kyushu Institute of Technology（九州工业大学）；The National Institute of Advanced Industrial Science and Technology（国立先进工业科学技术研究所）；RIKEN AIP（理化学研究所AIP中心）
本文提出GP-PCA方法，通过在信息几何框架下将无限维GP后验降至有限维，实现低维空间估计，并基于变分推断提出近似方法，实验验证其作为元学习的有效性。
2023-04-06 cs.LG stat.ML
The k-tied Normal Distribution: A Compact Parameterization of Gaussian Mean Field Posteriors in Bayesian Neural Networks
University of Warsaw（华沙大学）；ETH Zurich（苏黎世联邦理工学院）；University of Amsterdam（阿姆斯特丹大学）；Google Research（谷歌研究院）；Imperial College London（帝国理工学院）；University of California, Irvine（加利福尼亚大学尔湾分校）；Microsoft Research（微软研究院）
变分贝叶斯推理是一种用于近似贝叶斯神经网络权重的后验分布的流行方法。最近的工作开发这类方法探索了更丰富的参数化的近似后，希望提高性能。相反，在这里我们分享一个奇怪的实验发现，建议将变分分布限制为更紧凑的参数化。对于使用高斯平均场变分推理训练的各种深度贝叶斯神经网络，我们发现后验标准差在收敛后一致地表现出强的低秩结构。这意味着通过将这些变分参数分解为低秩因子分解，我们可以在不降低模型性能的情况下使变分近似更加紧凑。此外，我们发现，这样的因子化参数化提高了变分下界的随机梯度估计的信噪比，从而加快收敛速度。
2020-07-05 cs.LG stat.ML
Efficient Model-Free Reinforcement Learning Using Gaussian Process
Peking University（北京大学）
有效的强化学习通常利用演示或良好的探索策略。在高斯过程假设下，将后验抽样应用于无模型强化学习，提出了连续状态空间下的高斯过程后验抽样强化学习（GPPSTD）算法，给出了理论证明和实验结果.我们也提供了理论和实证结果，各种示范可以降低预期的不确定性，有利于后验抽样探索。通过这种方式，我们将演示和探索过程结合在一起，实现了更高效的强化学习。
2018-12-11 cs.LG stat.ML
The variation of the posterior variance and Bayesian sample size determination
我们认为贝叶斯样本量的确定使用的标准，利用前两个时刻的预期后验方差。我们研究了所产生的样本量依赖于所选择的先验和探索的成功率约束的后验方差低于规定的限制下的真实抽样分布。与基于后验方差的期望平均值的样本量确定相比，所提出的标准导致样本量的增加和显着提高的成功率。一般的渐近性质证明，如渐近表达式的样本量和一种相变。我们的研究说明使用两个真实世界的数据集与泊松和正态分布的数据。根据我们的研究结果给出了一些建议。
2020-02-27 math.ST stat.TH
Predictive posterior sampling from non-stationnary Gaussian process priors via Diffusion models with application to climate data
Mines Paris, PSL University（巴黎矿业学院（巴黎文理研究大学））
本文提出一种基于扩散生成模型的两步方法，通过DGM代理替换非平稳高斯过程先验并利用免训练引导算法进行后验采样，解决了非平稳GP预测后验分布计算不可行的问题，在环境科学逆问题中实现了最先进的预测。
2025-05-23 cs.LG stat.ML
Gradient Boosting Performs Gaussian Process Inference
ShareChat；Yandex Research（Yandex研究院）；HSE University（高等经济大学）
本文证明了基于对称决策树的梯度提升可以等价地转化为收敛于某个核岭回归问题的解的核方法。因此，我们获得了高斯过程的后验均值的收敛，这反过来又使我们能够轻松地将梯度提升从后验转换为采样器，以通过后验方差的Monte-Carlo估计提供更好的知识不确定性估计。我们表明，建议的采样器允许更好的知识不确定性估计，从而改善域外检测。
2023-03-13 cs.LG stat.ML
A conservation law for posterior predictive variance
本研究利用全方差定律分解贝叶斯分层模型的后验预测方差，提出跨表达式保持守恒的方差分解框架，用于识别预测区间长度的主要来源并支持模型评估。
2024-06-17 stat.ME
Sampling of Bayesian posteriors with a non-Gaussian probabilistic learning on manifolds from a small dataset
Université Paris-Est Marne-la-Vallée（巴黎东马恩拉瓦莱大学）；University of Southern California（南加州大学）
本文解决了小数据对贝叶斯推断任务的挑战。在以下假设下，提出了一种基于流形学习和流形抽样的新方法来解决这个计算统计问题：1）先验模型和似然函数都不是高斯函数，也都不能用高斯度量来近似; 2）函数输入的数量（系统参数）和功能输出（兴趣量）可以很大; 3）先验模型的可用实现数量少，导致通常与昂贵的数值模拟相关联的小数据挑战;实验实现的数量也很小; 4）决策所需的后验实现的数量远大于可用的初始数据集。方法和它的数学方面进行了详细说明。三个应用程序进行验证：前两个涉及的数学结构，旨在发展直觉的方法，并探讨其性能。第三个例子的目的是使用一个更复杂的应用程序来证明该方法的操作价值，该应用程序涉及使用超声波对受损生物组织（皮质骨中的骨质疏松症）的非高斯矩阵值随机弹性场进行统计逆识别。
2019-10-28 cs.LG stat.ML
Efficiently Sampling Functions from Gaussian Process Posteriors
Imperial College London（伦敦帝国学院）；St. Petersburg State University（圣彼得堡国立大学）；St. Petersburg Department of Steklov Mathematical Institute of Russian Academy of Sciences（俄罗斯科学院斯捷克洛夫数学研究所圣彼得堡分所）；University College London（伦敦大学学院）
高斯过程是许多现实世界建模问题的黄金标准，特别是在模型的成功取决于其忠实表示预测不确定性的能力的情况下。这些问题通常作为较大框架的一部分存在，其中感兴趣的量最终通过对后验分布进行积分来定义。这些量通常是难以处理的，从而激发了蒙特卡罗方法的使用。尽管在将高斯过程放大到大训练集方面取得了实质性进展，但用于从其后验分布准确生成绘制的方法仍然在测试位置的数量上按立方缩放。我们确定了一个分解的高斯过程，自然适合于可扩展的采样分离出的数据之前。基于这种分解，我们提出了一种易于使用和通用的快速后验采样方法，该方法与稀疏近似无缝配对，以在训练和测试时提供可扩展性。在一系列旨在测试竞争抽样方案的统计特性和实际后果的实验中，我们演示了解耦样本路径如何以通常成本的一小部分准确地表示高斯过程后验。
2020-08-16 cs.LG stat.CO stat.ML
Testing for the Important Components of Posterior Predictive Variance
我们给出了后验预测方差的分解，使用总方差和条件的一个有限维离散随机变量的法律。该随机变量总结了用于形成对未来结果的预测的建模的各种特征。然后，我们测试这个分解中哪些项足够小可以忽略。这使我们能够识别哪些离散随机变量对预测区间最重要。分解中的术语允许基于条件均值和方差的解释，并且类似于方差分析中经常使用的平方误差的Cochran定理分解中的术语。因此，在完全随机化设计中，建模特征被视为因子。在有多个分解的情况下，我们建议选择一个最小方差的最佳预测覆盖率。
2022-09-01 math.ST stat.AP stat.ME
Posterior mean and variance approximation for regression and time series problems
本文提出了一种在贝叶斯推断中逼近后验分布的后验前两个矩的方法。部分指定的概率模型，这是只通过指定的均值和方差，构造基于二阶条件独立性，以方便后验更新和预测所需的分布量。这种模型特别适用于具有未知观测方差-协方差分量的多元回归和时间序列分析。建立了这些模型与贝叶斯线性方法的异同。几个子类的重要模型，包括回归和时间序列模型的错误以下的多元$t$，倒置多元$t$和Wishart分布，进行了详细讨论。两个数值例子，包括模拟数据和美国的投资和库存数据的变化说明了所提出的方法。
2008-02-01 stat.AP stat.ME
Scalable Variational Gaussian Process Regression Networks
University of Utah（犹他大学）；School of Computing（计算学院）；Scientific Computing and Imaging Institute（科学计算与成像研究所）
高斯过程回归网络（GPRN）是多输出回归的强大贝叶斯模型，但其推理是棘手的。为了解决这个问题，现有方法在所有输出和潜函数上使用完全分解的结构（或这种结构的混合）进行后验近似，然而，这可能会错过潜变量之间的强后验依赖性并损害推理质量。此外，变分参数的更新是低效的，并且对于大量的输出来说可能是非常昂贵的。为了克服这些局限性，我们提出了一个可扩展的变分推理算法的GPRN，它不仅捕获了丰富的后验依赖关系，但也是更有效的大规模输出。我们张量化的输出空间，并引入张量/矩阵正常变分后验捕获的后验相关性，并减少参数。我们共同优化所有的参数，并利用固有的克罗内克积结构的变分模型证据下界，以加快计算。我们证明了我们的方法在几个现实世界中的应用的优势。
2020-05-18 cs.LG stat.ML
Deep Kernel Posterior Learning under Infinite Variance Prior Weights
Aalto University（阿尔托大学）；Purdue University（普渡大学）
针对深度核过程缺乏随机性导致无法进行表示学习的问题，提出在无限宽度且权重具有无限方差椭圆分布的贝叶斯深度网络中，通过条件高斯表示实现具有α-稳定边缘分布的随机核递归链接，从而支持后验学习并在计算与统计上优于现有方法。
2025-05-02 cs.LG stat.ML
Representing Additive Gaussian Processes by Sparse Matrices
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Fudan University（复旦大学）
本研究证明加性Matérn高斯过程的后验均值、方差、对数似然及梯度均可由稀疏矩阵/向量表示，将相关计算复杂度降至O(n log n)，并应用于贝叶斯优化大幅降低采集函数等的计算复杂度。
2023-04-29 cs.LG stat.ML
On the Variational Posterior of Dirichlet Process Deep Latent Gaussian Mixture Models
Orange Labs（Orange实验室）；Institute Mines-Telecom Atlantique（大西洋矿业电信学院）
由于重新参数化技巧，深度潜在高斯模型最近在学习潜在表示方面取得了巨大的成功。然而，将它们与非参数先验（如狄利克雷过程（DP））耦合的能力由于其不可参数化的性质而没有看到类似的成功。本文提出了Dirichlet过程深潜高斯混合模型（DP-DLGMM）变分后验的另一种处理方法，证明了β分布和聚类隐变量的先验聚类参数和变分后验可以以封闭形式更新.这导致了一个标准的重新参数化技巧高斯隐变量知道集群分配。我们在标准基准数据集上展示了我们的方法，我们表明我们的模型能够为获得的每个聚类生成真实的样本，并在半监督设置中表现出竞争力。
2020-07-27 cs.AI cs.LG stat.ML
Posterior Tempering Explains Variance Inflation in Linear and Generalized Linear Thompson Sampling
Daniels School of Business, Purdue University（普渡大学丹尼尔斯商学院）；Department of Statistics, University of Wisconsin-Madison（威斯康星大学麦迪逊分校统计系）；Department of Statistics, Texas A&M University（德克萨斯农工大学统计系）
本文提出α-汤普森采样算法，确定先验与奖励分布的正则性条件，推导其遗憾界并解释线性和广义线性汤普森采样中d^(3/2)因子的来源。
2026-09-03 cs.IT cs.LG math.IT
Differential Privacy of Gaussian Process Posterior Sampling
School of Mathematics, University of Bristol（布里斯托大学数学学院）
研究高斯过程后验样本路径的隐私性，通过Rényi-DP界分离后验均值与协方差泄露，揭示有效岭正则化的关键作用，并验证成员推断攻击与正则化的依赖关系。
2026-09-15 cs.CR cs.LG stat.ML
$\mathbfλ$-VAE: Variance Equalization for Posterior Collapse
Microsoft African Development Center（微软非洲开发中心）
研究变分自编码器后验坍缩问题，确定梯度不平衡和信息差距两个原因。提出λ-VAE，通过修改重参数化步骤解决问题，实现方差均衡。经标准基准验证，能减少坍缩维度、提升信息容量和重建质量。
2026-07-08 cs.CV cs.LG
Posterior Covariance Structures in Gaussian Processes
Southern Methodist University（南卫理公会大学）；Georgia Institute of Technology（佐治亚理工学院）；Emory University（埃默里大学）
本文全面分析了高斯过程中的后验协方差场，揭示带宽参数和观测分布对协方差矩阵的影响，并借鉴自适应有限元方法提出高效估计器用于协方差矩阵近似与预处理。
2025-04-01 cs.LG cs.NA math.NA
Enhancing Gaussian Process Surrogates for Optimization and Posterior Approximation via Random Exploration
University of Chicago（芝加哥大学）
本文提出基于随机探索步骤的贝叶斯优化算法，加速高斯过程代理模型收敛，并用于后验近似，在多个基准和实际问题中验证了有效性。
2024-07-17 cs.LG cs.NA math.NA
Identifiability of Gaussian Structural Equation Models with Dependent Errors Having Equal Variances
Linköping University（林雪平大学）
本文证明了某些具有等方差相依误差的高斯结构方程模型可从其相应的高斯分布中识别。具体来说，我们证明了高斯结构方程模型的可识别性，该模型可以表示为Anderson-Madigan-Perlman链图（Andersson et al.，2001年）。这些链图最初是用来表示独立模型的。然而，它们也适用于表示具有加性噪声的因果模型（Peña，2016年。我们的结果意味着这些因果模型可以单独从观测数据中识别出来。我们的结果推广了Peters和Bühlmann（2014）的结果，他们认为独立误差具有等方差。等误差方差假设的适用性应在每个域的基础上进行评估。
2018-08-28 cs.AI cs.LG stat.ML
Neural Gaussian Copula for Variational Autoencoder
University of California Santa Barbara（加州大学圣巴巴拉分校）
变分语言模型寻求用近似的变分后验估计潜变量的后验。该模型通常假设变分后验被分解，即使真正的后验不是。在此假设下学习的变分后验并没有捕捉到潜在变量之间的依赖关系。我们认为，这将导致一个典型的训练问题，称为后崩溃观察到所有其他变语言模型。我们提出高斯Copula变分自编码器（VAE）来避免这个问题。Copula被广泛用于高维随机变量的相关性和依赖性建模，因此它有助于维护VAE中丢失的依赖关系。实证结果表明，通过使用神经参数copula显式地对潜变量的相关性进行建模，我们可以避免这种训练困难，同时获得与所有其他VAE方法相比具有竞争力的结果。
2019-09-09 cs.CL cs.LG cs.NE
Variational Dropout and the Local Reparameterization Trick
University of California, Irvine（加州大学欧文分校）；Canadian Institute for Advanced Research（加拿大高等研究院）；University of Amsterdam（阿姆斯特丹大学）
我们研究了一种局部重新参数化技术，用于大大减少变分贝叶斯推断（SGVB）的后验模型参数的随机梯度的方差，同时保持并行性。这种局部重新参数化将全局参数的不确定性转化为小批量中跨数据点独立的局部噪声。这样的参数化可以被平凡地并行化，并且具有与小批量大小成反比的方差，通常导致更快的收敛。此外，我们探讨了与dropout的连接：高斯dropout目标对应于SGVB与局部重新参数化，尺度不变的先验和按比例固定的后验方差。我们的方法允许推断更灵活的参数化后验;具体来说，我们提出变分辍学，高斯辍学的泛化，辍学率的学习，往往会导致更好的模型。该方法是通过几个实验证明。
2015-12-20 cs.LG stat.CO stat.ML
Fast Gaussian Process Posterior Mean Prediction via Local Cross Validation and Precomputation
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
高斯过程（GP）是贝叶斯非参数模型，在无数的应用中非常有用。尽管它们很受欢迎，但GP预测的成本（相对于训练点数量的二次存储和三次复杂度）仍然是将GP应用于大数据的障碍。我们提出了一种快速后验均值预测算法FastMuyGPs来解决这个缺点。FastMuyGPs基于MuyGPs超参数估计算法，并利用留一交叉验证、预处理、最近邻稀疏化和预计算的组合来提供可扩展的快速GP预测。我们展示了几个基准，其中FastMuyGPs预测达到了卓越的准确性和竞争力或优越的运行时间，深度神经网络和最先进的可扩展GP算法。
2022-05-22 cs.LG cs.NA math.NA
Scalable method for Bayesian experimental design without integrating over posterior distribution
本文提出一种无似然的A-最优贝叶斯实验设计方法，利用全方差定律和人工神经网络近似条件期望，避免对后验分布积分，大幅减少昂贵观测模型评估次数。
2023-08-11 cs.NA math.NA stat.CO
The Gaussian Latent Machine: Efficient Prior and Posterior Sampling for Inverse Problems
Institute of Visual Computing, Graz University of Technology（视觉计算研究所，格拉茨技术大学）
本文提出高斯潜在机，通过统一和泛化现有采样算法，实现高效逆问题采样，适用于多种贝叶斯成像先验和后验分布。
2026-04-15 cs.CV cs.LG eess.IV
Posterior contraction in Gaussian process regression using Wasserstein approximations
研究协变量域无界的高斯过程回归的后验收缩率。我们的论点依赖于开发一个高斯近似的后首项系数的Karhunen-Loéve展开的高斯过程。我们的结果的显着特点是推导出这样一个近似的$L^2$ Wasserstein距离和相关的速度的近似后收缩率使用耦合参数。提供了高斯或平方指数协方差内核的具体说明。
2015-10-02 math.ST stat.TH
Merging MCMC Subposteriors through Gaussian-Process Approximations
马尔可夫链蒙特卡罗（MCMC）算法已成为贝叶斯推断的有力工具。然而，它们不能很好地扩展到大数据问题。分治策略将数据分成多个批次，并且对于每个批次，运行针对相应次后验的独立MCMC算法，可以将计算负担分散到多个单独的工作人员中。这种策略的挑战在于重新组合次后验以近似完整的后验。通过为每个对数次后验密度创建一个高斯过程近似，我们为整个后验创建了一个易于处理的近似。这种近似是通过三种方法来实现的：首先，针对后验密度期望的哈密顿蒙特卡罗算法提供了一个后验近似的样本;其次，在采样点处评估真实的后验，得到一个渐近地以真实的后验期望为目标的重要性采样器;最后，另一种重要性采样器使用对数后验密度的近似的全高斯过程分布来重新估计对任何初始样本进行加权，并提供后验期望的估计值和其中不确定性的度量。
2017-07-17 stat.CO stat.ML
Safe, Scalable, and Accurate Bayes Posterior Sampling for Large-Data Generalized Linear Mixed Models
Duke University（杜克大学）
本文提出了一种基于数据子采样的镜像 Langevin 动力学算法，用于大规模广义线性混合模型的贝叶斯抽样，通过后处理步骤消除子采样导致的后验方差估计偏差。
2026-04-28 stat.CO stat.ME stat.ML
Can one regularizer reproduce posterior means at two noise levels?
School of Future Technology, Xi’an Jiaotong University（西安交通大学未来技术学院）
本文证明对于紧支撑先验，除点质量外，不存在单一固定正则化器能在两个不同噪声方差下同时重现后验均值，并给出误差下界与数值示例。
2026-09-15 eess.SP math.OC math.ST
Theoretical Analysis of Heteroscedastic Gaussian Processes with Posterior Distributions
Toyota Central R&D Labs., Inc.（丰田中央研发实验室）
本文提出异方差高斯过程后验分布的理论分析框架，推导其精确均值、方差和累积分布，并将结果用于机会约束跟踪控制器以应对未知扰动。
2024-09-19 cs.LG math.OC
Learn Only Where You Can't Compute: Structured Corrections to Gaussian Process Posteriors
Tübingen AI Center（蒂宾根人工智能中心）
该研究针对物理信息高斯过程难扩展、扩散模型在科学场景表现差的问题，提出结构化后验修正框架，结合高斯参考与生成式学习修正，在三项科学任务中提升了预测性能并存在精度与成本的任务依赖权衡。
2026-10-16 cs.LG
Gaussian Approximation of General Nonparametric Posterior Distributions
在一般的贝叶斯非参数模型中，我们证明了后验分布可以用高斯过程渐近逼近。我们的结果适用于包含高斯和非高斯回归的非参数指数族，也适用于有效（root-n）和无效（non-root-n）估计。我们的一般近似定理不依赖于后验共轭，并且可以在具有平滑样条解释的一类高斯过程先验中得到验证[59，44]。特别是，限制后验措施成为先验自由下的贝叶斯版本的“下平滑”条件。最后，我们应用我们的近似定理来研究贝叶斯过程的渐近频率论性质，如可信区域和可信区间。
2017-10-31 math.ST stat.TH
Exact Bayes Regret and Asymptotic Optimality in High-Dimensional Gaussian Bandits
Abstract Math Institute（抽象数学研究所）
研究高维高斯线性老虎机，推导汤普森采样与贪心选择的精确贝叶斯遗憾，证明贪心策略渐近最优而汤普森采样遗憾更大。
2026-09-25 cs.LG math.ST stat.ML
Posterior contraction for deep Gaussian process priors
研究了一类深度高斯过程先验在回归函数的一般组合假设下应用于非参数回归问题的后验收缩率。结果表明，收缩率可以实现极小极大收敛速度（高达$\log n$因素），同时是自适应的底层结构和光滑的目标函数。该框架扩展了贝叶斯非参数理论的高斯过程先验。
2022-08-13 math.ST stat.TH
The Neglected Sibling: Isotropic Gaussian Posterior for VAE
Monash University（蒙纳士大学）
深度生成模型已被广泛用于NLP的多个领域，并提出了各种技术来增强它们或解决它们的训练挑战。在本文中，我们提出了一个简单的修改变分自编码器（VAE）通过使用各向同性高斯后验（IGP），允许更好地利用其潜在的表示空间。该模型避免了与表示空间中的非活动维度相关的VAE的次优行为。我们提供了理论分析，并在各种数据集和任务的实证证据表明，IGP导致一致的改进，从下游任务的性能和样本效率的鲁棒性的几个定量和定性的理由。此外，我们给出了有关IGP所鼓励的代表性属性的见解，并且还表明其增益也适用于图像域。
2021-10-14 cs.CL cs.LG
High-dimensional properties for empirical priors in linear regression with unknown error variance
我们研究了高维线性回归的全贝叶斯过程。我们采用[1]中介绍的数据依赖的经验先验。在他们的论文中，这些先验具有很好的后验收缩特性，并且易于计算。本文将他们的理论结果推广到误差方差未知的情况。在适当的稀疏性假设下，通过分析多元t分布，我们得到了模型选择的一致性、后验收缩率以及Bernstein von-Mises定理。
2022-02-11 math.ST stat.TH
Posterior and Computational Uncertainty in Gaussian Processes
University of Tübingen（蒂宾根大学）；Columbia University（哥伦比亚大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
针对高斯过程近似方法忽略计算不确定性的问题，本文提出一类能一致估计数据与计算组合不确定性的新方法，证明了其收敛性、协方差可分解性等理论性质，实验验证了建模计算不确定性可提升泛化性能。
2023-10-09 cs.LG cs.NA math.NA
Parallel Markov Chain Monte Carlo for Non-Gaussian Posterior Distributions
大数据和分析研究的最新发展产生了大量的大型数据集，由于计算机内存或存储容量的限制，这些数据集太大而无法进行整体分析。为了解决这些问题，已经开发了用于大数据的贝叶斯分析的无通信并行马尔可夫链蒙特卡罗（MCMC）方法。这些方法将数据划分为可管理的子集，对每个子集执行独立的贝叶斯MCMC分析，并结合子集后验样本来估计完整的数据后验。目前的方法组合子集后验样本包括样本平均，加权平均，和内核平滑技术。虽然这些方法对于高斯后验分布效果很好，但是对于非高斯后验分布，它们并不十分适合。在这里，我们开发了一个新的直接密度乘积方法，结合子集的边缘后验样本估计全数据的边缘后验密度。使用一个常用的实现距离度量，我们在模拟研究的贝叶斯模型与非高斯后验，我们的方法优于现有的方法在近似的完整数据的边缘后验。由于我们的方法只估计边缘密度，因此对分析的模型参数数量没有限制。我们的方法适用于连续参数空间中具有固定维数的未知参数的贝叶斯模型。
2015-06-10 stat.ME
Frequentist Regret Analysis of Gaussian Process Thompson Sampling via Fractional Posteriors
Texas A&M University（德克萨斯农工大学）；Purdue University（普渡大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文通过分数后验分析，为高斯过程强化学习提供了一种无离散化、统一的频率后悔框架，适用于多种核函数。
2026-02-16 cs.LG math.OC math.ST
Strong maximum a posteriori estimation in Banach spaces with Gaussian priors
本文证明了在任意可分Banach空间中，一类相对于高斯先验绝对连续的后验测度具有强最大后验估计量，并放宽了贝叶斯逆问题中对数似然及空间条件，显著扩展了现有结果。
2023-11-01 math.PR math.ST stat.TH
Lower bounds for posterior rates with Gaussian process priors
与高斯过程先验相关的后验分布收敛速率的上界由van der Vaart和van Zanten在[14]中获得，并用涉及高斯先验的再生核希尔伯特空间的浓度函数表示。在这里，得到了下界对应物。作为推论，我们得到了精确的收敛速率的后验高斯先验在各种设置。此外，我们将[14]中关于Riemann-Liouville先验的上界结果推广到一个连续的参数族。
2008-12-22 math.ST stat.TH
Continuous Gaussian mixture solution for linear Bayesian inversion with application to Laplace priors
针对线性贝叶斯反演问题，提出基于高斯混合的两步采样方法及降维近似策略，推导了后验混合密度闭式表达式，并在 Laplace 先验下验证了近似样本的低相关性与高精度。
2024-08-29 math.PR stat.AP stat.CO
Marginalized Bayesian filtering with Gaussian priors and posteriors
边缘化技术的贝叶斯滤波问题的假设下，高斯先验和后验和一组顺序更多的约束状态空间模型的假设。该技术提供了以下能力：1）将滤波问题简化为基本的边际矩积分，2）将模型和数值逼近结合到矩积分，以及3）解耦建模和系统组成。后验均值和协方差的封闭形式的表达式作为子空间投影矩阵，子系统模型，和边际矩积分的函数。最后，我们回顾以前的工作，以及如何将结果与卡尔曼和边缘化粒子滤波技术。
2016-07-11 math.ST stat.TH
Estimation of log-Gaussian gamma processes with iterated posterior linearization and Hamiltonian Monte Carlo
Aalto University（阿尔托大学）
本文提出基于迭代后验线性化和Hamilton蒙特卡洛的方法，用于估计log-Gaussian伽马过程的后验分布，并通过实验验证其有效性。
2026-02-07 stat.CO stat.ME
Dirichlet Process Mixtures of Trees with Gaussian Process Splits: A Bayesian Nonparametric Framework with Posterior Contraction Rate
Indian Statistical Institute（印度统计研究所）
提出一种基于狄利克雷过程先验的贝叶斯非参数回归树混合模型，利用高斯过程分裂规则统一多种树方法，实现数据驱动的集成规模选择，并证明后验收敛率，在多个基准和应用中优于现有方法。
2026-09-24 cs.LG math.ST stat.ME
