Batch Selection for Parallelisation of Bayesian Quadrature
University of Oxford（牛津大学）
非负被积函数上的积分是机器学习中的一个核心问题（例如，用于模型平均、（超）参数边缘化和计算后验预测分布）。贝叶斯求积法是一种概率数值积分技术，与传统的马尔可夫链蒙特卡罗方法相比，其表现令人鼓舞。然而，与易于并行化的MCMC方法相比，贝叶斯求积方法到目前为止本质上是串行的，在算法的每个步骤中选择一个点进行采样。我们提供的方法来选择批次的点在每一步，根据最近提出的批量贝叶斯优化文献。这种并行化显著减少了计算时间，特别是当被积函数的采样成本很高时。
2018-12-04 cs.LG stat.CO stat.ML
Distributionally Robust Bayesian Quadrature Optimization
Deakin University（迪肯大学）
贝叶斯求积优化（BQO）最大化的期望，一个昂贵的黑盒被积函数在一个已知的概率分布。在这项工作中，我们研究BQO下的分布不确定性，其中的基本概率分布是未知的，除了一个有限的一组它的i.i.d.样品标准的BQO方法在给定固定样本集的情况下最大化真实预期目标的蒙特卡罗估计。虽然蒙特卡罗估计是无偏的，但它在给定一小组样本时具有高方差;因此可能导致虚假的目标函数。我们采用分布鲁棒优化的角度来解决这个问题，最大化的预期目标下的最具对抗性的分布。特别是，我们提出了一种新的后验采样算法，即分布式鲁棒BQO（DRBQO）。我们证明了我们提出的框架在合成和现实世界中的问题的经验有效性，并通过贝叶斯后悔的理论收敛性。
2020-01-19 cs.LG stat.ML
Automated Model Selection with Bayesian Quadrature
Washington University in St. Louis（圣路易斯华盛顿大学）；University of Oxford（牛津大学）
我们提出了一种新的技术定制贝叶斯正交（BQ）模型选择。用于比较多个模型的证据的最新技术依赖于蒙特卡罗方法，该方法收敛缓慢并且对于计算昂贵的模型是不可靠的。以前的研究表明，BQ提供的样本效率优于蒙特卡罗在计算一个单独的模型的证据。然而，将BQ直接应用于模型比较可能会浪费计算，从而对明显较差的模型的证据产生过于准确的估计。我们提出了一个自动化和高效的算法来计算模型选择的最相关量：模型的后验概率。我们的技术最大限度地提高了这个数量和模型的似然观测之间的互信息，从而在似然观测有限的情况下有效地获取不同模型空间中的样本。我们的方法产生更准确的模型后验估计使用更少的模型似然评估比标准的贝叶斯求积和蒙特卡洛估计，我们证明了合成和现实世界的例子。
2019-03-01 cs.LG stat.ML
Bayesian Quadrature
本文系统综述了贝叶斯求积方法，涵盖其数学基础、分类方法、理论保证及实际应用挑战，并提供全面的参考文献。
2026-09-17 cs.LG cs.NA math.NA
Bayesian Quadrature on Riemannian Data Manifolds
University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
黎曼流形提供了一种原则性的方法来建模数据中固有的非线性几何结构。所述流形上的黎曼度量确定几何感知最短路径，并提供相应地定义统计模型的手段。然而，这些操作通常在计算上要求很高。为了减轻这种计算负担，我们提倡概率数值方法黎曼统计。特别是，我们专注于贝叶斯求积（BQ）数值计算积分的正常法律黎曼流形上学习的数据。在这个任务中，每个函数的求值依赖于一个昂贵的初始值问题的解决方案。我们表明，通过利用先验知识和积极的探索计划，BQ显着减少了所需的评估数量，从而在广泛的集成问题上优于蒙特卡洛方法。作为一个具体的应用，我们强调的优点，采用黎曼几何与我们提出的框架上的非线性数据集的分子动力学。
2021-06-10 cs.LG stat.ML
SOBER: Highly Parallel Bayesian Optimization and Bayesian Quadrature over Discrete and Mixed Spaces
University of Oxford（牛津大学）
SOBER通过将批量全局优化重构为求积问题，把非凸采集函数最大化松弛为凸核重组，从而在离散与混合空间上实现可扩展、多样化的并行贝叶斯优化与求积，并在12项任务上超越11个基线。
2023-07-05 cs.LG cs.NA math.NA
BayesSum: Bayesian Quadrature in Discrete Spaces
Independent Researcher（独立研究者）；University College London（伦敦大学学院）；Lappeenranta--Lahti University of Technology LUT（拉佩兰塔-拉赫蒂技术大学LUT）
BayesSum通过高斯过程利用先验信息，在离散空间中实现更高效的贝叶斯求积，提升了样本效率和收敛速度。
2025-12-18 cs.LG stat.ML
Improving Quadrature for Constrained Integrands
Washington University in St. Louis（圣路易斯华盛顿大学）
我们提出了一个改进的贝叶斯框架进行推理的约束函数的仿射变换。我们专注于非负函数的求积，这是贝叶斯推理中的一项常见任务。我们考虑的范围内的限制的功能，如非负性或有界性。虽然我们的框架是一般的，我们推导出这些约束的显式近似方案，并主张使用对数变换的功能，如高动态范围的似然表面。我们提出了一种新的方法来优化超参数在这个框架中：我们优化的边缘似然在原始空间，而不是在变换后的空间。结果是一个更好地解释实际数据的模型。合成和真实世界的数据上的实验表明，我们的框架实现了优越的估计，使用更少的挂钟时间比现有的贝叶斯求积程序。
2019-02-27 cs.LG stat.ML
Conditional Bayesian Quadrature
University College London（伦敦大学学院）；Gatsby Computational Neuroscience Unit（盖茨比计算神经科学中心）
针对采样与被积函数评估成本高的场景，提出基于概率数值框架的条件贝叶斯求积方法，整合被积函数先验平滑性等信息，可量化不确定性、提升收敛速度，且经理论与多领域任务实证验证。
2024-06-24 cs.LG stat.CO stat.ML
Convergence Guarantees for Adaptive Bayesian Quadrature Methods
EURECOM（欧洲电信学院）；University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
自适应贝叶斯求积（ABQ）是一种强大的数值积分方法，在中等维度（非自适应求积不具有竞争力）的问题上，它与蒙特卡罗积分相比具有优势。它的关键成分是一个获取函数，该函数作为先前收集的被积函数值的函数而变化。虽然这种适应性在经验上似乎很强大，但它使分析复杂化。因此，到目前为止，这类方法还没有理论上的保证。在这项工作中，对于广泛的自适应贝叶斯求积方法，我们证明了一致性，推导出非紧但信息量大的收敛速度。为了做到这一点，我们引入了一个新的概念，我们称之为弱适应性。我们的研究结果确定了一个大的和灵活的自适应贝叶斯求积规则一致，从业者可以开发经验有效的方法。
2019-10-28 cs.LG cs.NA math.NA
Exploiting gradients and Hessians in Bayesian optimization and Bayesian quadrature
机器学习研究的一个令人兴奋的分支集中在学习，优化和集成未知函数的方法上，这些方法很难或昂贵地进行评估。一个流行的贝叶斯方法来解决这个问题使用高斯过程（GP），以构建一个后验分布的功能的利益，给定一组观察到的测量，并选择新的点来评估使用这个后验的统计。在这里，我们将这些方法扩展到利用未知函数的导数信息。我们描述了贝叶斯优化（BO）和贝叶斯求积（BQ）的方法，其中一阶和二阶导数可以与函数本身一起评估。我们进行基于采样的推理，以纳入超参数的不确定性，并表明超参数和功能的不确定性降低得更快，当使用导数信息。此外，我们介绍了技术，克服病态的问题，困扰早期的方法梯度增强高斯过程和克里金。我们说明了这些方法的有效性，使用实际和模拟的贝叶斯优化和正交问题的应用程序，并表明，开发衍生工具可以提供大量的收益超过标准方法。
2018-03-29 stat.ML
Optimally-Weighted Herding is Bayesian Quadrature
Cambridge University（剑桥大学）
本文证明核Herding的样本选择准则等价于贝叶斯求积的后验方差，并提出序贯贝叶斯求积作为加权Herding的改进版本，实现优于O(1/N)的收敛速度。
2016-07-15 cs.NA math.NA stat.ML
Active Multi-Information Source Bayesian Quadrature
University of Tübingen（蒂宾根大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Amazon Research（亚马逊研究院）
贝叶斯求积（Bayesian quadrature，BQ）是一种样本效率高的概率数值方法，用于求解计算成本高的黑箱函数的积分，但目前的主动BQ学习方法只关注被积函数本身作为信息源，不考虑从成本低的相关函数中传递信息.在这里，我们为BQ中的主动学习设置场景，当可变成本的多个相关信息源（在输入和源中）可访问时。例如，当评估被积函数需要运行复杂的模拟时，可以通过以较低的复杂程度和较低的费用进行模拟来近似。我们构建了有意义的成本敏感的多源采集率作为一个扩展，从香草BQ（VBQ）常见的效用函数，并讨论了陷阱，从盲目推广。此外，我们表明，VBQ收购政策是一个角落的情况下，所有考虑成本敏感的收购计划，崩溃到一个单一的退化政策的情况下，一个源和恒定的成本。在概念验证实验中，我们仔细检查了我们的广义获取功能的行为。在一个流行病学模型上，我们证明了主动多源BQ（AMS-BQ）比VBQ更有效地分配预算，以获得更好的积分精度。
2021-02-12 cs.LG stat.ML
Frank-Wolfe Bayesian Quadrature: Probabilistic Integration with Theoretical Guarantees
有新的兴趣制定集成作为一个推理问题，通过获得一个完整的分布，可以通过后续的计算传播的数值误差的动机。目前的方法，如贝叶斯求积，表现出令人印象深刻的经验性能，但缺乏理论分析。一个重要的挑战是调和这些概率积分严格的收敛保证。在本文中，我们提出了第一个概率积分，承认这样的理论治疗，称为弗兰克-沃尔夫贝叶斯正交（FWBQ）。根据FWBQ，收敛到真值的积分是指数和后收缩率被证明是超指数。在模拟中，FWBQ与最先进的方法相比具有竞争力，并且优于基于Frank-Wolfe优化的替代方案。我们的方法是成功地量化数值误差的解决方案，在细胞生物学中具有挑战性的模型选择问题。
2015-12-06 stat.ML
Fast Bayesian Inference with Batch Bayesian Quadrature via Kernel Recombination
University of Oxford（牛津大学）；Toyota Motor Corporation（丰田汽车公司）
提出一种基于核重组的并行化批量贝叶斯求积方法，实现指数收敛速率，在多种真实数据集上显著优于现有BQ和嵌套采样。
2023-01-27 cs.LG cs.NA math.NA
Fast post-process Bayesian inference with Variational Sparse Bayesian Quadrature
Department of Computer Science, University of Helsinki（赫尔辛基大学计算机科学系）；Department of Statistics, University of Edinburgh（爱丁堡大学统计系）
针对已有大量模型评估却未被传统推断利用的问题，提出后处理贝叶斯推断框架及 VSBQ，通过稀疏 GP 代理、贝叶斯求积与变分推断实现无需额外模型调用的快速高质量后验近似。
2025-07-23 cs.LG stat.CO stat.ME
Stochastic Convergence Rates and Applications of Adaptive Quadrature in Bayesian Inference
我们提供了第一个随机收敛速度的家庭自适应正交规则用于规范化的后验分布贝叶斯模型。我们的结果适用于一致的相对误差的近似后验密度，覆盖概率的近似可信集，近似的时刻和分位数，从而保证快速渐近收敛的近似汇总统计量在实践中使用。该系列的积分规则包括自适应高斯-厄米特积分，我们将这一规则在两个具有挑战性的低维的例子。此外，我们演示了如何自适应正交可以作为一个重要组成部分的现代近似贝叶斯推断过程的高维添加剂模型。该方法在R语言的aghq包中实现并公开提供，可在CRAN上获得。
2022-10-25 stat.ME
On Average-Case Error Bounds for Kernel-Based Bayesian Quadrature
National University of Singapore (NUS)（新加坡国立大学）
在本文中，我们研究{ \em贝叶斯求积}（BQ）的误差界，重点是噪声设置，随机算法和平均情况下的性能指标。我们寻求逼近{ \em再现核Hilbert空间}（RKHS）中函数的积分，特别关注$ν$和平方指数（SE）核，其中来自函数的样本可能会被高斯噪声破坏。我们提供了一个两步的元算法，作为一个通用的工具有关的平均情况下的正交误差与$L^2$函数逼近误差。当专门针对Matérn内核时，我们恢复了现有的接近最优的错误率，同时避免了现有的重复采样点的方法。当专门用于其他设置，我们获得新的平均情况下的结果设置，包括SE内核与噪声和Matérn内核与误指定。最后，我们提出了算法独立的下界，具有更大的一般性和/或提供不同的证据相比，现有的。
2023-02-10 cs.IT cs.LG math.IT
Alternating Optimisation and Quadrature for Robust Control
University of Oxford（牛津大学）；Inria（法国国家信息与自动化研究所）；CNRS/Université de Lorraine（法国国家科学研究中心/洛林大学）
贝叶斯优化已成功应用于各种强化学习问题。然而，在模拟器中学习最优策略的传统方法并没有利用机会通过调整某些环境变量来改善学习：这些环境变量是不可观察的，并且由物理环境中的环境随机确定，但在模拟器中是可控的。本文考虑的问题，找到一个强大的政策，同时考虑到环境变量的影响。我们提出了交替优化和正交（ALOQ），它使用贝叶斯优化和贝叶斯正交来解决这样的设置。ALOQ对随机抽样下可能无法观察到的重大罕见事件的存在具有鲁棒性，但在确定最优策略方面发挥着重要作用。不同领域的实验结果表明，ALOQ可以学习更有效和更强大的比现有的方法。
2017-12-18 cs.AI cs.LG stat.ML
Adaptive quadrature schemes for Bayesian inference via active learning
The University of Edinburgh（爱丁堡大学）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Universidad Rey Juan Carlos I（胡安卡洛斯国王大学）
数值积分和仿真是跨科学领域的基本课题。我们提出了新的自适应正交计划的基础上的主动学习过程。我们考虑一种插值方法来建立一个替代后验密度，结合蒙特卡罗采样方法和其他正交规则。通过最大化合适的采集函数来顺序地选择正交的节点，该采集函数考虑了节点的后验和位置的当前近似。这种最大化不需要对真实后验进行额外的评估。我们介绍了两个具体的计划的基础上高斯和最近邻（NN）基地。对于高斯的情况下，我们还提供了一个新的过程来拟合带宽参数，以建立一个合适的仿真器的密度函数。使用这两种技术，我们总是获得边际似然的正估计（也称为，贝叶斯证据）。一个等效的重要性抽样的解释也被描述，它允许扩展计划的设计。几个理论结果提供和讨论。数值结果表明，所提出的方法的优点，包括一个具有挑战性的推理问题，在天文动力学模型，揭示了绕恒星运行的行星的数量的目标。
2021-01-19 cs.LG eess.SP stat.CO
Hierarchical Bayesian Quadrature
Tübingen AI Center（图宾根人工智能中心）；University of Tübingen（图宾根大学）；School of Engineering Sciences（工程科学学院）；Lappeenranta–Lahti University of Technology（拉佩伦塔-拉赫蒂技术大学）
研究针对数值积分中贝叶斯求积法因基于平稳协方差函数导致对非平稳被积函数模型错误指定的问题，提出通过积分域树状划分成局部平稳模型的方法，经GP条件层次结构重组估计，提升了非平稳被积函数积分效果。
2026-07-14 cs.LG cs.NA math.NA
Approximate Bayesian Inference via Sparse grid Quadrature Evaluation for Hierarchical Models
我们结合条件技术与稀疏网格求积规则，开发一种计算效率高的方法来近似边缘，但不一定是单变量，后量，通过稀疏网格求积评估（BISQuE）分层模型产生近似贝叶斯推断。BISQuE将后验量重新表述为条件量的加权积分，例如密度和期望。稀疏网格求积规则允许计算高效的近似高维积分，这出现在具有许多超参数的分层模型中。BISQuE相对于标准的马尔可夫链蒙特卡罗方法减少了至少两个数量级的几个应用和说明性模型的计算工作量。我们还简要讨论了使用BISQuE将集成嵌套拉普拉斯近似（INLA）应用于具有比目前实际更多超参数的模型。
2019-04-15 stat.CO stat.ME
Bayesian Model Selection of Lithium-Ion Battery Models via Bayesian Quadrature
University of Oxford（牛津大学）；German Aerospace Center (DLR)（德国航空航天中心）；Helmholtz Institute Ulm（亥姆霍兹乌尔姆研究所）；Universität Ulm（乌尔姆大学）；The Faraday Institution（法拉第研究所）
针对锂离子电池模型选择难题，提出基于贝叶斯求积的贝叶斯模型选择方法，以模型证据为指标，样本效率高，多模态后验下选模更准，速度优于蒙特卡洛方法，还可顺带得到参数后验。
2023-04-05 cs.LG cs.SY eess.SY
A Quadrature Approach for General-Purpose Batch Bayesian Optimization via Probabilistic Lifting
University of Oxford（牛津大学）；University of Helsinki（赫尔辛基大学）；Aioi R&D Lab（相生研发实验室）；Mind Foundry
本文提出SOBER，一个基于概率提升与核求积的通用批量贝叶斯优化框架，以Python库形式实现，解决并行化中的灵活性、模型误设定等挑战，并支持无梯度采样与自适应批量大小。
2024-04-19 cs.LG cs.NA math.NA
On the positivity and magnitudes of Bayesian quadrature weights
本文回顾和研究了贝叶斯求积权的性质，这些性质对求积规则的稳定性和鲁棒性有很大影响。具体来说，我们调查的条件，需要保证的权重是积极的或约束其幅度。首先，它表明，在单变量情况下，如果设计点局部最小化后验积分方差，并且协方差核是完全正的（例如，Gaussian和Hardy kernels）。这表明，基于梯度的优化设计点可能是有效的，在构建稳定和强大的贝叶斯求积规则。其次，我们证明了如果核的RKHS是索伯列夫空间（例如，Matérn核），这表明应该使用准一致点。一些数值例子表明，显着的概括和改进似乎是可能的，表现出需要进一步的研究。
2019-08-02 cs.NA math.NA math.ST
Multilevel Bayesian Quadrature
多级蒙特卡罗是一个关键的工具，用于近似积分涉及昂贵的科学模型。我们的想法是使用被积函数的近似值来构造一个估计，该估计比经典的蒙特卡罗方法具有更高的精度。我们建议通过被积函数的贝叶斯替代模型进一步增强多级蒙特卡罗，重点是高斯过程模型和相关的贝叶斯正交估计。我们表明，使用理论和数值实验，我们的方法可以导致显着提高精度时，被积是昂贵的，光滑的，当维数是小或中等。最后，我们总结了一个案例研究，说明我们的方法在滑坡产生的海啸建模，每个被积函数的评估成本通常是太大的操作设置的潜在影响。
2023-03-13 stat.ME
Bayesian Quadrature for Multiple Related Integrals
贝叶斯概率数值方法是一组提供数值方法输出的后验分布的工具。这些方法的使用通常是出于这样一个事实，即它们可以表示我们的不确定性，这是由于关于被近似的连续数学问题的不完整/有限信息。在本文中，我们证明了这种模式可以提供额外的优势，如几个数值方法之间的信息传输的可能性。这允许用户以更忠实的方式表示不确定性，并且作为副产品，提供了更高的数值效率。我们提出了第一个这样的数值方法，通过扩展著名的贝叶斯求积算法的情况下，我们有兴趣在计算几个相关函数的积分。然后，我们证明了该方法的收敛速度在指定和错误的情况下，并证明其效率的背景下，复杂的工程系统的多保真度模型和计算机图形学中的全局照明问题。
2018-07-30 cs.NA math.NA stat.CO
Implementing Approximate Bayesian Inference using Adaptive Quadrature: the aghq Package
介绍了用自适应求积实现近似贝叶斯推断的aghq软件包。该方法和软件进行了描述，并说明了在几个具有挑战性的低维和高维模型的近似贝叶斯推断包的使用。例子包括传染病模型;用于估计银河系质量的天体统计模型;基于非高斯模型的地质统计学中的两个例子，包括一个包含零膨胀的例子，这是不容易使用其他方法拟合的;零膨胀，过度分散计数数据的模型。aghq软件包与用于自动微分和拉普拉斯近似的流行的TMB接口特别兼容，并且该软件的现有用户可以使用非常少的附加代码使用aghq进行近似贝叶斯推断。aghq包可以从CRAN获得，本文中所有示例的完整代码可以在https://github.com/awstringer1/aghq-software-paper-code上找到。
2021-06-21 stat.CO
Bayesian quadrature for $H^1(μ)$ with Poincaré inequality on a compact interval
受复杂系统的不确定性量化的启发，我们的目标是找到$\int_a^b f(x) dμ(x) = \sum_{i=1}^n w_i f(x_i)$形式的求积公式，其中$\int_a^b f(x) dμ(x) = \sum_{i=1}^n w_i f(x_i)$属于$H^1(μ)$。这里，$μ$属于$[a, b] \subset \mathbb{R}$上的一类连续概率分布，而$\sum_{i=1}^n w_i δ_{x_i}$是$[a, b]$上的离散概率分布。我们表明，$H^1(μ)$是一个再生核希尔伯特空间连续核$K$，它允许重新制定的贝叶斯（或内核）正交问题的正交问题。虽然$K$一般没有一个容易的封闭形式，但我们建立了它的谱分解与Poincaré不等式的谱分解之间的对应关系，Poincaré不等式的公共特征函数形成了一个$T$系统（Karlin和Studden，1966）。求积问题可以在第一特征函数所张成的有限维代理空间中求解。解由广义高斯求积给出，我们称之为庞加莱求积。我们得出了几个结果的庞加莱正交权重和相关的最坏情况下的错误。当$μ$是均匀分布时，结果是明确的：庞加莱求积等价于中点（矩形）求积规则。它的节点与本征函数的零点重合，对于大的$n$，最坏情况的误差尺度为$\frac{b-a}{2\sqrt{3}}n^{-1}$。通过与已知的$H^1(0,1)$的结果比较，表明Poin…
2022-07-29 math.ST stat.TH
Bayesian quadrature and energy minimization for space-filling design
在计算机实验中的一个标准目标是近似的行为，一个未知的功能在一个紧凑的领域内的一些评价。当对函数知之甚少时，建议进行空间填充设计：通常，通过最小化几何（例如，覆盖半径）或测量均匀性距离的差异标准来获得分布在可用空间中的评估点。本文研究了积分设计（正交设计），（连续）BLUE的位置模型，空间填充设计，能量最小化（核差异）的带号测度之间的联系。积分严格正定核定义了严格凸的能量泛函，具有势和方向导数的概念之间的等价性，显示了差异最小化和更传统的最优实验设计之间的强关系。特别是，核放牧算法，这是特殊的情况下，顶点方向的方法用于最优设计，可以应用到建设的点序列具有适当的空间填充性能。
2018-08-31 math.ST stat.TH
Practical Bayesian Optimization with Threshold-Guided Marginal Likelihood Maximization
Pohang University of Science and Technology（浦项科技大学）；BARO AI
我们提出了一个实用的贝叶斯优化方法，使用高斯过程回归，其边际似然最大化的模型选择步骤的数量是由一个预先定义的阈值。由于贝叶斯优化在寻找高斯过程回归的最佳自由参数时消耗了很大一部分执行时间，我们简单而直接的方法能够减轻时间复杂度并加快整个贝叶斯优化过程。实验结果表明，该方法在大多数情况下都能有效地减少执行时间，且优化质量损失较小。
2020-10-16 cs.LG stat.ML
Gaussian Process Quadrature Moment Transform
变换随机变量的矩的计算是工程应用中经常遇到的问题。现有的矩量变换方法大多基于经典的求积法则，无法考虑近似误差。我们的目的是设计一种方法的高斯随机变量的矩变换占的误差，在数值计算的平均值。我们采用贝叶斯求积的一个实例，称为高斯过程求积（GPQ），它允许我们将积分本身视为一个随机变量，其中积分方差告知所发生的积分误差。对坐标变换和非线性滤波的实验结果表明，GPQ矩变换的性能优于经典变换。
2017-01-05 stat.ME stat.ML
Information Threshold, Bayesian Inference and Decision-Making
McGill University（麦吉尔大学）
我们将信息阈值定义为先验与后验贝叶斯曲线中的最大曲率点，这两者都被描述为所讨论的分类系统的真阳性率和真阴性率的函数。阈值的性质是这样的，对于足够充分的二进制分类系统，检索超出阈值的多余信息不会显着改变我们的分类评估的可靠性。我们在此引入“婚姻状况思想实验”来说明这一想法，并报告了以前未定义的贝叶斯先验和后验之间的数学关系，这可能在决策理论中具有重要的哲学和认识论意义。如果先验概率是由$ϕ$给出的0和1之间的标量，后验概率是由$ρ$给出的0和1之间的标量，则在信息阈值$ϕ_e$：$ϕ_e + ρ_e = 1$否则，给定某种程度的先验信念，当足够的质量证据产生后验概率时，我们可以断言其说服力，使得它们的组合和等于1。检索超过这一点的进一步证据不会显着提高后验概率，并可以作为决策信心的基准。
2022-06-05 cs.LG stat.ML
Fast approximate Bayesian inference of HIV indicators using PCA adaptive Gauss-Hermite quadrature
本文提出基于PCA自适应Gauss-Hermite求积扩展的快速近似贝叶斯推断方法，用于Naomi HIV指标模型超过20个超参数的推断，在提高参数推断准确性的同时显著快于Hamiltonian Monte Carlo。
2025-08-21 stat.AP stat.ME
Student-t Process Quadratures for Filtering of Non-Linear Systems with Heavy-Tailed Noise
本文的目的是设计一个矩变换的学生- t分布的随机变量，这是能够占的误差，在数值计算的平均值。我们采用学生-t过程正交，贝叶斯正交的一个实例，这使我们能够把积分本身作为一个随机变量，其方差提供有关所发生的积分误差的信息。Student-t过程求积相对于传统高斯过程求积的优点在于积分方差也取决于函数值，从而允许对积分误差进行更鲁棒的建模。矩变换应用于非线性西格玛点滤波和评估的两个数值例子，它被证明优于国家的最先进的矩变换。
2017-03-16 stat.ME stat.ML
Bayesian Numerical Integration with Neural Networks
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Tübingen（蒂宾根大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University College London（伦敦大学学院）；The Alan Turing Institute（艾伦·图灵研究所）
针对贝叶斯求积计算成本高的问题，提出基于贝叶斯神经网络的贝叶斯Stein网络，利用Stein算子架构与拉普拉斯近似实现数量级加速。
2023-09-10 cs.LG stat.ML
Multi-Fidelity Bayesian Optimization via Deep Neural Networks
University of Utah（犹他大学）；Scientific Computing and Imaging Institute（科学计算与成像研究所）
贝叶斯优化（BO）是一个流行的框架来优化黑盒函数。在许多应用中，目标函数可以在多个精度下进行评估，以实现成本和精度之间的权衡。为了降低优化成本，已经提出了许多多保真度BO方法。尽管这些方法取得了成功，但它们忽略或过度简化了跨多个属性的强的复杂相关性，因此在估计目标函数时可能效率低下。为了解决这个问题，我们提出了深度神经网络多保真度贝叶斯优化（DNN-MFBO），可以灵活地捕捉各种复杂的关系之间的准确性，以提高目标函数的估计，从而优化性能。我们使用顺序的，逐行高斯-厄米特求积和矩匹配来实现基于互信息的捕获功能，这是计算上易处理的和高效的。我们展示了我们的方法在合成基准数据集和工程设计中的实际应用中的优势。
2020-12-10 cs.LG stat.ML
Multilevel adaptive sparse Leja approximations for Bayesian inverse problems
确定性插值和求积方法往往不适合解决贝叶斯逆问题，这取决于计算昂贵的正演数学模型。虽然插值可以给出精确的后验近似，但确定性求积通常无法有效地调查信息量，从而集中可能性。这导致了大量的数学模型所需的昂贵的评估。为了克服这些挑战，我们制定和测试多级自适应稀疏Leja算法。在每一层，自适应稀疏网格插值和正交分别用于近似后验和执行所有的正交操作。具体来说，我们的算法使用粗糙的离散化的基本数学模型，调查的参数空间，并确定高后验概率的地区。然后使用自适应稀疏网格算法将点放置在这些区域中，并忽略后验概率小的其他区域。这些点是加权Leja点。由于模型离散化是粗略的，稀疏网格的构造是计算高效的。在这个稀疏的网格上，后验测度可以精确地近似，只需很少的昂贵的精细模型离散化。该算法的效率可以进一步提高，通过利用两个以上的离散化水平。我们提出的多级自适应稀疏Leja算法在数值实验中涉及椭圆反问题的二维和三维空间，在其中我们比较它与马尔可夫链蒙特卡罗采样和标准的多级近似。
2019-05-07 cs.NA math.NA stat.CO
Computing the Bayesian Factor from a Markov chain Monte Carlo Simulation of the Posterior Distribution
从模拟的后验分布的边缘似然计算是贝叶斯模型选择的核心，但计算困难。我认为，边际可能性可以可靠地计算出后验样本仔细注意的概率积分的数值。假定边缘似然的表达式为勒贝格积分，我们可以将调和平均近似从样本统计量转换为求积规则。作为一种求积方法，调和平均近似会产生巨大的截断误差。此外，我证明了调和平均近似的积分表达式收敛缓慢，在最好的高维问题与无信息的先验分布。这些意见导致两个计算适度的正交算法，使用完整的一般性样本后验，但没有不稳定的家庭。第一种算法自动消除了样本中截断误差较大的部分。第二种算法利用后验样本将概率分配给样本空间的一个分区，并直接进行边缘似然积分。这消除了收敛问题。第一种算法类似于标准求积，但只能应用于收敛问题。第二种是体积的混合：它使用后验来发现和镶嵌样本空间的子集，并使用分位数来计算代表性的字段值。这两种算法都没有对后验分布的形状做出强有力的假设，也不是敏感的离群值。[删节]
2010-06-22 astro-ph.CO astro-ph.IM math.ST
Active Uncertainty Calibration in Bayesian ODE Solvers
Max-Planck-Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文研究了如何在贝叶斯微分方程求解器中平衡计算成本与概率校准，提出了一种基于过滤的方法Bayesian Quadrature filtering (BQF)，通过主动学习梯度测量的不精确性来提高不确定性校准。
2018-11-03 cs.LG cs.NA math.NA
Sampling through iterated approximation: Gradient-free and multi-fidelity Bayesian inference via transport
Massachusetts Institute of Technology（麻省理工学院）；Sandia National Laboratories（桑迪亚国家实验室）
本文提出一种迭代框架，用于贝叶斯推断问题，结合几何退火与多保真度建模，通过变分学习生成测度传输代理，结合重要性加权方案，高效准确地解决低维强非高斯贝叶斯逆问题。
2026-03-12 cs.NA math.NA stat.CO
Scalable Bayesian Transformed Gaussian Processes
Cornell University（康奈尔大学）；University of Delaware（特拉华大学）；SigOpt
Kedem和Oliviera提出的贝叶斯变换高斯过程（BTG）模型是扭曲高斯过程（WGP）的完全贝叶斯对应物，并将输入扭曲和核超参数的联合先验边缘化。超参数的这种完全贝叶斯处理通常提供更准确的回归估计和更好的不确定性传播，但价格昂贵。BTG后验预测分布本身是通过高维积分估计的，必须反转才能进行模型预测。为了使贝叶斯方法的实用性和可比的速度最大似然估计（MLE），我们提出了原则和快速的技术计算与BTG。我们的框架使用双重稀疏求积规则、紧分位数界限和一阶矩阵代数来实现快速模型预测和模型选择。这些可扩展的方法使我们能够在更高维的数据集上回归，并将BTG应用于分层转换，从而大大提高了其可表达性。我们证明，BTG实现卓越的经验性能MLE为基础的模型。
2022-10-20 cs.LG
On posterior distribution of Bayesian wavelet thresholding
我们调查后收敛速率小波收缩使用贝叶斯方法在一般Besov空间。而不是研究与特定损失函数相关的贝叶斯估计，我们专注于后验分布本身从非参数贝叶斯渐近的角度来看，并研究其收敛速率。我们得到相同的速度在\citet{abramovich04}，其中作者研究了几个贝叶斯估计的收敛性。
2007-09-21 math.ST stat.TH
Selecting Data Adaptive Learner from Multiple Deep Learners using Bayesian Networks
Chiba University（千叶大学）；The University of Tokyo（东京大学）
提出了一种使用多个深度学习器和贝叶斯网络来预测时间序列的方法。在这项研究中，输入的解释变量是贝叶斯网络节点与学习者。训练数据使用K-means聚类进行划分，并根据聚类训练多个深度学习器。贝叶斯网络用于确定哪个深度学习器负责预测时间序列。我们确定一个阈值，并选择后验概率等于或大于阈值的学习器，这可以促进更鲁棒的预测。将该方法应用于金融时间序列数据，并对日经225指数进行了预测。
2020-08-18 cs.AI cs.LG stat.ML
Bayesian Probabilistic Numerical Integration with Tree-Based Models
Imperial College London（帝国理工学院）；Brown University（布朗大学）；University of Oxford（牛津大学）；University College London（伦敦大学学院）
贝叶斯求积（Bayesian quadrature，BQ）是一种以贝叶斯方式解决数值积分问题的方法，它允许用户量化他们对解决方案的不确定性。BQ的标准方法基于被积函数的高斯过程（GP）近似。因此，BQ本质上限于GP近似可以以有效方式完成的情况，因此通常禁止非常高维或非光滑的目标函数。本文提出了一种新的贝叶斯数值积分算法的基础上贝叶斯加性回归树（BART）的先验，我们称之为BART-Int。BART先验很容易调整，非常适合于不连续的功能。我们证明，他们也自然地借给自己的顺序设计设置和明确的收敛速度，可以在各种设置。这种新方法的优点和缺点突出的一组基准测试，包括Genz功能，和贝叶斯调查设计问题。
2021-12-02 cs.LG cs.NA math.NA
To discretize continually: Mean shift interacting particle systems for Bayesian inference
Center for Computational Science and Engineering（计算科学中心）；Laboratory for Information and Decision Systems（信息与决策系统实验室）；Massachusetts Institute of Technology（麻省理工学院）
本文提出基于均值偏移交互粒子系统的新型方法，用于近似概率分布的积分，该方法通过最小化最大均差来构建权重样本，适用于连续分布的贝叶斯推断。
2026-05-13 cs.LG stat.CO stat.ML
Bayesian Anomaly Detection Using Extreme Value Theory
数据驱动的异常检测方法通常为目标系统的正常行为构建模型，并根据该模型对每个数据实例进行评分。总是需要阈值来将具有高（或低）分数的数据实例识别为异常。这对这种方法的适用性提出了实际限制，因为大多数方法对阈值的选择敏感，并且设置最佳阈值具有挑战性。我们提出了一个概率框架来明确地对正常和异常行为进行建模，并对数据进行概率推理。提出了一种基于极值理论的公式，将异常行为建模为正常行为的极值。作为一个具体的实例，联合非参数聚类和异常检测算法提出了一个Dirichlet过程混合模型的正常行为建模。
2019-10-07 cs.LG stat.ME stat.ML
Bayesian Active Learning for Bayesian Model Updating: the Art of Acquisition Functions and Beyond
State IJR Center of Aerospace Design and Additive Manufacturing, School of Mechanical Engineering, Northwestern Polytechnical University（西北工业大学机械工程学院航空航天设计与增材制造国际联合研究中心）；School of Power and Energy, Northwestern Polytechnical University（西北工业大学能源与动力学院）；Science and Technology on Altitude Simulation Laboratory（高空气候环境技术实验室）
本文提出四种新型获取函数，通过不同奖励预期的灵感，提升贝叶斯四次方在复杂模型更新中的效率与鲁棒性。
2026-02-24 cs.NA math.NA stat.CO
Variational Bayesian Monte Carlo
University of Geneva（日内瓦大学）
科学计算和机器学习中感兴趣的许多概率模型具有昂贵的黑盒似然性，这阻止了用于贝叶斯推断的标准技术的应用，例如MCMC，这将需要访问梯度或大量似然性评估。我们在这里介绍一种新的样本有效的推理框架，变分贝叶斯蒙特卡罗（VBMC）。VBMC结合了变分推断与基于高斯过程的主动采样贝叶斯求积，使用后者来有效地近似变分目标中的难处理积分。我们的方法产生的后验分布的非参数近似和模型证据的近似下界，有用的模型选择。我们证明VBMC的几个合成的可能性和神经元模型的数据从真正的神经元。在所有测试的问题和维度（直到$D = 10$）中，VBMC在重建后验和模型证据方面的表现一直很好，而不像其他方法只在非常低的维度上工作。我们的框架显示出巨大的潜力，作为一种新的工具，昂贵的，黑箱似然后验和模型推理。
2018-11-29 cs.LG q-bio.NC q-bio.QM
Bayesian threshold selection for extremal models using measures of surprise
统计极值理论关注的是使用渐近激励模型来描述过程的极值。许多常用的模型对于超过某个高阈值的观测数据是有效的。然而，在实践中，一个合适的阈值是未知的，必须为每个分析确定。虽然有许多单变量极值的阈值选择方法，但可以应用于多变量设置的方法相对较少。此外，只有少数基于贝叶斯的方法，由于数据稀缺，这些方法在极端情况建模方面自然具有吸引力。使用贝叶斯措施的惊喜，以确定合适的阈值极值模型的建议。这些措施量化了对拟议极值模型和阈值的支持程度，而无需指定任何模型替代方案。这种方法很容易实现单变量和多变量的极端。
2014-12-09 stat.CO stat.ME
Batch simulations and uncertainty quantification in Gaussian process surrogate approximate Bayesian computation
Department of Biostatistics, University of Oslo（奥斯陆大学生物统计系）；Helsinki Institute for Information Technology HIIT, Department of Computer Science, Aalto University（赫尔辛基信息技术研究所，阿尔托大学计算机科学系）
近似贝叶斯计算（ABC）的计算效率已被提高，通过使用代理模型，如高斯过程（GP）。在这样一个有前途的框架模拟和观察到的数据之间的差异建模与GP，这是进一步用于形成一个基于模型的估计难以处理的后验。在本文中，我们将从几个方面改进这种方法。我们开发了批序贝叶斯试验设计策略，并行化昂贵的模拟。在早期的工作中，只使用了顺序策略。目前基于替代的ABC方法也没有充分考虑到由于模拟预算有限而导致的不确定性，因为它们仅输出ABC后验的点估计。我们提出了一种数值方法来充分量化的不确定性，例如，ABC后验矩。我们还提供了一些新的分析GP建模的假设，在由此产生的改进框架称为贝叶斯ABC，并讨论其连接到贝叶斯正交（BQ）和贝叶斯优化（BO）。玩具和现实世界的仿真模型的实验证明了所提出的技术的优势。
2020-08-06 cs.LG stat.CO stat.ME
Assessing racial inequality in COVID-19 testing with Bayesian threshold tests
COVID-19检测阳性率存在种族差异，这表明少数民族可能被低估了。在这里，借鉴文献上的统计评估种族差异的警务，我们1）阐明了一个统计缺陷，称为超边缘，在使用阳性率作为衡量评估种族差异的测试不足; 2）开发一种新型的贝叶斯阈值测试来衡量COVID-19测试中的差异，3）应用该测试来衡量真实环境中测试阈值的种族差异。全球COVID-19数据集。
2020-11-02 stat.AP
Accelerating material discovery with a threshold-driven hybrid acquisition policy-based Bayesian optimization
West Virginia University（西弗吉尼亚大学）
本文提出阈值驱动的UCB-EI混合采集策略贝叶斯优化（TDUE-BO），通过动态切换探索与利用，高效导航高维材料空间，在三个数据集上优于传统BO方法。
2023-11-16 cond-mat.mtrl-sci cs.LG stat.ML
Stopping Criterion Design for Recursive Bayesian Classification: Analysis and Decision Geometry
Northeastern University（东北大学）；Pittsburg University（匹兹堡大学）
基于递归贝叶斯分类更新的系统通过某些停止/终止标准限制证据收集的成本，并相应地执行决策。常规地，通常使用两个终止准则，其基于在（i）状态后验分布的最大值;和（ii）状态后验不确定性上的预定义阈值。在本文中，我们提出了一个几何解释的状态后验级数，因此，我们提供了一个逐点分析的缺点，使用这种传统的终止标准。例如，通过建议的几何解释，我们表明，定义在最大的状态后验的置信阈值遭受刚度，导致不必要的证据收集，而基于不确定性的阈值方法是脆弱的类别数和提前终止，如果一些国家的候选人已经发现是不利的。此外，这两种类型的终止方法忽略了后验更新的演变。然后，我们提出了一个新的停止/终止标准的几何洞察力，以克服这些传统方法的局限性，并提供了一个比较的决策精度和速度。我们验证我们的主张，使用模拟和真实的实验数据，通过大脑计算机接口打字系统。
2021-04-25 cs.LG eess.SP stat.ML
