A Guide to General-Purpose Approximate Bayesian Computation Software
本章，“通用ABC软件指南”，将出现在即将出版的近似贝叶斯计算手册（2018）中。我们目前的通用软件来执行近似贝叶斯计算（ABC）的R-包ABC和EasyABC和C++程序ABCtoolbox中实现。通过简单的玩具模型，我们演示了如何进行参数推断，模型选择，验证和汇总统计量的最佳选择。我们演示了如何结合ABC与马尔可夫链蒙特卡罗和描述一个现实的群体遗传学应用。
2018-06-21 stat.CO
Finding our Way in the Dark: Approximate MCMC for Approximate Bayesian Methods
有了更大的数据，科学家们就有勇气去解决那些需要复杂的统计模型的复杂问题。对于后者来说，具有似然函数而无法用解析公式表示是很平常的。即使在这样的逆境下，当可以从抽样分布进行模拟时，也可以使用近似贝叶斯计算（ABC）或贝叶斯合成似然法（BSL）等近似方法进行贝叶斯分析。这些方法的一个显著缺点是所需的模拟数量可能非常大，从而严重限制了它们的范围。在本文中，我们设计的扰动MCMC采样器，可用于在ABC和BSL范式显着加快计算，同时保持控制的计算效率。拟议中的战略依赖于从连锁店的过去回收样本。算法设计的理论分析支持，而实际性能通过一系列的仿真例子和数据分析进行检查。
2019-05-16 stat.CO
Improving approximate Bayesian computation via quasi-Monte Carlo
近似贝叶斯计算（ABC）是处理具有难处理的可能性的模型的一般方法。在这项工作中，我们推导出基于QMC（准蒙特卡罗）序列的ABC算法。我们表明，由此产生的ABC估计有一个较低的方差比他们的蒙特卡罗的对手。我们还开发了顺序ABC算法的QMC变体，逐步适应提案分布和接受阈值。我们说明了我们的QMC方法，通过几个例子从ABC文学。保留字：近似贝叶斯计算，无似然推断，拟蒙特卡罗，随机化拟蒙特卡罗，自适应重要性抽样
2018-05-07 stat.CO
Testing model specification in approximate Bayesian computation
我们提出了一个程序来诊断模型的误指定的情况下，推理是使用近似贝叶斯计算。我们从理论上和经验上证明，这个过程可以始终如一地检测到模型误指定的存在。我们的例子表明，这种方法提供了良好的有限样本的性能，是计算量小于现有的方法，所有这些都需要重新运行的推理算法。实证应用建模汇率日志回报使用g和k分布完成的文件。
2022-10-23 stat.ME
Adaptive approximate Bayesian computation
顺序技术可以提高效率的近似贝叶斯计算算法，如在Sisson等人。的（2007）部分拒绝控制版本。虽然这种方法是基于Del Moral等人（2006）的理论工作，但应用于近似贝叶斯计算会导致后验近似的偏差。基于真正的重要性抽样参数的替代版本与Cappe等人（2004）的总体蒙特卡罗方法相关，绕过了这个困难，并且它包括前向内核的自动缩放。当应用于人口遗传学的例子，它相比，毫不逊色于其他两个版本的近似算法。
2009-03-28 stat.CO
Modelling extremes using approximate Bayesian Computation
根据其构造的性质，许多极值的统计模型导致计算上禁止评估的似然函数。因此，这对于基于似然性的推理来说是有问题的。以贝叶斯框架为重点，本章探讨了使用近似贝叶斯计算（ABC）技术来拟合和分析极端情况的统计模型。在介绍了ABC算法和方法背后的思想之后，我们展示了它们在体视学和空间极值中的极值模型的应用。
2014-11-05 stat.CO stat.ME
Adaptive Bayesian Online Learning via Expert Aggregation
Inha University（仁荷大学）
研究如何改进贝叶斯在线学习，将其更新规则视为专家，按顺序预测损失聚合专家。通过在线共形推理和高斯过程回归实例化框架，得到平滑贝叶斯对应物及神谕不等式，实验显示聚合能跟踪强大专家且无需神谕专家选择。
2026-07-23 cs.LG stat.ML
On the use of approximate Bayesian computation Markov chain Monte Carlo with inflated tolerance and post-correction
近似贝叶斯计算允许使用模型模拟来推断具有棘手可能性的复杂概率模型。近似贝叶斯计算的马尔可夫链蒙特卡罗实现通常对容差参数敏感：低容差导致不良混合，大容差导致过度偏差。我们考虑一种方法，使用一个相对较大的公差的马尔可夫链蒙特卡罗采样器，以确保其充分的混合，和后处理的输出导致估计的范围内更精细的公差。我们引入了一个近似的置信区间相关的后校正估计，并提出了一个自适应的近似贝叶斯计算马尔可夫链蒙特卡罗，找到一个“平衡”的容忍度自动水平，接受率优化的基础上。我们的实验表明，基于后处理的估计器可以执行更好的比直接马尔可夫链瞄准一个很好的公差，我们的置信区间是可靠的，我们的自适应算法导致可靠的推理与用户规格很少。
2019-05-16 stat.CO
Evaluation of mineralogy per geological layers by Approximate Bayesian Computation
提出了一种基于贝叶斯线性回归模型的矿物学反演方法。我们的方法基本上依赖于三个步骤。第一步利用近似贝叶斯计算（ABC），并从贝叶斯生成器中选择一组与井筒数据响应密切对应的候选体积。第二步通过基于密度的聚类算法收集这些候选项。通过直接矿物学反演将矿物情景分配给每个聚类，并且我们为每个岩性假设提供置信度估计。这种方法的优点是探索所有可能的矿物学假设，匹配的井筒数据。该管道在合成和真实数据集上进行了测试。
2019-05-28 physics.geo-ph stat.AP
Multilevel Monte Carlo in Approximate Bayesian Computation
在下面的文章中，我们考虑近似贝叶斯计算（ABC）推理。我们介绍了一种使用多级蒙特卡罗（MLMC）的ABC后验的数值逼近方法。一个序贯蒙特卡罗版本的方法开发，它是在一定的假设下，对于一个给定的水平的均方误差，这种方法的ABC具有较低的成本比i.i.d.从最精确的ABC近似中采样。给出了几个数值例子。
2017-02-13 stat.ME
Simple trees in complex forests: Growing Take The Best by Approximate Bayesian Computation
启发式策略如何从较小的构建模块中产生？我们提出近似贝叶斯计算作为这个问题的计算解决方案。作为概念的第一个证明，我们演示了如何从较小的概率更新的构建块中学习启发式决策策略，如采取最佳策略（TTB）。基于一个自我强化的抽样方案，不同的积木组合，随着时间的推移，树状非补偿性的进化出现。这种新的算法，创造近似贝叶斯计算取最好的（ABC-TTB），能够恢复由TTB生成的数据集，导致有关线索重要性和线索方向的合理推断，可以优于传统的TTB，并允许权衡性能和计算工作明确。
2016-05-14 stat.AP
New Insights Into Approximate Bayesian Computation
近似贝叶斯计算（简称ABC）是一种计算技术，它在后验似然估计在计算上是禁止的情况下，或者在合适的似然不可用时，提供了一种几乎自动化的解决方案。在本文中，我们分析的过程中，从k-近邻理论的角度来看，并探讨其输出的统计特性。我们讨论特别是一些渐近特性的真正的条件密度估计与ABC，这是一个有趣的混合之间的k-最近邻和核方法。
2013-06-03 math.ST stat.TH
Approximate Bayesian Computations to fit and compare insurance loss models
近似贝叶斯计算（ABC）是一种通过比较观测数据和模拟数据来校准和选择模型的统计学习技术。这种技术绕过了可能性的使用，只需要从感兴趣的模型生成合成数据的能力。我们应用ABC来使用汇总数据拟合和比较保险损失模型。提出了一种最先进的ABC在Python中的实现。它使用序贯蒙特卡罗从后验分布和瓦瑟斯坦距离比较观察到的和合成的数据。
2021-05-01 stat.CO
Convergence of Regression Adjusted Approximate Bayesian Computation
我们给出了Beaumont（2002）引入的近似贝叶斯计算的回归调整版本的渐近结果。我们表明，对于一个适当的选择的带宽，回归调整将导致后，渐近，正确量化的不确定性。此外，对于这样的带宽选择，我们可以实现重要性采样算法来从后验中采样，其接受概率随着数据样本量的增加而趋于统一。这与标准近似贝叶斯计算的结果相比是有利的，在标准近似贝叶斯计算中，获得正确量化不确定性的后验的唯一方法是选择小得多的带宽;对于该带宽，接受概率趋于零，因此蒙特卡洛误差将占主导地位。
2017-11-28 math.ST stat.CO stat.TH
Approximate Bayesian computation scheme for parameter inference and model selection in dynamical systems
近似贝叶斯计算方法可用于评估后验分布，而不必计算似然。本文讨论并应用基于序贯蒙特卡罗（SMC）的近似贝叶斯计算（ABC）方法估计动力学模型的参数。我们发现，ABC SMC提供了有关参数的可推断性和模型对参数变化的敏感性的信息，并且往往比其他ABC方法表现得更好。该算法被应用到几个著名的生物系统，其中参数和它们的可信区间的推断。此外，我们开发的ABC SMC作为模型选择的工具，给出了一系列不同的数学描述，ABC SMC能够选择最好的模型，使用标准的贝叶斯模型选择装置。
2009-01-14 stat.CO stat.ME
Approximate Bayesian Computation for Lorenz Curves from Grouped Data
提出了一种新的基于分组数据的Lorenz曲线估计基尼系数的贝叶斯方法。所提出的方法假设一个假设的收入分布和估计的参数直接工作的似然函数隐含的洛伦兹曲线的收入分布从分组数据。它继承了现有的两种方法的优点，通过这两种方法可以更准确地估计基尼系数，并提供了一个简单的解释有关的收入分配。由于似然函数是隐式定义的，因此采用了基于序贯蒙特卡罗方法的近似贝叶斯计算方法。通过模拟研究和日本的收入数据说明了所提出的方法的实用性。
2017-08-09 stat.AP
Advances in Approximate Bayesian Inference for Models in Epidemiology
本综述探讨了近似贝叶斯推断在流行病学建模中的应用，重点评估了四类方法在平衡推断准确性与可扩展性方面的创新，并提供了方法选择的实用指南。
2025-04-28 stat.CO stat.ME
On the Asymptotic Efficiency of Approximate Bayesian Computation Estimators
许多统计应用涉及的模型，很难评估的可能性，但它是相对容易的样本。近似贝叶斯计算是在这种情况下实现贝叶斯推断的无似然方法。我们目前的结果估计的渐近方差使用近似贝叶斯计算在大数据限制。我们的关键假设是，数据是由一个固定维的汇总统计，服从中心极限定理。我们证明了近似贝叶斯计算后验均值的渐近正态性。这个结果还表明，在渐近方差方面，我们应该使用与参数向量p维数相同的汇总统计量;并且任何更高维数的汇总统计量都可以通过线性变换以仅能减少后验均值的渐近方差的方式减少到维数p。我们看看如何蒙特卡罗误差的重要性抽样算法的样本从近似贝叶斯计算后影响估计的准确性。我们给出了重要性抽样建议分布的条件，使得估计量的方差与基于汇总统计量的极大似然估计量的方差为同一阶。这表明了一个迭代的重要性抽样算法，我们经验评估的随机波动率模型。
2017-11-28 math.ST stat.ME stat.TH
Robust and Efficient Approximate Bayesian Computation: A Minimum Distance Approach
在许多情况下，近似贝叶斯方法的应用受到两个实际特征的阻碍：1）将数据向下投影到低维摘要的要求，包括这种投影的选择，这最终会产生低效的推理; 2）可能缺乏对基础模型结构偏差的鲁棒性。出于这些效率和鲁棒性的问题，我们构建了一个新的贝叶斯方法，可以提供有效的估计时，底层模型是指定的，同时是强大的某些形式的模型误指定。这种新方法通过考虑经验和模拟概率测度之间的范数来绕过摘要的计算。对于特定的选择的规范，我们证明了这种方法可以提供点估计，是使用精确的贝叶斯推断，同时也显示鲁棒性的基础模型假设的偏差所获得的效率。
2020-06-25 econ.EM math.ST stat.ME
A Generative Bayesian Model for Aggregating Experts' Probabilities
Stanford University（斯坦福大学）
为了改进预测，决策者通常将各种来源给出的概率结合起来，例如人类专家和机器学习分类器。当几乎没有训练数据可用时，可以通过合并关于被预测的事件和关于专家的显著属性的先验知识来改进聚合。为此，我们开发了一个生成贝叶斯聚集模型的概率分类。该模型包括一个事件特定的先验，个别专家的偏见，校准，准确性的措施，和专家之间的依赖性的措施。而不是需要绝对的措施，我们表明，聚合可以表示在专家之间的相对准确性。该模型的结果在一个加权对数意见池（LogOps），满足一致性标准，如外部贝叶斯属性。我们推导出独立的和可交换的专家的解析解。实证检验表明，该模型的使用，比较其准确性与其他聚合方法。
2012-07-11 cs.LG stat.ML
Robust Approximate Bayesian Computation: An Adjustment Approach
我们提出了一种新的方法来近似贝叶斯计算（ABC），旨在满足可能的误指定的假设模型。这种新的方法可以同样适用于拒绝为基础的ABC和流行的回归调整ABC。我们证明，这种新的方法减轻了回归调整ABC的性能不佳，可以发生时，模型被错误指定。此外，这种新的调整方法使我们能够检测到哪些特征的观测数据不能可靠地再现的假设模型。一系列的模拟和实证的例子说明了这种新的方法。
2020-08-07 stat.CO stat.ME
On sequential Monte Carlo, partial rejection control and approximate Bayesian computation
我们提出了一个序贯蒙特卡罗采样器的部分拒绝控制算法的变体，并表明，这种变体可以被认为是一个序贯蒙特卡罗采样器与修改后的突变内核。我们证明了新的采样器可以减少增量的重要性权重的方差相比，标准的序贯蒙特卡罗采样器。我们提供了一个新的算法的理论性质的研究，并与现有的一些算法。最后，采样器是适应于应用程序下的挑战性的“似然自由”，近似贝叶斯计算建模框架，在那里我们表现出优越的性能超过现有的似然自由采样器。
2009-11-11 math.ST stat.CO stat.TH
The Use of a Single Pseudo-Sample in Approximate Bayesian Computation
我们分析了近似贝叶斯计算（ABC）的计算效率，它近似的似然函数从相关的模型中提取伪样本。对于ABC的拒绝抽样版本，已知的是，与采用基于单个伪样本的高方差估计相比，多个伪样本不能显著增加（并且可以显著降低）算法的效率。我们表明，这一结论也适用于马尔可夫链蒙特卡罗版本的ABC，这意味着它是不必要的调整伪样本的数量在ABC-MCMC。这一结论与粒子MCMC方法相反，对于粒子MCMC方法，增加粒子的数量可以在计算效率上提供很大的增益。
2016-02-16 math.ST stat.CO stat.TH
Approximating the Likelihood in Approximate Bayesian Computation
本章将出现在即将出版的近似贝叶斯计算手册（2018）中。支撑近似贝叶斯计算（ABC）的概念和方法框架主要针对可能性具有挑战性或缺失的问题。ABC使用基于模拟的非参数估计汇总统计量的可能性，并假设从模型生成数据在计算上是便宜的。本章回顾了两种估计棘手的可能性的替代方法，目的是减少必要的模型模拟，以产生近似的后验。其中第一个是合成似然（SL）的贝叶斯版本，最初由Wood（2010）开发，它使用多变量正态近似来概括统计似然。使用ABC的参数近似而不是非参数近似，可以减少所需的模型模拟的数量。我们在本章中考虑的第二种似然近似方法是基于经验似然（EL），这是一种非参数技术，涉及在一组矩约束下最大化经验构建的似然。Mengersen et al（2013）修改了EL框架，以便它可以用于形成ABC可以应用的问题的近似后验，即具有棘手可能性的模型。然而，与ABC和贝叶斯SL（BSL）不同，贝叶斯EL（BCel）方法可以在某些情况下完全避免模型模拟。BSL和BCel方法说明了不同复杂性的模型。
2018-03-18 stat.CO stat.ME
Multifidelity Approximate Bayesian Computation with Sequential Monte Carlo Parameter Sampling
多保真度近似贝叶斯计算（MF-ABC）是一种用于参数推断的无可能性技术，它利用模型近似来显着提高ABC算法的速度（Prescott和Baker，2020）。以前的工作只考虑MF-ABC的上下文中的拒绝抽样，这并不特别有效地探索参数空间。在这项工作中，我们集成了多保真度的方法与ABC序贯蒙特卡罗（ABC-SMC）算法到一个新的MF-ABC-SMC算法。我们表明，ABC-SMC和MF-ABC产生的改进，以产生蒙特卡罗样本的效率和估计的ABC后被放大时，这两种技术一起使用。
2020-10-12 stat.CO
Optimal proposals for Approximate Bayesian Computation
我们使用序贯蒙特卡罗（SMC）（或人口蒙特卡罗，PMC）推导出近似贝叶斯计算（ABC）的最佳建议密度。最优性的标准是SMC/PMC-ABC采样器最大化每个参数建议的有效样本样本个数。最优建议密度代表了有利于高接受率和减少接受样本的重要性权重方差之间的最优权衡。我们讨论了两个方便的近似这个建议，并表明，最佳的建议密度提供了一个显着的提升，在预期的抽样效率相比，在ABC文献中常用的标准内核，特别是参数的数量增加。
2018-08-18 math.ST stat.ME stat.TH
Approximate Bayesian Computation via Sufficient Dimension Reduction
近似贝叶斯计算（ABC）由于其易于实现、解释性好和性能好等优点，近年来得到了广泛的应用。当遇到复杂的模型时，它的优点更加明显，其中极大似然估计以及通过马尔可夫链蒙特卡罗进行的贝叶斯分析需要大量的时间。本文从理论和计算两个角度研究了ABC的性质，并通过证明与其极限行为有关的定理来巩固ABC理论。特别是，我们认为部分后验，这是第一步接近完整的后验。提出了一种基于充分降维（SDR）的ABC半自动算法。SDR主要出现在频率论文献中。但我们在本文中已经证明了它与ABC也有联系。
2016-08-18 stat.CO
Recalibration: A post-processing method for approximate Bayesian computation
提出了一种新的重新校准后处理方法，以提高近似贝叶斯计算（ABC）算法的后验近似质量。重新校准可以与现有的后处理方法结合使用，例如回归调整。此外，这项工作扩展和加强ABC和间接推理算法之间的联系，允许更广泛地使用错误指定的辅助模型在ABC的上下文中。该方法使用模拟的例子来说明在各种条件下的重新校准的效果，并通过应用程序的体视学极端的分析和不使用辅助模型。实现重新校准后处理的代码在R包abctools中提供。
2017-04-21 stat.CO stat.ME
On Bayesian Softmax-Gated Mixture-of-Experts Models
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文研究了贝叶斯专家混合模型的softmax门控机制，分析了后验分布的渐近行为，推导了密度估计、参数估计和模型选择的收敛性保证，并提出了专家数量选择策略。
2026-04-22 cs.LG stat.ML
Semi-parametric Expert Bayesian Network Learning with Gaussian Processes and Horseshoe Priors
National University of Singapore（新加坡国立大学）；Harvard University（哈佛大学）
该研究提出带线性约束的半参数专家贝叶斯网络学习模型，结合高斯过程与差异化尺度马蹄先验引入少量非线性，可生成多样适配用户输入的图，在合成及UCI肝病数据集上性能优于现有半参数贝叶斯网络模型。
2024-01-29 cs.LG stat.ML
Bayesian Hierarchical Mixtures of Experts
Microsoft Research（微软研究院）
分层混合专家模型（HME）是一种基于软概率分裂的著名的基于树的回归和分类模型。在其原始公式中，它是通过最大似然法训练的，因此容易过度拟合。此外，最大似然框架没有提供用于优化树的复杂性和结构的自然度量。以前的尝试，以提供一个贝叶斯处理的HME模型依赖于ad-hoc局部高斯近似或处理相关的模型表示的联合分布的输入和输出变量。在本文中，我们描述了一个完全贝叶斯处理的HME模型的基础上变分推理。通过结合局部和整体变分方法，我们得到了一个严格的下限下的数据的边缘概率的模型。该界限在训练阶段进行优化，其结果值可用于模型阶数选择。我们目前的结果使用这种方法描述机器人手臂运动学的数据集。
2012-10-19 cs.LG stat.ML
A Mathematical Optimization Approach for Expert-Informed Bayesian Best Subset Selection
Systems and Information Systems and Information Engineering（系统与信息系及信息工程）
提出Expert-Implied Bayesian Best Subsets (EBBS)方法，通过最大后验框架将领域专家对特征相关性的概率估计融入混合整数优化最佳子集问题，使用泊松二项分布、成对胜率或归一化平均秩聚合专家观点，形成对数几率惩罚项指导特征选择。
2026-06-28 cs.LG stat.ML
Enhanced Bayesian Optimization via Preferential Modeling of Abstract Properties
Deakin University（迪肯大学）
本文提出一种人机协作贝叶斯优化框架，将专家对未测量抽象属性的偏好纳入代理建模，并能处理误导性专家偏差，实验证明其优于基线方法。
2024-02-27 cs.LG stat.ML
Variational Routing: A Scalable Bayesian Framework for Calibrated Mixture-of-Experts Transformers
Department of Computing, Imperial College London（伦敦帝国理工学院计算机系）
提出变分混合专家路由（VMoER），通过将贝叶斯推断限制在专家选择阶段，实现大规模模型的不确定性校准，在微调基础模型上显著提升路由稳定性、降低校准误差并提高分布外检测AUROC，且额外计算开销极小。
2026-05-28 cs.AI cs.LG stat.ML
Bayesian Online Learning for Consensus Prediction
University of California, Irvine（加州大学欧文分校）
针对无基准真值、模型预测免费但人工查询有成本的在线分类场景，提出基于多元超几何分布的在线贝叶斯共识估计框架，从部分反馈动态估计专家共识，在查询成本与性能间实现可解释权衡，在两个大规模众包数据集上验证了有效性。
2023-12-12 cs.LG stat.ML
Incorporating Expert Prior Knowledge into Experimental Design via Posterior Sampling
National University of Singapore（新加坡国立大学）；Deakin University（迪肯大学）；University of Oxford（牛津大学）
科学实验通常由于复杂的实验准备和处理而昂贵。因此，试验设计涉及的任务是通过使用尽可能少的实验来找到最佳的实验输入，从而产生期望的输出。实验者往往可以获得关于全局最优解的位置的知识。然而，他们不知道如何利用这些知识来加速试验设计。在本文中，我们采用了试验设计的贝叶斯优化技术，因为贝叶斯优化已经建立了自己作为一个有效的工具，优化昂贵的黑箱功能。同样，如何将专家关于全局最优解的先验知识结合到贝叶斯优化过程中是未知的。为了解决这个问题，我们表示专家知识的全局最优通过放置一个先验分布，然后我们推导出其后验分布。通过对全局最优解的后验分布进行后验抽样，提出了一种有效的贝叶斯优化方法。我们从理论上分析了算法的收敛性，并讨论了引入专家先验知识的鲁棒性。我们通过优化合成函数和调整分类器的超参数以及合成短聚合物纤维的真实实验来评估我们的算法的效率。结果清楚地表明了我们所提出的方法的优点。
2020-02-26 cs.LG stat.ML
Bayesian inference for bivariate ranks
Université du Québec à Montréal（蒙特利尔魁北克大学）；Université de Montréal（蒙特利尔大学）；Université catholique de Louvain（天主教鲁汶大学）
提出了一种基于排名的推荐系统，其中专家对一组对象的排名和用户对这些对象的子集的排名相结合，以预测用户对所有对象的排名。排名被认为是由潜在的连续变量对应的专家和用户的对象分配的等级诱导。专家和用户的等级之间的依赖关系是由一个Copula在一些参数的家庭。给定copula参数的先验分布，在专家完全排序和用户不完全排序的条件下，通过用户完全排序的后验预测分布模型预测用户的完全排序.提出了各种马尔可夫链蒙特卡罗算法来近似预测分布或仅近似其模式。通过对Farlie-Gumbel-Morgenstern Copula函数族的分析，得到了精确的预测分布，为算法的逼近精度提供了一个基准。该方法应用于MovieLens 100 k数据集，专家和用户的等级之间具有高斯copula建模依赖性。
2018-02-09 cs.LG stat.ML
Incorporating Expert Prior in Bayesian Optimisation via Space Warping
Deakin University（迪肯大学）；Applied Artificial Intelligence Institute（应用人工智能研究所）
贝叶斯优化是一个著名的样本有效的方法，用于优化昂贵的黑盒函数。然而，当处理大的搜索空间时，该算法在达到函数的最优值之前会经过几个低函数值区域。由于函数评估在金钱和时间方面都是昂贵的，因此可能希望缓解这个问题。平息这种冷启动阶段的一种方法是使用可以加速优化的先验知识。在其标准形式中，贝叶斯优化假设搜索空间中的任何点是最优的可能性是相等的。因此，任何可以提供关于函数的最优性的信息的先验知识都将提高优化性能。在本文中，我们表示的先验知识的函数最优通过一个先验分布。然后，先验分布被用来扭曲的搜索空间在这样一种方式，空间得到扩大周围的高概率区域的功能最优和收缩周围的低概率区域的最优。我们通过重新定义核矩阵，将此先验直接纳入函数模型（高斯过程），这使得该方法可以与任何采集函数一起工作，即采集不可知方法。我们通过优化的几个基准函数和超参数调整的两个算法：支持向量机（SVM）和随机森林，我们的方法优于标准贝叶斯优化方法。
2020-03-27 cs.LG stat.ML
A similarity-based Bayesian mixture-of-experts model
KTH Royal Institute of Technology（瑞典皇家理工学院）；RaySearch Laboratories（瑞镭实验室）；Silo AI（Silo AI（西洛人工智能公司））
我们提出了一个新的非参数混合专家模型的多元回归问题，启发的概率k-近邻算法。使用条件指定的模型，对样本外输入的预测基于与每个观察到的数据点的相似性，产生由高斯混合表示的预测分布。后验推理的混合物成分的参数，以及使用平均场变分贝叶斯算法伴随着随机梯度为基础的优化过程的距离度量。所提出的方法是特别有利的设置，其中输入是相对较高的维度相比，数据的大小，其中输入-输出关系是复杂的，并且其中预测分布可能是偏斜的或多模态的。对五个数据集的计算研究，其中两个是综合生成的，说明了我们的混合专家方法对高维输入的明显优势，在验证指标和目视检查方面都优于竞争对手的模型。
2022-08-03 cs.LG stat.ME stat.ML
Using Deep Neural Network Approximate Bayesian Network
Taiyuan University of Technology（太原理工大学）；Beihang University（北京航空航天大学）
提出了一种利用深度神经网络来近似贝叶斯网络后验概率的新方法。在多个公共贝叶斯网络数据集上的实验结果表明，深度神经网络能够通过从少量观测值和后验概率分布对中学习贝叶斯网络的联合概率分布，具有较高的精度。与传统的近似方法似然加权抽样算法相比，该方法在中等规模的贝叶斯网络中具有更快的速度和更高的精度。我们的方法的另一个优点是，我们的方法可以在GPU上并行更容易，无需额外的努力。我们还探讨了模型的准确性与训练样本数量之间的关系。结果表明，我们的模型饱和的训练样本的数量增长，我们不需要很多的训练样本，以获得合理的好结果。我们工作的另一个贡献是，我们已经证明了像深度神经网络这样的判别模型可以近似像贝叶斯网络这样的生成模型。
2018-01-11 cs.LG stat.ML
Healing Products of Gaussian Processes
University College London（伦敦大学学院）；University of Johannesburg（约翰内斯堡大学）；University of the Witwatersrand（金山大学）
高斯过程（GP）是一种非参数贝叶斯模型，已被应用于回归和分类问题。减轻其立方训练成本的方法之一是使用在数据子集上训练的本地GP专家。特别是，专家产品模型通过一个易于处理的产品操作结合了当地专家的预测分布。虽然这些专家模型允许大规模分布式计算，但它们的预测通常会受到平均值或未校准不确定性量化的不稳定行为的影响。通过校准预测通过回火softmax加权，我们提供了一个解决方案，这些问题的多个产品的专家模型，包括广义产品的专家和强大的贝叶斯委员会机。此外，我们利用最佳运输文献，并提出了一个新的产品的专家模型，结合当地专家的预测，通过计算他们的Wasserstein重心，这可以应用于回归和分类。
2021-02-14 cs.LG stat.ML
Approximate Learning in Complex Dynamic Bayesian Networks
University of Warwick（华威大学）
在本文中，我们扩展了Smith和Papamichail（1999）的工作，并提出了用于复杂场景中学习的快速近似贝叶斯算法，其中在任何时间范围内，解释性状态空间变量之间的关系可以通过随时间动态演变的贝叶斯网络来描述，并且所采取的观测不一定是高斯的。它使用最近的发展，结合更熟悉的高斯传播算法的连接树的近似贝叶斯预测方法。对于常见的采样分布，给出了从数据中学习状态参数的过程，并通过实际应用说明了该方法。动态近似的效率进行了探讨，通过使用海林格发散措施和理论界的功效，这样一个程序进行了讨论。
2013-01-23 cs.LG stat.ML
Correcting Predictions for Approximate Bayesian Inference
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所 HIIT）；University of Helsinki（赫尔辛基大学）
贝叶斯模型量化不确定性，并促进下游应用的最佳决策。然而，对于大多数模型，从业者被迫使用近似推理技术，由于不正确的后验预测分布，导致次优决策。我们提出了一种新的方法，通过改变决策过程来纠正后验推理的不准确性。我们训练一个单独的模型，使最佳决策下的近似后验，结合可解释的贝叶斯建模与优化的直接预测精度的原则性的方式。该解决方案是一般适用于作为一个插件模块的预测决策的任意概率程序，无论后验推理策略。我们证明了经验的方法在几个问题，确认其潜力。
2019-09-11 cs.LG stat.ML
Tractable Approximate Gaussian Inference for Bayesian Neural Networks
Polytechnique Montréal（蒙特利尔理工学院）
本文提出了一种在贝叶斯神经网络中进行易于处理的近似高斯推理（TAGI）的分析方法。该方法能够对权重和偏差的后验均值向量和对角协方差矩阵进行分析高斯推断。所提出的方法相对于参数$n$的数量具有$\mathcal{O}(n)$的计算复杂性，并且对回归和分类基准进行的测试证实，对于相同的网络架构，它与依赖于梯度反向传播的现有方法的性能相匹配。
2021-12-07 cs.LG stat.ML
URSABench: Comprehensive Benchmarking of Approximate Bayesian Inference Methods for Deep Neural Networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；US Army Research Laboratory（美国陆军研究实验室）
虽然深度学习方法在广泛的应用领域中继续提高预测准确性，但其性能的其他方面仍然存在重大问题，包括量化不确定性的能力和鲁棒性。近似贝叶斯推理的最新进展为解决这些问题提供了重要的承诺，但这些方法的计算可扩展性在应用于大规模模型时可能会出现问题。在本文中，我们描述了URSABench（不确定性，鲁棒性，可扩展性和准确性基准测试）的开发工作，这是一个开源的基准测试工具套件，用于全面评估近似贝叶斯推理方法，重点是基于深度学习的分类任务
2020-07-08 cs.LG stat.ML
Bayesian Inverse Transition Learning: Learning Dynamics From Near-Optimal Trajectories
Harvard University（哈佛大学）；Imperial College London（帝国理工学院伦敦分校）
本文提出逆向转移学习方法，通过近优轨迹的有限覆盖作为特征，结合贝叶斯方法估计动态，提升决策质量并指导迁移成功判断。
2026-04-27 cs.AI cs.LG stat.ML
Bayesian Bandit Algorithms with Approximate Inference in Stochastic Linear Bandits
Columbia University（哥伦比亚大学）；Morgan Stanley（摩根大通）
本文提出理论框架分析随机线性bandit中近似贝叶斯推断的影响，证明LinTS和LinBUCB保持原始遗憾速率但常数增大，且LinBUCB达到极小极大最优速率。
2025-05-22 cs.LG stat.ML
Approximate Bayesian Inference in Linear State Space Models for Intermittent Demand Forecasting at Scale
Amazon Development Center, Germany（亚马逊开发中心（德国））
针对线性状态空间模型，提出了一种可扩展的鲁棒贝叶斯推断方法.该方法被应用到需求预测的背景下，一个大型电子商务平台，特别注意间歇性和突发性的目标统计。推理近似的牛顿-拉夫森算法，减少到线性时间卡尔曼平滑，这使我们能够操作几个数量级以上的问题比以前的相关工作。在对大型真实世界销售数据集的研究中，我们的方法在快速和中等移动项目上优于竞争方法。
2017-09-22 cs.LG stat.ML
Loss-calibrated expectation propagation for approximate Bayesian decision-making
Princeton Neuroscience Institute（普林斯顿神经科学研究所）；Princeton University（普林斯顿大学）
近似贝叶斯推断方法提供了一套强大的工具，找到近似的棘手的后验分布。然而，机器学习应用程序通常涉及选择动作，在贝叶斯设置中，这些动作仅通过其对预期效用的贡献取决于后验分布。因此，越来越多的关于损失校准近似推理方法的工作试图开发对效用函数的影响敏感的后验近似。在这里，我们引入损失校准期望传播（Loss-EP），期望传播的损失校准变体。这种方法类似于标准EP，但有一个额外的因素使后验概率向更高效用的决策“倾斜”。我们展示了应用程序的高斯过程分类下的二进制效用函数与不对称的罚款假阴性和假阳性错误，并显示这种不对称性如何可以有戏剧性的后果，什么信息是“有用的”捕捉在一个近似。
2022-01-10 cs.LG stat.ML
Approximate cross-validation formula for Bayesian linear regression
Tokyo Institute of Technology（东京工业大学）；Hiroshima University（广岛大学）
交叉验证（CV）是一种基于给定数据集评估统计模型/学习系统能力的技术。尽管其广泛的适用性，相当沉重的计算成本可以阻止其使用的系统规模的增长。为了解决贝叶斯线性回归的情况下，这个困难，我们开发了一个公式，用于估计留一法CV误差近似没有实际执行CV。开发的公式的有用性进行了测试的统计力学分析的合成模型。这一点也通过应用于真实世界的超新星数据集得到了证实。
2016-10-25 cs.LG stat.ML
Integrating Bayesian Spectral Deconvolution and Expert Scientific Reasoning for Robust Peak Estimation
Hitotsubashi University（一桥大学）；The University of Tokyo（东京大学）；University of California, Santa Barbara（加州大学圣塔芭芭拉分校）
本文提出一种结合频谱反卷积与专家科学推理的贝叶斯框架，用于在存在高强度噪声或未知背景时稳健地估计峰结构，通过将物理性质回归层与贝叶斯频谱反卷积结合，提升峰识别的准确性。
2026-05-17 physics.data-an stat.AP stat.ML
Root Cause Analysis in Lithium-Ion Battery Production with FMEA-Based Large-Scale Bayesian Network
锂离子电池单元的生产的特征在于由于工艺特性之间的许多因果关系而导致的高度复杂性。关于多阶段生产的知识在几个专家之间传播，使故障分析任务具有挑战性。本文提出了一种新的方法，包括专家知识的获取，在生产爬坡相结合的故障模式与影响分析（FMEA）与贝叶斯网络。提出了特殊的算法，帮助检测和解决专家提供的参数之间的不一致性，必然会发生从几个过程专家收集知识。我们通过建立一个大规模的，跨过程的贝叶斯失效网络在锂离子电池生产和其应用的根本原因分析，这种整体方法的有效性。
2020-06-15 stat.AP stat.ML
Bayesian Classifier Fusion with an Explicit Model of Correlation
TU Darmstadt（达姆施塔特工业大学）；Frankfurt Institute for Advanced Studies（法兰克福高等研究院）；Goethe University Frankfurt（法兰克福歌德大学）
将多个分类器或专家的输出组合成单个概率分类是机器学习中的基本任务，具有从分类器融合到专家意见池的广泛应用。在这里，我们提出了一个分层贝叶斯模型的概率分类器融合的基础上，一个新的相关Dirichlet分布。该分布明确地对边缘狄利克雷分布的随机向量之间的正相关性进行建模，从而允许对基础分类器或专家之间的相关性进行明确建模。所提出的模型自然容纳经典的独立意见池和其他独立的融合算法的特殊情况。它是由不确定性减少和正确性的合成和真实世界的数据集融合评估。我们表明，由于不确定性降低的融合分类器的性能的变化可以是贝叶斯最优的，即使是高度相关的基础分类器。
2021-11-22 cs.AI cs.LG stat.ML
A Bayesian Approach to Policy Recognition and State Representation Learning
本文提出一种贝叶斯方法，用于在不假设专家行为最优的情况下，学习任意随机专家策略，并推断专家使用的状态表示复杂度及任务相关的状态空间划分。
2017-08-04 cs.LG cs.SY eess.SY
