Approximate Bayesian inference from noisy likelihoods with Gaussian process emulated MCMC
提出用高斯过程模拟Metropolis-Hastings采样进程的近似贝叶斯推断框架,在有限噪声似然评估下实现高效且鲁棒的推断。
2023-08-31 stat.CO stat.ME stat.ML
Bayesian optimisation for fast approximate inference in state-space models with intractable likelihoods
本文研究了具有难处理似然的非线性状态空间模型的近似贝叶斯参数推断问题。具有近似贝叶斯计算的序贯蒙特卡罗(SMC-ABC)是一种用于近似这种类型的模型中的可能性的方法。然而,这种近似可能是有噪声的并且计算成本高,这阻碍了使用基于优化和蒙特卡罗方法的标准方法的有效实现。我们提出了一种计算效率高的新方法的基础上结合高斯过程优化和SMC-ABC创建一个拉普拉斯近似的棘手后。我们将所提出的算法用于随机波动率模型的推理,同时使用合成数据和真实数据,以及使用Copula模型估计两个投资组合的风险价值。我们的文件之间的一个和两个数量级的速度相比,国家的最先进的后验推理算法。
2017-06-13 q-fin.RM stat.CO stat.ML
A review of Approximate Bayesian Computation methods via density estimation: inference for simulator-models
本文通过密度估计的视角,综述了进行贝叶斯后验推理的近似贝叶斯计算(ABC)方法。我们描述了几个最近的算法,并与传统的方法。我们展示了基于参数化方法的模型的优点和局限性,然后我们提请注意机器学习的发展,我们认为这有可能使ABC可扩展到更高的维度,并可能是未来的研究方向在这一领域。
2019-09-06 stat.CO stat.ME
Efficient acquisition rules for model-based approximate Bayesian computation
近似贝叶斯计算(ABC)是当可能性不可用但从模型进行模拟是可能的时用于贝叶斯推断的方法。然而,许多ABC算法需要大量的模拟,这可能是昂贵的。为了减少计算成本,贝叶斯优化(BO)和代理模型,如高斯过程已经提出。贝叶斯优化使人们能够智能地决定下一步在哪里评估模型,但常见的BO策略并不是为了估计后验分布而设计的。我们的论文解决了文献中的这一空白。我们建议计算ABC后验密度的不确定性,这是由于缺乏模拟来准确估计这个数量,并定义一个损失函数来测量这种不确定性。然后,我们建议选择下一个评估位置,以尽量减少预期损失。实验表明,该方法往往产生最准确的近似相比,常见的BO策略。
2018-08-08 stat.CO stat.ME stat.ML
Implementing Approximate Bayesian Inference using Adaptive Quadrature: the aghq Package
介绍了用自适应求积实现近似贝叶斯推断的aghq软件包。该方法和软件进行了描述,并说明了在几个具有挑战性的低维和高维模型的近似贝叶斯推断包的使用。例子包括传染病模型;用于估计银河系质量的天体统计模型;基于非高斯模型的地质统计学中的两个例子,包括一个包含零膨胀的例子,这是不容易使用其他方法拟合的;零膨胀,过度分散计数数据的模型。aghq软件包与用于自动微分和拉普拉斯近似的流行的TMB接口特别兼容,并且该软件的现有用户可以使用非常少的附加代码使用aghq进行近似贝叶斯推断。aghq包可以从CRAN获得,本文中所有示例的完整代码可以在https://github.com/awstringer1/aghq-software-paper-code上找到。
2021-06-21 stat.CO
Approximate Bayesian Computing for Spatial Extremes
用于模拟空间极值的最大稳定过程的统计分析受到计算联合似然函数的困难的限制。这排除了所有标准的基于可能性的方法,包括贝叶斯方法。在本文中,我们提出了一个贝叶斯方法,通过使用近似贝叶斯计算。这避免了联合似然函数的需要,而是依赖于来自(不可用的)似然的模拟。该方法与基于复合似然的另一种方法进行了比较。我们表明,近似贝叶斯计算可以导致较低的均方误差比复合似然方法估计的极端空间依赖性时,虽然在一个明显更高的计算成本。我们还说明了该方法的性能与应用程序,美国的温度数据估计作物损失的风险,由于不太可能冻结事件。
2011-12-13 stat.CO stat.ME
Learning Summary Statistic for Approximate Bayesian Computation via Deep Neural Network
近似贝叶斯计算(ABC)方法用于近似具有未知或计算上难以处理的似然模型中的后验分布。ABC的准确性和计算效率都取决于汇总统计量的选择,但在已知最佳汇总统计量的特殊情况之外,尚不清楚可以使用哪些指导原则来构建有效的汇总统计量。在本文中,我们探索了通过训练深度神经网络来自动化构建汇总统计量的过程的可能性,以从人工生成的数据中预测参数:所得到的汇总统计量近似为参数的后验均值。通过最小的模型特定调整,我们的方法为伊辛模型和移动平均模型构建了汇总统计量,这些模型在所得后验的准确性方面匹配或超过了理论激励的汇总统计量。
2017-03-16 stat.CO stat.ME stat.ML
Using Deep Neural Network Approximate Bayesian Network
Taiyuan University of Technology(太原理工大学);Beihang University(北京航空航天大学)
提出了一种利用深度神经网络来近似贝叶斯网络后验概率的新方法。在多个公共贝叶斯网络数据集上的实验结果表明,深度神经网络能够通过从少量观测值和后验概率分布对中学习贝叶斯网络的联合概率分布,具有较高的精度。与传统的近似方法似然加权抽样算法相比,该方法在中等规模的贝叶斯网络中具有更快的速度和更高的精度。我们的方法的另一个优点是,我们的方法可以在GPU上并行更容易,无需额外的努力。我们还探讨了模型的准确性与训练样本数量之间的关系。结果表明,我们的模型饱和的训练样本的数量增长,我们不需要很多的训练样本,以获得合理的好结果。我们工作的另一个贡献是,我们已经证明了像深度神经网络这样的判别模型可以近似像贝叶斯网络这样的生成模型。
2018-01-11 cs.LG stat.ML
Leveraging Axis-Aligned Subspaces for High-Dimensional Bayesian Optimization with Group Testing
Lund University(隆德大学);DBtune
本文提出群组测试贝叶斯优化(GTBO),通过群组测试识别高维黑盒函数中的活跃变量,并重点利用轴对齐子空间假设指导优化,在相关基准上优于现有方法且更具可解释性。
2025-04-08 cs.LG stat.ML
Fast Convergent Algorithms for Expectation Propagation Approximate Bayesian Inference
提出了一种新的算法来解决连续变量图模型的贝叶斯推断的期望传播松弛问题。与以往的算法相比,我们的方法是可证明收敛的。通过将来自(Opper&Winther 05)的收敛EP思想与协方差解耦技术(Wipf&Nagarajan 08,Nickisch&Seeger 09)相结合,它比最常用的EP求解器至少快一个数量级。
2010-12-16 stat.ML
Functional regression approximate Bayesian computation for Gaussian process density estimation
我们提出了一种新的贝叶斯非参数方法的分层建模的一组相关的密度函数,其中分组数据的形式,从每个密度函数的样本是可用的。在这方面,在各群体之间借用力量是一项重大挑战。为了解决这个问题,我们引入了一个分层结构的先验,定义在一组单变量密度函数,使用方便的高斯过程的变换。推理是通过近似贝叶斯计算(ABC),通过一种新的功能回归调整。所提出的方法的性能说明通过模拟研究和分析农村高中考试在巴西的表现。
2014-10-30 stat.CO
Approximate Bayesian Computational methods
近似贝叶斯计算(ABC)方法也被称为无似然方法,在过去的十年中,它首先在遗传学中,然后在更广泛的应用中,作为解决不可处理的似然问题的最令人满意的方法出现。然而,这些方法在某种程度上遭受校准困难,这使得它们在实施中相当不稳定,从而使它们对更传统的蒙特卡罗方法的用户产生怀疑。在这项调查中,我们研究了近年来对原始ABC算法的各种改进和扩展。
2011-05-27 stat.CO
Approximate Bayesian Computation via Regression Density Estimation
近似贝叶斯计算(ABC)方法,适用于当可能性是困难的或不可能的计算,是当前研究的一个活跃的话题。大多数当前的ABC算法直接近似的后验分布,但替代的,不太常见的策略是近似的似然函数。这有几个优点。首先,在某些问题中,近似似然比近似后验更容易。第二,近似的可能性允许参考分析仅基于可能性构建。第三,一旦构建了可能性的近似值,就可以直接对几种不同的先验选择进行敏感性分析,这只需要进行一次。本文的贡献是考虑回归密度估计技术近似的可能性在ABC设置。我们的似然逼近建立在最近开发的边缘自适应密度估计器的基础上,将其扩展到条件密度估计。我们的方法有利于参考贝叶斯推断,以及频率论的推理。该方法是通过一个具有挑战性的问题,推理体视学的极端,在那里我们进行频率和贝叶斯推断。
2012-12-06 stat.CO stat.ME
PASS-GLM: polynomial approximate sufficient statistics for scalable Bayesian GLM inference
广义线性模型(GLM)--如逻辑斯谛回归、泊松回归和鲁棒回归--为不同的数据类型提供了可解释的模型。概率方法,特别是贝叶斯方法,允许对不确定性进行一致的估计,纳入先验信息,并通过分层模型在实验中共享功率。然而,在实践中,推理所需的近似贝叶斯方法要么无法扩展到大数据集,要么无法提供推理质量的理论保证。本文提出了一种基于构造多项式近似充分统计量的广义线性模型(PASS-GLM)。我们证明,我们的方法承认一个简单的算法,以及平凡的流和分布式扩展,不跨计算复合错误。我们提供理论保证点(MAP)估计,近似后验,后验均值和不确定性估计的质量。我们在使用二次近似的逻辑斯谛回归的情况下经验地验证了我们的方法,并在速度和多个准确性指标方面显示了与随机梯度下降,MCMC和拉普拉斯近似的竞争性能-包括具有4000万数据点和20,000协变量的广告数据集。
2018-12-17 stat.CO stat.ML
Approximate Methods for Bayesian Computation
丰富的数据生成机制在这个信息时代无处不在,需要复杂的统计模型来得出有意义的推论。虽然贝叶斯分析在过去的30年里取得了巨大的发展,受益于马尔可夫链蒙特卡罗(MCMC)抽样的成功应用所带来的推动力,但大数据和复杂模型的结合对传统MCMC算法提出了重大挑战。我们回顾了现代算法的发展,解决后者,并使用数值实验比较其性能。
2022-10-19 stat.CO
Approximate Bayesian inference in semiparametric copula models
我们描述了一个简单的方法进行推断的功能的多元分布。该方法是基于Copula表示的多变量分布,它是基于近似贝叶斯蒙特卡罗算法,其中建议的值的功能的利益加权的经验似然的属性。当与工作模型相关联的“真”似然函数太昂贵而无法评估时,或者当工作模型仅部分指定时,该方法特别有用。
2017-07-16 stat.CO stat.ME
AABC: approximate approximate Bayesian computation when simulating a large number of data sets is computationally infeasible
近似贝叶斯计算(ABC)方法在评估似然性困难时对机械激励的参数统计模型的模型特定参数执行推断。ABC方法成功的关键是从参数模型中对数据集进行计算上廉价的模拟。然而,当从模型中模拟数据集的计算成本如此之高,以至于参数的后验分布不能通过ABC充分采样时,推断并不简单。我们提出了近似近似贝叶斯计算(AABC),一类方法,扩展基于模拟的推理ABC模型,其中模拟数据是昂贵的。在AABC中,我们首先模拟有限数量的数据集,这些数据集在计算上是可行的,可以从参数模型中进行模拟。我们使用这些数据集作为固定的背景信息,通知一个非机械的统计模型,近似正确的参数模型,并使大量的数据集的贝叶斯回归方法的有效模拟。我们发现,在温和的假设下,由AABC得到的后验分布收敛到由ABC得到的后验分布,从参数模型模拟的数据集的数量和观察数据集的样本量同时增加。我们说明了AABC的性能上的人口遗传模型的自然选择,以及混合历史的混合动力种群的模型。
2013-01-26 stat.CO
Approximate Learning in Complex Dynamic Bayesian Networks
University of Warwick(华威大学)
在本文中,我们扩展了Smith和Papamichail(1999)的工作,并提出了用于复杂场景中学习的快速近似贝叶斯算法,其中在任何时间范围内,解释性状态空间变量之间的关系可以通过随时间动态演变的贝叶斯网络来描述,并且所采取的观测不一定是高斯的。它使用最近的发展,结合更熟悉的高斯传播算法的连接树的近似贝叶斯预测方法。对于常见的采样分布,给出了从数据中学习状态参数的过程,并通过实际应用说明了该方法。动态近似的效率进行了探讨,通过使用海林格发散措施和理论界的功效,这样一个程序进行了讨论。
2013-01-23 cs.LG stat.ML
Approximate Bayesian Computation with the Sliced-Wasserstein Distance
近似贝叶斯计算(ABC)是一种流行的方法,用于生成模型的近似推理,具有难以处理但易于采样的可能性。它通过寻找模拟数据在汇总统计量方面接近观察值的参数来构建近似后验分布。这些统计量是预先定义的,可能会导致信息丢失,这已被证明会降低近似的质量。为了克服这个问题,最近提出了Wasserstein-ABC,并通过它们的经验分布之间的瓦瑟斯坦距离来比较数据集,但不能很好地扩展到维度或样本数量。我们提出了一种新的ABC技术,称为Sliced-Wasserstein ABC和基于Sliced-瓦瑟斯坦距离,它具有更好的计算和统计特性。我们推导出两个理论结果,显示我们的方法的渐近一致性,我们说明了它的优势,合成数据和图像去噪任务。
2020-03-06 stat.CO stat.ME stat.ML
The variational Laplace approach to approximate Bayesian inference
近似贝叶斯推断的变分方法提供了执行参数估计和模型选择的非常有效的手段。其中,所谓的变分拉普拉斯或VL计划依赖于高斯近似模型参数的后验密度。在这篇文章中,我们回顾了VL方法的主要变体,这些变体来自于考虑连续和/或分类数据的非线性模型。恩passant,我们还得出了一些新的理论成果,完成现有的变分贝叶斯方法的分析组合,包括调查其渐近收敛。我们还提出了将现有VL方法扩展到分层生成模型的实用方法,包括(例如,精度)超参数。
2018-01-16 q-bio.NC stat.ME stat.ML
Correcting Predictions for Approximate Bayesian Inference
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所 HIIT);University of Helsinki(赫尔辛基大学)
贝叶斯模型量化不确定性,并促进下游应用的最佳决策。然而,对于大多数模型,从业者被迫使用近似推理技术,由于不正确的后验预测分布,导致次优决策。我们提出了一种新的方法,通过改变决策过程来纠正后验推理的不准确性。我们训练一个单独的模型,使最佳决策下的近似后验,结合可解释的贝叶斯建模与优化的直接预测精度的原则性的方式。该解决方案是一般适用于作为一个插件模块的预测决策的任意概率程序,无论后验推理策略。我们证明了经验的方法在几个问题,确认其潜力。
2019-09-11 cs.LG stat.ML
Adaptive approximate Bayesian computation for complex models
近似贝叶斯计算(ABC)是贝叶斯统计中的一系列计算技术。这些技术允许将模型拟合到数据,而不依赖于模型可能性的计算。相反,他们需要模拟大量的时间来拟合模型。对原始的基于拒绝的ABC方案提出了许多改进,包括后验分布的顺序改进。该技术允许减少所需的模型模拟的数量,但它仍然存在几个缺点,这些缺点对于模拟复杂模型的成本来说是特别成问题的。在这里,我们提供了一个新的算法来执行自适应近似贝叶斯计算,这是一个玩具的例子和一个复杂的社会模型,表现得更好。
2015-05-07 math.ST stat.CO stat.TH
Adversarial $α$-divergence Minimization for Bayesian Approximate Inference
Institute of Mathematical Sciences (ICMAT-CSIC)(数学科学研究所(ICMAT-CSIC));Escuela Politécnica Superior, Universidad Autónoma de Madrid(马德里自治大学高等理工学院)
神经网络是用于许多不同任务的流行的最先进的模型。它们通常通过反向传播来训练,以找到正确预测观察数据的权重值。虽然反向传播在许多应用中表现出良好的性能,但它不能轻易地输出预测中不确定性的估计。估计预测中的不确定性是具有重要应用的关键方面,并且获得该信息的一种方法是遵循贝叶斯方法来估计模型参数的后验分布。该后验分布总结了哪些参数值与数据相容,但通常是难以处理的,并且必须近似。已经考虑了几种机制来解决这个问题。我们在这里提出了一种近似贝叶斯推断的通用方法,该方法基于最小化α分歧并允许灵活的近似分布。该方法进行了评估的背景下,贝叶斯神经网络广泛的实验。结果表明,在回归问题中,它往往提供更好的性能方面的测试log-likelihood,有时在平方误差。然而,在分类问题中,它给出了有竞争力的结果。
2020-01-30 cs.LG stat.CO stat.ML
Consistent and scalable Bayesian joint variable and graph selection for disease diagnosis leveraging functional brain network
考虑高维probit回归中协变量的回归系数和逆协方差阵的联合推断,其中预测变量既与二元响应相关,又在函数上相互关联.一个层次模型与穗和板坯先验的回归系数和逆协方差阵中的元素,同时进行变量和图形的选择。我们建立联合选择一致性的变量和底层图形的预测时,尺寸允许增长远远大于样本量,这是贝叶斯文献中的第一个理论结果。一个可扩展的吉布斯采样器推导出,在高维模拟研究中表现得更好,与其他国家的最先进的方法。我们通过功能性MRI数据集说明了所提出的方法的实际影响和实用性,其中具有改变的功能活动的感兴趣区域和潜在的功能性脑网络被推断并整合在一起,用于对疾病风险进行分层。
2022-03-14 math.ST stat.ME stat.TH
Bayesian score calibration for approximate models
Adelaide University(阿德莱德大学);Queensland University of Technology(昆士兰科技大学);National University of Singapore(新加坡国立大学)
本文提出了一种贝叶斯分数校准方法,通过优化近似后验变换来减少偏差并提升后验覆盖性能,适用于复杂模型的不确定性量化。
2026-01-06 stat.CO stat.ME stat.ML
Distortion estimates for approximate Bayesian inference
当前文献中关于贝叶斯推断的后验近似提供了许多替代方法。我们选择的近似方案对观测数据是否有效?现有最好的通用诊断工具通过查看数据空间上的平均性能来处理这类问题,否则缺乏诊断细节。然而,如果近似对大多数数据都不好,但对观测数据很好,那么我们可以放弃一个有用的近似。我们给图形诊断后验近似的观测数据。我们估计一个“失真图”,作用于近似后验的单变量边缘,使它们更接近精确后验,而不依赖于精确后验。
2020-06-19 stat.CO
Approximate Bayesian Computation with composite score functions
当似然函数难以处理时,近似贝叶斯计算(ABC)和复合似然方法分别适用于贝叶斯和频率论推理。我们建议使用复合似然得分函数作为ABC中的汇总统计量,以获得精确的近似后验分布。这是出于使用的得分函数的完全似然,并扩展到一般的无偏估计函数在复杂的模型。此外,我们表明,如果综合得分是适当的标准化,由此产生的ABC程序是不变的重新参数化,并自动调整曲率的复合可能性,和相应的后验分布。通过模拟数据的实例说明了该方法,并讨论了其在空间极端降雨数据建模中的应用。
2015-02-24 stat.CO
Approximate simulation-free Bayesian inference for multiple changepoint models with dependence within segments
本文提出了多个变点模型的分析方法时,在数据的依赖性是通过一个分层高斯马尔可夫随机场建模。采用集成的嵌套拉普拉斯近似来近似数据量,并提出了一种近似滤波递归方法,以节省计算成本时检测变点。所有这些方法都是模拟免费的。实际数据的分析表明,该方法的实用性一般。允许数据依赖的新模型与传统模型进行比较,其中段内的数据被假定为独立的。
2011-06-03 stat.CO
Tractable Approximate Gaussian Inference for Bayesian Neural Networks
Polytechnique Montréal(蒙特利尔理工学院)
本文提出了一种在贝叶斯神经网络中进行易于处理的近似高斯推理(TAGI)的分析方法。该方法能够对权重和偏差的后验均值向量和对角协方差矩阵进行分析高斯推断。所提出的方法相对于参数$n$的数量具有$\mathcal{O}(n)$的计算复杂性,并且对回归和分类基准进行的测试证实,对于相同的网络架构,它与依赖于梯度反向传播的现有方法的性能相匹配。
2021-12-07 cs.LG stat.ML
URSABench: Comprehensive Benchmarking of Approximate Bayesian Inference Methods for Deep Neural Networks
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);US Army Research Laboratory(美国陆军研究实验室)
虽然深度学习方法在广泛的应用领域中继续提高预测准确性,但其性能的其他方面仍然存在重大问题,包括量化不确定性的能力和鲁棒性。近似贝叶斯推理的最新进展为解决这些问题提供了重要的承诺,但这些方法的计算可扩展性在应用于大规模模型时可能会出现问题。在本文中,我们描述了URSABench(不确定性,鲁棒性,可扩展性和准确性基准测试)的开发工作,这是一个开源的基准测试工具套件,用于全面评估近似贝叶斯推理方法,重点是基于深度学习的分类任务
2020-07-08 cs.LG stat.ML
Fast $ε$-free Inference of Simulation Models with Bayesian Conditional Density Estimation
University of Edinburgh(爱丁堡大学)
许多统计模型可以向前模拟,但具有难以处理的可能性。近似贝叶斯计算(ABC)的方法来推断这些模型的属性从数据。传统上,这些方法通过在观测数据周围的$ε$球内调节数据来近似后验参数,这仅在极限$ε\!\rightarrow\!0$中是正确的。然后,蒙特卡罗方法可以从近似后验中抽取样本,以近似预测或参数的误差条。这些算法作为$ε\!\rightarrow\!0$严重减慢,并且在实践中从比后验更广泛的分布中抽取样本。提出了一种基于贝叶斯条件密度估计的无似然推理方法。基于有限的仿真数据的初步推断用于指导以后的仿真。在某些情况下,学习整个真实后验分布的准确参数表示需要比蒙特卡罗ABC方法从近似后验产生单个样本所需的模型模拟更少。
2018-04-02 cs.LG stat.CO stat.ML
Deviance Information Criteria for Model Selection in Approximate Bayesian Computation
近似贝叶斯计算(ABC)是贝叶斯推断中使用统计汇总和计算机模拟的一类算法方法。ABC在进化遗传学和生物学的其他分支中变得流行。然而,在ABC算法下的模型选择在最近几年一直是激烈辩论的主题。在这里,我们提出了新的方法,模型选择的基础上后验预测分布和近似的偏差。我们认为,这个框架可以解决模型概率的计算和后验预测检查使用ABC后验分布之间的一些矛盾。人类DNA重测序数据集的模拟研究和分析表明,偏差标准导致明智的结果,在一些模型选择问题的兴趣,人口遗传学家。
2011-05-02 q-bio.PE stat.CO
Batch simulations and uncertainty quantification in Gaussian process surrogate approximate Bayesian computation
Department of Biostatistics, University of Oslo(奥斯陆大学生物统计系);Helsinki Institute for Information Technology HIIT, Department of Computer Science, Aalto University(赫尔辛基信息技术研究所,阿尔托大学计算机科学系)
近似贝叶斯计算(ABC)的计算效率已被提高,通过使用代理模型,如高斯过程(GP)。在这样一个有前途的框架模拟和观察到的数据之间的差异建模与GP,这是进一步用于形成一个基于模型的估计难以处理的后验。在本文中,我们将从几个方面改进这种方法。我们开发了批序贝叶斯试验设计策略,并行化昂贵的模拟。在早期的工作中,只使用了顺序策略。目前基于替代的ABC方法也没有充分考虑到由于模拟预算有限而导致的不确定性,因为它们仅输出ABC后验的点估计。我们提出了一种数值方法来充分量化的不确定性,例如,ABC后验矩。我们还提供了一些新的分析GP建模的假设,在由此产生的改进框架称为贝叶斯ABC,并讨论其连接到贝叶斯正交(BQ)和贝叶斯优化(BO)。玩具和现实世界的仿真模型的实验证明了所提出的技术的优势。
2020-08-06 cs.LG stat.CO stat.ME
Error bounds for some approximate posterior measures in Bayesian inference
本文针对贝叶斯反问题中完整后验计算代价过高的问题,回顾了基于随机近似数据失配与正演模型的随机及确定性近似后验的误差界。
2020-04-22 cs.NA math.NA math.ST
Approximate Bayesian Inference in Linear State Space Models for Intermittent Demand Forecasting at Scale
Amazon Development Center, Germany(亚马逊开发中心(德国))
针对线性状态空间模型,提出了一种可扩展的鲁棒贝叶斯推断方法.该方法被应用到需求预测的背景下,一个大型电子商务平台,特别注意间歇性和突发性的目标统计。推理近似的牛顿-拉夫森算法,减少到线性时间卡尔曼平滑,这使我们能够操作几个数量级以上的问题比以前的相关工作。在对大型真实世界销售数据集的研究中,我们的方法在快速和中等移动项目上优于竞争方法。
2017-09-22 cs.LG stat.ML
Approximate Gibbs sampler for Bayesian Huberized lasso
贝叶斯套索是众所周知的贝叶斯替代套索。虽然贝叶斯套索的优点是能够对参数进行完全概率不确定性量化,但相应的后验分布可能对离群值敏感。为了克服这一问题,近年来提出了鲁棒贝叶斯回归模型。本文从完全贝叶斯的角度研究了贝叶斯Huberized套索回归的稳健有效估计。提出了一种新的贝叶斯Huberized Lasso回归的后验计算算法。建议的近似吉布斯采样器是基于全条件分布的近似,它是可能的,以估计一个调谐参数的伪Huber损失函数的鲁棒性。本文还导出了后验分布的一些理论性质。我们通过仿真研究和实际数据的例子来说明所提出的方法的性能。
2022-07-05 stat.ME
Some comments about James Watson's and Chris Holmes' "Approximate Models and Robust Decisions": Nonparametric Bayesian clay for robust decision bricks
本文讨论了Watson和Holmes(2016)以及他们对更稳健的贝叶斯决策的支持。虽然我们承认并赞扬作者为贝叶斯鲁棒性设定了新的和包罗万象的原则,我们也欣赏这些原则在决策理论参考中的强大锚定,但我们仍然不确定这些原则在多大程度上可以应用于二元决策之外。我们还想知道Kullback-Leibler邻域的最终相关性,以增强鲁棒性,并有利于沿非参数轴的扩展。
2016-04-09 stat.CO stat.ME
Loss-calibrated expectation propagation for approximate Bayesian decision-making
Princeton Neuroscience Institute(普林斯顿神经科学研究所);Princeton University(普林斯顿大学)
近似贝叶斯推断方法提供了一套强大的工具,找到近似的棘手的后验分布。然而,机器学习应用程序通常涉及选择动作,在贝叶斯设置中,这些动作仅通过其对预期效用的贡献取决于后验分布。因此,越来越多的关于损失校准近似推理方法的工作试图开发对效用函数的影响敏感的后验近似。在这里,我们引入损失校准期望传播(Loss-EP),期望传播的损失校准变体。这种方法类似于标准EP,但有一个额外的因素使后验概率向更高效用的决策“倾斜”。我们展示了应用程序的高斯过程分类下的二进制效用函数与不对称的罚款假阴性和假阳性错误,并显示这种不对称性如何可以有戏剧性的后果,什么信息是“有用的”捕捉在一个近似。
2022-01-10 cs.LG stat.ML
Approximate Bayesian Inference via Sparse grid Quadrature Evaluation for Hierarchical Models
我们结合条件技术与稀疏网格求积规则,开发一种计算效率高的方法来近似边缘,但不一定是单变量,后量,通过稀疏网格求积评估(BISQuE)分层模型产生近似贝叶斯推断。BISQuE将后验量重新表述为条件量的加权积分,例如密度和期望。稀疏网格求积规则允许计算高效的近似高维积分,这出现在具有许多超参数的分层模型中。BISQuE相对于标准的马尔可夫链蒙特卡罗方法减少了至少两个数量级的几个应用和说明性模型的计算工作量。我们还简要讨论了使用BISQuE将集成嵌套拉普拉斯近似(INLA)应用于具有比目前实际更多超参数的模型。
2019-04-15 stat.CO stat.ME
Approximate cross-validation formula for Bayesian linear regression
Tokyo Institute of Technology(东京工业大学);Hiroshima University(广岛大学)
交叉验证(CV)是一种基于给定数据集评估统计模型/学习系统能力的技术。尽管其广泛的适用性,相当沉重的计算成本可以阻止其使用的系统规模的增长。为了解决贝叶斯线性回归的情况下,这个困难,我们开发了一个公式,用于估计留一法CV误差近似没有实际执行CV。开发的公式的有用性进行了测试的统计力学分析的合成模型。这一点也通过应用于真实世界的超新星数据集得到了证实。
2016-10-25 cs.LG stat.ML
Asymptotic Behaviour of Approximate Bayesian Estimators
虽然近似贝叶斯计算(ABC)已成为一种流行的技术,用于执行参数估计时,似然函数是解析难处理的,尚未有一个完整的调查的理论性质的估计。本文对隐马尔可夫模型的ABC基参数估计的渐近性质进行了理论分析,证明了ABC基估计满足统计文献中标准结果的渐近有偏版本。
2011-05-18 math.ST stat.TH
Bayesian inference using synthetic likelihood: asymptotics and adjustments
在涉及复杂模型的应用中,实现贝叶斯推断通常在计算上具有挑战性,有时计算可能性本身也很困难。当可能性难以处理时,合成可能性是一种进行推理的方法,但从模型进行模拟是直接的。该方法通过将向量汇总统计量视为多变量正态分布来构建近似似然,其中未知均值和协方差阵通过模拟对任何给定参数值进行估计。本文有三个贡献。第一个表明,如果汇总统计量满足中心极限定理,则合成似然后验是渐近正态的,并产生具有正确频率覆盖水平的可信集。这一结果与近似贝叶斯计算结果相似。第二个贡献比较贝叶斯合成似然和近似贝叶斯计算的计算效率使用的接受概率拒绝和重要性抽样算法与"好"的建议分布。我们表明,贝叶斯合成似然比近似贝叶斯计算更有效的计算,并表现出类似的回归调整近似贝叶斯计算。基于渐近结果,第三个贡献,提出使用调整的推断方法时,可能误指定的形式,假定为合成似然的协方差阵,如对角或因子模型,以加快计算。该方法说明了一些模拟和真实的例子。
2021-03-12 stat.CO
Robust Approximate Bayesian Inference with Synthetic Likelihood
贝叶斯合成似然(BSL)是一种用于在模型中进行近似贝叶斯推断的成熟方法,其中,由于似然函数的棘手性,精确贝叶斯方法要么是不可行的,要么是计算量太大。BSL应用中隐含的假设是,数据生成过程(DGP)可以生成模拟汇总统计量,以捕获观察到的汇总统计量的行为。我们证明,如果实际和假设的DGP之间的兼容性不满足,即,如果模型被错误指定,BSL会产生不可靠的参数推断。为了规避这个问题,我们提出了一个新的BSL方法,可以检测模型的误指定的存在,并同时提供有用的推论,即使在显着的模型误指定。两个模拟和两个真实数据的例子证明了这种新的方法BSL的性能,并证明其优越的精度比标准BSL时,假设的模型是错误的。
2020-06-11 stat.AP stat.CO stat.ME
Leveraging Sparsity to Improve No-U-Turn Sampling Efficiency for Hierarchical Bayesian Models
Alaska Fisheries Science Center(阿拉斯加渔业科学中心);NOAA Fisheries(美国国家海洋和大气管理局渔业局);DTU Aqua(丹麦技术大学水科学研究所);Technical University of Denmark(丹麦技术大学);Center for Computational Mathematics(计算数学中心);Flatiron Institute(平顿研究所)
SNUTS通过稀疏精度矩阵提升分层贝叶斯模型的采样效率,适用于高维、稀疏和高相关性场景。
2026-03-02 stat.CO stat.ME
A Bayesian Framework for Regularized Estimation in Multivariate Models Integrating Approximate Computing Concepts
本文在贝叶斯框架下统一了多变量模型的正则化估计,连接贝叶斯推断与近似计算,提出均值收缩和正则化LDA的新算法,并通过数值实验验证。
2025-09-12 stat.ME
Generative Posterior Networks for Approximately Bayesian Epistemic Uncertainty Estimation
Carnegie Mellon University(卡内基梅隆大学);Bosch Center for Artificial Intelligence(博世人工智能中心);Amazon Alexa AI(亚马逊Alexa AI)
提出生成式后验网络(GPNs),利用未标记数据通过正则化网络趋向先验样本来直接近似贝叶斯后验,从而在高维问题中提升认知不确定性估计和可扩展性。
2023-12-29 cs.LG stat.ML
Asymptotics of approximate Bayesian computation when summary statistics converge at heterogeneous rates
本文研究汇总统计量以异质速率收敛时近似贝叶斯计算的渐近性质,给出后验收敛条件及形状的显式表示,并量化局部线性后处理的增益。
2023-11-16 stat.CO
HJ-sampler: A Bayesian sampler for inverse problems of a stochastic process by leveraging Hamilton-Jacobi PDEs and score-based generative models
Brown University(布朗大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
该研究拓展了Cole-Hopf变换的抽象理论框架,提出HJ-sampler算法,通过求解粘性HJ偏微分方程和随机最优控制采样求解带终端观测的随机微分方程贝叶斯逆问题,还给出两种求解器变体并验证了有效性与灵活性。
2024-10-08 cs.LG math.OC stat.CO
Entropy-regularized Gradient Estimators for Approximate Bayesian Inference
Department of Computer Science University of Texas, Austin(计算机科学系德克萨斯大学奥斯汀分校)
本文提出一种基于 Stein 算子度量近似 KL 散度与交叉熵梯度流的熵正则化估计器,用于高效生成贝叶斯后验多样本,并在分类任务和 Model-Based Reinforcement Learning 中验证了其有效性。
2025-05-28 cs.LG stat.ML
Asymptotic Properties of Approximate Bayesian Computation
近似贝叶斯计算允许在具有棘手可能性的模型中进行统计分析。本文考虑用这种方法得到的后验分布的渐近性质。我们给出了一般结果的速度后验分布集中在集包含真正的参数,它的限制形状,和渐近分布的后验均值。这些结果在方法中使用的公差的给定比率、汇总统计量的温和正则条件以及与真实参数识别相关的条件下保持不变。从业人员的影响进行了讨论。
2018-05-08 math.ST stat.CO stat.ME
Discovering Inductive Bias with Gibbs Priors: A Diagnostic Tool for Approximate Bayesian Inference
University of Tübingen(蒂宾根大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
完整的贝叶斯后验概率很少可以分析处理,这就是为什么现实世界的贝叶斯推断严重依赖于近似技术。近似通常不同于真正的后验,需要诊断工具来评估推断是否仍然可信。我们研究了一种新的方法来诊断近似推理:近似不匹配是由于在电感偏置的变化,通过处理的近似准确和逆向工程相应的先验。我们表明,这个问题比乍一看似乎更复杂,因为解决方案通常取决于观察。通过用不相容的条件分布重新构造问题,我们得到了一个自然的解决方案:吉布斯先验。诊断结果是基于伪吉布斯抽样,这是广泛适用,易于实现。我们说明了如何吉布斯先验可以用来发现在一个受控的高斯设置和各种贝叶斯模型和近似的归纳偏差。
2022-03-07 cs.LG stat.ML
Bayesian Convolutional Neural Networks with Bernoulli Approximate Variational Inference
University of Cambridge(剑桥大学)
卷积神经网络(CNN)在大型数据集上工作得很好。但是,标记数据很难收集,在某些应用程序中,更大量的数据不可用。接下来的问题是如何将CNN用于小数据--因为CNN很快就会过拟合。我们提出了一种高效的贝叶斯CNN,与传统方法相比,它对小数据的过度拟合具有更好的鲁棒性。这是通过在CNN的内核上放置概率分布。我们近似我们的模型的棘手的后验与伯努利变分分布,不需要额外的模型参数。在理论方面,我们将辍学网络训练作为贝叶斯神经网络的近似推理。这使我们能够使用深度学习中的现有工具来实现我们的模型,而不会增加时间复杂度,同时突出显示该领域的负面结果。与标准技术相比,我们在分类准确性方面有了相当大的提高,并改进了CIFAR-10的最新结果。
2016-01-18 cs.LG stat.ML
Approximate Bayesian Computation by Subset Simulation
本文提出了一种新的近似贝叶斯计算(ABC)算法,用于贝叶斯模型参数的更新。Au和J.L.贝克[1]。它被命名为ABC-SubSim。其思想是选择子集模拟中的嵌套递减区域序列作为与观测空间中实际数据向量的越来越接近的近似值相对应的区域。该算法的效率证明在两个例子中,说明了在现实世界中所面临的挑战,ABC的应用。我们表明,该算法优于其他最近的顺序ABC算法在计算效率方面,同时实现相同的,或更好的,准确性的测量后验分布。我们还表明,ABC-SubSim很容易提供后验模型类评估的证据(边际似然)的估计,作为副产品。
2014-04-24 stat.CO
Loss-Calibrated Approximate Inference in Bayesian Neural Networks
University of Oxford(牛津大学)
贝叶斯神经网络的近似推理中的当前方法最小化库尔贝克-莱布勒散度以近似权重上的真实后验。然而,这种近似没有最终应用的知识,因此不能保证给定任务的最佳预测。为了使更合适的特定于任务的近似,我们引入了一个新的损失校准证据下限贝叶斯神经网络的监督学习的背景下,通知贝叶斯决策理论。通过引入依赖于效用函数的下限,我们确保我们的近似比具有非对称效用函数的应用程序的传统方法实现更高的效用。此外,在使用dropout推理时,我们强调我们的新目标与标准dropout神经网络的目标相同,只是增加了一个依赖于效用的惩罚项。我们展示了我们的新的损失校准模型与说明性的医疗例子和限制模型容量实验,并突出故障模式的可比加权交叉熵的方法。最后,我们展示了我们的方法的可扩展性,以现实世界的应用程序与自动驾驶数据集上的每像素语义分割。
2018-05-10 cs.LG stat.ML