An Annealed Sequential Monte Carlo Method for Bayesian Phylogenetics
我们描述了一个“并行”的贝叶斯系统发育推断,退火顺序蒙特卡罗方法,基于最近的进展,如退火参数的自适应确定顺序蒙特卡罗文献。该算法提供了一个近似的后验分布的树木和进化参数,以及一个无偏估计的边际似然。该无偏性可用于检验后验仿真软件的正确性。我们评估系统发育退火序贯蒙特卡罗的性能,通过审查和比较与其他计算贝叶斯系统发育方法,特别是不同的边际似然估计方法。与以前的序列蒙特卡罗方法在遗传学中,我们的退火方法可以利用标准的马尔可夫链蒙特卡罗树移动,因此受益于大量的库存,这种移动在文献中。因此,退火顺序蒙特卡罗方法应该是相对容易纳入现有的系统发育软件包的基础上马尔可夫链蒙特卡罗算法。我们用模拟研究和真实数据分析来说明我们的方法。
2019-03-13 q-bio.PE stat.CO
On sequential Monte Carlo, partial rejection control and approximate Bayesian computation
我们提出了一个序贯蒙特卡罗采样器的部分拒绝控制算法的变体,并表明,这种变体可以被认为是一个序贯蒙特卡罗采样器与修改后的突变内核。我们证明了新的采样器可以减少增量的重要性权重的方差相比,标准的序贯蒙特卡罗采样器。我们提供了一个新的算法的理论性质的研究,并与现有的一些算法。最后,采样器是适应于应用程序下的挑战性的“似然自由”,近似贝叶斯计算建模框架,在那里我们表现出优越的性能超过现有的似然自由采样器。
2009-11-11 math.ST stat.CO stat.TH
A practical sequential stopping rule for high-dimensional MCMC and its application to spatial-temporal Bayesian models
目前许多贝叶斯分析的挑战是确定何时终止高维马尔可夫链蒙特卡罗模拟。为此,我们建议使用一个自动顺序停止程序,终止模拟时,计算的不确定性是相对于后验不确定性小。这样的停止规则先前已被证明在中等尺寸的后验的设置中工作良好。在本文中,我们说明了它在高维模拟中的实用性,同时克服了当前的一些计算问题。进一步,我们研究了停止规则和有效样本量之间的关系。作为例子,我们考虑两个复杂的贝叶斯分析的空间和时间相关的数据集。第一个涉及气象站数据的动态时空模型,第二个涉及功能磁共振成像脑成像数据的空间变量选择模型。我们的研究结果表明,顺序停止规则很容易实现,提供了不确定性估计,并在高维设置中表现良好。
2014-03-21 stat.CO stat.ME
Sequential Markov Chain Monte Carlo for Bayesian Filtering with Massive Data
数字传感器、数字数据存储和通信的进步使得系统能够积累大量数据。在光处理的挑战,海量数据的存在,这项工作提出了解决方案的推理和过滤问题的贝叶斯框架内。针对非线性和非高斯状态空间模型,提出了两种新的贝叶斯推断算法,能够处理大量数据(或观测值)。这些是顺序的马尔可夫链蒙特卡罗(MCMC)方法,其依赖于两个关键思想:1)对大量数据进行子采样,并利用较小的子集进行过滤和推断,以及2)分别使用测量的子集计算局部过滤分布的分治型方法。仿真结果突出的准确性和大量的计算节省,可以达到90%的标准技术相比,所提出的算法。
2015-12-08 stat.AP stat.CO
Langevin and Hamiltonian based Sequential MCMC for Efficient Bayesian Filtering in High-dimensional Spaces
非线性非高斯状态空间模型出现在统计和信号处理的许多应用中。在这种情况下,最成功和最流行的近似技术之一是序贯蒙特卡罗(SMC)算法,也称为粒子滤波。然而,这种方法往往是低效的,当应用于高维问题。在本文中,我们专注于另一类顺序推理方法,即顺序马尔可夫链蒙特卡罗(SMCMC)技术,这是一个很有前途的替代SMC方法。在为SMCMC方法提供了一个统一的框架后,我们提出了基于Langevin扩散和Hamilton动力学原理的新的有效策略,以应对越来越多的高维应用。仿真结果表明,所提出的算法实现了显着更好的性能相比,现有的算法。
2015-10-29 stat.AP stat.CO
Guided sequential ABC schemes for intractable Bayesian models
针对无似然贝叶斯模型,提出以数据汇总统计量为条件的引导式提议采样器,加速SIS-ABC和SMC-ABC收敛,减少计算成本并保持推断精度,适用于多模态、高相关及分层模型等挑战场景。
2024-05-29 stat.CO stat.ME
Variational Combinatorial Sequential Monte Carlo Methods for Bayesian Phylogenetic Inference
Columbia University(哥伦比亚大学)
贝叶斯系统发育推断通常使用随机游走马尔可夫链蒙特卡罗(MCMC)或组合序贯蒙特卡罗(CSMC)等算法通过拓扑和分支长度上的局部或顺序搜索来进行。然而,当MCMC用于进化参数学习时,收敛需要长时间运行,状态空间的探索效率低下。我们介绍变分组合序贯蒙特卡罗(VCSMC),一个强大的框架,建立变分顺序搜索学习分布在复杂的组合结构。然后,我们开发嵌套CSMC,一个有效的建议分布CSMC和证明嵌套CSMC是一个精确的近似(棘手的)局部最优建议。我们使用嵌套的CSMC定义第二个目标,VNCSMC产生更严格的下限比VCSMC。我们表明,VCSMC和VNCSMC的计算效率和探索更高的概率空间比现有的方法在一系列的任务。
2021-06-17 cs.LG stat.CO stat.ML
GPU-Accelerated Sequential Monte Carlo for Bayesian Spectral Analysis
a.s.ist Inc.(a.s.ist 公司);Graduate School of Frontier Sciences, The University of Tokyo(东京大学前沿科学研究生院)
本文提出一种基于GPU的序列蒙特卡洛方法,用于贝叶斯频谱峰值数量选择和峰值函数参数估计,通过并行计算实现显著加速,验证了在模拟XPS和XRD数据及真实实验谱上的有效性。
2026-03-23 physics.data-an stat.CO
A Bayesian Optimization through Sequential Monte Carlo and Statistical Physics-Inspired Techniques
本文提出一种结合序贯蒙特卡洛与统计物理概念的贝叶斯优化方法,借助NumPyro和JAX实现跨CPU、GPU、TPU的高性能并行优化,为多种优化问题提供了低门槛且有前景的技术方向。
2024-09-04 cs.DC physics.data-an stat.CO
Adaptive sequential Monte Carlo for structured cross validation in Bayesian hierarchical models
针对贝叶斯分层模型中标准重要性采样在结构化交叉验证时不可靠的问题,提出自适应序贯蒙特卡洛方法,沿后验路径采样以支持多种验证设计并最小化MCMC重运行。
2025-08-11 stat.AP stat.CO
Sequential Bayesian Predictive Synthesis
本研究提出一种Rao-Blackwellized粒子滤波器结合MCMC干预,用于线性和高斯动态贝叶斯预测综合,并通过幂折扣似然估计折扣因子,以解决美国通胀率预测中分布适应缓慢的问题。
2023-08-30 stat.CO stat.ME
Bayesian Detectability of Induced Polarisation in Airborne Electromagnetic Data using Reversible Jump Sequential Monte Carlo
在航空电磁(AEM)测量中检测感应极化(IP)效应还没有一个既定的方法。这一贡献开发了一种贝叶斯方法的IP-检测问题,使用解耦transdimensional分层模型,并适用于一种新的方法,其中transdimensional的建议是使用内的并行和强大的静态序贯蒙特卡罗(SMC)类算法的参数和模型的同时推理物理。尽管将该算法称为可逆跳跃序贯蒙特卡罗(RJSMC),但对该算法的统计方法贡献考虑了多个模型和建议类型的适应性考虑,特别是不太可能模型中的周围粒子扩散。固体地球物理学方法的贡献包括解耦模型的方法和建议的统计,使用后验模型的IP检测几率。一个案例研究包括调查IP效应的AEM数据在广泛的规模检测。
2021-09-02 physics.geo-ph stat.AP stat.CO
Sequential Monte Carlo with Adaptive Weights for Approximate Bayesian Computation
近似贝叶斯计算(ABC)方法越来越多地用于复杂模型的分析。ABC的一个主要挑战是克服基于先验预测抽样的接受/拒绝方法中通常固有的高拒绝率问题。一些最近的发展旨在解决这个问题的扩展的基础上序贯蒙特卡罗(SMC)的战略。我们在此基础上,介绍了一种ABC SMC方法,该方法使用基于数据的自适应权重。这种易于实现和计算平凡的ABC SMC扩展可以大大提高接受率,如一系列模拟和真实数据集的例子所示,包括当前系统生物学应用中动态建模的热门例子。
2015-03-26 math.ST stat.CO stat.TH
Comment on "Sequential Monte Carlo for Bayesian Computation" (P. Del Moral, A. Doucet, A. Jasra)
主要的问题涉及到序列蒙特卡罗的另一个最新进展,即使用自动适应目标分布的混合过渡核(Douc et al. 2006)。是否有一类静态推理问题更适合后向核方法,或者预测哪种方法在特定情况下可能具有更好的性能还为时过早?
2006-06-22 math.PR math.ST stat.TH
Bayesian learning of weakly structural Markov graph laws using sequential Monte Carlo methods
我们提出了一个序贯抽样方法弱结构马尔可夫定律,自然产生的贝叶斯结构学习可分解的图形模型。作为我们建议的方法的一个关键组成部分,我们表明,图估计的问题,这在一般情况下缺乏自然的顺序解释,可以重铸到一个连续的设置,提出了一个递归的费曼-卡茨模型,产生一个流动的连接树分布在一个空间的尺寸增加。我们专注于粒子的McMC方法,以提供在这个空间上的样本,特别是粒子吉布斯(PG),因为它允许生成的McMC链的可分解图的底层空间上的全球移动。为了进一步提高PG混合性能,我们采用了一个系统的刷新步骤,通过从向后内核直接采样实现。该算法的理论性质进行了研究,表明所提出的刷新步骤提高了估计分布的渐近方差方面的性能。建议的抽样方法是通过一组数值例子来说明的,这些例子证明了在离散和连续图形模型中贝叶斯图结构学习的高精度。
2019-07-23 math.ST stat.TH
Solving Linear-Gaussian Bayesian Inverse Problems with Decoupled Diffusion Sequential Monte Carlo
Department of Computer and Information Science (IDA), Linköping University, Sweden(计算机与信息科学系(IDA),_linköping大学,瑞典)
本文提出了一种基于解耦扩散的序列蒙特卡洛方法(DDSMC),用于求解线性高斯贝叶斯逆问题,该方法允许对样本进行更大更新且渐近精确,并在合成、蛋白质及图像数据上验证了有效性,同时可扩展至离散数据。
2025-10-10 cs.AI cs.LG stat.ML
Sequential Importance Sampling for Hybrid Model Bayesian Inference to Support Bioprocess Mechanism Learning and Robust Control
Northeastern University(东北大学);University of Waterloo(滑铁卢大学)
在生物制造4.0的关键需求的驱动下,我们引入了一个概率知识图混合模型,该模型表征了对生物过程机制的基于风险和科学的理解。它可以忠实地捕捉重要的性质,包括非线性反应,部分可观测状态,和非平稳动力学。给出了非常有限的实际过程的观察,我们得到了一个后验分布量化模型估计的不确定性。为了避免计算复杂的似然性,采用序贯蒙特卡罗近似贝叶斯计算抽样(ABC-SMC)来近似后验分布。在高度随机和模型不确定性下,匹配输出轨迹的计算代价很高。因此,我们创建了一个线性高斯动态贝叶斯网络(LG-DBN)辅助似然ABC-SMC方法。通过匹配由LG-DBN似然驱动的摘要统计量,可以捕获关键的相互作用和变化,所提出的算法可以加速混合模型推理,支持过程监控,并促进机制学习和鲁棒控制。
2022-09-30 cs.LG stat.ML
Utilising Gradient-Based Proposals Within Sequential Monte Carlo Samplers for Training of Partial Bayesian Neural Networks
Department of Electronics and Electrical Engineering, University of Liverpool(利物浦大学电子与电气工程系)
本文提出了一种基于SMC的训练方法,利用梯度引导的提案和马尔可夫核,提升pBNNs在高维问题中的可扩展性和预测性能。
2026-01-29 cs.LG stat.ML
Testing model specification in approximate Bayesian computation
我们提出了一个程序来诊断模型的误指定的情况下,推理是使用近似贝叶斯计算。我们从理论上和经验上证明,这个过程可以始终如一地检测到模型误指定的存在。我们的例子表明,这种方法提供了良好的有限样本的性能,是计算量小于现有的方法,所有这些都需要重新运行的推理算法。实证应用建模汇率日志回报使用g和k分布完成的文件。
2022-10-23 stat.ME
Asymptotically Optimal Sequential Testing with Markovian Data
Indian Institute of Science, Bangalore(班加罗尔印度科学学院);Indian Institute of Technology, Hyderabad(海得拉巴印度理工学院);Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189 – CRIStAL(里尔大学、法国国家科学研究中心、中央里尔学院、UMR 9189 – CRIStAL)
针对遍历有限状态马尔可夫链生成的数据,提出一种渐近最优的序贯假设检验方法,其期望停止时间与实例相关的下界渐近匹配,并应用于马尔可夫链蒙特卡洛模型误设检测和马尔可夫决策过程结构性质检验。
2026-06-16 cs.LG math.ST stat.ML
Sequential Rank and Preference Learning with the Bayesian Mallows Model
University of Oslo(奥斯陆大学);Lancaster University(兰卡斯特大学);OsloCentre for Biostatistics and Epidemiology, University of Oslo(奥斯陆大学生物统计与流行病学中心)
本文提出基于贝叶斯马洛斯模型的序列估计算法,通过嵌套序列蒙特卡罗方法实现高效后验推断,并在F1车手排名中展示应用。
2025-06-03 stat.CO
Bayesian Inference for Logistic Regression Models Using Sequential Posterior Simulation
logistic规范已被广泛用于非贝叶斯统计,以模拟离散结果对指定协变量值的依赖性。由于似然函数是全局弱凹的,所以即使在通常出现的具有几十个或几百个参数的应用中,极大似然估计也是直接的。相比之下,贝叶斯推断已被证明是笨拙的,需要对现有的马尔可夫链蒙特卡罗和数据增强方法的可能性或专门的适应性进行正常近似。本文使用最近开发的一般序贯后验模拟(SPS)方法,只需要多一点的能力,以评估的似然函数的逻辑模型的贝叶斯推断。与现有的替代方案相比,SPS是简单得多,并提供了数字标准误和准确的近似边际可能性作为副产品。用于贝叶斯推断的SPS算法适合于大规模并行实现,并且当使用图形处理单元实现时,它比现有的替代方案更有效。本文通过几个例子来说明这些观点。
2013-04-16 stat.CO
Sequential Bayesian inference for static parameters in dynamic state space models
提出了一种动态状态空间模型静态参数的序贯贝叶斯推断方法。该方法是基于观察到许多动态状态空间模型具有相对较少的静态参数(或超参数),因此原则上可以计算后验并存储在可以动态跟踪的实际大小的离散网格上。此外,该方法能够使用计算状态过程的滤波和预测分布的任何现有方法。卡尔曼滤波器及其扩展到非线性/非高斯的情况下,本文已经使用。这是说明使用几个应用程序:线性高斯模型,二项式模型,随机波动率模型和极端非线性单变量非平稳增长模型。性能进行了比较,现有的在线方法和离线方法。
2017-06-27 stat.CO
Approximating multivariate posterior distribution functions from Monte Carlo samples for sequential Bayesian inference
贝叶斯统计的一个重要特征是有机会进行顺序推断:在看到数据集后获得的后验分布可以用作第二次推断的先验。然而,当使用蒙特卡罗抽样方法进行推断时,我们只有一组来自后验分布的样本。为了进行序贯推理,我们要么只在这些位置评估第二后验概率,并相应地重新加权样本,要么我们可以从样本中估计后验概率分布的函数描述,并将其用作第二次推理的先验。在这里,我们研究了在何种程度上,我们可以获得一个准确的联合后验从两个数据集,如果推理是顺序完成的,而不是联合,在每个推理步骤的条件下,使用蒙特卡罗采样。为了验证这一点,我们评估了核密度估计,高斯混合,藤copulas和高斯过程在近似后验分布的准确性,然后测试这些近似是否可以用于序贯推理。在低维情况下,高斯过程更准确,而在高维情况下,高斯混合或藤蔓Copula表现得更好。在我们的测试案例中,后验近似优于直接样本重新加权,尽管联合推理仍然优于顺序推理。由于性能是特定情况下,我们提供了一个R包mvdens与密度近似方法的统一接口。
2019-06-21 stat.CO
Bayesian sequential parameter estimation with a Laplace type approximation
提出了一种基于迭代拉普拉斯近似的动态隐高斯模型固定参数的序贯推断方法。该方法提供了一个有用的计算性能和准确性之间的权衡近似真实的后验分布。近似校正,以提高模拟研究中的近似精度。基于人口的方法也被证明提供了一个更强大的推理方法。
2015-09-25 stat.CO stat.ME
Bayesian optimization using sequential Monte Carlo
SUPELEC(巴黎高等电力学院)
我们认为,使用贝叶斯方法,其中$f$的评价是通过结合有关$f$,这是由一个随机过程模型,和过去的评价结果的先验信息顺序选择的实值连续函数$f$的优化问题。这种方法的主要困难是能够计算用于选择评估点的感兴趣的量的后验分布。在本文中,我们决定使用顺序蒙特卡罗(SMC)方法。
2011-11-21 cs.LG math.OC stat.CO
A Bayesian adaptive ensemble Kalman filter for sequential state and parameter estimation
本文提出了一种新的集合卡尔曼滤波器的序列状态和参数估计方法。该方法是完全贝叶斯和传播的联合后验密度的状态和参数随着时间的推移。为了实现该方法,我们考虑两种表示的边缘后验分布的参数:基于网格的方法和高斯近似。与现有的算法相反,新方法明确地考虑了参数的不确定性,并提供了一种正式的方法来结合不同时间段数据中的参数信息。该方法的说明和现有的方法相比,使用模拟和真实的数据。
2016-11-11 stat.CO stat.ME
On sequential hypotheses testing via convex optimization
我们提出了一种新的顺序测试方法,它是[10]中开发的(离线)框架的自适应(在线)扩展。它依赖于假设对的测试,在这种情况下,每个假设都指出,参数的向量,潜在的观察结果的差异属于一个凸集。通过求解一个有效可解的凸优化问题,得到了在适当条件下的近似最优检验。所提出的方法可以被看作是一个计算友好的重新制定的经典序贯测试。
2017-02-24 math.ST stat.CO stat.TH
Sequential Ensemble Transform for Bayesian Inverse Problems
我们提出了顺序包络变换(SET)方法,一种从贝叶斯后验分布生成近似样本的方法。该方法探讨了后验分布,通过解决一系列离散的最优运输问题,产生一系列的运输计划,映射前样本后验样本。我们证明了当样本量趋于无穷大时,SET方法产生的Dirac混合分布序列弱收敛于真后验。此外,我们的数值计算结果表明,相比标准的序贯蒙特卡罗(SMC)方法,SET方法是更强大的马尔可夫突变内核的选择,并需要较少的计算工作,以达到类似的精度时,用于探索复杂的后验分布。最后,我们描述了自适应计划,允许完全自动化的SET方法的使用。
2020-09-20 stat.CO stat.ME
Objective Bayesian analysis under sequential experimentation
序贯实验的客观先验被认为是。常见的先验,如Jeffreys先验和参考先验,通常取决于用于序贯实验的停止规则。在各种情况下获得新的表达式的参考先验,并考虑涉及这种先验的计算问题。
2008-05-20 math.ST stat.CO stat.TH
Sequential Bayesian inference for spatio-temporal models of temperature and humidity data
我们开发了一个时空模型来预测传感器输出在英格兰东北部的五个位置。该信号使用耦合动态线性模型描述,空间效应由高斯过程指定。使用随机算法分析数据流,该算法通过一系列重新加权和重新排序步骤依次逼近参数后验。迭代批量重要性抽样计划是用来规避粒子退化通过重采样移动步骤。对算法进行了改进,使其更高效、更可并行。该模型给出了一个很好的描述的基本过程,并提供合理的预测精度。
2018-06-14 stat.AP stat.CO
Selecting a significance level in sequential testing procedures for community detection
虽然已经开发了许多顺序算法来估计网络中的社区结构,但很少有可用的指导和研究在这些顺序测试程序中使用什么显著性水平或停止参数。大多数算法依赖于预先指定社区的数量或使用任意的停止规则。我们提供了一个原则性的方法来选择一个名义上的显着性水平的顺序社区检测程序通过控制的公差比,定义为欠拟合和过拟合的概率估计的聚类数拟合网络的比率。我们介绍了一种算法,用于指定这个显着性水平从用户指定的公差比,并证明其效用与顺序模块化最大化方法在随机块模型框架。我们评估所提出的算法的性能,通过广泛的模拟和展示其效用在控制单细胞RNA测序聚类细胞类型和聚类国会投票网络的容忍率。
2022-09-15 stat.CO stat.ME
Sequential Monte Carlo for Cut-Bayesian Posterior Computation
提出一种序贯蒙特卡洛方法高效计算 cut-Bayesian 后验量,通过有限样本集中界证明理论性质,并结合线性回火与参数排列优化计算效率,在化学反应器模块化推断中验证了其准确性与计算优势。
2024-11-12 stat.CO stat.ME
Statistical inference and Bayesian optimal life-testing plans under Type-II unified hybrid censoring scheme
本文描述了定数II统一混合截尾下的贝叶斯最优寿命试验问题和推导过程。首先,给出了寿命模型中未知参数的期望失效次数、期望测试持续时间和Fisher信息矩阵的显式表达式。然后,使用这些量,贝叶斯最优寿命试验计划计算在随后的部分。建立了费用约束D-最优最优化问题,并给出了相应的求解算法,得到了最优方案。通过数值例子说明了计算过程。
2020-04-11 math.ST stat.CO stat.TH
Bayesian Optimization Sequential Surrogate (BOSS) Algorithm: Fast Bayesian Inference for a Broad Class of Bayesian Hierarchical Models
本文提出BOSS算法,结合贝叶斯优化与近似贝叶斯推断,大幅减少拟合条件潜在高斯模型的计算开销,并通过模拟及多领域实际应用验证其高效性与准确性。
2024-03-18 stat.AP stat.CO stat.ME
Bayesian supervised predictive classification and hypothesis testing toolkit for partition exchangeability
实现了贝叶斯监督预测分类器、假设检验和分区可交换性下的参数估计。给出的两个分类器是边缘分类器(假设测试数据是i.i.d.)其次是计算成本更高但更准确的同步分类器(其基于所有测试数据的重复使用来一次找到整个测试数据集的标签以预测每个标签)。我们还提供了极大似然估计(MLE)的唯一的基本参数的分区交换生成模型,以及假设检验统计的平等,这个参数与一个单一的值,替代,或多个样本。我们提出的功能来模拟的序列从Ewens抽样公式的实现的泊松-狄利克雷分布和各自的概率。
2021-12-02 cs.MS stat.CO
Sequential Bayesian Inference in Hidden Markov Stochastic Kinetic Models with Application to Detection and Response to Seasonal Epidemics
研究了含潜在因子的随机动力学模型中的序贯贝叶斯推断。假设连续观察所有的反应,我们的重点是联合推理的未知反应速率和动态的潜在状态,建模为一个隐马尔可夫因子。利用连续时间跳马尔可夫过程的非线性滤波的见解,我们开发了一种新的序贯蒙特卡罗算法。我们的方法应用粒子学习的思想,以最大限度地减少粒子退化,并利用分析跳跃马尔可夫结构。我们的方法的一个激励应用是通过一个房室流行病模型表示的季节性传染病暴发的建模。我们证明了在这样的模型中的推理与几个数值说明,并讨论了预测分析的流行病对策,使用顺序贝叶斯估计。
2013-01-16 math.PR math.ST stat.CO
Sequential Bayesian inference for implicit hidden Markov models and current limitations
隐马尔可夫模型通过将数据视为任意复杂马尔可夫过程的噪声测量,可以描述出现在各个科学领域中的时间序列。序贯蒙特卡罗(SMC)方法已经成为估计给定观测值和固定参数值的隐马尔可夫过程的标准工具。我们回顾了最近的一些发展,允许列入参数的不确定性以及模型的不确定性。从算法复杂性的角度强调了目前可用的方法的缺点。时间序列分析中感兴趣的统计对象是在一个玩具“Lotka-Volterra”模型用于人口生态学。一些开放的挑战进行了讨论,审查的方法,更长的时间序列,高维状态空间和更灵活的模型的可扩展性。
2015-05-16 stat.CO stat.ME
Bayesian Kernel Two-Sample Testing
在现代数据分析中,随机变量之间差异的非参数度量尤为重要。这个问题在频率论文献中得到了很好的研究,而在贝叶斯环境中的发展是有限的,应用程序往往限于单变量的情况下。在这里,我们提出了一种贝叶斯核双样本测试程序,该程序基于利用Flaxman等人(2016)建立的框架对再生核希尔伯特空间中的核均值嵌入之间的差异进行建模。核方法的使用使其能够应用于超越多元欧氏空间的一般域中的随机变量。所提出的过程中的后验推理方案,允许自动选择的核心参数相关的问题在手。在一系列的合成实验和两个真实数据实验(即从高维数据测试网络异质性和六元单环构象比较)中,我们说明了我们的方法的优点。
2022-01-21 stat.CO stat.ME
Efficient Bayesian estimation for GARCH-type models via Sequential Monte Carlo
利用序贯蒙特卡罗(SMC)方法的优点,研究了广义自回归条件异方差模型的参数估计和模型选择方法.它提供了一种替代方法来量化相对于经典推理的估计不确定性。即使是长时间序列,它表明,模型参数的后验分布是非正态的,突出了贝叶斯方法和有效的后验抽样方法的需要。有效的方法,既在SMC的分布序列的构建,留一交叉验证,长时间序列数据也被提出。最后,一个无偏估计量的可能性开发的坏环境良好的环境模型,一个复杂的GARCH型模型,它允许精确的贝叶斯推断以前没有在文献中。
2020-03-05 econ.EM stat.AP stat.CO
Sequential Bayesian Learning for Hidden Semi-Markov Models
在本文中,我们探讨类的隐半马尔可夫模型(HSMM),一个灵活的扩展流行的隐马尔可夫模型(HMM),允许潜在的随机过程是一个半马尔可夫链。由于在评估似然函数时增加的计算挑战,HSMM通常比它们的基本HMM对应物使用得不那么频繁。此外,虽然两个模型本质上都是序贯的,但参数估计主要通过批估计方法进行。因此,本文的一个主要动机是提供方法来估计HSMM(1)在计算上可行的时间,(2)在一个精确的方式,即只受蒙特卡罗误差,(3)在一个连续的设置。我们提供并验证了一个高效的计算方案贝叶斯参数估计的HSMM。此外,我们探讨了自回归(AR)模型与隐半马尔可夫状态的波动率指数时间序列的HSMM的性能,并演示了如何使用该算法可以用于政权切换,模型选择和聚类的目的。
2023-01-25 econ.EM stat.AP stat.CO
Sequential Bayesian Experimental Design for Implicit Models via Mutual Information
University of Edinburgh(爱丁堡大学);Queensland University of Technology(昆士兰科技大学)
贝叶斯试验设计(Bayesian Experimental Design,简称BED)是一种利用统计模型和不确定性下的决策来优化科学实验成本和性能的框架。与静态BED相反,序贯BED考虑的是我们可以通过实验中收集的数据顺序更新我们对模型参数的信念的场景。对于自然科学和医学科学特别感兴趣的一类模型是隐式模型,其中数据生成分布是棘手的,但从中采样是可能的。尽管在过去的几年里,隐式模型的静态床层展开已经有了大量的工作,但隐式模型的序贯床层展开这一出了名的难题却很少有人涉及。我们通过设计一种新颖的用于参数估计的序贯设计框架来解决文献中的这一差距,该框架使用模型参数和模拟数据之间的互信息(MI)作为效用函数来寻找最佳试验设计,这是以前没有针对隐式模型进行过的。我们的方法使用比率估计的似然自由推断,同时估计后验分布和MI。在连续的BED过程中,我们利用贝叶斯优化来帮助我们优化MI效用。我们发现,我们的框架是有效的各种隐式模型测试,产生准确的参数估计后,只有几次迭代。
2020-03-20 cs.LG stat.CO stat.ME
Generalized Bayesian Filtering via Sequential Monte Carlo
University of Warwick(华威大学);The Alan Turing Institute(艾伦·图灵研究所)
我们引入了一个框架,在一般的状态空间隐马尔可夫模型(HHALGORY)的可能性误指定的推理。特别是,我们利用广义贝叶斯推断(GBI)的损失理论的角度来定义广义过滤递归的障碍,可以解决模型误指定下的推理问题。在这样做的过程中,我们到达的原则性程序,强大的推理对观察污染利用$β$分歧。通过序贯蒙特卡罗方法(SMC),其中大多数标准粒子方法及其相关的收敛结果,可以很容易地适应新的设置操作所提出的框架。我们将我们的方法应用于目标跟踪和高斯过程回归问题,并观察到标准滤波算法和其他鲁棒滤波器的性能改善。
2020-10-21 cs.LG stat.CO stat.ME
Deep Adaptive Design: Amortizing Sequential Bayesian Experimental Design
University of Oxford(牛津大学)
我们介绍了深度自适应设计(DAD),一种用于摊销自适应贝叶斯试验设计成本的方法,该方法允许实时运行实验。传统的序贯贝叶斯最优试验设计方法需要在试验的每个阶段进行大量的计算。这使得它们不适合大多数现实世界的应用程序,其中通常必须快速做出决策。DAD通过预先学习摊销设计网络来解决这个限制,然后使用它在部署时快速运行(多个)自适应实验。该网络表示一种设计策略,该策略将先前步骤的数据作为输入,并使用单个前向传递输出下一个设计;这些设计决策可以在实时实验期间以毫秒为单位做出。为了训练网络,我们引入了对比信息界,这是合适的目标顺序设置,并提出了一个定制的网络架构,利用关键的对称性。我们证明了DAD成功地摊销了试验设计的过程,在许多问题上优于其他策略。
2021-06-11 cs.AI cs.LG stat.CO
Multi-index Sequential Monte Carlo ratio estimators for Bayesian Inverse problems
我们考虑的问题,估计期望相对于一个未知的归一化常数的目标分布,即使是非归一化的目标需要近似在有限的分辨率。这种设置在科学和工程应用中无处不在,例如在贝叶斯推理的背景下,其中由棘手的偏微分方程(PDE)控制的基于物理的模型出现在可能性中。多指标序贯蒙特卡罗(MISMC)方法被用来构造比估计量,该方法既具有多指标蒙特卡罗(MIMC)方法的复杂性,又具有序贯蒙特卡罗(SMC)方法的推理效率.特别地,所提出的方法可证明地实现了MSE $^{-1}$的规范复杂度,而单级方法需要MSE $^{-ξ}$用于$ξ>1$。这是说明了在$1$和$2$空间维度,其中$ξ=5/4$和$ξ=3/2$,分别椭圆PDE正演模型的贝叶斯逆问题的例子。它也说明了一个更具挑战性的对数高斯过程模型,其中单级复杂性约为$ξ=9/4$和多级蒙特卡洛(或MIMC与不适当的索引集)给$ξ= 5/4 + ω$,对于任何$ω> 0$,而我们的方法再次规范。
2023-03-21 cs.NA math.NA stat.CO
Sequential Bayesian optimal experimental design via approximate dynamic programming
多个实验的设计通常通过次优策略进行,例如省略反馈的批处理(开环)设计或不考虑未来效应的贪婪(近视)设计。本文介绍了序贯试验最优设计的新策略。首先,我们严格制定一般序贯最优试验设计(sOED)问题作为一个动态规划。批处理和贪婪的设计结果从特殊情况下,这个配方。然后,我们专注于sOED参数推断,采用贝叶斯公式与信息理论的设计目标。为了使问题易于处理,我们开发了新的数值方法与连续的参数,设计和观测空间的非线性设计。我们近似的最优策略,通过使用逆向归纳法与回归构建和完善的价值函数近似的动态规划。该算法通过探索和开发迭代生成轨迹,以提高状态空间中频繁访问区域的近似精度。数值结果进行了验证,在线性高斯设置对解析解。然后,在一个非线性源反演问题上证明了批处理和贪婪设计的优势,在这个问题上,我们寻求顺序检测的最佳策略。
2016-04-28 math.OC stat.CO stat.ME