Inference for SDE models via Approximate Bayesian Computation
由随机微分方程(SDEs)定义的模型允许表示动态系统中的随机变化。这类模型的相关性在许多应用研究领域中不断增长,并且已经是模拟例如金融、神经元和人口增长动态的标准工具。然而,多维模型的推理仍然是非常具有挑战性的,无论是在计算上还是在理论上。近似贝叶斯计算(ABC)允许对足够复杂的模型执行贝叶斯推断,所述模型使得似然函数在分析上不可用或在计算上禁止评估。提出了一种计算效率高的ABC-MCMC算法,在我们的模拟运行时间减半。重点是在这种情况下,在状态空间模型中描述潜在的动态,但该方法并不限于状态空间框架。药代动力学/药效学模型和随机化学反应的模拟研究被认为是一个MATLAB软件包实现我们的ABC-MCMC算法。
2013-11-08 stat.AP stat.CO stat.ME
Adaptive Approximate Bayesian Computation Tolerance Selection
近似贝叶斯计算(ABC)方法越来越多地用于在似然函数计算成本高或难以评估的情况下进行推理。对基本的ABC拒识算法进行了扩展,提高了算法的计算效率,扩大了算法的适用范围。Beaumont等人(2009)的ABC-群体蒙特卡罗(ABC-PMC)方法已成为后验近似抽样的流行选择。ABC-PMC是一个顺序采样器,具有迭代递减的公差值,它指定了模拟数据需要与真实数据接近的程度才能接受。我们提出了一种自适应选择一个序列的公差,提高了其他常见技术的算法的计算效率的方法。此外,我们定义了一个停止规则作为适应过程的副产品,这有助于自动终止采样。建议的自动ABC-PMC算法可以很容易地实现,我们提出了几个例子证明其好处的计算效率。
2020-04-30 stat.AP stat.CO stat.ME
New Insights Into Approximate Bayesian Computation
近似贝叶斯计算(简称ABC)是一种计算技术,它在后验似然估计在计算上是禁止的情况下,或者在合适的似然不可用时,提供了一种几乎自动化的解决方案。在本文中,我们分析的过程中,从k-近邻理论的角度来看,并探讨其输出的统计特性。我们讨论特别是一些渐近特性的真正的条件密度估计与ABC,这是一个有趣的混合之间的k-最近邻和核方法。
2013-06-03 math.ST stat.TH
Bayesian Computational Tools
本章回顾了贝叶斯计算领域在过去二十年中的进展,以及缺失数据。它还包含了一些新的双指数模型的计算条目,可能本身的利益。
2013-06-11 stat.CO stat.ME
Bayesian computational methods
在本章中,我们将首先介绍贝叶斯统计中遇到的最标准的计算挑战,主要集中在混合估计和模型选择问题上,然后将这些问题与计算解决方案联系起来。当然,本章只是对贝叶斯计算相关问题和解决方案的简要介绍。更完整的参考文献,请参见Robert and Casella(2004,2009),或Marin and Robert(2007)等。我们还限制提供贝叶斯统计本身的介绍,为了全面覆盖,请读者阅读Robert(2007),(再次)等等。
2010-02-13 stat.CO stat.ME
New frontiers in Bayesian modeling using the INLA package in R
INLA软件包为各种广泛使用的模型(更正式的是潜在高斯模型类)提供了一种计算效率高的贝叶斯建模和推理工具。它是一个基于非采样的框架,使用稀疏矩阵为贝叶斯推断提供近似结果。这种贝叶斯建模框架的迅速采用植根于该方法的计算效率,并受到大数据时代提出的需求的催化。在本文中,我们提出了新的发展内的INLA包的目的是提供一个计算效率高的机制,贝叶斯推断的相关挑战性的情况。
2019-07-25 stat.CO stat.ME
Multinomial Models with Linear Inequality Constraints: Overview and Improvements of Computational Methods for Bayesian Inference
许多心理学理论可以操作为对多项分布的参数的线性不等式约束(例如,离散选择分析)。这些约束可以用两种等价的方式来描述:要么作为线性不等式系统的解集,要么作为极值点(顶点)集的凸包。对于这两种表示,我们描述了一个一般的吉布斯采样器绘制后验样本,以进行贝叶斯分析。我们还总结了替代抽样方法估计贝叶斯因子为这些模型表示使用包围贝叶斯因子方法。我们介绍了R包multinomineq,它提供了一个易于访问的接口,这些技术的计算效率的实现。
2019-02-11 stat.CO stat.ME
Overcoming computational inability to predict clinical outcome from high-dimensional patient data using Bayesian methods
在只有相对少量样本的常见环境中,从高维数据预测临床结果是有问题的。这种不平衡导致数据过拟合,结果预测变得计算昂贵甚至不可能。我们提出了一种贝叶斯结果预测方法,可以应用于任意维d的数据,从2个结果类,并减少过拟合,而无需任何近似的参数水平。这是通过避免数值积分或近似,并解析求解贝叶斯积分。因此,我们减少了从2d维的数值积分的维数为4,对于任何d。对于大的d,这是进一步减少到3,我们得到一个简单的结果预测公式没有积分的领先秩序非常大的d。我们比较我们的方法的mclustDA方法(Fraley和Raftery 2002年),使用模拟和真实的数据集。我们的方法在低维d中表现得与mclustDA一样好或更好。在大尺寸d,mclustDA故障,由于计算的限制,而我们的方法提供了一个可行的和计算效率高的替代方案。
2014-06-19 stat.CO stat.ME
Computational Methods in Bayesian Statistics
本文着重于利用两种不同的贝叶斯方法来处理数据分析中出现的各种玩具问题。特别是,我们实现了变分贝叶斯和嵌套采样方法来解决多项式选择和高斯混合模型的问题,比较算法的处理速度和精度。在这里解决的问题,它是变分贝叶斯算法是更快的,虽然这两个结果给出了类似的结果。
2010-03-22 stat.CO
Enhancing Scalability in Bayesian Nonparametric Factor Analysis of Spatiotemporal Data
针对中大型时空数据的贝叶斯非参数因子分析计算瓶颈,提出切片采样、最近邻高斯过程先验和顺序更新算法,提升可扩展性、存储效率及预测聚类性能。
2025-02-16 stat.CO stat.ME
Computational aspects of Bayesian spectral density estimation
高斯时间序列模型通常通过其谱密度来指定。这种模型提出了几个计算挑战,特别是因为非稀疏性质的协方差阵。我们推导出这种模型的可能性的快速近似。我们建议从近似后验(即先验时间的近似似然)中采样,然后通过重要性抽样恢复精确的后验。我们证明了当样本量趋于无穷大时,重要性抽样权值的方差为零。我们解释了为什么近似的后验通常可能是多模态的,并且我们基于退火序列推导出序贯蒙特卡罗采样器,以便从该目标分布中采样。在模拟和真实数据集上评估了整体方法的性能。此外,对于一个真实世界的数据集,我们提供了一些数值证据表明,贝叶斯方法的半参数估计的谱密度可能会提供更合理的结果比它的Frequentist对应部分。
2012-11-19 stat.CO stat.ME
Bayesian computational algorithms for social network analysis
在本章中,我们回顾了使用R开源软件在快速扩展的统计社会网络分析领域中的一些最新计算进展。特别是,我们将专注于贝叶斯估计的两个重要的家庭模型:指数随机图模型(ERGMs)和潜在空间模型(LSMs)。
2015-04-13 stat.CO
Computational methods for Bayesian model choice
在这篇文章中,我们简要地回顾了贝叶斯假设检验和贝叶斯模型选择中使用的贝叶斯因子的近似方法。特别是,我们重新评估重要性抽样,调和平均抽样,嵌套抽样从一个统一的角度来看。
2009-07-29 stat.CO
Enhancing Computational Efficiency in High-Dimensional Bayesian Analysis: Applications to Cancer Genomics
本文系统评估了 Two-Block Gibbs 采样器在高维贝叶斯收缩模型中的性能,证明其相比 Three-Block Gibbs 采样器计算效率更高、收敛更快,并通过 NCI-60 癌细胞基因表达预测蛋白质表达的应用验证了其价值。
2024-10-22 stat.CO stat.ME
Diagnostic tools of approximate Bayesian computation using the coverage property
近似贝叶斯计算(ABC)是一种在存在计算棘手的似然函数的情况下从近似后验分布进行采样的方法。一个常见的实现是基于模拟模型,参数和数据集三元组,(m,θ,y),从先验,然后接受作为样本的近似后验,那些对(m,θ),其中y,或总结的y,是“接近”的观察数据。接近度通常通过距离度量和核尺度参数ε来确定。适当地选择ε对于产生良好质量的近似是重要的。本文提出了一种基于覆盖属性的ε值选择诊断工具,该工具断言可信区间具有正确的覆盖水平。我们提供了覆盖模型和参数推断的理论结果,并适应这些诊断的ABC上下文中。我们重新分析了一项关于人类人口统计学史的研究,以确定所采用的后验近似法是否合适。实现所提出的方法的R代码可以在“abc”包中免费获得。"
2013-01-14 stat.CO stat.ME
Computing Bayes: Bayesian Computation from 1763 to the 21st Century
贝叶斯统计范式使用概率的语言来表达产生观测数据的现象的不确定性。因此,概率分布是贝叶斯分析的特征,概率规则用于将所有未知数(参数、潜在变量、模型)的先验概率分布转换为数据观察后的后验分布。进行贝叶斯分析需要对出现这些概率分布的积分进行评估。贝叶斯计算就是在没有解析解存在的典型情况下计算这样的积分。本文将带读者按时间顺序参观贝叶斯计算在过去的两个半世纪。从贝叶斯在1763年首次遇到的一维积分开始,到最近的问题,其中未知数数以百万计,我们将所有计算问题放入一个共同的框架,并使用一个共同的符号描述所有计算方法。其目的是帮助新的研究人员,特别是那些有兴趣采用贝叶斯方法进行实证研究的人,理解现在提供的大量计算技术;理解不同方法何时以及为什么有用;并看到它们之间确实存在的联系。
2020-12-05 stat.CO stat.ME
Computational Solutions for Bayesian Inference in Mixture Models
本章调查了最标准的蒙特卡罗方法,可用于从与混合物相关的后验分布进行模拟,并进行了一些关于Gibbs采样器在高维高斯设置中的鲁棒性的实验。这是为即将出版的《混合物分析手册》准备的一章。
2018-12-18 stat.CO
Approximate Bayesian Computational methods
近似贝叶斯计算(ABC)方法也被称为无似然方法,在过去的十年中,它首先在遗传学中,然后在更广泛的应用中,作为解决不可处理的似然问题的最令人满意的方法出现。然而,这些方法在某种程度上遭受校准困难,这使得它们在实施中相当不稳定,从而使它们对更传统的蒙特卡罗方法的用户产生怀疑。在这项调查中,我们研究了近年来对原始ABC算法的各种改进和扩展。
2011-05-27 stat.CO
Bayesian Computing in the Undergraduate Statistics Curriculum
自20世纪90年代计算发展以来,贝叶斯统计获得了巨大的发展势头。逐渐地,贝叶斯方法和软件的进步使得贝叶斯技术更容易被应用统计学家所使用,反过来,也可能改变本科阶段的贝叶斯教育。本文概述了实现贝叶斯计算方法的各种选择,以实现特定的学习成果。根据作者在课堂上使用这些方法的经验,描述了每种计算方法的优点和缺点。我们的目标是目前的指导计算的教师谁是介绍贝叶斯方法在他们的本科统计课程的选择。
2020-11-03 stat.CO
Methods and Tools for Bayesian Variable Selection and Model Averaging in Univariate Linear Regression
在本文中,我们简要回顾了回归模型中变量选择的背景下,贝叶斯方法的模型选择和模型平均的应用有关的主要方法学方面。这包括先前的启发,总结的后验分布和计算策略。然后,我们检查和比较各种公开的{ \tt R}-软件包的实际实现,总结和解释软件包之间的差异,并为应用用户提供建议。我们发现,所有的软件包审查导致非常相似的结果,但有潜在的重要差异的灵活性和效率的包。
2016-12-07 stat.CO
Non-parametric Inference for Diffusion Processes: A Computational Approach via Bayesian Inversion for PDEs
该研究提出基于偏微分方程贝叶斯反演的扩散过程非参数推断工作流,依托过程无穷小生成元构建无穷维问题,探讨优化与采样求解方法,初步实现单/多尺度过程的轨迹数据推断。
2024-11-04 cs.CE stat.CO
Advances in Bayesian Modeling: Applications and Methods
本文综合 MCMC 与变分近似,系统展示贝叶斯建模在多领域的建模、先验获取、计算及评估方法。
2025-02-17 stat.AP stat.CO stat.ME
Graph_sampler: a simple tool for fully Bayesian analyses of DAG-models
贝叶斯网络(BN)是广泛使用的图形模型,可用于绘制关于有向无环图(DAG)的统计推断。本文介绍了一个快速、免费的C语言软件Graph_sampler,用于BN的结构推理. Graph_sampler使用完全贝叶斯方法,其中考虑了数据的边际似然性和有关网络结构的先验信息。这种新的软件可以处理连续和离散数据,并根据数据类型制定两种不同的模型。该软件还提供了各种各样的结构先验,可以是信息性的或非信息性的。在梅特罗波利斯-黑斯廷斯算法中提出了一种新的、速度更快的核跳跃策略。本源码C代码分布非常紧凑,速度快,占用内存和磁盘存储量低.我们基于不同的模拟数据集和合成以及真实网络进行了几次分析,以讨论Graph_sampler的性能。
2016-02-04 stat.CO
AABC: approximate approximate Bayesian computation when simulating a large number of data sets is computationally infeasible
近似贝叶斯计算(ABC)方法在评估似然性困难时对机械激励的参数统计模型的模型特定参数执行推断。ABC方法成功的关键是从参数模型中对数据集进行计算上廉价的模拟。然而,当从模型中模拟数据集的计算成本如此之高,以至于参数的后验分布不能通过ABC充分采样时,推断并不简单。我们提出了近似近似贝叶斯计算(AABC),一类方法,扩展基于模拟的推理ABC模型,其中模拟数据是昂贵的。在AABC中,我们首先模拟有限数量的数据集,这些数据集在计算上是可行的,可以从参数模型中进行模拟。我们使用这些数据集作为固定的背景信息,通知一个非机械的统计模型,近似正确的参数模型,并使大量的数据集的贝叶斯回归方法的有效模拟。我们发现,在温和的假设下,由AABC得到的后验分布收敛到由ABC得到的后验分布,从参数模型模拟的数据集的数量和观察数据集的样本量同时增加。我们说明了AABC的性能上的人口遗传模型的自然选择,以及混合历史的混合动力种群的模型。
2013-01-26 stat.CO
Robust leave-one-out cross-validation for high-dimensional Bayesian models
针对贝叶斯 LOO-CV 中经典重要性采样估计量渐近方差可能无限的问题,提出一种有限方差的新型混合估计量,兼具稳健性、高效率与近单次拟合成本。
2023-09-27 stat.CO stat.ME stat.ML
On the Computational Complexity of High-Dimensional Bayesian Variable Selection
University of California, Berkeley(加州大学伯克利分校)
研究稀疏约束下高维贝叶斯线性回归的马尔可夫链蒙特卡罗(MCMC)方法的计算复杂性。我们首先表明,贝叶斯方法可以在相对温和的条件下实现变量选择的一致性的设计矩阵。然后,我们证明,后验浓度的统计标准不需要意味着计算的迫切需要的快速混合的MCMC算法。通过引入一个截断稀疏变量选择前,我们提供了一组条件,保证变量选择的一致性和快速混合的一个特定的大都会黑斯廷斯算法。混合时间与协变量数量呈线性关系,直至对数因子。我们的证明控制的马尔可夫链的频谱间隙,通过构建一个典型的路径合奏,启发由变量选择的贪婪算法采取的步骤。
2015-05-29 cs.LG math.ST stat.CO
Efficient Multifidelity Likelihood-Free Bayesian Inference with Adaptive Computational Resource Allocation
无似然贝叶斯推断算法是用于校准复杂随机模型的参数的流行方法,当观察数据的似然性难以处理时需要。这些算法的特点是严重依赖于重复的模型模拟。然而,每当模拟的计算成本甚至是适度昂贵的,显着的负担所产生的似然自由算法离开他们在许多实际应用中是不可行的。已经引入了多保真度方法(最初是在近似贝叶斯计算的上下文中),通过使用模拟计算上便宜的近似模型代替感兴趣的模型所提供的信息,来减少无可能性推理的模拟负担,而不损失准确性。这项工作的第一个贡献是证明多保真度技术可以应用于一般的似然自由贝叶斯推断设置。在不同的保真度水平的模拟计算资源的最佳分配的分析结果,并随后实际实施。我们提供了一个自适应的多保真度似然自由推理算法,学习模型之间的关系,在不同的精度,并相应地适应资源分配,并证明该算法产生后验估计与接近最佳的效率。
2021-12-22 q-bio.QM stat.CO
Efficient computational strategies for doubly intractable problems with applications to Bayesian social networks
最近出现在文献中的强大的想法进行调整,并结合设计改进的贝叶斯指数随机图模型的采样器。不同形式的自适应大都会黑斯廷斯建议(垂直,水平和矩形)进行测试,并结合延迟拒绝(DR)的战略,目的是减少方差的马尔可夫链蒙特卡罗估计给定的计算时间。在本文处理的示例中,最佳组合,即具有延迟拒绝的水平自适应,导致相对于Caimo和Friel(2011)的自适应方向采样近似交换算法的方差减少在92%和144%之间变化。这些结果对应于增加的性能,如果我们考虑到模拟时间,其从10%到94%不等。当考虑高度相关的后验分布时,获得最高的改进。
2014-09-17 stat.CO
EggCounts: a Bayesian hierarchical toolkit to model faecal egg count reductions
这是R包eggCounts 2.0版本的一个小插曲。该软件包实现了一套贝叶斯分层模型处理粪便鸡蛋计数减少。模型设计用于各种实际情况,包括个体治疗疗效、零膨胀、小样本量(小于10)和潜在离群值。这些功能使用直观,其输出易于解释,从而保护用户免受复杂的贝叶斯分层建模任务的影响。此外,该软件包包括绘图功能,以视觉上吸引人的方式显示数据和结果。该模型在Stan建模语言中实现,该语言提供了有效的采样技术来获得后验样本。本小插图简要介绍了不同的模型,并提供了一个简短的步行通过分析示例数据。
2022-02-03 stat.AP stat.CO
BAT.jl -- A Julia-based tool for Bayesian inference
Max Planck Institute for Physics(马克斯·普朗克物理研究所);C2PAP, Excellence Cluster Universe, Ludwig-Maximilian University of Munich(慕尼黑大学宇宙卓越集群C2PAP);TU Dortmund University(多特蒙德工业大学)
我们描述了一个多用途的贝叶斯统计推断,BAT.jl,朱莉娅语言编写的软件的开发。这里总结了主要的设计考虑和实现的算法,以及一个测试套件,以确保算法的正常运行。我们还给出了一个物理领域的扩展示例,演示了BAT. jl的功能。
2020-08-07 astro-ph.IM cs.LG hep-ex
Bayesian supervised predictive classification and hypothesis testing toolkit for partition exchangeability
实现了贝叶斯监督预测分类器、假设检验和分区可交换性下的参数估计。给出的两个分类器是边缘分类器(假设测试数据是i.i.d.)其次是计算成本更高但更准确的同步分类器(其基于所有测试数据的重复使用来一次找到整个测试数据集的标签以预测每个标签)。我们还提供了极大似然估计(MLE)的唯一的基本参数的分区交换生成模型,以及假设检验统计的平等,这个参数与一个单一的值,替代,或多个样本。我们提出的功能来模拟的序列从Ewens抽样公式的实现的泊松-狄利克雷分布和各自的概率。
2021-12-02 cs.MS stat.CO
Learning Bayesian Networks from Big Data with Greedy Search: Computational Complexity and Efficient Implementation
从数据中学习贝叶斯网络的结构是一个具有计算挑战性的NP难题。长期以来,文献一直在研究如何从包含大量变量的数据中进行结构学习,这是对系统生物学和遗传学中高维应用(“小n,大p”)的普遍兴趣。最近,具有大量观察结果的数据集(所谓的“大数据”)变得越来越普遍;而且这些数据集不一定是高维的,有时只有几十个变量,具体取决于应用。在这种情况下,我们重新审视贝叶斯网络结构学习的计算复杂性,表明用估计的局部分布的数量来测量它的常见选择会导致最常见的基于分数的算法贪婪搜索的不切实际的时间复杂度估计。然后,我们在常见的分布假设下得到更准确的表达式。这些表达式表明,贝叶斯网络的学习速度可以提高利用封闭形式的估计的可用性,为当地的分布与父母很少。此外,我们发现使用预测而不是样本内拟合优度分数可以提高速度;我们证实这也提高了网络重建的准确性,正如Chickering和Heckerman(2000)之前所观察到的那样。我们证明了这些结果的大型现实世界的环境和流行病学数据,并从公共存储库提供的参考数据集。
2018-11-30 stat.CO
Analysis of a Computational Framework for Bayesian Inverse Problems: Ensemble Kalman Updates and MAP Estimators Under Mesh Refinement
本文分析了在加权内积空间中离散化先验与前向模型的贝叶斯反问题计算框架,建立算子范数界以保证集合卡尔曼方法和MAP估计器在网格细化下的可扩展性与精度。
2024-02-20 cs.NA math.NA stat.CO
A Generalized Polynomial Chaos-Based Method for Efficient Bayesian Calibration of Uncertain Computational Models
本文讨论了动态模型的参数和结构的不确定性,特别是当不确定参数是未知的/知之甚少的时空变化的子系统模型的贝叶斯校准。具有不确定超参数的独立平稳高斯过程描述了模型结构和参数的不确定性,而Karhunnen-Loeve展开被用来谱表示这些高斯过程。将先验高斯过程的Karhunnen-Loeve展开投影到广义多项式混沌的基础上,而利用侵入式Galerkin投影计算模拟器输出的相关系数。贝叶斯推断用于更新广义多项式混沌基的先验概率分布,其与混沌展开系数一起表示后验概率分布。识别量化模拟器模型的可信度的后验分布的参数。所提出的方法被证明是校准的模拟器的准一维流动通过扩张喷嘴。
2012-11-01 math.PR stat.CO
Why approximate Bayesian computational (ABC) methods cannot handle model choice problems
近似贝叶斯计算(ABC),也被称为无似然方法,已成为分析复杂随机模型的最佳工具,主要用于群体遗传学,但也用于金融分析。在Grelaud et al.(2009)中,我们主张在吉布斯随机场(GRF)的特定情况下使用ABC进行贝叶斯模型选择,依赖于GRF主要享有的充分性,以表明该方法是合法的。尽管之前已经建议在DIY ABC软件中的更广泛的模型中使用ABC进行模型选择(Cornuet等人,2008),我们提出的理论证据表明,一般使用ABC的模型选择是充满危险的意义上说,没有计算量,无论多么大,可以保证一个适当的近似的后验概率的模型比较。
2011-01-27 q-bio.QM stat.AP stat.CO
Symmetry Exploits for Bayesian Cubature Methods
Aalto University(阿尔托大学);Newcastle University(纽卡斯尔大学)
本文研究了如何利用对称性来改进贝叶斯立方法,提出了一种新的方法来减少计算成本,并扩展了贝叶斯立方法、贝叶斯-萨德立方法和多输出贝叶斯立方法的对称性利用。
2019-01-26 cs.NA math.NA stat.CO
A Computational Framework and Implementation of Implicit Priors in Bayesian Inverse Problems
本文提出了贝叶斯反问题中隐式先验的计算框架,区分其与显式先验的差异,并在CUQIpy软件包中实现多种隐式先验,通过图像处理和偏微分方程参数估计等反问题验证了其有效性。
2025-09-15 cs.MS stat.CO
Generalised Bayesian Inference for Discrete Intractable Likelihood
针对离散不可处理似然,提出基于离散Fisher散度的一般化贝叶斯推断方法,绕过归一化常数,实现低计算成本的后验采样与校准。
2023-09-01 math.ST stat.CO stat.ME
Entropy and the Kullback-Leibler Divergence for Bayesian Networks: Computational Complexity and Efficient Implementation
Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA)(达莱莫勒人工智能研究所(IDSIA))
本文针对贝叶斯网络缺乏熵与KL散度计算方法的问题,利用其图结构提出高效算法,并将高斯贝叶斯网络的KL散度计算复杂度从三次方降至二次方。
2024-01-15 cs.AI cs.LG stat.CO
Hierarchical Bayesian Calibration with Bayesian Committee Machine
Paul Scherrer Institut(保罗谢尔研究所);ETH Zürich(苏黎世联邦理工学院);Virginia Tech(弗吉尼亚理工大学)
针对粒子加速器实验的不确定性量化挑战,提出分层贝叶斯校准框架,结合贝叶斯委员会机实现高效计算,在基准问题和加速器模拟数据上验证了其计算节省与稳健校准性能。
2026-08-14 physics.data-an stat.CO
Building fast Bayesian computing machines out of intentionally stochastic, digital parts
MIT(麻省理工学院)
大脑使用比逻辑门更慢、更不可靠的神经元,比现代计算机更快、更可靠地解释模糊的感官信息。但是,贝叶斯推理是感知和认知的许多计算模型的基础,即使考虑到现代晶体管的速度和能量预算,它在计算上也具有挑战性。缩小这一差距所需的计算原理和结构是未知的。在这里,我们将展示如何使用有意随机的数字部件来构建快速的贝叶斯计算机器,从而将这种效率差距缩小多个数量级。我们发现,通过连接随机数字组件根据简单的数学规则,可以建立大规模并行,低精度的电路,解决贝叶斯推理问题,并与皮质神经元的泊松放电统计兼容。我们评估电路的深度和运动感知、感知学习和因果推理,每个电路都能实时的对10,000多个潜在变量进行推理-比商品微处理器的速度快1,000倍。这些结果表明,在智能计算的工程和逆向工程的随机性的一个新的角色。
2014-02-20 cs.AI cs.AR stat.CO
Rapid Bayesian inference for expensive stochastic models
几乎所有的科学领域都依赖于统计推断来估计理论和计算模型中的未知参数。虽然现代计算机硬件的性能不断增长,但模型仿真的计算需求增长得更快。这在很大程度上是由于模型复杂性的增加,通常包括随机动力学,这是必要的描述和表征使用现代,高分辨率,实验技术观察到的现象。这样的模型很少是分析易处理的,这意味着参数推断需要非常大量的随机模拟。在这种情况下,参数推断实际上是不可能的。在这项工作中,我们提出了新的计算贝叶斯技术,通过使用计算成本低廉的近似值来通知参数空间中的可行区域,并通过学习变换来调整有偏的近似推断,以更接近代表昂贵的随机模型下的正确推断,从而加速昂贵的随机模型的推断。使用生态学和细胞生物学的局部例子,我们证明了一个数量级的速度提高,而没有任何损失的准确性。这代表了一个实质性的改进,目前国家的最先进的贝叶斯计算方法时,适当的模型近似。
2021-02-23 q-bio.CB q-bio.MN stat.CO
aphBO-2GP-3B: A budgeted asynchronous parallel multi-acquisition functions for constrained Bayesian optimization on high-performing computing architecture
Sandia National Laboratories(桑迪亚国家实验室);Xilinx Inc.(赛灵思公司);Medpace Inc.(Medpace公司);GIW Industries Inc.(GIW工业公司)
高保真的复杂工程模拟具有高度的预测性,但计算成本也很高,通常需要大量的计算工作。在高性能集群(HPC)架构中,通常通过并行来减轻计算负担。在本文中,异步约束批并行贝叶斯优化方法提出了高效地解决计算昂贵的基于模拟的优化问题的HPC平台上,与预算的计算资源,其中的最大数量的模拟是一个常数。这种方法的优点有三方面。首先,提高了贝叶斯优化的效率,其中以异步方式大规模并行地评估多个输入位置,以加速关于物理运行时间的优化收敛。这个效率特性得到了进一步的提高,这样当每个输入完成时,就可以查询另一个输入,而不必等待整个批处理完成。第二,该方法可以处理已知和未知的约束。第三,该方法考虑了多个捕获功能在同一时间和样本的基础上不断变化的概率质量分布函数使用修改的GP-对冲计划,其中参数对应于每个捕获功能的性能。所提出的框架被称为aphBO-2GP-3B,它对应于异步并行对冲贝叶斯优化与两个高斯过程和三批。aphBO-2GP-3B框架使用两个高保真昂贵的工业应用程序进行演示,其中第一个是基于有限元分析(FEA),第二个是基于计算流体动力学(CFD)模拟。
2021-02-04 cs.LG stat.CO stat.ML
Neural Architectures for Amortized Bayesian Inference: Statistical Foundations and Empirical Assessments
Department of Mathematics and Statistics, Indian Institute of Technology Kanpur(数学与统计学系,印度理工学院坎浦尔分校);Marshall School of Business, University of Southern California(马歇尔商学院,南加州大学)
探讨用于摊销贝叶斯推理的神经架构,从统计角度分析前馈网络等架构如何支持摊销推理,通过模拟研究评估其在不同场景下的表现,展现其优势与局限。
2026-07-17 cs.LG stat.CO stat.ML