Belief Propagation by Message Passing in Junction Trees: Computing Each Message Faster Using GPU Parallelization
Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加州大学伯克利分校)
将贝叶斯网络(BN)编译为连接树并在其上执行置信传播是计算BN中后验的最突出方法之一。然而,连接树上的信念传播是已知的,在一般情况下是计算密集型的。它的复杂性可能会显着增加贝叶斯网络节点的连通性和状态空间基数。在本文中,我们使用GPU并行化来解决这个计算挑战。我们开发的数据结构和算法,扩展现有的连接树技术,并专门开发一种新的方法来计算每个信念传播消息并行。我们实现了我们的方法上的NVIDIA GPU和测试它使用BN从几个应用程序。在实验中,我们研究了连接树参数如何影响并行化的机会,因此我们的算法的性能。我们实现了从0.68到9.18的BN研究的加速比。
2012-02-14 cs.AI cs.DC
Bayesian Network Constraint-Based Structure Learning Algorithms: Parallel and Optimised Implementations in the bnlearn R Package
University of Oxford(牛津大学)
众所周知,学习贝叶斯网络结构的问题是非常难以解决的:其计算复杂度在最坏情况下是节点数量的超指数,在大多数现实世界场景中是多项式。基于分数的结构学习的有效实现受益于优化理论中过去和当前的研究,可以通过使用网络分数作为目标函数来最大化来适应任务。这对于基于条件独立性测试的方法(称为基于约束的学习算法)来说是不正确的。唯一广泛使用的优化方法是回溯,它利用了邻域和马尔可夫毯定义所隐含的对称性。在本文中,我们说明了如何在bnlearn R包的最新版本中实现回溯,以及它如何降低贝叶斯网络结构学习的稳定性,而速度方面的增益很小。作为替代方案,我们描述了一种软件架构和框架,可用于并行化基于约束的结构学习算法(也在bnlearn中实现),我们使用四个参考网络和两个来自遗传学和系统生物学的真实数据集来展示其性能。我们表明,在现代多核或多处理器硬件上,并行实现比回溯更可取,回溯是在单处理器机器成为常态时开发的。
2015-06-01 cs.AI cs.MS stat.CO
Sampling Parallelism for Fast and Efficient Bayesian Learning
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Helmholtz AI(亥姆霍兹人工智能)
本文提出采样并行策略,通过分布式GPU加速采样过程,降低内存压力和训练时间,提升贝叶斯学习效率,同时与数据并行策略结合增强模型鲁棒性。
2026-04-06 cs.AI cs.DC cs.LG
Parallel Approaches to Accelerate Bayesian Decision Trees
University of Liverpool(利物浦大学)
马尔可夫链蒙特卡罗(MCMC)是一个成熟的算法家族,主要用于贝叶斯统计,当直接采样具有挑战性时,从目标分布中进行采样。贝叶斯决策树的现有工作使用MCMC。不幸的是,这可能很慢,特别是在考虑大量数据时。很难并行化MCMC的接受-拒绝组件。然而,我们提出了两种方法,利用并行MCMC:在第一,我们取代MCMC与另一个数值贝叶斯方法,序贯蒙特卡罗(SMC)采样器,它具有吸引力的属性,它是一个固有的并行算法;在第二,我们考虑数据分区。这两种方法都使用具有高性能计算(HPC)资源的多核处理。我们在各种研究环境中测试这两种方法,以确定哪种方法对每个测试用例最有利。实验表明,数据分区在我们考虑的设置中具有有限的实用性,并且使用SMC采样器可以提高运行时间(与顺序实现相比)高达343倍。
2023-01-22 cs.AI cs.DC cs.LG
The Parallel Knowledge Gradient Method for Batch Bayesian Optimization
Cornell University(康奈尔大学)
在黑盒优化的许多应用中,可以同时评估多个点,例如,当在并行计算环境中评估几个不同的神经网络架构的性能时。本文提出了一种新的批处理贝叶斯优化算法--并行知识梯度法。通过构造,该方法提供了一步贝叶斯最优批量采样点。我们提供了一个有效的策略来计算这个贝叶斯最优批次的点,我们证明了并行知识梯度法发现全局最优显着快于以前的批次贝叶斯优化算法的合成测试功能和调整超参数时,实际机器学习算法,特别是当功能评估是嘈杂的。
2018-04-22 cs.AI cs.LG stat.ML
Surrogate-assisted parallel tempering for Bayesian neural learning
University of New South Wales(新南威尔士大学);The University of Sydney(悉尼大学);Indian Institute of Technology Guwahati(印度理工学院古瓦哈提分校);SRM Institute of Science and Technology(SRM科学技术学院);Indian Institute of Technology Delhi(印度理工学院德里分校)
由于需要鲁棒的不确定性量化,贝叶斯神经学习在深度学习和大数据时代获得了关注。马尔可夫链蒙特卡罗(MCMC)方法通常实现贝叶斯推理,其面临给定大量参数、复杂和多模态后验分布以及大型神经网络模型的计算复杂性的若干挑战。并行回火MCMC解决了其中的一些限制,因为它们可以对多峰后验分布进行采样并利用高性能计算。然而,考虑到大型神经网络模型和大数据,仍然存在某些挑战。代理辅助优化的特点是对模型的目标函数进行估计,这在计算上是昂贵的。在本文中,我们解决了并行回火MCMC的效率低下的大规模问题相结合的并行计算功能与代理辅助似然估计,描述了一个模型参数值的可扩展性,给定特定的观测数据。因此,我们提出了替代辅助并行回火贝叶斯神经学习简单的计算昂贵的模型。我们的研究结果表明,该方法显着降低了计算成本,同时保持质量的决策与贝叶斯神经网络。该方法具有广泛的数值模型的贝叶斯反演和不确定性量化的应用。
2020-05-14 cs.AI cs.LG stat.ML
New Heuristics for Parallel and Scalable Bayesian Optimization
Center for Theoretical Neuroscience(理论神经科学中心);Columbia University(哥伦比亚大学)
贝叶斯优化已成为一个强大的候选工具,为全球优化的功能与昂贵的评价成本。然而,由于贝叶斯方法研究的动态性质,以及计算技术的发展,在并行计算环境中使用贝叶斯优化对于非专家来说仍然是一个挑战。在这份报告中,我回顾了最先进的并行和可扩展的贝叶斯优化方法。此外,我还提出了一些实用的方法来避免贝叶斯优化的一些陷阱,如边缘参数的过采样和高性能参数的过度利用。最后,我提供了相对简单的启发式算法,以及它们的开源软件实现,这些算法可以立即轻松地部署在任何计算环境中。
2018-08-23 cs.LG stat.AP stat.ML
Simple and Scalable Parallelized Bayesian Optimization
CyberAgent, Inc.(赛博艾坚特公司)
近年来,利用并行和分布式计算资源已经成为解决高计算成本问题的关键。贝叶斯优化(BO)在诸如机器学习算法的超参数优化等评估成本高的问题中表现出了令人瞩目的结果。虽然已经开发了许多并行BO方法来有效地利用这些计算资源进行搜索,但这些方法假设同步设置或不可扩展。在本文中,我们提出了一个简单的和可扩展的异步并行设置BO方法。实验结果表明,该方法具有良好的性能。
2020-06-24 cs.LG stat.ML
PBODL : Parallel Bayesian Online Deep Learning for Click-Through Rate Prediction in Tencent Advertising System
Tencent(腾讯)
我们描述了一个用于预测当前腾讯广告系统中点击率(CTR)的并行baidu在线深度学习框架(PBODL),它可以快速准确地学习用户偏好。我们首先用一个深度概率回归模型来解释这个框架,这个模型是在假设的高斯密度过滤模式下用概率反向传播来训练的。然后,我们将模型家族扩展到各种具有越来越多的特征嵌入能力的baker-online模型,如Sparse-MLP,FM-MLP和FFM-MLP。最后,我们实现了一个基于流计算基础设施和参数服务器的并行训练系统。在公开数据集和腾讯行业数据集上的实验表明,我们框架内的模型性能优于几种常见的在线模型,如AdPredictor,FTRL-Proximal和MatchBox。在腾讯广告系统中的在线A/B测试进一步证明了我们的框架可以通过更快更准确的学习来实现CTR和CPM的提升。
2017-07-09 cs.LG
Randomized Kriging Believer for Parallel Bayesian Optimization with Regret Bounds
Department of Engineering, Nagoya University(名古屋大学工学部);RIKEN AIP(理化学研究所AIP)
提出随机克里金信徒法用于并行贝叶斯优化,结合KB启发式,具有低计算复杂度、易实现、通用性强和异步并行适用性,并给出贝叶斯期望遗憾界。
2026-06-25 cs.LG stat.ML
Asynchronous Parallel Bayesian Optimisation via Thompson Sampling
Carnegie Mellon University(卡内基梅隆大学);University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
我们设计和分析的经典汤普森采样(TS)过程中的贝叶斯优化(BO)的设置功能评估是昂贵的,但可以并行执行的变化。我们的理论分析表明,在同步或异步并行设置的顺序汤普森采样算法的直接应用程序产生了令人惊讶的强大的结果:使$n$评价分布在$M$工人基本上相当于执行$n$评价序列。此外,通过建模完成函数评估所需的时间,我们表明,在时间约束下,异步并行TS实现渐近低于同步和顺序版本的遗憾。这些结果的补充实验分析,表明异步TS优于一套现有的并行BO算法在模拟和超参数调整应用在卷积神经网络。除了这些,建议的程序是概念上和计算上比现有的工作更简单的并行BO。
2017-05-25 cs.LG stat.ML
SOBER: Highly Parallel Bayesian Optimization and Bayesian Quadrature over Discrete and Mixed Spaces
University of Oxford(牛津大学)
SOBER通过将批量全局优化重构为求积问题,把非凸采集函数最大化松弛为凸核重组,从而在离散与混合空间上实现可扩展、多样化的并行贝叶斯优化与求积,并在12项任务上超越11个基线。
2023-07-05 cs.LG cs.NA math.NA
Parallel Bayesian Optimization of Multiple Noisy Objectives with Expected Hypervolume Improvement
Facebook(脸书);University of Oxford(牛津大学)
优化多个竞争的黑箱目标在许多领域都是一个具有挑战性的问题,包括科学,工程和机器学习。多目标贝叶斯优化(MOBO)是一种样本有效的方法,用于确定目标之间的最佳权衡。然而,许多现有的方法表现不佳时,观测被噪声破坏。我们提出了一种新的采集功能,NEHVI,克服了这一重要的实际限制,通过应用贝叶斯处理流行的预期超体积改进(EHVI)标准,并整合在帕累托前沿的不确定性。我们认为,即使在无噪声的设置,并行生成多个候选人是一个化身的EHVI与帕累托前沿的不确定性,因此可以使用相同的底层技术来解决。通过这个镜头,我们得到一个自然的并行变量,$q$ NEHVI,减少计算复杂性的并行EHVI从指数多项式的批量大小。$q$ NEHVI是一步贝叶斯最优的超体积最大化在噪声和无噪声的环境中,我们表明,它可以有效地优化与基于梯度的方法,通过样本平均近似。从经验上讲,我们不仅证明了$q$ NEHVI比现有的MOBO方法对观测噪声的鲁棒性更强,而且还证明了它在大批量环境中实现了最先进的优化性能和有竞争力的墙时间。
2021-10-26 cs.AI cs.LG stat.ML
$\{\text{PF}\}^2$ES: Parallel Feasible Pareto Frontier Entropy Search for Multi-Objective Bayesian Optimization
提出了并行可行Pareto前沿熵搜索($\{\text{PF}\}^2$ ES)--一种新的支持未知约束和批量查询的多目标贝叶斯优化的信息论获取函数。由于表征候选评估和(可行的)帕累托边界之间的互信息的复杂性,现有的方法必须要么采用粗糙的近似,显着妨碍其性能或依赖于昂贵的推理方案,大大增加了优化的计算开销。相反,通过使用变分下界,$\{\text{PF}\}^2$ ES提供了互信息的低成本和准确的估计。我们基准$\{\text{PF}\}^2$ ES对其他信息理论的采集功能,展示其竞争力的性能,优化合成和现实世界的设计问题。
2023-02-21 cs.LG math.OC
Parallel Gaussian process surrogate Bayesian inference with noisy likelihood evaluations
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所);Aalto University(阿尔托大学);University of Edinburgh(爱丁堡大学)
我们考虑贝叶斯推断时,只有有限数量的噪声对数似然评价可以得到。例如,当将复杂的基于模拟器的统计模型拟合到数据时,会发生这种情况,并且使用合成似然(SL)方法来使用计算成本高的前向模拟来形成噪声对数似然估计。我们框架的推理任务作为一个连续的贝叶斯试验设计问题,其中的对数似然函数建模与分层高斯过程(GP)代理模型,这是用来有效地选择额外的对数似然评估位置。最近的进展的相关问题的批量贝叶斯优化的动机,我们开发了各种批量顺序的设计策略,允许并行运行一些潜在的昂贵的模拟。我们从理论和经验上分析了所产生的方法的属性。几个玩具问题和仿真模型的实验表明,我们的方法是强大的,高度并行化,样本效率。
2020-03-06 cs.LG stat.CO stat.ME
Langevin-gradient parallel tempering for Bayesian neural learning
贝叶斯神经学习的特点是通过代表神经网络知识的权重的后验分布来进行估计和不确定性量化的严格方法。这不仅提供了最优权重集的点估计,而且还能够使用后验分布量化决策中的不确定性。马尔可夫链蒙特卡罗(MCMC)技术通常用于获得基于样本的后验分布估计。然而,这些技术在融合和可扩展性方面面临挑战,特别是在具有大型数据集和网络架构的环境中。本文从两个方面解决这些挑战。首先,使用并行回火来探索后验分布的多种模式,并在多核计算架构中实现。其次,我们使用Langevin梯度信息形成Metropolis-Hastings建议分布,使链内抽样方案更有效。我们展示了使用时间序列预测和模式分类应用程序的技术。结果表明,该方法不仅提高了计算时间,但提供了更好的预测或决策能力时,与相关方法相比。
2018-11-11 cs.AI cs.LG stat.ML
Asynchronous Batch Bayesian Optimization with Pipelining Evaluations for Experimental Resource$\unicode{x2013}$constrained Conditions
Keio University(庆应义塾大学)
针对实验资源受限下批量贝叶斯优化无法应用、顺序方法耗时过长的问题,本研究提出流水线贝叶斯优化(PipeBO),通过重叠实验进程实现并行化,在24个基准函数中的20个上平均减少约44%处理时间,提升资源受限场景下的优化效率。
2024-12-05 cs.LG
PARyOpt: A software for Parallel Asynchronous Remote Bayesian Optimization
Iowa State University(爱荷华州立大学);University of Kentucky(肯塔基大学)
PARyOpt是一个基于Python的贝叶斯优化例程的实现,专为远程和异步函数求值而设计。贝叶斯优化由于其低费用函数占用空间以及能够考虑数据中的不确定性而对于计算优化特别有吸引力。在分布式计算系统上有效部署任何优化策略的关键挑战是同步步骤,其中来自多个函数调用的数据被同化以识别下一个函数调用活动。贝叶斯优化提供了一种优雅的方法来克服这个问题,通过异步更新。我们制定,开发和实现一个并行的,异步的贝叶斯优化的变种。该框架是稳健的,能够抵御外部故障。我们展示了如何这样的异步评估有助于减少总优化挂钟时间的一套测试问题。此外,我们展示了该框架的软件设计如何允许轻松扩展到响应面重建(克里格),提供了一个高性能的自主探索软件。该软件可在PyPI上使用,并附有示例和文档。
2018-09-12 cs.LG math.OC stat.ML
Fast Parallel SAME Gibbs Sampling on General Discrete Bayesian Networks
University of California, Berkeley(加州大学伯克利分校)
在机器学习和相关领域中的基本任务是在贝叶斯网络上执行推理。由于精确推理通常需要指数时间,因此使用了各种近似方法。吉布斯抽样是最准确的方法之一,并提供无偏样本的后验,但它历来是太昂贵的大型模型。在本文中,我们提出了一个优化的,并行吉布斯采样增强状态复制(或状态增强边际估计),以减少收敛时间。我们发现,改进的参数估计的质量,同时加速收敛。合成和真实数据的实验表明,我们的吉布斯采样器是大大快于最先进的采样器,JAGS,而不牺牲精度。我们的最终目标是向许多领域的研究人员介绍吉布斯采样器,以扩大他们可行推理问题的范围。
2015-11-19 cs.LG stat.ML
Limbo: A Fast and Flexible Library for Bayesian Optimization
Imperial College London(帝国理工学院);Inria Nancy Grand - Est(法国国家信息与自动化研究所南锡-大东部研究中心);CNRS(法国国家科学研究中心);Université de Lorraine(洛林大学)
Limbo是一个用于贝叶斯优化的开源C++11库,它被设计为高度灵活和非常快速。它可用于优化梯度未知、求值昂贵且运行时成本重要的函数(例如,在嵌入式系统或机器人上)。标准函数的基准测试表明,Limbo比BayesOpt(另一个C++库)快2倍,但精度相似。
2016-11-22 cs.AI cs.LG cs.RO
Fast Bayesian Non-Negative Matrix Factorisation and Tri-Factorisation
University of Cambridge(剑桥大学)
本文提出一种快速变分贝叶斯算法,用于非负矩阵分解和三因子分解,相比Gibbs采样和非概率方法,该方法在迭代和时间步收敛速度更快,且无需额外样本估计后验。
2016-10-26 cs.AI cs.LG cs.NA
New Paradigms for Exploiting Parallel Experiments in Bayesian Optimization
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对贝叶斯优化本质串行难以利用高通量并行实验的局限,提出利用系统结构划分设计空间的并行新范式,显著减少搜索时间并提高找到全局解的概率。
2022-12-09 cs.AI cs.LG stat.AP
Picard Proximal Monte Carlo for Parallel Bayesian Imaging with Score-Based Generative Priors
Johns Hopkins University(约翰斯·霍普金斯大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
针对贝叶斯成像逆问题采样成本高的痛点,提出基于近端朗之万动力学与Picard迭代的并行采样框架PiX-MC,实现50倍加速且保持重建质量
2026-08-19 cs.LG
Kalman Linear Attention: Parallel Bayesian Filtering For Efficient Language Modelling and State Tracking
University of Cambridge(剑桥大学)
提出Kalman线性注意力层,将序列混合重写为信息形式的精确贝叶斯滤波,实现时间并行推理,在相同计算成本下比GLA更具表达力,并在状态跟踪任务中超越线性SSM和注意力。
2026-06-11 cs.LG
aphBO-2GP-3B: A budgeted asynchronous parallel multi-acquisition functions for constrained Bayesian optimization on high-performing computing architecture
Sandia National Laboratories(桑迪亚国家实验室);Xilinx Inc.(赛灵思公司);Medpace Inc.(Medpace公司);GIW Industries Inc.(GIW工业公司)
高保真的复杂工程模拟具有高度的预测性,但计算成本也很高,通常需要大量的计算工作。在高性能集群(HPC)架构中,通常通过并行来减轻计算负担。在本文中,异步约束批并行贝叶斯优化方法提出了高效地解决计算昂贵的基于模拟的优化问题的HPC平台上,与预算的计算资源,其中的最大数量的模拟是一个常数。这种方法的优点有三方面。首先,提高了贝叶斯优化的效率,其中以异步方式大规模并行地评估多个输入位置,以加速关于物理运行时间的优化收敛。这个效率特性得到了进一步的提高,这样当每个输入完成时,就可以查询另一个输入,而不必等待整个批处理完成。第二,该方法可以处理已知和未知的约束。第三,该方法考虑了多个捕获功能在同一时间和样本的基础上不断变化的概率质量分布函数使用修改的GP-对冲计划,其中参数对应于每个捕获功能的性能。所提出的框架被称为aphBO-2GP-3B,它对应于异步并行对冲贝叶斯优化与两个高斯过程和三批。aphBO-2GP-3B框架使用两个高保真昂贵的工业应用程序进行演示,其中第一个是基于有限元分析(FEA),第二个是基于计算流体动力学(CFD)模拟。
2021-02-04 cs.LG stat.CO stat.ML
Comparison of parallel SMC and MCMC for Bayesian deep learning
Mathematics Department, University of Manchester(曼彻斯特大学数学系);Department of Electrical and Computer Engineering, Southern Methodist University(南方 Methodist 大学电气与计算机工程系);DEVCOM US Army Research Laboratory(美国陆军研发实验室);Department of Electrical and Computer Engineering, University of Illinois Chicago(伊利诺伊大学芝加哥分校电气与计算机工程系);Cognizant AI Labs(Cognizant AI 实验室);Quantum Information Science Section, Oak Ridge National Laboratory(橡树岭国家实验室量子信息科学部);Tulane University(Tulane 大学)
本研究系统比较贝叶斯深度学习中并行SMC(SMC∥)与并行MCMC(MCMC∥),证明SMC∥收敛性与单SMC一致且通信更少,发现两者并行实现性能和成本与非并行及彼此相近,但运行不足会灾难性不收敛。
2025-08-20 cs.LG stat.CO stat.ML
Decomposition for Bayesian Networks: Local and Parallel Inference
School of Mathematics and Statistics and KLAS, Northeast Normal University(数学与统计学学院及KLAS,东北师范大学);College of Mathematics and System Sciences, Xinjiang University(数学与系统科学学院,新疆大学);Institute of Statistics and Data Science, Xinjiang University of Finance and Economics(统计与数据科学学院,新疆财经大学)
针对高维贝叶斯网络精确推理复杂度随规模指数增长的问题,提出基于有向凸子图的分解框架与最小d-分解树,实现并行推理,效率优于连接树法且保留推理精度。
2026-07-07 cs.LG stat.ML
Fast Sampling for Bayesian Max-Margin Models
贝叶斯最大边际模型结合了贝叶斯建模的灵活性和最大边际学习的预测优势,在文本分类、协同预测、社交网络链接预测和众包等实际应用中表现出了优越性。然而,这些模型的蒙特卡罗采样仍然具有挑战性,特别是对于涉及大规模数据集的应用程序。本文提出了随机次梯度哈密顿蒙特卡罗(HMC)方法,该方法易于实现,计算效率高。我们展示了次梯度HMC的近似详细平衡性质,揭示了普通HMC的自然和有效的推广。此外,我们研究了使用随机子采样和恒温器的变体,以获得更好的可扩展性和混合。利用随机次梯度马尔可夫链蒙特卡罗(MCMC)方法,我们有效地解决了各种贝叶斯最大间隔模型的后验推理问题,大量的实验结果证明了我们方法的有效性.
2016-10-18 cs.AI cs.LG stat.ML
Sampling Acquisition Functions for Batch Bayesian Optimization
University of Oxford(牛津大学);UC Berkeley(加州大学伯克利分校);IBM Research, Zurich(IBM研究院苏黎世分部)
我们提出了采集汤普森采样(ATS),一种新的技术,批量贝叶斯优化(BO)的基础上,从一个随机过程中采样多个采集功能的想法。我们通过一组模型超参数上的采集函数的依赖性来定义这个过程。ATS在概念上是简单的,直接实现,并且与其他批处理BO方法不同,它可以用于并行化任何顺序采集功能或使现有的并行方法进一步扩展。我们提出了各种基准函数和超参数优化的一个流行的梯度提升树算法的实验。这些证明了ATS的优势,经典的并行汤普森采样BO,其竞争力与两个国家的最先进的批BO方法,其有效性,如果应用于现有的并行BO算法。
2019-10-16 cs.LG stat.ML
Asynchronous Batch Bayesian Optimisation with Improved Local Penalisation
University of Oxford(牛津大学);Mind Foundry Ltd.(Mind Foundry有限公司);Oxford-Man Institute of Quantitative Finance(牛津-曼定量金融研究所)
批量贝叶斯优化(BO)已成功应用于使用并行计算的超参数调整,但它浪费资源:提前完成工作的工人被闲置。我们解决这个问题,开发一种方法,惩罚本地异步贝叶斯优化$k$工人(PLAyBOOK),异步并行BO。我们证明经验的有效性PLAYBOOK及其变种的合成任务和现实世界的问题。我们对同步BO和异步BO进行了比较,结果表明,异步BO在挂钟时间和函数求值次数方面通常优于同步批处理BO。
2019-05-28 cs.AI cs.LG stat.ML
Differentiable Expected Hypervolume Improvement for Parallel Multi-Objective Bayesian Optimization
Facebook(脸书)
在许多现实场景中,决策者寻求以样本效率的方式有效地优化多个竞争目标。多目标贝叶斯优化(BO)是一种常用的方法,但许多性能最佳的采集功能不具有已知的分析梯度,并遭受高计算开销。我们利用最新的进展,在编程模型和硬件加速多目标BO使用预期超卷改进(EHVI)-一个算法臭名昭著的高计算复杂性。我们推导出一种新的配方的q-预期超容量改进(qEHVI),采集功能,扩展EHVI的并行,约束的评价设置。qEHVI是q个新候选点的联合EHVI的精确计算(直到蒙特卡罗(MC)积分误差)。而以前的EHVI配方依赖于无梯度采集优化或近似梯度,我们通过自动微分计算MC估计器的精确梯度,从而实现高效和有效的优化使用一阶和准二阶方法。我们的实证评估表明,qEHVI是计算上易于处理的在许多实际情况下,并优于国家的最先进的多目标BO算法在一小部分的墙壁时间。
2020-10-23 cs.AI cs.LG math.OC
Fast Bayesian Optimization of Machine Learning Hyperparameters on Large Datasets
University of Freiburg(弗莱堡大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
贝叶斯优化已经成为机器学习算法(例如支持向量机或深度神经网络)的超参数优化的成功工具。尽管它取得了成功,但对于大型数据集,训练和验证单个配置通常需要数小时、数天甚至数周,这限制了可实现的性能。为了加速超参数优化,我们提出了一个生成模型的验证误差作为训练集大小的函数,这是在优化过程中学习,并允许探索初步配置的小子集,通过外推到完整的数据集。我们构建了一个贝叶斯优化过程,称为Fabolas,它将损失和训练时间建模为数据集大小的函数,并自动权衡关于全局最优值的高信息增益与计算成本。优化支持向量机和深度神经网络的实验表明,Fabolas找到高质量解决方案的速度通常比其他最先进的贝叶斯优化方法或最近提出的强盗策略Hyperband快10到100倍。
2017-03-07 cs.AI cs.LG stat.ML
Surrogate-assisted Bayesian inversion for landscape and basin evolution models
University of New South Wales(新南威尔士大学);University of Sydney(悉尼大学);SRM Institute of Science and Technology(SRM科学技术研究所)
景观演化模型的复杂性和计算成本高的性质在未知参数的推断和优化方面提出了重大挑战。贝叶斯推断提供了一种用于未知模型参数的估计和不确定性量化的方法。在我们以前的工作中,我们开发了并行回火贝叶斯作为参数估计和不确定性量化的荒地景观演化模型的框架。并行回火Bayeslands具有高性能计算功能,具有数十个并行运行的处理核心,以提高计算效率。虽然我们使用并行计算,但该过程仍然具有计算挑战性,因为需要绘制和评估数千个样本。\textcolor{black}{In large-scale landscape and basin evolution problems, a single model evaluation can take from several minutes to hours, and in some instances, even days. Surrogate-assisted optimisation has been used for several computationally expensive engineering problems which motivate its use in optimisation and inference of complex geoscientific models.}代理模型的使用可以通过开发计算成本低廉的模型来模拟昂贵的模…
2020-06-27 cs.DC cs.LG cs.NE
Scalable3-BO: Big Data meets HPC - A scalable asynchronous parallel high-dimensional Bayesian optimization framework on supercomputers
Sandia National Laboratories(桑迪亚国家实验室);Xilinx Inc.(赛灵思公司)
贝叶斯优化(BO)是一个灵活而强大的框架,适用于计算昂贵的基于仿真的应用程序,并保证统计收敛到全局最优。虽然仍然是最流行的优化方法之一,但其能力受到数据大小,所考虑问题的维度以及顺序优化的性质的阻碍。这些可伸缩性问题相互交织,必须同时解决。在这项工作中,我们提出了可扩展的$^3$ -BO框架,它采用稀疏GP作为底层的代理模型,以大数据的范围,并配备了一个随机嵌入,以有效地优化高维问题,有效维数低。可扩展的$^3$ -BO框架进一步利用异步并行化特征,其在计算预算内充分利用HPC上的计算资源。因此,所提出的可扩展$^3$ -BO框架在三个独立的方面是可扩展的:关于HPC上的数据大小、维度和计算资源。这项工作的目标是推动BO的前沿超越其众所周知的可扩展性问题,并最大限度地减少挂钟等待时间,以优化高维计算昂贵的应用程序。我们展示了可扩展的$^3$ -BO的能力,在HPC环境中有100万个数据点,10,000维问题,20个并发工作者。
2021-08-12 cs.DC cs.LG math.OC
Fast Non-Bayesian Poisson Factorization for Implicit-Feedback Recommendations
本文研究了基于正则化泊松模型的非负低秩矩阵分解(PF或Poisson factorization)在隐式反馈数据推荐系统中的应用。泊松似然的特性允许在零值输入上进行非常快速的计算,并且通常会导致用户和项目的非常稀疏的因子。与HPF(一种流行的贝叶斯公式的问题与分层先验)相比,这里提出的基于频率论优化的方法往往会产生更好的前N个建议,拟合时间显着缩短,在稀疏的解决方案之上。
2022-02-23 cs.LG stat.ML
Parallel Predictive Entropy Search for Multi-objective Bayesian Optimization with Constraints
Universidad Autónoma de Madrid(马德里自治大学)
现实世界的问题往往涉及多个约束条件下的多个目标的优化。一个例子是机器学习算法的超参数调整问题。特别地,深度神经网络的泛化误差的估计的最小化,并且同时其预测时间的最小化。我们还可以考虑作为约束,深度神经网络必须在具有低于某一尺寸的面积的芯片中实现。这里,目标和约束都是黑盒,即,解析表达式未知且计算代价高昂的函数。贝叶斯优化(BO)方法已经给出了黑箱优化的最新结果。然而,大多数BO方法是顺序的,并且迭代地在一个输入位置处评估目标和约束。然而,有时我们可能有资源并行评估几个配置。尽管如此,没有并行BO方法已被提出来处理多个约束条件下的多个目标的优化。如果昂贵的评估可以并行执行(例如当计算机集群可用时),则顺序评估会导致资源浪费。本文介绍了PPESMOC,并行预测熵搜索多目标贝叶斯优化与约束,一个基于信息的批处理方法,同时优化多个昂贵的评估黑盒功能的存在下,几个约束。迭代地,PPESMOC选择一批输入位置来评估黑盒,以最大限度地减少优化问题的帕累托集的熵。我们提出的合成,基准和现实世界的实验,说明PPESMOC的有效性的形式的经验证据。
2021-07-01 cs.LG math.OC stat.ML
Parallel Bayesian Optimization Using Satisficing Thompson Sampling for Time-Sensitive Black-Box Optimization
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京国家信息科学与技术研究中心)
针对时间敏感黑盒优化问题,提出基于满足型Thompson采样的并行贝叶斯优化方法,通过率失真理论平衡信息量与次优性,在锂电快充实验中优于传统方法。
2023-10-19 cs.LG cs.SY eess.SY
Safe Imitation Learning via Fast Bayesian Reward Inference from Preferences
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Applied Research Laboratories, The University of Texas at Austin(德克萨斯大学奥斯汀分校应用研究实验室)
通过演示进行贝叶斯奖励示教学习,可在执行模仿学习时进行严格的安全性和不确定性分析。然而,贝叶斯奖励学习方法对于复杂的控制问题通常是计算上难以处理的。我们提出了贝叶斯奖励外推(贝叶斯REX),一个高效的贝叶斯奖励学习算法,规模高维模仿学习的问题,通过预训练低维特征编码通过自我监督的任务,然后利用偏好的演示,以执行快速贝叶斯推理。Bayesian REX可以从演示中学习玩Atari游戏,而无需访问游戏分数,并且可以在个人笔记本电脑上仅用5分钟就从奖励函数中生成100,000个样本。贝叶斯REX还导致模仿学习性能与仅学习奖励函数的点估计的最新方法竞争或更好。最后,Bayesian REX能够在不访问奖励函数样本的情况下进行高效的高置信度策略评估。这些高置信度性能界限可用于对各种评估策略的性能和风险进行排名,并提供一种检测奖励投机行为的方法。
2020-12-17 cs.LG stat.ML
Optimization, fast and slow: optimally switching between local and Bayesian optimization
Department of Engineering Science, University of Oxford(牛津大学工程科学系);Oxford-Man Institute of Quantitative Finance(牛津曼量化金融研究所)
我们开发了第一个贝叶斯优化算法,BLOSSOM,它选择多个替代的采集功能和传统的局部优化在每一步。这是结合了一个新的停止条件的基础上预期的遗憾。这种配对使我们能够获得局部优化和贝叶斯优化的最佳特性,有效地利用函数求值,同时在选择优化问题时获得全局最小值的卓越收敛,并且一旦满足原则性和直观的停止条件,就停止优化。
2018-05-22 cs.LG stat.ML
Fast MCMC sampling for Markov jump processes and continuous time Bayesian networks
Gatsby Computational Neuroscience Unit(盖比计算神经科学单元);University College London(伦敦大学学院)
马尔可夫跳过程和连续时间贝叶斯网络是一类重要的连续时间动态系统。在本文中,我们通过引入一个快速辅助变量吉布斯采样器来解决这些模型中未观测路径的推断问题。我们的方法是基于均匀化的思想,并建立了一个马尔可夫链的路径通过采样一组有限的虚拟跳跃时间,然后运行一个标准的隐马尔可夫模型的前向滤波-后向采样算法的状态在现有的和虚拟的跳跃时间。我们证明了显着的计算效益超过一个国家的最先进的吉布斯采样器上的一些连续时间贝叶斯网络。
2012-02-14 cs.LG stat.ME stat.ML
Fast Non-Parametric Bayesian Inference on Infinite Trees
注射了。从未知分布的数据,我们考虑预测未来项目的问题。估计概率密度的自适应方法是递归地将域细分为适当的数据相关粒度。贝叶斯将为“细分”分配一个与数据无关的先验概率,这将导致在无限(许多)树上的先验。我们推导出一个精确的,快速的,简单的推理算法,这样的先验,数据证据,预测分布,有效的模型维数,和其他数量。
2004-11-23 cs.LG math.PR math.ST
Parallel Bayesian Optimization of Agent-based Transportation Simulation
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);Marain Inc.(Marain公司)
MATSim(Multi-Agent Transport Simulation Toolkit)是一个开源的大规模基于Agent的交通规划项目,应用于道路交通、公共交通、货运、区域疏散等领域。BEAM(Behavior,Energy,Autonomy,and Mobility)框架扩展了MATSim,使其能够对城市交通系统进行强大且可扩展的分析。BEAM模拟的代理人表现出基于多项logit模型的“模式选择”行为。在我们的研究中,我们考虑了八种模式的选择,即自行车,汽车,步行,乘坐冰雹,驾驶运输,步行运输,乘坐冰雹运输和乘坐冰雹池。每个模式选择的“替代特定常数”是与实验中的特定场景相关的配置文件中的关键超参数。我们使用'Urbansim-10 k' BEAM场景(10,000人口规模)进行所有实验。由于这些超参数以复杂的方式影响模拟,手动校准方法非常耗时。我们提出了一个并行贝叶斯优化方法与早期停止规则,以实现快速收敛到其最优配置给定的多输入多输出问题。我们的模型是基于一个开源的HpBandSter包。这种方法结合了几个一维核密度估计器(KDE)的层次结构和一个廉价的评估器(Hyperband,一个单一的多维KDE)。我们的模型还结合了基于外推的早期停止规则。使用我们的模型,我们可以以完全自主的方式实现大规模BEAM模拟的25% L1范数。据我们所知,我们的工作是第一次应用于大规模多智…
2022-07-11 cs.DC cs.LG cs.MA
DP-Fast MH: Private, Fast, and Accurate Metropolis-Hastings for Large-Scale Bayesian Inference
Harvard John A. Paulson School of Engineering and Applied Sciences(哈佛大学约翰·A·保尔森工程与应用科学学院);Purdue University(普渡大学)
本文提出首个精确且快速的差分隐私Metropolis-Hastings算法,仅用少量数据批次,并首次揭示隐私、可扩展性与效率间的三方权衡,兼顾隐私保护与推断性能。
2023-10-12 cs.LG stat.ML
Unity Smoothing for Handling Inconsistent Evidence in Bayesian Networks and Unity Propagation for Faster Inference
Aalborg University(奥尔堡大学);University of Copenhagen(哥本哈根大学)
我们提出统一平滑(US)处理贝叶斯网络模型和新的看不见的观察之间的不一致。我们表明,预测精度,使用连接树算法与美国是拉普拉斯平滑。此外,在利用数据结构的稀疏性的应用中,US在存储器使用方面优于拉普拉斯平滑。此外,我们详细介绍了如何避免冗余的计算,否则必须执行的消息传递计划中的连接树算法,我们称之为统一传播(UP)。实验结果表明,它总是更快地利用UP上的Lauritzen-Spigelhalter消息传递计划的联合树算法。
2022-01-21 cs.LG stat.CO
Fast Marginalized Block Sparse Bayesian Learning Algorithm
National University of Defense Technology(国防科技大学);Samsung R&D Institute America - Dallas(三星美国研究院(达拉斯))
利用信号的稀疏性和相关性,可以提高稀疏信号从噪声、欠定测量中恢复的性能。一种典型的相关结构是块稀疏信号中的块内相关。为了利用这种结构,最近提出了一种称为块稀疏贝叶斯学习(BSBL)的框架。从这个框架衍生的算法表现出优越的性能,但他们不是很快,这限制了他们的应用。这项工作得出了一个有效的算法,从这个框架中,使用边缘化的似然最大化方法。与现有的BSBL算法相比,它具有接近的恢复性能,但要快得多。因此,它更适合于大规模数据集和需要实时实现的应用。
2013-09-29 cs.IT cs.LG math.IT
Posterior concentration and fast convergence rates for generalized Bayesian learning
Dalhousie University(达尔豪斯大学);University of Science(理大学);Vietnam National University(越南国立大学);AISIA Research Lab(AISIA研究实验室);University of Delaware(特拉华大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文研究了一般情形下广义Bayes估计的学习率,其中假设类可以是不可数的且形状不规则,损失函数可以有重尾,最优假设可能不唯一.证明了在多尺度Bernstein条件下,广义后验分布集中在最优假设集附近,广义Bayes估计具有较快的学习速度.我们的结果表明,标准的贝叶斯线性回归是强大的重尾分布。
2021-11-19 cs.LG math.ST stat.TH
Very fast Bayesian Additive Regression Trees on GPU
unifi(乌尼维斯大学);Department of Statistics, Computer Science, Applications ``Giuseppe Parenti'' (DISIA)(统计与计算机科学应用系(DISIA))
针对BART运行慢的问题,提出GPU加速实现,速度提升高达200倍,与XGBoost竞争,并开源在bartz包中。
2026-11-10 cs.LG stat.ML
metabeta -- A fast neural model for Bayesian mixed-effects regression
Human-Centered AI, Helmholtz Munich, Germany(以人为中心的人工智能,慕尼黑海德堡研究所)
metabeta是一种快速的神经网络模型,用于贝叶斯混合效应回归,通过预训练时间优化计算,实现高效且稳定的性能。
2026-02-04 cs.LG stat.ML
Parallel Adaptive Multi-Objective Evolutionary Learning of Discretized Bayesian Network Classifiers for Clinical Data
Leiden University Medical Center(莱顿大学医学中心);Centrum Wiskunde & Informatica(数学与信息学中心)
针对贝叶斯网络学习计算量大且仅用于合成数据的问题,提出并行化策略和自适应优化机制,将Baymex重构为多目标优化分类器,在真实临床数据上实现高效且可解释的分类性能。
2026-06-02 cs.LG
Fast Conditional Network Compression Using Bayesian HyperNetworks
Deakin University(迪肯大学);A2I2(应用人工智能研究所)
我们引入了一个条件压缩问题,并提出了一个快速的框架来解决这个问题,问题是如何在给定目标上下文的情况下,快速地将一个预先训练好的大型神经网络压缩成最优的较小网络,例如只涉及类的子集的上下文或只有有限计算资源可用的上下文。为了解决这个问题,我们提出了一个高效的贝叶斯框架,将给定的大型网络压缩成更小的尺寸,以满足每个上下文要求。我们采用一个超网络参数化的后验分布的权重给定的条件输入和最小化这个贝叶斯神经网络的变分目标。为了进一步减小网络的规模,我们提出了一种新的输入输出组稀疏因子分解的权重,以鼓励更稀疏的生成的权重。我们的方法可以快速生成压缩网络,其大小明显小于基线方法。
2022-05-13 cs.LG stat.ML
Approach of variable clustering and compression for learning large Bayesian networks
ITMO University(圣彼得堡国立信息技术机械与光学大学)
本文提出了一种基于特征空间聚类的块学习大型贝叶斯网络结构的新方法。该聚类是使用归一化互信息获得的。块的后续聚合使用经典学习方法完成,除了它们被输入关于每个块的特征值组合的压缩信息。这种方法的验证完成爬山作为两个得分函数:BIC和MI的图枚举算法。以这种方式,即使对于被认为不适合于可并行化学习的那些得分函数,也可以实现潜在的可并行化块学习。该方法的优点是评估的工作速度以及所发现的结构的准确性。
2022-08-29 cs.LG stat.ML
Fast post-process Bayesian inference with Variational Sparse Bayesian Quadrature
Department of Computer Science, University of Helsinki(赫尔辛基大学计算机科学系);Department of Statistics, University of Edinburgh(爱丁堡大学统计系)
针对已有大量模型评估却未被传统推断利用的问题,提出后处理贝叶斯推断框架及 VSBQ,通过稀疏 GP 代理、贝叶斯求积与变分推断实现无需额外模型调用的快速高质量后验近似。
2025-07-23 cs.LG stat.CO stat.ME
Fast Hyperparameter Tuning using Bayesian Optimization with Directional Derivatives
Deakin University(迪肯大学)
在本文中,我们开发了一个基于贝叶斯优化的超参数调整框架的启发,统计学习理论的分类。我们利用PAC学习理论中的两个关键事实;与整体相比,数据的小子集的泛化范围将更高,并且可以通过简单的模型实现数据的小子集的最高精度。我们首先使用贝叶斯优化在一小部分训练数据上调整超参数。在调整整个训练数据的超参数时,我们利用学习理论的见解来寻求更复杂的模型。我们实现这一点,通过使用方向导数符号战略性地放置在超参数搜索空间,以寻求一个更复杂的模型比小数据获得的。我们证明了我们的方法的性能上的任务调整超参数的几个机器学习算法。
2019-02-06 cs.LG stat.ML
Fast Asynchronous Parallel Stochastic Gradient Decent
Nanjing University(南京大学)
随机梯度下降(SGD)及其变体由于其效率和有效性而在机器学习中越来越受欢迎。为了处理大规模问题,研究人员最近提出了几种用于多核系统的并行SGD方法。然而,现有的并行SGD方法在实际应用中不能达到令人满意的性能。本文提出了一种快速异步并行SGD方法AsySVRG,通过设计一种异步策略来并行化最近提出的SGD变体随机方差约简梯度~(SVRG)。理论和实验结果都表明,AsySVRG可以优于现有的最先进的并行SGD方法,如Hogwild!在收敛速度和计算成本方面。
2015-08-24 cs.LG stat.ML