A hierarchical expected improvement method for Bayesian optimization
针对 EI 过度贪婪导致次优解的问题,提出基于分层高斯过程的 HEI 框架,保留闭式采集函数并鼓励探索,证明其全局收敛与近 minimax 速率,实验验证性能更优。
2023-04-20 stat.ME
Robust Expected Information Gain for Optimal Bayesian Experimental Design Using Ambiguity Sets
Georgia Institute of Technology(佐治亚理工学院)
贝叶斯试验设计中的期望信息增益(EIG)对模型的先验分布的变化很敏感,而抽样得到的EIG近似值会产生类似于使用扰动先验的误差。我们定义和分析\emph{robust expected information gain}(REIG),修改EIG最大化的目标,通过最大限度地减少仿射松弛EIG的模糊集的分布,接近原来的前KL发散。我们发现,当结合基于采样的方法来估计EIG,REIG对应于用于估计EIG的样本的“对数和exp”稳定,这意味着它可以有效地实现在实践中。结合REIG与变分嵌套蒙特卡罗(VNMC),自适应对比估计(ACE)和互信息神经估计(MINE)的数值试验表明,在实践中,REIG也补偿欠采样估计的变异性。
2022-05-20 cs.AI cs.LG stat.CO
Expected Coordinate Improvement for High-Dimensional Bayesian Optimization
School of Computing and Artificial Intelligence, Southwest Jiaotong University(西南交通大学计算机与人工智能学院)
针对高维贝叶斯优化中采集函数难以优化的问题,提出ECI准则,每次沿一维坐标选择填充点,显著优于标准BO并媲美五种前沿方法。
2025-01-10 cs.AI cs.LG stat.ML
Regret Analysis of Posterior Sampling-Based Expected Improvement for Bayesian Optimization
Nagoya University(名古屋大学);RIKEN(理化学研究所);AIP(Advanced Institute for Particle Physics);Nagoya Institute of Technology(名古屋工业大学)
本文研究贝叶斯优化中期望改进(EI)理论保证不足的问题,提出从后验样本路径最大值评估 EI 的随机化方法,并证明其在高斯过程假设下具有次线性贝叶斯累积遗憾界,实验验证了有效性。
2025-09-30 cs.LG stat.ML
Probability Distribution of Hypervolume Improvement in Bi-objective Bayesian Optimization
Leiden University(莱顿大学);University of Applied Sciences(应用科学大学)
本文针对双目标贝叶斯优化,通过单元划分法推导出超体积改进(HVI)概率分布的精确表达式,并据此提出新采集函数ε-PoHVI,在GP预测不确定性较大时显著优于ε-PoI和期望超体积改进等方法。
2024-05-06 cs.LG stat.ML
Multinomial Models with Linear Inequality Constraints: Overview and Improvements of Computational Methods for Bayesian Inference
许多心理学理论可以操作为对多项分布的参数的线性不等式约束(例如,离散选择分析)。这些约束可以用两种等价的方式来描述:要么作为线性不等式系统的解集,要么作为极值点(顶点)集的凸包。对于这两种表示,我们描述了一个一般的吉布斯采样器绘制后验样本,以进行贝叶斯分析。我们还总结了替代抽样方法估计贝叶斯因子为这些模型表示使用包围贝叶斯因子方法。我们介绍了R包multinomineq,它提供了一个易于访问的接口,这些技术的计算效率的实现。
2019-02-11 stat.CO stat.ME
Bayesian estimation of in-game home team win probability for Division-I FBS college football
Maddox等人[9,10]建立了贝叶斯方法,用于估计大学和NBA篮球的主队在比赛中获胜的概率。本文介绍了一种贝叶斯方法,估计在游戏中的主队获胜概率,第一部FBS大学(美国)足球,使用预期剩余财产和预期得分作为两个预测。模型估计这些提出和比较。这些,以及其他预测被引入到两个贝叶斯方法的最终估计在游戏中的主队获胜概率。为了说明效用,方法被应用于贝勒和俄克拉荷马州之间的2021年大十二联盟足球锦标赛比赛。
2022-07-27 stat.ME
Regional Expected Improvement for Efficient Trust Region Selection in High-Dimensional Bayesian Optimization
Fujitsu Limited(富士通有限公司)
针对高维贝叶斯优化中信任区域选择效率低的问题,提出区域期望改进(REI)采集函数,无需问题特征假设即可识别全局最优区域,理论证明其有效性,实验表明优于现有方法。
2024-12-16 cs.LG
Generative Bayesian Computation for Maximum Expected Utility
提出一种基于分位数的无密度生成式贝叶斯计算方法,利用深度分位数神经估计器直接计算最大期望效用,并在最优投资组合配置问题中验证了其有效性。
2024-08-28 stat.CO stat.ML
Bayesian Design of Experiments using Approximate Coordinate Exchange
为现实复杂的非线性模型构建决策理论贝叶斯设计在计算上具有挑战性,因为它需要在高维设计空间上优化分析上难以处理的预期效用函数。我们通过一种新的近似坐标交换算法提供了迄今为止最通用的解决方案。该方法使用一个高斯过程仿真器,在一系列条件优化步骤中,将预期效用近似为单个设计坐标的函数。它具有灵活性,以解决问题的任何选择的效用函数和广泛的统计模型与不同数量的变量,运行次数和随机化限制。与现有的贝叶斯设计方法相比,该方法可以在大量的运行中找到多变量设计,而无需采用后验分布或预期效用的渐近近似。该方法证明了各种具有实际意义的挑战性的例子,包括药代动力学模型的设计和离散数据的混合模型的设计。对于其中许多模型,贝叶斯设计目前不可用。比较从文献中得到的结果,并从渐近近似得到的设计。
2016-06-30 stat.ME
Bayesian design of experiments for intractable likelihood models using coupled auxiliary models and multivariate emulation
贝叶斯设计通过在设计空间上最大化期望效用来给出。效用被选择来代表实验的目的,并且其期望是关于所有未知数的:响应,参数和/或模型。虽然原则上很简单,但在实践中找到贝叶斯设计存在一些挑战。首先,效用和期望效用很少以封闭形式存在,需要近似。其次,设计空间可以是高维的。在棘手的似然模型的情况下,这些问题是复杂的事实,即似然函数,其评估是需要近似的预期效用,是不是在封闭的形式。提出了一种策略,找到贝叶斯设计的棘手的似然模型。它依赖于一个自动的,辅助建模方法的发展,使用多变量高斯过程仿真器,近似的似然函数。然后,这与基于copula的方法相结合,以近似边际似然(一个通常需要评估许多效用函数的数量)。这些近似的随机过程模型,涉及实验目的的参数估计和模型比较的例子证明。
2019-01-15 stat.ME
What Makes an Effective Scalarising Function for Multi-Objective Bayesian Optimisation?
TNO(荷兰国家应用科学研究院);University of Exeter(埃克塞特大学);Swansea University(斯旺西大学);Delft University of Technology(代尔夫特理工大学)
通过标度化目标来执行多目标贝叶斯优化避免了昂贵的基于多维积分的采集函数的计算,而不是允许应用诸如预期改进\textemdash的一维标准采集函数\textemdash。在这里,两个填充标准的基础上超容量的改善\textemdash一个最近推出的和一个新的\textemdash与多代理预期超容量的改善进行了比较。在这些方法的有效性最大化的超体积收购帕累托阵线的差异的原因进行了调查。此外,代理模型平均函数的勘探和开发的效果进行检查:仔细选择数据归一化显示是优选的勘探参数通常使用的预期改善采集功能。最后,本文定义的所有方法改进的有效性在一个现实世界的问题上得到了证明:风力涡轮机叶片翼型的气动性能和结构刚度的优化。通过有效的标量化,贝叶斯优化发现了大量新的翼型形状,这些翼型形状在标准设计中占主导地位。
2021-04-10 cs.LG math.OC stat.ML
Metrics for Bayesian Optimal Experiment Design under Model Misspecification
Sandia National Laboratories(桑迪亚国家实验室)
本文提出扩展的贝叶斯最优实验设计框架,引入期望广义信息增益和期望判别信息两个新度量,以评估对模型误设定的鲁棒性和检测能力,并在弹簧-质量-阻尼系统与F-16模型上验证了其有效性。
2023-04-17 cs.LG cs.SY eess.SY
On Estimating the Gradient of the Expected Information Gain in Bayesian Experimental Design
University of Birmingham(伯明翰大学)
该研究针对贝叶斯实验设计中EIG优化的梯度需求,提出EIG梯度的后验期望表示,构建UEEG-MCMC和BEEG-AP两种估计方法,验证了二者的鲁棒性、效率优势及优于主流基准的性能。
2023-12-12 cs.LG stat.ML
Mean--Variance Risk-Aware Bayesian Optimal Experimental Design for Nonlinear Models
University of Michigan(密歇根大学)
本文提出一种考虑方差的贝叶斯最优实验设计方法,通过引入效用变异性惩罚,提升实验鲁棒性,并通过蒙特卡洛估计和贝叶斯优化验证了方法的有效性。
2026-04-05 stat.CO stat.ME
Adaptive Gaussian process surrogates for Bayesian inference
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
我们提出了一种自适应的方法来建设高斯过程代理贝叶斯推断昂贵的评估前向模型。我们的方法依赖于完全贝叶斯方法来训练高斯过程模型,并利用贝叶斯全局优化的预期改进思想。我们自适应地构造训练设计,通过最大化期望的改善,在适合的高斯过程模型的噪声观测数据。与合成数据的模型问题的数值实验表明,所获得的自适应设计的有效性相比,固定的非自适应设计在精确的后验估计的一小部分的成本与正向模型的推理。
2018-09-27 cs.LG stat.ML
Health improvement framework for planning actionable treatment process using surrogate Bayesian model
Kyowa Hakko Bio Co., Ltd.(协和发酵生物株式会社);Kyoto University(京都大学);Hirosaki University(弘前大学)
基于个人特征的治疗临床决策导致有效的健康改善。机器学习(ML)已经成为根据综合患者信息进行诊断支持的主要关注点。然而,剩下的突出问题是在临床情况下的客观治疗过程的发展。本研究提出了一种新的框架,以数据驱动的方式规划治疗过程。该框架的一个关键点是通过使用替代贝叶斯模型以及高性能非线性ML模型来评估个人健康改善的“可操作性”。我们首先从使用合成数据集的方法论角度评估了该框架。随后,该框架被应用于包括来自3,132名参与者的数据的实际健康检查数据集,以改善个人水平的收缩压值。我们证实,计算的治疗过程是可行的,并与降低血压的临床知识一致。这些结果表明,我们的框架可以促进医疗领域的决策,为临床医生提供更深入的见解。
2020-11-13 cs.AI cs.LG stat.ML
Efficient Bayesian experimentation using an expected information gain lower bound
试验设计对于由于成本或其他限制而存在数据收集程序限制的推断至关重要。最优试验设计确定的参数在某种适当的意义上使数据尽可能提供最多的信息。在贝叶斯设置中,这被转换为更新到最佳可能的后验。信息理论的争论导致了预期信息增益作为设计标准的形成。这可以主要通过蒙特卡罗采样来评估,并通过使用随机逼近方法来最大化,这两种方法都是已知的计算昂贵的任务。我们提出了一个框架,其中的预期信息增益的下限被用作替代设计标准。除了减轻计算负担,这也解决了有关估计偏差的问题。在一个大的污染区域的渗透率推断的问题是用来证明我们的方法的有效性,我们采用的多相多组分模拟器TOUGH2的大规模并行版本来模拟污染物的传输和多项式混沌近似的正演模型,进一步加快目标函数的评价。所提出的方法被证明是现场测量的设置。
2016-03-10 physics.geo-ph stat.CO stat.ME
On the Improvement of Predictive Modeling Using Bayesian Stacking and Posterior Predictive Checking
本文提出将后验预测检验纳入贝叶斯堆叠的预测建模工作流,并基于 PISA 2018 数据分析阅读能力的性别与社会经济不平等。
2024-02-29 stat.ME
A Bayesian Long Short-Term Memory Model for Value at Risk and Expected Shortfall Joint Forecasting
The University of Sydney(悉尼大学)
在险价值(Value-at-Risk,简称VaR)和预期缺口(ExpectedShortfall,简称ES)被广泛应用于金融领域来度量市场风险和管理极端的市场波动。最近分位数得分函数和非对称拉普拉斯密度之间的联系,导致了一个灵活的似然为基础的框架,联合建模的风险值和ES。在金融应用中,能够捕获这两个量的潜在联合动态是非常重要的。我们通过开发一个基于非对称拉普拉斯准似然的混合模型来解决这个问题,该模型采用了机器学习的长短期记忆(LSTM)时间序列建模技术,以有效地捕捉VaR和ES的潜在动态。在LSTM-AL模型中,采用自适应马尔可夫链蒙特卡罗(MCMC)算法进行贝叶斯推断。实证结果表明,所提出的LSTM-AL模型可以提高风险价值和ES预测精度的一系列成熟的竞争模型。
2021-05-13 cs.LG q-fin.RM stat.ML
Expected Points Above Average: A Novel NBA Player Metric Based on Bayesian Hierarchical Modeling
本研究基于贝叶斯分层模型框架提出新型篮球评估指标EPAA及球队预期得分指标,通过后验预测分布按投篮倾向与能力聚类,以近十年出手前100的球员验证,与传统指标对比后还开发了Shiny应用供拓展分析。
2025-08-01 stat.OT
On the convergence rate of noisy Bayesian Optimization with Expected Improvement
Center for Applied Scientific Computing, Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室应用科学计算中心);National University of Singapore(新加坡国立大学)
针对贝叶斯优化中期望改进(EI)的理论收敛问题,本文在高斯过程(GP)先验假设下,首次建立带噪声观测的GP-EI渐近误差界及速率,并通过分析EI函数的探索利用性质,改进了无噪声和有噪声场景下的误差界。
2025-02-12 cs.LG math.OC stat.ML
Integrating Human Expertise in Continuous Spaces: A Novel Interactive Bayesian Optimization Framework with Preference Expected Improvement
Montanuniversität(莱奥本矿业大学)
针对现有IML难以处理连续空间且交互形式受限的问题,提出含PEI获取函数的IBO框架,支持用户塑造策略,并通过仿真与Franka Panda机器人验证人机协作效果。
2024-01-23 cs.AI cs.HC cs.LG
Bayes-xG: Player and Position Correction on Expected Goals (xG) using Bayesian Hierarchical Approach
Cardiff University(卡迪夫大学)
本研究提出Bayes-xG贝叶斯分层xG校正方法,通过对多联赛射门数据的分析,验证了球员层面效应对xG的持续影响,同时指出先验分布可优化以提升复杂模型构建效率。
2023-11-22 cs.LG stat.AP
Hash Collisions in Molecular Fingerprints: Effects on Property Prediction and Bayesian Optimization
University of Toronto(多伦多大学);Valence Labs(Valence实验室)
本研究探讨了分子指纹中哈希碰撞对性质预测和贝叶斯优化的影响,发现精确指纹在性质预测中略有提升,但在贝叶斯优化中未见显著改进。
2025-11-21 cs.LG
Bayesian Learning in Episodic Zero-Sum Games
本文研究了在未知转移和奖励模型的有限时间零和马尔可夫游戏中,贝叶斯学习的后验算法,分析了两种设置下的预期遗憾界,并在网格世界捕食者-猎物域中验证了后验采样算法的子线性遗憾性能。
2026-03-21 cs.GT cs.LG
An approach for finding fully Bayesian optimal designs using normal-based approximations to loss functions
决策理论贝叶斯最优设计的生成是复杂的显着的计算挑战,最小化的分析棘手的预期损失函数在一个潜在的,高维的设计空间。提出了一种新的近似寻找贝叶斯最优设计的一般方法,该方法使用计算效率高的基于正态近似的后验摘要,以帮助近似的预期损失。这种新的方法是证明说明性的,但具有挑战性的,包括层次模型的阻塞实验,实验目标的参数估计和模型歧视的例子。在可能的情况下,所提出的方法的结果进行比较,无论是在性能和计算时间方面,从使用计算更昂贵,但可能更准确,蒙特卡罗近似的结果。此外,该方法还适用于使用蒙特卡罗近似在计算上不可行的问题。
2017-02-06 stat.ME
Simple Bayesian testing of scientific expectations in linear regression models
科学理论通常可以使用线性回归模型中相对效应的等式和顺序约束来制定。例如,可以预期第一预测器的效果大于第二预测器的效果,并且预期第二预测器大于第三预测器。然后,我们的目标是将这些期望与竞争性的科学期望或理论进行测试。本文提出了一种简单的默认贝叶斯因子检验,用于检验具有等式和顺序约束的多个假设对兴趣效应的影响。所提出的测试标准可以计算,而不需要外部先验信息的预期效果之前,观察数据。该方法在名为“{ \tt lmhyp}”的R包中实现,该包可免费下载并随时可用。使用社会和行为科学的实证应用程序的方法和软件的可用性进行说明。
2019-01-29 stat.ME
General Bayesian Updating and the Loss-Likelihood Bootstrap
在本文中,我们重新审视加权似然自助法,一种从参数模型的近似贝叶斯后验生成样本的方法。我们表明,相同的方法可以得到,没有近似,在贝叶斯非参数模型与参数定义为最小化预期的负对数似然未知的抽样分布下的利益。这种解释使我们能够将加权似然自助法扩展到参数的后验抽样,以最大限度地减少预期损失。我们称这种方法为损失似然自助法。我们在此和一般贝叶斯更新之间建立了联系,贝叶斯更新是一种更新先验置信分布的方法,而无需构建全局概率模型,但需要校准两种形式的损失函数。损失似然自举法用于通过匹配渐近费舍尔信息来校准一般贝叶斯后验。我们证明了一些例子的方法。
2018-05-22 stat.ME stat.ML
Self-Adjusting Weighted Expected Improvement for Bayesian Optimization
Leibniz University Hannover(汉诺威莱布尼茨大学);TU München(慕尼黑工业大学);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心)
本文提出了一种名为SAWEI的自调整加权期望改进方法,通过数据驱动的方式自动平衡贝叶斯优化中的探索与利用权衡,在COCO和HPOBench基准上表现出稳健的随时性能。
2023-06-30 cs.LG
On Robust Trimming of Bayesian Network Classifiers
Computer Science Department(计算机科学系);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文考虑了贝叶斯网络分类器中的代价特征去除问题。我们希望分类器对这些变化具有鲁棒性,并保持其分类行为。为此,我们提出了贝叶斯分类器之间的接近度度量,称为预期分类协议(ECA)。我们相应的修剪算法找到一个最佳的功能子集和一个新的分类阈值,最大限度地提高预期的协议,预算约束。它利用新的理论见解在特征集空间中执行分支定界搜索,同时计算ECA上的边界。我们的实验研究了修剪的运行时成本及其对最终分类器的鲁棒性和准确性的影响。
2018-05-29 cs.LG stat.ML
BCMA-ES II: revisiting Bayesian CMA-ES
A.I Square Connect;Lamsade;LISIC
本文重新访问贝叶斯CMA-ES,并提供正常Wishart的更新。它强调了正常和正常逆Wishart先验之间的差异。经过一些计算,我们证明了唯一的差异依赖于令人惊讶的期望协方差。我们证明了在正态Wishart先验模型中,由于逆的凸性,期望协方差应该更低。我们提出了一个混合模型,推广正常的Wishart和正常的逆Wishart模型。最后,我们提出了各种数值实验比较这两种方法以及广义方法。
2019-04-09 cs.LG stat.ML
Bayesian LSTMs in medicine
University of Cambridge(剑桥大学)
医疗领域将从深度学习的最新进展中受益匪浅。了解任何机器学习算法所做决策的不确定性对医疗从业者来说都是至关重要的。这项研究表明,使用贝叶斯LSTM分类的医疗时间序列的效用。四个医学时间序列数据集被用来显示贝叶斯LSTM提供的准确性改进超过标准LSTM。此外,我们展示了医疗时间序列的自信和不确定分类的精选例子。通过对深度学习的常见做法进行简单的修改,可以为医生和患者做出重大改进。
2017-06-05 cs.LG stat.AP stat.ML
Unexpected Improvements to Expected Improvement for Bayesian Optimization
Meta
针对 EI 及 EHVI 等采集函数数值消失、难以优化的问题,本文提出 LogEI 重构族,在保持最优值相同或近似的同时显著提升优化效果。
2025-01-07 cs.LG cs.NA math.NA
Differentiable Expected Hypervolume Improvement for Parallel Multi-Objective Bayesian Optimization
Facebook(脸书)
在许多现实场景中,决策者寻求以样本效率的方式有效地优化多个竞争目标。多目标贝叶斯优化(BO)是一种常用的方法,但许多性能最佳的采集功能不具有已知的分析梯度,并遭受高计算开销。我们利用最新的进展,在编程模型和硬件加速多目标BO使用预期超卷改进(EHVI)-一个算法臭名昭著的高计算复杂性。我们推导出一种新的配方的q-预期超容量改进(qEHVI),采集功能,扩展EHVI的并行,约束的评价设置。qEHVI是q个新候选点的联合EHVI的精确计算(直到蒙特卡罗(MC)积分误差)。而以前的EHVI配方依赖于无梯度采集优化或近似梯度,我们通过自动微分计算MC估计器的精确梯度,从而实现高效和有效的优化使用一阶和准二阶方法。我们的实证评估表明,qEHVI是计算上易于处理的在许多实际情况下,并优于国家的最先进的多目标BO算法在一小部分的墙壁时间。
2020-10-23 cs.AI cs.LG math.OC
Bayesian Optimization with Expected Improvement: No Regret and the Choice of Incumbent
本文首次给出有噪声高斯过程期望改进(GP-EI)在三种当前最优解选择下的累积遗憾上界,证明采用 BPMI 和 BSPMI 时对 SE 与 Matérn 核均无遗憾,并为实践者提供当前最优解选择的理论指导。
2025-08-21 cs.LG stat.ML
Constrained Bayesian Optimization Under Partial Observations: Balanced Improvements and Provable Convergence
University of Electronic Science and Technology of China(电子科技大学);University of Exeter(埃克塞特大学)
针对部分可观测约束优化问题,提出一种结合改进采集函数与嵌入不同似然的高斯过程代理模型的约束贝叶斯优化方法,实现平衡探索并证明收敛性,在合成和实际问题上表现优异。
2023-12-23 cs.LG stat.ML
Recursive Two-Step Lookahead Expected Payoff for Time-Dependent Bayesian Optimization
我们提出了一种新的贝叶斯方法来解决最大化的不定常昂贵的评估预言。我们感兴趣的决定,最大限度地提高了预言在有限的时间范围内,当相对较少的噪声评估可以在地平线之前进行。我们的递归,两步前瞻预期收益($\texttt{r2LEY}$)收购功能,使非近视的决定,在每一个阶段,通过最大化的估计期望值的预言在地平线上。$\texttt{r2LEY}$通过在每个阶段递归地优化两步前视采集函数来规避昂贵的多步(多于两步)前视采集函数的评估;后一个函数及其梯度的无偏估计用于有效的优化。$\texttt{r2LEY}$表现出自然的探索性质,远离时间范围,使准确的模拟的甲骨文,这是利用在地平线上作出的最后决定。为了证明$\texttt{r2LEY}$的实用性,我们通过合成和真实世界的数据集将其与流行的近视采集功能的不定常扩展进行比较。
2020-12-08 math.OC stat.ML
Optimizing Bayesian acquisition functions in Gaussian Processes
College of Engineering, Pune(浦那工程学院);National Institute of Technology, Srinagar(斯利那加国家理工学院)
贝叶斯优化是一种有效的搜索全局最大值的目标函数,特别是当函数是未知的。该过程包括使用替代函数和选择采集函数,然后优化采集函数以找到下一个采样点。本文分析了不同的采集函数,如最大改善概率和预期改善和各种优化器,如L-BFGS和TNC,以优化采集函数,以找到下一个采样点。随着时间的分析,本文还显示了初始样本的位置选择的重要性。
2021-11-09 cs.LG stat.ML
Robust Surrogate-Based Bayesian Inference via Sampling-Based Adaptive Active Learning (SALE)
University of Toronto(多伦多大学)
针对似然评估成本高、预算有限的场景,提出基于采样的自适应主动学习(SALE)的高斯过程框架,通过序贯设计准则分配评估,在多类基准和实例中降低总变差误差,表现优于多个基线。
2026-08-04 stat.CO stat.ME
Parallel Bayesian Optimization of Multiple Noisy Objectives with Expected Hypervolume Improvement
Facebook(脸书);University of Oxford(牛津大学)
优化多个竞争的黑箱目标在许多领域都是一个具有挑战性的问题,包括科学,工程和机器学习。多目标贝叶斯优化(MOBO)是一种样本有效的方法,用于确定目标之间的最佳权衡。然而,许多现有的方法表现不佳时,观测被噪声破坏。我们提出了一种新的采集功能,NEHVI,克服了这一重要的实际限制,通过应用贝叶斯处理流行的预期超体积改进(EHVI)标准,并整合在帕累托前沿的不确定性。我们认为,即使在无噪声的设置,并行生成多个候选人是一个化身的EHVI与帕累托前沿的不确定性,因此可以使用相同的底层技术来解决。通过这个镜头,我们得到一个自然的并行变量,$q$ NEHVI,减少计算复杂性的并行EHVI从指数多项式的批量大小。$q$ NEHVI是一步贝叶斯最优的超体积最大化在噪声和无噪声的环境中,我们表明,它可以有效地优化与基于梯度的方法,通过样本平均近似。从经验上讲,我们不仅证明了$q$ NEHVI比现有的MOBO方法对观测噪声的鲁棒性更强,而且还证明了它在大批量环境中实现了最先进的优化性能和有竞争力的墙时间。
2021-10-26 cs.AI cs.LG stat.ML
AutoStan: Autonomous Bayesian Model Improvement via Predictive Feedback
Thurgau Institute for Digital Transformation (TIDIT)(图尔高数字转型研究所)
AutoStan通过预测反馈机制,使CLI编码代理自主构建并迭代改进Stan中的贝叶斯模型,展示了无需搜索算法或领域指令即可处理多样化贝叶斯建模问题的能力。
2026-03-29 cs.LG stat.ML
Properties of using Fisher information gain for Bayesian design of experiments
贝叶斯决策理论的方法设计的实验涉及指定一个设计(所有可控变量的值),以最大限度地提高预期的效用函数(预期的响应和参数的分布)。对于大多数常见的效用函数,期望效用很少以封闭形式可用,并且需要计算上昂贵的近似,然后需要在所有可能的设计的空间上最大化。这阻碍了贝叶斯方法在实际应用中找到试验设计。然而,最近,一个新的实用程序称为费舍尔信息增益已被提出。由此产生的预期Fisher信息增益降低到Fisher信息矩阵的迹的先验期望。由于Fisher信息通常以封闭形式提供,这显著简化了最优设计的近似和随后的识别。在本文中,它表明,指数族模型,最大化的预期Fisher信息增益是等价于最大化的一个替代的目标函数在降维空间,简化甚至进一步识别的最优设计。然而,如果该函数没有足够的全局最大值,则使预期Fisher信息增益最大化的设计会导致不可识别性。
2021-09-23 math.ST stat.TH
A Bayesian Mixture Model Approach to Expected Possession Values in Rugby League
本研究的目的是通过引入贝叶斯混合模型的方法,在橄榄球联赛中的预期占有价值(EPV)模型,以改善以前的区域方法,在低数据可用性的体育。使用了2021年中超赛季的99,966次观察结果。一套33个中心(30个在球场上,3个在试训区)位于整个球场。每个中心都有五个控球结果发生的概率(转换/未转换尝试,点球,失球和无分)。使用线性和双线性插值技术为球场上的每个位置提供了模型的权重。使用贝叶斯方法估计每个中心的概率,并外推到球场上的所有位置。EPV度量是由控球结果概率及其得分值推导出来的。该模型产生了一个平滑的球场表面,能够为球场上的每个位置提供不同的控球结果概率和EPV。球队进攻和防守图之间的差异被可视化,并开发了一个实际与预期的球员评级系统。该模型比以前的方法提供了更大的灵活性,可以适应其他数据同样稀疏的运动。
2022-12-21 stat.AP
Improving Bayesian estimation of Vaccine Efficacy
一个完整的贝叶斯方法来估计疫苗的效力,这是一个改进,目前使用的确切的方法条件下的病例总数。例如,我们重新考虑了BioNTech/Pfizer方案的统计部分,该方案于2020年导致了第一种获批的抗Covid-19疫苗。
2021-03-07 stat.AP stat.ME
On a New Improvement-Based Acquisition Function for Bayesian Optimization
German Center for Neurodegenerative Diseases (DZNE)(德国神经退行性疾病中心(DZNE));University of Glasgow(格拉斯哥大学)
贝叶斯优化(BO)是一种用于解决具有挑战性的优化任务的流行算法。它被设计用于目标函数评估成本高的问题,可能没有精确的形式,没有梯度信息,可能返回噪声值。不同版本的算法在获取函数的选择上有所不同,该函数推荐了下一个查询目标的点。最初,研究人员专注于基于改进的收购,而最近的注意力已经转移到计算成本更高的信息理论措施。在本文中,我们提出了两个主要贡献的文献。首先,我们提出了一个新的改进为基础的采集功能,建议查询点的改进预计将是高的高置信度。所提出的算法进行评估的一个大的基准功能,从全球优化文献,它原来执行至少以及目前最先进的采集功能,往往更好。这表明它是BO的一个强大的默认选择。新的政策,然后比较广泛使用的全局优化求解器,以确认BO方法通过保持函数评估的数量小,降低了优化的计算成本。第二个主要贡献是应用于精密医学,其中的兴趣在于在偏微分方程模型的参数估计的人肺血液循环系统。一旦推断,这些参数可以帮助临床医生诊断患有肺动脉高压的患者,而无需通过右心导管插入术的标准侵入性程序,这可能导致副作用和并发症(例如,剧烈疼痛,内出血,血栓形成)。
2018-08-21 cs.LG stat.ML
A Unified Framework for Entropy Search and Expected Improvement in Bayesian Optimization
Department of Applied Mathematics, University of Colorado Boulder(科罗拉多大学波尔得分校应用数学系);Department of Computer Science, Lund University(吕勒欧大学计算机科学系)
本文提出统一框架Variational Entropy Search,揭示EI与信息论获取函数的紧密关联,并提出新型获取函数VES-Gamma,在多个基准测试中表现优异。
2025-05-31 cs.LG math.OC stat.ML
Scalable Bayesian Optimization with Sparse Gaussian Process Models
Deakin University(迪肯大学)
该研究围绕贝叶斯优化,提出结合导数信息与可扩展稀疏高斯过程,以加快收敛并处理海量数据。
2020-10-26 cs.IR cs.LG stat.ML
Bayesian model calibration for block copolymer self-assembly: Likelihood-free inference and expected information gain computation via measure transport
我们认为贝叶斯校准模型描述的现象嵌段共聚物(BCP)的自组装使用显微镜或X射线散射技术产生的图像数据。为了解释BCP平衡结构中的随机长程无序,我们引入辅助变量来表示这种偶然的不确定性。然而,这些变量导致通常难以评估的高维图像数据的综合可能性。我们解决这个具有挑战性的贝叶斯推断的问题,使用一个无似然的方法的基础上测量运输与建设的图像数据的汇总统计。我们还表明,预期的信息增益(EIGs)从观察到的数据模型参数可以计算,没有显着的额外成本。最后,我们提出了一个基于Ohta-Kawasaki模型的二嵌段共聚物薄膜自组装和自顶向下的显微镜表征的数值案例研究。对于校准,我们引入了几个特定领域的能量和傅立叶为基础的汇总统计,并量化其信息性使用EIG。我们证明了所提出的方法来研究数据损坏和实验设计对校准结果的影响。
2022-06-22 cond-mat.mtrl-sci physics.comp-ph stat.AP
Power-Expected-Posterior Priors as Mixtures of g-Priors
构造客观贝叶斯方法的先验分布的主要方法之一是随机虚观测值的概念。在这种设置下,期望后验先验(EPP)提供了几个优点,其中它具有很好的和简单的解释,并提供了一种有效的方法来建立模型之间的先验的兼容性。本文研究了正态线性模型下客观贝叶斯模型选择中幂期望后验先验的推广。我们证明,它可以表示为混合物的$g$先验,像一个广泛的先验分布下的正态线性模型,从而后验分布和贝叶斯因子推导出封闭的形式,因此保持计算易处理。比较与其他混合物的$g$先验和重点是在后验分布的g和它的效果贝叶斯模型选择和模型平均。
2020-10-08 stat.ME
Understanding predictive information criteria for Bayesian models
我们审查赤池,偏差,渡边赤池信息标准从贝叶斯的角度来看,其目标是估计预期的样本预测误差使用偏差校正调整样本内误差。我们专注于在建立这些措施所涉及的选择,我们比较他们在三个简单的例子,一个理论和两个应用。这篇评论的贡献是把所有这些信息标准到贝叶斯预测的背景下,并更好地理解,通过小的例子,这些方法可以在实践中应用。
2013-07-23 stat.ME
Bayesian Active Learning of (small) Quantile Sets through Expected Estimator Modification
针对昂贵黑箱函数的小分位数集合估计问题,提出基于高斯过程、EEM 采样准则与序贯蒙特卡洛的批量贝叶斯主动学习方法,并通过合成及 ROTOR37 工业案例验证。
2025-07-24 stat.AP stat.ML
Adjusted Expected Improvement for Cumulative Regret Minimization in Noisy Bayesian Optimization
National University of Singapore(新加坡国立大学)
本文针对噪声贝叶斯优化中累积遗憾最小化问题,提出期望改进-代价(EIC)算法,通过引入评估代价决定采样或重采样,并证明其遗憾上界优于现有 EI 类算法且可比肩 GP-TS 和 GP-UCB。
2024-10-03 cs.LG math.ST stat.TH
Towards E-Value Based Stopping Rules for Bayesian Deep Ensembles
LMU Munich(慕尼黑莱布尼茨大学)
本文提出基于E值的停止规则,用于决定贝叶斯深度集合的采样持续时间,以在优化后的基线模型上实现显著改进。
2026-04-20 cs.LG stat.ML