Multi-objective Bayesian Optimization using Pareto-frontier Entropy
Osaka University(大阪大学);Japan Fine Ceramics Center(日本精细陶瓷中心);Nagoya Institute of Technology(名古屋工业大学);National Institute for Material Science(国立材料科学研究所)
研究了一种基于熵的多目标贝叶斯优化算法。熵搜索是贝叶斯优化的一种成功方法。然而,对于目标管理,现有的基于熵的方法忽略了目标之间的权衡或引入不可靠的近似。本文提出了一种新的基于熵的目标优化算法--Pareto-frontier entropy search(PFES)。我们的熵可以将最优值的权衡关系,并且进一步地,我们推导出一个分析公式,而无需对标准熵搜索设置引入额外的近似或简化。我们还表明,我们的熵计算实际上是可行的,通过使用递归分解技术,已被称为研究的Pareto超体积计算。除了通常的MBO设置,其中所有的目标是同时观察,我们还考虑了“解耦”设置,其中的目标函数可以单独观察。PFES可以很容易地适应解耦的设置,通过考虑每个输出维度的边际密度的熵。该方法在Pareto边界条件下考虑了目标间的相关性,而现有方法忽略了这一点。我们的数值实验表明PFES通过几个基准数据集的有效性。
2020-02-11 cs.LG stat.ML
Improved Max-value Entropy Search for Multi-objective Bayesian Optimization with Constraints
Universidad Autónoma de Madrid(马德里自治大学)
提出了一种改进的多目标贝叶斯优化算法MESMOC+。MESMOC+可以用来解决约束多目标问题时,目标和约束是昂贵的评估。MESMOC+通过最小化函数空间中优化问题的解的熵来工作,即,帕累托边界,来指导寻找最优解。MESMOC+的成本与目标和约束的数量成线性关系。此外,它通常比基于最小化帕累托集熵的替代方法的成本小得多。其原因是在MESMOC+中更容易近似所需的计算。此外,MESMOC+的采集功能表示为每个黑盒(目标或约束)一次采集的总和。因此,它可以用于解耦的评估设置,其中不仅选择要评估的下一个输入位置,而且还选择要评估的黑盒。我们比较MESMOC+与相关的方法在合成和真正的优化问题。实验结果表明,MESMOC+提供的熵估计比以往的方法更准确。这导致更好的优化结果。MESMOC+与其他基于信息的约束多目标贝叶斯优化方法相比也具有竞争力,但速度明显更快。
2021-04-02 cs.LG stat.ML
Multi-Objective Causal Bayesian Optimization
University of Cambridge(剑桥大学);Technical University of Munich(慕尼黑工业大学);The Alan Turing Institute(阿兰·图灵研究所)
本文提出 MO-CBO 框架,通过刻画潜在最优干预变量集并将问题分解为多个多目标优化任务,利用相对超体积改进顺序平衡探索,以在多目标因果图中发现 Pareto 最优干预。
2025-02-20 cs.LG stat.ML
BOtied: Multi-objective Bayesian optimization with tied multivariate ranks
Prescient Design(普雷赛特设计公司);Genentech(基因泰克公司);New York University(纽约大学);Center for Data Science(数据科学中心)
本文提出BOtied,利用非支配解与联合CDF极端分位数的联系构建符合帕累托的采集函数,并通过copula实现高效扩展,在多目标贝叶斯优化中优于现有方法。
2024-06-07 cs.LG stat.ML
Cost-aware Multi-objective Bayesian optimisation
贝叶斯优化中的费用概念通常是指在整个搜索空间上函数求值的一致昂贵成本。然而,在某些情况下,黑盒目标函数的评估成本是不均匀的,因为来自搜索空间的不同输入可能导致函数评估的不同成本。通过定义搜索空间上的成本感知约束,我们引入了一个成本感知的多目标贝叶斯优化与非均匀评估成本的目标函数。成本感知约束是索引的排序元组,其基于用户关于其使用成本的先验知识来展示搜索空间的维度的排序。我们制定了一个新的多目标贝叶斯优化采集功能的收敛,结合这种成本意识的约束,同时优化的目标函数的详细分析。我们证明了我们的算法的基础上合成和现实世界中的超参数调整的神经网络和随机森林的问题。
2019-09-09 cs.LG math.OC stat.ML
Active Preference Learning over Latent Preference Archetypes for Many-Objective Bayesian Optimization
University of Manchester(曼彻斯特大学);University of Edinburgh(爱丁堡大学);Aalto University(阿尔托大学);University of Amsterdam(阿姆斯特丹大学);ELLIS Institute Finland(芬兰ELLIS研究所)
本文提出一种混合模型偏好学习框架,通过学习潜在偏好原型而非假设单一效用函数,提升多目标优化中异质性人价值结构的适应性,并在合成和现实基准上表现更优。
2026-08-28 cs.LG stat.ML
Multi-objective Bayesian optimisation with preferences over objectives
Applied Artificial Intelligence Institute(应用人工智能研究院);Deakin University(迪肯大学)
我们提出了一个多目标贝叶斯优化算法,允许用户表达偏好顺序约束的类型的目标“目标A比目标B更重要”。这些偏好是基于所获得的解决方案相对于优选的目标函数的稳定性来定义的。而不是试图找到一个完整的帕累托前沿的代表性子集,我们的算法选择满足这些约束条件的帕累托最优点。我们制定了一个新的收购功能的基础上预期改善占主导地位的超体积(EHI),以确保帕累托前满足约束的子集进行了彻底的探索。超体积计算由满足来自梯度高斯过程模型的约束的点的概率加权。我们在合成问题和现实问题上展示了我们的算法。
2019-11-13 cs.AI cs.LG stat.ML
Simple Extensions of Single-Objective Acquisition Functions and Hedge Strategies for Multi-Objective Bayesian Optimization
本文提出通过超体积变换和对冲策略扩展单目标采集函数至多目标贝叶斯优化,简化流程,实验证明其性能匹配或超越复杂MOBO方法。
2026-11-09 cs.LG math.OC stat.ML
Multi-Objective Bayesian Optimization with Active Preference Learning
Nagoya Institute of Technology(名古屋工业大学);RIKEN AIP(理化学研究所人工智能项目);Nagoya University(名古屋大学)
针对多目标优化中识别整个Pareto前沿成本过高的问题,提出一种贝叶斯优化方法,通过成对偏好和改进请求交互式估计决策者偏好,并结合主动学习策略以最小化交互成本,从而高效识别最受偏好的解。
2023-11-22 cs.LG stat.ML
Probability Distribution of Hypervolume Improvement in Bi-objective Bayesian Optimization
Leiden University(莱顿大学);University of Applied Sciences(应用科学大学)
本文针对双目标贝叶斯优化,通过单元划分法推导出超体积改进(HVI)概率分布的精确表达式,并据此提出新采集函数ε-PoHVI,在GP预测不确定性较大时显著优于ε-PoI和期望超体积改进等方法。
2024-05-06 cs.LG stat.ML
MOBO-OSD: Batch Multi-Objective Bayesian Optimization via Orthogonal Search Directions
School of Computing Technologies RMIT University(计算技术学院皇家墨尔本理工学院);School of Big Data and Software Engineering Chongqing University(大数据与软件工程学院重庆大学)
本文提出MOBO-OSD,一种基于正交搜索方向的批量多目标贝叶斯优化算法,通过求解子问题生成多样帕累托解,并利用前沿估计增强解密度,实验表明其性能优于现有方法。
2025-10-23 cs.LG stat.ML
Investigating Experiential Effects in Online Chess using a Hierarchical Bayesian Analysis
本研究利用在线国际象棋的大量数据,采用分层贝叶斯回归模型探讨胜负经验效应,发现总体缺乏跨玩家一致的经验效应证据,仅部分个体存在此类效应,并针对时间序列数据进行了模型有效性检验。
2025-08-09 stat.AP
Time-Aware Latent Space Bayesian Optimization
Aalto University(阿alto大学)
TALBO通过在替代模型和生成表示中引入时间,解决时间漂移问题,提升潜在空间贝叶斯优化在动态目标下的性能。
2026-03-01 cs.LG stat.ML
Batch Bayesian Optimization via Particle Gradient Flows
Imperial College London(伦敦帝国理工学院);University of Manchester(曼彻斯特大学);University of Edinburgh(爱丁堡大学);Alan Turing Institute(艾伦·图灵研究所)
贝叶斯优化(BO)方法试图找到目标函数的全局最优解,这些目标函数只能作为黑盒或评估成本很高。这样的方法为目标函数构建代理模型,通过贝叶斯推断量化该代理中的不确定性。通过在每个步骤最大化采集函数来顺序地确定客观评估。然而,由于采集函数的非凸性,特别是在每一步都选择多个点的批量贝叶斯优化的情况下,这个辅助优化问题可能是非常不容易解决的。在这项工作中,我们重新制定一批BO作为一个优化问题的空间上的概率测度。我们构造了一个新的捕获函数的基础上多点的期望改进,这是凸的空间上的概率测度。解决这一“内部”优化问题的实际方案自然会出现梯度流的目标函数。我们证明了这种新方法在不同基准函数上的有效性,并与最先进的批处理BO方法进行比较。
2023-01-09 cs.LG stat.ML
Learning What to Evaluate: Correlation-Aware Decoupling for Multiobjective Bayesian Optimization
Pennsylvania State University(宾夕法尼亚州立大学)
本研究提出一种相关性感知的解耦多目标贝叶斯优化方法,利用多任务高斯过程联合建模并选择最优子集评估,在理论上保证一致性并实证超越现有基线。
2026-09-29 cs.LG stat.ML
Modulating Surrogates for Bayesian Optimization
University of Bristol(布里斯托大学);Siemens AG(西门子公司);Technical University of Munich(慕尼黑工业大学);University of Bath(巴斯大学);Spotify Research(Spotify研究院);University of Cambridge(剑桥大学)
贝叶斯优化(BO)方法通常依赖于目标函数行为良好的假设,但在实践中,即使可以收集无噪声观测,对于真实世界的目标也很少如此。通常的方法试图尽可能精确地对目标进行建模,但由于花费了太多的评估来建模不相关的细节,因此往往无法取得进展。我们通过提出代理模型来解决这个问题,该模型专注于目标函数中表现良好的结构,这对于搜索来说是有用的,而忽略了从很少的观察中建模具有挑战性的有害结构。首先,我们证明了具有适当噪声分布的代理模型可以通过将其视为不可约的不确定性来吸收目标函数中具有挑战性的结构。其次,我们表明,一个潜在的高斯过程是一个很好的代理,为此目的,与高斯过程与标准噪声分布。我们在一系列BO基准上进行了大量实验,发现我们的方法在面对具有挑战性的目标函数时提高了可靠性和性能。
2020-09-08 cs.LG stat.ML
Uncertainty aware Search Framework for Multi-Objective Bayesian Optimization with Constraints
Washington State University(华盛顿州立大学)
我们考虑约束多目标(MO)黑盒优化问题,使用昂贵的功能评估,其目标是近似的真正的Pareto集的解决方案,满足一组约束,同时最小化的功能评估的数量。我们提出了一个新的框架命名为不确定性感知搜索框架多目标优化约束(USeMOC),有效地选择输入序列进行评估,以解决这个问题。USeMOC的选择方法包括通过真函数的代理模型来确定最有希望的候选者并基于不确定性度量来挑选最佳候选者,从而解决廉价的约束MO优化问题。我们应用这个框架来优化设计的多输出开关电容电压调节器,通过昂贵的模拟。我们的实验结果表明,USeMOC是能够实现超过90%的数量减少所需的模拟发现优化的电路。
2020-09-01 cs.LG stat.ML
Joint Entropy Search for Multi-objective Bayesian Optimization
Imperial College London(帝国理工学院);BASF SE(巴斯夫欧洲公司)
许多现实世界的问题可以被描述为多目标优化问题,其目标是确定竞争目标之间的最佳折衷方案。多目标贝叶斯优化(BO)是一种样本高效策略,可用于解决这些向量值优化问题,其中访问仅限于一些有噪声的目标函数评估。在本文中,我们提出了一种新的信息理论的收购功能BO称为联合熵搜索(JES),它认为联合信息增益的最佳输入和输出。我们提出了几个分析近似的JES采集功能,并引入了扩展的批量设置。我们展示了这种新方法在超体积及其加权变体方面对一系列合成和现实问题的有效性。
2022-10-06 cs.LG math.OC stat.ML
Targeting Solutions in Bayesian Multi-Objective Optimization: Sequential and Batch Versions
Groupe PSA(标致雪铁龙集团);École Nationale Supérieure des Mines de Saint-Étienne(圣艾蒂安国立高等矿业学校);CNRS LIMOS(法国国家科学研究中心LIMOS实验室);INRA Toulouse(法国国家农业科学研究院图卢兹分院)
多目标优化的目的是找到折衷的解决方案,以冲突的目标。这些构成了帕累托最优集合。在评价费用很高的职能的情况下,不可能而且往往没有任何信息来寻找整个集合。由于最终用户通常更喜欢目标空间的某一部分,我们修改了贝叶斯多目标优化算法,该算法使用高斯过程来最大化预期超卷改进,以将搜索集中在首选区域。高斯过程和目标策略的累积效应导致特别有效地收敛到帕累托集合的期望部分。为了充分利用并行计算的优势,提出并分析了目标准则的多点扩展。
2020-02-19 cs.LG math.OC stat.ML
Fair and Green Hyperparameter Optimization via Multi-objective and Multiple Information Source Bayesian Optimization
University of Milano-Bicocca(米兰比可卡大学);OAKS srl(OAKS有限责任公司)
有一个共识是,只关注搜索最佳机器学习模型的准确性会放大数据中包含的偏差,导致不公平的预测和决策支持。最近,多目标超参数优化已经被提出来搜索机器学习模型,这些模型在准确性和公平性之间提供同样的帕累托有效的权衡。虽然这些方法被证明比公平感知的机器学习算法更通用-优化精度限制在某个公平阈值上-但在大型数据集的情况下,它们可能会大幅增加能耗。在本文中,我们提出了FangG-HPO,一个公平的和绿色的超参数优化(HPO)方法的基础上,多目标和多信息源贝叶斯优化。FanG-HPO使用大型数据集的子集(又名信息源)来获得准确性和公平性的廉价近似值,并使用多目标贝叶斯优化来有效地识别帕累托有效的机器学习模型。实验考虑了两个基准(公平性)数据集和两种机器学习算法(XGBoost和多层感知器),并通过BoTorch中的多目标单源优化算法对FanG-HPO进行了评估,BoTorch是最先进的贝叶斯优化平台。
2022-05-18 cs.LG math.OC stat.ML
Predictive Entropy Search for Multi-objective Bayesian Optimization
我们提出PESMO,贝叶斯方法识别多目标优化问题的帕累托集,当函数是昂贵的评估。PESMO的核心思想是选择评价点,以最大限度地减少Pareto集上的后验分布的熵。重要的是,PESMO多目标采集函数可以分解为目标特定采集函数的总和,这使得该算法能够用于\emph{decoupled}场景,其中目标可以单独评估,并且可能具有不同的成本。这种脱钩能力还使之能够确定需要更多评价的困难目标。PESMO还提供了效率增益,因为与其他方法的指数成本相比,其成本与目标数量呈线性关系。我们比较PESMO与其他相关方法的多目标贝叶斯优化的合成和现实世界的问题。结果表明,PESMO产生更好的建议,目标的评价数量较少,并且解耦的评价可以导致性能的改善,特别是当目标的数量很大时。
2016-02-21 stat.ML
A Bayesian/Information Theoretic Model of Bias Learning
London School of Economics(伦敦政治经济学院);Royal Holloway College(皇家霍洛威学院);University of London(伦敦大学)
在本文中,学习适当的偏见相关任务的环境中的问题进行了检查,从贝叶斯的角度来看。相关任务的环境被证明是自然建模的概念{ \em目标}先验分布。从客观先验采样对应于从环境中采样不同的学习任务。有人认为,对于许多常见的机器学习问题,虽然我们不知道问题的真实(客观)先验,但我们确实知道真实先验所属的一组可能先验。结果表明,在这些情况下,学习者可以使用贝叶斯推理,学习真正的先验采样从客观的先验。当一个任务与其他几个任务同时学习时,给出了学习该任务所需的信息量的界限。边界表明,如果学习者对真实先验知识知之甚少,并且真实先验的维数很小,则对多个任务进行采样是非常有利的。
2019-11-14 cs.LG stat.ML
Practical Bayesian Optimization of Objectives with Conditioning Variables
Warwick University(华威大学);Seldon Technologies(塞尔登科技)
贝叶斯优化是一类基于模型的数据高效算法,通常集中于全局优化。我们考虑更一般的情况下,用户面临着多个问题,每个问题都需要在一个状态变量的条件下进行优化,例如,给定一系列具有不同患者分布的城市,我们根据患者分布优化救护车位置。给定CIFAR-10的分区,我们为每个分区优化CNN超参数。目标之间的相似性以两种方式促进每个目标的优化:通过跨目标共享数据进行建模,以及通过量化一个目标上的单个点如何为所有目标提供益处来获取。为此,我们提出了一个条件优化框架:ConBO。这可以建立在一系列采集功能的顶部,我们提出了一个新的混合知识梯度采集功能。由此产生的方法是直观的和理论上的接地,执行类似或显着优于最近发表的作品在一系列问题,并且很容易并行收集一批点。
2020-11-02 cs.LG math.OC stat.ML
Thinking inside the box: A tutorial on grey-box Bayesian optimization
贝叶斯优化(BO)是一个全局优化的目标函数的评估费用的框架。经典的BO方法假设目标函数是一个黑盒。然而,关于目标函数计算的内部信息通常是可用的。例如,在通过仿真优化生产线的吞吐量时,我们除了观察总吞吐量外,还观察每个工作站等待的零件数量。最近的BO方法利用这些内部信息来显著提高性能。我们称之为“灰盒”BO方法,因为它们将目标计算视为部分可观察的,甚至是可修改的,将黑盒方法与目标函数计算的所谓“白盒”第一原理知识混合在一起。本教程描述了这些方法,重点是复合目标函数的BO,其中可以观察和选择性地评估进入整体目标的各个成分;和多保真度BO,其中可以通过改变评估Oracle的参数来评估目标函数的更便宜的近似值。
2022-01-02 cs.LG math.OC stat.ML
Investigating the efficiency of the Asian handicap football betting market with ratings and Bayesian networks
Queen Mary University of London(伦敦玛丽女王大学);The Alan Turing Institute(艾伦·图灵研究所)
尽管亚洲差点(AH)足球(足球)博彩市场非常受欢迎,但其效率尚未得到相关文献的充分研究。本文结合评级系统与贝叶斯网络,并提出了第一个公布的模型专门开发的预测和评估的AH博彩市场的效率。结果基于13个英超赛季,并与传统市场进行比较,其中投注是赢,输或平局。我们研究了不同的投注情况,包括a)平均和最大(最佳可用)市场赔率,b)预测和公布赔率之间的所有可能的投注决策阈值,c)投资回报和利润的优化,以及d)简单的股权调整,以调查在传统和AH市场中以同等利润为目标时回报的方差如何变化。虽然AH市场被发现分享传统市场的低效率,研究结果揭示了两者之间有趣的差异以及相似之处。
2023-03-23 cs.AI stat.AP
Wind Farm Layout Optimisation using Set Based Multi-objective Bayesian Optimisation
University of Exeter(埃克塞特大学)
风能是最清洁的可再生能源之一,有助于应对气候变化的挑战。风力发电的缺点之一是安装风力发电场所需的大空间;这是由于将风力涡轮机放置在有限的区域中会阻碍其生产力,因此在经济上不方便。这自然会导致优化问题,该问题具有三个具体挑战:(1)多个相互冲突的目标(2)计算昂贵的仿真模型和(3)优化设计集而不是设计向量。第一个和第二个挑战可以通过使用代理辅助来解决,例如\贝叶斯多目标优化。然而,传统的贝叶斯优化不能应用的问题中的优化功能依赖于设计集,而不是设计向量。本文扩展了贝叶斯多目标优化的适用性,以基于集合的优化解决风电场布局问题。我们在高斯过程中使用基于集合的内核来量化风电场(具有不同数量的涡轮机)之间的相关性。在给定的风能和风向数据集上的结果清楚地表明了使用基于集合的贝叶斯多目标优化的潜力。
2022-04-01 cs.LG math.OC stat.AP
Information-Theoretic Multi-Objective Bayesian Optimization with Continuous Approximations
Washington State University(华盛顿州立大学)
许多现实世界的应用程序涉及使用连续函数近似的多个目标的黑盒优化,权衡评估的准确性和资源成本。例如,在火箭发射研究中,我们需要找到使用连续保真度模拟器(例如,改变容差参数以折衷仿真时间和精度)用于设计评估。目标是通过最小化评估成本来近似最优帕累托集。在本文中,我们提出了一种新的方法称为信息理论的多目标连续近似贝叶斯优化(iMOCA)}来解决这个问题。其核心思想是选择输入序列和函数逼近的多个目标,最大化的信息增益每单位成本的最优帕累托前沿。我们在不同的合成和真实世界的基准测试的实验表明,iMOCA显着提高了现有的单保真度的方法。
2020-11-23 cs.AI cs.LG stat.ML
Knowledge Gradient for Multi-Objective Bayesian Optimization with Decoupled Evaluations
University of Warwick(华威大学);Gent University(根特大学)
针对多目标贝叶斯优化中目标可解耦评估的问题,提出一种考虑不同评估成本的基于标量化的知识梯度采集函数,理论上证明了估计器的渐近一致性,实验表明其性能与现有技术相当且显著优于全量评估版本。
2025-03-02 cs.LG math.OC stat.ML
A Robust Multi-Objective Bayesian Optimization Framework Considering Input Uncertainty
Ghent University(根特大学);imec(比利时微电子研究中心)
贝叶斯优化是一种流行的工具,用于对昂贵的目标函数进行数据有效的优化。在工程设计等实际应用中,设计人员通常希望考虑多个目标以及输入的不确定性,以找到一组鲁棒的解决方案。虽然这在单目标贝叶斯优化中是一个活跃的话题,但在多目标情况下研究较少。我们引入了一种新的贝叶斯优化框架,有效地执行多目标优化考虑输入的不确定性。我们提出了一个强大的高斯过程模型来推断贝叶斯风险标准来量化鲁棒性,我们开发了一个两阶段的贝叶斯优化过程来搜索一个强大的帕累托前沿。完整的框架支持各种分布的输入不确定性,并充分利用并行计算。我们证明了框架的有效性,通过数值基准。
2022-02-25 cs.AI cs.CE stat.ML
Practical Bayesian Optimization for Variable Cost Objectives
我们提出了一种新的贝叶斯优化方法与环境变量的黑盒函数,其值决定评估成本和评估的保真度之间的权衡。此外,我们使用一种新的方法来采样支持点,允许更快的采集功能的建设。这使我们能够实现优化与较低的开销比以前的方法,并实现了更一般的一类问题。我们证明这种方法是有效的合成和现实世界的基准问题。
2018-05-15 stat.ML
What Makes an Effective Scalarising Function for Multi-Objective Bayesian Optimisation?
TNO(荷兰国家应用科学研究院);University of Exeter(埃克塞特大学);Swansea University(斯旺西大学);Delft University of Technology(代尔夫特理工大学)
通过标度化目标来执行多目标贝叶斯优化避免了昂贵的基于多维积分的采集函数的计算,而不是允许应用诸如预期改进\textemdash的一维标准采集函数\textemdash。在这里,两个填充标准的基础上超容量的改善\textemdash一个最近推出的和一个新的\textemdash与多代理预期超容量的改善进行了比较。在这些方法的有效性最大化的超体积收购帕累托阵线的差异的原因进行了调查。此外,代理模型平均函数的勘探和开发的效果进行检查:仔细选择数据归一化显示是优选的勘探参数通常使用的预期改善采集功能。最后,本文定义的所有方法改进的有效性在一个现实世界的问题上得到了证明:风力涡轮机叶片翼型的气动性能和结构刚度的优化。通过有效的标量化,贝叶斯优化发现了大量新的翼型形状,这些翼型形状在标准设计中占主导地位。
2021-04-10 cs.LG math.OC stat.ML
MBORE: Multi-objective Bayesian Optimisation by Density-Ratio Estimation
University of Exeter(埃克塞特大学);Swansea University(斯旺西大学)
优化问题通常具有多个相互冲突的目标,这些目标可能在计算上和/或经济上昂贵。单代理贝叶斯优化(BO)是一种流行的基于模型的方法,用于优化这种黑盒函数。它通过标量化结合客观值,并构建标量化值的高斯过程(GP)替代。选择使廉价查询获取函数最大化的位置作为下一个要昂贵地评估的位置。虽然BO是一种有效的策略,但全科医生的使用受到限制。它们的性能随着问题输入维度的增加而降低,并且它们的计算复杂性与数据量成三次方地缩放。为了解决这些限制,我们扩展以前的工作BO密度比估计(BORE)的多目标设置。BORE将改进获取函数的概率计算与概率分类的概率计算联系起来。这使得能够在类似BO的框架中使用最先进的分类器。在这项工作中,我们提出了MBORE:多目标贝叶斯优化密度比估计,并比较它BO在一系列的合成和现实世界的基准。我们发现,MBORE执行以及或优于BO的各种各样的问题,它优于BO的高维和现实世界的问题。
2022-03-31 cs.AI cs.LG stat.ML
Bayesian Optimization of Risk Measures
School of Industrial and Systems Engineering, Georgia Institute of Technology(佐治亚理工学院工业与系统工程学院);School of Operations Research and Information Engineering, Cornell University(康奈尔大学运筹学与信息工程学院)
我们考虑贝叶斯优化的目标函数的形式$ρ[ F(x, W) ]$,其中$F$是一个黑箱昂贵的评估功能和$ρ$表示的风险价值或CVaR的风险度量,计算的随机性引起的环境随机变量$W$。这些问题出现在不确定性下的决策中,例如投资组合优化和鲁棒系统设计。我们提出了一个家庭的新颖的贝叶斯优化算法,利用结构的目标函数,大大提高抽样效率。这些算法不是像贝叶斯优化中典型的那样直接对目标函数建模,而是将$F$建模为高斯过程,并使用目标函数的隐含后验来决定要评估哪些点。我们证明了我们的方法在各种数值实验的有效性。
2020-11-04 cs.LG math.OC stat.ML
Preference-Aware Constrained Multi-Objective Bayesian Optimization
Washington State University(华盛顿州立大学)
本文讨论了当输入空间的大部分是不可行的(即,违反约束)。这一问题在包括模拟电路和电力系统设计在内的许多工程设计问题中都存在。我们的总体目标是在一小部分可行的输入设计上近似最优Pareto集。关键的挑战包括设计空间的巨大规模,多个目标和大量的约束条件,以及一小部分可行的输入设计,只能在执行昂贵的模拟后才能确定。我们提出了一种新的和有效的偏好感知约束多目标贝叶斯优化方法称为PAC-MOO来解决这些挑战。其关键思想是学习输出目标和约束的代理模型,并在每次迭代中选择候选输入进行评估,以最大限度地提高所获得的关于最优约束Pareto前沿的信息,同时考虑对目标的偏好。我们对两个真实世界的模拟电路设计优化问题的实验证明了PAC-MOO的有效性。
2023-03-23 cs.AI cs.LG math.OC
Constrained Multi-objective Bayesian Optimization through Optimistic Constraints Estimation
CUHK(香港中文大学);Shenzhen University(深圳大学);University of Chicago(芝加哥大学);University at Albany, SUNY(纽约州立大学奥尔巴尼分校)
针对约束多目标优化问题,提出COMBOO算法,结合乐观约束估计与水平集主动学习,实现高效可行区域探索,并通过理论分析和实验验证其有效性。
2025-04-21 cs.LG stat.ME
srMO-BO-3GP: A sequential regularized multi-objective constrained Bayesian optimization for design applications
Sandia National Laboratories(桑迪亚国家实验室);Xilinx Inc.(赛灵思公司);Georgia Institute of Technology(佐治亚理工学院)
贝叶斯优化(BO)是一种高效、灵活的全局优化框架,适用于非常广泛的工程应用。为了充分利用经典BO框架的能力,人们提出了许多扩展,包括多目标、多保真度、并行化、隐变量模型等,以改善经典BO框架的局限性。在这项工作中,我们提出了一种新的多目标(MO)扩展,称为srMO-BO-3GP,解决MO优化问题的顺序设置。三个不同的高斯过程(GP)堆叠在一起,其中每个GP被分配不同的任务:第一个GP用于近似单目标函数,第二个GP用于学习未知约束,第三个GP用于学习不确定的帕累托边界。在每次迭代中,采用MO增广的Tchebycheff函数将MO转换为单目标,并使用正则化脊项进行扩展,其中正则化被引入以平滑单目标函数。最后,我们将第三GP与经典的BO框架相结合,通过开发和探索获取函数来促进帕累托边界的丰富性和多样性。所提出的框架是使用几个数值基准函数,以及热机械有限元模型倒装芯片封装设计优化证明。
2021-08-31 cs.LG cs.NE stat.ML
Predictive Entropy Search for Multi-objective Bayesian Optimization with Constraints
这项工作提出了PESMOC,预测熵搜索多目标贝叶斯优化与约束,一个基于信息的策略,同时优化多个昂贵的评估黑盒功能的存在下,几个约束。因此,PESMOC可用于解决各种优化问题。迭代地,PESMOC选择一个输入位置,在该位置上评估目标函数和约束,以便最大限度地减少相应优化问题的Pareto集的熵。PESMOC中考虑的约束被假定为具有与典型贝叶斯优化问题中的目标函数相似的性质。也就是说,它们没有已知的表达式(这妨碍了梯度计算),它们的评估被认为是非常昂贵的,并且所得到的观测结果可能被噪声破坏。这些约束出现在大量昂贵的黑盒优化问题中。我们进行合成实验来说明PESMOC的有效性,在那里我们从高斯过程先验中采样目标和约束。所获得的结果表明,PESMOC是能够提供更好的建议与更少的评价比基于随机搜索的战略。
2016-09-26 stat.ML
Scalarizing Functions in Bayesian Multiobjective Optimization
University of Exeter(埃克塞特大学)
标量化函数被广泛用于将多目标优化问题转化为单目标优化问题。然而,在贝叶斯多目标优化中,它们在解决(计算上)昂贵的多目标和多目标优化问题中的使用是稀缺的。在进行优化时,标量化函数对所需的评估质量和数量起着至关重要的作用。在这篇文章中,我们研究和审查15个不同的标量化函数的框架下贝叶斯多目标优化和建立高斯过程模型(作为代理人,元模型或仿真器)。我们使用期望改进作为填充准则(或获取函数)来更新模型。特别是,我们比较不同的标量化函数,并分析其性能的几个基准问题与不同数量的目标进行优化。在使用贝叶斯多目标优化方法时,对不同函数的回顾和实验提供了有用的见解。
2019-04-11 cs.LG cs.NE stat.ML
R-MBO: A Multi-surrogate Approach for Preference Incorporation in Multi-objective Bayesian Optimisation
University of Exeter(埃克塞特大学)
许多现实世界的多目标优化问题依赖于计算昂贵的函数评估。多目标贝叶斯优化(BO)可以用来减少计算时间,找到一组近似的帕累托最优解。在许多现实问题中,决策者对目标函数有一些偏好。在多目标BO中加入偏好的一种方法是使用标度函数并在其上构建单代理模型(单代理方法)。首先,标量化函数和目标函数的适应度景观可能不相似。其次,该方法假设标度化函数分布是高斯分布,并且因此获取函数的封闭形式表达,例如,可以使用预期的改进。我们克服了这些限制,通过建立独立的代理模型(多代理方法)对每个目标函数,并表明标量函数的分布不是高斯的。我们使用广义值分布来近似分布。我们提出了一个先验的多代理方法,将理想的目标函数值(或参考点)作为决策者的偏好,在多目标BO。基准和现实世界的优化问题的结果和比较与现有的单代理方法显示所提出的方法的潜力。
2022-04-27 cs.AI cs.LG math.PR
Work While They Sleep: Exploiting Evaluation Latency for Fully Bayesian Optimization
Vector Institute(向量研究所);INRIA Saclay(法国国家信息与自动化研究所萨克雷研究中心);University of Waterloo(滑铁卢大学);Waterloo Institute for Nanotechnology(滑铁卢纳米技术研究所);Western University(西安大略大学)
本文提出ELF-BO算法,利用评估延迟并行计算建议,实现全贝叶斯优化,在匹配性能的同时降低决策延迟,使全贝叶斯优化实用化。
2026-10-12 cs.AI cs.LG stat.ML
Parallel Bayesian Optimization of Multiple Noisy Objectives with Expected Hypervolume Improvement
Facebook(脸书);University of Oxford(牛津大学)
优化多个竞争的黑箱目标在许多领域都是一个具有挑战性的问题,包括科学,工程和机器学习。多目标贝叶斯优化(MOBO)是一种样本有效的方法,用于确定目标之间的最佳权衡。然而,许多现有的方法表现不佳时,观测被噪声破坏。我们提出了一种新的采集功能,NEHVI,克服了这一重要的实际限制,通过应用贝叶斯处理流行的预期超体积改进(EHVI)标准,并整合在帕累托前沿的不确定性。我们认为,即使在无噪声的设置,并行生成多个候选人是一个化身的EHVI与帕累托前沿的不确定性,因此可以使用相同的底层技术来解决。通过这个镜头,我们得到一个自然的并行变量,$q$ NEHVI,减少计算复杂性的并行EHVI从指数多项式的批量大小。$q$ NEHVI是一步贝叶斯最优的超体积最大化在噪声和无噪声的环境中,我们表明,它可以有效地优化与基于梯度的方法,通过样本平均近似。从经验上讲,我们不仅证明了$q$ NEHVI比现有的MOBO方法对观测噪声的鲁棒性更强,而且还证明了它在大批量环境中实现了最先进的优化性能和有竞争力的墙时间。
2021-10-26 cs.AI cs.LG stat.ML
Multi-Objective Bayesian Optimization over High-Dimensional Search Spaces
University of Oxford(牛津大学);Meta
许多现实世界的科学和工业应用需要优化多个相互竞争的黑盒目标。当目标的评估代价很高时,多目标贝叶斯优化(BO)由于其高样本效率而成为一种流行的方法。然而,即使最近的方法进步,大多数现有的多目标BO方法表现不佳的搜索空间与几十个参数,并依赖于全球代理模型,规模与观察的数量立方。在这项工作中,我们提出了MORBO,一个可扩展的方法,多目标BO在高维搜索空间。MORBO通过使用协调策略在设计空间的多个局部区域并行执行BO来识别不同的全局最优解。我们表明,MORBO显着先进的国家的最先进的样本效率的几个高维合成问题和现实世界的应用,包括光学显示器设计问题和车辆设计问题与146和222个参数,分别。在这些问题上,现有的BO算法无法扩展和执行良好,MORBO提供从业人员与当前的方法相比,在样本效率的数量级的改进。
2022-06-15 cs.AI cs.LG math.OC
Bayesian multi-objective optimization for stochastic simulators: an extension of the Pareto Active Learning method
本文主要研究具有高输出方差的随机模拟器的多目标最优化问题,其中输入空间是有限的,目标函数的计算是昂贵的。我们依靠贝叶斯优化算法,它使用概率模型来预测要优化的函数。所提出的方法是一个扩展的Pareto主动学习(PAL)算法估计的Pareto-最优解,使其适用于随机设置。我们将其命名为随机模拟器的帕累托主动学习(Pareto Active Learning for Stochastic Simulators,PALS)。PALS的性能进行了评估,通过一组二维,双目标测试问题的数值实验。与其他基于标量化和随机搜索的方法相比,PALS具有更好的性能。
2022-07-20 math.OC stat.ML
Comment on: "Model uncertainty and missing data: An Objective Bayesian Perspective"
Sorbonne(索邦大学);LPSM(勒贝格概率与统计实验室)
本文对客观贝叶斯方法处理模型不确定性与缺失数据的论文进行评论,重点从频率学派视角讨论其方法。
2025-11-05 stat.ME
Parallel Predictive Entropy Search for Multi-objective Bayesian Optimization with Constraints
Universidad Autónoma de Madrid(马德里自治大学)
现实世界的问题往往涉及多个约束条件下的多个目标的优化。一个例子是机器学习算法的超参数调整问题。特别地,深度神经网络的泛化误差的估计的最小化,并且同时其预测时间的最小化。我们还可以考虑作为约束,深度神经网络必须在具有低于某一尺寸的面积的芯片中实现。这里,目标和约束都是黑盒,即,解析表达式未知且计算代价高昂的函数。贝叶斯优化(BO)方法已经给出了黑箱优化的最新结果。然而,大多数BO方法是顺序的,并且迭代地在一个输入位置处评估目标和约束。然而,有时我们可能有资源并行评估几个配置。尽管如此,没有并行BO方法已被提出来处理多个约束条件下的多个目标的优化。如果昂贵的评估可以并行执行(例如当计算机集群可用时),则顺序评估会导致资源浪费。本文介绍了PPESMOC,并行预测熵搜索多目标贝叶斯优化与约束,一个基于信息的批处理方法,同时优化多个昂贵的评估黑盒功能的存在下,几个约束。迭代地,PPESMOC选择一批输入位置来评估黑盒,以最大限度地减少优化问题的帕累托集的熵。我们提出的合成,基准和现实世界的实验,说明PPESMOC的有效性的形式的经验证据。
2021-07-01 cs.LG math.OC stat.ML
BoTier: Multi-Objective Bayesian Optimization with Tiered Composite Objectives
Harvard University(哈佛大学);Dana-Farber Cancer Institute(达纳-法伯癌症研究所);University of Wuppertal(伍珀塔尔大学)
针对科学优化中需平衡具有层级关系的多目标问题,提出复合目标 BoTier,以灵活表示对实验结果和输入参数的偏好层级,并以自动可微方式集成至 BoTorch 库,在合成与真实数据上验证了其稳健适用性。
2025-01-26 cs.LG math.OC stat.ME
A Bayesian approach to constrained single- and multi-objective optimization
这篇文章讨论了受多个不等式约束的无导数(单目标或多目标)优化问题。假设目标函数和约束函数都是平滑的、非线性的,并且评估成本很高。因此,可以用于执行优化的评估的数量非常有限,如在复杂的工业设计优化问题中。我们提出的方法,以克服这一困难有其根源的贝叶斯和多目标优化文献。更具体地说,一个扩展的支配规则被用来处理目标和约束在一个统一的方式,并提出了相应的期望超体积改进采样准则。这个新的标准是自然适应搜索的可行点时,没有可用的,并减少到现有的贝叶斯抽样标准-经典的预期改善(EI)标准和它的一些约束/多目标扩展-只要至少有一个可行点。采用序贯蒙特卡罗技术对判据进行了计算和优化。特别是,一个算法类似的子集模拟方法,这是众所周知的结构可靠性领域,用于估计的标准。该方法,我们称之为BMOO(贝叶斯多目标优化),比较国家的最先进的单目标和多目标约束优化算法。
2016-05-09 stat.CO stat.ML
Preferential Multi-Objective Bayesian Optimization
California Institute of Technology(加州理工学院);Georgia Institute of Technology(佐治亚理工学院)
针对现有偏好贝叶斯优化仅支持单目标的局限,提出首个多目标PBO框架及对决标量化汤普森采样算法,经多任务验证性能更优且具备渐近一致性,提供了该场景下对决汤普森采样的首个收敛保证。
2024-06-20 cs.LG math.OC stat.ML
The Kalai-Smorodinski solution for many-objective Bayesian optimization
在多目标贝叶斯优化的研究正在进行的目标是将其适用性扩展到大量的目标。在应对有限的评价预算时,恢复一套最佳折衷解决方案通常需要进行大量观察,而且不太容易解释,因为这套解决方案往往随着目标的增加而增加。因此,我们建议专注于一个特定的解决方案源自对策论,Kalai-Smorodinsky解决方案,它具有吸引力的属性。特别是,它确保所有目标的边际收益相等。我们进一步使它不敏感的单调变换的目标,考虑Copula空间中的目标。提出了一种新的定制算法搜索的解决方案,在贝叶斯优化算法的形式:序贯抽样决定的基础上,从工具高斯过程之前获得的采集功能。我们的方法是测试四个问题,分别有四个,六个,八个和九个目标。该方法可在CRAN的Rpackage GPGame中获得,网址为https://cran.r-project.org/package=GPGame。
2019-10-03 math.OC stat.ML
Robust Multi-Objective Bayesian Optimization Under Input Noise
Meta;University of Oxford(牛津大学);Georgia Institute of Technology(佐治亚理工学院)
贝叶斯优化(BO)是一种样本效率高的方法,用于调整设计参数,以优化评估成本高的黑箱性能指标。在许多制造过程中,设计参数会受到随机输入噪声的影响,导致产品的性能往往低于预期。虽然BO方法已经被提出用于在输入噪声下优化单个目标,但是没有现有的方法解决存在对输入扰动敏感的多个目标的实际情况。在这项工作中,我们提出了第一个多目标BO方法,是强大的输入噪声。我们形式化我们的目标为优化的多变量风险价值(MVaR),不确定目标的风险度量。由于直接优化MVaR在许多情况下计算上是不可行的,我们提出了一个可扩展的,理论上接地的方法来优化MVaR使用随机标量化。从经验上讲,我们发现我们的方法显着优于其他方法,并有效地确定最佳的鲁棒设计,将满足规格在多个指标的高概率。
2022-06-03 cs.AI cs.LG math.OC
Investigating the HIV Epidemic in Miami Using a Novel Approach for Bayesian Inference on Partially Observed Networks
提出一种针对部分观测网络的贝叶斯推断方法,利用同余类模型克服计算负担,显著降低网络属性估计误差,并揭示了迈阿密MSM社区间更高的混合程度。
2024-07-23 stat.AP
Cell-Free Data Power Control Via Scalable Multi-Objective Bayesian Optimisation
Ericsson Research(爱立信研究院);KTH Royal Institute of Technology(KTH皇家理工学院)
无小区多用户多输入多输出网络是传统蜂窝结构的有希望的替代方案,因为它们具有在网络的整个覆盖区域上提供统一服务质量和高资源利用率的潜力。为了实现这一潜力,以前的工作已经开发了无线电资源管理机制,使用各种优化引擎。在这项工作中,我们考虑的问题,整体遍历频谱效率最大化的上下行数据功率控制在无小区网络的背景下。为了在大型网络中解决这个问题,并解决收敛时间的限制,我们应用可扩展的多目标贝叶斯优化。此外,我们讨论了如何交叉的多保真度仿真和贝叶斯优化可以提高无线电资源管理在无细胞网络。
2022-12-20 cs.LG cs.SY eess.SY
Max-value Entropy Search for Multi-Objective Bayesian Optimization with Constraints
Washington State University(华盛顿州立大学)
我们考虑的问题,约束多目标黑箱优化使用昂贵的功能评估,其目标是近似的真正的Pareto集的解决方案,满足一组约束,同时最小化的功能评估的数量。例如,在航空动力系统设计应用中,我们需要找到在总能量和质量之间进行权衡的设计,同时满足电机温度和电池电压的特定阈值。这种优化需要执行昂贵的计算模拟来评估设计。在本文中,我们提出了一种新的方法称为{ \em最大值熵搜索多目标优化约束(MESMOC)}来解决这个问题。MESMOC采用基于输出空间熵的获取函数来有效地选择用于评估的输入序列,以在满足约束的同时发现高质量的帕累托集解。我们应用MESMOC两个现实世界的工程设计应用程序,以证明其有效性超过国家的最先进的算法。
2020-11-23 cs.AI cs.LG stat.ML
BOAT: Navigating the Sea of In Silico Predictors for Antibody Design via Multi-Objective Bayesian Optimization
MRC Biostatistics Unit, University of Cambridge(剑桥大学生物统计学单位);Centre for AI, Data Science and Artificial Intelligence, R&D, AstraZeneca(人工智能、数据科学和人工智能研究中心,阿斯利康研发部)
本文提出BOAT框架,通过贝叶斯优化与遗传算法联合优化抗体多属性,解决抗体设计中的多目标优化问题,展示其在序列空间中的高效探索能力。
2026-04-15 cs.LG q-bio.QM stat.ML