Constrained Multi-objective Bayesian Optimization through Optimistic Constraints Estimation
CUHK（香港中文大学）；Shenzhen University（深圳大学）；University of Chicago（芝加哥大学）；University at Albany, SUNY（纽约州立大学奥尔巴尼分校）
针对约束多目标优化问题，提出COMBOO算法，结合乐观约束估计与水平集主动学习，实现高效可行区域探索，并通过理论分析和实验验证其有效性。
2025-04-21 cs.LG stat.ME
Multi-Objective Bayesian Optimization via Adaptive \varepsilon-Constraints Decomposition
Department of Computer Science, Aalto University, Espoo, Finland（阿尔托大学计算机科学系，芬兰 Espoo）；ELLIS Institute Finland（芬兰 ELLIS 机构）；Department of Computer Science, University of Manchester, Manchester, United Kingdom（曼彻斯特大学计算机科学系，英国 Manchester）
提出STAGE-BO方法，通过自适应ε-约束分解将多目标优化转化为序列约束子问题，实现均匀帕累托覆盖并处理约束与偏好。
2026-05-29 cs.LG
A Flexible Framework for Multi-Objective Bayesian Optimization using Random Scalarizations
Carnegie Mellon University（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）
许多现实世界的应用程序可以被框定为多目标优化问题，我们希望同时优化多个标准。贝叶斯优化技术的多目标设置是相关的功能时，评估的问题是昂贵的。传统的多目标优化方法，贝叶斯和其他方法，旨在恢复这些目标的帕累托前沿。然而，在某些情况下，由于外部考虑，从业者可能希望仅在帕累托前沿的子集中识别帕累托最优点。在这项工作中，我们提出了一个基于随机标量化的目标，解决这个问题的战略。我们的方法能够灵活地从帕累托前沿的期望区域采样，并且在计算上比大多数MOO方法便宜得多。我们还研究了多目标环境中的后悔概念，并表明我们的策略实现了次线性后悔。我们的实验与合成和现实生活中的问题，并证明我们所提出的算法的灵活性和遗憾方面的优越性能。
2019-06-20 cs.LG stat.ML
Portfolio Allocation for Bayesian Optimization
University of British Columbia（不列颠哥伦比亚大学）
贝叶斯优化与高斯过程已经成为机器学习社区越来越受欢迎的工具。它是高效的，可以在对目标函数知之甚少的情况下使用，使其在昂贵的黑盒优化场景中很受欢迎。它使用贝叶斯方法，有效地使用采集功能，其中包括在任何给定点的目标和不确定性的模型的估计采样的目标。然而，在文献中有几种不同的参数化采集函数，并且通常不清楚使用哪一种。而不是使用一个单一的采集功能，我们采用了在线多臂强盗策略的采集功能的组合。我们提出了几种投资组合策略，其中最好的，我们称之为GP对冲，并表明，这种方法优于最好的个人收购功能。我们还提供了一个理论界的算法的性能。
2011-03-07 cs.LG
Simple Extensions of Single-Objective Acquisition Functions and Hedge Strategies for Multi-Objective Bayesian Optimization
本文提出通过超体积变换和对冲策略扩展单目标采集函数至多目标贝叶斯优化，简化流程，实验证明其性能匹配或超越复杂MOBO方法。
2026-11-09 cs.LG math.OC stat.ML
Many Objective Bayesian Optimization
一些实际问题需要评估昂贵和嘈杂的目标函数。此外，这些目标函数的解析表达式可能是未知的。这些函数被称为黑盒，例如，估计机器学习算法的泛化误差并根据其超参数计算其预测时间。多目标贝叶斯优化（MOBO）是一组已成功应用于黑盒同时优化的方法。具体地，BO方法依赖于目标函数的概率模型，通常是高斯过程。该模型生成目标的预测分布。然而，当多目标优化问题中的目标数量为3或更多时，MOBO方法存在问题，这是多目标设置。特别是，BO过程的成本更高，因为考虑的目标更多，通过超体积计算解决方案的质量也更昂贵，最重要的是，我们必须评估每个目标函数，浪费昂贵的计算，经济或其他资源。然而，由于优化问题中涉及更多的目标，其中一些目标很可能是冗余的，并且不会添加有关问题解决方案的信息。提出了一种衡量GP预测分布相似程度的方法。我们还提出了一个多目标贝叶斯优化算法，使用此度量来确定两个目标是否是冗余的。该算法在发现相似性的情况下停止对其中一个进行评估，从而节省了资源，并且不损害多目标BO算法的性能。我们在一组玩具，合成，基准和真实的实验中显示经验证据，GP预测分布的度量和算法的有效性。
2021-07-08 cs.LG stat.ML
Multi-objective Bayesian Optimization using Pareto-frontier Entropy
Osaka University（大阪大学）；Japan Fine Ceramics Center（日本精细陶瓷中心）；Nagoya Institute of Technology（名古屋工业大学）；National Institute for Material Science（国立材料科学研究所）
研究了一种基于熵的多目标贝叶斯优化算法。熵搜索是贝叶斯优化的一种成功方法。然而，对于目标管理，现有的基于熵的方法忽略了目标之间的权衡或引入不可靠的近似。本文提出了一种新的基于熵的目标优化算法--Pareto-frontier entropy search（PFES）。我们的熵可以将最优值的权衡关系，并且进一步地，我们推导出一个分析公式，而无需对标准熵搜索设置引入额外的近似或简化。我们还表明，我们的熵计算实际上是可行的，通过使用递归分解技术，已被称为研究的Pareto超体积计算。除了通常的MBO设置，其中所有的目标是同时观察，我们还考虑了“解耦”设置，其中的目标函数可以单独观察。PFES可以很容易地适应解耦的设置，通过考虑每个输出维度的边际密度的熵。该方法在Pareto边界条件下考虑了目标间的相关性，而现有方法忽略了这一点。我们的数值实验表明PFES通过几个基准数据集的有效性。
2020-02-11 cs.LG stat.ML
$\{\text{PF}\}^2$ES: Parallel Feasible Pareto Frontier Entropy Search for Multi-Objective Bayesian Optimization
提出了并行可行Pareto前沿熵搜索（$\{\text{PF}\}^2$ ES）--一种新的支持未知约束和批量查询的多目标贝叶斯优化的信息论获取函数。由于表征候选评估和（可行的）帕累托边界之间的互信息的复杂性，现有的方法必须要么采用粗糙的近似，显着妨碍其性能或依赖于昂贵的推理方案，大大增加了优化的计算开销。相反，通过使用变分下界，$\{\text{PF}\}^2$ ES提供了互信息的低成本和准确的估计。我们基准$\{\text{PF}\}^2$ ES对其他信息理论的采集功能，展示其竞争力的性能，优化合成和现实世界的设计问题。
2023-02-21 cs.LG math.OC
Improved Max-value Entropy Search for Multi-objective Bayesian Optimization with Constraints
Universidad Autónoma de Madrid（马德里自治大学）
提出了一种改进的多目标贝叶斯优化算法MESMOC+。MESMOC+可以用来解决约束多目标问题时，目标和约束是昂贵的评估。MESMOC+通过最小化函数空间中优化问题的解的熵来工作，即，帕累托边界，来指导寻找最优解。MESMOC+的成本与目标和约束的数量成线性关系。此外，它通常比基于最小化帕累托集熵的替代方法的成本小得多。其原因是在MESMOC+中更容易近似所需的计算。此外，MESMOC+的采集功能表示为每个黑盒（目标或约束）一次采集的总和。因此，它可以用于解耦的评估设置，其中不仅选择要评估的下一个输入位置，而且还选择要评估的黑盒。我们比较MESMOC+与相关的方法在合成和真正的优化问题。实验结果表明，MESMOC+提供的熵估计比以往的方法更准确。这导致更好的优化结果。MESMOC+与其他基于信息的约束多目标贝叶斯优化方法相比也具有竞争力，但速度明显更快。
2021-04-02 cs.LG stat.ML
Multi-Objective Causal Bayesian Optimization
University of Cambridge（剑桥大学）；Technical University of Munich（慕尼黑工业大学）；The Alan Turing Institute（阿兰·图灵研究所）
本文提出 MO-CBO 框架，通过刻画潜在最优干预变量集并将问题分解为多个多目标优化任务，利用相对超体积改进顺序平衡探索，以在多目标因果图中发现 Pareto 最优干预。
2025-02-20 cs.LG stat.ML
High-dimensional Multi-objective Bayesian Optimization with Learned Variable Interactions
本文提出ViaMOBO框架，通过变量交互分析划分高维决策空间并执行局部贝叶斯优化，经实验验证其在高维昂贵多目标问题的帕累托前沿近似上优于现有最优MOBO方法。
2026-08-13 cs.AI cs.LG
BOtied: Multi-objective Bayesian optimization with tied multivariate ranks
Prescient Design（普雷赛特设计公司）；Genentech（基因泰克公司）；New York University（纽约大学）；Center for Data Science（数据科学中心）
本文提出BOtied，利用非支配解与联合CDF极端分位数的联系构建符合帕累托的采集函数，并通过copula实现高效扩展，在多目标贝叶斯优化中优于现有方法。
2024-06-07 cs.LG stat.ML
Active Learning Guided Design Space Refinement for Scalable Multi-Objective Bayesian Optimization in Materials Discovery
National Centre for Scientific Research “Demokritos”（希腊国家科学研究中心“德谟克利特”）
本研究提出主动学习引导的自适应搜索空间优化框架，结合多目标贝叶斯优化，在两类材料优化任务中验证其可高效缩减候选空间并保留关键优化区域，提升大规模材料优化效率。
2026-08-06 cond-mat.mtrl-sci cs.LG
Active Preference Learning over Latent Preference Archetypes for Many-Objective Bayesian Optimization
University of Manchester（曼彻斯特大学）；University of Edinburgh（爱丁堡大学）；Aalto University（阿尔托大学）；University of Amsterdam（阿姆斯特丹大学）；ELLIS Institute Finland（芬兰ELLIS研究所）
本文提出一种混合模型偏好学习框架，通过学习潜在偏好原型而非假设单一效用函数，提升多目标优化中异质性人价值结构的适应性，并在合成和现实基准上表现更优。
2026-08-28 cs.LG stat.ML
Evidence-Gated LLM Priors for Multi-Objective Bayesian Optimization
State Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）
针对多目标贝叶斯优化中LLM先验可能误导的问题，提出一种目标级声誉市场机制，通过在线反馈动态校准专家权重，并引入解耦反事实门控，在合成测试和分子优化基准上验证了动态校准的鲁棒性。
2026-06-15 cs.AI cs.LG
Joint Entropy Search for Multi-objective Bayesian Optimization
Imperial College London（帝国理工学院）；BASF SE（巴斯夫欧洲公司）
许多现实世界的问题可以被描述为多目标优化问题，其目标是确定竞争目标之间的最佳折衷方案。多目标贝叶斯优化（BO）是一种样本高效策略，可用于解决这些向量值优化问题，其中访问仅限于一些有噪声的目标函数评估。在本文中，我们提出了一种新的信息理论的收购功能BO称为联合熵搜索（JES），它认为联合信息增益的最佳输入和输出。我们提出了几个分析近似的JES采集功能，并引入了扩展的批量设置。我们展示了这种新方法在超体积及其加权变体方面对一系列合成和现实问题的有效性。
2022-10-06 cs.LG math.OC stat.ML
Fair and Green Hyperparameter Optimization via Multi-objective and Multiple Information Source Bayesian Optimization
University of Milano-Bicocca（米兰比可卡大学）；OAKS srl（OAKS有限责任公司）
有一个共识是，只关注搜索最佳机器学习模型的准确性会放大数据中包含的偏差，导致不公平的预测和决策支持。最近，多目标超参数优化已经被提出来搜索机器学习模型，这些模型在准确性和公平性之间提供同样的帕累托有效的权衡。虽然这些方法被证明比公平感知的机器学习算法更通用-优化精度限制在某个公平阈值上-但在大型数据集的情况下，它们可能会大幅增加能耗。在本文中，我们提出了FangG-HPO，一个公平的和绿色的超参数优化（HPO）方法的基础上，多目标和多信息源贝叶斯优化。FanG-HPO使用大型数据集的子集（又名信息源）来获得准确性和公平性的廉价近似值，并使用多目标贝叶斯优化来有效地识别帕累托有效的机器学习模型。实验考虑了两个基准（公平性）数据集和两种机器学习算法（XGBoost和多层感知器），并通过BoTorch中的多目标单源优化算法对FanG-HPO进行了评估，BoTorch是最先进的贝叶斯优化平台。
2022-05-18 cs.LG math.OC stat.ML
OASI: Objective-Aware Surrogate Initialization for Multi-Objective Bayesian Optimization in TinyML Keyword Spotting
Department of Electronics and Communication Engineering, National Institute of Technology Durgapur（电子与通信工程系，德里帕尔国家理工学院）；System Research and Applications Department, STMicroelectronics（系统研究与应用部，STMicroelectronics）
OASI通过多目标模拟退火生成帕累托偏置解，提升TinyML关键词识别中多目标贝叶斯优化的超体积和收敛鲁棒性。
2026-03-04 cs.LG cs.SD
Multi-objective and multi-fidelity Bayesian optimization of laser-plasma acceleration
Ludwig-Maximilian-Universität München（慕尼黑大学）；Max Planck Institut für Quantenoptik（马克斯·普朗克量子光学研究所）
加速器中的束流参数优化涉及多个，有时是相互竞争的目标。将这些单独的目标浓缩成一个单一的品质因数，必然会导致在缺乏先验知识的情况下，往往以一种不可取的方式偏向于特定的结果。找到最优的目标定义需要操作员重新考虑许多可能的目标权重和定义，这个过程可能比优化本身花费的时间长很多倍。一种更通用的方法是多目标优化，它建立了目标之间的权衡曲线或帕累托前沿。在这里，我们提出了第一个结果的多目标贝叶斯优化的模拟激光等离子体加速器。我们发现，多目标优化达到可比的性能，其单目标的同行，同时允许即时评估全新的目标。这大大减少了为新问题找到适当的客观定义所需的时间。此外，我们的多目标，多保真度的方法减少了一个数量级的优化运行所需的时间。它通过动态选择模拟分辨率和盒子大小来实现这一点，当它从快速低分辨率运行中了解帕累托最优解决方案时，需要更少的缓慢和昂贵的模拟。本文中演示的技术可以很容易地转换为加速器优化之外的许多不同的计算和实验用例。
2022-12-23 cs.LG physics.acc-ph physics.plasm-ph
Multi-Objective Bayesian Optimization with Active Preference Learning
Nagoya Institute of Technology（名古屋工业大学）；RIKEN AIP（理化学研究所人工智能项目）；Nagoya University（名古屋大学）
针对多目标优化中识别整个Pareto前沿成本过高的问题，提出一种贝叶斯优化方法，通过成对偏好和改进请求交互式估计决策者偏好，并结合主动学习策略以最小化交互成本，从而高效识别最受偏好的解。
2023-11-22 cs.LG stat.ML
Probability Distribution of Hypervolume Improvement in Bi-objective Bayesian Optimization
Leiden University（莱顿大学）；University of Applied Sciences（应用科学大学）
本文针对双目标贝叶斯优化，通过单元划分法推导出超体积改进（HVI）概率分布的精确表达式，并据此提出新采集函数ε-PoHVI，在GP预测不确定性较大时显著优于ε-PoI和期望超体积改进等方法。
2024-05-06 cs.LG stat.ML
Multi-Objective Bayesian Optimization for Model Merging
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
该研究将模型合并的参数选择转化为黑箱多目标优化问题，提出MOBO-Merge框架，经实验验证其在多数场景下优于随机搜索，为模型合并提供了高效的搜索方案。
2026-08-17 cs.AI cs.LG
MOBO-OSD: Batch Multi-Objective Bayesian Optimization via Orthogonal Search Directions
School of Computing Technologies RMIT University（计算技术学院皇家墨尔本理工学院）；School of Big Data and Software Engineering Chongqing University（大数据与软件工程学院重庆大学）
本文提出MOBO-OSD，一种基于正交搜索方向的批量多目标贝叶斯优化算法，通过求解子问题生成多样帕累托解，并利用前沿估计增强解密度，实验表明其性能优于现有方法。
2025-10-23 cs.LG stat.ML
Practical Bayesian Optimization of Objectives with Conditioning Variables
Warwick University（华威大学）；Seldon Technologies（塞尔登科技）
贝叶斯优化是一类基于模型的数据高效算法，通常集中于全局优化。我们考虑更一般的情况下，用户面临着多个问题，每个问题都需要在一个状态变量的条件下进行优化，例如，给定一系列具有不同患者分布的城市，我们根据患者分布优化救护车位置。给定CIFAR-10的分区，我们为每个分区优化CNN超参数。目标之间的相似性以两种方式促进每个目标的优化：通过跨目标共享数据进行建模，以及通过量化一个目标上的单个点如何为所有目标提供益处来获取。为此，我们提出了一个条件优化框架：ConBO。这可以建立在一系列采集功能的顶部，我们提出了一个新的混合知识梯度采集功能。由此产生的方法是直观的和理论上的接地，执行类似或显着优于最近发表的作品在一系列问题，并且很容易并行收集一批点。
2020-11-02 cs.LG math.OC stat.ML
Bayesian Optimization For Multi-Objective Mixed-Variable Problems
University of California, Berkeley（加州大学伯克利分校）
优化多个非优先目标的混合变量，昂贵的黑箱问题是重要的，在许多领域的工程和科学。这些问题的昂贵，嘈杂，黑箱性质使它们成为贝叶斯优化（BO）的理想候选者。混合变量和多目标的问题，但是，由于BO的基本平滑高斯过程代理模型的挑战。目前的多目标BO算法不能处理混合变量问题。我们提出了MixMOBO，第一个混合变量，多目标贝叶斯优化框架，这样的问题。使用MixMOBO，可以有效地找到多目标混合变量设计空间的最佳Pareto前沿，同时确保多样化的解决方案。该方法是足够灵活的，将不同的内核和采集功能，包括那些开发的混合变量或多目标问题的其他作者。我们还提出了HedgeMO，一个修改后的对冲策略，使用多目标问题的收购功能的投资组合。我们提出了一个新的采集功能，SMC。我们的研究结果表明，MixMOBO表现良好，对其他混合变量算法的合成问题。我们将MixMOBO应用于建筑材料的真实设计，并表明我们的最佳设计，这是实验制造和验证，具有归一化的应变能密度比现有结构大$10^4$倍。
2022-08-04 cs.AI cs.CE cs.LG
Thinking inside the box: A tutorial on grey-box Bayesian optimization
贝叶斯优化（BO）是一个全局优化的目标函数的评估费用的框架。经典的BO方法假设目标函数是一个黑盒。然而，关于目标函数计算的内部信息通常是可用的。例如，在通过仿真优化生产线的吞吐量时，我们除了观察总吞吐量外，还观察每个工作站等待的零件数量。最近的BO方法利用这些内部信息来显著提高性能。我们称之为“灰盒”BO方法，因为它们将目标计算视为部分可观察的，甚至是可修改的，将黑盒方法与目标函数计算的所谓“白盒”第一原理知识混合在一起。本教程描述了这些方法，重点是复合目标函数的BO，其中可以观察和选择性地评估进入整体目标的各个成分;和多保真度BO，其中可以通过改变评估Oracle的参数来评估目标函数的更便宜的近似值。
2022-01-02 cs.LG math.OC stat.ML
Information-Theoretic Multi-Objective Bayesian Optimization with Continuous Approximations
Washington State University（华盛顿州立大学）
许多现实世界的应用程序涉及使用连续函数近似的多个目标的黑盒优化，权衡评估的准确性和资源成本。例如，在火箭发射研究中，我们需要找到使用连续保真度模拟器（例如，改变容差参数以折衷仿真时间和精度）用于设计评估。目标是通过最小化评估成本来近似最优帕累托集。在本文中，我们提出了一种新的方法称为信息理论的多目标连续近似贝叶斯优化（iMOCA）}来解决这个问题。其核心思想是选择输入序列和函数逼近的多个目标，最大化的信息增益每单位成本的最优帕累托前沿。我们在不同的合成和真实世界的基准测试的实验表明，iMOCA显着提高了现有的单保真度的方法。
2020-11-23 cs.AI cs.LG stat.ML
Surrogate-Assisted Reference Vector Adaptation to Various Pareto Front Shapes for Many-Objective Bayesian Optimization
Jiteki Lab（Jiteki 实验室）
我们提出了一个代理辅助参考向量自适应（SRVA）方法来解决昂贵的多和多目标优化问题与各种帕累托前沿形状。SRVA是再加上一个多目标贝叶斯优化（MBO）算法，使用参考向量标量化的目标函数。该方法采用Kriging代理模型估计目标函数的Pareto前沿形状，并在估计的Pareto前沿上生成均匀分布的自适应参考向量。我们结合SRVA与预期改善的处罚为基础的边界相交作为MBO的填充标准。该算法与其他两个目标优化算法进行了比较，通过将它们应用到具有各种Pareto前沿形状的基准问题。实验结果表明，该算法在目标函数被Kriging模型合理逼近的问题上优于其他两种算法。SRVA提高了这些问题的连续，不连续和退化的帕累托前沿的非支配解决方案的多样性。此外，该算法从优化的早期阶段获得更好的解决方案，特别是在多目标问题。
2021-10-10 cs.LG cs.NE math.OC
Knowledge Gradient for Multi-Objective Bayesian Optimization with Decoupled Evaluations
University of Warwick（华威大学）；Gent University（根特大学）
针对多目标贝叶斯优化中目标可解耦评估的问题，提出一种考虑不同评估成本的基于标量化的知识梯度采集函数，理论上证明了估计器的渐近一致性，实验表明其性能与现有技术相当且显著优于全量评估版本。
2025-03-02 cs.LG math.OC stat.ML
Controllable Expensive Multi-objective Learning with Warm-starting Bayesian Optimization
VinUniversity（维新大学）；FPT Software AI Center（FPT软件人工智能中心）
提出 Co-PSL，通过热启动贝叶斯优化和可控帕累托集学习，解决昂贵多目标优化中 PSL 方法的不稳定与低效问题，实现实时权衡控制。
2024-02-09 cs.LG math.OC
Time-Aware Latent Space Bayesian Optimization
Aalto University（阿alto大学）
TALBO通过在替代模型和生成表示中引入时间，解决时间漂移问题，提升潜在空间贝叶斯优化在动态目标下的性能。
2026-03-01 cs.LG stat.ML
Batch Bayesian Optimization via Particle Gradient Flows
Imperial College London（伦敦帝国理工学院）；University of Manchester（曼彻斯特大学）；University of Edinburgh（爱丁堡大学）；Alan Turing Institute（艾伦·图灵研究所）
贝叶斯优化（BO）方法试图找到目标函数的全局最优解，这些目标函数只能作为黑盒或评估成本很高。这样的方法为目标函数构建代理模型，通过贝叶斯推断量化该代理中的不确定性。通过在每个步骤最大化采集函数来顺序地确定客观评估。然而，由于采集函数的非凸性，特别是在每一步都选择多个点的批量贝叶斯优化的情况下，这个辅助优化问题可能是非常不容易解决的。在这项工作中，我们重新制定一批BO作为一个优化问题的空间上的概率测度。我们构造了一个新的捕获函数的基础上多点的期望改进，这是凸的空间上的概率测度。解决这一“内部”优化问题的实际方案自然会出现梯度流的目标函数。我们证明了这种新方法在不同基准函数上的有效性，并与最先进的批处理BO方法进行比较。
2023-01-09 cs.LG stat.ML
Preference-Aware Constrained Multi-Objective Bayesian Optimization
Washington State University（华盛顿州立大学）
本文讨论了当输入空间的大部分是不可行的（即，违反约束）。这一问题在包括模拟电路和电力系统设计在内的许多工程设计问题中都存在。我们的总体目标是在一小部分可行的输入设计上近似最优Pareto集。关键的挑战包括设计空间的巨大规模，多个目标和大量的约束条件，以及一小部分可行的输入设计，只能在执行昂贵的模拟后才能确定。我们提出了一种新的和有效的偏好感知约束多目标贝叶斯优化方法称为PAC-MOO来解决这些挑战。其关键思想是学习输出目标和约束的代理模型，并在每次迭代中选择候选输入进行评估，以最大限度地提高所获得的关于最优约束Pareto前沿的信息，同时考虑对目标的偏好。我们对两个真实世界的模拟电路设计优化问题的实验证明了PAC-MOO的有效性。
2023-03-23 cs.AI cs.LG math.OC
Learning What to Evaluate: Correlation-Aware Decoupling for Multiobjective Bayesian Optimization
Pennsylvania State University（宾夕法尼亚州立大学）
本研究提出一种相关性感知的解耦多目标贝叶斯优化方法，利用多任务高斯过程联合建模并选择最优子集评估，在理论上保证一致性并实证超越现有基线。
2026-09-29 cs.LG stat.ML
Multi Objective Design Optimization of Non Pneumatic Passenger Car Tires Using Finite Element Modeling, Machine Learning, and Particle swarm Optimization and Bayesian Optimization Algorithms
TCS Research（塔塔咨询服务研究院）
本研究提出基于有限元建模、机器学习和优化算法的框架，用于优化非气动客车轮胎的辐条结构，实现刚度、耐久性和振动的多目标优化。
2026-02-04 cs.AI cs.LG
Modulating Surrogates for Bayesian Optimization
University of Bristol（布里斯托大学）；Siemens AG（西门子公司）；Technical University of Munich（慕尼黑工业大学）；University of Bath（巴斯大学）；Spotify Research（Spotify研究院）；University of Cambridge（剑桥大学）
贝叶斯优化（BO）方法通常依赖于目标函数行为良好的假设，但在实践中，即使可以收集无噪声观测，对于真实世界的目标也很少如此。通常的方法试图尽可能精确地对目标进行建模，但由于花费了太多的评估来建模不相关的细节，因此往往无法取得进展。我们通过提出代理模型来解决这个问题，该模型专注于目标函数中表现良好的结构，这对于搜索来说是有用的，而忽略了从很少的观察中建模具有挑战性的有害结构。首先，我们证明了具有适当噪声分布的代理模型可以通过将其视为不可约的不确定性来吸收目标函数中具有挑战性的结构。其次，我们表明，一个潜在的高斯过程是一个很好的代理，为此目的，与高斯过程与标准噪声分布。我们在一系列BO基准上进行了大量实验，发现我们的方法在面对具有挑战性的目标函数时提高了可靠性和性能。
2020-09-08 cs.LG stat.ML
Uncertainty aware Search Framework for Multi-Objective Bayesian Optimization with Constraints
Washington State University（华盛顿州立大学）
我们考虑约束多目标（MO）黑盒优化问题，使用昂贵的功能评估，其目标是近似的真正的Pareto集的解决方案，满足一组约束，同时最小化的功能评估的数量。我们提出了一个新的框架命名为不确定性感知搜索框架多目标优化约束（USeMOC），有效地选择输入序列进行评估，以解决这个问题。USeMOC的选择方法包括通过真函数的代理模型来确定最有希望的候选者并基于不确定性度量来挑选最佳候选者，从而解决廉价的约束MO优化问题。我们应用这个框架来优化设计的多输出开关电容电压调节器，通过昂贵的模拟。我们的实验结果表明，USeMOC是能够实现超过90%的数量减少所需的模拟发现优化的电路。
2020-09-01 cs.LG stat.ML
PropertyDAG: Multi-objective Bayesian optimization of partially ordered, mixed-variable properties for biological sequence design
Prescient Design, Genentech（基因泰克Prescient Design）；New York University（纽约大学）
贝叶斯优化提供了一个样本效率的框架，用于在生物序列的巨大设计空间中导航探索-利用权衡。尽管可以使用多目标采集函数（例如预期超容积改善（EHVI））来联合优化各种感兴趣的属性，但是该方法不考虑具有分层依赖性结构的目标。我们考虑一个常见的用例，其中根据目标中指定的$\textit{partial ordering}$，帕累托边界的某些区域优先于其他区域。例如，当设计抗体时，我们希望只有当靶抗原可以在活细胞培养物中表达时才能最大化与靶抗原的结合亲和力-模拟实验依赖性，其中亲和力只能针对可以表达并因此以可行量产生的抗体进行测量。一般来说，我们可能希望赋予属性一个偏序，使得每个属性在其父属性满足某些可行性条件的条件下进行优化。为此，我们提出了PropertyDAG，一个框架，该框架在传统的多目标BO之上操作，以将这种期望的排序强加于目标，例如表达式$\rightarrow$亲和力。我们证明了它的性能在多个模拟的主动学习迭代青霉素生产任务，玩具数值问题，和现实世界的抗体设计任务。
2022-10-08 cs.LG q-bio.QM
Multi-Objective Bayesian Optimization over High-Dimensional Search Spaces
University of Oxford（牛津大学）；Meta
许多现实世界的科学和工业应用需要优化多个相互竞争的黑盒目标。当目标的评估代价很高时，多目标贝叶斯优化（BO）由于其高样本效率而成为一种流行的方法。然而，即使最近的方法进步，大多数现有的多目标BO方法表现不佳的搜索空间与几十个参数，并依赖于全球代理模型，规模与观察的数量立方。在这项工作中，我们提出了MORBO，一个可扩展的方法，多目标BO在高维搜索空间。MORBO通过使用协调策略在设计空间的多个局部区域并行执行BO来识别不同的全局最优解。我们表明，MORBO显着先进的国家的最先进的样本效率的几个高维合成问题和现实世界的应用，包括光学显示器设计问题和车辆设计问题与146和222个参数，分别。在这些问题上，现有的BO算法无法扩展和执行良好，MORBO提供从业人员与当前的方法相比，在样本效率的数量级的改进。
2022-06-15 cs.AI cs.LG math.OC
BoTier: Multi-Objective Bayesian Optimization with Tiered Composite Objectives
Harvard University（哈佛大学）；Dana-Farber Cancer Institute（达纳-法伯癌症研究所）；University of Wuppertal（伍珀塔尔大学）
针对科学优化中需平衡具有层级关系的多目标问题，提出复合目标 BoTier，以灵活表示对实验结果和输入参数的偏好层级，并以自动可微方式集成至 BoTorch 库，在合成与真实数据上验证了其稳健适用性。
2025-01-26 cs.LG math.OC stat.ME
Bayesian Optimization of Risk Measures
School of Industrial and Systems Engineering, Georgia Institute of Technology（佐治亚理工学院工业与系统工程学院）；School of Operations Research and Information Engineering, Cornell University（康奈尔大学运筹学与信息工程学院）
我们考虑贝叶斯优化的目标函数的形式$ρ[ F(x, W) ]$，其中$F$是一个黑箱昂贵的评估功能和$ρ$表示的风险价值或CVaR的风险度量，计算的随机性引起的环境随机变量$W$。这些问题出现在不确定性下的决策中，例如投资组合优化和鲁棒系统设计。我们提出了一个家庭的新颖的贝叶斯优化算法，利用结构的目标函数，大大提高抽样效率。这些算法不是像贝叶斯优化中典型的那样直接对目标函数建模，而是将$F$建模为高斯过程，并使用目标函数的隐含后验来决定要评估哪些点。我们证明了我们的方法在各种数值实验的有效性。
2020-11-04 cs.LG math.OC stat.ML
Uncertain Multi-Objective Recommendation via Orthogonal Meta-Learning Enhanced Bayesian Optimization
Chongqing University（重庆大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Nanyang Technological University（南洋理工大学）；Chengdu University of Information Technology（成都信息工程大学）；Agency for Science, Technology and Research（科学、技术与研究局）
本文提出面向个体偏好的不确定多目标推荐框架，利用贝叶斯优化建模目标权衡，并以正交元学习提升优化效率、缓解目标冲突。
2025-02-18 cs.AI cs.LG
Multi-Objective Multi-Fidelity Bayesian Optimization with Causal Priors
Department of Computer Science；Engineering, University of South Carolina, SC, USA；Computer Science Department, Appalachian State University, NC, USA；Engineering, Texas A\&M University, TX, USA
RESCUE通过引入因果模型提升多目标多保真度贝叶斯优化的样本效率。
2026-01-31 cs.AI cs.LG
Robust Multi-Objective Bayesian Optimization Under Input Noise
Meta；University of Oxford（牛津大学）；Georgia Institute of Technology（佐治亚理工学院）
贝叶斯优化（BO）是一种样本效率高的方法，用于调整设计参数，以优化评估成本高的黑箱性能指标。在许多制造过程中，设计参数会受到随机输入噪声的影响，导致产品的性能往往低于预期。虽然BO方法已经被提出用于在输入噪声下优化单个目标，但是没有现有的方法解决存在对输入扰动敏感的多个目标的实际情况。在这项工作中，我们提出了第一个多目标BO方法，是强大的输入噪声。我们形式化我们的目标为优化的多变量风险价值（MVaR），不确定目标的风险度量。由于直接优化MVaR在许多情况下计算上是不可行的，我们提出了一个可扩展的，理论上接地的方法来优化MVaR使用随机标量化。从经验上讲，我们发现我们的方法显着优于其他方法，并有效地确定最佳的鲁棒设计，将满足规格在多个指标的高概率。
2022-06-03 cs.AI cs.LG math.OC
Constrained Bayesian Optimization with Adaptive Active Learning of Unknown Constraints
The University of Chicago（芝加哥大学）
本文提出一种自适应主动学习的约束贝叶斯优化框架，通过交叉目标和约束的高置信度感兴趣区域并设计平衡采集函数，实现高效优化并给出理论保证。
2023-10-12 cs.AI cs.LG
srMO-BO-3GP: A sequential regularized multi-objective constrained Bayesian optimization for design applications
Sandia National Laboratories（桑迪亚国家实验室）；Xilinx Inc.（赛灵思公司）；Georgia Institute of Technology（佐治亚理工学院）
贝叶斯优化（BO）是一种高效、灵活的全局优化框架，适用于非常广泛的工程应用。为了充分利用经典BO框架的能力，人们提出了许多扩展，包括多目标、多保真度、并行化、隐变量模型等，以改善经典BO框架的局限性。在这项工作中，我们提出了一种新的多目标（MO）扩展，称为srMO-BO-3GP，解决MO优化问题的顺序设置。三个不同的高斯过程（GP）堆叠在一起，其中每个GP被分配不同的任务：第一个GP用于近似单目标函数，第二个GP用于学习未知约束，第三个GP用于学习不确定的帕累托边界。在每次迭代中，采用MO增广的Tchebycheff函数将MO转换为单目标，并使用正则化脊项进行扩展，其中正则化被引入以平滑单目标函数。最后，我们将第三GP与经典的BO框架相结合，通过开发和探索获取函数来促进帕累托边界的丰富性和多样性。所提出的框架是使用几个数值基准函数，以及热机械有限元模型倒装芯片封装设计优化证明。
2021-08-31 cs.LG cs.NE stat.ML
Enhancing Bayesian Optimization and Active Learning Through Kernel Diversity
University of Georgia（佐治亚大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）
本文提出KENDO框架，将集成高斯过程与分歧感知获取策略结合，实例化KENDO-BO和KENDO-AL，在单/多目标优化及主动学习任务上，兼具更优性能与更高计算效率。
2026-09-01 cs.AI cs.LG
Work While They Sleep: Exploiting Evaluation Latency for Fully Bayesian Optimization
Vector Institute（向量研究所）；INRIA Saclay（法国国家信息与自动化研究所萨克雷研究中心）；University of Waterloo（滑铁卢大学）；Waterloo Institute for Nanotechnology（滑铁卢纳米技术研究所）；Western University（西安大略大学）
本文提出ELF-BO算法，利用评估延迟并行计算建议，实现全贝叶斯优化，在匹配性能的同时降低决策延迟，使全贝叶斯优化实用化。
2026-10-12 cs.AI cs.LG stat.ML
Parallel Bayesian Optimization of Multiple Noisy Objectives with Expected Hypervolume Improvement
Facebook（脸书）；University of Oxford（牛津大学）
优化多个竞争的黑箱目标在许多领域都是一个具有挑战性的问题，包括科学，工程和机器学习。多目标贝叶斯优化（MOBO）是一种样本有效的方法，用于确定目标之间的最佳权衡。然而，许多现有的方法表现不佳时，观测被噪声破坏。我们提出了一种新的采集功能，NEHVI，克服了这一重要的实际限制，通过应用贝叶斯处理流行的预期超体积改进（EHVI）标准，并整合在帕累托前沿的不确定性。我们认为，即使在无噪声的设置，并行生成多个候选人是一个化身的EHVI与帕累托前沿的不确定性，因此可以使用相同的底层技术来解决。通过这个镜头，我们得到一个自然的并行变量，$q$ NEHVI，减少计算复杂性的并行EHVI从指数多项式的批量大小。$q$ NEHVI是一步贝叶斯最优的超体积最大化在噪声和无噪声的环境中，我们表明，它可以有效地优化与基于梯度的方法，通过样本平均近似。从经验上讲，我们不仅证明了$q$ NEHVI比现有的MOBO方法对观测噪声的鲁棒性更强，而且还证明了它在大批量环境中实现了最先进的优化性能和有竞争力的墙时间。
2021-10-26 cs.AI cs.LG stat.ML
Parallel Predictive Entropy Search for Multi-objective Bayesian Optimization with Constraints
Universidad Autónoma de Madrid（马德里自治大学）
现实世界的问题往往涉及多个约束条件下的多个目标的优化。一个例子是机器学习算法的超参数调整问题。特别地，深度神经网络的泛化误差的估计的最小化，并且同时其预测时间的最小化。我们还可以考虑作为约束，深度神经网络必须在具有低于某一尺寸的面积的芯片中实现。这里，目标和约束都是黑盒，即，解析表达式未知且计算代价高昂的函数。贝叶斯优化（BO）方法已经给出了黑箱优化的最新结果。然而，大多数BO方法是顺序的，并且迭代地在一个输入位置处评估目标和约束。然而，有时我们可能有资源并行评估几个配置。尽管如此，没有并行BO方法已被提出来处理多个约束条件下的多个目标的优化。如果昂贵的评估可以并行执行（例如当计算机集群可用时），则顺序评估会导致资源浪费。本文介绍了PPESMOC，并行预测熵搜索多目标贝叶斯优化与约束，一个基于信息的批处理方法，同时优化多个昂贵的评估黑盒功能的存在下，几个约束。迭代地，PPESMOC选择一批输入位置来评估黑盒，以最大限度地减少优化问题的帕累托集的熵。我们提出的合成，基准和现实世界的实验，说明PPESMOC的有效性的形式的经验证据。
2021-07-01 cs.LG math.OC stat.ML
Preferential Multi-Objective Bayesian Optimization
California Institute of Technology（加州理工学院）；Georgia Institute of Technology（佐治亚理工学院）
针对现有偏好贝叶斯优化仅支持单目标的局限，提出首个多目标PBO框架及对决标量化汤普森采样算法，经多任务验证性能更优且具备渐近一致性，提供了该场景下对决汤普森采样的首个收敛保证。
2024-06-20 cs.LG math.OC stat.ML
Differentiable Expected Hypervolume Improvement for Parallel Multi-Objective Bayesian Optimization
Facebook（脸书）
在许多现实场景中，决策者寻求以样本效率的方式有效地优化多个竞争目标。多目标贝叶斯优化（BO）是一种常用的方法，但许多性能最佳的采集功能不具有已知的分析梯度，并遭受高计算开销。我们利用最新的进展，在编程模型和硬件加速多目标BO使用预期超卷改进（EHVI）-一个算法臭名昭著的高计算复杂性。我们推导出一种新的配方的q-预期超容量改进（qEHVI），采集功能，扩展EHVI的并行，约束的评价设置。qEHVI是q个新候选点的联合EHVI的精确计算（直到蒙特卡罗（MC）积分误差）。而以前的EHVI配方依赖于无梯度采集优化或近似梯度，我们通过自动微分计算MC估计器的精确梯度，从而实现高效和有效的优化使用一阶和准二阶方法。我们的实证评估表明，qEHVI是计算上易于处理的在许多实际情况下，并优于国家的最先进的多目标BO算法在一小部分的墙壁时间。
2020-10-23 cs.AI cs.LG math.OC
An Efficient Batch Constrained Bayesian Optimization Approach for Analog Circuit Synthesis via Multi-objective Acquisition Ensemble
Fudan University（复旦大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
贝叶斯优化是一种很有前途的模拟电路综合方法。然而，贝叶斯优化框架的顺序性显著限制了其充分利用现实世界计算资源的能力。在本文中，我们提出了一个有效的并行贝叶斯优化算法，通过多目标获取函数Entrial（MACE），以进一步加快优化过程。通过从改进概率（PI）、预期改进（EI）和置信下限（LCB）的Pareto前沿采样查询点，我们结合了最先进的采集函数的优点，实现了无约束优化问题的探索和利用之间的微妙权衡。在此批量设计的基础上，进一步调整了约束优化问题的算法。通过将优化过程分为两个阶段，首先专注于寻找初始可行点，我们设法获得更多关于有效区域的信息，并可以更好地避免在不可行区域周围进行采样。在获得第一个可行点后，我们通过在捕获函数集成中引入一个特殊的惩罚项来偏向可行域。实验结果定量地表明，我们提出的算法可以减少高达74倍的整体模拟时间相比，差分进化（DE）的无约束优化问题时，批量大小为15。对于约束优化问题，我们提出的算法可以加快优化过程的15倍相比，加权期望改进贝叶斯优化（WEIBO）的方法，当批量大小为15。
2021-06-28 cs.LG cs.SY eess.SY
Max-value Entropy Search for Multi-Objective Bayesian Optimization with Constraints
Washington State University（华盛顿州立大学）
我们考虑的问题，约束多目标黑箱优化使用昂贵的功能评估，其目标是近似的真正的Pareto集的解决方案，满足一组约束，同时最小化的功能评估的数量。例如，在航空动力系统设计应用中，我们需要找到在总能量和质量之间进行权衡的设计，同时满足电机温度和电池电压的特定阈值。这种优化需要执行昂贵的计算模拟来评估设计。在本文中，我们提出了一种新的方法称为{ \em最大值熵搜索多目标优化约束（MESMOC）}来解决这个问题。MESMOC采用基于输出空间熵的获取函数来有效地选择用于评估的输入序列，以在满足约束的同时发现高质量的帕累托集解。我们应用MESMOC两个现实世界的工程设计应用程序，以证明其有效性超过国家的最先进的算法。
2020-11-23 cs.AI cs.LG stat.ML
