A comparison of mixed-variables Bayesian optimization approaches
CEA（法国原子能和替代能源委员会）；LETI（原子能与替代能源委员会电子与信息技术实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；LIMOS（计算机科学、建模与优化实验室）；CNRS（法国国家科学研究中心）；Mines Saint-Etienne（圣艾蒂安国立高等矿业学校）；UCA（克莱蒙奥弗涅大学）；INSA Toulouse（图卢兹国立应用科学学院）；COSYS（系统与组件建模与设计部）；Université Gustave Eiffel（古斯塔夫·埃菲尔大学）；CEA-DAM（法国原子能和替代能源委员会军事应用局）
大多数真正的最优化问题定义在一个混合的搜索空间，其中的变量是离散和连续的。在工程应用中，目标函数的计算通常采用数值代价高昂的黑箱模拟，因此，一般的混合和代价高昂的最优化问题具有很大的实际意义，但它们的求解在很大程度上仍然是一个开放的科学问题。在这篇文章中，昂贵的混合问题，通过高斯过程，离散变量放松到连续的潜变量。连续空间比混合空间更容易被经典贝叶斯优化技术收获。离散变量被恢复或者随后的连续优化，或同时与一个额外的连续离散相容性约束，处理与增广拉格朗日。这种贝叶斯混合优化的几种可能的实现进行了比较。特别是，连续潜变量的问题的重新表述与直接在混合空间中工作的搜索竞争。在涉及潜变量和增广拉格朗日的算法中，特别注意的是拉格朗日乘子的局部和全局估计技术进行了研究。的比较是基于三个分析功能和梁的设计问题的重复优化。
2022-05-03 cs.LG math.OC stat.AP
Bayesian Optimization for Multi-objective Optimization and Multi-point Search
Kobe Steel, Ltd.（神户制钢所）；The Institute of Statistical Mathematics（统计数理研究所）；RIKEN AIP（理化学研究所AIP）
贝叶斯优化是一种有效的方法，以有效地优化未知的目标函数，高评价成本。传统的贝叶斯优化算法对单目标函数每次迭代选择一个点，而近年来，人们提出了多目标优化的贝叶斯优化或每次迭代多点搜索。然而，目前还没有一种非启发式的贝叶斯优化方法能够同时处理这两种问题。提出了一种能够同时处理多目标优化和多点搜索的贝叶斯优化算法。首先，我们定义了一个采集功能，同时考虑多目标和多点搜索问题。这是很难解析最大化的采集功能的计算成本是禁止的，即使当近似计算，如采样近似进行，因此，我们提出了一个准确的和计算效率高的方法估计梯度的采集功能，并开发了一个算法贝叶斯优化与多目标和多点搜索。数值实验表明，该方法的性能与启发式方法相当或优于启发式方法。
2019-05-07 cs.LG stat.ML
Bayesian Quality-Diversity approaches for constrained optimization problems with mixed continuous, discrete and categorical variables
ONERA（法国航空航天研究院）；Université Paris – Saclay（巴黎-萨克雷大学）
针对混合变量约束优化问题，提出基于混合变量贝叶斯优化的质量-多样性方法，利用适应协方差模型和高斯过程补充策略，将计算成本降低多达两个数量级，并在航空航天等复杂系统设计中提供高效收敛和有价值的权衡方案。
2024-02-13 cs.LG math.OC
Hybrid Parameter Search and Dynamic Model Selection for Mixed-Variable Bayesian Optimization
University of California, Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
针对含连续、整数和分类变量的贝叶斯优化问题，提出 hybridM，将 MCTS/UCTS 与 GP 结合，并引入动态在线核选择，实验验证其优越性。
2024-01-19 cs.LG math.ST stat.ML
$\{\text{PF}\}^2$ES: Parallel Feasible Pareto Frontier Entropy Search for Multi-Objective Bayesian Optimization
提出了并行可行Pareto前沿熵搜索（$\{\text{PF}\}^2$ ES）--一种新的支持未知约束和批量查询的多目标贝叶斯优化的信息论获取函数。由于表征候选评估和（可行的）帕累托边界之间的互信息的复杂性，现有的方法必须要么采用粗糙的近似，显着妨碍其性能或依赖于昂贵的推理方案，大大增加了优化的计算开销。相反，通过使用变分下界，$\{\text{PF}\}^2$ ES提供了互信息的低成本和准确的估计。我们基准$\{\text{PF}\}^2$ ES对其他信息理论的采集功能，展示其竞争力的性能，优化合成和现实世界的设计问题。
2023-02-21 cs.LG math.OC
Mixed-Variable Bayesian Optimization
University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zurich（苏黎世联邦理工学院）
优化昂贵的评估，黑盒，混合变量的功能，即功能，具有连续和离散的输入，是一个困难的，但普遍存在的问题，在科学和工程。在贝叶斯优化（BO）中，考虑完全连续或完全离散域的问题的特殊情况已被广泛研究。然而，很少有方法存在的混合变量域，没有一个可以处理离散约束，出现在许多现实世界的应用。在本文中，我们介绍了MiVaBo，一种新的BO算法的混合变量函数的有效优化相结合的线性代理模型的基础上表达的特征表示与汤普森采样。我们提出了一种有效的方法来优化其采集功能，混合变量域的一个具有挑战性的问题，使MiVaBo的第一个BO方法，可以处理复杂的约束条件的离散变量。此外，我们提供了第一个混合变量BO算法的收敛性分析。最后，我们证明了MiVaBo在几个超参数调整任务上的样本效率明显高于最先进的混合变量BO算法，包括深度生成模型的调整。
2020-08-04 cs.LG stat.ML
Hypervolume-based Multi-objective Bayesian Optimization with Student-t Processes
IDLab；Ghent University - imec（根特大学 - imec）
Student- $t$过程最近被提出作为一种有吸引力的替代非参数函数先验。它们具有增强的灵活性和预测方差。在这项工作中，学生$t$过程的使用进行了探索多目标贝叶斯优化。特别是，一个分析表达式的超体积为基础的概率改进独立的学生$t$过程先验的目标。它的有效性示出的多目标优化问题，这是已知的是难以与传统的高斯过程。
2016-12-01 cs.LG stat.ML
High-dimensional Multi-objective Bayesian Optimization with Learned Variable Interactions
本文提出ViaMOBO框架，通过变量交互分析划分高维决策空间并执行局部贝叶斯优化，经实验验证其在高维昂贵多目标问题的帕累托前沿近似上优于现有最优MOBO方法。
2026-08-13 cs.AI cs.LG
Bounce: Reliable High-Dimensional Bayesian Optimization for Combinatorial and Mixed Spaces
Lund University（隆德大学）；Stanford University（斯坦福大学）；DBtune；Amazon（亚马逊公司）
本文针对组合和混合输入空间的高维黑盒函数优化问题，指出当前最先进贝叶斯优化方法在函数最优解缺乏特定结构时性能不可靠，提出 Bounce 算法，通过将变量类型映射到维度递增的嵌套嵌入中，在各种高维问题上可靠地达到并常超越现有最优性能。
2024-03-20 cs.LG
Joint Entropy Search for Multi-objective Bayesian Optimization
Imperial College London（帝国理工学院）；BASF SE（巴斯夫欧洲公司）
许多现实世界的问题可以被描述为多目标优化问题，其目标是确定竞争目标之间的最佳折衷方案。多目标贝叶斯优化（BO）是一种样本高效策略，可用于解决这些向量值优化问题，其中访问仅限于一些有噪声的目标函数评估。在本文中，我们提出了一种新的信息理论的收购功能BO称为联合熵搜索（JES），它认为联合信息增益的最佳输入和输出。我们提出了几个分析近似的JES采集功能，并引入了扩展的批量设置。我们展示了这种新方法在超体积及其加权变体方面对一系列合成和现实问题的有效性。
2022-10-06 cs.LG math.OC stat.ML
Fair and Green Hyperparameter Optimization via Multi-objective and Multiple Information Source Bayesian Optimization
University of Milano-Bicocca（米兰比可卡大学）；OAKS srl（OAKS有限责任公司）
有一个共识是，只关注搜索最佳机器学习模型的准确性会放大数据中包含的偏差，导致不公平的预测和决策支持。最近，多目标超参数优化已经被提出来搜索机器学习模型，这些模型在准确性和公平性之间提供同样的帕累托有效的权衡。虽然这些方法被证明比公平感知的机器学习算法更通用-优化精度限制在某个公平阈值上-但在大型数据集的情况下，它们可能会大幅增加能耗。在本文中，我们提出了FangG-HPO，一个公平的和绿色的超参数优化（HPO）方法的基础上，多目标和多信息源贝叶斯优化。FanG-HPO使用大型数据集的子集（又名信息源）来获得准确性和公平性的廉价近似值，并使用多目标贝叶斯优化来有效地识别帕累托有效的机器学习模型。实验考虑了两个基准（公平性）数据集和两种机器学习算法（XGBoost和多层感知器），并通过BoTorch中的多目标单源优化算法对FanG-HPO进行了评估，BoTorch是最先进的贝叶斯优化平台。
2022-05-18 cs.LG math.OC stat.ML
Mold into a Graph: Efficient Bayesian Optimization over Mixed-Spaces
KAIST（韩国科学技术院）
现实世界的优化问题通常不仅仅是黑箱问题，还涉及离散和连续变量共存的混合类型的输入。这种混合空间优化的主要挑战是对输入之间的复杂交互进行建模。在这项工作中，我们提出了一种新颖而简单的方法，需要利用图数据结构来建模变量之间的潜在关系，即，作为节点的变量和由边定义的交互。然后，使用变分图自动编码器自然地考虑相互作用。我们首先提供了经验证据，这种图结构的存在，然后提出了一个联合框架的图结构学习和潜在的空间优化，自适应地搜索最佳的图连接。实验结果表明，我们的方法表现出显着的性能，超过了现有的方法，具有显着的计算效率为一些合成和现实世界的任务。
2022-02-08 cs.LG
Bayesian optimization for mixed variables using an adaptive dimension reduction process: applications to aircraft design
ONERA（法国航空航天研究院）；ISAE-SUPAERO（法国高等航空航天学院）；MINES ALBI（阿尔比矿业学院）；INSA（国立应用科学学院）；CNRS（法国国家科学研究中心）
本文针对混合变量约束贝叶斯优化中超参数过多的问题，提出基于偏最小二乘的自适应降维代理建模方法，并在飞机设计应用中相比遗传算法取得显著改进。
2025-04-11 cs.LG math.OC stat.ME
Practical Bayesian Optimization of Objectives with Conditioning Variables
Warwick University（华威大学）；Seldon Technologies（塞尔登科技）
贝叶斯优化是一类基于模型的数据高效算法，通常集中于全局优化。我们考虑更一般的情况下，用户面临着多个问题，每个问题都需要在一个状态变量的条件下进行优化，例如，给定一系列具有不同患者分布的城市，我们根据患者分布优化救护车位置。给定CIFAR-10的分区，我们为每个分区优化CNN超参数。目标之间的相似性以两种方式促进每个目标的优化：通过跨目标共享数据进行建模，以及通过量化一个目标上的单个点如何为所有目标提供益处来获取。为此，我们提出了一个条件优化框架：ConBO。这可以建立在一系列采集功能的顶部，我们提出了一个新的混合知识梯度采集功能。由此产生的方法是直观的和理论上的接地，执行类似或显着优于最近发表的作品在一系列问题，并且很容易并行收集一批点。
2020-11-02 cs.LG math.OC stat.ML
Thinking inside the box: A tutorial on grey-box Bayesian optimization
贝叶斯优化（BO）是一个全局优化的目标函数的评估费用的框架。经典的BO方法假设目标函数是一个黑盒。然而，关于目标函数计算的内部信息通常是可用的。例如，在通过仿真优化生产线的吞吐量时，我们除了观察总吞吐量外，还观察每个工作站等待的零件数量。最近的BO方法利用这些内部信息来显著提高性能。我们称之为“灰盒”BO方法，因为它们将目标计算视为部分可观察的，甚至是可修改的，将黑盒方法与目标函数计算的所谓“白盒”第一原理知识混合在一起。本教程描述了这些方法，重点是复合目标函数的BO，其中可以观察和选择性地评估进入整体目标的各个成分;和多保真度BO，其中可以通过改变评估Oracle的参数来评估目标函数的更便宜的近似值。
2022-01-02 cs.LG math.OC stat.ML
Constrained Multi-objective Bayesian Optimization through Optimistic Constraints Estimation
CUHK（香港中文大学）；Shenzhen University（深圳大学）；University of Chicago（芝加哥大学）；University at Albany, SUNY（纽约州立大学奥尔巴尼分校）
针对约束多目标优化问题，提出COMBOO算法，结合乐观约束估计与水平集主动学习，实现高效可行区域探索，并通过理论分析和实验验证其有效性。
2025-04-21 cs.LG stat.ME
Information-Theoretic Multi-Objective Bayesian Optimization with Continuous Approximations
Washington State University（华盛顿州立大学）
许多现实世界的应用程序涉及使用连续函数近似的多个目标的黑盒优化，权衡评估的准确性和资源成本。例如，在火箭发射研究中，我们需要找到使用连续保真度模拟器（例如，改变容差参数以折衷仿真时间和精度）用于设计评估。目标是通过最小化评估成本来近似最优帕累托集。在本文中，我们提出了一种新的方法称为信息理论的多目标连续近似贝叶斯优化（iMOCA）}来解决这个问题。其核心思想是选择输入序列和函数逼近的多个目标，最大化的信息增益每单位成本的最优帕累托前沿。我们在不同的合成和真实世界的基准测试的实验表明，iMOCA显着提高了现有的单保真度的方法。
2020-11-23 cs.AI cs.LG stat.ML
Surrogate-Assisted Reference Vector Adaptation to Various Pareto Front Shapes for Many-Objective Bayesian Optimization
Jiteki Lab（Jiteki 实验室）
我们提出了一个代理辅助参考向量自适应（SRVA）方法来解决昂贵的多和多目标优化问题与各种帕累托前沿形状。SRVA是再加上一个多目标贝叶斯优化（MBO）算法，使用参考向量标量化的目标函数。该方法采用Kriging代理模型估计目标函数的Pareto前沿形状，并在估计的Pareto前沿上生成均匀分布的自适应参考向量。我们结合SRVA与预期改善的处罚为基础的边界相交作为MBO的填充标准。该算法与其他两个目标优化算法进行了比较，通过将它们应用到具有各种Pareto前沿形状的基准问题。实验结果表明，该算法在目标函数被Kriging模型合理逼近的问题上优于其他两种算法。SRVA提高了这些问题的连续，不连续和退化的帕累托前沿的非支配解决方案的多样性。此外，该算法从优化的早期阶段获得更好的解决方案，特别是在多目标问题。
2021-10-10 cs.LG cs.NE math.OC
Knowledge Gradient for Multi-Objective Bayesian Optimization with Decoupled Evaluations
University of Warwick（华威大学）；Gent University（根特大学）
针对多目标贝叶斯优化中目标可解耦评估的问题，提出一种考虑不同评估成本的基于标量化的知识梯度采集函数，理论上证明了估计器的渐近一致性，实验表明其性能与现有技术相当且显著优于全量评估版本。
2025-03-02 cs.LG math.OC stat.ML
A Flexible Framework for Multi-Objective Bayesian Optimization using Random Scalarizations
Carnegie Mellon University（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）
许多现实世界的应用程序可以被框定为多目标优化问题，我们希望同时优化多个标准。贝叶斯优化技术的多目标设置是相关的功能时，评估的问题是昂贵的。传统的多目标优化方法，贝叶斯和其他方法，旨在恢复这些目标的帕累托前沿。然而，在某些情况下，由于外部考虑，从业者可能希望仅在帕累托前沿的子集中识别帕累托最优点。在这项工作中，我们提出了一个基于随机标量化的目标，解决这个问题的战略。我们的方法能够灵活地从帕累托前沿的期望区域采样，并且在计算上比大多数MOO方法便宜得多。我们还研究了多目标环境中的后悔概念，并表明我们的策略实现了次线性后悔。我们的实验与合成和现实生活中的问题，并证明我们所提出的算法的灵活性和遗憾方面的优越性能。
2019-06-20 cs.LG stat.ML
MOCA-HESP: Meta High-dimensional Bayesian Optimization for Combinatorial and Mixed Spaces via Hyper-ellipsoid Partitioning
RMIT University, Australia（皇家墨尔本理工大学）；Chongqing University, China（重庆大学）
针对组合与混合域高维贝叶斯优化的挑战，本文提出元算法MOCA-HESP，结合超椭球划分与自适应编码器选择，可整合现有优化器，实验显示其在合成及真实基准上优于基线。
2025-08-25 cs.LG stat.ML
Bayesian Optimization for Materials Design with Mixed Quantitative and Qualitative Variables
Northwestern University（西北大学）
虽然贝叶斯优化（BO）已被用于加速计算材料工程中的材料设计，现有的工作仅限于定量变量的问题。然而，材料系统的实际设计涉及代表材料成分、微观结构形态和加工条件的定性和定量设计变量。对于混合变量问题，现有的贝叶斯优化（BO）方法首先用虚拟变量表示定性因素，然后用数值变量作为代理模型拟合标准高斯过程（GP）模型。这种方法在理论上是有限制的，无法捕捉质量水平之间的复杂相关性。在本文中，我们提出了一种新的潜变量（LV）的混合变量GP建模方法与BO框架材料设计的集成。LVGP是一种从根本上不同的方法，它将定性设计变量映射到GP中的底层数值LV，这具有很强的物理合理性。它提供了灵活的参数化和定性因素的表示，并显示出优越的建模精度相比，现有的方法。我们通过数值例子和材料设计例子来证明我们的方法。结果发现，在所有的测试示例中，映射的LV提供直观的可视化和实质性的洞察的性质和影响的定性因素。虽然材料设计作为例子，所提出的方法是通用的，可以用于其他混合变量设计优化问题，涉及昂贵的基于物理的模拟。
2019-10-03 cond-mat.mtrl-sci cs.LG stat.AP
Bayesian Optimization for Mixed-Variable Problems in the Natural Sciences
Department of Applied Physics, Aalto University（阿尔托大学应用物理系）；Atomistic Modeling Center, Munich Data Science Institute, Technical University of Munich（慕尼黑工业大学慕尼黑数据科学研究所原子建模中心）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML））
本文提出一种改进的贝叶斯优化方法，通过概率重参数化方法处理非等距离散变量，实现高斯过程代理模型在混合变量优化中的高效优化，适用于具有噪声和离散化问题的自主实验室环境。
2026-04-08 cond-mat.mtrl-sci cs.LG physics.comp-ph
Data-Centric Mixed-Variable Bayesian Optimization For Materials Design
Northwestern University（西北大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；The University of Vermont（佛蒙特大学）；Duke University（杜克大学）
材料设计可以被视为一个优化问题，其目标是通过改变材料成分、微观结构形态和加工条件来实现所需的性能。定性和定量材料设计变量的存在导致属性空间中的脱节区域，使得搜索最优设计具有挑战性。有限的实验数据和高昂的模拟成本加大了这一挑战。这种情况需要设计方法，可以从现有的数据中提取有用的信息，并有效地指导搜索最佳设计。为此，我们提出了一个以数据为中心的混合变量贝叶斯优化框架，该框架集成了来自文献，实验和模拟的数据，用于知识发现和计算材料设计。我们的框架围绕潜在变量高斯过程（LVGP），一种新的高斯过程技术，项目定性变量的协方差公式的连续潜在空间，作为代理模型来量化“缺乏数据”的不确定性。期望改进是一种平衡探索和开发的获取准则，有助于在复杂的非线性设计空间中导航以找到最优设计。建议的框架进行测试，通过案例研究，旨在同时确定绝缘聚合物纳米复合材料的最佳组合物和形态。我们还提出了一个扩展的混合变量贝叶斯优化多个目标，以确定帕累托边界内数十次迭代。这些发现项目贝叶斯优化作为一个强大的工具，设计工程材料系统。
2019-07-04 cond-mat.mtrl-sci cs.LG physics.comp-ph
SMOG: Scalable Meta-Learning for Multi-Objective Bayesian Optimization
Department of Information Systems University of Münster（信息系统系穆斯特大学）；Robert Bosch GmbH（博世集团）
SMOG通过多输出高斯过程学习目标间相关性，构建联合先验以提升多目标贝叶斯优化效率，实现线性扩展元任务数量的并行训练。
2026-05-11 cs.LG
Many Objective Bayesian Optimization
一些实际问题需要评估昂贵和嘈杂的目标函数。此外，这些目标函数的解析表达式可能是未知的。这些函数被称为黑盒，例如，估计机器学习算法的泛化误差并根据其超参数计算其预测时间。多目标贝叶斯优化（MOBO）是一组已成功应用于黑盒同时优化的方法。具体地，BO方法依赖于目标函数的概率模型，通常是高斯过程。该模型生成目标的预测分布。然而，当多目标优化问题中的目标数量为3或更多时，MOBO方法存在问题，这是多目标设置。特别是，BO过程的成本更高，因为考虑的目标更多，通过超体积计算解决方案的质量也更昂贵，最重要的是，我们必须评估每个目标函数，浪费昂贵的计算，经济或其他资源。然而，由于优化问题中涉及更多的目标，其中一些目标很可能是冗余的，并且不会添加有关问题解决方案的信息。提出了一种衡量GP预测分布相似程度的方法。我们还提出了一个多目标贝叶斯优化算法，使用此度量来确定两个目标是否是冗余的。该算法在发现相似性的情况下停止对其中一个进行评估，从而节省了资源，并且不损害多目标BO算法的性能。我们在一组玩具，合成，基准和真实的实验中显示经验证据，GP预测分布的度量和算法的有效性。
2021-07-08 cs.LG stat.ML
A Unified Information-Theoretic Approach to Constrained Multi-Fidelity Multi-Objective Bayesian Optimization
Nagoya Institute of Technology（名古屋工业大学）
提出统一信息论框架，通过变分下界衡量信息增益，联合优化多保真多目标贝叶斯优化中的位置与保真度选择，无需启发式处理约束，实验验证其有效性。
2026-10-08 cs.LG
Multi-objective Bayesian Optimization using Pareto-frontier Entropy
Osaka University（大阪大学）；Japan Fine Ceramics Center（日本精细陶瓷中心）；Nagoya Institute of Technology（名古屋工业大学）；National Institute for Material Science（国立材料科学研究所）
研究了一种基于熵的多目标贝叶斯优化算法。熵搜索是贝叶斯优化的一种成功方法。然而，对于目标管理，现有的基于熵的方法忽略了目标之间的权衡或引入不可靠的近似。本文提出了一种新的基于熵的目标优化算法--Pareto-frontier entropy search（PFES）。我们的熵可以将最优值的权衡关系，并且进一步地，我们推导出一个分析公式，而无需对标准熵搜索设置引入额外的近似或简化。我们还表明，我们的熵计算实际上是可行的，通过使用递归分解技术，已被称为研究的Pareto超体积计算。除了通常的MBO设置，其中所有的目标是同时观察，我们还考虑了“解耦”设置，其中的目标函数可以单独观察。PFES可以很容易地适应解耦的设置，通过考虑每个输出维度的边际密度的熵。该方法在Pareto边界条件下考虑了目标间的相关性，而现有方法忽略了这一点。我们的数值实验表明PFES通过几个基准数据集的有效性。
2020-02-11 cs.LG stat.ML
Multi-objective and multi-fidelity Bayesian optimization of laser-plasma acceleration
Ludwig-Maximilian-Universität München（慕尼黑大学）；Max Planck Institut für Quantenoptik（马克斯·普朗克量子光学研究所）
加速器中的束流参数优化涉及多个，有时是相互竞争的目标。将这些单独的目标浓缩成一个单一的品质因数，必然会导致在缺乏先验知识的情况下，往往以一种不可取的方式偏向于特定的结果。找到最优的目标定义需要操作员重新考虑许多可能的目标权重和定义，这个过程可能比优化本身花费的时间长很多倍。一种更通用的方法是多目标优化，它建立了目标之间的权衡曲线或帕累托前沿。在这里，我们提出了第一个结果的多目标贝叶斯优化的模拟激光等离子体加速器。我们发现，多目标优化达到可比的性能，其单目标的同行，同时允许即时评估全新的目标。这大大减少了为新问题找到适当的客观定义所需的时间。此外，我们的多目标，多保真度的方法减少了一个数量级的优化运行所需的时间。它通过动态选择模拟分辨率和盒子大小来实现这一点，当它从快速低分辨率运行中了解帕累托最优解决方案时，需要更少的缓慢和昂贵的模拟。本文中演示的技术可以很容易地转换为加速器优化之外的许多不同的计算和实验用例。
2022-12-23 cs.LG physics.acc-ph physics.plasm-ph
Improved Max-value Entropy Search for Multi-objective Bayesian Optimization with Constraints
Universidad Autónoma de Madrid（马德里自治大学）
提出了一种改进的多目标贝叶斯优化算法MESMOC+。MESMOC+可以用来解决约束多目标问题时，目标和约束是昂贵的评估。MESMOC+通过最小化函数空间中优化问题的解的熵来工作，即，帕累托边界，来指导寻找最优解。MESMOC+的成本与目标和约束的数量成线性关系。此外，它通常比基于最小化帕累托集熵的替代方法的成本小得多。其原因是在MESMOC+中更容易近似所需的计算。此外，MESMOC+的采集功能表示为每个黑盒（目标或约束）一次采集的总和。因此，它可以用于解耦的评估设置，其中不仅选择要评估的下一个输入位置，而且还选择要评估的黑盒。我们比较MESMOC+与相关的方法在合成和真正的优化问题。实验结果表明，MESMOC+提供的熵估计比以往的方法更准确。这导致更好的优化结果。MESMOC+与其他基于信息的约束多目标贝叶斯优化方法相比也具有竞争力，但速度明显更快。
2021-04-02 cs.LG stat.ML
Multi-Objective Causal Bayesian Optimization
University of Cambridge（剑桥大学）；Technical University of Munich（慕尼黑工业大学）；The Alan Turing Institute（阿兰·图灵研究所）
本文提出 MO-CBO 框架，通过刻画潜在最优干预变量集并将问题分解为多个多目标优化任务，利用相对超体积改进顺序平衡探索，以在多目标因果图中发现 Pareto 最优干预。
2025-02-20 cs.LG stat.ML
Bayesian Optimization with Binary Auxiliary Information
National University of Singapore（新加坡国立大学）
本文提出了新的混合型贝叶斯优化（BO）算法，以加速优化的目标函数，利用相关的辅助信息的二进制类型，可以更便宜地获得，如在政策搜索的强化学习和超参数调整的机器学习模型与早期停止。为了实现这一点，我们首先提出了一个混合型多输出高斯过程（MOGP），联合建模的连续目标函数和二进制辅助功能。然后，我们提出了基于信息的采集功能，如混合型熵搜索（MT-ES）和混合型预测ES（MT-PES）的基础上的目标和辅助功能的MOGP预测信念的混合型BO。MT-ES和MT-PES的精确捕获函数不能以封闭形式计算，需要近似。我们得到一个有效的近似MT-PES通过一个新的混合型随机特征近似的MOGP模型，其目标和辅助功能之间的互相关结构可以被利用，用于提高全球目标最大化的信念，使用观察评估这些功能。我们提出了新的实用约束，将全局目标最大化器与二元辅助函数联系起来。我们经验性地评估MT-ES和MT-PES的性能与合成和真实世界的实验。
2019-06-17 cs.LG stat.ML
BOtied: Multi-objective Bayesian optimization with tied multivariate ranks
Prescient Design（普雷赛特设计公司）；Genentech（基因泰克公司）；New York University（纽约大学）；Center for Data Science（数据科学中心）
本文提出BOtied，利用非支配解与联合CDF极端分位数的联系构建符合帕累托的采集函数，并通过copula实现高效扩展，在多目标贝叶斯优化中优于现有方法。
2024-06-07 cs.LG stat.ML
A Multivariate Discretization Method for Learning Bayesian Networks from Mixed Data
University of Pittsburgh（匹兹堡大学）
在本文中，我们解决了离散化的背景下学习贝叶斯网络（BN）的数据包含连续和离散变量的问题。我们描述了一种新的<EM>多元</EM>离散化技术，其中每个连续变量离散化，同时考虑到它与其他变量的相互作用。该技术是基于使用贝叶斯评分度量，评分的离散化政策的连续变量给定的BN结构和观察到的数据。由于该度量是相对于当前正在评估的BN结构的，因此变量的离散化需要随着BN结构的变化而动态调整。
2013-01-30 cs.AI cs.LG
Bayesian Kernelised Test of (In)dependence with Mixed-type Variables
Trinity College Dublin（都柏林圣三一学院）；Eindhoven University of Technology（埃因霍温理工大学）
AI的一个基本任务是评估混合类型变量（文本、图像、声音）之间的依赖关系。我们提出了一个贝叶斯核相关性检验（不）依赖使用Dirichlet过程模型。新的（不）依赖度量允许我们回答一些基本问题：基于数据，（混合类型）变量是独立的吗？依赖/独立的可能性有多大？两个混合型变量不仅仅是弱相关的概率有多高？我们从理论上展示的方法的属性，以及算法的快速计算与it. We经验证明所提出的方法的有效性，通过分析其性能，并通过比较它与其他频率和贝叶斯方法的范围内的数据集和任务的混合型变量。
2021-05-09 cs.LG stat.ML
MIxBN: library for learning Bayesian networks from mixed data
ITMO University（圣彼得堡国立信息技术机械与光学大学）
本文描述了一个新的库，用于从包含离散和连续变量（混合数据）的数据中学习贝叶斯网络。除了离散化数据的经典学习方法外，该库还提出了其算法，该算法允许从混合数据中进行结构学习和参数学习，而无需离散化，因为数据离散化会导致信息丢失。该算法基于混合MI得分函数进行结构学习，同时采用线性回归和高斯分布逼近进行参数学习。该库还提供了两种用于枚举图结构的算法-贪婪爬山算法和进化算法。因此，所提出的库的关键功能如下：（1）离散数据上的贝叶斯网络的结构和参数学习，（2）混合数据上的贝叶斯网络的结构和参数学习使用MI混合得分函数和高斯近似，（3）启动学习算法的两种算法之一，用于枚举图结构-爬山和进化算法。由于混合数据表示的需要来自实际需要，我们的实现的优势进行评估的背景下，解决近似和差距恢复问题的合成数据和真实数据集。
2021-06-24 cs.LG stat.ML
metabeta -- A fast neural model for Bayesian mixed-effects regression
Human-Centered AI, Helmholtz Munich, Germany（以人为中心的人工智能，慕尼黑海德堡研究所）
metabeta是一种快速的神经网络模型，用于贝叶斯混合效应回归，通过预训练时间优化计算，实现高效且稳定的性能。
2026-02-04 cs.LG stat.ML
Cost-aware Multi-objective Bayesian optimisation
贝叶斯优化中的费用概念通常是指在整个搜索空间上函数求值的一致昂贵成本。然而，在某些情况下，黑盒目标函数的评估成本是不均匀的，因为来自搜索空间的不同输入可能导致函数评估的不同成本。通过定义搜索空间上的成本感知约束，我们引入了一个成本感知的多目标贝叶斯优化与非均匀评估成本的目标函数。成本感知约束是索引的排序元组，其基于用户关于其使用成本的先验知识来展示搜索空间的维度的排序。我们制定了一个新的多目标贝叶斯优化采集功能的收敛，结合这种成本意识的约束，同时优化的目标函数的详细分析。我们证明了我们的算法的基础上合成和现实世界中的超参数调整的神经网络和随机森林的问题。
2019-09-09 cs.LG math.OC stat.ML
Variational Bayesian modelling of mixed-effects
Brain and Spine Institute（脑与脊柱研究所）；ETH（苏黎世联邦理工学院）；INSERM（法国国家健康与医学研究院）
本文讨论混合效应模型的一种精确和计算效率高的变分平衡处理方法。我们专注于组研究，即报告在多个受试者中获得的多个测量的实证研究。当从生物学的角度来看时，这种混合效应模型通常依赖于数据的分层生成模型，其中受试者内和受试者间效应都有助于观察到的总体方差。随后的VB方案可用于评估组水平的统计学显著性和/或捕获个体间差异。或者，它可以被视为自适应正则化过程，其从感兴趣的效应的组分布的估计迭代地学习对应的受试者内先验（cf.所谓的“经验贝叶斯”方法）。我们概述了随后的VB方案的数学推导，其开源实现是可作为的一部分，可在Windows工具箱。
2019-03-21 cs.LG stat.ML
A Novel Bayesian Approach for Latent Variable Modeling from Mixed Data with Missing Values
Institute for Computing and Information Sciences（计算与信息科学研究所）；Radboud University Nijmegen（拉德堡德大学奈梅亨分校）
本文研究了隐变量模型的参数学习问题。我们提出了一种新的贝叶斯高斯copula因子（BGCF）的方法，在一定的条件下是一致的，这是相当强大的违反这些条件。在模拟中，BGCF大大优于两个国家的最先进的替代方法。“Holzinger & Swineford 1939”数据集上的一个例子表明，即使数据与MLR的假设相匹配，BGCF也优于所谓的鲁棒极大似然（MLR）。
2018-06-12 cs.LG stat.ML
Multi-objective Bayesian optimisation with preferences over objectives
Applied Artificial Intelligence Institute（应用人工智能研究院）；Deakin University（迪肯大学）
我们提出了一个多目标贝叶斯优化算法，允许用户表达偏好顺序约束的类型的目标“目标A比目标B更重要”。这些偏好是基于所获得的解决方案相对于优选的目标函数的稳定性来定义的。而不是试图找到一个完整的帕累托前沿的代表性子集，我们的算法选择满足这些约束条件的帕累托最优点。我们制定了一个新的收购功能的基础上预期改善占主导地位的超体积（EHI），以确保帕累托前满足约束的子集进行了彻底的探索。超体积计算由满足来自梯度高斯过程模型的约束的点的概率加权。我们在合成问题和现实问题上展示了我们的算法。
2019-11-13 cs.AI cs.LG stat.ML
Using Mixed-Effects Models to Learn Bayesian Networks from Related Data Sets
Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA)（达勒莫勒人工智能研究所（IDSIA））；Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院（EPFL））
在学习贝叶斯网络的结构时，我们通常假设数据是一组同质的观测。然而，这些数据往往包括相关但不同质的不同数据集，因为它们是以不同方式收集的，或来自不同的人群。在我们之前的工作中（Azzimonti，Corani和Scutari，2021），我们提出了离散数据的封闭形式贝叶斯分层Dirichlet得分，该得分将相关数据集的信息汇集在一起，以学习单个包含的网络结构，同时考虑到其概率结构的差异。在本文中，我们提供了一个类似的解决方案，使用混合效应模型从连续数据中学习贝叶斯网络，以汇集相关数据集的信息。我们研究了它的结构，参数，预测和分类精度，我们表明，它优于条件高斯贝叶斯网络（不执行任何池）和经典高斯贝叶斯网络（忽略数据的异质性）。对于低样本量和不平衡的数据集，这种改善是显著的。
2022-08-04 cs.LG stat.ML
Think Global and Act Local: Bayesian Optimisation over High-Dimensional Categorical and Mixed Search Spaces
University of Oxford（牛津大学）；Amazon（亚马逊）；RMIT University（皇家墨尔本理工大学）
高维黑箱优化仍然是一个重要的，但众所周知的挑战性问题。尽管贝叶斯优化方法在连续域上取得了成功，但分类域或混合连续变量和分类变量的域仍然具有挑战性。我们提出了一种新的解决方案-我们结合本地优化与定制的内核设计，有效地处理高维分类和混合搜索空间，同时保持样本效率。我们进一步推导出所提出的方法的收敛保证。最后，我们通过经验证明，我们的方法在性能、计算成本或两者方面，在各种合成和现实任务上优于当前的基线。
2021-06-10 cs.LG stat.ML
Bayesian Optimisation for Mixed-Variable Inputs using Value Proposals
Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）；Manufacturing, CSIRO（澳大利亚联邦科学与工业研究组织制造部）
许多现实世界的优化问题都是针对分类变量和连续变量定义的，但贝叶斯优化（BO）等高效优化方法并不是为了处理此类混合变量搜索空间而设计的。最近的方法来解决这个问题投的分类变量的选择作为一个强盗问题，独立操作旁边的BO组件，优化连续变量。在本文中，我们采用了一个整体的观点，旨在巩固优化的分类和连续的子空间下一个单一的收购指标。我们从ExpectedImprovement标准中获得候选项，我们称之为值建议，并使用这些建议对输入的分类和连续分量进行选择。我们表明，这种统一的方法显着优于现有的混合变量优化方法在几个混合变量的黑盒优化任务。
2022-02-17 cs.LG stat.ML
Scaling Bayesian inference of mixed multinomial logit models to very large datasets
Technical University of Denmark (DTU)（丹麦技术大学）
与标准的马尔可夫链蒙特卡罗（MCMC）方法相比，变分推断方法在不影响精度的情况下，已被证明可以显著提高混合多项logit模型中近似贝叶斯推断的计算效率。然而，尽管它们表现出的效率增益，现有的方法仍然受到重要的限制，这阻止它们扩展到非常大的数据集，同时提供灵活性，以允许丰富的先验分布和捕获复杂的后验分布。在本文中，我们提出了一种摊销变分推断方法，利用随机反向传播，自动微分和GPU加速计算，有效地扩展混合多项Logit模型中的贝叶斯推断非常大的数据集。此外，我们展示了如何规范化流可以用来增加变分后验近似的灵活性。通过广泛的模拟研究，我们的经验表明，所提出的方法是能够实现多个数量级的计算速度比传统的MSLE和MCMC方法的大型数据集，而不影响估计精度。
2020-04-11 cs.LG stat.CO stat.ME
An Empirical Study on Ensemble-Based Transfer Learning Bayesian Optimisation with Mixed Variable Types
RMIT University（皇家墨尔本理工大学）
本研究通过实证分析，提出基于正则化回归的加权策略和预热初始化，以提升转移学习贝叶斯优化的性能。
2026-01-22 cs.LG stat.ML
Practical Layout-Aware Analog/Mixed-Signal Design Automation with Bayesian Neural Networks
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出基于贝叶斯神经网络的少量数据学习算法，利用多保真度优化处理版图感知的模拟/混合信号电路设计自动化问题，在版图后性能优化和原理图级尺寸设计中均比现有方法更高效。
2023-11-27 cs.CE cs.LG cs.SY
Wind Farm Layout Optimisation using Set Based Multi-objective Bayesian Optimisation
University of Exeter（埃克塞特大学）
风能是最清洁的可再生能源之一，有助于应对气候变化的挑战。风力发电的缺点之一是安装风力发电场所需的大空间;这是由于将风力涡轮机放置在有限的区域中会阻碍其生产力，因此在经济上不方便。这自然会导致优化问题，该问题具有三个具体挑战：（1）多个相互冲突的目标（2）计算昂贵的仿真模型和（3）优化设计集而不是设计向量。第一个和第二个挑战可以通过使用代理辅助来解决，例如\贝叶斯多目标优化。然而，传统的贝叶斯优化不能应用的问题中的优化功能依赖于设计集，而不是设计向量。本文扩展了贝叶斯多目标优化的适用性，以基于集合的优化解决风电场布局问题。我们在高斯过程中使用基于集合的内核来量化风电场（具有不同数量的涡轮机）之间的相关性。在给定的风能和风向数据集上的结果清楚地表明了使用基于集合的贝叶斯多目标优化的潜力。
2022-04-01 cs.LG math.OC stat.AP
Mono-surrogate vs Multi-surrogate in Multi-objective Bayesian Optimisation
University of Exeter（埃克塞特大学）
贝叶斯优化（BO）已被广泛用于解决具有昂贵函数求值的问题。在多目标优化问题中，BO的目标是找到一组近似的Pareto最优解。在多目标BO中通常有两种方法来构建代理：通过聚合目标函数（通过使用标量化函数，也称为单代理方法）和多个代理（对于每个目标函数，也称为多代理方法）。在这两种方法中，采集功能（AF）用于指导搜索过程。单替代模型的优点是只使用一个模型，但是，该方法有两个主要的局限性。首先，标量化函数和目标函数的适应度景观可能不相似。其次，该方法假设标量化函数分布是高斯分布，因此可以使用AF的闭合形式表达。在这项工作中，我们克服了这些限制，通过建立一个代理模型为每个目标函数，并表明，标量函数分布不是高斯。我们使用广义极值分布来近似分布。标准基准和现实世界的优化问题的结果和与现有方法的比较显示了多代理方法的潜力。
2022-05-02 cs.AI cs.LG
Bayesian Boosting for Linear Mixed Models
University of Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）
Boosting方法因其变量选择特性而被广泛应用于统计学习中处理高维数据。然而，这些方法缺乏直接的方法来构建参数精度的估计，如方差或置信区间，这可以通过传统的统计方法，如贝叶斯推断。本文针对线性混合模型提出了一种新的推理方法“BayesBoost”，它将Boosting和Bayesian相结合，一方面使随机效应的不确定性估计成为可能。另一方面，新方法克服了贝叶斯推断的缺点，在提供精确和明确的指导方针的协变量的选择，受益于boosting技术。贝叶斯推断的实现导致模型选择准则的随机性，如条件AIC（cAIC），所以我们也提出了一个基于cAIC的模型选择准则，专注于稳定的区域，而不是全局最小值。新方法的有效性可以通过模拟和来自神经生理学领域的数据示例来观察，该领域专注于在听不愉快的声音时大脑中的机制。
2021-06-09 cs.LG stat.ME stat.ML
Latency-Aware Neural Architecture Search with Multi-Objective Bayesian Optimization
Facebook（脸书）
在调整用于设备上部署的大型机器学习模型的架构和超参数时，需要了解设备上延迟和模型准确性之间的最佳权衡。在这项工作中，我们利用贝叶斯优化在高维搜索空间和多目标贝叶斯优化的最新方法进步，有效地探索这些权衡的生产规模的设备上的自然语言理解模型在Facebook。
2021-06-25 cs.LG
Targeting Solutions in Bayesian Multi-Objective Optimization: Sequential and Batch Versions
Groupe PSA（标致雪铁龙集团）；École Nationale Supérieure des Mines de Saint-Étienne（圣艾蒂安国立高等矿业学校）；CNRS LIMOS（法国国家科学研究中心LIMOS实验室）；INRA Toulouse（法国国家农业科学研究院图卢兹分院）
多目标优化的目的是找到折衷的解决方案，以冲突的目标。这些构成了帕累托最优集合。在评价费用很高的职能的情况下，不可能而且往往没有任何信息来寻找整个集合。由于最终用户通常更喜欢目标空间的某一部分，我们修改了贝叶斯多目标优化算法，该算法使用高斯过程来最大化预期超卷改进，以将搜索集中在首选区域。高斯过程和目标策略的累积效应导致特别有效地收敛到帕累托集合的期望部分。为了充分利用并行计算的优势，提出并分析了目标准则的多点扩展。
2020-02-19 cs.LG math.OC stat.ML
Context-aware Bayesian Mixed Multinomial Logit Model
Technical University of Denmark（丹麦技术大学）
混合多项Logit模型假设决策者在不同的选择情况下的偏好参数不变，这可能被认为对某些选择建模应用过于强大。本文提出了一种有效的方法来建模上下文相关的内应答异质性，从而引入上下文感知贝叶斯混合多项logit模型的概念，其中一个神经网络映射上下文信息的解释变化的偏好参数的每个人在每个选择场合。所提出的模型提供了几个关键优势。首先，它支持连续和离散变量，以及两种类型变量之间的复杂非线性交互。其次，每个上下文规范被神经网络作为一个整体来共同考虑，而不是每个变量被独立考虑。最后，由于神经网络参数在所有决策者之间共享，因此它可以利用来自其他决策者的信息来推断特定上下文对特定决策者的影响。即使上下文感知贝叶斯混合多项logit模型允许属性之间的灵活交互，与混合多项logit模型相比，计算复杂性的增加也很小。我们说明的概念和解释所提出的模型在模拟研究。我们还提出了一个真实世界的案例研究，从旅行行为域-自行车路线选择模型，基于一个大规模的，众包的GPS轨迹数据集，包括119,448行程8,555骑自行车。
2023-03-29 cs.LG stat.ML
Mix-nets: Factored Mixtures of Gaussians in Bayesian Networks With Mixed Continuous And Discrete Variables
Carnegie Mellon University（卡内基梅隆大学）
最近开发的技术使得从低维连续空间中的数据快速学习精确的概率密度函数成为可能。特别是，混合高斯可以非常快地拟合数据使用加速EM算法，采用多分辨率kd树（摩尔，1999年）。在本文中，我们提出了一种贝叶斯网络，在该网络中，在域的变量的不同子集的高斯低维混合物被组合成一个连贯的联合概率模型在整个域。该网络还能够对离散变量和连续变量之间的复杂依赖关系进行建模，而不需要对连续变量进行离散化。我们提出了有效的启发式算法，从数据中自动学习这些网络，并进行比较实验，说明如何以及这些网络模型真实的科学数据和合成数据。我们还简要讨论了一些可能的改进网络，以及可能的应用。
2013-01-16 cs.AI cs.LG stat.ML
