An Empirical Review of Model-based Adaptive Sampling for Global Optimization of Expensive Black-box Functions
本文综述了单目标黑箱优化（BBO）中基于模型的自适应采样方法。虽然BBO文献包括各种有前途的采样技术，但仍然缺乏对现有研究的全面调查。我们首先将BBO问题分为两类：工程设计和算法设计优化，并讨论了它们的挑战。然后，我们批判性地讨论和分析基于模型的自适应采样技术，重点是关键的采集功能。我们阐述了工程设计问题的基于方差的抽样技术的缺点。此外，我们提供了深入的见解的离散化方案的性能上的采集功能的影响。我们强调动态离散化的重要性，基于距离的探索，并介绍EEPA+，以前提出的基于帕累托的采样技术的改进型。我们的实证分析揭示了基于方差的算法设计技术和基于距离的工程设计最优化问题的方法的有效性。
2022-04-22 math.OC
EXPObench: Benchmarking Surrogate-based Optimisation Algorithms on Expensive Black-box Functions
School of Industrial Engineering, Eindhoven University of Technology（埃因霍温理工大学工业工程学院）；Faculty of Electrical Engineering, Mathematics and Computer Science, Delft University of Technology（代尔夫特理工大学电气工程、数学与计算机科学学院）
针对昂贵黑盒优化缺乏标准化基准的问题，提出EXPObench库，比较六种代理算法在四个真实问题上的性能，提供算法选择建议并公开数据集以降低研究门槛。
2022-12-01 cs.LG cs.NE math.OC
Extending Expected Improvement for High-dimensional Stochastic Optimization of Expensive Black-Box Functions
当目标函数的计算代价很高时，不确定性条件下的设计优化是非常困难的。现有技术，例如，随机最优化或采样平均近似，不能从收集的数据中学习可利用的模式，并且需要过多的目标函数评估。有必要的技术，减轻高成本的信息采集和选择最佳的顺序模拟。在确定性单目标无约束全局优化领域，贝叶斯全局优化（BGO）方法已经相对成功地解决了信息获取问题。BGO建立一个昂贵的目标函数的概率代理，并使用它来定义一个信息获取函数（IAF），其作用是量化的优点，使新的客观评价。具体来说，BGO在进行具有最大预期IAF的观测和重建概率代理之间迭代，直到满足收敛标准。在这项工作中，我们扩展的预期改善（EI）IAF的情况下，设计优化的不确定性，其中EI政策重新制定，以过滤掉参数和测量的不确定性。为了增加我们的方法在低样本制度的鲁棒性，我们采用了完全贝叶斯解释高斯过程，通过构建一个粒子近似的后验超参数，使用自适应马尔可夫链蒙特卡罗。我们通过求解两个不确定性下的综合最优化问题验证和验证了我们的方法，并通过求解渗透率场和油价时间序列的不确定性的油井布局问题来证明它。
2019-06-19 math.OC
Statistical optimization of expensive multi-response black-box functions
假定一组$P$过程参数$p_i$、$i=1,\dots,P$通过未知函数关系$ϕ: \mathbf{p} \mapsto \mathbf{d}, \, \mathbb{R}^{P} \to \mathbb{R}^{D}$确定一组$D$描述符变量$d_j$、$j=1,\dots,D$的结果，其中$\mathbf{p}=(p_1,\dots,p_{P})$、$\mathbf{d}=(d_1,\dots,d_{D})$。期望找到过程参数的适当值$\mathbf{\hat p} = ({\hat p}_1,\dots, {\hat p}_P)$，使得描述符变量$ϕ(\mathbf {\hat p})$的对应值接近给定目标$\mathbf d^*=(d^*_1,\dots,d^*_D)$，假设存在至少一个精确解。已经开发了一种使用降维技术的顺序方法来实现这一点。在仿真研究中，所提出的方法和算法NSGA-II，SMS-EMOA和MOEA/D的结果进行了比较。
2023-03-10 math.OC stat.AP stat.CO
A Bayesian Optimization Framework for Finding Local Optima in Expensive Multi-Modal Functions
The George Washington University（乔治华盛顿大学）；Northeastern University（东北大学）
本文提出一种多模态贝叶斯优化框架，通过推导目标函数与一阶导数的联合分布并改进采集函数，在昂贵多模态函数中高效定位一组局部和全局最优解。
2023-08-06 cs.LG math.OC
Safe global optimization of expensive noisy black-box functions in the $δ$-Lipschitz framework
University of Calabria（卡拉布里亚大学）；Lobachevsky University（罗巴切夫斯基大学）；University of Milano-Bicocca（米兰比可卡大学）
本文研究了满足Lipschitz条件的昂贵噪声黑箱函数的安全全局最大化问题（不应与鲁棒优化混淆）。概念“安全”意味着优化期间的目标函数$f(x)$不应违反“安全”阈值，例如，最大化问题中的某个先验给定值$h$。因此，任何新的函数评估（可能被噪声破坏）必须仅在“安全点”处执行，即，在已知目标函数$f(y) > h$的点$y$处执行。这里的主要困难在于，所使用的优化算法应当确保在执行$f(y)$的评估之前在点$y$处满足安全约束。因此，既需要确定搜索域$D$内的安全区域$Ω$，又需要找到$Ω$内的全局最大值。另一个困难在于，这些问题应该在存在噪声的情况下解决。本文首先从理论上研究了该问题，结果表明，即使目标函数$f(x)$满足Lipschitz条件，由于噪声的存在，传统的Lipschitz次量和优量也不能使用.然后，提出了一个$δ$ -Lipschitz框架和两个算法，使用它来解决安全的全局最大化问题。第一种方法确定搜索域内的安全区域，第二种方法在找到的安全区域上执行全局最大化。对于这两种方法的一些理论结果，其功能和收敛性的建立。最后，数值实验证实了所提出的程序的可靠性。
2020-08-15 cs.LG cs.NA math.NA
Exploration-oriented sampling strategies for global surrogate modeling: A comparison between one-stage and adaptive methods
通过进行真实的实验来详细研究复杂的现象通常是一项不可行的任务。使用模拟的虚拟实验通常用于支持开发过程。然而，数值模拟受到其计算成本的限制。元建模技术通常用于模拟未知求解器函数的行为，特别是对于昂贵的黑盒优化。如果获得代理模型和黑盒函数之间的良好相关性，则可以显著减少昂贵的数值模拟。抽样策略，选择一个子集的样本，可以充分预测昂贵的黑盒功能的行为，在代理模型的保真度起着重要的作用。用尽可能少的求解器调用来获得所需的元模型精度是全局代理建模的主要目标。在本文中，探索为导向的自适应抽样策略进行了比较，常用的一阶段抽样方法，如拉丁超立方体设计（LHD）。近似质量的差异是测试从2到30个变量的基准函数。两个新的采样算法，以获得细粒度的准LHD将被提出和一个众所周知的，预先存在的顺序输入算法的改进将被讨论。最后，这些方法被应用到碰撞盒的设计，以调查的性能时，近似高度非线性耐撞性问题。据发现，自适应采样方法优于一阶段的方法，无论是在数学属性和元模型的精度在大多数的测试。一个适当的停止算法也应该采用自适应方法，以避免过采样。
2022-11-15 math.OC
Convexification of box-constrained polynomial optimization problems via monomial patterns
凸化是全局多项式优化的核心技术。目前，在理论和实践中相互竞争的方法主要有两种：非线性规划方法和基于实代数正性证明的方法。从计算的角度来看，前者是比较便宜的，但通常不提供严格的放松相对于原来的问题的界限。后者通常在计算上是昂贵的，但确实提供了严格的松弛。我们将这两种方法嵌入到一个统一的单项松弛框架中。我们开发了一个凸化策略，允许权衡计算费用的边界的质量。计算实验显示了非常令人鼓舞的结果。
2021-09-28 math.OC
Black-box optimization with a politician
Microsoft Research（微软研究院）；MIT（麻省理工学院）
本文提出一种适用于梯度计算昂贵情况的黑盒凸优化新框架，结合凸优化概念和分析中心，实验证明其性能优于BFGS等算法。
2016-02-15 cs.DS cs.LG cs.NA
Thinking inside the box: A tutorial on grey-box Bayesian optimization
贝叶斯优化（BO）是一个全局优化的目标函数的评估费用的框架。经典的BO方法假设目标函数是一个黑盒。然而，关于目标函数计算的内部信息通常是可用的。例如，在通过仿真优化生产线的吞吐量时，我们除了观察总吞吐量外，还观察每个工作站等待的零件数量。最近的BO方法利用这些内部信息来显著提高性能。我们称之为“灰盒”BO方法，因为它们将目标计算视为部分可观察的，甚至是可修改的，将黑盒方法与目标函数计算的所谓“白盒”第一原理知识混合在一起。本教程描述了这些方法，重点是复合目标函数的BO，其中可以观察和选择性地评估进入整体目标的各个成分;和多保真度BO，其中可以通过改变评估Oracle的参数来评估目标函数的更便宜的近似值。
2022-01-02 cs.LG math.OC stat.ML
Landscape Analysis for Surrogate Models in the Evolutionary Black-Box Context
Czech Technical University（捷克技术大学）；Charles University in Prague（布拉格查理大学）；Czech Academy of Sciences（捷克科学院）
代理建模已经成为一种有价值的技术，黑盒优化任务与昂贵的评估目标函数。本文研究了代理模型的预测精度与黑箱函数景观特征之间的关系。我们还研究了景观分析的特点，在不同的转换和方式的背景下选择的输入数据的属性。我们执行景观分析的一个大的数据集使用运行的代理辅助版本的协方差矩阵自适应演化策略的比较连续优化器基准测试平台的无噪声部分。
2022-10-02 cs.LG cs.NE math.OC
Parallel Predictive Entropy Search for Multi-objective Bayesian Optimization with Constraints
Universidad Autónoma de Madrid（马德里自治大学）
现实世界的问题往往涉及多个约束条件下的多个目标的优化。一个例子是机器学习算法的超参数调整问题。特别地，深度神经网络的泛化误差的估计的最小化，并且同时其预测时间的最小化。我们还可以考虑作为约束，深度神经网络必须在具有低于某一尺寸的面积的芯片中实现。这里，目标和约束都是黑盒，即，解析表达式未知且计算代价高昂的函数。贝叶斯优化（BO）方法已经给出了黑箱优化的最新结果。然而，大多数BO方法是顺序的，并且迭代地在一个输入位置处评估目标和约束。然而，有时我们可能有资源并行评估几个配置。尽管如此，没有并行BO方法已被提出来处理多个约束条件下的多个目标的优化。如果昂贵的评估可以并行执行（例如当计算机集群可用时），则顺序评估会导致资源浪费。本文介绍了PPESMOC，并行预测熵搜索多目标贝叶斯优化与约束，一个基于信息的批处理方法，同时优化多个昂贵的评估黑盒功能的存在下，几个约束。迭代地，PPESMOC选择一批输入位置来评估黑盒，以最大限度地减少优化问题的帕累托集的熵。我们提出的合成，基准和现实世界的实验，说明PPESMOC的有效性的形式的经验证据。
2021-07-01 cs.LG math.OC stat.ML
The True Destination of EGO is Multi-local Optimization
高效的全局优化算法是一种流行的算法，用于优化昂贵的多峰黑盒函数。其受欢迎的一个重要原因是其整体收敛的理论基础。然而，由于昂贵的优化的预算是非常小的，渐近性质只发挥次要的作用，算法有时会在实验比较差。因此，多年来提出了许多替代变体。在这项工作中，我们的实验表明，该算法，而不是有它的实力，在设置多个最优值被确定。
2017-04-19 cs.NE math.OC
Multi-fidelity Constrained Optimization for Stochastic Black Box Simulators
Technical University of Munich（慕尼黑工业大学）
针对高维随机黑盒模拟器参数的约束优化问题，提出Scout-Nd算法，通过高效估计梯度、降低噪声及多保真度方案减少计算量，在标准基准上表现优于现有方法。
2023-11-25 cs.LG math.OC stat.ML
