No-Regret Bayesian Optimization with Unknown Hyperparameters
ETH Zurich（苏黎世联邦理工学院）；University of Toronto（多伦多大学）
基于高斯过程模型的贝叶斯优化（BO）是一种有效的优化黑箱函数的方法。虽然一些BO算法可证明收敛于未知函数的全局最优解，但它们假设内核的超参数是预先已知的。但实际情况并非如此，错误指定通常会导致这些算法收敛到较差的局部最优值。在本文中，我们提出了第一个BO算法，可证明没有遗憾，收敛到最佳的超参数的知识。在优化过程中，我们缓慢地调整静态内核的超参数，从而随着时间的推移扩展相关的函数类，以便BO算法考虑更复杂的函数候选。基于理论上的见解，我们提出了几个实用的算法，实现BO的经验样本效率与在线超参数估计，但保留理论上的收敛保证。我们评估我们的方法在几个基准问题。
2019-04-01 cs.LG stat.ML
Automated Hyperparameter Optimization Challenge at CIKM 2021 AnalyticCup
Peking University（北京大学）
在本文中，我们描述了我们在QQ浏览器2021 AI算法竞赛（ACM CIKM 2021 AnalyticCup Track 2）中解决自动超参数优化挑战的方法。竞赛组织者提供匿名的现实工业任务和数据集，用于黑盒优化。基于我们的开源软件包OpenBox，我们采用贝叶斯优化框架的配置采样和启发式提前停止策略。我们在初赛和决赛中都获得了第一名，成绩分别为0.938291和0.918753。
2021-10-31 cs.LG
Differentially Private Hyperparameter Tuning using Local Bayesian Optimization
Department of Statistics Columbia University（统计学系哥伦比亚大学）
本文提出DP-GIBO框架，通过高斯过程代理私密近似梯度，实现高维空间下的差分隐私超参数调优，优于非隐私随机搜索和全局贝叶斯优化方法。
2026-05-08 cs.LG stat.ML
A Quantile-based Approach for Hyperparameter Transfer Learning
NAVER LABS Europe（NAVER欧洲实验室）；Amazon Web Services（亚马逊云服务）
贝叶斯优化（BO）是一种流行的方法来调整昂贵的黑盒函数的超参数。传统上，BO一次只关注一个任务，而不是为了利用来自相关功能的信息而设计的，例如跨多个数据集调优同一算法的性能目标。在这项工作中，我们介绍了一种新的方法来实现跨不同的\emph{datasets}以及不同的\emph{objectives}迁移学习。其主要思想是用半参数高斯Copula分布回归从超参数到客观分位数的映射，这提供了对不同任务中可能出现的不同尺度或离群值的鲁棒性。我们引入两种方法来利用这种映射：汤普森采样策略以及高斯Copula过程使用这样的分位数估计作为先验。我们表明，这些策略可以结合多个目标的估计，如延迟和准确性，引导超参数优化更快的预测相同的准确性水平。大量的实验表明，显着改善了国家的最先进的超参数优化和神经结构搜索的方法。
2021-04-19 cs.LG stat.ML
Towards Automatic Bayesian Optimization: A first step involving acquisition functions
贝叶斯优化是用于优化黑盒的最先进技术，即，函数，我们不能访问它们的解析表达式，也不能访问它的梯度，它们的计算代价很高，而且它的计算是嘈杂的。最流行的应用是机器学习算法的自动超参数调整，其中我们通过优化这些算法的泛化误差的估计来获得机器学习算法的最佳配置。尽管成功地应用，但生物学优化方法也具有需要配置的超参数，例如所使用的概率代理模型或采集函数。对这些超参数的配置的错误决策意味着获得质量差的结果。通常，这些超参数是通过对我们想要评估的目标函数进行假设来调整的，但在某些情况下，我们没有关于目标函数的任何先验信息。在本文中，我们提出了第一次尝试，通过探索几个自动调整的采集功能的baidu优化。我们在一组基准问题和一个机器学习算法的超参数调整问题中说明了这些方法的有效性。
2021-01-12 cs.AI cs.LG stat.ML
HPO X ELA: Investigating Hyperparameter Optimization Landscapes by Means of Exploratory Landscape Analysis
LMU Munich（慕尼黑大学）；TU Dresden（德累斯顿工业大学）；University of Münster（明斯特大学）；University of Twente（特文特大学）
超参数优化（HPO）是用于实现峰值预测性能的机器学习模型的关键组成部分。虽然在过去的几年中已经提出了许多方法和算法HPO，很少取得进展，在照明和检查这些黑盒优化问题的实际结构。探索性景观分析（ELA）包含了一组技术，可用于获得有关未知优化问题的属性的知识。在本文中，我们评估了五种不同的黑盒优化器在30个HPO问题上的性能，这些问题包括在10个不同数据集上训练的XGBoost学习器的二维、三维和五维连续搜索空间。这与黑盒优化基准（BBOB）的360个问题实例上评估的相同优化器的性能形成对比。然后，我们计算ELA功能的HPO和BBOB的问题，并检查相似性和差异。聚类分析的HPO和BBOB的问题在ELA特征空间，使我们能够确定如何HPO的问题相比，BBOB的问题上的结构元水平。我们确定了一个子集的BBOB问题，接近HPO问题在ELA特征空间，并表明优化器的性能是类似的这两组基准问题。我们强调了HPO的ELA面临的挑战，并讨论了未来研究和应用的潜在方向。
2022-07-30 cs.LG
Combination of Hyperband and Bayesian Optimization for Hyperparameter Optimization in Deep Learning
Blippar
深度学习在许多问题上取得了令人印象深刻的成果。然而，它需要高度的专业知识或大量的经验来很好地调整超参数，并且这种手动调整过程很可能是有偏差的。此外，在深度学习中尝试与在其他机器学习场景中一样多的不同超参数配置是不切实际的，因为在深度学习中评估每个单个超参数配置将意味着训练深度神经网络，这通常需要相当长的时间。Hyperband算法在深度学习领域的各种超参数优化问题上实现了最先进的性能。然而，Hyperband算法没有利用以前探索的超参数配置的历史信息，因此找到的解决方案是次优的。我们建议将Hyperband算法与贝叶斯优化（在对下一个试验配置进行采样时不忽略历史）相结合。实验结果表明，该方法优于包括Hyperband算法在内的其他超参数优化方法。
2018-01-05 cs.AI cs.CV cs.LG
Enhancing Performance and Calibration in Quantile Hyperparameter Optimization
London, United Kingdom（英国伦敦）
本文针对高斯过程在类别型超参数及分布假设受挑战时的不足，提出结合保形分位数回归的超参数优化方法，并验证其在性能和校准上优于GP、TPE和SMAC。
2025-09-21 cs.LG stat.ML
Practical Multi-fidelity Bayesian Optimization for Hyperparameter Tuning
Cornell University（康奈尔大学）
贝叶斯优化在优化耗时的黑盒目标方面很受欢迎。尽管如此，对于深度神经网络中的超参数调整，即使是几个超参数设置，评估验证误差所需的时间仍然是一个瓶颈。多保真度优化承诺使用更便宜的代理来缓解这些目标-例如，使用训练点的子集训练的网络的验证错误或比收敛所需的迭代次数更少。我们提出了一种高度灵活和实用的方法，多保真度贝叶斯优化，重点是有效地优化超参数迭代训练监督学习模型。我们引入了一个新的采集函数，跟踪感知的知识梯度，它有效地利用了多个连续的保真度控制和跟踪观察-目标的值在一个序列的精度，当使用训练迭代改变保真度。我们提供了一种可证明收敛的方法来优化我们的采集函数，并表明它优于深度神经网络和大规模内核学习的超参数调整的最先进的替代方案。
2019-03-12 cs.LG math.OC stat.ME
Bayes Optimal Early Stopping Policies for Black-Box Optimization
Google Research（谷歌研究）
我们推导出一个最佳的政策，自适应重新启动的随机算法，根据观察到的功能运行到目前为止，以尽量减少所需的预期时间的算法成功终止。给定合适的贝叶斯先验，该结果可用于从包括随机搜索、连续减半和Hyperband的算法的大家族中选择最佳黑盒优化算法。在CIFAR-10和ImageNet超参数调整问题上，所提出的策略在达到给定目标准确度的预期时间方面比随机搜索提高了13倍，并且比基线自适应策略提高了3倍，只要其准确度低于中位数，就终止运行。
2019-02-21 cs.LG stat.ML
Learning to Warm-Start Bayesian Hyperparameter Optimization
Pohang University of Science and Technology（浦项科技大学）；AITRICS
超参数优化旨在找到机器学习模型的最佳超参数配置，该配置在验证数据集上提供最佳性能。人工搜索通常会导致陷入局部超参数配置，并且严重依赖于人类的直觉和经验。手动搜索的一个简单替代方案是在超参数空间上进行随机/网格搜索，为了找到最佳配置，仍然需要对验证错误进行广泛的评估。作为黑盒函数的全局优化方法的贝叶斯优化现在流行于超参数优化，因为与随机/网格搜索相比，它大大减少了所需的验证误差评估的数量。贝叶斯优化通常在没有任何先验知识的情况下从随机初始化中找到最佳超参数配置。这促使我们让贝叶斯优化从在类似数据集上成功的配置开始，这能够显着减少评估的数量。在本文中，我们提出了深度度量学习来学习数据集上的元特征，以便通过相关元特征之间的欧氏距离有效地测量它们之间的相似性。为此，我们引入了一个由深度特征和元特征提取器组成的Siamese网络，其中深度特征提取器提供数据集中每个实例的语义表示，元特征提取器聚合一组深度特征以在数据集上编码单个表示。然后，我们学习的元特征用于选择与新数据集相似的几个数据集，以便采用相似数据集中的超参数作为初始化来热启动贝叶斯超参数优化。
2018-10-31 cs.LG stat.ML
In-Context Freeze-Thaw Bayesian Optimization for Hyperparameter Optimization
University of Freiburg（弗莱堡大学）；ELLIS Institute Tübingen（图宾根ELLIS研究所）
针对冻融贝叶斯优化代理模型更新开销大的问题，提出基于PFN的代理模型FT-PFN，结合新采集机制MFPI-random构建ifBO方法，在三类HPO基准上实现更准更快的最优性能。
2024-08-12 cs.LG
A Novel Orthogonal Direction Mesh Adaptive Direct Search Approach for SVM Hyperparameter Tuning
École de Technologie Supérieure - Université du Québec（魁北克大学高等技术学院）；University of Santa Catarina（圣卡塔琳娜联邦大学）；Pontifícia Universidade Católica do Paraná（巴拉那天主教大学）
在本文中，我们提出了一种黑盒优化方法，称为确定性网格自适应直接搜索（MADS）算法与正交方向（Ortho-MADS）的超参数选择的支持向量机与高斯核。与文献中利用数据属性或试图最小化验证数据集在（C，gamma）第一象限上的准确性的大多数方法不同，Ortho-MADS提供了收敛性证明。我们提出的MADS，其次是Ortho-MADS，动态停止标准定义的MADS网格大小和两个不同的搜索策略（Nelder-Mead和可变邻域搜索），有助于竞争的收敛速度，以及从不希望的局部极小值逃脱的机制。我们已经研究了具有高斯核的支持向量机的超参数的实际选择，即，在几个基准数据集上正确选择超参数gamma（带宽）和C（权衡）。实验结果表明，所提出的超参数调整方法始终找到可比或更好的解决方案，当使用一个共同的配置，比其他方法。我们还评估了Ortho-MADS的Nelder-Mead搜索策略和可变邻域搜索策略的精度和函数评估的数量，使用网格大小作为停止标准，我们已经达到了其他超参数优化方法无法达到的精度。
2019-04-26 cs.LG stat.ML
Adaptive Local Bayesian Optimization Over Multiple Discrete Variables
KAIST（韩国科学技术院）
在机器学习算法中，超参数的选择往往是一门艺术而不是一门科学，需要专家经验的劳动密集型搜索。因此，对超参数优化进行自动化以排除人为干预是很有吸引力的，特别是对于黑箱函数。近年来，人们越来越多地要求解决这些隐藏的任务，以更好地推广，虽然任务相关的问题是不容易解决的。黑盒优化挑战赛（NeurIPS 2020）要求参赛者在标准机器学习问题的不同领域构建一个强大的黑盒优化器。本文以逐步的方式描述了KAIST OSI团队的方法，该方法比基线算法的性能高出20.39%。我们首先在区域可靠性的概念下加强了局部贝叶斯搜索。然后，我们为高斯过程核设计了一个组合核。同样，我们结合贝叶斯方法和多臂强盗（MAB）方法来选择考虑变量类型的值;实数和整数变量与贝叶斯，而布尔和分类变量与MAB。实证评估表明，我们的方法优于现有的方法在不同的任务。
2020-12-07 cs.LG stat.ML
Provably Efficient Bayesian Optimization with Unknown Gaussian Process Hyperparameter Estimation
RMIT University（RMIT大学）；Amazon（亚马逊公司）；Deakin University（迪肯大学）；Chongqing University（重庆大学）；University of Adelaide（阿德莱德大学）
针对贝叶斯优化中高斯过程超参数未知且估计有偏的问题，本文提出结合EXP3多臂老虎机随机采样与一致性训练损失函数的新方法，在保证次线性全局收敛的同时实现优于现有方法的性能。
2024-06-06 cs.LG stat.ML
Weighting Is Worth the Wait: Bayesian Optimization with Importance Sampling
Northeastern University（东北大学）；Google Research（谷歌研究院）
许多当代的机器学习模型需要大量的超参数调整才能表现良好。各种方法，如贝叶斯优化，已被开发来自动化和加快这一过程。然而，调优仍然非常昂贵，因为它通常需要反复完全训练模型。我们提出了加速贝叶斯优化方法的超参数调整的神经网络，考虑到每个训练样本贡献的相对信息量。为此，我们利用了重要性采样（IS）;这显著提高了黑盒函数计算的质量，但也提高了它们的运行时间，因此必须小心完成。将超参数搜索作为超参数和重要性采样设计的多任务贝叶斯优化问题，实现了两全其美：通过学习IS的参数化，权衡评估复杂性和质量，我们改进了贝叶斯优化最先进的运行时间和最终验证错误，跨越各种数据集和复杂的神经架构。
2020-02-23 cs.LG stat.ML
Advancing Bayesian Optimization: The Mixed-Global-Local (MGL) Kernel and Length-Scale Cool Down
University of Stuttgart（斯图加特大学）
贝叶斯优化（BO）已成为解决昂贵的黑箱优化问题的核心方法。虽然许多研究集中在采集函数的选择，我们专注于在线长度-尺度自适应和核函数的选择。我们建议使用采集函数来更稳健地决定超参数自适应，而不是根据过去数据的最大似然来选择超参数。此外，我们提出了一个特定的核函数，包括非平稳性和局部各向异性，从而隐含地集成了局部凸优化与全局贝叶斯优化的效率。与最先进的BO方法的比较强调了这些机制在全局优化基准上的效率。
2016-12-09 cs.AI cs.LG stat.ML
Black-Box Optimization in Machine Learning with Trust Region Based Derivative Free Algorithm
Lehigh University（里海大学）
在这项工作中，我们利用基于信赖域的无导数优化（DFO-TR）方法，直接最大化的面积下的接收器工作特征曲线（AUC），这是一个非光滑的，嘈杂的功能。我们表明，AUC是一个光滑的函数，在预期中，如果正，负数据点的分布服从联合正态分布。该算法的实际性能进行了比较，三个突出的贝叶斯优化方法和随机搜索。数值结果表明，DFO-TR在各种黑箱优化问题上，如最大化AUC和超参数调整，都优于贝叶斯优化和随机搜索。
2017-03-20 cs.LG
Warm Starting CMA-ES for Hyperparameter Optimization
CyberAgent, Inc.（CyberAgent公司）；Artificial Intelligence Research Center, AIST（产业技术综合研究所人工智能研究中心）；University of Freiburg（弗莱堡大学）；University of Tsukuba（筑波大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；GREE, Inc.（GREE公司）
超参数优化（Hyperparameter optimization，HPO），又称黑箱优化（black-box optimization，BBO），是实现机器学习方法自动化和高性能的关键。CMA-ES是一种有前途的BBO方法，具有高度的并行性，并已被应用于HPO任务，通常在并行实现，并表现出优越的性能，包括贝叶斯优化（BO）的其他方法。然而，如果超参数评估的预算严重有限，这通常是不值得并行计算的最终用户的情况下，CMA-ES耗尽预算而没有提高性能，由于其漫长的适应阶段，导致被优于BO方法。为了解决这个问题，我们建议通过初始化的CMA-ES转移类似的HPO任务的先验知识，从而大大缩短适应时间。基于任务相似度的新定义设计了知识传递机制，并在综合问题上验证了该方法性能的相关性。建议的热启动CMA-ES，称为WS-CMA-ES，适用于不同的HPO任务，其中一些先验知识是可用的，显示其优越的性能比原来的CMA-ES以及BO方法，或不使用先验知识。
2020-12-13 cs.LG
Tuning Hyperparameters without Grad Students: Scalable and Robust Bayesian Optimisation with Dragonfly
Carnegie Mellon University（卡内基梅隆大学）
贝叶斯优化（BO）是指一套用于全局优化昂贵的黑盒函数的技术，它使用函数的内省贝叶斯模型来有效地搜索最优值。虽然BO已成功地应用于许多应用程序，但现代优化任务带来了新的挑战，传统方法通常会失败。在这项工作中，我们介绍了Dragonfly，一个用于可扩展和健壮BO的开源Python库。Dragonfly结合了多个最近开发的方法，允许BO应用于具有挑战性的现实世界的设置;这些方法包括更好的方法，用于处理高维域，用于处理多保真度评估的方法时，廉价的近似昂贵的功能是可用的，方法优化结构化的组合空间，如空间的神经网络架构，并处理并行评估的方法。此外，我们在BO中开发了新的方法改进，用于选择贝叶斯模型，选择采集函数，并优化具有不同变量类型和附加约束的复杂域。我们比较Dragonfly的一套其他软件包和算法的全局优化，并证明，当上述方法集成，它们使BO的性能显着改善。Dragonfly库可以在dragonfly.github.io上找到。
2020-04-19 cs.AI cs.LG stat.ML
Hyperparameter Optimization for Randomized Algorithms: A Case Study on Random Features
California Institute of Technology（加州理工学院）；Princeton University（普林斯顿大学）
本文针对随机特征回归等随机算法，提出基于贝叶斯思想与集成卡尔曼反演的无梯度超参数优化方法，并在多个敏感问题中验证其有效性。
2025-02-23 cs.LG stat.CO stat.ML
Bayesian Optimization for Hyperparameters Tuning in Neural Networks
Facoltà di Ingegneria dell’Informazione, Informatica e Statistica（信息、计算机与统计工程学院）；Dipartimento di Ingegneria Informatica, Automatica e Gestionale（信息、自动化与管理工程系）
本研究将贝叶斯优化用于神经网络超参数调优，借助Ax和BOTorch框架验证其可减少调优试验次数、快速收敛至CNN最优配置，提升机器学习流水线的准确率与计算效率。
2024-10-29 cs.AI cs.LG math.OC
Predictive Entropy Search for Efficient Global Optimization of Black-box Functions
University of Cambridge（剑桥大学）
我们提出了一种新的信息理论方法的贝叶斯优化称为预测熵搜索（PES）。在每次迭代中，PES选择下一个评估点，该评估点使相对于全局最大值获得的预期信息最大化。PES根据预测分布的微分熵的预期减少来编码这种棘手的采集功能。这种重新表述允许PES获得比熵搜索（ES）等其他替代方法更准确和有效的近似。此外，PES可以很容易地对模型超参数进行完全贝叶斯处理，而ES不能。我们评估PES在合成和现实世界中的应用，包括优化问题的机器学习，金融，生物技术和机器人。我们表明，PES的准确性增加，导致显着的收益优化性能。
2014-06-10 cs.LG stat.ML
Scaling Laws for Hyperparameter Optimization
University of Freiburg（弗莱堡大学）；Amazon Web Services（亚马逊云服务）；Amazon Berlin（亚马逊柏林）
本文提出基于神经网络的幂律缩放集成模型DPL，通过利用学习曲线的幂律特性进行动态配置选择，在多个基准和任务上超越了7种先进方法。
2023-10-25 cs.LG
Bayesian--AI Fusion for Epidemiological Decision Making: Calibrated Risk, Honest Uncertainty, and Hyperparameter Intelligence
Department of Statistics, Visva–Bharati University（统计系，维萨-巴哈蒂大学）；S. N. Bose National Centre for Basic Sciences（S. N. Bose基础科学国家中心）
针对流行病学AI模型不确定性校准不足、贝叶斯方法难与现有AI工作流整合的问题，本文提出融合贝叶斯预测与贝叶斯超参数优化的双层框架，经多数据集验证可输出校准风险、优化模型性能，支撑流行病学决策。
2025-11-15 cs.LG stat.ML
Enhancing Fractional Gradient Descent with Learned Optimizers
针对分数阶梯度下降收敛难、超参数调度难的问题，提出元学习方法L2O-CFGD动态调整Caputo FGD超参数，性能优于静态超参数版本，部分任务媲美黑盒元学习优化器，助力超参数寻优与分数阶微分特性研究。
2025-10-21 cs.LG math.OC stat.ML
Default Machine Learning Hyperparameters Do Not Provide Informative Initialization for Bayesian Optimization
Department of Telematics and Computing, Universidad Pontificia Comillas（电信与计算系，Pontificia Comillas大学）；Institute for Research in Technology (IIT), Universidad Pontificia Comillas（技术研究 institute，Pontificia Comillas大学）
研究发现默认超参数未提供对贝叶斯优化的有用初始化，建议采用数据驱动的搜索策略。
2026-02-09 cs.AI cs.LG
Learning non-Gaussian Time Series using the Box-Cox Gaussian Process
Center for Mathematical Modeling and Department of Mathematical Engineering Universidad de Chile（智利大学数学建模中心和数学工程系）；Center for Mathematical Modeling Universidad de Chile（智利大学数学建模中心）
高斯过程（GP）是贝叶斯非参数生成模型，它提供了超参数的可解释性，允许用于训练和推理的封闭形式表达式，并且能够准确地表示不确定性。为了对具有复杂相关结构的一般非高斯数据进行建模，可以将GP与表达性协方差内核配对，然后将其馈送到非线性变换（或扭曲）中。然而，已知过度参数化内核和扭曲分别会阻碍基于梯度的训练并使预测在计算上昂贵。我们通过以下方式解决这个问题：（i）使用无导数全局优化技术训练模型，以便找到模型可能性的有意义的最大值，以及（ii）提出一个基于著名的Box-Cox变换的扭曲函数，该函数需要最小的数值近似--与现有的扭曲GP模型不同。我们验证了所提出的方法，首先表明预测可以分析计算，然后使用真实世界的数据集进行学习，重建和预测实验。
2018-03-19 cs.LG stat.ML
Pareto-efficient Acquisition Functions for Cost-Aware Bayesian Optimization
MIT（麻省理工学院）；Amazon Web Services（亚马逊云科技）
贝叶斯优化（BO）是一种流行的方法来优化昂贵的黑盒函数。它有效地调整机器学习算法的隐含假设下，超参数评估成本大致相同。实际上，评估不同超参数的成本，无论是时间、美元还是能源，都可以跨越几个数量级的差异。虽然已经提出了一些方法来使BO具有成本意识，但这些方法都没有被证明有效。在这项工作中，我们重新制定成本意识BO的帕累托效率，并引入成本帕累托阵线，数学对象，使我们能够突出常用的收购功能的缺点。在此基础上，我们提出了一种新的帕累托有效的适应预期的改善。在144个真实世界的黑盒函数优化问题上，我们证明了我们的帕累托高效采集函数显著优于以前的解决方案，带来了高达50%的速度提升，同时提供了对成本-精度权衡的更精细控制。我们还重新审视了高斯过程成本模型的常见选择，表明简单，低方差成本模型可以有效地预测训练时间。
2020-11-24 cs.LG stat.ML
Automatic Gradient Descent: Deep Learning without Hyperparameters
MIT（麻省理工学院）；U. Oxford（牛津大学）；U. Washington（华盛顿大学）；Caltech（加州理工学院）
本文提出自动梯度下降（AGD），通过将镜像下降扩展到非凸复合目标并变换 Bregman 散度以利用神经架构，实现了无需任何超参数即可在 ImageNet 规模上训练全连接和卷积网络的一阶优化器。
2023-04-11 cs.AI cs.LG cs.NA
On the optimization of hyperparameters in Gaussian process regression with the help of low-order high-dimensional model representation
在数据稀疏的情况下，利用常用的极大似然估计（MLE）准则对高斯过程回归核的超参数进行优化，往往会导致过拟合。我们表明，选择超参数（在这种情况下，核长度参数和正则化参数）的基础上的完整性的标准，在相应的线性回归问题是优于极大似然估计。我们表明，这是方便的使用高维模型表示（HDMR），从而低阶HDMR表示可以提供可靠的参考函数和大的合成测试数据集的基础参数优化所需的，即使原始数据很少。
2022-01-06 cs.NA math.NA stat.ME
Faster, Cheaper, Better: Multi-Objective Hyperparameter Optimization for LLM and RAG Systems
Trustwise AI；New York University（纽约大学）；The Alan Turing Institute（艾伦·图灵研究所）
本文首次提出面向整个LLM与RAG系统的多目标超参数优化方法，利用贝叶斯优化在成本、延迟、安全性和对齐上取得更优Pareto前沿，并指出最优配置可能无法跨任务和目标泛化。
2025-05-08 cs.AI cs.CL cs.LG
How Bayesian Should Bayesian Optimisation Be?
University of Exeter（埃克塞特大学）
贝叶斯优化（BO）使用概率代理模型-通常是高斯过程（GP）-用于优化昂贵的黑盒函数。在每次BO迭代中，GP超参数通过最大化边缘似然来拟合先前评估的数据。然而，这并不能解释超参数本身的不确定性，导致模型预测过于自信。这种不确定性可以通过采用贝叶斯方法将模型超参数边缘化来解释。我们调查是否完全贝叶斯处理的高斯过程超参数在BO（FBBO）导致改进的优化性能。由于分析方法是棘手的，我们比较FBBO使用三个近似推理方案的最大似然方法，使用预期改善（EI）和置信上限（UCB）的收购功能与ARD和各向同性Matern内核配对，在15个著名的基准问题4观测噪声设置。使用具有ARD内核的EI的FBBO在无噪声设置中导致最佳性能，当噪声增加时，BO分量的组合之间的差异小得多。FBBO会导致UCB的过度勘探，但对EI无害。因此，我们建议FBBO使用带有ARD内核的EI作为BO的默认选择。
2021-05-03 cs.LG stat.ML
Pre-training helps Bayesian optimization too
Google（谷歌）
贝叶斯优化（BO）已经成为一种流行的策略，许多昂贵的现实世界的功能的全局优化。与普遍认为BO适合优化黑盒函数相反，它实际上需要关于这些函数特性的领域知识来成功部署BO。这种领域知识通常表现在高斯过程先验中，这些先验指定了函数的初始信念。然而，即使有专业知识，选择先验也不是一件容易的事情。这对于复杂机器学习模型上的超参数调整问题尤其如此，其中调整目标的景观通常难以理解。我们寻求一种替代的做法来设置这些功能先验。特别是，我们考虑了这样一种情况，即我们有来自类似函数的数据，这些数据允许我们先验地预训练更紧密的分布。为了在现实的模型训练设置中验证我们的方法，我们通过在流行的图像和文本数据集以及蛋白质序列数据集上训练数万个接近最先进模型的配置来收集大型多任务超参数调优数据集。我们的研究结果表明，平均而言，我们的方法能够找到好的超参数至少比最好的竞争方法有效3倍。
2022-07-07 cs.AI cs.LG stat.ML
Bayesian Optimisation with Unknown Hyperparameters: Regret Bounds Logarithmically Closer to Optimal
University of Oxford（牛津大学）；Toyota Motor Corporation（丰田汽车公司）
针对贝叶斯优化中长度尺度超参数未知且易误设的问题，提出长度尺度平衡（LB）方法，通过聚合多尺度代理模型平衡探索与利用，使遗憾界仅以对数因子偏离最优oracle，并在实验中优于A-GP-UCB等方法。
2024-11-22 cs.LG stat.ML
Bayesian Optimization of CVaR with Unknown Hyperparameters
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；RPTU Kaiserslautern-Landau（凯撒斯劳滕-兰道工业大学）；Leibniz University Hannover（汉诺威莱布尼茨大学）；L3S Research Center（L3S研究中心）
针对未知GP超参数的CVaR贝叶斯优化问题，提出首个无遗憾算法HE-CV-UCB，经实验验证其性能优于现有方法。
2026-10-14 cs.LG
PABO: Pseudo Agent-Based Multi-Objective Bayesian Hyperparameter Optimization for Efficient Neural Accelerator Design
Purdue University（普渡大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
深度神经网络（DNN）不断增加的计算成本以及对DNN加速的节能硬件的需求使得DNN的准确性和硬件成本协同优化变得非常重要，特别是对于边缘设备。由于大的参数空间和在搜索空间中评估每个参数的成本，DNN超参数的手动调整是不切实际的。自动联合DNN和硬件超参数优化是必不可少的这样的问题。基于贝叶斯优化的方法在DNN的超参数优化方面已经显示出了有希望的结果。然而，这些技术中的大多数都是在没有考虑底层硬件的情况下开发的，从而导致设计效率低下。此外，少数作品进行联合优化是不可推广的，主要集中在基于CMOS的架构。在这项工作中，我们提出了一种新的基于伪代理的多目标超参数优化（PABO），以最大限度地提高DNN的性能，同时获得低硬件成本。与现有的方法相比，我们的工作提出了一种理论上不同的方法，用于精度和硬件成本的联合优化，并专注于基于忆阻交叉杆的加速器。PABO使用一个管理代理建立网络精度和硬件成本要求的后验高斯分布模型之间的连接。该代理通过消除不必要的计算和更新的采集功能，从而实现显着的加速优化过程，降低了协同优化问题的数学复杂性。PABO输出了一个帕累托边界，强调了设计高精度和硬件效率之间的权衡。我们的研究结果表明，与最先进的方法相比，在准确性和计算速度方面（约100倍的速度）都具有优越的性能。
2019-06-11 cs.ET cs.LG cs.NE
Pattern-Coupled Sparse Bayesian Learning for Recovery of Block-Sparse Signals
University of Electronic Science and Technology of China（电子科技大学）；Stevens Institute of Technology（史蒂文斯理工学院）；Schlumberger-Doll Research Center（斯伦贝谢多尔研究中心）
我们考虑的问题，恢复块稀疏信号的结构是未知的\emph{a priori}。块稀疏信号与非零系数发生在集群自然出现在许多实际情况。然而，在实践中，对块结构的知识通常是不可用的。在本文中，我们开发了一个新的稀疏贝叶斯学习方法恢复块稀疏信号与未知的聚类模式。具体地说，模式耦合的分层高斯先验模型被引入来表征系数之间的统计依赖性，其中一组超参数被用来控制信号系数的稀疏性。与传统的稀疏贝叶斯学习框架中每个单独的超参数独立地与每个系数相关联不同，在本文中，每个系数的先验不仅涉及其自身的超参数，而且还涉及其近邻的超参数。通过这种方式，相邻系数的稀疏模式彼此相关，并且分层模型具有鼓励结构化稀疏解决方案的潜力。超参数以及稀疏信号通过期望最大化（EM）算法最大化其后验概率来学习。数值实验结果表明，该算法与现有方法相比具有一致的优越性。
2013-11-09 cs.IT cs.LG math.IT
Constrained Bayesian Optimization with Max-Value Entropy Search
Amazon（亚马逊）
贝叶斯优化（BO）是一种基于模型的方法，用于顺序优化昂贵的黑盒函数，例如深度神经网络关于其超参数的验证误差。在许多现实世界的情况下，优化进一步受到先验未知的约束。例如，当模型太大时，训练深度网络配置可能会失败，并出现内存不足错误。在这项工作中，我们专注于一个一般的配方高斯过程为基础的BO连续或二进制的约束。我们提出了约束最大值熵搜索（cMES），一种新的信息理论为基础的采集功能，实现这一配方。我们还重新审视的有效性，采用快速计算的MES采集功能的因式分解近似，经验表明，这会导致不准确的结果。在一组广泛的现实世界的约束超参数优化问题，我们表明，cMES相比有利的先前的工作，同时更简单的实现和速度比其他约束扩展熵搜索。
2019-10-15 cs.LG stat.ML
Procrastinated Tree Search: Black-box Optimization with Delayed, Noisy, and Multi-Fidelity Feedback
Cornell University（康奈尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Univ. Lille（里尔大学）；Centrale Lille（里尔中央理工学院）
在黑盒优化问题中，我们的目标是最大化一个未知的目标函数，其中该函数只能通过评估或模拟预言的反馈来访问。在现实生活中，这种预言机的反馈通常是嘈杂的，并且在一些未知的延迟之后可用，这可能取决于预言机的计算时间。此外，如果精确的评估是昂贵的，但粗略的近似是可用的，在一个较低的成本，反馈可以有多保真度。为了解决这个问题，我们提出了一个通用的扩展分层乐观树搜索（HOO），称为ProCrustinated树搜索（PCTS），灵活地适应延迟和噪声容忍的强盗算法。我们提供了一个通用的证明技术，以量化延迟，噪声和多保真度反馈下的PCTS的遗憾。具体来说，我们得到的PCTS启用延迟UCB 1（DUCB 1）和延迟UCB-V（DUCBV）算法的遗憾界限。给定时域$T$，PCTS对于$O(\log T)$的预期延迟保持无延迟HOO的遗憾界，并且对于$α\in (0,1]$的$O(T^{1-α})$的预期延迟保持$O(T^{\frac{1-α}{d+2}})$的遗憾界。我们通过实验验证了多个合成函数和超参数调整问题，PCTS优于最先进的黑箱优化方法，用于不同噪声水平，延迟和保真度的反馈。
2022-04-14 cs.LG math.OC stat.ML
Cost-aware Bayesian Optimization
Cornell University（康奈尔大学）；Amazon, Berlin, Germany（亚马逊柏林分公司）
贝叶斯优化（BO）是一类全局优化算法，适用于在尽可能少的函数评估中最小化昂贵的目标函数。虽然BO预算通常在迭代中给出，但这隐含地根据迭代计数来度量收敛，并假设每个评估具有相同的成本。实际上，评估成本在搜索空间的不同区域中可能不同。例如，神经网络训练的成本与层大小成二次方增加，这是一个典型的超参数。成本感知的BO测量与时间、精力或金钱等替代成本指标的融合，普通BO方法不适合这些成本指标。我们引入成本分摊BO（CArBO），它试图以尽可能少的成本最小化目标函数。CArBO结合了成本效益的初始设计与成本冷却优化阶段，随着迭代的进行，该阶段会使学习到的成本模型贬值。在一组20黑盒函数优化问题，我们表明，在相同的成本预算，CArBO发现显着更好的超参数配置比竞争的方法。
2020-03-22 cs.LG stat.ML
Using Known Information to Accelerate HyperParameters Optimization Based on SMBO
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；WiseUranium corp.（WiseUranium公司）
自动机是解决机器学习问题的关键技术。现有技术的超参数优化方法基于传统的黑盒优化方法，如SMBO（SMAC，TPE）。黑盒优化的目标函数是不平滑的，或者评估耗时，或者在某种程度上是嘈杂的。近年来，许多研究人员提出了有关超参数性质的工作。然而，传统的超参数优化方法没有考虑这些信息。本文利用梯度信息和机器学习模型分析信息对传统的超参数优化方法SMBO进行加速。在我们的L2范数实验中，我们的方法产生了最先进的性能，并且在许多情况下优于以前的最佳配置方法。
2019-07-18 cs.LG stat.ML
Predicting the utility of search spaces for black-box optimization: a simple, budget-aware approach
Google Research（谷歌研究院）
黑盒优化需要指定一个搜索空间来探索解决方案，例如d维紧凑空间，这种选择对于以合理的预算获得最佳结果至关重要。不幸的是，在许多应用中，确定高质量的搜索空间可能是具有挑战性的。例如，当在给定有限预算的情况下针对新问题调整机器学习管道的超参数时，必须在排除潜在有希望的区域和保持搜索空间足够小以易于处理之间取得平衡。这项工作的目标是激励-通过调整深度神经网络的示例应用-预测以预算为条件的搜索空间的质量的问题，以及提供一种简单的评分方法，该方法基于应用于概率响应面模型的效用函数，类似于贝叶斯优化。我们表明，我们提出的方法可以在各种情况下计算有意义的无条件分数。我们还提供了实验证据，准确的分数可以在构建和修剪搜索空间有用。最终，我们认为对搜索空间进行评分应该成为深度学习实验工作流程中的标准做法。
2021-12-16 cs.LG
Towards White-box Benchmarks for Algorithm Control
University of Freiburg（弗赖堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
在困难的组合问题求解、机器学习或人工智能领域中，许多算法的性能通常取决于调整的超参数配置。已经提出了自动化方法来减轻用户在一组问题实例中手动搜索性能优化配置的繁琐且容易出错的任务。然而，通过在线调整算法的超参数仍然有很大的潜力，因为不同的超参数在算法的不同阶段可能是最优的。我们将动态调整给定实例的算法超参数的问题表述为上下文MDP，使强化学习（RL）成为以数据驱动方式解决所产生的算法控制问题的主要候选者。此外，受算法配置应用的启发，我们引入了新的白盒基准适合研究算法控制。我们表明，在短序列，算法配置是一个有效的选择，但随着序列长度的增加，黑盒视图的问题很快变得不可行和RL执行更好。
2019-08-22 cs.AI cs.LG cs.SY
Towards Scalable Gaussian Process Modeling
GE Research（通用电气研究中心）
工业界感兴趣的许多工程问题通常以昂贵的黑箱客观实验或计算机模拟为特征。深入了解问题或执行后续优化需要对目标函数进行数十万次评估，这通常是一项实际上无法实现的任务。高斯过程（GP）代理建模用一个评估成本低的数据驱动的概率模型代替了昂贵的函数。虽然GP不假设问题的函数形式，但它由一组称为超参数的参数定义。超参数定义了目标函数的特性，如平滑度、幅度、周期性等。准确估计这些超参数是开发可靠和可推广的代理模型的关键因素。马尔可夫链蒙特卡罗（MCMC）是一种广泛使用的贝叶斯方法来估计这些超参数。在通用电气全球研究中心，一个定制的行业强度贝叶斯混合建模框架，利用GP，称为GEBHM，已被采用和验证多年。GEBHM对中小规模的问题非常有效，通常少于1000个训练点。然而，GP不能随着不断增长的数据集和问题维度及时地扩展，这可能是此类问题的主要障碍。在这项工作中，我们扩展和实施GEBHM的自适应序贯蒙特卡罗（ASMC）的方法来训练GP，使大型工业问题的建模。这种实现节省了计算时间（特别是对于大规模问题），同时不会牺牲当前MCMC实现的可预测性。我们证明了GEBHM与ASMC的有效性和准确性的四个数学问题和两个具有挑战性的行业应用程序的不同复杂性。
2019-07-25 cs.LG stat.AP stat.ML
FlexHB: a More Efficient and Flexible Framework for Hyperparameter Optimization
Tencent（腾讯）；Tsinghua University（清华大学）
本文提出FlexHB框架，通过细粒度保真度方法和自适应SH括号分配提升多保真度贝叶斯优化的效率与灵活性，在HPO任务上相比MFES-HB和BOHB分别实现最高6.9倍和11.1倍加速。
2024-02-21 cs.LG
Convergence of Adam for Non-convex Objectives: Relaxed Hyperparameters and Non-ergodic Case
针对Adam在非凸目标下收敛性未完全明确的问题，本文明确遍历与非遍历收敛定义，提出更松弛的遍历收敛超参数条件，首次证明最后迭代点收敛性，在PL条件下得到O(1/K)非遍历速率，完善理论基础。
2023-07-20 cs.LG cs.NA math.NA
A note on hyperparameters in black-box adversarial examples
University College London（伦敦大学学院）
自从Biggio et al.（2013）和Szegedy et al.（2013）第一次引起人们对对抗性例子的关注以来，已经有大量的研究来防御和攻击机器学习模型。然而，几乎所有提出的攻击都假设对模型的白盒访问。换句话说，攻击者被假设对模型的权重和架构有着完美的了解。有了这些内部知识，白盒攻击可以利用梯度信息来制作对抗性示例。黑盒攻击假设不知道模型的权重或架构。这些攻击使用仅包含在logits或硬分类标签中的信息来制作对抗性示例。在这里，我们假设攻击者可以使用logits来找到一个对抗性的例子。经验上，我们表明，双边随机梯度估计技术是不敏感的缩放参数，并可用于安装强大的黑盒攻击，需要相对较少的模型查询。
2018-11-15 cs.CR cs.LG
Informed Initialization for Bayesian Optimization and Active Learning
Meta
HIPE是一种基于信息的初始化策略，通过平衡预测不确定性减少与超参数学习，提升贝叶斯优化和主动学习的性能。
2025-12-13 cs.LG
Graduated Optimization of Black-Box Functions
GT-ARC（GT-ARC研究中心）
受机器学习中超参数调整问题的启发，我们提出了一种新的方法来逐步和自适应地优化未知函数的估计梯度。我们验证的经验性能的低维和高维问题的建议的想法。实验结果表明，我们的方法调整高维超参数在机器学习的优势。
2019-06-04 cs.LG math.OC stat.ML
DAEs for Linear Inverse Problems: Improved Recovery with Provable Guarantees
San Jose State University（圣何塞州立大学）
生成先验已被证明在线性逆问题中提供比稀疏先验更好的结果。然而，现有技术的方法具有以下缺点中的一个或多个：（a）恢复速度慢;（b）重建质量有缺陷;（c）重建质量取决于调整超参数的计算上昂贵的过程。在这项工作中，我们通过利用去噪自动编码器（DAE）作为先验知识和投影梯度下降算法来恢复原始信号来解决这些问题。我们为我们的方法提供了严格的理论保证，并通过实验证明了它在压缩感知，修复和超分辨率方面优于现有的最先进的方法。我们发现，我们的算法将恢复速度提高了两个数量级（超过100倍），将重建质量提高了一个数量级（超过10倍），并且不需要调整超参数。
2021-01-13 cs.CV cs.LG eess.IV
HyperSHAP: Shapley Values and Interactions for Explaining Hyperparameter Optimization
本文提出基于Shapley值与交互作用的博弈论框架HyperSHAP，用于解释超参数优化中超参数的贡献与交互，提升HPO的可解释性和用户信任。
2025-11-10 cs.AI cs.LG stat.ML
HPO-B: A Large-Scale Reproducible Benchmark for Black-Box HPO based on OpenML
University of Freiburg（弗莱堡大学）；University of Hildesheim（希尔德斯海姆大学）；Amazon Research（亚马逊研究院）
超参数优化（HPO）是机器学习界的核心问题，并且由于评估超参数配置所需的大量计算资源而在很大程度上仍未解决。因此，最近的一系列相关工作都集中在迁移学习的方向上，以快速微调数据集上的超参数。不幸的是，社区没有一个通用的大规模基准来比较HPO算法。相反，事实上的实践包括对任意小规模元数据集的经验协议，这些元数据集在出版物中的变化不一致，使得再现性成为一个挑战。为了解决这一主要瓶颈，并在公平的竞争环境中对黑盒HPO方法进行公平快速的比较，我们提出了HPO-B，这是一个新的大规模基准，以元数据集的形式。我们的基准测试是从OpenML存储库中组装和预处理的，由176个搜索空间（算法）组成，在196个数据集上进行了稀疏评估，总共有640万个超参数评估。为了确保我们的基准的再现性，我们详细介绍了明确的实验协议，分裂和评估措施，用于比较非迁移学习和迁移学习HPO的方法。
2021-10-11 cs.LG
HEBO Pushing The Limits of Sample-Efficient Hyperparameter Optimisation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Technische Universität Darmstadt（达姆施塔特工业大学）；University of Cambridge（剑桥大学）；University College London（伦敦大学学院）
在这项工作中，我们严格分析黑盒优化超参数调整任务所固有的假设。我们在贝叶斯标记基准上的结果表明，异方差和非平稳性对黑箱优化器提出了重大挑战。基于这些发现，我们提出了一个异方差和进化贝叶斯优化求解器（HEBO）。HEBO执行非线性输入和输出翘曲，承认精确的边际对数似然优化，是强大的学习参数的值。我们展示了HEBO在NeurIPS 2020黑盒优化挑战中的经验功效，HEBO在其中排名第一。经过进一步分析，我们观察到HEBO在108个机器学习超参数调整任务（包括贝叶斯标记基准）上的表现明显优于现有的黑盒优化器。我们的研究结果表明，大多数超参数调整任务表现出异方差性和非平稳性，多目标收购合奏与帕累托前沿解决方案改善查询配置，和强大的收购最大化提供经验优势，相对于他们的非强大的同行。我们希望这些发现可以作为贝叶斯优化实践者的指导原则。所有代码都可以在https://github.com/huawei-noah/HEBO上获得。
2022-05-25 cs.LG math.OC
