Bayesian Optimization is Superior to Random Search for Machine Learning Hyperparameter Tuning: Analysis of the Black-Box Optimization Challenge 2020
Twitter（推特）；Facebook（脸书）；SigOpt, an Intel company（SigOpt（英特尔公司旗下））；Valohai；Paradigm（第四范式）；ChaLearn
本文介绍了2020年7月至10月在NeurIPS 2020上进行的黑盒优化（BBO）挑战的结果和见解。该挑战强调了评估无导数优化器对于调整机器学习模型的超参数的重要性。这是第一个以机器学习为重点的黑盒优化挑战。它基于标准机器学习模型在真实数据集上的调整（验证集）性能。这种竞争具有广泛的影响，因为黑盒优化（例如，贝叶斯优化）与几乎每个机器学习项目以及机器学习之外的许多应用程序中的超参数调优相关。最终的排行榜是使用保持（隐藏）目标函数的优化性能确定的，其中优化器在没有人为干预的情况下运行。基线是使用几个开源黑盒优化包的默认设置以及随机搜索来设置的。
2021-08-31 cs.AI cs.LG stat.ML
Automated Hyperparameter Optimization Challenge at CIKM 2021 AnalyticCup
Peking University（北京大学）
在本文中，我们描述了我们在QQ浏览器2021 AI算法竞赛（ACM CIKM 2021 AnalyticCup Track 2）中解决自动超参数优化挑战的方法。竞赛组织者提供匿名的现实工业任务和数据集，用于黑盒优化。基于我们的开源软件包OpenBox，我们采用贝叶斯优化框架的配置采样和启发式提前停止策略。我们在初赛和决赛中都获得了第一名，成绩分别为0.938291和0.918753。
2021-10-31 cs.LG
Fast Bayesian Optimization of Machine Learning Hyperparameters on Large Datasets
University of Freiburg（弗莱堡大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
贝叶斯优化已经成为机器学习算法（例如支持向量机或深度神经网络）的超参数优化的成功工具。尽管它取得了成功，但对于大型数据集，训练和验证单个配置通常需要数小时、数天甚至数周，这限制了可实现的性能。为了加速超参数优化，我们提出了一个生成模型的验证误差作为训练集大小的函数，这是在优化过程中学习，并允许探索初步配置的小子集，通过外推到完整的数据集。我们构建了一个贝叶斯优化过程，称为Fabolas，它将损失和训练时间建模为数据集大小的函数，并自动权衡关于全局最优值的高信息增益与计算成本。优化支持向量机和深度神经网络的实验表明，Fabolas找到高质量解决方案的速度通常比其他最先进的贝叶斯优化方法或最近提出的强盗策略Hyperband快10到100倍。
2017-03-07 cs.AI cs.LG stat.ML
Bayesian Optimization Using Monotonicity Information and Its Application in Machine Learning Hyperparameter
University of British Columbia（英属哥伦比亚大学）
我们提出了一个算法的一个家庭的优化问题的目标可以分解为一个函数的单调性的总和。激励问题是优化超参数的机器学习算法，我们认为，目标，验证误差，可以分解为单调函数的超参数。我们提出的算法采用贝叶斯优化方法，将单调性约束。我们使用说明性的例子说明了利用单调性的优点，并证明了一些机器学习超参数调整应用程序的优化效率的提高。
2018-02-16 cs.LG stat.ML
DC and SA: Robust and Efficient Hyperparameter Optimization of Multi-subnetwork Deep Learning Models
University of Texas Southwestern Medical Center（德克萨斯大学西南医学中心）
我们提出了两种新的超参数优化策略，用于优化具有多个子网络构建的模块化架构的深度学习模型。随着具有多个子网络的复杂网络越来越频繁地应用于机器学习，需要超参数优化方法来有效地优化其超参数。现有的超参数搜索是通用的，可以用来优化这样的网络，然而，通过利用多子网络架构，这些搜索可以大大加快。所提出的方法提供了更快的收敛到一个更好的表现最终模型。为了证明这一点，我们提出了两种独立的方法来增强这些先前的算法：1）分而治之的方法，其中最佳性能模型的最佳子网络被组合在一起，允许更快速地对超参数搜索空间进行采样。2)一种子网自适应方法，根据每个子网的重要性分配计算资源，从而实现更智能的资源分配。这些方法可以灵活地应用于许多超参数优化算法中。为了说明这一点，我们结合我们的方法与常用的贝叶斯优化方法。然后，我们的方法进行了测试，对合成的例子和现实世界的例子，并适用于多种网络类型，包括卷积神经网络和密集前馈神经网络。与类似的BO方法相比，我们的方法显示出高达23.62倍的优化效率，以及高达3.5%的分类准确率和4.4 MSE的回归最终性能提升。
2022-02-24 cs.LG
Gradient-based Hyperparameter Optimization through Reversible Learning
调整学习算法的超参数很难，因为梯度通常不可用。我们通过在整个训练过程中向后链接导数来计算关于所有超参数的交叉验证性能的精确梯度。这些梯度使我们能够优化数千个超参数，包括步长和动量计划，权重初始化分布，丰富的参数化正则化方案和神经网络架构。我们计算超参数梯度的动力学完全逆转的随机梯度下降与动量。
2015-04-02 cs.LG stat.ML
SMAC3: A Versatile Bayesian Optimization Package for Hyperparameter Optimization
Leibniz University Hannover（莱布尼茨汉诺威大学）；University of Freiburg（弗莱堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
算法参数，特别是机器学习算法的超参数，可以显著影响它们的性能。为了支持用户为其算法、数据集和应用程序确定性能良好的超参数配置，SMAC3为贝叶斯优化提供了一个强大而灵活的框架，可以在几次评估中提高性能。它为典型用例提供了几个外观和预设，例如优化超参数，解决低维连续（人工）全局优化问题，以及配置算法以在多个问题实例中表现良好。SMAC3软件包可以在https://github.com/automl/SMAC3上获得许可的BSD许可证。
2022-02-08 cs.LG stat.ML
CMA-ES for Hyperparameter Optimization of Deep Neural Networks
Univesity of Freiburg（弗莱堡大学）
深度神经网络的超参数通常通过网格搜索、随机搜索或贝叶斯优化来优化。作为替代方案，我们建议使用协方差矩阵自适应演化策略（CMA-ES），该策略以其在无导数优化中的最新性能而闻名。CMA-ES具有一些有用的不变性性质，并且对于解的并行计算是友好的。我们提供了一个玩具例子，比较了CMA-ES和最先进的贝叶斯优化算法，用于在30个GPU上并行调整MNIST数据集的卷积神经网络的超参数。
2016-04-25 cs.LG cs.NE
Auto-WEKA: Combined Selection and Hyperparameter Optimization of Classification Algorithms
University of British Columbia（不列颠哥伦比亚大学）
存在许多不同的机器学习算法;考虑到每个算法的超参数，总体上存在大量可能的替代方案。我们考虑的问题，同时选择一个学习算法和设置其超参数，超越以前的工作，解决这些问题的孤立。我们表明，这个问题可以通过一个完全自动化的方法来解决，利用贝叶斯优化的最新创新。具体来说，我们考虑了广泛的特征选择技术（结合3搜索和8评估方法）和WEKA中实现的所有分类方法，跨越2集成方法，10元方法，27个基础分类器，和每个分类器的超参数设置。在来自UCI存储库的21个流行数据集、KDD Cup 09、MNIST数据集的变体和CIFAR-10上，我们显示出的分类性能通常比使用标准选择/超参数优化方法要好得多。我们希望我们的方法将帮助非专家用户更有效地识别适合其应用程序的机器学习算法和超参数设置，从而提高性能。
2013-03-06 cs.LG
Efficient Hyperparameter Optimization under Multi-Source Covariate Shift
CyberAgent, Inc.（赛博agent公司）；Hanjuku-kaso, Co., Ltd.（半熟 kaso 公司）
监督机器学习中的一个典型假设是训练（源）和测试（目标）数据集遵循完全相同的分布。然而，这一假设在不确定的实际应用中经常被违反，这激发了对协变量偏移下学习的研究。在这种情况下，朴素地使用自适应超参数优化方法（例如贝叶斯优化）不能如所期望的那样工作，因为它不能解决不同数据集之间的分布偏移。在这项工作中，我们考虑了一个新的超参数优化问题下的多源协变量偏移，其目标是找到最优的超参数的目标任务，仅使用未标记的数据在一个目标任务和标记的数据在多个源任务。为了对目标任务进行有效的超参数优化，必须仅使用可用信息来估计目标目标。为此，我们构造了方差减少估计，无偏地近似的目标与期望的方差属性的目标。基于所提出的估计器，我们提供了一个通用的和易于处理的超参数优化过程，它最好在我们的设置与无遗憾的保证。实验结果表明，该框架拓宽了自动超参数优化的应用范围。
2021-08-16 cs.LG stat.ML
Stabilizing Bi-Level Hyperparameter Optimization using Moreau-Yosida Regularization
America Research Lab, LG Electronics（LG电子美国研究院）
本文提出用Moreau-Yosida包络线来稳定双层超参数优化求解器的收敛行为，并介绍了Moreau-Yosida正则化超参数优化（MY-HPO）算法。对MY-HPO解的正确性和初始收敛性进行了理论分析。我们的实证结果表明，在固定的计算预算的损失值显着改善，相比，最先进的双层HPO求解器。
2020-07-27 cs.LG stat.ML
Amortized Auto-Tuning: Cost-Efficient Bayesian Transfer Optimization for Hyperparameter Recommendation
Carnegie Mellon University（卡内基梅隆大学）；Petuum（Petuum公司）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Stanford University（斯坦福大学）
随着现代机器学习模型的超参数数量和训练时间的激增，超参数调整变得越来越昂贵。然而，在系统地评估了40种调优方法后，我们发现每种方法都面临一定的局限性。特别是，通过知识转移加速调优的方法通常需要超参数的最终性能，并且不关注低保真度信息。正如我们的经验表明，这种常见的做法是次优的，并可能导致不必要的资源使用。相反，利用低保真度调优观察来测量任务间的相似性并相应地将知识从现有任务转移到新任务是更具有成本效益的。然而，执行多保真度调优在传输设置中也有其自身的挑战：额外观察中的噪声以及对性能预测的需求。因此，我们提出了一个多任务多保真度贝叶斯优化框架，并进行了深入的分析，这导致了最好的实例-分期自动调整（AT 2）。我们进一步提出了一个离线计算的27任务超参数推荐（HyperRec）数据库，以服务于社区。在HyperRec和其他真实数据库上的大量实验表明了我们的AT 2方法的有效性。
2022-04-07 cs.AI cs.LG stat.ML
Multi-level Training and Bayesian Optimization for Economical Hyperparameter Optimization
Tsinghua University（清华大学）；Purdue University（普渡大学）
超参数在许多机器学习方法的性能中起着至关重要的作用。确定它们的最佳设置或超参数优化（HPO）面临着大量超参数以及过多训练时间所带来的困难。在本文中，我们开发了一种有效的方法来减少所需的培训时间的总量HPO。在初始化中，使用嵌套拉丁超立方体设计来选择两种类型的训练的超参数配置，这两种类型的训练分别是重训练和轻训练。我们提出了一个截断的加性高斯过程模型来校准由轻训练产生的近似性能测量，使用由重训练产生的准确性能测量。在此基础上，提出了一种基于模型的序贯算法来生成配置空间的性能剖面，并找到最优的性能剖面。我们提出的方法在应用于优化合成示例、支持向量机、全连接网络和卷积神经网络时表现出具有竞争力的性能。
2020-07-20 cs.LG stat.ML
Differentially Private Hyperparameter Tuning using Local Bayesian Optimization
Department of Statistics Columbia University（统计学系哥伦比亚大学）
本文提出DP-GIBO框架，通过高斯过程代理私密近似梯度，实现高维空间下的差分隐私超参数调优，优于非隐私随机搜索和全局贝叶斯优化方法。
2026-05-08 cs.LG stat.ML
Fast Hyperparameter Tuning using Bayesian Optimization with Directional Derivatives
Deakin University（迪肯大学）
在本文中，我们开发了一个基于贝叶斯优化的超参数调整框架的启发，统计学习理论的分类。我们利用PAC学习理论中的两个关键事实;与整体相比，数据的小子集的泛化范围将更高，并且可以通过简单的模型实现数据的小子集的最高精度。我们首先使用贝叶斯优化在一小部分训练数据上调整超参数。在调整整个训练数据的超参数时，我们利用学习理论的见解来寻求更复杂的模型。我们实现这一点，通过使用方向导数符号战略性地放置在超参数搜索空间，以寻求一个更复杂的模型比小数据获得的。我们证明了我们的方法的性能上的任务调整超参数的几个机器学习算法。
2019-02-06 cs.LG stat.ML
Cost-Effective Hyperparameter Optimization for Large Language Model Generation Inference
Microsoft Research（微软研究院）
本文提出EcoOptiGen框架，通过经济型超参数优化和基于成本的剪枝，在有限推理预算下最大化LLM生成效用，并在GPT-3.5/GPT-4上验证有效。
2023-08-08 cs.AI cs.CL cs.LG
A Population-based Hybrid Approach to Hyperparameter Optimization for Neural Networks
Federal Center for Technological Education of Rio de Janeiro (CEFET/RJ)（里约热内卢联邦技术教育中心（CEFET/RJ））
本文提出基于种群的混合超参数优化方法 HBRKGA，结合偏置随机密钥遗传算法与随机游走，在八个数据集中六个上预测质量优于基线且耗时合理。
2020-11-27 cs.LG
Efficient hyperparameter optimization by way of PAC-Bayes bound minimization
D.E. Shaw Research（D.E. Shaw 研究所）；Department of Biochemistry and Molecular Biophysics, Columbia University（哥伦比亚大学生物化学与分子生物物理学系）
识别高维超参数集的最优值是一个问题，由于其对大规模机器学习应用（如神经架构搜索）的重要性，因此受到越来越多的关注。最近开发的优化方法可以用来选择数千甚至数百万个超参数。然而，这些方法通常会产生过拟合模型，导致对不可见数据的性能较差。我们认为，这种过拟合的结果使用标准的超参数优化目标函数。在这里，我们提出了一个替代的目标，这是相当于一个可能近似正确的贝叶斯（PAC贝叶斯）的预期样本外的错误。然后，我们设计了一个有效的基于梯度的算法，以尽量减少这个目标，所提出的方法具有渐近的空间和时间复杂度等于或优于其他基于梯度的超参数优化方法。我们表明，这种新方法显着降低了样本误差时，应用于超参数优化问题已知是容易过拟合。
2020-08-14 cs.LG stat.ML
Hyperparameter Optimization: A Spectral Approach
Princeton University（普林斯顿大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Cornell University（康奈尔大学）
我们从布尔函数的分析中得到启发，给出了一个简单、快速的超参数优化算法。我们专注于高维制度，其中的典型例子是训练一个神经网络与大量的超参数。该算法-正交多项式的压缩感知技术的迭代应用-只需要均匀采样的超参数，因此很容易并行化。在Cifar-10上训练深度神经网络的实验表明，与最先进的工具（例如，Hyperband和Spearmint），我们的算法发现显着改进的解决方案，在某些情况下比手动调整所能达到的效果更好。在总运行时间方面（即，采样各种超参数设置所需的时间加上额外的计算时间），我们至少比Hyperband和Bayesian Optimization快一个数量级。我们也优于随机搜索8x。此外，我们的方法具有可证明的保证，并在二十多年来首次改进了学习决策树的样本复杂性。特别地，我们得到了第一个准多项式时间算法学习噪声决策树多项式样本复杂度。
2018-01-20 cs.AI cs.LG math.OC
Asynchronous Decentralized Bayesian Optimization for Large Scale Hyperparameter Optimization
Université Paris-Saclay（巴黎萨克雷大学）；Argonne National Laboratory（阿贡国家实验室）；Google（谷歌）；Oak Ridge National Laboratory（橡树岭国家实验室）
针对集中式并行贝叶斯优化难以扩展的问题，提出异步去中心化 BO，使各工作者独立运行顺序 BO 并经共享存储同步结果，在 1,920 个工作者上保持 95% 以上利用率并提升 CANDLE 基准性能。
2023-09-26 cs.LG
Scaling Laws for Hyperparameter Optimization
University of Freiburg（弗莱堡大学）；Amazon Web Services（亚马逊云服务）；Amazon Berlin（亚马逊柏林）
本文提出基于神经网络的幂律缩放集成模型DPL，通过利用学习曲线的幂律特性进行动态配置选择，在多个基准和任务上超越了7种先进方法。
2023-10-25 cs.LG
Cost-Efficient Online Hyperparameter Optimization
University of Toronto（多伦多大学）；Uber ATG（优步先进技术集团）；ETH Zürich（苏黎世联邦理工学院）
最近关于超参数优化（HPO）的工作表明，可以将某些超参数与常规参数一起训练。然而，这些在线HPO算法仍然需要在每个训练步骤中对一组验证示例进行评估，从而急剧增加了训练成本。为了决定何时查询验证损失，我们将在线HPO建模为随时间变化的贝叶斯优化问题，在此基础上，我们提出了一种新的\textit{costly feedback}设置来捕获查询成本的概念。在这种设置下，标准算法是成本效率低下的，因为它们在每一轮都对验证集进行评估。相比之下，本文提出的具有成本效益的GP-UCB算法仅在模型对当前决策不太自信时才查询未知函数。我们通过在CIFAR-10和ImageNet 100上在线调整VGG和ResNet的超参数来评估我们提出的算法。我们提出的在线HPO算法在一次实验中达到了人类专家级的性能，而与常规训练相比，只产生了适度的计算开销。
2021-01-17 cs.AI cs.CV cs.LG
From Black-Box Tuning to Guided Optimization via Hyperparameters Interaction Analysis
IRIT, UMR5505 CNRS Université Toulouse Capitole（IRIT，CNRS UMR5505，图卢兹大学）；LIS, UMR 7020 CNRS Aix-Marseille University（LIS，CNRS UMR7020，阿维尼翁-马赛大学）
MetaSHAP通过分析超参数交互，提供可操作的调优见解，帮助优化机器学习模型。
2025-12-22 cs.LG
No-Regret Bayesian Optimization with Unknown Hyperparameters
ETH Zurich（苏黎世联邦理工学院）；University of Toronto（多伦多大学）
基于高斯过程模型的贝叶斯优化（BO）是一种有效的优化黑箱函数的方法。虽然一些BO算法可证明收敛于未知函数的全局最优解，但它们假设内核的超参数是预先已知的。但实际情况并非如此，错误指定通常会导致这些算法收敛到较差的局部最优值。在本文中，我们提出了第一个BO算法，可证明没有遗憾，收敛到最佳的超参数的知识。在优化过程中，我们缓慢地调整静态内核的超参数，从而随着时间的推移扩展相关的函数类，以便BO算法考虑更复杂的函数候选。基于理论上的见解，我们提出了几个实用的算法，实现BO的经验样本效率与在线超参数估计，但保留理论上的收敛保证。我们评估我们的方法在几个基准问题。
2019-04-01 cs.LG stat.ML
A Gradient-based Bilevel Optimization Approach for Tuning Hyperparameters in Machine Learning
Indian Institute of Management Ahmedabad（印度管理学院艾哈迈达巴德分校）
超参数整定是机器学习中的一个活跃研究领域，其目的是确定在验证集上提供最佳性能的最佳超参数。超参数调优通常使用简单的技术来实现，例如随机搜索和网格搜索。然而，这些方法中的大多数很少导致最佳的超参数集，并且通常非常昂贵。在本文中，我们提出了一个双层的解决方法来解决超参数优化问题，没有遭受的缺点，早期的研究。该方法具有通用性，可以方便地应用于任何类型的机器学习算法。该思想基于下层最优价值函数映射的近似，该映射是双层优化中的一个重要映射，有助于将双层优化问题简化为单层约束优化问题。采用增广拉格朗日方法求解单级约束优化问题。我们讨论了所提出的算法背后的理论，并在两个数据集上进行了广泛的计算研究，证实了所提出的方法的效率。我们对网格搜索，随机搜索和贝叶斯优化技术进行了比较研究，结果表明，所提出的算法在具有一个或两个超参数的问题上要快数倍。随着超参数数量的增加，计算增益预计会显著增加。对应于给定的超参数，文献中的大多数技术通常假设唯一的最优参数集，使训练集上的损失最小化。这样的假设经常被深度学习架构违反，并且所提出的方法不需要任何这样的假设。
2020-07-21 cs.LG stat.ML
HyperArm Bandit Optimization: A Novel approach to Hyperparameter Optimization and an Analysis of Bandit Algorithms in Stochastic and Adversarial Settings
University of Ottawa（渥太华大学）
本文分析随机与对抗环境下 ETC、UCB、EXP3 的遗憾界，并提出 HABO 框架，将超参数作为超级臂、配置作为子臂进行调优，实验显示其在效率和准确率上优于 Bayesian Optimization。
2025-03-13 cs.LG
Frugal Optimization for Cost-related Hyperparameters
Microsoft Research（微软研究院）
对机器学习算法民主化的日益增长的需求要求低成本的超参数优化（HPO）解决方案。许多机器学习算法都有超参数，这可能会导致训练成本的大幅变化。但现有的HPO方法在很大程度上忽略了这一影响，无法在优化过程中适当地控制成本。为了解决这个问题，我们开发了一种新的成本节约的HPO解决方案。我们的解决方案的核心是一个简单的，但新的随机直接搜索方法，我们证明了收敛速度的$O(\frac{\sqrt{d}}{\sqrt{K}})$和$O(dε^{-2})$近似保证的总成本。我们提供了强有力的实证结果与国家的最先进的HPO方法在大型AutoML基准比较。
2020-12-22 cs.LG stat.ML
Fair and Green Hyperparameter Optimization via Multi-objective and Multiple Information Source Bayesian Optimization
University of Milano-Bicocca（米兰比可卡大学）；OAKS srl（OAKS有限责任公司）
有一个共识是，只关注搜索最佳机器学习模型的准确性会放大数据中包含的偏差，导致不公平的预测和决策支持。最近，多目标超参数优化已经被提出来搜索机器学习模型，这些模型在准确性和公平性之间提供同样的帕累托有效的权衡。虽然这些方法被证明比公平感知的机器学习算法更通用-优化精度限制在某个公平阈值上-但在大型数据集的情况下，它们可能会大幅增加能耗。在本文中，我们提出了FangG-HPO，一个公平的和绿色的超参数优化（HPO）方法的基础上，多目标和多信息源贝叶斯优化。FanG-HPO使用大型数据集的子集（又名信息源）来获得准确性和公平性的廉价近似值，并使用多目标贝叶斯优化来有效地识别帕累托有效的机器学习模型。实验考虑了两个基准（公平性）数据集和两种机器学习算法（XGBoost和多层感知器），并通过BoTorch中的多目标单源优化算法对FanG-HPO进行了评估，BoTorch是最先进的贝叶斯优化平台。
2022-05-18 cs.LG math.OC stat.ML
Hyperparameter Optimization: Foundations, Algorithms, Best Practices and Open Challenges
Ludwig-Maximilians-Universität München（慕尼黑大学）；TU Dortmund University（多特蒙德工业大学）
大多数机器学习算法都是由一个或多个超参数配置的，这些超参数必须仔细选择，并且通常会显著影响性能。为了避免耗时且不可再现的手动试错过程以找到性能良好的超参数配置，各种自动超参数优化（HPO）方法，例如，可以采用基于用于监督机器学习的复位误差估计。本文在介绍了HPO的基本概念后，重点介绍了随机搜索、进化算法、贝叶斯优化、Hyperband和赛车等HPO方法。它提供了关于进行HPO时要做出的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道结合起来，运行时改进和并行化。本文附有一个附录，其中包含有关R和Python中特定软件包的信息，以及特定学习算法的信息和推荐的超参数搜索空间。我们还提供了笔记本，展示了这项工作的概念作为补充文件。
2021-11-24 cs.LG stat.ML
Bayesian Optimization of Genetic Algorithm Hyperparameters in a Multi-Fidelity Framework for Efficient Lattice Material Design
IMDEA Materials Institute（IMDEA材料研究所）；Department of Materials Science and Engineering and Chemical Engineering（材料科学与工程及化学工程系）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
研究提出多保真框架优化遗传算法超参数，整合三个保真度级别，评估多种采集函数，logNEI性能最佳。该框架确定的超参数配置能减少计算成本，实现快速收敛，验证了代理驱动优化策略的有效性，证明多保真优化对GA超参数调整及晶格设计研究的潜力。
2026-07-09 cond-mat.dis-nn cond-mat.mtrl-sci cs.AI
Practical Multi-fidelity Bayesian Optimization for Hyperparameter Tuning
Cornell University（康奈尔大学）
贝叶斯优化在优化耗时的黑盒目标方面很受欢迎。尽管如此，对于深度神经网络中的超参数调整，即使是几个超参数设置，评估验证误差所需的时间仍然是一个瓶颈。多保真度优化承诺使用更便宜的代理来缓解这些目标-例如，使用训练点的子集训练的网络的验证错误或比收敛所需的迭代次数更少。我们提出了一种高度灵活和实用的方法，多保真度贝叶斯优化，重点是有效地优化超参数迭代训练监督学习模型。我们引入了一个新的采集函数，跟踪感知的知识梯度，它有效地利用了多个连续的保真度控制和跟踪观察-目标的值在一个序列的精度，当使用训练迭代改变保真度。我们提供了一种可证明收敛的方法来优化我们的采集函数，并表明它优于深度神经网络和大规模内核学习的超参数调整的最先进的替代方案。
2019-03-12 cs.LG math.OC stat.ME
Multi-Objective Hyperparameter Optimization in Machine Learning -- An Overview
Fraunhofer Institut für integrierte Schaltungen（弗劳恩霍夫集成电路研究所）；Ludwig-Maximilians-Universität München（慕尼黑大学）；Technische Universität Dortmund（多特蒙德工业大学）；Universidad Pontificia Comillas（康普卢滕塞大学）；Warwick Business School（华威商学院）
本文综述了机器学习中的多目标超参数优化，介绍其基本概念并系统梳理进化算法与贝叶斯优化等策略，同时展示其在运行条件、预测时间、稀疏性、公平性、可解释性和鲁棒性等目标上的应用价值。
2024-06-06 cs.LG stat.ML
Reshuffling Resampling Splits Can Improve Generalization of Hyperparameter Optimization
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文研究超参数优化中重采样划分的重排策略，理论分析其影响并实验证明重排划分可提升模型泛化性能，尤其在留出法下效果显著。
2024-11-07 cs.LG stat.ML
DEEP-BO for Hyperparameter Optimization of Deep Networks
Seoul National University（首尔大学）；UNIST（蔚山科学技术院）
深度神经网络（DNN）的性能对超参数的特定选择非常敏感。更糟糕的是，当使用像batchnorm这样的技术时，学习曲线的形状会受到显着影响。因此，深度网络的超参数优化可能比传统的机器学习模型更具挑战性。在这项工作中，我们从众所周知的贝叶斯优化解决方案开始，并提供专门为深度网络的超参数优化设计的增强策略。DEEP-BO（Diversified，Early-termination-Enabled，and Parallel Bayesian Optimization）是一种基于贝叶斯优化的算法。当在六个DNN基准测试中进行评估时，DEEP-BO的表现轻松优于或表现出与一些知名解决方案相当的性能，包括GP-Hedge，Hyperband，BOHB，中位数停止规则和学习曲线外推。所使用的代码可在https://github.com/snu-adsl/DEEP-BO上公开获取。
2019-05-23 cs.DC cs.LG stat.ML
Bayesian Hyperparameter Optimization for Deep Neural Network-Based Network Intrusion Detection
Kennesaw State University（肯尼索州立大学）；Florida International University（佛罗里达国际大学）；United International University（联合国际大学）；University of Calabria（卡拉布里亚大学）；LORIA（洛林计算机科学及其应用实验室）；Tuskegee University（塔斯基吉大学）
传统的网络入侵检测方法在对抗现代、复杂和不可预测的安全攻击时遇到了可行性和可持续性问题。深度神经网络（DNN）已成功应用于入侵检测问题。基于DNN的分类器的最佳使用需要仔细调整超参数。手动调整超参数是繁琐、耗时且计算昂贵的。因此，需要一种自动技术来找到最佳超参数，以便在入侵检测中最好地使用DNN。本文提出了一种新的基于贝叶斯优化的框架，用于自动优化超参数，确保最佳DNN架构。我们评估了NSL-KDD，网络入侵检测的基准数据集上的性能所提出的框架。实验结果表明，该框架的有效性，作为结果DNN架构表现出显着更高的入侵检测性能比随机搜索优化为基础的方法在准确性，精度，召回率和f1分数。
2022-07-07 cs.CR cs.LG
PHS: A Toolbox for Parallel Hyperparameter Search
Competence Center for High Performance Computing Fraunhofer ITWM Kaiserslautern（弗劳恩霍夫研究所ITWM高性能计算能力中心（凯泽斯劳滕））；Institute for Machine Learning and Analytics (IMLA) Offenburg University（奥芬堡大学机器学习与分析研究所（IMLA））
我们引入了一个名为PHS的开源Python框架-并行超参数搜索，以实现任意Python函数的众多计算实例上的超参数优化。这是通过在目标函数内部进行最小的修改来实现的。可能的应用出现在昂贵的评估数值计算，强烈依赖于超参数，如机器学习。贝叶斯优化被选为一个样本有效的方法来提出下一个查询参数集。
2020-02-27 cs.LG stat.ML
Bayesian Optimization for Iterative Learning
University of Oxford（牛津大学）
深度（强化）学习系统的性能关键取决于超参数的选择。它们的调整是出了名的昂贵，通常需要迭代训练过程来运行许多步骤以收敛。传统的优化算法只考虑经过多次昂贵的迭代后获得的超参数的最终性能，而忽略了早期训练步骤的中间信息。在本文中，我们提出了一个贝叶斯优化（BO）的方法，利用迭代结构的学习算法有效的超参数调整。我们建议学习一个评估函数，根据训练成功和稳定性，将训练过程中任何阶段的学习进度压缩为单个数值分数。然后，我们的BO框架将评估超参数设置的好处与额外训练步骤的计算成本进行平衡。我们通过选择性地包括来自任何评估的超参数集的不同训练步骤的分数来进一步提高模型效率。我们通过调整用于训练深度强化学习代理和卷积神经网络的超参数来证明我们算法的效率。我们的算法在最短时间内识别最佳超参数方面优于所有现有的基线。
2021-01-16 cs.LG stat.ML
PABO: Pseudo Agent-Based Multi-Objective Bayesian Hyperparameter Optimization for Efficient Neural Accelerator Design
Purdue University（普渡大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
深度神经网络（DNN）不断增加的计算成本以及对DNN加速的节能硬件的需求使得DNN的准确性和硬件成本协同优化变得非常重要，特别是对于边缘设备。由于大的参数空间和在搜索空间中评估每个参数的成本，DNN超参数的手动调整是不切实际的。自动联合DNN和硬件超参数优化是必不可少的这样的问题。基于贝叶斯优化的方法在DNN的超参数优化方面已经显示出了有希望的结果。然而，这些技术中的大多数都是在没有考虑底层硬件的情况下开发的，从而导致设计效率低下。此外，少数作品进行联合优化是不可推广的，主要集中在基于CMOS的架构。在这项工作中，我们提出了一种新的基于伪代理的多目标超参数优化（PABO），以最大限度地提高DNN的性能，同时获得低硬件成本。与现有的方法相比，我们的工作提出了一种理论上不同的方法，用于精度和硬件成本的联合优化，并专注于基于忆阻交叉杆的加速器。PABO使用一个管理代理建立网络精度和硬件成本要求的后验高斯分布模型之间的连接。该代理通过消除不必要的计算和更新的采集功能，从而实现显着的加速优化过程，降低了协同优化问题的数学复杂性。PABO输出了一个帕累托边界，强调了设计高精度和硬件效率之间的权衡。我们的研究结果表明，与最先进的方法相比，在准确性和计算速度方面（约100倍的速度）都具有优越的性能。
2019-06-11 cs.ET cs.LG cs.NE
Implicit differentiation for fast hyperparameter selection in non-smooth convex learning
Université Paris-Saclay（巴黎萨克雷大学）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）；Université de Bourgogne（勃艮第大学）；Institut Mathématique de Bourgogne（勃艮第数学研究所）；Università degli Studi di Genova（热那亚大学）；Google Research（谷歌研究院）；CNRS（法国国家科学研究中心）；Université de Montpellier（蒙彼利埃大学）
寻找模型的最优超参数可以被视为一个双层优化问题，通常使用零阶技术来解决。在这项工作中，我们研究的一阶方法时，内部优化问题是凸的，但不光滑。我们表明，前向模式分化的近端梯度下降和近端坐标下降产生序列的雅可比收敛到确切的雅可比。使用隐式微分，我们证明了利用内部问题的非光滑性来加速计算是可能的。最后，我们提供了一个边界上的误差时，内部优化问题近似解决的超梯度。回归和分类问题的结果揭示了超参数优化的计算优势，特别是当需要多个超参数时。
2022-08-08 cs.LG math.OC stat.ML
Cross-Entropy Optimization for Hyperparameter Optimization in Stochastic Gradient-based Approaches to Train Deep Neural Networks
本文提出用于深度神经网络随机梯度训练超参数优化的交叉熵方法CEHPO，在EM框架下深入分析，可推广至深度学习其他优化问题，为相关领域提供新视角。
2024-09-14 cs.AI cs.LG
Evaluation of Hyperparameter-Optimization Approaches in an Industrial Federated Learning System
Siemens Technology（西门子技术）；TU Wien（维也纳工业大学）
联邦学习（FL）将模型训练与对数据的直接存取需求相结合，并允许组织与行业合作伙伴协作，以达到令人满意的性能水平，而无需共享易受攻击的业务信息。机器学习算法的性能对其超参数的选择高度敏感。在FL设置中，超参数优化提出了新的挑战。在这项工作中，我们研究了FL系统中不同超参数优化方法的影响。为了降低FL中的关键瓶颈通信成本，我们研究了一种局部超参数优化方法，与全局超参数优化方法相比，该方法允许每个客户端都有自己的超参数配置。我们实现了这些方法的基础上，网格搜索和贝叶斯优化和评估的算法上的MNIST数据集使用i.i.d.分区和使用非i.i.d.分区
2021-10-20 cs.AI cs.LG
Multi-step Planning for Automated Hyperparameter Optimization with OptFormer
Carnegie Mellon University（卡内基梅隆大学）；Deepmind（深度思维）
随着机器学习渗透到越来越多的行业，模型的训练变得越来越昂贵和耗时，对高效自动化超参数优化（HPO）的需求从未如此紧迫。基于多步规划的超参数优化方法通过更有效地平衡探索和利用，有望提高效率。然而，这些方法的潜力还没有完全实现，由于其技术复杂性和计算强度。在这项工作中，我们利用最新的进展，基于transformer，自然语言接口的超参数优化，以规避这些障碍。我们建立在最近提出的OptFormer之上，它将超参数建议和目标函数近似作为自回归生成，从而通过推出简单有效地进行规划。我们进行了广泛的探索不同的策略，执行多步规划的OptFormer模型的顶部，以突出其潜力，用于构建非近视HPO策略。
2022-11-16 cs.AI cs.LG
Constrained Hyperparameter Optimization for Streaming Data
University of Porto（波尔图大学）；INESC TEC
针对流数据超参数优化需处理边界约束的问题，提出四种在线优化算法的边界约束策略，经实证验证其性能优于现有“边界”策略。
2026-08-26 cs.AI cs.LG
HyperTime: Hyperparameter Optimization for Combating Temporal Distribution Shifts
Pennsylvania State University（宾夕法尼亚州立大学）；The University of Manchester（曼彻斯特大学）；Microsoft Research（微软研究院）
本文提出 HyperTime 超参数优化方法，通过按时间顺序验证集上对平均损失与最坏情况损失施加词典序优先级，寻找对时间分布偏移鲁棒的配置，并在多个任务上验证其有效性。
2023-05-28 cs.AI cs.LG
Multi-objective hyperparameter optimization with performance uncertainty
Flanders Make（法兰德斯制造）；Hasselt University（哈塞尔特大学）；Tilburg University（蒂尔堡大学）
任何机器学习（ML）算法的性能都受到其超参数选择的影响。由于训练和评估ML算法通常是昂贵的，因此超参数优化（HPO）方法需要在计算上高效才能在实践中有用。现有的多目标HPO方法大多使用进化策略和基于元模型的优化。然而，很少有方法被开发出来，以占在性能测量的不确定性。本文提出了多目标超参数优化的ML算法的评价上的不确定性的结果。我们将树结构Parzen估计器（TPE）的采样策略与训练具有异质噪声的高斯过程回归（GPR）后获得的元模型相结合。三个分析测试函数和三个ML问题的实验结果表明，多目标TPE和GPR的改进，实现相对于超体积指标。
2022-09-09 cs.AI cs.LG
A Bandit-Based Algorithm for Fairness-Aware Hyperparameter Optimization
Feedzai（飞载）；Universidade do Porto（波尔图大学）
相当多的研究工作已被引导到算法公平性，但仍然没有重大突破。在实践中，需要对所有可能的技术和超参数进行详尽的搜索，以找到最佳的公平性-准确性权衡。因此，再加上ML从业者缺乏工具，减少偏差方法的实际应用仍然很少。为了解决这个问题，我们提出了Fairband，一个基于带宽的公平感知超参数优化（HO）算法。Fairband在概念上简单，资源有效，易于实现，并且对目标指标，模型类型和正在探索的超参数空间都不可知。此外，通过将公平概念引入HO，我们可以将公平目标无缝有效地集成到现实世界的ML管道中。我们比较Fairband与流行的HO方法在四个现实世界的决策数据集。我们表明，Fairband可以有效地导航的公平性和准确性的权衡，通过超参数优化。此外，在没有额外的训练成本的情况下，它始终发现在预测准确性的相对较小的降低下实现大幅提高的公平性的配置。
2020-10-22 cs.AI cs.LG
Stochastic Hyperparameter Optimization through Hypernetworks
Department of Computer Science, University of Toronto（多伦多大学计算机科学系）
机器学习模型通常通过在超参数优化内部嵌套优化模型权重来调整。我们给出了一种方法，将这种嵌套优化分解为权重和超参数的联合随机优化。我们的过程训练一个神经网络，以输出近似最优的权重作为超参数的函数。我们表明，我们的技术收敛到局部最优的权重和超参数足够大的超网络。我们比较这种方法标准的超参数优化策略，并证明其有效性调整数以千计的超参数。
2018-03-08 cs.LG
NAS-HPO-Bench-II: A Benchmark Dataset on Joint Optimization of Convolutional Neural Network Architecture and Training Hyperparameters
Yokohama National University（横滨国立大学）
神经架构搜索（NAS）的基准数据集已经开发出来，以减轻计算上昂贵的评估过程，并确保公平的比较。最近的NAS基准测试只关注架构优化，尽管训练超参数影响所获得的模型性能。构建用于架构和训练超参数联合优化的基准数据集对于进一步的NAS研究至关重要。现有的NAS-HPO-Bench是联合优化的基准，但它没有考虑现代NAS算法中所做的网络连接设计。本文介绍了第一个用于网络连接和训练超参数联合优化的基准数据集，我们称之为NAS-HPO-Bench-II。我们收集了在CIFAR-10数据集上训练的基于4K细胞的卷积神经网络架构的性能数据，这些架构具有不同的学习率和批量大小设置，从而产生了192K配置的数据。该数据集包括12个epoch训练的确切数据。我们进一步建立代理模型预测200个epoch训练后的准确率，以提供更长训练epoch的性能数据。通过对NAS-HPO-Bench-II的分析，我们确认了体系结构和训练超参数之间的依赖性以及联合优化的必要性。最后，我们使用NAS-HPO-Bench-II演示了基准优化算法。
2021-10-19 cs.AI cs.LG
Be aware of overfitting by hyperparameter optimization!
BIGCHEM GmbH（BIGCHEM有限责任公司）；DSM-Firmenich SA（帝斯曼-芬美意股份公司）
该研究指出超参数优化可能因过拟合而未必提升模型性能，并提出基于SMILES自然语言处理的Transformer CNN方法，在溶解度预测中比图方法更高效准确。
2024-11-24 cs.AI cs.LG
Start Small, Think Big: On Hyperparameter Optimization for Large-Scale Knowledge Graph Embeddings
University of Mannheim（曼海姆大学）
知识图谱嵌入（KGE）模型是一种有效的多关系数据表示和推理方法。然而，之前的研究表明，KGE模型对超参数设置很敏感，并且合适的选择取决于数据集。在本文中，我们探讨了超参数优化（HPO）非常大的知识图谱，其中的成本评估个人超参数配置是过度的。先前的研究通常通过使用各种化学方法来避免这种成本;例如，通过在子图上训练或通过使用更少的时期。我们系统地讨论和评估这种近似和其他低成本近似技术的质量和成本节约。基于我们的研究结果，我们介绍了GraSH，一个有效的多保真度HPO算法的大规模KGE，结合了图形和历元减少技术，并运行在多轮的不断增加的并行性。我们进行了一项实验研究，发现GraSH以较低的成本（总共三次完整的训练运行）在大型图上获得了最先进的结果。
2022-07-11 cs.AI cs.LG
Online hyperparameter optimization by real-time recurrent learning
New York University（纽约大学）
传统的超参数优化方法是计算密集型的，并且难以推广到需要动态适应超参数的场景，例如终身学习。在这里，我们提出了一个在线的超参数优化算法，是渐近精确和计算易处理的，无论是在理论上和实践中。我们的框架利用了超参数优化和递归神经网络（RNN）中参数学习之间的类比。它采用了一系列经过充分研究的RNN在线学习算法来同时调整超参数和网络参数，而无需重复进行迭代优化。与标准方法相比，该过程在挂钟时间的一小部分上系统地产生更好的泛化性能。
2021-04-08 cs.LG
Hyperparameter Importance Analysis for Multi-Objective AutoML
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；Leibniz University Hannover（汉诺威莱布尼茨大学）；L3S Research Center（L3S研究中心）
本文首次提出基于代理模型的多目标超参数重要性分析方法，利用fANOVA和消融路径揭示超参数在不同目标权衡下的影响，并通过多组基准实验验证其有效性与鲁棒性。
2025-01-02 cs.AI cs.LG
Quantity vs. Quality: On Hyperparameter Optimization for Deep Reinforcement Learning
University of California, Irvine（加州大学尔湾分校）
强化学习算法可以在具有不同随机种子的训练运行之间显示出性能的强烈变化。在本文中，我们将探讨这如何影响超参数优化时，目标是找到超参数设置，以及在随机种子。特别是，我们基准是否是更好地探索大量的超参数设置，通过修剪表现不佳，或者如果它是更好的目标，通过使用重复收集的结果的质量。为此，我们考虑连续减半，随机搜索和贝叶斯优化算法，后两个有和没有重复。我们将这些应用于调整Cartpole平衡任务和倒立摆摆动任务上的PPO2算法。我们证明了修剪可能会对优化产生负面影响，并且重复采样无助于找到在随机种子中表现更好的超参数设置。从我们的实验中，我们得出结论，贝叶斯优化与噪声鲁棒采集功能是强化学习任务中的超参数优化的最佳选择。
2020-07-30 cs.AI cs.LG stat.ML
Fuzzy hyperparameters update in a second order optimization
LogicWizard EURL（逻辑巫师有限责任公司）；School of Computing（计算机学院）；University of Leeds（利兹大学）
本研究提出一种混合方法，通过在线有限差分近似对角 Hessian 矩阵并结合模糊推理更新超参数，有效加速了二阶优化的收敛并取得竞争力结果。
2024-03-08 cs.AI cs.LG math.OC
