Modified Adaptive Tree-Structured Parzen Estimator for Hyperparameter Optimization
Warsaw University of Technology（华沙理工大学）；AGH University of Krakow（克拉科夫AGH大学）
本文回顾了机器学习超参数优化方法，重点针对ATPE算法提出多项修改，并在标准基准函数上验证了其显著提升优化效果，具有实际应用价值。
2025-02-02 cs.LG
Automated Hyperparameter Optimization Challenge at CIKM 2021 AnalyticCup
Peking University（北京大学）
在本文中，我们描述了我们在QQ浏览器2021 AI算法竞赛（ACM CIKM 2021 AnalyticCup Track 2）中解决自动超参数优化挑战的方法。竞赛组织者提供匿名的现实工业任务和数据集，用于黑盒优化。基于我们的开源软件包OpenBox，我们采用贝叶斯优化框架的配置采样和启发式提前停止策略。我们在初赛和决赛中都获得了第一名，成绩分别为0.938291和0.918753。
2021-10-31 cs.LG
ACHO: Adaptive Conformal Hyperparameter Optimization
本文提出ACHO框架，利用共形置信区间与上置信界采样放宽分布假设，提升超参数搜索灵活性，并在随机森林和卷积神经网络上取得优于随机搜索的调参性能。
2023-11-28 cs.LG
A Collection of Quality Diversity Optimization Problems Derived from Hyperparameter Optimization of Machine Learning Models
LMU Munich（慕尼黑大学）
质量多样性优化的目标是为手头的给定问题生成一系列多样但高性能的解决方案。典型的基准问题是，例如，找到机器人手臂配置的曲目或游戏策略的集合。在本文中，我们提出了一组质量多样性优化问题，解决了机器学习模型的超参数优化-质量多样性优化的一个迄今为止尚未探索的应用。我们的基准问题涉及新的功能，如模型的可解释性或资源使用。为了实现快速有效的基准测试，我们建立在YAHPO Gym，最近提出的开源基准测试套件超参数优化，利用高性能的代理模型，并返回这些代理模型预测，而不是评估真正昂贵的黑盒功能。我们目前的初步实验研究结果比较不同的质量多样性优化我们的基准问题。此外，我们讨论了未来的方向和挑战的质量多样性优化的背景下，超参数优化。
2022-07-30 cs.LG
Hyperparameter Tuning Through Pessimistic Bilevel Optimization
Tekirdag Namik Kemal University（泰基尔达·纳米克·凯末尔大学）；University of Pittsburgh（匹兹堡大学）；Texas A&M University（德克萨斯农工大学）
针对现有双层超参数优化因假设模型唯一性或采用乐观视角导致的不确定性问题，提出悲观双层超参数优化方法，通过纳入内层解集不确定性并开发松弛近似法，在有限数据或扰动测试数据场景下比乐观解具更优预测性能。
2024-12-04 cs.LG
GRPOformer: Advancing Hyperparameter Optimization via Group Relative Policy Optimization
1College of Information；Electrical Engineering, \ Agricultural University, Beijing 100083, China；Electrical Engineering, \ Agricultural University, Beijing 100083, China 2Key Laboratory of Agricultural Machinery Monitoring
本文提出GRPOformer框架，将分组相对策略优化与Transformer结合用于超参数优化，并引入策略扰动正则化提升训练稳定性，在OpenML上一致优于基线方法。
2025-09-21 cs.LG
DC and SA: Robust and Efficient Hyperparameter Optimization of Multi-subnetwork Deep Learning Models
University of Texas Southwestern Medical Center（德克萨斯大学西南医学中心）
我们提出了两种新的超参数优化策略，用于优化具有多个子网络构建的模块化架构的深度学习模型。随着具有多个子网络的复杂网络越来越频繁地应用于机器学习，需要超参数优化方法来有效地优化其超参数。现有的超参数搜索是通用的，可以用来优化这样的网络，然而，通过利用多子网络架构，这些搜索可以大大加快。所提出的方法提供了更快的收敛到一个更好的表现最终模型。为了证明这一点，我们提出了两种独立的方法来增强这些先前的算法：1）分而治之的方法，其中最佳性能模型的最佳子网络被组合在一起，允许更快速地对超参数搜索空间进行采样。2)一种子网自适应方法，根据每个子网的重要性分配计算资源，从而实现更智能的资源分配。这些方法可以灵活地应用于许多超参数优化算法中。为了说明这一点，我们结合我们的方法与常用的贝叶斯优化方法。然后，我们的方法进行了测试，对合成的例子和现实世界的例子，并适用于多种网络类型，包括卷积神经网络和密集前馈神经网络。与类似的BO方法相比，我们的方法显示出高达23.62倍的优化效率，以及高达3.5%的分类准确率和4.4 MSE的回归最终性能提升。
2022-02-24 cs.LG
ACE: Adaptive Constraint-aware Early Stopping in Hyperparameter Optimization
Texas A&M University（德州农工大学）；Microsoft Corporation（微软公司）
部署机器学习模型需要高质量的模型，并需要遵守应用程序约束。这促使超参数优化（HPO）在部署约束下调整模型配置。这些约束通常需要额外的计算成本来评估，并且训练不合格的配置会浪费大量的调优成本。在这项工作中，我们提出了一个自适应约束感知早期停止（ACE）的方法，将约束评估到试验修剪HPO期间。为了最小化总体优化成本，ACE估计成本有效的约束评估区间的理论分析的基础上的预期评估成本。同时，我们在ACE中提出了一个层早期停止准则，该准则在剪枝时考虑了优化和约束度量，并且不需要正则化超参数。我们的实验表明，优越的性能ACE超参数调整的分类任务的公平性或鲁棒性约束。
2022-08-04 cs.LG
MOFA: Modular Factorial Design for Hyperparameter Optimization
University of Stuttgart（斯图加特大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Southampton（南安普顿大学）
提出了一种新的轻量级超参数优化方法--模块因子设计法。MOFA进行了几轮HPO，每一轮在通过因子设计探索超参数空间和通过因子分析利用评估结果之间交替进行。每一轮首先通过构建一组低差异的超参数来探索配置空间，这些超参数在去相关超参数的同时很好地覆盖了这个空间，然后通过因子分析来利用评估结果，该因子分析确定哪些超参数应该进一步探索，哪些应该在下一轮中固定下来。我们证明了MOFA的推理比其他抽样方案具有更高的置信度。每一轮都是高度并行的，因此与基于模型的方法相比，效率有了很大的提高。实验结果表明，MOFA实现了更好的效果和效率相比，国家的最先进的方法。
2021-06-03 cs.LG
Auto-WEKA: Combined Selection and Hyperparameter Optimization of Classification Algorithms
University of British Columbia（不列颠哥伦比亚大学）
存在许多不同的机器学习算法;考虑到每个算法的超参数，总体上存在大量可能的替代方案。我们考虑的问题，同时选择一个学习算法和设置其超参数，超越以前的工作，解决这些问题的孤立。我们表明，这个问题可以通过一个完全自动化的方法来解决，利用贝叶斯优化的最新创新。具体来说，我们考虑了广泛的特征选择技术（结合3搜索和8评估方法）和WEKA中实现的所有分类方法，跨越2集成方法，10元方法，27个基础分类器，和每个分类器的超参数设置。在来自UCI存储库的21个流行数据集、KDD Cup 09、MNIST数据集的变体和CIFAR-10上，我们显示出的分类性能通常比使用标准选择/超参数优化方法要好得多。我们希望我们的方法将帮助非专家用户更有效地识别适合其应用程序的机器学习算法和超参数设置，从而提高性能。
2013-03-06 cs.LG
Improving Hyperparameter Optimization by Planning Ahead
University of Hildesheim（希尔德斯海姆大学）
超参数优化（HPO）通常被视为双层优化问题，其涉及将（概率性）代理模型拟合到一组观察到的超参数响应（例如，验证损失），并且因此使用代理模型来最大化获取函数以识别用于评估的良好超参数候选。代理和/或获取功能的选择可以通过跨相关任务的知识转移来进一步改进。在本文中，我们提出了一种新的迁移学习方法，定义在基于模型的强化学习的上下文中，其中我们表示代理作为允许轨迹采样的概率模型的集合。我们进一步提出了一个新的变体模型预测控制，它采用了一个简单的前瞻性的策略，优化了一系列的行动，代表超参数候选人，以加快HPO。我们在三个元数据集上的实验与包括无模型强化学习方法在内的最先进的HPO算法进行了比较，结果表明，所提出的方法可以通过利用简单的基于规划的策略来超越所有基线。
2021-10-15 cs.LG
Deep Ranking Ensembles for Hyperparameter Optimization
University of Freiburg（弗莱堡大学）
提出一种基于Learning to Rank和神经网络集成的新方法，通过元学习代理模型对超参数配置性能进行排序并建模不确定性，在大规模实验中取得HPO新SOTA。
2023-05-21 cs.LG
Adaptive Hyperparameter Optimization for Continual Learning Scenarios
University of Pisa（比萨大学）
针对持续学习中超参数选择研究不足、传统方法不适用的问题，提出利用序列任务学习特性结合方差泛函分析技术识别关键超参数，实现跨任务持续加速优化且鲁棒性强，推动持续学习方法发展。
2024-06-19 cs.LG
Bilevel Optimization of Topology and Hyperparameters (BOTH)
Delft University of Technology（代尔夫特理工大学）；Brown University（布朗大学）
本文提出BOTH方法，通过自动微分对拓扑优化过程本身求超梯度，实现超参数与主优化同步调整，可扩展到数千超参数，开销仅相当于几次标准TO运行，并在应力约束和柔度问题上验证有效性。
2026-09-21 cs.LG
A Population-based Hybrid Approach to Hyperparameter Optimization for Neural Networks
Federal Center for Technological Education of Rio de Janeiro (CEFET/RJ)（里约热内卢联邦技术教育中心（CEFET/RJ））
本文提出基于种群的混合超参数优化方法 HBRKGA，结合偏置随机密钥遗传算法与随机游走，在八个数据集中六个上预测质量优于基线且耗时合理。
2020-11-27 cs.LG
Asynchronous Decentralized Bayesian Optimization for Large Scale Hyperparameter Optimization
Université Paris-Saclay（巴黎萨克雷大学）；Argonne National Laboratory（阿贡国家实验室）；Google（谷歌）；Oak Ridge National Laboratory（橡树岭国家实验室）
针对集中式并行贝叶斯优化难以扩展的问题，提出异步去中心化 BO，使各工作者独立运行顺序 BO 并经共享存储同步结果，在 1,920 个工作者上保持 95% 以上利用率并提升 CANDLE 基准性能。
2023-09-26 cs.LG
Bayesian Hyperparameter Optimization with BoTorch, GPyTorch and Ax
IBM（国际商业机器公司）
深度学习模型充满了超参数，这些超参数在学习过程开始之前被手动设置。要在如此高维的空间中找到这些超参数的最佳配置，需要耗时且昂贵的模型训练/验证，这不是一个简单的挑战。贝叶斯优化是超参数联合优化的有力工具，有效地权衡了超参数空间的探索和利用。本文讨论了贝叶斯超参数优化，包括超参数优化、贝叶斯优化和高斯过程。我们还回顾了BoTorch，GPyTorch和Ax，我们分别用于贝叶斯优化，高斯过程推理和自适应实验的新开源框架。对于实验，我们应用贝叶斯超参数优化，优化组权重，加权组池，耦合无监督分层图自动编码器学习和监督图预测学习的分子图。我们发现，Ax，BoTorch和GPyTorch一起提供了一个简单易用但功能强大的框架贝叶斯超参数优化，使用Ax的高级API，构建和运行一个完整的优化循环，并返回最佳的超参数配置。
2021-07-02 cs.LG stat.ML
Scaling Laws for Hyperparameter Optimization
University of Freiburg（弗莱堡大学）；Amazon Web Services（亚马逊云服务）；Amazon Berlin（亚马逊柏林）
本文提出基于神经网络的幂律缩放集成模型DPL，通过利用学习曲线的幂律特性进行动态配置选择，在多个基准和任务上超越了7种先进方法。
2023-10-25 cs.LG
A Meta-Knowledge-Augmented LLM Framework for Hyperparameter Optimization in Time-Series Forecasting
LLM-AutoOpt通过结合贝叶斯优化与大型语言模型的上下文推理，提升时间序列预测中超参数优化的性能和可解释性。
2026-02-16 cs.LG
Optimizing Hyperparameters in CNNs using Bilevel Programming in Time Series Data
South Asian University（南亚大学）
由于超参数优化能够产生最先进的结果，因此它仍然是机器学习社区的中心话题。随着最近对CNN用于时间序列预测的兴趣越来越大，我们提出了优化CNN中超参数的概念，以实现时间序列预测。在这篇立场论文中，我们给出了使用双层规划来建模有关超参数优化问题的想法。
2021-01-19 cs.LG
PriorBand: Practical Hyperparameter Optimization in the Age of Deep Learning
University of Freiburg（弗莱堡大学）；Lund University（隆德大学）；Leibniz University Hannover（莱布尼茨汉诺威大学）；Stanford University（斯坦福大学）；DBtune
针对深度学习超参数优化成本高、手动实验普遍的问题，提出PriorBand算法，利用专家信念与廉价代理任务，在多个基准上验证其高效性与稳健性。
2023-11-15 cs.LG
Multi-objective Hyperparameter Optimization with Expert Priors
University of Freiburg（弗赖堡大学）；Prior Labs（Prior实验室）；ELLIS Institute Tübingen（图宾根ELLIS研究所）
针对深度学习从业者需优化多目标但现有超参数优化算法无法整合多目标先验知识的问题，提出首个可整合多目标用户信念的PriMO算法，其在8个DL基准的单/多目标设置中均达最先进性能，成为从业者新首选。
2026-11-06 cs.LG
From Black-Box Tuning to Guided Optimization via Hyperparameters Interaction Analysis
IRIT, UMR5505 CNRS Université Toulouse Capitole（IRIT，CNRS UMR5505，图卢兹大学）；LIS, UMR 7020 CNRS Aix-Marseille University（LIS，CNRS UMR7020，阿维尼翁-马赛大学）
MetaSHAP通过分析超参数交互，提供可操作的调优见解，帮助优化机器学习模型。
2025-12-22 cs.LG
Hyperparameter Optimization for Multi-Objective Reinforcement Learning
University of Luxembourg（卢森堡大学）；University of Lille（里尔大学）
本文针对多目标强化学习（MORL）的超参数优化挑战进行初步调查，形式化了该问题并提出一种系统性方法，实验证明其能有效提供显著提升MORL智能体性能的超参数配置。
2023-10-25 cs.LG
Online Hyperparameter Meta-Learning with Hypergradient Distillation
KAIST（韩国科学技术院）；AITRICS（艾特里克斯）；Lunit（鲁尼特）；University of Edinburgh（爱丁堡大学）；Samsung AI Centre Cambridge（三星剑桥人工智能中心）
许多基于梯度的元学习方法假设一组不参与内部优化的参数，这些参数可以被认为是超参数。尽管可以使用现有的基于梯度的超参数优化（HO）方法来优化这样的超参数，但是它们存在以下问题。展开微分方法不能很好地扩展到高维超参数或时域长度，基于隐函数定理（IFT）的方法对在线优化有限制，并且短时域近似遭受短时域偏差。在这项工作中，我们提出了一种新的HO方法，可以克服这些限制，通过近似的二阶项与知识蒸馏。具体而言，我们为每个HO步骤参数化单个雅可比向量积（JVP），并最小化与真实二阶项的距离。我们的方法允许在线优化，也是可扩展的超参数尺寸和地平线长度。我们在两种不同的元学习方法和三个基准数据集上证明了我们的方法的有效性。
2022-02-12 cs.LG
Hyperparameter Optimization for Unsupervised Outlier Detection
Carnegie Mellon University（卡内基梅隆大学）
给定一个无监督的离群值检测（OD）算法，我们如何在没有任何标签的情况下在新数据集上优化其超参数（HP）？在这项工作中，我们解决了这个具有挑战性的超参数优化的无监督OD问题，并提出了第一个系统的方法，称为HPOD是基于元学习。HPOD利用现有OD基准数据集上大量HP的先前性能，并传输此信息以在没有标签的新数据集上进行HP评估。此外，HPOD采用突出的采样范式，以有效地识别有前途的HP。广泛的实验表明，HPOD与深度（例如，鲁棒自动编码器）和浅（例如，局部异常值因子（LOF）和隔离森林（iForest））OD算法在离散和连续HP空间上的表现优于各种基线，与LOF和iForest的默认HP相比，平均性能提高了58%和66%。
2022-10-10 cs.LG
HyperArm Bandit Optimization: A Novel approach to Hyperparameter Optimization and an Analysis of Bandit Algorithms in Stochastic and Adversarial Settings
University of Ottawa（渥太华大学）
本文分析随机与对抗环境下 ETC、UCB、EXP3 的遗憾界，并提出 HABO 框架，将超参数作为超级臂、配置作为子臂进行调优，实验显示其在效率和准确率上优于 Bayesian Optimization。
2025-03-13 cs.LG
Dynamic Hyperparameter Importance for Efficient Multi-Objective Optimization
Institute of Artificial Intelligence (LUH | | AI)（人工智能研究所）；Leibniz University Hannover（汉诺威莱比锡大学）；L3S Research Center（L3S研究中心）
本文提出了一种动态优化方法，通过动态调整超参数重要性来提高多目标优化的效率和效果。
2026-01-06 cs.LG
Hyperparameter Optimization with Neural Network Pruning
AIRS Company, Hyundai Motor Group（现代汽车集团AIRS公司）
由于深度学习模型高度依赖于超参数，因此在开发基于深度学习模型的应用程序时，超参数优化至关重要，即使需要很长时间。随着使用深度学习模型的服务开发逐渐变得具有竞争力，许多开发人员高度要求快速的超参数优化算法。为了跟上快速超参数优化算法的需求，研究人员正致力于提高超参数优化算法的速度。然而，由于深度学习模型本身的高计算成本而导致的超参数优化的巨大时间消耗尚未得到深入处理。与贝叶斯优化中的代理模型一样，为了解决这个问题，需要考虑神经网络（N_B）的代理模型用于超参数优化。受神经网络修剪的主要目标启发，即，通过对神经网络进行剪枝，得到的神经网络（N_P）可以作为N_B的代理模型。为了验证我们的想法，我们使用CIFAR10，CFIAR100和TinyImageNet数据集以及三种常用的神经网络和三种代表性的超参数优化方法进行了大量的实验。通过这些实验，我们验证了N_P可以作为N_B的一个很好的代理模型，用于快速的超参数优化。所提出的超参数优化框架可以减少高达37%的时间量。
2022-05-18 cs.CV cs.LG
Self-Tuning Networks: Bilevel Optimization of Hyperparameters using Structured Best-Response Functions
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
超参数优化可以用公式表示为双层优化问题，其中训练集上的最优参数取决于超参数。我们的目标是通过将紧凑近似拟合到最佳响应函数来适应神经网络的正则化超参数，该函数将超参数映射到最佳权重和偏差。我们展示了如何通过将最佳响应建模为单个网络来构建神经网络的可扩展最佳响应近似，该网络的隐藏单元在正则化器上有条件地被选通。我们证明了这种近似，通过显示具有L2正则化雅可比矩阵的浅线性网络的确切最佳响应可以由类似的门控机制表示。我们使用基于梯度的超参数优化算法拟合该模型，该算法在当前超参数周围近似最佳响应和使用近似最佳响应函数优化超参数之间交替。与其他基于梯度的方法不同，我们不需要区分训练损失与超参数，允许我们调整离散超参数，数据增强超参数和辍学概率。由于超参数是在线适应的，我们的方法发现超参数时间表，可以超过固定的超参数值。从经验上讲，我们的方法在大规模深度学习问题上优于竞争的超参数优化方法。我们将在训练过程中在线更新自己的超参数的网络称为自调优网络（STNs）。
2019-03-07 cs.LG stat.ML
Bayesian Optimization Using Monotonicity Information and Its Application in Machine Learning Hyperparameter
University of British Columbia（英属哥伦比亚大学）
我们提出了一个算法的一个家庭的优化问题的目标可以分解为一个函数的单调性的总和。激励问题是优化超参数的机器学习算法，我们认为，目标，验证误差，可以分解为单调函数的超参数。我们提出的算法采用贝叶斯优化方法，将单调性约束。我们使用说明性的例子说明了利用单调性的优点，并证明了一些机器学习超参数调整应用程序的优化效率的提高。
2018-02-16 cs.LG stat.ML
Using Known Information to Accelerate HyperParameters Optimization Based on SMBO
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；WiseUranium corp.（WiseUranium公司）
自动机是解决机器学习问题的关键技术。现有技术的超参数优化方法基于传统的黑盒优化方法，如SMBO（SMAC，TPE）。黑盒优化的目标函数是不平滑的，或者评估耗时，或者在某种程度上是嘈杂的。近年来，许多研究人员提出了有关超参数性质的工作。然而，传统的超参数优化方法没有考虑这些信息。本文利用梯度信息和机器学习模型分析信息对传统的超参数优化方法SMBO进行加速。在我们的L2范数实验中，我们的方法产生了最先进的性能，并且在许多情况下优于以前的最佳配置方法。
2019-07-18 cs.LG stat.ML
Reducing The Search Space For Hyperparameter Optimization Using Group Sparsity
Iowa State University（爱荷华州立大学）
提出了一种新的机器学习超参数选择算法。该算法是一种新的修改口琴，光谱超参数选择方法，使用稀疏恢复方法。特别是，我们表明，一个特殊的超参数空间编码，使一个自然的组稀疏恢复制定，这与HyperBand（多臂强盗策略）时，导致改善现有的超参数优化方法，如连续减半和随机搜索。在CIFAR-10等图像数据集上的实验结果证实了我们方法的优点。
2019-04-24 cs.LG stat.ML
Gradient-based Hyperparameter Optimization through Reversible Learning
调整学习算法的超参数很难，因为梯度通常不可用。我们通过在整个训练过程中向后链接导数来计算关于所有超参数的交叉验证性能的精确梯度。这些梯度使我们能够优化数千个超参数，包括步长和动量计划，权重初始化分布，丰富的参数化正则化方案和神经网络架构。我们计算超参数梯度的动力学完全逆转的随机梯度下降与动量。
2015-04-02 cs.LG stat.ML
Tabular Benchmarks for Joint Architecture and Hyperparameter Optimization
University of Freiburg（弗莱堡大学）
由于高计算要求，执行超参数优化（HPO）方法之间的严格比较通常是繁琐的。本文的目标是通过提供评估成本低但仍然代表现实用例的基准来促进对HPO方法的更好的实证评估。我们相信这些基准测试为神经超参数搜索提供了一种简单有效的方法来进行可重复的实验。我们的基准测试由四个不同回归数据集上的前馈神经网络的大型网格配置组成，包括架构超参数和有关训练管道的超参数。基于这些数据，我们进行了深入的分析，以更好地了解优化问题的性质以及不同类型超参数的重要性。其次，我们详尽地比较了各种不同的国家的最先进的方法，从超参数优化文献在这些基准的性能和鲁棒性。
2019-05-13 cs.LG stat.ML
Cross-Entropy Optimization for Hyperparameter Optimization in Stochastic Gradient-based Approaches to Train Deep Neural Networks
本文提出用于深度神经网络随机梯度训练超参数优化的交叉熵方法CEHPO，在EM框架下深入分析，可推广至深度学习其他优化问题，为相关领域提供新视角。
2024-09-14 cs.AI cs.LG
SMAC3: A Versatile Bayesian Optimization Package for Hyperparameter Optimization
Leibniz University Hannover（莱布尼茨汉诺威大学）；University of Freiburg（弗莱堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
算法参数，特别是机器学习算法的超参数，可以显著影响它们的性能。为了支持用户为其算法、数据集和应用程序确定性能良好的超参数配置，SMAC3为贝叶斯优化提供了一个强大而灵活的框架，可以在几次评估中提高性能。它为典型用例提供了几个外观和预设，例如优化超参数，解决低维连续（人工）全局优化问题，以及配置算法以在多个问题实例中表现良好。SMAC3软件包可以在https://github.com/automl/SMAC3上获得许可的BSD许可证。
2022-02-08 cs.LG stat.ML
ExperienceThinking: Constrained Hyperparameter Optimization based on Knowledge and Pruning
Harbin Institute of Technology（哈尔滨工业大学）；University of California San Diego（加州大学圣迭戈分校）
机器学习算法对超参数非常敏感，并且它们的评估通常是昂贵的。用户迫切需要智能方法根据已知的评价信息快速优化超参数设置，从而降低计算成本，提高优化效率。受此启发，我们提出了ExperienceThinking算法，以快速找到最好的可能的超参数配置的机器学习算法在几个配置评估。ExperienceThinking设计了两种新的方法，分别从搜索空间剪枝和知识利用两个方面智能地推断最优配置。两种方法相辅相成，有效地解决了约束超参数优化问题。为了证明ExperienceThinking的好处，我们将其与3个经典的超参数优化算法进行了比较，这些算法具有少量的配置评估。实验结果表明，我们提出的算法提供了优越的结果，并取得更好的性能。
2020-05-04 cs.LG stat.ML
CMA-ES for Hyperparameter Optimization of Deep Neural Networks
Univesity of Freiburg（弗莱堡大学）
深度神经网络的超参数通常通过网格搜索、随机搜索或贝叶斯优化来优化。作为替代方案，我们建议使用协方差矩阵自适应演化策略（CMA-ES），该策略以其在无导数优化中的最新性能而闻名。CMA-ES具有一些有用的不变性性质，并且对于解的并行计算是友好的。我们提供了一个玩具例子，比较了CMA-ES和最先进的贝叶斯优化算法，用于在30个GPU上并行调整MNIST数据集的卷积神经网络的超参数。
2016-04-25 cs.LG cs.NE
Efficient Hyperparameter Optimization under Multi-Source Covariate Shift
CyberAgent, Inc.（赛博agent公司）；Hanjuku-kaso, Co., Ltd.（半熟 kaso 公司）
监督机器学习中的一个典型假设是训练（源）和测试（目标）数据集遵循完全相同的分布。然而，这一假设在不确定的实际应用中经常被违反，这激发了对协变量偏移下学习的研究。在这种情况下，朴素地使用自适应超参数优化方法（例如贝叶斯优化）不能如所期望的那样工作，因为它不能解决不同数据集之间的分布偏移。在这项工作中，我们考虑了一个新的超参数优化问题下的多源协变量偏移，其目标是找到最优的超参数的目标任务，仅使用未标记的数据在一个目标任务和标记的数据在多个源任务。为了对目标任务进行有效的超参数优化，必须仅使用可用信息来估计目标目标。为此，我们构造了方差减少估计，无偏地近似的目标与期望的方差属性的目标。基于所提出的估计器，我们提供了一个通用的和易于处理的超参数优化过程，它最好在我们的设置与无遗憾的保证。实验结果表明，该框架拓宽了自动超参数优化的应用范围。
2021-08-16 cs.LG stat.ML
DP-HyPO: An Adaptive Private Hyperparameter Optimization Framework
University of Pennsylvania（宾夕法尼亚大学）；Meta Platforms, Inc.（Meta平台公司）
针对隐私模型训练中超参数优化被忽视的隐私风险，本文提出DP-HyPO框架，通过全面的差分隐私分析实现自适应的隐私超参数优化，弥合了隐私与非隐私设置的差距，并在真实数据集上验证了其有效性。
2023-11-27 cs.CR cs.DS cs.LG
Stabilizing Bi-Level Hyperparameter Optimization using Moreau-Yosida Regularization
America Research Lab, LG Electronics（LG电子美国研究院）
本文提出用Moreau-Yosida包络线来稳定双层超参数优化求解器的收敛行为，并介绍了Moreau-Yosida正则化超参数优化（MY-HPO）算法。对MY-HPO解的正确性和初始收敛性进行了理论分析。我们的实证结果表明，在固定的计算预算的损失值显着改善，相比，最先进的双层HPO求解器。
2020-07-27 cs.LG stat.ML
Multi-level Training and Bayesian Optimization for Economical Hyperparameter Optimization
Tsinghua University（清华大学）；Purdue University（普渡大学）
超参数在许多机器学习方法的性能中起着至关重要的作用。确定它们的最佳设置或超参数优化（HPO）面临着大量超参数以及过多训练时间所带来的困难。在本文中，我们开发了一种有效的方法来减少所需的培训时间的总量HPO。在初始化中，使用嵌套拉丁超立方体设计来选择两种类型的训练的超参数配置，这两种类型的训练分别是重训练和轻训练。我们提出了一个截断的加性高斯过程模型来校准由轻训练产生的近似性能测量，使用由重训练产生的准确性能测量。在此基础上，提出了一种基于模型的序贯算法来生成配置空间的性能剖面，并找到最优的性能剖面。我们提出的方法在应用于优化合成示例、支持向量机、全连接网络和卷积神经网络时表现出具有竞争力的性能。
2020-07-20 cs.LG stat.ML
Speeding up the Hyperparameter Optimization of Deep Convolutional Neural Networks
大多数学习算法要求从业者在学习过程开始之前手动设置许多超参数的值。然而，使用现代算法，给定超参数设置的评估可能花费相当多的时间，并且搜索空间通常是非常高维的。我们建议使用原始数据的低维表示来快速识别超参数空间中有希望的区域。然后，该信息可以用于初始化原始高维数据的优化算法。我们将这种方法与仅在原始输入上优化超参数的标准过程进行了比较。我们进行实验与各种国家的最先进的超参数优化算法，如随机搜索，树parzen估计（TPE），顺序模型为基础的算法配置（SMAC），和一个遗传算法（GA）。我们的实验表明，它是可能的，以加快优化过程中使用低维的数据表示在开始时，而在优化过程的后期增加输入的维数。这是独立的底层优化过程，使许多现有的超参数优化算法的方法有前途。
2018-07-19 cs.LG cs.NE
Combination of Hyperband and Bayesian Optimization for Hyperparameter Optimization in Deep Learning
Blippar
深度学习在许多问题上取得了令人印象深刻的成果。然而，它需要高度的专业知识或大量的经验来很好地调整超参数，并且这种手动调整过程很可能是有偏差的。此外，在深度学习中尝试与在其他机器学习场景中一样多的不同超参数配置是不切实际的，因为在深度学习中评估每个单个超参数配置将意味着训练深度神经网络，这通常需要相当长的时间。Hyperband算法在深度学习领域的各种超参数优化问题上实现了最先进的性能。然而，Hyperband算法没有利用以前探索的超参数配置的历史信息，因此找到的解决方案是次优的。我们建议将Hyperband算法与贝叶斯优化（在对下一个试验配置进行采样时不忽略历史）相结合。实验结果表明，该方法优于包括Hyperband算法在内的其他超参数优化方法。
2018-01-05 cs.AI cs.CV cs.LG
Weighted Random Search for Hyperparameter Optimization
Central Washington University（中华盛顿大学）
我们介绍了随机搜索（RS）的改进版本，这里用于机器学习算法的超参数优化。与标准RS不同，它为每个试验生成所有超参数的新值，我们为每个超参数生成具有变化概率的新值。我们的方法背后的直觉是，已经触发好结果的值是下一步的好候选者，并且应该在新的超参数值组合中进行测试。在相同的计算预算，我们的方法产生更好的结果比标准RS。我们的理论结果证明了这一说法。我们在这类问题最常用的目标函数之一（Grievank函数）的变体上测试了我们的方法，并用于深度学习CNN架构的超参数优化。我们的结果可以推广到任何定义在离散域上的优化问题。
2020-04-03 cs.LG stat.ML
Adaptive Optimizer for Automated Hyperparameter Optimization Problem
Peking University（北京大学）
超参数的选择对机器学习模型的性能有着至关重要的影响。在本文中，我们提出了一个通用的框架，能够构建一个自适应优化器，自动调整适当的算法和参数的优化过程中。在研究自适应优化方法的基础上，给出了一个利用遗传算法构造基于贝叶斯优化器的自适应优化器的实例，并与原优化器进行了比较。特别是在并行优化方面有很大的优势。
2022-01-28 cs.LG math.OC
Differentially Private Hyperparameter Tuning using Local Bayesian Optimization
Department of Statistics Columbia University（统计学系哥伦比亚大学）
本文提出DP-GIBO框架，通过高斯过程代理私密近似梯度，实现高维空间下的差分隐私超参数调优，优于非隐私随机搜索和全局贝叶斯优化方法。
2026-05-08 cs.LG stat.ML
Fast Hyperparameter Tuning using Bayesian Optimization with Directional Derivatives
Deakin University（迪肯大学）
在本文中，我们开发了一个基于贝叶斯优化的超参数调整框架的启发，统计学习理论的分类。我们利用PAC学习理论中的两个关键事实;与整体相比，数据的小子集的泛化范围将更高，并且可以通过简单的模型实现数据的小子集的最高精度。我们首先使用贝叶斯优化在一小部分训练数据上调整超参数。在调整整个训练数据的超参数时，我们利用学习理论的见解来寻求更复杂的模型。我们实现这一点，通过使用方向导数符号战略性地放置在超参数搜索空间，以寻求一个更复杂的模型比小数据获得的。我们证明了我们的方法的性能上的任务调整超参数的几个机器学习算法。
2019-02-06 cs.LG stat.ML
Weighted Random Search for CNN Hyperparameter Optimization
Central Washington University（中央华盛顿大学）
几乎所有用于机器学习的模型算法都使用两组不同的参数：训练参数和元参数（超参数）。虽然训练参数是在训练阶段学习的，但超参数的值必须在学习开始之前指定。对于给定的数据集，我们希望在合理的时间内找到超参数值的最佳组合。由于其计算复杂性，这是一个具有挑战性的任务。在以前的工作[11]中，我们介绍了加权随机搜索（WRS）方法，它是随机搜索（RS）和概率贪婪启发式的组合。在当前的论文中，我们比较了WRS方法与几种最先进的超参数优化方法关于卷积神经网络（CNN）超参数优化。该标准是在相同数量的超参数值的测试组合内实现的分类精度。实验结果表明，WRS算法的性能优于其他方法。
2020-03-30 cs.LG stat.ML
Improving Fast Minimum-Norm Attacks with Hyperparameter Optimization
University of Cagliari（卡利亚里大学）；Sapienza University of Rome（罗马第一大学）
本研究提出利用超参数优化自动选择损失函数、优化器和步长调度器，以提升快速最小范数攻击的有效性，并在多个鲁棒模型上验证了改进效果。
2023-10-12 cs.CV cs.LG
Multi-Task Multicriteria Hyperparameter Optimization
Perm State Technical University（彼尔姆国立技术大学）
我们提出了一种新的方法来搜索多个任务和多个标准之间的最佳超参数。多任务多准则方法（MTMC）提供了多个Pareto最优解，其中一个解被选择与给定的准则的重要性系数。本文首先从选择最优超参数问题的数学公式开始。然后，MTMC方法，解决这个问题的步骤进行了说明。所提出的方法进行评估的图像分类问题，使用卷积神经网络。本文提出了各种标准的显着性系数的最佳超参数。
2020-02-15 cs.LG stat.ML
Using Large Language Models for Hyperparameter Optimization
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
本文利用大型语言模型进行超参数优化，通过提示数据集和模型描述迭代提出配置，在受限预算下匹配或超越贝叶斯优化，并将模型代码作为超参数以增强灵活性。
2024-11-11 cs.AI cs.LG
Fast Hyperparameter Optimization of Deep Neural Networks via Ensembling Multiple Surrogates
深度神经网络的性能关键取决于良好的超参数配置。贝叶斯优化是优化DNN超参数的强大框架。这些方法需要足够的评估数据来近似和最小化超参数的验证误差函数。然而，DNN昂贵的评估成本导致在有限的时间内评估数据很少，这大大降低了贝叶斯优化的效率。此外，以往的研究主要集中在使用完整的评估数据进行贝叶斯优化，而忽略了早期停止方法产生的中间评估数据。为了缓解评估数据不足的问题，我们提出了一种快速超参数优化方法HOIST，该方法利用完整和中间评估数据来加速DNN的超参数优化。具体来说，我们训练多个基本代理人收集信息的混合评估数据，然后结合所有的基本代理人使用加权装袋提供一个准确的合奏代理。我们的实证研究表明，HOIST在广泛的DNN上优于最先进的方法，包括前馈神经网络、卷积神经网络、递归神经网络和变分自编码器。
2021-07-21 cs.LG stat.ML
