Hyperparameter Optimization in Machine Learning
本文综述了机器学习中超参数优化的统一方法，涵盖了随机搜索、带抵制算法、模型方法等主流技术，并探讨了在线、约束和多目标等扩展形式，以及与其他领域如元学习的联系。
2025-11-24 cs.LG stat.ML
Stealing Hyperparameters in Machine Learning
Duke University（杜克大学）
超参数在机器学习中至关重要，因为不同的超参数通常会导致模型具有显著不同的性能。超参数可以被认为是机密的，因为它们的商业价值和学习者用来学习它们的专有算法的机密性。在这项工作中，我们提出了窃取学习者学习的超参数的攻击。我们称之为超参数窃取攻击。我们的攻击适用于各种流行的机器学习算法，如岭回归，逻辑回归，支持向量机和神经网络。我们从理论上和经验上评估我们的攻击的有效性。例如，我们评估我们对亚马逊机器学习的攻击。我们的结果表明，我们的攻击可以准确地窃取超参数。我们还研究了对策。我们的研究结果强调了需要新的防御措施来抵御某些机器学习算法的超参数窃取攻击。
2019-09-07 cs.CR cs.LG stat.ML
A Gradient-based Bilevel Optimization Approach for Tuning Hyperparameters in Machine Learning
Indian Institute of Management Ahmedabad（印度管理学院艾哈迈达巴德分校）
超参数整定是机器学习中的一个活跃研究领域，其目的是确定在验证集上提供最佳性能的最佳超参数。超参数调优通常使用简单的技术来实现，例如随机搜索和网格搜索。然而，这些方法中的大多数很少导致最佳的超参数集，并且通常非常昂贵。在本文中，我们提出了一个双层的解决方法来解决超参数优化问题，没有遭受的缺点，早期的研究。该方法具有通用性，可以方便地应用于任何类型的机器学习算法。该思想基于下层最优价值函数映射的近似，该映射是双层优化中的一个重要映射，有助于将双层优化问题简化为单层约束优化问题。采用增广拉格朗日方法求解单级约束优化问题。我们讨论了所提出的算法背后的理论，并在两个数据集上进行了广泛的计算研究，证实了所提出的方法的效率。我们对网格搜索，随机搜索和贝叶斯优化技术进行了比较研究，结果表明，所提出的算法在具有一个或两个超参数的问题上要快数倍。随着超参数数量的增加，计算增益预计会显著增加。对应于给定的超参数，文献中的大多数技术通常假设唯一的最优参数集，使训练集上的损失最小化。这样的假设经常被深度学习架构违反，并且所提出的方法不需要任何这样的假设。
2020-07-21 cs.LG stat.ML
Experimental Investigation and Evaluation of Model-based Hyperparameter Optimization
Bartz & Bartz GmbH（Bartz & Bartz有限公司）；TH Köln（科隆应用技术大学）
随机森林或xgboost等机器学习算法正变得越来越重要，并越来越多地被纳入生产流程，以实现全面的数字化，并在可能的情况下实现流程自动化。所使用的这些算法的超参数必须被适当地设置，这可以被称为超参数调整或优化。基于可调性的概念，本文介绍了流行的机器学习算法的理论和实践结果的概述。这一概述伴随着来自六个相关机器学习算法的30个超参数的实验分析。特别是，它提供了（i）重要的超参数的调查，（ii）两个参数调整研究，和（iii）一个广泛的全球参数调整研究，以及（iv）一种新的方式，基于共识排名，从多个算法的结果进行分析。R包mlr用作机器学习模型的统一接口。R包SPOT用于执行实际的调优（优化）。所有附加代码都与本文一起提供。
2021-07-19 cs.LG stat.ML
Rethinking the Hyperparameters for Fine-tuning
Amazon Web Services（亚马逊云科技）；University of Pennsylvania（宾夕法尼亚大学）；University of California, Los Angeles（加州大学洛杉矶分校）
从预训练的ImageNet模型进行微调已成为各种计算机视觉任务的事实标准。目前的微调实践通常涉及选择一个临时的超参数选择，并将它们固定在通常用于从头开始训练的值上。本文重新审视了设置超参数进行微调的几种常见做法。我们的研究结果是基于广泛的经验评估微调各种迁移学习基准。(1)虽然先前的工作已经彻底研究了学习率和批量大小，微调的动量是一个相对未探索的参数。我们发现动量的值也会影响微调性能，并将其与以前的理论研究结果联系起来。(2)用于微调的最佳超参数，特别是有效学习率，不仅依赖于数据集，而且对源域和目标域之间的相似性敏感。这与从头开始训练的超参数相反。(3)基于引用的正则化使模型接近初始模型，但不一定适用于“不相似”的数据集。我们的发现挑战了微调的常见做法，并鼓励深度学习从业者重新思考微调的超参数。
2020-02-19 cs.CV cs.LG stat.ML
MementoML: Performance of selected machine learning algorithm configurations on OpenML100 datasets
Warsaw University of Technology（华沙理工大学）；University of Warsaw（华沙大学）
为机器学习算法找到最佳超参数通常可以显著提高其性能。但是，如何以一种有效的方式选择它们呢？在本文中，我们提出了生成基准数据的协议，这些基准数据描述了具有不同超参数配置的不同ML算法的性能。以这种方式收集的数据用于研究影响算法性能的因素。这一收集是为了EPP研究中提出的研究目的而准备的。我们测试了算法的性能在稠密网格的超参数。测试数据集和超参数是在任何算法运行之前选择的，并且没有改变。这是一种不同于通常用于超参数调整的方法，其中候选超参数的选择取决于先前获得的结果。然而，这样的选择允许系统地分析来自各个超参数的性能灵敏度。这就产生了一个关于这些基准的全面数据集，我们愿意与大家分享。我们希望，计算和收集的结果可能会有助于其他研究人员。本文介绍了收集数据的方式。在这里，您可以在39个OpenML数据集上找到7种流行的机器学习算法的基准测试。形成该基准的详细数据可在https://www.kaggle.com/mi2datalab/mementoml上获得。
2020-08-30 cs.LG stat.ML
Goal-Oriented Sensitivity Analysis of Hyperparameters in Deep Learning
CEA（法国原子能和替代能源委员会）；Ecole Polytechnique（巴黎综合理工学院）；Inria（法国国家信息与自动化研究所）
用神经网络解决新的机器学习问题总是意味着优化许多定义其结构并强烈影响其性能的超参数。在这项工作中，我们研究了使用面向目标的敏感性分析，基于希尔伯特-施密特独立准则（HSIC），超参数分析和优化。超参数存在于通常复杂而笨拙的空间中。它们可以具有不同的性质（分类，离散，布尔，连续），相互作用，并具有相互依赖性。所有这些使得进行经典的敏感性分析变得重要。我们减轻这些困难，以获得一个强大的分析指标，能够量化超参数的神经网络的最终误差的相对影响。这个有价值的工具使我们能够更好地理解超参数，并使超参数优化更具可解释性。我们说明了超参数优化的背景下，这种知识的好处，并得出一个基于HSIC的优化算法，我们适用于MNIST和Cifar，经典的机器学习数据集，而且对龙格函数和贝特曼方程的近似解，感兴趣的科学机器学习。这种方法产生的神经网络既有竞争力，又具有成本效益。
2022-07-13 cs.LG stat.ML
Multi-Objective Hyperparameter Optimization in Machine Learning -- An Overview
Fraunhofer Institut für integrierte Schaltungen（弗劳恩霍夫集成电路研究所）；Ludwig-Maximilians-Universität München（慕尼黑大学）；Technische Universität Dortmund（多特蒙德工业大学）；Universidad Pontificia Comillas（康普卢滕塞大学）；Warwick Business School（华威商学院）
本文综述了机器学习中的多目标超参数优化，介绍其基本概念并系统梳理进化算法与贝叶斯优化等策略，同时展示其在运行条件、预测时间、稀疏性、公平性、可解释性和鲁棒性等目标上的应用价值。
2024-06-06 cs.LG stat.ML
CHOPT : Automated Hyperparameter Optimization Framework for Cloud-Based Machine Learning Platforms
Clova AI Research, NAVER Corp.（NAVER公司Clova人工智能研究院）；Ulsan National Institute of Science and Technology（蔚山国立科学技术院）
许多超参数优化（HyperOpt）方法假设有限的计算资源并且主要集中于提高性能。在这里，我们提出了一种新的基于云的HyperOpt（CHOPT）框架，可以有效地利用共享的计算资源，同时支持各种HyperOpt算法。我们整合了方便的基于Web的用户界面、可视化和分析工具，使用户能够轻松控制优化程序，并通过迭代分析程序建立有价值的见解。此外，我们的框架可以与任何云平台相结合，从而补充提高传统深度学习框架的效率。我们展示了CHOPT的应用程序与任务，如图像识别和问答，表明我们的框架可以找到超参数配置与以前的工作有竞争力。我们还表明，CHOPT能够通过其分析工具提供有趣的观测结果
2018-10-16 cs.LG stat.ML
Recommending Learning Algorithms and Their Associated Hyperparameters
Brigham Young University（杨百翰大学）
机器学习在给定任务上的成功取决于选择哪种学习算法及其相关的超参数等。为给定的数据集选择合适的学习算法并设置其超参数可能是一项具有挑战性的任务，特别是对于不是机器学习专家的用户。以前的工作已经研究了使用元特征来预测应该使用哪种学习算法和超参数。然而，选择一组预测算法性能的元特征是困难的。在这里，我们建议将协同过滤技术应用于学习算法和超参数选择，并发现这样做可以避免确定使用哪些元特征，并且在许多情况下优于传统的元学习方法。
2014-07-07 cs.LG stat.ML
ExperienceThinking: Constrained Hyperparameter Optimization based on Knowledge and Pruning
Harbin Institute of Technology（哈尔滨工业大学）；University of California San Diego（加州大学圣迭戈分校）
机器学习算法对超参数非常敏感，并且它们的评估通常是昂贵的。用户迫切需要智能方法根据已知的评价信息快速优化超参数设置，从而降低计算成本，提高优化效率。受此启发，我们提出了ExperienceThinking算法，以快速找到最好的可能的超参数配置的机器学习算法在几个配置评估。ExperienceThinking设计了两种新的方法，分别从搜索空间剪枝和知识利用两个方面智能地推断最优配置。两种方法相辅相成，有效地解决了约束超参数优化问题。为了证明ExperienceThinking的好处，我们将其与3个经典的超参数优化算法进行了比较，这些算法具有少量的配置评估。实验结果表明，我们提出的算法提供了优越的结果，并取得更好的性能。
2020-05-04 cs.LG stat.ML
Optimizing for Generalization in Machine Learning with Cross-Validation Gradients
Department of Electrical Engineering（电气工程系）；Stanford University（斯坦福大学）
交叉验证是现代应用统计学和机器学习的主力，因为它为选择最大化泛化性能的模型提供了原则性框架。在本文中，我们证明了交叉验证风险对于许多常见的机器学习算法，包括逻辑斯谛回归，弹性网络回归和支持向量机的超参数和训练数据是可区分的。利用这种可微性，我们提出了一种用于超参数优化的交叉验证梯度方法（CVGM）。我们的方法可以在高维超参数空间中有效地优化交叉验证风险，这是我们学习算法真正泛化能力的最佳替代。
2018-05-18 cs.LG stat.ML
Using Known Information to Accelerate HyperParameters Optimization Based on SMBO
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；WiseUranium corp.（WiseUranium公司）
自动机是解决机器学习问题的关键技术。现有技术的超参数优化方法基于传统的黑盒优化方法，如SMBO（SMAC，TPE）。黑盒优化的目标函数是不平滑的，或者评估耗时，或者在某种程度上是嘈杂的。近年来，许多研究人员提出了有关超参数性质的工作。然而，传统的超参数优化方法没有考虑这些信息。本文利用梯度信息和机器学习模型分析信息对传统的超参数优化方法SMBO进行加速。在我们的L2范数实验中，我们的方法产生了最先进的性能，并且在许多情况下优于以前的最佳配置方法。
2019-07-18 cs.LG stat.ML
MANGO: A Python Library for Parallel Hyperparameter Tuning
Arm（安谋科技）
调整机器学习算法的超参数是一项繁琐的任务，通常是手动完成的。为了实现自动化的超参数调整，最近的工作已经开始使用基于贝叶斯优化的技术。然而，为了实际上实现大规模机器学习训练管道的自动调整，现有库中仍然存在显著的差距，包括缺乏抽象、容错和灵活性以支持任何分布式计算框架上的调度。为了解决这些挑战，我们提出了Mango，一个用于并行超参数调优的Python库。Mango支持使用任何分布式调度框架，实现智能并行搜索策略，并提供丰富的抽象来定义与scikit-learn兼容的复杂超参数搜索空间。Mango在性能上与另一个广泛使用的库Hyperopt相当。Mango是开源的，目前在Arm Research的生产中使用，以提供最先进的超参数调整功能。
2020-05-22 cs.LG stat.ML
Bayesian Optimization is Superior to Random Search for Machine Learning Hyperparameter Tuning: Analysis of the Black-Box Optimization Challenge 2020
Twitter（推特）；Facebook（脸书）；SigOpt, an Intel company（SigOpt（英特尔公司旗下））；Valohai；Paradigm（第四范式）；ChaLearn
本文介绍了2020年7月至10月在NeurIPS 2020上进行的黑盒优化（BBO）挑战的结果和见解。该挑战强调了评估无导数优化器对于调整机器学习模型的超参数的重要性。这是第一个以机器学习为重点的黑盒优化挑战。它基于标准机器学习模型在真实数据集上的调整（验证集）性能。这种竞争具有广泛的影响，因为黑盒优化（例如，贝叶斯优化）与几乎每个机器学习项目以及机器学习之外的许多应用程序中的超参数调优相关。最终的排行榜是使用保持（隐藏）目标函数的优化性能确定的，其中优化器在没有人为干预的情况下运行。基线是使用几个开源黑盒优化包的默认设置以及随机搜索来设置的。
2021-08-31 cs.AI cs.LG stat.ML
Hyperparameters in Reinforcement Learning and How To Tune Them
Leibniz University Hannover（汉诺威莱布尼茨大学）；Meta AI
本文针对强化学习超参数调优不一致导致公平比较困难的问题，评估多种 HPO 工具并提出分离调优/测试种子等最佳实践，证明其可提升性能、降低计算成本并改善可复现性。
2023-06-02 cs.LG
Hyperparameter Optimisation with Early Termination of Poor Performers
University of Essex（埃塞克斯大学）
机器学习系统通常具有影响其学习率和预测质量的许多超参数。然而，找到超参数的良好组合是一项具有挑战性的工作。这主要是因为对每个组合的评估在计算上是极其昂贵的;事实上，仅使用单个超参数组合在真实数据上训练机器学习系统通常需要几个小时甚至几天。在本文中，我们通过尝试预测具有给定超参数组合的机器学习系统的性能来解决这一挑战，而无需完成昂贵的学习过程。相反，我们在早期阶段终止训练过程，收集模型性能数据，并使用它来预测哪些超参数组合最有希望。我们的初步实验表明，这样的预测提高了常用的随机搜索方法的性能。
2019-08-06 cs.LG cs.NE stat.ML
Fast Bayesian Optimization of Machine Learning Hyperparameters on Large Datasets
University of Freiburg（弗莱堡大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
贝叶斯优化已经成为机器学习算法（例如支持向量机或深度神经网络）的超参数优化的成功工具。尽管它取得了成功，但对于大型数据集，训练和验证单个配置通常需要数小时、数天甚至数周，这限制了可实现的性能。为了加速超参数优化，我们提出了一个生成模型的验证误差作为训练集大小的函数，这是在优化过程中学习，并允许探索初步配置的小子集，通过外推到完整的数据集。我们构建了一个贝叶斯优化过程，称为Fabolas，它将损失和训练时间建模为数据集大小的函数，并自动权衡关于全局最优值的高信息增益与计算成本。优化支持向量机和深度神经网络的实验表明，Fabolas找到高质量解决方案的速度通常比其他最先进的贝叶斯优化方法或最近提出的强盗策略Hyperband快10到100倍。
2017-03-07 cs.AI cs.LG stat.ML
Quantum Machine Learning hyperparameter search
Lighthouse Disruptive Innovation Group, LLC（灯塔颠覆性创新集团有限责任公司）；Vueling Airlines S.A.（伏林航空公司）；Universitat Ramon Llull（拉蒙柳尔大学）
本文提出了一种基于量子的傅里叶回归方法，用于机器学习超参数优化，应用于在航空业预测问题相关数据集上训练的基准模型。我们的方法利用傅立叶级数方法来表示超参数搜索空间，然后使用量子算法来优化该超参数搜索空间，以找到给定机器学习模型的最佳超参数集。我们的研究评估了所提出的方法的基准模型训练预测预测问题的航空业使用标准的超参数优化器（HPO）。结果表明，在给定的搜索空间内，该方法在精度和收敛速度方面均优于传统的超参数优化方法。该研究为基于量子的机器学习超参数优化的未来研究提供了新的方向。
2023-02-20 cs.LG quant-ph
Online Continuous Hyperparameter Optimization for Generalized Linear Contextual Bandits
University of California, Davis（加利福尼亚大学戴维斯分校）；Google（谷歌公司）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文针对上下文赌博机超参数难以实时调优的问题，提出首个在线连续超参数调优框架 CDT，将超参数优化建模为非平稳连续臂赌博机，并设计 Zooming TS 算法，在理论和实验上均取得优于现有方法的效果。
2024-04-08 cs.LG stat.ML
Frugal Optimization for Cost-related Hyperparameters
Microsoft Research（微软研究院）
对机器学习算法民主化的日益增长的需求要求低成本的超参数优化（HPO）解决方案。许多机器学习算法都有超参数，这可能会导致训练成本的大幅变化。但现有的HPO方法在很大程度上忽略了这一影响，无法在优化过程中适当地控制成本。为了解决这个问题，我们开发了一种新的成本节约的HPO解决方案。我们的解决方案的核心是一个简单的，但新的随机直接搜索方法，我们证明了收敛速度的$O(\frac{\sqrt{d}}{\sqrt{K}})$和$O(dε^{-2})$近似保证的总成本。我们提供了强有力的实证结果与国家的最先进的HPO方法在大型AutoML基准比较。
2020-12-22 cs.LG stat.ML
Multi-level Training and Bayesian Optimization for Economical Hyperparameter Optimization
Tsinghua University（清华大学）；Purdue University（普渡大学）
超参数在许多机器学习方法的性能中起着至关重要的作用。确定它们的最佳设置或超参数优化（HPO）面临着大量超参数以及过多训练时间所带来的困难。在本文中，我们开发了一种有效的方法来减少所需的培训时间的总量HPO。在初始化中，使用嵌套拉丁超立方体设计来选择两种类型的训练的超参数配置，这两种类型的训练分别是重训练和轻训练。我们提出了一个截断的加性高斯过程模型来校准由轻训练产生的近似性能测量，使用由重训练产生的准确性能测量。在此基础上，提出了一种基于模型的序贯算法来生成配置空间的性能剖面，并找到最优的性能剖面。我们提出的方法在应用于优化合成示例、支持向量机、全连接网络和卷积神经网络时表现出具有竞争力的性能。
2020-07-20 cs.LG stat.ML
High Per Parameter: A Large-Scale Study of Hyperparameter Tuning for Machine Learning Algorithms
机器学习（ML）中的超参数已经受到了相当多的关注，超参数调整已经被视为ML管道中的重要步骤。但是，所说的调整到底有多大用处呢？虽然之前已经进行了小规模的实验，但在此我们进行了大规模的调查，具体来说，涉及26个ML算法，250个数据集（回归以及二进制和多项式分类），6个评分指标和28，857，600个算法运行。分析结果，我们得出结论，对于许多ML算法，我们不应该期望从平均超参数调整中获得相当大的收益，然而，可能有一些数据集的默认超参数表现不佳，后者对某些算法来说比其他算法更真实。通过定义一个hp_score值，它结合了算法的累积统计数据，我们能够对26个ML算法进行排名，从那些预期从超参数调整中获得最多的算法到那些预期获得最少的算法。我们相信这样的研究可以为ML从业者提供服务。
2022-07-13 cs.LG
No-Regret Bayesian Optimization with Unknown Hyperparameters
ETH Zurich（苏黎世联邦理工学院）；University of Toronto（多伦多大学）
基于高斯过程模型的贝叶斯优化（BO）是一种有效的优化黑箱函数的方法。虽然一些BO算法可证明收敛于未知函数的全局最优解，但它们假设内核的超参数是预先已知的。但实际情况并非如此，错误指定通常会导致这些算法收敛到较差的局部最优值。在本文中，我们提出了第一个BO算法，可证明没有遗憾，收敛到最佳的超参数的知识。在优化过程中，我们缓慢地调整静态内核的超参数，从而随着时间的推移扩展相关的函数类，以便BO算法考虑更复杂的函数候选。基于理论上的见解，我们提出了几个实用的算法，实现BO的经验样本效率与在线超参数估计，但保留理论上的收敛保证。我们评估我们的方法在几个基准问题。
2019-04-01 cs.LG stat.ML
Automatic Exploration of Machine Learning Experiments on OpenML
Ludwig-Maximilians-Universität München（慕尼黑大学）
了解超参数对机器学习算法性能的影响本身就是一个重要的科学课题，可以帮助改进自动超参数调整过程。不幸的是，用于此目的的实验性Meta数据仍然很少。本文提出了一个大型、免费和开放的数据集来解决这个问题，其中包含38个OpenML数据集、六种不同的机器学习算法和许多不同的超参数配置的结果。结果由自动随机抽样策略生成，称为OpenML随机机器人。每个算法在不同的超参数设置下对每个数据集进行了多达20，000次的交叉验证，从而产生了总共约250万次实验的Meta数据集。
2018-10-19 cs.DB cs.LG stat.ML
Beyond algorithm hyperparameters: on preprocessing hyperparameters and associated pitfalls in machine learning applications
Institute for Medical Information Processing, Biometry and Epidemiology, Faculty of Medicine, LMU Munich（医学信息处理、生物统计与流行病学研究所，医学学院，慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Department of Palliative Medicine, University Hospital, LMU Munich（姑息医学部，大学医院，慕尼黑大学）；Institute of Clinical Biometrics, Center for Medical Data Science, Medical University of Vienna（临床生物统计研究所，医学数据科学中心，维也纳医学大学）
本文指出预处理选项选择也是一种常被忽视的超参数调优，系统回顾并实证说明了算法与预处理超参数的不同处理方式及其陷阱，以提升ML预测建模质量。
2025-08-15 cs.LG stat.ME stat.ML
Fair and Green Hyperparameter Optimization via Multi-objective and Multiple Information Source Bayesian Optimization
University of Milano-Bicocca（米兰比可卡大学）；OAKS srl（OAKS有限责任公司）
有一个共识是，只关注搜索最佳机器学习模型的准确性会放大数据中包含的偏差，导致不公平的预测和决策支持。最近，多目标超参数优化已经被提出来搜索机器学习模型，这些模型在准确性和公平性之间提供同样的帕累托有效的权衡。虽然这些方法被证明比公平感知的机器学习算法更通用-优化精度限制在某个公平阈值上-但在大型数据集的情况下，它们可能会大幅增加能耗。在本文中，我们提出了FangG-HPO，一个公平的和绿色的超参数优化（HPO）方法的基础上，多目标和多信息源贝叶斯优化。FanG-HPO使用大型数据集的子集（又名信息源）来获得准确性和公平性的廉价近似值，并使用多目标贝叶斯优化来有效地识别帕累托有效的机器学习模型。实验考虑了两个基准（公平性）数据集和两种机器学习算法（XGBoost和多层感知器），并通过BoTorch中的多目标单源优化算法对FanG-HPO进行了评估，BoTorch是最先进的贝叶斯优化平台。
2022-05-18 cs.LG math.OC stat.ML
Reducing The Search Space For Hyperparameter Optimization Using Group Sparsity
Iowa State University（爱荷华州立大学）
提出了一种新的机器学习超参数选择算法。该算法是一种新的修改口琴，光谱超参数选择方法，使用稀疏恢复方法。特别是，我们表明，一个特殊的超参数空间编码，使一个自然的组稀疏恢复制定，这与HyperBand（多臂强盗策略）时，导致改善现有的超参数优化方法，如连续减半和随机搜索。在CIFAR-10等图像数据集上的实验结果证实了我们方法的优点。
2019-04-24 cs.LG stat.ML
Hyperparameter Importance Across Datasets
Albert-Ludwigs-Universität Freiburg（阿尔伯特-路德维希 Freiburg 大学）
随着自动化机器学习的出现，自动化超参数优化方法现在经常用于数据挖掘。然而，这一进展尚未与自动分析的同等进展相匹配，自动分析产生的信息超出了性能优化超参数设置。在这项工作中，我们的目标是回答以下两个问题：给定一个算法，通常它最重要的超参数是什么，这些超参数的典型值是什么？我们提出的方法和框架来回答这些问题的基础上跨许多数据集的元学习。我们使用OpenML上可用的实验元数据来确定支持向量机、随机森林和Adaboost的最重要的超参数，并推断其所有超参数的先验。完全自动获得的结果为手动算法设计和自动超参数优化提供了定量基础。所进行的实验证实，所提出的方法选择的超参数确实是最重要的，并且所获得的先验也导致超参数优化的统计显着改善。
2018-05-29 cs.LG stat.ML
PHS: A Toolbox for Parallel Hyperparameter Search
Competence Center for High Performance Computing Fraunhofer ITWM Kaiserslautern（弗劳恩霍夫研究所ITWM高性能计算能力中心（凯泽斯劳滕））；Institute for Machine Learning and Analytics (IMLA) Offenburg University（奥芬堡大学机器学习与分析研究所（IMLA））
我们引入了一个名为PHS的开源Python框架-并行超参数搜索，以实现任意Python函数的众多计算实例上的超参数优化。这是通过在目标函数内部进行最小的修改来实现的。可能的应用出现在昂贵的评估数值计算，强烈依赖于超参数，如机器学习。贝叶斯优化被选为一个样本有效的方法来提出下一个查询参数集。
2020-02-27 cs.LG stat.ML
A System for Massively Parallel Hyperparameter Tuning
Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）；Google Research（谷歌研究院）；Determined AI；University of California, Berkeley（加利福尼亚大学伯克利分校）
现代学习模型的特点是大的超参数空间和长的训练时间。这些特性，加上并行计算的兴起和对机器学习工作负载生产化的日益增长的需求，激发了在分布式计算设置中开发成熟的超参数优化功能的需求。我们首先介绍了一个简单而强大的超参数优化算法称为ASHA，它利用并行性和积极的早期停止来解决大规模的超参数优化问题，以解决这一挑战。我们广泛的实证结果表明，ASHA优于现有的国家的最先进的超参数优化方法;规模与分布式设置中的工人的数量呈线性关系;并适合大规模并行，如500名工人的任务所示。然后，我们描述了我们在将ASHA集成到Determined AI的端到端生产质量机器学习系统中时遇到的几个设计决策以及我们的相关解决方案，该系统提供超参数调优服务。
2020-03-16 cs.LG stat.ML
To tune or not to tune? An Approach for Recommending Important Hyperparameters
University of Tartu（塔尔图大学）
自动机器学习中的新技术降低了算法选择和超参数优化的复杂性。超参数对于机器学习模型是重要的，因为它们显著地影响机器学习模型的性能。许多优化技术在超参数调整方面取得了显着成功，并超越了人类专家的性能。然而，依赖于黑盒算法等技术，机器学习从业者可能无法洞察不同超参数的相对重要性。在本文中，我们考虑建立机器学习模型的性能与其超参数之间的关系，以发现趋势并获得见解，并基于6个分类器和200个数据集进行实证研究。我们的研究结果使用户能够决定是否值得进行可能耗时的调整策略，专注于最重要的超参数，并选择适当的超参数空间进行调整。我们的实验结果表明，梯度提升和Adaboost在200个问题上优于其他分类器。但是，它们需要调优以提高性能。总的来说，从这项研究中获得的结果提供了一个定量的基础，集中精力引导自动化超参数优化，并有助于更好的自动化机器学习框架的发展。
2021-08-30 cs.AI cs.LG
Optimizing Ensemble Weights and Hyperparameters of Machine Learning Models for Regression Problems
Iowa State University（爱荷华州立大学）
通过集成模型聚合多个学习者旨在通过更准确地捕获数据的底层分布来做出更好的预测。不同的组合方法，如装袋、增压和堆叠/混合，已在研究和实践中被广泛研究和采用。bagging和boosting分别更侧重于减少方差和偏差，而stacking方法则通过找到组合基本学习器的最佳方式来实现这两个目标。在使用加权平均值进行堆叠时，从多个基本学习器的加权平均值创建集合。众所周知，在集成权重优化过程中调整每个基学习器的超参数可以产生性能更好的集成。为此，设计了一种基于优化的嵌套算法，该算法考虑调整超参数以及找到组合集成的最佳权重（具有内部调整超参数的广义加权集成（GEM-ITH））。此外，贝叶斯搜索被用来加快优化过程，并实施启发式生成多样化和性能良好的基础学习器。通过对10个公开数据集的分析，证明了该算法可推广到真实数据集。
2020-10-31 cs.LG stat.ME stat.ML
A Linear Programming Enhanced Genetic Algorithm for Hyperparameter Tuning in Machine Learning
Brij Disa Centre for Data Science and Artificial Intelligence（布里吉·迪萨数据科学与人工智能中心）；Indian Institute of Management Ahmedabad（印度管理学院艾哈迈达巴德分校）；Department of Statistics and Data Science（统计与数据科学系）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
本文将超参数调优建模为双层规划，提出用线性规划增强微型遗传算法，在离散与连续超参数上协同搜索，并在MNIST和CIFAR-10上验证了其与种群方法结合的有效性。
2024-06-30 cs.LG cs.NE
Auptimizer -- an Extensible, Open-Source Framework for Hyperparameter Tuning
LG Electronics（LG电子）
大规模调整机器学习模型，特别是找到正确的超参数值，可能是困难和耗时的。除了所需的计算工作之外，该过程还需要一些辅助工作，包括工程任务（例如，作业调度）以及更普通的任务（例如，跟踪各种参数和相关结果）。我们提出了Auptimizer，一个通用的超参数优化（HPO）框架，以帮助数据科学家加快模型调优和簿记。使用Auptimizer，用户可以在分布式设置中使用所有可用的计算资源进行模型训练。用户友好的系统设计简化了典型机器学习项目的创建、控制和跟踪。该设计还允许研究人员集成新的HPO算法。为了展示它的灵活性，我们展示了Auptimizer如何集成一些主要的HPO技术（从随机搜索到神经结构搜索）。该代码可在https://github.com/LGE-ARC-AdvancedAI/auptimizer上获得。
2019-11-06 cs.LG stat.ML
The Role of Hyperparameters in Predictive Multiplicity
Eskisehir Technical University（埃斯基谢希尔技术大学）；Warsaw University of Technology（华沙理工大学）；University of Warsaw（华沙大学）
本文评估六种表格模型在21个基准数据集上的超参数调优，发现其虽提升性能却加剧预测分歧，尤以Extreme Gradient Boosting最不稳定。
2025-03-13 cs.LG stat.ML
Some Best Practices in Operator Learning
Purdue University（普渡大学）
针对算子学习中超参数搜索计算成本高的问题，本文围绕多种微分方程场景，测试三类算子学习架构下的超参数与训练方法选择，以总结稳健的实践规律。
2024-12-09 cs.LG physics.comp-ph
Performance evaluation and hyperparameter tuning of statistical and machine-learning models using spatial data
NEIKER；TU Dortmund University（多特蒙德工业大学）
近年来，机器学习算法在生态建模领域得到了广泛的应用，因为它们在分类问题的预测性能方面具有很好的效果。虽然这些算法的应用在过去几年中已经高度简化，因为它们在常用的统计编程语言（如R）中有很好的集成，但在生态建模领域存在一些实际挑战，涉及无偏性能估计，使用超参数调整和空间自相关优化算法。我们解决这些问题的几个广泛使用的机器学习算法，如提升回归树（BRT），k-最近邻（WKNN），随机森林（RF）和支持向量机（SVM）的比较传统的参数算法，如逻辑斯谛回归（GLM）和半参数的广义可加模型（GAM）。不同的嵌套交叉验证方法，包括超参数调整方法被用来评估模型的性能，目的是获得偏差减少的性能估计。作为一个案例研究的空间分布在西班牙巴斯克地区的森林疾病Diplodia saperidae调查使用常见的环境变量，如温度，降水量，土壤或岩性作为预测因子。结果表明，GAM和RF（平均AUROC估计值为0.708和0.699）在预测准确性方面优于所有其他方法。对于这个数据集，超参数调整的效果在大约50次迭代时饱和。GAM和RF的偏倚减少（空间交叉验证）和过度乐观（非空间交叉验证）性能估计之间的AUROC差异分别为0.167（24%）和0.213（30%）。建议还使用空间分区进行空间数据的交叉验证超参数调优。
2018-03-29 cs.LG stat.ME stat.ML
The Role of Adaptive Optimizers for Honest Private Hyperparameter Selection
University of Waterloo（滑铁卢大学）；Google（谷歌）
超参数优化是机器学习中普遍存在的挑战，训练模型的性能关键取决于它们的有效选择。虽然有丰富的工具集存在于此目的，目前还没有实用的超参数选择方法的约束下的差分隐私（DP）。我们研究诚实的超参数选择差异私人机器学习，其中超参数调整的过程中占整体隐私预算。为此，我们i）表明标准组合工具在许多设置中优于更先进的技术，ii）经验和理论上证明学习率和裁剪范数超参数之间的内在联系，iii）表明自适应优化器如DPDAdam在诚实超参数调整过程中具有显着优势，以及iv）利用Adam在DP设置中的新颖限制行为来设计新的且更有效的优化器。
2021-11-09 cs.CR cs.LG stat.ML
Revisiting N-CNN for Clinical Practice
FEI University Center（FEI大学中心）；Federal University of Sao Paulo（圣保罗联邦大学）
本研究重新审视N-CNN，通过调整学习率、正则化等超参数构建Tuned N-CNN，结合新生儿面部编码系统软标签训练疼痛评估模型，发现分类性能与可解释性提升未带来校准性能改善，为开发可靠的新生儿疼痛评估工具提供参考。
2023-08-10 cs.LG
A Collection of Quality Diversity Optimization Problems Derived from Hyperparameter Optimization of Machine Learning Models
LMU Munich（慕尼黑大学）
质量多样性优化的目标是为手头的给定问题生成一系列多样但高性能的解决方案。典型的基准问题是，例如，找到机器人手臂配置的曲目或游戏策略的集合。在本文中，我们提出了一组质量多样性优化问题，解决了机器学习模型的超参数优化-质量多样性优化的一个迄今为止尚未探索的应用。我们的基准问题涉及新的功能，如模型的可解释性或资源使用。为了实现快速有效的基准测试，我们建立在YAHPO Gym，最近提出的开源基准测试套件超参数优化，利用高性能的代理模型，并返回这些代理模型预测，而不是评估真正昂贵的黑盒功能。我们目前的初步实验研究结果比较不同的质量多样性优化我们的基准问题。此外，我们讨论了未来的方向和挑战的质量多样性优化的背景下，超参数优化。
2022-07-30 cs.LG
Reducing hyperparameter sensitivity in measurement-feedback based Ising machines
Applied Physics Research Group, Vrije Universiteit Brussel（应用物理研究组，布鲁塞尔自由大学）
本文提出了一种方法，通过减少测量反馈架构对超参数选择的敏感性，以提升异或机的实际操作性能。
2026-03-04 cs.LG physics.app-ph physics.comp-ph
A Tsetlin Machine with Multigranular Clauses
University of Agder（阿格德尔大学）
最近推出的Tsetlin机（TM）提供了竞争力的模式识别精度在几个基准，但是，需要一个三维超参数搜索。在本文中，我们介绍了多粒度Tsetlin机（MTM）。MTM消除了特异性超参数，该参数由TM用于控制其产生的用于识别模式的合取子句的粒度。而不是使用一个固定的全球特异性，我们编码不同的特异性的条款的一部分，使条款多粒度。这使得更容易配置TM，因为超参数搜索空间的维度被减少到仅二维。事实上，事实证明，在将MTM应用于新问题时，所涉及的超参数调整要少得多。此外，我们凭经验证明，MTM提供了类似的性能与精细的特异性优化TM，通过比较它们的性能在合成和真实世界的数据集。
2019-09-16 cs.AI cs.LG stat.ML
Efficient Online Hyperparameter Optimization for Kernel Ridge Regression with Applications to Traffic Time Series Prediction
Penn State University（宾夕法尼亚州立大学）；UC Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
计算效率是在线环境中部署用于时间序列预测的机器学习模型的重要考虑因素。机器学习算法根据数据自动调整模型参数，但通常需要用户设置额外的参数，称为超参数。超参数会显著影响预测精度。通常由传感器在线收集的流量测量是串行相关的。此外，数据分布可能会逐渐变化。典型的自适应策略是周期性地重新调整模型超参数，以计算负担为代价。在这项工作中，我们提出了一个有效的和原则性的在线超参数优化算法的核岭回归应用于交通预测问题。在对真实流量测量数据的测试中，我们的方法所需的计算时间仅为其他调优方法的七分之一，同时实现了更好或类似的预测精度。
2018-11-01 cs.LG stat.ML
Fast Hyperparameter Tuning for Ising Machines
Fujitsu Research（富士通研究院）；Fujitsu LTD.（富士通有限公司）；Waseda University（早稻田大学）
本文提出了一种名为FastConvergence的TPE收敛加速方法，用于加速Ising机的超参数调优，实验表明其能在不到一半的试验次数内达到与单独使用TPE相似的效果。
2022-11-29 cs.LG cs.NE
Towards Assessing the Impact of Bayesian Optimization's Own Hyperparameters
University of Freiburg（弗赖堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
贝叶斯优化（BO）是自动机器学习中超参数优化（HPO）的常用方法。虽然人们普遍认为HPO对于获得性能良好的机器学习模型至关重要，但调整BO自身的超参数往往被忽视。在本文中，我们实证研究的影响，优化BO的自己的超参数和发现的设置使用广泛的基准，包括人工功能，HPO和HPO结合神经架构搜索的可转移性。特别是，我们表明（i）调整可以提高不同BO方法的任何时候的性能，优化的BO设置也表现良好（ii）在类似的问题和（iii）部分甚至在其他问题家族的问题，以及（iv）BO超参数是最重要的。
2019-08-19 cs.AI cs.LG stat.ML
Explaining Hyperparameter Optimization via Partial Dependence Plots
Ludwig-Maximilians-University Munich（路德维希-马克西米利安慕尼黑大学）；Leibniz University Hannover（莱布尼茨汉诺威大学）
自动超参数优化（HPO）可以支持从业者在机器学习模型中获得峰值性能。然而，通常缺乏对不同超参数对最终模型性能的影响的有价值的见解。这种缺乏可解释性的情况使得人们很难信任和理解自动化的HPO过程及其结果。我们建议使用可解释的机器学习（IML），以获得从HPO与贝叶斯优化（BO）过程中获得的实验数据的见解。BO倾向于关注具有潜在高性能配置的有希望的区域，从而引起采样偏差。因此，许多IML技术，如部分依赖图（PDP），具有产生有偏见的解释的风险。通过利用BO代理模型的后验不确定性，我们引入了PDP的一个变体，并估计了置信带。我们建议对超参数空间进行分区，以在相关子区域中获得更自信和可靠的PDP。在一项实验研究中，我们提供了定量的证据，提高质量的次区域内的PDP。
2022-01-26 cs.LG stat.ML
Radial basis function kernel optimization for Support Vector Machine classifiers
University of Málaga（马拉加大学）；Biomedic Research Institute of Málaga (IBIMA)（马拉加生物医学研究所 (IBIMA)）；University of Michigan（密歇根大学）
支持向量机（SVM）仍然是最流行和最精确的分类器之一。径向基函数（RBF）核已被用于支持向量机中，以在类之间进行分离，并取得了相当大的成功。然而，存在对核超参数的初始值的内在依赖性。在这项工作中，我们提出了OKSVM，一种自动学习RBF核超参数，同时调整SVM权重的算法。所提出的优化技术是基于一个梯度下降方法。我们分析了我们的方法相对于经典的SVM分类合成和真实数据的性能。实验结果表明，OKSVM的性能更好，而不受初始值的RBF超参数。
2020-07-16 cs.LG stat.ML
Differential Description Length for Hyperparameter Selection in Machine Learning
University of Hawaii at Manoa（夏威夷大学马诺阿分校）；Shenzhen Research Institute of Big Data, CUHKSZ（香港中文大学（深圳）深圳大数据研究院）
本文介绍了一种新的方法，模型选择和更一般的超参数选择在机器学习。最小描述长度（MDL）是一种用于模型选择的既定方法，然而，它并不直接旨在最小化泛化误差，而泛化误差通常是机器学习的主要目标。本文证明了泛化误差与训练数据的描述长度差之间的关系，我们称之为差分描述长度（DCL）。这允许通过执行对训练数据的编码来仅从训练数据预测泛化误差。然后，通过选择具有最小预测泛化误差的模型，可以将泛化用于模型选择。我们展示了这种方法如何用于线性回归、神经网络和深度学习。实验结果表明，该方法的泛化误差小于交叉验证方法和传统的MDL、Bayes方法。
2019-05-22 cs.IT cs.LG math.IT
Mining Documentation to Extract Hyperparameter Schemas
IBM Research（IBM研究院）
人工智能自动化工具需要机器可读的超参数模式来定义其搜索空间。与此同时，AI库通常带有良好的人类可读文档。虽然这样的文档包含了大部分必要的信息，但不幸的是，它还没有准备好被工具使用。本文描述了如何自动挖掘AI库中的Python文档字符串，以提取JSON模式的超参数。我们评估我们的方法对119 Transformers和估计器从三个不同的图书馆，发现它是有效的提取机器可读的模式。我们的愿景是减轻人工智能自动化工具手动创建和维护此类模式的负担，并将自动化的范围扩大到更大的库和更丰富的模式。
2020-07-02 cs.DB cs.LG stat.ML
Adaptive Bayesian Linear Regression for Automated Machine Learning
Universite Cote d’Azur（蔚蓝海岸大学）；I3S laboratory（I3S实验室）
为了解决机器学习问题，通常需要执行数据预处理、建模和超参数调整，这被称为模型选择和超参数优化。自动机器学习（AutoML）的目标是设计能够自动执行模型选择和超参数优化的方法，而无需人为干预。在本文中，我们提出了一种元学习方法，可以搜索一个高性能的机器学习管道从预定义的候选管道的监督分类数据集在一个有效的方式，通过利用从以前的实验收集的元数据。更具体地说，我们的方法结合了一个自适应贝叶斯回归模型与神经网络基函数和贝叶斯优化的采集功能。自适应贝叶斯回归模型能够从先前的元数据中捕获知识，从而对新数据集上的机器学习流水线的性能进行预测。实验结果表明，该方法能够快速识别出一系列测试数据集的高性能流水线，性能优于基线方法。
2019-04-18 cs.LG stat.ML
Reducing Hyperparameter Tuning Costs in ML, Vision and Language Model Training Pipelines via Memoization-Awareness
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；University of Southern California（南加利福尼亚大学）
提出记忆化感知的贝叶斯优化算法EEIPU，结合流程缓存系统，在相同GPU预算下评估更多超参数候选，提升调优质量，并在ML、视觉和语言模型流程上验证了有效性。
2024-11-06 cs.LG stat.ML
On the Performance of Differential Evolution for Hyperparameter Tuning
NEC Laboratories Europe GmbH（NEC欧洲实验室有限公司）
自动化超参数调整渴望促进非专家的机器学习的应用。在文献中，不同的优化方法被应用于该目的。本文研究了差分进化算法在调整监督学习算法超参数进行分类任务时的性能。这项实证研究涉及一系列不同的机器学习算法和具有各种特征的数据集，以比较差分进化与基于序列模型的算法配置（SMAC）的性能，这是一种参考贝叶斯优化方法。结果表明，在调整给定的机器学习算法时，差分进化在大多数数据集上的表现优于SMAC-特别是在以先报告的方式打破联系时。只有在计算预算最紧的情况下，SMAC才表现得更好。在小数据集上，差分进化比SMAC高出19%（平局后为37%）。在第二个实验中，在一系列来自文献的代表性数据集上，差分进化比SMAC多赢了15%（平局后为23%）。
2019-04-15 cs.LG cs.NE stat.ML
Hyperboost: Hyperparameter Optimization by Gradient Boosting surrogate models
Eindhoven University of Technology（埃因霍温理工大学）
Bayesian Optimization是自动机器学习（AutoML）系统中调优算法的流行工具。当前最先进的方法利用随机森林或高斯过程来构建代理模型，该代理模型在给定某组超参数设置的情况下预测算法性能。在本文中，我们提出了一个新的代理模型的基础上梯度提升，我们使用分位数回归提供乐观的估计的性能未观察到的超参数设置，并结合未观察到的和观察到的超参数设置之间的距离度量，以帮助调节探索。我们的经验表明，新的方法是能够超越一些国家的最先进的技术在一个合理的大小集的分类问题。
2021-01-06 cs.LG stat.ML
