How to tune the RBF SVM hyperparameters?: An empirical evaluation of 18 search algorithms
Computing Institute University of Campinas（坎皮纳斯大学计算研究所）；Facultad de Ciencias y Filosofía Universidad Peruana Cayetano Heredia（秘鲁卡耶塔诺埃雷迪亚大学科学与哲学学院）
具有RBF核的SVM通常是大多数数据集的最佳分类算法之一，但重要的是要根据数据本身调整两个超参数$C$和$γ$。通常，超参数的选择是一个非凸优化问题，因此已经提出了许多算法来解决它，其中包括：网格搜索，随机搜索，贝叶斯优化，模拟退火，粒子群优化，Nelder Mead等。也有人建议将$γ$和$C$的选择分开。我们在115个现实生活中的二进制数据集上实证比较了18个这些建议的搜索算法（共47种组合具有不同的参数化）。我们发现（除其他事项外），树的Parzen估计和粒子群优化选择更好的超参数，只有轻微增加计算时间相对于网格搜索具有相同数量的评价。我们还发现，花费太多的计算精力搜索超参数将不太可能导致更好的性能，为未来的数据，并有没有显着的差异，不同的程序来选择最好的一组超参数时，发现一个以上的搜索算法。
2020-08-26 cs.LG stat.ML
Importance of Tuning Hyperparameters of Machine Learning Algorithms
Eindhoven University of Technology（埃因霍温理工大学）；Columbia University（哥伦比亚大学）
许多机器学习算法的性能取决于它们的超参数设置。本研究的目标是确定是否需要调整超参数，或者是否可以安全地将其设置为默认值。我们提出了一种方法来确定调整超参数的非劣效性测试和调整风险的基础上的重要性：性能损失时发生的超参数没有调整，但设置为默认值。因为我们的方法需要默认参数的概念，我们提出了一个简单的过程，可以用来确定合理的默认参数。我们使用OpenML的59个数据集在基准研究中应用我们的方法。我们的研究结果表明，将特定的超参数保留为默认值并不比调整这些超参数差。在某些情况下，将超参数保留为默认值甚至优于使用具有有限迭代次数的搜索过程对其进行调整。
2020-07-15 cs.LG stat.ML
Open Loop Hyperparameter Optimization and Determinantal Point Processes
Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）
驱动的需要，可并行的超参数优化方法，本文研究了\emph{open loop}搜索方法：序列是预先确定的，可以产生之前，一个单一的配置进行评估。示例包括网格搜索、均匀随机搜索、低差异序列和其他采样分布。特别是，我们提出了使用$k$ -行列式点过程的超参数优化通过随机搜索。与超参数设置被独立采样的常规均匀随机搜索相比，$k$ -DPP促进多样性。我们描述了一种方法，转换超参数搜索空间的有效利用与$k$ -DPP。此外，我们引入了一种新的梅特罗波利斯-黑斯廷斯算法，它可以从$k$ -DPP定义的任何空间，从均匀的样本可以绘制，包括空间的混合离散和连续的尺寸或树结构的样本。我们的实验表明，无论是串行还是并行，在训练监督学习者的预算有限的情况下，在现实场景中都有显着的好处。
2019-05-09 cs.LG stat.ML
Weighted Random Search for Hyperparameter Optimization
Central Washington University（中华盛顿大学）
我们介绍了随机搜索（RS）的改进版本，这里用于机器学习算法的超参数优化。与标准RS不同，它为每个试验生成所有超参数的新值，我们为每个超参数生成具有变化概率的新值。我们的方法背后的直觉是，已经触发好结果的值是下一步的好候选者，并且应该在新的超参数值组合中进行测试。在相同的计算预算，我们的方法产生更好的结果比标准RS。我们的理论结果证明了这一说法。我们在这类问题最常用的目标函数之一（Grievank函数）的变体上测试了我们的方法，并用于深度学习CNN架构的超参数优化。我们的结果可以推广到任何定义在离散域上的优化问题。
2020-04-03 cs.LG stat.ML
Hyperparameter Optimization in Machine Learning
本文综述了机器学习中超参数优化的统一方法，涵盖了随机搜索、带抵制算法、模型方法等主流技术，并探讨了在线、约束和多目标等扩展形式，以及与其他领域如元学习的联系。
2025-11-24 cs.LG stat.ML
Model-based Asynchronous Hyperparameter and Neural Architecture Search
Amazon Web Services（亚马逊云科技）；University of Sydney（悉尼大学）
我们引入了一种基于模型的异步多保真度方法，用于超参数和神经结构搜索，该方法结合了异步Hyperband和基于高斯过程的贝叶斯优化的优点。我们方法的核心是一个概率模型，它可以同时跨超参数和资源级别进行推理，并支持在存在待定评估的情况下进行决策。我们证明了我们的方法在广泛的具有挑战性的基准测试，表格数据，图像分类和语言建模的有效性，并报告了当前最先进的方法的大幅加速。我们的新方法，以及异步基线，在一个分布式框架中实现，该框架将与本出版物一起开源。
2020-06-30 cs.LG stat.ML
Stealing Hyperparameters in Machine Learning
Duke University（杜克大学）
超参数在机器学习中至关重要，因为不同的超参数通常会导致模型具有显著不同的性能。超参数可以被认为是机密的，因为它们的商业价值和学习者用来学习它们的专有算法的机密性。在这项工作中，我们提出了窃取学习者学习的超参数的攻击。我们称之为超参数窃取攻击。我们的攻击适用于各种流行的机器学习算法，如岭回归，逻辑回归，支持向量机和神经网络。我们从理论上和经验上评估我们的攻击的有效性。例如，我们评估我们对亚马逊机器学习的攻击。我们的结果表明，我们的攻击可以准确地窃取超参数。我们还研究了对策。我们的研究结果强调了需要新的防御措施来抵御某些机器学习算法的超参数窃取攻击。
2019-09-07 cs.CR cs.LG stat.ML
Using a thousand optimization tasks to learn hyperparameter search strategies
Google Research（谷歌研究院）
我们提出了TaskSet，一个用于训练和评估优化器的任务数据集。TaskSet的大小和多样性是独一无二的，包含超过一千个任务，从使用全连接或卷积神经网络的图像分类，到变分自编码器，再到各种数据集上的非体积保留流。作为这样一个数据集的示例应用，我们探索元学习一个有序的超参数列表来顺序尝试。通过从使用TaskSet生成的数据中学习这个超参数列表，我们在样本效率方面实现了比随机搜索更大的加速。接下来，我们使用任务集的多样性和我们学习超参数列表的方法，以经验的方式探索这些列表在各种设置中的新优化任务的泛化，包括使用Resnet50的ImageNet分类和使用Transformers的LM1B语言建模。作为这项工作的一部分，我们为所有任务提供了开源代码，以及用于这些问题的约2900万条训练曲线和相应的超参数。
2020-04-01 cs.LG stat.ML
A Novel Orthogonal Direction Mesh Adaptive Direct Search Approach for SVM Hyperparameter Tuning
École de Technologie Supérieure - Université du Québec（魁北克大学高等技术学院）；University of Santa Catarina（圣卡塔琳娜联邦大学）；Pontifícia Universidade Católica do Paraná（巴拉那天主教大学）
在本文中，我们提出了一种黑盒优化方法，称为确定性网格自适应直接搜索（MADS）算法与正交方向（Ortho-MADS）的超参数选择的支持向量机与高斯核。与文献中利用数据属性或试图最小化验证数据集在（C，gamma）第一象限上的准确性的大多数方法不同，Ortho-MADS提供了收敛性证明。我们提出的MADS，其次是Ortho-MADS，动态停止标准定义的MADS网格大小和两个不同的搜索策略（Nelder-Mead和可变邻域搜索），有助于竞争的收敛速度，以及从不希望的局部极小值逃脱的机制。我们已经研究了具有高斯核的支持向量机的超参数的实际选择，即，在几个基准数据集上正确选择超参数gamma（带宽）和C（权衡）。实验结果表明，所提出的超参数调整方法始终找到可比或更好的解决方案，当使用一个共同的配置，比其他方法。我们还评估了Ortho-MADS的Nelder-Mead搜索策略和可变邻域搜索策略的精度和函数评估的数量，使用网格大小作为停止标准，我们已经达到了其他超参数优化方法无法达到的精度。
2019-04-26 cs.LG stat.ML
Fully Parallel Hyperparameter Search: Reshaped Space-Filling
ESIEE（高等电子工程工程师学院）；Université Paris-Est（巴黎东大学）；CNRS（法国国家科学研究中心）；ENPC（国立桥路学校）；ESIEE Paris（巴黎高等电子工程工程师学院）；UPEM（巴黎东马恩拉瓦莱大学）；Facebook AI Research（Facebook人工智能研究院）；Université du Littoral Côte d’Opale（滨海奥帕尔海岸大学）
空间填充设计，如scrambled-Hammersley，拉丁超立方体采样和抖动采样已经被提出用于完全并行的超参数搜索，并且被证明比随机或网格搜索更有效。在本文中，我们表明，这些设计只提高了一个常数因子的随机搜索。相比之下，我们引入了一种基于重塑搜索分布的新方法，无论是理论上还是经验上，它都比随机搜索获得了实质性的收益。我们提出了两种类型的重塑。首先，当最佳的分布是一些已知的$P_0$，我们提出重定中心，它使用作为搜索分布的修改版本的$P_0$收紧更接近域的中心，在一个维度依赖和依赖于时间的方式。其次，我们表明，在广泛的实验与$P_0$未知，使用建议的柯西变换，同时具有较重的尾巴（无界超参数），更接近边界（有界超参数），导致性能的改善。除了对聚类或Salmon映射的人工实验和简单的现实世界测试外，我们还在昂贵的人工智能任务上检查了我们提出的方法，例如参加/推断/重复，视频下一帧分割预测和渐进式生成对抗网络。
2020-01-20 cs.LG stat.ML
Off-the-grid: Fast and Effective Hyperparameter Search for Kernel Clustering
Aalto University（阿尔托大学）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
核函数是一种强有力的工具，通过核技巧来增强$k$ -均值聚类算法。已知所选核函数的参数可以对结果具有显著影响。在监督设置中，这些可以通过交叉验证进行调整，但对于聚类来说，这并不简单，通常采用分类法。在本文中，我们研究了核参数对核$k$ -均值的影响。特别是，我们推导出一个下界，紧到常数因子，低于该参数的RBF内核将使内核$k$ -意味着毫无意义。我们认为，网格搜索可以是无效的超参数搜索在这种情况下，并提出了一种替代算法。此外，我们提供了一个有效的实现的基础上快速近似取幂可证明的质量保证。我们的实验结果表明，我们的方法能够有效地揭示一组丰富而有用的超参数值。
2020-06-24 cs.LG stat.ML
A Gradient-based Bilevel Optimization Approach for Tuning Hyperparameters in Machine Learning
Indian Institute of Management Ahmedabad（印度管理学院艾哈迈达巴德分校）
超参数整定是机器学习中的一个活跃研究领域，其目的是确定在验证集上提供最佳性能的最佳超参数。超参数调优通常使用简单的技术来实现，例如随机搜索和网格搜索。然而，这些方法中的大多数很少导致最佳的超参数集，并且通常非常昂贵。在本文中，我们提出了一个双层的解决方法来解决超参数优化问题，没有遭受的缺点，早期的研究。该方法具有通用性，可以方便地应用于任何类型的机器学习算法。该思想基于下层最优价值函数映射的近似，该映射是双层优化中的一个重要映射，有助于将双层优化问题简化为单层约束优化问题。采用增广拉格朗日方法求解单级约束优化问题。我们讨论了所提出的算法背后的理论，并在两个数据集上进行了广泛的计算研究，证实了所提出的方法的效率。我们对网格搜索，随机搜索和贝叶斯优化技术进行了比较研究，结果表明，所提出的算法在具有一个或两个超参数的问题上要快数倍。随着超参数数量的增加，计算增益预计会显著增加。对应于给定的超参数，文献中的大多数技术通常假设唯一的最优参数集，使训练集上的损失最小化。这样的假设经常被深度学习架构违反，并且所提出的方法不需要任何这样的假设。
2020-07-21 cs.LG stat.ML
On Hyperparameter Search in Cluster Ensembles
Zuse-Institute Berlin（柏林祖斯研究所）；Freie Universität Berlin（柏林自由大学）；Institut für Mathematik（数学研究所）
无监督学习中模型的质量评估，特别是聚类验证，一直是机器学习研究中的一个难题。由于缺乏鲁棒且普遍适用的聚类有效性得分，算法选择和超参数评估往往是一个艰难的猜测。在本文中，我们表明，集群集成聚合技术，如共识聚类，可用于评估集群及其超参数配置。我们使用归一化的互信息来比较单个对象的聚类集成构建的共识，整个集成和显示，所得到的分数可以作为一个整体的质量度量聚类问题。这种方法能够突出的聚类和超参数配置的合奏，即使在扭曲的共识的情况下。我们将这个非常一般的框架应用于各种数据集，并为未来的研究提供了可能的方向。
2018-03-29 cs.LG stat.ML
Online Hyperparameter Search Interleaved with Proximal Parameter Updates
University of Agder（阿格德尔大学）
显然需要有效的算法来调整统计学习方案的超参数，因为通常应用的搜索方法（例如具有N重交叉验证的网格搜索）是低效的和/或近似的。以前现有的算法，有效地搜索超参数依赖于平滑的成本函数不能应用于问题，如拉索回归。在这方面的贡献，我们开发了一个超参数优化方法，依赖于结构的近端梯度方法，不需要一个光滑的成本函数。这种方法被应用于留一法（LOO）验证的Lasso和Group Lasso，以产生高效的、数据驱动的超参数优化算法。数值实验证实了所提出的方法收敛到局部最优的LOO验证误差曲线，其近似的效率。
2020-04-06 cs.LG eess.SP stat.ML
Efficient Hyperparameter Search for Non-Stationary Model Training
Google DeepMind（谷歌DeepMind）
本研究提出一种两阶段方法，通过高效识别候选配置并减少超参数搜索成本，提升非平稳模型训练效率。
2025-12-01 cs.LG stat.ML
Experimental Investigation and Evaluation of Model-based Hyperparameter Optimization
Bartz & Bartz GmbH（Bartz & Bartz有限公司）；TH Köln（科隆应用技术大学）
随机森林或xgboost等机器学习算法正变得越来越重要，并越来越多地被纳入生产流程，以实现全面的数字化，并在可能的情况下实现流程自动化。所使用的这些算法的超参数必须被适当地设置，这可以被称为超参数调整或优化。基于可调性的概念，本文介绍了流行的机器学习算法的理论和实践结果的概述。这一概述伴随着来自六个相关机器学习算法的30个超参数的实验分析。特别是，它提供了（i）重要的超参数的调查，（ii）两个参数调整研究，和（iii）一个广泛的全球参数调整研究，以及（iv）一种新的方式，基于共识排名，从多个算法的结果进行分析。R包mlr用作机器学习模型的统一接口。R包SPOT用于执行实际的调优（优化）。所有附加代码都与本文一起提供。
2021-07-19 cs.LG stat.ML
Learning search spaces for Bayesian optimization: Another view of hyperparameter transfer learning
Amazon（亚马逊）；Google Brain（谷歌大脑）
贝叶斯优化（BO）是一种成功的方法来优化黑盒函数，是昂贵的评估。虽然传统方法孤立地优化每个黑盒函数，但最近人们对通过跨多个相关黑盒函数传递知识来加速BO感兴趣。在这项工作中，我们介绍了一种方法来自动设计BO搜索空间，依靠以前的黑盒功能的评估。我们从定义一组任意的搜索范围的先验考虑搜索空间的几何形状，从历史数据中学习的常见做法。这种简单而有效的策略可以用来赋予许多现有的BO方法迁移学习属性。尽管它的简单性，我们表明，我们的方法大大提高BO通过减少搜索空间的大小，从而加速各种黑盒优化问题的优化。特别是，所提出的方法结合随机搜索的结果，在一个无参数，易于实现，强大的超参数优化策略。我们希望这将构成一个自然的基线，为进一步的研究试图热启动BO。
2019-09-27 cs.LG stat.ML
MementoML: Performance of selected machine learning algorithm configurations on OpenML100 datasets
Warsaw University of Technology（华沙理工大学）；University of Warsaw（华沙大学）
为机器学习算法找到最佳超参数通常可以显著提高其性能。但是，如何以一种有效的方式选择它们呢？在本文中，我们提出了生成基准数据的协议，这些基准数据描述了具有不同超参数配置的不同ML算法的性能。以这种方式收集的数据用于研究影响算法性能的因素。这一收集是为了EPP研究中提出的研究目的而准备的。我们测试了算法的性能在稠密网格的超参数。测试数据集和超参数是在任何算法运行之前选择的，并且没有改变。这是一种不同于通常用于超参数调整的方法，其中候选超参数的选择取决于先前获得的结果。然而，这样的选择允许系统地分析来自各个超参数的性能灵敏度。这就产生了一个关于这些基准的全面数据集，我们愿意与大家分享。我们希望，计算和收集的结果可能会有助于其他研究人员。本文介绍了收集数据的方式。在这里，您可以在39个OpenML数据集上找到7种流行的机器学习算法的基准测试。形成该基准的详细数据可在https://www.kaggle.com/mi2datalab/mementoml上获得。
2020-08-30 cs.LG stat.ML
Automatic hyperparameter selection in Autodock
Université de Haute-Alsace（上阿尔萨斯大学）；University of Exeter（埃克塞特大学）
Autodock是一种广泛使用的分子建模工具，可预测小分子如何与已知3D结构的受体结合。AutoDock的当前版本使用元启发式算法结合局部搜索方法进行构象搜索。在这些算法中，超参数的适当设置是很重要的，特别是对于新手用户谁往往很难确定最佳配置。在这项工作中，我们设计了一个基于代理的多目标算法，以帮助这样的用户自动调整超参数设置。所提出的方法迭代使用径向基函数模型和非支配排序，以评估在搜索阶段的采样配置。在Autodock上的实验结果表明，该组件是实用有效的。
2018-12-02 cs.LG stat.ML
Goal-Oriented Sensitivity Analysis of Hyperparameters in Deep Learning
CEA（法国原子能和替代能源委员会）；Ecole Polytechnique（巴黎综合理工学院）；Inria（法国国家信息与自动化研究所）
用神经网络解决新的机器学习问题总是意味着优化许多定义其结构并强烈影响其性能的超参数。在这项工作中，我们研究了使用面向目标的敏感性分析，基于希尔伯特-施密特独立准则（HSIC），超参数分析和优化。超参数存在于通常复杂而笨拙的空间中。它们可以具有不同的性质（分类，离散，布尔，连续），相互作用，并具有相互依赖性。所有这些使得进行经典的敏感性分析变得重要。我们减轻这些困难，以获得一个强大的分析指标，能够量化超参数的神经网络的最终误差的相对影响。这个有价值的工具使我们能够更好地理解超参数，并使超参数优化更具可解释性。我们说明了超参数优化的背景下，这种知识的好处，并得出一个基于HSIC的优化算法，我们适用于MNIST和Cifar，经典的机器学习数据集，而且对龙格函数和贝特曼方程的近似解，感兴趣的科学机器学习。这种方法产生的神经网络既有竞争力，又具有成本效益。
2022-07-13 cs.LG stat.ML
Multi-Objective Hyperparameter Optimization in Machine Learning -- An Overview
Fraunhofer Institut für integrierte Schaltungen（弗劳恩霍夫集成电路研究所）；Ludwig-Maximilians-Universität München（慕尼黑大学）；Technische Universität Dortmund（多特蒙德工业大学）；Universidad Pontificia Comillas（康普卢滕塞大学）；Warwick Business School（华威商学院）
本文综述了机器学习中的多目标超参数优化，介绍其基本概念并系统梳理进化算法与贝叶斯优化等策略，同时展示其在运行条件、预测时间、稀疏性、公平性、可解释性和鲁棒性等目标上的应用价值。
2024-06-06 cs.LG stat.ML
Differentially Private Hyperparameter Tuning using Local Bayesian Optimization
Department of Statistics Columbia University（统计学系哥伦比亚大学）
本文提出DP-GIBO框架，通过高斯过程代理私密近似梯度，实现高维空间下的差分隐私超参数调优，优于非隐私随机搜索和全局贝叶斯优化方法。
2026-05-08 cs.LG stat.ML
Learning to Warm-Start Bayesian Hyperparameter Optimization
Pohang University of Science and Technology（浦项科技大学）；AITRICS
超参数优化旨在找到机器学习模型的最佳超参数配置，该配置在验证数据集上提供最佳性能。人工搜索通常会导致陷入局部超参数配置，并且严重依赖于人类的直觉和经验。手动搜索的一个简单替代方案是在超参数空间上进行随机/网格搜索，为了找到最佳配置，仍然需要对验证错误进行广泛的评估。作为黑盒函数的全局优化方法的贝叶斯优化现在流行于超参数优化，因为与随机/网格搜索相比，它大大减少了所需的验证误差评估的数量。贝叶斯优化通常在没有任何先验知识的情况下从随机初始化中找到最佳超参数配置。这促使我们让贝叶斯优化从在类似数据集上成功的配置开始，这能够显着减少评估的数量。在本文中，我们提出了深度度量学习来学习数据集上的元特征，以便通过相关元特征之间的欧氏距离有效地测量它们之间的相似性。为此，我们引入了一个由深度特征和元特征提取器组成的Siamese网络，其中深度特征提取器提供数据集中每个实例的语义表示，元特征提取器聚合一组深度特征以在数据集上编码单个表示。然后，我们学习的元特征用于选择与新数据集相似的几个数据集，以便采用相似数据集中的超参数作为初始化来热启动贝叶斯超参数优化。
2018-10-31 cs.LG stat.ML
Calibrated Dataset Condensation for Faster Hyperparameter Search
University of Maryland（马里兰大学）；Laboratory for Physical Sciences, University of Maryland（马里兰大学物理科学实验室）
本文提出超参数校准数据集压缩（HCDC）算法，通过匹配超参数梯度生成合成验证集，以保持模型排名并加速超参数搜索。
2024-05-27 cs.AI cs.LG stat.ML
CHOPT : Automated Hyperparameter Optimization Framework for Cloud-Based Machine Learning Platforms
Clova AI Research, NAVER Corp.（NAVER公司Clova人工智能研究院）；Ulsan National Institute of Science and Technology（蔚山国立科学技术院）
许多超参数优化（HyperOpt）方法假设有限的计算资源并且主要集中于提高性能。在这里，我们提出了一种新的基于云的HyperOpt（CHOPT）框架，可以有效地利用共享的计算资源，同时支持各种HyperOpt算法。我们整合了方便的基于Web的用户界面、可视化和分析工具，使用户能够轻松控制优化程序，并通过迭代分析程序建立有价值的见解。此外，我们的框架可以与任何云平台相结合，从而补充提高传统深度学习框架的效率。我们展示了CHOPT的应用程序与任务，如图像识别和问答，表明我们的框架可以找到超参数配置与以前的工作有竞争力。我们还表明，CHOPT能够通过其分析工具提供有趣的观测结果
2018-10-16 cs.LG stat.ML
Recommending Learning Algorithms and Their Associated Hyperparameters
Brigham Young University（杨百翰大学）
机器学习在给定任务上的成功取决于选择哪种学习算法及其相关的超参数等。为给定的数据集选择合适的学习算法并设置其超参数可能是一项具有挑战性的任务，特别是对于不是机器学习专家的用户。以前的工作已经研究了使用元特征来预测应该使用哪种学习算法和超参数。然而，选择一组预测算法性能的元特征是困难的。在这里，我们建议将协同过滤技术应用于学习算法和超参数选择，并发现这样做可以避免确定使用哪些元特征，并且在许多情况下优于传统的元学习方法。
2014-07-07 cs.LG stat.ML
Towards Automated Deep Learning: Efficient Joint Neural Architecture and Hyperparameter Search
University of Freiburg（弗莱堡大学）
虽然神经架构搜索（NAS）的现有工作在一个单独的后处理步骤中调整超参数，但我们证明了架构选择和其他超参数设置以一种可以使这种分离次优的方式相互作用。同样，我们证明了在主NAS期间使用非常少的时期和在后处理步骤期间使用大量时期的常见做法是低效的，因为这两种训练方案的相对排名几乎没有相关性。为了解决这两个问题，我们建议使用贝叶斯优化和Hyperband的最新组合，以实现高效的联合神经架构和超参数搜索。
2018-07-18 cs.AI cs.CV cs.LG
Bayesian Deep Learning Hyperparameter Search for Robust Function Mapping to Polynomials with Noise
Indian Institute of Technology Gandhinagar（甘地纳格尔印度理工学院）；Northeastern University（东北大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
神经结构搜索的进展，以及连接主义架构的可解释性和可解释性，已在最近的文献中报道。然而，我们对如何设计贝叶斯深度学习（BDL）超参数的理解，特别是深度，宽度和集成大小，用于具有不确定性量化的鲁棒函数映射，仍然是新兴的。本文试图通过将贝叶斯连接主义表示映射到具有不同噪声类型和比率的不同阶数的多项式来进一步理解。我们检查噪声污染的多项式，以搜索超参数的组合，可以提取潜在的多项式信号，同时量化基于噪声属性的不确定性。具体来说，我们试图研究的问题，可以找到一个适当的神经架构和合奏配置检测任何n阶多项式污染的噪声具有不同的分布和信号噪声比（SNR）和不同的噪声属性的信号。我们的研究结果表明，可能存在一个最佳的网络深度，以及预测技能和不确定性量化的最佳数量的合奏，分别。然而，最优性对于宽度是不可辨别的，即使在高宽度值处性能增益随着宽度的增加而降低。我们的实验和见解可以指导理解BDL表示的理论特性和设计实用的解决方案。
2021-06-23 cs.LG stat.ML
ACHO: Adaptive Conformal Hyperparameter Optimization
本文提出ACHO框架，利用共形置信区间与上置信界采样放宽分布假设，提升超参数搜索灵活性，并在随机森林和卷积神经网络上取得优于随机搜索的调参性能。
2023-11-28 cs.LG
ExperienceThinking: Constrained Hyperparameter Optimization based on Knowledge and Pruning
Harbin Institute of Technology（哈尔滨工业大学）；University of California San Diego（加州大学圣迭戈分校）
机器学习算法对超参数非常敏感，并且它们的评估通常是昂贵的。用户迫切需要智能方法根据已知的评价信息快速优化超参数设置，从而降低计算成本，提高优化效率。受此启发，我们提出了ExperienceThinking算法，以快速找到最好的可能的超参数配置的机器学习算法在几个配置评估。ExperienceThinking设计了两种新的方法，分别从搜索空间剪枝和知识利用两个方面智能地推断最优配置。两种方法相辅相成，有效地解决了约束超参数优化问题。为了证明ExperienceThinking的好处，我们将其与3个经典的超参数优化算法进行了比较，这些算法具有少量的配置评估。实验结果表明，我们提出的算法提供了优越的结果，并取得更好的性能。
2020-05-04 cs.LG stat.ML
MANGO: A Python Library for Parallel Hyperparameter Tuning
Arm（安谋科技）
调整机器学习算法的超参数是一项繁琐的任务，通常是手动完成的。为了实现自动化的超参数调整，最近的工作已经开始使用基于贝叶斯优化的技术。然而，为了实际上实现大规模机器学习训练管道的自动调整，现有库中仍然存在显著的差距，包括缺乏抽象、容错和灵活性以支持任何分布式计算框架上的调度。为了解决这些挑战，我们提出了Mango，一个用于并行超参数调优的Python库。Mango支持使用任何分布式调度框架，实现智能并行搜索策略，并提供丰富的抽象来定义与scikit-learn兼容的复杂超参数搜索空间。Mango在性能上与另一个广泛使用的库Hyperopt相当。Mango是开源的，目前在Arm Research的生产中使用，以提供最先进的超参数调整功能。
2020-05-22 cs.LG stat.ML
Optimizing for Generalization in Machine Learning with Cross-Validation Gradients
Department of Electrical Engineering（电气工程系）；Stanford University（斯坦福大学）
交叉验证是现代应用统计学和机器学习的主力，因为它为选择最大化泛化性能的模型提供了原则性框架。在本文中，我们证明了交叉验证风险对于许多常见的机器学习算法，包括逻辑斯谛回归，弹性网络回归和支持向量机的超参数和训练数据是可区分的。利用这种可微性，我们提出了一种用于超参数优化的交叉验证梯度方法（CVGM）。我们的方法可以在高维超参数空间中有效地优化交叉验证风险，这是我们学习算法真正泛化能力的最佳替代。
2018-05-18 cs.LG stat.ML
Using Known Information to Accelerate HyperParameters Optimization Based on SMBO
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；WiseUranium corp.（WiseUranium公司）
自动机是解决机器学习问题的关键技术。现有技术的超参数优化方法基于传统的黑盒优化方法，如SMBO（SMAC，TPE）。黑盒优化的目标函数是不平滑的，或者评估耗时，或者在某种程度上是嘈杂的。近年来，许多研究人员提出了有关超参数性质的工作。然而，传统的超参数优化方法没有考虑这些信息。本文利用梯度信息和机器学习模型分析信息对传统的超参数优化方法SMBO进行加速。在我们的L2范数实验中，我们的方法产生了最先进的性能，并且在许多情况下优于以前的最佳配置方法。
2019-07-18 cs.LG stat.ML
Bag of Baselines for Multi-objective Joint Neural Architecture Search and Hyperparameter Optimization
University of Freiburg（弗莱堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；Leibniz University Hannover（莱布尼茨汉诺威大学）
神经架构搜索（NAS）和超参数优化（HPO）通过自动查找要使用的深度神经网络的架构并调整所使用的训练管道的超参数，使非专家也能访问深度学习。虽然近年来NAS和HPO都得到了广泛的研究，但NAS方法通常假设固定的超参数，反之亦然-关于联合NAS + HPO的工作很少。此外，NAS最近经常被框定为多目标优化问题，以便采取，例如，考虑到资源需求。在本文中，我们提出了一组方法，扩展了当前的方法，以联合优化神经架构和超参数相对于多个目标。我们希望这些方法将作为未来多目标联合NAS + HPO研究的简单基线。为了便于实现这一点，我们所有的代码都可以在https://github.com/automl/multi-obj-baselines上找到。
2021-05-03 cs.AI cs.LG stat.ML
Bayesian Optimization is Superior to Random Search for Machine Learning Hyperparameter Tuning: Analysis of the Black-Box Optimization Challenge 2020
Twitter（推特）；Facebook（脸书）；SigOpt, an Intel company（SigOpt（英特尔公司旗下））；Valohai；Paradigm（第四范式）；ChaLearn
本文介绍了2020年7月至10月在NeurIPS 2020上进行的黑盒优化（BBO）挑战的结果和见解。该挑战强调了评估无导数优化器对于调整机器学习模型的超参数的重要性。这是第一个以机器学习为重点的黑盒优化挑战。它基于标准机器学习模型在真实数据集上的调整（验证集）性能。这种竞争具有广泛的影响，因为黑盒优化（例如，贝叶斯优化）与几乎每个机器学习项目以及机器学习之外的许多应用程序中的超参数调优相关。最终的排行榜是使用保持（隐藏）目标函数的优化性能确定的，其中优化器在没有人为干预的情况下运行。基线是使用几个开源黑盒优化包的默认设置以及随机搜索来设置的。
2021-08-31 cs.AI cs.LG stat.ML
Easy Hyperparameter Search Using Optunity
KU Leuven（鲁汶大学）；iMinds
Optunity是一个免费的软件包，致力于超参数优化。它包含各种类型的求解器，从无向方法到直接搜索，粒子群和进化优化。该设计侧重于易用性、灵活性、代码清晰度以及与所有机器学习环境中现有软件的互操作性。Optunity是用Python编写的，包含了R和MATLAB等环境的接口。Optunity使用BSD许可证，并在http://www.optunity.net上免费提供。
2014-12-02 cs.LG
HyperNOMAD: Hyperparameter optimization of deep neural networks using mesh adaptive direct search
GERAD；Polytechnique Montréal（蒙特利尔综合理工学院）
深度神经网络的性能对定义网络结构和学习过程的超参数的选择高度敏感。当面对一个新的应用程序时，调优深度神经网络是一个繁琐而耗时的过程，通常被描述为“黑暗艺术”。这解释了自动校准这些超参数的必要性。无导数优化是一个开发旨在优化耗时函数而不依赖导数的方法的领域。这项工作介绍了HyperNOMAD软件包，这是NOMAD软件的扩展，它应用MADS算法[7]来同时调整负责深度神经网络（DNN）的架构和学习过程的超参数，并且通过利用分类变量来探索搜索空间具有重要的灵活性。这种新方法在MNIST和CIFAR-10数据集上进行了测试，并取得了与当前最先进水平相当的结果。
2019-07-03 cs.LG math.OC stat.ML
Efficient Autotuning of Hyperparameters in Approximate Nearest Neighbor Search
Kvasir Ltd.（Kvasir有限公司）；University of Helsinki（赫尔辛基大学）；Helsinki Institute for Information Technology (HIIT)（赫尔辛基信息技术研究所（HIIT））
近似最近邻算法被广泛用于加速最近邻搜索。然而，目前的索引方法具有几个超参数，需要调整以达到可接受的精度-速度权衡。在参数空间中的网格搜索往往是不切实际的缓慢，由于一个耗时的索引建设过程。因此，我们提出了一个算法，自动调整超参数的索引方法的基础上随机空间划分树。特别是，我们目前的结果使用随机k-d树，随机投影树和随机PCA树。调优算法给索引构建过程增加了最小的开销，但能够准确地找到最佳超参数。我们证明，该算法是显着快于现有的方法，并且所使用的索引方法是有竞争力的最先进的方法在查询时间，同时更快地建立。
2018-12-18 cs.DS cs.LG stat.ML
Hyperparameter Optimisation with Early Termination of Poor Performers
University of Essex（埃塞克斯大学）
机器学习系统通常具有影响其学习率和预测质量的许多超参数。然而，找到超参数的良好组合是一项具有挑战性的工作。这主要是因为对每个组合的评估在计算上是极其昂贵的;事实上，仅使用单个超参数组合在真实数据上训练机器学习系统通常需要几个小时甚至几天。在本文中，我们通过尝试预测具有给定超参数组合的机器学习系统的性能来解决这一挑战，而无需完成昂贵的学习过程。相反，我们在早期阶段终止训练过程，收集模型性能数据，并使用它来预测哪些超参数组合最有希望。我们的初步实验表明，这样的预测提高了常用的随机搜索方法的性能。
2019-08-06 cs.LG cs.NE stat.ML
Hyperparameter Adaptive Search for Surrogate Optimization: A Self-Adjusting Approach
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
提出HASSO，一种自调整的代理优化算法，在优化过程中动态调整关键超参数，无需额外评估，提升不同SO算法在全局优化测试问题上的性能与收敛速度。
2023-10-12 cs.LG math.OC math.PR
Quantum Machine Learning hyperparameter search
Lighthouse Disruptive Innovation Group, LLC（灯塔颠覆性创新集团有限责任公司）；Vueling Airlines S.A.（伏林航空公司）；Universitat Ramon Llull（拉蒙柳尔大学）
本文提出了一种基于量子的傅里叶回归方法，用于机器学习超参数优化，应用于在航空业预测问题相关数据集上训练的基准模型。我们的方法利用傅立叶级数方法来表示超参数搜索空间，然后使用量子算法来优化该超参数搜索空间，以找到给定机器学习模型的最佳超参数集。我们的研究评估了所提出的方法的基准模型训练预测预测问题的航空业使用标准的超参数优化器（HPO）。结果表明，在给定的搜索空间内，该方法在精度和收敛速度方面均优于传统的超参数优化方法。该研究为基于量子的机器学习超参数优化的未来研究提供了新的方向。
2023-02-20 cs.LG quant-ph
Fast Bayesian Optimization of Machine Learning Hyperparameters on Large Datasets
University of Freiburg（弗莱堡大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
贝叶斯优化已经成为机器学习算法（例如支持向量机或深度神经网络）的超参数优化的成功工具。尽管它取得了成功，但对于大型数据集，训练和验证单个配置通常需要数小时、数天甚至数周，这限制了可实现的性能。为了加速超参数优化，我们提出了一个生成模型的验证误差作为训练集大小的函数，这是在优化过程中学习，并允许探索初步配置的小子集，通过外推到完整的数据集。我们构建了一个贝叶斯优化过程，称为Fabolas，它将损失和训练时间建模为数据集大小的函数，并自动权衡关于全局最优值的高信息增益与计算成本。优化支持向量机和深度神经网络的实验表明，Fabolas找到高质量解决方案的速度通常比其他最先进的贝叶斯优化方法或最近提出的强盗策略Hyperband快10到100倍。
2017-03-07 cs.AI cs.LG stat.ML
Frugal Optimization for Cost-related Hyperparameters
Microsoft Research（微软研究院）
对机器学习算法民主化的日益增长的需求要求低成本的超参数优化（HPO）解决方案。许多机器学习算法都有超参数，这可能会导致训练成本的大幅变化。但现有的HPO方法在很大程度上忽略了这一影响，无法在优化过程中适当地控制成本。为了解决这个问题，我们开发了一种新的成本节约的HPO解决方案。我们的解决方案的核心是一个简单的，但新的随机直接搜索方法，我们证明了收敛速度的$O(\frac{\sqrt{d}}{\sqrt{K}})$和$O(dε^{-2})$近似保证的总成本。我们提供了强有力的实证结果与国家的最先进的HPO方法在大型AutoML基准比较。
2020-12-22 cs.LG stat.ML
On Hyperparameter Optimization of Machine Learning Algorithms: Theory and Practice
University of Western Ontario（西安大略大学）
机器学习算法已经广泛应用于各种应用和领域。为了使机器学习模型适应不同的问题，必须调整其超参数。为机器学习模型选择最佳超参数配置对模型的性能有直接影响。它通常需要深入了解机器学习算法和适当的超参数优化技术。虽然存在几种自动优化技术，但当应用于不同类型的问题时，它们具有不同的优点和缺点。研究了常用机器学习模型超参数的优化问题。我们将介绍几种最先进的优化技术，并讨论如何将它们应用于机器学习算法。本文介绍了超参数优化问题的各种库和框架，并讨论了超参数优化研究面临的一些挑战。此外，在基准数据集上进行实验，比较不同优化方法的性能，并提供超参数优化的实际例子。这份调查报告将帮助工业用户、数据分析师和研究人员通过有效识别适当的超参数配置来更好地开发机器学习模型。
2022-10-05 cs.LG stat.ML
Multi-level Training and Bayesian Optimization for Economical Hyperparameter Optimization
Tsinghua University（清华大学）；Purdue University（普渡大学）
超参数在许多机器学习方法的性能中起着至关重要的作用。确定它们的最佳设置或超参数优化（HPO）面临着大量超参数以及过多训练时间所带来的困难。在本文中，我们开发了一种有效的方法来减少所需的培训时间的总量HPO。在初始化中，使用嵌套拉丁超立方体设计来选择两种类型的训练的超参数配置，这两种类型的训练分别是重训练和轻训练。我们提出了一个截断的加性高斯过程模型来校准由轻训练产生的近似性能测量，使用由重训练产生的准确性能测量。在此基础上，提出了一种基于模型的序贯算法来生成配置空间的性能剖面，并找到最优的性能剖面。我们提出的方法在应用于优化合成示例、支持向量机、全连接网络和卷积神经网络时表现出具有竞争力的性能。
2020-07-20 cs.LG stat.ML
High Per Parameter: A Large-Scale Study of Hyperparameter Tuning for Machine Learning Algorithms
机器学习（ML）中的超参数已经受到了相当多的关注，超参数调整已经被视为ML管道中的重要步骤。但是，所说的调整到底有多大用处呢？虽然之前已经进行了小规模的实验，但在此我们进行了大规模的调查，具体来说，涉及26个ML算法，250个数据集（回归以及二进制和多项式分类），6个评分指标和28，857，600个算法运行。分析结果，我们得出结论，对于许多ML算法，我们不应该期望从平均超参数调整中获得相当大的收益，然而，可能有一些数据集的默认超参数表现不佳，后者对某些算法来说比其他算法更真实。通过定义一个hp_score值，它结合了算法的累积统计数据，我们能够对26个ML算法进行排名，从那些预期从超参数调整中获得最多的算法到那些预期获得最少的算法。我们相信这样的研究可以为ML从业者提供服务。
2022-07-13 cs.LG
VisEvol: Visual Analytics to Support Hyperparameter Search through Evolutionary Optimization
Linnaeus University（林奈大学）；Linköping University（林雪平大学）
针对机器学习超参数搜索计算量大、参数关联复杂的问题，提出可视分析工具VisEvol，结合进化优化支持交互式超参数探索与过程干预，生成权重均等的投票集成模型提升预测性能，经用例和专家访谈验证有效。
2024-04-18 cs.HC cs.LG stat.ML
Automatic Exploration of Machine Learning Experiments on OpenML
Ludwig-Maximilians-Universität München（慕尼黑大学）
了解超参数对机器学习算法性能的影响本身就是一个重要的科学课题，可以帮助改进自动超参数调整过程。不幸的是，用于此目的的实验性Meta数据仍然很少。本文提出了一个大型、免费和开放的数据集来解决这个问题，其中包含38个OpenML数据集、六种不同的机器学习算法和许多不同的超参数配置的结果。结果由自动随机抽样策略生成，称为OpenML随机机器人。每个算法在不同的超参数设置下对每个数据集进行了多达20，000次的交叉验证，从而产生了总共约250万次实验的Meta数据集。
2018-10-19 cs.DB cs.LG stat.ML
Beyond algorithm hyperparameters: on preprocessing hyperparameters and associated pitfalls in machine learning applications
Institute for Medical Information Processing, Biometry and Epidemiology, Faculty of Medicine, LMU Munich（医学信息处理、生物统计与流行病学研究所，医学学院，慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Department of Palliative Medicine, University Hospital, LMU Munich（姑息医学部，大学医院，慕尼黑大学）；Institute of Clinical Biometrics, Center for Medical Data Science, Medical University of Vienna（临床生物统计研究所，医学数据科学中心，维也纳医学大学）
本文指出预处理选项选择也是一种常被忽视的超参数调优，系统回顾并实证说明了算法与预处理超参数的不同处理方式及其陷阱，以提升ML预测建模质量。
2025-08-15 cs.LG stat.ME stat.ML
Fair and Green Hyperparameter Optimization via Multi-objective and Multiple Information Source Bayesian Optimization
University of Milano-Bicocca（米兰比可卡大学）；OAKS srl（OAKS有限责任公司）
有一个共识是，只关注搜索最佳机器学习模型的准确性会放大数据中包含的偏差，导致不公平的预测和决策支持。最近，多目标超参数优化已经被提出来搜索机器学习模型，这些模型在准确性和公平性之间提供同样的帕累托有效的权衡。虽然这些方法被证明比公平感知的机器学习算法更通用-优化精度限制在某个公平阈值上-但在大型数据集的情况下，它们可能会大幅增加能耗。在本文中，我们提出了FangG-HPO，一个公平的和绿色的超参数优化（HPO）方法的基础上，多目标和多信息源贝叶斯优化。FanG-HPO使用大型数据集的子集（又名信息源）来获得准确性和公平性的廉价近似值，并使用多目标贝叶斯优化来有效地识别帕累托有效的机器学习模型。实验考虑了两个基准（公平性）数据集和两种机器学习算法（XGBoost和多层感知器），并通过BoTorch中的多目标单源优化算法对FanG-HPO进行了评估，BoTorch是最先进的贝叶斯优化平台。
2022-05-18 cs.LG math.OC stat.ML
An LP-based hyperparameter optimization model for language modeling
University of Jyväskylä（于韦斯屈莱大学）；Technical University of Ostrava（俄斯特拉发技术大学）
为了找到机器学习模型的超参数，在模型超参数的可能值的空间上使用诸如网格搜索或随机搜索的算法。这些搜索算法选择最小化特定成本函数的解决方案。在语言模型中，困惑度是最常用的代价函数之一。在这项研究中，我们提出了一个分数非线性规划模型，找到最佳的困惑值。该模型的特殊结构使我们能够近似它的线性规划模型，可以使用著名的单纯形算法求解。据我们所知，这是第一次尝试使用优化技术来寻找语言建模文献中的困惑值。我们应用我们的模型来寻找语言模型的超参数，并将其与网格搜索算法进行比较。此外，我们举例说明，它导致较低的困惑值。我们在SwiftKey的真实数据集上进行了这个实验，以验证我们提出的方法。
2018-03-29 cs.LG math.OC stat.ML
Hyperparameter Optimization: Foundations, Algorithms, Best Practices and Open Challenges
Ludwig-Maximilians-Universität München（慕尼黑大学）；TU Dortmund University（多特蒙德工业大学）
大多数机器学习算法都是由一个或多个超参数配置的，这些超参数必须仔细选择，并且通常会显著影响性能。为了避免耗时且不可再现的手动试错过程以找到性能良好的超参数配置，各种自动超参数优化（HPO）方法，例如，可以采用基于用于监督机器学习的复位误差估计。本文在介绍了HPO的基本概念后，重点介绍了随机搜索、进化算法、贝叶斯优化、Hyperband和赛车等HPO方法。它提供了关于进行HPO时要做出的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道结合起来，运行时改进和并行化。本文附有一个附录，其中包含有关R和Python中特定软件包的信息，以及特定学习算法的信息和推荐的超参数搜索空间。我们还提供了笔记本，展示了这项工作的概念作为补充文件。
2021-11-24 cs.LG stat.ML
Hyperparameter Importance Across Datasets
Albert-Ludwigs-Universität Freiburg（阿尔伯特-路德维希 Freiburg 大学）
随着自动化机器学习的出现，自动化超参数优化方法现在经常用于数据挖掘。然而，这一进展尚未与自动分析的同等进展相匹配，自动分析产生的信息超出了性能优化超参数设置。在这项工作中，我们的目标是回答以下两个问题：给定一个算法，通常它最重要的超参数是什么，这些超参数的典型值是什么？我们提出的方法和框架来回答这些问题的基础上跨许多数据集的元学习。我们使用OpenML上可用的实验元数据来确定支持向量机、随机森林和Adaboost的最重要的超参数，并推断其所有超参数的先验。完全自动获得的结果为手动算法设计和自动超参数优化提供了定量基础。所进行的实验证实，所提出的方法选择的超参数确实是最重要的，并且所获得的先验也导致超参数优化的统计显着改善。
2018-05-29 cs.LG stat.ML
An Asymptotically Optimal Multi-Armed Bandit Algorithm and Hyperparameter Optimization
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Shanghai Jiao Tong University（上海交通大学）；Peking University（北京大学）
在具有大超参数搜索空间的高级深度学习中，超参数、神经架构或数据增强策略的评估成为关键的模型选择问题。在本文中，我们提出了一种有效的和强大的基于带宽的算法称为子采样（SS）的超参数搜索评估的情况下。该算法通过观测值的子样本来评估超参数的潜力，并在理论上证明了其在累积后悔准则下的最优性。我们进一步结合SS和贝叶斯优化，提出了一种新的超参数优化算法BOSS。实证研究验证了我们的SS理论论点，并证明了BOSS在许多应用程序上的卓越性能，包括神经架构搜索（NAS），数据增强（DA），对象检测（OD）和强化学习（RL）。
2020-12-16 cs.LG math.ST stat.ML
