Amortized Auto-Tuning: Cost-Efficient Bayesian Transfer Optimization for Hyperparameter Recommendation
Carnegie Mellon University（卡内基梅隆大学）；Petuum（Petuum公司）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Stanford University（斯坦福大学）
随着现代机器学习模型的超参数数量和训练时间的激增，超参数调整变得越来越昂贵。然而，在系统地评估了40种调优方法后，我们发现每种方法都面临一定的局限性。特别是，通过知识转移加速调优的方法通常需要超参数的最终性能，并且不关注低保真度信息。正如我们的经验表明，这种常见的做法是次优的，并可能导致不必要的资源使用。相反，利用低保真度调优观察来测量任务间的相似性并相应地将知识从现有任务转移到新任务是更具有成本效益的。然而，执行多保真度调优在传输设置中也有其自身的挑战：额外观察中的噪声以及对性能预测的需求。因此，我们提出了一个多任务多保真度贝叶斯优化框架，并进行了深入的分析，这导致了最好的实例-分期自动调整（AT 2）。我们进一步提出了一个离线计算的27任务超参数推荐（HyperRec）数据库，以服务于社区。在HyperRec和其他真实数据库上的大量实验表明了我们的AT 2方法的有效性。
2022-04-07 cs.AI cs.LG stat.ML
A Gradient-based Bilevel Optimization Approach for Tuning Hyperparameters in Machine Learning
Indian Institute of Management Ahmedabad（印度管理学院艾哈迈达巴德分校）
超参数整定是机器学习中的一个活跃研究领域，其目的是确定在验证集上提供最佳性能的最佳超参数。超参数调优通常使用简单的技术来实现，例如随机搜索和网格搜索。然而，这些方法中的大多数很少导致最佳的超参数集，并且通常非常昂贵。在本文中，我们提出了一个双层的解决方法来解决超参数优化问题，没有遭受的缺点，早期的研究。该方法具有通用性，可以方便地应用于任何类型的机器学习算法。该思想基于下层最优价值函数映射的近似，该映射是双层优化中的一个重要映射，有助于将双层优化问题简化为单层约束优化问题。采用增广拉格朗日方法求解单级约束优化问题。我们讨论了所提出的算法背后的理论，并在两个数据集上进行了广泛的计算研究，证实了所提出的方法的效率。我们对网格搜索，随机搜索和贝叶斯优化技术进行了比较研究，结果表明，所提出的算法在具有一个或两个超参数的问题上要快数倍。随着超参数数量的增加，计算增益预计会显著增加。对应于给定的超参数，文献中的大多数技术通常假设唯一的最优参数集，使训练集上的损失最小化。这样的假设经常被深度学习架构违反，并且所提出的方法不需要任何这样的假设。
2020-07-21 cs.LG stat.ML
Federated Hyperparameter Tuning: Challenges, Baselines, and Connections to Weight-Sharing
Carnegie Mellon University（卡内基梅隆大学）；Hewlett Packard Enterprise（慧与科技）
调优超参数是机器学习管道中至关重要但艰巨的一部分。超参数优化在联邦学习中更具挑战性，其中模型是通过异构设备的分布式网络学习的;在这里，需要将数据保存在设备上并执行本地训练，这使得很难有效地训练和评估配置。在这项工作中，我们研究联邦超参数调整的问题。我们首先确定关键的挑战，并展示如何调整标准方法来形成联邦设置的基线。然后，通过与权重共享的神经架构搜索技术建立新的连接，我们引入了一种新的方法FedEx来加速联邦超参数调整，该方法适用于广泛使用的联邦优化方法，如FedAvg和最近的变体。从理论上讲，我们表明，联邦快递的变种正确地调整设备上的学习率的在线凸优化跨设备的设置。从经验上讲，我们表明FedEx可以在Shakespeare，FEMNIST和CIFAR-10基准测试中超过联邦超参数调优的自然基线几个百分点，使用相同的训练预算获得更高的准确性。
2021-11-04 cs.AI cs.DC cs.LG
Practical Multi-fidelity Bayesian Optimization for Hyperparameter Tuning
Cornell University（康奈尔大学）
贝叶斯优化在优化耗时的黑盒目标方面很受欢迎。尽管如此，对于深度神经网络中的超参数调整，即使是几个超参数设置，评估验证误差所需的时间仍然是一个瓶颈。多保真度优化承诺使用更便宜的代理来缓解这些目标-例如，使用训练点的子集训练的网络的验证错误或比收敛所需的迭代次数更少。我们提出了一种高度灵活和实用的方法，多保真度贝叶斯优化，重点是有效地优化超参数迭代训练监督学习模型。我们引入了一个新的采集函数，跟踪感知的知识梯度，它有效地利用了多个连续的保真度控制和跟踪观察-目标的值在一个序列的精度，当使用训练迭代改变保真度。我们提供了一种可证明收敛的方法来优化我们的采集函数，并表明它优于深度神经网络和大规模内核学习的超参数调整的最先进的替代方案。
2019-03-12 cs.LG math.OC stat.ME
Bayesian Optimization is Superior to Random Search for Machine Learning Hyperparameter Tuning: Analysis of the Black-Box Optimization Challenge 2020
Twitter（推特）；Facebook（脸书）；SigOpt, an Intel company（SigOpt（英特尔公司旗下））；Valohai；Paradigm（第四范式）；ChaLearn
本文介绍了2020年7月至10月在NeurIPS 2020上进行的黑盒优化（BBO）挑战的结果和见解。该挑战强调了评估无导数优化器对于调整机器学习模型的超参数的重要性。这是第一个以机器学习为重点的黑盒优化挑战。它基于标准机器学习模型在真实数据集上的调整（验证集）性能。这种竞争具有广泛的影响，因为黑盒优化（例如，贝叶斯优化）与几乎每个机器学习项目以及机器学习之外的许多应用程序中的超参数调优相关。最终的排行榜是使用保持（隐藏）目标函数的优化性能确定的，其中优化器在没有人为干预的情况下运行。基线是使用几个开源黑盒优化包的默认设置以及随机搜索来设置的。
2021-08-31 cs.AI cs.LG stat.ML
Bayesian Optimization for Iterative Learning
University of Oxford（牛津大学）
深度（强化）学习系统的性能关键取决于超参数的选择。它们的调整是出了名的昂贵，通常需要迭代训练过程来运行许多步骤以收敛。传统的优化算法只考虑经过多次昂贵的迭代后获得的超参数的最终性能，而忽略了早期训练步骤的中间信息。在本文中，我们提出了一个贝叶斯优化（BO）的方法，利用迭代结构的学习算法有效的超参数调整。我们建议学习一个评估函数，根据训练成功和稳定性，将训练过程中任何阶段的学习进度压缩为单个数值分数。然后，我们的BO框架将评估超参数设置的好处与额外训练步骤的计算成本进行平衡。我们通过选择性地包括来自任何评估的超参数集的不同训练步骤的分数来进一步提高模型效率。我们通过调整用于训练深度强化学习代理和卷积神经网络的超参数来证明我们算法的效率。我们的算法在最短时间内识别最佳超参数方面优于所有现有的基线。
2021-01-16 cs.LG stat.ML
Hyperparameter Transfer Learning with Adaptive Complexity
KAUST（阿卜杜拉国王科技大学）；Amazon Web Services（亚马逊网络服务）
贝叶斯优化（BO）是一种自动调整机器学习模型超参数的有效方法。在实践中，人们经常要解决类似的超参数调整问题顺序。例如，人们可能必须调整一种神经网络，它是在一系列不同的分类问题中学习的。最近在多任务BO上的工作利用了从以前的调优任务中获得的知识来加速新的调优任务。然而，以前的方法不占的事实，BO是一个连续的决策过程。因此，在当前调优任务中收集的评估的数量与在所有先前完成的任务中累积的评估的数量相比，通常存在不匹配。在这项工作中，我们启用多任务BO来补偿这种不匹配，使得迁移学习过程能够以原则性的方式处理不同的数据机制。我们提出了一种新的多任务BO方法，该方法通过嵌套退出和自动相关性确定来学习一组有序的非线性基函数，这些基函数的复杂性不断增加。对各种超参数整定问题的实验表明，该方法提高了样本效率，
2021-02-25 cs.LG stat.ML
From Black-Box Tuning to Guided Optimization via Hyperparameters Interaction Analysis
IRIT, UMR5505 CNRS Université Toulouse Capitole（IRIT，CNRS UMR5505，图卢兹大学）；LIS, UMR 7020 CNRS Aix-Marseille University（LIS，CNRS UMR7020，阿维尼翁-马赛大学）
MetaSHAP通过分析超参数交互，提供可操作的调优见解，帮助优化机器学习模型。
2025-12-22 cs.LG
A Novel Orthogonal Direction Mesh Adaptive Direct Search Approach for SVM Hyperparameter Tuning
École de Technologie Supérieure - Université du Québec（魁北克大学高等技术学院）；University of Santa Catarina（圣卡塔琳娜联邦大学）；Pontifícia Universidade Católica do Paraná（巴拉那天主教大学）
在本文中，我们提出了一种黑盒优化方法，称为确定性网格自适应直接搜索（MADS）算法与正交方向（Ortho-MADS）的超参数选择的支持向量机与高斯核。与文献中利用数据属性或试图最小化验证数据集在（C，gamma）第一象限上的准确性的大多数方法不同，Ortho-MADS提供了收敛性证明。我们提出的MADS，其次是Ortho-MADS，动态停止标准定义的MADS网格大小和两个不同的搜索策略（Nelder-Mead和可变邻域搜索），有助于竞争的收敛速度，以及从不希望的局部极小值逃脱的机制。我们已经研究了具有高斯核的支持向量机的超参数的实际选择，即，在几个基准数据集上正确选择超参数gamma（带宽）和C（权衡）。实验结果表明，所提出的超参数调整方法始终找到可比或更好的解决方案，当使用一个共同的配置，比其他方法。我们还评估了Ortho-MADS的Nelder-Mead搜索策略和可变邻域搜索策略的精度和函数评估的数量，使用网格大小作为停止标准，我们已经达到了其他超参数优化方法无法达到的精度。
2019-04-26 cs.LG stat.ML
Deep Neural Network Hyperparameter Optimization with Orthogonal Array Tuning
University of New South Wales, Australia（新南威尔士大学，澳大利亚）
深度学习算法最近在广泛的领域（例如，计算机版本）。然而，深度学习面临的一个严峻挑战是对超参数的高度依赖。在不同的超参数配置下，算法的结果可能会有很大的波动。针对上述问题，本文提出了一种高效的用于深度学习超参数整定的正交阵列整定方法（OATM）。我们在五个详细的步骤中描述了OATM方法，并使用两个广泛使用的深度神经网络结构（递归神经网络和卷积神经网络）对其进行了详细说明。将所提出的方法与包括手动（例如，网格搜索和随机搜索）和自动地（例如，贝叶斯优化（Bayesian Optimization）实验结果表明，OATM可以显着节省调谐时间相比，国家的最先进的方法，同时保持令人满意的性能。代码在GitHub（https：//github.com/xiangzhang1015/OATM）中开放
2020-02-28 cs.LG stat.ML
Sample complexity of data-driven tuning of model hyperparameters in neural networks with structured parameter-dependent dual function
Carnegie Mellon University（卡内基梅隆大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文通过数据驱动设置研究深度学习中超参数调整的学习理论复杂度，利用微分/代数几何和约束优化工具刻画效用函数的不连续性和振荡，证明了效用函数族复杂度有界，并给出了神经激活函数插值和图神经网络核参数调整的样本复杂度界限。
2025-04-29 cs.LG
OptABC: an Optimal Hyperparameter Tuning Approach for Machine Learning Algorithms
Knight Foundation School of Computing and Information Sciences, Florida International University（佛罗里达国际大学奈特基金会计算与信息科学学院）；Sustainability, Optimization, and Learning for InterDependent networks (solid) laboratory, FIU（佛罗里达国际大学可持续性、优化与相互依赖网络学习实验室）；Department of Computer Science, University of Georgia（佐治亚大学计算机科学系）
由于问题的大规模性质，机器学习算法中的超参数调整是一项具有计算挑战性的任务。为了开发一个有效的策略，超参数调整，一个有前途的解决方案是使用群体智能算法。人工蜂群（ABC）优化，借给自己作为一个有前途的和有效的优化算法，用于此目的。然而，在某些情况下，ABC可能会受到收敛速度或执行时间缓慢的影响，这是由于初始解的种群很差和目标函数很昂贵。为了解决这些问题，提出了一种新的算法，OptABC，以帮助ABC算法更快地收敛到一个接近最优的解决方案。OptABC集成了人工蜂群算法，K-Means聚类，贪心算法和基于反对的学习策略，用于调整不同机器学习模型的超参数。OptABC采用这些技术，试图多样化的初始人口，从而提高收敛能力，而不会显着降低精度。为了验证所提出的方法的性能，我们将结果与以前的国家的最先进的方法。实验结果表明，OptABC的有效性相比，现有的方法在文献中。
2021-12-15 cs.LG cs.NE
Hyperparameter Tuning is All You Need for LISTA
University of Texas at Austin（得克萨斯大学奥斯汀分校）；Alibaba US, Damo Academy（阿里巴巴美国达摩院）
学习迭代收缩保持算法（LISTA）引入了展开迭代算法并像神经网络一样训练它的概念。它在稀疏恢复方面取得了巨大成功。在本文中，我们证明了在LISTA网络中向中间变量添加动量可以实现更好的收敛速度，特别是具有实例最优参数的网络是超线性收敛的。此外，我们的新的理论结果导致一个实用的方法，自动和自适应地计算LISTA网络层的参数的基础上，其以前的层。也许最令人惊讶的是，这种自适应参数过程将LISTA的训练减少到仅从数据中调整三个超参数：在最近削减LISTA复杂性的进展背景下的新记录集。我们称之为超轻量网络HyperLISTA。与最先进的LISTA模型相比，HyperLISTA在可见数据分布上实现了几乎相同的性能，并且在不可见分布（特别是具有不同稀疏度和非零幅度的分布）上进行测试时表现更好。代码可用：https://github.com/VITA-Group/HyperLISTA。
2021-10-29 cs.LG stat.ML
Training neural networks faster with minimal tuning using pre-computed lists of hyperparameters for NAdamW
Google DeepMind（谷歌DeepMind）
针对神经网络训练中优化和正则化超参数设置困难的问题，基于 AlgoPerf 基准的广泛实验，提出了 NAdamW 的预计算超参数列表，在五次或更少试验的预算下优于传统调参和贝叶斯优化方法。
2025-03-06 cs.AI cs.LG
Gradient-based Hyperparameter Optimization through Reversible Learning
调整学习算法的超参数很难，因为梯度通常不可用。我们通过在整个训练过程中向后链接导数来计算关于所有超参数的交叉验证性能的精确梯度。这些梯度使我们能够优化数千个超参数，包括步长和动量计划，权重初始化分布，丰富的参数化正则化方案和神经网络架构。我们计算超参数梯度的动力学完全逆转的随机梯度下降与动量。
2015-04-02 cs.LG stat.ML
Statistically Valid Post-Training Hyperparameter Selection: From Tuning to Guarantees
Institute for Intelligent Networked Systems (INSI)（智能网络系统研究所）
提出基于学习-测试（LTT）范式的统一统计框架，将超参数选择转化为多重假设检验问题，实现满足可靠性要求（如平均风险、分位数风险等）的超参数选择，并提供有限样本误差概率控制。
2026-09-28 cs.IT cs.LG math.IT
Towards Assessing the Impact of Bayesian Optimization's Own Hyperparameters
University of Freiburg（弗赖堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
贝叶斯优化（BO）是自动机器学习中超参数优化（HPO）的常用方法。虽然人们普遍认为HPO对于获得性能良好的机器学习模型至关重要，但调整BO自身的超参数往往被忽视。在本文中，我们实证研究的影响，优化BO的自己的超参数和发现的设置使用广泛的基准，包括人工功能，HPO和HPO结合神经架构搜索的可转移性。特别是，我们表明（i）调整可以提高不同BO方法的任何时候的性能，优化的BO设置也表现良好（ii）在类似的问题和（iii）部分甚至在其他问题家族的问题，以及（iv）BO超参数是最重要的。
2019-08-19 cs.AI cs.LG stat.ML
Feature Selection and Hyperparameter Fine-tuning in Artificial Neural Networks for Wood Quality Classification
São Paulo State University（圣保罗州立大学）
本文研究同时调整人工神经网络超参数和选择特征子集以提升木材质量分类性能，实验表明仅做特征选择或同时调整超参数均可达到0.80的平衡准确率。
2023-10-20 cs.LG
Alleviating Hyperparameter-Tuning Burden in SVM Classifiers for Pulmonary Nodules Diagnosis with Multi-Task Bayesian Optimization
Yau Mathematical Sciences Center Tsinghua University（姚数学科学中心清华大学）；The First Affiliated Hospital of Guangzhou Medical University（广州医科大学第一附属医院）；China State Key Laboratory of Respiratory Disease（中国呼吸疾病国家重点实验室）；Academy of Mathematics and Systems Science Chinese Academy of Sciences（数学科学学院中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）；Department of Thoracic Surgery and Oncology The First Affiliated Hospital of Guangzhou Medical University（胸外科与肿瘤科广州医科大学第一附属医院）
本研究针对肺结节诊断中图像离散化方法导致的SVM超参数调优耗时问题，首次提出利用多任务贝叶斯优化加速RBF SVM分类器的超参数搜索，显著提升了调优效率。
2025-11-05 cs.CV cs.LG eess.IV
Bayesian Optimization for Hyperparameters Tuning in Neural Networks
Facoltà di Ingegneria dell’Informazione, Informatica e Statistica（信息、计算机与统计工程学院）；Dipartimento di Ingegneria Informatica, Automatica e Gestionale（信息、自动化与管理工程系）
本研究将贝叶斯优化用于神经网络超参数调优，借助Ax和BOTorch框架验证其可减少调优试验次数、快速收敛至CNN最优配置，提升机器学习流水线的准确率与计算效率。
2024-10-29 cs.AI cs.LG math.OC
Selecting Hyperparameters for Tree-Boosting
Seminar for Statistics, ETH Zurich（苏黎世联邦理工学院统计研究所）
本文通过59个数据集比较了多种超参数优化方法，发现SMAC方法显著优于其他方法，并揭示了超参数调优的关键因素。
2026-11-03 cs.LG stat.AP stat.ML
A Unified Gaussian Process for Branching and Nested Hyperparameter Optimization
Rutgers University（罗格斯大学）；Microsoft（微软公司）
针对超参数间存在条件依赖（分支与嵌套）的常见问题，提出统一贝叶斯优化框架，通过新核函数的高斯过程模型捕捉依赖结构，在理论和实验中均验证了更高的预测精度与优化效率。
2024-01-19 cs.AI cs.LG stat.ML
Tune As You Scale: Hyperparameter Optimization For Compute Efficient Training
Generally Intelligent（通用智能公司）；UC Berkeley（加州大学伯克利分校）
针对大模型超参数调优成本高、难度大的问题，提出成本感知帕累托区域贝叶斯搜索算法CARBS，可随模型规模扩展同步调优，以更低计算量复现经典缩放结果并适配各类深度学习任务。
2023-06-13 cs.AI cs.LG
Slice sampling covariance hyperparameters of latent Gaussian models
高斯过程（GP）是一种在概率模型中指定随机变量之间依赖关系的流行方法。在贝叶斯框架中，协方差结构可以使用未知的超参数来指定。在进行预测时，对这些超参数进行积分会考虑对数据的不同可能解释。该积分通常使用马尔可夫链蒙特卡罗（MCMC）采样来执行。然而，对于非高斯观测，标准超参数采样方法需要仔细调整，并且可能收敛缓慢。在本文中，我们提出了一个切片采样方法，需要很少的调整，同时混合以及在强和弱的数据制度。
2010-10-28 stat.CO stat.ML
Differential Description Length for Hyperparameter Selection in Machine Learning
University of Hawaii at Manoa（夏威夷大学马诺阿分校）；Shenzhen Research Institute of Big Data, CUHKSZ（香港中文大学（深圳）深圳大数据研究院）
本文介绍了一种新的方法，模型选择和更一般的超参数选择在机器学习。最小描述长度（MDL）是一种用于模型选择的既定方法，然而，它并不直接旨在最小化泛化误差，而泛化误差通常是机器学习的主要目标。本文证明了泛化误差与训练数据的描述长度差之间的关系，我们称之为差分描述长度（DCL）。这允许通过执行对训练数据的编码来仅从训练数据预测泛化误差。然后，通过选择具有最小预测泛化误差的模型，可以将泛化用于模型选择。我们展示了这种方法如何用于线性回归、神经网络和深度学习。实验结果表明，该方法的泛化误差小于交叉验证方法和传统的MDL、Bayes方法。
2019-05-22 cs.IT cs.LG math.IT
Parameter Tuning with Generalization Guarantees for GPU-Accelerated Linear Programming
Siddharth Prasad；Dravyansh Sharma
针对GPU加速线性规划求解器PDLP的超参数调优，基于数据驱动算法设计理论，首次给出学习步长、原始权重等超参数的样本复杂度保证，并通过实验验证了调优必要性。
2026-06-07 cs.LG math.OC
Scalable Gaussian Process Hyperparameter Optimization via Coverage Regularization
University of Colorado Boulder（科罗拉多大学博尔德分校）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
高斯过程（GP）是贝叶斯非参数模型，由于其准确性和固有不确定性量化（UQ）而在各种应用中流行。调整GP超参数对于确保预测精度和不确定性的有效性至关重要;唯一地估计多个超参数，例如Matern内核也可能是一个重大挑战。此外，在大规模数据集上训练GP是一个非常活跃的研究领域：传统的最大似然超参数训练需要二次记忆来形成协方差矩阵，并且具有立方训练复杂度。为了解决可扩展的超参数调整问题，我们提出了一种新的算法，估计的平滑度和长度尺度参数的Matern内核，以提高鲁棒性的预测不确定性。使用新的损失函数类似于那些在共形预测算法的超参数估计算法MuyGPs提供的计算框架，我们实现了改进的UQ留一法似然最大化，同时保持了高度的可扩展性，在数值实验中证明。
2022-11-02 cs.LG cs.NA math.NA
Generative Bayesian Hyperparameter Tuning
Department of Statistics（统计系）；INSPER；Chicago Booth（芝加哥布斯商学院）；University of Chicago（芝加哥大学）；Volgenau School of Engineering（沃尔格瑙工程学院）；George Mason University（乔治梅森大学）
本文提出了一种生成性贝叶斯超参数调优方法，结合优化近似和传输映射技术，实现快速超参数评估与不确定性量化。
2025-12-23 stat.CO stat.ML
Importance of Tuning Hyperparameters of Machine Learning Algorithms
Eindhoven University of Technology（埃因霍温理工大学）；Columbia University（哥伦比亚大学）
许多机器学习算法的性能取决于它们的超参数设置。本研究的目标是确定是否需要调整超参数，或者是否可以安全地将其设置为默认值。我们提出了一种方法来确定调整超参数的非劣效性测试和调整风险的基础上的重要性：性能损失时发生的超参数没有调整，但设置为默认值。因为我们的方法需要默认参数的概念，我们提出了一个简单的过程，可以用来确定合理的默认参数。我们使用OpenML的59个数据集在基准研究中应用我们的方法。我们的研究结果表明，将特定的超参数保留为默认值并不比调整这些超参数差。在某些情况下，将超参数保留为默认值甚至优于使用具有有限迭代次数的搜索过程对其进行调整。
2020-07-15 cs.LG stat.ML
Autotune: A Derivative-free Optimization Framework for Hyperparameter Tuning
SAS Institute Inc.（赛仕软件研究所公司）
机器学习应用通常需要超参数调优。超参数通常驱动模型训练过程的效率和最终模型的质量。对于超参数调整，机器学习算法是复杂的黑盒。这就产生了一类具有挑战性的优化问题，其目标函数往往是非光滑的，不连续的，不可预测的计算费用变化，并包括连续的，分类的，和/或整数变量。此外，函数求值可能由于各种原因而失败，包括数值困难或硬件故障。此外，并非所有的超参数值组合都是兼容的，这会创建所谓的隐藏约束。超参数整定需要鲁棒且高效的优化算法。在本文中，我们提出了一个自动化的并行无导数优化框架称为\textbf{Autotune}，它结合了一些专门的采样和搜索方法，非常有效的调整机器学习模型，尽管这些挑战。与使用默认超参数设置相比，Autotune提供了显着改进的模型，并且在实际应用中具有最少的用户交互。鉴于训练众多候选模型的固有费用，我们证明了Autotune的搜索方法的有效性和有效的分布式和并行范例的训练和调整模型，并讨论了资源的权衡与能力，既分布的训练过程和并行化的调整过程。
2018-08-02 cs.DC cs.LG cs.NE
Exploiting Reuse in Pipeline-Aware Hyperparameter Tuning
Carnegie Mellon University（卡内基梅隆大学）；Determined AI（Determined人工智能公司）；University of Washington（华盛顿大学）
多级流水线的超参数调整引入了显著的计算负担。如果中间计算是相同的，工作可以在管道上重用，我们提出了一种管道感知的超参数调整方法。我们的方法优化了管道的设计和执行，以最大限度地提高重复利用率。我们设计的管道适合重用（i）引入一种新的混合超参数调整方法，称为网格随机搜索，（ii）减少平均训练时间在管道适应早期停止超参数调整方法。然后，我们通过为ML工作负载引入一个新的缓存问题（我们将其视为混合整数线性规划（ILP）），并随后评估相对于ILP的最佳解决方案的各种缓存策略，实现了在执行过程中重用的潜力。我们在模拟和真实世界的机器学习管道上进行实验，以表明管道感知的超参数调整方法可以在独立评估管道配置的数量级上提供加速。
2019-03-12 cs.LG stat.ML
Optimizer Benchmarking Needs to Account for Hyperparameter Tuning
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）；University of Geneva（日内瓦大学）
优化器的性能，特别是在深度学习中，在很大程度上取决于它们所选择的超参数配置。优化器的有效性通常是在接近最优的问题特定的超参数下研究的，并且对于从业者来说，找到这些设置可能代价高昂。在这项工作中，我们认为，一个公平的评估优化器的性能必须考虑超参数调整的计算成本，即，使用自动超参数搜索找到好的超参数配置是多么容易。在一组广泛的标准数据集和架构上评估各种优化器，我们的结果表明Adam是最实用的解决方案，特别是在低预算的情况下。
2020-08-15 cs.LG stat.ML
A Linear Programming Enhanced Genetic Algorithm for Hyperparameter Tuning in Machine Learning
Brij Disa Centre for Data Science and Artificial Intelligence（布里吉·迪萨数据科学与人工智能中心）；Indian Institute of Management Ahmedabad（印度管理学院艾哈迈达巴德分校）；Department of Statistics and Data Science（统计与数据科学系）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
本文将超参数调优建模为双层规划，提出用线性规划增强微型遗传算法，在离散与连续超参数上协同搜索，并在MNIST和CIFAR-10上验证了其与种群方法结合的有效性。
2024-06-30 cs.LG cs.NE
Fast Efficient Hyperparameter Tuning for Policy Gradients
University of Oxford（牛津大学）
策略梯度方法的性能对必须针对任何新应用程序进行调优的超参数设置很敏感。用于调整超参数的广泛使用的网格搜索方法是样本效率低且计算昂贵的。更先进的方法，如基于人口的训练，学习超参数的最佳时间表，而不是固定的设置，可以产生更好的结果，但也是样本效率低，计算成本高。在本文中，我们提出了Hyperparameter Optimization on the Fly（HOOF），这是一种无梯度算法，它只需要一次训练就可以自动调整直接通过梯度影响策略更新的超参数。其主要思想是使用现有的轨迹采样的策略梯度方法来优化一步改进目标，产生一个样本和计算效率高的算法，易于实现。我们在多个领域和算法上的实验结果表明，使用HOOF来学习这些超参数计划可以提高学习速度和性能。
2019-09-17 cs.LG stat.ML
Self-Tuning Networks: Bilevel Optimization of Hyperparameters using Structured Best-Response Functions
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
超参数优化可以用公式表示为双层优化问题，其中训练集上的最优参数取决于超参数。我们的目标是通过将紧凑近似拟合到最佳响应函数来适应神经网络的正则化超参数，该函数将超参数映射到最佳权重和偏差。我们展示了如何通过将最佳响应建模为单个网络来构建神经网络的可扩展最佳响应近似，该网络的隐藏单元在正则化器上有条件地被选通。我们证明了这种近似，通过显示具有L2正则化雅可比矩阵的浅线性网络的确切最佳响应可以由类似的门控机制表示。我们使用基于梯度的超参数优化算法拟合该模型，该算法在当前超参数周围近似最佳响应和使用近似最佳响应函数优化超参数之间交替。与其他基于梯度的方法不同，我们不需要区分训练损失与超参数，允许我们调整离散超参数，数据增强超参数和辍学概率。由于超参数是在线适应的，我们的方法发现超参数时间表，可以超过固定的超参数值。从经验上讲，我们的方法在大规模深度学习问题上优于竞争的超参数优化方法。我们将在训练过程中在线更新自己的超参数的网络称为自调优网络（STNs）。
2019-03-07 cs.LG stat.ML
IEO: Intelligent Evolutionary Optimisation for Hyperparameter Tuning
Turing Intelligence Technology, UK（英国图灵智能技术公司）；Nanjing University, China（中国南京大学）
超参数优化是寻找最优机器学习模型的关键过程。在最近的研究中，寻找最佳超参数设置的效率一直是一个很大的问题，因为优化过程可能是耗时的，特别是当目标函数的评估非常昂贵时。在本文中，我们介绍了一种智能进化优化算法，它适用于机器学习技术的传统进化算法，以加快整体优化过程的调整机器学习模型的分类问题。我们展示了我们的智能进化优化（IEO）在一系列的控制实验，与传统的进化优化超参数调整。实证研究表明，我们的方法平均加快了30.40%的优化速度，在最好的情况下，最高可达77.06%。
2020-09-10 cs.LG cs.NE
Hyperparameters and Tuning Strategies for Random Forest
随机森林算法（RF）具有必须由用户设置的若干超参数，例如，为每棵树随机抽取的观测值的数量，以及它们是在有替换还是没有替换的情况下抽取的，为每次分裂随机抽取的变量的数量，分裂规则，节点必须包含的样本的最小数量以及树的数量。在本文中，我们首先提供了一个文献综述的参数的影响，预测性能和变量的重要性措施。众所周知，在大多数情况下，RF与软件包中指定的超参数的默认值一起工作得相当好。然而，调整超参数可以提高RF的性能。在本文的第二部分中，在简要概述了调优策略之后，我们演示了最成熟的调优策略之一基于模型的优化（MBO）的应用。为了使其更易于使用，我们提供了tuneRanger R软件包，可以自动使用MBO调谐RF。在对几个数据集的基准研究中，我们比较了tuneRanger的预测性能和运行时间与R和RF中使用默认超参数的其他调优实现。
2019-02-26 cs.LG stat.ML
Rethinking the Hyperparameters for Fine-tuning
Amazon Web Services（亚马逊云科技）；University of Pennsylvania（宾夕法尼亚大学）；University of California, Los Angeles（加州大学洛杉矶分校）
从预训练的ImageNet模型进行微调已成为各种计算机视觉任务的事实标准。目前的微调实践通常涉及选择一个临时的超参数选择，并将它们固定在通常用于从头开始训练的值上。本文重新审视了设置超参数进行微调的几种常见做法。我们的研究结果是基于广泛的经验评估微调各种迁移学习基准。(1)虽然先前的工作已经彻底研究了学习率和批量大小，微调的动量是一个相对未探索的参数。我们发现动量的值也会影响微调性能，并将其与以前的理论研究结果联系起来。(2)用于微调的最佳超参数，特别是有效学习率，不仅依赖于数据集，而且对源域和目标域之间的相似性敏感。这与从头开始训练的超参数相反。(3)基于引用的正则化使模型接近初始模型，但不一定适用于“不相似”的数据集。我们的发现挑战了微调的常见做法，并鼓励深度学习从业者重新思考微调的超参数。
2020-02-19 cs.CV cs.LG stat.ML
Efficient Hyperparameter Tuning for Large Scale Kernel Ridge Regression
Università degli Studi di Genova（热那亚大学）；Massachusetts Institute of Technology（麻省理工学院）；Istituto Italiano di Tecnologia（意大利理工学院）
核方法为非参数学习提供了一种原则性的方法。虽然它们的基本实现对大型问题的扩展性很差，但最近的进展表明近似求解器可以有效地处理大规模数据集。这些解决方案的缺点是没有考虑超参数调优，而是留给用户来执行。超参数在实践中至关重要，缺乏自动调优会极大地阻碍效率和可用性。在本文中，我们致力于填补这一空白，重点是基于Nyström近似的核岭回归。在回顾和对比了一些超参数调整策略后，我们提出了一种基于数据依赖惩罚的复杂性正则化准则，并讨论了其有效的优化。然后，我们进行了仔细和广泛的实证评估，突出不同的调整策略的优点和缺点。我们的分析表明，所提出的方法的好处，因此，我们将在一个库中的大规模的内核方法，以获得自适应调整的解决方案。
2022-01-17 cs.LG stat.ML
Surrogate Model Based Hyperparameter Tuning for Deep Learning with SPOT
Institute for Data Science, Engineering, and Analytics（数据科学、工程与分析研究所）；Technische Hochschule Köln（科隆应用技术大学）
提出了一种基于代理模型的深度学习超参数整定方法。本文演示了如何优化Keras/tensorflow中实现的深度学习模型的架构级参数（超参数）。调优过程的实现是100%可从R访问的，R是用于统计计算的软件环境。通过几行代码，可以组合现有的R包（tfruns和SPOT）来执行超参数调优。一个基本的超参数调整任务（神经网络和MNIST数据）被用来验证这种方法
2021-07-05 cs.LG
Fast Hyperparameter Tuning for Ising Machines
Fujitsu Research（富士通研究院）；Fujitsu LTD.（富士通有限公司）；Waseda University（早稻田大学）
本文提出了一种名为FastConvergence的TPE收敛加速方法，用于加速Ising机的超参数调优，实验表明其能在不到一半的试验次数内达到与单独使用TPE相似的效果。
2022-11-29 cs.LG cs.NE
A meta-learning recommender system for hyperparameter tuning: predicting when tuning improves SVM classifiers
Federal Technology University（联邦技术大学）；University of São Paulo（圣保罗大学）；Universidade Estadual Paulista（保利斯塔州立大学）；Eindhoven University of Technology（埃因霍温理工大学）
对于许多机器学习算法，预测性能受到用于训练它们的超参数值的严重影响。然而，调整这些超参数可能会带来很高的计算成本，特别是在较大的数据集上，而调整后的设置并不总是显著优于默认值。本文提出了一种基于元学习的推荐系统，以准确地识别何时使用默认值以及何时为每个新数据集调整超参数。此外，还进行了深入的分析，以了解他们在决策时考虑了哪些因素，从而提供了有用的见解。对156个数据集的不同类别的元特征、元学习者和设置进行了广泛的分析。结果表明，它是可以准确地预测时，调整将显着提高性能的诱导模型。所提出的系统减少了优化过程所花费的时间，而不会降低诱导模型的预测性能（与使用调谐超参数获得的模型相比）。我们还解释了基于线性可分性假设的元学习者的决策过程。虽然该分析集中在支持向量机的调整上，但是它也可以应用于其他算法，如用决策树执行的实验中所示。
2019-06-11 cs.LG stat.ML
Implicit Differentiation for Hyperparameter Tuning the Weighted Graphical Lasso
Univ Lyon, Ens Lyon, UCBL, CNRS, Inria, LIP（里昂大学、里昂高等师范学院、里昂第一大学、法国国家科学研究中心、法国国家信息与自动化研究所、里昂并行计算实验室）
本文提出基于一阶方法求解双层优化的框架与算法，用于调优加权 Graphical Lasso 超参数，并推导其解对正则化超参数的 Jacobian。
2023-07-05 cs.LG math.OC stat.ML
JITuNE: Just-In-Time Hyperparameter Tuning for Network Embedding Algorithms
ICT, CAS（中国科学院计算技术研究所）；Tsinghua University（清华大学）
网络嵌入（NE）可以为大规模网络生成简洁的节点表示，并能够将常见的机器学习方法直接应用于网络结构。已经提出了各种NE算法，并将其用于许多应用中，例如节点分类和链接预测。NE算法通常包含对性能至关重要的超参数，但是超参数调整过程可能是耗时的。希望在指定的时间长度内调整超参数。虽然AutoML方法已经被应用于NE算法的超参数调整，但如何在给定的时间内调整NE算法的超参数的问题还没有研究过。在本文中，我们提出了JITuNE，一个即时超参数调整框架NE算法。我们的JITuNE框架，使NE算法的时间约束超参数调整，采用层次网络概要的调整和传输的知识获得概要到整个网络。概要的分层生成和时间约束的调优方法使得能够约束总体调优时间。大量的实验表明，JITuNE可以显着提高NE算法的性能，优于国家的最先进的方法在相同数量的算法运行。
2021-01-19 cs.LG
Efficient Hyperparameter Tuning with Dynamic Accuracy Derivative-Free Optimization
University of Bath（巴斯大学）；Australian National University（澳大利亚国立大学）
许多机器学习解决方案都是依赖于好的超参数的优化问题。用于调整这些超参数的算法通常假设可以访问底层学习问题的精确解，这通常是不实用的。在这里，我们应用最近的动态精度无导数优化方法的超参数调整，它允许不精确的评估的学习问题，同时保留收敛保证。我们测试的逻辑分类器的学习弹性净权重的问题上的方法，并证明其鲁棒性和效率相比，一个固定的精度的方法。这证明了一种很有前途的超参数调整方法，既有收敛保证，又有实际性能。
2020-11-06 cs.LG cs.NA math.NA
Auptimizer -- an Extensible, Open-Source Framework for Hyperparameter Tuning
LG Electronics（LG电子）
大规模调整机器学习模型，特别是找到正确的超参数值，可能是困难和耗时的。除了所需的计算工作之外，该过程还需要一些辅助工作，包括工程任务（例如，作业调度）以及更普通的任务（例如，跟踪各种参数和相关结果）。我们提出了Auptimizer，一个通用的超参数优化（HPO）框架，以帮助数据科学家加快模型调优和簿记。使用Auptimizer，用户可以在分布式设置中使用所有可用的计算资源进行模型训练。用户友好的系统设计简化了典型机器学习项目的创建、控制和跟踪。该设计还允许研究人员集成新的HPO算法。为了展示它的灵活性，我们展示了Auptimizer如何集成一些主要的HPO技术（从随机搜索到神经结构搜索）。该代码可在https://github.com/LGE-ARC-AdvancedAI/auptimizer上获得。
2019-11-06 cs.LG stat.ML
A System for Massively Parallel Hyperparameter Tuning
Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）；Google Research（谷歌研究院）；Determined AI；University of California, Berkeley（加利福尼亚大学伯克利分校）
现代学习模型的特点是大的超参数空间和长的训练时间。这些特性，加上并行计算的兴起和对机器学习工作负载生产化的日益增长的需求，激发了在分布式计算设置中开发成熟的超参数优化功能的需求。我们首先介绍了一个简单而强大的超参数优化算法称为ASHA，它利用并行性和积极的早期停止来解决大规模的超参数优化问题，以解决这一挑战。我们广泛的实证结果表明，ASHA优于现有的国家的最先进的超参数优化方法;规模与分布式设置中的工人的数量呈线性关系;并适合大规模并行，如500名工人的任务所示。然后，我们描述了我们在将ASHA集成到Determined AI的端到端生产质量机器学习系统中时遇到的几个设计决策以及我们的相关解决方案，该系统提供超参数调优服务。
2020-03-16 cs.LG stat.ML
High Per Parameter: A Large-Scale Study of Hyperparameter Tuning for Machine Learning Algorithms
机器学习（ML）中的超参数已经受到了相当多的关注，超参数调整已经被视为ML管道中的重要步骤。但是，所说的调整到底有多大用处呢？虽然之前已经进行了小规模的实验，但在此我们进行了大规模的调查，具体来说，涉及26个ML算法，250个数据集（回归以及二进制和多项式分类），6个评分指标和28，857，600个算法运行。分析结果，我们得出结论，对于许多ML算法，我们不应该期望从平均超参数调整中获得相当大的收益，然而，可能有一些数据集的默认超参数表现不佳，后者对某些算法来说比其他算法更真实。通过定义一个hp_score值，它结合了算法的累积统计数据，我们能够对26个ML算法进行排名，从那些预期从超参数调整中获得最多的算法到那些预期获得最少的算法。我们相信这样的研究可以为ML从业者提供服务。
2022-07-13 cs.LG
Tuning the Tuner: Introducing Hyperparameter Optimization for Auto-Tuning
LIACS, Leiden University Netherlands eScience Center Leiden \& Amsterdam, the Netherlands ORCID: 0000-0003-2295-8263；LIACS, Leiden University Leiden, the Netherlands ORCID: 0000-0002-2947-9444；LIACS, Leiden University Netherlands eScience Center Leiden \& Amsterdam, the Netherlands ORCID: 0000-0002-7508-3272
针对自动调优中优化算法超参数几乎不被调整的问题，提出“调优调优器”方法，通过统计评估、FAIR数据集与模拟模式，平均提升自动调优器性能94.8%，并证明元策略可进一步优化超参数。
2025-09-30 cs.DC cs.LG cs.PF
Experimental Investigation and Evaluation of Model-based Hyperparameter Optimization
Bartz & Bartz GmbH（Bartz & Bartz有限公司）；TH Köln（科隆应用技术大学）
随机森林或xgboost等机器学习算法正变得越来越重要，并越来越多地被纳入生产流程，以实现全面的数字化，并在可能的情况下实现流程自动化。所使用的这些算法的超参数必须被适当地设置，这可以被称为超参数调整或优化。基于可调性的概念，本文介绍了流行的机器学习算法的理论和实践结果的概述。这一概述伴随着来自六个相关机器学习算法的30个超参数的实验分析。特别是，它提供了（i）重要的超参数的调查，（ii）两个参数调整研究，和（iii）一个广泛的全球参数调整研究，以及（iv）一种新的方式，基于共识排名，从多个算法的结果进行分析。R包mlr用作机器学习模型的统一接口。R包SPOT用于执行实际的调优（优化）。所有附加代码都与本文一起提供。
2021-07-19 cs.LG stat.ML
Tuning structure learning algorithms with out-of-sample and resampling strategies
Queen Mary University of London（伦敦玛丽女王大学）；School of Electronic Engineering and Computer Science（电子工程与计算机科学学院）
提出结构学习的样本外调整方法（OTSL），利用样本外和重采样策略估计最优超参数配置，在合成和真实数据集上提升了图形准确性。
2023-06-24 cs.LG stat.ML
Efficient Hyperparameter Tuning via Trajectory Invariance Principle
Department of Computer Science and Technology, Tsinghua AI Institute, BNRist Lab, Tsinghua-Bosch Joint Center for ML, Tsinghua University（计算机科学与技术系、清华人工智能研究院、BNRist实验室、清华-博世联合机器学习中心、清华大学）
针对大规模超参数调优成本高昂的问题，本文发现学习率与权重衰减组合下的轨迹不变性，将二维调优空间降至一维，并据此提出高效调优规则、改进缩放定律。
2025-09-29 cs.LG
On Noisy Evaluation in Federated Hyperparameter Tuning
Carnegie Mellon University（卡内基梅隆大学）；Meta AI
本研究首次系统分析联邦超参数调优中的噪声评估问题，识别噪声来源并提出利用公共代理数据增强评估信号的方法，确立了通用挑战与最佳实践。
2023-05-15 cs.LG
Provably Data-driven Multiple Hyper-parameter Tuning with Structured Loss Function
Université Grenoble Alpes, LJK, CNRS, Grenoble INP（格拉诺布尔大学，LJK，CNRS，格拉诺布尔INP）；Carnegie Mellon University, Machine Learning Department（卡内基梅隆大学，机器学习系）；Chinese University of Hong Kong, Department of Systems Engineering and Engineering Management（香港中文大学，系统工程与工程管理系）
本文提出首个通用框架，为数据驱动环境下多维超参数调优提供泛化保证，结合实代数几何工具，改进了半代数函数类的泛化保证，并扩展至验证损失下的超参数调优，推导出更优的界。
2026-05-12 cs.LG stat.ML
