Automatic and Simultaneous Adjustment of Learning Rate and Momentum for Stochastic Gradient Descent
eBay（易贝）
随机梯度下降（SGD）方法对于训练机器学习和深度学习模型非常重要。这些技术的性能取决于它们的超参数随时间的调整，并因不同的模型和问题而异。手动调整超参数是非常昂贵和耗时的，即使正确完成，它也缺乏理论依据，这不可避免地导致“经验法则”设置。在本文中，我们提出了一种通用的方法，利用无偏梯度估计的统计数据自动，同时调整两个最重要的超参数：学习率和动量。我们部署所提出的一般技术，各种SGD方法训练卷积神经网络（CNN的）。结果与通过详尽搜索获得的最佳设置的性能相匹配，因此无需进行繁琐的手动调整。
2019-08-20 cs.LG stat.CO stat.ML
Hyperparameter Optimisation with Early Termination of Poor Performers
University of Essex（埃塞克斯大学）
机器学习系统通常具有影响其学习率和预测质量的许多超参数。然而，找到超参数的良好组合是一项具有挑战性的工作。这主要是因为对每个组合的评估在计算上是极其昂贵的;事实上，仅使用单个超参数组合在真实数据上训练机器学习系统通常需要几个小时甚至几天。在本文中，我们通过尝试预测具有给定超参数组合的机器学习系统的性能来解决这一挑战，而无需完成昂贵的学习过程。相反，我们在早期阶段终止训练过程，收集模型性能数据，并使用它来预测哪些超参数组合最有希望。我们的初步实验表明，这样的预测提高了常用的随机搜索方法的性能。
2019-08-06 cs.LG cs.NE stat.ML
Fast Bayesian Optimization of Machine Learning Hyperparameters on Large Datasets
University of Freiburg（弗莱堡大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
贝叶斯优化已经成为机器学习算法（例如支持向量机或深度神经网络）的超参数优化的成功工具。尽管它取得了成功，但对于大型数据集，训练和验证单个配置通常需要数小时、数天甚至数周，这限制了可实现的性能。为了加速超参数优化，我们提出了一个生成模型的验证误差作为训练集大小的函数，这是在优化过程中学习，并允许探索初步配置的小子集，通过外推到完整的数据集。我们构建了一个贝叶斯优化过程，称为Fabolas，它将损失和训练时间建模为数据集大小的函数，并自动权衡关于全局最优值的高信息增益与计算成本。优化支持向量机和深度神经网络的实验表明，Fabolas找到高质量解决方案的速度通常比其他最先进的贝叶斯优化方法或最近提出的强盗策略Hyperband快10到100倍。
2017-03-07 cs.AI cs.LG stat.ML
Hyperparameter Optimization: Foundations, Algorithms, Best Practices and Open Challenges
Ludwig-Maximilians-Universität München（慕尼黑大学）；TU Dortmund University（多特蒙德工业大学）
大多数机器学习算法都是由一个或多个超参数配置的，这些超参数必须仔细选择，并且通常会显著影响性能。为了避免耗时且不可再现的手动试错过程以找到性能良好的超参数配置，各种自动超参数优化（HPO）方法，例如，可以采用基于用于监督机器学习的复位误差估计。本文在介绍了HPO的基本概念后，重点介绍了随机搜索、进化算法、贝叶斯优化、Hyperband和赛车等HPO方法。它提供了关于进行HPO时要做出的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道结合起来，运行时改进和并行化。本文附有一个附录，其中包含有关R和Python中特定软件包的信息，以及特定学习算法的信息和推荐的超参数搜索空间。我们还提供了笔记本，展示了这项工作的概念作为补充文件。
2021-11-24 cs.LG stat.ML
Bayesian Hyperparameter Optimization for Deep Neural Network-Based Network Intrusion Detection
Kennesaw State University（肯尼索州立大学）；Florida International University（佛罗里达国际大学）；United International University（联合国际大学）；University of Calabria（卡拉布里亚大学）；LORIA（洛林计算机科学及其应用实验室）；Tuskegee University（塔斯基吉大学）
传统的网络入侵检测方法在对抗现代、复杂和不可预测的安全攻击时遇到了可行性和可持续性问题。深度神经网络（DNN）已成功应用于入侵检测问题。基于DNN的分类器的最佳使用需要仔细调整超参数。手动调整超参数是繁琐、耗时且计算昂贵的。因此，需要一种自动技术来找到最佳超参数，以便在入侵检测中最好地使用DNN。本文提出了一种新的基于贝叶斯优化的框架，用于自动优化超参数，确保最佳DNN架构。我们评估了NSL-KDD，网络入侵检测的基准数据集上的性能所提出的框架。实验结果表明，该框架的有效性，作为结果DNN架构表现出显着更高的入侵检测性能比随机搜索优化为基础的方法在准确性，精度，召回率和f1分数。
2022-07-07 cs.CR cs.LG
Gradient Descent: The Ultimate Optimizer
Meta, Inc.（Meta公司）；Stanford University（斯坦福大学）
使用任何基于梯度的机器学习算法都涉及到调整优化器超参数（如步长）的繁琐任务。最近的工作表明，步长本身可以通过手动推导表达式提前优化模型参数的“超梯度”。我们展示了如何通过对反向传播的简单而优雅的修改来自动计算超梯度。这使我们能够轻松地将该方法应用于其他优化器和超参数（例如动量系数）。我们甚至可以递归地将该方法应用于它自己的超-超参数，等等。随着这些优化器的塔越来越高，它们对超参数的初始选择变得不那么敏感。我们目前的实验验证了这一点的MLP，CNN和RNN。最后，我们提供了该算法的简单PyTorch实现（参见people.csail.mit.edu/kach/gradient-descent-the-ultimate-optimizer）。
2022-10-14 cs.LG stat.ML
Optimizing generalization on the train set: a novel gradient-based framework to train parameters and hyperparameters simultaneously
Ecole Polytechnique（巴黎综合理工学院）；Paris Dauphine-PSL（巴黎多芬大学-巴黎文理研究大学）
泛化是机器学习的核心问题。大多数预测方法都需要对保留的\textit{validation}数据集进行仔细的超参数校准，以实现泛化。本文的主要目标是提出一种新的方法，基于一种新的风险度量，使我们能够开发新的全自动程序的泛化。我们说明了这个新的框架在回归问题的相关性。这种新方法的主要优点是：（i）它可以同时训练模型，并在所有可用数据上的基于梯度的优化器的单次运行中执行正则化，而无需任何先前的超参数调整;（ii）这种框架可以同时处理几个额外的目标（相关性，稀疏性，.）$via$正则化参数的引入。值得注意的是，我们的方法转换超参数调整以及特征选择（组合离散优化问题）到一个连续的优化问题，这是通过经典的基于梯度的方法求解;（iii）我们的方法的计算复杂性是$O(npK)$其中$n,p,K$分别表示观测，功能和迭代的梯度下降算法的数量。我们在实验中观察到，与基准方法相比，我们的方法具有更小的运行时间，以获得相等的预测分数。我们的过程在PyTorch中实现（代码可用于复制）。
2020-06-11 cs.LG stat.ML
Implicit differentiation of Lasso-type models for hyperparameter optimization
Université Paris-Saclay（巴黎-萨克雷大学）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）；Institut Mathématique de Bourgogne（勃艮第数学研究所）；Université de Bourgogne（勃艮第大学）；Google Research（谷歌研究院）；CNRS（法国国家科学研究中心）；IMAG（蒙彼利埃亚历山大·格罗滕迪克研究所）；Université de Montpellier（蒙彼利埃大学）
为Lasso型估计量设置正则化参数是出了名的困难，尽管在实践中至关重要。最流行的超参数优化方法是使用保留的验证数据的网格搜索。然而，网格搜索需要为每个参数选择预定义的网格，其在参数数量上呈指数级变化。另一种方法是将超参数优化转换为双层优化问题，可以通过梯度下降来解决。这些方法的关键挑战是相对于超参数的梯度的估计。通过前向或后向自动微分计算该梯度是可能的，但通常遭受高存储器消耗。或者，隐式微分通常涉及求解线性系统，该线性系统在高维中可能是禁止的且数值上不稳定的。此外，隐式微分通常假设损失函数是光滑的，而Lasso型问题则不是这样。这项工作介绍了一个有效的隐式微分算法，没有矩阵求逆，适合拉索型问题。我们的方法通过利用解决方案的稀疏性来扩展到高维数据。实验表明，该方法优于大量的标准方法，以优化错误的保留数据，或斯坦无偏风险估计（SURE）。
2020-09-03 cs.LG stat.ML
Hyperparameter Tuning is All You Need for LISTA
University of Texas at Austin（得克萨斯大学奥斯汀分校）；Alibaba US, Damo Academy（阿里巴巴美国达摩院）
学习迭代收缩保持算法（LISTA）引入了展开迭代算法并像神经网络一样训练它的概念。它在稀疏恢复方面取得了巨大成功。在本文中，我们证明了在LISTA网络中向中间变量添加动量可以实现更好的收敛速度，特别是具有实例最优参数的网络是超线性收敛的。此外，我们的新的理论结果导致一个实用的方法，自动和自适应地计算LISTA网络层的参数的基础上，其以前的层。也许最令人惊讶的是，这种自适应参数过程将LISTA的训练减少到仅从数据中调整三个超参数：在最近削减LISTA复杂性的进展背景下的新记录集。我们称之为超轻量网络HyperLISTA。与最先进的LISTA模型相比，HyperLISTA在可见数据分布上实现了几乎相同的性能，并且在不可见分布（特别是具有不同稀疏度和非零幅度的分布）上进行测试时表现更好。代码可用：https://github.com/VITA-Group/HyperLISTA。
2021-10-29 cs.LG stat.ML
Learning search spaces for Bayesian optimization: Another view of hyperparameter transfer learning
Amazon（亚马逊）；Google Brain（谷歌大脑）
贝叶斯优化（BO）是一种成功的方法来优化黑盒函数，是昂贵的评估。虽然传统方法孤立地优化每个黑盒函数，但最近人们对通过跨多个相关黑盒函数传递知识来加速BO感兴趣。在这项工作中，我们介绍了一种方法来自动设计BO搜索空间，依靠以前的黑盒功能的评估。我们从定义一组任意的搜索范围的先验考虑搜索空间的几何形状，从历史数据中学习的常见做法。这种简单而有效的策略可以用来赋予许多现有的BO方法迁移学习属性。尽管它的简单性，我们表明，我们的方法大大提高BO通过减少搜索空间的大小，从而加速各种黑盒优化问题的优化。特别是，所提出的方法结合随机搜索的结果，在一个无参数，易于实现，强大的超参数优化策略。我们希望这将构成一个自然的基线，为进一步的研究试图热启动BO。
2019-09-27 cs.LG stat.ML
Deep Neural Network Hyperparameter Optimization with Orthogonal Array Tuning
University of New South Wales, Australia（新南威尔士大学，澳大利亚）
深度学习算法最近在广泛的领域（例如，计算机版本）。然而，深度学习面临的一个严峻挑战是对超参数的高度依赖。在不同的超参数配置下，算法的结果可能会有很大的波动。针对上述问题，本文提出了一种高效的用于深度学习超参数整定的正交阵列整定方法（OATM）。我们在五个详细的步骤中描述了OATM方法，并使用两个广泛使用的深度神经网络结构（递归神经网络和卷积神经网络）对其进行了详细说明。将所提出的方法与包括手动（例如，网格搜索和随机搜索）和自动地（例如，贝叶斯优化（Bayesian Optimization）实验结果表明，OATM可以显着节省调谐时间相比，国家的最先进的方法，同时保持令人满意的性能。代码在GitHub（https：//github.com/xiangzhang1015/OATM）中开放
2020-02-28 cs.LG stat.ML
Interpretable Bayesian Tensor Network Kernel Machines with Automatic Rank and Feature Selection
Delft Center for Systems and Control（德雷夫特系统与控制中心）；Delft University of Technology（德雷夫特理工大学）
提出贝叶斯张量网络核机框架，通过诱导稀疏的分层先验自动推断张量秩和特征维度，在无额外计算成本下实现不确定性量化与特征选择，提升模型可解释性。
2025-07-15 cs.LG stat.ML
QLABGrad: a Hyperparameter-Free and Convergence-Guaranteed Scheme for Deep Learning
University of Saskatchewan（萨斯喀彻温大学）
针对深度学习中学习率需依赖经验调参的问题，提出无超参数的QLABGrad自适应方案，通过优化QLAB函数自动确定学习率，理论证明收敛性，实验验证其在多数据集和架构上优于现有方案。
2024-03-11 cs.LG math.OC
A hyperparameter-tuning approach to automated inverse planning
University of Washington（华盛顿大学）
放射治疗逆向计划通常需要计划者修改治疗计划系统的目标函数中的参数以产生临床上可接受的计划。由于此过程中的手动步骤，计划质量可能会根据可用的计划时间和计划员的技能而有所不同。本研究探讨两种自动逆规划的超参数调整方法。因为该框架不对先前优化的计划训练模型，所以它可以容易地适应实践模式的变化，并且计划质量不受训练群组的限制。我们选择了10例使用手动生成的临床计划接受肺SBRT的患者。我们使用随机抽样（RS）和贝叶斯优化（BO），使用基于11个临床目标的线性二次效用函数来调整参数。将所有计划标准化为PTV D95等于48 Gy，我们比较了自动生成和手动生成计划的计划质量。我们还研究了迭代次数对自动生成的计划的影响，比较了有和没有停止标准的RS和BO计划的计划时间和计划效用。在没有停止标准的情况下，RS和BO计划的规划时间中位数分别为1.9和2.3小时。RS和BO计划中的OAR剂量的中位百分比差异（MPD）分别为48.7%和60.4%，低于临床剂量限值，MPD分别为2.8%和3.3%，低于临床计划剂量。根据停止标准，RS和BO计划的效用分别降低了5.3%和3.9%的MPD，但中位计划时间缩短至0.5和0.7小时，OAR剂量的MPD仍比临床剂量限值低42.9%和49.7%，MPD比临床计划剂量低0.3%和1.8%。这项研究表明，自动逆向规划的超参数调整方法可以减少主动规划时间，计划质量类似于或…
2021-12-10 cs.LG physics.med-ph
PABO: Pseudo Agent-Based Multi-Objective Bayesian Hyperparameter Optimization for Efficient Neural Accelerator Design
Purdue University（普渡大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
深度神经网络（DNN）不断增加的计算成本以及对DNN加速的节能硬件的需求使得DNN的准确性和硬件成本协同优化变得非常重要，特别是对于边缘设备。由于大的参数空间和在搜索空间中评估每个参数的成本，DNN超参数的手动调整是不切实际的。自动联合DNN和硬件超参数优化是必不可少的这样的问题。基于贝叶斯优化的方法在DNN的超参数优化方面已经显示出了有希望的结果。然而，这些技术中的大多数都是在没有考虑底层硬件的情况下开发的，从而导致设计效率低下。此外，少数作品进行联合优化是不可推广的，主要集中在基于CMOS的架构。在这项工作中，我们提出了一种新的基于伪代理的多目标超参数优化（PABO），以最大限度地提高DNN的性能，同时获得低硬件成本。与现有的方法相比，我们的工作提出了一种理论上不同的方法，用于精度和硬件成本的联合优化，并专注于基于忆阻交叉杆的加速器。PABO使用一个管理代理建立网络精度和硬件成本要求的后验高斯分布模型之间的连接。该代理通过消除不必要的计算和更新的采集功能，从而实现显着的加速优化过程，降低了协同优化问题的数学复杂性。PABO输出了一个帕累托边界，强调了设计高精度和硬件效率之间的权衡。我们的研究结果表明，与最先进的方法相比，在准确性和计算速度方面（约100倍的速度）都具有优越的性能。
2019-06-11 cs.ET cs.LG cs.NE
Optimal transport for automatic alignment of untargeted metabolomic data
International Agency for Research on Cancer（国际癌症研究机构）；Massachusetts Institute of Technology（麻省理工学院）
本文提出GromovMatcher算法，利用最优传输自动对齐非靶向代谢组学LC-MS数据集，实现高精度鲁棒的特征对齐，并应用于癌症患者研究以发现与酒精摄入相关的代谢标志物。
2024-05-24 cs.LG q-bio.QM
Automatic hyperparameter selection in Autodock
Université de Haute-Alsace（上阿尔萨斯大学）；University of Exeter（埃克塞特大学）
Autodock是一种广泛使用的分子建模工具，可预测小分子如何与已知3D结构的受体结合。AutoDock的当前版本使用元启发式算法结合局部搜索方法进行构象搜索。在这些算法中，超参数的适当设置是很重要的，特别是对于新手用户谁往往很难确定最佳配置。在这项工作中，我们设计了一个基于代理的多目标算法，以帮助这样的用户自动调整超参数设置。所提出的方法迭代使用径向基函数模型和非支配排序，以评估在搜索阶段的采样配置。在Autodock上的实验结果表明，该组件是实用有效的。
2018-12-02 cs.LG stat.ML
CascadeML: An Automatic Neural Network Architecture Evolution and Training Algorithm for Multi-label Classification
Insight Centre for Data Analytics（洞察数据分析中心）；University College Dublin（都柏林大学学院）
多标签分类是一种允许数据点同时被标记为多个类别的方法。一种常见但琐碎的方法是训练每个标签的单个二进制分类器，但通过考虑标签内的关联可以提高性能。与任何机器学习算法一样，超参数调整对于训练良好的多标签分类器模型很重要。为算法选择最佳超参数设置的任务是一个优化问题。在多标签域中的自动超参数调整和AutoML方面已经做了非常有限的工作。本文在级联神经网络的基础上，提出了一种训练多标签神经网络的神经网络算法CascadeML，试图填补这一空白。该方法需要最少或不需要超参数调整，并且还考虑成对标签关联。级联算法在使用自适应一阶梯度算法学习权值的同时，在两个阶段过程中递增地增长网络结构，因此省略了预先选择隐藏层、节点的数量和学习率的要求。在10个多标签数据集上对该方法进行了测试，并与其他多标签分类算法进行了比较。结果表明，CascadeML在没有超参数调整的情况下表现得非常好。
2019-04-23 cs.AI cs.LG stat.ML
Automatic Hyperparameter Tuning Method for Local Outlier Factor, with Applications to Anomaly Detection
SAS Institute Inc.（SAS研究所）
近年来，异常检测在预测性维护、信用欺诈检测、网络入侵检测、系统故障检测等方面得到了广泛的应用。异常检测的目标是在测试数据中识别训练数据中罕见或不可见的异常行为。这是预测性维护的一个共同目标，其目的是在给定大量正常行为样本的情况下预测电器的即将发生的故障。局部离群因子（LOF）是一种用于异常检测的最新模型，但LOF的预测性能在很大程度上取决于超参数的选择。在本文中，我们提出了一种新的，启发式的方法来调整超参数LOF。使用所提出的方法调整的LOF模型在模拟和真实数据集中均表现出良好的预测性能。
2019-02-01 cs.LG stat.AP stat.ML
Automatic Exploration of Machine Learning Experiments on OpenML
Ludwig-Maximilians-Universität München（慕尼黑大学）
了解超参数对机器学习算法性能的影响本身就是一个重要的科学课题，可以帮助改进自动超参数调整过程。不幸的是，用于此目的的实验性Meta数据仍然很少。本文提出了一个大型、免费和开放的数据集来解决这个问题，其中包含38个OpenML数据集、六种不同的机器学习算法和许多不同的超参数配置的结果。结果由自动随机抽样策略生成，称为OpenML随机机器人。每个算法在不同的超参数设置下对每个数据集进行了多达20，000次的交叉验证，从而产生了总共约250万次实验的Meta数据集。
2018-10-19 cs.DB cs.LG stat.ML
Automatic Hyperparameter Tuning in Sparse Matrix Factorization
Chuo University（中央大学）；Ibaraki University（茨城大学）
研究贝叶斯框架下稀疏矩阵分解的超参数调优问题，基于变分贝叶斯方法的解析解提出评估归一化因子零点的新型数值调优方法，并在真实稀疏矩阵重建中表现优异。
2023-05-17 cond-mat.dis-nn cs.IT cs.LG
Efficient Automatic CASH via Rising Bandits
Peking University（北京大学）；ETH Zurich（苏黎世联邦理工学院）；Beijing University of Posts and Telecommunications（北京邮电大学）；Alibaba Group（阿里巴巴集团）
算法选择和超参数优化（CASH）是自动机器学习（AutoML）中最基本的问题之一。现有的基于贝叶斯优化（BO）的解决方案通过合并所有机器学习（ML）算法的超参数，将CASH问题转化为一个超参数优化（HPO）问题，并使用BO方法进行求解，但由于CASH中超参数空间巨大，这些方法存在效率低下的问题。为了缓解这个问题，我们提出了交替优化框架，其中每个ML算法的HPO问题和算法选择问题交替优化。在这个框架中，BO方法分别用于解决每个ML算法的HPO问题，为BO方法引入了一个小得多的超参数空间。此外，我们介绍了崛起的土匪，一个面向现金的多臂土匪（MAB）的变种，在现金模型的算法选择。该框架既可以利用BO算法求解超参数空间较小的HPO问题，又可以利用MAB算法加速算法选择。此外，我们进一步开发了一个有效的在线算法来解决上升的强盗可证明的理论保证。在30个OpenML数据集上进行的大量实验证明了所提出的方法优于竞争基线。
2020-12-08 cs.LG stat.ML
DrMAD: Distilling Reverse-Mode Automatic Differentiation for Optimizing Hyperparameters of Deep Neural Networks
National University of Singapore（新加坡国立大学）；Tsinghua University（清华大学）
众所周知，深度神经网络的性能对其超参数的设置很敏感。反向模式自动微分的最新进展允许用梯度优化超参数。计算这些梯度的标准方法涉及向前和向后的计算过程。然而，反向传递通常需要消耗无法承受的内存来存储所有中间变量，以准确地逆转正向训练过程。在这项工作中，我们提出了一种简单但有效的方法DrMAD，将向前传递的知识提取到一个捷径路径中，通过它我们近似地逆转了训练轨迹。在几个图像基准数据集上的实验表明，与最先进的优化超参数的方法相比，DrMAD至少快45倍，占用的内存少100倍，同时对其有效性的影响最小。据我们所知，DrMAD是第一次尝试自动调整深度神经网络的数千个超参数的研究。代码可以从https://github.com/bigaidream-projects/drmad下载
2016-04-06 cs.LG cs.NE
Hyperparameter Importance Across Datasets
Albert-Ludwigs-Universität Freiburg（阿尔伯特-路德维希 Freiburg 大学）
随着自动化机器学习的出现，自动化超参数优化方法现在经常用于数据挖掘。然而，这一进展尚未与自动分析的同等进展相匹配，自动分析产生的信息超出了性能优化超参数设置。在这项工作中，我们的目标是回答以下两个问题：给定一个算法，通常它最重要的超参数是什么，这些超参数的典型值是什么？我们提出的方法和框架来回答这些问题的基础上跨许多数据集的元学习。我们使用OpenML上可用的实验元数据来确定支持向量机、随机森林和Adaboost的最重要的超参数，并推断其所有超参数的先验。完全自动获得的结果为手动算法设计和自动超参数优化提供了定量基础。所进行的实验证实，所提出的方法选择的超参数确实是最重要的，并且所获得的先验也导致超参数优化的统计显着改善。
2018-05-29 cs.LG stat.ML
Bayesian Learning of Conditional Kernel Mean Embeddings for Automatic Likelihood-Free Inference
The University of Sydney（悉尼大学）；CSIRO（澳大利亚联邦科学与工业研究组织）；NVIDIA（英伟达）
在无似然设置的可能性评估是棘手的，近似贝叶斯计算（ABC）解决了艰巨的推理任务，发现合理的参数解释的观察模拟程序。然而，它们需要大量的模拟调用。重要的是，决定模拟差异度量的超参数至关重要地平衡了推理精度和样本效率，但很难调整。在本文中，我们提出了内核嵌入似然自由推理（KELFI），一个整体框架，自动学习模型超参数，以提高推理精度有限的模拟预算。通过利用条件均值嵌入的似然平滑性，我们非参数地近似似然和后验作为代理密度，并从封闭形式的后验均值嵌入中采样，其超参数在其近似边缘似然下学习。我们的模块化框架在生态学中具有挑战性的推理问题上表现出更高的准确性和效率。
2019-03-03 cs.LG stat.ML
Improving Multi-fidelity Optimization with a Recurring Learning Rate for Hyperparameter Tuning
Lunit Inc.（Lunit公司）
尽管卷积神经网络（CNN）不断发展，但它们的性能令人惊讶地依赖于超参数的选择。然而，由于现代CNN的训练时间很长，因此有效地探索大型超参数搜索空间仍然具有挑战性。多保真度优化使得能够通过提前终止不希望的配置来探索更多的超参数配置。然而，这通常导致选择次优配置，因为使用高性能配置的训练通常在早期阶段收敛缓慢。在本文中，我们提出了具有循环学习率的多保真度优化（MORL），它将CNN的优化过程融入多保真度优化中。MORL消除了慢启动器的问题，并实现了更精确的低保真度近似。我们在一般图像分类、迁移学习和半监督学习上的综合实验证明了MORL相对于其他多保真度优化方法（如连续减半算法（SHA）和Hyperband）的有效性。此外，它实现了显着的性能改进，手动调整超参数配置在一个实际的预算。
2022-09-26 cs.CV cs.LG math.OC
Efficient Hyperparameter Optimization of Deep Learning Algorithms Using Deterministic RBF Surrogates
National University of Singapore（新加坡国立大学）
自动搜索最优超参数配置对于在实践中应用深度学习算法至关重要。最近，贝叶斯优化已经被提出用于优化各种机器学习算法的超参数。这些方法采用高斯过程等概率代理模型来近似和最小化超参数值的验证误差函数。然而，概率代理需要足够的统计数据的准确估计（例如，协方差），因此需要使用大量超参数进行许多函数求值。这使得它们在优化深度学习算法的超参数时效率低下，而这些算法的评估成本非常高。在这项工作中，我们提出了一个新的确定性和有效的超参数优化方法，采用径向基函数作为误差代理。所提出的混合整数算法，称为HORD，通过动态坐标搜索，搜索最有前途的超参数值的代理，并需要更少的功能评估。HORD在低维情况下表现良好，但在高维情况下尤其出色。对四个深度神经网络的MNIST和CIFAR-10的广泛评估表明，HORD显著优于成熟的贝叶斯优化方法，如GP，SMAC和TPE。例如，平均而言，HORD在获得19个超参数的最佳配置方面比GP-EI快6倍以上。
2017-01-21 cs.AI cs.LG stat.ML
Bag of Baselines for Multi-objective Joint Neural Architecture Search and Hyperparameter Optimization
University of Freiburg（弗莱堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；Leibniz University Hannover（莱布尼茨汉诺威大学）
神经架构搜索（NAS）和超参数优化（HPO）通过自动查找要使用的深度神经网络的架构并调整所使用的训练管道的超参数，使非专家也能访问深度学习。虽然近年来NAS和HPO都得到了广泛的研究，但NAS方法通常假设固定的超参数，反之亦然-关于联合NAS + HPO的工作很少。此外，NAS最近经常被框定为多目标优化问题，以便采取，例如，考虑到资源需求。在本文中，我们提出了一组方法，扩展了当前的方法，以联合优化神经架构和超参数相对于多个目标。我们希望这些方法将作为未来多目标联合NAS + HPO研究的简单基线。为了便于实现这一点，我们所有的代码都可以在https://github.com/automl/multi-obj-baselines上找到。
2021-05-03 cs.AI cs.LG stat.ML
CPMLHO:Hyperparameter Tuning via Cutting Plane and Mixed-Level Optimization
Tongji University（同济大学）
神经网络的超参数优化可以表示为一个两层优化问题。采用双层优化算法自动更新超参数，超参数的梯度为基于最佳响应函数的近似梯度。寻找最佳响应函数是非常耗时的。本文提出了一种新的超参数优化方法CPMLHO，该方法利用割平面法和混合目标函数，在内层增加一个割平面来约束响应函数的空间。为了获得更准确的超梯度，混合水平可以灵活地调整损失函数，通过使用训练集和验证集的损失。实验结果表明，与现有方法相比，该方法能够在训练过程中自动更新超参数，并能找到更多更优的超参数，具有更高的精度和更快的收敛速度。
2022-12-11 cs.LG
Automatic model training under restrictive time constraints
School of Mathematics, University of Leeds（利兹大学数学学院）；The Alan Turing Institute（阿兰·图灵研究所）
提出AutoBCT算法，在受限时间下平衡模型质量与调优成本，通过马尔可夫决策过程在每个训练轮次决定终止或继续训练，并在随机森林和神经网络上验证性能。
2021-04-21 cs.LG stat.ML
Application-oriented automatic hyperparameter optimization for spiking neural network prototyping
Politecnico di Torino（托斯大学）
本文针对脉冲神经网络超参数复杂且配置敏感的问题，基于 NNI 构建面向应用的自动化 HPO 流水线，并通过用例和已有研究验证其对 SNN 原型设计的支持价值。
2025-10-20 cs.LG cs.NE
Hyperboost: Hyperparameter Optimization by Gradient Boosting surrogate models
Eindhoven University of Technology（埃因霍温理工大学）
Bayesian Optimization是自动机器学习（AutoML）系统中调优算法的流行工具。当前最先进的方法利用随机森林或高斯过程来构建代理模型，该代理模型在给定某组超参数设置的情况下预测算法性能。在本文中，我们提出了一个新的代理模型的基础上梯度提升，我们使用分位数回归提供乐观的估计的性能未观察到的超参数设置，并结合未观察到的和观察到的超参数设置之间的距离度量，以帮助调节探索。我们的经验表明，新的方法是能够超越一些国家的最先进的技术在一个合理的大小集的分类问题。
2021-01-06 cs.LG stat.ML
Automatic Neural Network Hyperparameter Optimization for Extrapolation: Lessons Learned from Visible and Near-Infrared Spectroscopy of Mango Fruit
University of British Columbia（不列颠哥伦比亚大学）
神经网络是通过选择架构和超参数值来配置的;这样做通常涉及专家的直觉和手动调整，以找到一个可以很好地外推而不会过度拟合的配置。本文考虑自动配置的神经网络，外推的可见光和近红外（VNIR）光谱的域的时间的方法。特别是，我们研究的效果（a）选择样本验证配置和（b）使用合奏。大多数时候，模型是建立在过去的基础上来预测未来的。为了鼓励神经网络模型进行外推，我们考虑在与测试集类似的时间偏移的样本上验证模型配置。我们使用三种验证集选择进行实验：（1）1/3非测试数据的随机样本（以前的工作中使用的技术），（2）使用最新的1/3（按时间排序），（3）使用语义有意义的数据子集。超参数优化依赖于验证集来估计测试集误差，但神经网络方差混淆了真实的误差值。包络平均-计算许多神经网络的平均值-可以减少预测误差的方差。为了测试这些方法，我们对2018年芒果收获季节进行了全面研究，给出了前3年的VNIR光谱。我们发现，集成提高了最先进的模型的方差和准确性。此外，超参数优化实验（有和没有集成平均以及每个验证集选择）表明，当集成与使用最新的1/3样本作为验证集相结合时，可以自动找到与最新技术水平相当的神经网络配置。
2022-10-03 cs.LG eess.IV
Joint Neural Architecture and Hyperparameter Search for Correlated Time Series Forecasting
Aalborg University（奥尔堡大学）
网络物理系统中的传感器经常捕获相互关联的过程，从而发出相关时间序列（CTS），预测这些过程可以实现重要的应用。成功的CTS预测的关键是揭示时间序列的时间动态和时间序列之间的空间相关性。基于深度学习的解决方案在识别这些方面表现出令人印象深刻的性能。特别是，自动化CTS预测，其中最佳深度学习架构的设计是自动化的，使得预测准确性超过了手动方法所达到的准确性。然而，自动化CTS解决方案仍处于起步阶段，只能为预定义的超参数找到最佳架构，并且难以扩展到大规模CTS。为了克服这些限制，我们提出了一个联合的，可扩展的框架，自动设计有效的CTS预测模型。具体来说，我们将每个候选架构和伴随的超参数编码到联合图表示中。我们引入了一个高效的架构超参数比较器（AHC）来对所有架构超参数对进行排名，然后我们进一步评估排名靠前的对以选择最终结果。在六个基准数据集上的大量实验表明，该方法不仅消除了人工劳动，而且能够比手动设计和现有的自动设计的CTS模型具有更好的性能。此外，它显示了良好的可扩展性，以大型CTS。
2023-02-27 cs.AI cs.DB cs.LG
A self-adapting super-resolution structures framework for automatic design of GAN
Zhengzhou University（郑州大学）
随着深度学习的发展，单幅超分辨率图像重建网络模型变得越来越复杂。模型超参数的微小变化对模型性能的影响更大。在现有的工作中，专家们已经逐步探索出一套最佳的模型参数的基础上的经验值或执行蛮力搜索。本文提出了一种新的超分辨率图像重建生成对抗网络框架，并采用贝叶斯优化方法对生成器和生成器的超参数进行了优化。该发生器采用自校准卷积法，卷积层采用自校准卷积法。我们定义了超参数，如网络层数和神经元数量。我们的方法采用贝叶斯优化作为GAN在我们的模型中的优化策略。不仅可以自动寻找最优超参数解，而且可以构造超分辨率图像重建网络，减少人工工作量。实验表明，贝叶斯优化算法比其他两种优化算法更早地搜索到最优解。
2021-06-10 cs.CV cs.LG eess.IV
Efficient Two-Stage Gaussian Process Regression Via Automatic Kernel Search and Subsampling
Emory University（埃默里大学）；Georgia Institute of Technology（佐治亚理工学院）
针对高斯过程回归中均值、核函数和超参数设定错误的问题，提出两阶段框架、自动核搜索和子采样热启动策略，以低计算成本实现稳健精确的预测与不确定性量化。
2024-09-19 cs.AI cs.LG math.PR
AutoML-GPT: Automatic Machine Learning with GPT
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对传统AI模型需人工调试架构与超参数的问题，提出AutoML-GPT框架，以GPT为桥梁连接各类AI模型，自动完成从数据处理到训练的全流程，在多领域任务中展现出通用性与有效性。
2023-05-04 cs.AI cs.CL cs.CV
Towards hyperparameter-free optimization with differential privacy
Amazon（亚马逊）；Emory University（埃默里大学）
本研究将自动学习率调度与自动逐样本梯度裁剪结合，适配于任意模型和优化器的差分隐私优化，显著降低超参数调优成本，同时实现最先进的DP性能。
2025-03-02 cs.CL cs.CR cs.CV
Towards Automatic Actor-Critic Solutions to Continuous Control
University of Virginia（弗吉尼亚大学）
无模型的非策略行动者-批评者方法是解决复杂连续控制任务的有效方法。然而，这些算法依赖于许多设计技巧和超参数，使其应用到新的领域困难和计算昂贵。本文创建了一种进化方法，可以自动调整这些设计决策，并从Soft Actor-Critic算法中消除RL特定的超参数。我们的设计是样本效率，并提供了实际的优势，基线方法，包括改进的探索，在多个控制频率的泛化，和一个强大的高性能的政策合奏。从经验上讲，我们表明，我们的代理在DeepMind Control Suite的流行基准测试中表现优于精心调整的超参数设置。然后，我们将其应用于模拟机器人之外不太常见的控制任务，以最小的计算和研究工作量找到高性能的解决方案。
2021-10-23 cs.LG cs.NE cs.SY
Time series forecasting with Gaussian Processes needs priors
Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA)（达莱莫勒人工智能研究所（IDSIA））；USI - SUPSI（瑞士意大利语区大学-瑞士南部应用科学与艺术大学）；Trinity College Dublin（都柏林圣三一学院）
针对 GP 自动预测中的核选择与超参数估计问题，提出固定核组合、ARD 自动剪枝及经验贝叶斯先验，在多类时间序列上提升精度并实现单次重启快速训练。
2021-06-21 cs.LG stat.ML
Adaptive Optimizer for Automated Hyperparameter Optimization Problem
Peking University（北京大学）
超参数的选择对机器学习模型的性能有着至关重要的影响。在本文中，我们提出了一个通用的框架，能够构建一个自适应优化器，自动调整适当的算法和参数的优化过程中。在研究自适应优化方法的基础上，给出了一个利用遗传算法构造基于贝叶斯优化器的自适应优化器的实例，并与原优化器进行了比较。特别是在并行优化方面有很大的优势。
2022-01-28 cs.LG math.OC
Hyperparameter Transfer Across Developer Adjustments
University of Freiburg（弗莱堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
在开发人员调整机器学习（ML）算法后，如何自动使用旧的超参数优化（HPO）的结果来加速新的HPO？这个问题提出了一个具有挑战性的问题，因为开发人员的调整可以改变哪些超参数设置表现良好，甚至是超参数搜索空间本身。虽然有许多方法可以利用从以前的任务中获得的知识，但迄今为止，从以前的开发步骤中获得的知识仍然完全没有得到利用。在这项工作中，我们纠正这种情况，并提出了一个新的研究框架：超参数跨调整（HT-AA）。为了为这个研究框架奠定坚实的基础，我们提供了四个简单的HT-AA基线算法和八个基准，改变了ML算法的各个方面，它们的超参数搜索空间和所使用的神经架构。最佳基线，平均而言，并取决于新老HPO的预算，达到给定的性能1.2- 2.6倍快于一个突出的HPO算法没有转移。由于HPO是ML开发的关键步骤，但需要大量的计算资源，因此这种加速将导致更快的开发周期，更低的成本和更少的环境影响。为了让机器学习开发人员可以获得这些好处，并促进未来对HT-AA的研究，我们为我们的基线和基准提供了Python包。
2020-10-25 cs.AI cs.LG
Automatic Gradient Boosting
LMU（慕尼黑大学）
自动机器学习使用高性能机器学习工具执行预测建模，无需人工干预。这是通过使机器学习应用程序无参数来实现的，即只提供数据集，而完整的模型选择和模型构建过程通过（通常是Meta）优化在内部处理。像Auto-WEKA和auto-sklearn这样的项目旨在解决组合算法选择和超参数优化（CASH）问题，从而产生巨大的配置空间。然而，对于大多数现实世界的应用程序，仅对几个不同的关键学习算法进行优化不仅是足够的，而且可能是有益的。当我们考虑到模型必须被验证、解释、部署和维护时，后者就变得很明显了。这里，出于验证或效率原因，或者甚至是严格的要求，通常优选不太复杂的模型。自动梯度提升进一步简化了这个想法，仅使用梯度提升作为单个学习算法，结合基于模型的超参数调整，阈值优化和分类特征编码。我们介绍这个一般框架，以及一个具体的实现称为autoxgboost。它与目前的AutoML项目在16个数据集上进行了比较，尽管它很简单，但它能够在大约一半的数据集上实现可比的结果，并且在两个数据集上表现最好。
2018-07-13 cs.LG stat.ML
Efficient Online Hyperparameter Optimization for Kernel Ridge Regression with Applications to Traffic Time Series Prediction
Penn State University（宾夕法尼亚州立大学）；UC Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
计算效率是在线环境中部署用于时间序列预测的机器学习模型的重要考虑因素。机器学习算法根据数据自动调整模型参数，但通常需要用户设置额外的参数，称为超参数。超参数会显著影响预测精度。通常由传感器在线收集的流量测量是串行相关的。此外，数据分布可能会逐渐变化。典型的自适应策略是周期性地重新调整模型超参数，以计算负担为代价。在这项工作中，我们提出了一个有效的和原则性的在线超参数优化算法的核岭回归应用于交通预测问题。在对真实流量测量数据的测试中，我们的方法所需的计算时间仅为其他调优方法的七分之一，同时实现了更好或类似的预测精度。
2018-11-01 cs.LG stat.ML
Fine-Tuning Adaptive Stochastic Optimizers: Determining the Optimal Hyperparameter $ε$ via Gradient Magnitude Histogram Analysis
Pontificia Universidad Católica del Perú（秘鲁天主教大学）
本研究提出基于梯度幅度直方图的框架分析自适应随机优化器超参数$\varepsilon$的影响，并设计算法自动估计其更窄的最优搜索空间，提升超参数调优效率。
2024-09-15 cs.AI cs.LG
Automatic Machine Learning for Multi-Receiver CNN Technology Classifiers
University of Arizona（亚利桑那大学）
卷积神经网络（CNN）是用于信号分类的深度学习模型家族中研究最多的一种，包括调制、技术、检测和识别。在这项工作中，我们专注于技术分类的基础上，从多个同步接收器收集的原始I/Q样本。作为一个示例用例，我们研究了在5 GHz未经许可的国家信息基础设施（U-NII）频段上共存的Wi-Fi，LTE-LAA和5G NR-U技术的协议识别。设计和训练准确的CNN分类器需要花费大量的时间和精力来微调模型的架构设置并确定适当的超参数配置，例如学习率和批量大小。我们通过将建筑设置本身定义为超参数来解决前者。我们尝试自动优化这些架构参数，以及其他预处理（例如，每个分类器输入内的I/Q样本数）和学习超参数，通过形成超参数优化（HyperOpt）问题，我们使用Hyperband算法以接近最优的方式解决该问题。然后，考虑到各种SNR值，使用所得到的接近最优的CNN（OCNN）分类器来研究OTA以及模拟数据集的分类准确性。我们表明，为CNN构建多通道输入的接收器数量应定义为通过Hyperband优化的预处理超参数。OTA结果显示，与手动调整的CNN相比，我们的OCNN分类器将分类准确率提高了24.58%。我们还研究了每个分类器输入中I/Q样本的最小-最大归一化对模拟数据集的泛化精度的影响，这些模拟数据集具有SNR而不是训练集的SNR，并且当I/Q样本归一化时，平均提高了108.05%。
2022-04-28 cs.LG cs.NI eess.SP
Deep Ranking Ensembles for Hyperparameter Optimization
University of Freiburg（弗莱堡大学）
提出一种基于Learning to Rank和神经网络集成的新方法，通过元学习代理模型对超参数配置性能进行排序并建模不确定性，在大规模实验中取得HPO新SOTA。
2023-05-21 cs.LG
Auto-CASH: Autonomous Classification Algorithm Selection with Deep Q-Network
Harbin Institute of Technology（哈尔滨工业大学）
各种数据源产生的大量数据集对机器学习算法选择和超参数配置提出了挑战。对于特定的机器学习任务，领域专家通常需要花费大量时间来选择合适的算法并配置其超参数。如果能够自动解决算法选择和超参数优化问题，将在保证性能的前提下更高效地执行任务。这种问题也被称为现金问题。早期的工作要么需要大量的人力劳动，要么要承受很高的时间或空间复杂度。在我们的工作中，我们提出了Auto-CASH，一个基于元学习的预训练模型，以更有效地解决CASH问题。Auto-CASH是第一种利用Deep Q-Network为每个数据集自动选择元特征的方法，从而在不引入太多人力的情况下大大减少了时间成本。为了证明我们的模型的有效性，我们在120个真实世界的分类数据集上进行了广泛的实验。实验结果表明，与传统的CASH算法相比，Auto-CASH算法在更短的时间内取得了更好的性能。
2020-07-07 cs.LG stat.ML
Far-HO: A Bilevel Programming Package for Hyperparameter Optimization and Meta-Learning
Istituto Italiano di Tecnologia（意大利理工学院）；University College London（伦敦大学学院）；Università degli studi di Firenze（佛罗伦萨大学）
在（Franceschi等人，2018）我们提出了一个统一的数学框架，基于双层规划，包括基于梯度的超参数优化和元学习。我们制定了一个近似版本的问题，其中的内部目标迭代求解，并给出了充分条件，确保收敛到精确的问题。在这项工作中，我们展示了如何优化学习率，自动加权单个示例的损失，并使用Far-HO学习超表示，Far-HO是一个基于流行的深度学习框架TensorFlow的软件包，可以无缝地解决HO和ML问题。
2018-06-13 cs.LG cs.MS stat.ML
Gradient-based bilevel optimization for multi-penalty Ridge regression through matrix differential calculus
IDSIA Dalle Molle Institute for Artificial Intelligence（IDSIA 达莱·莫勒人工智能研究所）；USI-SUPSI（提契诺大学-瑞士南部应用科学与艺术大学）
本文针对每个输入变量关联不同正则化超参数的l2正则化线性回归问题，提出基于矩阵微分计算解析求解交叉验证准则梯度的双层优化方法，并引入防过拟合策略，数值实验证明其优于LASSO等方法且计算高效。
2023-11-23 cs.LG stat.ML
Adaptive Hyperparameter Optimization for Continual Learning Scenarios
University of Pisa（比萨大学）
针对持续学习中超参数选择研究不足、传统方法不适用的问题，提出利用序列任务学习特性结合方差泛函分析技术识别关键超参数，实现跨任务持续加速优化且鲁棒性强，推动持续学习方法发展。
2024-06-19 cs.LG
BOASF: A Unified Framework for Speeding up Automatic Machine Learning via Adaptive Successive Filtering
State Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）；Nanjing University（南京大学）
针对非专家高效解决机器学习任务难的问题，提出统一多臂老虎机框架下的BOASF算法，结合贝叶斯优化与自适应逐次过滤，加速模型选择与超参数优化，实验证明其性能优于现有方法。
2025-08-07 cs.LG
Efficient Hyperparameter Optimization in Deep Learning Using a Variable Length Genetic Algorithm
Georgia State University（佐治亚州立大学）；Institute of High Performance Computing（高性能计算研究所）；National University of Singapore（新加坡国立大学）
卷积神经网络（CNN）在许多人工智能任务中取得了巨大的成功。然而，为CNN找到一组好的超参数仍然是一项具有挑战性的任务。它通常需要一个有深厚知识的专家，以及试验和错误。遗传算法已被用于超参数优化。然而，具有固定长度染色体的传统遗传算法可能不适合优化深度学习超参数，因为深度学习模型具有取决于模型深度的可变数量的超参数。随着深度的增加，超参数的数量呈指数级增长，搜索变得更加困难。重要的是要有一个有效的算法，可以在合理的时间内找到一个好的模型。在这篇文章中，我们提出使用可变长度遗传算法（GA）来系统地自动调整CNN的超参数，以提高其性能。实验结果表明，该算法能有效地找到性能良好的CNN超参数。从我们的实验中可以清楚地看出，如果花更多的时间来优化超参数，可以获得更好的结果。从理论上讲，如果我们有无限的时间和CPU能力，我们可以找到优化的超参数，并在未来实现最佳结果。
2020-06-23 cs.LG cs.NE
On the Importance of Hyperparameter Optimization for Model-based Reinforcement Learning
University of Freiburg（弗赖堡大学）；Facebook AI Research（Facebook AI研究院）；UC Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）；Bosch Center for AI（博世人工智能中心）
基于模型的强化学习（MBRL）是一种很有前途的数据高效学习控制框架。由于单独的动力学建模和随后的规划算法，MBRL算法可能相当复杂，因此，它们通常拥有数十个超参数和架构选择。因此，MBRL在应用于新问题和领域之前通常需要大量的人力专业知识。为了缓解这个问题，我们建议使用自动超参数优化（HPO）。我们证明，这个问题可以有效地解决自动HPO，我们证明，产生显着提高性能相比，人类专家。此外，我们还表明，与使用在整个训练过程中保持固定的静态超参数相比，动态调整多个MBRL超参数（即在训练过程中）进一步提高了性能。最后，我们的实验为几个超参数的影响提供了有价值的见解，例如计划范围或学习率及其对训练稳定性和所得奖励的影响。
2021-02-26 cs.AI cs.LG cs.NE
