Combination of Hyperband and Bayesian Optimization for Hyperparameter Optimization in Deep Learning
Blippar
深度学习在许多问题上取得了令人印象深刻的成果。然而，它需要高度的专业知识或大量的经验来很好地调整超参数，并且这种手动调整过程很可能是有偏差的。此外，在深度学习中尝试与在其他机器学习场景中一样多的不同超参数配置是不切实际的，因为在深度学习中评估每个单个超参数配置将意味着训练深度神经网络，这通常需要相当长的时间。Hyperband算法在深度学习领域的各种超参数优化问题上实现了最先进的性能。然而，Hyperband算法没有利用以前探索的超参数配置的历史信息，因此找到的解决方案是次优的。我们建议将Hyperband算法与贝叶斯优化（在对下一个试验配置进行采样时不忽略历史）相结合。实验结果表明，该方法优于包括Hyperband算法在内的其他超参数优化方法。
2018-01-05 cs.AI cs.CV cs.LG
Learnt Deep Hyperparameter selection in Adversarial Training for compressed video enhancement with perceptual critic
Trinity College Dublin（都柏林圣三一学院）
基于图像的深度特征质量评价（DFQM）已被证明与传统指标相比更好地与主观感知分数相关。这些DFQM的基本重点是利用大规模分类网络的内部表示作为度量特征空间。在此之前，没有注意到识别哪些层在感知上最相关的问题。在本文中，我们提出了一种新的方法，从这样的网络中选择感知相关的层，基于神经科学的解释层的行为。所选择的层被视为W-GAN中评论家网络的超参数。评论家在初步阶段使用这些层的输出来提取感知信息。一个视频增强网络与这个评论家对抗训练。我们的研究结果表明，将这些选定的功能引入到评论家中，与其他没有利用优化特征选择思想的评论家网络相比，性能提高了10%（FID）和15%（KID）。
2023-02-28 cs.AI eess.IV
Edge of chaos as a guiding principle for modern neural network training
National University of Singapore（新加坡国立大学）；Institute of High Performance Computing, A*STAR（A*STAR高性能计算研究所）
深度神经网络在现实问题中的成功促使人们尝试解释其训练动态和泛化性能，但仍然需要更多的神经网络训练指导原则。受神经网络最优性能背后的混沌边缘原理的启发，从有序-混沌相图的角度研究了各种超参数在现代神经网络训练算法中的作用。特别是，我们研究了在广泛采用的Fashion-MNIST数据集上训练的完全分析的前馈神经网络，并研究了在训练过程中与反向传播中的超参数相关的动态。我们发现，对于基本算法的随机梯度下降的动量，在常用的超参数值的范围内，在相图中的有序阶段，相对于训练时间存在明显的标度关系，并且在混沌边缘的模型的最佳泛化能力是相似的不同的训练参数组合。在混沌阶段，相同的标度不再存在。缩放允许我们选择训练参数，以实现更快的训练，而不会牺牲性能。此外，我们发现常用的模型正则化方法--权重衰减--有效地将模型推向有序阶段，以获得更好的性能。利用这一事实和其他超参数中的标度关系，我们导出了超参数确定的原则性指导方针，使得模型可以通过在混沌边缘饱和来实现最佳性能。在这个简单的神经网络模型和训练算法上，我们的工作提高了对神经网络训练动态的理解，并且可以潜在地扩展到更复杂的模型架构和算法的指导原则。
2021-07-20 cs.AI cs.LG nlin.CD
Towards Automated Deep Learning: Efficient Joint Neural Architecture and Hyperparameter Search
University of Freiburg（弗莱堡大学）
虽然神经架构搜索（NAS）的现有工作在一个单独的后处理步骤中调整超参数，但我们证明了架构选择和其他超参数设置以一种可以使这种分离次优的方式相互作用。同样，我们证明了在主NAS期间使用非常少的时期和在后处理步骤期间使用大量时期的常见做法是低效的，因为这两种训练方案的相对排名几乎没有相关性。为了解决这两个问题，我们建议使用贝叶斯优化和Hyperband的最新组合，以实现高效的联合神经架构和超参数搜索。
2018-07-18 cs.AI cs.CV cs.LG
Efficiently Estimating Optimal Hyperparameter Scaling Laws through Power-Law Entropy Search
Meta；National University of Singapore（新加坡国立大学）；Atomic Machines（原子机器公司）
该研究提出幂律熵搜索（PLES），一种基于多保真度贝叶斯优化的获取函数，可高效估计LLM的最优超参数缩放定律，其计算预算仅为传统网格搜索的十分之一。
2026-10-16 cs.AI cs.LG
Forward and inverse reinforcement learning sharing network weights and hyperparameters
ATR Computational Neuroscience Laboratories（ATR计算神经科学实验室）；Okinawa Institute of Science and Technology Graduate University（冲绳科学技术大学院大学）
本文提出了一种无模型的模仿学习，称为熵正则化模仿学习（ERIL），最大限度地减少反向Kullback-Leibler（KL）分歧。ERIL在熵正则化马尔可夫决策过程的框架下结合了正向和反向强化学习（RL）。逆RL步骤通过评估两个二进制鉴别器来计算两个分布之间的对数比。第一个识别器将前向RL步骤生成的状态与专家的状态区分开来。第二种方法利用熵正则化理论构造，将学习者产生的状态-动作-下一状态元组与专家元组区分开来。一个值得注意的特点是第二个递归函数与前向递归函数共享超参数，这可以用来控制递归函数的能力。前向RL步骤最小化由逆RL步骤估计的逆KL。我们表明，最小化反向KL分歧相当于找到一个最优的政策。我们的实验结果MuJoCo模拟环境和基于视觉的机械臂达到任务表明，ERIL是更有效的样本比基线方法。我们将该方法应用于执行杆平衡任务的人类行为，并描述了估计的奖励函数如何显示每个受试者如何实现她的目标。
2022-05-31 cs.AI cs.LG cs.RO
Complexity-Regularized Proximal Policy Optimization
本文提出复杂度正则化的近端策略优化（CR-PPO），通过引入自调节复杂度项替代标准熵项，提升策略优化的鲁棒性和稳定性。
2026-03-05 cs.AI cs.LG
Scalable Hyperparameter-Divergent Ensemble Training with Automatic Learning Rate Exploration for Large Models
LinkedIn Inc.（LinkedIn公司）
本文提出HDET方法，通过发散与收敛阶段交替训练，利用GPU副本进行学习率探索，结合自动学习率控制器提升优化质量与泛化能力。
2026-04-27 cs.AI cs.LG
Tune As You Scale: Hyperparameter Optimization For Compute Efficient Training
Generally Intelligent（通用智能公司）；UC Berkeley（加州大学伯克利分校）
针对大模型超参数调优成本高、难度大的问题，提出成本感知帕累托区域贝叶斯搜索算法CARBS，可随模型规模扩展同步调优，以更低计算量复现经典缩放结果并适配各类深度学习任务。
2023-06-13 cs.AI cs.LG
Efficient Hyperparameter Optimization for LLM Reinforcement Learning
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；The Hong Kong University of Science and Technology（香港科学与技术大学）；China United Network Communications Group（中国联合网络通信集团）
提出联合保真度超参数优化方法，通过同时调整模型大小和训练预算作为保真度，并集成早停策略和检查点机制，显著提升计算效率（每轮最高14.9倍）且性能提升5.8%-111.6%。
2026-06-02 cs.AI cs.LG
Multi-objective hyperparameter optimization with performance uncertainty
Flanders Make（法兰德斯制造）；Hasselt University（哈塞尔特大学）；Tilburg University（蒂尔堡大学）
任何机器学习（ML）算法的性能都受到其超参数选择的影响。由于训练和评估ML算法通常是昂贵的，因此超参数优化（HPO）方法需要在计算上高效才能在实践中有用。现有的多目标HPO方法大多使用进化策略和基于元模型的优化。然而，很少有方法被开发出来，以占在性能测量的不确定性。本文提出了多目标超参数优化的ML算法的评价上的不确定性的结果。我们将树结构Parzen估计器（TPE）的采样策略与训练具有异质噪声的高斯过程回归（GPR）后获得的元模型相结合。三个分析测试函数和三个ML问题的实验结果表明，多目标TPE和GPR的改进，实现相对于超体积指标。
2022-09-09 cs.AI cs.LG
Frozen Layers: Memory-efficient Many-fidelity Hyperparameter Optimization
University of Freiburg（弗莱堡大学）；ELLIS Institute Tübingen（埃利斯研究所蒂宾根分所）；Prior Labs；Bosch Center for Artificial Intelligence (BCAI)（博世人工智能中心）
针对模型规模增长下现有多保真度超参数优化（MF-HPO）在低计算内存约束下失效的问题，提出以训练/冻结层数为保真度来源的方法，在ResNets和Transformers上验证其内存计算效率及秩相关性保留能力，拓展MF-HPO应用。
2025-04-17 cs.AI cs.LG
Scalable Gradient-Based Tuning of Continuous Regularization Hyperparameters
Aalto University（阿尔托大学）；IDSIA, Dalle Molle Institute for Artificial Intelligence, USI-SUPSI（IDSIA，达勒·莫勒人工智能研究所（USI-SUPSI））
超参数选择通常依赖于运行多个完整的训练试验，选择基于验证集的性能。我们提出了一种基于梯度的方法，用于在模型训练期间局部调整超参数。调整超参数，以便使模型参数梯度以及因此的更新对于验证成本更有利。我们探索了调整正则化超参数的方法，并发现在MNIST，SVHN和CIFAR-10上的实验中，得到的正则化水平在最佳区域内。额外的计算成本取决于训练超参数的频率，但无论模型大小如何，测试方案只增加了30%的计算开销。由于该方法与类似的基于梯度的超参数优化方法相比，计算要求明显降低，并且始终找到良好的超参数值，因此它可以成为训练神经网络模型的有用工具。
2016-06-17 cs.LG
Start Small, Think Big: On Hyperparameter Optimization for Large-Scale Knowledge Graph Embeddings
University of Mannheim（曼海姆大学）
知识图谱嵌入（KGE）模型是一种有效的多关系数据表示和推理方法。然而，之前的研究表明，KGE模型对超参数设置很敏感，并且合适的选择取决于数据集。在本文中，我们探讨了超参数优化（HPO）非常大的知识图谱，其中的成本评估个人超参数配置是过度的。先前的研究通常通过使用各种化学方法来避免这种成本;例如，通过在子图上训练或通过使用更少的时期。我们系统地讨论和评估这种近似和其他低成本近似技术的质量和成本节约。基于我们的研究结果，我们介绍了GraSH，一个有效的多保真度HPO算法的大规模KGE，结合了图形和历元减少技术，并运行在多轮的不断增加的并行性。我们进行了一项实验研究，发现GraSH以较低的成本（总共三次完整的训练运行）在大型图上获得了最先进的结果。
2022-07-11 cs.AI cs.LG
Temperature check: theory and practice for training models with softmax-cross-entropy losses
Google Research（谷歌研究院）
结合交叉熵损失的softmax函数是一种建模概率分布的原则性方法，在深度学习中无处不在。softmax函数由一个单独的超参数（温度）定义，该参数通常设置为1或被视为在训练后调整模型置信度的一种方式;然而，关于温度如何影响训练动态或泛化性能的了解较少。在这项工作中，我们开发了一个理论的早期学习的模型训练与softmax交叉熵损失，并表明学习动态关键取决于逆温度$β$以及初始化时的logits的大小，$||β{\bf z}||_{2}$。我们通过对CIFAR 10、ImageNet和IMDB情感分析上训练的各种模型架构进行大规模实证研究来跟踪这些分析结果。我们发现，泛化性能强烈依赖于温度，但只有弱的初始logit幅度。我们提供的证据表明，对$β$的泛化的依赖是不是由于模型的置信度的变化，而是一个动态的现象。因此，添加$β$作为可调超参数是最大化模型性能的关键。虽然我们发现最佳的$β$是敏感的架构，我们的研究结果表明，调整$β$的范围$10^{-2}$，以$10^1$提高性能的所有架构研究。我们发现，较小的$β$可能会导致更好的峰值性能的学习稳定性的成本。
2020-10-14 cs.AI cs.LG
Multi-level Training and Bayesian Optimization for Economical Hyperparameter Optimization
Tsinghua University（清华大学）；Purdue University（普渡大学）
超参数在许多机器学习方法的性能中起着至关重要的作用。确定它们的最佳设置或超参数优化（HPO）面临着大量超参数以及过多训练时间所带来的困难。在本文中，我们开发了一种有效的方法来减少所需的培训时间的总量HPO。在初始化中，使用嵌套拉丁超立方体设计来选择两种类型的训练的超参数配置，这两种类型的训练分别是重训练和轻训练。我们提出了一个截断的加性高斯过程模型来校准由轻训练产生的近似性能测量，使用由重训练产生的准确性能测量。在此基础上，提出了一种基于模型的序贯算法来生成配置空间的性能剖面，并找到最优的性能剖面。我们提出的方法在应用于优化合成示例、支持向量机、全连接网络和卷积神经网络时表现出具有竞争力的性能。
2020-07-20 cs.LG stat.ML
Neural Velocity for hyperparameter tuning
University of Turin（都灵大学）
本文提出基于神经速度的动态训练方法NeVe，用于调整学习率和定义停止标准，减少对验证集的依赖，提升训练效率。
2025-07-07 cs.AI cs.LG
Bayesian Hierarchical Models and the Maximum Entropy Principle
Department of Statistics, The University of Auckland（奥克兰大学统计系）
本文探讨了贝叶斯分层模型中参数先验的依赖关系，证明当超参数给出的先验为最大熵分布时，边缘先验也具有最大熵性质，且约束条件不同。
2026-04-30 cs.LG physics.data-an stat.ME
Training Deep Neural Networks by optimizing over nonlocal paths in hyperparameter space
SoftServe Inc.（SoftServe公司）
超参数优化是深层结构训练中的一个实际问题，也是一个有趣的理论问题。尽管最近取得了许多进展，但最常用的方法几乎普遍涉及训练模型的多个解耦副本，实际上是对超参数空间进行采样。我们表明，在一个可以忽略不计的额外计算成本，结果可以改善采样非局部路径，而不是超参数空间中的点。为此，我们将超参数解释为控制训练中相关噪声的水平，它可以映射到有效温度。模型的通常独立的实例被耦合，并允许使用统计物理学的完善的并行回火技术在整个训练过程中交换它们的超参数。然后，每个模拟对应于联合超参数/模型参数空间中的唯一路径或历史。我们提供了我们的方法的实证测试，特别是辍学和学习率优化。我们观察到更快的训练和更好的抗过拟合能力，并显示绝对验证误差的系统性降低，优于基准测试结果。
2019-09-09 cond-mat.dis-nn cond-mat.stat-mech cs.LG
The Effects of Hyperparameters on SGD Training of Neural Networks
Google, Inc.（谷歌公司）
神经网络分类器的性能由多个超参数决定，包括学习率、批量大小和深度。在文献中已经进行了许多尝试来探索这些参数，并且有时开发用于优化它们的方法。然而，参数空间的探索往往是有限的。在这篇文章中，我报告了探索这些不同参数及其相互作用的大规模实验的结果。
2015-08-12 cs.LG cs.NE
HyperController: A Hyperparameter Controller for Fast and Stable Training of Reinforcement Learning Neural Networks
Department of Electrical and Systems Engineering, Washington University in St. Louis（电气与系统工程系，华盛顿大学圣路易斯分校）
提出HyperController算法，将超参数优化建模为线性高斯动态系统并利用Kalman滤波器学习目标函数，实现了强化学习神经网络快速稳定的训练与部署。
2025-04-27 cs.LG cs.SY eess.SY
Understanding weight-magnitude hyperparameters in training binary networks
Delft University of technology（代尔夫特理工大学）；Axelera AI
二进制神经网络（BNN）通过使用二进制权重而不是实值权重来实现紧凑和高效。目前的BNN在训练过程中使用潜在的实值权重，其中几个训练超参数是从实值网络继承的。这些超参数中的几个的解释是基于实值权重的大小。然而，对于BNN，二进制权重的大小没有意义，因此不清楚这些超参数实际上是什么。一个例子是权重衰减，其目的是保持实值权重的大小较小。其他示例是潜在权重初始化、学习率和学习率衰减，其影响实值权重的大小。该幅值对于实值权重是可解释的，但对于二进制权重失去其意义。在本文中，我们提供了一个新的解释，这些基于幅度的超参数的基础上高阶梯度滤波在网络优化。我们的分析使得有可能理解基于幅度的超参数如何影响二进制网络的训练，这允许专门为二进制神经网络设计的新的优化过滤器，这些过滤器独立于它们的实值解释。此外，我们改进的理解减少了超参数的数量，这反过来又减轻了超参数调整的工作，这可能会导致更好的超参数值，以提高精度。代码可在https://github.com/jorisquist/Understanding-WM-HP-in-BNNs上获得
2023-03-04 cs.CV cs.LG
Hyperparameter Tuning with Renyi Differential Privacy
Google Research（谷歌研究院）
对于许多差分隐私算法，例如突出的噪声随机梯度下降（DP-SGD），限制单个训练运行的隐私泄漏所需的分析是很好理解的。然而，很少有研究认为，由于需要多次训练来微调训练算法的超参数值，从而导致隐私泄露。在这项工作中，我们首先说明了如何简单地设置基于非私有训练运行的超参数可以泄漏私有信息。基于这一观察，我们在Renyi差分隐私的框架内为超参数搜索过程提供了隐私保证。我们的研究结果改进和扩展了Liu和Talwar的工作（STOC 2019）。我们的分析支持了我们之前的观察，即调整超参数确实会泄漏私人信息，但我们证明，在某些假设下，这种泄漏是适度的，只要选择超参数所需的每个候选训练运行本身是差异私人的。
2022-03-14 cs.CR cs.DS cs.LG
Constrained Bayesian Optimization with Max-Value Entropy Search
Amazon（亚马逊）
贝叶斯优化（BO）是一种基于模型的方法，用于顺序优化昂贵的黑盒函数，例如深度神经网络关于其超参数的验证误差。在许多现实世界的情况下，优化进一步受到先验未知的约束。例如，当模型太大时，训练深度网络配置可能会失败，并出现内存不足错误。在这项工作中，我们专注于一个一般的配方高斯过程为基础的BO连续或二进制的约束。我们提出了约束最大值熵搜索（cMES），一种新的信息理论为基础的采集功能，实现这一配方。我们还重新审视的有效性，采用快速计算的MES采集功能的因式分解近似，经验表明，这会导致不准确的结果。在一组广泛的现实世界的约束超参数优化问题，我们表明，cMES相比有利的先前的工作，同时更简单的实现和速度比其他约束扩展熵搜索。
2019-10-15 cs.LG stat.ML
Hyperparameter Transfer Learning through Surrogate Alignment for Efficient Deep Neural Network Training
National University of Singapore（新加坡国立大学）
近年来，已有多种优化方法成功应用于深度神经网络（DNN）的超参数优化。该方法通过对超参数值和相应误差的联合分布建模来工作。当应用于现代DNN时，这些方法变得不太实用，现代DNN的训练可能需要几天时间，因此无法收集足够的观测值来准确地建模分布。为了解决这个具有挑战性的问题，我们提出了一种方法，该方法学习将小源数据集的最佳超参数值转换为在感兴趣的数据集上具有可比性能的超参数值。相对于现有的迁移学习方法，我们提出的方法不使用手工设计的功能。相反，它使用代理来模拟两个数据集的超参数误差分布，并训练神经网络来学习传递函数。在三个CV基准数据集上的大量实验清楚地证明了我们方法的效率。
2016-07-31 cs.CV cs.LG cs.NE
Episodic Policy Gradient Training
Applied AI Institute, Deakin University（迪肯大学应用人工智能研究所）
我们介绍了一种新的策略梯度方法的训练过程，其中情景记忆用于实时优化强化学习算法的超参数。与其他超参数搜索不同，我们将超参数调度公式化为标准的马尔可夫决策过程，并使用情景记忆来存储所使用的超参数及其训练上下文的结果。在任何策略更新步骤中，策略学习器参考存储的经验，并利用由存储器确定的新的超参数自适应地重新配置其学习算法。这种机制被称为情景策略梯度训练（EPGT），它支持情景学习过程，并在单次运行中联合学习策略和学习算法的超参数。连续和离散环境下的实验结果表明，使用所提出的方法在提高各种策略梯度算法的性能的优势。
2021-12-03 cs.LG cs.MA
Probabilistic Rollouts for Learning Curve Extrapolation Across Hyperparameter Settings
University of Freiburg（弗赖堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
我们提出了概率模型，可以基于具有可变长度学习曲线的训练数据外推迭代机器学习算法的学习曲线，例如用于训练深度网络的随机梯度下降。我们研究这个框架的基础上随机森林和贝叶斯循环神经网络的实例。我们的实验表明，当外推使用不同超参数设置训练的神经网络的性能时，这些模型比来自超参数优化文献的最新模型产生更好的预测。
2019-10-10 cs.LG stat.ML
Self-Tuning Networks: Bilevel Optimization of Hyperparameters using Structured Best-Response Functions
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
超参数优化可以用公式表示为双层优化问题，其中训练集上的最优参数取决于超参数。我们的目标是通过将紧凑近似拟合到最佳响应函数来适应神经网络的正则化超参数，该函数将超参数映射到最佳权重和偏差。我们展示了如何通过将最佳响应建模为单个网络来构建神经网络的可扩展最佳响应近似，该网络的隐藏单元在正则化器上有条件地被选通。我们证明了这种近似，通过显示具有L2正则化雅可比矩阵的浅线性网络的确切最佳响应可以由类似的门控机制表示。我们使用基于梯度的超参数优化算法拟合该模型，该算法在当前超参数周围近似最佳响应和使用近似最佳响应函数优化超参数之间交替。与其他基于梯度的方法不同，我们不需要区分训练损失与超参数，允许我们调整离散超参数，数据增强超参数和辍学概率。由于超参数是在线适应的，我们的方法发现超参数时间表，可以超过固定的超参数值。从经验上讲，我们的方法在大规模深度学习问题上优于竞争的超参数优化方法。我们将在训练过程中在线更新自己的超参数的网络称为自调优网络（STNs）。
2019-03-07 cs.LG stat.ML
Optimizing Millions of Hyperparameters by Implicit Differentiation
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
我们提出了一个廉价的基于梯度的超参数优化算法，结合了隐函数定理（IFT）与高效的逆Hessian近似。我们目前的IFT和区分通过优化，激励我们的算法之间的关系的结果。我们使用所提出的方法来训练具有数百万权重和数百万超参数的现代网络架构。例如，我们学习一个数据增强网络-其中每个权重都是针对验证性能调整的超参数-输出增强的训练样本。使用我们的方法联合调整权重和超参数，在内存和计算方面的成本仅是标准训练的几倍。
2019-11-06 cs.LG stat.ML
CPMLHO:Hyperparameter Tuning via Cutting Plane and Mixed-Level Optimization
Tongji University（同济大学）
神经网络的超参数优化可以表示为一个两层优化问题。采用双层优化算法自动更新超参数，超参数的梯度为基于最佳响应函数的近似梯度。寻找最佳响应函数是非常耗时的。本文提出了一种新的超参数优化方法CPMLHO，该方法利用割平面法和混合目标函数，在内层增加一个割平面来约束响应函数的空间。为了获得更准确的超梯度，混合水平可以灵活地调整损失函数，通过使用训练集和验证集的损失。实验结果表明，与现有方法相比，该方法能够在训练过程中自动更新超参数，并能找到更多更优的超参数，具有更高的精度和更快的收敛速度。
2022-12-11 cs.LG
Cost-Efficient Online Hyperparameter Optimization
University of Toronto（多伦多大学）；Uber ATG（优步先进技术集团）；ETH Zürich（苏黎世联邦理工学院）
最近关于超参数优化（HPO）的工作表明，可以将某些超参数与常规参数一起训练。然而，这些在线HPO算法仍然需要在每个训练步骤中对一组验证示例进行评估，从而急剧增加了训练成本。为了决定何时查询验证损失，我们将在线HPO建模为随时间变化的贝叶斯优化问题，在此基础上，我们提出了一种新的\textit{costly feedback}设置来捕获查询成本的概念。在这种设置下，标准算法是成本效率低下的，因为它们在每一轮都对验证集进行评估。相比之下，本文提出的具有成本效益的GP-UCB算法仅在模型对当前决策不太自信时才查询未知函数。我们通过在CIFAR-10和ImageNet 100上在线调整VGG和ResNet的超参数来评估我们提出的算法。我们提出的在线HPO算法在一次实验中达到了人类专家级的性能，而与常规训练相比，只产生了适度的计算开销。
2021-01-17 cs.AI cs.CV cs.LG
Generalized Population-Based Training for Hyperparameter Optimization in Reinforcement Learning
Southern University of Science and Technology（南方科技大学）
针对PBT偏爱高性能智能体而忽略探索潜力的问题，提出GPBT框架结合成对学习（PL）策略，通过识别性能差异全面指导表现不佳的智能体，在适应性和计算效率上显著提升，并在多个RL基准上超越传统PBT及其贝叶斯优化变体。
2024-04-23 cs.AI cs.LG cs.NE
Bayesian Optimization for Iterative Learning
University of Oxford（牛津大学）
深度（强化）学习系统的性能关键取决于超参数的选择。它们的调整是出了名的昂贵，通常需要迭代训练过程来运行许多步骤以收敛。传统的优化算法只考虑经过多次昂贵的迭代后获得的超参数的最终性能，而忽略了早期训练步骤的中间信息。在本文中，我们提出了一个贝叶斯优化（BO）的方法，利用迭代结构的学习算法有效的超参数调整。我们建议学习一个评估函数，根据训练成功和稳定性，将训练过程中任何阶段的学习进度压缩为单个数值分数。然后，我们的BO框架将评估超参数设置的好处与额外训练步骤的计算成本进行平衡。我们通过选择性地包括来自任何评估的超参数集的不同训练步骤的分数来进一步提高模型效率。我们通过调整用于训练深度强化学习代理和卷积神经网络的超参数来证明我们算法的效率。我们的算法在最短时间内识别最佳超参数方面优于所有现有的基线。
2021-01-16 cs.LG stat.ML
Fast Bayesian Optimization of Machine Learning Hyperparameters on Large Datasets
University of Freiburg（弗莱堡大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
贝叶斯优化已经成为机器学习算法（例如支持向量机或深度神经网络）的超参数优化的成功工具。尽管它取得了成功，但对于大型数据集，训练和验证单个配置通常需要数小时、数天甚至数周，这限制了可实现的性能。为了加速超参数优化，我们提出了一个生成模型的验证误差作为训练集大小的函数，这是在优化过程中学习，并允许探索初步配置的小子集，通过外推到完整的数据集。我们构建了一个贝叶斯优化过程，称为Fabolas，它将损失和训练时间建模为数据集大小的函数，并自动权衡关于全局最优值的高信息增益与计算成本。优化支持向量机和深度神经网络的实验表明，Fabolas找到高质量解决方案的速度通常比其他最先进的贝叶斯优化方法或最近提出的强盗策略Hyperband快10到100倍。
2017-03-07 cs.AI cs.LG stat.ML
Federated Hyperparameter Tuning: Challenges, Baselines, and Connections to Weight-Sharing
Carnegie Mellon University（卡内基梅隆大学）；Hewlett Packard Enterprise（慧与科技）
调优超参数是机器学习管道中至关重要但艰巨的一部分。超参数优化在联邦学习中更具挑战性，其中模型是通过异构设备的分布式网络学习的;在这里，需要将数据保存在设备上并执行本地训练，这使得很难有效地训练和评估配置。在这项工作中，我们研究联邦超参数调整的问题。我们首先确定关键的挑战，并展示如何调整标准方法来形成联邦设置的基线。然后，通过与权重共享的神经架构搜索技术建立新的连接，我们引入了一种新的方法FedEx来加速联邦超参数调整，该方法适用于广泛使用的联邦优化方法，如FedAvg和最近的变体。从理论上讲，我们表明，联邦快递的变种正确地调整设备上的学习率的在线凸优化跨设备的设置。从经验上讲，我们表明FedEx可以在Shakespeare，FEMNIST和CIFAR-10基准测试中超过联邦超参数调优的自然基线几个百分点，使用相同的训练预算获得更高的准确性。
2021-11-04 cs.AI cs.DC cs.LG
Weighted Random Search for CNN Hyperparameter Optimization
Central Washington University（中央华盛顿大学）
几乎所有用于机器学习的模型算法都使用两组不同的参数：训练参数和元参数（超参数）。虽然训练参数是在训练阶段学习的，但超参数的值必须在学习开始之前指定。对于给定的数据集，我们希望在合理的时间内找到超参数值的最佳组合。由于其计算复杂性，这是一个具有挑战性的任务。在以前的工作[11]中，我们介绍了加权随机搜索（WRS）方法，它是随机搜索（RS）和概率贪婪启发式的组合。在当前的论文中，我们比较了WRS方法与几种最先进的超参数优化方法关于卷积神经网络（CNN）超参数优化。该标准是在相同数量的超参数值的测试组合内实现的分类精度。实验结果表明，WRS算法的性能优于其他方法。
2020-03-30 cs.LG stat.ML
Reducing Hyperparameter Tuning Costs in ML, Vision and Language Model Training Pipelines via Memoization-Awareness
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；University of Southern California（南加利福尼亚大学）
提出记忆化感知的贝叶斯优化算法EEIPU，结合流程缓存系统，在相同GPU预算下评估更多超参数候选，提升调优质量，并在ML、视觉和语言模型流程上验证了有效性。
2024-11-06 cs.LG stat.ML
Stochastic Hyperparameter Optimization through Hypernetworks
Department of Computer Science, University of Toronto（多伦多大学计算机科学系）
机器学习模型通常通过在超参数优化内部嵌套优化模型权重来调整。我们给出了一种方法，将这种嵌套优化分解为权重和超参数的联合随机优化。我们的过程训练一个神经网络，以输出近似最优的权重作为超参数的函数。我们表明，我们的技术收敛到局部最优的权重和超参数足够大的超网络。我们比较这种方法标准的超参数优化策略，并证明其有效性调整数以千计的超参数。
2018-03-08 cs.LG
Hyperparameter Tuning Through Pessimistic Bilevel Optimization
Tekirdag Namik Kemal University（泰基尔达·纳米克·凯末尔大学）；University of Pittsburgh（匹兹堡大学）；Texas A&M University（德克萨斯农工大学）
针对现有双层超参数优化因假设模型唯一性或采用乐观视角导致的不确定性问题，提出悲观双层超参数优化方法，通过纳入内层解集不确定性并开发松弛近似法，在有限数据或扰动测试数据场景下比乐观解具更优预测性能。
2024-12-04 cs.LG
Meta-Learning to Improve Pre-Training
Massachusetts Institute of Technology（麻省理工学院）；University of Toronto（多伦多大学）；Google Research（谷歌研究院）
预训练（PT）后进行微调（FT）是训练神经网络的一种有效方法，并在许多领域导致了显着的性能改善。PT可以包含各种设计选择，例如任务和数据重新加权策略，增强策略和噪声模型，所有这些都可以显着影响学习的表示质量。因此，这些策略引入的超参数必须适当调整。然而，设置这些超参数的值具有挑战性。大多数现有的方法要么难以扩展到高维，要么太慢且内存密集，要么不能直接应用于两阶段PT和FT学习过程。在这项工作中，我们提出了一个有效的，基于梯度的算法来元学习PT超参数。我们形式化的PT超参数优化问题，并提出了一种新的方法来获得PT超参数梯度相结合的隐式微分和反向传播通过展开优化。我们证明了我们的方法提高了两个现实世界域的预测性能。首先，我们优化了蛋白质-蛋白质相互作用图上多任务预训练的高维任务加权超参数，并将AUROC提高了3.9%。其次，我们优化了一个数据增强神经网络，用于心电图数据上的Simplified自监督PT，并将AUROC提高了1.9%。
2021-11-02 cs.LG
Optimizing generalization on the train set: a novel gradient-based framework to train parameters and hyperparameters simultaneously
Ecole Polytechnique（巴黎综合理工学院）；Paris Dauphine-PSL（巴黎多芬大学-巴黎文理研究大学）
泛化是机器学习的核心问题。大多数预测方法都需要对保留的\textit{validation}数据集进行仔细的超参数校准，以实现泛化。本文的主要目标是提出一种新的方法，基于一种新的风险度量，使我们能够开发新的全自动程序的泛化。我们说明了这个新的框架在回归问题的相关性。这种新方法的主要优点是：（i）它可以同时训练模型，并在所有可用数据上的基于梯度的优化器的单次运行中执行正则化，而无需任何先前的超参数调整;（ii）这种框架可以同时处理几个额外的目标（相关性，稀疏性，.）$via$正则化参数的引入。值得注意的是，我们的方法转换超参数调整以及特征选择（组合离散优化问题）到一个连续的优化问题，这是通过经典的基于梯度的方法求解;（iii）我们的方法的计算复杂性是$O(npK)$其中$n,p,K$分别表示观测，功能和迭代的梯度下降算法的数量。我们在实验中观察到，与基准方法相比，我们的方法具有更小的运行时间，以获得相等的预测分数。我们的过程在PyTorch中实现（代码可用于复制）。
2020-06-11 cs.LG stat.ML
Deep Ranking Ensembles for Hyperparameter Optimization
University of Freiburg（弗莱堡大学）
提出一种基于Learning to Rank和神经网络集成的新方法，通过元学习代理模型对超参数配置性能进行排序并建模不确定性，在大规模实验中取得HPO新SOTA。
2023-05-21 cs.LG
Genealogical Population-Based Training for Hyperparameter Optimization
ENS, PSL Research University（巴黎高等师范学院，巴黎文理研究大学）
提出谱系群体训练（GPBT）方法，利用谱系相关模型的共享历史高效耦合超参数与模型，在计算机视觉任务中降低2-3倍计算成本、提升1%准确率并显著降低方差，且与搜索算法无关。
2023-04-09 cs.LG
Multiple-Frequencies Population-Based Training
本文针对PBT因频繁选择导致短期贪婪和局部最优的问题，提出多频率基于群体的训练（MF-PBT），通过不同进化频率的子群体及非对称迁移机制平衡短期与长期优化，在Brax实验上验证了其样本效率和长期性能的提升。
2025-07-17 cs.AI cs.LG cs.NE
On the Importance of Hyperparameter Optimization for Model-based Reinforcement Learning
University of Freiburg（弗赖堡大学）；Facebook AI Research（Facebook AI研究院）；UC Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）；Bosch Center for AI（博世人工智能中心）
基于模型的强化学习（MBRL）是一种很有前途的数据高效学习控制框架。由于单独的动力学建模和随后的规划算法，MBRL算法可能相当复杂，因此，它们通常拥有数十个超参数和架构选择。因此，MBRL在应用于新问题和领域之前通常需要大量的人力专业知识。为了缓解这个问题，我们建议使用自动超参数优化（HPO）。我们证明，这个问题可以有效地解决自动HPO，我们证明，产生显着提高性能相比，人类专家。此外，我们还表明，与使用在整个训练过程中保持固定的静态超参数相比，动态调整多个MBRL超参数（即在训练过程中）进一步提高了性能。最后，我们的实验为几个超参数的影响提供了有价值的见解，例如计划范围或学习率及其对训练稳定性和所得奖励的影响。
2021-02-26 cs.AI cs.LG cs.NE
On Optimizing Hyperparameters for Quantum Neural Networks
Vienna University of Technology（维也纳工业大学）
针对量子机器学习模型训练中超参数调整困难的问题，本文识别了最具影响力的超参数，通过比较不同配置收集性能数据，为超参数选择提供了具体建议。
2024-03-27 cs.ET cs.LG
A Trajectory-Based Bayesian Approach to Multi-Objective Hyperparameter Optimization with Epoch-Aware Trade-Offs
Department of Industrial Systems Engineering and Management, National University of Singapore（新加坡国立大学工业系统工程与管理系）；Academy of Mathematics and System Sciences, Chinese Academy of Sciences（中国科学院数学系统科学 academy）；School of Mathematical Sciences, University of Chinese Academy of Sciences（中国科学院大学数学科学学院）
针对多目标超参数优化中未充分利用迭代训练过程信息、仅在训练结束时确定权衡的问题，提出将训练轮次作为决策变量的优化问题，及基于轨迹的多目标贝叶斯优化算法，含新型采集函数与多目标早停机制，可高效识别理想权衡。
2025-05-21 cs.LG
Population Based Training of Neural Networks
DeepMind
神经网络在现代机器学习领域占据主导地位，但它们的训练和成功仍然受到对模型架构、损失函数和优化算法等超参数的经验选择的敏感性的影响。在这项工作中，我们提出了\emph{Population Based Training (PBT)}，一个简单的异步优化算法，有效地利用固定的计算预算，共同优化人口的模型和他们的超参数，以最大限度地提高性能。重要的是，PBT发现了一个超参数设置的时间表，而不是遵循通常的次优策略，即试图找到一个用于整个训练过程的固定集合。只需对典型的分布式超参数训练框架进行一个小的修改，我们的方法就可以对模型进行鲁棒和可靠的训练。我们证明了PBT在深度强化学习问题上的有效性，通过优化一套超参数，显示出更快的挂钟收敛和更高的代理最终性能。此外，我们还展示了同样的方法可以应用于机器翻译的监督学习，其中PBT用于直接最大化BLEU分数，以及生成对抗网络的训练，以最大化生成图像的初始分数。在所有情况下，PBT都会自动发现超参数计划和模型选择，从而实现稳定的训练和更好的最终性能。
2017-11-28 cs.LG cs.NE
Two-step hyperparameter optimization method: Accelerating hyperparameter search by using a fraction of a training dataset
University of California Irvine（加利福尼亚大学欧文分校）；Pacific Northwest National Laboratory（西北太平洋国家实验室）；University of Southern California（南加州大学）
提出两步超参数优化方法，先用少量数据初步评估，再全量数据重训，实现高达135倍加速，并应用于气溶胶活化模拟器。
2023-09-08 cs.LG physics.ao-ph
Practical Multi-fidelity Bayesian Optimization for Hyperparameter Tuning
Cornell University（康奈尔大学）
贝叶斯优化在优化耗时的黑盒目标方面很受欢迎。尽管如此，对于深度神经网络中的超参数调整，即使是几个超参数设置，评估验证误差所需的时间仍然是一个瓶颈。多保真度优化承诺使用更便宜的代理来缓解这些目标-例如，使用训练点的子集训练的网络的验证错误或比收敛所需的迭代次数更少。我们提出了一种高度灵活和实用的方法，多保真度贝叶斯优化，重点是有效地优化超参数迭代训练监督学习模型。我们引入了一个新的采集函数，跟踪感知的知识梯度，它有效地利用了多个连续的保真度控制和跟踪观察-目标的值在一个序列的精度，当使用训练迭代改变保真度。我们提供了一种可证明收敛的方法来优化我们的采集函数，并表明它优于深度神经网络和大规模内核学习的超参数调整的最先进的替代方案。
2019-03-12 cs.LG math.OC stat.ME
Fast Efficient Hyperparameter Tuning for Policy Gradients
University of Oxford（牛津大学）
策略梯度方法的性能对必须针对任何新应用程序进行调优的超参数设置很敏感。用于调整超参数的广泛使用的网格搜索方法是样本效率低且计算昂贵的。更先进的方法，如基于人口的训练，学习超参数的最佳时间表，而不是固定的设置，可以产生更好的结果，但也是样本效率低，计算成本高。在本文中，我们提出了Hyperparameter Optimization on the Fly（HOOF），这是一种无梯度算法，它只需要一次训练就可以自动调整直接通过梯度影响策略更新的超参数。其主要思想是使用现有的轨迹采样的策略梯度方法来优化一步改进目标，产生一个样本和计算效率高的算法，易于实现。我们在多个领域和算法上的实验结果表明，使用HOOF来学习这些超参数计划可以提高学习速度和性能。
2019-09-17 cs.LG stat.ML
Quantum Machine Learning hyperparameter search
Lighthouse Disruptive Innovation Group, LLC（灯塔颠覆性创新集团有限责任公司）；Vueling Airlines S.A.（伏林航空公司）；Universitat Ramon Llull（拉蒙柳尔大学）
本文提出了一种基于量子的傅里叶回归方法，用于机器学习超参数优化，应用于在航空业预测问题相关数据集上训练的基准模型。我们的方法利用傅立叶级数方法来表示超参数搜索空间，然后使用量子算法来优化该超参数搜索空间，以找到给定机器学习模型的最佳超参数集。我们的研究评估了所提出的方法的基准模型训练预测预测问题的航空业使用标准的超参数优化器（HPO）。结果表明，在给定的搜索空间内，该方法在精度和收敛速度方面均优于传统的超参数优化方法。该研究为基于量子的机器学习超参数优化的未来研究提供了新的方向。
2023-02-20 cs.LG quant-ph
Effect of the regularization hyperparameter on deep learning-based segmentation in LGE-MRI
Lund University（隆德大学）
展示了任意选择的L2正则化超参数值对深度学习语义分割结果的影响程度。演示依赖于使用任意选择的L2正则化值在小型LGE-MRI数据集上训练U-网。剩余的超参数只有在训练验证准确度达到90%之前达到所有epoch的10%时才能手动调整或调谐。具有深度学习结果的语义分割与手动地面实况分割进行客观和主观评估。
2021-09-02 cs.CV cs.LG eess.IV
Fast Hyperparameter Tuning using Bayesian Optimization with Directional Derivatives
Deakin University（迪肯大学）
在本文中，我们开发了一个基于贝叶斯优化的超参数调整框架的启发，统计学习理论的分类。我们利用PAC学习理论中的两个关键事实;与整体相比，数据的小子集的泛化范围将更高，并且可以通过简单的模型实现数据的小子集的最高精度。我们首先使用贝叶斯优化在一小部分训练数据上调整超参数。在调整整个训练数据的超参数时，我们利用学习理论的见解来寻求更复杂的模型。我们实现这一点，通过使用方向导数符号战略性地放置在超参数搜索空间，以寻求一个更复杂的模型比小数据获得的。我们证明了我们的方法的性能上的任务调整超参数的几个机器学习算法。
2019-02-06 cs.LG stat.ML
