DrMAD: Distilling Reverse-Mode Automatic Differentiation for Optimizing Hyperparameters of Deep Neural Networks
National University of Singapore（新加坡国立大学）；Tsinghua University（清华大学）
众所周知，深度神经网络的性能对其超参数的设置很敏感。反向模式自动微分的最新进展允许用梯度优化超参数。计算这些梯度的标准方法涉及向前和向后的计算过程。然而，反向传递通常需要消耗无法承受的内存来存储所有中间变量，以准确地逆转正向训练过程。在这项工作中，我们提出了一种简单但有效的方法DrMAD，将向前传递的知识提取到一个捷径路径中，通过它我们近似地逆转了训练轨迹。在几个图像基准数据集上的实验表明，与最先进的优化超参数的方法相比，DrMAD至少快45倍，占用的内存少100倍，同时对其有效性的影响最小。据我们所知，DrMAD是第一次尝试自动调整深度神经网络的数千个超参数的研究。代码可以从https://github.com/bigaidream-projects/drmad下载
2016-04-06 cs.LG cs.NE
Optimizing for Generalization in Machine Learning with Cross-Validation Gradients
Department of Electrical Engineering（电气工程系）；Stanford University（斯坦福大学）
交叉验证是现代应用统计学和机器学习的主力，因为它为选择最大化泛化性能的模型提供了原则性框架。在本文中，我们证明了交叉验证风险对于许多常见的机器学习算法，包括逻辑斯谛回归，弹性网络回归和支持向量机的超参数和训练数据是可区分的。利用这种可微性，我们提出了一种用于超参数优化的交叉验证梯度方法（CVGM）。我们的方法可以在高维超参数空间中有效地优化交叉验证风险，这是我们学习算法真正泛化能力的最佳替代。
2018-05-18 cs.LG stat.ML
Optimizing generalization on the train set: a novel gradient-based framework to train parameters and hyperparameters simultaneously
Ecole Polytechnique（巴黎综合理工学院）；Paris Dauphine-PSL（巴黎多芬大学-巴黎文理研究大学）
泛化是机器学习的核心问题。大多数预测方法都需要对保留的\textit{validation}数据集进行仔细的超参数校准，以实现泛化。本文的主要目标是提出一种新的方法，基于一种新的风险度量，使我们能够开发新的全自动程序的泛化。我们说明了这个新的框架在回归问题的相关性。这种新方法的主要优点是：（i）它可以同时训练模型，并在所有可用数据上的基于梯度的优化器的单次运行中执行正则化，而无需任何先前的超参数调整;（ii）这种框架可以同时处理几个额外的目标（相关性，稀疏性，.）$via$正则化参数的引入。值得注意的是，我们的方法转换超参数调整以及特征选择（组合离散优化问题）到一个连续的优化问题，这是通过经典的基于梯度的方法求解;（iii）我们的方法的计算复杂性是$O(npK)$其中$n,p,K$分别表示观测，功能和迭代的梯度下降算法的数量。我们在实验中观察到，与基准方法相比，我们的方法具有更小的运行时间，以获得相等的预测分数。我们的过程在PyTorch中实现（代码可用于复制）。
2020-06-11 cs.LG stat.ML
Practical Multi-fidelity Bayesian Optimization for Hyperparameter Tuning
Cornell University（康奈尔大学）
贝叶斯优化在优化耗时的黑盒目标方面很受欢迎。尽管如此，对于深度神经网络中的超参数调整，即使是几个超参数设置，评估验证误差所需的时间仍然是一个瓶颈。多保真度优化承诺使用更便宜的代理来缓解这些目标-例如，使用训练点的子集训练的网络的验证错误或比收敛所需的迭代次数更少。我们提出了一种高度灵活和实用的方法，多保真度贝叶斯优化，重点是有效地优化超参数迭代训练监督学习模型。我们引入了一个新的采集函数，跟踪感知的知识梯度，它有效地利用了多个连续的保真度控制和跟踪观察-目标的值在一个序列的精度，当使用训练迭代改变保真度。我们提供了一种可证明收敛的方法来优化我们的采集函数，并表明它优于深度神经网络和大规模内核学习的超参数调整的最先进的替代方案。
2019-03-12 cs.LG math.OC stat.ME
On Optimizing Hyperparameters for Quantum Neural Networks
Vienna University of Technology（维也纳工业大学）
针对量子机器学习模型训练中超参数调整困难的问题，本文识别了最具影响力的超参数，通过比较不同配置收集性能数据，为超参数选择提供了具体建议。
2024-03-27 cs.ET cs.LG
Optimizing Training Trajectories in Variational Autoencoders via Latent Bayesian Optimization Approach
UT-Battelle, LLC（UT-巴特尔有限责任公司）；U.S. Department of Energy（美国能源部）
无监督和半监督ML方法（如变分自编码器（VAE））已被广泛应用于物理，化学和材料科学的多个领域，因为它们能够解开表示并能够找到复杂实验数据的分类和回归的潜在流形。与其他ML问题一样，VAE需要超参数调整，例如，平衡Kullback Leibler（KL）和重建项。然而，训练过程和由此产生的流形拓扑和连通性不仅取决于超参数，还取决于它们在训练过程中的演变。由于在高维超参数空间中进行穷举搜索对于训练模型来说效率低下，因此我们在无监督和半监督ML的超参数轨迹优化中探索了潜在贝叶斯优化（zBO）方法，并对具有旋转不变性的联合VAE进行了演示。我们展示了这种方法的应用程序，找到联合离散和连续的旋转不变表示MNIST和实验数据的等离子体纳米粒子材料系统。所提出的方法的性能已经被广泛讨论，其中它允许任何高维超参数调整或其他ML模型的轨迹优化。
2022-06-30 cs.LG stat.ML
PSEO: Optimizing Post-hoc Stacking Ensemble Through Hyperparameter Tuning
Beicheng Xu 1（Xu Beicheng 团队）；Wei Liu 1（Liu Wei 团队）；Keyao Ding 1（Ding Keyao 团队）；Yupeng Lu 1（Lu Yupeng 团队）；Bin Cui 1（Cui Bin 团队）
本文提出PSEO框架，通过二元二次规划选择基模型并优化堆叠集成策略，提升多层堆叠的性能，实验证明在80个公开数据集上取得最佳测试排名。
2025-11-09 cs.LG
Efficient Hyperparameter Optimization of Deep Learning Algorithms Using Deterministic RBF Surrogates
National University of Singapore（新加坡国立大学）
自动搜索最优超参数配置对于在实践中应用深度学习算法至关重要。最近，贝叶斯优化已经被提出用于优化各种机器学习算法的超参数。这些方法采用高斯过程等概率代理模型来近似和最小化超参数值的验证误差函数。然而，概率代理需要足够的统计数据的准确估计（例如，协方差），因此需要使用大量超参数进行许多函数求值。这使得它们在优化深度学习算法的超参数时效率低下，而这些算法的评估成本非常高。在这项工作中，我们提出了一个新的确定性和有效的超参数优化方法，采用径向基函数作为误差代理。所提出的混合整数算法，称为HORD，通过动态坐标搜索，搜索最有前途的超参数值的代理，并需要更少的功能评估。HORD在低维情况下表现良好，但在高维情况下尤其出色。对四个深度神经网络的MNIST和CIFAR-10的广泛评估表明，HORD显著优于成熟的贝叶斯优化方法，如GP，SMAC和TPE。例如，平均而言，HORD在获得19个超参数的最佳配置方面比GP-EI快6倍以上。
2017-01-21 cs.AI cs.LG stat.ML
Hyperparameter Adaptive Search for Surrogate Optimization: A Self-Adjusting Approach
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
提出HASSO，一种自调整的代理优化算法，在优化过程中动态调整关键超参数，无需额外评估，提升不同SO算法在全局优化测试问题上的性能与收敛速度。
2023-10-12 cs.LG math.OC math.PR
Hyperparameter Optimization through Neural Network Partitioning
University of Cambridge（剑桥大学）；Qualcomm AI Research（高通人工智能研究院）
本研究受边缘似然启发，提出通过划分训练数据与神经网络参数、利用子网络训练集外损失优化超参数的方法，可单次训练优化多种超参数且成本更低，还适用于联邦学习场景。
2023-04-28 cs.LG stat.ML
Efficient Hyperparameter Optimization in Deep Learning Using a Variable Length Genetic Algorithm
Georgia State University（佐治亚州立大学）；Institute of High Performance Computing（高性能计算研究所）；National University of Singapore（新加坡国立大学）
卷积神经网络（CNN）在许多人工智能任务中取得了巨大的成功。然而，为CNN找到一组好的超参数仍然是一项具有挑战性的任务。它通常需要一个有深厚知识的专家，以及试验和错误。遗传算法已被用于超参数优化。然而，具有固定长度染色体的传统遗传算法可能不适合优化深度学习超参数，因为深度学习模型具有取决于模型深度的可变数量的超参数。随着深度的增加，超参数的数量呈指数级增长，搜索变得更加困难。重要的是要有一个有效的算法，可以在合理的时间内找到一个好的模型。在这篇文章中，我们提出使用可变长度遗传算法（GA）来系统地自动调整CNN的超参数，以提高其性能。实验结果表明，该算法能有效地找到性能良好的CNN超参数。从我们的实验中可以清楚地看出，如果花更多的时间来优化超参数，可以获得更好的结果。从理论上讲，如果我们有无限的时间和CPU能力，我们可以找到优化的超参数，并在未来实现最佳结果。
2020-06-23 cs.LG cs.NE
A survey on multi-objective hyperparameter optimization algorithms for Machine Learning
Hasselt University（哈塞尔特大学）；Ghent University（根特大学）
超参数优化（HPO）是保证机器学习（ML）算法最佳性能的必要步骤。已经开发了几种方法来执行HPO，其中大多数都集中在优化一个性能指标（通常是基于误差的措施），这样的单目标HPO问题的文献是巨大的。然而，最近出现了专注于同时优化多个冲突目标的算法。本文对2014年至2020年期间发表的关于多目标HPO算法的文献进行了系统调查，区分了基于元模型的算法，基于元模型的算法以及使用两者混合的方法。我们还讨论了用于比较多目标HPO程序的质量指标，并提出了未来的研究方向。
2022-11-15 cs.AI cs.LG math.OC
CDS4RAG: Cyclic Dual-Sequential Hyperparameter Optimization for RAG
School of Computer Science and Engineering, UESTC, Chengdu, China（电子科技大学计算机科学与工程学院，成都，中国）；IDEAS Lab, University of Birmingham, Birmingham, UK（伯明翰大学IDEAS实验室，英国布里斯托尔）
本文提出CDS4RAG框架，通过循环双序列方法优化RAG的全部超参数，提升检索生成性能，实验显示在24种情况下均优于现有算法。
2026-05-08 cs.AI cs.CL cs.LG
Bayesian Hyperparameter Optimization with BoTorch, GPyTorch and Ax
IBM（国际商业机器公司）
深度学习模型充满了超参数，这些超参数在学习过程开始之前被手动设置。要在如此高维的空间中找到这些超参数的最佳配置，需要耗时且昂贵的模型训练/验证，这不是一个简单的挑战。贝叶斯优化是超参数联合优化的有力工具，有效地权衡了超参数空间的探索和利用。本文讨论了贝叶斯超参数优化，包括超参数优化、贝叶斯优化和高斯过程。我们还回顾了BoTorch，GPyTorch和Ax，我们分别用于贝叶斯优化，高斯过程推理和自适应实验的新开源框架。对于实验，我们应用贝叶斯超参数优化，优化组权重，加权组池，耦合无监督分层图自动编码器学习和监督图预测学习的分子图。我们发现，Ax，BoTorch和GPyTorch一起提供了一个简单易用但功能强大的框架贝叶斯超参数优化，使用Ax的高级API，构建和运行一个完整的优化循环，并返回最佳的超参数配置。
2021-07-02 cs.LG stat.ML
SMAC3: A Versatile Bayesian Optimization Package for Hyperparameter Optimization
Leibniz University Hannover（莱布尼茨汉诺威大学）；University of Freiburg（弗莱堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
算法参数，特别是机器学习算法的超参数，可以显著影响它们的性能。为了支持用户为其算法、数据集和应用程序确定性能良好的超参数配置，SMAC3为贝叶斯优化提供了一个强大而灵活的框架，可以在几次评估中提高性能。它为典型用例提供了几个外观和预设，例如优化超参数，解决低维连续（人工）全局优化问题，以及配置算法以在多个问题实例中表现良好。SMAC3软件包可以在https://github.com/automl/SMAC3上获得许可的BSD许可证。
2022-02-08 cs.LG stat.ML
Optimizing Retrieval-Augmented Generation: Analysis of Hyperparameter Impact on Performance and Efficiency
Prince Sultan University（普森大学）；Alfaisal University（阿尔法赛尔大学）
本文系统分析向量库、分块、重排序和温度等RAG超参数对质量与效率的影响，揭示速度—准确率权衡，并通过纠错型RAG实现99%上下文精确率。
2025-05-13 cs.AI cs.CL cs.LG
The Effects of Hyperparameters on SGD Training of Neural Networks
Google, Inc.（谷歌公司）
神经网络分类器的性能由多个超参数决定，包括学习率、批量大小和深度。在文献中已经进行了许多尝试来探索这些参数，并且有时开发用于优化它们的方法。然而，参数空间的探索往往是有限的。在这篇文章中，我报告了探索这些不同参数及其相互作用的大规模实验的结果。
2015-08-12 cs.LG cs.NE
Optimizing Emotion Recognition with Wearable Sensor Data: Unveiling Patterns in Body Movements and Heart Rate through Random Forest Hyperparameter Tuning
Telkom University（电信大学）
本研究利用智能手表与心率传感器数据，通过随机森林超参数调优优化情绪识别，在多场景实验中实现了86.63%的二分类与76.33%的三分类平均准确率。
2024-08-13 cs.HC cs.LG
Hyperparameter Optimization in Binary Communication Networks for Neuromorphic Deployment
Purdue University（普渡大学）；Oak Ridge National Laboratory（橡树岭国家实验室）；Sandia National Laboratories（桑迪亚国家实验室）
训练用于神经形态部署的神经网络并非易事。已经提出了多种方法来调整适合于训练的反向传播或类反向传播算法。考虑到这些网络通常具有与传统神经网络非常不同的性能特征，通常不清楚如何设置网络拓扑或超参数以实现最佳性能。在这项工作中，我们介绍了一种贝叶斯方法，用于优化训练二进制通信网络的算法的超参数，可以部署到神经形态硬件。我们表明，通过优化每个数据集的该算法的超参数，我们可以在每个数据集上实现比以前最先进的算法更高的准确性（高达15%）。这种性能上的飞跃继续强调了将传统神经网络转换为适用于神经形态硬件的二进制通信的潜力。
2020-04-21 cs.LG cs.NE
Optimizing a Digital Twin for Fault Diagnosis in Grid Connected Inverters -- A Bayesian Approach
Centre Tecnològic de Telecomunicacions de Catalunya（加泰罗尼亚电信技术中心）；Aalborg University（奥尔堡大学）；LUT University（拉彭兰塔工业大学）
本文提出了一种基于超参数整定的贝叶斯优化数字孪生模型，用于诊断并网逆变器的各种故障。由于故障检测和诊断需要非常高的精度，我们将我们的努力引导到数字双胞胎的在线优化上，这反过来又允许在有限的数据量下灵活实施。因此，所提出的框架不仅成为有限数据的数字孪生设计的模型版本化和部署的实用解决方案，而且还允许集成深度学习工具以提高超参数调整能力。对于分类性能评估，我们考虑不同的故障情况下，在虚拟同步发电机（VSG）控制的并网转换器，并证明我们的方法的有效性。我们的研究结果表明，我们的数字孪生设计实现了更高的准确性和保真度水平，克服了传统超参数调整方法的缺点。
2022-12-07 cs.LG cs.SY eess.SY
Auto-PINN: Understanding and Optimizing Physics-Informed Neural Architecture
Texas A&M University（德克萨斯农工大学）；Rice University（莱斯大学）
针对物理信息神经网络（PINNs）超参数优化难题，提出首个基于神经架构搜索的自动化方法Auto-PINN，通过解耦超参数并以训练损失为搜索目标，生成了具有更高稳定性和准确性的网络架构。
2023-11-27 cs.LG
Self-Tuning Networks: Bilevel Optimization of Hyperparameters using Structured Best-Response Functions
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
超参数优化可以用公式表示为双层优化问题，其中训练集上的最优参数取决于超参数。我们的目标是通过将紧凑近似拟合到最佳响应函数来适应神经网络的正则化超参数，该函数将超参数映射到最佳权重和偏差。我们展示了如何通过将最佳响应建模为单个网络来构建神经网络的可扩展最佳响应近似，该网络的隐藏单元在正则化器上有条件地被选通。我们证明了这种近似，通过显示具有L2正则化雅可比矩阵的浅线性网络的确切最佳响应可以由类似的门控机制表示。我们使用基于梯度的超参数优化算法拟合该模型，该算法在当前超参数周围近似最佳响应和使用近似最佳响应函数优化超参数之间交替。与其他基于梯度的方法不同，我们不需要区分训练损失与超参数，允许我们调整离散超参数，数据增强超参数和辍学概率。由于超参数是在线适应的，我们的方法发现超参数时间表，可以超过固定的超参数值。从经验上讲，我们的方法在大规模深度学习问题上优于竞争的超参数优化方法。我们将在训练过程中在线更新自己的超参数的网络称为自调优网络（STNs）。
2019-03-07 cs.LG stat.ML
Towards Assessing the Impact of Bayesian Optimization's Own Hyperparameters
University of Freiburg（弗赖堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
贝叶斯优化（BO）是自动机器学习中超参数优化（HPO）的常用方法。虽然人们普遍认为HPO对于获得性能良好的机器学习模型至关重要，但调整BO自身的超参数往往被忽视。在本文中，我们实证研究的影响，优化BO的自己的超参数和发现的设置使用广泛的基准，包括人工功能，HPO和HPO结合神经架构搜索的可转移性。特别是，我们表明（i）调整可以提高不同BO方法的任何时候的性能，优化的BO设置也表现良好（ii）在类似的问题和（iii）部分甚至在其他问题家族的问题，以及（iv）BO超参数是最重要的。
2019-08-19 cs.AI cs.LG stat.ML
You Only Train Once
ETH Zürich（苏黎世联邦理工学院）
本文提出YOTO方法，将损失权重超参数作为网络参数，通过可微复合损失层和均匀性正则化实现一次性联合优化，在三维估计和语义分割任务上优于暴力网格搜索。
2025-06-04 cs.CV cs.LG
Optimizing Explanations by Network Canonization and Hyperparameter Search
Fraunhofer Heinrich-Hertz-Institute（弗劳恩霍夫海因里希·赫兹研究所）；Technische Universität Berlin（柏林工业大学）；Singapore Institute of Technology（新加坡理工学院）；University of Oslo（奥斯陆大学）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（BIFOLD——柏林学习与数据基础研究所）
可解释人工智能（XAI）正在慢慢成为许多人工智能应用程序的关键组件。然而，基于规则和修改后的反向传播XAI方法在应用于包括创新层构建块的现代模型架构时经常面临挑战，这是由两个原因引起的。首先，基于规则的XAI方法的高度灵活性导致了许多潜在的参数化。其次，许多XAI方法打破了实现不变性公理，因为它们难以处理某些模型组件，例如，BatchNorm层。后者可以通过模型规范化来解决，这是重新构建模型以忽略有问题的组件而不改变底层功能的过程。虽然模型规范化对于简单架构是直接的（例如，VGG，ResNet），对于更复杂和高度互连的模型（例如，DenseNet）。此外，只有很少的量化证据表明模型经典化对XAI有益。在这项工作中，我们提出了适用于流行的深度神经网络架构的当前相关模型块的规范化，包括VGG，ResNet，EfficientNet，DenseNets以及关系网络。我们进一步提出了一个XAI评估框架，通过该框架，我们量化并比较了Pascal-VOC和ILSVRC 2017数据集上图像分类任务中各种XAI方法的模型规范化效果，以及使用CLEVR-XAI进行视觉问答。此外，为了解决上述前一个问题，我们展示了我们的评估框架如何应用于XAI方法的超参数搜索，以优化解释的质量。
2023-03-27 cs.AI cs.CV cs.LG
Goal-Oriented Sensitivity Analysis of Hyperparameters in Deep Learning
CEA（法国原子能和替代能源委员会）；Ecole Polytechnique（巴黎综合理工学院）；Inria（法国国家信息与自动化研究所）
用神经网络解决新的机器学习问题总是意味着优化许多定义其结构并强烈影响其性能的超参数。在这项工作中，我们研究了使用面向目标的敏感性分析，基于希尔伯特-施密特独立准则（HSIC），超参数分析和优化。超参数存在于通常复杂而笨拙的空间中。它们可以具有不同的性质（分类，离散，布尔，连续），相互作用，并具有相互依赖性。所有这些使得进行经典的敏感性分析变得重要。我们减轻这些困难，以获得一个强大的分析指标，能够量化超参数的神经网络的最终误差的相对影响。这个有价值的工具使我们能够更好地理解超参数，并使超参数优化更具可解释性。我们说明了超参数优化的背景下，这种知识的好处，并得出一个基于HSIC的优化算法，我们适用于MNIST和Cifar，经典的机器学习数据集，而且对龙格函数和贝特曼方程的近似解，感兴趣的科学机器学习。这种方法产生的神经网络既有竞争力，又具有成本效益。
2022-07-13 cs.LG stat.ML
Deep Genetic Network
优化一个神经网络的性能是一个繁琐和耗时的过程，这个迭代过程没有任何定义的解决方案，可以为所有的问题。优化可以粗略地分为体系结构优化和超参数优化。已经设计了许多算法来解决这个问题。在本文中，我们介绍了一种神经网络架构（深度遗传网络），它将在训练过程中根据其适应度优化其参数。深度遗传网络使用遗传算法和深度神经网络来解决超参数优化问题，这种方法使用了交配和变异等思想，这是遗传算法的关键，有助于神经网络架构学习自己优化其超参数，而不是依赖于一个人来显式设置值。使用遗传算法解决这个问题被证明是非常好的工作时，有足够的时间训练网络。该架构在优化仿射、卷积和递归层中的超参数方面表现良好，证明是传统监督学习任务的良好选择。
2019-03-19 cs.LG cs.NE stat.ML
Interactive Hyperparameter Optimization in Multi-Objective Problems via Preference Learning
University of Bologna（博洛尼亚大学）；Leibniz University Hannover（汉诺威莱布尼茨大学）
本文提出一种面向多目标机器学习的交互式超参数优化方法，通过偏好学习从用户对Pareto前沿的成对比较中自动学习合适的质量指标，并据此优化超参数，实验表明其优于用户错误预选指标的情形，且与专家选指标的效果相当。
2024-01-11 cs.AI cs.LG
Optimizing for ROC Curves on Class-Imbalanced Data by Training over a Family of Loss Functions
Duke University（杜克大学）
针对严重类不平衡二分类问题中超参数敏感导致ROC曲线性能多变的问题，提出在损失函数族上训练的损失条件训练方法，显著提升了模型性能与对超参数选择的鲁棒性。
2024-06-04 cs.CV cs.LG
Bayesian Hyperparameter Optimization for Ensemble Learning
Université Laval（拉瓦尔大学）；École de technologie supérieure（高等技术学院）
在本文中，我们之间的差距桥梁超参数优化和集成学习进行贝叶斯优化的集成关于其超参数。我们的方法包括建立一个固定大小的集成，优化配置的一个分类器的集成在每次迭代的超参数优化算法，考虑到与其他模型的相互作用时，评估潜在的性能。我们还考虑了在超参数优化阶段结束时，通过对优化过程中生成的模型池进行贪婪选择来重建系综的情况。我们研究了我们提出的方法在三个不同的超参数空间上的性能，表明我们的方法优于最好的单个模型和贪婪的集成结构，而这些模型是由标准贝叶斯优化产生的。
2016-05-20 cs.LG
Fast Hyperparameter Optimization of Deep Neural Networks via Ensembling Multiple Surrogates
深度神经网络的性能关键取决于良好的超参数配置。贝叶斯优化是优化DNN超参数的强大框架。这些方法需要足够的评估数据来近似和最小化超参数的验证误差函数。然而，DNN昂贵的评估成本导致在有限的时间内评估数据很少，这大大降低了贝叶斯优化的效率。此外，以往的研究主要集中在使用完整的评估数据进行贝叶斯优化，而忽略了早期停止方法产生的中间评估数据。为了缓解评估数据不足的问题，我们提出了一种快速超参数优化方法HOIST，该方法利用完整和中间评估数据来加速DNN的超参数优化。具体来说，我们训练多个基本代理人收集信息的混合评估数据，然后结合所有的基本代理人使用加权装袋提供一个准确的合奏代理。我们的实证研究表明，HOIST在广泛的DNN上优于最先进的方法，包括前馈神经网络、卷积神经网络、递归神经网络和变分自编码器。
2021-07-21 cs.LG stat.ML
Word2Vec applied to Recommendation: Hyperparameters Matter
ENSTA ParisTech（巴黎高等先进技术学院）；INRIA（法国国家信息与自动化研究所）；Softbank Robotics Europe（软银机器人欧洲公司）；Deezer SA（Deezer股份公司）
带有负采样的Skip-gram是Word 2 vec的一个流行变体，最初被设计和调整用于为自然语言处理创建词嵌入，已被用于创建项目嵌入，并在推荐中获得成功应用。虽然这些字段不共享相同类型的数据，也不评估相同的任务，但推荐应用程序倾向于使用相同的已调优超参数值，即使最佳超参数值通常已知是数据和任务相关的。因此，我们通过在各种数据集上进行大型超参数网格搜索，研究了推荐设置中每个超参数的边际重要性。结果表明，优化被忽略的超参数，即负采样分布，历元数，子采样参数和窗口大小，显着提高推荐任务的性能，并可以将其提高一个数量级。重要的是，我们发现自然语言处理任务和推荐任务的最佳超参数配置是明显不同的。
2018-08-29 cs.CL cs.IR cs.LG
Hyperparameter Importance Across Datasets
Albert-Ludwigs-Universität Freiburg（阿尔伯特-路德维希 Freiburg 大学）
随着自动化机器学习的出现，自动化超参数优化方法现在经常用于数据挖掘。然而，这一进展尚未与自动分析的同等进展相匹配，自动分析产生的信息超出了性能优化超参数设置。在这项工作中，我们的目标是回答以下两个问题：给定一个算法，通常它最重要的超参数是什么，这些超参数的典型值是什么？我们提出的方法和框架来回答这些问题的基础上跨许多数据集的元学习。我们使用OpenML上可用的实验元数据来确定支持向量机、随机森林和Adaboost的最重要的超参数，并推断其所有超参数的先验。完全自动获得的结果为手动算法设计和自动超参数优化提供了定量基础。所进行的实验证实，所提出的方法选择的超参数确实是最重要的，并且所获得的先验也导致超参数优化的统计显着改善。
2018-05-29 cs.LG stat.ML
Guided Hyperparameter Tuning Through Visualization and Inference
University of Maryland, College Park（马里兰大学帕克分校）
对于深度学习从业者来说，优化模型性能的超参数调优可能是一项计算成本高昂的任务。虽然可视化可以帮助从业者将超参数设置与整体模型性能联系起来，但仍然需要大量的手动检查来指导下一批实验中的超参数设置。作为回应，我们提出了一个精简的可视化系统，使深度学习从业者能够更有效地探索，调整和优化超参数在一批实验。一个关键的想法是使用预测机制直接建议更优的超参数值。然后，我们将这种机制与当前的可视化实践结合起来，用于深度学习。此外，在模型超参数的背景下对选定性能指标的方差进行的分析显示了某些超参数对性能指标的影响。我们通过对深度学习模型构建器的用户研究来评估该工具，发现我们的参与者在采用该工具并将其作为工作流程的一部分方面没有什么问题。
2021-05-24 cs.HC cs.LG
Deep Ranking Ensembles for Hyperparameter Optimization
University of Freiburg（弗莱堡大学）
提出一种基于Learning to Rank和神经网络集成的新方法，通过元学习代理模型对超参数配置性能进行排序并建模不确定性，在大规模实验中取得HPO新SOTA。
2023-05-21 cs.LG
Glocal Hypergradient Estimation with Koopman Operator
RIKEN AIP（理化学研究所先进智能项目）；Osaka University（大阪大学）
本文提出融合全局可靠性与局部高效性的全局-局部超梯度估计方法，利用Koopman算子线性化超梯度动态，仅用局部轨迹近似全局超梯度，实现高效可靠的超参数优化。
2024-05-26 cs.LG stat.ML
Graduated Optimization of Black-Box Functions
GT-ARC（GT-ARC研究中心）
受机器学习中超参数调整问题的启发，我们提出了一种新的方法来逐步和自适应地优化未知函数的估计梯度。我们验证的经验性能的低维和高维问题的建议的想法。实验结果表明，我们的方法调整高维超参数在机器学习的优势。
2019-06-04 cs.LG math.OC stat.ML
Meta-Learning for Symbolic Hyperparameter Defaults
University of Eindhoven（埃因霍温大学）；Ludwig-Maximilians-University（路德维希-马克西米利安大学）；LIACS, Leiden University（莱顿大学高级计算机科学研究所）
机器学习（ML）中的超参数优化处理从数据中经验学习最优算法配置的问题，通常被表述为黑盒优化问题。在这项工作中，我们提出了一个zero-shot方法来元学习符号默认超参数配置，表示在数据集的属性。与标准超参数优化方法相比，这使得ML算法的配置更快，但仍然依赖于数据。过去，符号和静态默认值通常是作为手工启发式方法获得的。我们提出了一种方法，学习这样的符号配置的数据集属性的公式，从一个大的事先评估多个数据集，通过优化使用进化算法的语法表达式。我们在替代经验性能模型以及100多个数据集上的6种ML算法的真实数据上评估了我们的方法，并证明我们的方法确实找到了可行的符号默认值。
2021-06-11 cs.LG stat.ML
Fast Bayesian Optimization of Machine Learning Hyperparameters on Large Datasets
University of Freiburg（弗莱堡大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
贝叶斯优化已经成为机器学习算法（例如支持向量机或深度神经网络）的超参数优化的成功工具。尽管它取得了成功，但对于大型数据集，训练和验证单个配置通常需要数小时、数天甚至数周，这限制了可实现的性能。为了加速超参数优化，我们提出了一个生成模型的验证误差作为训练集大小的函数，这是在优化过程中学习，并允许探索初步配置的小子集，通过外推到完整的数据集。我们构建了一个贝叶斯优化过程，称为Fabolas，它将损失和训练时间建模为数据集大小的函数，并自动权衡关于全局最优值的高信息增益与计算成本。优化支持向量机和深度神经网络的实验表明，Fabolas找到高质量解决方案的速度通常比其他最先进的贝叶斯优化方法或最近提出的强盗策略Hyperband快10到100倍。
2017-03-07 cs.AI cs.LG stat.ML
Testing the Efficacy of Hyperparameter Optimization Algorithms in Short-Term Load Forecasting
Dept. of Management Information Systems（管理信息系）；Istanbul Bilgi University（伊斯坦布尔比尔吉大学）
本研究评估了五种超参数优化算法在短期负荷预测中的性能，发现HPO算法在运行时间上优于随机搜索，但贝叶斯优化在单变量模型中准确性较低。
2024-10-19 cs.LG
Neural Velocity for hyperparameter tuning
University of Turin（都灵大学）
本文提出基于神经速度的动态训练方法NeVe，用于调整学习率和定义停止标准，减少对验证集的依赖，提升训练效率。
2025-07-07 cs.AI cs.LG
Multi-Objective Hyperparameter Optimization in Machine Learning -- An Overview
Fraunhofer Institut für integrierte Schaltungen（弗劳恩霍夫集成电路研究所）；Ludwig-Maximilians-Universität München（慕尼黑大学）；Technische Universität Dortmund（多特蒙德工业大学）；Universidad Pontificia Comillas（康普卢滕塞大学）；Warwick Business School（华威商学院）
本文综述了机器学习中的多目标超参数优化，介绍其基本概念并系统梳理进化算法与贝叶斯优化等策略，同时展示其在运行条件、预测时间、稀疏性、公平性、可解释性和鲁棒性等目标上的应用价值。
2024-06-06 cs.LG stat.ML
Which Hyperparameters to Optimise? An Investigation of Evolutionary Hyperparameter Optimisation in Graph Neural Network For Molecular Property Prediction
Heriot-Watt University（赫瑞-瓦特大学）
近年来，图神经网络（GNN）的研究引起了人们的广泛关注，并在分子性质预测方面取得了良好的效果。大多数用于分子性质预测的GNN都是基于通过聚合其邻居节点（例如原子）的信息来学习节点表示的想法提出的。然后，可以将表示传递到后续层以处理各个下游任务。因此，GNN的架构可以被认为是由两个核心部分组成：图相关层和任务特定层。面对现实世界的分子问题，这些层的超参数优化是至关重要的。在这种情况下，超参数优化（HPO）变得昂贵，因为评估候选解决方案需要大量的计算资源来训练和验证模型。此外，更大的搜索空间往往使HPO问题更具挑战性。在这项研究中，我们专注于选择两种类型的GNN超参数的影响，那些属于图形相关的层和任务特定的层，对GNN的性能进行分子性质预测。在我们的实验中。我们采用了最先进的进化算法（即，CMA-ES）用于HPO。结果表明，分别优化两类超参数可以获得GNN性能的改善，而同时优化两类超参数则可以获得显著的改善。同时，我们的研究也进一步证实了HPO对GNN在分子性质预测问题中的重要性。
2021-04-14 cs.LG
Speeding up the Hyperparameter Optimization of Deep Convolutional Neural Networks
大多数学习算法要求从业者在学习过程开始之前手动设置许多超参数的值。然而，使用现代算法，给定超参数设置的评估可能花费相当多的时间，并且搜索空间通常是非常高维的。我们建议使用原始数据的低维表示来快速识别超参数空间中有希望的区域。然后，该信息可以用于初始化原始高维数据的优化算法。我们将这种方法与仅在原始输入上优化超参数的标准过程进行了比较。我们进行实验与各种国家的最先进的超参数优化算法，如随机搜索，树parzen估计（TPE），顺序模型为基础的算法配置（SMAC），和一个遗传算法（GA）。我们的实验表明，它是可能的，以加快优化过程中使用低维的数据表示在开始时，而在优化过程的后期增加输入的维数。这是独立的底层优化过程，使许多现有的超参数优化算法的方法有前途。
2018-07-19 cs.LG cs.NE
Efficient Hyperparameter Importance Assessment for CNNs
University of Bristol（布里斯托大学）
本文提出用 N-RReliefF 算法评估 CNN 超参数重要性，通过在十个图像分类数据集上训练超一万个模型，发现卷积层数、学习率、dropout 率、优化器和 epoch 是最重要的五个超参数，为深度学习中的超参数重要性评估奠定了基础。
2024-10-11 cs.AI cs.CV cs.LG
SHADHO: Massively Scalable Hardware-Aware Distributed Hyperparameter Optimization
University of Notre Dame（圣母大学）
计算机视觉正在经历人工智能的复兴，其中机器学习模型正在加速学术研究和商业应用的重要突破。然而，有效地训练这些模型并不容易，部分原因是超参数：用户配置的值控制模型从数据中学习的能力。现有的超参数优化方法是高度并行的，但没有努力平衡跨异构硬件的搜索或优先搜索高影响空间。在本文中，我们介绍了一个大规模可扩展的硬件感知分布式超参数优化（SHADHO）的框架。我们的框架计算每个搜索空间的相对复杂度，并在所有试验中监控学习任务的性能。然后，这些指标被用作算法，以基于其硬件将超参数分配给分布式工作者。我们首先证明，我们的框架实现了一倍的吞吐量的标准分布式超参数优化框架优化SVM MNIST使用150个分布式工人。然后，我们在一周的时间里使用两个计算集群中的74个GPU使用SHADHO进行模型搜索，以优化U-Net的细胞分割任务，发现515个模型实现了比标准U-Net更低的验证损失。
2018-01-22 cs.DC cs.LG
Parameter Optimization with Conscious Allocation (POCA)
Arizona State University（亚利桑那州立大学）
本文提出POCA，一种基于超带的自适应预算分配算法，通过贝叶斯采样优化超参数，实验证明其在玩具函数和深度神经网络上比现有方法更快找到强配置。
2023-12-29 cs.LG stat.ML
Provably Efficient Bayesian Optimization with Unknown Gaussian Process Hyperparameter Estimation
RMIT University（RMIT大学）；Amazon（亚马逊公司）；Deakin University（迪肯大学）；Chongqing University（重庆大学）；University of Adelaide（阿德莱德大学）
针对贝叶斯优化中高斯过程超参数未知且估计有偏的问题，本文提出结合EXP3多臂老虎机随机采样与一致性训练损失函数的新方法，在保证次线性全局收敛的同时实现优于现有方法的性能。
2024-06-06 cs.LG stat.ML
Hyperparameter Optimization of Generative Adversarial Network Models for High-Energy Physics Simulations
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
生成对抗网络（GAN）是一种强大而灵活的工具，可以通过学习生成高保真的合成数据。它在高能物理事件模拟中有着广泛的应用，包括探测器响应和物理事件的模拟。然而，训练GANs是出了名的困难，优化它们的超参数更是如此。它通常需要多次试错训练尝试，以迫使稳定的训练并达到合理的保真度。为了达到物理分析所要求的精度，必须进行大量的调谐工作。这项工作使用物理不可知和高性能计算机友好的超参数优化工具HYPPO来优化和检查两个独立的HEP数据集的GAN的超参数的灵敏度。这项工作提供了第一个见解，有效地调整大型强子对撞机数据的GANs。我们表明，如果进行适当的超参数调整，我们可以找到GANs，提供所需数量的高质量近似。我们还提供了如何使用HYPPO中的分析工具进行GAN架构调优的指导。
2022-10-21 cs.LG hep-ex physics.comp-ph
Cost-Effective Hyperparameter Optimization for Large Language Model Generation Inference
Microsoft Research（微软研究院）
本文提出EcoOptiGen框架，通过经济型超参数优化和基于成本的剪枝，在有限推理预算下最大化LLM生成效用，并在GPT-3.5/GPT-4上验证有效。
2023-08-08 cs.AI cs.CL cs.LG
Gradient-based bilevel optimization for multi-penalty Ridge regression through matrix differential calculus
IDSIA Dalle Molle Institute for Artificial Intelligence（IDSIA 达莱·莫勒人工智能研究所）；USI-SUPSI（提契诺大学-瑞士南部应用科学与艺术大学）
本文针对每个输入变量关联不同正则化超参数的l2正则化线性回归问题，提出基于矩阵微分计算解析求解交叉验证准则梯度的双层优化方法，并引入防过拟合策略，数值实验证明其优于LASSO等方法且计算高效。
2023-11-23 cs.LG stat.ML
Towards Fair and Rigorous Evaluations: Hyperparameter Optimization for Top-N Recommendation Task with Implicit Feedback
Shanghai University of Finance and Economics（上海财经大学）；Singapore University of Technology and Design（新加坡科技设计大学）
针对推荐模型超参数调优难、结果可复现性不足的问题，本文提出公平比较的研究方法，用七种超参数搜索算法在三个数据集上优化六种Top-N隐式推荐算法，找出适配的最优搜索算法，为推荐系统研究提供公平比较基础。
2024-08-14 cs.IR cs.LG
QLABGrad: a Hyperparameter-Free and Convergence-Guaranteed Scheme for Deep Learning
University of Saskatchewan（萨斯喀彻温大学）
针对深度学习中学习率需依赖经验调参的问题，提出无超参数的QLABGrad自适应方案，通过优化QLAB函数自动确定学习率，理论证明收敛性，实验验证其在多数据集和架构上优于现有方案。
2024-03-11 cs.LG math.OC
Auto-PyTorch Tabular: Multi-Fidelity MetaLearning for Efficient and Robust AutoDL
University of Freiburg（弗莱堡大学）；Leibniz University Hannover（莱布尼茨汉诺威大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
虽然早期的AutoML框架专注于优化传统的ML管道及其超参数，但AutoML最近的趋势是专注于神经架构搜索。在本文中，我们介绍了Auto-PyTorch，它通过联合和鲁棒地优化网络架构和训练超参数来实现全自动深度学习（AutoDL），从而将这两个世界的最佳之处结合在一起。Auto-PyTorch通过将多保真度优化与组合构建相结合，实现了深度神经网络（DNN）的热启动和集成以及表格数据的公共基线，从而在几个表格基准测试中实现了最先进的性能。为了彻底研究我们对如何设计这样一个AutoDL系统的假设，我们还引入了一个新的DNN学习曲线基准，称为LCBench，并在典型的AutoML基准上对完整的Auto-PyTorch进行了广泛的消融研究，最终表明Auto-PyTorch的平均性能优于几个最先进的竞争对手。
2021-04-26 cs.AI cs.LG stat.ML
