Probabilistic Rollouts for Learning Curve Extrapolation Across Hyperparameter Settings
University of Freiburg（弗赖堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
我们提出了概率模型，可以基于具有可变长度学习曲线的训练数据外推迭代机器学习算法的学习曲线，例如用于训练深度网络的随机梯度下降。我们研究这个框架的基础上随机森林和贝叶斯循环神经网络的实例。我们的实验表明，当外推使用不同超参数设置训练的神经网络的性能时，这些模型比来自超参数优化文献的最新模型产生更好的预测。
2019-10-10 cs.LG stat.ML
Bayesian Optimization for Iterative Learning
University of Oxford（牛津大学）
深度（强化）学习系统的性能关键取决于超参数的选择。它们的调整是出了名的昂贵，通常需要迭代训练过程来运行许多步骤以收敛。传统的优化算法只考虑经过多次昂贵的迭代后获得的超参数的最终性能，而忽略了早期训练步骤的中间信息。在本文中，我们提出了一个贝叶斯优化（BO）的方法，利用迭代结构的学习算法有效的超参数调整。我们建议学习一个评估函数，根据训练成功和稳定性，将训练过程中任何阶段的学习进度压缩为单个数值分数。然后，我们的BO框架将评估超参数设置的好处与额外训练步骤的计算成本进行平衡。我们通过选择性地包括来自任何评估的超参数集的不同训练步骤的分数来进一步提高模型效率。我们通过调整用于训练深度强化学习代理和卷积神经网络的超参数来证明我们算法的效率。我们的算法在最短时间内识别最佳超参数方面优于所有现有的基线。
2021-01-16 cs.LG stat.ML
Optimizing a Digital Twin for Fault Diagnosis in Grid Connected Inverters -- A Bayesian Approach
Centre Tecnològic de Telecomunicacions de Catalunya（加泰罗尼亚电信技术中心）；Aalborg University（奥尔堡大学）；LUT University（拉彭兰塔工业大学）
本文提出了一种基于超参数整定的贝叶斯优化数字孪生模型，用于诊断并网逆变器的各种故障。由于故障检测和诊断需要非常高的精度，我们将我们的努力引导到数字双胞胎的在线优化上，这反过来又允许在有限的数据量下灵活实施。因此，所提出的框架不仅成为有限数据的数字孪生设计的模型版本化和部署的实用解决方案，而且还允许集成深度学习工具以提高超参数调整能力。对于分类性能评估，我们考虑不同的故障情况下，在虚拟同步发电机（VSG）控制的并网转换器，并证明我们的方法的有效性。我们的研究结果表明，我们的数字孪生设计实现了更高的准确性和保真度水平，克服了传统超参数调整方法的缺点。
2022-12-07 cs.LG cs.SY eess.SY
Bayesian Hyperparameter Optimization for Ensemble Learning
Université Laval（拉瓦尔大学）；École de technologie supérieure（高等技术学院）
在本文中，我们之间的差距桥梁超参数优化和集成学习进行贝叶斯优化的集成关于其超参数。我们的方法包括建立一个固定大小的集成，优化配置的一个分类器的集成在每次迭代的超参数优化算法，考虑到与其他模型的相互作用时，评估潜在的性能。我们还考虑了在超参数优化阶段结束时，通过对优化过程中生成的模型池进行贪婪选择来重建系综的情况。我们研究了我们提出的方法在三个不同的超参数空间上的性能，表明我们的方法优于最好的单个模型和贪婪的集成结构，而这些模型是由标准贝叶斯优化产生的。
2016-05-20 cs.LG
Reducing Hyperparameter Tuning Costs in ML, Vision and Language Model Training Pipelines via Memoization-Awareness
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；University of Southern California（南加利福尼亚大学）
提出记忆化感知的贝叶斯优化算法EEIPU，结合流程缓存系统，在相同GPU预算下评估更多超参数候选，提升调优质量，并在ML、视觉和语言模型流程上验证了有效性。
2024-11-06 cs.LG stat.ML
Multi-Objective Hyperparameter Optimization in Machine Learning -- An Overview
Fraunhofer Institut für integrierte Schaltungen（弗劳恩霍夫集成电路研究所）；Ludwig-Maximilians-Universität München（慕尼黑大学）；Technische Universität Dortmund（多特蒙德工业大学）；Universidad Pontificia Comillas（康普卢滕塞大学）；Warwick Business School（华威商学院）
本文综述了机器学习中的多目标超参数优化，介绍其基本概念并系统梳理进化算法与贝叶斯优化等策略，同时展示其在运行条件、预测时间、稀疏性、公平性、可解释性和鲁棒性等目标上的应用价值。
2024-06-06 cs.LG stat.ML
Fast Hyperparameter Tuning using Bayesian Optimization with Directional Derivatives
Deakin University（迪肯大学）
在本文中，我们开发了一个基于贝叶斯优化的超参数调整框架的启发，统计学习理论的分类。我们利用PAC学习理论中的两个关键事实;与整体相比，数据的小子集的泛化范围将更高，并且可以通过简单的模型实现数据的小子集的最高精度。我们首先使用贝叶斯优化在一小部分训练数据上调整超参数。在调整整个训练数据的超参数时，我们利用学习理论的见解来寻求更复杂的模型。我们实现这一点，通过使用方向导数符号战略性地放置在超参数搜索空间，以寻求一个更复杂的模型比小数据获得的。我们证明了我们的方法的性能上的任务调整超参数的几个机器学习算法。
2019-02-06 cs.LG stat.ML
Gradient-based Hyperparameter Optimization through Reversible Learning
调整学习算法的超参数很难，因为梯度通常不可用。我们通过在整个训练过程中向后链接导数来计算关于所有超参数的交叉验证性能的精确梯度。这些梯度使我们能够优化数千个超参数，包括步长和动量计划，权重初始化分布，丰富的参数化正则化方案和神经网络架构。我们计算超参数梯度的动力学完全逆转的随机梯度下降与动量。
2015-04-02 cs.LG stat.ML
Fast Bayesian Optimization of Machine Learning Hyperparameters on Large Datasets
University of Freiburg（弗莱堡大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
贝叶斯优化已经成为机器学习算法（例如支持向量机或深度神经网络）的超参数优化的成功工具。尽管它取得了成功，但对于大型数据集，训练和验证单个配置通常需要数小时、数天甚至数周，这限制了可实现的性能。为了加速超参数优化，我们提出了一个生成模型的验证误差作为训练集大小的函数，这是在优化过程中学习，并允许探索初步配置的小子集，通过外推到完整的数据集。我们构建了一个贝叶斯优化过程，称为Fabolas，它将损失和训练时间建模为数据集大小的函数，并自动权衡关于全局最优值的高信息增益与计算成本。优化支持向量机和深度神经网络的实验表明，Fabolas找到高质量解决方案的速度通常比其他最先进的贝叶斯优化方法或最近提出的强盗策略Hyperband快10到100倍。
2017-03-07 cs.AI cs.LG stat.ML
Optimizing Approximate Leave-one-out Cross-validation to Tune Hyperparameters
University of Washington（华盛顿大学）
对于一个大类的正则化模型，留一法交叉验证可以有效地估计与近似留一法公式（ALO）。我们考虑调整超参数的问题，以优化ALO。我们推导出有效的公式来计算ALO的梯度和海森，并展示了如何应用二阶优化器来寻找超参数。我们证明了所提出的方法的实用性，通过寻找超参数的正则化逻辑斯谛回归和岭回归在各种现实世界的数据集。
2020-11-20 cs.LG stat.ML
Testing the Efficacy of Hyperparameter Optimization Algorithms in Short-Term Load Forecasting
Dept. of Management Information Systems（管理信息系）；Istanbul Bilgi University（伊斯坦布尔比尔吉大学）
本研究评估了五种超参数优化算法在短期负荷预测中的性能，发现HPO算法在运行时间上优于随机搜索，但贝叶斯优化在单变量模型中准确性较低。
2024-10-19 cs.LG
Optimizing Millions of Hyperparameters by Implicit Differentiation
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
我们提出了一个廉价的基于梯度的超参数优化算法，结合了隐函数定理（IFT）与高效的逆Hessian近似。我们目前的IFT和区分通过优化，激励我们的算法之间的关系的结果。我们使用所提出的方法来训练具有数百万权重和数百万超参数的现代网络架构。例如，我们学习一个数据增强网络-其中每个权重都是针对验证性能调整的超参数-输出增强的训练样本。使用我们的方法联合调整权重和超参数，在内存和计算方面的成本仅是标准训练的几倍。
2019-11-06 cs.LG stat.ML
From Black-Box Tuning to Guided Optimization via Hyperparameters Interaction Analysis
IRIT, UMR5505 CNRS Université Toulouse Capitole（IRIT，CNRS UMR5505，图卢兹大学）；LIS, UMR 7020 CNRS Aix-Marseille University（LIS，CNRS UMR7020，阿维尼翁-马赛大学）
MetaSHAP通过分析超参数交互，提供可操作的调优见解，帮助优化机器学习模型。
2025-12-22 cs.LG
Towards Automatic Bayesian Optimization: A first step involving acquisition functions
贝叶斯优化是用于优化黑盒的最先进技术，即，函数，我们不能访问它们的解析表达式，也不能访问它的梯度，它们的计算代价很高，而且它的计算是嘈杂的。最流行的应用是机器学习算法的自动超参数调整，其中我们通过优化这些算法的泛化误差的估计来获得机器学习算法的最佳配置。尽管成功地应用，但生物学优化方法也具有需要配置的超参数，例如所使用的概率代理模型或采集函数。对这些超参数的配置的错误决策意味着获得质量差的结果。通常，这些超参数是通过对我们想要评估的目标函数进行假设来调整的，但在某些情况下，我们没有关于目标函数的任何先验信息。在本文中，我们提出了第一次尝试，通过探索几个自动调整的采集功能的baidu优化。我们在一组基准问题和一个机器学习算法的超参数调整问题中说明了这些方法的有效性。
2021-01-12 cs.AI cs.LG stat.ML
Automatic Termination for Hyperparameter Optimization
ETH Zürich（苏黎世联邦理工学院）；Amazon Web Services（亚马逊云科技）
贝叶斯优化（BO）是机器学习中超参数优化（HPO）的一种常用方法。在其核心，BO迭代地评估有希望的配置，直到用户定义的预算（如挂钟时间或迭代次数）耗尽。虽然调优后的最终性能在很大程度上取决于提供的预算，但很难预先指定最佳值。在这项工作中，我们提出了一个有效的和直观的终止标准BO自动停止的过程，如果它是足够接近的全局最优。我们的关键见解是，真实目标（测试数据的预测性能）和可计算目标（验证性能）之间的差异表明，一旦优化目标的次优性被统计估计误差所主导，就应该停止。在广泛的范围内的现实世界的HPO问题和基线，我们表明，我们的终止标准实现了更好的权衡之间的测试性能和优化时间。此外，我们发现过拟合可能发生在HPO的背景下，这可以说是一个被忽视的问题，在文献中，并显示我们的终止标准如何有助于减轻这种现象在小型和大型数据集。
2022-07-22 cs.AI cs.LG stat.ML
Statistically Valid Post-Training Hyperparameter Selection: From Tuning to Guarantees
Institute for Intelligent Networked Systems (INSI)（智能网络系统研究所）
提出基于学习-测试（LTT）范式的统一统计框架，将超参数选择转化为多重假设检验问题，实现满足可靠性要求（如平均风险、分位数风险等）的超参数选择，并提供有限样本误差概率控制。
2026-09-28 cs.IT cs.LG math.IT
QLABGrad: a Hyperparameter-Free and Convergence-Guaranteed Scheme for Deep Learning
University of Saskatchewan（萨斯喀彻温大学）
针对深度学习中学习率需依赖经验调参的问题，提出无超参数的QLABGrad自适应方案，通过优化QLAB函数自动确定学习率，理论证明收敛性，实验验证其在多数据集和架构上优于现有方案。
2024-03-11 cs.LG math.OC
ChaCha for Online AutoML
Microsoft Research（微软研究院）
我们提出了ChaCha（Chaon-Challenge）算法，用于在在线学习设置中在线选择超参数。ChaCha处理确定冠军的过程，并根据样本的复杂性范围随着时间的推移安排一组“活”挑战者。通过基于冠军的应用依赖预言机将最优配置加入考虑范围，保证了算法具有次线性遗憾。从经验上讲，我们表明，ChaCha在优化特征化和超参数决策时，在广泛的数据集上提供了良好的性能。
2021-06-11 cs.LG
Cost-Efficient Online Hyperparameter Optimization
University of Toronto（多伦多大学）；Uber ATG（优步先进技术集团）；ETH Zürich（苏黎世联邦理工学院）
最近关于超参数优化（HPO）的工作表明，可以将某些超参数与常规参数一起训练。然而，这些在线HPO算法仍然需要在每个训练步骤中对一组验证示例进行评估，从而急剧增加了训练成本。为了决定何时查询验证损失，我们将在线HPO建模为随时间变化的贝叶斯优化问题，在此基础上，我们提出了一种新的\textit{costly feedback}设置来捕获查询成本的概念。在这种设置下，标准算法是成本效率低下的，因为它们在每一轮都对验证集进行评估。相比之下，本文提出的具有成本效益的GP-UCB算法仅在模型对当前决策不太自信时才查询未知函数。我们通过在CIFAR-10和ImageNet 100上在线调整VGG和ResNet的超参数来评估我们提出的算法。我们提出的在线HPO算法在一次实验中达到了人类专家级的性能，而与常规训练相比，只产生了适度的计算开销。
2021-01-17 cs.AI cs.CV cs.LG
Optimizing Hyperparameters in CNNs using Bilevel Programming in Time Series Data
South Asian University（南亚大学）
由于超参数优化能够产生最先进的结果，因此它仍然是机器学习社区的中心话题。随着最近对CNN用于时间序列预测的兴趣越来越大，我们提出了优化CNN中超参数的概念，以实现时间序列预测。在这篇立场论文中，我们给出了使用双层规划来建模有关超参数优化问题的想法。
2021-01-19 cs.LG
Training neural networks faster with minimal tuning using pre-computed lists of hyperparameters for NAdamW
Google DeepMind（谷歌DeepMind）
针对神经网络训练中优化和正则化超参数设置困难的问题，基于 AlgoPerf 基准的广泛实验，提出了 NAdamW 的预计算超参数列表，在五次或更少试验的预算下优于传统调参和贝叶斯优化方法。
2025-03-06 cs.AI cs.LG
Federated Hyperparameter Tuning: Challenges, Baselines, and Connections to Weight-Sharing
Carnegie Mellon University（卡内基梅隆大学）；Hewlett Packard Enterprise（慧与科技）
调优超参数是机器学习管道中至关重要但艰巨的一部分。超参数优化在联邦学习中更具挑战性，其中模型是通过异构设备的分布式网络学习的;在这里，需要将数据保存在设备上并执行本地训练，这使得很难有效地训练和评估配置。在这项工作中，我们研究联邦超参数调整的问题。我们首先确定关键的挑战，并展示如何调整标准方法来形成联邦设置的基线。然后，通过与权重共享的神经架构搜索技术建立新的连接，我们引入了一种新的方法FedEx来加速联邦超参数调整，该方法适用于广泛使用的联邦优化方法，如FedAvg和最近的变体。从理论上讲，我们表明，联邦快递的变种正确地调整设备上的学习率的在线凸优化跨设备的设置。从经验上讲，我们表明FedEx可以在Shakespeare，FEMNIST和CIFAR-10基准测试中超过联邦超参数调优的自然基线几个百分点，使用相同的训练预算获得更高的准确性。
2021-11-04 cs.AI cs.DC cs.LG
Efficiently Estimating Optimal Hyperparameter Scaling Laws through Power-Law Entropy Search
Meta；National University of Singapore（新加坡国立大学）；Atomic Machines（原子机器公司）
该研究提出幂律熵搜索（PLES），一种基于多保真度贝叶斯优化的获取函数，可高效估计LLM的最优超参数缩放定律，其计算预算仅为传统网格搜索的十分之一。
2026-10-16 cs.AI cs.LG
A Trajectory-Based Bayesian Approach to Multi-Objective Hyperparameter Optimization with Epoch-Aware Trade-Offs
Department of Industrial Systems Engineering and Management, National University of Singapore（新加坡国立大学工业系统工程与管理系）；Academy of Mathematics and System Sciences, Chinese Academy of Sciences（中国科学院数学系统科学 academy）；School of Mathematical Sciences, University of Chinese Academy of Sciences（中国科学院大学数学科学学院）
针对多目标超参数优化中未充分利用迭代训练过程信息、仅在训练结束时确定权衡的问题，提出将训练轮次作为决策变量的优化问题，及基于轨迹的多目标贝叶斯优化算法，含新型采集函数与多目标早停机制，可高效识别理想权衡。
2025-05-21 cs.LG
Parallel Multi-Objective Hyperparameter Optimization with Uniform Normalization and Bounded Objectives
Argonne National Laboratory（阿贡国家实验室）；Oak Ridge National Laboratory（橡树岭国家实验室）
针对多目标超参数优化中的尺度差异、失败与异常值问题，提出带统一归一化、随机权重标量化、目标约束及并行化的 MoBO 算法，16 倍工作节点下获得 5 倍加速。
2023-09-26 cs.DC cs.LG
Optimizing Hyperparameters with Conformal Quantile Regression
Amazon Web Services（亚马逊云科技）
针对现有超参数优化中高斯过程代理模型噪声假设过强的问题，提出基于共形化分位数回归的代理建模方法，并设计多保真度聚合技术，实现更快收敛且性能优于传统方法。
2023-05-05 cs.LG stat.ML
Faster, Cheaper, Better: Multi-Objective Hyperparameter Optimization for LLM and RAG Systems
Trustwise AI；New York University（纽约大学）；The Alan Turing Institute（艾伦·图灵研究所）
本文首次提出面向整个LLM与RAG系统的多目标超参数优化方法，利用贝叶斯优化在成本、延迟、安全性和对齐上取得更优Pareto前沿，并指出最优配置可能无法跨任务和目标泛化。
2025-05-08 cs.AI cs.CL cs.LG
Towards Hyperparameter-Agnostic DNN Training via Dynamical System Insights
Carnegie Mellon University（卡内基梅隆大学）；Washington University in St. Louis（圣路易斯华盛顿大学）
提出基于动力学系统建模的DNN优化器ECCO-DNN，通过自适应选择步长实现超参数不敏感，性能媲美主流优化器且大幅减少调参成本。
2023-10-21 cs.LG cs.SY eess.SY
Scalable Hyperparameter-Divergent Ensemble Training with Automatic Learning Rate Exploration for Large Models
LinkedIn Inc.（LinkedIn公司）
本文提出HDET方法，通过发散与收敛阶段交替训练，利用GPU副本进行学习率探索，结合自动学习率控制器提升优化质量与泛化能力。
2026-04-27 cs.AI cs.LG
Tune As You Scale: Hyperparameter Optimization For Compute Efficient Training
Generally Intelligent（通用智能公司）；UC Berkeley（加州大学伯克利分校）
针对大模型超参数调优成本高、难度大的问题，提出成本感知帕累托区域贝叶斯搜索算法CARBS，可随模型规模扩展同步调优，以更低计算量复现经典缩放结果并适配各类深度学习任务。
2023-06-13 cs.AI cs.LG
Optimizing for Generalization in Machine Learning with Cross-Validation Gradients
Department of Electrical Engineering（电气工程系）；Stanford University（斯坦福大学）
交叉验证是现代应用统计学和机器学习的主力，因为它为选择最大化泛化性能的模型提供了原则性框架。在本文中，我们证明了交叉验证风险对于许多常见的机器学习算法，包括逻辑斯谛回归，弹性网络回归和支持向量机的超参数和训练数据是可区分的。利用这种可微性，我们提出了一种用于超参数优化的交叉验证梯度方法（CVGM）。我们的方法可以在高维超参数空间中有效地优化交叉验证风险，这是我们学习算法真正泛化能力的最佳替代。
2018-05-18 cs.LG stat.ML
Optimizing Ensemble Weights and Hyperparameters of Machine Learning Models for Regression Problems
Iowa State University（爱荷华州立大学）
通过集成模型聚合多个学习者旨在通过更准确地捕获数据的底层分布来做出更好的预测。不同的组合方法，如装袋、增压和堆叠/混合，已在研究和实践中被广泛研究和采用。bagging和boosting分别更侧重于减少方差和偏差，而stacking方法则通过找到组合基本学习器的最佳方式来实现这两个目标。在使用加权平均值进行堆叠时，从多个基本学习器的加权平均值创建集合。众所周知，在集成权重优化过程中调整每个基学习器的超参数可以产生性能更好的集成。为此，设计了一种基于优化的嵌套算法，该算法考虑调整超参数以及找到组合集成的最佳权重（具有内部调整超参数的广义加权集成（GEM-ITH））。此外，贝叶斯搜索被用来加快优化过程，并实施启发式生成多样化和性能良好的基础学习器。通过对10个公开数据集的分析，证明了该算法可推广到真实数据集。
2020-10-31 cs.LG stat.ME stat.ML
Large Language Model Enhanced Particle Swarm Optimization for Hyperparameter Tuning for Deep Learning Models
Division of Information and Computing Technology, College of Science and Engineering, Hamad Bin Khalifa University（哈马德·本·卡西姆大学信息与计算技术学院）；College of Medicine, Howard University（霍华德大学医学院）；Department of Computer Science and Engineering, Qatar University（卡塔尔大学计算机科学与工程系）
本文提出将大语言模型集成到粒子群优化中，用于深度学习超参数调优，通过LLM建议替换劣质粒子加速搜索，实验显示计算成本降低20%-60%且保持精度。
2025-04-19 cs.AI cs.CL cs.LG
Training Deep Neural Networks by optimizing over nonlocal paths in hyperparameter space
SoftServe Inc.（SoftServe公司）
超参数优化是深层结构训练中的一个实际问题，也是一个有趣的理论问题。尽管最近取得了许多进展，但最常用的方法几乎普遍涉及训练模型的多个解耦副本，实际上是对超参数空间进行采样。我们表明，在一个可以忽略不计的额外计算成本，结果可以改善采样非局部路径，而不是超参数空间中的点。为此，我们将超参数解释为控制训练中相关噪声的水平，它可以映射到有效温度。模型的通常独立的实例被耦合，并允许使用统计物理学的完善的并行回火技术在整个训练过程中交换它们的超参数。然后，每个模拟对应于联合超参数/模型参数空间中的唯一路径或历史。我们提供了我们的方法的实证测试，特别是辍学和学习率优化。我们观察到更快的训练和更好的抗过拟合能力，并显示绝对验证误差的系统性降低，优于基准测试结果。
2019-09-09 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Optimizing Training Trajectories in Variational Autoencoders via Latent Bayesian Optimization Approach
UT-Battelle, LLC（UT-巴特尔有限责任公司）；U.S. Department of Energy（美国能源部）
无监督和半监督ML方法（如变分自编码器（VAE））已被广泛应用于物理，化学和材料科学的多个领域，因为它们能够解开表示并能够找到复杂实验数据的分类和回归的潜在流形。与其他ML问题一样，VAE需要超参数调整，例如，平衡Kullback Leibler（KL）和重建项。然而，训练过程和由此产生的流形拓扑和连通性不仅取决于超参数，还取决于它们在训练过程中的演变。由于在高维超参数空间中进行穷举搜索对于训练模型来说效率低下，因此我们在无监督和半监督ML的超参数轨迹优化中探索了潜在贝叶斯优化（zBO）方法，并对具有旋转不变性的联合VAE进行了演示。我们展示了这种方法的应用程序，找到联合离散和连续的旋转不变表示MNIST和实验数据的等离子体纳米粒子材料系统。所提出的方法的性能已经被广泛讨论，其中它允许任何高维超参数调整或其他ML模型的轨迹优化。
2022-06-30 cs.LG stat.ML
DrMAD: Distilling Reverse-Mode Automatic Differentiation for Optimizing Hyperparameters of Deep Neural Networks
National University of Singapore（新加坡国立大学）；Tsinghua University（清华大学）
众所周知，深度神经网络的性能对其超参数的设置很敏感。反向模式自动微分的最新进展允许用梯度优化超参数。计算这些梯度的标准方法涉及向前和向后的计算过程。然而，反向传递通常需要消耗无法承受的内存来存储所有中间变量，以准确地逆转正向训练过程。在这项工作中，我们提出了一种简单但有效的方法DrMAD，将向前传递的知识提取到一个捷径路径中，通过它我们近似地逆转了训练轨迹。在几个图像基准数据集上的实验表明，与最先进的优化超参数的方法相比，DrMAD至少快45倍，占用的内存少100倍，同时对其有效性的影响最小。据我们所知，DrMAD是第一次尝试自动调整深度神经网络的数千个超参数的研究。代码可以从https://github.com/bigaidream-projects/drmad下载
2016-04-06 cs.LG cs.NE
PSEO: Optimizing Post-hoc Stacking Ensemble Through Hyperparameter Tuning
Beicheng Xu 1（Xu Beicheng 团队）；Wei Liu 1（Liu Wei 团队）；Keyao Ding 1（Ding Keyao 团队）；Yupeng Lu 1（Lu Yupeng 团队）；Bin Cui 1（Cui Bin 团队）
本文提出PSEO框架，通过二元二次规划选择基模型并优化堆叠集成策略，提升多层堆叠的性能，实验证明在80个公开数据集上取得最佳测试排名。
2025-11-09 cs.LG
On Optimizing Hyperparameters for Quantum Neural Networks
Vienna University of Technology（维也纳工业大学）
针对量子机器学习模型训练中超参数调整困难的问题，本文识别了最具影响力的超参数，通过比较不同配置收集性能数据，为超参数选择提供了具体建议。
2024-03-27 cs.ET cs.LG
Hyperparameter Adaptive Search for Surrogate Optimization: A Self-Adjusting Approach
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
提出HASSO，一种自调整的代理优化算法，在优化过程中动态调整关键超参数，无需额外评估，提升不同SO算法在全局优化测试问题上的性能与收敛速度。
2023-10-12 cs.LG math.OC math.PR
A survey on multi-objective hyperparameter optimization algorithms for Machine Learning
Hasselt University（哈塞尔特大学）；Ghent University（根特大学）
超参数优化（HPO）是保证机器学习（ML）算法最佳性能的必要步骤。已经开发了几种方法来执行HPO，其中大多数都集中在优化一个性能指标（通常是基于误差的措施），这样的单目标HPO问题的文献是巨大的。然而，最近出现了专注于同时优化多个冲突目标的算法。本文对2014年至2020年期间发表的关于多目标HPO算法的文献进行了系统调查，区分了基于元模型的算法，基于元模型的算法以及使用两者混合的方法。我们还讨论了用于比较多目标HPO程序的质量指标，并提出了未来的研究方向。
2022-11-15 cs.AI cs.LG math.OC
Auto-PINN: Understanding and Optimizing Physics-Informed Neural Architecture
Texas A&M University（德克萨斯农工大学）；Rice University（莱斯大学）
针对物理信息神经网络（PINNs）超参数优化难题，提出首个基于神经架构搜索的自动化方法Auto-PINN，通过解耦超参数并以训练损失为搜索目标，生成了具有更高稳定性和准确性的网络架构。
2023-11-27 cs.LG
Bayesian autoregression to optimize temporal Matérn kernel Gaussian process hyperparameters
Eindhoven University of Technology（埃因霍温理工大学）
本文提出一种基于递归贝叶斯自回归估计的方法，用于优化时间Matérn核高斯过程的超参数，在运行时间和均方根误差上均优于边际似然最大化和HMC采样。
2025-08-13 cs.LG eess.SP stat.ML
Glocal Hypergradient Estimation with Koopman Operator
RIKEN AIP（理化学研究所先进智能项目）；Osaka University（大阪大学）
本文提出融合全局可靠性与局部高效性的全局-局部超梯度估计方法，利用Koopman算子线性化超梯度动态，仅用局部轨迹近似全局超梯度，实现高效可靠的超参数优化。
2024-05-26 cs.LG stat.ML
Optimizing Emotion Recognition with Wearable Sensor Data: Unveiling Patterns in Body Movements and Heart Rate through Random Forest Hyperparameter Tuning
Telkom University（电信大学）
本研究利用智能手表与心率传感器数据，通过随机森林超参数调优优化情绪识别，在多场景实验中实现了86.63%的二分类与76.33%的三分类平均准确率。
2024-08-13 cs.HC cs.LG
CDS4RAG: Cyclic Dual-Sequential Hyperparameter Optimization for RAG
School of Computer Science and Engineering, UESTC, Chengdu, China（电子科技大学计算机科学与工程学院，成都，中国）；IDEAS Lab, University of Birmingham, Birmingham, UK（伯明翰大学IDEAS实验室，英国布里斯托尔）
本文提出CDS4RAG框架，通过循环双序列方法优化RAG的全部超参数，提升检索生成性能，实验显示在24种情况下均优于现有算法。
2026-05-08 cs.AI cs.CL cs.LG
Optimizing Retrieval-Augmented Generation: Analysis of Hyperparameter Impact on Performance and Efficiency
Prince Sultan University（普森大学）；Alfaisal University（阿尔法赛尔大学）
本文系统分析向量库、分块、重排序和温度等RAG超参数对质量与效率的影响，揭示速度—准确率权衡，并通过纠错型RAG实现99%上下文精确率。
2025-05-13 cs.AI cs.CL cs.LG
Deep Genetic Network
优化一个神经网络的性能是一个繁琐和耗时的过程，这个迭代过程没有任何定义的解决方案，可以为所有的问题。优化可以粗略地分为体系结构优化和超参数优化。已经设计了许多算法来解决这个问题。在本文中，我们介绍了一种神经网络架构（深度遗传网络），它将在训练过程中根据其适应度优化其参数。深度遗传网络使用遗传算法和深度神经网络来解决超参数优化问题，这种方法使用了交配和变异等思想，这是遗传算法的关键，有助于神经网络架构学习自己优化其超参数，而不是依赖于一个人来显式设置值。使用遗传算法解决这个问题被证明是非常好的工作时，有足够的时间训练网络。该架构在优化仿射、卷积和递归层中的超参数方面表现良好，证明是传统监督学习任务的良好选择。
2019-03-19 cs.LG cs.NE stat.ML
Weighted Random Search for CNN Hyperparameter Optimization
Central Washington University（中央华盛顿大学）
几乎所有用于机器学习的模型算法都使用两组不同的参数：训练参数和元参数（超参数）。虽然训练参数是在训练阶段学习的，但超参数的值必须在学习开始之前指定。对于给定的数据集，我们希望在合理的时间内找到超参数值的最佳组合。由于其计算复杂性，这是一个具有挑战性的任务。在以前的工作[11]中，我们介绍了加权随机搜索（WRS）方法，它是随机搜索（RS）和概率贪婪启发式的组合。在当前的论文中，我们比较了WRS方法与几种最先进的超参数优化方法关于卷积神经网络（CNN）超参数优化。该标准是在相同数量的超参数值的测试组合内实现的分类精度。实验结果表明，WRS算法的性能优于其他方法。
2020-03-30 cs.LG stat.ML
You Only Train Once
ETH Zürich（苏黎世联邦理工学院）
本文提出YOTO方法，将损失权重超参数作为网络参数，通过可微复合损失层和均匀性正则化实现一次性联合优化，在三维估计和语义分割任务上优于暴力网格搜索。
2025-06-04 cs.CV cs.LG
Optimizing Explanations by Network Canonization and Hyperparameter Search
Fraunhofer Heinrich-Hertz-Institute（弗劳恩霍夫海因里希·赫兹研究所）；Technische Universität Berlin（柏林工业大学）；Singapore Institute of Technology（新加坡理工学院）；University of Oslo（奥斯陆大学）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（BIFOLD——柏林学习与数据基础研究所）
可解释人工智能（XAI）正在慢慢成为许多人工智能应用程序的关键组件。然而，基于规则和修改后的反向传播XAI方法在应用于包括创新层构建块的现代模型架构时经常面临挑战，这是由两个原因引起的。首先，基于规则的XAI方法的高度灵活性导致了许多潜在的参数化。其次，许多XAI方法打破了实现不变性公理，因为它们难以处理某些模型组件，例如，BatchNorm层。后者可以通过模型规范化来解决，这是重新构建模型以忽略有问题的组件而不改变底层功能的过程。虽然模型规范化对于简单架构是直接的（例如，VGG，ResNet），对于更复杂和高度互连的模型（例如，DenseNet）。此外，只有很少的量化证据表明模型经典化对XAI有益。在这项工作中，我们提出了适用于流行的深度神经网络架构的当前相关模型块的规范化，包括VGG，ResNet，EfficientNet，DenseNets以及关系网络。我们进一步提出了一个XAI评估框架，通过该框架，我们量化并比较了Pascal-VOC和ILSVRC 2017数据集上图像分类任务中各种XAI方法的模型规范化效果，以及使用CLEVR-XAI进行视觉问答。此外，为了解决上述前一个问题，我们展示了我们的评估框架如何应用于XAI方法的超参数搜索，以优化解释的质量。
2023-03-27 cs.AI cs.CV cs.LG
Deep Ranking Ensembles for Hyperparameter Optimization
University of Freiburg（弗莱堡大学）
提出一种基于Learning to Rank和神经网络集成的新方法，通过元学习代理模型对超参数配置性能进行排序并建模不确定性，在大规模实验中取得HPO新SOTA。
2023-05-21 cs.LG
Interactive Hyperparameter Optimization in Multi-Objective Problems via Preference Learning
University of Bologna（博洛尼亚大学）；Leibniz University Hannover（汉诺威莱布尼茨大学）
本文提出一种面向多目标机器学习的交互式超参数优化方法，通过偏好学习从用户对Pareto前沿的成对比较中自动学习合适的质量指标，并据此优化超参数，实验表明其优于用户错误预选指标的情形，且与专家选指标的效果相当。
2024-01-11 cs.AI cs.LG
Parameter Optimization with Conscious Allocation (POCA)
Arizona State University（亚利桑那州立大学）
本文提出POCA，一种基于超带的自适应预算分配算法，通过贝叶斯采样优化超参数，实验证明其在玩具函数和深度神经网络上比现有方法更快找到强配置。
2023-12-29 cs.LG stat.ML
Optimizing for ROC Curves on Class-Imbalanced Data by Training over a Family of Loss Functions
Duke University（杜克大学）
针对严重类不平衡二分类问题中超参数敏感导致ROC曲线性能多变的问题，提出在损失函数族上训练的损失条件训练方法，显著提升了模型性能与对超参数选择的鲁棒性。
2024-06-04 cs.CV cs.LG
