Importance of Tuning Hyperparameters of Machine Learning Algorithms
Eindhoven University of Technology（埃因霍温理工大学）；Columbia University（哥伦比亚大学）
许多机器学习算法的性能取决于它们的超参数设置。本研究的目标是确定是否需要调整超参数，或者是否可以安全地将其设置为默认值。我们提出了一种方法来确定调整超参数的非劣效性测试和调整风险的基础上的重要性：性能损失时发生的超参数没有调整，但设置为默认值。因为我们的方法需要默认参数的概念，我们提出了一个简单的过程，可以用来确定合理的默认参数。我们使用OpenML的59个数据集在基准研究中应用我们的方法。我们的研究结果表明，将特定的超参数保留为默认值并不比调整这些超参数差。在某些情况下，将超参数保留为默认值甚至优于使用具有有限迭代次数的搜索过程对其进行调整。
2020-07-15 cs.LG stat.ML
Grouped Sequential Optimization Strategy -- the Application of Hyperparameter Importance Assessment in Deep Learning
University of Bristol（布里斯托尔大学）
本文提出“序贯分组”超参数优化策略，利用超参数重要性评估指导分组优化，在六个图像分类数据集上验证可在不降低性能的情况下将优化时间平均缩短31.9%。
2025-03-07 cs.AI cs.LG
From Black-Box Tuning to Guided Optimization via Hyperparameters Interaction Analysis
IRIT, UMR5505 CNRS Université Toulouse Capitole（IRIT，CNRS UMR5505，图卢兹大学）；LIS, UMR 7020 CNRS Aix-Marseille University（LIS，CNRS UMR7020，阿维尼翁-马赛大学）
MetaSHAP通过分析超参数交互，提供可操作的调优见解，帮助优化机器学习模型。
2025-12-22 cs.LG
Conditional PED-ANOVA: Hyperparameter Importance in Hierarchical & Dynamic Search Spaces
Preferred Networks, Inc.（Preferred Networks公司）；The University of Tokyo（东京大学）；SB Intuitions Corp.（SB Intuitions公司）
提出条件PED-ANOVA框架，用于估计条件搜索空间中超参数的重要性，通过闭式估计器准确反映条件激活和域变化，实验证明其优于朴素适应方法。
2026-06-03 cs.AI cs.LG
HyperTuner: A Cross-Layer Multi-Objective Hyperparameter Auto-Tuning Framework for Data Analytic Services
Anhui University（安徽大学）；Sun Yat-Sen University（中山大学）
本文提出 HyperTuner 框架，联合模型超参数与系统参数进行跨层多目标自动调优，通过 MOPIR 重要性排序和 ADUMBO 自适应搜索获得更优 Pareto 配置前沿。
2023-04-20 cs.LG
Multi-Objective Hyperparameter Tuning and Feature Selection using Filter Ensembles
Ludwig-Maximilians-Universität München（慕尼黑大学）；Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所）
特征选择和超参数调整是机器学习中的关键任务。超参数调整通常有助于提高模型性能，而特征选择则用于获得稀疏模型。稀疏性可以产生更好的模型可解释性和更低的数据采集、数据处理和模型推断成本。虽然稀疏性可能对预测性能具有有益或有害的影响，但是性能的小幅下降可能是可接受的，以换取稀疏性的实质性增益。因此，我们把特征选择作为一个多目标优化任务。我们同时执行超参数调整和特征选择，因为模型特征的选择可能会影响超参数的表现。我们提出，基准，并比较两种不同的方法多目标联合超参数优化和特征选择：第一个使用多目标基于模型的优化。第二个是一个进化的NSGA-II为基础的包装器方法，采用专门的采样，突变和重组运营商的功能选择。这两种方法都使用参数化滤波器集成。虽然基于模型的优化需要较少的客观评估来实现良好的性能，但与NSGA-II相比，它会产生计算开销，因此首选的选择取决于在给定数据上评估模型的成本。
2020-02-13 cs.LG stat.ML
Multi-objective hyperparameter optimization with performance uncertainty
Flanders Make（法兰德斯制造）；Hasselt University（哈塞尔特大学）；Tilburg University（蒂尔堡大学）
任何机器学习（ML）算法的性能都受到其超参数选择的影响。由于训练和评估ML算法通常是昂贵的，因此超参数优化（HPO）方法需要在计算上高效才能在实践中有用。现有的多目标HPO方法大多使用进化策略和基于元模型的优化。然而，很少有方法被开发出来，以占在性能测量的不确定性。本文提出了多目标超参数优化的ML算法的评价上的不确定性的结果。我们将树结构Parzen估计器（TPE）的采样策略与训练具有异质噪声的高斯过程回归（GPR）后获得的元模型相结合。三个分析测试函数和三个ML问题的实验结果表明，多目标TPE和GPR的改进，实现相对于超体积指标。
2022-09-09 cs.AI cs.LG
Calibrating Prediction Timeliness Through Multi-Objective Hyperparameter Optimization for Remaining Useful Life Prediction
Istanbul Bilgi University（伊斯坦布尔比尔基大学）；Beştepe Koleji（贝什泰佩学院）
本研究将优化目标作为设计变量，通过多目标超参数优化（NSGA-II 与熵-CRITIC 加权）在 C-MAPSS 和 BackBlaze 基准上校准 RUL 预测的时效性，显著减少方向性不平衡，并揭示架构性能的配置依赖性。
2026-10-02 cs.LG
Parallel Multi-Objective Hyperparameter Optimization with Uniform Normalization and Bounded Objectives
Argonne National Laboratory（阿贡国家实验室）；Oak Ridge National Laboratory（橡树岭国家实验室）
针对多目标超参数优化中的尺度差异、失败与异常值问题，提出带统一归一化、随机权重标量化、目标约束及并行化的 MoBO 算法，16 倍工作节点下获得 5 倍加速。
2023-09-26 cs.DC cs.LG
YAHPO Gym -- An Efficient Multi-Objective Multi-Fidelity Benchmark for Hyperparameter Optimization
LMU Munich（慕尼黑大学）
在开发和分析新的超参数优化方法时，在精心策划的基准套件上进行经验评估和比较是至关重要的。在这项工作中，我们提出了一套新的具有挑战性的和相关的基准问题的动机理想的属性和要求，这样的基准。我们新的基于代理的基准测试集由14个场景组成，总共构成了700多个多保真度超参数优化问题，这些问题都可以实现多目标超参数优化。此外，我们的经验比较代理基准更广泛使用的表格基准，并证明后者可能会产生不忠实的结果HPO方法的性能排名。我们检查和比较我们的基准集合相对于定义的要求，并提出了一个单目标，以及一个多目标的基准套件，我们比较7个单目标和7个多目标优化在一个基准实验。我们的软件可以在[https：//github.com/slds-lmu/yahpo_gym]上找到。
2022-07-30 cs.LG stat.ML
Efficient Hyperparameter Importance Assessment for CNNs
University of Bristol（布里斯托大学）
本文提出用 N-RReliefF 算法评估 CNN 超参数重要性，通过在十个图像分类数据集上训练超一万个模型，发现卷积层数、学习率、dropout 率、优化器和 epoch 是最重要的五个超参数，为深度学习中的超参数重要性评估奠定了基础。
2024-10-11 cs.AI cs.CV cs.LG
Optimization of Annealed Importance Sampling Hyperparameters
ETH Zurich（苏黎世联邦理工学院）；Swiss Data Science Center（瑞士数据科学中心）
退火重要性抽样（AIS）是一种流行的算法，用于估计深度生成模型的难以处理的边缘似然。虽然AIS能够保证对任意超参数集提供无偏估计，但通常的实现依赖于简单的几何平均，如初始分布和目标分布之间的几何平均桥接分布，当计算预算有限时，这会影响估计性能。为了减少采样迭代次数，我们提出了一种参数化AIS过程，该过程具有灵活的中间分布，中间分布由相对于几何平均路径的残差密度定义，我们的方法允许退火分布之间的参数共享，使用固定的线性时间表进行离散化和摊销潜变量模型中的超参数选择.我们评估了优化路径AIS对深度生成模型的边际似然估计的性能，并将其与计算密集型AIS进行比较。
2022-10-08 cs.LG stat.ML
Importance-Aware Scheduling for High-Dimensional Hyperparameter Optimization
University of Bristol, Bristol, United Kingdom（布里斯托大学）
提出GIF方法，通过小样本预热估计超参数重要性，按重要性分组并比例分配试验，保留全空间回退，在高维基准上优于TPE等方法，提升采样效率。
2026-06-08 cs.AI cs.LG
Hyperparameter Importance Across Datasets
Albert-Ludwigs-Universität Freiburg（阿尔伯特-路德维希 Freiburg 大学）
随着自动化机器学习的出现，自动化超参数优化方法现在经常用于数据挖掘。然而，这一进展尚未与自动分析的同等进展相匹配，自动分析产生的信息超出了性能优化超参数设置。在这项工作中，我们的目标是回答以下两个问题：给定一个算法，通常它最重要的超参数是什么，这些超参数的典型值是什么？我们提出的方法和框架来回答这些问题的基础上跨许多数据集的元学习。我们使用OpenML上可用的实验元数据来确定支持向量机、随机森林和Adaboost的最重要的超参数，并推断其所有超参数的先验。完全自动获得的结果为手动算法设计和自动超参数优化提供了定量基础。所进行的实验证实，所提出的方法选择的超参数确实是最重要的，并且所获得的先验也导致超参数优化的统计显着改善。
2018-05-29 cs.LG stat.ML
Multi-Objective Population Based Training
Centrum Wiskunde & Informatica（荷兰国家数学与计算机科学研究所）；Leiden University Medical Center（莱顿大学医学中心）；Delft University of Technology（代尔夫特理工大学）
针对现实中多冲突目标的超参数优化需求，本文提出多目标版PBT算法MO-PBT，并在精确率/召回率、准确率/公平性及准确率/对抗鲁棒性等任务上验证其优于随机搜索、单目标PBT和MO-ASHA。
2023-06-02 cs.LG cs.NE
SecureBoost Hyperparameter Tuning via Multi-Objective Federated Learning
Beihang University（北京航空航天大学）；Webank（微众银行）；Hong Kong University of Science and Technology（香港科技大学）
针对SecureBoost超参数难以在效用、效率和隐私间取得最优平衡的问题，本文提出约束多目标SecureBoost（CMOSB）算法，通过帕累托优化同时降低效用损失、训练成本和隐私泄露，并利用实例聚类攻击度量隐私风险，实验证明其超参数优于基线且能满足联邦学习参与者的灵活需求。
2023-08-08 cs.CR cs.LG
Bag of Baselines for Multi-objective Joint Neural Architecture Search and Hyperparameter Optimization
University of Freiburg（弗莱堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；Leibniz University Hannover（莱布尼茨汉诺威大学）
神经架构搜索（NAS）和超参数优化（HPO）通过自动查找要使用的深度神经网络的架构并调整所使用的训练管道的超参数，使非专家也能访问深度学习。虽然近年来NAS和HPO都得到了广泛的研究，但NAS方法通常假设固定的超参数，反之亦然-关于联合NAS + HPO的工作很少。此外，NAS最近经常被框定为多目标优化问题，以便采取，例如，考虑到资源需求。在本文中，我们提出了一组方法，扩展了当前的方法，以联合优化神经架构和超参数相对于多个目标。我们希望这些方法将作为未来多目标联合NAS + HPO研究的简单基线。为了便于实现这一点，我们所有的代码都可以在https://github.com/automl/multi-obj-baselines上找到。
2021-05-03 cs.AI cs.LG stat.ML
Which Hyperparameters Matter? A Game-Theoretic Framework for Interpretable Hyperparameter Sensitivity Analysis
Department of Mechanical and Industrial Engineering（机械与工业工程系）；Louisiana State University（路易斯安那州立大学）；Department of Electrical and Computer Engineering（电气与计算机工程系）
提出用于可解释超参数敏感性分析的博弈论框架，利用Shapley效应和帕累托前沿集，揭示超参数对目标的影响，为目标感知的超参数交互提供见解，通过多网络架构跨问题域实验验证其有效性。
2026-07-20 cs.LG stat.CO stat.ML
Multi-Objective Hyperparameter Optimization in Machine Learning -- An Overview
Fraunhofer Institut für integrierte Schaltungen（弗劳恩霍夫集成电路研究所）；Ludwig-Maximilians-Universität München（慕尼黑大学）；Technische Universität Dortmund（多特蒙德工业大学）；Universidad Pontificia Comillas（康普卢滕塞大学）；Warwick Business School（华威商学院）
本文综述了机器学习中的多目标超参数优化，介绍其基本概念并系统梳理进化算法与贝叶斯优化等策略，同时展示其在运行条件、预测时间、稀疏性、公平性、可解释性和鲁棒性等目标上的应用价值。
2024-06-06 cs.LG stat.ML
Optimal Hyperparameters and Structure Setting of Multi-Objective Robust CNN Systems via Generalized Taguchi Method and Objective Vector Norm
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
最近，机器学习（ML），人工智能（AI）和卷积神经网络（CNN）已经取得了巨大的进步，具有广泛的应用，其中它们的系统具有深度学习结构和大量的超参数，这些超参数决定了CNN和AI系统的质量和性能。这些系统可能具有多目标ML和AI性能需求。为多目标鲁棒最优CNN系统找到最优超参数和结构是一个关键要求。本文提出了一种广义田口方法，通过目标性能向量范数有效地确定多目标鲁棒最优CNN系统的最优超参数和结构。将所提出的方法和方法应用于CNN分类系统，并将CIFAR-10数据集的原始ResNet作为演示和验证，这表明所提出的方法非常有效，可以在CIFAR-10上实现原始ResNet的最佳准确率。
2022-02-10 cs.LG cs.SY eess.SY
A survey on multi-objective hyperparameter optimization algorithms for Machine Learning
Hasselt University（哈塞尔特大学）；Ghent University（根特大学）
超参数优化（HPO）是保证机器学习（ML）算法最佳性能的必要步骤。已经开发了几种方法来执行HPO，其中大多数都集中在优化一个性能指标（通常是基于误差的措施），这样的单目标HPO问题的文献是巨大的。然而，最近出现了专注于同时优化多个冲突目标的算法。本文对2014年至2020年期间发表的关于多目标HPO算法的文献进行了系统调查，区分了基于元模型的算法，基于元模型的算法以及使用两者混合的方法。我们还讨论了用于比较多目标HPO程序的质量指标，并提出了未来的研究方向。
2022-11-15 cs.AI cs.LG math.OC
PED-ANOVA: Efficiently Quantifying Hyperparameter Importance in Arbitrary Subspaces
Department of Computer Science, University of Freiburg, Germany（弗赖堡大学计算机科学系）
提出PED-ANOVA方法，利用Pearson散度实现任意子空间中超参数重要性的闭式计算，在保持高效性的同时准确识别关键超参数。
2023-05-26 cs.LG stat.ML
A Quantile-based Approach for Hyperparameter Transfer Learning
NAVER LABS Europe（NAVER欧洲实验室）；Amazon Web Services（亚马逊云服务）
贝叶斯优化（BO）是一种流行的方法来调整昂贵的黑盒函数的超参数。传统上，BO一次只关注一个任务，而不是为了利用来自相关功能的信息而设计的，例如跨多个数据集调优同一算法的性能目标。在这项工作中，我们介绍了一种新的方法来实现跨不同的\emph{datasets}以及不同的\emph{objectives}迁移学习。其主要思想是用半参数高斯Copula分布回归从超参数到客观分位数的映射，这提供了对不同任务中可能出现的不同尺度或离群值的鲁棒性。我们引入两种方法来利用这种映射：汤普森采样策略以及高斯Copula过程使用这样的分位数估计作为先验。我们表明，这些策略可以结合多个目标的估计，如延迟和准确性，引导超参数优化更快的预测相同的准确性水平。大量的实验表明，显着改善了国家的最先进的超参数优化和神经结构搜索的方法。
2021-04-19 cs.LG stat.ML
Hyperparameter Importance of Quantum Neural Networks Across Small Datasets
Leiden University（莱顿大学）
随着受限量子计算机逐渐成为现实，对有意义的首次应用的探索也在加强。在这一领域，研究较多的方法之一是使用一种特殊类型的量子线路-所谓的量子神经网络-作为机器学习模型的基础。粗略地说，顾名思义，量子神经网络可以发挥类似于神经网络的作用。然而，特别是对于机器学习环境中的应用，人们对合适的电路架构或应该用来实现良好学习性能的模型超参数知之甚少。在这项工作中，我们将函数方差分析框架应用于量子神经网络，以分析哪些超参数对其预测性能最有影响。我们分析了最常用的量子神经网络架构之一。然后，我们将其应用于OpenML-CC 18分类基准中的$7$开源数据集，其特征数量足够小，可以适应量子硬件，量子位数小于$20$。三个主要水平的重要性，从功能方差分析获得的超参数的排名检测。我们的实验既证实了预期的模式，也揭示了新的见解。例如，在所有数据集的边际贡献方面，设置好学习率被认为是最关键的超参数，而所使用的纠缠门的特定选择被认为是最不重要的，除了一个数据集。这项工作引入了研究量子机器学习模型的新方法，并为量子模型选择提供了新的见解。
2022-06-20 cs.LG quant-ph
Fair and Green Hyperparameter Optimization via Multi-objective and Multiple Information Source Bayesian Optimization
University of Milano-Bicocca（米兰比可卡大学）；OAKS srl（OAKS有限责任公司）
有一个共识是，只关注搜索最佳机器学习模型的准确性会放大数据中包含的偏差，导致不公平的预测和决策支持。最近，多目标超参数优化已经被提出来搜索机器学习模型，这些模型在准确性和公平性之间提供同样的帕累托有效的权衡。虽然这些方法被证明比公平感知的机器学习算法更通用-优化精度限制在某个公平阈值上-但在大型数据集的情况下，它们可能会大幅增加能耗。在本文中，我们提出了FangG-HPO，一个公平的和绿色的超参数优化（HPO）方法的基础上，多目标和多信息源贝叶斯优化。FanG-HPO使用大型数据集的子集（又名信息源）来获得准确性和公平性的廉价近似值，并使用多目标贝叶斯优化来有效地识别帕累托有效的机器学习模型。实验考虑了两个基准（公平性）数据集和两种机器学习算法（XGBoost和多层感知器），并通过BoTorch中的多目标单源优化算法对FanG-HPO进行了评估，BoTorch是最先进的贝叶斯优化平台。
2022-05-18 cs.LG math.OC stat.ML
Bayesian Optimization Using Monotonicity Information and Its Application in Machine Learning Hyperparameter
University of British Columbia（英属哥伦比亚大学）
我们提出了一个算法的一个家庭的优化问题的目标可以分解为一个函数的单调性的总和。激励问题是优化超参数的机器学习算法，我们认为，目标，验证误差，可以分解为单调函数的超参数。我们提出的算法采用贝叶斯优化方法，将单调性约束。我们使用说明性的例子说明了利用单调性的优点，并证明了一些机器学习超参数调整应用程序的优化效率的提高。
2018-02-16 cs.LG stat.ML
On the Importance of Hyperparameters and Data Augmentation for Self-Supervised Learning
University of Freiburg（弗莱堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
自监督学习（SSL）已成为深度学习研究中非常活跃的领域，它被大量用作分类和其他任务的预训练方法。然而，这一领域的快速发展是有代价的：不同论文的培训渠道差异很大，这是一个潜在的关键混淆因素。在这里，我们表明，超参数和数据增强策略的选择确实会对性能产生巨大影响。为了揭示这些被忽视的因素并帮助最大限度地发挥SSL的功能，我们对这些组件进行了超参数化，并使用贝叶斯优化对其进行了优化，显示了SimSiam SSL方法在多个数据集上的改进。意识到数据增强对SSL的重要性，我们还引入了一个新的自动化数据增强算法GroupAugment，它考虑了增强组并优化了组间的采样。与为监督学习设计的算法相比，GroupAugment在我们考虑的所有数据集上都实现了一致的高线性评估精度。总体而言，我们的研究结果表明SSL的重要性和可能被低估的数据增强的作用。
2022-07-16 cs.AI cs.CV cs.LG
Weighting Is Worth the Wait: Bayesian Optimization with Importance Sampling
Northeastern University（东北大学）；Google Research（谷歌研究院）
许多当代的机器学习模型需要大量的超参数调整才能表现良好。各种方法，如贝叶斯优化，已被开发来自动化和加快这一过程。然而，调优仍然非常昂贵，因为它通常需要反复完全训练模型。我们提出了加速贝叶斯优化方法的超参数调整的神经网络，考虑到每个训练样本贡献的相对信息量。为此，我们利用了重要性采样（IS）;这显著提高了黑盒函数计算的质量，但也提高了它们的运行时间，因此必须小心完成。将超参数搜索作为超参数和重要性采样设计的多任务贝叶斯优化问题，实现了两全其美：通过学习IS的参数化，权衡评估复杂性和质量，我们改进了贝叶斯优化最先进的运行时间和最终验证错误，跨越各种数据集和复杂的神经架构。
2020-02-23 cs.LG stat.ML
Multi-Objective Hyperparameter Selection via Hypothesis Testing on Reliability Graphs
Centre for Intelligent Information Processing Systems（智能信息处理系统中心）；Department of Engineering（工程系）；King’s College London（伦敦国王学院）
本文提出 RG-PT 框架，利用 BT 模型从先验与留出数据构建可靠性有向无环图，在 FDR 保证下进行多目标超参数选择，并显著提升探索效率。
2025-05-15 cs.IT cs.LG math.IT
A Bridge Between Hyperparameter Optimization and Learning-to-learn
Istituto Italiano di Tecnologia（意大利技术研究院）
考虑一类包含内外目标的嵌套优化问题。我们观察到，通过明确考虑内部目标的优化动态，可以导出一个统一基于梯度的超参数优化和元学习（或学习学习）的一般框架。根据具体的设置，外部目标的变量要么采用监督学习问题中的超参数的含义，要么采用元学习器的参数。我们表明，最近提出的一些方法在后者的设置可以在我们的框架中实例化，并与相同的基于梯度的算法处理。最后，我们讨论了可能的设计模式，学习学习，并提出了令人鼓舞的初步实验Few-Shot学习。
2019-08-21 cs.LG stat.ML
Faster, Cheaper, Better: Multi-Objective Hyperparameter Optimization for LLM and RAG Systems
Trustwise AI；New York University（纽约大学）；The Alan Turing Institute（艾伦·图灵研究所）
本文首次提出面向整个LLM与RAG系统的多目标超参数优化方法，利用贝叶斯优化在成本、延迟、安全性和对齐上取得更优Pareto前沿，并指出最优配置可能无法跨任务和目标泛化。
2025-05-08 cs.AI cs.CL cs.LG
Efficient hyperparameter optimization by way of PAC-Bayes bound minimization
D.E. Shaw Research（D.E. Shaw 研究所）；Department of Biochemistry and Molecular Biophysics, Columbia University（哥伦比亚大学生物化学与分子生物物理学系）
识别高维超参数集的最优值是一个问题，由于其对大规模机器学习应用（如神经架构搜索）的重要性，因此受到越来越多的关注。最近开发的优化方法可以用来选择数千甚至数百万个超参数。然而，这些方法通常会产生过拟合模型，导致对不可见数据的性能较差。我们认为，这种过拟合的结果使用标准的超参数优化目标函数。在这里，我们提出了一个替代的目标，这是相当于一个可能近似正确的贝叶斯（PAC贝叶斯）的预期样本外的错误。然后，我们设计了一个有效的基于梯度的算法，以尽量减少这个目标，所提出的方法具有渐近的空间和时间复杂度等于或优于其他基于梯度的超参数优化方法。我们表明，这种新方法显着降低了样本误差时，应用于超参数优化问题已知是容易过拟合。
2020-08-14 cs.LG stat.ML
CPMLHO:Hyperparameter Tuning via Cutting Plane and Mixed-Level Optimization
Tongji University（同济大学）
神经网络的超参数优化可以表示为一个两层优化问题。采用双层优化算法自动更新超参数，超参数的梯度为基于最佳响应函数的近似梯度。寻找最佳响应函数是非常耗时的。本文提出了一种新的超参数优化方法CPMLHO，该方法利用割平面法和混合目标函数，在内层增加一个割平面来约束响应函数的空间。为了获得更准确的超梯度，混合水平可以灵活地调整损失函数，通过使用训练集和验证集的损失。实验结果表明，与现有方法相比，该方法能够在训练过程中自动更新超参数，并能找到更多更优的超参数，具有更高的精度和更快的收敛速度。
2022-12-11 cs.LG
Hyperparameter Optimization for SecureBoost via Constrained Multi-Objective Federated Learning
School of Computer Science, Beihang University（北京航空航天大学计算机学院）；Webank（微众银行）；Hong Kong University of Science and Technology（香港科技大学）
针对 SecureBoost 超参数只凭启发式优化效用且存在标签泄露的问题，提出 CMOSB 约束多目标算法，联合权衡效用损失、训练成本与隐私泄露，并用 ICA 评估隐私及给出防御措施。
2024-04-06 cs.CR cs.LG
Feature Importance Guided Random Forest Learning with Simulated Annealing Based Hyperparameter Tuning
Florida Atlantic University（佛罗里达亚特兰大大学）
本文提出结合概率特征采样与模拟退火超参数调优的随机森林增强框架，提升预测精度与泛化能力，在多领域鲁棒分类中有效，克服传统随机森林局限，结合重要性感知采样与元启发式优化。
2025-10-31 cs.AI cs.ET cs.IT
On the Importance of Hyperparameter Optimization for Model-based Reinforcement Learning
University of Freiburg（弗赖堡大学）；Facebook AI Research（Facebook AI研究院）；UC Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）；Bosch Center for AI（博世人工智能中心）
基于模型的强化学习（MBRL）是一种很有前途的数据高效学习控制框架。由于单独的动力学建模和随后的规划算法，MBRL算法可能相当复杂，因此，它们通常拥有数十个超参数和架构选择。因此，MBRL在应用于新问题和领域之前通常需要大量的人力专业知识。为了缓解这个问题，我们建议使用自动超参数优化（HPO）。我们证明，这个问题可以有效地解决自动HPO，我们证明，产生显着提高性能相比，人类专家。此外，我们还表明，与使用在整个训练过程中保持固定的静态超参数相比，动态调整多个MBRL超参数（即在训练过程中）进一步提高了性能。最后，我们的实验为几个超参数的影响提供了有价值的见解，例如计划范围或学习率及其对训练稳定性和所得奖励的影响。
2021-02-26 cs.AI cs.LG cs.NE
Learning Hyperparameters via a Data-Emphasized Variational Objective
Tufts University（塔夫茨大学）
本文提出通过变分目标学习超参数，避免验证集带来的数据减少问题，通过数据强调的ELBO提升模型效率与准确性。
2026-04-01 cs.LG stat.ML
Interactive Hyperparameter Optimization in Multi-Objective Problems via Preference Learning
University of Bologna（博洛尼亚大学）；Leibniz University Hannover（汉诺威莱布尼茨大学）
本文提出一种面向多目标机器学习的交互式超参数优化方法，通过偏好学习从用户对Pareto前沿的成对比较中自动学习合适的质量指标，并据此优化超参数，实验表明其优于用户错误预选指标的情形，且与专家选指标的效果相当。
2024-01-11 cs.AI cs.LG
Speeding Up Multi-Objective Hyperparameter Optimization by Task Similarity-Based Meta-Learning for the Tree-Structured Parzen Estimator
Department of Computer Science, University of Freiburg, Germany（弗赖堡大学计算机科学系）；Artificial Intelligence Research Center, AIST, Tokyo, Japan（日本科学技术厅人工智能研究中心）
提出利用任务间顶级域重叠定义的任务相似性扩展TPE采集函数到元学习设置，加速多目标超参数优化，理论分析并解决相似性局限，实验证明在表格HPO基准上达到最优性能并赢得AutoML 2022竞赛。
2023-05-31 cs.AI cs.LG
Hyperparameter Optimization through Neural Network Partitioning
University of Cambridge（剑桥大学）；Qualcomm AI Research（高通人工智能研究院）
本研究受边缘似然启发，提出通过划分训练数据与神经网络参数、利用子网络训练集外损失优化超参数的方法，可单次训练优化多种超参数且成本更低，还适用于联邦学习场景。
2023-04-28 cs.LG stat.ML
Practical Multi-fidelity Bayesian Optimization for Hyperparameter Tuning
Cornell University（康奈尔大学）
贝叶斯优化在优化耗时的黑盒目标方面很受欢迎。尽管如此，对于深度神经网络中的超参数调整，即使是几个超参数设置，评估验证误差所需的时间仍然是一个瓶颈。多保真度优化承诺使用更便宜的代理来缓解这些目标-例如，使用训练点的子集训练的网络的验证错误或比收敛所需的迭代次数更少。我们提出了一种高度灵活和实用的方法，多保真度贝叶斯优化，重点是有效地优化超参数迭代训练监督学习模型。我们引入了一个新的采集函数，跟踪感知的知识梯度，它有效地利用了多个连续的保真度控制和跟踪观察-目标的值在一个序列的精度，当使用训练迭代改变保真度。我们提供了一种可证明收敛的方法来优化我们的采集函数，并表明它优于深度神经网络和大规模内核学习的超参数调整的最先进的替代方案。
2019-03-12 cs.LG math.OC stat.ME
A Bandit-Based Algorithm for Fairness-Aware Hyperparameter Optimization
Feedzai（飞载）；Universidade do Porto（波尔图大学）
相当多的研究工作已被引导到算法公平性，但仍然没有重大突破。在实践中，需要对所有可能的技术和超参数进行详尽的搜索，以找到最佳的公平性-准确性权衡。因此，再加上ML从业者缺乏工具，减少偏差方法的实际应用仍然很少。为了解决这个问题，我们提出了Fairband，一个基于带宽的公平感知超参数优化（HO）算法。Fairband在概念上简单，资源有效，易于实现，并且对目标指标，模型类型和正在探索的超参数空间都不可知。此外，通过将公平概念引入HO，我们可以将公平目标无缝有效地集成到现实世界的ML管道中。我们比较Fairband与流行的HO方法在四个现实世界的决策数据集。我们表明，Fairband可以有效地导航的公平性和准确性的权衡，通过超参数优化。此外，在没有额外的训练成本的情况下，它始终发现在预测准确性的相对较小的降低下实现大幅提高的公平性的配置。
2020-10-22 cs.AI cs.LG
Frequency-Based Hyperparameter Selection in Games
TU Munich（慕尼黑技术大学）；CISPA Helmholtz Center for Information Security（信息安全赫尔姆霍茨研究中心）；TU Wien（维也纳技术大学）
本文提出MoLA方法，通过频率估计在博弈中自适应选择超参数，提升训练效率并提供收敛保证。
2026-01-26 cs.LG
Quantifying Hyperparameter Transfer and the Importance of Embedding Layer Learning Rate
Department of Physics, University of Maryland, College Park（马里兰大学物理系）；Department of Computer Science, University of Maryland, College Park（马里兰大学计算机科学系）；Joint Quantum Institute, University of Maryland, College Park（马里兰大学联合量子研究所）；Meta Superintelligence Labs, Fundamental AI Research（Meta超智能实验室，基础人工智能研究）
本文研究了超参数迁移的量化方法，通过三种指标评估超参数迁移的质量，发现Maximal Update（μP）参数化在训练中通过最大化嵌入层学习率提升了超参数迁移质量，而权重衰减虽改善了缩放定律拟合，但会降低外推鲁棒性。
2026-05-20 cond-mat.dis-nn cs.AI cs.LG
Efficient Hyperparameter Optimization under Multi-Source Covariate Shift
CyberAgent, Inc.（赛博agent公司）；Hanjuku-kaso, Co., Ltd.（半熟 kaso 公司）
监督机器学习中的一个典型假设是训练（源）和测试（目标）数据集遵循完全相同的分布。然而，这一假设在不确定的实际应用中经常被违反，这激发了对协变量偏移下学习的研究。在这种情况下，朴素地使用自适应超参数优化方法（例如贝叶斯优化）不能如所期望的那样工作，因为它不能解决不同数据集之间的分布偏移。在这项工作中，我们考虑了一个新的超参数优化问题下的多源协变量偏移，其目标是找到最优的超参数的目标任务，仅使用未标记的数据在一个目标任务和标记的数据在多个源任务。为了对目标任务进行有效的超参数优化，必须仅使用可用信息来估计目标目标。为此，我们构造了方差减少估计，无偏地近似的目标与期望的方差属性的目标。基于所提出的估计器，我们提供了一个通用的和易于处理的超参数优化过程，它最好在我们的设置与无遗憾的保证。实验结果表明，该框架拓宽了自动超参数优化的应用范围。
2021-08-16 cs.LG stat.ML
Improving Hyperparameter Learning under Approximate Inference in Gaussian Process Models
Aalto University（阿尔托大学）；Finnish Center for Artificial Intelligence (FCAI)（芬兰人工智能中心（FCAI））
针对非共轭高斯过程中近似推断与超参数学习耦合的问题，提出结合共轭计算VI与类EP边际似然近似的混合训练方法，并在多数据集上验证其优于VI、EP和Laplace近似。
2023-06-07 cs.LG stat.ML
HyperTendril: Visual Analytics for User-Driven Hyperparameter Optimization of Deep Neural Networks
Clova AI Research, NAVER Corporation（NAVER公司Clova人工智能研究院）；KAIST（韩国科学技术院）
为了减轻手动调整深度神经网络的超参数的痛苦，已经开发了自动机器学习（AutoML）方法来在大的组合搜索空间中搜索超参数的最优集合。然而，AutoML方法的搜索结果很大程度上依赖于初始配置，这使得找到合适的配置成为一项不平凡的任务。因此，通过视觉分析方法进行人为干预在这项任务中具有巨大的潜力。作为回应，我们提出了HyperTendril，一个基于Web的可视化分析系统，支持用户驱动的超参数调整过程中的模型不可知的环境。HyperTendril采用了一种新颖的方法，通过迭代的交互式调优过程有效地引导超参数优化，该过程允许用户根据自己对给定结果的见解来细化搜索空间和AutoML方法的配置。使用HyperTendril，用户可以深入了解各种超参数搜索算法的复杂行为，并诊断其配置。此外，HyperTendril支持变量重要性分析，帮助用户根据不同超参数的相对重要性及其相互作用效果的分析来细化他们的搜索空间。我们提出的评估展示了HyperTendril如何帮助用户通过基于交互日志分析和深入访谈的纵向用户研究来引导他们的调优过程，同时我们在专业的工业环境中部署我们的系统。
2020-09-18 cs.HC cs.LG
Multi-Objective Optimization and Hyperparameter Tuning With Desirability Functions
Bartz & Bartz GmbH（巴茨与巴茨公司）
本文介绍了一种基于Python的可欲性函数方法，用于多目标优化和超参数调节，并展示了其在经典优化、代理模型优化和探索-利用权衡中的应用。
2025-12-25 cs.LG math.OC stat.AP
Exploring the Optimized Value of Each Hyperparameter in Various Gradient Descent Algorithms
Chunghwa Telecom Co., Ltd.（中华电信股份有限公司）
本研究提出一个分析框架，通过数学模型分析多种梯度下降算法中每个超参数对平均误差的影响，并基于最小化误差确定最优超参数值，实验证明该方法能提高收敛效率并降低误差。
2022-12-27 cs.LG
Error convergence and engineering-guided hyperparameter search of PINNs: towards optimized I-FENN performance
New York University Abu Dhabi（纽约大学阿布扎比分校）
本文通过误差收敛性分析和超参数与性能关系研究，提出基于整体性能指标的系统数值方法，优化 I-FENN 中 PINN 组件的精度、计算效率和稳定性。
2023-06-05 cs.LG
DC and SA: Robust and Efficient Hyperparameter Optimization of Multi-subnetwork Deep Learning Models
University of Texas Southwestern Medical Center（德克萨斯大学西南医学中心）
我们提出了两种新的超参数优化策略，用于优化具有多个子网络构建的模块化架构的深度学习模型。随着具有多个子网络的复杂网络越来越频繁地应用于机器学习，需要超参数优化方法来有效地优化其超参数。现有的超参数搜索是通用的，可以用来优化这样的网络，然而，通过利用多子网络架构，这些搜索可以大大加快。所提出的方法提供了更快的收敛到一个更好的表现最终模型。为了证明这一点，我们提出了两种独立的方法来增强这些先前的算法：1）分而治之的方法，其中最佳性能模型的最佳子网络被组合在一起，允许更快速地对超参数搜索空间进行采样。2)一种子网自适应方法，根据每个子网的重要性分配计算资源，从而实现更智能的资源分配。这些方法可以灵活地应用于许多超参数优化算法中。为了说明这一点，我们结合我们的方法与常用的贝叶斯优化方法。然后，我们的方法进行了测试，对合成的例子和现实世界的例子，并适用于多种网络类型，包括卷积神经网络和密集前馈神经网络。与类似的BO方法相比，我们的方法显示出高达23.62倍的优化效率，以及高达3.5%的分类准确率和4.4 MSE的回归最终性能提升。
2022-02-24 cs.LG
Hyperparameter Optimization for Randomized Algorithms: A Case Study on Random Features
California Institute of Technology（加州理工学院）；Princeton University（普林斯顿大学）
本文针对随机特征回归等随机算法，提出基于贝叶斯思想与集成卡尔曼反演的无梯度超参数优化方法，并在多个敏感问题中验证其有效性。
2025-02-23 cs.LG stat.CO stat.ML
PABO: Pseudo Agent-Based Multi-Objective Bayesian Hyperparameter Optimization for Efficient Neural Accelerator Design
Purdue University（普渡大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
深度神经网络（DNN）不断增加的计算成本以及对DNN加速的节能硬件的需求使得DNN的准确性和硬件成本协同优化变得非常重要，特别是对于边缘设备。由于大的参数空间和在搜索空间中评估每个参数的成本，DNN超参数的手动调整是不切实际的。自动联合DNN和硬件超参数优化是必不可少的这样的问题。基于贝叶斯优化的方法在DNN的超参数优化方面已经显示出了有希望的结果。然而，这些技术中的大多数都是在没有考虑底层硬件的情况下开发的，从而导致设计效率低下。此外，少数作品进行联合优化是不可推广的，主要集中在基于CMOS的架构。在这项工作中，我们提出了一种新的基于伪代理的多目标超参数优化（PABO），以最大限度地提高DNN的性能，同时获得低硬件成本。与现有的方法相比，我们的工作提出了一种理论上不同的方法，用于精度和硬件成本的联合优化，并专注于基于忆阻交叉杆的加速器。PABO使用一个管理代理建立网络精度和硬件成本要求的后验高斯分布模型之间的连接。该代理通过消除不必要的计算和更新的采集功能，从而实现显着的加速优化过程，降低了协同优化问题的数学复杂性。PABO输出了一个帕累托边界，强调了设计高精度和硬件效率之间的权衡。我们的研究结果表明，与最先进的方法相比，在准确性和计算速度方面（约100倍的速度）都具有优越的性能。
2019-06-11 cs.ET cs.LG cs.NE
Convergence of Adam for Non-convex Objectives: Relaxed Hyperparameters and Non-ergodic Case
针对Adam在非凸目标下收敛性未完全明确的问题，本文明确遍历与非遍历收敛定义，提出更松弛的遍历收敛超参数条件，首次证明最后迭代点收敛性，在PL条件下得到O(1/K)非遍历速率，完善理论基础。
2023-07-20 cs.LG cs.NA math.NA
