Hyperparameter Importance Across Datasets
Albert-Ludwigs-Universität Freiburg（阿尔伯特-路德维希 Freiburg 大学）
随着自动化机器学习的出现，自动化超参数优化方法现在经常用于数据挖掘。然而，这一进展尚未与自动分析的同等进展相匹配，自动分析产生的信息超出了性能优化超参数设置。在这项工作中，我们的目标是回答以下两个问题：给定一个算法，通常它最重要的超参数是什么，这些超参数的典型值是什么？我们提出的方法和框架来回答这些问题的基础上跨许多数据集的元学习。我们使用OpenML上可用的实验元数据来确定支持向量机、随机森林和Adaboost的最重要的超参数，并推断其所有超参数的先验。完全自动获得的结果为手动算法设计和自动超参数优化提供了定量基础。所进行的实验证实，所提出的方法选择的超参数确实是最重要的，并且所获得的先验也导致超参数优化的统计显着改善。
2018-05-29 cs.LG stat.ML
PED-ANOVA: Efficiently Quantifying Hyperparameter Importance in Arbitrary Subspaces
Department of Computer Science, University of Freiburg, Germany（弗赖堡大学计算机科学系）
提出PED-ANOVA方法，利用Pearson散度实现任意子空间中超参数重要性的闭式计算，在保持高效性的同时准确识别关键超参数。
2023-05-26 cs.LG stat.ML
Weighting Is Worth the Wait: Bayesian Optimization with Importance Sampling
Northeastern University（东北大学）；Google Research（谷歌研究院）
许多当代的机器学习模型需要大量的超参数调整才能表现良好。各种方法，如贝叶斯优化，已被开发来自动化和加快这一过程。然而，调优仍然非常昂贵，因为它通常需要反复完全训练模型。我们提出了加速贝叶斯优化方法的超参数调整的神经网络，考虑到每个训练样本贡献的相对信息量。为此，我们利用了重要性采样（IS）;这显著提高了黑盒函数计算的质量，但也提高了它们的运行时间，因此必须小心完成。将超参数搜索作为超参数和重要性采样设计的多任务贝叶斯优化问题，实现了两全其美：通过学习IS的参数化，权衡评估复杂性和质量，我们改进了贝叶斯优化最先进的运行时间和最终验证错误，跨越各种数据集和复杂的神经架构。
2020-02-23 cs.LG stat.ML
Quantifying Hyperparameter Transfer and the Importance of Embedding Layer Learning Rate
Department of Physics, University of Maryland, College Park（马里兰大学物理系）；Department of Computer Science, University of Maryland, College Park（马里兰大学计算机科学系）；Joint Quantum Institute, University of Maryland, College Park（马里兰大学联合量子研究所）；Meta Superintelligence Labs, Fundamental AI Research（Meta超智能实验室，基础人工智能研究）
本文研究了超参数迁移的量化方法，通过三种指标评估超参数迁移的质量，发现Maximal Update（μP）参数化在训练中通过最大化嵌入层学习率提升了超参数迁移质量，而权重衰减虽改善了缩放定律拟合，但会降低外推鲁棒性。
2026-05-20 cond-mat.dis-nn cs.AI cs.LG
Hyperparameters and Tuning Strategies for Random Forest
随机森林算法（RF）具有必须由用户设置的若干超参数，例如，为每棵树随机抽取的观测值的数量，以及它们是在有替换还是没有替换的情况下抽取的，为每次分裂随机抽取的变量的数量，分裂规则，节点必须包含的样本的最小数量以及树的数量。在本文中，我们首先提供了一个文献综述的参数的影响，预测性能和变量的重要性措施。众所周知，在大多数情况下，RF与软件包中指定的超参数的默认值一起工作得相当好。然而，调整超参数可以提高RF的性能。在本文的第二部分中，在简要概述了调优策略之后，我们演示了最成熟的调优策略之一基于模型的优化（MBO）的应用。为了使其更易于使用，我们提供了tuneRanger R软件包，可以自动使用MBO调谐RF。在对几个数据集的基准研究中，我们比较了tuneRanger的预测性能和运行时间与R和RF中使用默认超参数的其他调优实现。
2019-02-26 cs.LG stat.ML
Efficient Hyperparameter Optimization of Deep Learning Algorithms Using Deterministic RBF Surrogates
National University of Singapore（新加坡国立大学）
自动搜索最优超参数配置对于在实践中应用深度学习算法至关重要。最近，贝叶斯优化已经被提出用于优化各种机器学习算法的超参数。这些方法采用高斯过程等概率代理模型来近似和最小化超参数值的验证误差函数。然而，概率代理需要足够的统计数据的准确估计（例如，协方差），因此需要使用大量超参数进行许多函数求值。这使得它们在优化深度学习算法的超参数时效率低下，而这些算法的评估成本非常高。在这项工作中，我们提出了一个新的确定性和有效的超参数优化方法，采用径向基函数作为误差代理。所提出的混合整数算法，称为HORD，通过动态坐标搜索，搜索最有前途的超参数值的代理，并需要更少的功能评估。HORD在低维情况下表现良好，但在高维情况下尤其出色。对四个深度神经网络的MNIST和CIFAR-10的广泛评估表明，HORD显著优于成熟的贝叶斯优化方法，如GP，SMAC和TPE。例如，平均而言，HORD在获得19个超参数的最佳配置方面比GP-EI快6倍以上。
2017-01-21 cs.AI cs.LG stat.ML
Improving Accuracy of Interpretability Measures in Hyperparameter Optimization via Bayesian Algorithm Execution
Ludwig-Maximilians-Universität München（慕尼黑大学）；Leibniz University Hannover（汉诺威莱布尼茨大学）
尽管自动超参数优化（HPO）有很多好处，但大多数现代HPO算法本身都是黑盒。这使得难以理解导致所选配置的决策过程，降低了对HPO的信任，从而阻碍了其广泛采用。在这里，我们研究了HPO与可解释的机器学习（IML）方法（如部分依赖图）的结合。这些技术越来越多地用于解释超参数对黑箱成本函数的边际效应或量化超参数的重要性。然而，如果这些方法以事后方式天真地应用于HPO过程的实验数据，则优化器的潜在采样偏差可能会扭曲解释。我们提出了一种改进的HPO方法，有效地平衡了搜索全局最优w.r.t.预测性能\emph{and}通过耦合贝叶斯优化和贝叶斯算法执行，对底层黑盒函数的IML解释进行可靠估计。在神经网络的合成目标和HPO的基准情况下，我们证明了我们的方法返回更可靠的解释的基础黑盒没有损失的优化性能。
2023-02-12 cs.LG stat.ML
Taming Hyperparameter Sensitivity in Data Attribution: Practical Selection Without Costly Retraining
University of Michigan Ann Arbor（密歇根大学安娜堡分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究首次大规模实证揭示数据归因方法对超参数的敏感性，并提出基于理论分析的无重训练正则化选择流程，以低成本实现有效调优。
2025-10-23 cs.LG stat.ML
Maximum Likelihood Estimation of Flexible Survival Densities with Importance Sampling
Columbia University（哥伦比亚大学）
针对离散和混合生存模型对分箱、聚类等超参数敏感且易不稳定的问题，提出基于重要性采样的灵活生存密度最大似然估计方法，免除相关调优并在多个真实数据集上达到或超过基线性能。
2023-11-03 cs.LG stat.ML
Bayesian Optimization is Superior to Random Search for Machine Learning Hyperparameter Tuning: Analysis of the Black-Box Optimization Challenge 2020
Twitter（推特）；Facebook（脸书）；SigOpt, an Intel company（SigOpt（英特尔公司旗下））；Valohai；Paradigm（第四范式）；ChaLearn
本文介绍了2020年7月至10月在NeurIPS 2020上进行的黑盒优化（BBO）挑战的结果和见解。该挑战强调了评估无导数优化器对于调整机器学习模型的超参数的重要性。这是第一个以机器学习为重点的黑盒优化挑战。它基于标准机器学习模型在真实数据集上的调整（验证集）性能。这种竞争具有广泛的影响，因为黑盒优化（例如，贝叶斯优化）与几乎每个机器学习项目以及机器学习之外的许多应用程序中的超参数调优相关。最终的排行榜是使用保持（隐藏）目标函数的优化性能确定的，其中优化器在没有人为干预的情况下运行。基线是使用几个开源黑盒优化包的默认设置以及随机搜索来设置的。
2021-08-31 cs.AI cs.LG stat.ML
Statistically Valid Post-Training Hyperparameter Selection: From Tuning to Guarantees
Institute for Intelligent Networked Systems (INSI)（智能网络系统研究所）
提出基于学习-测试（LTT）范式的统一统计框架，将超参数选择转化为多重假设检验问题，实现满足可靠性要求（如平均风险、分位数风险等）的超参数选择，并提供有限样本误差概率控制。
2026-09-28 cs.IT cs.LG math.IT
Hyperparameter Tuning for Causal Inference with Double Machine Learning: A Simulation Study
本文通过模拟研究，实证评估了双重机器学习中ML方法的预测性能与因果估计的关系，探讨了超参数调优、数据分割方案、ML方法选择及AutoML框架对因果参数估计的影响，并检验了基于预测指标选择因果模型的可行性。
2024-02-07 econ.EM stat.ML
Quantifying error contributions of computational steps, algorithms and hyperparameter choices in image classification pipelines
数据科学依赖于以相互依赖的计算步骤的形式组织的管道。每个步骤由可能用于执行特定功能的各种候选算法组成。每个算法都由多个超参数组成。算法和超参数必须作为一个整体进行优化，以产生最佳性能。典型的机器学习流水线通常在每个步骤中包括复杂的算法。不仅选择过程是组合的，而且解释和理解管道也很重要。我们提出了一种方法来量化管道中不同层的重要性，通过计算相对于该层中算法的不可知选择的错误贡献。我们证明了我们的方法对图像分类管道。不可知方法量化了图像分类流水线中计算步骤、算法和超参数的误差贡献。我们表明，算法选择和超参数优化方法可以用来量化的错误贡献，随机搜索是能够量化的贡献比贝叶斯优化更准确。领域专家可以使用这种方法来理解机器学习和数据分析管道的各个组件，这有助于对管道的不同组件进行优先级排序。
2019-02-25 cs.CV cs.LG stat.ML
Quantifying contribution and propagation of error from computational steps, algorithms and hyperparameter choices in image classification pipelines
Rensselaer Polytechnic Institute（伦斯勒理工学院）
数据科学依赖于以相互依赖的计算步骤的形式组织的管道。每个步骤由可能用于执行特定功能的各种候选算法组成。每个算法都由多个超参数组成。算法和超参数必须作为一个整体进行优化，以产生最佳性能。典型的机器学习流水线在每个步骤中都包含复杂的算法。不仅选择过程是组合的，而且解释和理解管道也很重要。我们提出了一种方法来量化管道中不同组件的重要性，通过计算相对于计算步骤，算法和超参数的不可知选择的误差贡献。我们还提出了一种方法来量化传播的错误，从个别组件的管道的帮助下，一个天真的基准测试算法不参与管道。我们证明了我们的方法对图像分类管道。不可知和朴素方法分别从图像分类流水线中的计算步骤、算法和超参数量化误差贡献和传播。我们表明，算法选择和超参数优化方法，如网格搜索，随机搜索和贝叶斯优化可以用来量化的错误贡献和传播，随机搜索是能够量化他们更准确地比贝叶斯优化。领域专家可以使用这种方法来理解机器学习和数据分析管道的各个组件，这有助于对管道的不同组件进行优先级排序。
2019-02-21 cs.CV cs.LG stat.ML
Effect of hyperparameters on variable selection in random forests
Universität zu Lübeck（吕贝克大学）；Universitätsklinikum Schleswig-Holstein（石勒苏益格-荷尔斯泰因大学医院）；DZHK (German Center for Cardiovascular Research)（德国心血管研究中心）
本研究通过模拟实验评估随机森林超参数对Vita和Boruta变量选择的影响，发现分裂候选变量比例和样本比例影响最大，且最优设置取决于数据相关性，默认值并非总是最佳。
2025-01-25 cs.LG stat.ML
Data-Efficient Pipeline for Offline Reinforcement Learning with Limited Data
Stanford University（斯坦福大学）
离线强化学习（RL）可以通过利用历史数据来提高未来的性能。存在许多不同的离线RL算法，并且众所周知，这些算法及其超参数设置可以导致具有显著不同性能的决策策略。这促使需要管道，允许从业者系统地执行算法超参数选择他们的设置。至关重要的是，在大多数现实环境中，这个管道必须只涉及历史数据的使用。受监督学习的统计模型选择方法的启发，我们引入了一个任务和方法无关的管道，用于在提供的数据集大小有限时自动训练，比较，选择和部署最佳策略。特别是，我们的工作强调了执行多个数据分割以产生更可靠的算法超参数选择的重要性。虽然这是监督学习中的常见方法，但据我们所知，这在离线RL设置中尚未详细讨论。我们表明，当数据集很小时，它可以产生重大影响。与其他方法相比，我们提出的管道从广泛的离线策略学习算法以及医疗保健，教育和机器人技术中的各种仿真领域输出更高性能的部署策略。这项工作有助于开发一个通用的元算法，用于离线RL的自动算法超参数选择。
2023-01-12 cs.AI cs.LG cs.RO
Model Selection for Off-policy Evaluation: New Algorithms and Experimental Protocol
UIUC（伊利诺伊大学香槟分校）；Columbia University（哥伦比亚大学）；IIIT Delhi（德里印度理工学院）；USTC（中国科学技术大学）
针对离线强化学习中OPE超参数调优问题，提出新的无模型和基于模型的选择器及实验协议，LSTD-Tournament在Gym-Hopper上表现良好。
2025-10-24 cs.AI cs.LG stat.ML
