Amortized Auto-Tuning: Cost-Efficient Bayesian Transfer Optimization for Hyperparameter Recommendation
Carnegie Mellon University（卡内基梅隆大学）；Petuum（Petuum公司）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Stanford University（斯坦福大学）
随着现代机器学习模型的超参数数量和训练时间的激增，超参数调整变得越来越昂贵。然而，在系统地评估了40种调优方法后，我们发现每种方法都面临一定的局限性。特别是，通过知识转移加速调优的方法通常需要超参数的最终性能，并且不关注低保真度信息。正如我们的经验表明，这种常见的做法是次优的，并可能导致不必要的资源使用。相反，利用低保真度调优观察来测量任务间的相似性并相应地将知识从现有任务转移到新任务是更具有成本效益的。然而，执行多保真度调优在传输设置中也有其自身的挑战：额外观察中的噪声以及对性能预测的需求。因此，我们提出了一个多任务多保真度贝叶斯优化框架，并进行了深入的分析，这导致了最好的实例-分期自动调整（AT 2）。我们进一步提出了一个离线计算的27任务超参数推荐（HyperRec）数据库，以服务于社区。在HyperRec和其他真实数据库上的大量实验表明了我们的AT 2方法的有效性。
2022-04-07 cs.AI cs.LG stat.ML
Cost-Efficient Online Hyperparameter Optimization
University of Toronto（多伦多大学）；Uber ATG（优步先进技术集团）；ETH Zürich（苏黎世联邦理工学院）
最近关于超参数优化（HPO）的工作表明，可以将某些超参数与常规参数一起训练。然而，这些在线HPO算法仍然需要在每个训练步骤中对一组验证示例进行评估，从而急剧增加了训练成本。为了决定何时查询验证损失，我们将在线HPO建模为随时间变化的贝叶斯优化问题，在此基础上，我们提出了一种新的\textit{costly feedback}设置来捕获查询成本的概念。在这种设置下，标准算法是成本效率低下的，因为它们在每一轮都对验证集进行评估。相比之下，本文提出的具有成本效益的GP-UCB算法仅在模型对当前决策不太自信时才查询未知函数。我们通过在CIFAR-10和ImageNet 100上在线调整VGG和ResNet的超参数来评估我们提出的算法。我们提出的在线HPO算法在一次实验中达到了人类专家级的性能，而与常规训练相比，只产生了适度的计算开销。
2021-01-17 cs.AI cs.CV cs.LG
Multi-Objective Hyperparameter Tuning and Feature Selection using Filter Ensembles
Ludwig-Maximilians-Universität München（慕尼黑大学）；Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所）
特征选择和超参数调整是机器学习中的关键任务。超参数调整通常有助于提高模型性能，而特征选择则用于获得稀疏模型。稀疏性可以产生更好的模型可解释性和更低的数据采集、数据处理和模型推断成本。虽然稀疏性可能对预测性能具有有益或有害的影响，但是性能的小幅下降可能是可接受的，以换取稀疏性的实质性增益。因此，我们把特征选择作为一个多目标优化任务。我们同时执行超参数调整和特征选择，因为模型特征的选择可能会影响超参数的表现。我们提出，基准，并比较两种不同的方法多目标联合超参数优化和特征选择：第一个使用多目标基于模型的优化。第二个是一个进化的NSGA-II为基础的包装器方法，采用专门的采样，突变和重组运营商的功能选择。这两种方法都使用参数化滤波器集成。虽然基于模型的优化需要较少的客观评估来实现良好的性能，但与NSGA-II相比，它会产生计算开销，因此首选的选择取决于在给定数据上评估模型的成本。
2020-02-13 cs.LG stat.ML
Model Exploration with Cost-Aware Learning
我们提出了一个扩展主动学习例程，其中明确考虑了非常数成本。这项工作考虑了已知和未知的成本，并为不仅考虑最小化总成本而且还能够探索样本空间的高成本区域的学习者引入了术语ε-节俭。我们在一个著名的机器学习数据集上证明了我们的扩展，并发现ε-节俭学习器优于已知成本和随机抽样的学习器。
2020-10-09 cs.LG stat.ML
Cost-aware Bayesian Optimization
Cornell University（康奈尔大学）；Amazon, Berlin, Germany（亚马逊柏林分公司）
贝叶斯优化（BO）是一类全局优化算法，适用于在尽可能少的函数评估中最小化昂贵的目标函数。虽然BO预算通常在迭代中给出，但这隐含地根据迭代计数来度量收敛，并假设每个评估具有相同的成本。实际上，评估成本在搜索空间的不同区域中可能不同。例如，神经网络训练的成本与层大小成二次方增加，这是一个典型的超参数。成本感知的BO测量与时间、精力或金钱等替代成本指标的融合，普通BO方法不适合这些成本指标。我们引入成本分摊BO（CArBO），它试图以尽可能少的成本最小化目标函数。CArBO结合了成本效益的初始设计与成本冷却优化阶段，随着迭代的进行，该阶段会使学习到的成本模型贬值。在一组20黑盒函数优化问题，我们表明，在相同的成本预算，CArBO发现显着更好的超参数配置比竞争的方法。
2020-03-22 cs.LG stat.ML
FedHENet: A Frugal Federated Learning Framework for Heterogeneous Environments
Universidade da Coruña（乌拉圭大学）；CITIC；Facultade de Informática（信息学院）
FedHENet提出一种节俭的联邦学习框架，通过固定预训练特征提取器和单层输出学习，实现高效稳定的图像分类，提升能效并消除超参数调优的碳足迹。
2026-02-13 cs.CV cs.LG
A Nonmyopic Approach to Cost-Constrained Bayesian Optimization
SigOpt: An Intel Company（SigOpt（英特尔旗下公司））；Facebook（脸书）；Amazon（亚马逊）
贝叶斯优化（BO）是一种流行的方法，用于优化昂贵的评估黑盒函数。BO预算通常在迭代中给出，这隐含地假设每个评估具有相同的成本。事实上，在许多BO应用程序中，评估成本在搜索空间的不同区域中变化很大。在超参数优化中，神经网络训练所花费的时间随着层的大小而增加;在临床试验中，药物化合物的货币成本不同;在最优控制中，控制动作具有不同的复杂性。成本约束BO测量与替代成本度量（诸如时间、金钱或能量）的收敛，标准BO方法的样本效率不适合于这些成本度量。对于成本受限的BO，成本效率远比样本效率重要。在本文中，我们制定成本约束BO作为一个约束马尔可夫决策过程（CMDP），并开发一个有效的推出近似的最佳CMDP政策，同时考虑到成本和未来的迭代。我们验证了我们的方法收集的超参数优化问题，以及传感器组选择的应用。
2021-06-10 cs.LG stat.ML
High-dimensional Neural Feature Design for Layer-wise Reduction of Training Cost
KTH Royal Institute of Technology（瑞典皇家理工学院）
我们设计了一个基于ReLU的多层神经网络，将每一层的特征向量映射到一个更高的维度空间。我们在每一层中设计权重矩阵，以确保随着层数的增加，训练成本降低。如果凸成本最小化，则在高维空间中向目标的线性投影导致较低的训练成本。在最小化过程中使用了$\ell_2$ -范数凸约束，以减小泛化误差并避免过拟合。网络的正则化超参数是解析推导的，以保证训练成本的单调递减，因此，它消除了交叉验证来找到每一层中的正则化超参数的需要。我们表明，所提出的架构是范数保持的，并提供了一个可逆的特征向量，因此，可以用来减少训练成本的任何其他学习方法，采用线性投影来估计目标。
2020-08-21 cs.LG stat.ML
Bayesian Optimization for Iterative Learning
University of Oxford（牛津大学）
深度（强化）学习系统的性能关键取决于超参数的选择。它们的调整是出了名的昂贵，通常需要迭代训练过程来运行许多步骤以收敛。传统的优化算法只考虑经过多次昂贵的迭代后获得的超参数的最终性能，而忽略了早期训练步骤的中间信息。在本文中，我们提出了一个贝叶斯优化（BO）的方法，利用迭代结构的学习算法有效的超参数调整。我们建议学习一个评估函数，根据训练成功和稳定性，将训练过程中任何阶段的学习进度压缩为单个数值分数。然后，我们的BO框架将评估超参数设置的好处与额外训练步骤的计算成本进行平衡。我们通过选择性地包括来自任何评估的超参数集的不同训练步骤的分数来进一步提高模型效率。我们通过调整用于训练深度强化学习代理和卷积神经网络的超参数来证明我们算法的效率。我们的算法在最短时间内识别最佳超参数方面优于所有现有的基线。
2021-01-16 cs.LG stat.ML
PABO: Pseudo Agent-Based Multi-Objective Bayesian Hyperparameter Optimization for Efficient Neural Accelerator Design
Purdue University（普渡大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
深度神经网络（DNN）不断增加的计算成本以及对DNN加速的节能硬件的需求使得DNN的准确性和硬件成本协同优化变得非常重要，特别是对于边缘设备。由于大的参数空间和在搜索空间中评估每个参数的成本，DNN超参数的手动调整是不切实际的。自动联合DNN和硬件超参数优化是必不可少的这样的问题。基于贝叶斯优化的方法在DNN的超参数优化方面已经显示出了有希望的结果。然而，这些技术中的大多数都是在没有考虑底层硬件的情况下开发的，从而导致设计效率低下。此外，少数作品进行联合优化是不可推广的，主要集中在基于CMOS的架构。在这项工作中，我们提出了一种新的基于伪代理的多目标超参数优化（PABO），以最大限度地提高DNN的性能，同时获得低硬件成本。与现有的方法相比，我们的工作提出了一种理论上不同的方法，用于精度和硬件成本的联合优化，并专注于基于忆阻交叉杆的加速器。PABO使用一个管理代理建立网络精度和硬件成本要求的后验高斯分布模型之间的连接。该代理通过消除不必要的计算和更新的采集功能，从而实现显着的加速优化过程，降低了协同优化问题的数学复杂性。PABO输出了一个帕累托边界，强调了设计高精度和硬件效率之间的权衡。我们的研究结果表明，与最先进的方法相比，在准确性和计算速度方面（约100倍的速度）都具有优越的性能。
2019-06-11 cs.ET cs.LG cs.NE
Pareto-efficient Acquisition Functions for Cost-Aware Bayesian Optimization
MIT（麻省理工学院）；Amazon Web Services（亚马逊云科技）
贝叶斯优化（BO）是一种流行的方法来优化昂贵的黑盒函数。它有效地调整机器学习算法的隐含假设下，超参数评估成本大致相同。实际上，评估不同超参数的成本，无论是时间、美元还是能源，都可以跨越几个数量级的差异。虽然已经提出了一些方法来使BO具有成本意识，但这些方法都没有被证明有效。在这项工作中，我们重新制定成本意识BO的帕累托效率，并引入成本帕累托阵线，数学对象，使我们能够突出常用的收购功能的缺点。在此基础上，我们提出了一种新的帕累托有效的适应预期的改善。在144个真实世界的黑盒函数优化问题上，我们证明了我们的帕累托高效采集函数显著优于以前的解决方案，带来了高达50%的速度提升，同时提供了对成本-精度权衡的更精细控制。我们还重新审视了高斯过程成本模型的常见选择，表明简单，低方差成本模型可以有效地预测训练时间。
2020-11-24 cs.LG stat.ML
Cost-Sensitive Freeze-thaw Bayesian Optimization for Efficient Hyperparameter Tuning
KAIST（韩国科学技术院）；University of Freiburg（弗赖堡大学）；Korea University（韩国大学）
本文提出成本敏感的冻结-解冻贝叶斯优化方法，通过引入效用函数、新采集函数和停止准则，并利用迁移学习提高样本效率，在超参数优化中实现成本与性能的更好权衡。
2025-10-24 cs.LG
Implications on Feature Detection when using the Benefit-Cost Ratio
TU Dortmund（多特蒙德工业大学）
在许多实际的机器学习应用中，有两个目标：一个是最大化预测精度，另一个是最小化所得模型的成本。这些单个功能的成本可能是财务成本，但也可以指其他方面，例如评估时间。特征选择解决了这两个目标，因为它减少了特征的数量，并可以提高模型的泛化能力。如果特性之间的成本不同，则特性选择需要权衡每个特性的单独收益和成本。一个流行的权衡选择是两者的比率，BCR（效益成本比）。在本文中，我们分析了使用这种措施的影响，特别关注的能力，以区分相关功能的噪音。我们进行了模拟研究，不同的成本和数据设置，并获得相关功能的检测率和经验分布的权衡比。我们的模拟研究揭示了成本设置对检测率的明显影响。在成本差异大而效应量小的情况下，BCR会遗漏相关特征，而偏好廉价的噪声特征。我们的结论是，在没有控制超参数的情况下，预测性能和成本之间的权衡很容易过分强调非常便宜的噪声特征。虽然简单的效益成本比提供了一个简单的解决方案，以纳入成本，重要的是要意识到它的风险。避免成本接近于0，重新调整大的成本差异，或使用超参数权衡是抵消本文所揭示的不利影响的方法。
2020-08-15 cs.LG stat.ML
Fast Bayesian Optimization of Machine Learning Hyperparameters on Large Datasets
University of Freiburg（弗莱堡大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
贝叶斯优化已经成为机器学习算法（例如支持向量机或深度神经网络）的超参数优化的成功工具。尽管它取得了成功，但对于大型数据集，训练和验证单个配置通常需要数小时、数天甚至数周，这限制了可实现的性能。为了加速超参数优化，我们提出了一个生成模型的验证误差作为训练集大小的函数，这是在优化过程中学习，并允许探索初步配置的小子集，通过外推到完整的数据集。我们构建了一个贝叶斯优化过程，称为Fabolas，它将损失和训练时间建模为数据集大小的函数，并自动权衡关于全局最优值的高信息增益与计算成本。优化支持向量机和深度神经网络的实验表明，Fabolas找到高质量解决方案的速度通常比其他最先进的贝叶斯优化方法或最近提出的强盗策略Hyperband快10到100倍。
2017-03-07 cs.AI cs.LG stat.ML
Efficiently Estimating Optimal Hyperparameter Scaling Laws through Power-Law Entropy Search
Meta；National University of Singapore（新加坡国立大学）；Atomic Machines（原子机器公司）
该研究提出幂律熵搜索（PLES），一种基于多保真度贝叶斯优化的获取函数，可高效估计LLM的最优超参数缩放定律，其计算预算仅为传统网格搜索的十分之一。
2026-10-16 cs.AI cs.LG
Tune As You Scale: Hyperparameter Optimization For Compute Efficient Training
Generally Intelligent（通用智能公司）；UC Berkeley（加州大学伯克利分校）
针对大模型超参数调优成本高、难度大的问题，提出成本感知帕累托区域贝叶斯搜索算法CARBS，可随模型规模扩展同步调优，以更低计算量复现经典缩放结果并适配各类深度学习任务。
2023-06-13 cs.AI cs.LG
Faster, Cheaper, Better: Multi-Objective Hyperparameter Optimization for LLM and RAG Systems
Trustwise AI；New York University（纽约大学）；The Alan Turing Institute（艾伦·图灵研究所）
本文首次提出面向整个LLM与RAG系统的多目标超参数优化方法，利用贝叶斯优化在成本、延迟、安全性和对齐上取得更优Pareto前沿，并指出最优配置可能无法跨任务和目标泛化。
2025-05-08 cs.AI cs.CL cs.LG
Frugal Algorithm Selection
School of Computer Science（计算机科学学院）；University of St Andrews（圣安德鲁大学）
针对自动化算法选择训练成本过高的问题，本文结合主动学习、超时预测和递增超时采样选择训练实例子集，并在 ASLib 六个数据集上验证其标注成本降低效果。
2024-05-17 cs.LG
Critical Bach Size Minimizes Stochastic First-Order Oracle Complexity of Deep Learning Optimizer using Hyperparameters Close to One
Meiji University（明治大学）
实践结果表明，使用小的恒定学习率、接近1的超参数和大批量的深度学习优化器可以找到深度神经网络的模型参数，使损失函数最小化。我们首先展示了理论证据，动量方法（动量）和自适应矩估计（亚当）在这个意义上表现良好，理论性能指标的上限是小的恒定学习率，超参数接近一个，和一个大批量。接下来，我们表明，存在一个批量大小称为临界批量大小最小化随机一阶预言机（SFO）的复杂性，这是随机梯度计算成本，和SFO复杂性增加，一旦批量大小超过临界批量大小。最后，我们提供了支持我们的理论结果的数值结果。也就是说，数值结果表明，亚当使用一个小的恒定的学习率，超参数接近1，和临界批量大小最小化SFO复杂性比动量和随机梯度下降（SGD）具有更快的收敛。
2022-08-21 cs.LG math.OC
UCCI: Calibrated Uncertainty for Cost-Optimal LLM Cascade Routing
Independent Researcher（独立研究者）
本文提出UCCI，一种以校准为核心的路由方法，通过异质回归将token层面的边际不确定性映射到查询级误差概率，并通过约束成本最小化选择升级阈值。在三个显式假设下，阈值策略在校准分数上是成本最优的，异质校准在期望校准误差（ECE）上实现O(n^{-1/3})的样本复杂度。在75000个生产命名实体识别工作负载上，UCCI将推理成本降低了31%（95%CI：[27%, 35%]），同时将ECE从0.12降低到0.03。
2026-05-11 cs.CL cs.LG
Frugal Machine Learning for Energy-efficient, and Resource-aware Artificial Intelligence
Information Technologies Institute, Centre for Research and Technology Hellas（信息技术研究所，希腊研究中心与技术 Hellas）；Dept. of Informatics & Telematics, Harokopio University（信息与电信学系，哈罗基奥大学）
本文系统梳理了节俭机器学习（FML）在输入、学习过程和模型三个层面的资源节约策略，结合模型压缩、节能硬件、知识蒸馏等技术，为边缘计算和物联网等资源受限环境提供高效、低耗的机器学习方案，并展望未来研究方向。
2025-06-02 cs.AI cs.LG
Convex Optimization with Nested Evolving Feasible Sets
本文研究了可行集随时间演化的一系列嵌套问题，提出懒算法和Frugal算法，在不同凸性条件下实现最优的后悔和移动成本控制。
2026-08-18 cs.DS cs.LG math.OC
Bayesian Optimization of Genetic Algorithm Hyperparameters in a Multi-Fidelity Framework for Efficient Lattice Material Design
IMDEA Materials Institute（IMDEA材料研究所）；Department of Materials Science and Engineering and Chemical Engineering（材料科学与工程及化学工程系）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
研究提出多保真框架优化遗传算法超参数，整合三个保真度级别，评估多种采集函数，logNEI性能最佳。该框架确定的超参数配置能减少计算成本，实现快速收敛，验证了代理驱动优化策略的有效性，证明多保真优化对GA超参数调整及晶格设计研究的潜力。
2026-07-09 cond-mat.dis-nn cond-mat.mtrl-sci cs.AI
Shorter but not Worse: Frugal Reasoning via Easy Samples as Length Regularizers in Math RLVR
MBZUAI；Ecole Polytechnique（巴黎政治学院）
通过易样本作为长度正则化器，使模型在不增加输出长度的情况下更高效地解决复杂问题。
2026-01-09 cs.AI cs.LG stat.ML
Taming Hyperparameter Sensitivity in Data Attribution: Practical Selection Without Costly Retraining
University of Michigan Ann Arbor（密歇根大学安娜堡分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究首次大规模实证揭示数据归因方法对超参数的敏感性，并提出基于理论分析的无重训练正则化选择流程，以低成本实现有效调优。
2025-10-23 cs.LG stat.ML
Efficient Hyperparameter Search for Non-Stationary Model Training
Google DeepMind（谷歌DeepMind）
本研究提出一种两阶段方法，通过高效识别候选配置并减少超参数搜索成本，提升非平稳模型训练效率。
2025-12-01 cs.LG stat.ML
QuickCent: a fast and frugal heuristic for harmonic centrality estimation on scale-free networks
Universidad de Chile（智利大学）；National Center for Artificial Intelligence (CENIA)（国家人工智能中心）
本文提出 QuickCent，一种受快速简约启发式启发的调和中心性估计方法，利用入度等局部密度度量作为网络区域大小的代理，在无标度网络上以低计算成本取得与复杂机器学习方法相当的准确率。
2024-06-10 cs.LG cs.SI
ACE: Adaptive Constraint-aware Early Stopping in Hyperparameter Optimization
Texas A&M University（德州农工大学）；Microsoft Corporation（微软公司）
部署机器学习模型需要高质量的模型，并需要遵守应用程序约束。这促使超参数优化（HPO）在部署约束下调整模型配置。这些约束通常需要额外的计算成本来评估，并且训练不合格的配置会浪费大量的调优成本。在这项工作中，我们提出了一个自适应约束感知早期停止（ACE）的方法，将约束评估到试验修剪HPO期间。为了最小化总体优化成本，ACE估计成本有效的约束评估区间的理论分析的基础上的预期评估成本。同时，我们在ACE中提出了一个层早期停止准则，该准则在剪枝时考虑了优化和约束度量，并且不需要正则化超参数。我们的实验表明，优越的性能ACE超参数调整的分类任务的公平性或鲁棒性约束。
2022-08-04 cs.LG
Optimizing Millions of Hyperparameters by Implicit Differentiation
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
我们提出了一个廉价的基于梯度的超参数优化算法，结合了隐函数定理（IFT）与高效的逆Hessian近似。我们目前的IFT和区分通过优化，激励我们的算法之间的关系的结果。我们使用所提出的方法来训练具有数百万权重和数百万超参数的现代网络架构。例如，我们学习一个数据增强网络-其中每个权重都是针对验证性能调整的超参数-输出增强的训练样本。使用我们的方法联合调整权重和超参数，在内存和计算方面的成本仅是标准训练的几倍。
2019-11-06 cs.LG stat.ML
ExperienceThinking: Constrained Hyperparameter Optimization based on Knowledge and Pruning
Harbin Institute of Technology（哈尔滨工业大学）；University of California San Diego（加州大学圣迭戈分校）
机器学习算法对超参数非常敏感，并且它们的评估通常是昂贵的。用户迫切需要智能方法根据已知的评价信息快速优化超参数设置，从而降低计算成本，提高优化效率。受此启发，我们提出了ExperienceThinking算法，以快速找到最好的可能的超参数配置的机器学习算法在几个配置评估。ExperienceThinking设计了两种新的方法，分别从搜索空间剪枝和知识利用两个方面智能地推断最优配置。两种方法相辅相成，有效地解决了约束超参数优化问题。为了证明ExperienceThinking的好处，我们将其与3个经典的超参数优化算法进行了比较，这些算法具有少量的配置评估。实验结果表明，我们提出的算法提供了优越的结果，并取得更好的性能。
2020-05-04 cs.LG stat.ML
Online Hyperparameter Search Interleaved with Proximal Parameter Updates
University of Agder（阿格德尔大学）
显然需要有效的算法来调整统计学习方案的超参数，因为通常应用的搜索方法（例如具有N重交叉验证的网格搜索）是低效的和/或近似的。以前现有的算法，有效地搜索超参数依赖于平滑的成本函数不能应用于问题，如拉索回归。在这方面的贡献，我们开发了一个超参数优化方法，依赖于结构的近端梯度方法，不需要一个光滑的成本函数。这种方法被应用于留一法（LOO）验证的Lasso和Group Lasso，以产生高效的、数据驱动的超参数优化算法。数值实验证实了所提出的方法收敛到局部最优的LOO验证误差曲线，其近似的效率。
2020-04-06 cs.LG eess.SP stat.ML
Rethinking Default Values: a Low Cost and Efficient Strategy to Define Hyperparameters
Federal Technology University - Paraná（巴拉那联邦技术大学）；São Paulo State University (UNESP)（圣保罗州立大学）；University of São Paulo (USP)（圣保罗大学）；Federal University of Ouro Preto (UFOP)（欧鲁普雷图联邦大学）；State University of Londrina (UEL)（隆德里纳州立大学）
机器学习（ML）算法已经越来越多地应用于几个不同领域的问题。尽管它们越来越受欢迎，但它们的预测性能通常受到为其超参数（HP）分配的值的影响。因此，研究人员和实践者面临着如何设定这些价值观的挑战。许多用户对ML算法及其HP值的影响了解有限，因此不会利用合适的设置。他们通常通过反复试验来定义HP值，这是非常主观的，不能保证找到好的值，并且依赖于用户体验。调整技术搜索HP值，能够最大限度地提高给定数据集的诱导模型的预测性能，但具有计算成本高的缺点。因此，从业者使用算法开发者或实现算法的工具建议的默认值。虽然默认值通常会导致模型具有可接受的预测性能，但同一算法的不同实现可能会建议不同的默认值。为了在调优和使用默认值之间保持平衡，我们提出了一种生成新的优化默认值的策略。我们的方法是基于一个小的优化值集，能够获得预测性能值比流行的工具提供的默认设置更好。在进行了一个大型实验和对结果的仔细分析后，我们得出结论，我们的方法提供了更好的默认值。此外，与调谐值相比，它导致了有竞争力的解决方案，使其更容易使用，成本更低。我们还提取了一些简单的规则来指导从业者决定是使用我们的新方法还是HP调优方法。
2021-07-08 cs.LG stat.ML
Goal-Oriented Sensitivity Analysis of Hyperparameters in Deep Learning
CEA（法国原子能和替代能源委员会）；Ecole Polytechnique（巴黎综合理工学院）；Inria（法国国家信息与自动化研究所）
用神经网络解决新的机器学习问题总是意味着优化许多定义其结构并强烈影响其性能的超参数。在这项工作中，我们研究了使用面向目标的敏感性分析，基于希尔伯特-施密特独立准则（HSIC），超参数分析和优化。超参数存在于通常复杂而笨拙的空间中。它们可以具有不同的性质（分类，离散，布尔，连续），相互作用，并具有相互依赖性。所有这些使得进行经典的敏感性分析变得重要。我们减轻这些困难，以获得一个强大的分析指标，能够量化超参数的神经网络的最终误差的相对影响。这个有价值的工具使我们能够更好地理解超参数，并使超参数优化更具可解释性。我们说明了超参数优化的背景下，这种知识的好处，并得出一个基于HSIC的优化算法，我们适用于MNIST和Cifar，经典的机器学习数据集，而且对龙格函数和贝特曼方程的近似解，感兴趣的科学机器学习。这种方法产生的神经网络既有竞争力，又具有成本效益。
2022-07-13 cs.LG stat.ML
A multi-objective perspective on jointly tuning hardware and hyperparameters
Amazon（亚马逊）
除了最佳模型架构和超参数之外，完整的AutoML解决方案还需要自动选择适当的硬件。这可以被视为一个多目标优化问题：没有一个单一的最佳硬件配置，而是一组最佳硬件配置，以实现成本和运行时间之间的不同权衡。在实践中，有些选择可能过于昂贵或需要几天的训练。为了减轻这一负担，我们采用了一种多目标方法，该方法自动选择和调整硬件配置以及神经架构及其超参数。我们的方法建立在Hyperband的基础上，并以两种方式对其进行扩展。首先，我们用一个非支配的排序规则来取代Hyperband中使用的停止规则，以抢先停止没有希望的配置。其次，我们通过迁移学习利用相关任务的超参数评估，通过构建Pareto前沿的概率估计，比随机搜索更有效地找到有希望的配置。我们在广泛的NAS和HPO实验中表明，这两种成分都带来了显着的速度提升和成本节约，对准确性几乎没有影响。在除了超参数之外还选择硬件的三个基准测试中，我们分别获得了至少5.8倍和8.8倍的运行时间和成本降低。此外，当我们的多目标方法只调整超参数时，我们在运行时间上获得了10%的改进，同时在两个流行的NAS基准测试中保持了相同的精度。
2021-06-10 cs.LG
Exploring the Entire Regularization Path for the Asymmetric Cost Linear Support Vector Machine
Gdansk University of Technology（格但斯克理工大学）；Polish Academy of Sciences（波兰科学院）
我们提出了一个算法，探索整个正则化路径的非对称成本的线性支持向量机。经验证据表明，支持向量机的预测能力取决于训练算法的正则化参数。探索整个正则化路径的算法已经被提出用于单成本支持向量机，从而提供关于超参数空间上的训练模型的行为的完整知识。考虑二维超参数空间中的问题，使我们的算法在处理特殊情况时保持更大的灵活性，并揭示了在一维空间中构建路径的算法所遇到的问题。我们展示了二维正则化路径的线性支持向量机，我们训练合成和真实的数据。
2016-10-12 cs.LG stat.ML
Scalable Gradient-Based Tuning of Continuous Regularization Hyperparameters
Aalto University（阿尔托大学）；IDSIA, Dalle Molle Institute for Artificial Intelligence, USI-SUPSI（IDSIA，达勒·莫勒人工智能研究所（USI-SUPSI））
超参数选择通常依赖于运行多个完整的训练试验，选择基于验证集的性能。我们提出了一种基于梯度的方法，用于在模型训练期间局部调整超参数。调整超参数，以便使模型参数梯度以及因此的更新对于验证成本更有利。我们探索了调整正则化超参数的方法，并发现在MNIST，SVHN和CIFAR-10上的实验中，得到的正则化水平在最佳区域内。额外的计算成本取决于训练超参数的频率，但无论模型大小如何，测试方案只增加了30%的计算开销。由于该方法与类似的基于梯度的超参数优化方法相比，计算要求明显降低，并且始终找到良好的超参数值，因此它可以成为训练神经网络模型的有用工具。
2016-06-17 cs.LG
Start Small, Think Big: On Hyperparameter Optimization for Large-Scale Knowledge Graph Embeddings
University of Mannheim（曼海姆大学）
知识图谱嵌入（KGE）模型是一种有效的多关系数据表示和推理方法。然而，之前的研究表明，KGE模型对超参数设置很敏感，并且合适的选择取决于数据集。在本文中，我们探讨了超参数优化（HPO）非常大的知识图谱，其中的成本评估个人超参数配置是过度的。先前的研究通常通过使用各种化学方法来避免这种成本;例如，通过在子图上训练或通过使用更少的时期。我们系统地讨论和评估这种近似和其他低成本近似技术的质量和成本节约。基于我们的研究结果，我们介绍了GraSH，一个有效的多保真度HPO算法的大规模KGE，结合了图形和历元减少技术，并运行在多轮的不断增加的并行性。我们进行了一项实验研究，发现GraSH以较低的成本（总共三次完整的训练运行）在大型图上获得了最先进的结果。
2022-07-11 cs.AI cs.LG
Improving Linear System Solvers for Hyperparameter Optimisation in Iterative Gaussian Processes
University of Cambridge（剑桥大学）；MPI for Intelligent Systems, Tübingen（图宾根智能系统马普研究所）；Ångström AI（昂斯特伦人工智能公司）
针对高斯过程超参数优化难适配大规模数据集的问题，提出三项线性系统求解器改进方案，实现最高72倍加速与最多7倍残差范数降低。
2025-01-12 cs.LG stat.ML
Fast Hyperparameter Optimization of Deep Neural Networks via Ensembling Multiple Surrogates
深度神经网络的性能关键取决于良好的超参数配置。贝叶斯优化是优化DNN超参数的强大框架。这些方法需要足够的评估数据来近似和最小化超参数的验证误差函数。然而，DNN昂贵的评估成本导致在有限的时间内评估数据很少，这大大降低了贝叶斯优化的效率。此外，以往的研究主要集中在使用完整的评估数据进行贝叶斯优化，而忽略了早期停止方法产生的中间评估数据。为了缓解评估数据不足的问题，我们提出了一种快速超参数优化方法HOIST，该方法利用完整和中间评估数据来加速DNN的超参数优化。具体来说，我们训练多个基本代理人收集信息的混合评估数据，然后结合所有的基本代理人使用加权装袋提供一个准确的合奏代理。我们的实证研究表明，HOIST在广泛的DNN上优于最先进的方法，包括前馈神经网络、卷积神经网络、递归神经网络和变分自编码器。
2021-07-21 cs.LG stat.ML
Cost-Effective Hyperparameter Optimization for Large Language Model Generation Inference
Microsoft Research（微软研究院）
本文提出EcoOptiGen框架，通过经济型超参数优化和基于成本的剪枝，在有限推理预算下最大化LLM生成效用，并在GPT-3.5/GPT-4上验证有效。
2023-08-08 cs.AI cs.CL cs.LG
An LP-based hyperparameter optimization model for language modeling
University of Jyväskylä（于韦斯屈莱大学）；Technical University of Ostrava（俄斯特拉发技术大学）
为了找到机器学习模型的超参数，在模型超参数的可能值的空间上使用诸如网格搜索或随机搜索的算法。这些搜索算法选择最小化特定成本函数的解决方案。在语言模型中，困惑度是最常用的代价函数之一。在这项研究中，我们提出了一个分数非线性规划模型，找到最佳的困惑值。该模型的特殊结构使我们能够近似它的线性规划模型，可以使用著名的单纯形算法求解。据我们所知，这是第一次尝试使用优化技术来寻找语言建模文献中的困惑值。我们应用我们的模型来寻找语言模型的超参数，并将其与网格搜索算法进行比较。此外，我们举例说明，它导致较低的困惑值。我们在SwiftKey的真实数据集上进行了这个实验，以验证我们提出的方法。
2018-03-29 cs.LG math.OC stat.ML
Efficient Online Hyperparameter Optimization for Kernel Ridge Regression with Applications to Traffic Time Series Prediction
Penn State University（宾夕法尼亚州立大学）；UC Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
计算效率是在线环境中部署用于时间序列预测的机器学习模型的重要考虑因素。机器学习算法根据数据自动调整模型参数，但通常需要用户设置额外的参数，称为超参数。超参数会显著影响预测精度。通常由传感器在线收集的流量测量是串行相关的。此外，数据分布可能会逐渐变化。典型的自适应策略是周期性地重新调整模型超参数，以计算负担为代价。在这项工作中，我们提出了一个有效的和原则性的在线超参数优化算法的核岭回归应用于交通预测问题。在对真实流量测量数据的测试中，我们的方法所需的计算时间仅为其他调优方法的七分之一，同时实现了更好或类似的预测精度。
2018-11-01 cs.LG stat.ML
Glocal Hypergradient Estimation with Koopman Operator
RIKEN AIP（理化学研究所先进智能项目）；Osaka University（大阪大学）
本文提出融合全局可靠性与局部高效性的全局-局部超梯度估计方法，利用Koopman算子线性化超梯度动态，仅用局部轨迹近似全局超梯度，实现高效可靠的超参数优化。
2024-05-26 cs.LG stat.ML
Improving Accuracy of Interpretability Measures in Hyperparameter Optimization via Bayesian Algorithm Execution
Ludwig-Maximilians-Universität München（慕尼黑大学）；Leibniz University Hannover（汉诺威莱布尼茨大学）
尽管自动超参数优化（HPO）有很多好处，但大多数现代HPO算法本身都是黑盒。这使得难以理解导致所选配置的决策过程，降低了对HPO的信任，从而阻碍了其广泛采用。在这里，我们研究了HPO与可解释的机器学习（IML）方法（如部分依赖图）的结合。这些技术越来越多地用于解释超参数对黑箱成本函数的边际效应或量化超参数的重要性。然而，如果这些方法以事后方式天真地应用于HPO过程的实验数据，则优化器的潜在采样偏差可能会扭曲解释。我们提出了一种改进的HPO方法，有效地平衡了搜索全局最优w.r.t.预测性能\emph{and}通过耦合贝叶斯优化和贝叶斯算法执行，对底层黑盒函数的IML解释进行可靠估计。在神经网络的合成目标和HPO的基准情况下，我们证明了我们的方法返回更可靠的解释的基础黑盒没有损失的优化性能。
2023-02-12 cs.LG stat.ML
A New Linear Scaling Rule for Private Adaptive Hyperparameter Optimization
Princeton University（普林斯顿大学）
本文提出一种自适应超参数优化方法，通过低成本试验估计并放大最优超参数，在22个基准任务上取得最优性能并兼顾隐私成本。
2024-05-05 cs.AI cs.CR cs.LG
Automatic model training under restrictive time constraints
School of Mathematics, University of Leeds（利兹大学数学学院）；The Alan Turing Institute（阿兰·图灵研究所）
提出AutoBCT算法，在受限时间下平衡模型质量与调优成本，通过马尔可夫决策过程在每个训练轮次决定终止或继续训练，并在随机森林和神经网络上验证性能。
2021-04-21 cs.LG stat.ML
Hyperparameters Optimization in Deep Convolutional Neural Network / Bayesian Approach with Gaussian Process Prior
Nanyang Technological University（南洋理工大学）
卷积神经网络被称为ConvNet，已被广泛应用于许多复杂的机器学习任务中。然而，超参数优化是开发ConvNet架构的关键步骤之一，因为准确性和性能依赖于超参数。这种多层架构通过一组超参数进行参数化，例如卷积层的数量，完全连接的密集层和神经元的数量，辍学实现的概率，学习率。因此，在超参数空间上搜索超参数是非常困难的，以建立这样复杂的层次结构。在过去的十年中，已经提出了许多方法来探索超参数空间并找到超参数值的最佳集合。据报道，由于架构的大量超参数，网格搜索和随机搜索被认为是低效且极其昂贵的。因此，基于序贯模型的贝叶斯优化是一种很有前途的替代技术，以解决未知的成本函数的极端。Snoek最近在9个卷积网络参数中进行的贝叶斯优化研究在CIFAR-10基准测试中获得了最低误差报告。本文旨在概述高斯先验贝叶斯优化背后的数学概念。
2017-12-19 cs.CV cs.LG stat.ML
Hyperparameter Optimization with Neural Network Pruning
AIRS Company, Hyundai Motor Group（现代汽车集团AIRS公司）
由于深度学习模型高度依赖于超参数，因此在开发基于深度学习模型的应用程序时，超参数优化至关重要，即使需要很长时间。随着使用深度学习模型的服务开发逐渐变得具有竞争力，许多开发人员高度要求快速的超参数优化算法。为了跟上快速超参数优化算法的需求，研究人员正致力于提高超参数优化算法的速度。然而，由于深度学习模型本身的高计算成本而导致的超参数优化的巨大时间消耗尚未得到深入处理。与贝叶斯优化中的代理模型一样，为了解决这个问题，需要考虑神经网络（N_B）的代理模型用于超参数优化。受神经网络修剪的主要目标启发，即，通过对神经网络进行剪枝，得到的神经网络（N_P）可以作为N_B的代理模型。为了验证我们的想法，我们使用CIFAR10，CFIAR100和TinyImageNet数据集以及三种常用的神经网络和三种代表性的超参数优化方法进行了大量的实验。通过这些实验，我们验证了N_P可以作为N_B的一个很好的代理模型，用于快速的超参数优化。所提出的超参数优化框架可以减少高达37%的时间量。
2022-05-18 cs.CV cs.LG
Provably Reduced Sample Cost in Prior-Guided Hyperparameter Optimization
Leibniz University Hanover（莱比锡大学汉诺威分校）；University of Bielefeld（比勒菲尔德大学）；Institute of Artificial Intelligence, Leibniz University Hanover（人工智能研究所，莱比锡大学汉诺威分校）；L3S Research Center Hanover（汉诺威L3S研究中心）
本文通过固定预算最佳臂识别的形式化框架，首次给出了多保真度超参数优化中依赖先验分布的样本复杂度界，证明了信息性先验可显著减少评估次数，并实验验证了高达90%的预算节省。
2026-06-03 cs.LG
EvoGrad: Efficient Gradient-Based Meta-Learning and Hyperparameter Optimization
The University of Edinburgh（爱丁堡大学）；Samsung AI Research Centre, Cambridge（三星人工智能研究中心）
最近，基于递归的元学习和超参数优化取得了重大进展，使得神经网络与许多超参数一起实现了实际的端到端训练。然而，现有的方法相对昂贵，因为它们需要计算二阶导数并存储更长的计算图。这一成本阻碍了它们扩展到更大的网络架构。我们提出了EvoGrad，一种新的元学习方法，它利用进化技术来更有效地计算超梯度。EvoGrad估计关于超参数的超梯度，而无需计算二阶梯度，或存储更长的计算图，从而显着提高效率。我们评估EvoGrad的三个实质性的最近元学习的应用，即跨域少样本学习与功能明智的转换，嘈杂的标签学习与元权重网和低资源的跨语言学习与Meta表示转换。结果表明，EvoGrad显著提高了效率，并使元学习能够扩展到更大的架构，例如从ResNet10到ResNet34。
2021-10-27 cs.LG cs.NE stat.ML
Training Deep Neural Networks by optimizing over nonlocal paths in hyperparameter space
SoftServe Inc.（SoftServe公司）
超参数优化是深层结构训练中的一个实际问题，也是一个有趣的理论问题。尽管最近取得了许多进展，但最常用的方法几乎普遍涉及训练模型的多个解耦副本，实际上是对超参数空间进行采样。我们表明，在一个可以忽略不计的额外计算成本，结果可以改善采样非局部路径，而不是超参数空间中的点。为此，我们将超参数解释为控制训练中相关噪声的水平，它可以映射到有效温度。模型的通常独立的实例被耦合，并允许使用统计物理学的完善的并行回火技术在整个训练过程中交换它们的超参数。然后，每个模拟对应于联合超参数/模型参数空间中的唯一路径或历史。我们提供了我们的方法的实证测试，特别是辍学和学习率优化。我们观察到更快的训练和更好的抗过拟合能力，并显示绝对验证误差的系统性降低，优于基准测试结果。
2019-09-09 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Understanding the effect of hyperparameter optimization on machine learning models for structure design problems
Embry-Riddle Aeronautical University（安柏瑞德航空大学）；University of Connecticut（康涅狄格大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Rutgers University（罗格斯大学）
为了减轻使用昂贵的有限元模拟进行设计评估的计算成本，代理模型已广泛应用于计算机辅助工程设计中。机器学习算法（MLAs）由于能够学习设计变量和来自大数据集的响应之间的复杂相互关系而被实现为代理模型。通常，MLA回归模型包含模型参数和超参数。通过对训练数据进行拟合得到模型参数。管理模型结构和训练过程的超参数在训练之前由用户分配。关于超参数对代理模型精度和鲁棒性的影响，目前还缺乏系统的研究。在这项工作中，我们建议建立一个超参数优化（HOpt）的框架，以加深我们的理解效果。四个常用的MLAs，即高斯过程回归（GPR），支持向量机（SVM），随机森林回归（RFR），人工神经网络（ANN），测试四个基准的例子。对于每个MLA模型，比较HOpt前后的模型精度和鲁棒性。结果表明，HOpt一般可以提高MLA模型的性能。对于高维混合变量设计空间的复杂问题，HOpt方法在MLAs的精度和鲁棒性方面的改进很少。对于中等复杂度的设计问题，建议使用HOpt。我们还研究了HOpt产生的额外计算成本。培训费用与司法协助结构密切相关。在HOpt之后，ANN和RFR的训练成本比GPR和SVM的训练成本增加更多。综上所述，本研究对于不同类型的设计问题根据其复杂性选择HOpt方法是有益的。
2021-03-15 cs.LG stat.AP
Multi-Objective Hyperparameter Selection via Hypothesis Testing on Reliability Graphs
Centre for Intelligent Information Processing Systems（智能信息处理系统中心）；Department of Engineering（工程系）；King’s College London（伦敦国王学院）
本文提出 RG-PT 框架，利用 BT 模型从先验与留出数据构建可靠性有向无环图，在 FDR 保证下进行多目标超参数选择，并显著提升探索效率。
2025-05-15 cs.IT cs.LG math.IT
Bilevel optimization for learning hyperparameters: Application to solving PDEs and inverse problems with Gaussian processes
Department of Mathematics, Cornell University（数学系，康奈尔大学）；Department of Computing and Mathematical Sciences, California Institute of Technology（计算与数学科学系，加州理工学院）
本文提出一种基于高斯-牛顿线性化的双层优化策略，用于高效学习超参数，应用于高斯过程求解偏微分方程和反问题，显著提升准确性和鲁棒性。
2025-10-07 cs.LG physics.comp-ph stat.ML
