Hyperparameters Optimization in Deep Convolutional Neural Network / Bayesian Approach with Gaussian Process Prior
Nanyang Technological University（南洋理工大学）
卷积神经网络被称为ConvNet，已被广泛应用于许多复杂的机器学习任务中。然而，超参数优化是开发ConvNet架构的关键步骤之一，因为准确性和性能依赖于超参数。这种多层架构通过一组超参数进行参数化，例如卷积层的数量，完全连接的密集层和神经元的数量，辍学实现的概率，学习率。因此，在超参数空间上搜索超参数是非常困难的，以建立这样复杂的层次结构。在过去的十年中，已经提出了许多方法来探索超参数空间并找到超参数值的最佳集合。据报道，由于架构的大量超参数，网格搜索和随机搜索被认为是低效且极其昂贵的。因此，基于序贯模型的贝叶斯优化是一种很有前途的替代技术，以解决未知的成本函数的极端。Snoek最近在9个卷积网络参数中进行的贝叶斯优化研究在CIFAR-10基准测试中获得了最低误差报告。本文旨在概述高斯先验贝叶斯优化背后的数学概念。
2017-12-19 cs.CV cs.LG stat.ML
Amortising over hyperparameters in Generalised Bayesian Inference
本文针对广义贝叶斯推断（GBI）及半模块化推断（SMI）中超参数敏感性检验成本高的问题，提出基于条件归一化流在固定数据下对超参数进行摊销的变分近似方法，支持高效采样与超参数选择，并在流行病学和语言学数据任务中验证了有效性。
2025-10-30 stat.CO
SMAC3: A Versatile Bayesian Optimization Package for Hyperparameter Optimization
Leibniz University Hannover（莱布尼茨汉诺威大学）；University of Freiburg（弗莱堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
算法参数，特别是机器学习算法的超参数，可以显著影响它们的性能。为了支持用户为其算法、数据集和应用程序确定性能良好的超参数配置，SMAC3为贝叶斯优化提供了一个强大而灵活的框架，可以在几次评估中提高性能。它为典型用例提供了几个外观和预设，例如优化超参数，解决低维连续（人工）全局优化问题，以及配置算法以在多个问题实例中表现良好。SMAC3软件包可以在https://github.com/automl/SMAC3上获得许可的BSD许可证。
2022-02-08 cs.LG stat.ML
BOAH: A Tool Suite for Multi-Fidelity Bayesian Optimization & Analysis of Hyperparameters
University of Freiburg（弗赖堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
超参数优化和神经架构搜索对于常规的黑盒贝叶斯优化来说可能变得过于昂贵，因为单个模型的训练和评估可能很容易花费几个小时。为了克服这一点，我们引入了一个全面的工具套件，用于有效的多保真度贝叶斯优化及其运行分析。该套件使用Python编写，提供了一种简单的方法来指定复杂的设计空间，将贝叶斯优化和HyperBand进行了强大而有效的组合，并对优化过程及其结果进行了全面的分析。
2019-08-16 cs.AI cs.LG stat.ML
Learning to Warm-Start Bayesian Hyperparameter Optimization
Pohang University of Science and Technology（浦项科技大学）；AITRICS
超参数优化旨在找到机器学习模型的最佳超参数配置，该配置在验证数据集上提供最佳性能。人工搜索通常会导致陷入局部超参数配置，并且严重依赖于人类的直觉和经验。手动搜索的一个简单替代方案是在超参数空间上进行随机/网格搜索，为了找到最佳配置，仍然需要对验证错误进行广泛的评估。作为黑盒函数的全局优化方法的贝叶斯优化现在流行于超参数优化，因为与随机/网格搜索相比，它大大减少了所需的验证误差评估的数量。贝叶斯优化通常在没有任何先验知识的情况下从随机初始化中找到最佳超参数配置。这促使我们让贝叶斯优化从在类似数据集上成功的配置开始，这能够显着减少评估的数量。在本文中，我们提出了深度度量学习来学习数据集上的元特征，以便通过相关元特征之间的欧氏距离有效地测量它们之间的相似性。为此，我们引入了一个由深度特征和元特征提取器组成的Siamese网络，其中深度特征提取器提供数据集中每个实例的语义表示，元特征提取器聚合一组深度特征以在数据集上编码单个表示。然后，我们学习的元特征用于选择与新数据集相似的几个数据集，以便采用相似数据集中的超参数作为初始化来热启动贝叶斯超参数优化。
2018-10-31 cs.LG stat.ML
Combination of Hyperband and Bayesian Optimization for Hyperparameter Optimization in Deep Learning
Blippar
深度学习在许多问题上取得了令人印象深刻的成果。然而，它需要高度的专业知识或大量的经验来很好地调整超参数，并且这种手动调整过程很可能是有偏差的。此外，在深度学习中尝试与在其他机器学习场景中一样多的不同超参数配置是不切实际的，因为在深度学习中评估每个单个超参数配置将意味着训练深度神经网络，这通常需要相当长的时间。Hyperband算法在深度学习领域的各种超参数优化问题上实现了最先进的性能。然而，Hyperband算法没有利用以前探索的超参数配置的历史信息，因此找到的解决方案是次优的。我们建议将Hyperband算法与贝叶斯优化（在对下一个试验配置进行采样时不忽略历史）相结合。实验结果表明，该方法优于包括Hyperband算法在内的其他超参数优化方法。
2018-01-05 cs.AI cs.CV cs.LG
No-Regret Bayesian Optimization with Unknown Hyperparameters
ETH Zurich（苏黎世联邦理工学院）；University of Toronto（多伦多大学）
基于高斯过程模型的贝叶斯优化（BO）是一种有效的优化黑箱函数的方法。虽然一些BO算法可证明收敛于未知函数的全局最优解，但它们假设内核的超参数是预先已知的。但实际情况并非如此，错误指定通常会导致这些算法收敛到较差的局部最优值。在本文中，我们提出了第一个BO算法，可证明没有遗憾，收敛到最佳的超参数的知识。在优化过程中，我们缓慢地调整静态内核的超参数，从而随着时间的推移扩展相关的函数类，以便BO算法考虑更复杂的函数候选。基于理论上的见解，我们提出了几个实用的算法，实现BO的经验样本效率与在线超参数估计，但保留理论上的收敛保证。我们评估我们的方法在几个基准问题。
2019-04-01 cs.LG stat.ML
Bayesian--AI Fusion for Epidemiological Decision Making: Calibrated Risk, Honest Uncertainty, and Hyperparameter Intelligence
Department of Statistics, Visva–Bharati University（统计系，维萨-巴哈蒂大学）；S. N. Bose National Centre for Basic Sciences（S. N. Bose基础科学国家中心）
针对流行病学AI模型不确定性校准不足、贝叶斯方法难与现有AI工作流整合的问题，本文提出融合贝叶斯预测与贝叶斯超参数优化的双层框架，经多数据集验证可输出校准风险、优化模型性能，支撑流行病学决策。
2025-11-15 cs.LG stat.ML
Bayesian Optimization of Hyperparameters from Noisy Marginal Likelihood Estimates
贝叶斯模型通常涉及通过最大化边际似然来确定的一小组超参数。贝叶斯优化是一种流行的迭代方法，其中底层函数的高斯过程后验通过新的函数评估顺序地更新。获取策略使用该后验分布来决定在何处放置下一个函数评估。我们提出了一种新的贝叶斯优化框架的情况下，用户控制的计算工作量，因此精度的功能评估。这是计量经济学中常见的情况，通常通过马尔可夫链蒙特卡罗（MCMC）或重要性抽样方法计算边际似然，边际似然估计量的精度由样本数量决定。新的获取策略使优化器可以选择使用廉价的噪声评估来探索函数，从而更快地找到最佳值。该方法被应用于估计先验超参数在两个流行的模型对美国宏观经济时间序列数据：稳态贝叶斯向量自回归（BVAR）和随机波动率的时变参数BVAR。该方法比传统的贝叶斯优化或网格搜索更快地找到最优解。
2022-08-17 econ.EM stat.CO
Towards Assessing the Impact of Bayesian Optimization's Own Hyperparameters
University of Freiburg（弗赖堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
贝叶斯优化（BO）是自动机器学习中超参数优化（HPO）的常用方法。虽然人们普遍认为HPO对于获得性能良好的机器学习模型至关重要，但调整BO自身的超参数往往被忽视。在本文中，我们实证研究的影响，优化BO的自己的超参数和发现的设置使用广泛的基准，包括人工功能，HPO和HPO结合神经架构搜索的可转移性。特别是，我们表明（i）调整可以提高不同BO方法的任何时候的性能，优化的BO设置也表现良好（ii）在类似的问题和（iii）部分甚至在其他问题家族的问题，以及（iv）BO超参数是最重要的。
2019-08-19 cs.AI cs.LG stat.ML
Self-Correcting Bayesian Optimization through Bayesian Active Learning
Lund University（隆德大学）；University of Freiburg（弗莱堡大学）；Stanford University（斯坦福大学）；DBtune
提出SAL和SCoreBO两种采集函数，通过贝叶斯主动学习优化高斯过程超参数，在主动学习和贝叶斯优化任务中超越现有方法。
2024-02-15 cs.LG stat.ML
The Sensitivity of Variational Bayesian Neural Network Performance to Hyperparameters
Statistical Sciences Group, Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室统计科学组）
本研究通过全局敏感性分析揭示变分贝叶斯神经网络的超参数间相互作用对预测精度与不确定性量化的影响，并建议采用全局敏感性分析或贝叶斯优化辅助超参数选择。
2025-09-24 cs.LG stat.ML
Practical Multi-fidelity Bayesian Optimization for Hyperparameter Tuning
Cornell University（康奈尔大学）
贝叶斯优化在优化耗时的黑盒目标方面很受欢迎。尽管如此，对于深度神经网络中的超参数调整，即使是几个超参数设置，评估验证误差所需的时间仍然是一个瓶颈。多保真度优化承诺使用更便宜的代理来缓解这些目标-例如，使用训练点的子集训练的网络的验证错误或比收敛所需的迭代次数更少。我们提出了一种高度灵活和实用的方法，多保真度贝叶斯优化，重点是有效地优化超参数迭代训练监督学习模型。我们引入了一个新的采集函数，跟踪感知的知识梯度，它有效地利用了多个连续的保真度控制和跟踪观察-目标的值在一个序列的精度，当使用训练迭代改变保真度。我们提供了一种可证明收敛的方法来优化我们的采集函数，并表明它优于深度神经网络和大规模内核学习的超参数调整的最先进的替代方案。
2019-03-12 cs.LG math.OC stat.ME
Bayesian autoregression to optimize temporal Matérn kernel Gaussian process hyperparameters
Eindhoven University of Technology（埃因霍温理工大学）
本文提出一种基于递归贝叶斯自回归估计的方法，用于优化时间Matérn核高斯过程的超参数，在运行时间和均方根误差上均优于边际似然最大化和HMC采样。
2025-08-13 cs.LG eess.SP stat.ML
Multi-level Training and Bayesian Optimization for Economical Hyperparameter Optimization
Tsinghua University（清华大学）；Purdue University（普渡大学）
超参数在许多机器学习方法的性能中起着至关重要的作用。确定它们的最佳设置或超参数优化（HPO）面临着大量超参数以及过多训练时间所带来的困难。在本文中，我们开发了一种有效的方法来减少所需的培训时间的总量HPO。在初始化中，使用嵌套拉丁超立方体设计来选择两种类型的训练的超参数配置，这两种类型的训练分别是重训练和轻训练。我们提出了一个截断的加性高斯过程模型来校准由轻训练产生的近似性能测量，使用由重训练产生的准确性能测量。在此基础上，提出了一种基于模型的序贯算法来生成配置空间的性能剖面，并找到最优的性能剖面。我们提出的方法在应用于优化合成示例、支持向量机、全连接网络和卷积神经网络时表现出具有竞争力的性能。
2020-07-20 cs.LG stat.ML
Asynchronous Decentralized Bayesian Optimization for Large Scale Hyperparameter Optimization
Université Paris-Saclay（巴黎萨克雷大学）；Argonne National Laboratory（阿贡国家实验室）；Google（谷歌）；Oak Ridge National Laboratory（橡树岭国家实验室）
针对集中式并行贝叶斯优化难以扩展的问题，提出异步去中心化 BO，使各工作者独立运行顺序 BO 并经共享存储同步结果，在 1,920 个工作者上保持 95% 以上利用率并提升 CANDLE 基准性能。
2023-09-26 cs.LG
Improving Accuracy of Interpretability Measures in Hyperparameter Optimization via Bayesian Algorithm Execution
Ludwig-Maximilians-Universität München（慕尼黑大学）；Leibniz University Hannover（汉诺威莱布尼茨大学）
尽管自动超参数优化（HPO）有很多好处，但大多数现代HPO算法本身都是黑盒。这使得难以理解导致所选配置的决策过程，降低了对HPO的信任，从而阻碍了其广泛采用。在这里，我们研究了HPO与可解释的机器学习（IML）方法（如部分依赖图）的结合。这些技术越来越多地用于解释超参数对黑箱成本函数的边际效应或量化超参数的重要性。然而，如果这些方法以事后方式天真地应用于HPO过程的实验数据，则优化器的潜在采样偏差可能会扭曲解释。我们提出了一种改进的HPO方法，有效地平衡了搜索全局最优w.r.t.预测性能\emph{and}通过耦合贝叶斯优化和贝叶斯算法执行，对底层黑盒函数的IML解释进行可靠估计。在神经网络的合成目标和HPO的基准情况下，我们证明了我们的方法返回更可靠的解释的基础黑盒没有损失的优化性能。
2023-02-12 cs.LG stat.ML
Fast Bayesian Optimization of Machine Learning Hyperparameters on Large Datasets
University of Freiburg（弗莱堡大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
贝叶斯优化已经成为机器学习算法（例如支持向量机或深度神经网络）的超参数优化的成功工具。尽管它取得了成功，但对于大型数据集，训练和验证单个配置通常需要数小时、数天甚至数周，这限制了可实现的性能。为了加速超参数优化，我们提出了一个生成模型的验证误差作为训练集大小的函数，这是在优化过程中学习，并允许探索初步配置的小子集，通过外推到完整的数据集。我们构建了一个贝叶斯优化过程，称为Fabolas，它将损失和训练时间建模为数据集大小的函数，并自动权衡关于全局最优值的高信息增益与计算成本。优化支持向量机和深度神经网络的实验表明，Fabolas找到高质量解决方案的速度通常比其他最先进的贝叶斯优化方法或最近提出的强盗策略Hyperband快10到100倍。
2017-03-07 cs.AI cs.LG stat.ML
Bayesian Optimization for Iterative Learning
University of Oxford（牛津大学）
深度（强化）学习系统的性能关键取决于超参数的选择。它们的调整是出了名的昂贵，通常需要迭代训练过程来运行许多步骤以收敛。传统的优化算法只考虑经过多次昂贵的迭代后获得的超参数的最终性能，而忽略了早期训练步骤的中间信息。在本文中，我们提出了一个贝叶斯优化（BO）的方法，利用迭代结构的学习算法有效的超参数调整。我们建议学习一个评估函数，根据训练成功和稳定性，将训练过程中任何阶段的学习进度压缩为单个数值分数。然后，我们的BO框架将评估超参数设置的好处与额外训练步骤的计算成本进行平衡。我们通过选择性地包括来自任何评估的超参数集的不同训练步骤的分数来进一步提高模型效率。我们通过调整用于训练深度强化学习代理和卷积神经网络的超参数来证明我们算法的效率。我们的算法在最短时间内识别最佳超参数方面优于所有现有的基线。
2021-01-16 cs.LG stat.ML
Approximate Inference for Fully Bayesian Gaussian Process Regression
University of Cambridge（剑桥大学）；The Alan Turing Institute（艾伦·图灵研究所）
高斯过程模型中的学习通过均值和协方差函数的超参数的自适应来进行。经典方法需要最大化边际似然，从而产生固定点估计（称为\textit{Type II maximum likelihood}或ML-II的方法）。另一种学习过程是在我们称为\textit{Fully Bayesian Gaussian Process Regression}（GPR）的GP的分层规范中推断超参数的后验。这项工作考虑了两种近似方案的棘手的超参数后验：1）哈密顿蒙特卡罗（HMC）产生基于采样的近似和2）变分推断（VI），其中超参数的后验近似的因式高斯（平均场）或满秩高斯帐户之间的相关性。我们分析的预测性能完全贝叶斯GPR的基准数据集的范围。
2020-04-06 cs.LG stat.ML
BOHB: Robust and Efficient Hyperparameter Optimization at Scale
University of Freiburg（弗莱堡大学）
现代深度学习方法对许多超参数非常敏感，并且由于最先进模型的训练时间很长，普通贝叶斯超参数优化通常在计算上不可行。另一方面，基于随机搜索的基于带宽的配置评估方法缺乏指导，并且不能快速收敛到最佳配置。在这里，我们建议结合贝叶斯优化和基于带宽的方法的优点，以实现两全其美：强大的随时性能和快速收敛到最佳配置。我们提出了一种新的实用的最先进的超参数优化方法，该方法在各种问题类型上始终优于贝叶斯优化和Hyperband，包括高维玩具函数，支持向量机，前馈神经网络，贝叶斯神经网络，深度强化学习和卷积神经网络。我们的方法是强大的和通用的，而在同一时间是概念简单，易于实现。
2018-07-04 cs.LG stat.ML
Fair and Green Hyperparameter Optimization via Multi-objective and Multiple Information Source Bayesian Optimization
University of Milano-Bicocca（米兰比可卡大学）；OAKS srl（OAKS有限责任公司）
有一个共识是，只关注搜索最佳机器学习模型的准确性会放大数据中包含的偏差，导致不公平的预测和决策支持。最近，多目标超参数优化已经被提出来搜索机器学习模型，这些模型在准确性和公平性之间提供同样的帕累托有效的权衡。虽然这些方法被证明比公平感知的机器学习算法更通用-优化精度限制在某个公平阈值上-但在大型数据集的情况下，它们可能会大幅增加能耗。在本文中，我们提出了FangG-HPO，一个公平的和绿色的超参数优化（HPO）方法的基础上，多目标和多信息源贝叶斯优化。FanG-HPO使用大型数据集的子集（又名信息源）来获得准确性和公平性的廉价近似值，并使用多目标贝叶斯优化来有效地识别帕累托有效的机器学习模型。实验考虑了两个基准（公平性）数据集和两种机器学习算法（XGBoost和多层感知器），并通过BoTorch中的多目标单源优化算法对FanG-HPO进行了评估，BoTorch是最先进的贝叶斯优化平台。
2022-05-18 cs.LG math.OC stat.ML
Bayesian Optimization of CVaR with Unknown Hyperparameters
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；RPTU Kaiserslautern-Landau（凯撒斯劳滕-兰道工业大学）；Leibniz University Hannover（汉诺威莱布尼茨大学）；L3S Research Center（L3S研究中心）
针对未知GP超参数的CVaR贝叶斯优化问题，提出首个无遗憾算法HE-CV-UCB，经实验验证其性能优于现有方法。
2026-10-14 cs.LG
Efficient and Robust Bayesian Selection of Hyperparameters in Dimension Reduction for Visualization
University of California, Irvine（加州大学欧文分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
本文提出结合代理模型、归一化与子采样的贝叶斯优化框架，以支持大规模降维算法在多目标指标下的高效超参数选择与敏感性分析。
2023-06-01 cs.HC cs.LG math.PR
Bayesian Hyperparameter Optimization for Deep Neural Network-Based Network Intrusion Detection
Kennesaw State University（肯尼索州立大学）；Florida International University（佛罗里达国际大学）；United International University（联合国际大学）；University of Calabria（卡拉布里亚大学）；LORIA（洛林计算机科学及其应用实验室）；Tuskegee University（塔斯基吉大学）
传统的网络入侵检测方法在对抗现代、复杂和不可预测的安全攻击时遇到了可行性和可持续性问题。深度神经网络（DNN）已成功应用于入侵检测问题。基于DNN的分类器的最佳使用需要仔细调整超参数。手动调整超参数是繁琐、耗时且计算昂贵的。因此，需要一种自动技术来找到最佳超参数，以便在入侵检测中最好地使用DNN。本文提出了一种新的基于贝叶斯优化的框架，用于自动优化超参数，确保最佳DNN架构。我们评估了NSL-KDD，网络入侵检测的基准数据集上的性能所提出的框架。实验结果表明，该框架的有效性，作为结果DNN架构表现出显着更高的入侵检测性能比随机搜索优化为基础的方法在准确性，精度，召回率和f1分数。
2022-07-07 cs.CR cs.LG
Amortized Auto-Tuning: Cost-Efficient Bayesian Transfer Optimization for Hyperparameter Recommendation
Carnegie Mellon University（卡内基梅隆大学）；Petuum（Petuum公司）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Stanford University（斯坦福大学）
随着现代机器学习模型的超参数数量和训练时间的激增，超参数调整变得越来越昂贵。然而，在系统地评估了40种调优方法后，我们发现每种方法都面临一定的局限性。特别是，通过知识转移加速调优的方法通常需要超参数的最终性能，并且不关注低保真度信息。正如我们的经验表明，这种常见的做法是次优的，并可能导致不必要的资源使用。相反，利用低保真度调优观察来测量任务间的相似性并相应地将知识从现有任务转移到新任务是更具有成本效益的。然而，执行多保真度调优在传输设置中也有其自身的挑战：额外观察中的噪声以及对性能预测的需求。因此，我们提出了一个多任务多保真度贝叶斯优化框架，并进行了深入的分析，这导致了最好的实例-分期自动调整（AT 2）。我们进一步提出了一个离线计算的27任务超参数推荐（HyperRec）数据库，以服务于社区。在HyperRec和其他真实数据库上的大量实验表明了我们的AT 2方法的有效性。
2022-04-07 cs.AI cs.LG stat.ML
Weighting Is Worth the Wait: Bayesian Optimization with Importance Sampling
Northeastern University（东北大学）；Google Research（谷歌研究院）
许多当代的机器学习模型需要大量的超参数调整才能表现良好。各种方法，如贝叶斯优化，已被开发来自动化和加快这一过程。然而，调优仍然非常昂贵，因为它通常需要反复完全训练模型。我们提出了加速贝叶斯优化方法的超参数调整的神经网络，考虑到每个训练样本贡献的相对信息量。为此，我们利用了重要性采样（IS）;这显著提高了黑盒函数计算的质量，但也提高了它们的运行时间，因此必须小心完成。将超参数搜索作为超参数和重要性采样设计的多任务贝叶斯优化问题，实现了两全其美：通过学习IS的参数化，权衡评估复杂性和质量，我们改进了贝叶斯优化最先进的运行时间和最终验证错误，跨越各种数据集和复杂的神经架构。
2020-02-23 cs.LG stat.ML
A Trajectory-Based Bayesian Approach to Multi-Objective Hyperparameter Optimization with Epoch-Aware Trade-Offs
Department of Industrial Systems Engineering and Management, National University of Singapore（新加坡国立大学工业系统工程与管理系）；Academy of Mathematics and System Sciences, Chinese Academy of Sciences（中国科学院数学系统科学 academy）；School of Mathematical Sciences, University of Chinese Academy of Sciences（中国科学院大学数学科学学院）
针对多目标超参数优化中未充分利用迭代训练过程信息、仅在训练结束时确定权衡的问题，提出将训练轮次作为决策变量的优化问题，及基于轨迹的多目标贝叶斯优化算法，含新型采集函数与多目标早停机制，可高效识别理想权衡。
2025-05-21 cs.LG
Towards Automatic Bayesian Optimization: A first step involving acquisition functions
贝叶斯优化是用于优化黑盒的最先进技术，即，函数，我们不能访问它们的解析表达式，也不能访问它的梯度，它们的计算代价很高，而且它的计算是嘈杂的。最流行的应用是机器学习算法的自动超参数调整，其中我们通过优化这些算法的泛化误差的估计来获得机器学习算法的最佳配置。尽管成功地应用，但生物学优化方法也具有需要配置的超参数，例如所使用的概率代理模型或采集函数。对这些超参数的配置的错误决策意味着获得质量差的结果。通常，这些超参数是通过对我们想要评估的目标函数进行假设来调整的，但在某些情况下，我们没有关于目标函数的任何先验信息。在本文中，我们提出了第一次尝试，通过探索几个自动调整的采集功能的baidu优化。我们在一组基准问题和一个机器学习算法的超参数调整问题中说明了这些方法的有效性。
2021-01-12 cs.AI cs.LG stat.ML
Sparse Gaussian Process Hyperparameters: Optimize or Integrate?
University of Cambridge（剑桥大学）；Microsoft Research AI4Science（微软研究院AI4Science）；Massachusetts Institute of Technology（麻省理工学院）
核函数及其超参数是高斯过程中的核心模型选择（Rasmussen and Williams，2006）。通常，核的超参数是通过最大化边际似然来选择的，这种方法被称为类型II极大似然（ML-II）。然而，ML-II不考虑超参数不确定性，众所周知，这可能导致严重偏倚的估计和低估预测的不确定性。虽然有几个作品采用了完全贝叶斯表征的GP，相对较少的稀疏GP范例提出这样的方法。在这项工作中，我们提出了一种稀疏高斯过程回归的算法，该算法利用MCMC从Titsias（2009）的变分诱导点框架内的超参数后验进行采样。这项工作与Hensman等人（2015 b）密切相关，但不需要对诱导点进行采样，从而显着提高了高斯似然情况下的抽样效率。我们比较这个计划与自然基线的文献，随着随机变分GPS（SVGPs），随着广泛的计算分析。
2022-11-04 cs.LG stat.ME stat.ML
Generative Bayesian Hyperparameter Tuning
Department of Statistics（统计系）；INSPER；Chicago Booth（芝加哥布斯商学院）；University of Chicago（芝加哥大学）；Volgenau School of Engineering（沃尔格瑙工程学院）；George Mason University（乔治梅森大学）
本文提出了一种生成性贝叶斯超参数调优方法，结合优化近似和传输映射技术，实现快速超参数评估与不确定性量化。
2025-12-23 stat.CO stat.ML
Dynamic Priors in Bayesian Optimization for Hyperparameter Optimization
Leibniz University Hannover（莱比锡大学汉诺威分校）；L3S Research Center（L3S研究所以）
DynaBO通过动态整合用户先验实现高效协同贝叶斯优化，提升超参数优化的可靠性和效率。
2026-08-03 cs.LG
In-Context Freeze-Thaw Bayesian Optimization for Hyperparameter Optimization
University of Freiburg（弗莱堡大学）；ELLIS Institute Tübingen（图宾根ELLIS研究所）
针对冻融贝叶斯优化代理模型更新开销大的问题，提出基于PFN的代理模型FT-PFN，结合新采集机制MFPI-random构建ifBO方法，在三类HPO基准上实现更准更快的最优性能。
2024-08-12 cs.LG
Bayesian Optimization is Superior to Random Search for Machine Learning Hyperparameter Tuning: Analysis of the Black-Box Optimization Challenge 2020
Twitter（推特）；Facebook（脸书）；SigOpt, an Intel company（SigOpt（英特尔公司旗下））；Valohai；Paradigm（第四范式）；ChaLearn
本文介绍了2020年7月至10月在NeurIPS 2020上进行的黑盒优化（BBO）挑战的结果和见解。该挑战强调了评估无导数优化器对于调整机器学习模型的超参数的重要性。这是第一个以机器学习为重点的黑盒优化挑战。它基于标准机器学习模型在真实数据集上的调整（验证集）性能。这种竞争具有广泛的影响，因为黑盒优化（例如，贝叶斯优化）与几乎每个机器学习项目以及机器学习之外的许多应用程序中的超参数调优相关。最终的排行榜是使用保持（隐藏）目标函数的优化性能确定的，其中优化器在没有人为干预的情况下运行。基线是使用几个开源黑盒优化包的默认设置以及随机搜索来设置的。
2021-08-31 cs.AI cs.LG stat.ML
Bayesian Optimization for Hyperparameters Tuning in Neural Networks
Facoltà di Ingegneria dell’Informazione, Informatica e Statistica（信息、计算机与统计工程学院）；Dipartimento di Ingegneria Informatica, Automatica e Gestionale（信息、自动化与管理工程系）
本研究将贝叶斯优化用于神经网络超参数调优，借助Ax和BOTorch框架验证其可减少调优试验次数、快速收敛至CNN最优配置，提升机器学习流水线的准确率与计算效率。
2024-10-29 cs.AI cs.LG math.OC
Bayesian inference for the learning rate in Generalised Bayesian inference
University of Oxford（牛津大学）；University of Auckland（奥克兰大学）
本文提出在广义贝叶斯推断中通过贝叶斯方法推断学习率和超参数，定义两种超参数后验分布，并在多个数据集上验证了该方法的有效性。
2026-09-24 stat.ME
Alleviating Hyperparameter-Tuning Burden in SVM Classifiers for Pulmonary Nodules Diagnosis with Multi-Task Bayesian Optimization
Yau Mathematical Sciences Center Tsinghua University（姚数学科学中心清华大学）；The First Affiliated Hospital of Guangzhou Medical University（广州医科大学第一附属医院）；China State Key Laboratory of Respiratory Disease（中国呼吸疾病国家重点实验室）；Academy of Mathematics and Systems Science Chinese Academy of Sciences（数学科学学院中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）；Department of Thoracic Surgery and Oncology The First Affiliated Hospital of Guangzhou Medical University（胸外科与肿瘤科广州医科大学第一附属医院）
本研究针对肺结节诊断中图像离散化方法导致的SVM超参数调优耗时问题，首次提出利用多任务贝叶斯优化加速RBF SVM分类器的超参数搜索，显著提升了调优效率。
2025-11-05 cs.CV cs.LG eess.IV
Bayesian Deep Learning Hyperparameter Search for Robust Function Mapping to Polynomials with Noise
Indian Institute of Technology Gandhinagar（甘地纳格尔印度理工学院）；Northeastern University（东北大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
神经结构搜索的进展，以及连接主义架构的可解释性和可解释性，已在最近的文献中报道。然而，我们对如何设计贝叶斯深度学习（BDL）超参数的理解，特别是深度，宽度和集成大小，用于具有不确定性量化的鲁棒函数映射，仍然是新兴的。本文试图通过将贝叶斯连接主义表示映射到具有不同噪声类型和比率的不同阶数的多项式来进一步理解。我们检查噪声污染的多项式，以搜索超参数的组合，可以提取潜在的多项式信号，同时量化基于噪声属性的不确定性。具体来说，我们试图研究的问题，可以找到一个适当的神经架构和合奏配置检测任何n阶多项式污染的噪声具有不同的分布和信号噪声比（SNR）和不同的噪声属性的信号。我们的研究结果表明，可能存在一个最佳的网络深度，以及预测技能和不确定性量化的最佳数量的合奏，分别。然而，最优性对于宽度是不可辨别的，即使在高宽度值处性能增益随着宽度的增加而降低。我们的实验和见解可以指导理解BDL表示的理论特性和设计实用的解决方案。
2021-06-23 cs.LG stat.ML
CMA-ES for Hyperparameter Optimization of Deep Neural Networks
Univesity of Freiburg（弗莱堡大学）
深度神经网络的超参数通常通过网格搜索、随机搜索或贝叶斯优化来优化。作为替代方案，我们建议使用协方差矩阵自适应演化策略（CMA-ES），该策略以其在无导数优化中的最新性能而闻名。CMA-ES具有一些有用的不变性性质，并且对于解的并行计算是友好的。我们提供了一个玩具例子，比较了CMA-ES和最先进的贝叶斯优化算法，用于在30个GPU上并行调整MNIST数据集的卷积神经网络的超参数。
2016-04-25 cs.LG cs.NE
How Bayesian Should Bayesian Optimisation Be?
University of Exeter（埃克塞特大学）
贝叶斯优化（BO）使用概率代理模型-通常是高斯过程（GP）-用于优化昂贵的黑盒函数。在每次BO迭代中，GP超参数通过最大化边缘似然来拟合先前评估的数据。然而，这并不能解释超参数本身的不确定性，导致模型预测过于自信。这种不确定性可以通过采用贝叶斯方法将模型超参数边缘化来解释。我们调查是否完全贝叶斯处理的高斯过程超参数在BO（FBBO）导致改进的优化性能。由于分析方法是棘手的，我们比较FBBO使用三个近似推理方案的最大似然方法，使用预期改善（EI）和置信上限（UCB）的收购功能与ARD和各向同性Matern内核配对，在15个著名的基准问题4观测噪声设置。使用具有ARD内核的EI的FBBO在无噪声设置中导致最佳性能，当噪声增加时，BO分量的组合之间的差异小得多。FBBO会导致UCB的过度勘探，但对EI无害。因此，我们建议FBBO使用带有ARD内核的EI作为BO的默认选择。
2021-05-03 cs.LG stat.ML
Provably Efficient Bayesian Optimization with Unknown Gaussian Process Hyperparameter Estimation
RMIT University（RMIT大学）；Amazon（亚马逊公司）；Deakin University（迪肯大学）；Chongqing University（重庆大学）；University of Adelaide（阿德莱德大学）
针对贝叶斯优化中高斯过程超参数未知且估计有偏的问题，本文提出结合EXP3多臂老虎机随机采样与一致性训练损失函数的新方法，在保证次线性全局收敛的同时实现优于现有方法的性能。
2024-06-06 cs.LG stat.ML
Fast Hyperparameter Optimization of Deep Neural Networks via Ensembling Multiple Surrogates
深度神经网络的性能关键取决于良好的超参数配置。贝叶斯优化是优化DNN超参数的强大框架。这些方法需要足够的评估数据来近似和最小化超参数的验证误差函数。然而，DNN昂贵的评估成本导致在有限的时间内评估数据很少，这大大降低了贝叶斯优化的效率。此外，以往的研究主要集中在使用完整的评估数据进行贝叶斯优化，而忽略了早期停止方法产生的中间评估数据。为了缓解评估数据不足的问题，我们提出了一种快速超参数优化方法HOIST，该方法利用完整和中间评估数据来加速DNN的超参数优化。具体来说，我们训练多个基本代理人收集信息的混合评估数据，然后结合所有的基本代理人使用加权装袋提供一个准确的合奏代理。我们的实证研究表明，HOIST在广泛的DNN上优于最先进的方法，包括前馈神经网络、卷积神经网络、递归神经网络和变分自编码器。
2021-07-21 cs.LG stat.ML
How to combine correlated data sets -- A Bayesian hyperparameter matrix method
本文构造了一种“超参数矩阵”统计方法，用于对多个相关天文数据集进行联合分析，其中数据集的权重由其自身的统计特性决定。该方法是由Lahav等人（2000）和Hobson，Bridle和Lahav（2002）构建的超参数方法的推广，该方法旨在组合独立的数据集。该方法的优点是处理多个数据集之间的相关性，并给出适当的相关权重的多个数据集的相互相关性。我们定义了一种新的“元素式”乘积，它大大简化了超参数矩阵的似然函数。我们严格证明了联合似然的简化公式，并表明它恢复了原始的超参数方法在数据集之间没有协方差的限制。然后，我们说明的方法，将其应用到一个演示玩具模型拟合直线的两组数据。我们表明，超参数矩阵方法可以检测未计的系统误差或低估的数据集的错误。此外，贝叶斯因子的比率提供了包含超参数的必要性的明显指示。我们的例子表明，我们构建的相关数据集的联合分析的可能性可以广泛应用于许多天体物理系统。
2014-05-13 astro-ph.CO astro-ph.IM stat.AP
Pattern-Coupled Sparse Bayesian Learning for Recovery of Block-Sparse Signals
University of Electronic Science and Technology of China（电子科技大学）；Stevens Institute of Technology（史蒂文斯理工学院）；Schlumberger-Doll Research Center（斯伦贝谢多尔研究中心）
我们考虑的问题，恢复块稀疏信号的结构是未知的\emph{a priori}。块稀疏信号与非零系数发生在集群自然出现在许多实际情况。然而，在实践中，对块结构的知识通常是不可用的。在本文中，我们开发了一个新的稀疏贝叶斯学习方法恢复块稀疏信号与未知的聚类模式。具体地说，模式耦合的分层高斯先验模型被引入来表征系数之间的统计依赖性，其中一组超参数被用来控制信号系数的稀疏性。与传统的稀疏贝叶斯学习框架中每个单独的超参数独立地与每个系数相关联不同，在本文中，每个系数的先验不仅涉及其自身的超参数，而且还涉及其近邻的超参数。通过这种方式，相邻系数的稀疏模式彼此相关，并且分层模型具有鼓励结构化稀疏解决方案的潜力。超参数以及稀疏信号通过期望最大化（EM）算法最大化其后验概率来学习。数值实验结果表明，该算法与现有方法相比具有一致的优越性。
2013-11-09 cs.IT cs.LG math.IT
Practical Transfer Learning for Bayesian Optimization
University of Freiburg（弗莱堡大学）；Meta；Bosch Center for Artificial Intelligence（博世人工智能中心）
当针对多个数据集重复机器学习算法的超参数优化时，可以将知识转移到在新数据集上运行的优化。我们开发了一种新的无超参数集成模型用于贝叶斯优化，该模型是现有的两种迁移学习扩展到贝叶斯优化的推广，并与普通贝叶斯优化相比建立了最坏情况下的界限。使用大量的超参数优化基准问题，我们证明了我们的贡献大大减少了优化时间相比，标准的高斯过程为基础的贝叶斯优化，并提高了目前的最先进的转移超参数优化。
2022-10-24 cs.AI stat.ML
Learning search spaces for Bayesian optimization: Another view of hyperparameter transfer learning
Amazon（亚马逊）；Google Brain（谷歌大脑）
贝叶斯优化（BO）是一种成功的方法来优化黑盒函数，是昂贵的评估。虽然传统方法孤立地优化每个黑盒函数，但最近人们对通过跨多个相关黑盒函数传递知识来加速BO感兴趣。在这项工作中，我们介绍了一种方法来自动设计BO搜索空间，依靠以前的黑盒功能的评估。我们从定义一组任意的搜索范围的先验考虑搜索空间的几何形状，从历史数据中学习的常见做法。这种简单而有效的策略可以用来赋予许多现有的BO方法迁移学习属性。尽管它的简单性，我们表明，我们的方法大大提高BO通过减少搜索空间的大小，从而加速各种黑盒优化问题的优化。特别是，所提出的方法结合随机搜索的结果，在一个无参数，易于实现，强大的超参数优化策略。我们希望这将构成一个自然的基线，为进一步的研究试图热启动BO。
2019-09-27 cs.LG stat.ML
ORTHOBO: Orthogonal Bayesian Hyperparameter Optimization
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Bosch Center for Artificial Intelligence（博世人工智能中心）
本文提出正交贝叶斯优化框架ORTHOBO，通过减少方差提升决策稳定性，用于超参数优化。
2026-05-07 cs.AI cs.LG
FLASH: Fast Bayesian Optimization for Data Analytic Pipelines
Georgia Institute of Technology（佐治亚理工学院）
现代数据科学依赖于数据分析管道来组织相互依赖的计算步骤。这种分析管道通常涉及跨多个步骤的不同算法，每个步骤都有自己的超参数。为了实现最佳性能，选择最佳算法并设置适当的超参数通常是至关重要的，这需要大量的计算工作。贝叶斯优化提供了一种原则性的方法来搜索单个算法的最佳超参数。然而，在高维和高条件搜索空间中解决流水线优化问题仍然存在许多挑战。在这项工作中，我们提出了快速LineAr SearchH（FLASH），一种有效的方法调整分析管道。FLASH是一个两层贝叶斯优化框架，它首先使用参数模型来选择有前途的算法，然后计算非参数模型来微调有前途算法的超参数。FLASH还包括一个有效的缓存算法，可以进一步加速搜索过程。在大量基准数据集上的大量实验表明，FLASH在搜索速度和准确性方面明显优于以前的最先进的方法。使用50%的时间预算，与基准相比，FLASH实现了高达20%的测试出错率改善。闪存还在医疗保健预测建模的实际应用中提供最先进的性能。
2016-06-24 cs.LG
Bayesian image segmentations by Potts prior and loopy belief propagation
Tohoku University（东北大学）；Yamagata University（山形大学）；National Tsing Hua University（国立清华大学）
提出了一种基于Potts先验和循环置信传播的贝叶斯图像分割模型。该贝叶斯模型涉及到Potts模型的两两交互作用、彩色图像建模中高斯分布的平均向量和协变矩阵。这些术语通常被称为统计机器学习理论中的超参数。为了确定这些超参数，我们提出了一个新的方案，超参数估计的基础上的条件最大化熵的Potts先验。该算法基于循环置信传播算法。此外，我们比较了我们的条件最大熵框架与传统的最大似然框架，也澄清如何在LBP的Potts模型的一阶相变影响我们的超参数估计程序。
2014-08-18 cond-mat.dis-nn cond-mat.stat-mech cs.CV
Bayesian computing with INLA: new features
INLA方法的近似贝叶斯推断的潜在高斯模型已被证明是一个有价值的工具，在实践中，通过R-包R-INLA的后验边缘的快速和准确的估计。在本文中，我们正式的R-INLA包的新发展，并显示这些功能如何大大扩展了模型的范围，可以通过这个接口进行分析。我们还讨论了目前的默认方法在R-INLA近似后边缘的超参数，只使用一个适度数量的联合后验分布的超参数的评估，而不需要任何数值积分。
2013-02-20 stat.CO
Click prediction boosting via Bayesian hyperparameter optimization based ensemble learning pipelines
Istanbul Technical University（伊斯坦布尔理工大学）；Donders Institute for Brain, Cognition and Behaviour, Radboud University Medical Center（拉德堡德大学医学中心唐德斯脑、认知与行为研究所）；Kadir Has University（卡迪尔哈斯大学）
本文通过贝叶斯超参数优化和集成学习提升酒店点击预测性能，实验表明集成模型比单一模型提升了约10%的预测效果。
2022-06-24 cs.LG
Variance-based sensitivity of Bayesian inverse problems to the prior distribution
North Carolina State University（北卡罗来纳州立大学）
本文提出了一种基于高效替代模型和定制重要性采样的方法，用于贝叶斯反问题中先验超参数对后验统计量的全局敏感性分析。
2023-11-02 stat.CO
Bayesian Optimization of Genetic Algorithm Hyperparameters in a Multi-Fidelity Framework for Efficient Lattice Material Design
IMDEA Materials Institute（IMDEA材料研究所）；Department of Materials Science and Engineering and Chemical Engineering（材料科学与工程及化学工程系）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
研究提出多保真框架优化遗传算法超参数，整合三个保真度级别，评估多种采集函数，logNEI性能最佳。该框架确定的超参数配置能减少计算成本，实现快速收敛，验证了代理驱动优化策略的有效性，证明多保真优化对GA超参数调整及晶格设计研究的潜力。
2026-07-09 cond-mat.dis-nn cond-mat.mtrl-sci cs.AI
Optimizing Training Trajectories in Variational Autoencoders via Latent Bayesian Optimization Approach
UT-Battelle, LLC（UT-巴特尔有限责任公司）；U.S. Department of Energy（美国能源部）
无监督和半监督ML方法（如变分自编码器（VAE））已被广泛应用于物理，化学和材料科学的多个领域，因为它们能够解开表示并能够找到复杂实验数据的分类和回归的潜在流形。与其他ML问题一样，VAE需要超参数调整，例如，平衡Kullback Leibler（KL）和重建项。然而，训练过程和由此产生的流形拓扑和连通性不仅取决于超参数，还取决于它们在训练过程中的演变。由于在高维超参数空间中进行穷举搜索对于训练模型来说效率低下，因此我们在无监督和半监督ML的超参数轨迹优化中探索了潜在贝叶斯优化（zBO）方法，并对具有旋转不变性的联合VAE进行了演示。我们展示了这种方法的应用程序，找到联合离散和连续的旋转不变表示MNIST和实验数据的等离子体纳米粒子材料系统。所提出的方法的性能已经被广泛讨论，其中它允许任何高维超参数调整或其他ML模型的轨迹优化。
2022-06-30 cs.LG stat.ML
