Bayesian--AI Fusion for Epidemiological Decision Making: Calibrated Risk, Honest Uncertainty, and Hyperparameter Intelligence
Department of Statistics, Visva–Bharati University(统计系,维萨-巴哈蒂大学);S. N. Bose National Centre for Basic Sciences(S. N. Bose基础科学国家中心)
针对流行病学AI模型不确定性校准不足、贝叶斯方法难与现有AI工作流整合的问题,本文提出融合贝叶斯预测与贝叶斯超参数优化的双层框架,经多数据集验证可输出校准风险、优化模型性能,支撑流行病学决策。
2025-11-15 cs.LG stat.ML
Self-Correcting Bayesian Optimization through Bayesian Active Learning
Lund University(隆德大学);University of Freiburg(弗莱堡大学);Stanford University(斯坦福大学);DBtune
提出SAL和SCoreBO两种采集函数,通过贝叶斯主动学习优化高斯过程超参数,在主动学习和贝叶斯优化任务中超越现有方法。
2024-02-15 cs.LG stat.ML
The Sensitivity of Variational Bayesian Neural Network Performance to Hyperparameters
Statistical Sciences Group, Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室统计科学组)
本研究通过全局敏感性分析揭示变分贝叶斯神经网络的超参数间相互作用对预测精度与不确定性量化的影响,并建议采用全局敏感性分析或贝叶斯优化辅助超参数选择。
2025-09-24 cs.LG stat.ML
Multi-level Training and Bayesian Optimization for Economical Hyperparameter Optimization
Tsinghua University(清华大学);Purdue University(普渡大学)
超参数在许多机器学习方法的性能中起着至关重要的作用。确定它们的最佳设置或超参数优化(HPO)面临着大量超参数以及过多训练时间所带来的困难。在本文中,我们开发了一种有效的方法来减少所需的培训时间的总量HPO。在初始化中,使用嵌套拉丁超立方体设计来选择两种类型的训练的超参数配置,这两种类型的训练分别是重训练和轻训练。我们提出了一个截断的加性高斯过程模型来校准由轻训练产生的近似性能测量,使用由重训练产生的准确性能测量。在此基础上,提出了一种基于模型的序贯算法来生成配置空间的性能剖面,并找到最优的性能剖面。我们提出的方法在应用于优化合成示例、支持向量机、全连接网络和卷积神经网络时表现出具有竞争力的性能。
2020-07-20 cs.LG stat.ML
Hyperparameters Optimization in Deep Convolutional Neural Network / Bayesian Approach with Gaussian Process Prior
Nanyang Technological University(南洋理工大学)
卷积神经网络被称为ConvNet,已被广泛应用于许多复杂的机器学习任务中。然而,超参数优化是开发ConvNet架构的关键步骤之一,因为准确性和性能依赖于超参数。这种多层架构通过一组超参数进行参数化,例如卷积层的数量,完全连接的密集层和神经元的数量,辍学实现的概率,学习率。因此,在超参数空间上搜索超参数是非常困难的,以建立这样复杂的层次结构。在过去的十年中,已经提出了许多方法来探索超参数空间并找到超参数值的最佳集合。据报道,由于架构的大量超参数,网格搜索和随机搜索被认为是低效且极其昂贵的。因此,基于序贯模型的贝叶斯优化是一种很有前途的替代技术,以解决未知的成本函数的极端。Snoek最近在9个卷积网络参数中进行的贝叶斯优化研究在CIFAR-10基准测试中获得了最低误差报告。本文旨在概述高斯先验贝叶斯优化背后的数学概念。
2017-12-19 cs.CV cs.LG stat.ML
Improving Accuracy of Interpretability Measures in Hyperparameter Optimization via Bayesian Algorithm Execution
Ludwig-Maximilians-Universität München(慕尼黑大学);Leibniz University Hannover(汉诺威莱布尼茨大学)
尽管自动超参数优化(HPO)有很多好处,但大多数现代HPO算法本身都是黑盒。这使得难以理解导致所选配置的决策过程,降低了对HPO的信任,从而阻碍了其广泛采用。在这里,我们研究了HPO与可解释的机器学习(IML)方法(如部分依赖图)的结合。这些技术越来越多地用于解释超参数对黑箱成本函数的边际效应或量化超参数的重要性。然而,如果这些方法以事后方式天真地应用于HPO过程的实验数据,则优化器的潜在采样偏差可能会扭曲解释。我们提出了一种改进的HPO方法,有效地平衡了搜索全局最优w.r.t.预测性能\emph{and}通过耦合贝叶斯优化和贝叶斯算法执行,对底层黑盒函数的IML解释进行可靠估计。在神经网络的合成目标和HPO的基准情况下,我们证明了我们的方法返回更可靠的解释的基础黑盒没有损失的优化性能。
2023-02-12 cs.LG stat.ML
Bayesian Optimization for Iterative Learning
University of Oxford(牛津大学)
深度(强化)学习系统的性能关键取决于超参数的选择。它们的调整是出了名的昂贵,通常需要迭代训练过程来运行许多步骤以收敛。传统的优化算法只考虑经过多次昂贵的迭代后获得的超参数的最终性能,而忽略了早期训练步骤的中间信息。在本文中,我们提出了一个贝叶斯优化(BO)的方法,利用迭代结构的学习算法有效的超参数调整。我们建议学习一个评估函数,根据训练成功和稳定性,将训练过程中任何阶段的学习进度压缩为单个数值分数。然后,我们的BO框架将评估超参数设置的好处与额外训练步骤的计算成本进行平衡。我们通过选择性地包括来自任何评估的超参数集的不同训练步骤的分数来进一步提高模型效率。我们通过调整用于训练深度强化学习代理和卷积神经网络的超参数来证明我们算法的效率。我们的算法在最短时间内识别最佳超参数方面优于所有现有的基线。
2021-01-16 cs.LG stat.ML
Approximate Inference for Fully Bayesian Gaussian Process Regression
University of Cambridge(剑桥大学);The Alan Turing Institute(艾伦·图灵研究所)
高斯过程模型中的学习通过均值和协方差函数的超参数的自适应来进行。经典方法需要最大化边际似然,从而产生固定点估计(称为\textit{Type II maximum likelihood}或ML-II的方法)。另一种学习过程是在我们称为\textit{Fully Bayesian Gaussian Process Regression}(GPR)的GP的分层规范中推断超参数的后验。这项工作考虑了两种近似方案的棘手的超参数后验:1)哈密顿蒙特卡罗(HMC)产生基于采样的近似和2)变分推断(VI),其中超参数的后验近似的因式高斯(平均场)或满秩高斯帐户之间的相关性。我们分析的预测性能完全贝叶斯GPR的基准数据集的范围。
2020-04-06 cs.LG stat.ML
BOHB: Robust and Efficient Hyperparameter Optimization at Scale
University of Freiburg(弗莱堡大学)
现代深度学习方法对许多超参数非常敏感,并且由于最先进模型的训练时间很长,普通贝叶斯超参数优化通常在计算上不可行。另一方面,基于随机搜索的基于带宽的配置评估方法缺乏指导,并且不能快速收敛到最佳配置。在这里,我们建议结合贝叶斯优化和基于带宽的方法的优点,以实现两全其美:强大的随时性能和快速收敛到最佳配置。我们提出了一种新的实用的最先进的超参数优化方法,该方法在各种问题类型上始终优于贝叶斯优化和Hyperband,包括高维玩具函数,支持向量机,前馈神经网络,贝叶斯神经网络,深度强化学习和卷积神经网络。我们的方法是强大的和通用的,而在同一时间是概念简单,易于实现。
2018-07-04 cs.LG stat.ML
BOAH: A Tool Suite for Multi-Fidelity Bayesian Optimization & Analysis of Hyperparameters
University of Freiburg(弗赖堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
超参数优化和神经架构搜索对于常规的黑盒贝叶斯优化来说可能变得过于昂贵,因为单个模型的训练和评估可能很容易花费几个小时。为了克服这一点,我们引入了一个全面的工具套件,用于有效的多保真度贝叶斯优化及其运行分析。该套件使用Python编写,提供了一种简单的方法来指定复杂的设计空间,将贝叶斯优化和HyperBand进行了强大而有效的组合,并对优化过程及其结果进行了全面的分析。
2019-08-16 cs.AI cs.LG stat.ML
Weighting Is Worth the Wait: Bayesian Optimization with Importance Sampling
Northeastern University(东北大学);Google Research(谷歌研究院)
许多当代的机器学习模型需要大量的超参数调整才能表现良好。各种方法,如贝叶斯优化,已被开发来自动化和加快这一过程。然而,调优仍然非常昂贵,因为它通常需要反复完全训练模型。我们提出了加速贝叶斯优化方法的超参数调整的神经网络,考虑到每个训练样本贡献的相对信息量。为此,我们利用了重要性采样(IS);这显著提高了黑盒函数计算的质量,但也提高了它们的运行时间,因此必须小心完成。将超参数搜索作为超参数和重要性采样设计的多任务贝叶斯优化问题,实现了两全其美:通过学习IS的参数化,权衡评估复杂性和质量,我们改进了贝叶斯优化最先进的运行时间和最终验证错误,跨越各种数据集和复杂的神经架构。
2020-02-23 cs.LG stat.ML
Towards Assessing the Impact of Bayesian Optimization's Own Hyperparameters
University of Freiburg(弗赖堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
贝叶斯优化(BO)是自动机器学习中超参数优化(HPO)的常用方法。虽然人们普遍认为HPO对于获得性能良好的机器学习模型至关重要,但调整BO自身的超参数往往被忽视。在本文中,我们实证研究的影响,优化BO的自己的超参数和发现的设置使用广泛的基准,包括人工功能,HPO和HPO结合神经架构搜索的可转移性。特别是,我们表明(i)调整可以提高不同BO方法的任何时候的性能,优化的BO设置也表现良好(ii)在类似的问题和(iii)部分甚至在其他问题家族的问题,以及(iv)BO超参数是最重要的。
2019-08-19 cs.AI cs.LG stat.ML
Bayesian Hyperparameter Optimization for Ensemble Learning
Université Laval(拉瓦尔大学);École de technologie supérieure(高等技术学院)
在本文中,我们之间的差距桥梁超参数优化和集成学习进行贝叶斯优化的集成关于其超参数。我们的方法包括建立一个固定大小的集成,优化配置的一个分类器的集成在每次迭代的超参数优化算法,考虑到与其他模型的相互作用时,评估潜在的性能。我们还考虑了在超参数优化阶段结束时,通过对优化过程中生成的模型池进行贪婪选择来重建系综的情况。我们研究了我们提出的方法在三个不同的超参数空间上的性能,表明我们的方法优于最好的单个模型和贪婪的集成结构,而这些模型是由标准贝叶斯优化产生的。
2016-05-20 cs.LG
Bayesian Deep Learning Hyperparameter Search for Robust Function Mapping to Polynomials with Noise
Indian Institute of Technology Gandhinagar(甘地纳格尔印度理工学院);Northeastern University(东北大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
神经结构搜索的进展,以及连接主义架构的可解释性和可解释性,已在最近的文献中报道。然而,我们对如何设计贝叶斯深度学习(BDL)超参数的理解,特别是深度,宽度和集成大小,用于具有不确定性量化的鲁棒函数映射,仍然是新兴的。本文试图通过将贝叶斯连接主义表示映射到具有不同噪声类型和比率的不同阶数的多项式来进一步理解。我们检查噪声污染的多项式,以搜索超参数的组合,可以提取潜在的多项式信号,同时量化基于噪声属性的不确定性。具体来说,我们试图研究的问题,可以找到一个适当的神经架构和合奏配置检测任何n阶多项式污染的噪声具有不同的分布和信号噪声比(SNR)和不同的噪声属性的信号。我们的研究结果表明,可能存在一个最佳的网络深度,以及预测技能和不确定性量化的最佳数量的合奏,分别。然而,最优性对于宽度是不可辨别的,即使在高宽度值处性能增益随着宽度的增加而降低。我们的实验和见解可以指导理解BDL表示的理论特性和设计实用的解决方案。
2021-06-23 cs.LG stat.ML
Bayesian autoregression to optimize temporal Matérn kernel Gaussian process hyperparameters
Eindhoven University of Technology(埃因霍温理工大学)
本文提出一种基于递归贝叶斯自回归估计的方法,用于优化时间Matérn核高斯过程的超参数,在运行时间和均方根误差上均优于边际似然最大化和HMC采样。
2025-08-13 cs.LG eess.SP stat.ML
How Bayesian Should Bayesian Optimisation Be?
University of Exeter(埃克塞特大学)
贝叶斯优化(BO)使用概率代理模型-通常是高斯过程(GP)-用于优化昂贵的黑盒函数。在每次BO迭代中,GP超参数通过最大化边缘似然来拟合先前评估的数据。然而,这并不能解释超参数本身的不确定性,导致模型预测过于自信。这种不确定性可以通过采用贝叶斯方法将模型超参数边缘化来解释。我们调查是否完全贝叶斯处理的高斯过程超参数在BO(FBBO)导致改进的优化性能。由于分析方法是棘手的,我们比较FBBO使用三个近似推理方案的最大似然方法,使用预期改善(EI)和置信上限(UCB)的收购功能与ARD和各向同性Matern内核配对,在15个著名的基准问题4观测噪声设置。使用具有ARD内核的EI的FBBO在无噪声设置中导致最佳性能,当噪声增加时,BO分量的组合之间的差异小得多。FBBO会导致UCB的过度勘探,但对EI无害。因此,我们建议FBBO使用带有ARD内核的EI作为BO的默认选择。
2021-05-03 cs.LG stat.ML
Provably Efficient Bayesian Optimization with Unknown Gaussian Process Hyperparameter Estimation
RMIT University(RMIT大学);Amazon(亚马逊公司);Deakin University(迪肯大学);Chongqing University(重庆大学);University of Adelaide(阿德莱德大学)
针对贝叶斯优化中高斯过程超参数未知且估计有偏的问题,本文提出结合EXP3多臂老虎机随机采样与一致性训练损失函数的新方法,在保证次线性全局收敛的同时实现优于现有方法的性能。
2024-06-06 cs.LG stat.ML
Fast Hyperparameter Optimization of Deep Neural Networks via Ensembling Multiple Surrogates
深度神经网络的性能关键取决于良好的超参数配置。贝叶斯优化是优化DNN超参数的强大框架。这些方法需要足够的评估数据来近似和最小化超参数的验证误差函数。然而,DNN昂贵的评估成本导致在有限的时间内评估数据很少,这大大降低了贝叶斯优化的效率。此外,以往的研究主要集中在使用完整的评估数据进行贝叶斯优化,而忽略了早期停止方法产生的中间评估数据。为了缓解评估数据不足的问题,我们提出了一种快速超参数优化方法HOIST,该方法利用完整和中间评估数据来加速DNN的超参数优化。具体来说,我们训练多个基本代理人收集信息的混合评估数据,然后结合所有的基本代理人使用加权装袋提供一个准确的合奏代理。我们的实证研究表明,HOIST在广泛的DNN上优于最先进的方法,包括前馈神经网络、卷积神经网络、递归神经网络和变分自编码器。
2021-07-21 cs.LG stat.ML
Learning search spaces for Bayesian optimization: Another view of hyperparameter transfer learning
Amazon(亚马逊);Google Brain(谷歌大脑)
贝叶斯优化(BO)是一种成功的方法来优化黑盒函数,是昂贵的评估。虽然传统方法孤立地优化每个黑盒函数,但最近人们对通过跨多个相关黑盒函数传递知识来加速BO感兴趣。在这项工作中,我们介绍了一种方法来自动设计BO搜索空间,依靠以前的黑盒功能的评估。我们从定义一组任意的搜索范围的先验考虑搜索空间的几何形状,从历史数据中学习的常见做法。这种简单而有效的策略可以用来赋予许多现有的BO方法迁移学习属性。尽管它的简单性,我们表明,我们的方法大大提高BO通过减少搜索空间的大小,从而加速各种黑盒优化问题的优化。特别是,所提出的方法结合随机搜索的结果,在一个无参数,易于实现,强大的超参数优化策略。我们希望这将构成一个自然的基线,为进一步的研究试图热启动BO。
2019-09-27 cs.LG stat.ML
Fast Bayesian Optimization of Machine Learning Hyperparameters on Large Datasets
University of Freiburg(弗莱堡大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
贝叶斯优化已经成为机器学习算法(例如支持向量机或深度神经网络)的超参数优化的成功工具。尽管它取得了成功,但对于大型数据集,训练和验证单个配置通常需要数小时、数天甚至数周,这限制了可实现的性能。为了加速超参数优化,我们提出了一个生成模型的验证误差作为训练集大小的函数,这是在优化过程中学习,并允许探索初步配置的小子集,通过外推到完整的数据集。我们构建了一个贝叶斯优化过程,称为Fabolas,它将损失和训练时间建模为数据集大小的函数,并自动权衡关于全局最优值的高信息增益与计算成本。优化支持向量机和深度神经网络的实验表明,Fabolas找到高质量解决方案的速度通常比其他最先进的贝叶斯优化方法或最近提出的强盗策略Hyperband快10到100倍。
2017-03-07 cs.AI cs.LG stat.ML
Fair and Green Hyperparameter Optimization via Multi-objective and Multiple Information Source Bayesian Optimization
University of Milano-Bicocca(米兰比可卡大学);OAKS srl(OAKS有限责任公司)
有一个共识是,只关注搜索最佳机器学习模型的准确性会放大数据中包含的偏差,导致不公平的预测和决策支持。最近,多目标超参数优化已经被提出来搜索机器学习模型,这些模型在准确性和公平性之间提供同样的帕累托有效的权衡。虽然这些方法被证明比公平感知的机器学习算法更通用-优化精度限制在某个公平阈值上-但在大型数据集的情况下,它们可能会大幅增加能耗。在本文中,我们提出了FangG-HPO,一个公平的和绿色的超参数优化(HPO)方法的基础上,多目标和多信息源贝叶斯优化。FanG-HPO使用大型数据集的子集(又名信息源)来获得准确性和公平性的廉价近似值,并使用多目标贝叶斯优化来有效地识别帕累托有效的机器学习模型。实验考虑了两个基准(公平性)数据集和两种机器学习算法(XGBoost和多层感知器),并通过BoTorch中的多目标单源优化算法对FanG-HPO进行了评估,BoTorch是最先进的贝叶斯优化平台。
2022-05-18 cs.LG math.OC stat.ML
Practical Multi-fidelity Bayesian Optimization for Hyperparameter Tuning
Cornell University(康奈尔大学)
贝叶斯优化在优化耗时的黑盒目标方面很受欢迎。尽管如此,对于深度神经网络中的超参数调整,即使是几个超参数设置,评估验证误差所需的时间仍然是一个瓶颈。多保真度优化承诺使用更便宜的代理来缓解这些目标-例如,使用训练点的子集训练的网络的验证错误或比收敛所需的迭代次数更少。我们提出了一种高度灵活和实用的方法,多保真度贝叶斯优化,重点是有效地优化超参数迭代训练监督学习模型。我们引入了一个新的采集函数,跟踪感知的知识梯度,它有效地利用了多个连续的保真度控制和跟踪观察-目标的值在一个序列的精度,当使用训练迭代改变保真度。我们提供了一种可证明收敛的方法来优化我们的采集函数,并表明它优于深度神经网络和大规模内核学习的超参数调整的最先进的替代方案。
2019-03-12 cs.LG math.OC stat.ME
Amortized Auto-Tuning: Cost-Efficient Bayesian Transfer Optimization for Hyperparameter Recommendation
Carnegie Mellon University(卡内基梅隆大学);Petuum(Petuum公司);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Stanford University(斯坦福大学)
随着现代机器学习模型的超参数数量和训练时间的激增,超参数调整变得越来越昂贵。然而,在系统地评估了40种调优方法后,我们发现每种方法都面临一定的局限性。特别是,通过知识转移加速调优的方法通常需要超参数的最终性能,并且不关注低保真度信息。正如我们的经验表明,这种常见的做法是次优的,并可能导致不必要的资源使用。相反,利用低保真度调优观察来测量任务间的相似性并相应地将知识从现有任务转移到新任务是更具有成本效益的。然而,执行多保真度调优在传输设置中也有其自身的挑战:额外观察中的噪声以及对性能预测的需求。因此,我们提出了一个多任务多保真度贝叶斯优化框架,并进行了深入的分析,这导致了最好的实例-分期自动调整(AT 2)。我们进一步提出了一个离线计算的27任务超参数推荐(HyperRec)数据库,以服务于社区。在HyperRec和其他真实数据库上的大量实验表明了我们的AT 2方法的有效性。
2022-04-07 cs.AI cs.LG stat.ML
Accurate Bayesian Data Classification without Hyperparameter Cross-validation
King’s College London(伦敦国王学院)
我们扩展了标准的贝叶斯多变量高斯生成数据分类器考虑的共轭,正常的Wishart先验分布的推广,并推导出的超参数分析通过证据最大化。在高维数据制度的最佳超参数的行为进行了探讨。所得到的广义模型的分类精度是有竞争力的国家的最先进的贝叶斯判别分析方法,但没有通常的交叉验证的计算负担。
2017-12-28 cs.LG math.ST stat.ME
Towards Automatic Bayesian Optimization: A first step involving acquisition functions
贝叶斯优化是用于优化黑盒的最先进技术,即,函数,我们不能访问它们的解析表达式,也不能访问它的梯度,它们的计算代价很高,而且它的计算是嘈杂的。最流行的应用是机器学习算法的自动超参数调整,其中我们通过优化这些算法的泛化误差的估计来获得机器学习算法的最佳配置。尽管成功地应用,但生物学优化方法也具有需要配置的超参数,例如所使用的概率代理模型或采集函数。对这些超参数的配置的错误决策意味着获得质量差的结果。通常,这些超参数是通过对我们想要评估的目标函数进行假设来调整的,但在某些情况下,我们没有关于目标函数的任何先验信息。在本文中,我们提出了第一次尝试,通过探索几个自动调整的采集功能的baidu优化。我们在一组基准问题和一个机器学习算法的超参数调整问题中说明了这些方法的有效性。
2021-01-12 cs.AI cs.LG stat.ML
Optimizing Training Trajectories in Variational Autoencoders via Latent Bayesian Optimization Approach
UT-Battelle, LLC(UT-巴特尔有限责任公司);U.S. Department of Energy(美国能源部)
无监督和半监督ML方法(如变分自编码器(VAE))已被广泛应用于物理,化学和材料科学的多个领域,因为它们能够解开表示并能够找到复杂实验数据的分类和回归的潜在流形。与其他ML问题一样,VAE需要超参数调整,例如,平衡Kullback Leibler(KL)和重建项。然而,训练过程和由此产生的流形拓扑和连通性不仅取决于超参数,还取决于它们在训练过程中的演变。由于在高维超参数空间中进行穷举搜索对于训练模型来说效率低下,因此我们在无监督和半监督ML的超参数轨迹优化中探索了潜在贝叶斯优化(zBO)方法,并对具有旋转不变性的联合VAE进行了演示。我们展示了这种方法的应用程序,找到联合离散和连续的旋转不变表示MNIST和实验数据的等离子体纳米粒子材料系统。所提出的方法的性能已经被广泛讨论,其中它允许任何高维超参数调整或其他ML模型的轨迹优化。
2022-06-30 cs.LG stat.ML
Fair Bayesian Optimization
Amazon Web Services(亚马逊云科技);Carnegie Mellon University(卡内基梅隆大学)
鉴于机器学习(ML)在我们生活中的重要性日益增加,已经提出了几种算法公平性技术来减轻ML模型结果中的偏差。然而,这些技术中的大多数都是专门针对单个ML模型家族和特定的公平性定义的,这限制了它们在实践中的适应性。我们引入了一个通用的约束贝叶斯优化(BO)框架,以优化任何ML模型的性能,同时实施一个或多个公平性约束。BO是一种与模型无关的优化方法,已成功应用于自动调整ML模型的超参数。我们将带有公平约束的BO应用于一系列流行的模型,包括随机森林,梯度提升和神经网络,表明我们可以通过仅对超参数采取行动来获得准确和公平的解决方案。我们还表明,经验表明,我们的方法是有竞争力的专门技术,执行特定于模型的公平性约束,并优于预处理方法,学习公平表示的输入数据。此外,我们的方法可以与这些专门的公平性技术协同使用,以调整它们的超参数。最后,我们研究了公平性与BO选择的超参数之间的关系。我们观察到正则化和无偏模型之间的相关性,解释了为什么作用于超参数会导致ML模型泛化良好且公平。
2021-06-18 cs.LG stat.ML
Bayesian Optimization is Superior to Random Search for Machine Learning Hyperparameter Tuning: Analysis of the Black-Box Optimization Challenge 2020
Twitter(推特);Facebook(脸书);SigOpt, an Intel company(SigOpt(英特尔公司旗下));Valohai;Paradigm(第四范式);ChaLearn
本文介绍了2020年7月至10月在NeurIPS 2020上进行的黑盒优化(BBO)挑战的结果和见解。该挑战强调了评估无导数优化器对于调整机器学习模型的超参数的重要性。这是第一个以机器学习为重点的黑盒优化挑战。它基于标准机器学习模型在真实数据集上的调整(验证集)性能。这种竞争具有广泛的影响,因为黑盒优化(例如,贝叶斯优化)与几乎每个机器学习项目以及机器学习之外的许多应用程序中的超参数调优相关。最终的排行榜是使用保持(隐藏)目标函数的优化性能确定的,其中优化器在没有人为干预的情况下运行。基线是使用几个开源黑盒优化包的默认设置以及随机搜索来设置的。
2021-08-31 cs.AI cs.LG stat.ML
Bayesian Kernel and Mutual $k$-Nearest Neighbor Regression
R2 Research(R2 研究公司)
我们提出了两种非参数回归方法的贝叶斯扩展,这两种方法是核回归方法和互$k$ -最近邻回归方法。基于高斯过程回归模型导出,扩展提供了目标值估计的分布和选择超参数的框架。结果表明,这两种方法分别渐近收敛于核回归方法和互$k$ -最近邻回归方法.仿真结果表明,所提出的方法可以选择合适的超参数,并优于或相当于人工数据集和真实世界数据集的前方法。
2016-08-04 cs.LG stat.ML
Pseudo-marginal Bayesian inference for supervised Gaussian process latent variable models
School of Engineering, University of Warwick, UK(华威大学工程学院,英国);Warwick Center for Predictive Modelling, University of Warwick, UK(华威大学预测建模中心,英国);Department of Statistics, University of Warwick, UK(华威大学统计系,英国);Division of Translational Medicine, Warwick Medical School, UK(华威医学院转化医学部,英国);Dept of Clinical Biochemistry, Division of Pathology, University Hospital Coventry and Warwickshire, Coventry, UK(考文垂和华威郡大学医院病理学部临床生物化学系,考文垂,英国)
我们引入了一个贝叶斯框架的推理与监督版本的高斯过程潜变量模型。该框架克服了隐变量和超参数之间的高度相关性,通过使用无偏伪估计的边缘似然近似集成的潜变量。这是用来构建一个马尔可夫链,探索超参数的后验。我们演示了模拟和真实的例子,显示其捕获的超参数和改进的不确定性量化预测相比,变分推断的不确定性和多模态的能力的过程。
2018-03-28 cs.LG stat.ML
Hyperband: A Novel Bandit-Based Approach to Hyperparameter Optimization
Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学);Google Research(谷歌研究院);Determined AI
机器学习算法的性能关键取决于识别一组好的超参数。虽然最近的方法使用贝叶斯优化自适应地选择配置,我们专注于加快随机搜索,通过自适应资源分配和早期停止。我们制定超参数优化作为一个纯粹的探索非随机无限武装土匪问题,其中预定义的资源,如迭代,数据样本,或功能分配给随机采样的配置。我们介绍了一种新的算法,Hyperband,这个框架,并分析其理论性质,提供了一些理想的保证。此外,我们比较了Hyperband和流行的贝叶斯优化方法在一组超参数优化问题。我们观察到,Hyperband可以在各种深度学习和基于内核的学习问题上提供超过竞争对手的数量级加速。
2018-06-18 cs.LG stat.ML
Bayesian Learning of Conditional Kernel Mean Embeddings for Automatic Likelihood-Free Inference
The University of Sydney(悉尼大学);CSIRO(澳大利亚联邦科学与工业研究组织);NVIDIA(英伟达)
在无似然设置的可能性评估是棘手的,近似贝叶斯计算(ABC)解决了艰巨的推理任务,发现合理的参数解释的观察模拟程序。然而,它们需要大量的模拟调用。重要的是,决定模拟差异度量的超参数至关重要地平衡了推理精度和样本效率,但很难调整。在本文中,我们提出了内核嵌入似然自由推理(KELFI),一个整体框架,自动学习模型超参数,以提高推理精度有限的模拟预算。通过利用条件均值嵌入的似然平滑性,我们非参数地近似似然和后验作为代理密度,并从封闭形式的后验均值嵌入中采样,其超参数在其近似边缘似然下学习。我们的模块化框架在生态学中具有挑战性的推理问题上表现出更高的准确性和效率。
2019-03-03 cs.LG stat.ML
Combination of Hyperband and Bayesian Optimization for Hyperparameter Optimization in Deep Learning
Blippar
深度学习在许多问题上取得了令人印象深刻的成果。然而,它需要高度的专业知识或大量的经验来很好地调整超参数,并且这种手动调整过程很可能是有偏差的。此外,在深度学习中尝试与在其他机器学习场景中一样多的不同超参数配置是不切实际的,因为在深度学习中评估每个单个超参数配置将意味着训练深度神经网络,这通常需要相当长的时间。Hyperband算法在深度学习领域的各种超参数优化问题上实现了最先进的性能。然而,Hyperband算法没有利用以前探索的超参数配置的历史信息,因此找到的解决方案是次优的。我们建议将Hyperband算法与贝叶斯优化(在对下一个试验配置进行采样时不忽略历史)相结合。实验结果表明,该方法优于包括Hyperband算法在内的其他超参数优化方法。
2018-01-05 cs.AI cs.CV cs.LG
Simple and Scalable Parallelized Bayesian Optimization
CyberAgent, Inc.(赛博艾坚特公司)
近年来,利用并行和分布式计算资源已经成为解决高计算成本问题的关键。贝叶斯优化(BO)在诸如机器学习算法的超参数优化等评估成本高的问题中表现出了令人瞩目的结果。虽然已经开发了许多并行BO方法来有效地利用这些计算资源进行搜索,但这些方法假设同步设置或不可扩展。在本文中,我们提出了一个简单的和可扩展的异步并行设置BO方法。实验结果表明,该方法具有良好的性能。
2020-06-24 cs.LG stat.ML
Efficient and Robust Bayesian Selection of Hyperparameters in Dimension Reduction for Visualization
University of California, Irvine(加州大学欧文分校);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
本文提出结合代理模型、归一化与子采样的贝叶斯优化框架,以支持大规模降维算法在多目标指标下的高效超参数选择与敏感性分析。
2023-06-01 cs.HC cs.LG math.PR
Adaptive Bayesian Linear Regression for Automated Machine Learning
Universite Cote d’Azur(蔚蓝海岸大学);I3S laboratory(I3S实验室)
为了解决机器学习问题,通常需要执行数据预处理、建模和超参数调整,这被称为模型选择和超参数优化。自动机器学习(AutoML)的目标是设计能够自动执行模型选择和超参数优化的方法,而无需人为干预。在本文中,我们提出了一种元学习方法,可以搜索一个高性能的机器学习管道从预定义的候选管道的监督分类数据集在一个有效的方式,通过利用从以前的实验收集的元数据。更具体地说,我们的方法结合了一个自适应贝叶斯回归模型与神经网络基函数和贝叶斯优化的采集功能。自适应贝叶斯回归模型能够从先前的元数据中捕获知识,从而对新数据集上的机器学习流水线的性能进行预测。实验结果表明,该方法能够快速识别出一系列测试数据集的高性能流水线,性能优于基线方法。
2019-04-18 cs.LG stat.ML
Bayesian Optimisation with Unknown Hyperparameters: Regret Bounds Logarithmically Closer to Optimal
University of Oxford(牛津大学);Toyota Motor Corporation(丰田汽车公司)
针对贝叶斯优化中长度尺度超参数未知且易误设的问题,提出长度尺度平衡(LB)方法,通过聚合多尺度代理模型平衡探索与利用,使遗憾界仅以对数因子偏离最优oracle,并在实验中优于A-GP-UCB等方法。
2024-11-22 cs.LG stat.ML
Alleviating Hyperparameter-Tuning Burden in SVM Classifiers for Pulmonary Nodules Diagnosis with Multi-Task Bayesian Optimization
Yau Mathematical Sciences Center Tsinghua University(姚数学科学中心清华大学);The First Affiliated Hospital of Guangzhou Medical University(广州医科大学第一附属医院);China State Key Laboratory of Respiratory Disease(中国呼吸疾病国家重点实验室);Academy of Mathematics and Systems Science Chinese Academy of Sciences(数学科学学院中国科学院);University of Chinese Academy of Sciences(中国科学院大学);Department of Thoracic Surgery and Oncology The First Affiliated Hospital of Guangzhou Medical University(胸外科与肿瘤科广州医科大学第一附属医院)
本研究针对肺结节诊断中图像离散化方法导致的SVM超参数调优耗时问题,首次提出利用多任务贝叶斯优化加速RBF SVM分类器的超参数搜索,显著提升了调优效率。
2025-11-05 cs.CV cs.LG eess.IV
Prior Specification for Bayesian Matrix Factorization via Prior Predictive Matching
Norwegian University of Science and Technology(挪威科技大学);University of Helsinki(赫尔辛基大学)
针对贝叶斯模型先验选择需反复高成本后验推断的问题,提出基于先验预测匹配的无后验推断先验选择方法,可解析确定泊松分解超参数,还给出通用随机优化方案并在层次矩阵分解中验证。
2022-09-30 cs.LG stat.ML
PriorCVAE: scalable MCMC parameter inference with Bayesian deep generative modelling
University of Oxford(牛津大学);Aalto University(阿尔托大学);Institute of Science and Technology Austria(奥地利科学技术研究所);University of Copenhagen(哥本哈根大学);Imperial College London(伦敦帝国学院)
PriorCVAE通过以随机过程超参数为条件编码GP先验,实现超参数联合估计与可扩展MCMC推断,且适用于ODE解等模型,具有广泛实用性。
2023-11-10 cs.LG stat.ML
A Generalized Stochastic Variational Bayesian Hyperparameter Learning Framework for Sparse Spectrum Gaussian Process Regression
Interactive Digital Media Institute(互动数字媒体研究所);National University of Singapore(新加坡国立大学)
虽然许多研究工作一直致力于基于大数据的诱导变量来扩展稀疏高斯过程(GP)模型,但很少关注利用GP内核的稀疏谱表示的其他较少探索的低秩GP近似类。本文提出了这样的努力,以推进稀疏谱GP模型的最新技术水平,以实现有竞争力的预测性能的大规模数据集。我们的广义框架的随机变分贝叶斯稀疏谱GP(sVBSSGP)模型解决了它们的缺点,采用贝叶斯处理的频谱频率,以避免过度拟合,建模这些频率联合在其变分分布,使他们的相互作用的后验,并利用本地数据提高预测性能。然而,这样的结构改进导致难以优化的变分下限。为了解决这个问题,我们利用变分参数化技巧,使它服从随机最优化。有趣的是,所得到的随机梯度具有线性可分解的结构,可以利用它来改进我们的随机最优化方法,以使每次迭代的时间恒定,同时保持其作为变分下限的精确梯度的无偏估计量的性质。对真实世界数据集的实证评估表明,sVBSSGP优于最先进的稀疏GP模型的随机实现。
2016-11-18 cs.LG stat.ML
Practical Transfer Learning for Bayesian Optimization
University of Freiburg(弗莱堡大学);Meta;Bosch Center for Artificial Intelligence(博世人工智能中心)
当针对多个数据集重复机器学习算法的超参数优化时,可以将知识转移到在新数据集上运行的优化。我们开发了一种新的无超参数集成模型用于贝叶斯优化,该模型是现有的两种迁移学习扩展到贝叶斯优化的推广,并与普通贝叶斯优化相比建立了最坏情况下的界限。使用大量的超参数优化基准问题,我们证明了我们的贡献大大减少了优化时间相比,标准的高斯过程为基础的贝叶斯优化,并提高了目前的最先进的转移超参数优化。
2022-10-24 cs.AI stat.ML
PHS: A Toolbox for Parallel Hyperparameter Search
Competence Center for High Performance Computing Fraunhofer ITWM Kaiserslautern(弗劳恩霍夫研究所ITWM高性能计算能力中心(凯泽斯劳滕));Institute for Machine Learning and Analytics (IMLA) Offenburg University(奥芬堡大学机器学习与分析研究所(IMLA))
我们引入了一个名为PHS的开源Python框架-并行超参数搜索,以实现任意Python函数的众多计算实例上的超参数优化。这是通过在目标函数内部进行最小的修改来实现的。可能的应用出现在昂贵的评估数值计算,强烈依赖于超参数,如机器学习。贝叶斯优化被选为一个样本有效的方法来提出下一个查询参数集。
2020-02-27 cs.LG stat.ML
Nonparametric Bayesian testing for monotonicity
本文从非参数贝叶斯的角度研究了函数单调性的检验问题。构造了两个新的检验族。第一个使用约束平滑样条,连同一个层次的随机过程之前,明确控制的先验概率的单调性。第二个使用回归样条,连同两个建议的先验的回归系数。有限样本性能的测试,通过模拟,以改善现有的频率论和贝叶斯方法。本文还研究了高斯模型中比较单调与非单调回归函数的贝叶斯因子的渐近性质。我们的结果显着扩展了目前可用的,主要集中在确定参数线性模型的尺寸。
2014-06-01 math.ST stat.ME stat.TH
Asynchronous Decentralized Bayesian Optimization for Large Scale Hyperparameter Optimization
Université Paris-Saclay(巴黎萨克雷大学);Argonne National Laboratory(阿贡国家实验室);Google(谷歌);Oak Ridge National Laboratory(橡树岭国家实验室)
针对集中式并行贝叶斯优化难以扩展的问题,提出异步去中心化 BO,使各工作者独立运行顺序 BO 并经共享存储同步结果,在 1,920 个工作者上保持 95% 以上利用率并提升 CANDLE 基准性能。
2023-09-26 cs.LG
Probabilistic Rollouts for Learning Curve Extrapolation Across Hyperparameter Settings
University of Freiburg(弗赖堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
我们提出了概率模型,可以基于具有可变长度学习曲线的训练数据外推迭代机器学习算法的学习曲线,例如用于训练深度网络的随机梯度下降。我们研究这个框架的基础上随机森林和贝叶斯循环神经网络的实例。我们的实验表明,当外推使用不同超参数设置训练的神经网络的性能时,这些模型比来自超参数优化文献的最新模型产生更好的预测。
2019-10-10 cs.LG stat.ML
No-Regret Algorithms for Safe Bayesian Optimization with Monotonicity Constraints
National University of Singapore(新加坡国立大学)
本文研究在单调性安全约束下顺序最大化未知函数的问题,提出基于高斯过程的算法,在安全函数仅对单变量单调的条件下实现了次线性累积遗憾,并能寻找每个输入对应的最优安全动作。
2024-06-05 cs.LG stat.ML
Bayesian Optimization of CVaR with Unknown Hyperparameters
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);RPTU Kaiserslautern-Landau(凯撒斯劳滕-兰道工业大学);Leibniz University Hannover(汉诺威莱布尼茨大学);L3S Research Center(L3S研究中心)
针对未知GP超参数的CVaR贝叶斯优化问题,提出首个无遗憾算法HE-CV-UCB,经实验验证其性能优于现有方法。
2026-10-14 cs.LG
Bayesian Hyperparameter Optimization for Deep Neural Network-Based Network Intrusion Detection
Kennesaw State University(肯尼索州立大学);Florida International University(佛罗里达国际大学);United International University(联合国际大学);University of Calabria(卡拉布里亚大学);LORIA(洛林计算机科学及其应用实验室);Tuskegee University(塔斯基吉大学)
传统的网络入侵检测方法在对抗现代、复杂和不可预测的安全攻击时遇到了可行性和可持续性问题。深度神经网络(DNN)已成功应用于入侵检测问题。基于DNN的分类器的最佳使用需要仔细调整超参数。手动调整超参数是繁琐、耗时且计算昂贵的。因此,需要一种自动技术来找到最佳超参数,以便在入侵检测中最好地使用DNN。本文提出了一种新的基于贝叶斯优化的框架,用于自动优化超参数,确保最佳DNN架构。我们评估了NSL-KDD,网络入侵检测的基准数据集上的性能所提出的框架。实验结果表明,该框架的有效性,作为结果DNN架构表现出显着更高的入侵检测性能比随机搜索优化为基础的方法在准确性,精度,召回率和f1分数。
2022-07-07 cs.CR cs.LG
Hyperparameter Learning via Distributional Transfer
University of Oxford(牛津大学);Tencent AI Labs(腾讯人工智能实验室)
贝叶斯优化是一种流行的超参数学习技术,但通常需要初始探索,即使在类似的先验任务已经解决的情况下。我们建议使用这些任务中使用的训练数据集的学习表示来跨任务传输信息。这导致了超参数和数据表示的联合高斯过程模型。表示利用分布嵌入到再生核希尔伯特空间的框架。所开发的方法具有更快的收敛速度相比,现有的基线,在某些情况下,只需要几个评价的目标。
2019-05-26 cs.LG stat.ML
Quantity vs. Quality: On Hyperparameter Optimization for Deep Reinforcement Learning
University of California, Irvine(加州大学尔湾分校)
强化学习算法可以在具有不同随机种子的训练运行之间显示出性能的强烈变化。在本文中,我们将探讨这如何影响超参数优化时,目标是找到超参数设置,以及在随机种子。特别是,我们基准是否是更好地探索大量的超参数设置,通过修剪表现不佳,或者如果它是更好的目标,通过使用重复收集的结果的质量。为此,我们考虑连续减半,随机搜索和贝叶斯优化算法,后两个有和没有重复。我们将这些应用于调整Cartpole平衡任务和倒立摆摆动任务上的PPO2算法。我们证明了修剪可能会对优化产生负面影响,并且重复采样无助于找到在随机种子中表现更好的超参数设置。从我们的实验中,我们得出结论,贝叶斯优化与噪声鲁棒采集功能是强化学习任务中的超参数优化的最佳选择。
2020-07-30 cs.AI cs.LG stat.ML
Bayesian image segmentations by Potts prior and loopy belief propagation
Tohoku University(东北大学);Yamagata University(山形大学);National Tsing Hua University(国立清华大学)
提出了一种基于Potts先验和循环置信传播的贝叶斯图像分割模型。该贝叶斯模型涉及到Potts模型的两两交互作用、彩色图像建模中高斯分布的平均向量和协变矩阵。这些术语通常被称为统计机器学习理论中的超参数。为了确定这些超参数,我们提出了一个新的方案,超参数估计的基础上的条件最大化熵的Potts先验。该算法基于循环置信传播算法。此外,我们比较了我们的条件最大熵框架与传统的最大似然框架,也澄清如何在LBP的Potts模型的一阶相变影响我们的超参数估计程序。
2014-08-18 cond-mat.dis-nn cond-mat.stat-mech cs.CV
Tuning Hyperparameters without Grad Students: Scalable and Robust Bayesian Optimisation with Dragonfly
Carnegie Mellon University(卡内基梅隆大学)
贝叶斯优化(BO)是指一套用于全局优化昂贵的黑盒函数的技术,它使用函数的内省贝叶斯模型来有效地搜索最优值。虽然BO已成功地应用于许多应用程序,但现代优化任务带来了新的挑战,传统方法通常会失败。在这项工作中,我们介绍了Dragonfly,一个用于可扩展和健壮BO的开源Python库。Dragonfly结合了多个最近开发的方法,允许BO应用于具有挑战性的现实世界的设置;这些方法包括更好的方法,用于处理高维域,用于处理多保真度评估的方法时,廉价的近似昂贵的功能是可用的,方法优化结构化的组合空间,如空间的神经网络架构,并处理并行评估的方法。此外,我们在BO中开发了新的方法改进,用于选择贝叶斯模型,选择采集函数,并优化具有不同变量类型和附加约束的复杂域。我们比较Dragonfly的一套其他软件包和算法的全局优化,并证明,当上述方法集成,它们使BO的性能显着改善。Dragonfly库可以在dragonfly.github.io上找到。
2020-04-19 cs.AI cs.LG stat.ML
A Trajectory-Based Bayesian Approach to Multi-Objective Hyperparameter Optimization with Epoch-Aware Trade-Offs
Department of Industrial Systems Engineering and Management, National University of Singapore(新加坡国立大学工业系统工程与管理系);Academy of Mathematics and System Sciences, Chinese Academy of Sciences(中国科学院数学系统科学 academy);School of Mathematical Sciences, University of Chinese Academy of Sciences(中国科学院大学数学科学学院)
针对多目标超参数优化中未充分利用迭代训练过程信息、仅在训练结束时确定权衡的问题,提出将训练轮次作为决策变量的优化问题,及基于轨迹的多目标贝叶斯优化算法,含新型采集函数与多目标早停机制,可高效识别理想权衡。
2025-05-21 cs.LG