Hyperparameter Optimisation with Early Termination of Poor Performers
University of Essex（埃塞克斯大学）
机器学习系统通常具有影响其学习率和预测质量的许多超参数。然而，找到超参数的良好组合是一项具有挑战性的工作。这主要是因为对每个组合的评估在计算上是极其昂贵的;事实上，仅使用单个超参数组合在真实数据上训练机器学习系统通常需要几个小时甚至几天。在本文中，我们通过尝试预测具有给定超参数组合的机器学习系统的性能来解决这一挑战，而无需完成昂贵的学习过程。相反，我们在早期阶段终止训练过程，收集模型性能数据，并使用它来预测哪些超参数组合最有希望。我们的初步实验表明，这样的预测提高了常用的随机搜索方法的性能。
2019-08-06 cs.LG cs.NE stat.ML
Hyperparameter Optimisation with Practical Interpretability and Explanation Methods in Probabilistic Curriculum Learning
University of Queensland（昆士兰大学）
本文针对概率课程学习在强化学习中的超参数优化难题，基于AlgOS与Optuna TPE提出搜索空间细化策略，并引入SHAP可解释性方法分析超参数影响，提升优化效率与计算可行性。
2025-04-09 cs.AI cs.LG
Obeying the Order: Introducing Ordered Transfer Hyperparameter Optimisation
University of Edinburgh（爱丁堡大学）；AWS AI Labs（AWS人工智能实验室）
本文提出有序迁移超参数优化（OTHPO），假设任务按顺序且与前一任务最相关，提出基本方法并在十个基准上验证其优于现有迁移HPO，同时开源基准以促进研究。
2023-06-29 cs.LG
Scalable One-Pass Optimisation of High-Dimensional Weight-Update Hyperparameters by Implicit Differentiation
University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）
机器学习训练方法复杂而复杂地依赖于超参数，从而激励自动化策略对其进行优化。许多现有的算法重新开始训练每个新的超参数选择，在相当大的计算成本。存在一些基于超梯度的一次通过方法，但这些方法要么不能应用于任意优化的超参数（如学习率和动量），要么需要比基本模型长几倍的训练时间。我们扩展了这些现有的方法，开发了一个近似的基于超梯度的超参数优化器，该优化器适用于出现在可微模型权重更新中的任何连续超参数，但只需要一个训练集，无需重新启动。我们还提供了一个激励的论点收敛到真正的超梯度，并执行易于处理的基于梯度的优化独立的学习率为每个模型参数。我们的方法在几个UCI数据集和Fashion-MNIST（使用单层MLP），Penn Treebank（使用LSTM）和CIFAR-10（使用ResNet-18）上的各种随机超参数初始化中具有竞争力，在时间上仅比vanilla训练大2- 3倍。
2022-04-21 cs.LG stat.ML
Combining Automated Optimisation of Hyperparameters and Reward Shape
RWTH Aachen University（亚琛工业大学）；Universiteit Leiden（莱顿大学）
针对强化学习中超参数与奖励函数难调优且相互依赖的问题，提出二者联合优化方法并加入方差惩罚提升策略稳定性，实验证明其在多数环境中性能提升显著且计算成本增加少。
2024-10-09 cs.AI cs.LG
HEBO Pushing The Limits of Sample-Efficient Hyperparameter Optimisation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Technische Universität Darmstadt（达姆施塔特工业大学）；University of Cambridge（剑桥大学）；University College London（伦敦大学学院）
在这项工作中，我们严格分析黑盒优化超参数调整任务所固有的假设。我们在贝叶斯标记基准上的结果表明，异方差和非平稳性对黑箱优化器提出了重大挑战。基于这些发现，我们提出了一个异方差和进化贝叶斯优化求解器（HEBO）。HEBO执行非线性输入和输出翘曲，承认精确的边际对数似然优化，是强大的学习参数的值。我们展示了HEBO在NeurIPS 2020黑盒优化挑战中的经验功效，HEBO在其中排名第一。经过进一步分析，我们观察到HEBO在108个机器学习超参数调整任务（包括贝叶斯标记基准）上的表现明显优于现有的黑盒优化器。我们的研究结果表明，大多数超参数调整任务表现出异方差性和非平稳性，多目标收购合奏与帕累托前沿解决方案改善查询配置，和强大的收购最大化提供经验优势，相对于他们的非强大的同行。我们希望这些发现可以作为贝叶斯优化实践者的指导原则。所有代码都可以在https://github.com/huawei-noah/HEBO上获得。
2022-05-25 cs.LG math.OC
A Framework for History-Aware Hyperparameter Optimisation in Reinforcement Learning
强化学习（RL）系统依赖于一组影响系统性能的初始条件（超参数）。然而，定义一个好的超参数选择是一个具有挑战性的问题。超参数调优通常需要手动或自动搜索以找到最佳值。尽管如此，一个值得注意的限制是复杂模型的算法评估成本高，使得调优过程在计算上昂贵且耗时。在本文中，我们提出了一个框架的基础上集成复杂事件处理和时态模型，以减轻这些权衡。通过这种组合，可以基于数据流监控有效且不显眼地获得有关运行的RL系统的见解，并创建抽象表示，允许对RL系统的历史行为进行推理。所获得的知识被用来提供反馈给RL系统，以优化其超参数，同时有效地利用并行资源。我们引入了一种新的历史感知epsilon贪婪逻辑用于超参数优化，而不是使用在整个训练中保持固定的静态超参数，而是基于对代理在单个代理生命周期中的时间窗口的性能分析在运行时调整超参数。我们在5G移动通信案例研究中测试了所提出的方法，该案例研究使用DQN（RL的一种变体）进行决策。我们的实验证明了使用历史的超参数调整对训练稳定性和奖励值的影响。令人鼓舞的结果表明，所提出的历史感知框架显着提高性能相比，传统的超参数调整方法。
2023-03-09 cs.AI cs.LG cs.SE
Improving Linear System Solvers for Hyperparameter Optimisation in Iterative Gaussian Processes
University of Cambridge（剑桥大学）；MPI for Intelligent Systems, Tübingen（图宾根智能系统马普研究所）；Ångström AI（昂斯特伦人工智能公司）
针对高斯过程超参数优化难适配大规模数据集的问题，提出三项线性系统求解器改进方案，实现最高72倍加速与最多7倍残差范数降低。
2025-01-12 cs.LG stat.ML
Convolution Neural Network Hyperparameter Optimization Using Simplified Swarm Optimization
National Tsing Hua University（清华大学）；Yuan Ze University（元智大学）；National Defense University（国防大学）；University of Eastern Finland（东芬兰大学）
卷积神经网络（CNN）广泛应用于图像识别。许多CNN模型，如LeNet，AlexNet，VGG，ResNet和GoogLeNet，已经通过增加层数来提高CNN的性能。然而，性能恶化超过一定数量的层。因此，超参数优化是改进CNN的更有效方法。为了验证这一概念，提出了一种基于简化群优化的新算法来优化最简单的CNN模型（LeNet）的超参数。在MNIST、Fashion MNIST和Cifar 10数据集上进行的实验结果表明，该算法的准确率高于原始LeNet模型和PSO-LeNet，并且具有很高的潜力可以扩展到更复杂的模型，如AlexNet。
2021-08-09 cs.CV cs.LG cs.NE
How Bayesian Should Bayesian Optimisation Be?
University of Exeter（埃克塞特大学）
贝叶斯优化（BO）使用概率代理模型-通常是高斯过程（GP）-用于优化昂贵的黑盒函数。在每次BO迭代中，GP超参数通过最大化边缘似然来拟合先前评估的数据。然而，这并不能解释超参数本身的不确定性，导致模型预测过于自信。这种不确定性可以通过采用贝叶斯方法将模型超参数边缘化来解释。我们调查是否完全贝叶斯处理的高斯过程超参数在BO（FBBO）导致改进的优化性能。由于分析方法是棘手的，我们比较FBBO使用三个近似推理方案的最大似然方法，使用预期改善（EI）和置信上限（UCB）的收购功能与ARD和各向同性Matern内核配对，在15个著名的基准问题4观测噪声设置。使用具有ARD内核的EI的FBBO在无噪声设置中导致最佳性能，当噪声增加时，BO分量的组合之间的差异小得多。FBBO会导致UCB的过度勘探，但对EI无害。因此，我们建议FBBO使用带有ARD内核的EI作为BO的默认选择。
2021-05-03 cs.LG stat.ML
Warfarin dose estimation on multiple datasets with automated hyperparameter optimisation and a novel software framework
University of Cape Town（开普敦大学）
Warfatin是动脉和静脉血栓栓塞的有效预防性治疗，但由于其治疗范围窄且个体差异大，需要个体化给药。许多机器学习技术已经在这一领域得到证明。这项研究评估了国际Warfare Pharmacogenetics Consortium数据集和南非患者的新临床数据集上最有前途的算法的准确性。支持向量和线性回归在两个数据集中都是表现最好的，并且表现优于最近的堆叠集成方法，而神经网络在两个数据集中都是表现最差的。我们还引入了遗传编程来自动优化模型架构和超参数，而无需人工指导。值得注意的是，生成的模型被发现与人类专家手工制作的最佳模型的性能相匹配。最后，我们提出了一个新的软件框架（Warfit-learn）华法林剂量研究。它利用了预处理，插补和并行评估中最成功的技术，旨在加速研究并使该领域的结果更具重现性。
2020-10-26 cs.LG q-bio.QM
Tuning Hyperparameters without Grad Students: Scalable and Robust Bayesian Optimisation with Dragonfly
Carnegie Mellon University（卡内基梅隆大学）
贝叶斯优化（BO）是指一套用于全局优化昂贵的黑盒函数的技术，它使用函数的内省贝叶斯模型来有效地搜索最优值。虽然BO已成功地应用于许多应用程序，但现代优化任务带来了新的挑战，传统方法通常会失败。在这项工作中，我们介绍了Dragonfly，一个用于可扩展和健壮BO的开源Python库。Dragonfly结合了多个最近开发的方法，允许BO应用于具有挑战性的现实世界的设置;这些方法包括更好的方法，用于处理高维域，用于处理多保真度评估的方法时，廉价的近似昂贵的功能是可用的，方法优化结构化的组合空间，如空间的神经网络架构，并处理并行评估的方法。此外，我们在BO中开发了新的方法改进，用于选择贝叶斯模型，选择采集函数，并优化具有不同变量类型和附加约束的复杂域。我们比较Dragonfly的一套其他软件包和算法的全局优化，并证明，当上述方法集成，它们使BO的性能显着改善。Dragonfly库可以在dragonfly.github.io上找到。
2020-04-19 cs.AI cs.LG stat.ML
Exploring Public Attention in the Circular Economy through Topic Modelling with Twin Hyperparameter Optimisation
Heriot-Watt University（赫瑞瓦特大学）；Imperial College London（伦敦帝国学院）；Nanjing University of Information Science and Technology（南京信息工程大学）；University of Surrey（萨里大学）
本研究提出整合单目标与多目标的双超参数优化主题建模框架，基于多平台数据分析循环经济领域的公众关注特征，为相关政策制定提供参考。
2024-09-23 cs.CL cs.LG
Population Based Training of Neural Networks
DeepMind
神经网络在现代机器学习领域占据主导地位，但它们的训练和成功仍然受到对模型架构、损失函数和优化算法等超参数的经验选择的敏感性的影响。在这项工作中，我们提出了\emph{Population Based Training (PBT)}，一个简单的异步优化算法，有效地利用固定的计算预算，共同优化人口的模型和他们的超参数，以最大限度地提高性能。重要的是，PBT发现了一个超参数设置的时间表，而不是遵循通常的次优策略，即试图找到一个用于整个训练过程的固定集合。只需对典型的分布式超参数训练框架进行一个小的修改，我们的方法就可以对模型进行鲁棒和可靠的训练。我们证明了PBT在深度强化学习问题上的有效性，通过优化一套超参数，显示出更快的挂钟收敛和更高的代理最终性能。此外，我们还展示了同样的方法可以应用于机器翻译的监督学习，其中PBT用于直接最大化BLEU分数，以及生成对抗网络的训练，以最大化生成图像的初始分数。在所有情况下，PBT都会自动发现超参数计划和模型选择，从而实现稳定的训练和更好的最终性能。
2017-11-28 cs.LG cs.NE
Regularisation Can Mitigate Poisoning Attacks: A Novel Analysis Based on Multiobjective Bilevel Optimisation
Imperial College London（帝国理工学院）；Defence Science and Technology Laboratory (Dstl)（国防科学技术实验室（Dstl））
机器学习（ML）算法容易受到中毒攻击，其中一小部分训练数据被操纵以故意降低算法的性能。最佳中毒攻击，这可以制定为双层优化问题，帮助评估在最坏情况下的学习算法的鲁棒性。然而，目前针对具有超参数的算法的攻击通常假设这些超参数保持恒定，忽略了攻击对它们的影响。我们表明，这种方法会导致一个过于悲观的看法的算法的鲁棒性。我们提出了一种新的最佳攻击配方，认为攻击的超参数的影响建模的攻击作为一个多目标的双层优化问题。我们应用这种新的攻击制定ML分类器使用$L_2$正则化，并表明，与以前报道的结果相比，$L_2$正则化增强了学习算法的稳定性，并有助于减轻攻击。我们对不同数据集的经验评估证实了以前策略的局限性，证明了使用$L_2$正则化来抑制中毒攻击的效果的好处，并显示了正则化超参数如何随着中毒点的分数而增加。
2020-06-20 cs.CR cs.LG stat.ML
Comparison of Optimised Geometric Deep Learning Architectures, over Varying Toxicological Assay Data Environments
King’s College London（伦敦国王学院）；Istituto di Ricerche Farmacologiche Mario Negri IRCCS（马里奥·内格里药理研究所）；European Food Safety Authority (EFSA)（欧洲食品安全局）；Food Standards Agency（食品标准局）
本文在7个不同数据丰度的毒理学测定数据集上贝叶斯优化并比较GCN、GAT和GIN，发现GIN适合数据丰富场景，GAT更适合数据稀缺场景。
2025-07-22 cs.AI cs.LG q-bio.QM
Bayesian Optimisation-Assisted Neural Network Training Technique for Radio Localisation
University of Sheffield（谢菲尔德大学）；University of Bristol（布里斯托大学）；Bristol Research & Innovation Laboratory, Toshiba Europe Ltd.（东芝欧洲有限公司布里斯托尔研究与创新实验室）
基于无线电信号的（室内）定位技术对于智能工厂和仓库等物联网应用非常重要。通过机器学习，特别是神经网络方法，可以实现从信号特征到目标位置的更精确的映射。然而，不同的无线电协议，例如WiFi、蓝牙等，在发射信号中具有不同的特征，可以用于定位目的。此外，神经网络方法通常依赖于精心配置的模型和广泛的训练过程，以在各个定位场景中获得令人满意的性能。上述内容在确定神经网络模型结构或超参数以及从可用数据中选择训练特征的过程中构成了重大挑战。提出了一种基于贝叶斯优化的神经网络模型超参数整定和训练方法。可以实现模型超参数和训练特征的自适应选择，而对手动模型训练设计的需求最小。利用所提出的技术，训练过程以更自动和有效的方式进行优化，增强了神经网络在本地化中的适用性。
2022-03-08 cs.LG eess.SP
TWIG: Towards pre-hoc Hyperparameter Optimisation and Cross-Graph Generalisation via Simulated KGE Models
Trinity College Dublin（都柏林圣三一大学）
TWIG通过仅用2590个参数模拟ComplEx-N3模型在UMLS上的结果，证明KGE仅学习结构模式，并提出结构泛化假设，实现跨图链接预测。
2024-02-08 cs.AI cs.LG
Bayesian Optimisation with Unknown Hyperparameters: Regret Bounds Logarithmically Closer to Optimal
University of Oxford（牛津大学）；Toyota Motor Corporation（丰田汽车公司）
针对贝叶斯优化中长度尺度超参数未知且易误设的问题，提出长度尺度平衡（LB）方法，通过聚合多尺度代理模型平衡探索与利用，使遗憾界仅以对数因子偏离最优oracle，并在实验中优于A-GP-UCB等方法。
2024-11-22 cs.LG stat.ML
Optimised one-class classification performance
Ghent University（根特大学）；imec（比利时微电子研究中心）
我们通过五个数据描述符的超参数优化对一类分类进行了彻底的处理：支持向量机（SVM）、最近邻距离（NND）、局部最近邻距离（LNND）、局部离群因子（LOF）和平均局部邻近度（ALP）。SVM和LOF的超参数必须通过交叉验证进行优化，而NND，LNND和ALP允许有效形式的留一验证和重复使用单个最近邻查询。我们用来自50个数据集的246个分类问题来实验评估超参数优化的效果。从一系列优化算法中，最近的Malherbe-Powell建议最有效地优化了所有数据描述符的超参数。我们计算测试AUROC的增加和过拟合量作为超参数评估数量的函数。经过50次评估后，ALP和SVM显著优于LOF、NND和LNND，LOF和NND优于LNND。ALP和SVM的性能相当，但ALP可以更有效地优化，因此构成了一个很好的默认选择。或者，使用验证AUROC作为ALP或SVM之间的选择标准，给出了最佳的总体结果，而NND是计算要求最低的选项。因此，我们最终在三种选择之间进行了明确的权衡，使从业者能够做出明智的决定。
2022-08-03 cs.LG stat.ML
Maximum Mutation Reinforcement Learning for Scalable Control
University of Toronto（多伦多大学）；RBC Capital Markets（加拿大皇家银行资本市场）
强化学习（RL）的进展已经证明了大状态空间的数据效率和最优控制，但以可扩展性能为代价。另一方面，遗传方法提供了可扩展性，但描述了对进化操作的超参数敏感性。然而，这两种方法的组合最近在将RL代理扩展到高维动作空间方面取得了成功。平行于最近的发展，我们提出了基于进化的软演员批评（ESAC），一个可扩展的RL算法。通过结合演化策略和软执行者-评论者（SAC），将探索从开发中抽象出来。通过这个镜头，我们使后代之间的优势技能转移，利用软赢家选择和遗传交叉在事后，同时提高超参数的敏感性，在进化中使用新的自动突变调整（AMT）。AMT逐渐取代SAC的熵框架，允许种群在尽可能随机的情况下成功完成任务，而不使用反向传播更新。在一项由高维动作空间和稀疏奖励组成的具有挑战性的运动任务的研究中，与最大熵框架相比，ESAC表现出更好的性能和样本效率。此外，ESAC提出了有效的使用硬件资源和算法开销。ESAC的完整实现可以在karush17.github.io/esac-web/上找到。
2021-01-16 cs.AI cs.LG cs.NE
Bayesian Optimisation for Constrained Problems
University of Warwick（华威大学）
许多现实世界的优化问题，如机器学习或基于仿真的优化中的超参数调整，可以用公式表示为昂贵的评估黑盒函数。解决此类问题的一种流行方法是贝叶斯优化（BO），它基于迄今为止收集的数据构建响应面模型，并使用模型预测的均值和不确定性来决定下一步收集什么信息。在本文中，我们提出了一个新的变种，著名的知识梯度采集功能，使其能够处理约束。我们经验比较新算法与其他四个国家的最先进的约束贝叶斯优化算法，并证明其优越的性能。我们还证明了在无限预算极限下的理论收敛性。
2021-05-27 cs.LG stat.ML
Hyperparameter Learning via Distributional Transfer
University of Oxford（牛津大学）；Tencent AI Labs（腾讯人工智能实验室）
贝叶斯优化是一种流行的超参数学习技术，但通常需要初始探索，即使在类似的先验任务已经解决的情况下。我们建议使用这些任务中使用的训练数据集的学习表示来跨任务传输信息。这导致了超参数和数据表示的联合高斯过程模型。表示利用分布嵌入到再生核希尔伯特空间的框架。所开发的方法具有更快的收敛速度相比，现有的基线，在某些情况下，只需要几个评价的目标。
2019-05-26 cs.LG stat.ML
A Denoising Autoencoder that Guides Stochastic Search
Queen Mary, University of London（伦敦大学玛丽女王学院）
描述了一种自适应学习非线性突变分布的算法。它的工作原理是在遗传算法的每一代在线训练一个去噪自动编码器（DA），以重建迄今为止最佳基因型的缓慢衰减的记忆。压缩的隐藏层迫使自动编码器学习训练集中的隐藏特征，这些特征可用于加速对具有类似结构的新问题的搜索。它的输出神经元定义了一个概率分布，我们从中采样以产生后代解决方案。该算法优于一个典型的遗传算法在几个组合优化问题，如多维0/1背包问题，MAXSAT，HIFF，和参数优化问题，如Rastrigin和Rosenbrock函数。
2014-04-06 cs.LG cs.NE
Towards automated optimisation of residual convolutional neural networks for electrocardiogram classification
University of Sfax（斯法克斯大学）；National Engineering School of Sfax (ENIS)（斯法克斯国家工程学院）；Faculty of Science of Sfax (FSS)（斯法克斯科学学院）
心电图（ECG）的解释提供了临床信息，并有助于评估心脏功能。有不同的心电图模式与特定类别的心律失常。卷积神经网络是目前用于ECG处理的最常用的深度学习算法之一。然而，深度学习模型需要许多超参数来调整。为卷积神经网络算法选择最优或最佳超参数是一项极具挑战性的任务。通常，我们最终会使用不同的可能值范围手动调整模型，直到获得最佳拟合模型。使用贝叶斯优化（BO）和进化算法的自动超参数调整可以为当前劳动密集型手动配置方法提供有效的解决方案。在本文中，我们提出在两个层次上优化残差一维卷积神经网络模型（R-1D-CNN）。在第一级，训练残差卷积层和一维卷积神经层以学习患者特定的ECG特征，多层感知器层可以通过这些特征学习以产生每个输入的最终类向量。此级别是手动的，旨在降低搜索空间。第二层是自动的，基于我们提出的基于BO的算法。我们提出的优化R-1D-CNN架构在两个公开可用的ECG数据集上进行了评估。对比实验结果表明，我们的基于BO的算法达到了99.95%的最优率，而基线模型达到99.70%的MIT-BIH数据库。此外，实验表明，所提出的架构与BO微调实现了更高的精度比其他提出的架构。与以前在基准数据集上的工作相比，我们优化的架构取得了优异的结果。
2022-01-28 cs.LG eess.SP
Maximum a Posteriori Policy Optimisation
DeepMind
我们介绍了一种新的强化学习算法，称为最大后验策略优化（MPO）的基础上相对熵目标的坐标上升。我们表明，现有的几种方法可以直接与我们的推导。我们开发了两种非策略算法，并证明了它们在深度强化学习中与最先进的算法具有竞争力。特别是，对于连续控制，我们的方法优于现有的方法方面的样本效率，过早收敛和鲁棒性超参数设置，同时实现类似或更好的最终性能。
2018-06-14 cs.AI cs.IT cs.LG
Automatic Gradient Descent: Deep Learning without Hyperparameters
MIT（麻省理工学院）；U. Oxford（牛津大学）；U. Washington（华盛顿大学）；Caltech（加州理工学院）
本文提出自动梯度下降（AGD），通过将镜像下降扩展到非凸复合目标并变换 Bregman 散度以利用神经架构，实现了无需任何超参数即可在 ImageNet 规模上训练全连接和卷积网络的一阶优化器。
2023-04-11 cs.AI cs.LG cs.NA
Fast Efficient Hyperparameter Tuning for Policy Gradients
University of Oxford（牛津大学）
策略梯度方法的性能对必须针对任何新应用程序进行调优的超参数设置很敏感。用于调整超参数的广泛使用的网格搜索方法是样本效率低且计算昂贵的。更先进的方法，如基于人口的训练，学习超参数的最佳时间表，而不是固定的设置，可以产生更好的结果，但也是样本效率低，计算成本高。在本文中，我们提出了Hyperparameter Optimization on the Fly（HOOF），这是一种无梯度算法，它只需要一次训练就可以自动调整直接通过梯度影响策略更新的超参数。其主要思想是使用现有的轨迹采样的策略梯度方法来优化一步改进目标，产生一个样本和计算效率高的算法，易于实现。我们在多个领域和算法上的实验结果表明，使用HOOF来学习这些超参数计划可以提高学习速度和性能。
2019-09-17 cs.LG stat.ML
Two-Time-Scale Learning Dynamics: A Population View of Neural Network Training
Maxwell Institute for Mathematical Sciences and School of Mathematical and Computer Sciences Heriot–Watt University, Edinburgh, UK（麦克斯韦数学科学研究所和赫里奥特-沃特大学数学与计算机科学学院，爱丁堡，英国）；Department of Mathematics and Computer Science University of Ferrara, Italy（费拉拉大学数学与计算机科学系）
本文提出基于双时间尺度群体动态的理论框架，分析神经网络训练中参数与超参数的演化机制，揭示群体学习与双层优化的关系，并探讨噪声与多样性在优化与探索中的作用。
2026-03-25 cs.LG math.AP stat.ML
Optimisation & Generalisation in Networks of Neurons
California Institute of Technology（加州理工学院）
本论文的目标是发展人工神经网络学习的优化和泛化理论基础。在优化方面，提出了一种新的理论框架，用于推导依赖于结构的一阶优化算法。该方法通过将损失函数的“功能优化”与对神经结构的显式依赖进行编码的“结构扰动边界”相结合来工作。该框架产生了在学习问题中传递超参数的优化方法。在推广方面，提出了一个新的对应关系网络和个人网络之间的合奏。有人认为，由于网络宽度和标准化的利润是采取大，空间的网络，内插一个特定的训练集集中在一个聚合的贝叶斯方法称为“贝叶斯点机”。这种对应关系为将PAC-贝叶斯推广定理转移到单个网络提供了一条途径。更广泛地说，这些通信为正则化在参数远多于数据的网络中的作用提供了新的视角。
2022-10-18 cs.AI cs.IT cs.LG
Marginalised Gaussian Processes with Nested Sampling
Secondmind；University of Cambridge（剑桥大学）
高斯过程（GPs）模型是具有由核函数控制的归纳偏差的函数上的丰富分布。学习通过使用边际似然作为目标的内核超参数的优化来进行。这种经典的方法被称为第二类极大似然（ML-II），它产生了超参数的点估计，并且仍然是训练GP的默认方法。然而，这种方法存在低估预测不确定性的风险，并且容易过拟合，特别是当存在许多超参数时。此外，基于梯度的优化使得ML-II点估计对局部最小值的存在非常敏感。这项工作提出了一种替代的学习过程，其中使用嵌套采样（NS）将核函数的超参数边缘化，这是一种非常适合从复杂的多模态分布中采样的技术。我们专注于回归任务的光谱混合（SM）类的内核，并发现一个原则性的方法来量化模型的不确定性，导致在一系列的合成和基准数据集的预测性能大幅提高。在这种情况下，嵌套采样也被发现提供了一个速度优势超过哈密顿蒙特卡罗（HMC），被广泛认为是金标准MCMC为基础的推理。
2021-11-19 cs.LG stat.ML
Automatic model training under restrictive time constraints
School of Mathematics, University of Leeds（利兹大学数学学院）；The Alan Turing Institute（阿兰·图灵研究所）
提出AutoBCT算法，在受限时间下平衡模型质量与调优成本，通过马尔可夫决策过程在每个训练轮次决定终止或继续训练，并在随机森林和神经网络上验证性能。
2021-04-21 cs.LG stat.ML
Adaptive Zeroth-Order Optimisation of Nonconvex Composite Objectives
Technische Universität Berlin（柏林工业大学）
在本文中，我们提出并分析了非凸复合目标的零阶优化算法，重点是减少复杂性对维数的依赖。这是通过利用低维结构的决策集使用随机镜像下降法与熵相似的功能，它执行梯度下降的空间配备了最大的范数。为了提高梯度估计，我们用基于Rademacher分布的采样方法取代了经典的高斯平滑方法，并表明小批量方法可以处理非欧几何。为了避免调整超参数，我们分析了一般随机镜像下降的自适应步长，并表明所提出的算法的自适应版本收敛，而不需要有关问题的先验知识。
2022-08-14 cs.LG math.OC
Natural Evolutionary Search meets Probabilistic Numerics
Machine Learning Research Group, University of Oxford（牛津大学机器学习研究组）；Lattice Lab, Toyota Motor Corporation / Machine Learning Research Group, University of Oxford（丰田汽车公司晶格实验室 / 牛津大学机器学习研究组）
本文提出ProbNES算法，通过Bayesian quadrature增强NES框架，显著提升了样本效率，在多种任务中优于非概率方法和BO等全局优化方法。
2025-07-09 cs.LG cs.NE
Deep Genetic Network
优化一个神经网络的性能是一个繁琐和耗时的过程，这个迭代过程没有任何定义的解决方案，可以为所有的问题。优化可以粗略地分为体系结构优化和超参数优化。已经设计了许多算法来解决这个问题。在本文中，我们介绍了一种神经网络架构（深度遗传网络），它将在训练过程中根据其适应度优化其参数。深度遗传网络使用遗传算法和深度神经网络来解决超参数优化问题，这种方法使用了交配和变异等思想，这是遗传算法的关键，有助于神经网络架构学习自己优化其超参数，而不是依赖于一个人来显式设置值。使用遗传算法解决这个问题被证明是非常好的工作时，有足够的时间训练网络。该架构在优化仿射、卷积和递归层中的超参数方面表现良好，证明是传统监督学习任务的良好选择。
2019-03-19 cs.LG cs.NE stat.ML
AdamZ: An Enhanced Optimisation Method for Neural Network Training
University of Reading（雷丁大学）；University of Göttingen（哥廷根大学）；Henley Business School（亨利商学院）；ICMA Centre（ICMA中心）；GWDG（哥廷根科学数据中心）
AdamZ 通过动态检测超调与停滞来调整学习率，以提升神经网络训练的收敛精度，在基准测试中表现出更优的损失最小化能力。
2024-11-22 cs.AI cs.LG cs.NE
Neural parametric representations for thin-shell shape optimisation
Shanghai Jiao Tong University（上海交通大学）；University of Cambridge（剑桥大学）
本文提出神经参数表示（NRep）用于薄壳结构的形状优化，通过梯度优化方法解决结构合规性问题，展示了其在复杂晶格皮肤结构中的潜力。
2026-09-10 cs.LG cs.NA math.NA
Black-box Mixed-Variable Optimisation using a Surrogate Model that Satisfies Integer Constraints
Delft University of Technology（代尔夫特理工大学）
在工程和计算机科学中的一个挑战性问题是最小化一个函数，对于该函数，我们没有可用的数学公式，这是昂贵的评估，并且包含连续和整数变量，例如在自动算法配置中。基于代理的算法非常适合这类问题，但大多数现有技术的设计只考虑连续或离散变量。MVRSM（Mixed-Variable ReLU-based Surrogate Modelling）是一种基于代理的算法，它使用整流线性单元的线性组合，以（局部）最优值满足整数约束的方式定义。该方法在多达238个连续和整数变量的几个合成基准测试中表现优于现有技术，并在两个现实基准测试中实现了有竞争力的性能：XGBoost超参数调整和静电放电器优化。
2020-09-15 cs.LG math.OC stat.ML
Bayesian Optimistic Optimisation with Exponentially Decaying Regret
Applied Artificial Intelligence Institute, Deakin University, Geelong, Australia（应用人工智能研究所，德金大学，澳大利亚格里尔镇）
本文提出BOO算法，在无噪声环境下通过结合贝叶斯优化与基于树的乐观优化方法，实现指数级遗憾界O(N^{-√N})。
2021-05-10 cs.LG stat.ML
EXPObench: Benchmarking Surrogate-based Optimisation Algorithms on Expensive Black-box Functions
School of Industrial Engineering, Eindhoven University of Technology（埃因霍温理工大学工业工程学院）；Faculty of Electrical Engineering, Mathematics and Computer Science, Delft University of Technology（代尔夫特理工大学电气工程、数学与计算机科学学院）
针对昂贵黑盒优化缺乏标准化基准的问题，提出EXPObench库，比较六种代理算法在四个真实问题上的性能，提供算法选择建议并公开数据集以降低研究门槛。
2022-12-01 cs.LG cs.NE math.OC
Center-Outward q-Dominance: A Sample-Computable Proxy for Strong Stochastic Dominance in Multi-Objective Optimisation
针对随机多目标优化中标量化排序丢信息不可靠的问题，提出中心向外q-占优关系及对应实证检验方法，在超参数调优和多目标算法选择场景验证其有效性，为寻找随机占优解提供可靠基础。
2025-11-16 cs.LG stat.ML
Improving Intelligence of Evolutionary Algorithms Using Experience Share and Replay
Massachusetts Institute of Technology（麻省理工学院）
我们提出了PESA，一种新的方法结合粒子群优化（PSO），演化策略（ES），模拟退火（SA）的混合算法，灵感来自强化学习。PESA通过将它们的解决方案存储在共享重放存储器中来混合这三种算法。接下来，PESA应用优先级重放，根据它们的适应度和优先级值，以频繁的形式在三种算法之间重新分配数据，这显着增强了样本多样性和算法探索。此外，贪婪重放被隐式地使用在SA中，以提高接近进化结束时的PESA利用率。对12个高维连续基准函数的验证显示出PESA对独立ES，PSO和SA的优越性能，在相似的初始起点，超参数和代数下。PESA显示出更好的探索行为，更快的收敛速度，以及找到全局最优解的能力。考虑到有前途的性能，PESA可以提供一个有效的优化选项，特别是在它经过额外的多处理改进来处理复杂和昂贵的健身功能之后。
2020-08-10 cs.LG cs.NE
Multiple-Frequencies Population-Based Training
本文针对PBT因频繁选择导致短期贪婪和局部最优的问题，提出多频率基于群体的训练（MF-PBT），通过不同进化频率的子群体及非对称迁移机制平衡短期与长期优化，在Brax实验上验证了其样本效率和长期性能的提升。
2025-07-17 cs.AI cs.LG cs.NE
WhaleVAD-BPN: Improving Baleen Whale Call Detection with Boundary Proposal Networks and Post-processing Optimisation
Department of Electrical and Electronic Engineering（电子与电气工程系）；University of Stellenbosch（斯坦陵博斯大学）
WhaleVAD-BPN通过引入边界提案网络和后处理优化，显著提升了鲸脂鲸叫声检测的精度和少数类识别性能。
2025-10-27 cs.AI cs.LG cs.SD
End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Technische Universität Darmstadt（达姆施塔特工业大学）；University College London（伦敦大学学院）
本文提出首个端到端可微的元贝叶斯优化框架，利用Transformer神经过程学习采集函数，通过强化学习与辅助任务解决稀疏奖励问题，在标准及现实任务中取得最优遗憾结果。
2023-12-22 cs.LG
Enhancing Speech Emotion Recognition via Fine-Tuning Pre-Trained Models and Hyper-Parameter Optimisation
本研究提出结合预训练模型与自动超参数优化的语音情感识别流程，在CPU上高效达到高准确率，并显著提升跨语言零样本泛化能力。
2025-10-08 cs.LG
On-Policy Trust Region Policy Optimisation with Replay Buffers
Department of Computer Science, University of Exeter（埃克塞特大学计算机科学系）；University of Exeter（埃克塞特大学）
基于最近深度强化学习方法的成功，我们研究了通过重用来自多个连续策略的数据来改进策略上强化学习的可能性。基于策略的方法带来了许多好处，例如能够评估每个结果策略。然而，他们通常抛弃了所有关于以前存在的政策的信息。在这项工作中，我们提出了自适应的重放缓冲区的概念，借用了离策略学习设置，创建的方法，结合的优势，和离策略学习。为了实现这一点，所提出的算法概括的$Q$，价值和优势函数的数据从多个政策。该方法使用信赖域优化，同时避免了TRPO或ACKTR等算法的一些常见问题：它使用超参数代替信赖域选择算法，以及可训练协方差矩阵代替固定协方差矩阵。在许多情况下，该方法不仅改善了结果相比，最先进的信任区域同策略学习算法，如PPO，ACKTR和TRPO，但也相对于他们的非策略对应DDPG。
2019-01-18 cs.AI cs.LG stat.ML
VisEvol: Visual Analytics to Support Hyperparameter Search through Evolutionary Optimization
Linnaeus University（林奈大学）；Linköping University（林雪平大学）
针对机器学习超参数搜索计算量大、参数关联复杂的问题，提出可视分析工具VisEvol，结合进化优化支持交互式超参数探索与过程干预，生成权重均等的投票集成模型提升预测性能，经用例和专家访谈验证有效。
2024-04-18 cs.HC cs.LG stat.ML
Policy learning for many outcomes of interest: Combining optimal policy trees with multi-objective Bayesian optimisation
Centre for Social Research and Methods（社会研究与方法中心）；Australian National University（澳大利亚国立大学）
本文提出多目标策略学习（MOPoL）方法，结合最优决策树与多目标贝叶斯优化，构建帕累托前沿以权衡多个结果，并在肯尼亚抗疟疾药物配给案例中验证其有效性。
2023-10-17 cs.AI cs.LG econ.EM
Approximate Bayesian Optimisation for Neural Networks
MILA（米拉研究所）
为了突出模型选择的重要性，已经做了大量的工作来自动化机器学习算法。自动化选择最佳预测模型及其相应参数的过程可以改善广泛的实际应用。贝叶斯优化（BO）使用黑盒优化方法，通过采集功能根据勘探开发权衡标准提出解决方案。BO框架施加了两个关键成分：一个概率代理模型，由未知目标函数（数据依赖）的先验信念和一个目标函数，描述如何最佳的模型拟合。选择最佳模型及其相关的超参数可能非常昂贵，并且通常使用高斯过程（GP）进行拟合，并且由于其棘手性，在某种程度上应用近似推理。然而，由于GP的规模与观察的数量立方，它一直具有挑战性的目标，其优化需要许多评估。此外，大多数真实数据集是非平稳的，这使得对代理模型的假设过于理想化。以随机方式解决分析易处理性和计算可行性的必要性使得能够确保贝叶斯优化的效率和适用性。在本文中，我们探讨了使用神经网络作为替代GP的函数分布模型，我们提供了一个密度比估计和类概率估计之间的联系的基础上近似推理，这种重新制定提供算法的效率和易处理性。
2021-08-31 cs.LG math.OC math.ST
On discretisation drift and smoothness regularisation in neural network training
University College London（伦敦大学学院）
本文研究了深度学习中梯度下降的离散化漂移问题，推导了新型连续时间流以描述学习率特定行为，并提出了无需额外超参数的稳定性缓解策略，同时揭示了平滑性正则化与优化在多领域的交互作用。
2023-10-21 cs.LG stat.ML
Generalisable Agents for Neural Network Optimisation
University of Edinburgh（爱丁堡大学）；InstaDeep Ltd（InstaDeep公司）；The University of the Witwatersrand（金山大学）；Cohere For AI
提出GANNO框架，利用多智能体强化学习逐层动态调度超参数以优化神经网络，其性能与手工启发式方法相当且能泛化至更难问题。
2024-03-22 cs.AI cs.LG cs.MA
ECToNAS: Evolutionary Cross-Topology Neural Architecture Search
Institute of Material Systems Modeling, Helmholtz-Zentrum Hereon（亥姆霍兹重离子研究中心材料系统建模研究所）；Institute for Continuum and Material Mechanics, Hamburg University of Technology（汉堡工业大学连续介质与材料力学研究所）
本研究提出无需预训练元控制器的进化式跨拓扑神经网络架构搜索算法ECToNAS，将训练与拓扑优化融合为轻量流程，经6个标准数据集验证，可跨网络类型动态优化拓扑，降低了非机器学习领域研究者的应用门槛。
2024-03-08 cs.CV cs.LG cs.NE
CascadeML: An Automatic Neural Network Architecture Evolution and Training Algorithm for Multi-label Classification
Insight Centre for Data Analytics（洞察数据分析中心）；University College Dublin（都柏林大学学院）
多标签分类是一种允许数据点同时被标记为多个类别的方法。一种常见但琐碎的方法是训练每个标签的单个二进制分类器，但通过考虑标签内的关联可以提高性能。与任何机器学习算法一样，超参数调整对于训练良好的多标签分类器模型很重要。为算法选择最佳超参数设置的任务是一个优化问题。在多标签域中的自动超参数调整和AutoML方面已经做了非常有限的工作。本文在级联神经网络的基础上，提出了一种训练多标签神经网络的神经网络算法CascadeML，试图填补这一空白。该方法需要最少或不需要超参数调整，并且还考虑成对标签关联。级联算法在使用自适应一阶梯度算法学习权值的同时，在两个阶段过程中递增地增长网络结构，因此省略了预先选择隐藏层、节点的数量和学习率的要求。在10个多标签数据集上对该方法进行了测试，并与其他多标签分类算法进行了比较。结果表明，CascadeML在没有超参数调整的情况下表现得非常好。
2019-04-23 cs.AI cs.LG stat.ML
