k-Same-Siamese-GAN: k-Same Algorithm with Generative Adversarial Network for Facial Image De-identification with Hyperparameter Tuning and Mixed Precision Training
National Taiwan University(台湾大学)
对于数据持有者,例如医院或政府实体,其拥有私人持有的个人数据集合,其中个人身份数据的披露和/或处理受到法律限制和禁止。然后,“我们如何确保数据持有者在个人数据图像中隐藏每个人的身份,同时在去识别后仍然保留数据的某些有用方面?“成为一个挑战性的问题。在这项工作中,我们提出了一种高分辨率面部图像去识别的方法,称为k-Same-Siamese-GAN,它利用了k-Same-Anxiety机制,生成对抗网络和超参数调整方法。此外,为了加快模型训练速度和减少内存消耗,还应用了混合精度训练技术,使kSS-GAN提供关于封闭形式身份的隐私保护的保证,并且训练效率也更高。最后,为了验证其适用性,所提出的工作已被应用到实际数据集- RafD和CelebA的性能测试。除了保护高分辨率人脸图像的隐私外,该系统还具有自动参数调整和突破可调参数数量限制的能力。
2019-09-17 cs.CV cs.LG stat.ML
Selecting Hyperparameters for Tree-Boosting
Seminar for Statistics, ETH Zurich(苏黎世联邦理工学院统计研究所)
本文通过59个数据集比较了多种超参数优化方法,发现SMAC方法显著优于其他方法,并揭示了超参数调优的关键因素。
2026-11-03 cs.LG stat.AP stat.ML
A Unified Gaussian Process for Branching and Nested Hyperparameter Optimization
Rutgers University(罗格斯大学);Microsoft(微软公司)
针对超参数间存在条件依赖(分支与嵌套)的常见问题,提出统一贝叶斯优化框架,通过新核函数的高斯过程模型捕捉依赖结构,在理论和实验中均验证了更高的预测精度与优化效率。
2024-01-19 cs.AI cs.LG stat.ML
Scalable Gaussian Process Hyperparameter Optimization via Coverage Regularization
University of Colorado Boulder(科罗拉多大学博尔德分校);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
高斯过程(GP)是贝叶斯非参数模型,由于其准确性和固有不确定性量化(UQ)而在各种应用中流行。调整GP超参数对于确保预测精度和不确定性的有效性至关重要;唯一地估计多个超参数,例如Matern内核也可能是一个重大挑战。此外,在大规模数据集上训练GP是一个非常活跃的研究领域:传统的最大似然超参数训练需要二次记忆来形成协方差矩阵,并且具有立方训练复杂度。为了解决可扩展的超参数调整问题,我们提出了一种新的算法,估计的平滑度和长度尺度参数的Matern内核,以提高鲁棒性的预测不确定性。使用新的损失函数类似于那些在共形预测算法的超参数估计算法MuyGPs提供的计算框架,我们实现了改进的UQ留一法似然最大化,同时保持了高度的可扩展性,在数值实验中证明。
2022-11-02 cs.LG cs.NA math.NA
Blocked Cross-Validation: A Precise and Efficient Method for Hyperparameter Tuning
MIT - World Peace University(麻省理工学院-世界和平大学)
本文提出blocked cross-validation(BCV)方法,通过针对CV划分和学习器随机行为进行分块,在显著减少运行次数下提供比RCV更精确的误差估计,实现更高效超参数调优。
2023-07-31 cs.LG stat.ME
Surrogate Model Based Hyperparameter Tuning for Deep Learning with SPOT
Institute for Data Science, Engineering, and Analytics(数据科学、工程与分析研究所);Technische Hochschule Köln(科隆应用技术大学)
提出了一种基于代理模型的深度学习超参数整定方法。本文演示了如何优化Keras/tensorflow中实现的深度学习模型的架构级参数(超参数)。调优过程的实现是100%可从R访问的,R是用于统计计算的软件环境。通过几行代码,可以组合现有的R包(tfruns和SPOT)来执行超参数调优。一个基本的超参数调整任务(神经网络和MNIST数据)被用来验证这种方法
2021-07-05 cs.LG
JITuNE: Just-In-Time Hyperparameter Tuning for Network Embedding Algorithms
ICT, CAS(中国科学院计算技术研究所);Tsinghua University(清华大学)
网络嵌入(NE)可以为大规模网络生成简洁的节点表示,并能够将常见的机器学习方法直接应用于网络结构。已经提出了各种NE算法,并将其用于许多应用中,例如节点分类和链接预测。NE算法通常包含对性能至关重要的超参数,但是超参数调整过程可能是耗时的。希望在指定的时间长度内调整超参数。虽然AutoML方法已经被应用于NE算法的超参数调整,但如何在给定的时间内调整NE算法的超参数的问题还没有研究过。在本文中,我们提出了JITuNE,一个即时超参数调整框架NE算法。我们的JITuNE框架,使NE算法的时间约束超参数调整,采用层次网络概要的调整和传输的知识获得概要到整个网络。概要的分层生成和时间约束的调优方法使得能够约束总体调优时间。大量的实验表明,JITuNE可以显着提高NE算法的性能,优于国家的最先进的方法在相同数量的算法运行。
2021-01-19 cs.LG
High Per Parameter: A Large-Scale Study of Hyperparameter Tuning for Machine Learning Algorithms
机器学习(ML)中的超参数已经受到了相当多的关注,超参数调整已经被视为ML管道中的重要步骤。但是,所说的调整到底有多大用处呢?虽然之前已经进行了小规模的实验,但在此我们进行了大规模的调查,具体来说,涉及26个ML算法,250个数据集(回归以及二进制和多项式分类),6个评分指标和28,857,600个算法运行。分析结果,我们得出结论,对于许多ML算法,我们不应该期望从平均超参数调整中获得相当大的收益,然而,可能有一些数据集的默认超参数表现不佳,后者对某些算法来说比其他算法更真实。通过定义一个hp_score值,它结合了算法的累积统计数据,我们能够对26个ML算法进行排名,从那些预期从超参数调整中获得最多的算法到那些预期获得最少的算法。我们相信这样的研究可以为ML从业者提供服务。
2022-07-13 cs.LG
Efficient Hyperparameter Tuning via Trajectory Invariance Principle
Department of Computer Science and Technology, Tsinghua AI Institute, BNRist Lab, Tsinghua-Bosch Joint Center for ML, Tsinghua University(计算机科学与技术系、清华人工智能研究院、BNRist实验室、清华-博世联合机器学习中心、清华大学)
针对大规模超参数调优成本高昂的问题,本文发现学习率与权重衰减组合下的轨迹不变性,将二维调优空间降至一维,并据此提出高效调优规则、改进缩放定律。
2025-09-29 cs.LG
Importance of Tuning Hyperparameters of Machine Learning Algorithms
Eindhoven University of Technology(埃因霍温理工大学);Columbia University(哥伦比亚大学)
许多机器学习算法的性能取决于它们的超参数设置。本研究的目标是确定是否需要调整超参数,或者是否可以安全地将其设置为默认值。我们提出了一种方法来确定调整超参数的非劣效性测试和调整风险的基础上的重要性:性能损失时发生的超参数没有调整,但设置为默认值。因为我们的方法需要默认参数的概念,我们提出了一个简单的过程,可以用来确定合理的默认参数。我们使用OpenML的59个数据集在基准研究中应用我们的方法。我们的研究结果表明,将特定的超参数保留为默认值并不比调整这些超参数差。在某些情况下,将超参数保留为默认值甚至优于使用具有有限迭代次数的搜索过程对其进行调整。
2020-07-15 cs.LG stat.ML
On Noisy Evaluation in Federated Hyperparameter Tuning
Carnegie Mellon University(卡内基梅隆大学);Meta AI
本研究首次系统分析联邦超参数调优中的噪声评估问题,识别噪声来源并提出利用公共代理数据增强评估信号的方法,确立了通用挑战与最佳实践。
2023-05-15 cs.LG
MANGO: A Python Library for Parallel Hyperparameter Tuning
Arm(安谋科技)
调整机器学习算法的超参数是一项繁琐的任务,通常是手动完成的。为了实现自动化的超参数调整,最近的工作已经开始使用基于贝叶斯优化的技术。然而,为了实际上实现大规模机器学习训练管道的自动调整,现有库中仍然存在显著的差距,包括缺乏抽象、容错和灵活性以支持任何分布式计算框架上的调度。为了解决这些挑战,我们提出了Mango,一个用于并行超参数调优的Python库。Mango支持使用任何分布式调度框架,实现智能并行搜索策略,并提供丰富的抽象来定义与scikit-learn兼容的复杂超参数搜索空间。Mango在性能上与另一个广泛使用的库Hyperopt相当。Mango是开源的,目前在Arm Research的生产中使用,以提供最先进的超参数调整功能。
2020-05-22 cs.LG stat.ML
Scalable Gradient-Based Tuning of Continuous Regularization Hyperparameters
Aalto University(阿尔托大学);IDSIA, Dalle Molle Institute for Artificial Intelligence, USI-SUPSI(IDSIA,达勒·莫勒人工智能研究所(USI-SUPSI))
超参数选择通常依赖于运行多个完整的训练试验,选择基于验证集的性能。我们提出了一种基于梯度的方法,用于在模型训练期间局部调整超参数。调整超参数,以便使模型参数梯度以及因此的更新对于验证成本更有利。我们探索了调整正则化超参数的方法,并发现在MNIST,SVHN和CIFAR-10上的实验中,得到的正则化水平在最佳区域内。额外的计算成本取决于训练超参数的频率,但无论模型大小如何,测试方案只增加了30%的计算开销。由于该方法与类似的基于梯度的超参数优化方法相比,计算要求明显降低,并且始终找到良好的超参数值,因此它可以成为训练神经网络模型的有用工具。
2016-06-17 cs.LG
No More Pesky Hyperparameters: Offline Hyperparameter Tuning for RL
Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所);University of Alberta(阿尔伯塔大学)
强化学习(RL)代理的性能对超参数的选择很敏感。然而,在机器人或工业控制系统等现实环境中,直接在环境中测试不同的超参数配置可能会在经济上受到限制,危险或耗时。我们提出了一种新的方法来调整超参数从离线日志的数据,完全指定的超参数的RL代理,在现实世界中在线学习。该方法在概念上很简单:我们首先从离线数据中学习环境模型,我们称之为校准模型,然后在校准模型中模拟学习以识别有希望的超参数。我们确定了几个标准,使这一战略的有效性,并制定了一种方法,满足这些标准。我们在各种环境中实证研究该方法,以确定它何时有效,何时失败。
2022-05-18 cs.LG
Exploiting Reuse in Pipeline-Aware Hyperparameter Tuning
Carnegie Mellon University(卡内基梅隆大学);Determined AI(Determined人工智能公司);University of Washington(华盛顿大学)
多级流水线的超参数调整引入了显著的计算负担。如果中间计算是相同的,工作可以在管道上重用,我们提出了一种管道感知的超参数调整方法。我们的方法优化了管道的设计和执行,以最大限度地提高重复利用率。我们设计的管道适合重用(i)引入一种新的混合超参数调整方法,称为网格随机搜索,(ii)减少平均训练时间在管道适应早期停止超参数调整方法。然后,我们通过为ML工作负载引入一个新的缓存问题(我们将其视为混合整数线性规划(ILP)),并随后评估相对于ILP的最佳解决方案的各种缓存策略,实现了在执行过程中重用的潜力。我们在模拟和真实世界的机器学习管道上进行实验,以表明管道感知的超参数调整方法可以在独立评估管道配置的数量级上提供加速。
2019-03-12 cs.LG stat.ML
Fast Hyperparameter Tuning using Bayesian Optimization with Directional Derivatives
Deakin University(迪肯大学)
在本文中,我们开发了一个基于贝叶斯优化的超参数调整框架的启发,统计学习理论的分类。我们利用PAC学习理论中的两个关键事实;与整体相比,数据的小子集的泛化范围将更高,并且可以通过简单的模型实现数据的小子集的最高精度。我们首先使用贝叶斯优化在一小部分训练数据上调整超参数。在调整整个训练数据的超参数时,我们利用学习理论的见解来寻求更复杂的模型。我们实现这一点,通过使用方向导数符号战略性地放置在超参数搜索空间,以寻求一个更复杂的模型比小数据获得的。我们证明了我们的方法的性能上的任务调整超参数的几个机器学习算法。
2019-02-06 cs.LG stat.ML
Tuning the Tuner: Introducing Hyperparameter Optimization for Auto-Tuning
LIACS, Leiden University Netherlands eScience Center Leiden \& Amsterdam, the Netherlands ORCID: 0000-0003-2295-8263;LIACS, Leiden University Leiden, the Netherlands ORCID: 0000-0002-2947-9444;LIACS, Leiden University Netherlands eScience Center Leiden \& Amsterdam, the Netherlands ORCID: 0000-0002-7508-3272
针对自动调优中优化算法超参数几乎不被调整的问题,提出“调优调优器”方法,通过统计评估、FAIR数据集与模拟模式,平均提升自动调优器性能94.8%,并证明元策略可进一步优化超参数。
2025-09-30 cs.DC cs.LG cs.PF
Practical Multi-fidelity Bayesian Optimization for Hyperparameter Tuning
Cornell University(康奈尔大学)
贝叶斯优化在优化耗时的黑盒目标方面很受欢迎。尽管如此,对于深度神经网络中的超参数调整,即使是几个超参数设置,评估验证误差所需的时间仍然是一个瓶颈。多保真度优化承诺使用更便宜的代理来缓解这些目标-例如,使用训练点的子集训练的网络的验证错误或比收敛所需的迭代次数更少。我们提出了一种高度灵活和实用的方法,多保真度贝叶斯优化,重点是有效地优化超参数迭代训练监督学习模型。我们引入了一个新的采集函数,跟踪感知的知识梯度,它有效地利用了多个连续的保真度控制和跟踪观察-目标的值在一个序列的精度,当使用训练迭代改变保真度。我们提供了一种可证明收敛的方法来优化我们的采集函数,并表明它优于深度神经网络和大规模内核学习的超参数调整的最先进的替代方案。
2019-03-12 cs.LG math.OC stat.ME
From Black-Box Tuning to Guided Optimization via Hyperparameters Interaction Analysis
IRIT, UMR5505 CNRS Université Toulouse Capitole(IRIT,CNRS UMR5505,图卢兹大学);LIS, UMR 7020 CNRS Aix-Marseille University(LIS,CNRS UMR7020,阿维尼翁-马赛大学)
MetaSHAP通过分析超参数交互,提供可操作的调优见解,帮助优化机器学习模型。
2025-12-22 cs.LG
CPMLHO:Hyperparameter Tuning via Cutting Plane and Mixed-Level Optimization
Tongji University(同济大学)
神经网络的超参数优化可以表示为一个两层优化问题。采用双层优化算法自动更新超参数,超参数的梯度为基于最佳响应函数的近似梯度。寻找最佳响应函数是非常耗时的。本文提出了一种新的超参数优化方法CPMLHO,该方法利用割平面法和混合目标函数,在内层增加一个割平面来约束响应函数的空间。为了获得更准确的超梯度,混合水平可以灵活地调整损失函数,通过使用训练集和验证集的损失。实验结果表明,与现有方法相比,该方法能够在训练过程中自动更新超参数,并能找到更多更优的超参数,具有更高的精度和更快的收敛速度。
2022-12-11 cs.LG
Optimizer Benchmarking Needs to Account for Hyperparameter Tuning
Idiap Research Institute(伊迪亚普研究所);EPFL(洛桑联邦理工学院);University of Geneva(日内瓦大学)
优化器的性能,特别是在深度学习中,在很大程度上取决于它们所选择的超参数配置。优化器的有效性通常是在接近最优的问题特定的超参数下研究的,并且对于从业者来说,找到这些设置可能代价高昂。在这项工作中,我们认为,一个公平的评估优化器的性能必须考虑超参数调整的计算成本,即,使用自动超参数搜索找到好的超参数配置是多么容易。在一组广泛的标准数据集和架构上评估各种优化器,我们的结果表明Adam是最实用的解决方案,特别是在低预算的情况下。
2020-08-15 cs.LG stat.ML
Differentially Private Hyperparameter Tuning using Local Bayesian Optimization
Department of Statistics Columbia University(统计学系哥伦比亚大学)
本文提出DP-GIBO框架,通过高斯过程代理私密近似梯度,实现高维空间下的差分隐私超参数调优,优于非隐私随机搜索和全局贝叶斯优化方法。
2026-05-08 cs.LG stat.ML
Hyperparameter Tuning Cookbook: A guide for scikit-learn, PyTorch, river, and spotPython
该指南介绍基于spotPython的超参数调优方法,覆盖scikit-learn、PyTorch、river等框架的多类模型调优案例与工具集成,为Python超参数调优提供实操入门参考。
2023-07-17 cs.AI cs.LG
Sample complexity of data-driven tuning of model hyperparameters in neural networks with structured parameter-dependent dual function
Carnegie Mellon University(卡内基梅隆大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
本文通过数据驱动设置研究深度学习中超参数调整的学习理论复杂度,利用微分/代数几何和约束优化工具刻画效用函数的不连续性和振荡,证明了效用函数族复杂度有界,并给出了神经激活函数插值和图神经网络核参数调整的样本复杂度界限。
2025-04-29 cs.LG
Rethinking the Hyperparameters for Fine-tuning
Amazon Web Services(亚马逊云科技);University of Pennsylvania(宾夕法尼亚大学);University of California, Los Angeles(加州大学洛杉矶分校)
从预训练的ImageNet模型进行微调已成为各种计算机视觉任务的事实标准。目前的微调实践通常涉及选择一个临时的超参数选择,并将它们固定在通常用于从头开始训练的值上。本文重新审视了设置超参数进行微调的几种常见做法。我们的研究结果是基于广泛的经验评估微调各种迁移学习基准。(1)虽然先前的工作已经彻底研究了学习率和批量大小,微调的动量是一个相对未探索的参数。我们发现动量的值也会影响微调性能,并将其与以前的理论研究结果联系起来。(2)用于微调的最佳超参数,特别是有效学习率,不仅依赖于数据集,而且对源域和目标域之间的相似性敏感。这与从头开始训练的超参数相反。(3)基于引用的正则化使模型接近初始模型,但不一定适用于“不相似”的数据集。我们的发现挑战了微调的常见做法,并鼓励深度学习从业者重新思考微调的超参数。
2020-02-19 cs.CV cs.LG stat.ML
Guided Hyperparameter Tuning Through Visualization and Inference
University of Maryland, College Park(马里兰大学帕克分校)
对于深度学习从业者来说,优化模型性能的超参数调优可能是一项计算成本高昂的任务。虽然可视化可以帮助从业者将超参数设置与整体模型性能联系起来,但仍然需要大量的手动检查来指导下一批实验中的超参数设置。作为回应,我们提出了一个精简的可视化系统,使深度学习从业者能够更有效地探索,调整和优化超参数在一批实验。一个关键的想法是使用预测机制直接建议更优的超参数值。然后,我们将这种机制与当前的可视化实践结合起来,用于深度学习。此外,在模型超参数的背景下对选定性能指标的方差进行的分析显示了某些超参数对性能指标的影响。我们通过对深度学习模型构建器的用户研究来评估该工具,发现我们的参与者在采用该工具并将其作为工作流程的一部分方面没有什么问题。
2021-05-24 cs.HC cs.LG
A Linear Programming Enhanced Genetic Algorithm for Hyperparameter Tuning in Machine Learning
Brij Disa Centre for Data Science and Artificial Intelligence(布里吉·迪萨数据科学与人工智能中心);Indian Institute of Management Ahmedabad(印度管理学院艾哈迈达巴德分校);Department of Statistics and Data Science(统计与数据科学系);Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
本文将超参数调优建模为双层规划,提出用线性规划增强微型遗传算法,在离散与连续超参数上协同搜索,并在MNIST和CIFAR-10上验证了其与种群方法结合的有效性。
2024-06-30 cs.LG cs.NE
Fast Efficient Hyperparameter Tuning for Policy Gradients
University of Oxford(牛津大学)
策略梯度方法的性能对必须针对任何新应用程序进行调优的超参数设置很敏感。用于调整超参数的广泛使用的网格搜索方法是样本效率低且计算昂贵的。更先进的方法,如基于人口的训练,学习超参数的最佳时间表,而不是固定的设置,可以产生更好的结果,但也是样本效率低,计算成本高。在本文中,我们提出了Hyperparameter Optimization on the Fly(HOOF),这是一种无梯度算法,它只需要一次训练就可以自动调整直接通过梯度影响策略更新的超参数。其主要思想是使用现有的轨迹采样的策略梯度方法来优化一步改进目标,产生一个样本和计算效率高的算法,易于实现。我们在多个领域和算法上的实验结果表明,使用HOOF来学习这些超参数计划可以提高学习速度和性能。
2019-09-17 cs.LG stat.ML
Practical Differentially Private Hyperparameter Tuning with Subsampling
Nokia Bell Labs(诺基亚贝尔实验室)
针对差分隐私超参数调优中隐私参数增加和计算成本高的问题,提出仅用敏感数据子集调优并外推至大数据集的方法,有效降低了DP边界与计算开销,实现了更优的隐私-效用权衡。
2024-02-13 cs.CR cs.LG
Performance evaluation and hyperparameter tuning of statistical and machine-learning models using spatial data
NEIKER;TU Dortmund University(多特蒙德工业大学)
近年来,机器学习算法在生态建模领域得到了广泛的应用,因为它们在分类问题的预测性能方面具有很好的效果。虽然这些算法的应用在过去几年中已经高度简化,因为它们在常用的统计编程语言(如R)中有很好的集成,但在生态建模领域存在一些实际挑战,涉及无偏性能估计,使用超参数调整和空间自相关优化算法。我们解决这些问题的几个广泛使用的机器学习算法,如提升回归树(BRT),k-最近邻(WKNN),随机森林(RF)和支持向量机(SVM)的比较传统的参数算法,如逻辑斯谛回归(GLM)和半参数的广义可加模型(GAM)。不同的嵌套交叉验证方法,包括超参数调整方法被用来评估模型的性能,目的是获得偏差减少的性能估计。作为一个案例研究的空间分布在西班牙巴斯克地区的森林疾病Diplodia saperidae调查使用常见的环境变量,如温度,降水量,土壤或岩性作为预测因子。结果表明,GAM和RF(平均AUROC估计值为0.708和0.699)在预测准确性方面优于所有其他方法。对于这个数据集,超参数调整的效果在大约50次迭代时饱和。GAM和RF的偏倚减少(空间交叉验证)和过度乐观(非空间交叉验证)性能估计之间的AUROC差异分别为0.167(24%)和0.213(30%)。建议还使用空间分区进行空间数据的交叉验证超参数调优。
2018-03-29 cs.LG stat.ME stat.ML
Self-Tuning Networks: Bilevel Optimization of Hyperparameters using Structured Best-Response Functions
University of Toronto(多伦多大学);Vector Institute(向量研究所)
超参数优化可以用公式表示为双层优化问题,其中训练集上的最优参数取决于超参数。我们的目标是通过将紧凑近似拟合到最佳响应函数来适应神经网络的正则化超参数,该函数将超参数映射到最佳权重和偏差。我们展示了如何通过将最佳响应建模为单个网络来构建神经网络的可扩展最佳响应近似,该网络的隐藏单元在正则化器上有条件地被选通。我们证明了这种近似,通过显示具有L2正则化雅可比矩阵的浅线性网络的确切最佳响应可以由类似的门控机制表示。我们使用基于梯度的超参数优化算法拟合该模型,该算法在当前超参数周围近似最佳响应和使用近似最佳响应函数优化超参数之间交替。与其他基于梯度的方法不同,我们不需要区分训练损失与超参数,允许我们调整离散超参数,数据增强超参数和辍学概率。由于超参数是在线适应的,我们的方法发现超参数时间表,可以超过固定的超参数值。从经验上讲,我们的方法在大规模深度学习问题上优于竞争的超参数优化方法。我们将在训练过程中在线更新自己的超参数的网络称为自调优网络(STNs)。
2019-03-07 cs.LG stat.ML
Efficient Hyperparameter Tuning with Dynamic Accuracy Derivative-Free Optimization
University of Bath(巴斯大学);Australian National University(澳大利亚国立大学)
许多机器学习解决方案都是依赖于好的超参数的优化问题。用于调整这些超参数的算法通常假设可以访问底层学习问题的精确解,这通常是不实用的。在这里,我们应用最近的动态精度无导数优化方法的超参数调整,它允许不精确的评估的学习问题,同时保留收敛保证。我们测试的逻辑分类器的学习弹性净权重的问题上的方法,并证明其鲁棒性和效率相比,一个固定的精度的方法。这证明了一种很有前途的超参数调整方法,既有收敛保证,又有实际性能。
2020-11-06 cs.LG cs.NA math.NA
IEO: Intelligent Evolutionary Optimisation for Hyperparameter Tuning
Turing Intelligence Technology, UK(英国图灵智能技术公司);Nanjing University, China(中国南京大学)
超参数优化是寻找最优机器学习模型的关键过程。在最近的研究中,寻找最佳超参数设置的效率一直是一个很大的问题,因为优化过程可能是耗时的,特别是当目标函数的评估非常昂贵时。在本文中,我们介绍了一种智能进化优化算法,它适用于机器学习技术的传统进化算法,以加快整体优化过程的调整机器学习模型的分类问题。我们展示了我们的智能进化优化(IEO)在一系列的控制实验,与传统的进化优化超参数调整。实证研究表明,我们的方法平均加快了30.40%的优化速度,在最好的情况下,最高可达77.06%。
2020-09-10 cs.LG cs.NE
The Statistical Cost of Robust Kernel Hyperparameter Tuning
Tandon School of Engineering(坦登工程学院);New York University(纽约大学)
本文研究了对抗性噪声下主动回归核超参数调整的统计复杂性。我们考虑的问题,找到最好的插值从一类未知的超参数的内核,假设只有噪音是平方可积的。我们提供有限样本保证的问题,表征如何增加内核类的复杂性增加学习内核超参数的复杂性。对于常见的内核类(例如,平方指数内核与未知的长度尺度),我们的研究结果表明,超参数优化增加了样本的复杂性只有一个对数因子,在设置中,最佳参数是已知的提前。我们的结果是基于多重设计矩阵下线性回归的子采样保证,结合离散化核参数化的ε-net参数。
2020-06-14 cs.LG stat.ML
Tuning Mixed Input Hyperparameters on the Fly for Efficient Population Based AutoRL
University of Oxford(牛津大学);Amazon(亚马逊)
尽管最近在强化学习(RL)方面取得了一系列成功,但许多RL算法仍然对超参数敏感。因此,最近人们对AutoRL领域产生了兴趣,该领域寻求自动化设计决策以创建更通用的算法。最近的工作表明,基于群体的方法可能是有效的AutoRL算法,通过动态学习超参数时间表。特别是,PB 2算法能够通过将在线超参数优化公式化为时变GP-强盗问题,在RL任务中实现强大的性能,同时也提供了理论保证。然而,PB 2仅适用于连续超参数,这严重限制了它在实践中的实用性。在本文中,我们介绍了一种新的(可证明)有效的分层方法,用于优化连续和分类变量,使用一种新的时变强盗算法专门设计的人口为基础的训练制度。我们评估我们的方法上具有挑战性的Procgen基准,在那里我们表明,明确建模之间的依赖性数据增强和其他超参数提高泛化。
2021-06-30 cs.LG
Implicit Differentiation for Hyperparameter Tuning the Weighted Graphical Lasso
Univ Lyon, Ens Lyon, UCBL, CNRS, Inria, LIP(里昂大学、里昂高等师范学院、里昂第一大学、法国国家科学研究中心、法国国家信息与自动化研究所、里昂并行计算实验室)
本文提出基于一阶方法求解双层优化的框架与算法,用于调优加权 Graphical Lasso 超参数,并推导其解对正则化超参数的 Jacobian。
2023-07-05 cs.LG math.OC stat.ML
Hyperparameters and Tuning Strategies for Random Forest
随机森林算法(RF)具有必须由用户设置的若干超参数,例如,为每棵树随机抽取的观测值的数量,以及它们是在有替换还是没有替换的情况下抽取的,为每次分裂随机抽取的变量的数量,分裂规则,节点必须包含的样本的最小数量以及树的数量。在本文中,我们首先提供了一个文献综述的参数的影响,预测性能和变量的重要性措施。众所周知,在大多数情况下,RF与软件包中指定的超参数的默认值一起工作得相当好。然而,调整超参数可以提高RF的性能。在本文的第二部分中,在简要概述了调优策略之后,我们演示了最成熟的调优策略之一基于模型的优化(MBO)的应用。为了使其更易于使用,我们提供了tuneRanger R软件包,可以自动使用MBO调谐RF。在对几个数据集的基准研究中,我们比较了tuneRanger的预测性能和运行时间与R和RF中使用默认超参数的其他调优实现。
2019-02-26 cs.LG stat.ML
Efficient Hyperparameter Tuning for Large Scale Kernel Ridge Regression
Università degli Studi di Genova(热那亚大学);Massachusetts Institute of Technology(麻省理工学院);Istituto Italiano di Tecnologia(意大利理工学院)
核方法为非参数学习提供了一种原则性的方法。虽然它们的基本实现对大型问题的扩展性很差,但最近的进展表明近似求解器可以有效地处理大规模数据集。这些解决方案的缺点是没有考虑超参数调优,而是留给用户来执行。超参数在实践中至关重要,缺乏自动调优会极大地阻碍效率和可用性。在本文中,我们致力于填补这一空白,重点是基于Nyström近似的核岭回归。在回顾和对比了一些超参数调整策略后,我们提出了一种基于数据依赖惩罚的复杂性正则化准则,并讨论了其有效的优化。然后,我们进行了仔细和广泛的实证评估,突出不同的调整策略的优点和缺点。我们的分析表明,所提出的方法的好处,因此,我们将在一个库中的大规模的内核方法,以获得自适应调整的解决方案。
2022-01-17 cs.LG stat.ML
Revisiting Hyperparameter Tuning with Differential Privacy
Department of Computer Science and Software Engineering, Shenzhen University, Shenzhen, China(深圳大学计算机科学与软件工程系);Department of Computer Science and Engineering, The Hong Kong University of Science and Technology, Hong Kong SAR, China(香港科技大学计算机科学与工程系)
本文提出一种带差分隐私的超参数调优框架,其隐私损失与候选数无关而与效用相关,理论上界为效用平方根,经验上按对数平方根缩放,实现隐私与效用的权衡。
2025-05-23 cs.CR cs.LG
Amortized Auto-Tuning: Cost-Efficient Bayesian Transfer Optimization for Hyperparameter Recommendation
Carnegie Mellon University(卡内基梅隆大学);Petuum(Petuum公司);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Stanford University(斯坦福大学)
随着现代机器学习模型的超参数数量和训练时间的激增,超参数调整变得越来越昂贵。然而,在系统地评估了40种调优方法后,我们发现每种方法都面临一定的局限性。特别是,通过知识转移加速调优的方法通常需要超参数的最终性能,并且不关注低保真度信息。正如我们的经验表明,这种常见的做法是次优的,并可能导致不必要的资源使用。相反,利用低保真度调优观察来测量任务间的相似性并相应地将知识从现有任务转移到新任务是更具有成本效益的。然而,执行多保真度调优在传输设置中也有其自身的挑战:额外观察中的噪声以及对性能预测的需求。因此,我们提出了一个多任务多保真度贝叶斯优化框架,并进行了深入的分析,这导致了最好的实例-分期自动调整(AT 2)。我们进一步提出了一个离线计算的27任务超参数推荐(HyperRec)数据库,以服务于社区。在HyperRec和其他真实数据库上的大量实验表明了我们的AT 2方法的有效性。
2022-04-07 cs.AI cs.LG stat.ML
Autotune: A Derivative-free Optimization Framework for Hyperparameter Tuning
SAS Institute Inc.(赛仕软件研究所公司)
机器学习应用通常需要超参数调优。超参数通常驱动模型训练过程的效率和最终模型的质量。对于超参数调整,机器学习算法是复杂的黑盒。这就产生了一类具有挑战性的优化问题,其目标函数往往是非光滑的,不连续的,不可预测的计算费用变化,并包括连续的,分类的,和/或整数变量。此外,函数求值可能由于各种原因而失败,包括数值困难或硬件故障。此外,并非所有的超参数值组合都是兼容的,这会创建所谓的隐藏约束。超参数整定需要鲁棒且高效的优化算法。在本文中,我们提出了一个自动化的并行无导数优化框架称为\textbf{Autotune},它结合了一些专门的采样和搜索方法,非常有效的调整机器学习模型,尽管这些挑战。与使用默认超参数设置相比,Autotune提供了显着改进的模型,并且在实际应用中具有最少的用户交互。鉴于训练众多候选模型的固有费用,我们证明了Autotune的搜索方法的有效性和有效的分布式和并行范例的训练和调整模型,并讨论了资源的权衡与能力,既分布的训练过程和并行化的调整过程。
2018-08-02 cs.DC cs.LG cs.NE
Multi-Objective Hyperparameter Tuning and Feature Selection using Filter Ensembles
Ludwig-Maximilians-Universität München(慕尼黑大学);Fraunhofer Institute for Integrated Circuits IIS(弗劳恩霍夫集成电路研究所)
特征选择和超参数调整是机器学习中的关键任务。超参数调整通常有助于提高模型性能,而特征选择则用于获得稀疏模型。稀疏性可以产生更好的模型可解释性和更低的数据采集、数据处理和模型推断成本。虽然稀疏性可能对预测性能具有有益或有害的影响,但是性能的小幅下降可能是可接受的,以换取稀疏性的实质性增益。因此,我们把特征选择作为一个多目标优化任务。我们同时执行超参数调整和特征选择,因为模型特征的选择可能会影响超参数的表现。我们提出,基准,并比较两种不同的方法多目标联合超参数优化和特征选择:第一个使用多目标基于模型的优化。第二个是一个进化的NSGA-II为基础的包装器方法,采用专门的采样,突变和重组运营商的功能选择。这两种方法都使用参数化滤波器集成。虽然基于模型的优化需要较少的客观评估来实现良好的性能,但与NSGA-II相比,它会产生计算开销,因此首选的选择取决于在给定数据上评估模型的成本。
2020-02-13 cs.LG stat.ML
Hyperparameter Tuning with Renyi Differential Privacy
Google Research(谷歌研究院)
对于许多差分隐私算法,例如突出的噪声随机梯度下降(DP-SGD),限制单个训练运行的隐私泄漏所需的分析是很好理解的。然而,很少有研究认为,由于需要多次训练来微调训练算法的超参数值,从而导致隐私泄露。在这项工作中,我们首先说明了如何简单地设置基于非私有训练运行的超参数可以泄漏私有信息。基于这一观察,我们在Renyi差分隐私的框架内为超参数搜索过程提供了隐私保证。我们的研究结果改进和扩展了Liu和Talwar的工作(STOC 2019)。我们的分析支持了我们之前的观察,即调整超参数确实会泄漏私人信息,但我们证明,在某些假设下,这种泄漏是适度的,只要选择超参数所需的每个候选训练运行本身是差异私人的。
2022-03-14 cs.CR cs.DS cs.LG
Tuning Algorithmic and Architectural Hyperparameters in Graph-Based Semi-Supervised Learning with Provable Guarantees
Carnegie Mellon University(卡内基梅隆大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
本文正式研究了基于图的半监督学习中的超参数调整问题,为经典标签传播算法族推导了伪维度上下界,并界定了现代图神经网络(SGC及GCN与GAT插值架构)中架构超参数的 Rademacher 复杂度。
2025-07-16 cs.LG
A Scalable and Cloud-Native Hyperparameter Tuning System
Ant Financial Services Group(蚂蚁金融服务集团);Cisco Systems(思科系统公司);Caicloud(才云科技);Google(谷歌);IBM(国际商业机器公司)
在本文中,我们介绍Katib:一个可扩展的,云原生的,生产就绪的超参数调优系统,是不可知的底层机器学习框架。虽然有多个超参数调优系统可用,但这是第一个同时满足系统用户和管理员需求的系统。我们提出了系统的动机和设计,并将其与现有的超参数调优系统进行对比,特别是在多租户,可扩展性,容错性和可扩展性方面。它可以部署在本地机器上,或作为服务托管在内部数据中心或私有/公共云中。我们使用实验结果以及现实世界的生产用例来展示我们的系统的优势。Katib拥有来自多家公司的积极贡献者,并在Apache 2.0许可下在\emph{https://github.com/kubeflow/katib}开源。
2020-06-08 cs.DC cs.LG
A Comparative Study of Hyperparameter Tuning Methods
本研究比较了TPE、Genetic Search和Random Search三种超参数调优算法在回归与分类任务上的表现,发现非线性模型优于线性模型,且不同任务适用不同算法,强调需根据任务选择合适调优方法并关注计算挑战。
2024-08-29 cs.LG
Fast Hyperparameter Tuning for Ising Machines
Fujitsu Research(富士通研究院);Fujitsu LTD.(富士通有限公司);Waseda University(早稻田大学)
本文提出了一种名为FastConvergence的TPE收敛加速方法,用于加速Ising机的超参数调优,实验表明其能在不到一半的试验次数内达到与单独使用TPE相似的效果。
2022-11-29 cs.LG cs.NE
ECU Identification using Neural Network Classification and Hyperparameter Tuning
University of Michigan Dearborn(密歇根大学迪尔伯恩分校)
控制器局域网(CAN)协议的入侵检测需要现代的方法,以与其他电气体系结构的竞争。指纹入侵检测系统为解决这一问题提供了一种新的途径。通过表征来自已知ECU的网络流量,可以区分危险消息。在这篇文章中,一个修改后的版本的指纹入侵检测系统是利用阶跃响应和频谱特性的网络流量通过神经网络训练。通过特征集缩减和超参数调整,该方法实现了99.4%的可信ECU流量检测率。
2022-08-22 cs.CR cs.LG
A meta-learning recommender system for hyperparameter tuning: predicting when tuning improves SVM classifiers
Federal Technology University(联邦技术大学);University of São Paulo(圣保罗大学);Universidade Estadual Paulista(保利斯塔州立大学);Eindhoven University of Technology(埃因霍温理工大学)
对于许多机器学习算法,预测性能受到用于训练它们的超参数值的严重影响。然而,调整这些超参数可能会带来很高的计算成本,特别是在较大的数据集上,而调整后的设置并不总是显著优于默认值。本文提出了一种基于元学习的推荐系统,以准确地识别何时使用默认值以及何时为每个新数据集调整超参数。此外,还进行了深入的分析,以了解他们在决策时考虑了哪些因素,从而提供了有用的见解。对156个数据集的不同类别的元特征、元学习者和设置进行了广泛的分析。结果表明,它是可以准确地预测时,调整将显着提高性能的诱导模型。所提出的系统减少了优化过程所花费的时间,而不会降低诱导模型的预测性能(与使用调谐超参数获得的模型相比)。我们还解释了基于线性可分性假设的元学习者的决策过程。虽然该分析集中在支持向量机的调整上,但是它也可以应用于其他算法,如用决策树执行的实验中所示。
2019-06-11 cs.LG stat.ML
Random Search Hyper-Parameter Tuning: Expected Improvement Estimation and the Corresponding Lower Bound
Technion(以色列理工学院)
超参数调整是一种常用的提高神经网络性能的技术。大多数超参数搜索技术都涉及迭代过程,其中模型在每次迭代时都要重新训练。然而,每次额外的搜索迭代的预期准确性改进仍然是未知的。计算预期的改进可以帮助创建超参数调优的停止规则,并允许更明智地分配项目的计算预算。在本文中,我们建立了一个经验估计的预期精度提高超参数搜索的额外迭代。我们的结果适用于任何超参数调整方法,这是基于随机搜索\cite{bergstra2012random}和样本超参数从一个固定的分布。我们将我们的估计与误差$O\left(\sqrt{\frac{\log k}{k}}\right)$ w.h.p.绑定,其中$k$是当前迭代次数。据我们所知,这是超参数搜索的额外迭代的预期增益的第一个界限。最后,我们证明了预期精度的最佳估计仍然会有$\frac{1}{k}$的误差。
2022-08-17 cs.AI cs.LG
Federated Hyperparameter Tuning: Challenges, Baselines, and Connections to Weight-Sharing
Carnegie Mellon University(卡内基梅隆大学);Hewlett Packard Enterprise(慧与科技)
调优超参数是机器学习管道中至关重要但艰巨的一部分。超参数优化在联邦学习中更具挑战性,其中模型是通过异构设备的分布式网络学习的;在这里,需要将数据保存在设备上并执行本地训练,这使得很难有效地训练和评估配置。在这项工作中,我们研究联邦超参数调整的问题。我们首先确定关键的挑战,并展示如何调整标准方法来形成联邦设置的基线。然后,通过与权重共享的神经架构搜索技术建立新的连接,我们引入了一种新的方法FedEx来加速联邦超参数调整,该方法适用于广泛使用的联邦优化方法,如FedAvg和最近的变体。从理论上讲,我们表明,联邦快递的变种正确地调整设备上的学习率的在线凸优化跨设备的设置。从经验上讲,我们表明FedEx可以在Shakespeare,FEMNIST和CIFAR-10基准测试中超过联邦超参数调优的自然基线几个百分点,使用相同的训练预算获得更高的准确性。
2021-11-04 cs.AI cs.DC cs.LG
A multi-objective perspective on jointly tuning hardware and hyperparameters
Amazon(亚马逊)
除了最佳模型架构和超参数之外,完整的AutoML解决方案还需要自动选择适当的硬件。这可以被视为一个多目标优化问题:没有一个单一的最佳硬件配置,而是一组最佳硬件配置,以实现成本和运行时间之间的不同权衡。在实践中,有些选择可能过于昂贵或需要几天的训练。为了减轻这一负担,我们采用了一种多目标方法,该方法自动选择和调整硬件配置以及神经架构及其超参数。我们的方法建立在Hyperband的基础上,并以两种方式对其进行扩展。首先,我们用一个非支配的排序规则来取代Hyperband中使用的停止规则,以抢先停止没有希望的配置。其次,我们通过迁移学习利用相关任务的超参数评估,通过构建Pareto前沿的概率估计,比随机搜索更有效地找到有希望的配置。我们在广泛的NAS和HPO实验中表明,这两种成分都带来了显着的速度提升和成本节约,对准确性几乎没有影响。在除了超参数之外还选择硬件的三个基准测试中,我们分别获得了至少5.8倍和8.8倍的运行时间和成本降低。此外,当我们的多目标方法只调整超参数时,我们在运行时间上获得了10%的改进,同时在两个流行的NAS基准测试中保持了相同的精度。
2021-06-10 cs.LG
Applying Semi-Automated Hyperparameter Tuning for Clustering Algorithms
James Cook University(詹姆斯·库克大学);Queensland University of Technology(昆士兰理工大学)
在处理聚类问题时,选择正确的聚类算法和参数是必不可少的,因为每个聚类算法都擅长找到特定性质的聚类。由于聚类算法的无监督性质,没有可用于经验评估的地面真值,这使得通过超参数调整的参数选择过程的自动化变得困难。以前的聚类算法超参数调整方法依赖于内部度量,这些度量通常偏向于某些算法,或者具有一些可用的地面真值标签,将问题转移到半监督空间中。这项初步研究提出了一个框架,半自动超参数调整聚类问题,使用网格搜索开发一系列的图形和易于解释的指标,然后可以用于更有效的特定领域的评估。初步结果表明,内部指标无法捕捉的语义质量的集群开发和内部指标驱动的方法会得出不同的结论比那些由人工评估。
2021-08-25 cs.LG cs.SE
Reducing Hyperparameter Tuning Costs in ML, Vision and Language Model Training Pipelines via Memoization-Awareness
Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);University of Southern California(南加利福尼亚大学)
提出记忆化感知的贝叶斯优化算法EEIPU,结合流程缓存系统,在相同GPU预算下评估更多超参数候选,提升调优质量,并在ML、视觉和语言模型流程上验证了有效性。
2024-11-06 cs.LG stat.ML