Far-HO: A Bilevel Programming Package for Hyperparameter Optimization and Meta-Learning
Istituto Italiano di Tecnologia（意大利理工学院）；University College London（伦敦大学学院）；Università degli studi di Firenze（佛罗伦萨大学）
在（Franceschi等人，2018）我们提出了一个统一的数学框架，基于双层规划，包括基于梯度的超参数优化和元学习。我们制定了一个近似版本的问题，其中的内部目标迭代求解，并给出了充分条件，确保收敛到精确的问题。在这项工作中，我们展示了如何优化学习率，自动加权单个示例的损失，并使用Far-HO学习超表示，Far-HO是一个基于流行的深度学习框架TensorFlow的软件包，可以无缝地解决HO和ML问题。
2018-06-13 cs.LG cs.MS stat.ML
Alpha MAML: Adaptive Model-Agnostic Meta-Learning
University of Oxford（牛津大学）
模型不可知元学习（MAML）是一种元学习技术，用于以一种为新任务的少样本学习准备模型的方式在大量学习任务上训练模型。MAML算法在强化学习中的分类、回归和策略梯度微调中的少样本学习问题上表现良好，但需要进行昂贵的超参数调整以实现训练稳定性。我们通过引入MAML的扩展（称为Alpha MAML）来解决这一缺点，该扩展包含一个在线超参数自适应方案，该方案消除了调整元学习和学习率的需要。我们使用Omniglot数据库的结果表明，调整MAML训练超参数的需求大幅减少，训练稳定性提高，对超参数选择的敏感性降低。
2019-05-17 cs.AI cs.LG stat.ML
Gradient-based Hyperparameter Optimization through Reversible Learning
调整学习算法的超参数很难，因为梯度通常不可用。我们通过在整个训练过程中向后链接导数来计算关于所有超参数的交叉验证性能的精确梯度。这些梯度使我们能够优化数千个超参数，包括步长和动量计划，权重初始化分布，丰富的参数化正则化方案和神经网络架构。我们计算超参数梯度的动力学完全逆转的随机梯度下降与动量。
2015-04-02 cs.LG stat.ML
Fast Efficient Hyperparameter Tuning for Policy Gradients
University of Oxford（牛津大学）
策略梯度方法的性能对必须针对任何新应用程序进行调优的超参数设置很敏感。用于调整超参数的广泛使用的网格搜索方法是样本效率低且计算昂贵的。更先进的方法，如基于人口的训练，学习超参数的最佳时间表，而不是固定的设置，可以产生更好的结果，但也是样本效率低，计算成本高。在本文中，我们提出了Hyperparameter Optimization on the Fly（HOOF），这是一种无梯度算法，它只需要一次训练就可以自动调整直接通过梯度影响策略更新的超参数。其主要思想是使用现有的轨迹采样的策略梯度方法来优化一步改进目标，产生一个样本和计算效率高的算法，易于实现。我们在多个领域和算法上的实验结果表明，使用HOOF来学习这些超参数计划可以提高学习速度和性能。
2019-09-17 cs.LG stat.ML
Understanding the Generalization of Bilevel Programming in Hyperparameter Optimization: A Tale of Bias-Variance Decomposition
Xi’an Jiaotong University（西安交通大学）；Pazhou Lab (Huangpu)（琶洲实验室（黄埔））
本文通过偏差-方差分解分析超参数优化中的超梯度估计误差，提出了一种集合策略以减少方差，实验表明该策略提升了超梯度估计性能并解释了相关现象。
2026-02-20 cs.LG
Hyperboost: Hyperparameter Optimization by Gradient Boosting surrogate models
Eindhoven University of Technology（埃因霍温理工大学）
Bayesian Optimization是自动机器学习（AutoML）系统中调优算法的流行工具。当前最先进的方法利用随机森林或高斯过程来构建代理模型，该代理模型在给定某组超参数设置的情况下预测算法性能。在本文中，我们提出了一个新的代理模型的基础上梯度提升，我们使用分位数回归提供乐观的估计的性能未观察到的超参数设置，并结合未观察到的和观察到的超参数设置之间的距离度量，以帮助调节探索。我们的经验表明，新的方法是能够超越一些国家的最先进的技术在一个合理的大小集的分类问题。
2021-01-06 cs.LG stat.ML
Scalable Gradient-Based Tuning of Continuous Regularization Hyperparameters
Aalto University（阿尔托大学）；IDSIA, Dalle Molle Institute for Artificial Intelligence, USI-SUPSI（IDSIA，达勒·莫勒人工智能研究所（USI-SUPSI））
超参数选择通常依赖于运行多个完整的训练试验，选择基于验证集的性能。我们提出了一种基于梯度的方法，用于在模型训练期间局部调整超参数。调整超参数，以便使模型参数梯度以及因此的更新对于验证成本更有利。我们探索了调整正则化超参数的方法，并发现在MNIST，SVHN和CIFAR-10上的实验中，得到的正则化水平在最佳区域内。额外的计算成本取决于训练超参数的频率，但无论模型大小如何，测试方案只增加了30%的计算开销。由于该方法与类似的基于梯度的超参数优化方法相比，计算要求明显降低，并且始终找到良好的超参数值，因此它可以成为训练神经网络模型的有用工具。
2016-06-17 cs.LG
Hyperparameter optimization with approximate gradient
CEREMADE（CEREMADE（巴黎多芬大学数学与决策研究中心））；CNRS（法国国家科学研究中心）；Université Paris-Dauphine（巴黎多芬大学）；PSL Research University（巴黎文理研究大学）；École Normale Supérieure（巴黎高等师范学院）
机器学习中的大多数模型都包含至少一个超参数来控制模型的复杂性。选择一组合适的超参数对于模型精度和计算挑战都至关重要。在这项工作中，我们提出了一个算法的优化连续超参数使用不精确的梯度信息。这种方法的优点是可以在模型参数完全收敛之前更新超参数。基于所涉及函数的正则条件和误差的可和性，给出了该方法全局收敛的充分条件。最后，我们通过L2正则化逻辑斯谛回归和核岭回归的正则化常数估计验证了该方法的经验性能。经验基准表明，我们的方法是非常有竞争力的最先进的方法。
2022-11-21 cs.LG math.OC stat.ML
Optimizing generalization on the train set: a novel gradient-based framework to train parameters and hyperparameters simultaneously
Ecole Polytechnique（巴黎综合理工学院）；Paris Dauphine-PSL（巴黎多芬大学-巴黎文理研究大学）
泛化是机器学习的核心问题。大多数预测方法都需要对保留的\textit{validation}数据集进行仔细的超参数校准，以实现泛化。本文的主要目标是提出一种新的方法，基于一种新的风险度量，使我们能够开发新的全自动程序的泛化。我们说明了这个新的框架在回归问题的相关性。这种新方法的主要优点是：（i）它可以同时训练模型，并在所有可用数据上的基于梯度的优化器的单次运行中执行正则化，而无需任何先前的超参数调整;（ii）这种框架可以同时处理几个额外的目标（相关性，稀疏性，.）$via$正则化参数的引入。值得注意的是，我们的方法转换超参数调整以及特征选择（组合离散优化问题）到一个连续的优化问题，这是通过经典的基于梯度的方法求解;（iii）我们的方法的计算复杂性是$O(npK)$其中$n,p,K$分别表示观测，功能和迭代的梯度下降算法的数量。我们在实验中观察到，与基准方法相比，我们的方法具有更小的运行时间，以获得相等的预测分数。我们的过程在PyTorch中实现（代码可用于复制）。
2020-06-11 cs.LG stat.ML
Exploring the Optimized Value of Each Hyperparameter in Various Gradient Descent Algorithms
Chunghwa Telecom Co., Ltd.（中华电信股份有限公司）
本研究提出一个分析框架，通过数学模型分析多种梯度下降算法中每个超参数对平均误差的影响，并基于最小化误差确定最优超参数值，实验证明该方法能提高收敛效率并降低误差。
2022-12-27 cs.LG
Gradient-based bilevel optimization for multi-penalty Ridge regression through matrix differential calculus
IDSIA Dalle Molle Institute for Artificial Intelligence（IDSIA 达莱·莫勒人工智能研究所）；USI-SUPSI（提契诺大学-瑞士南部应用科学与艺术大学）
本文针对每个输入变量关联不同正则化超参数的l2正则化线性回归问题，提出基于矩阵微分计算解析求解交叉验证准则梯度的双层优化方法，并引入防过拟合策略，数值实验证明其优于LASSO等方法且计算高效。
2023-11-23 cs.LG stat.ML
Gradient Descent: The Ultimate Optimizer
Meta, Inc.（Meta公司）；Stanford University（斯坦福大学）
使用任何基于梯度的机器学习算法都涉及到调整优化器超参数（如步长）的繁琐任务。最近的工作表明，步长本身可以通过手动推导表达式提前优化模型参数的“超梯度”。我们展示了如何通过对反向传播的简单而优雅的修改来自动计算超梯度。这使我们能够轻松地将该方法应用于其他优化器和超参数（例如动量系数）。我们甚至可以递归地将该方法应用于它自己的超-超参数，等等。随着这些优化器的塔越来越高，它们对超参数的初始选择变得不那么敏感。我们目前的实验验证了这一点的MLP，CNN和RNN。最后，我们提供了该算法的简单PyTorch实现（参见people.csail.mit.edu/kach/gradient-descent-the-ultimate-optimizer）。
2022-10-14 cs.LG stat.ML
A Gradient-based Bilevel Optimization Approach for Tuning Hyperparameters in Machine Learning
Indian Institute of Management Ahmedabad（印度管理学院艾哈迈达巴德分校）
超参数整定是机器学习中的一个活跃研究领域，其目的是确定在验证集上提供最佳性能的最佳超参数。超参数调优通常使用简单的技术来实现，例如随机搜索和网格搜索。然而，这些方法中的大多数很少导致最佳的超参数集，并且通常非常昂贵。在本文中，我们提出了一个双层的解决方法来解决超参数优化问题，没有遭受的缺点，早期的研究。该方法具有通用性，可以方便地应用于任何类型的机器学习算法。该思想基于下层最优价值函数映射的近似，该映射是双层优化中的一个重要映射，有助于将双层优化问题简化为单层约束优化问题。采用增广拉格朗日方法求解单级约束优化问题。我们讨论了所提出的算法背后的理论，并在两个数据集上进行了广泛的计算研究，证实了所提出的方法的效率。我们对网格搜索，随机搜索和贝叶斯优化技术进行了比较研究，结果表明，所提出的算法在具有一个或两个超参数的问题上要快数倍。随着超参数数量的增加，计算增益预计会显著增加。对应于给定的超参数，文献中的大多数技术通常假设唯一的最优参数集，使训练集上的损失最小化。这样的假设经常被深度学习架构违反，并且所提出的方法不需要任何这样的假设。
2020-07-21 cs.LG stat.ML
Episodic Policy Gradient Training
Applied AI Institute, Deakin University（迪肯大学应用人工智能研究所）
我们介绍了一种新的策略梯度方法的训练过程，其中情景记忆用于实时优化强化学习算法的超参数。与其他超参数搜索不同，我们将超参数调度公式化为标准的马尔可夫决策过程，并使用情景记忆来存储所使用的超参数及其训练上下文的结果。在任何策略更新步骤中，策略学习器参考存储的经验，并利用由存储器确定的新的超参数自适应地重新配置其学习算法。这种机制被称为情景策略梯度训练（EPGT），它支持情景学习过程，并在单次运行中联合学习策略和学习算法的超参数。连续和离散环境下的实验结果表明，使用所提出的方法在提高各种策略梯度算法的性能的优势。
2021-12-03 cs.LG cs.MA
Optimizing for Generalization in Machine Learning with Cross-Validation Gradients
Department of Electrical Engineering（电气工程系）；Stanford University（斯坦福大学）
交叉验证是现代应用统计学和机器学习的主力，因为它为选择最大化泛化性能的模型提供了原则性框架。在本文中，我们证明了交叉验证风险对于许多常见的机器学习算法，包括逻辑斯谛回归，弹性网络回归和支持向量机的超参数和训练数据是可区分的。利用这种可微性，我们提出了一种用于超参数优化的交叉验证梯度方法（CVGM）。我们的方法可以在高维超参数空间中有效地优化交叉验证风险，这是我们学习算法真正泛化能力的最佳替代。
2018-05-18 cs.LG stat.ML
Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels
ETH Zurich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Imperial College London（伦敦帝国理工学院）
本文针对 Laplace 贝叶斯超参数优化中梯度估计需遍历全量数据的问题，利用神经正切核提出可随机优化的边际似然线性化 Laplace 下界，从而在精度与计算成本间权衡并显著加速优化。
2023-06-06 cs.LG stat.ML
Self-Tuning Networks: Bilevel Optimization of Hyperparameters using Structured Best-Response Functions
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
超参数优化可以用公式表示为双层优化问题，其中训练集上的最优参数取决于超参数。我们的目标是通过将紧凑近似拟合到最佳响应函数来适应神经网络的正则化超参数，该函数将超参数映射到最佳权重和偏差。我们展示了如何通过将最佳响应建模为单个网络来构建神经网络的可扩展最佳响应近似，该网络的隐藏单元在正则化器上有条件地被选通。我们证明了这种近似，通过显示具有L2正则化雅可比矩阵的浅线性网络的确切最佳响应可以由类似的门控机制表示。我们使用基于梯度的超参数优化算法拟合该模型，该算法在当前超参数周围近似最佳响应和使用近似最佳响应函数优化超参数之间交替。与其他基于梯度的方法不同，我们不需要区分训练损失与超参数，允许我们调整离散超参数，数据增强超参数和辍学概率。由于超参数是在线适应的，我们的方法发现超参数时间表，可以超过固定的超参数值。从经验上讲，我们的方法在大规模深度学习问题上优于竞争的超参数优化方法。我们将在训练过程中在线更新自己的超参数的网络称为自调优网络（STNs）。
2019-03-07 cs.LG stat.ML
Scaling Optimal LR Across Token Horizons
Microsoft（微软）；Nvidia（英伟达）；Meta
本文通过大规模实证研究发现LLM训练中最优学习率随Token时间跨度显著变化并遵循缩放定律，据此可从短跨度准确估计长跨度最优学习率，且提供了零开销的转移经验法则，并指出LLama-1学习率过高及其性能损失。
2025-02-24 cs.AI cs.CL cs.LG
Parameter-free Clipped Gradient Descent Meets Polyak
Kyoto University（京都大学）；OIST（冲绳科学技术大学院大学）；NII（信息学研究机构）；NTT Communication Science Laboratories（NTT通信科学实验室）
针对现有无参数优化方法仅聚焦步长、未覆盖梯度裁剪阈值等超参数的问题，提出无需调参的非精确Polyak步长裁剪梯度下降方法，理论上收敛速率渐近独立于L，实验验证了其有效性。
2024-10-31 cs.LG math.OC
Fine-Tuning Adaptive Stochastic Optimizers: Determining the Optimal Hyperparameter $ε$ via Gradient Magnitude Histogram Analysis
Pontificia Universidad Católica del Perú（秘鲁天主教大学）
本研究提出基于梯度幅度直方图的框架分析自适应随机优化器超参数$\varepsilon$的影响，并设计算法自动估计其更窄的最优搜索空间，提升超参数调优效率。
2024-09-15 cs.AI cs.LG
Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm
JD Finance America Corporation（京东金融美国公司）；University of Pittsburgh（匹兹堡大学）；Nanjing University of Information Science & Technology（南京信息工程大学）
现代机器学习算法通常涉及调整多个（从一个到数千个）超参数，这些超参数在模型泛化方面起着关键作用。黑箱优化和基于梯度的优化算法是超参数优化的两种主流方法，它们具有明显的优势。如何设计一个新的超参数优化技术继承所有的优点，从这两种方法仍然是一个悬而未决的问题。为了解决这一难题，本文提出了一种新的零阶超梯度超参数优化方法（HOZOG）。具体来说，我们首先将超参数优化精确地表述为基于A的约束优化问题，其中A是黑盒优化算法（如深度神经网络）。然后，我们使用平均零阶超梯度来更新超参数。分析了HOZOG用于超参数优化的可行性。最后，通过对3个典型的超参数优化任务的实验结果表明，与现有的超参数优化方法相比，HOZOG方法具有简单、可扩展、灵活、有效和高效等优点.
2021-02-17 cs.LG
Cross-Entropy Optimization for Hyperparameter Optimization in Stochastic Gradient-based Approaches to Train Deep Neural Networks
本文提出用于深度神经网络随机梯度训练超参数优化的交叉熵方法CEHPO，在EM框架下深入分析，可推广至深度学习其他优化问题，为相关领域提供新视角。
2024-09-14 cs.AI cs.LG
Enhancing Fractional Gradient Descent with Learned Optimizers
针对分数阶梯度下降收敛难、超参数调度难的问题，提出元学习方法L2O-CFGD动态调整Caputo FGD超参数，性能优于静态超参数版本，部分任务媲美黑盒元学习优化器，助力超参数寻优与分数阶微分特性研究。
2025-10-21 cs.LG math.OC stat.ML
Differentially Private Hyperparameter Tuning using Local Bayesian Optimization
Department of Statistics Columbia University（统计学系哥伦比亚大学）
本文提出DP-GIBO框架，通过高斯过程代理私密近似梯度，实现高维空间下的差分隐私超参数调优，优于非隐私随机搜索和全局贝叶斯优化方法。
2026-05-08 cs.LG stat.ML
Efficient hyperparameter optimization by way of PAC-Bayes bound minimization
D.E. Shaw Research（D.E. Shaw 研究所）；Department of Biochemistry and Molecular Biophysics, Columbia University（哥伦比亚大学生物化学与分子生物物理学系）
识别高维超参数集的最优值是一个问题，由于其对大规模机器学习应用（如神经架构搜索）的重要性，因此受到越来越多的关注。最近开发的优化方法可以用来选择数千甚至数百万个超参数。然而，这些方法通常会产生过拟合模型，导致对不可见数据的性能较差。我们认为，这种过拟合的结果使用标准的超参数优化目标函数。在这里，我们提出了一个替代的目标，这是相当于一个可能近似正确的贝叶斯（PAC贝叶斯）的预期样本外的错误。然后，我们设计了一个有效的基于梯度的算法，以尽量减少这个目标，所提出的方法具有渐近的空间和时间复杂度等于或优于其他基于梯度的超参数优化方法。我们表明，这种新方法显着降低了样本误差时，应用于超参数优化问题已知是容易过拟合。
2020-08-14 cs.LG stat.ML
Improving Linear System Solvers for Hyperparameter Optimisation in Iterative Gaussian Processes
University of Cambridge（剑桥大学）；MPI for Intelligent Systems, Tübingen（图宾根智能系统马普研究所）；Ångström AI（昂斯特伦人工智能公司）
针对高斯过程超参数优化难适配大规模数据集的问题，提出三项线性系统求解器改进方案，实现最高72倍加速与最多7倍残差范数降低。
2025-01-12 cs.LG stat.ML
Implicit differentiation of Lasso-type models for hyperparameter optimization
Université Paris-Saclay（巴黎-萨克雷大学）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）；Institut Mathématique de Bourgogne（勃艮第数学研究所）；Université de Bourgogne（勃艮第大学）；Google Research（谷歌研究院）；CNRS（法国国家科学研究中心）；IMAG（蒙彼利埃亚历山大·格罗滕迪克研究所）；Université de Montpellier（蒙彼利埃大学）
为Lasso型估计量设置正则化参数是出了名的困难，尽管在实践中至关重要。最流行的超参数优化方法是使用保留的验证数据的网格搜索。然而，网格搜索需要为每个参数选择预定义的网格，其在参数数量上呈指数级变化。另一种方法是将超参数优化转换为双层优化问题，可以通过梯度下降来解决。这些方法的关键挑战是相对于超参数的梯度的估计。通过前向或后向自动微分计算该梯度是可能的，但通常遭受高存储器消耗。或者，隐式微分通常涉及求解线性系统，该线性系统在高维中可能是禁止的且数值上不稳定的。此外，隐式微分通常假设损失函数是光滑的，而Lasso型问题则不是这样。这项工作介绍了一个有效的隐式微分算法，没有矩阵求逆，适合拉索型问题。我们的方法通过利用解决方案的稀疏性来扩展到高维数据。实验表明，该方法优于大量的标准方法，以优化错误的保留数据，或斯坦无偏风险估计（SURE）。
2020-09-03 cs.LG stat.ML
Automatic and Simultaneous Adjustment of Learning Rate and Momentum for Stochastic Gradient Descent
eBay（易贝）
随机梯度下降（SGD）方法对于训练机器学习和深度学习模型非常重要。这些技术的性能取决于它们的超参数随时间的调整，并因不同的模型和问题而异。手动调整超参数是非常昂贵和耗时的，即使正确完成，它也缺乏理论依据，这不可避免地导致“经验法则”设置。在本文中，我们提出了一种通用的方法，利用无偏梯度估计的统计数据自动，同时调整两个最重要的超参数：学习率和动量。我们部署所提出的一般技术，各种SGD方法训练卷积神经网络（CNN的）。结果与通过详尽搜索获得的最佳设置的性能相匹配，因此无需进行繁琐的手动调整。
2019-08-20 cs.LG stat.CO stat.ML
A Globally Convergent Gradient-based Bilevel Hyperparameter Optimization Method
Centre for Data Science and AI（数据科学与人工智能中心）；Indian Institute of Management Ahmedabad（印度艾哈迈达巴德管理学院）；QI-CAP（QI-CAP公司）
本文提出一种基于梯度的双层超参数优化方法，利用高斯过程回归近似下层最优值函数，将双层问题转化为单层约束优化，保证全局收敛，并在MNIST和CIFAR-10上验证了其高效性和更好的泛化性能。
2023-06-18 cs.LG math.OC
CPMLHO:Hyperparameter Tuning via Cutting Plane and Mixed-Level Optimization
Tongji University（同济大学）
神经网络的超参数优化可以表示为一个两层优化问题。采用双层优化算法自动更新超参数，超参数的梯度为基于最佳响应函数的近似梯度。寻找最佳响应函数是非常耗时的。本文提出了一种新的超参数优化方法CPMLHO，该方法利用割平面法和混合目标函数，在内层增加一个割平面来约束响应函数的空间。为了获得更准确的超梯度，混合水平可以灵活地调整损失函数，通过使用训练集和验证集的损失。实验结果表明，与现有方法相比，该方法能够在训练过程中自动更新超参数，并能找到更多更优的超参数，具有更高的精度和更快的收敛速度。
2022-12-11 cs.LG
HyperMC: Multi-Fidelity Hyperparameter Tuning for Stochastic Gradient MCMC
Southern University of Science and Technology（南方科技大学）
针对SGMCMC超参数调优的难题，提出HyperMC多保真度调优框架及Robust HyperMC变体，在多个基准任务上实现了更优的后验近似或预测校准，且调优结果更稳定可复现。
2026-09-03 cs.LG stat.CO stat.ML
Generalization Guarantees on Data-Driven Tuning of Gradient Descent with Langevin Updates
Machine Learning Department, Carnegie Mellon University（卡内基梅隆大学机器学习系）；Electrical and Computer Engineering Department, Carnegie Mellon University（卡内基梅隆大学电气与计算机工程系）
本文研究了通过超参数调优实现学习学习的问题，提出兰格文梯度下降算法，并证明其在平方损失下达到贝叶斯最优解，同时给出了泛化保证和经验验证。
2026-09-11 cs.LG stat.ML
On the Hyperparameters in Stochastic Gradient Descent with Momentum
State Key Laboratory of Scientific and Engineering Computing（科学与工程计算国家重点实验室）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）
遵循与[SSJ 20]相同的程序，本文继续对带动量的随机梯度下降（SGD with momentum）进行理论分析。随后，对于具有动量的SGD，我们证明了学习率和动量系数这两个超参数一起对非凸优化的线性收敛速度起着重要作用。我们的分析是基于使用的超参数依赖的随机微分方程（hp依赖的随机微分方程），作为一个连续的替代SGD与动量。同样，我们建立了具有动量的连续时间SGD公式的线性收敛性，并通过分析Kramers-Fokker-Planck算子的谱得到了最优线性速率的显式表达式。通过比较，我们证明了如何最佳的线性收敛速度和最终的差距SGD只有约学习率的动量系数从0到1时，引入动量的变化。然后，我们提出了一个数学解释，为什么有动量的SGD收敛速度更快，更强大的学习率比标准SGD在实践中。最后，我们证明了噪声存在下的Nesterov动量与标准动量没有本质的区别。
2022-09-11 cs.LG math.AP math.OC
On Empirical Comparisons of Optimizers for Deep Learning
Google Research（谷歌研究院）；Vector Institute（向量研究所）；University of Toronto（多伦多大学）；DeepMind（深度思维）；Institute for Advanced Study（普林斯顿高等研究院）
选择优化器是当代深度学习管道的核心步骤。在本文中，我们证明了优化器比较超参数调整协议的敏感性。我们的研究结果表明，超参数搜索空间可能是最重要的一个因素，解释最近的实证比较文献中获得的排名。事实上，我们表明，这些结果可以矛盾时，超参数搜索空间的变化。随着调优工作的无限制增长，更一般的优化器不应该表现得比它们可以近似的优化器差（即，亚当的表现永远不会比动量差），但是最近比较优化器的尝试要么假设这些包含关系实际上不相关，要么以破坏包含关系的方式限制超参数。在我们的实验中，我们发现优化器之间的包含关系在实践中很重要，并且总是预测优化器的比较。特别是，我们发现流行的自适应梯度方法从来没有落后于动量或梯度下降。我们还报告了关于调整自适应梯度方法的经常被忽视的超参数的实用技巧，并提出了对神经网络训练的基准优化器的关注。
2020-06-16 cs.LG stat.ML
Sequential Policy Gradient for Adaptive Hyperparameter Optimization
Department of Computer Science（计算机科学系）；New York Institute of Technology（纽约理工学院）
本文提出序列策略梯度（SPG）方法，受DeepSeek-V3启发，通过单次前向生成轨迹实现轻量级在线超参数优化，在五个数据集上提升性能0.2~7%，计算成本低。
2025-06-18 cs.AI cs.LG
Optimizing Millions of Hyperparameters by Implicit Differentiation
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
我们提出了一个廉价的基于梯度的超参数优化算法，结合了隐函数定理（IFT）与高效的逆Hessian近似。我们目前的IFT和区分通过优化，激励我们的算法之间的关系的结果。我们使用所提出的方法来训练具有数百万权重和数百万超参数的现代网络架构。例如，我们学习一个数据增强网络-其中每个权重都是针对验证性能调整的超参数-输出增强的训练样本。使用我们的方法联合调整权重和超参数，在内存和计算方面的成本仅是标准训练的几倍。
2019-11-06 cs.LG stat.ML
Glocal Hypergradient Estimation with Koopman Operator
RIKEN AIP（理化学研究所先进智能项目）；Osaka University（大阪大学）
本文提出融合全局可靠性与局部高效性的全局-局部超梯度估计方法，利用Koopman算子线性化超梯度动态，仅用局部轨迹近似全局超梯度，实现高效可靠的超参数优化。
2024-05-26 cs.LG stat.ML
Automatic Gradient Descent: Deep Learning without Hyperparameters
MIT（麻省理工学院）；U. Oxford（牛津大学）；U. Washington（华盛顿大学）；Caltech（加州理工学院）
本文提出自动梯度下降（AGD），通过将镜像下降扩展到非凸复合目标并变换 Bregman 散度以利用神经架构，实现了无需任何超参数即可在 ImageNet 规模上训练全连接和卷积网络的一阶优化器。
2023-04-11 cs.AI cs.LG cs.NA
Using Deep Q-Learning to Control Optimization Hyperparameters
IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们提出了强化学习状态、动作和报酬函数的新定义，允许深度Q网络（DQN）学习控制优化超参数。使用Q学习与经验重放，我们训练两个DQN接受一个目标函数的状态表示作为输入，并输出预期的折扣回报，或q值，连接到调整学习率或保持不变的动作。这两个DQN学习类似于线搜索的策略，但在允许的动作数量上有所不同。经训练的DQN与基于梯度的更新例程相结合形成Q梯度下降算法的基础。为了证明这个框架的可行性，我们表明，DQN的q值与最佳的行动收敛和Q-梯度下降算法优于梯度下降与Armijo或非单调线搜索。与传统的最优化方法不同，Q-梯度下降可以包含任何客观统计量，通过改变动作，我们可以深入了解成功进行神经网络优化的学习率调整策略的类型。
2016-06-19 cs.LG math.OC
Improving Fast Minimum-Norm Attacks with Hyperparameter Optimization
University of Cagliari（卡利亚里大学）；Sapienza University of Rome（罗马第一大学）
本研究提出利用超参数优化自动选择损失函数、优化器和步长调度器，以提升快速最小范数攻击的有效性，并在多个鲁棒模型上验证了改进效果。
2023-10-12 cs.CV cs.LG
Using Known Information to Accelerate HyperParameters Optimization Based on SMBO
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；WiseUranium corp.（WiseUranium公司）
自动机是解决机器学习问题的关键技术。现有技术的超参数优化方法基于传统的黑盒优化方法，如SMBO（SMAC，TPE）。黑盒优化的目标函数是不平滑的，或者评估耗时，或者在某种程度上是嘈杂的。近年来，许多研究人员提出了有关超参数性质的工作。然而，传统的超参数优化方法没有考虑这些信息。本文利用梯度信息和机器学习模型分析信息对传统的超参数优化方法SMBO进行加速。在我们的L2范数实验中，我们的方法产生了最先进的性能，并且在许多情况下优于以前的最佳配置方法。
2019-07-18 cs.LG stat.ML
An Exploration of Non-Euclidean Gradient Descent: Muon and its Many Variants
Department of Computer Science, George Mason University（乔治·马歇尔大学计算机科学系）；Center for Cosmology and Particle Physics, New York University（纽约大学宇宙与粒子物理中心）；Center for Computational Mathematics, Flatiron Institute（Flatiron研究所计算数学中心）
本文将Adam与Muon形式化为非欧几里得梯度下降，推导出更鲁棒的MuonMax变体，并结合基于模型的动量Momo，显著提升了超参数调优的鲁棒性，节省调优成本。
2025-10-10 cs.LG stat.ML
Learning Algorithm Hyperparameters for Fast Parametric Convex Optimization
University of Pennsylvania（宾夕法尼亚大学）；Princeton University（普林斯顿大学）
本文提出一种机器学习框架，通过两阶段不动点迭代学习一阶方法超参数以快速求解参数化凸优化问题，保证收敛性并提供泛化界，仅需10个实例即可高效训练。
2024-11-24 cs.LG math.OC
Stability and Generalization of Bilevel Programming in Hyperparameter Optimization
Shandong University（山东大学）；Renmin University of China（中国人民大学）；Tsinghua University（清华大学）；Huawei（华为）
（基于梯度的）双层规划框架被广泛用于超参数优化，并取得了优异的性能经验。以往的理论工作主要集中在它的优化性能，而离开的分析，在很大程度上开放的推广。本文试图解决这个问题，提出了一个期望约束w.r.t.基于一致稳定性的验证集。我们的结果可以解释一些神秘的行为的双层规划在实践中，例如，过拟合的验证集。我们还提出了一个期望界的经典交叉验证算法。我们的研究结果表明，基于梯度的算法可以比交叉验证在一定条件下，在理论上的角度。此外，我们证明了在外部和内部水平的正则化项可以缓解基于梯度的算法中的过拟合问题。在对噪声标签的特征学习和数据重新加权的实验中，我们证实了我们的理论发现。
2021-10-23 cs.LG math.OC
SigOpt Mulch: An Intelligent System for AutoML of Gradient Boosted Trees
Illinois Institute of Technology（伊利诺伊理工学院）；Cornell University（康奈尔大学）；SigOpt: An Intel Company（SigOpt（英特尔旗下公司））
本文提出 SigOpt Mulch，一个面向梯度提升树的模型感知 AutoML 超参数调优系统，结合元学习、多保真度优化与搜索空间智能决策，提升调优效率并降低领域知识需求。
2023-07-10 cs.AI cs.LG cs.MS
On the Generalization Benefit of Noise in Stochastic Gradient Descent
DeepMind
长期以来，人们一直认为，在深度神经网络中，小批量随机梯度下降比大批量梯度下降更能泛化。然而，最近的论文对这一说法提出了质疑，认为这种效果只是次优超参数调整或批量大小较大时计算预算不足的结果。在本文中，我们对一系列流行的模型进行了精心设计的实验和严格的超参数扫描，这些模型验证了小批量或中等批量的批量在测试集上的表现可以大大超过非常大的批量。即使两个模型都经过相同次数的迭代训练，并且大批量实现较小的训练损失，也会发生这种情况。我们的研究结果证实了随机梯度中的噪声可以增强泛化能力。我们研究了如何最佳的学习率调度的时间预算的增长而变化，我们提供了一个理论帐户，我们的观察的基础上随机微分方程的角度SGD动态。
2020-06-26 cs.LG stat.ML
Stochastic Gradient Descent with Nonlinear Conjugate Gradient-Style Adaptive Momentum
University of Utah（犹他大学）；University of Kentucky（肯塔基大学）
动量在基于随机梯度的优化算法中起着至关重要的作用，用于加速或改进深度神经网络（DNN）的训练。在深度学习实践中，动量通常由校准良好的常数加权。然而，调整动量的超参数可能是一个巨大的计算负担。在本文中，我们提出了一种新的\emph{adaptive momentum}用于改进DNN训练;这种自适应动量，不需要动量相关的超参数，由非线性共轭梯度（NCG）方法激发。具有这种新的自适应动量的随机梯度下降（SGD）消除了对动量超参数校准的需要，允许显著更大的学习率，加速DNN训练，并提高训练的DNN的最终准确性和鲁棒性。例如，具有该自适应动量的SGD分别从$5.25\%$到$4.64\%$和从$23.75\%$到$20.03\%$减少了用于训练CIFAR 10和CIFAR 100的ResNet 110的分类误差。此外，具有新的自适应动量的SGD也有利于对抗训练，并提高了训练的DNN的对抗鲁棒性。
2020-12-03 cs.LG cs.NA math.NA
Hyperparameter Optimization for Randomized Algorithms: A Case Study on Random Features
California Institute of Technology（加州理工学院）；Princeton University（普林斯顿大学）
本文针对随机特征回归等随机算法，提出基于贝叶斯思想与集成卡尔曼反演的无梯度超参数优化方法，并在多个敏感问题中验证其有效性。
2025-02-23 cs.LG stat.CO stat.ML
Read the Signs: Towards Invariance to Gradient Descent's Hyperparameter Initialization
HEC Montreal（蒙特利尔高等商学院）
我们提出了ActiveLR，一个优化的Meta算法，本地化的学习率，$α$，并适应他们在每个时代根据是否在每个时代的梯度变化的迹象或没有。该符号意识算法知道从先前步骤到当前步骤，每个参数的更新是否过大或过小，并相应地调整$α$。我们实现了广泛使用和最近发布的梯度下降优化器的主动版本（我们的），即带有动量的SGD，AdamW，RAdam和AdaBelief。我们在ImageNet、CIFAR-10、WikiText-103、WikiText-2和PASCAL VOC上使用不同的模型架构（如ResNet和Transformers）进行的实验显示，泛化能力和训练集拟合度有所提高，并且测试优化器的Active变体的训练时间有所减少。结果还表明，这些优化的主动变量的初始学习率的不同值的鲁棒性。此外，减轻了使用大的小批量的不利影响。因此，ActiveLR简化了对两个最常用的超参数的超参数搜索的需要，这两个超参数需要大量的时间和计算成本来选择。我们鼓励人工智能研究人员和从业者使用他们选择的优化器的Active变体，以实现更快的训练，更好的泛化能力，并减少训练深度神经网络的碳足迹。
2023-01-24 cs.LG
Hot Swapping for Online Adaptation of Optimization Hyperparameters
University of California, Irvine（加州大学尔湾分校）；eBay Research Labs（eBay研究实验室）
我们描述了一个一般的框架在线适应优化超参数“热交换”在学习过程中的值。我们调查这种方法的背景下，自适应学习率选择使用的探索-利用策略，从多臂土匪文献。在一个基准神经网络上的实验表明，与AdaDelta和具有穷举超参数搜索的随机梯度等知名替代方案相比，热插拔方法始终导致更好的解决方案。
2015-04-13 cs.LG
Light Gradient Boosting Machine as a Regression Method for Quantitative Structure-Activity Relationships
Merck & Co. Inc.（默克公司）
在制药工业中，通常会生成许多具有大量分子和描述符的QSAR模型，最好的QSAR方法是那些可以生成最准确预测，但对超参数不敏感且计算效率高的方法。在这里，我们在30个内部数据集上比较了Light Gradient Boosting Machine（LightGBM）与随机森林，单任务深度神经网络和Extreme Gradient Boosting（XGBoost）。虽然任何boosting算法都有许多可调整的超参数，但我们可以定义一组标准超参数，LightGBM在这些参数下的预测与单任务深度神经网络一样准确，但在最大模型的总计算时间方面，比随机森林快1000倍，比XGBoost快4倍。LightGBM的另一个非常有用的特性是它包括一个用于估计预测区间的本地方法。
2021-04-28 cs.LG q-bio.BM
Constructing Gradient Controllable Recurrent Neural Networks Using Hamiltonian Dynamics
循环神经网络（RNN）在解决序列学习问题方面获得了极大的关注。然而，由于隐藏状态梯度消失或爆炸的问题，长期依赖关系的学习仍然具有挑战性。通过进一步探索RNN和动力系统之间最近建立的联系，我们提出了一种新的RNN架构，我们称之为Hamilton递归神经网络（Hamilton RNN），基于适当选择的Hamilton系统的辛离散化。这种方法的主要好处是，相应的RNN继承了Hamilton系统的有利的长时间特性，这反过来又允许我们使用Hamilton RNN架构的超参数来控制隐藏状态梯度。这使我们能够处理具有任意序列长度的序列学习问题，因为对于这个超参数的值的范围，梯度既不消失也不爆炸。此外，我们提供了一个启发式的超参数的最佳选择，我们在我们的数值模拟中使用，以说明汉密尔顿RNN能够优于其他国家的最先进的RNN，而不需要计算密集型超参数优化。
2020-03-16 cs.LG cs.NA math.NA
Amazon SageMaker Automatic Model Tuning: Scalable Gradient-Free Optimization
Amazon Web Services（亚马逊云科技）
调整复杂的机器学习系统是一项挑战。机器学习通常需要设置超参数，无论是正则化、架构还是优化参数，其调整对于实现良好的预测性能至关重要。为了使对机器学习系统的访问民主化，自动化调优至关重要。本文介绍Amazon SageMaker Automatic Model Tuning（AMT），这是一个用于大规模无梯度优化的完全托管系统。AMT通过使用不同的超参数配置反复评估经过训练的机器学习模型来找到最佳版本。它利用随机搜索或贝叶斯优化来选择超参数值，从而产生最佳模型，如用户选择的度量所测量的。AMT可与内置算法、自定义算法以及用于机器学习框架的Amazon SageMaker预构建容器一起使用。我们讨论了核心功能，系统架构，我们的设计原则和经验教训。我们还描述了AMT更先进的功能，如自动提前停止和热启动，在实验中显示其对用户的好处。
2021-06-18 cs.AI cs.LG stat.ML
Fast Learning Rate Transfer in Shallow Linear Networks at Growing Training Horizons
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能研究中心）；Kyoto University（京都大学）
本文研究浅层线性网络在训练时域随宽度增长时的学习率快速迁移，证明在特定谱假设下迁移成立，并刻画了迁移速率及极限分布。
2026-09-29 cs.LG stat.ML
