Non-stochastic Best Arm Identification and Hyperparameter Optimization
University of Wisconsin（威斯康星大学）；UCLA（加州大学洛杉矶分校）
受超参数优化任务的启发，我们引入了非随机最佳臂辨识问题。在多臂强盗文献中，累积后悔目标在非随机和随机环境下都有算法和分析，而据我们所知，最佳臂识别框架仅在随机环境下被考虑。我们在这个框架下引入非随机设置，确定一个已知的算法，非常适合这种设置，并分析其行为。接下来，通过利用标准机器学习算法的迭代性质，我们将超参数优化作为非随机最佳臂识别的实例，并根据经验评估我们提出的算法。我们的实证结果表明，通过分配更多的资源，有前途的超参数设置，我们通常实现可比的测试精度比基线方法快一个数量级。
2015-02-27 cs.LG stat.ML
Hot Swapping for Online Adaptation of Optimization Hyperparameters
University of California, Irvine（加州大学尔湾分校）；eBay Research Labs（eBay研究实验室）
我们描述了一个一般的框架在线适应优化超参数“热交换”在学习过程中的值。我们调查这种方法的背景下，自适应学习率选择使用的探索-利用策略，从多臂土匪文献。在一个基准神经网络上的实验表明，与AdaDelta和具有穷举超参数搜索的随机梯度等知名替代方案相比，热插拔方法始终导致更好的解决方案。
2015-04-13 cs.LG
Cross-Entropy Optimization for Hyperparameter Optimization in Stochastic Gradient-based Approaches to Train Deep Neural Networks
本文提出用于深度神经网络随机梯度训练超参数优化的交叉熵方法CEHPO，在EM框架下深入分析，可推广至深度学习其他优化问题，为相关领域提供新视角。
2024-09-14 cs.AI cs.LG
Critical Bach Size Minimizes Stochastic First-Order Oracle Complexity of Deep Learning Optimizer using Hyperparameters Close to One
Meiji University（明治大学）
实践结果表明，使用小的恒定学习率、接近1的超参数和大批量的深度学习优化器可以找到深度神经网络的模型参数，使损失函数最小化。我们首先展示了理论证据，动量方法（动量）和自适应矩估计（亚当）在这个意义上表现良好，理论性能指标的上限是小的恒定学习率，超参数接近一个，和一个大批量。接下来，我们表明，存在一个批量大小称为临界批量大小最小化随机一阶预言机（SFO）的复杂性，这是随机梯度计算成本，和SFO复杂性增加，一旦批量大小超过临界批量大小。最后，我们提供了支持我们的理论结果的数值结果。也就是说，数值结果表明，亚当使用一个小的恒定的学习率，超参数接近1，和临界批量大小最小化SFO复杂性比动量和随机梯度下降（SGD）具有更快的收敛。
2022-08-21 cs.LG math.OC
Local Energy Distribution Based Hyperparameter Determination for Stochastic Simulated Annealing
Research Institute of Electrical Communication（电气通信研究所）；Tohoku University（东北大学）
针对随机模拟退火超参数搜索耗时的问题，提出利用自旋局部能量的CLT正态分布直接确定超参数，将复杂度由O(n^3)降至O(1)，并在Gset与K2000上达到约98%的已知最佳割值。
2023-11-01 cs.LG math.OC
Fine-Tuning Adaptive Stochastic Optimizers: Determining the Optimal Hyperparameter $ε$ via Gradient Magnitude Histogram Analysis
Pontificia Universidad Católica del Perú（秘鲁天主教大学）
本研究提出基于梯度幅度直方图的框架分析自适应随机优化器超参数$\varepsilon$的影响，并设计算法自动估计其更窄的最优搜索空间，提升超参数调优效率。
2024-09-15 cs.AI cs.LG
A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning
Samsung AI Center（三星人工智能中心）；University of Edinburgh（爱丁堡大学）
针对深度学习中的可微元学习与双层优化问题，提出将其转化为随机优化并采用SGLD MCMC采样计算超梯度的方法，无需存储巨大雅可比矩阵即可扩展至大型模型，提升了鲁棒性与可靠性。
2024-10-14 cs.LG stat.ML
Self-Tuning Stochastic Optimization with Curvature-Aware Gradient Filtering
University of Toronto（多伦多大学）；Vector Institute（向量学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
标准的一阶随机优化算法仅基于平均小批量梯度进行更新，并且已经表明跟踪曲率等附加量可以帮助降低常见超参数的敏感性。基于这种直觉，我们探索使用精确的每样本海森向量乘积和梯度来构造自调整和无超参数的优化器。基于动态模型的梯度，我们推导出一个过程，导致曲率校正，噪声自适应在线梯度估计。我们更新的平滑性使其更适合简单的步长选择方案，我们也基于我们的估计量。我们证明了我们的基于模型的过程收敛于嘈杂的二次设置。虽然我们在深度学习任务中没有看到类似的收益，但我们可以匹配调优优化器的性能，最终，这是构建自调优优化器的有趣步骤。
2020-11-09 cs.LG
Gradient-based Hyperparameter Optimization through Reversible Learning
调整学习算法的超参数很难，因为梯度通常不可用。我们通过在整个训练过程中向后链接导数来计算关于所有超参数的交叉验证性能的精确梯度。这些梯度使我们能够优化数千个超参数，包括步长和动量计划，权重初始化分布，丰富的参数化正则化方案和神经网络架构。我们计算超参数梯度的动力学完全逆转的随机梯度下降与动量。
2015-04-02 cs.LG stat.ML
A Generalized Stochastic Variational Bayesian Hyperparameter Learning Framework for Sparse Spectrum Gaussian Process Regression
Interactive Digital Media Institute（互动数字媒体研究所）；National University of Singapore（新加坡国立大学）
虽然许多研究工作一直致力于基于大数据的诱导变量来扩展稀疏高斯过程（GP）模型，但很少关注利用GP内核的稀疏谱表示的其他较少探索的低秩GP近似类。本文提出了这样的努力，以推进稀疏谱GP模型的最新技术水平，以实现有竞争力的预测性能的大规模数据集。我们的广义框架的随机变分贝叶斯稀疏谱GP（sVBSSGP）模型解决了它们的缺点，采用贝叶斯处理的频谱频率，以避免过度拟合，建模这些频率联合在其变分分布，使他们的相互作用的后验，并利用本地数据提高预测性能。然而，这样的结构改进导致难以优化的变分下限。为了解决这个问题，我们利用变分参数化技巧，使它服从随机最优化。有趣的是，所得到的随机梯度具有线性可分解的结构，可以利用它来改进我们的随机最优化方法，以使每次迭代的时间恒定，同时保持其作为变分下限的精确梯度的无偏估计量的性质。对真实世界数据集的实证评估表明，sVBSSGP优于最先进的稀疏GP模型的随机实现。
2016-11-18 cs.LG stat.ML
Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels
ETH Zurich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Imperial College London（伦敦帝国理工学院）
本文针对 Laplace 贝叶斯超参数优化中梯度估计需遍历全量数据的问题，利用神经正切核提出可随机优化的边际似然线性化 Laplace 下界，从而在精度与计算成本间权衡并显著加速优化。
2023-06-06 cs.LG stat.ML
On the Hyperparameters in Stochastic Gradient Descent with Momentum
State Key Laboratory of Scientific and Engineering Computing（科学与工程计算国家重点实验室）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）
遵循与[SSJ 20]相同的程序，本文继续对带动量的随机梯度下降（SGD with momentum）进行理论分析。随后，对于具有动量的SGD，我们证明了学习率和动量系数这两个超参数一起对非凸优化的线性收敛速度起着重要作用。我们的分析是基于使用的超参数依赖的随机微分方程（hp依赖的随机微分方程），作为一个连续的替代SGD与动量。同样，我们建立了具有动量的连续时间SGD公式的线性收敛性，并通过分析Kramers-Fokker-Planck算子的谱得到了最优线性速率的显式表达式。通过比较，我们证明了如何最佳的线性收敛速度和最终的差距SGD只有约学习率的动量系数从0到1时，引入动量的变化。然后，我们提出了一个数学解释，为什么有动量的SGD收敛速度更快，更强大的学习率比标准SGD在实践中。最后，我们证明了噪声存在下的Nesterov动量与标准动量没有本质的区别。
2022-09-11 cs.LG math.AP math.OC
HyperMC: Multi-Fidelity Hyperparameter Tuning for Stochastic Gradient MCMC
Southern University of Science and Technology（南方科技大学）
针对SGMCMC超参数调优的难题，提出HyperMC多保真度调优框架及Robust HyperMC变体，在多个基准任务上实现了更优的后验近似或预测校准，且调优结果更稳定可复现。
2026-09-03 cs.LG stat.CO stat.ML
Automatic and Simultaneous Adjustment of Learning Rate and Momentum for Stochastic Gradient Descent
eBay（易贝）
随机梯度下降（SGD）方法对于训练机器学习和深度学习模型非常重要。这些技术的性能取决于它们的超参数随时间的调整，并因不同的模型和问题而异。手动调整超参数是非常昂贵和耗时的，即使正确完成，它也缺乏理论依据，这不可避免地导致“经验法则”设置。在本文中，我们提出了一种通用的方法，利用无偏梯度估计的统计数据自动，同时调整两个最重要的超参数：学习率和动量。我们部署所提出的一般技术，各种SGD方法训练卷积神经网络（CNN的）。结果与通过详尽搜索获得的最佳设置的性能相匹配，因此无需进行繁琐的手动调整。
2019-08-20 cs.LG stat.CO stat.ML
PROMISE: Preconditioned Stochastic Optimization Methods by Incorporating Scalable Curvature Estimates
Stanford University（斯坦福大学）；Cornell University（康奈尔大学）
本文提出PROMISE，一套基于sketching的预条件随机梯度算法（含SVRG、SAGA、Katyusha的预条件版本），通过二次正则性理论保证线性收敛，在51个回归问题上以默认超参数优于或匹配调优优化器。
2024-03-13 cs.LG math.OC
On the Generalization Benefit of Noise in Stochastic Gradient Descent
DeepMind
长期以来，人们一直认为，在深度神经网络中，小批量随机梯度下降比大批量梯度下降更能泛化。然而，最近的论文对这一说法提出了质疑，认为这种效果只是次优超参数调整或批量大小较大时计算预算不足的结果。在本文中，我们对一系列流行的模型进行了精心设计的实验和严格的超参数扫描，这些模型验证了小批量或中等批量的批量在测试集上的表现可以大大超过非常大的批量。即使两个模型都经过相同次数的迭代训练，并且大批量实现较小的训练损失，也会发生这种情况。我们的研究结果证实了随机梯度中的噪声可以增强泛化能力。我们研究了如何最佳的学习率调度的时间预算的增长而变化，我们提供了一个理论帐户，我们的观察的基础上随机微分方程的角度SGD动态。
2020-06-26 cs.LG stat.ML
Stochastic Gradient Descent with Nonlinear Conjugate Gradient-Style Adaptive Momentum
University of Utah（犹他大学）；University of Kentucky（肯塔基大学）
动量在基于随机梯度的优化算法中起着至关重要的作用，用于加速或改进深度神经网络（DNN）的训练。在深度学习实践中，动量通常由校准良好的常数加权。然而，调整动量的超参数可能是一个巨大的计算负担。在本文中，我们提出了一种新的\emph{adaptive momentum}用于改进DNN训练;这种自适应动量，不需要动量相关的超参数，由非线性共轭梯度（NCG）方法激发。具有这种新的自适应动量的随机梯度下降（SGD）消除了对动量超参数校准的需要，允许显著更大的学习率，加速DNN训练，并提高训练的DNN的最终准确性和鲁棒性。例如，具有该自适应动量的SGD分别从$5.25\%$到$4.64\%$和从$23.75\%$到$20.03\%$减少了用于训练CIFAR 10和CIFAR 100的ResNet 110的分类误差。此外，具有新的自适应动量的SGD也有利于对抗训练，并提高了训练的DNN的对抗鲁棒性。
2020-12-03 cs.LG cs.NA math.NA
Hyperband: A Novel Bandit-Based Approach to Hyperparameter Optimization
Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）；Google Research（谷歌研究院）；Determined AI
机器学习算法的性能关键取决于识别一组好的超参数。虽然最近的方法使用贝叶斯优化自适应地选择配置，我们专注于加快随机搜索，通过自适应资源分配和早期停止。我们制定超参数优化作为一个纯粹的探索非随机无限武装土匪问题，其中预定义的资源，如迭代，数据样本，或功能分配给随机采样的配置。我们介绍了一种新的算法，Hyperband，这个框架，并分析其理论性质，提供了一些理想的保证。此外，我们比较了Hyperband和流行的贝叶斯优化方法在一组超参数优化问题。我们观察到，Hyperband可以在各种深度学习和基于内核的学习问题上提供超过竞争对手的数量级加速。
2018-06-18 cs.LG stat.ML
Fully Bayesian Differential Gaussian Processes through Stochastic Differential Equations
South China University of Technology（华南理工大学）；Columbia University（哥伦比亚大学）
本文提出了一种通过随机微分方程实现完全贝叶斯微分高斯过程的方法，以提升模型的灵活性和适应性。
2025-12-15 cs.AI cs.LG
Private and Fair Machine Learning: Revisiting the Disparate Impact of Differentially Private SGD
Know Center Research GmbH；Graz University of Technology（格拉茨技术大学）；University of Graz（格拉茨大学）
本研究重新审视差分隐私SGD对不同性能指标和超参数设置下公平性的不同影响，发现直接优化超参数虽不能可靠缓解但可改善效用-公平性权衡，并指出超参数调整带来隐私泄露，DPSGD-Global-Adapt并非稳健方案。
2025-10-02 cs.LG
SketchySGD: Reliable Stochastic Optimization via Randomized Curvature Estimates
Stanford University（斯坦福大学）；Cornell University（康奈尔大学）
SketchySGD 利用子采样 Hessian 的随机低秩近似和自动步长，在病态凸优化问题中实现比 SGD 更快的收敛，并能以默认超参数开箱即用地解决大规模病态回归问题。
2024-02-20 cs.LG math.OC
Convergence of Adam for Non-convex Objectives: Relaxed Hyperparameters and Non-ergodic Case
针对Adam在非凸目标下收敛性未完全明确的问题，本文明确遍历与非遍历收敛定义，提出更松弛的遍历收敛超参数条件，首次证明最后迭代点收敛性，在PL条件下得到O(1/K)非遍历速率，完善理论基础。
2023-07-20 cs.LG cs.NA math.NA
Efficient Hyperparameter Optimization for Differentially Private Deep Learning
Manipal Institute of Technology（马尼帕尔理工学院）；Carnegie Mellon University（卡内基梅隆大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Imperial College London（伦敦帝国学院）
在差分私有随机梯度下降（DPSGD）中调整超参数是一个基本的挑战。与典型的SGD不同，私有数据集不能多次用于DPSGD中的超参数搜索;例如，通过网格搜索因此，有必要的算法，在一个给定的搜索空间，可以找到接近最佳的超参数的最佳可实现的隐私效用权衡有效的需要。我们制定这个问题到一个通用的优化框架，建立一个理想的隐私效用权衡，并系统地研究了三个成本效益的算法被用于在建议的框架：进化，贝叶斯和强化学习。我们的实验，在MNIST和CIFAR-10数据集上进行DPSGD的超参数调整，表明这三种算法显着优于广泛使用的网格搜索基线。由于本文为DPSGD中的超参数调整提供了一个前所未有的框架，我们讨论了现有的挑战和未来研究的开放方向。由于我们相信我们的工作对私人深度学习的管道有影响，我们在https://github.com/AmanPriyanshu/DP-HyperparamTuning上开源了我们的代码。
2021-08-09 cs.CR cs.LG
Stochastic Variational Inference for Bayesian Sparse Gaussian Process Regression
National University of Singapore（新加坡国立大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；MIT（麻省理工学院）
本文提出了一种新的变分推理框架，推导出一个家庭的贝叶斯稀疏高斯过程回归（SGPR）模型的近似是变分最优的满秩GPR模型丰富的各种相应的相关结构的观察噪声。我们的变分贝叶斯SGPR（VBSGPR）模型共同对待的诱导变量和超参数的分布作为变分参数，这使得变分下限，反过来可以利用随机优化的可分解性。这样的随机优化涉及迭代地遵循变分下界的随机梯度，以改进我们的VBSGPR模型的诱导变量和超参数（以及预测分布）的最优变分分布的估计，并保证实现渐近收敛。我们证明了随机梯度是精确梯度的无偏估计，并且可以在每次迭代的恒定时间内计算，从而实现对大数据的可扩展性。我们在两个真实世界的大规模数据集上实证评估了我们提出的框架的性能。
2019-03-22 cs.LG stat.ML
On the Convergence of Single-Loop Stochastic Bilevel Optimization with Approximate Implicit Differentiation
Xi’an Jiaotong University（西安交通大学）；Fudan University（复旦大学）；SGIT AI Lab（SGIT人工智能实验室）
本文提出单环随机近似隐式微分算法，证明其在O(κ⁷ ε⁻²)复杂度下达到ε-静态点，兼顾多环方法的最优收敛速度与单环的高效计算。
2026-08-25 cs.LG
slimTrain -- A Stochastic Approximation Method for Training Separable Deep Neural Networks
Emory University（埃默里大学）；Virginia Tech（弗吉尼亚理工学院暨州立大学）；Fictional University（虚构大学）；Imagination Corp.（想象公司）
深度神经网络（DNN）已经在许多应用中成功地作为高维函数逼近器;然而，训练DNN通常具有挑战性。DNN训练通常被称为随机优化问题，其挑战包括非凸性，非平滑性，正则化不足和复杂的数据分布。因此，DNN在给定任务上的性能关键取决于调整超参数，特别是学习率和正则化参数。在缺乏类似任务的理论指导或先前经验的情况下，这需要解决许多训练问题，这可能非常耗时，并且对计算资源要求很高。这可能会限制DNN对非标准、复杂和稀缺数据集问题的适用性，例如，在许多科学应用中出现的问题。为了弥补DNN训练的挑战，我们提出了slimTrain，这是一种随机优化方法，用于训练DNN，降低对选择超参数的敏感性和快速初始收敛。slimTrain的中心思想是利用许多DNN架构中固有的可分性;也就是说，我们将DNN分成一个非线性特征提取器，然后是一个线性模型。这种可分性使我们能够利用最近的进展，解决大规模，线性，不适定的逆问题。至关重要的是，对于线性权重，slimTrain不需要学习率，并自动适应正则化参数。由于我们的方法在小批量上操作，因此每次迭代的计算开销是适度的。在我们的数值实验中，slimTrain在推荐的超参数设置下优于现有的DNN训练方法，并降低了DNN训练对其余超参数的敏感性。
2021-09-28 cs.LG cs.NA math.NA
Discrete Simulation Optimization for Tuning Machine Learning Method Hyperparameters
Indian Institute of Technology Delhi（印度理工学院德里分校）
本研究采用离散仿真优化方法（KN排序与选择及随机标尺随机搜索）调优机器学习超参数，在多种模型上优于或媲美hyperopt和mango等先进库，兼顾统计保证与计算效率。
2023-06-20 cs.LG cs.SY eess.SY
First-Order Softmax Weighted Switching Gradient Method for Distributed Stochastic Minimax Optimization with Stochastic Constraints
Purdue University（普渡大学）
本文提出了一种适用于分布式随机博弈优化的Softmax加权切换梯度方法，通过统一的收敛保证和高效的算法设计，提高了联邦学习中的优化性能。
2026-07-14 cs.DC cs.LG
Fast large-scale optimization by unifying stochastic gradient and quasi-Newton methods
我们提出了一种算法，用于最小化的功能，结合了计算效率的随机梯度下降（SGD）的二阶曲率信息利用拟牛顿方法的总和。我们统一这些不同的方法，保持一个独立的海森近似的每个贡献函数的总和。我们保持计算的易处理性和限制内存的要求，即使是高维的优化问题，通过存储和操纵这些二次近似在一个共享的，随时间变化的，低维的子空间。每个更新步骤只需要一个贡献函数或小批量评估（如SGD），每个步骤都使用近似逆Hessian进行缩放，并且几乎不需要调整超参数（如拟牛顿方法的典型）。该算法与早期的随机二阶技术相比，该技术将每个贡献函数的Hessian视为对完整Hessian的噪声近似，而不是作为直接估计的目标。我们的实验证明了七个不同的优化问题的收敛性。该算法作为开源Python和MATLAB软件包发布。
2014-11-30 cs.LG
Training Deep Neural Networks with Adaptive Momentum Inspired by the Quadratic Optimization
National University of Defense Technology（国防科技大学）；Tsinghua University（清华大学）；University of Utah（犹他大学）
重球动量在加速（随机）基于梯度的优化算法用于机器学习中至关重要。现有的重球动量通常由一个统一的超参数加权，这依赖于过度的调整。此外，校准的固定超参数可能不会导致最佳性能。在本文中，为了消除调整动量相关的超参数的努力，我们提出了一个新的自适应动量的启发重球动量的二次优化的最佳选择。我们提出的自适应重球动量可以改善随机梯度下降（SGD）和亚当。具有新设计的自适应动量的SGD和Adam对大学习率更鲁棒，收敛更快，并且比基线更好地推广。我们在广泛的机器学习基准测试（包括图像分类、语言建模和机器翻译）上验证了SGD和Adam的效率。最后，我们提供了收敛保证SGD和亚当与建议的自适应动量。
2021-10-18 cs.LG math.OC
Phase diagram and eigenvalue dynamics of stochastic gradient descent in multilayer neural networks
Centre for Quantum Fields and Gravity（量子场与引力中心）；Department of Physics, Swansea University（斯旺西大学物理系）；School of Mathematical Sciences, Queen Mary University of London（伦敦大学量子玛丽学院数学科学学院）
研究通过分析多层神经网络的相图，揭示随机梯度下降在不同训练阶段的动力学特征，为超参数选择提供理论依据。
2025-11-18 cond-mat.dis-nn cs.LG hep-lat
Dynamics of Stochastic Momentum Methods on Large-scale, Quadratic Models
McGill University（麦吉尔大学）
研究了高维随机最小二乘问题的一类带动量的随机梯度算法。我们的框架，随机矩阵理论的启发，提供了一个精确的（确定性）表征这些算法产生的损失值的序列，仅表示在Hessian的特征值。这导致了近似最优超参数的简单表达式，极限邻域的描述和平均情况的复杂性。因此，我们表明，（小批量）随机重球动量与一个固定的动量参数时，步长调整正确的SGD没有提供实际的性能改善。相比之下，在非强凸设置中，使用动量可以获得比SGD大的改进。通过引入依赖于样本个数的超参数，我们提出了一种新的算法sDANA（随机维数调整Nesterov加速），该算法在不调整参数的情况下获得了渐近最优的平均情况复杂度，同时在强凸环境下保持线性收敛.
2021-10-26 cs.LG math.OC math.PR
Recombination of Artificial Neural Networks
Cray Inc.（克雷公司）
我们提出了一种用于人工神经网络超参数优化的遗传算法（GA），该算法包括染色体交叉以及参数解耦（即，权重和偏差）来自超参数（例如，学习率、权重衰减和脱落）。子节点由三个父节点生成;两个贡献超参数，一个贡献参数。我们的基于群体的训练（PBT）版本将传统的基于梯度的方法（如随机梯度下降（SGD））与我们的GA相结合，以优化SGD时期的参数和超参数。我们对传统PBT的改进提供了更快的适应速度和更大的能力，以摆脱有害基因的人口。我们的方法在各种深度神经网络架构上提高了最终精度以及达到固定精度的时间，包括卷积神经网络、递归神经网络、密集神经网络和胶囊网络。
2019-01-12 cs.LG cs.NE
Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization
KAUST（阿卜杜拉国王科技大学）；Stanford University（斯坦福大学）；University of California, Berkeley（加州大学伯克利分校）
自适应性是现代优化理论中一个重要但尚未得到充分研究的性质。最先进的理论和当前的实践之间的差距是惊人的，因为具有理想的理论保证的算法通常涉及在不同制度中的超参数（如步长方案和批量大小）的完全不同的设置。尽管有吸引人的理论结果，这种分裂的策略提供了很少的，如果有的话，从业者选择算法，广泛工作，而不调整超参数的洞察力。在这项工作中，混合了Lei & Jordan 2016年引入的“几何化”技术和Nguyen等人的\texttt{SARAH}算法，2017年，我们提出了用于非凸有限和随机优化的几何化\texttt{SARAH}算法。我们的算法被证明是实现自适应的幅度的目标精度和Polyak-Prosojasiewicz（PL）常数，如果存在的。此外，它实现了最佳的可用收敛速度为非PL目标的同时，优于现有的算法PL目标。
2020-02-13 cs.LG math.OC stat.ML
Emergence of a stochastic resonance in machine learning
Arizona State University（亚利桑那州立大学）
噪声是否有利于混沌系统的机器学习预测？利用水库计算机作为范例，我们发现，注入噪声的训练数据可以诱导随机共振的状态变量的短期预测和长期预测的吸引子的系统具有显着的好处。诱导随机共振的关键是将噪声的幅度包括在用于优化的超参数集合中。这样做，可以显着提高预测精度，稳定性和地平线。利用两个典型的高维混沌系统证明了随机共振现象。
2022-11-15 cs.LG math.DS
Online Continuous Hyperparameter Optimization for Generalized Linear Contextual Bandits
University of California, Davis（加利福尼亚大学戴维斯分校）；Google（谷歌公司）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文针对上下文赌博机超参数难以实时调优的问题，提出首个在线连续超参数调优框架 CDT，将超参数优化建模为非平稳连续臂赌博机，并设计 Zooming TS 算法，在理论和实验上均取得优于现有方法的效果。
2024-04-08 cs.LG stat.ML
DEAM: Adaptive Momentum with Discriminative Weight for Stochastic Optimization
IFM Lab, Florida State University（佛罗里达州立大学IFM实验室（IFM Lab, Florida State University））
具有动量的优化算法，例如，（ADAM），由于与随机梯度下降（SGD）相比更快的收敛速度，已被广泛用于构建深度学习模型。在参数更新过程中，动量有助于加速相关方向上的SGD，从而减小参数更新路径的振荡。然而，像ADAM这样的动量优化算法在某些更新步骤中存在误差。固定动量权重（例如，β_1）将传播动量计算中的误差。本文介绍了一种新的优化算法，即自适应动量判别加权法（DEAM）。DEAM提出了基于判别角自动计算动量项权重的方法，而不是用固定的超参数来分配动量项权重。这样，DEAM涉及更少的超参数。DEAM还包含一个新的回溯项，当需要校正最后一步时，该项限制了冗余更新。大量的实验表明，DEAM可以实现更快的收敛速度比现有的优化算法在训练的深度学习模型的凸和非凸的情况。
2020-01-23 cs.LG math.OC stat.ML
Center-Outward q-Dominance: A Sample-Computable Proxy for Strong Stochastic Dominance in Multi-Objective Optimisation
针对随机多目标优化中标量化排序丢信息不可靠的问题，提出中心向外q-占优关系及对应实证检验方法，在超参数调优和多目标算法选择场景验证其有效性，为寻找随机占优解提供可靠基础。
2025-11-16 cs.LG stat.ML
Convergence rates for the RMSprop optimizer with full control of the hyperparameters
University of Münster（明斯特大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
该研究针对超参数完全可控的RMSprop优化器，解决了凸随机优化下误差常数一致有界的未决问题，给出了适用于所有梯度步的非渐近收敛速率估计，核心创新为RMSprop二阶矩过程的逆矩界。
2026-09-01 cs.LG math.OC math.PR
Exploring Machine Learning Privacy/Utility trade-off from a hyperparameters Lens
NYU Abu Dhabi（纽约大学阿布扎比分校）；Queen’s University Belfast（贝尔法斯特女王大学）
机器学习（ML）架构已经应用于涉及敏感数据的几个应用程序，其中需要保证用户的数据隐私。差分隐私随机梯度下降（DPSGD）是训练隐私保护模型的最新方法。然而，DPSGD带来相当大的准确性损失，导致次优的隐私/效用权衡。为了研究更好的隐私-效用权衡的新基础，这项工作提出了以下问题：（i）模型的超参数是否对ML模型的隐私保护属性有任何内在影响，以及（ii）模型的超参数是否对差异隐私模型的隐私/效用权衡有任何影响。我们提出了一个全面的设计空间探索不同的超参数，如激活函数的选择，学习率和使用批量归一化。有趣的是，我们发现，效用可以通过使用有界的Bounded Bounded Bounded U作为具有相同隐私保护特性的激活函数来提高。通过对激活函数的直接替换，我们在MNIST（96.02\%）、FashionMnist（84.76\%）和CIFAR-10（44.42\%）上实现了新的最先进的准确性，而无需对DPSGD的学习过程基础进行任何修改。
2023-03-03 cs.CR cs.CV cs.LG
Preconditioning for Scalable Gaussian Process Hyperparameter Optimization
University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Columbia University（哥伦比亚大学）；University of Pennsylvania（宾夕法尼亚大学）
高斯过程超参数优化需要线性求解，以及大核矩阵的对数行列式。迭代数值技术越来越流行，以扩大到更大的数据集，依赖于共轭梯度法（CG）的线性解决方案和随机跟踪估计的对数行列式。这项工作介绍了新的算法和理论的见解预处理这些计算。虽然预处理是很好地理解在CG的背景下，我们证明，它也可以加速收敛和减少方差的对数行列式及其衍生物的估计。我们证明了一般的概率误差界的预处理计算的对数行列式，对数边际似然及其衍生物。此外，我们得到特定的速率为一系列的内核预处理器的组合，显示指数收敛可以实现。我们的理论结果可以证明有效的优化内核超参数，我们验证经验上的大规模基准问题。在那里，我们的方法将训练速度提高了一个数量级。
2022-06-18 cs.LG cs.NA math.NA
Hyperparameter Optimization for Randomized Algorithms: A Case Study on Random Features
California Institute of Technology（加州理工学院）；Princeton University（普林斯顿大学）
本文针对随机特征回归等随机算法，提出基于贝叶斯思想与集成卡尔曼反演的无梯度超参数优化方法，并在多个敏感问题中验证其有效性。
2025-02-23 cs.LG stat.CO stat.ML
Learning Rate Annealing Improves Tuning Robustness in Stochastic Optimization
Blavatnik School of Computer Science and AI, Tel Aviv University（巴尔-艾赫德计算机科学与人工智能学院，特拉维夫大学）；Google Research Tel Aviv（谷歌研究（特拉维夫））
学习率退火通过提高鲁棒性优化了大规模模型的调参效率。
2026-02-16 cs.LG math.OC stat.ML
Bayesian Optimization under Uncertainty for Training a Scale Parameter in Stochastic Models
University of Houston（德克萨斯大学休斯敦分校）
针对随机模型中的尺度参数调优，提出一种贝叶斯优化框架，利用统计替代模型和闭式采集函数优化器，将数据点需求减少40倍，计算成本最多降低40倍。
2026-10-14 cs.CE cs.LG math.OC
FedNest: Federated Bilevel, Minimax, and Compositional Optimization
University of Michigan（密歇根大学）；University of California, Riverside（加州大学河滨分校）；University of British Columbia（不列颠哥伦比亚大学）
标准的联邦优化方法成功地应用于单级结构的随机问题。然而，许多当代机器学习问题-包括对抗鲁棒性，超参数调整和演员-评论家-都属于嵌套双层编程，其中包含极大极小和组合优化。在这项工作中，我们提出了\fedblo：一种用于解决一般嵌套问题的联邦交替随机梯度方法。我们建立了可证明的收敛速度\fedblo在异构数据的存在下，并介绍了双层，极大极小和组合优化的变化。\fedblo引入了多项创新，包括联合超梯度计算和方差减少，以解决内部层次的异构性。我们补充我们的理论与实验超参数\&超表示学习和极大极小优化，证明我们的方法在实践中的好处。代码可在https://github.com/ucr-optml/FedNest上获得。
2022-09-13 cs.LG math.OC
Towards Hyperparameter-Agnostic DNN Training via Dynamical System Insights
Carnegie Mellon University（卡内基梅隆大学）；Washington University in St. Louis（圣路易斯华盛顿大学）
提出基于动力学系统建模的DNN优化器ECCO-DNN，通过自适应选择步长实现超参数不敏感，性能媲美主流优化器且大幅减少调参成本。
2023-10-21 cs.LG cs.SY eess.SY
Online Nonconvex Bilevel Optimization with Bregman Divergences
Stony Brook University（石溪大学）；Bloomberg（彭博公司）；Institute for Advanced Computational Science（高级计算科学研究所）
该研究针对在线非凸-强凸双层优化问题，提出基于自适应Bregman散度的确定性OBBO和带窗口平均方差缩减的随机SOBBO算法，提升双层局部悔值速率，实验验证其在超参数优化、元学习任务上优于现有基准。
2024-09-16 cs.LG math.OC
Distributionally Robust Optimization with Bias and Variance Reduction
University of Washington（华盛顿大学）；Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）
针对分布鲁棒优化问题，提出仅需单参数调优的随机梯度算法 Prospect，实现线性收敛，在多领域基准上比基线快 2-3 倍。
2023-10-21 cs.LG math.OC stat.ML
Unbiased Stochastic Optimization for Gaussian Processes on Finite Dimensional RKHS
School of Mathematical Sciences, Tel Aviv University（数学科学学院，特拉维夫大学）
针对高斯过程随机超参数学习中近似梯度和诱导点方法无法保证收敛的问题，本文提出有限维 RKHS 上的精确随机推断算法，并可扩展至无限维情形，在内存受限实验中表现更优。
2025-08-28 cs.LG stat.ML
Learning-Rate-Free Stochastic Optimization over Riemannian Manifolds
Lancaster University（兰卡斯特大学）
针对黎曼流形随机优化中学习率需手动调优的挑战，本文提出无学习率优化算法，提供了最优的高概率收敛保证，并在数值实验中展现出与依赖学习率算法相竞争的性能。
2024-06-04 cs.LG math.OC
Physics-informed random neural architectures on compact boundaryless multiply connected manifolds for random-operator models in machine learning and uncertainty quantification
Université Gustave Eiffel（巴黎-塞纳河大学）
该研究提出SPINNs，通过公共高斯随机种子耦合SBVP随机算子与流形随机神经架构，在观测空间训练，避免PDE残差损失，经随机椭圆问题验证，可用于SBVP相关建模与超参数推断。
2026-10-14 cs.LG stat.ML
A straightforward line search approach on the expected empirical loss for stochastic deep learning problems
University of Tübingen（图宾根大学）
深度学习的一个基本挑战是随机梯度下降的更新步骤的最佳步长是未知的。在传统的优化中，使用线搜索来确定好的步长，然而，在深度学习中，由于噪声损失，在预期的经验损失上搜索好的步长成本太高。这项实证工作表明，对于常见的深度学习任务，可以相当便宜地近似垂直截面上的预期经验损失。这是通过将传统的一维函数拟合应用于此类横截面的测量噪声损耗来实现的。然后将所得近似的最小值的步长用作优化的步长。这种方法导致了一种强大而直接的优化方法，该方法在数据集和架构上表现良好，而无需超参数调整。
2020-10-02 cs.LG stat.ML
Distributed Stochastic Optimization via Adaptive SGD
Stanford University（斯坦福大学）；Yahoo! Research（雅虎研究院）
随机凸优化算法是在大规模数据上训练机器学习模型的最流行的方法。扩大这些模型的训练过程是至关重要的，但最流行的算法，随机梯度下降（SGD），是一个串行方法，令人惊讶地难以并行化。在本文中，我们提出了一个有效的分布式随机最优化方法相结合的自适应性和方差减少技术。我们的分析产生了线性加速的机器，恒定的内存占用的数量，只有对数数量的通信轮。至关重要的是，我们的方法是一个黑盒简化，并行化任何串行在线学习算法，简化先验分析，并允许我们利用在设计自适应算法方面取得的重大进展。特别是，我们实现了最佳的收敛速度，没有任何先验知识的平滑参数，产生一个更强大的算法，减少了超参数调整的需要。我们在Spark分布式框架中实现了我们的算法，并在大规模逻辑斯谛回归问题上表现出显着的性能增益。
2018-10-29 cs.LG stat.ML
ZENITH: Automated Gradient Norm Informed Stochastic Optimization
提出ZENITH优化器，利用梯度范数的时间演化自动调整学习率，在图像分类、目标检测等任务中实现更高精度和更快速度，且兼容正则化。
2026-07-03 cs.CV cs.LG
