Projected Semi-Stochastic Gradient Descent Method with Mini-Batch Scheme under Weak Strong Convexity Assumption
Lehigh University（理海大学）
针对一般随机梯度下降方法（SGD）的理论复杂度和实际性能的不足，提出了一种带小批量的投影半随机梯度下降方法.在弱强凸性假设下，我们能够证明线性收敛。这不需要强凸性假设来最小化服从紧凑多面体集的光滑凸函数的和，这在机器学习社区中仍然很流行。我们的PS2GD保留了低成本的每次迭代和高优化精度，通过随机梯度方差减少技术，并承认一个简单的并行实现与小批量。此外，PS2GD也适用于具有铰链损失的SVM对偶问题。
2017-05-05 cs.LG math.OC stat.ML
Stochastic Variance Reduction for Nonconvex Optimization
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
我们研究非凸有限和问题，并分析随机方差约减梯度（SVRG）方法。SVRG和相关的方法最近在凸优化中脱颖而出，因为它们比随机梯度下降（SGD）更有优势;但它们的理论分析几乎完全假设凸性。相比之下，我们证明了非渐近速度的收敛（稳定点）的SVRG非凸优化，并证明它是可证明的速度比SGD和梯度下降。我们还分析了一类非凸问题，SVRG达到线性收敛的全局最优值。我们扩展我们的分析，SVRG的小批量变体，显示（理论）线性加速，由于在并行设置中的小批量。
2016-04-04 cs.LG cs.NE math.OC
Fast Incremental Method for Nonconvex Optimization
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
我们分析了一个快速增量聚合梯度法优化非凸问题的形式$\min_x \sum_i f_i(x)$。具体来说，我们分析了增量一阶Oracle框架内的SAGA算法，并证明它收敛到一个稳定点证明比梯度下降和随机梯度下降。我们还讨论了Polyak的一类特殊的非凸问题，其中SAGA以线性速度收敛到全局最优值。最后，我们分析了SAGA的实用价值的正则化和小批量的变种。据我们所知，本文首次分析了非凸问题的增量聚集梯度法的快速收敛性。
2016-03-19 cs.LG math.OC stat.ML
Stochastic Gradient Descent Revisited
本文在相对温和的条件下对有偏非凸随机梯度下降进行了全面收敛性分析，涵盖弱收敛、函数值收敛和全局收敛，并给出了收敛速率与复杂度。
2025-03-07 math.OC math.PR stat.ML
Error dynamics of mini-batch gradient descent with random reshuffling for least squares regression
Princeton University（普林斯顿大学）；Boston College（波士顿学院）
本文研究随机重排小批量梯度下降在最小二乘回归中的误差动力学，通过引入样本互协方差矩阵Z揭示小批量与全批量梯度下降在首阶上一致，并证明分批会在谱上产生收缩效应。
2025-02-03 cs.LG math.OC stat.ML
A Stochastic Gradient Method with Biased Estimation for Faster Nonconvex Optimization
University of Southampton（南安普顿大学）
已经提出了许多优化方法来优化非凸目标（例如深度学习模型），例如批量梯度下降、随机梯度下降和随机方差减少的梯度下降。理论表明，这些优化方法可以通过使用无偏梯度估计器来收敛。然而，在实践中，有偏梯度估计可以允许更有效地收敛到附近，因为无偏方法在计算上更昂贵。为了产生快速收敛，这些优化策略有两个权衡，即随机/批量和有偏/无偏之间。本文提出了一种综合的方法，可以控制的性质的随机元素的优化，并可以平衡的权衡估计之间的有偏和无偏通过使用超参数。理论和实验表明，这个超参数可以配置为提供一个有效的平衡，以提高收敛速度。
2019-05-13 cs.LG math.OC stat.ML
Faster Convergence of Riemannian Stochastic Gradient Descent with Increasing Batch Size
Meiji University（东邦大学）
本文理论分析了Riemannian随机梯度下降（RSGD），证明采用递增批量大小能将收敛速率从$O(T^{-1}+C)$提升至$O(T^{-1})$，并降低SFO复杂度，兼具大小固定批量的优势。
2025-10-13 cs.LG math.OC stat.ML
A Resizable Mini-batch Gradient Descent based on a Multi-Armed Bandit
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
为小批量梯度下降确定适当的批量大小总是很耗时，因为它通常依赖于网格搜索。本文考虑了一种可调整大小的小批量梯度下降（RMGD）算法的基础上，多臂强盗在网格搜索中通过选择一个合适的批量大小在每个时期的概率定义为它以前的成功/失败的函数，以实现最佳性能。这种可能性鼓励探索不同的批量大小，然后再利用批量大小的成功历史。在每个时期，RMGD从其概率分布中采样批量大小，然后使用所选择的批量大小进行小批量梯度下降。在获得每个时期的验证损失后，更新概率分布以包含采样批量的有效性。RMGD本质上帮助学习过程探索批量大小的可能域并利用成功的批量大小。实验结果表明，RMGD实现的性能优于最佳性能的单批大小。此外，很明显，它在比网格搜索更短的时间内达到了这一性能。令人惊讶的是，RMGD实现了比网格搜索更好的性能。
2018-02-27 cs.LG stat.ML
On Markov Chain Gradient Descent
随机梯度法是机器学习、信号处理和其他计算科学和工程中大规模最优化问题的主力（算法）。本文研究了随机梯度下降的一种变体--马尔可夫链梯度下降，其中随机样本是在马尔可夫链的轨迹上采集的。现有的方法假设目标是凸的，且假设是可逆的马尔可夫链，因此有其局限性。我们建立了新的非遍历收敛下更广泛的步长，非凸问题，和不可逆的有限状态马尔可夫链。非凸性使我们的方法适用于更广泛的问题类。另一方面，不可逆有限状态马尔可夫链可以更快地混合。为了得到这些结果，我们引入了一种新的技术，不同的混合水平的马尔可夫链。数值结果验证了我们的贡献。
2018-09-12 math.OC stat.ML
Online Bootstrap Inference with Nonconvex Stochastic Gradient Descent Estimator
针对含多个局部最小值的一般非凸目标，提出两种结合 SGD 与乘子 bootstrap 的在线统计推断方法，并证明置信区间渐近有效。
2023-06-03 math.ST stat.ME stat.ML
On Constructing Confidence Region for Model Parameters in Stochastic Gradient Descent via Batch Means
Northwestern University（西北大学）；Columbia Business School（哥伦比亚商学院）
在本文中，我们研究了一个简单的算法来构建渐近有效的置信区域的模型参数使用批均值方法。其主要思想是消除难以估计/估计成本高的协方差阵。在算法开发过程中，我们建立了基于Polyak-Ruppert平均的随机梯度下降估计的过程级泛函中心极限定理。我们还扩展了批平均值方法，以适应更一般的批量规格。
2020-01-31 cs.LG math.ST stat.ML
On the diffusion approximation of nonconvex stochastic gradient descent
Missouri University of Science and Technology（密苏里科技大学）；Princeton University（普林斯顿大学）；Duke University（杜克大学）
从逼近扩散过程的角度研究了非凸优化问题的随机梯度下降（SGD）方法。我们严格证明了扩散过程可以用概率演化主方程的弱形式弱逼近SGD算法。在小步长范围和存在全向噪声的情况下，我们的弱近似扩散过程表明从局部最小值开始的SGD迭代的以下动态（分别为~鞍点）：它在多次迭代中以指数方式逃逸（分别为~几乎线性地）依赖于逆步长。结果是使用动力系统的随机扰动理论（局部极小值的大偏差理论和不稳定驻点的退出理论）得到的。此外，我们讨论了批量大小对深度神经网络的影响，我们发现小批量有助于SGD算法逃避不稳定的稳定点和尖锐的极小点。我们的理论表明，应该增加批量大小在后期的SGD被困在平坦极小更好的推广。
2018-03-03 cs.LG stat.ML
The Complexity of Finding Stationary Points with Stochastic Gradient Descent
Google Research（谷歌研究院）；Weizmann Institute of Science（魏茨曼科学研究所）
本文研究了随机梯度下降（SGD）最小化光滑的、可能非凸函数的梯度范数的迭代复杂性。我们提供了几个结果，这意味着$\mathcal{O}(ε^{-4})$上限的Ghadimi和Lan~ \cite{ghadimi2013stochastic}（使平均梯度范数小于$ε$）不能得到改善，除非作出额外的假设的组合。值得注意的是，即使我们将自己限制为凸二次函数，这也成立。我们还表明，对于非凸函数，最小化梯度与SGD的可行性是令人惊讶的最优性准则的选择敏感。
2021-07-29 cs.LG math.OC stat.ML
Cost-Sensitive Approach to Batch Size Adaptation for Gradient Descent
INRIA Lille（法国国家信息与自动化研究所里尔中心）；Politecnico di Milano（米兰理工大学）
在本文中，我们提出了一种新的方法来自动确定批量大小的随机梯度下降方法。批量大小的选择导致梯度估计的准确性和每次更新的样本成本之间的权衡。我们建议通过优化下限到预期改进的线性或二次泰勒近似和用于估计梯度的样本数之间的比率来确定批量大小。所提出的方法的性能进行了实证比较与流行的分类任务的相关方法。这项工作是在NIPS研讨会上提出的优化优化。2016年，西班牙巴塞罗那。
2017-12-09 cs.LG stat.ML
Stochastic Gradient Descent Ascent is Suboptimal for Nonconvex-PŁ Min-Max Games
本研究证明在非凸-PL 极小极大博弈中，随机梯度下降上升法（SGDA）的复杂度下界与现有上界匹配，且在小时间尺度比例下可能失败，凸显其局限性并支持替代方法。
2026-10-14 cs.GT cs.LG stat.ML
Stochastic Normalized Gradient Descent with Momentum for Large-Batch Training
Nanjing University（南京大学）
针对大批次SGD训练泛化精度下降的问题，提出带动量的随机归一化梯度下降方法SNGM，理论上可在相同梯度计算量下用更大批次收敛，实验中同批次规模下测试精度优于MSGD等主流方法。
2024-04-15 cs.LG stat.ML
Towards Theoretical Understanding of Large Batch Training in Stochastic Gradient Descent
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
随机梯度下降（SGD）几乎普遍用于训练非凸优化任务。最近，Keskar et al. [2017]提出的一个假设，即大批量方法倾向于收敛到尖锐的极小值，这一假设受到了越来越多的关注。我们从理论上证明了这一假设，通过提供新的性质的SGD在有限时间和渐近制度。特别是，我们给出了一个明确的逃逸时间SGD从局部最小值在有限时间制度，并证明SGD往往收敛到平坦的最小值在渐近制度（虽然可能需要指数时间收敛），无论批量大小。我们还发现，具有较大的学习率与批量大小的比率的SGD倾向于更快地收敛到平坦的最小值，然而，其泛化性能可能比具有较小的学习率与批量大小的比率的SGD差。我们包括数值实验来证实这些理论研究结果。
2018-12-03 cs.LG stat.ML
Accelerating Minibatch Stochastic Gradient Descent using Typicality Sampling
Tsinghua University（清华大学）；Chinese Academy of Sciences（中国科学院）
机器学习，特别是深度神经网络，在计算机视觉、语音识别和强化学习等领域得到了快速发展。虽然Mini-batch SGD是训练深度网络中最流行的随机优化方法之一，但由于梯度近似中的大噪声，它显示出缓慢的收敛速度。在本文中，我们试图通过建立更有效的基于典型性抽样的批量选择方法来解决这个问题，该方法减小了传统Minibatch SGD中梯度估计的误差。我们分析了典型的批处理SGD算法的收敛速度，并比较了Minibatch SGD和该算法的收敛性能。实验结果表明，我们的批量选择方案效果良好，更复杂的Minibatch SGD变体可以受益于所提出的批量选择策略。
2019-03-11 cs.LG math.OC stat.ML
On the Utility of Equal Batch Sizes for Inference in Stochastic Gradient Descent
针对随机梯度下降推断难题，提出等批量大小策略，实现一致估计与偏差校正，并给出边际友好的置信区间，提升预测性能。
2025-03-26 stat.CO stat.ME
Tackling benign nonconvexity with smoothing and stochastic gradients
University of California, San Diego（加州大学圣地亚哥分校）；CISPA Helmholz Center for Information Security（CISPA亥姆霍兹信息安全中心）
非凸优化问题在机器学习中普遍存在，特别是在深度学习中。虽然这种复杂的问题往往可以成功地优化在实践中使用随机梯度下降（SGD），理论分析不能充分解释这种成功。特别是，标准分析没有显示SGD在非凸函数上的全局收敛性，而是显示收敛到稳定点（也可以是局部极小值或鞍点）。我们确定了广泛的一类非凸函数，我们可以表明，扰动SGD（梯度下降扰动随机噪声-覆盖SGD作为一种特殊情况）收敛到一个全局最小值（或其附近），相比之下，梯度下降没有噪声，可以卡在远离全局解的局部最小值。例如，在非凸函数是相对接近凸状（强凸或PL）的功能，我们表明，SGD可以线性收敛到全局最优。
2022-02-18 cs.LG stat.ML
Select without Fear: Almost All Mini-Batch Schedules Generalize Optimally
本文为 mini-batch GD 训练建立了匹配的泛化误差上下界，证明任意非自适应批次选择规则下 SGD 经典上界依然成立，表明所有 mini-batch 时间表都能最优泛化。
2023-10-23 cs.LG stat.ML
Optimal Mini-Batch Size Selection for Fast Gradient Descent
IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Amazon Alexa（亚马逊Alexa）；Morgan Stanley（摩根士丹利）；Rice University（莱斯大学）
本文提出了一种方法来选择小批量的大小，最大限度地减少随机梯度下降（SGD）的学习时间为单个和多个学习者的问题。通过从硬件和软件实现细节解耦算法分析问题，我们揭示了小批量大小和收敛到指定错误阈值所需的SGD更新的平均数量之间的鲁棒经验逆律。结合这一经验逆定律与测量的系统性能，我们创建了一个准确的，封闭形式的平均训练时间模型，并展示了如何使用该模型来识别机器学习的算法和硬件方面的量化影响。我们在图像识别（MNIST，CIFAR10和CIFAR100）和机器翻译（Europarl）任务上经验性地证明了逆规律，并通过证明小批量SGD训练的新界限提供了理论依据。
2019-11-15 cs.DC cs.LG stat.ML
Beyond Lipschitz: Sharp Generalization and Excess Risk Bounds for Full-Batch GD
我们提供了清晰的路径依赖的泛化和超额风险保证的全批梯度下降（GD）算法的平滑损失（可能非Lipschitz，可能非凸）。在我们的分析的核心是上界的泛化误差，这意味着平均输出稳定性和有界的预期优化误差终止导致泛化。这一结果表明，沿优化路径发生小的泛化误差，并允许我们绕过Lipschitz或亚高斯假设的损失普遍在以前的作品。对于非凸的，凸的，强凸的损失，我们表现出显式依赖的泛化误差的累积路径相关的优化误差，终端优化误差，样本数，迭代次数。对于非凸光滑损失，我们证明了全批GD有效地推广到任何稳定点的终止，并恢复了随机算法的泛化误差保证较少的假设。对于光滑凸损失，我们证明了泛化误差比SGD的现有界更紧（高达一个误差量级）。因此，超额风险匹配SGD的二次方更少的迭代。最后，对于强凸平滑损失，我们表明，与SGD的最新技术相比，全批GD实现了基本相同的超额风险率，但迭代次数呈指数级减少（数据集大小为对数）。
2023-02-09 cs.LG stat.ML
On the Generalization Benefit of Noise in Stochastic Gradient Descent
DeepMind
长期以来，人们一直认为，在深度神经网络中，小批量随机梯度下降比大批量梯度下降更能泛化。然而，最近的论文对这一说法提出了质疑，认为这种效果只是次优超参数调整或批量大小较大时计算预算不足的结果。在本文中，我们对一系列流行的模型进行了精心设计的实验和严格的超参数扫描，这些模型验证了小批量或中等批量的批量在测试集上的表现可以大大超过非常大的批量。即使两个模型都经过相同次数的迭代训练，并且大批量实现较小的训练损失，也会发生这种情况。我们的研究结果证实了随机梯度中的噪声可以增强泛化能力。我们研究了如何最佳的学习率调度的时间预算的增长而变化，我们提供了一个理论帐户，我们的观察的基础上随机微分方程的角度SGD动态。
2020-06-26 cs.LG stat.ML
mS2GD: Mini-Batch Semi-Stochastic Gradient Descent in the Proximal Setting
University of Edinburgh（爱丁堡大学）；Lehigh University（理海大学）
针对半随机梯度下降算法求解由大量光滑凸函数和简单非光滑凸函数的平均值之和表示的强凸复合函数极小化问题的理论复杂度和实际性能，提出了一种mini-decomposition算法.我们的方法首先执行一个确定性步骤（计算目标函数在起点处的梯度），然后执行大量的随机步骤。这个过程重复几次，最后一个点成为新的起点。我们的方法的新颖之处在于将最小步长引入到随机步长的计算中。在每一步中，我们不是选择一个函数，而是对$b$函数进行采样，计算它们的梯度，并在此基础上计算方向。我们分析了该方法的复杂性，并表明该方法受益于两个加速效果。首先，我们证明，只要$b$是低于一定的阈值，我们可以达到预定义的准确性与较少的整体工作比没有迷你。第二，我们的迷你并行计划承认一个简单的并行实现，因此是适合进一步加速并行化。
2014-10-17 cs.LG stat.ML
Mini-Batch Semi-Stochastic Gradient Descent in the Proximal Setting
University of Edinburgh（爱丁堡大学）；Lehigh University（利哈伊大学）
我们提出mS2GD：提出了一种改进半随机梯度下降（S2GD）算法的理论复杂度和实际性能的方法。我们考虑最小化一个强凸函数的问题，该函数表示为大量光滑凸函数的平均值和一个简单的非光滑凸正则化子。我们的方法首先执行一个确定性步骤（计算目标函数在起点处的梯度），然后执行大量的随机步骤。这个过程重复几次，最后一个点成为新的起点。我们的方法的新颖之处在于将最小步长引入到随机步长的计算中。在每一步中，我们不是选择一个函数，而是对$b$函数进行采样，计算它们的梯度，并在此基础上计算方向。我们分析了该方法的复杂性，并表明它受益于两个加速效果。首先，我们证明，只要$b$是低于一定的阈值，我们可以达到任何预定义的精度与更少的整体工作比没有迷你的。第二，我们的迷你并行计划承认一个简单的并行实现，因此是适合进一步加速并行化。
2015-11-16 cs.LG stat.ML
An Empirical Study of Large-Batch Stochastic Gradient Descent with Structured Covariance Noise
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Borealis AI（北极光人工智能）
在随机优化算法中，批量大小的选择对优化和推广起着重要的作用。增加所使用的批大小通常会提高优化效果，但会降低泛化能力。为了解决在大批量训练中保持最佳收敛的同时提高泛化能力的问题，我们建议向梯度中添加协方差噪声。我们证明，我们的方法的学习性能更准确地捕获的噪声的协方差矩阵的结构，而不是梯度的方差。此外，在凸二次型上，我们从理论上证明了它可以用噪声矩阵的Frobenius范数来刻画。我们对标准深度学习模型架构和数据集的实证研究表明，我们的方法不仅提高了大批量训练中的泛化性能，而且还以优化性能保持理想且训练持续时间不延长的方式实现了这一点。
2020-02-28 cs.LG stat.ML
On the Computational Inefficiency of Large Batch Sizes for Stochastic Gradient Descent
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
增加随机梯度下降的小批量大小提供了减少挂钟训练时间的重要机会，但存在各种理论和系统挑战，阻碍了该技术的广泛成功。我们调查这些问题，重点是收敛时间和总计算成本，通过广泛的实证分析网络训练的几个架构和问题领域，包括图像分类，图像分割和语言建模。虽然增加批量大小以充分利用可用的计算资源是常见的做法，但我们发现了一个更加微妙的画面。我们的主要发现是，在广泛的网络架构和问题域，增加批量大小超过一定的点产生没有减少时钟时间\emph{either}训练或测试损失收敛。该批量通常大大低于当前系统的容量。我们发现，在我们能够填充所有可用的计算资源之前，大批量优化的流行训练策略就开始失败，并且我们表明，这些方法的崩溃点更多地取决于模型架构和数据复杂性等属性，而不是直接取决于数据集的大小。
2018-11-30 cs.DC cs.LG stat.ML
Tuple-oriented Compression for Large-scale Mini-batch Stochastic Gradient Descent
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Google（谷歌）
数据压缩是一种流行的技术，用于提高数据处理工作负载的效率，例如SQL查询和最近的机器学习（ML）与经典的批量梯度方法。但是这些想法对于小批量随机梯度下降（MGD）的有效性，可以说是现代ML的主力算法，是一个悬而未决的问题。MGD独特的数据访问模式使得现有技术（包括为批量梯度方法设计的那些）不太有效。我们填补了这一关键的研究空白，提出了一个新的无损压缩计划，我们称之为面向元组的压缩（TOC），这是一个不太可能的来源，字符串/文本压缩方案Lempel-Ziv-Welch的启发，但量身定制的MGD的方式，保留小批量的元组边界。然后，我们提出了一套新的压缩矩阵运算执行技术，专门针对TOC压缩方案，直接在压缩数据表示，避免解压开销。对真实世界数据集的广泛实证评估表明，TOC始终实现高达51倍的压缩比，并在流行的ML系统中将MGD工作负载的运行时间减少了10.2倍。
2019-01-20 cs.DB cs.LG stat.ML
Iteration and Stochastic First-order Oracle Complexities of Stochastic Gradient Descent using Constant and Decaying Learning Rates
Meiji University（明治大学）
本文研究深度学习非凸优化中批量大小对SGD迭代复杂度和随机一阶预言机复杂度的影响，证明使用临界批量大小可最小化SFO复杂度，并通过数值实验验证了理论估计的准确性。
2024-02-23 cs.LG stat.ML
Theoretical Analysis of Auto Rate-Tuning by Batch Normalization
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）；Tsinghus University（清华大学）
批量归一化（BN）已成为跨不同架构的深度学习的基石，似乎有助于优化和泛化。虽然这一想法具有直观的意义，但缺乏对其有效性的理论分析。这里提供了理论支持，它的一个固定的属性，即，能够让梯度下降成功的学习率较少的调整。结果表明，即使我们固定尺度不变参数的学习率（例如，具有BN的每一层的权重）到常数（例如，$0.3$），梯度下降仍然接近稳定点（即，梯度为零的解决方案）在$T$迭代中的$T^{-1/2}$的速率中，渐进地匹配梯度下降的最佳界限与良好调整的学习率。对于随机梯度下降，也给出了收敛速度为$T^{-1/4}$的类似结果。
2018-12-10 cs.LG stat.ML
Parallelizing Stochastic Gradient Descent for Least Squares Regression: mini-batching, averaging, and model misspecification
Microsoft Research（微软研究院）；University of Washington（华盛顿大学）；Stanford University（斯坦福大学）
这项工作的特点的好处，广泛使用的平均计划与随机梯度下降（SGD）。特别是，这项工作提供了一个尖锐的分析：（1）mini-squares，平均随机梯度的许多样本，以减少随机梯度估计的方差和并行SGD和（2）尾平均，涉及平均SGD的最后几次迭代，以减少SGD的最终squares的方差的方法。这项工作提出了非渐近的超额风险界，这些计划的随机逼近问题的最小二乘回归。此外，这项工作建立了一个精确的问题依赖的程度，小批量SGD产生可证明的近线性并行化加速比SGD与批量大小1。这允许理解SGD方法的最终迭代的学习率与批量大小的权衡。这些结果，然后利用在提供一个高度并行化的SGD方法，获得极小极大风险与几乎相同数量的串行更新批量梯度下降，显着改善现有的SGD方法。然后提供了一个非渐近分析的通信有效的并行化方案，如模型平均/参数混合方法。最后，这项工作揭示了SGD的行为在处理（不可实现的）最小二乘回归问题中的不可知噪声时的一些根本差异。特别是，工作表明，确保极小极大风险的不可知的情况下的步长必须是一个函数的噪声属性。本文基于Defossez和Bach（2015）介绍的分析SGD方法的操作员视图，然后开发了一种新的分析方法来界定这些操作员以表征超额风险。这些技术在分析随机逼近的计算方面具有更广泛的意义。
2018-07-31 cs.DS cs.LG stat.ML
The Effect of Network Width on Stochastic Gradient Descent and Generalization: an Empirical Study
Google Brain（谷歌大脑）；DeepMind（深度思维）
我们研究了如何通过随机梯度下降找到的最终参数受到过参数化的影响。我们通过增加基础网络中的通道数量来生成模型族，然后执行大型超参数搜索以研究测试误差如何取决于学习率、批量大小和网络宽度。我们发现，最佳SGD超参数是由“归一化噪声尺度”，这是一个函数的批量大小，学习率，和初始化条件。在没有批量归一化的情况下，最佳归一化噪声尺度与宽度成正比。更宽的网络，具有更高的最佳噪声尺度，也可以实现更高的测试精度。这些观察结果适用于MLP，ConvNets和ResNets，以及两种不同的参数化方案（“标准”和“NTK”）。我们观察到ResNets的批量归一化也有类似的趋势。令人惊讶的是，由于最大稳定学习率是有界的，与最佳归一化噪声尺度一致的最大批量大小随着宽度的增加而减小。
2019-05-09 cs.AI cs.CV cs.LG
Nonconvex proximal splitting: batch and incremental algorithms
在unmanagerable大类的非凸优化，我们认为丰富的子类的非光滑问题，有复合目标-这已经包括广泛研究的凸，复合目标问题作为一个特例。对于这个子类，我们引入了一个强大的，新的框架，允许渐近非零扰动。特别是，我们开发了基于扰动的批处理和增量（在线）非凸邻近分裂算法。据我们所知，这是第一次，这样的扰动为基础的非凸分裂算法被提出和分析。虽然本文的主要贡献是理论框架，我们补充我们的研究结果，提出了一些实证结果矩阵分解。
2012-09-17 math.OC stat.ML
Mini-Batch Stochastic ADMMs for Nonconvex Nonsmooth Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
随着复杂数据的大量增加，非凸损失函数、非凸正则化子等非凸模型在机器学习和模式识别中得到了广泛的应用。本文提出了一类求解大规模非凸非光滑问题的小批量随机ADMM（乘子的交替方向法）。我们证明了，给定一个适当的小批量大小，小批量随机ADMM无方差减少（VR）技术是收敛的，并达到$O(1/T)$的收敛速度，以获得一个非凸优化的稳定点，其中$T$表示的迭代次数。此外，我们还将小批量随机梯度法推广到我们的第一篇论文\cite{huang2016stochastic}中提出的非凸SVRG-ADMM和SAGA-ADMM，并证明了这两种小批量随机ADMM在没有小批量条件下也达到了$O(1/T)$的收敛速度.特别地，我们提供了一个具体的参数选择的步长$η$的随机梯度和罚参数$ρ$的增广拉格朗日函数。最后，大量的仿真和真实数据的实验结果证明了所提出的算法的有效性。
2019-06-24 cs.LG math.OC stat.ML
The Number of Steps Needed for Nonconvex Optimization of a Deep Learning Optimizer is a Rational Function of Batch Size
Meiji University（明治大学）
最近，针对非凸优化的深度学习优化器的收敛性和收敛速度分析得到了广泛的研究。与此同时，优化器的数值评估精确地阐明了批量大小与训练深度神经网络所需步骤数之间的关系。本文的主要贡献是从理论上表明，每个优化器的非凸优化所需的步骤数可以表示为批量大小的有理函数。拥有这些有理函数会导致两个特别重要的事实，这在以前的研究中得到了数值验证。第一个事实是，存在一个最佳的批量大小，使得非凸优化所需的步骤数最小化。这意味着使用比最优批量更大的批量不会减少非凸优化所需的步骤数。第二个事实是最佳批处理大小取决于优化器。特别是，它从理论上表明，动量和亚当型优化器可以利用更大的最优批次，并进一步减少非凸优化所需的最小步骤数比随机梯度下降优化。
2021-08-26 cs.LG math.OC
Stochastic ADMM with batch size adaptation for nonconvex nonsmooth optimization
College of Science, National University of Defense Technology（国防科技大学理学院）
本文提出了一种自适应批量大小的SADMM方法，通过动态调整批量大小来解决非凸非光滑优化中的方差降低与计算成本之间的权衡，并验证了其有效性。
2025-09-06 math.OC
Projective Proximal Gradient Descent for A Class of Nonconvex Nonsmooth Optimization Problems: Fast Convergence Without Kurdyka-Lojasiewicz (KL) Property
针对非凸非光滑优化问题，本文提出投影近端梯度下降法（PPGD），在不依赖 Kurdyka-Łojasiewicz (KŁ) 性质的条件下，证明了其能实现局部 $\cO(1/k^2)$ 的快速收敛率，并通过实验验证了方法的有效性。
2024-09-25 math.OC stat.ML
An accelerated first-order regularized momentum descent ascent algorithm for stochastic nonconvex-concave minimax problems
Shanghai University（上海大学）；College of Sciences（理学院）；Newtouch Center for Mathematics of Shanghai University（上海大学新接触数学中心）
针对随机非凸-凹极小极大问题，提出加速一阶正则化动量下降上升算法（FORMDA），其迭代复杂度达$\tilde{\mathcal{O}}(\varepsilon ^{-6.5})$，实现了单循环算法的已知最优复杂度界限。
2024-10-15 cs.LG math.OC stat.ML
Nonconvex optimization and convergence of stochastic gradient descent, and solution of asynchronous game
本文回顾了凸与非凸优化中随机梯度下降的收敛性与行为，建立了梯度方差收敛至零的条件，并通过示例展示了迭代下概率密度的近似演化及其在经典双人及异步多人博弈中的应用。
2025-03-05 math.OC
Asynchronous Delay-Aware Accelerated Proximal Coordinate Descent for Nonconvex Nonsmooth Problems
University of Central Florida（中佛罗里达大学）
非凸和非光滑问题最近在机器学习中引起了相当大的关注。然而，对于非凸和非光滑最优化问题，在保证一定性能的前提下，开发有效的方法仍然是一个挑战。近点坐标下降法（PCD）已被广泛应用于求解最优化问题，但对非凸环境下的PCD方法的认识非常有限。另一方面，异步最近坐标下降（APCD）最近受到了广泛的关注，以解决大规模的问题。然而，APCD算法的加速变体很少被研究。在本文中，我们扩展APCD方法的加速算法（AAPCD）的非光滑和非凸的问题，满足充分下降的性质，通过比较在最近的更新和线性外推点使用延迟感知动量值的函数值。据我们所知，我们是第一个提供随机和确定性加速扩展APCD算法一般非凸和非光滑问题，确保有界延迟和无界延迟的每一个极限点是一个临界点。利用Kurdyka-Lojasiewicz性质，我们将证明线性和次线性收敛速度的确定性AAPCD与有界延迟。数值结果表明，我们的算法在速度上的实际效率。
2019-02-05 cs.DC cs.LG math.OC
Alternating minimization and alternating descent over nonconvex sets
我们分析了交替最小化的性能损失函数优化两个变量，其中每个变量可能被限制在一些潜在的非凸约束集。这种类型的设置在高维统计和信号处理中自然出现，其中变量通常反映所考虑的信号中的不同结构或成分。我们的分析依赖于当地的cross-coefficients的概念，这已经提出了在Barber和Ha测量和量化的一般非凸集的cross-coefficients。我们的研究结果进一步揭示了交替和非交替方法之间的重要区别。由于计算交替的最小化步骤可能不容易处理的一些问题，我们还考虑了一个不精确的版本的算法，并提供了一组充分条件，以确保快速收敛的不精确算法。我们展示了我们的框架上的几个例子，包括低秩+稀疏分解和多任务回归，并提供数值实验来验证我们的理论结果。
2019-02-25 math.OC stat.ML
Escaping Saddle Points for Zeroth-order Nonconvex Optimization using Estimated Gradient Descent
Purdue University（普渡大学）
梯度下降及其变体广泛用于机器学习。然而，在许多应用中，梯度的oracle访问可能不可用，限制了梯度下降的直接使用。针对一般的非凸优化问题，提出了一种估计梯度的梯度下降算法，该算法收敛于一个稳定点。除了一阶平稳特性之外，二阶平稳特性在机器学习应用中对于实现更好的性能也很重要。我们表明，建议的无模型非凸优化算法返回一个$ε$ -二阶驻点与$\widetilde{O}(\frac{d^{2+\fracθ{2}}}{ε^{8+θ}})$查询的功能，任何任意$θ>0$。
2019-10-03 cs.LG math.OC stat.ML
Relationship between Batch Size and Number of Steps Needed for Nonconvex Optimization of Stochastic Gradient Descent using Armijo Line Search
Meiji University（明治大学）
本文对采用Armijo线搜索的SGD非凸优化进行收敛分析，证明所需步数随批量增大单调递减，SFO复杂度存在最优临界批量，并通过数值实验验证了理论结论。
2024-02-01 cs.LG math.OC
Efficient random coordinate descent algorithms for large-scale structured nonconvex optimization
本文分析了几种求解非凸最优化问题的新方法，其中目标函数由两项之和构成：一项是非凸且光滑，另一项是凸但简单且结构已知。此外，我们考虑这两种情况：无约束和线性约束的非凸问题。对于上述结构的最优化问题，我们提出了随机坐标下降算法，并分析了它们的收敛性。在一般情况下，当目标函数为非凸复合函数时，我们证明了算法产生的序列对稳定点的渐近收敛，并证明了在某种最优性测度下的次线性收敛速率.此外，如果目标函数满足误差界条件，我们推导出局部线性收敛速率的期望值的目标函数。我们还提出了广泛的数值实验，以评估我们的算法的性能相比，国家的最先进的方法。
2014-06-24 math.OC
Linear Convergence of Variable Bregman Stochastic Coordinate Descent Method for Nonsmooth Nonconvex Optimization by Level-set Variational Analysis
大规模非凸和非光滑问题在压缩感知、大数据优化和机器学习等领域引起了广泛的关注。探索有效的方法仍然是当今研究的主要挑战。随机坐标下降法已被广泛应用于求解大规模最优化问题。本文证明了变Bregman随机坐标下降法（VBSCD）对一类非光滑非凸最优化问题的收敛性，由VBSCD生成的序列的任何累加几乎肯定是临界点。此外，我们开发了一个新的水平集上的变分方法，旨在对收敛速度分析。如果水平集次微分误差界成立，我们推导出一个线性的收敛速率的期望值的目标函数和期望值的随机变量的VBSCD。
2019-05-27 math.OC
Gradient descent with nonconvex constraints: local concavity determines convergence
高维统计和优化中的许多问题涉及非凸约束的最小化，例如，矩阵估计问题的秩约束，但对一般非凸约束集的这种最优化问题的理论性质知之甚少。本文研究了约束集的几何性质与极小化问题的梯度下降法的收敛性之间的相互作用。我们开发的概念，局部的约束集，测量凸性被违反的程度，这支配的行为投影梯度下降在这个集合。我们证明了这些的通用性，通过计算低秩估计，稀疏估计，和其他例子中的一系列问题，他们的系数。通过我们对这些几何性质在优化中的作用的理解，我们然后提供了一个收敛性分析时，投影计算只有近似，导致一个更有效的方法投影梯度下降在低秩估计问题。
2017-10-19 math.OC
On the Convergence Rate of Stochastic Mirror Descent for Nonsmooth Nonconvex Optimization
本文研究了非凸优化问题的随机镜像下降（SMD）算法的非渐近平稳收敛性。我们专注于一般类的非凸非光滑随机最优化问题，其中的目标可以分解成一个相对弱的凸函数（可能非Lipschitz）和一个简单的非光滑凸正则化。我们证明了SMD，不使用mini-batch，是保证收敛到一个平稳点的收敛速度的$ \mathcal{O}(1/\sqrt{t}) $。效率估计与现有的随机次梯度方法的结果相匹配，但评估下一个更强的平稳性措施。我们的收敛性分析适用于原来的SMD和它的近端版本，以及确定性的变种，解决相对弱凸问题。
2018-06-12 math.OC
Accelerated Almost-Sure Convergence Rates for Nonconvex Stochastic Gradient Descent using Stochastic Learning Rates
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Nevada（内华达大学）
大规模的最优化问题要求算法既有效又高效。一个这样的流行和证明算法是随机梯度下降，它使用一阶梯度信息来解决这些问题。本文研究了随机梯度下降法的学习率由确定性变为随机时的几乎必然收敛率。特别是，它的学习率配备了乘法随机性，产生一个随机学习率计划。理论结果表明，加速几乎必然收敛率的随机梯度下降在一个非凸设置时，使用适当的随机学习率相比，确定性的学习率计划。理论结果得到了经验验证。
2021-11-09 cs.LG math.OC
Efficiency of Coordinate Descent Methods For Structured Nonconvex Optimization
Shanghai University of Finance and Economics（上海财经大学）
提出了一种新的坐标下降（CD）方法来最小化由三项组成的非凸函数：（i）连续可微项，（ii）简单凸项，（iii）凹连续项.首先，通过扩展随机CD到非光滑非凸设置，我们开发了一个坐标次梯度方法，通过使用块复合次梯度映射随机更新块坐标变量。该方法在一定的最优性测度下，以证明的次线性收敛速度渐近收敛到临界点。其次，我们开发了一个随机置换CD方法，它有两个交替的步骤：线性化凹部和循环通过变量。我们证明了渐近收敛到临界点和次线性复杂率的目标光滑和凹的部分。第三，我们扩展加速坐标下降（ACD）的非光滑和非凸优化，开发一种新的随机邻近DC算法，我们解决子问题不精确的ACD。对于每个DC子问题，最多只需要几次ACD迭代就可以保证收敛，并建立了收敛复杂度来确定一些近似的临界点。第四，我们进一步发展了第三种方法来最小化某些病态的非凸函数：具有高Lipschitz常数与负曲率比的弱凸函数。我们表明，在特定的标准下，ACD为基础的随机化方法具有优越的复杂性相比，传统的梯度法。最后，稀疏诱导学习模型的实证研究表明，CD方法优于基于梯度的方法，某些大规模的问题。
2019-09-03 cs.LG math.OC stat.ML
Mini-batch Stochastic Approximation Methods for Nonconvex Stochastic Composite Optimization
考虑一类约束随机组合最优化问题，其目标函数由一个可微（可能非凸）分量和一个不可微（但凸）分量之和给出.为了解决这些问题，我们提出了一种随机随机投影梯度（RSPG）算法，在该算法中，适当的小批量的样本被采取在每次迭代取决于随机样本的总预算允许。RSPG算法还采用通用距离函数以允许利用可行域的几何形状。该算法的复杂性建立在一个统一的设置，这表明凸随机规划的算法的近最优的复杂性。一个后优化阶段也提出了显着减少的方差的解决方案返回的算法。此外，在RSPG算法的基础上，还讨论了一种仅利用随机零阶信息的无随机梯度算法。文中还提供了一些初步的数值结果。
2013-09-05 math.OC
Convergence of Riemannian Stochastic Gradient Descents: Varying Batch Sizes And Nonstandard Batch Forming
The George Washington University（乔治华盛顿大学）
本文研究了黎曼随机梯度下降在迭代过程中概率空间变化时的收敛性，推导了变化批量大小和非标准批量形成方案的收敛结果。
2026-04-17 math.OC
Global minimisation of nonconvex functions by generalising the mirror descent method
本文提出两种算法用于非凸函数的全局最小化，通过泛化镜像下降法并利用抽象Bregman距离实现收敛性证明与数值验证。
2026-01-08 math.OC
Semi-Anchored Multi-Step Gradient Descent Ascent Method for Structured Nonconvex-Nonconcave Composite Minimax Problems
生成对抗网络、对抗训练、公平训练等极大极小问题，在实际中被广泛采用多步梯度下降上升（MGDA）方法来解决。然而，它的收敛保证是有限的。在本文中，受原始-对偶混合梯度法的启发，我们提出了一种新的半锚定（SA）技术的MGDA方法。这使得MGDA方法可以找到结构化非凸-非凹复合Minimax问题的一个不动点，其鞍次微分算子满足弱Minty变分不等式条件.由此产生的方法，命名为SA-MGDA，是建立在Bregman近点法。我们进一步发展其回溯线搜索版本，其非欧版本的平滑适应功能。数值实验，包括公平的分类训练，提供。
2022-06-09 math.OC
