The Complexity of Finding Stationary Points with Stochastic Gradient Descent
Google Research(谷歌研究院);Weizmann Institute of Science(魏茨曼科学研究所)
本文研究了随机梯度下降(SGD)最小化光滑的、可能非凸函数的梯度范数的迭代复杂性。我们提供了几个结果,这意味着$\mathcal{O}(ε^{-4})$上限的Ghadimi和Lan~ \cite{ghadimi2013stochastic}(使平均梯度范数小于$ε$)不能得到改善,除非作出额外的假设的组合。值得注意的是,即使我们将自己限制为凸二次函数,这也成立。我们还表明,对于非凸函数,最小化梯度与SGD的可行性是令人惊讶的最优性准则的选择敏感。
2021-07-29 cs.LG math.OC stat.ML
SSRGD: Simple Stochastic Recursive Gradient Descent for Escaping Saddle Points
Tsinghua University(清华大学)
我们分析了优化非凸问题的随机梯度算法。特别是,我们的目标是找到局部极小值(二阶稳定点),而不仅仅是找到一阶稳定点,这可能是一些坏的不稳定鞍点。我们表明,一个简单的扰动版本的随机递归梯度下降算法(称为SSRGD)可以找到一个$(ε,δ)$ -二阶稳定点与$\widetilde{O}(\sqrt{n}/ε^2 + \sqrt{n}/δ^4 + n/δ^3)$随机梯度复杂的非凸有限和问题。作为一个副产品,SSRGD发现一个$ε$ -一阶平稳点与$O(n+\sqrt{n}/ε^2)$随机梯度。这些结果几乎是最佳的,因为Fang等人[2018]提供了一个下限$Ω(\sqrt{n}/ε^2)$,即使只是找到一个$ε$ -一阶稳定点。我们强调,SSRGD算法寻找二阶稳定点是一样简单的寻找一阶稳定点只是增加一个均匀扰动有时,而所有其他算法寻找二阶稳定点具有类似的梯度复杂性需要结合负曲率搜索子程序(例如,Neon 2 [Allen-Zhu和Li,2018])。此外,简单的SSRGD算法得到了更简单的分析。此外,我们还将所得结果从非凸有限和问题推广到非凸在线(期望)问题,并证明了相应的收敛性结果。
2019-06-20 cs.DS cs.LG math.OC
Escaping Saddle Points for Zeroth-order Nonconvex Optimization using Estimated Gradient Descent
Purdue University(普渡大学)
梯度下降及其变体广泛用于机器学习。然而,在许多应用中,梯度的oracle访问可能不可用,限制了梯度下降的直接使用。针对一般的非凸优化问题,提出了一种估计梯度的梯度下降算法,该算法收敛于一个稳定点。除了一阶平稳特性之外,二阶平稳特性在机器学习应用中对于实现更好的性能也很重要。我们表明,建议的无模型非凸优化算法返回一个$ε$ -二阶驻点与$\widetilde{O}(\frac{d^{2+\fracθ{2}}}{ε^{8+θ}})$查询的功能,任何任意$θ>0$。
2019-10-03 cs.LG math.OC stat.ML
Gradient Descent Algorithm in Hilbert Spaces under Stationary Markov Chains with $ϕ$- and $β$-Mixing
Institute for Mathematical Methods in Medicine(医学数学方法研究所);Johannes Kepler University Linz(约翰· Kepler 线大学)
本文研究了 Hilbert 空间中平稳 Markov 链梯度下降算法,基于 $ϕ$- 和 $β$- 混合系数的指数与多项式衰减推导出算法收敛行为的概率上界。
2025-08-13 cs.LG math.FA stat.ML
Global Optimality Guarantees For Policy Gradient Methods
Columbia University(哥伦比亚大学)
策略梯度方法通过在参数化的策略类上执行随机梯度下降来应用于复杂的、知之甚少的控制问题。不幸的是,即使对于可通过标准动态规划技术解决的简单控制问题,策略梯度算法也面临非凸优化问题,并且被广泛理解为仅收敛到一个稳定点。这项工作确定了结构特性-共享的几个经典的控制问题-确保策略梯度目标函数没有次优的固定点,尽管是非凸的。当这些条件得到加强时,该目标满足Polyak-lojasiewicz(梯度优势)条件,该条件产生收敛速度。我们还提供了边界上的最优间隙的任何固定点时,这些条件放宽。
2022-06-20 cs.LG stat.ML
GradientDICE: Rethinking Generalized Offline Estimation of Stationary Values
University of Oxford(牛津大学);Auburn University(奥本大学)
我们提出了一种用于估计非策略强化学习中目标策略的状态分布与采样分布之间的密度比的方法-DICE。GenDICE解决了GenDICE的几个问题(Zhang等人,2020年),国家的最先进的估计这样的密度比。也就是说,GenDICE中的优化问题不是凹凸鞍点问题,一旦在优化变量参数化中引入非线性以确保正性,则任何原始-对偶算法都不能保证收敛或找到期望的解。然而,这种非线性是必不可少的,以确保一致性的GenDICE,即使与表格表示。这是一个根本的矛盾,从GenDICE的原始配方的优化问题。在ConcurentDICE中,我们通过使用Perron-Frobenius定理和消除GenDICE使用发散来优化与GenDICE不同的目标。因此,参数化中的非线性对于DICE是不必要的,它在线性函数近似下是可证明收敛的。
2020-11-26 cs.LG stat.ML
On the Sublinear Convergence of Randomly Perturbed Alternating Gradient Descent to Second Order Stationary Solutions
交替梯度下降算法是一种简单而流行的算法,它已被应用于优化,机器学习,数据挖掘和信号处理等问题。该算法以交替的方式更新两个变量块,其中一个块上采取梯度步骤,而保持其余块固定。当目标函数为非凸时,AGD以全局次线性速度收敛于一阶平稳解。在本文中,我们表明,AGD型算法的一个变种将不会被困的“坏”固定的解决方案,如鞍点和局部极大值点。特别地,我们考虑了一个光滑无约束最优化问题,并提出了一个扰动AGD(PA-GD),它以全局次线性速率(以高概率)收敛到二阶平稳解(SS 2)。据我们所知,这是第一个交替型算法,它需要$\mathcal{O}(\text{polylog}(d)/ε^{7/3})$迭代以高概率实现SS 2 [其中polylog $(d)$是问题的维数$d$的对数的多项式]。
2018-02-28 cs.IT math.IT math.OC
On Stationary-Point Hitting Time and Ergodicity of Stochastic Gradient Langevin Dynamics
New York University(纽约大学);Institute for Advanced Study(高等研究院);National University of Singapore(新加坡国立大学)
随机梯度朗之万动力学(SGLD)是随机最优化中的一个基本算法。Zhang等人最近的工作。[2017]提出了一阶和二阶平稳点的SGLD命中时间的分析。Zhang et al. [2017]中的证明是一个通过界定Cheeger常数的两阶段过程,这是相当复杂的,并导致松散的界限。本文利用随机微分方程的直觉,直接分析了SGLD到达一阶和二阶平稳点的击中时间。我们的分析很简单。它只依赖于基本的线性代数和概率论工具。与Zhang等人[2017]相比,我们的直接分析也导致了更严格的界限,并显示了命中时间对不同因素的显式依赖性,包括维数,平滑度,噪声强度和步长效应。在适当的条件下,我们证明了SGLD到一阶稳定点的击中时间可以是维数无关的。此外,我们应用我们的分析研究机器学习中的几个重要的在线估计问题,包括线性回归,矩阵分解,和在线PCA。
2020-03-15 cs.LG stat.ML
Multi-objective Neural Architecture Search via Non-stationary Policy Gradient
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
多目标神经架构搜索(NAS)旨在发现存在多个冲突目标的新架构。尽管最近取得了进展,但准确有效地近似完整帕累托前沿的问题仍然具有挑战性。在这项工作中,我们探讨了新的强化学习(RL)的非平稳策略梯度(NPG)的基础上的范例。NPG利用一个非平稳的奖励函数,并鼓励不断适应的政策,以有效地捕捉整个帕累托前沿。我们引入了两个新的奖励函数的元素从标量化和进化的主导范式。为了处理非平稳性,我们提出了一个新的探索计划,使用余弦温度衰减与热重启。为了快速准确的架构评估,我们引入了一个新的预训练共享模型,我们在整个训练过程中不断进行微调。我们对各种数据集的广泛实验研究表明,我们的框架可以快速近似完整的Pareto前沿。此外,与其他多目标NAS方法和类似网络规模的其他单目标NAS方法相比,我们发现的细胞可以实现最高的预测性能。我们的工作证明了NPG作为一个简单,高效,有效的多目标NAS范例的潜力。
2020-01-31 cs.LG stat.ML
Continuous-time stochastic gradient descent for optimizing over the stationary distribution of stochastic differential equations
University of Oxford(牛津大学)
该研究提出一种面向SDE模型平稳分布优化的连续时间随机梯度下降方法,证明了线性SDE下的收敛性,给出非线性算例结果,可应用于金融校准、高维最优控制等场景。
2023-08-26 cs.LG q-fin.MF stat.ML
Game Theoretic Optimization via Gradient-based Nikaido-Isoda Function
Mitsubishi Electric Research Labs (MERL)(三菱电机研究实验室(MERL))
由于生成对抗网络的最新进展,多人博弈的纳什均衡(NE)计算再次引起人们的兴趣。然而,有效地计算平衡是具有挑战性的。为此,我们引入了基于一致性的Nikaido-Isoda(GNI)函数,该函数:(i)作为一个价值函数,仅在每个玩家的优化问题的一阶稳定点处消失,以及(ii)提供固定纳什点的误差界。梯度下降被证明是次线性收敛到GNI函数的一阶稳定点。对于双线性极大极小博弈和多人二次博弈的特殊情况,GNI函数是凸的。因此,在这种情况下应用梯度下降产生线性收敛到NE(当存在NE时)。在我们的数值实验中,我们观察到GNI公式总是收敛到每个玩家的优化问题的一阶稳定点。
2019-05-15 cs.CV cs.LG math.OC
Unbiased Derivative Estimation for Stationary Mean of Parameterized Markov chains
提出一种针对参数化马尔可夫链平稳均值梯度的无偏估计方法,在慢混合率下高效,无需密度函数先验知识,适用于神经网络参数化。
2026-06-11 math.PR math.ST stat.ML
Fluctuation-dissipation relations for stochastic gradient descent
Facebook AI Research(Facebook AI研究);Facebook Inc.(Facebook公司);Menlo Park, California 94025, USA(美国加利福尼亚州门洛帕克94025(仅地址,非机构,不应提取))
定态平衡系综的概念在统计力学中起着核心作用。在机器学习中,训练也是一种广义平衡,它使模型参数的概率分布趋于平稳。在这里,我们推导出稳定的波动耗散关系,在随机梯度下降算法中连接可测量的量和超参数。这些关系对于任何静止状态都是正确的,特别是可以用来自适应地设置训练时间表。我们可以进一步使用这些关系来有效地提取与损失函数景观相关的信息,例如其黑森和非调和性的大小。我们的主张得到了经验的证实。
2018-12-21 cs.LG stat.ML
Natural Policy Gradient for Average Reward Non-Stationary RL
Carnegie Mellon University(卡内基梅隆大学)
本文提出首个无模型策略梯度算法NS-NAC及其无参数变体BORL-NS-NAC,用于非平稳平均奖励强化学习,实现动态遗憾界 $\tilde{\mathscr O}(|S|^{1/2}|A|^{1/2}Δ_T^{1/6}T^{5/6})$。
2025-04-23 cs.LG stat.ML
Noise Balance and Stationary Distribution of Stochastic Gradient Descent
Research Laboratory of Electronics, Massachusetts Institute of Technology, 77 Massachusetts Ave, Cambridge, MA 02139, USA;Physics \& Informatics Laboratories, NTT Research, 940 Stewart Drive Sunnyvale, CA 94085, USA;Department of Physics, The University of Tokyo, 7-3-1 Hongo, Tokyo 113-0033, Japan;RIKEN Center for Emergent Matter Science (CEMS), Wako, Saitama 351-0198, Japan;Institute for Physics of Intelligence, The University of Tokyo, 7-3-1 Hongo, Tokyo 113-0033, Japan
该研究揭示SGD的小批量噪声在损失函数含重缩放参数对称性时将解正则化为噪声平衡解,推导了任意深度宽度对角线性网络随机梯度流的平稳分布,发现仅深度网络存在相变等非线性现象,明确了深浅模型的根本差异。
2025-06-12 cs.AI cs.LG stat.ML
Deterministic Envelopes for Tamed SGLD: Decoupling Stochastic Gradient Noise and Localizing Taming
School of Mathematics and Statistics, Yunnan University(云南大学数学与统计学院)
针对随机梯度Langevin算法中驯化分母引入的稳态偏差问题,提出一种结构保持的确定性包络框架,通过解耦梯度噪声与驯化步骤来消除偏差,并引入混合包络设计以兼顾稳定性和偏差减少。
2026-07-07 cs.LG cs.NA math.NA
Stabilized SVRG: Simple Variance Reduction for Nonconvex Optimization
Duke University(杜克大学);Tsinghua University(清华大学)
像SVRG这样的方差缩减技术为优化凸有限和目标提供了简单快速的算法。对于非凸目标,这些技术也可以找到一阶稳定点(具有小梯度)。然而,在非凸优化中,找到一个二阶稳定点(具有小梯度和几乎PSD Hessian)通常是至关重要的。在本文中,我们表明,稳定SVRG(SVRG的一个简单的变种)可以找到一个$ε$ -二阶平稳点,仅使用$\widetilde{O}(n^{2/3}/ε^2+n/ε^{1.5})$随机梯度。据我们所知,这是SVRG简单变体的第一个二阶保证。运行时间几乎匹配已知的保证寻找$ε$ -一阶平稳点。
2019-05-01 cs.LG math.OC stat.ML
Neural Policy Gradient Methods: Global Optimality and Rates of Convergence
Northwestern University(西北大学);Princeton University(普林斯顿大学)
策略梯度方法与行动者-批评者方案展示了巨大的经验成功,特别是当行动者和批评者被神经网络参数化时。然而,仍然不太清楚这种“神经”策略梯度方法是否收敛到全局最优策略,以及它们是否收敛。我们在过度参数化的制度中肯定地回答了这两个问题。详细地,我们证明了神经自然策略梯度以次线性速率收敛到全局最优策略。此外,我们表明,神经香草策略梯度次线性收敛到一个稳定点。同时,通过将不动点的次优性与神经元的表现能力联系起来,证明了在弱正则性条件下所有不动点的全局最优性.特别是,我们证明了全局最优性和收敛性的关键是演员和评论家之间的“兼容性”,这是通过共享神经架构和随机初始化演员和评论家来确保的。据我们所知,我们的分析建立了第一个全局最优性和收敛保证神经策略梯度方法。
2019-11-12 cs.LG math.OC stat.ML
Local Saddle Point Optimization: A Curvature Exploitation Approach
ETH Zurich(苏黎世联邦理工学院)
基于遗传算法的优化方法是寻找经典极小化和鞍点问题局部最优解的最流行的选择。在这里,我们强调了一个系统性的问题,梯度动力学出现鞍点问题,即存在不需要的稳定的稳定点,没有局部最优。我们提出了一种新的优化方法,利用曲率信息,以逃避这些不需要的固定点。我们证明了不同的优化方法,包括梯度法和Adagrad,配备曲率开发可以逃避非最优的稳定点。我们还提供了经验结果,共同的鞍点问题,证实了使用曲率开发的优势。
2019-02-14 cs.LG math.OC stat.ML
Resolving the Mixing Time of the Langevin Algorithm to its Stationary Distribution for Log-Concave Sampling
从高维分布中采样是统计、工程和科学中的一项基本任务。一种典型的方法是朗之万算法,即,离散朗之万扩散的马尔可夫链。这是梯度下降的采样模拟。尽管被研究了几十年,在多个社区,该算法的紧混合边界仍然没有得到解决,即使在一个有界域上的对数凹分布看似简单的设置。本文完整地刻画了Langevin算法的混合时间在此设置(和其他)中的平稳分布。该混合结果可以与离散化偏置上的任何约束相结合,以便从连续朗之万扩散的平稳分布中采样。通过这种方式,我们理清了朗之万算法的混合和偏差的研究。我们的主要见解是介绍一种技术,从差分隐私文献的抽样文献。这种技术被称为迭代隐私放大,它使用雷尼发散的一个潜在变体,通过最优输运平滑在几何上感知。这给出了最优混合边界的一个简短而简单的证明,并具有几个额外的吸引人的性质。首先,我们的方法删除了其他抽样分析所需的所有不必要的假设。其次,我们的方法统一了许多设置:如果Langevin算法使用投影,随机小批量梯度或强凸势(由此我们的混合时间呈指数级提高),则它可以扩展不变。第三,我们的方法仅通过梯度步骤的收缩性来利用凸性-让人想起凸性在梯度下降的教科书证明中的使用。这样,我们提供了一个新的方法,进一步统一的分析优化和采样算法。
2022-10-31 math.OC math.PR math.ST
A Variational Analysis of Stochastic Gradient Algorithms
Columbia University(哥伦比亚大学);Adobe Research(Adobe 研究院)
随机梯度下降(SGD)算法是机器学习中的一种重要算法。在恒定的学习速率下,它是一个随机过程,在初始收敛阶段之后,从平稳分布中生成样本。我们表明,SGD与恒定速率可以有效地用作概率建模的近似后验推理算法。具体来说,我们展示了如何调整SGD的调整参数,例如将所得的平稳分布与后验分布相匹配。该分析依赖于将SGD解释为连续时间随机过程,然后最小化其平稳分布与目标后验之间的库尔贝克-莱布勒散度。(This是符合变分推断的精神的。)更详细地说,我们将SGD建模为多变量Ornstein-Uhlenbeck过程,然后使用该过程的属性来导出最佳参数。这个理论框架还连接SGD到现代可扩展的推理算法,我们分析了最近提出的随机梯度Fisher评分在这个角度下。我们证明了SGD与适当选择的恒定速率提供了一种新的方法来优化概率模型中的超参数。
2016-02-08 cs.LG stat.ML
Private (Stochastic) Non-Convex Optimization Revisited: Second-Order Stationary Points and Excess Risks
Google Research(谷歌研究院);University of Washington(华盛顿大学)
我们考虑的问题,最小化的非凸目标,同时保持隐私的例子中的训练数据。在以前的方差减少算法SpiderBoost的基础上,我们引入了一个新的框架,利用两种不同的梯度预言。第一种预言机可以估计一个点的梯度,第二种预言机,精度较低,成本较低,可以估计两点之间的梯度差。SpiderBoost定期使用第一种,每隔几步使用一次,而我们的框架建议在总漂移变大时使用第一个预言,否则依赖于第二个预言。这种新的框架确保梯度估计始终保持准确,从而提高了找到二阶稳定点的速度。此外,我们解决了一个更具挑战性的任务,找到一个非凸目标的全局最小值使用指数机制。我们的研究结果表明,正则化的指数机制可以密切匹配以前的经验和人口的风险界限,而不需要平滑假设的算法与多项式运行时间。此外,通过忽略运行时间的考虑,我们表明,指数机制可以实现一个很好的人口风险界,并提供一个几乎匹配的下限。
2023-02-20 cs.CR cs.LG math.OC
Understanding and Detecting Convergence for Stochastic Gradient Descent with Momentum
Baidu Research(百度研究院)
迭代随机优化方法的收敛性检测具有重要的实际意义。研究了具有恒定学习率和动量的随机梯度下降算法。我们发现,存在一个瞬态阶段,迭代移动到一个区域的利益,和一个固定阶段,迭代保持有界的区域周围的最小点。我们构造了一个统计诊断测试收敛到平稳阶段使用连续梯度之间的内积,并证明所提出的诊断工作良好。我们从理论上和经验上描述了动量如何影响诊断的测试统计量,以及测试统计量如何在收敛的梯度内捕获相对稀疏的信号。最后,我们展示了一个应用程序,自动调整学习率,减少它每次检测到平稳性,并显示该程序是强大的错误指定的初始速率。
2020-08-27 cs.LG stat.ML
On Noisy Negative Curvature Descent: Competing with Gradient Descent for Faster Non-convex Optimization
Hessian向量积已被用于找到具有强复杂性保证的二阶稳态解(例如,在问题的维度上几乎是线性的时间复杂度)。在本文中,我们提出了进一步减少的海森向量积的数量更快的非凸优化。先前的算法需要以足够的精度近似最小的特征值(例如,$ε_2\ll 1$)以获得足够精确的二阶稳态解(即,$λ_{\min}(\nabla^2 f(\x))\geq -ε_2)$。相比之下,所提出的算法只需要计算最小的特征向量近似相应的特征值的电流梯度的范数的一个小的权力。因此,它可以在达到一阶稳定点之前的优化过程中显著减少海森向量乘积的数量(例如,鞍点)。所提出的算法的关键构建块是一个新的更新步骤命名为NCG步骤,它让一个嘈杂的负曲率下降与梯度下降竞争。我们表明,最坏情况下的时间复杂度的算法,其有利的规定的精度要求可以匹配最好的文献中实现二阶稳定点,但可以说是较小的每次迭代的成本。我们还表明,所提出的算法可以受益于不精确的Hessian通过发展他们的变种接受不精确的Hessian在温和的条件下实现相同的目标。此外,我们还发展了一个求解有限和或无限和非凸优化问题的随机算法。据我们所知,建议的随机算法是第一个收敛到二阶平稳点在{ \it高概率}的时间复杂度独立的样本量和几乎线性的维度。
2017-10-01 math.OC stat.ML
Adaptive learning rates and parallelization for stochastic, sparse, non-smooth gradients
Courant Institute of Mathematical Sciences(库朗数学科学研究所);New York University(纽约大学)
最近的工作已经建立了一个经验上成功的框架,适应随机梯度下降(SGD)的学习率。这有效地消除了对调整的所有需求,同时自动降低固定问题的学习率,并允许学习率在非固定任务中适当增长。在这里,我们扩展的想法在三个方向,解决适当的小批量并行化,包括重新加权更新稀疏或正交梯度,提高非光滑损失函数的鲁棒性,在这个过程中,取代对角Hessian估计过程,可能并不总是可用的一个强大的有限差分近似。最终的算法集成了所有这些组件,具有线性复杂度,是超参数自由。
2013-03-27 cs.AI cs.LG stat.ML
On Nonconvex Optimization for Machine Learning: Gradients, Stochasticity, and Saddle Points
University of California, Berkeley(加州大学伯克利分校);Microsoft Research, India(微软研究院(印度));Duke University(杜克大学);University of Washington, Seattle(华盛顿大学西雅图分校)
梯度下降(GD)和随机梯度下降(SGD)是大规模机器学习的主力。虽然经典理论专注于分析这些方法在凸优化问题中的性能,但机器学习中最显着的成功涉及非凸优化,理论与实践之间出现了差距。事实上,GD和SGD的传统分析表明,这两种算法有效地收敛到稳定点。但这些分析没有考虑收敛到鞍点的可能性。最近的理论表明,GD和SGD可以避免鞍点,但在这些分析中对维数的依赖是多项式的。对于现代机器学习来说,维度可以达到数百万,这种依赖性将是灾难性的。我们分析了GD和SGD的扰动版本,并表明它们是真正有效的-它们的维数依赖性只是多对数的。事实上,这些算法收敛到二阶稳定点的时间基本上与收敛到经典的一阶稳定点的时间相同。
2019-09-04 cs.LG math.OC stat.ML
Robust estimation via generalized quasi-gradients
University of California, Berkeley(加州大学伯克利分校)
我们探讨了为什么许多最近提出的稳健估计问题是有效的解决,即使底层的优化问题是非凸的。我们研究这些稳健估计问题的损失景观,并确定“广义拟梯度”的存在。当这些准梯度存在时,保证一个大家族的低遗憾算法近似全局最小值;这包括常用的滤波算法。对于有界协方差下分布的稳健均值估计,证明了相关优化问题的任何一阶平稳点是{近似全局最小值}的充要条件是腐败水平$ε< 1/3$ .因此,任何接近平稳点的优化算法都会产生具有崩溃点$1/3$的有效鲁棒估计器。通过仔细的初始化和步长,我们将其改进为最佳的$1/2$。对于其他任务,包括线性回归和联合均值和协方差估计,损失情况更加崎岖:存在距离全局最小值任意远的稳定点。然而,我们证明了广义拟梯度的存在,并构建有效的算法。这些算法比以前的文献中,线性回归,我们提高了估计误差从$O(\sqrtε)$的最佳速率的$O(ε)$小$ε$假设认证的hypercontractivity。对于具有近似一致协方差的均值估计,我们证明了一个简单的梯度下降算法可以达到崩溃点$1/3$和迭代复杂度$\tilde{O}(d/ε^2)$。
2020-05-28 cs.LG eess.SP math.ST
The Complexity of Making the Gradient Small in Stochastic Convex Optimization
MIT(麻省理工学院);Cornell University(康奈尔大学);Weizmann Institute(魏茨曼科学研究所);TTI Chicago(芝加哥技术创新研究所(TTI Chicago))
本文给出了随机凸优化问题中寻找$ε$-平稳点($\| \nabla F(x) \| \leqε$)的预言复杂性的近似匹配上、下界。我们共同分析了本地随机预言机模型和全局预言机(或统计学习)模型的预言机复杂性。这使我们能够将寻找近稳定点的复杂性分解为优化复杂性和样本复杂性,并揭示了随机优化与学习的复杂性之间的一些令人惊讶的差异。值得注意的是,我们表明,在全球预言机/统计学习模型中,只有对数依赖于光滑度需要找到一个近平稳点,而多项式依赖于光滑度是必要的,在当地的随机预言机模型。换句话说,这两个模型之间的复杂性分离可以是指数级的,并且民间认为找到稳定点需要平滑度的理解对于统计学习来说只是弱正确的。我们的上界是基于Allen-Zhu(2018)提出的最近的"递归正则化"技术的扩展。我们将展示如何扩展该技术以实现接近最优的速率,特别是展示如何利用全球Oracle模型中的额外信息。我们的算法的全球模型可以有效地实现通过有限和方法,并提出了一个有趣的新的计算统计权衡。
2019-02-14 cs.LG math.OC stat.ML
Linear Convergence of Accelerated Stochastic Gradient Descent for Nonconvex Nonsmooth Optimization
本文研究了求解非凸非光滑最优化问题的随机梯度下降(SGD)方法,提出了一种结合方差缩减技术和Nesterov外推技术的加速SGD方法。此外,基于局部误差界条件,我们建立了该方法的线性收敛性,以获得非凸优化的稳定点。特别地,我们证明了不仅生成的序列线性收敛到问题的一个稳定点,而且相应的目标值序列也线性收敛。最后,数值实验验证了该方法的有效性.据我们所知,它首先证明了加速SGD方法线性收敛到非凸优化的局部极小值。
2019-02-14 cs.LG math.OC stat.ML
Convergence diagnostics for stochastic gradient descent with constant step size
University of Chicago(芝加哥大学);University of Chicago, Booth School of Business(芝加哥大学布斯商学院)
随机最优化中的许多迭代过程都表现出一个过渡阶段,然后是一个稳定阶段。在瞬态阶段期间,该过程朝向感兴趣的区域收敛,并且在稳定阶段期间,该过程在该区域中振荡,通常围绕单个点。在本文中,我们开发了一个统计诊断测试,以检测这样的相变的背景下,随机梯度下降恒定的学习率。我们目前的理论和实验表明,该地区的建议的诊断被激活与收敛区域相吻合。对于一类损失函数,我们得到了一个封闭形式的解决方案,描述这样的区域。最后,我们提出了一个应用程序,以加快收敛的随机梯度下降减半的学习率,每次检测到平稳。这导致了随机梯度下降的一个新变体,在许多情况下可以与最先进的方法相媲美。
2018-02-23 cs.LG math.ST stat.CO