首页/论文/2102.09700

arXiv 2102.097002021-02cs.LGmath.OC

AI-SARAH：自适应隐式随机递归梯度法

AI-SARAH: Adaptive and Implicit Stochastic Recursive Gradient Methods

Cranberry-Lemon University（蔓越莓柠檬大学）

Zheng Shi, Abdurakhmon Sadiev, Nicolas Loizou, Peter Richtárik, Martin Takáč

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

我们提出了AI-SARAH，SARAH的一个实际变体。作为SARAH算法的一个变种，该算法采用随机递归梯度，但根据局部几何形状调整步长。AI-SARAH隐式计算步长，并有效地估计随机函数的局部Lipschitz光滑性。它是完全自适应的，无需调谐，实现简单，计算效率高。我们提供有关其设计和融合的技术见解和直观说明。我们进行了广泛的实证分析，并证明其强大的性能相比，其经典的同行和其他国家的最先进的一阶方法在解决凸机器学习问题。

英文摘要：

We present AI-SARAH, a practical variant of SARAH. As a variant of SARAH, this algorithm employs the stochastic recursive gradient yet adjusts step-size based on local geometry. AI-SARAH implicitly computes step-size and efficiently estimates local Lipschitz smoothness of stochastic functions. It is fully adaptive, tune-free, straightforward to implement, and computationally efficient. We provide technical insight and intuitive illustrations on its design and convergence. We conduct extensive empirical analysis and demonstrate its strong performance compared with its classical counterparts and other state-of-the-art first-order methods in solving convex machine learning problems.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

SARAH：一种基于随机递归梯度的机器学习新方法

SARAH: A Novel Method for Machine Learning Problems Using Stochastic Recursive Gradient

Lehigh University（里海大学）；The University of Oxford（牛津大学）

在本文中，我们提出了一个随机递归梯度算法（SARAH），以及它的实际变体SARAH+，作为一种新的方法来解决有限和极小化问题。不同于香草SGD和其他现代随机方法，如SVRG，S2 GD，SAG和SAGA，SARAH承认一个简单的递归框架来更新随机梯度估计;与SAG/SAGA相比，SARAH不需要存储过去的梯度。在强凸性假设下证明了SARAH算法的线性收敛速度。我们还证明了一个线性收敛速度（在强凸的情况下）的内部循环的SARAH，SVRG不具备的属性。数值实验证明了算法的有效性。

2017-06-03cs.LGmath.OCstat.ML

用步长规则加速小批量SARAH

Accelerating Mini-batch SARAH by Step Size Rules

Sun Yat-sen University（中山大学）；Xiamen University（厦门大学）

随机递归梯度算法（SARAH）最初是为凸优化而提出的，也被证明是一般非凸优化的有效算法，由于其简单的递归框架来更新随机梯度估计而受到极大的关注。SARAH算法的性能很大程度上取决于步长序列的选择。然而，SARAH及其变体通常采用导师最佳调整的步长，这在实践中是耗时的。受此影响，我们提出了Barzilai-Borwein（BB）方法的一种变体，称为随机Barzilai-Borwein（RBB）方法，用于计算SARAH在小批量设置中的步长，从而产生了一种新的SARAH方法：MB-SARAH-RBB。我们证明了MB-SARAH-RBB在强凸目标函数的期望下线性收敛。我们分析了MB-SARAH-RBB算法的复杂度，并表明它优于原算法。标准数据集上的数值实验表明，MB-SARAH-RBB优于或匹配的最先进的算法。

2019-06-20cs.LGmath.OCstat.ML

随机重排的SARAH算法无需完整梯度计算

Random-reshuffled SARAH does not need a full gradient computations

Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）

本文提出一种随机重排与聚合策略，使SARAH算法无需完整梯度计算即可保持方差缩减效果，并通过理论分析和数值实验验证其效率。

2024-01-14cs.LGmath.OC

非凸有限和问题中随机递归梯度的概率保证

Probabilistic Guarantees of Stochastic Recursive Gradient in Non-Convex Finite Sum Problems

Washington University in St. Louis（圣路易斯华盛顿大学）

本文提出新的无维度Azuma-Hoeffding型界，改进SARAH算法得到Prob-SARAH，为其梯度范数估计提供高概率界，其依概率复杂度接近最优期望结果，实验验证了在真实数据集上的优异概率性能。

2024-01-29cs.LGmath.OCmath.ST

调整的Shuffling SARAH：通过动态梯度加权推进复杂度分析

Adjusted Shuffling SARAH: Advancing Complexity Analysis via Dynamic Gradient Weighting

Rice University（里士大学）；Lehigh University（莱斯大学）；Thomas J. Watson Research Center, IBM Research（IBM研究院沃森研究中心）

提出Adjusted Shuffling SARAH算法，通过动态加权机制集成shuffling策略到递归SARAH框架，在强凸和非凸设置下达到最优理论保证，并引入不精确模式实现与数据集大小无关的总复杂度。

2026-05-27cs.LGmath.OC

具有递归方差缩减的快速分散非凸有限和optimization

Fast decentralized non-convex finite-sum optimization with recursive variance reduction

Carnegie Mellon University（卡内基梅隆大学）；Tufts University（塔夫茨大学）

本文研究了$N:=nm$光滑非凸代价函数在有向$n$节点网络上的分散最小化问题。具体来说，我们描述了一个随机一阶梯度方法，称为GT-SARAH，采用SARAH型方差降低技术和梯度跟踪（GT）来解决问题的随机性和分散性。我们表明，GT-SARAH，与适当的算法参数，找到一个$ε$ -准确的一阶平稳点与$O\big(\max\big\{N^{\frac{1}{2}},n(1-λ)^{-2},n^{\frac{2}{3}}m^{\frac{1}{3}}(1-λ)^{-1}\big\}Lε^{-2}\big)$梯度复杂性，其中${(1-λ)\in(0,1]}$是网络权重矩阵的频谱间隙和$L$是平滑参数的成本函数。这种梯度复杂度优于现有的分散随机梯度方法。特别地，在大数据体系中，例如${n = O(N^{\frac{1}{2}}(1-λ)^{3})}$，该梯度复杂度进一步降低到${O(N^{\frac{1}{2}}Lε^{-2})}$，与网络拓扑无关，并且与集中式接近最优方差减小方法的梯度复杂度相匹配。此外，在这种情况下，GT-SARAH实现了非渐近线性加速，因为与在单个节点处执行所有梯度计算的集中式近最优算法相比，每个节点处的梯度计算的总数减少了$1/n$的因子。据我们所知，GT-SARAH是第一个实现此属性的算法。此外，我们表明，适当的选择本地minibatch大小平衡梯度和通信复杂性的…

2021-09-18cs.LGcs.MAcs.SY

更多相关论文收起更多论文

非凸优化问题的随机递归梯度算法

Stochastic Recursive Gradient Algorithm for Nonconvex Optimization

Lehigh University（理海大学）；University of Oxford（牛津大学）

本文研究和分析了随机递归梯度算法（SARAH）的小批量版本，它是一种利用随机递归梯度求解非凸损失情况下经验损失最小化的方法。我们提供了一个次线性收敛速度（平稳点）一般非凸函数和梯度控制函数的线性收敛速度，这两个有一些优势相比，其他现代随机梯度算法的非凸损失。

2017-05-20cs.LGmath.OCstat.ML

策略梯度方法的随机递归动量

Stochastic Recursive Momentum for Policy Gradient Methods

Peking University（北京大学）；University of Rochester（罗切斯特大学）；Kwai Inc.（快手公司）；Duke University（杜克大学）

在本文中，我们提出了一种新的算法命名为STORM-PG（STORM-PG），它操作的SARAH型随机递归方差减少的政策梯度指数移动平均的方式。STORM-PG具有可证明的精确的$O(1/ε^3)$样本复杂度界，与策略梯度算法的最佳收敛速度相匹配。同时，STORM-PG避免了大批量和小批量之间的交替，这在可比的方差减少的策略梯度方法中持续存在，允许相当简单的参数调整。数值实验表明，我们的算法优于比较政策梯度算法。

2020-03-09cs.LGstat.ML

光滑非凸组合优化的随机递归方差缩减

Stochastic Recursive Variance Reduction for Efficient Smooth Non-Convex Compositional Optimization

Peking University（北京大学）；University of Rochester（罗切斯特大学）；Kwai Inc.（快手公司）

随机组合优化出现在许多重要的机器学习任务中，例如强化学习和投资组合管理中的价值函数评估。目标函数是随机函数的两个期望的组合，并且比普通随机最优化问题更具有挑战性。本文研究了一般光滑非凸环境下的随机合成优化问题。我们采用最近发展起来的\textit{Stochastic Recursive Gradient Descent}的思想设计了一个新的算法SARAH-Compositional，并证明了一个尖锐的增量一阶Oracle（IFO）复杂性上界：$\mathcal{O}((n+m)^{1/2} \varepsilon^{-2})$在有限和情况下和$\mathcal{O}(\varepsilon^{-3})$在线的情况下.这样的复杂性是已知的最好的一个IFO复杂性结果的非凸随机组合优化，并被认为是最优的。我们的实验验证了我们的算法的理论性能。

2020-01-25cs.LGmath.OCstat.ML

使用随机递归梯度的深度Q学习的方差缩减

Variance Reduction for Deep Q-Learning using Stochastic Recursive Gradient

Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Baidu Inc.（百度公司）；Huawei Technologies（华为技术有限公司）

深度Q-学习算法经常遭受具有过大方差的差的梯度估计，导致不稳定的训练和差的采样效率。已应用SVRG等随机方差缩减梯度方法来降低估计方差（Zhao等人，2019）。然而，由于强化学习的在线实例生成特性，直接将SVRG应用于深度Q学习面临着锚点估计不准确的问题，这极大地限制了SVRG的潜力。为了解决这个问题，并受到递归梯度方差缩减算法SARAH（Nguyen et al. 2017）的启发，本文提出引入递归框架来更新深度Q学习中的随机梯度估计，实现一种名为SRG-DQN的新算法。与基于SVRG的算法不同，SRG-DQN设计了随机梯度估计的递归更新。参数更新是利用过去的随机梯度信息沿着累积方向进行的，因此可以摆脱作为锚的全梯度的估计。此外，SRG-DQN涉及Adam过程以进一步加速训练过程。理论分析和著名的强化学习任务的实验结果表明，所提出的SRG-DQN算法的效率和有效性。

2020-07-25cs.LGstat.ML

内隐深度学习

Implicit Deep Learning

UC Berkeley（加州大学伯克利分校）

隐式深度学习预测规则概括了前馈神经网络的递归规则。这种规则是基于一个固定点方程的解决方案，涉及一个单一的隐藏特征向量，因此只有隐含定义。隐式框架大大简化了深度学习的符号，并在新颖的架构和算法、鲁棒性分析和设计、可解释性、稀疏性和网络架构优化方面开辟了许多新的可能性。

2020-08-06cs.LGmath.OCstat.ML

基于过参数化的深度ReLU隐式网络全局收敛理论

A global convergence theory for deep ReLU implicit networks via over-parameterization

Iowa State University（爱荷华州立大学）；The Ohio State University（俄亥俄州立大学）

隐式深度学习最近受到越来越多的关注，因为它概括了许多常用神经网络架构的递归预测规则。它的预测规则是隐式提供的平衡方程的解的基础上。虽然最近的一系列实证研究已经证明了其优越的性能，隐式神经网络的理论理解是有限的。一般来说，平衡方程在训练过程中可能不是适定的。因此，不能保证香草（随机）梯度下降（SGD）训练非线性隐式神经网络可以收敛。本文通过分析整流线性单元（ReLU）激活的隐式神经网络的梯度流来填补这一空白。对于具有ReLU激活和$n$训练样本的$m$宽度隐式神经网络，如果隐式神经网络是\textit{over-parameterized}，则随机初始化的梯度下降以平方损失函数的线性速率收敛到全局最小值。值得注意的是，与现有的关于有限层过参数化神经网络的（S）GD收敛性的工作不同，我们的收敛性结果适用于隐式神经网络，其中层数为\textit{infinite}。

2022-02-18cs.LGmath.OCstat.ML

LASER：低秩激活SVD用于高效递归

LASER: Low-Rank Activation SVD for Efficient Recursion

Harvard University（哈佛大学）

本文研究了递归架构中激活流形的几何结构，提出LASER框架通过动态压缩实现激活记忆节省，同时保持模型精度。

2026-04-19cs.LGstat.ML

用于模块化深度学习的递归草图

Recursive Sketches for Modular Deep Learning

Google Research（谷歌研究院）

我们提出了一种机制来计算一个复杂的模块化深度网络如何处理其输入的草图（简洁的总结）。该草图总结了有关网络输入和输出的基本信息，可用于快速识别关键组件和输入的汇总统计数据。此外，草图是递归的，可以展开以识别这些组件的子组件等，从而捕获潜在的复杂DAG结构。这些草图擦得很干净;即使我们随机擦除草图的一部分，剩余部分仍然保留原始草图中存在的“高权重”信息。草图也可以在存储库中组织，以隐含地形成“知识图谱”;可以在存储库中快速检索与感兴趣的草图相关的草图;以这种方式布置，草图也可以用于通过在草图空间中寻找新的集群来学习新兴概念。最后，在我们想要学习地面实况深度网络的场景中，我们证明了用这些草图增强输入/输出对理论上可以更容易地做到这一点。

2019-08-06cs.CLcs.DScs.LG

多尺度目标的高效梯度法

Big-Step-Little-Step: Efficient Gradient Methods for Objectives with Multiple Scales

MIT（麻省理工学院）；Stanford University（斯坦福大学）；USC（南加州大学）

我们提供了新的基于梯度的方法，有效地解决了广泛的一类病态最优化问题。我们考虑的问题最小化的功能$f : \mathbb{R}^d \rightarrow \mathbb{R}$这是隐含可分解的总和$m$未知的非相互作用的光滑，强凸函数，并提供了一种方法，解决了这个问题的梯度评价，规模（对数因子）的平方根的产品的条件数的组件。这个复杂性界（我们证明是接近最优的）可以提高几乎指数的加速梯度法，这增长的平方根的条件数的$f$。此外，我们提供了有效的方法来解决这个多尺度最优化问题的随机，二次变量。我们的方法不是学习$f$的分解（这将是非常昂贵的），而是应用一个干净的递归“大步骤-小步骤”标准方法的交织。由此产生的算法使用$\tilde{\mathcal{O}}(d m)$空间，数值稳定，并打开了大门，以更细粒度的理解的复杂性凸优化超越条件数。

2021-11-04cs.DScs.LGmath.OC