On the Convergence Rate of Incremental Aggregated Gradient Algorithms
受网络分布式优化和机器学习中大规模数据处理应用的启发，我们分析了确定性增量聚合梯度法，用于最小化光滑函数的有限和，其中和是强凸的。该方法以确定性顺序一次处理一个函数，并结合了先前梯度值的记忆以加速收敛。从经验上讲，它在实践中表现良好，然而，没有明确的利率结果的理论分析，以前在文献中给出我们的知识，特别是最近的努力集中在随机版本。本文证明了这种确定性算法具有全局线性收敛性，并给出了算法的收敛速度。我们还考虑了一个带动量项的聚集方法，并证明了它的线性收敛。我们的证明依赖于一个精心选择的李雅普诺夫函数，提供洞察算法的行为，大大简化了证明。
2015-06-05 math.OC
General Proximal Incremental Aggregated Gradient Algorithms: Better and Novel Results under General Scheme
National University of Defense Technology（国防科技大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
增量聚合梯度算法是网络优化和机器学习研究中的一种常用算法。然而，目前的收敛结果要求目标函数是强凸的。现有的收敛速度也仅限于线性收敛。由于数学技术的原因，算法中的步长受到强凸常数的限制，这可能使得步长很小（强凸常数可能很小）。在本文中，我们提出了一个通用的近似增量聚合梯度算法，它包含了各种现有的算法，包括基本的增量聚合梯度法。即使在一般格式下也证明了更好的收敛结果。本文给出的新结果包括：一般格式，非凸分析，函数值的次线性收敛速度，保证收敛的大步长，噪声存在时的收敛性，邻近增量聚合梯度算法的线搜索策略及其收敛性。
2019-10-11 cs.LG math.OC stat.ML
Incremental Aggregated Proximal and Augmented Lagrangian Algorithms
Laboratory for Information and Decision Systems, M.I.T.（麻省理工学院信息与决策系统实验室）
本文提出增量聚合近端和增广拉格朗日算法，用于求解大量凸函数之和的最小化问题，证明了其线性收敛性，并讨论了其在处理等式和不等式约束优化问题中的应用。
2015-11-04 cs.SY eess.SY math.OC
Linear Convergence of the Proximal Incremental Aggregated Gradient Method under Quadratic Growth Condition
College of Science, National University of Defense Technology（国防科技大学理学院）
本文在二次增长条件下研究了近端增量聚合梯度法的全局线性收敛性，通过构造Lyapunov函数证明了方法在函数值和迭代点误差上的线性收敛性。
2017-02-27 cs.NA math.NA math.OC
Curvature-aided Incremental Aggregated Gradient Method
Arizona State University（亚利桑那州立大学）
提出了一种新的有限和优化算法，我们称之为曲率辅助增量聚合梯度（CIAG）方法。受训练用于d维问题的分类器的问题的启发，其中训练数据的数量是$m$和$m \gg d \gg 1$，CIAG方法寻求使用来自曲率（或Hessian）信息的辅助来加速增量聚合梯度（IAG）方法，同时避免增量牛顿（IN）方法所需的矩阵求逆的评估。具体来说，我们的想法是利用增量聚合的Hessian矩阵在每一个增量步骤跟踪完整的梯度向量，从而实现了改进的线性收敛速度比最先进的IAG方法。对于强凸问题，快速的线性收敛速度要求目标函数接近二次型，或者初始点接近最优解。重要的是，我们表明，运行一个迭代的CIAG方法产生相同的改善，运行一个迭代的全梯度方法的最优性差距，而复杂性是$O(d^2)$的CIAG和$O(md)$的全梯度。总的来说，CIAG方法在高计算复杂度的增量牛顿型方法和缓慢的IAG方法之间取得了平衡。我们的数值结果支持的理论研究结果，并表明，CIAG方法往往收敛的迭代次数比IAG少得多，需要更短的运行时间比IN时，问题的维数高。
2017-10-24 cs.LG math.OC stat.ML
Linear Speedup of Incremental Aggregated Gradient Methods on Streaming Data
The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）
本文研究流数据下增量聚合梯度方法在分布式强凸优化中的线性加速，证明工作节点频繁更新时即使数据异构也能实现线性加速，并给出了最优解期望平方距离的衰减速率。
2023-09-10 cs.LG math.OC
Block-coordinate and incremental aggregated proximal gradient methods for nonsmooth nonconvex problems
本文针对非光滑非凸优化问题，基于前向后向包络（FBE）分析块坐标近似梯度方法，在Kurdyka-Łojasiewicz性质下建立全局与线性收敛结果，还推导了Finito/MISO算法在非凸非光滑场景下的新收敛结论。
2019-11-26 math.OC
Fast Incremental Method for Nonconvex Optimization
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
我们分析了一个快速增量聚合梯度法优化非凸问题的形式$\min_x \sum_i f_i(x)$。具体来说，我们分析了增量一阶Oracle框架内的SAGA算法，并证明它收敛到一个稳定点证明比梯度下降和随机梯度下降。我们还讨论了Polyak的一类特殊的非凸问题，其中SAGA以线性速度收敛到全局最优值。最后，我们分析了SAGA的实用价值的正则化和小批量的变种。据我们所知，本文首次分析了非凸问题的增量聚集梯度法的快速收敛性。
2016-03-19 cs.LG math.OC stat.ML
Coordinate-invariant incremental Lyapunov functions
Technische Universität München（慕尼黑工业大学）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
本文提出坐标不变的增量Lyapunov函数概念，并基于此给出增量稳定性的刻画。
2016-03-16 cs.SY eess.SY math.DS
Linear Convergence of Cyclic SAGA
在这项工作中，我们提出并分析了C-SAGA，这是SAGA的（确定性）循环变体。C-SAGA是一种增量梯度法，通过循环访问其梯度来最小化可微凸函数的和。尽管随机算法的理论比循环算法的理论更成熟，但实践者通常更喜欢循环算法。我们证明了C-SAGA线性收敛的标准假设下。然后，我们比较了收敛速率与全梯度法，（随机）SAGA，增量聚合梯度（IAG），理论和实验。
2020-01-09 math.OC
SMART: The Stochastic Monotone Aggregated Root-Finding Algorithm
我们介绍了随机单调聚合寻根（SMART）算法，一个新的随机算子分裂计划寻找根的有限和的运营商。这些算法类似于不断增长的一类增量聚合梯度算法，它最小化函数的有限和;不同的是，我们用称为算子的黑盒代替函数的梯度，黑盒代表算法过程中要解决的子问题。通过用算子代替梯度，我们提高了建模能力，简化了所得到的算法的应用和分析。运营商的观点也很容易扩展我们的算法，允许任意采样和更新整个算法的坐标块。如果我们强制所有计算节点始终同步，那么在计算集群上实现和运行这样的算法可能会很慢。为了更好地利用并行性，我们允许计算节点延迟更新和中断同步。本文有几个技术和实际的贡献。我们证明了弱，几乎必然收敛的一类新的随机算子分裂计划在可分的希尔伯特空间;我们证明了这类算法的收敛线性期望时，弱正则性的性质举行;我们突出连接到其他算法;我们介绍了一些新的算法大规模优化。
2016-06-09 math.OC
Surpassing Gradient Descent Provably: A Cyclic Incremental Method with Linear Convergence Rate
University of Pennsylvania（宾夕法尼亚大学）；Rutgers University（罗格斯大学）
近年来，人们越来越关注开发用于解决大规模机器学习问题的最优化方法。这些问题中的大多数归结为最小化一组光滑和强凸函数的平均值的问题，其中函数$n$的数量很大。梯度下降法（GD）是成功的最小化凸问题在一个快速的线性速度，但它不适用于所考虑的大规模优化设置，因为高的计算复杂性。增量方法通过用增量梯度近似代替下降方向所需的梯度来解决梯度法的这个缺点。它们通过每次迭代评估一个梯度并执行$n$可用梯度的平均值作为梯度近似值来操作。尽管增量方法降低了GD的计算成本，但它们的收敛速度并不能证明它们相对于GD在收敛之前的梯度评估总数方面的优势。在本文中，我们介绍了一种双增量聚合梯度方法（DIAG），在每次迭代中只计算一个函数的梯度，这是基于一个循环的计划选择，并使用聚合的平均梯度的所有功能来近似的完整的梯度。所提出的DIAG方法的迭代使用迭代和梯度两者的平均值，这与利用梯度平均值但不利用梯度平均值的经典增量方法相反。我们证明了所提出的DIAG方法不仅线性收敛到最优解，而且其线性收敛因子证明了增量方法在GD上的优势。特别是，我们证明了DIAG的最坏情况下的性能优于GD的最坏情况下的性能。
2018-02-07 cs.LG math.OC
DID: Distributed Incremental Block Coordinate Descent for Nonnegative Matrix Factorization
Iowa State University（爱荷华州立大学）
非负矩阵分解（NMF）作为一种降维方法在过去的十年中引起了人们的广泛关注。由于数据量的爆炸性增长，自然地，样本被收集并分布存储在本地计算节点中。因此，越来越需要在分布式存储器架构中开发算法。我们提出了一种新的分布式算法，称为\textit{distributed incremental block coordinate descent}（DID），来解决这个问题。通过调整块坐标下降框架，获得封闭形式的更新规则在DID。此外，DID基于最近更新的残差矩阵递增地执行更新。因此，每次迭代只需要一个沟通步骤。一系列的数值实验验证了算法的正确性、高效性和可扩展性。
2018-02-25 cs.AI cs.LG math.OC
Incremental Learning in Diagonal Linear Networks
EPFL（洛桑联邦理工学院）
本文研究对角线性网络在极小初始化下的梯度流轨迹，证明其执行增量学习，坐标依次激活，且稀疏隐式正则化随时间减弱，研究限于欠参数化与反相关特征情形。
2023-11-13 cs.LG math.OC
Asynchronous Incremental Stochastic Dual Descent Algorithm for Network Resource Allocation
随机网络最优化问题需要找到平均最优的资源分配策略，但必须以在线方式设计。这样的问题在通信网络中普遍存在，其中诸如能量和带宽的资源在节点之间被划分以满足某些长期目标。本文提出了一种异步增量双下降资源分配算法，利用延迟随机{梯度}进行更新。所提出的算法非常适合异构网络，因为它允许计算上的挑战或能源匮乏的节点，有时，推迟更新。该算法的渐近分析进行，建立双重收敛下，恒定和递减步长。它还表明，与恒定的步长，建议的资源分配政策是渐近近最优的。一个涉及多小区协调波束形成的应用程序进行了详细说明，所提出的算法的实用性。
2017-12-10 math.OC
Accelerating Incremental Gradient Optimization with Curvature Information
研究了一种利用\emph{curvature}信息求解强凸有限和优化问题的增量聚合梯度法（{ \sf IAG}）的加速技术.这些感兴趣的优化问题出现在大规模学习应用中。我们的技术利用曲率辅助梯度跟踪步骤，以产生准确的梯度估计增量使用Hessian信息。我们提出并分析了两种利用新技术的方法，曲率辅助IAG（{ \sf CIAG}）方法和加速CIAG（{ \sf A-CIAG}）方法，它们分别类似于梯度方法和Nesterov的加速梯度方法。以$κ$为目标函数的条件数，证明了$1 - \frac{4c_0 κ}{(κ+1)^2}$对于{ \sf CIAG}方法和$1 - \sqrt{\frac{c_1}{2κ}}$对于{ \sf A-CIAG}方法的$R$线性收敛速率，其中$c_0,c_1 \leq 1$是与初始点到最优解的距离成反比的常数.当初始解接近最优解时，$R$的线性收敛速率与梯度和加速梯度方法相匹配，尽管{ \sf CIAG}和{ \sf A-CIAG}在具有严格较低计算复杂度的增量设置中操作。数值实验证实了我们的发现。本文使用的源代码可以在\url{http://github.com/hoitowai/ciag/}上找到。
2020-02-28 math.OC stat.ML
IQN: An Incremental Quasi-Newton Method with Local Superlinear Convergence Rate
University of Pennsylvania（宾夕法尼亚大学）
考虑了极小化一个目标函数的问题，该目标函数可表示为一组$n$光滑强凸函数之和。本文提出的增量拟牛顿（IQN）方法属于随机增量方法族，其每次迭代的成本与$n$无关。IQN迭代是BFGS迭代的随机版本，它使用内存来减少随机逼近的方差。IQN的收敛性质弥补了确定性和随机拟牛顿法之间的差距。确定性拟牛顿法利用了使用目标梯度差来近似牛顿步骤的可能性。他们是有吸引力的，因为他们有一个较小的计算成本，每次迭代相对于牛顿的方法，并实现了超线性收敛速率下，通常的规律性假设。随机拟牛顿法利用随机梯度差代替实际梯度差。这使得它们每次迭代的计算成本与目标函数$n$的数量无关。然而，现有的随机拟牛顿法至多具有次线性或线性收敛。IQN是第一个随机拟牛顿法证明超线性收敛的最优解的局部邻域。IQN在三个方面不同于最先进的增量拟牛顿法：（i）使用变量、梯度和拟牛顿海森近似矩阵的聚合信息来减少梯度和海森近似的噪声。(ii)用泰勒展开式对每个函数进行的近似，其中线性项和二次项都是相对于同一根线计算的。(iii)使用循环方案来更新函数以代替随机选择例程。我们利用IQN的这些基本性质来建立它的局部超线性收敛速率。
2017-03-27 cs.LG math.OC
Analysis and Implementation of an Asynchronous Optimization Algorithm for the Parameter Server
KTH Royal Institute of Technology（瑞典皇家理工学院）
提出了一种求解正则化最优化问题的异步增量聚合梯度算法及其在参数服务器框架中的实现。该算法可以处理一般的凸（可能是非光滑的）正则化和一般的凸约束。当经验数据损失是强凸的，我们建立线性收敛速率，给出明确的表达式，步长的选择，保证收敛到最佳值，并绑定相关的收敛因子。该表达式具有显式的依赖度的同步操作和恢复经典的结果。商业计算云的模拟和实现验证了我们的研究结果。
2016-10-18 cs.DC cs.LG math.OC
Hybrid-DCA: A Double Asynchronous Approach for Stochastic Dual Coordinate Ascent
在先前的工作中，随机双坐标上升（SDCA）已经在多核环境中并行化，其中核通过共享存储器进行通信，或者在多处理器分布式存储器环境中，其中处理器通过消息传递进行通信。在本文中，我们提出了一个混合SDCA框架的多核集群，最常见的高性能计算环境，包括多个节点，每个节点有多个核心和自己的共享内存。我们将数据分布在节点上，每个节点在其核心上以异步并行方式解决本地问题，然后通过异步跨节点更新方案聚合本地更新。对于$L$ -Lipschitz连续损失函数，本文提出的双异步方法收敛于全局解，并且当损失函数为光滑凸损失函数时，该方法以线性收敛速度收敛.广泛的实证比较表明，我们的算法比最知名的共享内存的方法，运行速度比以前的分布式内存的方法更好的规模。大型数据集（例如LIBSVM存储库中的280 GB数据集）无法容纳在单个节点上，因此无法通过并行算法求解。对于这样的数据集，我们的混合算法需要30秒才能在16个节点上实现$10^{-6}$的对偶间隙，每个节点使用8个核心，这比最知名的分布式算法（如CoCoA+）要快得多，后者在16个节点上需要300秒以上。
2016-11-02 cs.DC math.OC
A General Distributed Dual Coordinate Optimization Framework for Regularized Loss Minimization
Tencent AI Lab（腾讯人工智能实验室）
在现代大规模机器学习应用中，训练数据通常被划分并存储在多台机器上。通常采用“数据并行“方法，其中在不跨机器移动数据的情况下最小化聚合的训练损失。在本文中，我们介绍了一种新的分布式对偶公式的正则化损失最小化问题，可以直接处理数据并行在分布式设置。这个公式使我们能够系统地推导出对偶坐标优化程序，我们称之为分布式交替对偶最大化（DADM）。该框架扩展了（Boyd等人，2011; Ma等人，2015 a; Jaggi等人，2014; Yang，2013），并进行了严格的理论分析。此外，在新公式的帮助下，我们通过将加速技术（Shalev-Shwartz和Zhang，2014）推广到分布式设置来开发DADM的加速版本（Acc-DADM）。我们还提供了所提出的加速版本的理论结果，新结果改进了以前的结果（Yang，2013; Ma等人，2015 a），其运行时间在条件数上线性增长。我们的实证研究验证了我们的理论，并表明，我们的加速方法显着改善了以前的国家的最先进的分布式双坐标优化算法。
2017-08-25 cs.DC cs.LG math.OC
Saddle-to-Saddle Dynamics in Diagonal Linear Networks
EPFL（洛桑联邦理工学院）
本文研究对角线性网络在初始化趋零极限下的梯度流，发现其呈现从鞍点到鞍点的跳跃动力学，最终达到最小 $\ell_1$-范数解，并利用类似 LARS 的递归算法刻画了鞍点与跳跃时间。
2023-10-25 cs.LG math.OC
Asynchronous Iterations in Optimization: New Sequence Results and Sharper Algorithmic Guarantees
ABB Corporate Research（ABB企业研究院）；KTH Royal Institute of Technology（KTH皇家理工学院）
本文提出了异步迭代的新收敛结果，明确了异步程度对收敛速率的影响，加强了现有异步优化算法的理论保证，并改进了多种流行算法的复杂度界限与收敛分析。
2023-04-03 cs.DC cs.LG cs.SY
